CN115661282A

CN115661282A - 伪影识别方法、装置及计算机可读存储介质

Info

Publication number: CN115661282A
Application number: CN202211275389.1A
Authority: CN
Inventors: 刘川鄂; 郑介志
Original assignee: Shanghai United Imaging Intelligent Healthcare Co Ltd
Current assignee: Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date: 2022-10-18
Filing date: 2022-10-18
Publication date: 2023-01-31

Abstract

本申请提供伪影识别方法、装置及计算机可读存储介质，所述方法包括：获取待识别CT图像，所述待识别CT图像包括至少一个待识别切片；分别将每个待识别切片输入至分类模型，以输出每个待识别切片对应的特征图和分类信息，每个待识别切片的分类信息用于指示是否具有伪影；若所述分类信息指示所述待识别切片具有伪影，则获取所述特征图对应的热力图；根据所述热力图确定所述待识别切片中的伪影区域。本申请为医生评估伪影的严重程度提供了定量依据，提高了检测效率。

Description

伪影识别方法、装置及计算机可读存储介质

技术领域

本申请涉及深度学习、图像处理技术领域，尤其涉及伪影识别方法、装置及计算机可读存储介质。

背景技术

计算机断层扫描(CT)是一种现代医学成像技术，广泛用于筛查、诊断和复查。虽然现在的CT成像技术已经非常成熟，但成像质量仍然会受到一些因素的影响。伪影(Artifacts)是CT图像存在的一个主要问题，伪影是指原本被扫描物体并不存在而在图像上却出现的各种形态的影像，伪影的出现降低了图像质量，影响对病情的诊断分析。

伪影可能由金属材料、患者的运动等引起。在胸部检查中，CT扫描通常要求患者屏气以防止运动伪影。如果患者没有很好地练习屏气或呼吸操作，图像质量可能会受到呼吸运动伪影的影响。严重的伪影会影响或误导图像读取任务，应该在图像获取阶段将伪影识别出来。

目前，CT图像的伪影识别大多依赖医生等技术人员肉眼观察，检测效率较低。

因此，亟需提供伪影识别方法、装置及计算机可读存储介质，以改进现有技术。

发明内容

本申请的目的在于提供伪影识别方法、装置及计算机可读存储介质，为医生评估伪影的严重程度提供了定量依据，提高了检测效率和检测的准确性。

本申请的目的采用以下技术方案实现：

第一方面，本申请提供了一种伪影识别方法，所述方法包括：

获取待识别CT图像，所述待识别CT图像包括至少一个待识别切片；

分别将每个待识别切片输入至分类模型，以输出每个待识别切片对应的特征图和分类信息，每个待识别切片的分类信息用于指示是否具有伪影；

若所述分类信息指示所述待识别切片具有伪影，则获取所述特征图对应的热力图；

根据所述热力图确定所述待识别切片中的伪影区域。

在一些可选的实施例中，所述分类模型的训练过程包括：

获取样本CT图像，对所述样本CT图像的所有样本切片进行层级装包，得到至少一个样本切片包；

针对每个样本切片包，分别将所述样本切片包中的每个样本切片输入至分类网络，以输出每个样本切片对应的预测分类信息；

利用第一损失函数、每个样本切片对应的预测分类信息和每个样本切片对应的标签信息，计算得到每个样本切片对应的分类损失；

基于每个样本切片对应的分类损失，更新所述分类网络，得到所述分类模型。

在一些可选的实施例中，所述预测分类信息为伪影的概率值；

所述基于每个样本切片对应的分类损失，更新所述分类网络，得到所述分类模型，包括：

基于每个样本切片的预测分类信息对应的概率值，计算每个样本切片在所述样本切片包中的损失权重；

基于每个样本切片对应的分类损失和损失权重，更新所述分类网络，得到所述分类模型。

在一些可选的实施例中，所述分别将所述样本切片包中的每个样本切片输入至分类网络，以输出每个样本切片对应的预测分类信息，包括：

分别将所述样本切片包中的每个样本切片输入至分类网络，以输出每个样本切片对应的预测分类信息和特征图；

获取每个样本切片的特征图对应的热力图，基于每个样本切片的热力图获取对应的伪影掩膜，以确定每个样本切片对应的待擦除区域；

分别擦除每个样本切片中的待擦除区域，将擦除后的结果输入至所述分类网络，得到每个样本切片对应的新的预测分类信息；

利用第二损失函数、每个样本切片对应的新的预测分类信息和每个样本切片对应的标签信息，计算得到每个样本切片对应的定位损失；

基于每个样本切片对应的分类损失和定位损失，更新所述分类网络，得到所述分类模型。

在一些可选的实施例中，所述确定每个样本切片对应的待擦除区域，包括：

基于每个样本切片的伪影掩膜和标签信息，确定每个样本切片对应的待擦除区域；

其中，当所述标签信息指示所述样本切片具有伪影时，将所述样本切片中的伪影掩膜对应的伪影区域作为所述样本切片的待擦除区域。

在一些可选的实施例中，所述基于每个样本切片对应的分类损失，更新所述分类网络，得到所述分类模型，包括：

计算每个样本切片及每个样本切片对应的均值的二范数，以得到每个样本切片对应的片间损失，每个样本切片对应的均值是每个样本切片与前后相邻的样本切片的均值；

基于每个样本切片对应的分类损失和片间损失，更新所述分类网络，得到所述分类模型。

在一些可选的实施例中，层级装包的过程包括：

对所述样本CT图像的所有样本切片进行连续采样，得到多个第1层样本切片包；

分别对每个第k层样本切片包中的所有样本切片进行连续采样，得到每个第k层样本切片包对应的多个第k+1层样本切片包，其中，每个第k层样本切片包的大小大于每个第k+1层样本切片包的大小，k是正整数。

在一些可选的实施例中，每个第k层样本切片包的大小是每个第k+1层样本切片包的大小的2倍。

第二方面，本申请提供了一种伪影识别装置，所述装置包括：

切片获取模块，用于获取待识别CT图像，所述待识别CT图像包括至少一个待识别切片；

分类预测模块，用于分别将每个待识别切片输入至分类模型，以输出每个待识别切片对应的特征图和预测分类信息，每个待识别切片的预测分类信息用于指示是否具有伪影；

热图获取模块，用于若所述预测分类信息指示所述待识别切片具有伪影，则获取所述特征图对应的热力图；

伪影定位模块，用于根据所述热力图确定所述待识别切片中的伪影区域。

在一些可选的实施例中，所述分类模型的训练过程包括：

在一些可选的实施例中，层级装包的过程包括：

第三方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项伪影识别方法的步骤。

本申请提供伪影识别方法、装置及计算机可读存储介质，分别将待识别CT图像中的每个待识别切片输入至分类模型，从而得到每个待识别切片对应的特征图和分类信息，若分类信息指示待识别切片具有伪影，则根据该待识别切片的特征图得到对应的热力图(又称判别热图)，从而根据热力图确定该待识别切片的中的伪影区域，为医生评估伪影的严重程度提供了定量依据，大大缩短了识别出有严重伪影的CT切片所花费的时间，提高了检测效率和检测的准确性。

附图说明

下面结合附图和实施例对本申请进一步说明。

图1是本申请实施例提供的一种伪影识别方法的流程示意图。

图2是本申请实施例提供的一种待识别CT切片的热力图的示意图。

图3是本申请实施例提供的一种分类模型的训练过程的流程示意图。

图4是本申请实施例提供的一种更新分类网络的流程示意图。

图5是本申请实施例提供的另一种更新分类网络的流程示意图。

图6是本申请实施例提供的又一种更新分类网络的流程示意图。

图7是本申请实施例提供的一种分类模型的训练过程的原理示意图。

图8是本申请实施例提供的一种层级装包策略的原理示意图。

图9是本申请实施例提供的一种用于伪影定位的对抗擦除学习的原理示意图。

图10是本申请实施例提供的一种伪影识别装置的结构框图。

图11是本申请实施例提供的一种程序产品的结构框图。

具体实施方式

下面，结合附图以及具体实施方式，对本申请做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

在本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c，a和b和c，其中a、b和c可以是单个，也可以是多个。值得注意的是，“至少一项(个)”还可以解释成“一项(个)或多项(个)”。

还需说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施方式或设计方案不应被解释为比其他实施方式或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

计算机断层扫描(CT)是一种现代医学成像技术，广泛用于筛查、诊断和复查。虽然现在的CT成像技术已经非常成熟，但成像质量仍然会受到一些因素的影响。伪影(Artifacts)是CT图像存在的一个主要问题，伪影是指原本被扫描物体并不存在而在图像上却出现的各种形态的影像，伪影的出现降低了图像质量，影响对病情的诊断分析。伪影可能由金属材料、患者的运动等引起。在胸部检查中，CT扫描通常要求患者屏气以防止运动伪影。如果患者没有很好地练习屏气或呼吸操作，图像质量可能会受到呼吸运动伪影的影响。

由于大量的检查需求，医生等技术人员需要在非常有限的时间内完成整个图像采集过程，可能没有足够的时间对采集到的CT图像进行彻底的检查，如果图像出现伪影，可能会对结节筛选造成困难，并影响最终的诊断检查。在一些极端的情况下，发现CT图像质量较差(有严重伪影)的时间点可能很晚，已经到家的患者可能需要回医院重新进行胸部CT扫描成像，浪费大量的时间和精力。

当前对胸部CT呼吸运动伪影的控制主要是通过人为的干预措施实现，干预措施主要有两种：一、技术人员学习全部的有呼吸伪影的胸部CT，二、为患者提供胸部CT成像前最佳屏气的指导性视频。

研究表明对患者实施干预可以显著减少CT扫描中的呼吸运动伪影，但是对技术人员的干预却效果不佳，原因主要有两个，一是技术人员可能无法记住所有可能的情况，二是需要仔细检查每一个获得的切片，仍然有可能错过带有运动伪影的切片。

尽管对患者实施干预可以有效减少胸部CT中的呼吸运动伪影，但在技术人员层面仍没有更高效的质量控制方法。医学图像的智能质量控制主要集中在二维图像模式，如胸片、眼底镜、超声等，而CT图像属于三维图像模式，下文将介绍一种伪影识别方法、装置及计算机可读存储介质，来自动辨别CT图像中存在呼吸运动伪影的切片，得到伪影存在的具体位置并展示出伪影的严重程度。

参见图1，图1是本申请实施例提供的一种伪影识别方法的流程示意图。

所述方法包括：

步骤S101：获取待识别CT图像，所述待识别CT图像包括至少一个待识别切片。

待识别CT图像例如可以是胸部CT图像，本申请实施例对待识别CT图像的待识别CT切片的数量不作限定，待识别CT切片的数量例如可以是1个、10个或者100个。

步骤S102：分别将每个待识别切片输入至分类模型，以输出每个待识别切片对应的特征图和分类信息，每个待识别切片的分类信息用于指示是否具有伪影。

本申请实施例对分类模型不作限定，分类模型可以由预设的分类网络训练得到，分类网络可以是CNN(卷积神经网络)，例如SCNet、ResNet、VGG、RCNN、Fast RCNN、FasterRCNN、YOLO等。

可以利用分类网络的全连接层做二分类任务，用来判断每个切片是否具有伪影。

在一具体应用中，分类网络可以是SCNet-50，SCNet-50是一种自校正卷积网络，类似于分组卷积，它将特定层的卷积核分为多个部分，每个部分中的卷积核以异构方式被利用(例如，一部分通道应用2×2的卷积核，其余的通道应用1×1的卷积核)。具体而言，自校正卷积不是通过均匀地对原始空间中的输入执行所有卷积，而是首先通过下采样将输入转换为低维嵌入。采用由一个卷积核变换的低维嵌入来校准另一部分中卷积核的卷积变换。得益于这种异构卷积和卷积核间通信，可以有效地扩大每个空间位置的感受野。

步骤S103：若所述分类信息指示所述待识别切片具有伪影，则获取所述特征图对应的热力图。

在一些实施方式中，所述获取所述特征图对应的热力图，可以包括：

采用预设的机制获取所述特征图对应的热力图，所述预设的机制可以包括以下任意一种：CAM、Grad-CAM、Grad-CAM++、Coordinate Attention。

其中，CAM是Class Activation Mapping的缩写，即类激活映射图。

Grad-CAM即Gradient-weighted Class Activation Mapping，基于梯度的CAM，Grad-CAM是CAM的升级版。CAM需要修改网络结构并且重新训练，而Grad-CAM无需修改原有网络的结构，无需重新训练模型，并且可以适用于多种不同的任务(例如图像分类、图像分割等任务)。

Grad-CAM++是Grad-CAM的升级版。Grad-CAM具有一定的局限性，例如，当同样的类在同一张图上出现了多次时，Grad-CAM的性能将会下降，此外，对于只有单个对象的图像，Grad-CAM通常不能完整地捕获整个对象。为了解决这些问题，提供了Grad-CAM++，一种用于解释分类网络决策的通用可视化技术。相比于Grad-CAM，Grad-CAM++的定位更准确，并且更适合同类多目标的情况。

Coordinate Attention，简称CA(注意力机制)。与通过2维全局池化将特征张量转换为单个特征向量的通道注意力机制(SE注意力机制)不同，CA注意力机制将通道注意力分解为两个1维特征编码过程，分别沿2个空间方向聚合特征。这样，可以沿一个空间方向捕获远程依赖关系，同时可以沿另一空间方向保留精确的位置信息。然后将生成的特征图分别编码为一个对方向感知和位置敏感的注意力特征图，将其互补地应用于输入的特征图。

在一具体应用中，采用CAM机制获取所述特征图对应的热力图。

CAM(Class Activation Mapping，类激活映射图)机制，就是将分类模型在分类时使用的分类依据(图中对应的类别特征)在原图(即待识别切片的特征图)的位置进行可视化，并绘制成热力图，以此作为定位的依据。

绘制热力图的过程可以是：将0-255的灰度图进行伪彩色映射，得到彩色的热力图。伪彩色映射又称colormap或者color bar，是指按照灰度的高低将灰度图映射成彩色图。

其中，伪彩色映射的方式包括：Jet映射、Viridis映射、Inferno映射、Turbo映射等。

Jet映射具有高的对比度，可以有效突出图像中的细节，但是颜色变化较为剧烈，容易导致人眼对于实际数据的误解，很多平滑过渡的区域会被误解为有较大的梯度。

Viridis映射是一种线性亮度映射，对于人眼比较适宜，同时能修复某些Jet映射的问题。

Inferno映射具有Viridis线性特性的同时还具有更高的对比度，使得细节能够得到更好的展现。

Turbo映射相比jet映射更为平滑，不会引入错误的细节，可以有效去除伪细节、错误的颜色带。

热力图的大小与原图一致，像素值表示原图的对应区域对预测输出的影响程度，像素值(即cam值)越大贡献越大。像素值的取值范围从0到255。

步骤S104：根据所述热力图确定所述待识别切片中的伪影区域。

热力图中，伪影区域的像素值较大(例如，cam值为255)，非伪影区域的像素值较小(例如，cam值为0)。具体表现为：热力图上有颜色(不是黑白灰)的区域即伪影区域，颜色越重表示伪影越严重，而热力图上没有颜色(呈黑白灰)的区域即非伪影区域。

在一具体应用中，采用本申请实施例提供的伪影识别方法对待识别CT图像进行伪影识别，待识别CT切片的热力图如图2所示。

从图2可以看出，待识别CT切片有9个，每个切片的伪影区域分布在该切片右侧区域(即图2中白线所圈出的区域)。

由此，分别将待识别CT图像中的每个待识别切片输入至分类模型，从而得到每个待识别切片对应的特征图和分类信息，若分类信息指示待识别切片具有伪影，则根据该待识别切片的特征图得到对应的热力图(又称判别热图)，从而根据热力图确定该待识别切片的中的伪影区域，为医生评估伪影的严重程度提供了定量依据，大大缩短了识别出有严重伪影的CT切片所花费的时间，提高了检测效率和检测的准确性，不用等到患者离开医院了才发现CT图像质量不好，降低患者回院重新扫描的概率，节省了往返医院的时间和精力。

参见图3，图3是本申请实施例提供的一种分类模型的训练过程的流程示意图。

在一些可选的实施例中，所述分类模型的训练过程包括步骤S201～S204。

步骤S201：获取样本CT图像，对所述样本CT图像的所有样本切片进行层级装包，得到至少一个样本切片包。

在一些实施方式中，每个样本切片对应的标签信息可以包括标签值，若样本切片有伪影，则该样本切片的标签值为1；若样本切片没有伪影，则该样本切片的标签值为0。

在一些实施方式中，可以采用基于多示例学习框架(弱监督深度学习框架)的装包策略，对所述样本CT图像的所有样本切片进行层级装包。

在机器学习中，多示例学习(Multiple Instance Learning，简称MIL)是由监督型学习算法演变出的一种方法，定义“包”为多个示例的集合，具有广泛的应用。学习者不是接收一组单独标记的实例，而是接收一组带标签的包，每个包具有多个实例。在多实例二进制分类的简单情况下，如果包中的所有实例都是负的，则可以将包标记为负；如果包中至少有一个是正的，则包被标记为正。

也就是说，针对每个样本切片包，若样本切片包中至少有一个样本切片有伪影(标签值为1)，则该样本切片包被标记为正；若样本切片包中所有的样本切片都没有伪影(标签值都为0)，则该样本切片包被标记为负。

在一些可选的实施例中，层级装包的过程包括：

由此，可以采用从粗到细(切片包大小由大变小)的方式生成不同大小的样本切片包，首先，从一个相对粗粒度的角度，将多个连续的样本切片装入第1层样本切片包(即初始切片包)，然后，对每个第1层样本切片包进行连续采样，将第1层样本切片包中多个连续的样本切片装入第2层样本切片包，第2层样本切片包的大小比第1层样本切片包小，以此类推，同一样本切片经过多层级的装包，会依次进入不同的样本切片包中参与分类网络的训练过程，使得到的分类模型更好地拟合数据，具有有效的泛化能力，提高鲁棒性和拟合精度。

由此，每个第k层样本切片包的大小可以是每个第k+1层样本切片包的大小的2倍，这样一来，第k层样本切片包经过连续采样，就可以生成两个第k+1层样本切片包。

在一些实施方式中，层级装包时，样本切片包的大小取值集合为：

其中，初始切片包的大小为K。K例如可以是12、24或者30。切片包的大小即切片包中装有切片的数量。

在一具体应用中，K为12，m可以取0、1、2，与之对应的，样本切片包的大小取值集合为：{12，6，3}。

样本CT图像包括60个样本切片，首先，对60个样本切片进行连续采样，得到5个第1层样本切片包(第1层样本切片包的总数为5个)，每个第1层样本切片包的大小为12；

其次，对每个第1层样本切片包进行连续采样，得到2个第2层样本切片包(第2层样本切片包的总数为10个)，每个第2层样本切片包的大小为6；

之后，对每个第2层样本切片包进行连续采样，得到2个第3层样本切片包(第3层样本切片包的总数为20个)，每个第3层样本切片包的大小为3。

步骤S202：针对每个样本切片包，分别将所述样本切片包中的每个样本切片输入至分类网络，以输出每个样本切片对应的预测分类信息。

步骤S203：利用第一损失函数、每个样本切片对应的预测分类信息和每个样本切片对应的标签信息，计算得到每个样本切片对应的分类损失。

本申请实施例对第一损失函数和下文提到的第二损失函数不作限定，第一损失函数和第二损失函数可以采用交叉熵损失函数。

交叉熵损失函数Cross Entropy Loss，是分类问题中经常使用的一种损失函数。交叉熵Cross Entropy，主要用于度量两个概率分布间的差异性信息。

交叉熵可在分类模型中作为损失函数，p代表真实标记的分布，q则代表训练后的分类网络的预测标记分布，交叉熵损失函数可以衡量p与q的相似性。

步骤S204：基于每个样本切片对应的分类损失，更新所述分类网络，得到所述分类模型。

由此，分类模型可以通过分类网络训练得到，样本CT图像的样本切片数量较多，可以对所有样本切片进行层级装包，得到多个不同层级(大小)的样本切片包，在训练过程中，可以将每个样本切片包作为一组训练数据，分组依次进行训练，其中，按照样本切片包的层级由低至高依次进行训练，先将第1层样本切片包输入至分类网络，利用第1层样本切片包对应的装包损失优化分类网络，再将第2层样本切片包输入至优化后的分类网络，利用第2层样本切片包对应的装包损失优化采用第1层样本优化后的分类网络，以此类推。也就是说，训练用的样本切片包的大小逐渐变小，这是一种由粗到细的训练方式。

采用上述由粗到细的训练方式，针对每个样本切片包，将样本切片包内的每个样本切片输入至预设的分类网络，以输出对应的预测分类信息，结合每个样本切片的标签信息，计算得到样本切片包内每个样本切片对应的分类损失，对分类网络的参数进行更新，可以使得到的分类模型更好地拟合数据，具有有效的泛化能力，提高鲁棒性和拟合精度。

参见图4，图4是本申请实施例提供的一种更新分类网络的流程示意图。

所述基于每个样本切片对应的分类损失，更新所述分类网络，得到所述分类模型(步骤S204)，包括步骤S301～S302。

步骤S301：基于每个样本切片的预测分类信息对应的概率值，计算每个样本切片在所述样本切片包中的损失权重。

在一些实施方式中，计算每个样本切片在所述样本切片包中的损失权重的过程可以包括：

针对同一样本切片包中的每个样本切片，计算该样本切片包中所有样本切片的预测分类信息对应的概率值的总和，再计算所述样本切片的预测分类信息对应的概率值与所述总和的比值，将所述比值作为所述样本切片在该样本切片包中的损失权重。

损失权重的具体表达式如下：μ_i＝p_i/∑_ip_i。

其中，i表示样本切片包内第i个样本切片，μ_i表示该样本切片的损失权重，p_i表示分类网络预测该样本切片有伪影的概率值。

步骤S302：基于每个样本切片对应的分类损失和损失权重，更新所述分类网络，得到所述分类模型。

由此，预测分类信息可以是伪影的概率值，根据每个样本切片的概率值，计算每个样本切片在样本切片包中的损失权重，也就是说，为样本切片包内每个样本切片的分类损失赋予了对应的损失权重(即相对重要性)，这样一来，概率值越高的样本切片对应的损失权重越大，使得概率值高的样本切片对整个样本切片包承担更多的责任，同时更加关注该样本切片的分类损失，训练得到的分类模型可以更准确地识别出存在伪影的切片。

在一些实施方式中，所述基于每个样本切片对应的分类损失和损失权重，更新所述分类网络，得到所述分类模型(步骤S302)，可以包括：

基于所述样本切片包中的每个样本切片对应的分类损失和损失权重，计算得到所述样本切片包对应的装包损失；

基于所述样本切片包对应的装包损失，更新所述分类网络，得到所述分类模型。

装包损失的具体表达式如下：

其中，

表示装包损失，γ是一个超参数，y_i表示该样本切片(包内第i个样本切片)的标签值，

表示交叉熵损失函数，

表示该样本切片的分类损失。超参数是在分类模型训练之前预先设定的参数，而不是通过训练得到的参数数据。

在一些可选的实施例中，所述分别将所述样本切片包中的每个样本切片输入至分类网络，以输出每个样本切片对应的预测分类信息(步骤S202)，包括：

分别将所述样本切片包中的每个样本切片输入至分类网络，以输出每个样本切片对应的预测分类信息和特征图。

参见图5，图5是本申请实施例提供的另一种更新分类网络的流程示意图。

所述基于每个样本切片对应的分类损失，更新所述分类网络，得到所述分类模型(步骤S204)，包括步骤S401～S404。

步骤S401：获取每个样本切片的特征图对应的热力图，基于每个样本切片的热力图获取对应的伪影掩膜，以确定每个样本切片对应的待擦除区域。

在一些实施方式中，所述基于每个样本切片的热力图获取对应的伪影掩膜，可以包括：

采用阈值分割的方式对样本切片的热力图进行分割处理，得到所样本切片对应的伪影掩膜，其中，阈值分割设定的阈值可以是cam值最大值的10％、20％或者30％。

阈值分割法是一种基于区域的图像分割技术，原理是利用图像中要提取的目标与背景在灰度上的差异，通过设置阈值来把像素级分成若干类，从而实现目标与背景的分离。

阈值分割的流程：通过判断图像中每一个像素点的特征属性是否满足阈值的要求，来确定图像中的该像素点是属于目标区域还是背景区域，从而将一幅灰度图像转换成黑白二值图像。如果图像中某个像素的灰度值大于等于该阈值，则将该像素的灰度值置为255，否则将其灰度值置为0。

在一具体应用中，热力图每个像素的灰度值与cam值对应，伪影区域是热力图中的高亮区域，cam值比其他区域高。当把阈值设定为cam值最大值的20％时，经过分割处理后，伪影区域的灰度值为255，其余区域的灰度值为0。

由此，当样本切片的标签信息指示该样本切片具有伪影时，可以将该样本切片的伪影区域作为待擦除区域进行擦除。如果伪影区域定位精准，将擦除后的结果输入至分类网络，得到的新的预测分类信息应该指示不存在伪影；但是，如果伪影区域定位偏离实际，待擦除区域以外的区域仍存在伪影，得到的新的预测分类信息就会指示仍存在伪影。

通过多次迭代的对抗擦除方式计算新的预测分类信息与标签信息的定位损失，利用定位损失对分类网络的参数进行更新，得到的分类模型可以更准确地定位出切片中伪影区域。

对抗擦除的具体表达式如下：I′_i＝I_i×((1-cam_i)×y_i+(1-y_i)×cam_i)。

其中，I′_i表示包内第i个样本切片擦除后的结果，I_i表示包内第i个样本切片，yi表示该样本切片(包内第i个样本切片)的标签值，cam_i表示第i张样本切片的cam值，伪影区域的cam值为1，非伪影区域的cam值为0。

在一些实施方式中，每个样本切片对应的标签信息可以包括标签值，若样本切片有伪影，则该样本切片的标签值为1；若样本切片没有伪影，则该样本切片的标签值为0。标签信息可以是预先设置好的，例如由人工预先标注得到。

若样本切片的标签值为1(具有伪影，此时y_i＝1)，样本切片擦除后的结果为：I_i×(1-cam_i)，也就是说，将伪影掩膜(伪影区域)作为样本切片的待擦除区域，样本切片擦除后的结果为擦除伪影后的样本切片(对于原本cam值为1的伪影区域，擦除后的结果为I_i×0，即伪影区域被擦除；对于原本cam值为0的非伪影区域，擦除后的结果为I_i，即非伪影区域未做改变)；

若样本切片的标签值为0(没有伪影，此时y_i＝0)，样本切片擦除后的结果为：I_i×cam_i，也就是说，样本切片没有伪影时，样本切片的cam值全为0，擦除后的结果为I_i×0。

步骤S402：分别擦除每个样本切片中的待擦除区域，将擦除后的结果输入至所述分类网络，得到每个样本切片对应的新的预测分类信息。

步骤S403：利用第二损失函数、每个样本切片对应的新的预测分类信息和每个样本切片对应的标签信息，计算得到每个样本切片对应的定位损失。

在一些实施方式中，第二损失函数采用交叉熵损失函数，定位损失的具体表达式如下：

其中，I′_i表示包内第i个样本切片擦除后的结果，p′_i表示该样本切片对应的新的预测分类信息的概率值，y_i表示该样本切片的标签值。

步骤S404：基于每个样本切片对应的分类损失和定位损失，更新所述分类网络，得到所述分类模型。

由此，为了准确地定位切片中的伪影区域，可以在分类模型的训练过程中，利用分类网络输出样本切片对应的特征图，利用CAM机制对特征图进行处理，得到特征图对应的热力图，根据热力图获取对应的伪影掩膜，采用对抗擦除学习的方式将样本切片中的待擦除区域擦除，将擦除后的结果输入至分类网络，得到新的预测分类信息，根据每个样本切片对应的新的预测分类信息和标签信息，计算得到每个样本切片对应的定位损失，根据定位损失更新分类网络，可以使得到的分类模型更准确地定位出切片中的伪影区域。

参见图6，图6是本申请实施例提供的又一种更新分类网络的流程示意图。

在一些可选的实施例中，所述基于每个样本切片对应的分类损失，更新所述分类网络，得到所述分类模型(步骤S204)，包括步骤S501～S502。

步骤S501：计算每个样本切片及每个样本切片对应的均值的二范数，以得到每个样本切片对应的片间损失，每个样本切片对应的均值是每个样本切片与前后相邻的样本切片的均值。

在一些实施方式中，片间损失的具体表达式如下：

其中，

表示片间损失，l₂表示二范数，I_i表示包内第i个样本切片，I_i-1表示包内第i-1个样本切片，I_i+1表示包内第i+1个样本切片。

步骤S502：基于每个样本切片对应的分类损失和片间损失，更新所述分类网络，得到所述分类模型。

由此，范数是具有“长度”概念的函数，在向量空间内，范数为所有的向量的赋予非零的正长度或者大小，其中，二范数是指向量各元素的平方和然后求平方根。

可以计算样本切片与前后相邻的样本切片的均值，再计算样本切片与该均值的二范数，将该二范数作为样本切片对应的片间损失，更新分类网络，这样可以保证分类模型针对连续切片的伪影定位的一致性。

参见图7至图9，图7是本申请实施例提供的一种分类模型的训练过程的原理示意图，图8是本申请实施例提供的一种层级装包策略的原理示意图，图9是本申请实施例提供的一种用于伪影定位的对抗擦除学习的原理示意图。

其中，分类模型的具体训练步骤如下：

1)准备CT训练数据，训练数据分为正负样本。正样本为有呼吸运动伪影的胸部CT图像，包括原图及其对应的伪影掩膜；负样本为无呼吸运动伪影的胸部CT图像，包括原图和空的伪影掩膜。

2)将训练数据进行数据增强及预处理后输入分类网络，示例性的以SCNet-50作为分类网络，对训练样本进行层级装包处理，每层包的大小满足：

其中K值为12，即初始包的大小为12。

4)根据分类网络得到样本图像的预测分类信息和特征图，预测分类信息为样本切片伪影的概率值，使用CAM机制处理SCNet-50输出的特征图，得到每个样本切片的特征图对应的热力图。

5)计算每个样本切片对应的概率值和标签的分类损失，分类损失的损失函数定义为：

μ_i＝p_i/Σ_ip_i.

其中，i表示包内第i个样本切片，p_i表示网络预测该样本切片有伪影的概率值，yi表示该样本切片的标签值0或者1，l表示交叉熵损失函数，γ是一个超参数。这个损失自适应地赋予包内每个切片的损失一个相对重要性

如此一来，预测值越高的切片占有的比重就越大，可以有效确保分类的准确性。

6)根据热力图cam对原始样本切片进行擦除操作，然后重新输入SCNet-50。擦除操作可公式化为：I′_i＝I_i×((1-cam_i)×y_i+(1-y_i)×cam_i)。

其中，I′_i第i张样本切片擦除后的结果，I_i表示输入的第i张样本切片，cam_i表示第i张样本切片的伪影判别热图，y_i表示第i张样本切片的标签值。

7)将I′_i重新输入网络，得到新的预测值p′_i，使用交叉熵损失函数作为对抗擦除学习(定位损失)的损失函数即：

8)为了保证连续切片伪影定位的一致性，引入了片间损失，定义为样本切片自身与前后相邻样本切片均值的二范数，表示为：

其中，

表示片间损失，l₂表示二范数，I_i表示输入的第i张样本切片，I_i-1表示输入的第i-1张样本切片，I_i+1表示输入的第i+1张样本切片。

在分类模型的训练过程中，采用基于多示例学习框架的装包策略，对样本切片进行层级装包，得到由粗到细的(多层级)样本切片包，随着层级的递增，样本切片包的大小变小，利用第k+1层样本切片包对应的装包损失优化采用第k层样本优化后的分类网络，从而逐步提高分类模型对伪影特征的灵敏度。

同时，自适应地赋予包内每个样本切片的损失项一个相对权重，鼓励预测值高的样本切片对整个包承担更多的责任，同时更加关注该样本切片的损失值，可以更准确的识别出伪影严重的样本切片。

此外，采用CAM机制生成每个样本切片的热力图，通过额阈值分割的方式得到伪影的判别掩膜，进行多次迭代对抗擦除学习来获得最终的伪影位置，由此，更准确地定位出样本切片中伪影的位置。

并且，将样本切片自身与前后相邻样本切片均值的二范数作为对应的片间损失，利用片间损失保证连续切片伪影定位的一致性。

参见图10，本申请实施例提供了一种伪影识别装置的结构框图。

所述伪影识别装置的具体实现方式与上述伪影识别方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。

所述装置包括：

切片获取模块101，用于获取待识别CT图像，所述待识别CT图像包括至少一个待识别切片；

分类预测模块102，用于分别将每个待识别切片输入至分类模型，以输出每个待识别切片对应的特征图和预测分类信息，每个待识别切片的预测分类信息用于指示是否具有伪影；

热图获取模块103，用于若所述预测分类信息指示所述待识别切片具有伪影，则获取所述特征图对应的热力图；

伪影定位模块104，用于根据所述热力图确定所述待识别切片中的伪影区域。

在一些可选的实施例中，所述分类模型的训练过程包括：

在一些可选的实施例中，层级装包的过程包括：

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，所述计算机程序被执行时实现本申请实施例中伪影识别方法的步骤，其具体实现方式与上述伪影识别方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。

图11示出了本实施例提供的用于实现上述伪影识别方法的程序产品300，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品300不限于此，在本申请中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品300可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言诸如Java、C++等，还包括常规的过程式程序设计语言诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本申请从使用目的上，效能上，进步及新颖性等观点进行阐述，已符合专利法所强调的功能增进及使用要件，本申请以上的说明书及说明书附图，仅为本申请的较佳实施例而已，并非以此局限本申请，因此，凡一切与本申请构造，装置，特征等近似、雷同的，即凡依本申请专利申请范围所作的等同替换或修饰等，皆应属本申请的专利申请保护的范围之内。

Claims

1.一种伪影识别方法，其特征在于，所述方法包括：

根据所述热力图确定所述待识别切片中的伪影区域。

2.根据权利要求1所述的伪影识别方法，其特征在于，所述分类模型的训练过程包括：

3.根据权利要求2所述的伪影识别方法，其特征在于，所述预测分类信息为伪影的概率值；

4.根据权利要求2所述的伪影识别方法，其特征在于，所述分别将所述样本切片包中的每个样本切片输入至分类网络，以输出每个样本切片对应的预测分类信息，包括：

5.根据权利要求4所述的伪影识别方法，其特征在于，所述确定每个样本切片对应的待擦除区域，包括：

6.根据权利要求2所述的伪影识别方法，其特征在于，所述基于每个样本切片对应的分类损失，更新所述分类网络，得到所述分类模型，包括：

7.根据权利要求2所述的伪影识别方法，其特征在于，层级装包的过程包括：

8.根据权利要求7所述的伪影识别方法，其特征在于，每个第k层样本切片包的大小是每个第k+1层样本切片包的大小的2倍。

9.一种伪影识别装置，其特征在于，所述装置包括：

热图获取模块，用于若所述分类信息指示所述待识别切片具有伪影，则获取所述待识别切片的特征图对应的热力图；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一项所述伪影识别方法的步骤。