CN110570417B - 肺结节分类装置及图像处理设备 - Google Patents
肺结节分类装置及图像处理设备 Download PDFInfo
- Publication number
- CN110570417B CN110570417B CN201910864495.5A CN201910864495A CN110570417B CN 110570417 B CN110570417 B CN 110570417B CN 201910864495 A CN201910864495 A CN 201910864495A CN 110570417 B CN110570417 B CN 110570417B
- Authority
- CN
- China
- Prior art keywords
- image block
- feature vector
- image
- classified
- nodule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 53
- 230000002685 pulmonary effect Effects 0.000 title claims description 29
- 239000013598 vector Substances 0.000 claims abstract description 103
- 206010056342 Pulmonary mass Diseases 0.000 claims abstract description 90
- 238000000034 method Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 16
- 230000010354 integration Effects 0.000 claims description 15
- 238000013135 deep learning Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 9
- 238000012886 linear function Methods 0.000 claims description 8
- 210000004072 lung Anatomy 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 2
- 238000013507 mapping Methods 0.000 claims 1
- 238000002591 computed tomography Methods 0.000 description 41
- 238000012549 training Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 201000005202 lung cancer Diseases 0.000 description 3
- 208000020816 lung neoplasm Diseases 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003211 malignant effect Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明的实施例提供了一种肺结节分类装置及图像处理设备，根据从第一图像块提取的第一特征向量对待识别肺结节进行定位，以将第一图像块转变为另一尺度的、基本只包含待识别肺结节的第二图像块，使得从第二图像块中提取的第二特征向量在第一特征向量的基础上引入待识别肺结节的更多细节信息。并且，由于第二图像块基本只包含待识别肺结节，减少了不必要的干扰信息，使得基于第一特征向量和第二特征向量得到的肺结节分类结果具有更高的准确度。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种肺结节分类装置及图像处理设备。
背景技术
肺癌是发病率和死亡率最高的恶性癌症，严重影响人类的健康。CT(ComputedTomography，电子计算机断层扫描)是诊断肺癌最有效的手段之一，CT图像中的肺结节是肺癌的重要征象。肺结节与正常组织具有相似的属性，导致医生阅片出现大量的假阳性检出和误诊，导致病人进行不必要的活检或者无法及时进行治疗。
目前，通常采用计算机辅助诊断技术实现肺结节的自动分类，依据分类结果辅助医生诊断，但现有的自动分类方法的准确度较低。
发明内容
有鉴于此，本发明的目的之一在于提供一种肺结节分类装置及图像处理设备。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供一种肺结节分类方法，所述方法包括：
获取包含待分类肺结节的第一图像块；
从所述第一图像块中提取第一特征向量；
对所述第一特征向量进行处理，得到所述待分类肺结节的位置信息；
根据所述位置信息对所述第一图像块进行裁剪，并对裁剪后的第一图像块进行缩放，得到第二图像块；
从所述第二图像块中提取第二特征向量；
根据所述第一特征向量和所述第二特征向量确定所述待分类肺结节所属的类别。
第二方面，本发明实施例提供一种肺结节分类装置，包括：
获取模块，用于获取包含待分类肺结节的第一图像块；
第一提取模块，用于从所述第一图像块中提取第一特征向量；
位置确定模块，用于对所述第一特征向量进行处理，得到所述待分类肺结节的位置信息；
尺度调整模块，用于根据所述位置信息对所述第一图像块进行裁剪，并对裁剪后的第一图像块进行缩放，得到第二图像块；
第二提取模块，用于从所述第二图像块中提取第二特征向量；
分类模块，用于根据所述第一特征向量和所述第二特征向量确定所述待分类肺结节所属的类别。
第三方面，本发明实施例提供一种图像处理设备，包括处理器及机器可读存储介质，所述机器可读存储介质上存储有机器可执行指令，所述机器可执行指令被执行时促使所述处理器实现前述实施方式中任意一项所述的方法。
第四方面，本发明实施例提供一种机器可读存储介质，其上存储有机器可执行指令，所述机器可执行指令被执行时实现前述实施方式中任意一项所述的方法。
相较于现有技术，本发明实施例具有的有益效果包括：
本发明实施例提供的肺结节分类装置及图像处理设备，根据从第一图像块提取的第一特征向量对待识别肺结节进行定位，以将第一图像块转变为另一尺度的、基本只包含待识别肺结节的第二图像块，使得从第二图像块中提取的第二特征向量在第一特征向量的基础上引入待识别肺结节的更多细节信息。并且，由于第二图像块基本只包含待识别肺结节，减少了不必要的干扰信息，使得基于第一特征向量和第二特征向量得到的肺结节分类结果具有更高的准确度。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的一种图像处理设备的方框示意图；
图2示出了本发明实施例提供的一种肺结节分类装置的功能模块框图；
图3示出了本发明实施例提供的一种深度学习网络模型的结构示意图；
图4示出了本发明实施例提供的一种注意力残差单元的结构示意图；
图5示出了本发明实施例提供的第一注意力残差网络与位置注意力网络的一种内部结构连接示意图；
图6示出了本发明实施例提供的一种特征集成网络的结构示意图；
图7示出了本发明实施例提供的一种肺结节分类方法的流程示意图。
图标：100-图像处理设备；110-肺结节分类装置；111-获取模块；112-第一提取模块；113-位置确定模块；114-尺度调整模块；115-第二提取模块；116-分类模块；120-处理器；130-机器可读存储介质；140-通信单元；300-深度学习网络模型；310-第一注意力残差网络；320-第二注意力残差网络；330-位置注意力网络；331-第一部分；332-第二部分；340-特征集成网络；400-注意力残差单元。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要其进行进一步定义和解释。
请参照图1，图1是本实施例提供的一种图像处理设备100的方框示意图。图像处理设备100可以是任意具有图像处理功能的电子设备，例如可以是服务器、个人计算机等。
图像处理设备100可以包括肺结节分类装置110、处理器120、机器可读存储介质130及通信单元140。
其中，处理器120、机器可读存储介质130及通信单元140各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互间可以通过一条或多条通讯总线或信号线实现电性连接。肺结节分类装置110包括至少一个可以以软件形式存储于机器可读存储介质130中的功能模块，处理器120用于调用并执行机器可读存储介质130中的指令，以实现后文描述的肺结节分类方法。
通信单元140用于建立图像处理设备100与外部设备的通信连接，以实现数据交互，例如用于从外部设备获得待处理图像，或将分类结果传输给外部设备。
应当理解的是，图1所示的结构仅为图像处理设备100的结构示意图，所述图像处理设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2，图2中示出了本实施例提供的一种肺结节分类装置110的功能模块框图。从功能上划分，肺结节分类装置110可以包括获取模块111、第一提取模块112、位置确定模块113、尺度调整模块114、第二提取模块115以及分类模块116。
其中，获取模块111用于获取包含待分类肺结节的第一图像块。
第一提取模块112用于从所述第一图像块中提取第一特征向量。
位置确定模块113用于对第一特征向量进行处理，得到所述待分类肺结节的位置信息。
尺度调整模块114用于根据所述位置信息对所述第一图像块进行裁剪，并对裁剪后的第一图像块进行缩放，得到第二图像块。
第二提取模块115用于从所述第二图像块中提取第二特征向量。
本实施例中，第二提取模块115可以通过第二特征提取网络实现，第二特征提取网络的输入为第二图像块，输出为第二特征向量。
分类模块116用于根据所述第一特征向量和所述第二特征向量确定所述待分类肺结节所属的类别。
通过上述各个模块，可以基于从一个尺度的图像块中提取的第一特征向量确定肺结节的位置信息，依据该位置信息对图像块进行尺度调整，得到另一个尺度的图像块，再从该另一个尺度的图像块中提取干扰较少的、具有较多细节信息的第二特征向量，使得基于第一特征向量和第二特征向量得到的肺结节分类结果更加准确。
本实施例中，获取模块111可以从CT图像中获取所述第一图像块，具体获取方式可以有多种。
例如，可以预先在CT图像中标注出肺结节的位置，再由获取模块111从CT图像上标注的位置提取预设尺寸(w，h，l)的图像块，作为第一图像块。其中，w，h，l分别表示图像块的宽度、高度及厚度。示例性地，可以从标注的位置提取大小为(48，48，48)的图像块作为第一图像块。
又如，可以根据预先获得的肺结节掩膜(mask)，从CT图像中识别与该肺结节掩膜匹配的图像块，作为第一图像块。
应当理解，还可以通过其他方式获取第一图像块，本实施例对此没有限制。例如，可以分别通过上述两种方式进行获取。在此情况下，获取到的各个第一图像块的大小可能存在差异，为了便于处理，可以将获取的各个第一图像块处理为相同大小。
本实施例中，CT图像为三维结构，包括多个体积元素(简称“体素”)，每个体素为一个单位的立体空间，每个体素具有对应的CT值，CT值表征该体素对X射线的吸收系数或衰减系数大小，CT值的单位为亨氏(Hounsfield，Hu)。
由于正常或异常的身体组织的CT图像具有不同的CT值范围，范围波动在-1000Hu～+1000Hu之间，而人类眼睛的分辨能力相对有限，因此，针对不同组织或病变部位的CT图像，通常需要选择适合该CT图像的CT值范围，以获得最佳的显示效果。其中，所述CT值范围大小称为“窗宽”，所述CT值范围的中心称为“窗位”。例如，本实施例中，肺窗的最佳显示范围为-1200Hu～600Hu，则其窗宽为1800Hu，窗位为-300Hu。
在实施时，获取模块111可以根据肺窗的窗宽和窗位，对获取的每个第一图像块中的每个体素的CT值进行调整，使得每个体素的CT值位于肺窗的窗宽和窗位所界定的范围内。例如，可以对每个第一图像块中的每个体素的CT值做截断处理，即，对于CT值大于600的体素，将其CT值设置为600；对于CT值小于-1200的体素，将其CT值设置为-1200。
对于CT值调整后的每个第一图像块，可以进一步对其CT值进行标准化，以便于后续处理。例如，可以通过如下公式对每个体素的CT值进行标准化：
其中，Vi表示第i个体素未经标准化的CT值，μ和σ分别表示未经标准化的第一图像块中各个体素的CT值的均值和标准差，Ni表示第i个体素标准化后的CT值。
实施时，可以利用经过调整和标准化的第一图像块进行后续处理。
如上所述，第一提取模块112、位置确定模块113、尺度调整模块114、第二提取模块115和分类模块116分别可以通过相应的网络结构实现。本实施例中，所述网络结构可以组成一个深度学习网络模型。
本实施例中，第一提取模块112可以采用第一注意力残差网络实现，输入为第一图像块，输出为第一特征向量。
位置确定模块113和尺度调整模块114可以通过一位置注意力网络实现。位置注意力网络的输入为第一特征向量，依据第一特征向量得到第一图像块中的待识别肺结节的位置信息，所述位置信息例如可以包括待识别肺结节的中心点在第一图像块中的坐标，以及待识别肺结节的半径，然后根据位置信息将第一图像块裁剪为基本只包括待识别肺结节的图像块，再将裁剪后的图像块的尺度进行调整，例如将裁剪后的图像块放大，将放大后的图像块作为第二图像块输出。
第二提取模块115可以采用第二注意力残差网络实现，输入为第二图像块，输出为第二特征向量。
分类模块116可以通过特征集成网络实现，特征集成网络的输入为第一特征向量和第二特征向量，用于对第一特征向量和第二特征向量进行集成，集成方式例如可以是将第一特征向量和第二特征向量拼接成一个特征向量，又如，可以是将第一特征向量和第二特征向量加权叠加为一个特征向量，再利用得到的特征向量对待分类肺结节进行分类。
如上描述的，第一提取模块、位置确定模块、尺度调整模块、第二提取模块和分类模块可以通过相应的网络实现，本实施例中，用于实现前述多个模块的网络可以组成一个深度学习网络模型。
请参照图3，其中示出了一种用于肺结节分类的深度学习网络模型300的架构示意图。深度学习网络模型300包括第一注意力残差网络310、第二注意力残差网络320、位置注意力网络330以及特征集成网络340。
其中，第一注意力残差网络310的输出端分别与位置注意力网络330的输入端和特征集成网络340的输入端相连，位置注意力网络330的输出端与第二注意力残差网络320的输入端相连，第二注意力残差网络320的输出端与特征集成网络340的输入端相连。
本实施例中，第一注意力残差网络310和第二注意力残差网络320具有相似的结构，均包括至少一个注意力残差单元，请参照图4，其中示出了一个注意力残差单元400的结构示意图。
每个注意力残差单元包括依次连接的第一卷积层L1、第二卷积层L2和叠加处理层L3。示例性地，第一卷积层L1和第二卷积层L2的卷积核大小均可以为3×3×3，当然也可以为其他大小，本实施例对此没有限制。
第一卷积层L1用于对输入信息进行卷积处理，输出第一特征图。
本实施例中，注意力残差网络的输入信息是其包含的第一个注意力残差单元的输入信息，其他注意力残差单元以前一个注意力残差单元的输出信息为输入信息。每个注意力残差单元的输入信息是其包含的第一卷积层L1的输入信息。
第一卷积层L1输出的第一特征图被输入第二卷积层L2，第二卷积层L2对第一特征图进行卷积处理，输出第二特征图。
第二特征图和第一卷积层L1的输入信息一并被输入到叠加处理层L3，叠加处理层L3对第二特征图、所述输入信息以及所述输入信息与一目标权重的乘积进行叠加，并输出叠加结果，该叠加结构即为注意力残差单元的输出信息。
其中，目标权重表征所述输入信息与所述输入信息包含的特征与待分类肺结节的分类结果的关联程度。示例性地，可以在每个注意力残差单元中设置一激活层L4，激活层L4与第二卷积层L2相连，第二卷积层L2输出的第二特征图被输入到激活层L4，激活层L4将第二特征图映射成[0,1]区间的一个概率值，所述概率值表征第二特征图与待识别肺结节的关联程度。目标权重可以是所述概率值、所述输入信息以及一预设的空间特征响应权重α的乘积。
其中，激活层L4可以采用softmax激活函数实现，空间特征响应权重α可以通过后向传播的方式进行训练，其初始值可以根据经验设定成0.45-0.55，比如0.5。
本实施例中，叠加处理层L4将输入信息叠加到第二特征图，避免了后续训练过程中的梯度消失、网络退化，改善了模型训练的效果；将目标权重叠加到第二特征图，按照输入信息中的特征与分类结果的关联程度对输入信息进行了加权，能够提高提取的特征与待识别肺结节的关联程度，从而提高基于提取的特征得到的分类结果的准确度。
请参照图5，其中示出了本实施例提供的位置注意力网络与第一注意力残差网络的内部结构连接示意图。
示例性地，第一注意力残差网络310包括依次连接的两个注意力残差单元400和一个池化层(如，maxpooling)，池化层用于对经过卷积处理的特征图的尺度进行调整，以便于后续处理。
进一步地，为了对注意力残差网络进行训练，可以在每个注意力残差网络的输出端连接第三卷积层L5和全局池化层L6(globalmax pooling)，其中，第三卷积层L5用于降低通道数，全局池化层L6用于降低特征图大小，以减小训练过程的数据处理量。
在此情况下，第一注意力残差网络310可以依次经第三卷积层L5和全局池化层L6与位置注意力网络330相连。其中，位置注意力网络330可以包括两个部分，第一部分331用于实现位置确定模块113的功能，第二部分332用于实现尺度调整模块114的功能。
第一部分331的输入与输出之间的关系，可以通过如下公式表示：
[tx，ty，tz，tl]＝g(Wc*X)， (2)
其中，X表示第一图像块，Wc表示第一注意力残差网络310的模型参数，Wc*X表示第一注意力残差网络310输出的第一特征向量。g()表示第一部分331对应的操作，[tx，ty，tz，tl]表示第一图像块中待分类肺结节的位置信息，其中，tx，ty，tz分别表示待分类肺结节的中心点在x、y、z三个方向上的坐标值，tl表示待分类肺结节的半径。
可选地，第一部分331可以包括依次串联的第一线性函数、Tanh函数、第二线性函数和Sigmoid函数，其中第一线性函数和第二线性函数均为Linearfunction。
本实施例中，可以带标注的包含肺结节的图像块样本对所述第一部分331进行训练，所述标注为图像块样本中的肺结节的真实位置信息。训练过程可以如下：
首先利用经过训练的第一注意力残差网络310从图像块样本中提取特征向量，再将提取的特征向量输入所述第一部分331，所述第一部分331通过线性回归，可以得到肺结节的预测位置信息，采用损失函数计算预测的位置信息和标注的真实位置信息的损失，基于该损失对第一部分331的各个函数的参数进行调整。重复前述过程，可以得到训练好的第一部分331。
第二部分332可以包括依次连接的Boxcar函数和双线性插值(Bilinearinterpolation)函数。
其中，Boxcar函数的输入包括第一部分331输出的位置信息[tx，ty，tz，tl]以及第一图像块，并可以依据该位置信息生成肺结节掩膜，再依据肺结节掩膜对输入的第一图像块进行裁剪。前述过程可以通过以下公式表示：
其中，M(tx，ty，tz，tl)表示所述肺结节掩膜，可以通过如下公式计算得到：
M＝[(x-tx(tl))-(x-tx(br))]*[(y-ty(tl))-(y-ty(br))]*[(z-tz(tl))-(z-tz(br))]，(4)
本实施例中，将待识别肺结节近似为一个矩形，以该矩形的中心为原点，以从左到右为x轴的正方向，以从上到下为y轴的正方向，以从前到后为z轴的正方向，建立空间直角坐标系。则，在公式(4)中，tx(tl)、ty(tl)、tz(tl)分别表示待识别肺结节左上角顶点的坐标，tx(br)、ty(br)、tz(br)表示待识别肺结节右下角顶点的坐标。其中：
tx(tl)＝tx-tl，ty(tl)＝ty-tl，tz(tl)＝tz-tl，
tx(br)＝tx+tl，ty(br)＝ty+tl，tz(br)＝tz+tl。
公式(4)中，x、y、z表示第一图像块中的一点的坐标，h()为逻辑(logistic)函数，其表达式如下：
(x)＝1/(1+exp(-kx)}，
其中，k为正整数，可以为2，本实施例对此没有限制。
实际应用中，第一图像块中可能包括一个以上的肺结节。采用Boxcar函数，通过训练，可以从第一图像块中选取出最关键(例如，与分类结果的关联程度最大)的肺结节，使得后续获得的第二图像块仅包含该最关键的肺结节。此外，由于Boxcar函数为连续函数，有利于在训练过程中通过后向传播进行参数优化。
请参照图6，其中以采用拼接方式对第一特征向量和第二特征向量进行集成为例，示出了本实施例提供的一种特征集成网络340的结构示意图。特征集成网络340可以包括依次连接的拼接层L7、全连接层、softmax激活层。其中，全连接层可以为多个，例如图6中示出了两个全连接层fc(fully connected layer)。
拼接层用于将输入特征集成网络340的第一特征向量和第二特征向量拼接成一个特征向量。两个全连接层以及一个softmax激活层用于实现分类，基于拼接的特征向量得到待识别肺结节的类别信息。
本实施例中，深度学习网络模型300在使用前需要进行训练，训练所需的样本数据可以通过如下流程获得：
(1)获取指定数量的CT图像，每个CT图像包含一个以上肺结节，为每个CT图像中的肺结节添加标注信息，所述标注信息包括肺结节的位置和轮廓。
(2)采用已有的肺结节自动检测算法对每个CT图像进行处理，生成包含肺结节的候选图像块，或者根据标注信息从每个CT图像中提取出候选图像块，得到包括多个候选图像块的原始数据集。
(3)从原始数据集中选取多个候选图像块，按照上述公式(1)对选取的每个候选图像块的CT值进行标准化处理，得到图像块样本。然后，采用诸如旋转、翻转、平移以及缩放等方式对图像块样本进行处理，以实现数据增强，得到更多的图像块样本。如此，可以构建包括多个图像块样本的样本数据集。
训练过程可以如下：
(1)获取固定大小的图像块样本，例如大小为(48，48，48)的图像块样本，对第一注意力残差网络进行训练。
(2)获取多个图像块样本，将其处理为只包含肺结节的图像块，并对只包含肺结节的图像块的尺度进行调整，例如调整为(32，32，32)的大小，再利用大小为(32，32，32)的、只包含肺结节的图像块样本对第二注意力残差网络进行训练。
(3)对整个深度学习网络模型300进行端到端的训练：加载第一注意力残差网络310和第二注意力残差网络320的网络权重，选取大小为(48，48，48)的图像块样本作为深度学习网络模型300的输入，深度学习网络模型300将按照前文描述的流程对输入的图像块样本进行处理，并输出该图像块样本中的肺结节的类别信息。
(4)在端到端训练过程中，采用如下所示的损失函数对深度学习网络模型300的模型参数进行调整：
或者，
其中，L1为L1范数损失。Lcls表示交叉熵损失，Y*表示标注信息，Y(s)(s＝1，2，3)分别表示第一注意力残差网络310、第二注意力残差网络320和特征集成网络340的输出信息，因此，
包含了第一注意力残差网络310、第二注意力残差网络320和特征集成网络340三者的损失。
Lrank表示rank损失，其可以通过如下计算式得到：
Lrank(P1，P2)＝max(0，P1-P2+margin}，
其中，P1和P2分别表示第一注意力残差网络310和第二注意力残差网络320的性能，通过rank损失，可以在训练过程中确保P2＞P1+margin，即确保第二注意力残差网络320的性能优于第一注意力残差网络310。
重复上述过程，直至达到设定的迭代次数，或者，当损失函数的函数值小于特定值时，确定训练完成。
本实施例提供的肺结节分类装置110，基于训练过程使用的样本的不同，可以应用于肺结节的多个分类场景中，例如可以用于假阳性降低、良恶性分类、亚型分类等场景中。
请参照图7，图7是本实施例提供的一种肺结节分类方法的流程示意图，该方法可以应用于图1所示的图像处理设备，并可以通过上文描述的深度学习网络模型300实现。下面对该方法包括的步骤进行阐述。
步骤S101，获取包含待分类肺结节的第一图像块。
步骤S102，从所述第一图像块中提取第一特征向量。
步骤S103，对所述第一特征向量进行处理，得到所述待分类肺结节的位置信息。
步骤S104，根据所述位置信息对所述第一图像块进行裁剪，并对裁剪后的第一图像块进行缩放，得到第二图像块。
步骤S105，从所述第二图像块中提取第二特征向量。
步骤S106，根据所述第一特征向量和所述第二特征向量确定所述待分类肺结节所属的类别。
其中，步骤S102可以由第一注意力残差网络实现，步骤S105可以由第二注意力残差网络实现。第一注意力残差网络和第二注意力残差网络的结构可以参照上文关于图4的相关描述。
可选地，本实施例中，步骤S103可以通过如下子步骤实现：
通过依次串联的第一线性函数、Tanh函数、第二线性函数以及Sigmoid函数对第一特征向量进行处理。
可选地，步骤S104中，根据所述位置信息对所述第一图像块进行裁剪，可以通过如下子步骤实现：
根据Boxcar函数对所述位置信息进行处理，得到肺结节掩膜；
根据所述肺结节掩膜对所述第一图像块进行裁剪。
可选地，步骤S106可以通过如下流程实现：
对第一特征向量和第二特征向量进行拼接，得到拼接向量；
根据拼接向量确定待分类肺结节所属的类别。
可选地，本实施例提供的肺结节分类方法还可以包括：
在执行步骤S102之前，根据肺窗的窗宽和窗位，对第一图像块的每个体素的CT值进行调整，使每个体素的CT值位于所述窗宽和所述窗位界定的CT值范围内；
对调整后的第一图像块中每个体素的CT值进行标准化。
关于上述步骤的描述，具体可以参照前文对相关模块或网络的详细阐述。
综上所述，本发明实施例提供的肺结节分类方法、装置及图像处理设备，根据从第一图像块提取的第一特征向量对待识别肺结节进行定位，以将第一图像块转变为另一尺度的、基本只包含待识别肺结节的第二图像块，使得从第二图像块中提取的第二特征向量在第一特征向量的基础上引入待识别肺结节的更多细节信息。并且，由于第二图像块基本只包含待识别肺结节，减少了不必要的干扰信息，使得基于第一特征向量和第二特征向量得到的肺结节分类结果具有更高的准确度。
以上所述仅为本发明的选定实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种肺结节分类装置，其特征在于，包括：
获取模块，用于获取包含待分类肺结节的第一图像块；其中，所述获取模块用于预先在图像中标注出所述待分类肺结节的位置，并从所述图像上标注的位置提取预设尺寸(w，h，l)的图像块，作为所述第一图像块，其中，w，h，l分别表示所述第一图像块的宽度、高度及厚度；
第一提取模块，用于从所述第一图像块中提取第一特征向量；
位置确定模块，用于对所述第一特征向量进行处理，得到所述待分类肺结节的位置信息；
尺度调整模块，用于根据所述位置信息对所述第一图像块进行裁剪，并对裁剪后的第一图像块进行缩放，得到第二图像块；
第二提取模块，用于从所述第二图像块中提取第二特征向量；
分类模块，用于根据所述第一特征向量和所述第二特征向量确定所述待分类肺结节所属的类别；
所述分类模块，用于对所述第一特征向量和所述第二特征向量进行拼接，得到拼接向量；
根据所述拼接向量确定所述待分类肺结节所属的类别。
2.一种图像处理设备，其特征在于，包括处理器及机器可读存储介质，所述机器可读存储介质上存储有机器可执行指令，所述机器可执行指令被执行时促使所述处理器实现肺结节分类方法；所述图像处理设备还包括深度学习网络模型，所述深度学习网络模型包括注意力残差网络、位置注意力网络以及特征集成网络；
所述肺结节分类方法包括：
获取包含待分类肺结节的第一图像块；其中，所述获取包含待分类肺结节的第一图像块的步骤包括：预先在图像中标注出所述待分类肺结节的位置，并从所述图像上标注的位置提取预设尺寸(w，h，l)的图像块，作为所述第一图像块，其中，w，h，l分别表示所述第一图像块的宽度、高度及厚度；
所述注意力残差网络从所述第一图像块中提取第一特征向量；
所述位置注意力网络对所述第一特征向量进行处理，得到所述待分类肺结节的位置信息；
所述位置注意力网络根据所述位置信息对所述第一图像块进行裁剪，并对裁剪后的第一图像块进行缩放，得到第二图像块；
所述注意力残差网络从所述第二图像块中提取第二特征向量；
所述特征集成网络根据所述第一特征向量和所述第二特征向量确定所述待分类肺结节所属的类别；
所述根据所述第一特征向量和所述第二特征向量确定所述待分类肺结节所属的类别，包括：
对所述第一特征向量和所述第二特征向量进行拼接，得到拼接向量；
根据所述拼接向量确定所述待分类肺结节所属的类别。
3.根据权利要求2所述的图像处理设备，其特征在于，所述注意力残差网络包括至少一个注意力残差单元，每个所述注意力残差单元包括依次连接的第一卷积层、第二卷积层和叠加处理层；其中：
所述第一卷积层用于对输入信息进行卷积处理，输出第一特征图；所述第二卷积层用于对所述第一特征图进行卷积处理，得到第二特征图；所述叠加处理层用于对所述第二特征图、所述输入信息以及所述输入信息和目标权重的乘积进行叠加，并将叠加得到的结果作为所述注意力残差单元的输出信息；
其中，所述目标权重指示所述输入信息包含的特征与所述待分类肺结节的分类结果的关联程度。
4.根据权利要求3所述的图像处理设备，其特征在于，每个所述注意力残差单元还包括与所述第二卷积层连接的激活层，用于将所述第二特征图映射为[0,1]区间中的对应概率值；所述目标权重为所述概率值与针对所述输入信息预设的空间特征响应权重的乘积。
5.根据权利要求2-4任一项所述的图像处理设备，其特征在于，所述位置注意力网络对所述第一特征向量进行处理，包括：
通过依次串联的第一线性函数、Tanh函数、第二线性函数以及Sigmoid函数对所述第一特征向量进行处理。
6.根据权利要求5所述的图像处理设备，其特征在于，所述位置注意力网络根据所述位置信息对所述第一图像块进行裁剪，包括：
根据Boxcar函数对所述位置信息进行处理，得到肺结节掩膜；
根据所述肺结节掩膜对所述第一图像块进行裁剪。
7.根据权利要求2-4任一项所述的图像处理设备，其特征在于，所述图像处理设备执行的肺结节分类方法还包括：
在从所述第一图像块中提取第一特征向量之前，根据肺窗的窗宽和窗位，对所述第一图像块的每个体素的CT值进行调整，使每个体素的CT值位于所述窗宽和所述窗位界定的CT值范围内；
对调整后的第一图像块中每个体素的CT值进行标准化。
8.一种机器可读存储介质，其上存储有机器可执行指令，其特征在于，所述机器可执行指令被执行时实现肺结节分类方法；
所述肺结节分类方法包括：
获取包含待分类肺结节的第一图像块；其中，所述获取包含待分类肺结节的第一图像块的步骤包括：预先在图像中标注出所述待分类肺结节的位置，并从所述图像上标注的位置提取预设尺寸(w，h，l)的图像块，作为所述第一图像块，其中，w，h，l分别表示所述第一图像块的宽度、高度及厚度；
从所述第一图像块中提取第一特征向量；
对所述第一特征向量进行处理，得到所述待分类肺结节的位置信息；
根据所述位置信息对所述第一图像块进行裁剪，并对裁剪后的第一图像块进行缩放，得到第二图像块；
从所述第二图像块中提取第二特征向量；
根据所述第一特征向量和所述第二特征向量确定所述待分类肺结节所属的类别；
所述根据所述第一特征向量和所述第二特征向量确定所述待分类肺结节所属的类别，包括：
对所述第一特征向量和所述第二特征向量进行拼接，得到拼接向量；
根据所述拼接向量确定所述待分类肺结节所属的类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910864495.5A CN110570417B (zh) | 2019-09-12 | 2019-09-12 | 肺结节分类装置及图像处理设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910864495.5A CN110570417B (zh) | 2019-09-12 | 2019-09-12 | 肺结节分类装置及图像处理设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110570417A CN110570417A (zh) | 2019-12-13 |
| CN110570417B true CN110570417B (zh) | 2020-07-31 |
Family
ID=68779595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910864495.5A Active CN110570417B (zh) | 2019-09-12 | 2019-09-12 | 肺结节分类装置及图像处理设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110570417B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112700445B (zh) * | 2021-03-23 | 2021-06-29 | 上海市东方医院（同济大学附属东方医院） | 图像处理方法、装置及系统 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9639933B2 (en) * | 2013-02-14 | 2017-05-02 | The Research Foundation For The State University Of New York | Method for adaptive computer-aided detection of pulmonary nodules in thoracic computed tomography images using hierarchical vector quantization and apparatus for same |
| CN108090903A (zh) * | 2017-12-29 | 2018-05-29 | 苏州体素信息科技有限公司 | 肺结节检测模型训练方法和装置、肺结节检测方法和装置 |
| CN108171700A (zh) * | 2018-01-12 | 2018-06-15 | 西安电子科技大学 | 基于对抗网络的医学图像肺结节检测方法 |
| CN108288271A (zh) * | 2018-02-06 | 2018-07-17 | 上海交通大学 | 基于三维残差网络的图像检测系统及方法 |
| CN108389190B (zh) * | 2018-02-08 | 2022-12-16 | 贵州联科卫信科技有限公司 | 一种基于深度学习方法的肺结节自动检测方法 |
| CN108921195A (zh) * | 2018-05-31 | 2018-11-30 | 沈阳东软医疗系统有限公司 | 一种基于神经网络的肺结节图像识别方法及装置 |
| CN109801262A (zh) * | 2018-12-21 | 2019-05-24 | 杭州依图医疗技术有限公司 | 一种肺结节分析的方法及装置 |
| CN109871869B (zh) * | 2019-01-11 | 2023-03-21 | 五邑大学 | 一种肺结节分类方法及其装置 |
| CN109902736A (zh) * | 2019-02-25 | 2019-06-18 | 东北大学 | 一种基于自动编码器构建特征表示的肺结节图像分类方法 |
| CN110175979B (zh) * | 2019-04-08 | 2021-07-27 | 杭州电子科技大学 | 一种基于协同注意力机制的肺结节分类方法 |
| CN110223281B (zh) * | 2019-06-06 | 2022-06-28 | 东北大学 | 一种数据集中含有不确定数据时的肺结节图像分类方法 |
| CN110223286A (zh) * | 2019-06-13 | 2019-09-10 | 吉林大学第一医院 | 一种肺部ct图像粘连血管型结节检测方法 |
-
2019
- 2019-09-12 CN CN201910864495.5A patent/CN110570417B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110570417A (zh) | 2019-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11887311B2 (en) | Method and apparatus for segmenting a medical image, and storage medium | |
| CN106056595B (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统 | |
| CN111476292B (zh) | 医学图像分类处理人工智能的小样本元学习训练方法 | |
| US20210192758A1 (en) | Image processing method and apparatus, electronic device, and computer readable storage medium | |
| CN111325739B (zh) | 肺部病灶检测的方法及装置，和图像检测模型的训练方法 | |
| CN110930416B (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
| CN113674253B (zh) | 基于U-Transformer的直肠癌CT影像自动分割方法 | |
| CN110838125B (zh) | 医学图像的目标检测方法、装置、设备、存储介质 | |
| US20220198230A1 (en) | Auxiliary detection method and image recognition method for rib fractures based on deep learning | |
| CN100566655C (zh) | 用于处理图像以确定图像特性或分析候补的方法 | |
| CN111275686B (zh) | 用于人工神经网络训练的医学图像数据的生成方法及装置 | |
| CN111667459B (zh) | 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质 | |
| CN110853049A (zh) | 一种腹部超声图像分割方法 | |
| CN112348818B (zh) | 一种图像分割方法、装置、设备以及存储介质 | |
| CN115546270A (zh) | 多尺度特征融合的图像配准方法、模型训练方法及设备 | |
| CN114972382A (zh) | 一种基于轻量级UNet++网络的脑肿瘤分割算法 | |
| CN114332120A (zh) | 图像分割方法、装置、设备及存储介质 | |
| CN110570417B (zh) | 肺结节分类装置及图像处理设备 | |
| CN116664590B (zh) | 基于动态对比增强磁共振图像的自动分割方法及装置 | |
| CN115187519B (zh) | 图像质量评价方法、系统及计算机可读介质 | |
| CN117237269A (zh) | 基于多尺度裁剪和自监督重建的肺部ct异常检测方法 | |
| Chhabra et al. | Comparison of different edge detection techniques to improve quality of medical images | |
| CN110705570B (zh) | 一种图像特征识别方法 | |
| CN112766332A (zh) | 医学影像检测模型训练方法、医学影像检测方法及装置 | |
| Khaledyan et al. | WATUNet: a deep neural network for segmentation of volumetric sweep imaging ultrasound |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 100000 Zhongguancun Dongsheng Science Park, 66 xixiaokou Road, Haidian District, Beijing A206, 2f, building B-2, Northern Territory Patentee after: Huiying medical technology (Beijing) Co.,Ltd. Address before: 100000 Zhongguancun Dongsheng Science Park, 66 xixiaokou Road, Haidian District, Beijing A206, 2f, building B-2, Northern Territory Patentee before: HUIYING MEDICAL TECHNOLOGY (BEIJING) Co.,Ltd. |