CN109191446B - 用于肺结节分割的图像处理方法及装置 - Google Patents
用于肺结节分割的图像处理方法及装置 Download PDFInfo
- Publication number
- CN109191446B CN109191446B CN201811004028.7A CN201811004028A CN109191446B CN 109191446 B CN109191446 B CN 109191446B CN 201811004028 A CN201811004028 A CN 201811004028A CN 109191446 B CN109191446 B CN 109191446B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- segmentation network
- image
- lung nodule
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 135
- 206010056342 Pulmonary mass Diseases 0.000 title claims abstract description 54
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 33
- 230000007246 mechanism Effects 0.000 claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000000306 recurrent effect Effects 0.000 claims abstract description 16
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 30
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 201000005202 lung cancer Diseases 0.000 description 4
- 208000020816 lung neoplasm Diseases 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 230000004308 accommodation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000012804 iterative process Methods 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000036210 malignancy Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种用于肺结节分割的图像处理方法及装置。该方法包括输入单分割网络和肺结节影像用以训练预设分割网络模型；将所述单分割网络嵌入到递归神经网络中迭代并分割得到多个单分割网络；根据注意力机制模型将注意力层与所述肺结节影像融合，并输入到下一个单分割网络；以及还包括：在训练所述预设分割网络模型过程中，使用dice相似性系数和递归排序损失函数定义损失函数。本申请解决了图像处理时分割准确率较低的技术问题。通过本申请可实现肺结节影像迭代分割和肺结节体积准确预测。
Description
技术领域
本申请涉及图像处理领域，具体而言，涉及一种用于肺结节分割的图像处理方法及装置。
背景技术
近年来，肺癌已经成为发病率和死亡率最高的癌症之一，肺癌的早期诊断和治疗对于提高病人生存率尤为重要。由于早期肺癌在影像学上表现为孤立性结节病变，结节的体积大小和体积随时间变化都是判断其良恶性的重要指标。然而，对于放射科医师来说，人工肺结节体积测量十分耗时。
由于肺结节在形状、密度、尺寸上多变。同时，肺结节与周围肺壁、血管区域粘连难以区分，进一步导致分割困难。因此，如果采用现有的单次分割网络来说，很难得到准确分割结果。
针对相关技术中图像处理时分割准确率较低的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种用于肺结节分割的图像处理方法及装置，以解决图像处理时分割准确率较低的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种用于肺结节分割的图像处理方法。
根据本申请的用于肺结节分割的图像处理方法包括：输入单分割网络和肺结节影像用以训练预设分割网络模型；将所述单分割网络嵌入到递归神经网络中迭代并分割得到多个单分割网络；根据注意力机制模型将注意力层与所述肺结节影像融合，并输入到下一个单分割网络；以及还包括：在训练所述预设分割网络模型过程中，使用dice相似性系数和递归排序损失函数定义损失函数。
进一步地，根据注意力机制模型将注意力层与所述肺结节图像融合，并输入到下一个单分割网络包括：获得注意力机制模型产生的注意力图像在相关感兴趣区域上的权重；根据权重确定注意力层；将注意力层与原始输入图像融合，结果输入到下一个单分割网络。
进一步地，在训练所述预设分割网络模型过程中如果未收敛或迭代未达到最大值，则继续训练。
进一步地，图像处理方法还包括：采用Adam优化所述预设分割网络模型。
进一步地，图像处理方法还包括：采用dice相似性系数和递归排序损失函数交替训练整个分割网络模型。
为了实现上述目的，根据本申请的另一方面，提供了一种用于肺结节分割的图像处理装置。
根据本申请的用于肺结节分割的图像处理装置包括：输入模块，用于输入单分割网络和肺结节影像用以训练预设分割网络模型；迭代分割模块，用于将所述单分割网络嵌入到递归神经网络中迭代并分割得到多个单分割网络；融合模块，用于根据注意力机制模型将注意力层与所述肺结节影像融合，并输入到下一个单分割网络；以及还包括：损失函数模块用于，在训练所述预设分割网络模型过程中，使用dice相似性系数和递归排序损失函数定义损失函数。
进一步地，所述融合模块包括：获取单元，用于获得注意力机制模型产生的注意力图像在相关感兴趣区域上的权重；确定单元，用于根据权重确定注意力层；融合单元，用于将注意力层与原始输入图像融合，结果输入到下一个单分割网络。
进一步地，所述损失函数模块还用于在训练所述预设分割网络模型过程中如果未收敛或迭代未达到最大值，则继续训练。
进一步地，装置还包括：优化模块，用于采用Adam优化所述预设分割网络模型。
进一步地，装置还包括：训练模块，用于采用dice相似性系数和递归排序损失函数交替训练整个分割网络模型。
在本申请实施例中，采用输入单分割网络和肺结节影像用以训练预设分割网络模型的方式，通过将所述单分割网络嵌入到递归神经网络中迭代并分割得到多个单分割网络，达到了根据注意力机制模型将注意力层与所述肺结节影像融合，并输入到下一个单分割网络以及在训练所述预设分割网络模型过程中，使用dice相似性系数和递归排序损失函数定义损失函数的目的，从而实现了肺结节影像迭代分割和肺结节体积预测的技术效果，进而解决了图像处理时分割准确率较低的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的用于肺结节分割的图像处理方法示意图；
图2是根据本申请实施例的用于肺结节分割的图像处理方法示意图；
图3是根据本申请实施例的用于肺结节分割的图像处理装置示意图；
图4是根据本申请实施例的用于肺结节分割的图像处理装置示意图；以及
图5是根据本申请中递归注意力嵌入网络结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示，该方法包括如下的步骤S102步骤S106：
步骤S102，输入单分割网络和肺结节影像用以训练预设分割网络模型；输入包括：单一分割网络，输入图像以及最大迭代次数。单一分割网络可以是：3D-UNet(C，ic，ek，
.,Abdulkadir,A.,Lienkamp,S.S.,Brox,T.,Ronneberger,O.:3d u-net:learning densevolumetric segmentation from sparse annotation.In:MICCAI,Springer(2016)424–432)、V-Net(Milletari,F.,Navab,N.,Ahmadi,S.A.:V-net:Fully convolutional neuralnetworks for volumetric medical image segmentation.In:3D Vision(3DV),2016Fourth International Conference on,IEEE(2016)565–571)、3D-FCN(Long,J.,Shelhamer,E.,Darrell,T.:Fully convolutional networks for semanticsegmentation.In:CVPR.(2015)3431–3440)等。
步骤S104，将所述单分割网络嵌入到递归神经网络中迭代并分割得到多个单分割网络；
将单分割网络嵌入到递归神经网络结构，迭代地进行分割。
步骤S106，根据注意力机制模型将注意力层与所述肺结节影像融合，并输入到下一个单分割网络；
利用注意力机制模型(Fu,J.,Zheng,H.,Mei,T.:Look closer to see better:Recurrent attention convolu-tional neural network for fine-grained imagerecognition.In:CVPR.(2017))产生的注意力图像在感兴趣区域上具有更高权重，再将该注意力层与原始输入图像融合，输入下一个单分割网络。
步骤S108，还包括：在训练所述预设分割网络模型过程中，使用dice相似性系数和递归排序损失函数定义损失函数。
通过递归排序损失函数，防止迭代过程分割性能下降。上述步骤类似医生多次手工标注对肺结节分割进行精修的过程，通过递归注意力嵌入网络可以越来越聚焦在目标区域上，迭代产生更好的结节分割结果。
从以上的描述中，可以看出，本申请实现了如下技术效果：
在本申请实施例中，采用输入单分割网络和肺结节影像用以训练预设分割网络模型的方式，通过将所述单分割网络嵌入到递归神经网络中迭代并分割得到多个单分割网络，达到了根据注意力机制模型将注意力层与所述肺结节影像融合，并输入到下一个单分割网络以及在训练所述预设分割网络模型过程中，使用dice相似性系数和递归排序损失函数定义损失函数的目的，从而实现了肺结节影像迭代分割和肺结节体积预测的技术效果，进而解决了图像处理时分割准确率较低的技术问题。区别于现有技术中的方法都是单次预测的分割网络，直接输入原始图像，一次得到分割结果，从而需要对网络本身性能要求较高。
根据本申请实施例，作为本实施例中的优选，如图2所示，根据注意力机制模型将注意力层与所述肺结节图像融合，并输入到下一个单分割网络包括：
步骤S202，获得注意力机制模型产生的注意力图像在相关感兴趣区域上的权重；
步骤S204，根据权重确定注意力层；
步骤S206，将注意力层与原始输入图像融合，结果输入到下一个单分割网络。
利用注意力机制模型(Fu,J.,Zheng,H.,Mei,T.:Look closer to see better:Recurrent attention convolu-tional neural network for fine-grained imagerecognition.In:CVPR.(2017))产生的注意力图像在感兴趣区域上具有更高权重，再将该注意力层与原始输入图像融合，输入下一个单分割网络。
作为本实施例中的优选，在训练所述预设分割网络模型过程中如果未收敛或迭代未达到最大值，则继续训练。
作为本实施例中的优选，图像处理方法还包括：采用Adam优化所述预设分割网络模型。
作为本实施例中的优选，图像处理方法还包括：采用dice相似性系数和递归排序损失函数交替训练整个分割网络模型。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例，还提供了一种用于实施上述用于肺结节分割的图像处理方法的装置，如图3所示，该装置包括：输入模块，用于输入单分割网络和肺结节影像用以训练预设分割网络模型；迭代分割模块，用于将所述单分割网络嵌入到递归神经网络中迭代并分割得到多个单分割网络；融合模块，用于根据注意力机制模型将注意力层与所述肺结节影像融合，并输入到下一个单分割网络；以及还包括：损失函数模块用于，在训练所述预设分割网络模型过程中，使用dice相似性系数和递归排序损失函数定义损失函数。
在一些实施例中，所述融合模块30包括：获取单元301，用于获得注意力机制模型产生的注意力图像在相关感兴趣区域上的权重；确定单元302，用于根据权重确定注意力层；融合单元303，用于将注意力层与原始输入图像融合，结果输入到下一个单分割网络。
利用注意力机制模型(Fu,J.,Zheng,H.,Mei,T.:Look closer to see better:Recurrent attention convolu-tional neural network for fine-grained imagerecognition.In:CVPR.(2017))产生的注意力图像在感兴趣区域上具有更高权重，再将该注意力层与原始输入图像融合，输入下一个单分割网络。
优选地，所述损失函数模块还用于在训练所述预设分割网络模型过程中如果未收敛或迭代未达到最大值，则继续训练。
优选地，图像处理装置还包括：优化模块，用于采用Adam优化所述预设分割网络模型。
优选地，图像处理装置还包括：训练模块，用于采用dice相似性系数和递归排序损失函数交替训练整个分割网络模型。
本申请的实现原理如下：
本申请提出了一种基于递归注意力的嵌入网络(GEN-RA)，递归注意力模型主要包括如下三个部分。首先，本申请将单分割网络嵌入到递归神经网络结构，迭代地进行分割。然后，利用注意力机制模型产生的注意力图像在感兴趣区域上具有更高权重，再将该注意力层与原始输入图像融合，输入下一个单分割网络。最后，该模型的损失函数不仅采用传统的Dice相似性系数，本申请还设计了一种递归排序损失函数，防止迭代过程分割性能下降。因此，类似医生多次手工标注对肺结节分割进行精修的过程，本申请的网络可以越来越聚焦在目标区域上，迭代产生更好的结节分割结果。GEN-RA网络可以嵌入不同的分割网络，例如3D-UNet、V-Net、3D-FCN等。本申请中，在LIDC-IDRI数据集上，本申请测试了上述三种分割方法嵌入到GEN-RA网络后的性能。
请参考图5，递归注意力嵌入网络主要包括递归神经网络(RCNN)、注意力机制和递归排序损失函数三个部分。
输入一个3D的图像块
d表示图像块的尺寸，fseg(·)代表单分割网络例如3D-Unet，则递归注意力模型在t时刻输出可表示为：
Ot＝fseg(Xt) (1)
其中，Xt由原始输入图像I和t-1时刻产生的注意力层At生成：
其中，
表示矩阵元素对应相乘。注意力层At由隐含状态量ht计算得到：
At＝σa(Wa*ht+Ba) (3)
Wa和Ba代表卷积滤波器和偏移量，ht是隐含状态量，滤波器的尺寸为n×c×ka×ka×ka，其中，n是滤波器输出通道数，c输入通道数，ka是卷积核尺寸，*代表卷积操作，σa定义为σa(x)＝2sigmoid(x)-1。算法的流程图如表1所示：
表1 GEN-RA算法流程图
接下来，本申请利用递归神经网络，用卷积代替乘法操作，类似门控回归单元(GRU)(Cho，K.，Van Merri
nboer,B.,Gulcehre,C.,Bahdanau,D.,Bougares,F.,Schwenk,H.,Bengio,Y.:Learning phrase representations using rnn encoder-decoder forstatistical machine translation.arXiv preprint arXiv:1406.1078(2014)Moreira,I.,Amaral,I.,Domingues,I.,Cardoso,A.,Cardoso,M.,Cardoso,J.:)，RCNN可定义为如下公式：
rt＝σ(Wr*ht-1+Ur*Ft+Br) (4)
zt＝σ(Wz*ht-1+Uz*Ft+Bz) (5)
其中，Ft代表单分割网络倒数第二层的输出特征层，W*，U*和B*卷积层滤波器和偏移量。算法整体流程和结构如表1和图5。
在GEN-RA网络中，本申请采用dice相似性系数(DSC)和递归排序损失函数(RR)定义损失函数：
其中，n表示最大迭代数，λ表示平衡系数，每次迭代计算的DSC损失可定义为：
其中，pi和yi表示预测后的像素和标签像素，∈是用来避免分式除以0的平滑系数。递归排序损失函数定义为：
该公式中，本申请希望在第idx个像素上的预测概率值
至少比前一次预测概率值
高出θ。这里本申请采用Adam优化整个网络，学习率设为0.0001。
GEN-RA网络学习过程具体可以描述为：1)首先预训练一个单一分割网络；2)使用dice相似性系数和递归排序损失函数交替训练整个分割网络。
本申请在公开数据集LIDC-IDRI的数据集上进行实验，该数据包括1010个病人(1018次扫描)的CT数据，切片间距从0.45mm到5.0mm不等，所有结节均由2到7个放射医师独立标注。本申请中，本申请选取至少由4个医生标注过的910个结节作为分割样本，标签的分割轮廓是由半数以上的放射医师投票决定。实验采用5折交叉验证法。除了PN-SAMP[Wu,B.,Zhou,Z.,Wang,J.,Wang,Y.:Joint learning for pulmonary nodule seg-mentation,attributes and malignancy prediction.arXiv preprint arXiv:1802.03584(2018)]和CF-CNN[Fu,J.,Zheng,H.,Mei,T.:Look closer to see better:Recurrent attentionconvolu-tional neural network for fine-grained image recognition.In:CVPR.(2017)]外，本申请的数据量与其他方法相同。单一分割网络采用现有的V-Net，以及本申请改进的3D-FCN和3D-Unet。实验使用PyTorch[Paszke,A.,Gross,S.,Chintala,S.,Chanan,G.,Yang,E.,DeVito,Z.,Lin,Z.,Desmaison,A.,Antiga,L.,Lerer,A.:Automaticdifferentiation in pytorch.(2017)]工具箱，硬件配置为128G内存，8块NVIDIA TITANXp GPU。本申请中，本申请使用dice相似性系数DSC，敏感性(SEN)和阳性预测值(PPV)评价分割精准度，具体定义为：
表2列出了本申请方法与其他常见分割方法的对比结果，表中结果用平均标准误差统计。其中GEN-RA-3D-UNet-T4表示基于3D-UNet的GEN-RA算法第四次预测后的DSC结果，高于CF-CNN[Wang,S.,Zhou,M.,Liu,Z.,Liu,Z.,Gu,D.,Zang,Y.,Dong,D.,Gevaert,O.,Tian,J.:Central focused convolutional neural networks:Developing a data-driven model for lung nodule segmentation.Medical Image Analysis 40(2017)172–183]和CF-CNN-MF 1.03％和2.79％。
表2与单一结节分割网络的比较结果
[3]C，ic，ek，
,Abdulkadir,A.,Lienkamp,S.S.,Brox,T.,Ronneberger,O.:3du-net:learning dense volumetric segmentation from sparse annotation.In:MICCAI,Springer(2016)424–432
[2]Long,J.,Shelhamer,E.,Darrell,T.:Fully convolutional networks forsemantic segmentation.In:CVPR.(2015)3431–3440
[4]Milletari,F.,Navab,N.,Ahmadi,S.A.:V-net:Fully convolutional neuralnetworks for volumetric medical image segmentation.In:3D Vision(3DV),2016Fourth International Conference on,IEEE(2016)565–571
[8]Wu,B.,Zhou,Z.,Wang,J.,Wang,Y.:Joint learning for pulmonary noduleseg-mentation,attributes and malignancy prediction.arXiv preprint arXiv:1802.03584(2018)
[7]Wang,S.,Zhou,M.,Liu,Z.,Liu,Z.,Gu,D.,Zang,Y.,Dong,D.,Gevaert,O.,Tian,J.:Central focused convolutional neural networks:Developing a data-driven model for lung nodule segmentation.Medical Image Analysis 40(2017)172–183
为了进一步验证算法有效性，表3中本申请对比了单一分割网络每次迭代的分割结果。基于3D-UNet的GEN-RA网络的DSC可高达83.18％，高出方法[Wang,S.,Zhou,M.,Liu,Z.,Liu,Z.,Gu,D.,Zang,Y.,Dong,D.,Gevaert,O.,Tian,J.:Central focusedconvolutional neural networks:Developing a data-driven model for lung nodulesegmentation.Medical Image Analysis 40(2017)172–183]中的82.15％。可以看出，基于3D-UNet、VNet、3D-FCN的GEN-RA方法分别比对应单一分割方法的DSC结果高出1.97％,3.46％和2.14％。随着三次预测迭代后，可以看出DSC指标不断提高，验证了注意力模块和排序损失函数的有效性。同时，T1预测的结果比对应的单一分割模型结果要好，说明递归神经网络机制可以提升分割网络的性能，注意力融合输入相当于进行了数据增强。
表3单一分割方法与对应的GEN-RA网络的比较结果
[4]Milletari,F.,Navab,N.,Ahmadi,S.A.:V-net:Fully convolutional neuralnetworks for volumetric medical image segmentation.In:3D Vision(3DV),2016Fourth International Conference on,IEEE(2016)565–571
[3]C，ic，ek，
,Abdulkadir,A.,Lienkamp,S.S.,Brox,T.,Ronneberger,O.:3du-net:learning dense volumetric segmentation from sparse annotation.In:MICCAI,Springer(2016)424–432
[2]Long,J.,Shelhamer,E.,Darrell,T.:Fully convolutional networks forsemantic segmentation.In:CVPR.(2015)3431–3440
上述量化结果都说明，提出的GEN-GA分割网络性能优于主流的单一分割网络。本申请将递归神经网络、注意力机制和递归排序损失函数结合，通过迭代过程进一步精细化分割结果。同时，其他的单一分割方法均可以嵌入到到GEN-RA网络中进行迭代分割，说明本申请方法具有一般性和普适性。实验证明，本申请算法在LIDC-IDRI数据集上的分割性能超过目前发表的最好算法。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (8)
1.一种用于肺结节分割的图像处理方法，其特征在于，包括：
输入单分割网络和肺结节图像用以训练预设分割网络模型；
将所述单分割网络嵌入到递归神经网络中迭代并分割得到多个单分割网络；
根据注意力机制模型将注意力层与所述肺结节图像融合，并输入到下一个单分割网络；以及
在训练所述预设分割网络模型过程中，使用dice相似性系数和递归排序损失函数定义损失函数；
采用dice相似性系数和递归排序损失函数交替训练整个分割网络模型。
2.根据权利要求1所述的图像处理方法，其特征在于，根据注意力机制模型将注意力层与所述肺结节图像融合，并输入到下一个单分割网络包括：
获得注意力机制模型产生的注意力图像在相关感兴趣区域上的权重；
根据权重确定注意力层；
将注意力层与原始输入图像融合，结果输入到下一个单分割网络。
3.根据权利要求1所述的图像处理方法，其特征在于，在训练所述预设分割网络模型过程中如果未收敛或迭代未达到最大值，则继续训练。
4.根据权利要求1所述的图像处理方法，其特征在于，还包括：采用Adam优化所述预设分割网络模型。
5.一种用于肺结节分割的图像处理装置，其特征在于，
输入模块，用于输入单分割网络和肺结节图像用以训练预设分割网络模型；
迭代分割模块，用于将所述单分割网络嵌入到递归神经网络中迭代并分割得到多个单分割网络；
融合模块，用于根据注意力机制模型将注意力层与所述肺结节图像融合，并输入到下一个单分割网络；以及
还包括：损失函数模块用于，在训练所述预设分割网络模型过程中，使用dice相似性系数和递归排序损失函数定义损失函数；
以及，
训练模块，采用dice相似性系数和递归排序损失函数交替训练整个分割网络模型。
6.根据权利要求5所述的图像处理装置，其特征在于，所述融合模块包括：
获取单元，用于获得注意力机制模型产生的注意力图像在相关感兴趣区域上的权重；
确定单元，用于根据权重确定注意力层；
融合单元，用于将注意力层与原始输入图像融合，结果输入到下一个单分割网络。
7.根据权利要求5所述的图像处理装置，其特征在于，所述损失函数模块还用于在训练所述预设分割网络模型过程中如果未收敛或迭代未达到最大值，则继续训练。
8.根据权利要求5所述的图像处理装置，其特征在于，还包括：优化模块，用于采用Adam优化所述预设分割网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811004028.7A CN109191446B (zh) | 2018-08-30 | 2018-08-30 | 用于肺结节分割的图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811004028.7A CN109191446B (zh) | 2018-08-30 | 2018-08-30 | 用于肺结节分割的图像处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109191446A CN109191446A (zh) | 2019-01-11 |
| CN109191446B true CN109191446B (zh) | 2020-12-29 |
Family
ID=64916896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811004028.7A Active CN109191446B (zh) | 2018-08-30 | 2018-08-30 | 用于肺结节分割的图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109191446B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903292A (zh) * | 2019-01-24 | 2019-06-18 | 西安交通大学 | 一种基于全卷积神经网络的三维图像分割方法及系统 |
| CN109871798B (zh) * | 2019-02-01 | 2021-06-29 | 浙江大学 | 一种基于卷积神经网络的遥感影像建筑物提取方法 |
| CN109949309B (zh) * | 2019-03-18 | 2022-02-11 | 安徽紫薇帝星数字科技有限公司 | 一种基于深度学习的肝脏ct图像分割方法 |
| CN110288611A (zh) * | 2019-06-12 | 2019-09-27 | 上海工程技术大学 | 基于注意力机制和全卷积神经网络的冠状血管分割方法 |
| CN110211140B (zh) * | 2019-06-14 | 2023-04-07 | 重庆大学 | 基于3D残差U-Net和加权损失函数的腹部血管分割方法 |
| CN110378895A (zh) * | 2019-07-25 | 2019-10-25 | 山东浪潮人工智能研究院有限公司 | 一种基于深度注意力学习的乳腺癌图像识别方法 |
| CN110415231A (zh) * | 2019-07-25 | 2019-11-05 | 山东浪潮人工智能研究院有限公司 | 一种基于注意力先验网络的cnv分割方法 |
| CN112446380A (zh) * | 2019-09-02 | 2021-03-05 | 华为技术有限公司 | 图像处理方法和装置 |
| CN110807764A (zh) * | 2019-09-20 | 2020-02-18 | 成都智能迭迦科技合伙企业(有限合伙) | 一种基于神经网络的肺癌筛查方法 |
| CN110689547B (zh) * | 2019-09-25 | 2022-03-11 | 重庆大学 | 一种基于三维ct影像的肺结节分割方法 |
| CN110706217A (zh) * | 2019-09-26 | 2020-01-17 | 中国石油大学(华东) | 一种基于深度学习的肺部肿瘤自动勾画方法 |
| CN113139928B (zh) * | 2020-01-16 | 2024-02-23 | 中移(上海)信息通信科技有限公司 | 肺结节检测模型的训练方法和肺结节检测方法 |
| CN111507210B (zh) * | 2020-03-31 | 2023-11-21 | 华为技术有限公司 | 交通信号灯的识别方法、系统、计算设备和智能车 |
| CN111429447A (zh) * | 2020-04-03 | 2020-07-17 | 深圳前海微众银行股份有限公司 | 病灶区域检测方法、装置、设备及存储介质 |
| CN111476775B (zh) * | 2020-04-07 | 2021-11-16 | 广州柏视医疗科技有限公司 | Dr征象识别装置和方法 |
| CN111862123B (zh) * | 2020-07-29 | 2024-01-23 | 南通大学 | 一种基于深度学习的ct腹部动脉血管分级识别方法 |
| CN112819831B (zh) * | 2021-01-29 | 2024-04-19 | 北京小白世纪网络科技有限公司 | 基于卷积Lstm及多模型融合的分割模型生成方法及装置 |
| CN114596319B (zh) * | 2022-05-10 | 2022-07-26 | 华南师范大学 | 基于Boosting-Unet分割网络的医学影像分割方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107274402A (zh) * | 2017-06-27 | 2017-10-20 | 北京深睿博联科技有限责任公司 | 一种基于胸部ct影像的肺结节自动检测方法及系统 |
| EP3306500A1 (en) * | 2015-06-02 | 2018-04-11 | Chen, Kuan | Method for analysing medical treatment data based on deep learning, and intelligent analyser thereof |
| CN108346154A (zh) * | 2018-01-30 | 2018-07-31 | 浙江大学 | 基于Mask-RCNN神经网络的肺结节分割装置的建立方法 |
-
2018
- 2018-08-30 CN CN201811004028.7A patent/CN109191446B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3306500A1 (en) * | 2015-06-02 | 2018-04-11 | Chen, Kuan | Method for analysing medical treatment data based on deep learning, and intelligent analyser thereof |
| CN107274402A (zh) * | 2017-06-27 | 2017-10-20 | 北京深睿博联科技有限责任公司 | 一种基于胸部ct影像的肺结节自动检测方法及系统 |
| CN108346154A (zh) * | 2018-01-30 | 2018-07-31 | 浙江大学 | 基于Mask-RCNN神经网络的肺结节分割装置的建立方法 |
Non-Patent Citations (1)
| Title |
|---|
| 《Look Closer to See Better Recurrent Attention Convolutional Neural Network for Fine grained Image Recognition》;Jianlong Fu;Heliang Zheng;Tao Mei;《2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）》;20171109;第4478页图2，第4479页左栏33行，右栏22-30行 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109191446A (zh) | 2019-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109191446B (zh) | 用于肺结节分割的图像处理方法及装置 | |
| Zhu et al. | V-NAS: Neural architecture search for volumetric medical image segmentation | |
| Huo et al. | 3D whole brain segmentation using spatially localized atlas network tiles | |
| Zhu et al. | A 3D coarse-to-fine framework for volumetric medical image segmentation | |
| Usman et al. | Volumetric lung nodule segmentation using adaptive roi with multi-view residual learning | |
| Ypsilantis et al. | Recurrent convolutional networks for pulmonary nodule detection in CT imaging | |
| CN110556178A (zh) | 用于医学疗法规划的决策支持系统 | |
| Shen et al. | Pcw-net: Pyramid combination and warping cost volume for stereo matching | |
| CN109102498B (zh) | 一种宫颈涂片图像中簇型细胞核分割的方法 | |
| CN109146891B (zh) | 一种应用于mri的海马体分割方法、装置及电子设备 | |
| CN114022718B (zh) | 消化系统病理图像识别方法、系统及计算机存储介质 | |
| CN113139568B (zh) | 一种基于主动学习的类别预测模型建模方法及装置 | |
| Liu et al. | Auxiliary segmentation method of osteosarcoma MRI image based on transformer and U-Net | |
| WO2023114519A1 (en) | Applications of deep neuroevolution on models for evaluating biomedical images and data | |
| Liu et al. | A bag of semantic words model for medical content-based retrieval | |
| Jain et al. | Lung cancer detection based on kernel PCA-convolution neural network feature extraction and classification by fast deep belief neural network in disease management using multimedia data sources | |
| CN114580501A (zh) | 骨髓细胞分类方法、系统、计算机设备及存储介质 | |
| Shao et al. | Application of U-Net and Optimized Clustering in Medical Image Segmentation: A Review. | |
| Liu et al. | Medical image segmentation using deep learning | |
| Ma et al. | An iterative multi‐path fully convolutional neural network for automatic cardiac segmentation in cine MR images | |
| Li et al. | DDNet: 3D densely connected convolutional networks with feature pyramids for nasopharyngeal carcinoma segmentation | |
| Jamalullah et al. | Leveraging Brain MRI for Biomedical Alzheimer’s Disease Diagnosis Using Enhanced Manta Ray Foraging Optimization Based Deep Learning | |
| Tian et al. | MCMC guided CNN training and segmentation for pancreas extraction | |
| Hao et al. | MFUnetr: A transformer-based multi-task learning network for multi-organ segmentation from partially labeled datasets | |
| Mansour et al. | Kidney segmentations using cnn models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190719 Address after: 102200 Unit 3, Unit 3, Unit 309, Building 4, Courtyard 42, Qibei Road, North Qijia Town, Changping District, Beijing Applicant after: BEIJING SHENRUI BOLIAN TECHNOLOGY Co.,Ltd. Applicant after: SHENZHEN DEEPWISE BOLIAN TECHNOLOGY Co.,Ltd. Address before: 100080 Area A, 21th Floor, Zhonggang International Plaza, 8 Haidian Street, Haidian District, Beijing Applicant before: BEIJING SHENRUI BOLIAN TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 705, building 8, No. 1818-2, Wenyi West Road, Yuhang District, Hangzhou City, Zhejiang Province Applicant after: SHENZHEN DEEPWISE BOLIAN TECHNOLOGY Co.,Ltd. Applicant after: BEIJING SHENRUI BOLIAN TECHNOLOGY Co.,Ltd. Address before: Unit 309, unit 3, floor 3, building 4, yard 42, Qibei Road, Beiqijia Town, Changping District, Beijing Applicant before: BEIJING SHENRUI BOLIAN TECHNOLOGY Co.,Ltd. Applicant before: SHENZHEN DEEPWISE BOLIAN TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Image processing method and device for lung nodule segmentation Effective date of registration: 20231007 Granted publication date: 20201229 Pledgee: Guotou Taikang Trust Co.,Ltd. Pledgor: SHENZHEN DEEPWISE BOLIAN TECHNOLOGY Co.,Ltd. Registration number: Y2023980059614 |