CN110428432A - 结肠腺体图像自动分割的深度神经网络算法 - Google Patents
结肠腺体图像自动分割的深度神经网络算法 Download PDFInfo
- Publication number
- CN110428432A CN110428432A CN201910727851.9A CN201910727851A CN110428432A CN 110428432 A CN110428432 A CN 110428432A CN 201910727851 A CN201910727851 A CN 201910727851A CN 110428432 A CN110428432 A CN 110428432A
- Authority
- CN
- China
- Prior art keywords
- image
- gland
- neural network
- loss function
- deep neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 48
- 210000004907 gland Anatomy 0.000 title claims abstract description 43
- 210000001072 colon Anatomy 0.000 title claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000010586 diagram Methods 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 239000012141 concentrate Substances 0.000 claims 1
- 238000003475 lamination Methods 0.000 claims 1
- 230000003252 repetitive effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 32
- 230000006870 function Effects 0.000 abstract description 24
- 238000003709 image segmentation Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000010191 image analysis Methods 0.000 abstract description 3
- 238000000354 decomposition reaction Methods 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 241001646071 Prioneris Species 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000000571 coke Substances 0.000 description 2
- 210000004953 colonic tissue Anatomy 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004820 blood count Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000011278 mitosis Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
Abstract
本发明属于图像分析区域分割技术领域，公开了结肠腺体图像自动分割的深度神经网络算法。1.构建数据集：结肠腺体数据作为训练集合，获取实例图和轮廓图；2.构建模型：模型网络包括密集卷积神经网络和Refined U‑Net，密集卷积神经网络用来提取图像的丰富的初级特征信息，与密集卷积神经网络连接的Refined U‑Net网络，学习实例和轮廓的特征信息；3.确定模型损失函数：损失函数为Jaccard和焦点损失之和；4.信息融合。本技术方案采用深度密集神经网路的特征复用、参数高效等特点、利用Refined U‑net网络的低级特征和高层特征结合的特征，构建深度学习网络模型；采用焦点损失函数，解决数据集的类别不平衡问题，有效的使轮廓准确分割；最终实现结肠腺体图像分割快速、清晰、准确。
Description
技术领域
本发明属于图像分析区域分割技术领域，具体涉及基于深度学习建模、深度密集卷积神经网络和Refined U-net网络，采用焦点损失函数为轮廓任务的损失函数，采用杰卡德距离(Jaccard)作为实例分割任务的损失函数，采用边界F1得分(Boundary F1，BF)、对象级平衡F(Object balanced F，Object F1)得分、对象级相似度系数(Object Dice)、对象级Hausdorff距离(Object Hausdorff)作为量化评估方法的结肠腺体图像自动分割的深度神经网络算法。
背景技术
生物医学图像分割问题是智能医疗诊断任务的重要研究课题之一，也是临床实践评估的难点。在实践中，通常分割由病理学家手动标注，而医学图像的复杂多样性使得手动分割在成本和可重复性上不可行。因此，需要研究一种高效自动化分割方法，以减少病理学家的工作量，但这项任务非常具有挑战性，在医学病理学图像中，疾病和正常图像存在特征差异以及生物医学在切片制作过程和成像中存在变形和噪声的情况，导致增加了分割难度。
过去几年，传统的方法已经取得了实质性的进展，如基于像素的方法，利用纹理，颜色，形态等人工特征来检测分割；而基于结构的方法，大多利用了关于图像结构先验信息，例如基于图的方法，具有测地距离变换方法，随机多边形模型。这些方法当应用于病理图像时，分割效果极大受限。最近几年，深度神经网络推动了计算机视觉的快速发展，特别是卷积神经网络(Convolutional Neuron Network，CNN)在语义分割、目标跟踪、图像分类等任务的良好表现，并且已将生物医学图像分析应用于不同的任务，如有丝分裂检测和分类，以及血细胞计数。对本文任务相关是全卷积神经网络(Fully Convo-lutionalNetwork，FCN)、U-Net网络、SegNet分割模型、CNN滑窗的方法和总变分神经网络的方法(Convolutional Neural Networks and Total Variation，CNNTV)。这些方法虽然在结肠组织中腺体分割任务上取得了良好表现，但是都没有考虑到腺体的轮廓特征信息。CNN滑窗方法是基于图像块的方法，导致分割图像边缘锯齿状；基于总变分神经网络的方法采用多个模型进行预测，存在任务繁琐，特征信息不共享的缺陷。结肠组织病理图片中的腺体分割难度大，不同腺体之间间隙小，难以区分、数据样本少。
发明内容
为了解决现有技术存在的上述问题，本发明提供了结肠腺体图像自动分割的深度神经网络算法。
1.采用结肠腺体数据集作为训练集合，采用图像处理技术构建处理数据集。
2.利用数据集的特性将建模问题考虑为多任务学习，对结肠腺体对象和对象轮廓特征学习。采用深度密集卷积神经网络和Refined U-net网络作为特征学习网络，采用焦点损失函数为轮廓任务的损失函数，采用Jaccard作为实例分割任务的损失函数。
3.对于训练好的网络模型，给定一张结肠腺体图像，网络两个分支将分别输出一张预测分割的轮廓图像和实例图像。用两幅图像进行信息融合得到一张精准的结肠腺体分割图。其中信息融合过程处理分为三个步骤：
(1)信息融合：采用双线性插值将输出图像放大到522×755，由于网络预测输出的轮廓图边界比专家标定图像(Ground Truth)粗，因此在进行信息融合之前，先采用形态学腐蚀操作将边界变细。其融合图像计算公式定义为:
IA＝IM&(1-IC)
其中IA为信息融合后的二值图像A，IM为实例图像，IC为轮廓图像，&为矩阵像素按位与运算。
(2)连续性优化：初步信息融合后的图像，存在边缘锯齿以及小面积误分像素，需要对二值分割图A采用形态学开操作(结构元素disk为11)，消除细小物体，纤细化分离物体和平滑较大物体边界。利用ConvCRFs操作优化边缘，去除小面积像素；进一步移除小面积像素；对图像空洞填充。
(3)连通域标记：对精细化后二值图像A进行4连通域标记，识别不同的实例，并对不同实例进行颜色标注，不同颜色代表不同的实例对象。
训练用于结肠腺体图像实例分割模型，训练好的模型可以输出两个高度置信图来指示每一个像素属于实例或轮廓的得分；为了进一步提高实例分割效果，使用形态学和卷积条件随机场对高度置信图进行优化信息处理，进而得到最终的实例分割图。有别于传统的图像分割方法，需要人工设定特征，深度卷积神经网络具有强大特征自我学习能力，可以很好的获取图像的特征信息。密集卷积神经网络解决了传统的神经网络模型参数多，网络宽的缺点，具有特征复用的特点。利用深度密集神经网路的特征复用、参数高效等特点、利用Refined U-net网络的低级特征和高层特征结合的特征，构建深度学习网络模型；采用焦点损失函数，解决数据集的类别不平衡问题，有效的使轮廓准确分割。将网络输出的轮廓图和实例进行信息融合处理，得到一张精准的结肠腺体分割图像，实现自动化结肠腺体图像分割。
本技术方案的基于深度密集卷积神经网络及焦点损失函数的结肠腺体实例分割方
法。充分利用专家标注信息，把结肠腺体实例分割问题归纳为一种多任务学习，即同时
对腺体实例和轮廓进行特征学习；使用深度密集卷积网络，有效利用所有网络底层信息
与高层语义信息去充分提取图像特征；减轻网络训练集中存在的数据类内不平衡问题；
使用焦点损失函数来代替普通交叉熵损失；在训练良好的网络和在给定结肠腺体图片输
入的前提下，输出两个高度置信图指示每一个像素属于实例或轮廓的得分；进一步提高
实例分割效果，使用形态学和卷积条件随机场对高度置信图进行优化信息处理，进而得
到最终的实例分割图。实现结肠腺体图像自动分割快速、清晰、准确。
附图说明：
图1：本发明深度神经网络建模结构图；
图2：构建数据集示意图；
图3：深度密集神经网络密集模块结构图；
图4：Refined U-Net结构图；
图5：信息融合处理流程图；
图6：测试图像分割效果图。
具体实施方式
实施例1
结合附图和实施例对本发明作进一步详细的阐述。本实施例是将结肠腺体图像用本技术方案所述的自动分割方法实现图像分割，具体步骤如下：
步骤1：构建数据集
将数据中原Ground Truth图像A经过二值化处理，得到像素为0和1的二值实例图B，作为其实例Ground Truth；然后将二值实例图通过最大连通域方法，找到实例轮廓，并采用形态学膨胀提取到轮廓进行扩大(结构元素dis为3)得到二值轮廓图C，将其作为轮廓Ground Truth。为了节省内存消耗，实验中将训练集数据集缩放为大小100×160的图像，并训练图像进行Z-score标准化，以保证数据之间的可比性。由于数据集数量不足，为了防止过拟合，对训练集进行随机的水平镜像翻转和垂直镜像翻转，以增加数据多样性。
步骤2：构建模型
不同于语义分割，实例分割要求精准分割出图像中每个对象，给算法设计带来了挑战。考虑结肠组织病理图片中的腺体分割难度大，不同腺体之间间隙小，难以区分、数据样本少等问题，本发明把结肠腺体实例分割问题归纳为一种多任务学习，即同时对腺体实例和轮廓进行特征学习，充分利用标注信息。在此基础上，结合深度密集卷积神经网络及焦点损失函数的优点，设计出了一种新颖的用于结肠腺体自动化实例分割网络。完整结构如图1所示，网络由密集卷积神经网络和Refined U-Net组成，密集卷积神经网络用来提取图像的丰富的初级特征信息，在密集卷积神经网络的后面连接两个Refined U-Net网络，分别用来学习实例和轮廓的特征信息。图3为深度密集神经网络密集模块结构图，图4为RefinedU-Net网络结构图。
本发明中密集卷积神经网络由三个Dense Block组成和两个过渡层(TransitionLayer)组成，在最后一个Dense Block后面增加一层激活函数。每个Dense Block包含4层，增长率为12，初始的卷积核通道数为16，卷积核大小为3×3，步长为1，边缘补零pad为1，过渡层的变化因子为1；每个卷积层后面均连接Dropout层，网络中所有的激活函数采用LeakyReLu替代了ReLu。
如图4所示，是精简化的U-Net网络，使用更浅更窄网络。使用亚像素卷积替换了传统的上采样层。Refined U-Net由编码层和解码层组成。其中编码层是一个重复的结构，每次重复中都有两个卷积层，卷积核大小为3×3，步长为1，边缘补零pad为1，一层卷积的通道数为32。两个卷积层后面连接一个2×2的步长为2的平均池化层。每一次下采样后输出特征图通道的数量加倍；在解码层中，每一步都首先使用亚像素卷积进行上采样得到高分辨特征图，缩放倍数为2，每次使用亚像素卷积都将特征通道数量减半，特征图大小加倍。亚像素卷积后，将亚像素的特征图与编码层中对应特征图进行特征融合，在特征通道上进行相加，最后对特征融合的特征图进行两次卷积操作，解码层中卷积层采用与编码层相同的参数，解码层最后一层的卷积核大小为1×1，通道数为1，采用Sigmoid作为分类器。在整个编码层和解码层中的每层卷积后面都采用Leaky ReLu激活函数和Spatial Dropout层。
步骤3：确定分割模型损失函数
在实例分割任务中采用Jaccard作为损失函数，直接优化交并比(Intersection-over-Union，IoU)。在轮廓分割任务中，由于轮廓与背景像素存在严重的类别不平衡问题，为了提升轮廓的分割准确率，本文采用了焦点损失函数(Focal Loss)，可以有效的改善分割性能。因此本发明的最终联合损失函数为Jaccard和焦点损失之和，两类损失权重比例相同，数学表达式如下所示:
Ltotal＝Lfocal+Ljaccard
具体损失函数为：
(1)焦点损失函数
Lfocal＝-αt(1-pt)γlog(pt)，其中α为类别不平衡因子，对于类别0，为α∈[0,1]，对于类别1，为1-α。γ为焦点因子，使模型更加集中于困难的错误分类的样本p∈[0,1]为模型的预测概率。pt，为：
(2)Jaccard损失函数
其中p为模型预测的值，y为Ground Truth，c为类别，Jc(p,y)为Ground Truth与预测分割图交集的大小与它们并集的大小的比值，其对应的损失函数为:
LJaccard＝1-Jc(p,y)
其中，焦点损失函数参数选取依据为指标边界得分BF：
BF得分，反映分割任务中轮廓的精确度，对于类别c的BF得分数学表达式定义为:
其中:
Pc为类别c的准确率、Rc为类别c的召回率，为类别c边界二值Ground Truth图，为类别c边界二值边界模型预测图，d(·)表示欧式距离，艾佛森括号记号，方括号内的条件满足则为1，不满足则为0，θ表示距离误差允许范围(通常默认为0.75％)。最终对计算所有类别的BF平均得分便得到单张图像的BF分数。
步骤4：信息融合处理
信息融合过程处理分为三个步骤：
(1)像素融合:先采用双线性插值将输出图像进行放大到522×755，由于网络预测输出的轮廓图边界比专家标定图像(Ground Truth)粗，因此在进行信息融合之前，先采用形态学腐蚀操作将边界变细。其融合图像计算公式定义为:
IA＝IM&(1-IC)
其中IA为信息融合后的二值图像A，IM为实例图像，IC为轮廓图像，&为矩阵像素按位与运算；
(2)连续性优化:进行初步信息融合后的图像，会存在边缘锯齿以及小面积误分像素，需要对二值分割图A采用形态学开操作(结构元素disk为11)，消除细小物体，纤细化分离物体和平滑较大物体边界。其次利用ConvCRFs操作优化边缘，去除小面积像素；最后进一步移除小面积像素；对图像空洞填充；
(3)连通域标记:对精细化后二值图像A进行4连通域标记，识别不同的实例，并对不同实例进行颜色标注，不同颜色代表不同的实例对象。
经过以上步骤，可以得到一幅精准的分割图像，如图6所示。
步骤5：检测模型评价指标
采用三个评价指标作为评估方法：
(1)ObjectF1得分，是用来单个腺体的检测精确度。对于一个分割出的腺体，如果与对应的Ground Truth之间有50％面积重合，则认为是一个真正例，其他的情况认为假正例；如果单个腺体Ground Truth与对应的分割图之间有50％面积重合，则认为是一个真负例，其他的情况认为为假负例，F1得分数学表达式为:
其中Ntp、Nfp、Nfn分别为真正例、假正例、假负例的个数。
(2)对象级Dice系数，对于像素级语义分割Dice反映了Ground Truth与分割图像之间的相似度。首先定义G为Ground Truth像素，S为分割图像像素，像素级Dice系数定义如下:
其中|·|为集合基数，Dice系数值域范围为[0,1]，值越大，分割效果越好，但像素级Dice系数只是反映G与S的像素级分割准确度，不能满足实例分割任务的评估要求。为此需要对分割图像中单个对象进行评估，定义对象级Dice系数为:
上式中Si为实例分割图中第i个对象，Gi为Ground Truth与分割图像S中第i个对象的重叠面积，为Ground Truth中第i个对象，为分割图像与Ground Truth中第i个对象的重叠面积；而nG分别为实例分割图像和Ground Truth图像中的对象数。
(3)对象级Hausdorff距离，是反映单个分割对象的形状相似度评价指标，通常Hausdorff距离定义如下:
其中d(·)表示像素点x与y的欧式距离，Hausdorff距离越小表示实例分割对象与Ground Truth相似度越大，类似于对象级别Dice的定义，对象级Hausdorff距离定义为:
实施例2
本实施例与实施例1仅在检测模型评价指标处略有不同，本实施例用具体的实验结果及数据说明本技术方案的优良技术效果。
选取MICCAI2015比赛中部分实验结果，以及LIST等人的方法、FCN、CNNTV方法进行对比。如表1为不同方法在测试集A和测试集B上评估指标对比。实现表明，在测试集A，BF得分全面超越当前主流算法，Object Dice得分和Object Hausdorff距离得分要优于大部分方法，但在测试集B上，本发明的算法所有客观定量评估指标全面超越当前主流的方法，综合分析，本发明的算法相比当前主流的算法具有一定的优越性和可行性。
表1：不同方法在测试集A和测试集B上量化评估指标对比
本发明在MICCAI2015公开数据集上实施了大量实验去验证本文所提方法的有效性。Object F1和Object Dice的值越大，算法的表现性能越好；Object Hausdorff的值越小，算法的表现性能越好。实验结果表明，本发明的算法在主观视觉感知和四个客观定量指标得分上都会优于其他传统的算法。
虽然以上描述了本发明的具体实施方式，但是本领域熟练技术人员应当理解，这些仅是举例说明，本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。
Claims (10)
1.结肠腺体图像自动分割的深度神经网络算法，其特征在于，包括以下步骤：
(1)构建数据集：结肠腺体数据作为训练集合，获取实例图和轮廓图；
(2)构建模型：模型网络包括密集卷积神经网络和Refined U-Net，密集卷积神经网络用来提取图像的丰富的初级特征信息，与密集卷积神经网络连接的Refined U-Net网络，学习实例和轮廓的特征信息；
(3)确定模型损失函数：损失函数为Jaccard和焦点损失之和；
(4)信息融合。
2.根据权利要求1所述的结肠腺体图像自动分割的深度神经网络算法，其特征在于：所述的损失函数为Ltotal＝Lfocal+Ljaccard，
焦点损失函数Lfocal＝-αt(1-pt)γlog(pt)，其中α为类别不平衡因子，对于类别0，为α∈[0,1]，对于类别1，为1-α，γ为焦点因子，使模型更加集中于困难的错误分类的样本p∈[0,1]为模型的预测概率，pt为：
Jaccard损失函数
其中p为模型预测的值，y为Ground Truth，c为类别，Jc(p,y)为Ground Truth与预测分割图交集的大小与它们并集的大小的比值，其对应的损失函数为:
LJaccard＝1-Jc(p,y)。
3.根据权利要求2所述的结肠腺体图像自动分割的深度神经网络算法，其特征在于：焦点损失函数参数选取依据为BF得分：
对于类别c的BF得分数学表达式为:
其中:
Pc为类别c的准确率、Rc为类别c的召回率，为类别c边界二值Ground Truth图，为类别c边界二值边界模型预测图，d(·)表示欧式距离，艾佛森括号记号，方括号内的条件满足则为1，不满足则为0，θ表示距离误差允许范围(通常默认为0.75％)，最终对计算所有类别的BF平均得分便得到单张图像的BF分数。
4.根据权利要求1-3任一所述的结肠腺体图像自动分割的深度神经网络算法，其特征在于：密集卷积神经网络包括Dense Block和过渡层，每个Dense Block包含4层，增长率为12，初始的卷积核通道数为16，卷积核大小为3×3，步长为1，边缘补零pad为1，过渡层的变化因子为1。
5.根据权利要求4所述的结肠腺体图像自动分割的深度神经网络算法，其特征在于：还包括激活函数，卷积层连接Dropout层，激活函数采用Leaky ReLu。
6.根据权利要求1-3或5任一所述的结肠腺体图像自动分割的深度神经网络算法，其特征在于：Refined U-Net包括编码层和解码层，编码层是重复结构，每次重复中都有两个卷积层；解码层使用亚像素卷积得到高分辨特征图，缩放倍数为2，将亚像素的特征图与编码层中对应特征图特征融合，在特征通道上相加，对特征融合的特征图进行两次卷积操作。
7.根据权利要求6所述的结肠腺体图像自动分割的深度神经网络算法，其特征在于：卷积核大小为3×3，步长为1，边缘补零pad为1，一层卷积的通道数为32，两个卷积层后面连接一个2×2的步长为2的平均池化层。
8.根据权利要求1-3或5或7任一所述的结肠腺体图像自动分割的深度神经网络算法，其特征在于：编码层和解码层后采用Leaky ReLu激活函数和Spatial Dropout层。
9.根据权利要求8所述的结肠腺体图像自动分割的深度神经网络算法，其特征在于：
信息融合具体包括以下步骤：
(1)像素融合
融合图像计算公式为：
IA＝IM&(1-IC)
其中IA为信息融合后的二值图像A，IM为实例图像，IC为轮廓图像，&为矩阵像素按位与运算；
(2)连续性优化
对二值分割图A采用形态学开操作，利用ConvCRFs操作优化边缘，去除小面积像素，对图像空洞填充；
(3)连通域标记
对精细化后的二值图像进行4连通域标记，识别不同的实例，并对不同实例进行颜色标注，不同颜色代表不同的实例对象。
10.根据权利要求9所述的结肠腺体图像自动分割的深度神经网络算法，其特征在于：构建数据集时，将训练集数据集缩成大小为100×160的图像，训练图像进行Z-score标准化，对训练集进行随机的水平镜像翻转和垂直镜像翻转。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910727851.9A CN110428432B (zh) | 2019-08-08 | 2019-08-08 | 结肠腺体图像自动分割的深度神经网络算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910727851.9A CN110428432B (zh) | 2019-08-08 | 2019-08-08 | 结肠腺体图像自动分割的深度神经网络算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110428432A true CN110428432A (zh) | 2019-11-08 |
| CN110428432B CN110428432B (zh) | 2022-02-01 |
Family
ID=68414853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910727851.9A Active CN110428432B (zh) | 2019-08-08 | 2019-08-08 | 结肠腺体图像自动分割的深度神经网络算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110428432B (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111368848A (zh) * | 2020-05-28 | 2020-07-03 | 北京同方软件有限公司 | 一种复杂场景下的文字检测方法 |
| CN111932546A (zh) * | 2020-08-20 | 2020-11-13 | 展讯通信（上海）有限公司 | 图像分割模型训练方法、图像分割方法、装置、设备及介质 |
| CN111932566A (zh) * | 2020-05-27 | 2020-11-13 | 杭州群核信息技术有限公司 | 一种模型轮廓图生成方法、装置和系统 |
| CN112071421A (zh) * | 2020-09-01 | 2020-12-11 | 深圳高性能医疗器械国家研究院有限公司 | 一种深度学习预估方法及其应用 |
| RU2740736C1 (ru) * | 2019-12-18 | 2021-01-20 | Автономная некоммерческая образовательная организация высшего образования "Сколковский институт науки и технологий" | Способ обработки изображений дистанционного зондирования земли с помощью нейронной сети со штрафом на точность границы сегментации |
| CN112288668A (zh) * | 2020-09-22 | 2021-01-29 | 西北工业大学 | 基于深度无监督密集卷积网络的红外和可见光图像融合方法 |
| CN112465722A (zh) * | 2020-12-04 | 2021-03-09 | 武汉大学 | 一种异常相位图像的修复方法 |
| CN113223003A (zh) * | 2021-05-07 | 2021-08-06 | 西安智诊智能科技有限公司 | 一种基于深度学习的胆管图像分割方法 |
| CN113327258A (zh) * | 2021-07-15 | 2021-08-31 | 重庆邮电大学 | 一种基于深度学习的肺部ct图像识别方法 |
| CN113344935A (zh) * | 2021-06-30 | 2021-09-03 | 山东建筑大学 | 基于多尺度难度感知的图像分割方法及系统 |
| CN113569943A (zh) * | 2021-07-26 | 2021-10-29 | 中铁工程装备集团有限公司 | 一种基于深度神经网络的渣片大块预警方法、系统及装置 |
| CN113643317A (zh) * | 2021-10-18 | 2021-11-12 | 四川大学 | 基于深度几何演化模型的冠状动脉分割方法 |
| CN114511581A (zh) * | 2022-04-20 | 2022-05-17 | 四川大学华西医院 | 一种多任务多分辨率协作的食管癌病变分割方法及装置 |
| CN114862877A (zh) * | 2022-05-27 | 2022-08-05 | 四川大学华西医院 | 基于置信度评分的细胞粘连分割方法和装置 |
| CN114937171A (zh) * | 2022-05-11 | 2022-08-23 | 复旦大学 | 基于深度学习的阿尔茨海默分类系统 |
| CN116128734A (zh) * | 2023-04-17 | 2023-05-16 | 湖南大学 | 一种基于深度学习的图像拼接方法、装置、设备和介质 |
| CN117292266A (zh) * | 2023-11-24 | 2023-12-26 | 河海大学 | 一种灌区干渠混凝土裂缝检测方法、装置及存储介质 |
| CN112288668B (zh) * | 2020-09-22 | 2024-04-16 | 西北工业大学 | 基于深度无监督密集卷积网络的红外和可见光图像融合方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521592A (zh) * | 2011-11-30 | 2012-06-27 | 苏州大学 | 基于非清晰区域抑制的多特征融合显著区域提取方法 |
| CN105512661A (zh) * | 2015-11-25 | 2016-04-20 | 中国人民解放军信息工程大学 | 一种基于多模态特征融合的遥感影像分类方法 |
| CN108062754A (zh) * | 2018-01-19 | 2018-05-22 | 深圳大学 | 基于密集网络图像的分割、识别方法和装置 |
| CN108986067A (zh) * | 2018-05-25 | 2018-12-11 | 上海交通大学 | 基于跨模态的肺结节检测方法 |
| CN109003299A (zh) * | 2018-07-05 | 2018-12-14 | 北京推想科技有限公司 | 一种基于深度学习的计算脑出血量的方法 |
| WO2019145098A1 (en) * | 2018-01-24 | 2019-08-01 | Siemens Healthcare Gmbh | Non-invasive electrophysiology mapping based on affordable electrocardiogram hardware and imaging |
-
2019
- 2019-08-08 CN CN201910727851.9A patent/CN110428432B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521592A (zh) * | 2011-11-30 | 2012-06-27 | 苏州大学 | 基于非清晰区域抑制的多特征融合显著区域提取方法 |
| CN105512661A (zh) * | 2015-11-25 | 2016-04-20 | 中国人民解放军信息工程大学 | 一种基于多模态特征融合的遥感影像分类方法 |
| CN108062754A (zh) * | 2018-01-19 | 2018-05-22 | 深圳大学 | 基于密集网络图像的分割、识别方法和装置 |
| WO2019145098A1 (en) * | 2018-01-24 | 2019-08-01 | Siemens Healthcare Gmbh | Non-invasive electrophysiology mapping based on affordable electrocardiogram hardware and imaging |
| CN108986067A (zh) * | 2018-05-25 | 2018-12-11 | 上海交通大学 | 基于跨模态的肺结节检测方法 |
| CN109003299A (zh) * | 2018-07-05 | 2018-12-14 | 北京推想科技有限公司 | 一种基于深度学习的计算脑出血量的方法 |
Non-Patent Citations (2)
| Title |
|---|
| JOSE DOLZ ET AL.: "IVD-Net: Intervertebral disc localization and segmentation in MRI with a multi-modal UNet", 《ARXIV》 * |
| 朱辉等: "基于多尺度特征结构的U-Net肺结节检测算法", 《计算机工程》 * |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2740736C1 (ru) * | 2019-12-18 | 2021-01-20 | Автономная некоммерческая образовательная организация высшего образования "Сколковский институт науки и технологий" | Способ обработки изображений дистанционного зондирования земли с помощью нейронной сети со штрафом на точность границы сегментации |
| CN111932566A (zh) * | 2020-05-27 | 2020-11-13 | 杭州群核信息技术有限公司 | 一种模型轮廓图生成方法、装置和系统 |
| CN111932566B (zh) * | 2020-05-27 | 2024-02-20 | 杭州群核信息技术有限公司 | 一种模型轮廓图生成方法、装置和系统 |
| CN111368848A (zh) * | 2020-05-28 | 2020-07-03 | 北京同方软件有限公司 | 一种复杂场景下的文字检测方法 |
| CN111368848B (zh) * | 2020-05-28 | 2020-08-21 | 北京同方软件有限公司 | 一种复杂场景下的文字检测方法 |
| CN111932546A (zh) * | 2020-08-20 | 2020-11-13 | 展讯通信（上海）有限公司 | 图像分割模型训练方法、图像分割方法、装置、设备及介质 |
| CN112071421A (zh) * | 2020-09-01 | 2020-12-11 | 深圳高性能医疗器械国家研究院有限公司 | 一种深度学习预估方法及其应用 |
| CN112288668A (zh) * | 2020-09-22 | 2021-01-29 | 西北工业大学 | 基于深度无监督密集卷积网络的红外和可见光图像融合方法 |
| CN112288668B (zh) * | 2020-09-22 | 2024-04-16 | 西北工业大学 | 基于深度无监督密集卷积网络的红外和可见光图像融合方法 |
| CN112465722A (zh) * | 2020-12-04 | 2021-03-09 | 武汉大学 | 一种异常相位图像的修复方法 |
| CN113223003A (zh) * | 2021-05-07 | 2021-08-06 | 西安智诊智能科技有限公司 | 一种基于深度学习的胆管图像分割方法 |
| CN113344935B (zh) * | 2021-06-30 | 2023-02-03 | 山东建筑大学 | 基于多尺度难度感知的图像分割方法及系统 |
| CN113344935A (zh) * | 2021-06-30 | 2021-09-03 | 山东建筑大学 | 基于多尺度难度感知的图像分割方法及系统 |
| CN113327258A (zh) * | 2021-07-15 | 2021-08-31 | 重庆邮电大学 | 一种基于深度学习的肺部ct图像识别方法 |
| CN113569943B (zh) * | 2021-07-26 | 2023-10-24 | 中铁工程装备集团有限公司 | 一种基于深度神经网络的渣片大块预警方法、系统及装置 |
| CN113569943A (zh) * | 2021-07-26 | 2021-10-29 | 中铁工程装备集团有限公司 | 一种基于深度神经网络的渣片大块预警方法、系统及装置 |
| CN113643317A (zh) * | 2021-10-18 | 2021-11-12 | 四川大学 | 基于深度几何演化模型的冠状动脉分割方法 |
| CN113643317B (zh) * | 2021-10-18 | 2022-01-04 | 四川大学 | 基于深度几何演化模型的冠状动脉分割方法 |
| CN114511581B (zh) * | 2022-04-20 | 2022-07-08 | 四川大学华西医院 | 一种多任务多分辨率协作的食管癌病变分割方法及装置 |
| CN114511581A (zh) * | 2022-04-20 | 2022-05-17 | 四川大学华西医院 | 一种多任务多分辨率协作的食管癌病变分割方法及装置 |
| CN114937171A (zh) * | 2022-05-11 | 2022-08-23 | 复旦大学 | 基于深度学习的阿尔茨海默分类系统 |
| CN114937171B (zh) * | 2022-05-11 | 2023-06-09 | 复旦大学 | 基于深度学习的阿尔茨海默分类系统 |
| CN114862877A (zh) * | 2022-05-27 | 2022-08-05 | 四川大学华西医院 | 基于置信度评分的细胞粘连分割方法和装置 |
| CN114862877B (zh) * | 2022-05-27 | 2024-03-22 | 四川大学华西医院 | 基于置信度评分的细胞粘连分割方法和装置 |
| CN116128734A (zh) * | 2023-04-17 | 2023-05-16 | 湖南大学 | 一种基于深度学习的图像拼接方法、装置、设备和介质 |
| CN117292266A (zh) * | 2023-11-24 | 2023-12-26 | 河海大学 | 一种灌区干渠混凝土裂缝检测方法、装置及存储介质 |
| CN117292266B (zh) * | 2023-11-24 | 2024-03-22 | 河海大学 | 一种灌区干渠混凝土裂缝检测方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110428432B (zh) | 2022-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110428432A (zh) | 结肠腺体图像自动分割的深度神经网络算法 | |
| Lian et al. | Attention guided U-Net for accurate iris segmentation | |
| Mo et al. | Exudate-based diabetic macular edema recognition in retinal images using cascaded deep residual networks | |
| CN107506761B (zh) | 基于显著性学习卷积神经网络的脑部图像分割方法及系统 | |
| Wang et al. | Salient object detection based on multi-scale contrast | |
| CN102496023B (zh) | 像素层面的感兴趣区域提取方法 | |
| CN112651978A (zh) | 舌下微循环图像分割方法和装置、电子设备、存储介质 | |
| CN109389129A (zh) | 一种图像处理方法、电子设备及存储介质 | |
| Gao et al. | Detection and characterization of the fetal heartbeat in free-hand ultrasound sweeps with weakly-supervised two-streams convolutional networks | |
| CN108764342B (zh) | 一种对于眼底图中视盘和视杯的语义分割方法 | |
| CN105122308A (zh) | 用于使用连续染色组织上的单细胞划分的多路生物标志定量的系统和方法 | |
| KR20220050977A (ko) | 의료 이미지 처리 방법, 이미지 처리 방법 및 장치 | |
| CN109977955A (zh) | 一种基于深度学习的宫颈癌前病变识别的方法 | |
| CN109858429A (zh) | 一种基于卷积神经网络的眼底图像病变程度识别与可视化系统 | |
| CN114445670B (zh) | 图像处理模型的训练方法、装置、设备及存储介质 | |
| CN104778466B (zh) | 一种联合多种上下文线索的图像关注区域检测方法 | |
| Xu et al. | Dual-channel asymmetric convolutional neural network for an efficient retinal blood vessel segmentation in eye fundus images | |
| Cui et al. | Bidirectional cross-modality unsupervised domain adaptation using generative adversarial networks for cardiac image segmentation | |
| Shekar et al. | Review on diabetic retinopathy with deep learning methods | |
| Jian et al. | Dual-Branch-UNet: A Dual-Branch Convolutional Neural Network for Medical Image Segmentation. | |
| CN114565620A (zh) | 一种基于骨架先验和对比损失的眼底图像血管分割方法 | |
| Yao et al. | Double cross-modality progressively guided network for RGB-D salient object detection | |
| Boukdir et al. | 3D gesture segmentation for word-level Arabic sign language using large-scale RGB video sequences and autoencoder convolutional networks | |
| CN112395971A (zh) | 基于StarGAN的不同量化光照及角度条件下人脸测试图像生成方法、应用及存储介质 | |
| Yuan et al. | Explore double-opponency and skin color for saliency detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |