CN114862747A - 一种基于信息补全的全卷积细化网络腺体图像分割方法 - Google Patents
一种基于信息补全的全卷积细化网络腺体图像分割方法 Download PDFInfo
- Publication number
- CN114862747A CN114862747A CN202110156609.8A CN202110156609A CN114862747A CN 114862747 A CN114862747 A CN 114862747A CN 202110156609 A CN202110156609 A CN 202110156609A CN 114862747 A CN114862747 A CN 114862747A
- Authority
- CN
- China
- Prior art keywords
- gland
- information
- feature
- full
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004907 gland Anatomy 0.000 title claims abstract description 140
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000003709 image segmentation Methods 0.000 title claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims abstract description 92
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000005070 sampling Methods 0.000 claims abstract description 42
- 238000000605 extraction Methods 0.000 claims description 48
- 238000012549 training Methods 0.000 claims description 19
- 238000007781 pre-processing Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 13
- 239000013589 supplement Substances 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 12
- 230000001502 supplementing effect Effects 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 2
- 230000009469 supplementation Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 6
- 201000011510 cancer Diseases 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000003211 malignant effect Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000762 glandular Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007489 histopathology method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于信息补全的全卷积细化网络腺体图像分割方法，用于对腺体图像进行分割处理得到腺体分割结果，其特征在于，其特征在于，包括如下步骤：先通过空间信息补充模块依次对相邻的两个特征进行空间信息补充处理得到多个第一信息补全特征；然后，语义信息引导模块依次对相邻的两个特征进行语义信息补充处理得到多个第二信息补全特征；接着，将第一信息补全特征以及第二信息补全特征输入解码器得到初始分割结果。通过本发明的一种基于信息补全的全卷积细化网络腺体图像分割方法，可以补全图像因为需要下采样至低分辨率而损失的信息，从而提高分割边界的准确性，并得到准确的高分辨率分割结果。
Description
技术领域
本发明属于图像分析领域，具体涉及一种基于信息补全的全卷积细化网络腺体图像分割方法。
背景技术
随着数字切片扫描仪的出现，组织病理学切片可以数字化并以数字图像的形式存储。而对这些数字图像进行组织病理学分析后得到的病例分析结果则被证明是一种有效和可靠的癌症诊断和预后工具。在常规的组织病理学检查中，准确地检测和分割某些组织结构(如腺体)从而通过观察腺体的形态结构来判断是否存在癌症以及癌症的等级。然而，组织病理学切片往往分辨率很高，由病理医生手动分割不仅费时费力并且存在主观性。因此，组织病理学切片的自动化分割显得十分必要。
目前，利用人工智能技术实现自动化图像分割逐渐成为主流研究方向。Shelhamer等人提出了全卷积神经网络，而基于全卷积神经网络(FCN)的图像分割方法已经在图像分割领域取得了不错的成绩。Chen等人采用多层次的上下文特征增强多尺度分析，即通过边界检测分支来分离临近的腺体实现图像分割。Graham等人则通过合并残差块来聚合原始下采样图像的低级特征，可以最大限度地减少最大池化带来的的信息损失从而提高分割的准确率。Ding等人则采用高分辨率分支来提供低层次的全局信息，可以有利于腺体的精细定位。
然而，上述各种方法都需要下采样到低分辨率，从而造成了信息损失，导致无法产生准确的高分辨率分割结果，存在分割边界不准确，特别是对恶性病例的分割效果差等问题。另外，由于病理图像的复杂性，比如不同恶性程度的腺体拥有不同的形态、诸多相邻腺体之间距离小不容易分割、恶性腺体结构退化到与背景融为一体的状态从而无法从背景中分别出来等，都会造成腺体分割边界不准确，最后影响病理分析结果。
发明内容
为解决上述问题，提供一种补全信息从而提高腺体分割边界解决腺体无法从背景中分别出来的问题的图像分割方法，本发明采用了如下技术方案：
本发明提供了一种基于信息补全的全卷积细化网络腺体图像分割方法，用于对腺体图像进行分割处理得到腺体分割结果，其特征在于，包括如下步骤：步骤S1-1，利用预定的预处理方法对腺体数据集处理得到预处理数据集，并将预处理数据集分为训练集以及测试集；步骤S1-2，构建基于信息补全的全卷积细化网络；步骤S1-3，将训练集输入全卷积细化网络得到初始分割结果，基于初始分割结果利用预定的优化方法进行网络优化训练得到训练好的全卷积细化网络，并作为待测腺体分割模型；步骤S1-4，将测试集输入待测腺体分割模型得到测试结果，基于测试结果利用预定的评价指标进行模型过拟合判断得到过拟合判断结果；步骤S1-5，当过拟合判断结果为待测腺体分割模型未过拟合时，将待测腺体分割模型作为腺体分割模型，并将腺体图像输入腺体分割模型得到粗糙分割结果；步骤S1-6，对粗糙分割结果进行后处理得到处理结果，并作为腺体分割结果，其中，全卷积细化网络包括编码器、解码器以及基于信息补全的跳跃连接，跳跃连接包括空间信息补充模块以及语义信息引导模块，编码器包括多个按顺序排列的特征提取模块，步骤S1-3包括如下子步骤：步骤S1-3-1，将训练集输入编码器并通过特征提取模型按顺序进行特征提取得到多个特征；步骤S1-3-2，空间信息补充模块依次对相邻的两个特征进行空间信息补充处理得到空间信息更多的第一信息补全特征；步骤S1-3-3，语义信息引导模块依次对相邻的两个特征进行语义信息补充处理得到语义信息更多的第二信息补全特征；步骤S1-3-4，将第一信息补全特征以及第二信息补全特征输入解码器得到初始分割结果；步骤S1-3-5，基于初始分割结果利用优化方法进行网络优化训练得到训练好的全卷积细化网络，并作为待测腺体分割模型，步骤S1-3-2中的空间信息补充处理包括如下步骤：步骤S3-2-1，对上一个特征提取模块输出的上一特征进行下采样得到与当前特征提取模块输出的当前特征尺寸相同的特征，并作为下采样特征；步骤S3-2-2，将下采样特征与当前特征合并得到空间合并特征，并对空间合并特征进行特征提取以及降维得到空间信息；步骤S3-2-3，将空间信息与当前特征相加得到第一信息补全特征，步骤S1-3-3中的语义信息补充处理包括如下步骤：步骤S3-3-1，利用双线性插值算法对下一个特征提取模块输出的下一特征进行上采样得到与当前特征提取模块输出的当前特征尺寸相同的特征，并作为上采样特征；步骤S3-3-2，将上采样特征与当前特征合并得到语义合并特征，并利用冗余信息去除方法对语义合并特征进行处理得到软注意力权重图；步骤S3-3-3，基于软注意力权重图以及当前特征通过加权计算得到第二信息补全特征。
根据本发明提供的一种基于信息补全的全卷积细化网络腺体图像分割方法，还可以具有这样的技术特征，其中，解码器包括多个按照顺序排列的子解码器，通过跳跃连接将子解码器与对应的特征提取模块相连接，步骤S1-3-4包括如下子步骤：步骤S1-3-4-1，将特征输入解码器并通过子解码器利用双线性插值算法按顺序进行上采样得到多个上采样结果；步骤S1-3-4-2，依次对上采样结果、与子解码器对应的跳跃连接中生成的第一信息补全特征以及第二信息补全特征进行融合，最后得到初始分割结果。
根据本发明提供的一种基于信息补全的全卷积细化网络腺体图像分割方法，还可以具有这样的技术特征，其中，步骤S1-1中的预处理方法包括如下步骤：步骤S2-1，基于腺体数据集的图像标注对腺体数据集进行腐蚀操作得到腺体内部标签；步骤S2-2，对腺体数据集进行膨胀处理得到扩大腺体标签；步骤S2-3，将扩大腺体标签与腺体内部标签的差值作为腺体边界标签；步骤S2-4，将腺体内部标签以及腺体边界标签堆叠得到三值标签数据集；步骤S2-5，根据腺体数据集以及腺体边界标签得到像素点与对应的腺体边界的距离权重图，并将距离权重图以及三值标签数据集作为预处理数据集。
根据本发明提供的一种基于信息补全的全卷积细化网络腺体图像分割方法，还可以具有这样的技术特征，其中，步骤S1-4中评价指标包括F1指数、Dice系数以及豪斯多夫距离。
根据本发明提供的一种基于信息补全的全卷积细化网络腺体图像分割方法，还可以具有这样的技术特征，其中，步骤S1-6包括如下子步骤：步骤S1-6-1，对粗糙分割结果进行形态学操作得到精简分割结果；步骤S1-6-2，去除精简分割结果中像素点小于预定滤除阈值的腺体区域得到处理结果，并作为腺体分割结果。
根据本发明提供的一种基于信息补全的全卷积细化网络腺体图像分割方法，还可以具有这样的技术特征，其中，步骤S1-3-5包括如下子步骤：步骤S1-3-5-1，基于初始分割结果以及预处理结果利用预定的损失函数计算得到损失值；步骤S1-3-5-2，基于损失值利用反向传播算法、Adam优化器对全卷积细化网络进行训练优化，直到损失值不再下降得到训练好的全卷积细化网络，并作为待测腺体分割模型。
根据本发明提供的一种基于信息补全的全卷积细化网络腺体图像分割方法，还可以具有这样的技术特征，其中，步骤S1-3-5-1中的损失函数为交叉熵损失以及泛化Dice损失。
发明作用与效果
根据本发明的一种基于信息补全的全卷积细化网络腺体图像分割方法，由于空间信息补充处理过程中先对上一个特征提取模块输出的上一特征进行下采样得到与当前特征提取模块输出的当前特征尺寸相同的特征，并作为下采样特征；然后，将下采样特征与当前特征合并得到空间合并特征，并对空间合并特征进行特征提取以及降维得到空间信息；最后，将空间信息与当前特征相加得到空间信息更多的第一信息补全特征。因此，可以将上一特征中包含的更多的空间信息融合到当前特征中，从而实现实现空间信息的补充。另外，由于语义信息补充处理过程中先利用双线性插值算法对下一个特征提取模块输出的下一特征进行上采样得到与当前特征提取模块输出的当前特征尺寸相同的特征，并作为上采样特征；然后，将上采样特征与当前特征合并得到语义合并特征，并利用冗余信息去除方法对语义合并特征进行处理得到软注意力权重图；最后，基于软注意力权重图以及当前特征通过加权计算得到语义信息更多的第二信息补全特征。因此，可以将下一特征中包含的更多的语义信息融合到当前特征中，实现语义信息的补充，同时，软注意力权重图还能够突出腺体区域。
通过本发明的一种基于信息补全的全卷积细化网络腺体图像分割方法，可以补全图像因为需要下采样至低分辨率而损失的信息，从而提高分割边界的准确性，并得到准确的高分辨率分割结果。
附图说明
图1为本发明实施例的一种基于信息补全的全卷积细化网络腺体图像分割方法的流程图；
图2为本发明实施例的腺体数据集预处理过程的示意图；
图3为本发明实施例的距离权重图的示例图；
图4为本发明实施例的基于信息补全的全卷积细化网络的结构示意图；
图5为本发明实施例的步骤S1-3子步骤的流程图；
图6为本发明实施例的空间信息补充处理过程的流程图；
图7为本发明实施例的空间信息补充处理过程的流程示意图；
图8为本发明实施例的语义信息补充处理过程的流程图；
图9为本发明实施例的语义信息补充处理过程的流程示意图；以及
图10为本发明实施例的腺体图像的分割对比图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的一种基于信息补全的全卷积细化网络腺体图像分割方法作具体阐述。
<实施例>
图1为本发明实施例的一种基于信息补全的全卷积细化网络腺体图像分割方法的流程图。
如图1所示，一种基于信息补全的全卷积细化网络腺体图像分割方法包括如下步骤：
步骤S1-1，利用预定的预处理方法对腺体数据集处理得到预处理数据集，并将预处理数据集分为训练集以及测试集。
本实施例中，腺体数据集选用的是2015MICCAI Gland Challenge dataset(简称GlaS)腺体数据集。训练集包含85张图像，测试集包含80张图像。
图2为本发明实施例的腺体数据集预处理过程的示意图。
腺体数据集中的图像标签一般为二值标签(即背景为0腺体为1)，本实施例中，需要通过预处理方法对常规的二值标签进行处理得到三值标签(即背景为0腺体内部为1腺体边界为2)，预处理方法(如图2所示)包括如下步骤：
步骤S2-1，基于腺体数据集的图像标注对腺体数据集进行腐蚀操作得到腺体内部标签。
步骤S2-2，对腺体数据集进行膨胀处理得到扩大腺体标签。
步骤S2-3，将扩大腺体标签与腺体内部标签的差值作为腺体边界标签。
步骤S2-4，将腺体内部标签以及腺体边界标签堆叠得到三值标签数据集。
图3为本发明实施例的距离权重图的示例图。
步骤S2-5，根据腺体数据集以及腺体边界标签得到像素点与对应的腺体边界的距离权重图w(x)(如图3所示)，并将距离权重图以及三值标签数据集作为预处理数据集。
式中，x为像素点，wc为每个类别的权重，w0和σ均为增加边界权重的超参数，d(x)为像素点到最近的腺体边界的距离。像素点离腺体越近对应的权重越高，图3中的白色亮光部分即表示权重高的像素点。本实施例中，w0设为10，σ设为6。
步骤S1-2，构建基于信息补全的全卷积细化网络。
图4为本发明实施例的基于信息补全的全卷积细化网络的结构示意图。
如图4所示，全卷积细化网络包括编码器、解码器以及基于信息补全的跳跃连接，跳跃连接包括空间信息补充模块(简称SCB)以及语义信息引导模块(简称SGB)，编码器包括多个按顺序排列的特征提取模块(包括特征提取模块1、特征提取模块2、特征提取模块3、特征提取模块4以及特征提取模块5)。解码器包括多个按照顺序排列的子解码器(包括子解码器1、子解码器2、子解码器3以及子解码器4)，通过跳跃连接将子解码器与对应的特征提取模块相连接。
本实施例中，编码器共包括5个特征提取模块，每个特征提取模块都包括多个残差块，每个残差块中包括两个卷积操作，卷积操作中使用尺寸大小为3×3的卷积核。另外，还包括批归一化操作与RELU激活层，每个残差块的输出与残差块的输入相加。
除此之外，5个按顺序排列的特征提取模块分别包括3、3、4、6、3个残差块。除了第一个特征提取模块，其余特征提取模块的第一个残差块中第一个卷积操作使用的是移动步长为2的卷积核，后面的卷积层使用的是移动步长为1的卷积核。
当移动步长为2时，每个特征提取模块输出的特征尺寸会缩小为原来尺寸的一半，而通道数会扩大为原来的两倍。
跳跃连接将编码器中每个特征提取模块得到的特征送入解码器中对应的子解码器的同时，并且在每个跳跃连接中通过空间信息补充模块以及语义信息引导模块进行信息补全。
步骤S1-3，将训练集输入全卷积细化网络得到初始分割结果，基于初始分割结果利用预定的优化方法进行网络优化训练得到训练好的全卷积细化网络，并作为待测腺体分割模型。
图5为本发明实施例的步骤S1-3子步骤的流程图。
如图5所示，步骤S1-3包括如下子步骤：
步骤S1-3-1，将训练集输入编码器并通过特征提取模型按顺序进行特征提取得到多个特征。
步骤S1-3-2，空间信息补充模块依次对相邻的两个特征进行空间信息补充处理得到空间信息更多的第一信息补全特征。
图6为本发明实施例的空间信息补充处理过程的流程图；以及
图7为本发明实施例的空间信息补充处理过程的流程示意图。
如图6以及图7所示，空间信息补充处理包括如下步骤：
步骤S3-2-1，对上一个特征提取模块输出的上一特征进行下采样得到与当前特征提取模块输出的当前特征尺寸相同的特征，并作为下采样特征。
具体地，利用移动步长s为2的卷积核对上一个特征提取模块输出的上一特征(即图7中的fi-1)进行下采样得到与当前特征提取模块输出的当前特征(即图7中的fi)尺寸相同的特征，并作为下采样特征。
步骤S3-2-2，将下采样特征与当前特征合并得到空间合并特征，并对空间合并特征进行特征提取以及降维得到空间信息。
具体地，将下采样特征与当前特征合并得到空间合并特征，并使用1×7+7×1和7×1+1×7大小的卷积核来提取特征，然后通过1×1的卷积核降维，最后得到空间信息。
步骤S3-2-3，将空间信息与当前特征相加得到第一信息补全特征。
步骤S1-3-3，语义信息引导模块依次对相邻的两个特征进行语义信息补充处理得到语义信息更多的第二信息补全特征。
图8为本发明实施例的语义信息补充处理过程的流程图；以及
图9为本发明实施例的语义信息补充处理过程的流程示意图。
如图8以及图9所示，语义信息补充处理包括如下步骤：
步骤S3-3-1，利用双线性插值算法对下一个特征提取模块输出的下一特征(即图9中的fi+1)进行上采样得到与当前特征提取模块输出的当前特征尺寸相同的特征，并作为上采样特征。
步骤S3-3-2，将上采样特征与当前特征合并得到语义合并特征，并利用冗余信息去除方法对语义合并特征进行处理得到软注意力权重图。
具体地，将上采样特征与当前特征合并得到语义合并特征，然后使用3×3的卷积核与RELU激活函数略去语义合并特征中不重要的信息，然后使用1×1的卷积核与Sigmoid激活函数得到软注意力权重图。
步骤S3-3-3，基于软注意力权重图以及当前特征通过加权计算得到第二信息补全特征。
步骤S1-3-4，将第一信息补全特征以及第二信息补全特征输入解码器得到初始分割结果。
其中，步骤S1-3-4包括如下子步骤：
步骤S1-3-4-1，将特征输入解码器并通过子解码器利用双线性插值算法按顺序进行上采样得到多个上采样结果。
步骤S1-3-4-2，依次对上采样结果、与子解码器对应的跳跃连接中生成的第一信息补全特征以及第二信息补全特征进行融合，最后得到初始分割结果。
具体地，通过两个3×3大小的卷积核对上采样结果以及对应的跳跃连接中生成的第一信息补全特征以及第二信息补全特征进行融合。
通过第一信息补全特征以及第二信息补全特征来细化上采样结果，从而使得编码器输出的低分辨率特征变成与原图大小一致的分割结果。
步骤S1-3-5，基于初始分割结果利用优化方法进行网络优化训练得到训练好的全卷积细化网络，并作为待测腺体分割模型。
其中，步骤S1-3-5包括如下子步骤：
步骤S1-3-5-1，基于初始分割结果以及预处理结果利用预定的损失函数计算得到损失值。
其中，损失函数为交叉熵损失Lwce以及泛化Dice损失LGDL。
式中，N为像素点数，M为类别数wi为i点的权重，
为在i点的标签，如果i点属于第m类则
值为1，否则为0。
表示网络在i预测为第m类的概率，wm是每个类别的权重，由以下公式计算得到：
步骤S1-3-5-2，基于损失值利用反向传播算法、Adam优化器对全卷积细化网络进行训练优化，直到损失值不再下降得到训练好的全卷积细化网络，并作为待测腺体分割模型。
本实施例中，学习率设为0.0004，循环迭代的epoch设为1000，权重衰减系数设为0.0001。
步骤S1-4，将测试集输入待测腺体分割模型得到测试结果，基于测试结果利用预定的评价指标进行模型过拟合判断得到过拟合判断结果。
当过拟合判断结果为模型过拟合时，重复步骤S1-3；当过拟合判断结果为模型未过拟合时，进入步骤S1-5。
在重复步骤S1-3时，相应减小epoch的值或者增大权重衰减系数。
本实施例中，当epoch为1000，权重衰减系数为0.0001时，模型没有发生过拟合现象。
其中，评价指标包括F1指数、Dice系数以及豪斯多夫距离。
图10为本发明实施例的腺体图像的分割对比图。
步骤S1-5，当过拟合判断结果为待测腺体分割模型未过拟合时，将待测腺体分割模型作为腺体分割模型，并将腺体图像(如图10所示)输入腺体分割模型得到粗糙分割结果(如图10所示)。
步骤S1-6，对粗糙分割结果进行后处理得到处理结果，并作为腺体分割结果(如图10所示)。
其中，步骤S1-6包括如下子步骤：
步骤S1-6-1，对粗糙分割结果进行形态学操作得到精简分割结果。
具体地，通过膨胀操作对粗糙分割结果进行处理得到精简分割结果。
步骤S1-6-2，去除精简分割结果中像素点小于预定滤除阈值的腺体区域得到处理结果，并作为腺体分割结果。
具体地，将精简分割结果中像素点小于50个像素的腺体区域去除得到处理结果，并作为腺体分割结果。
实施例作用与效果
根据本实施例提供的基于信息补全的全卷积细化网络腺体图像分割方法，由于空间信息补充处理过程中先对上一个特征提取模块输出的上一特征进行下采样得到与当前特征提取模块输出的当前特征尺寸相同的特征，并作为下采样特征；然后，将下采样特征与当前特征合并得到空间合并特征，并对空间合并特征进行特征提取以及降维得到空间信息；最后，将空间信息与当前特征相加得到空间信息更多的第一信息补全特征。因此，可以将上一特征中包含的更多的空间信息融合到当前特征中，从而实现实现空间信息的补充。另外，由于语义信息补充处理过程中先利用双线性插值算法对下一个特征提取模块输出的下一特征进行上采样得到与当前特征提取模块输出的当前特征尺寸相同的特征，并作为上采样特征；然后，将上采样特征与当前特征合并得到语义合并特征，并利用冗余信息去除方法对语义合并特征进行处理得到软注意力权重图；最后，基于软注意力权重图以及当前特征通过加权计算得到语义信息更多的第二信息补全特征。因此，可以将下一特征中包含的更多的语义信息融合到当前特征中，实现语义信息的补充，同时，软注意力权重图还能够突出腺体区域。
另外，在实施例中，由于通过预处理方法将二值标签(即背景为0腺体为1)的腺体数据集转为三值标签(即背景为0腺体内部为1腺体边界为2)的预处理数据集，因此为解决恶性腺体的边界缺失或粘连等边界问题提供基础。
另外，在实施例中，由于先将特征输入解码器并通过子解码器利用双线性插值算法按顺序进行上采样得到多个上采样结果；然后，依次对上采样结果、与子解码器对应的跳跃连接中生成的第一信息补全特征以及第二信息补全特征进行融合，最后得到初始分割结果。因此得到的初始分割结果与原图大小一致，具有高分辨率，从而帮助病理医生准确快速地判别是否为癌症以及癌症严重程度。
另外，在实施例中，通过F1指数、Dice系数以及豪斯多夫距离三个评价指标来评判模型是否过拟合，从而根据过拟合判断结果确定是否需要通过调整epoch以及权重衰减系数来实现对模型的进一步优化。因此，最后用来对腺体图像进行分割的腺体分割模型无过拟合现象，具有较高的分割准确性。
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。
Claims (7)
1.一种基于信息补全的全卷积细化网络腺体图像分割方法，用于对腺体图像进行分割处理得到腺体分割结果，其特征在于，包括如下步骤：
步骤S1-1，利用预定的预处理方法对腺体数据集处理得到预处理数据集，并将所述预处理数据集分为训练集以及测试集；
步骤S1-2，构建基于信息补全的全卷积细化网络；
步骤S1-3，将所述训练集输入所述全卷积细化网络得到初始分割结果，基于所述初始分割结果利用预定的优化方法进行网络优化训练得到训练好的所述全卷积细化网络，并作为待测腺体分割模型；
步骤S1-4，将所述测试集输入所述待测腺体分割模型得到测试结果，基于所述测试结果利用预定的评价指标进行模型过拟合判断得到过拟合判断结果；
步骤S1-5，当所述过拟合判断结果为所述待测腺体分割模型未过拟合时，将所述待测腺体分割模型作为腺体分割模型，并将所述腺体图像输入所述腺体分割模型得到粗糙分割结果；
步骤S1-6，对所述粗糙分割结果进行后处理得到处理结果，并作为所述腺体分割结果，
其中，所述全卷积细化网络包括编码器、解码器以及基于信息补全的跳跃连接，所述跳跃连接包括空间信息补充模块以及语义信息引导模块，所述编码器包括多个按顺序排列的特征提取模块，
所述步骤S1-3包括如下子步骤：
步骤S1-3-1，将所述训练集输入所述编码器并通过所述特征提取模型按顺序进行特征提取得到多个特征；
步骤S1-3-2，所述空间信息补充模块依次对相邻的两个所述特征进行空间信息补充处理得到空间信息更多的第一信息补全特征；
步骤S1-3-3，所述语义信息引导模块依次对相邻的两个所述特征进行语义信息补充处理得到语义信息更多的第二信息补全特征；
步骤S1-3-4，将所述第一信息补全特征以及所述第二信息补全特征输入所述解码器得到所述初始分割结果；
步骤S1-3-5，基于所述初始分割结果利用所述优化方法进行网络优化训练得到所述训练好的全卷积细化网络，并作为所述待测腺体分割模型，
所述步骤S1-3-2中的所述空间信息补充处理包括如下步骤：
步骤S3-2-1，对上一个所述特征提取模块输出的上一特征进行下采样得到与当前所述特征提取模块输出的当前特征尺寸相同的特征，并作为下采样特征；
步骤S3-2-2，将所述下采样特征与所述当前特征合并得到空间合并特征，并对所述空间合并特征进行特征提取以及降维得到空间信息；
步骤S3-2-3，将所述空间信息与所述当前特征相加得到所述第一信息补全特征，
所述步骤S1-3-3中的所述语义信息补充处理包括如下步骤：
步骤S3-3-1，利用双线性插值算法对下一个所述特征提取模块输出的下一特征进行上采样得到与当前所述特征提取模块输出的当前特征尺寸相同的特征，并作为上采样特征；
步骤S3-3-2，将所述上采样特征与所述当前特征合并得到语义合并特征，并利用冗余信息去除方法对所述语义合并特征进行处理得到软注意力权重图；
步骤S3-3-3，基于所述软注意力权重图以及所述当前特征通过加权计算得到所述第二信息补全特征。
2.根据权利要求1所述的基于信息补全的全卷积细化网络腺体图像分割方法，其特征在于：
其中，所述解码器包括多个按照顺序排列的子解码器，通过所述跳跃连接将所述子解码器与对应的特征提取模块相连接，
所述步骤S1-3-4包括如下子步骤：
步骤S1-3-4-1，将所述特征输入所述解码器并通过所述子解码器利用双线性插值算法按顺序进行上采样得到多个上采样结果；
步骤S1-3-4-2，依次对所述上采样结果、与所述子解码器对应的跳跃连接中生成的所述第一信息补全特征以及所述第二信息补全特征进行融合，最后得到所述初始分割结果。
3.根据权利要求1所述的基于信息补全的全卷积细化网络腺体图像分割方法，其特征在于：
其中，所述步骤S1-1中的所述预处理方法包括如下步骤：
步骤S2-1，基于所述腺体数据集的图像标注对所述腺体数据集进行腐蚀操作得到腺体内部标签；
步骤S2-2，对所述腺体数据集进行膨胀处理得到扩大腺体标签；
步骤S2-3，将所述扩大腺体标签与所述腺体内部标签的差值作为腺体边界标签；
步骤S2-4，将所述腺体内部标签以及所述腺体边界标签堆叠得到三值标签数据集；
步骤S2-5，根据所述腺体数据集以及所述腺体边界标签得到像素点与对应的腺体边界的距离权重图，并将所述距离权重图以及所述三值标签数据集作为所述预处理数据集。
4.根据权利要求1所述的基于信息补全的全卷积细化网络腺体图像分割方法，其特征在于：
其中，所述步骤S1-4中所述评价指标包括F1指数、Dice系数以及豪斯多夫距离。
5.根据权利要求1所述的基于信息补全的全卷积细化网络腺体图像分割方法，其特征在于：
其中，所述步骤S1-6包括如下子步骤：
步骤S1-6-1，对所述粗糙分割结果进行形态学操作得到精简分割结果；
步骤S1-6-2，去除所述精简分割结果中像素点小于预定滤除阈值的腺体区域得到所述处理结果，并作为所述腺体分割结果。
6.根据权利要求1所述的基于信息补全的全卷积细化网络腺体图像分割方法，其特征在于：
其中，所述步骤S1-3-5包括如下子步骤：
步骤S1-3-5-1，基于所述初始分割结果以及所述预处理结果利用预定的损失函数计算得到损失值；
步骤S1-3-5-2，基于所述损失值利用反向传播算法、Adam优化器对所述全卷积细化网络进行训练优化，直到所述损失值不再下降得到所述训练好的全卷积细化网络，并作为所述待测腺体分割模型。
7.根据权利要求6所述的基于信息补全的全卷积细化网络腺体图像分割方法，其特征在于：
其中，所述步骤S1-3-5-1中的所述损失函数为交叉熵损失以及泛化Dice损失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110156609.8A CN114862747A (zh) | 2021-02-04 | 2021-02-04 | 一种基于信息补全的全卷积细化网络腺体图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110156609.8A CN114862747A (zh) | 2021-02-04 | 2021-02-04 | 一种基于信息补全的全卷积细化网络腺体图像分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114862747A true CN114862747A (zh) | 2022-08-05 |
Family
ID=82622778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110156609.8A Pending CN114862747A (zh) | 2021-02-04 | 2021-02-04 | 一种基于信息补全的全卷积细化网络腺体图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114862747A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115619810A (zh) * | 2022-12-19 | 2023-01-17 | 中国医学科学院北京协和医院 | 一种前列腺分区分割方法、系统及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108776969A (zh) * | 2018-05-24 | 2018-11-09 | 复旦大学 | 基于全卷积网络的乳腺超声图像肿瘤分割方法 |
| CN109087327A (zh) * | 2018-07-13 | 2018-12-25 | 天津大学 | 一种级联全卷积神经网络的甲状腺结节超声图像分割方法 |
| CN110288611A (zh) * | 2019-06-12 | 2019-09-27 | 上海工程技术大学 | 基于注意力机制和全卷积神经网络的冠状血管分割方法 |
-
2021
- 2021-02-04 CN CN202110156609.8A patent/CN114862747A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108776969A (zh) * | 2018-05-24 | 2018-11-09 | 复旦大学 | 基于全卷积网络的乳腺超声图像肿瘤分割方法 |
| CN109087327A (zh) * | 2018-07-13 | 2018-12-25 | 天津大学 | 一种级联全卷积神经网络的甲状腺结节超声图像分割方法 |
| CN110288611A (zh) * | 2019-06-12 | 2019-09-27 | 上海工程技术大学 | 基于注意力机制和全卷积神经网络的冠状血管分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| BOWEN XU ET AL.: ""Maximal Information Complemented Refinement Network for Gland Instance Segmentation"", 《2020 IEEE INTERNATIONAL CONFERENCE ON BIOINFORMATICS AND BIOMEDICINE (BIBM)》, 19 December 2020 (2020-12-19), pages 1 - 4 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115619810A (zh) * | 2022-12-19 | 2023-01-17 | 中国医学科学院北京协和医院 | 一种前列腺分区分割方法、系统及设备 |
| CN115619810B (zh) * | 2022-12-19 | 2023-10-03 | 中国医学科学院北京协和医院 | 一种前列腺分区分割方法、系统及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325751B (zh) | 基于注意力卷积神经网络的ct图像分割系统 | |
| AU2020104006A4 (en) | Radar target recognition method based on feature pyramid lightweight convolutional neural network | |
| CN114943963B (zh) | 一种基于双分支融合网络的遥感图像云和云影分割方法 | |
| CN110930397A (zh) | 一种磁共振图像分割方法、装置、终端设备及存储介质 | |
| CN112232229B (zh) | 基于U-net神经网络的精细水体提取方法 | |
| CN112258526B (zh) | 一种基于对偶注意力机制的ct肾脏区域级联分割方法 | |
| CN115294038A (zh) | 一种基于联合优化与混合注意力特征融合的缺陷检测方法 | |
| CN112085741B (zh) | 一种基于深度学习的胃癌病理切片分割算法 | |
| CN114758137B (zh) | 超声图像分割方法、装置及计算机可读存储介质 | |
| CN113313000B (zh) | 一种基于光学图像的气液两相流智能识别方法 | |
| CN113192076A (zh) | 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法 | |
| CN116563285B (zh) | 一种基于全神经网络的病灶特征识别与分割方法及系统 | |
| CN114998756A (zh) | 一种基于yolov5的遥感图像检测方法、装置及存储介质 | |
| CN114897782B (zh) | 基于生成式对抗网络的胃癌病理切片图像分割预测方法 | |
| CN111079825B (zh) | 针对医学图像的细胞核自动检测方法 | |
| CN112700450A (zh) | 一种基于集成学习的图像分割方法及其系统 | |
| CN115439493A (zh) | 一种乳腺组织切片癌变区域分割方法及装置 | |
| CN116486393A (zh) | 一种基于图像分割的场景文本检测方法 | |
| CN114862747A (zh) | 一种基于信息补全的全卷积细化网络腺体图像分割方法 | |
| CN114418987A (zh) | 一种多阶段特征融合的视网膜血管分割方法及系统 | |
| CN117726954A (zh) | 一种遥感图像海陆分割方法及系统 | |
| CN111612803B (zh) | 一种基于图像清晰度的车辆图像语义分割方法 | |
| CN117274355A (zh) | 一种基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法 | |
| CN117067112A (zh) | 一种水切割机及其控制方法 | |
| CN116228795A (zh) | 一种基于弱监督学习的超高分辨率医学图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |