CN115272367A - 基于双支路网络的图像分割方法、装置、设备及存储介质 - Google Patents
基于双支路网络的图像分割方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115272367A CN115272367A CN202210895359.4A CN202210895359A CN115272367A CN 115272367 A CN115272367 A CN 115272367A CN 202210895359 A CN202210895359 A CN 202210895359A CN 115272367 A CN115272367 A CN 115272367A
- Authority
- CN
- China
- Prior art keywords
- image
- branch network
- segmented
- segmentation
- image segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000011218 segmentation Effects 0.000 claims abstract description 61
- 230000002159 abnormal effect Effects 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 34
- 230000006870 function Effects 0.000 claims description 65
- 239000013598 vector Substances 0.000 claims description 27
- 230000004927 fusion Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 5
- 230000008485 antagonism Effects 0.000 claims 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 7
- 238000002372 labelling Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 208000017442 Retinal disease Diseases 0.000 description 3
- 238000002679 ablation Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 201000004569 Blindness Diseases 0.000 description 2
- 206010038923 Retinopathy Diseases 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 206010058558 Hypoperfusion Diseases 0.000 description 1
- 206010021143 Hypoxia Diseases 0.000 description 1
- 206010029113 Neovascularisation Diseases 0.000 description 1
- 208000014139 Retinal vascular disease Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 210000003161 choroid Anatomy 0.000 description 1
- 208000027129 choroid disease Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013534 fluorescein angiography Methods 0.000 description 1
- 230000007954 hypoxia Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000028867 ischemia Diseases 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 230000000649 photocoagulation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 208000004644 retinal vein occlusion Diseases 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 238000012353 t test Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于双支路网络的图像分割方法，所述方法携带人工标注的待分割图像初步训练双支路网络；利用初步训练双支路网络，计算分割图像的分割概率，并根据分割概率，计算总体不确定度；根据总体不确定度约束损失函数，并基于约束后的损失函数对双支路网络进行更新训练，以通过更新后的所述双支路网络分割出图像中的异常区域。通过上述方式，本发明根据携带原始标注的图像对双支路网络进行初步训练，得到分割概率，并计算不确定度，由不确定度约束损失函数，对双支路网络进行更新训练，以获得更高的效率与准确性。由此，采用双支路网络进行图像分割，提高了图像中异常区域识别效率及准确性。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种具有基于双支路网络的图像分割方法、装置、设备及计算机可读存储介质。
背景技术
视网膜病变是全世界视力损害和失明的主要原因之一。视网膜毛细血管非灌注(CNP)是典型的眼底病变。缺血和缺氧可导致视网膜灌注不足，导致血管阻塞和毛细血管非灌注区的形成。新生血管容易发生在非灌注区附近。新生血管壁的通透性极不稳定，容易出血。在严重的情况下，它会导致失明。CNP面积的大小在视网膜血管疾病中非常重要。例如，在糖尿病视网膜病变和视网膜静脉阻塞中，CNP的程度与疾病的严重程度以及是否需要光凝治疗密切相关。因此，早期发现小而孤立的非灌注区至关重要。眼底荧光素血管造影(FFA)常用于检测各种眼科疾病，如脉络膜、视网膜和视神经。FFA提供有关毛细血管结构和功能的信息，是诊断视网膜和脉络膜疾病的重要检查手段。它是许多眼科疾病的标准诊断和研究方法之一。准确测量病变的大小和分布可以帮助医生准确确定视网膜病变的程度，并可以帮助医生发现其他系统性疾病。有助于医生及时发现CNP的病因，选择合适的治疗方案当前对于FFA图像大多采用人工标注异常区域，效率低且准确率低，容易将小而鼓励的非灌注区忽视。因此，如何解决现有人工标注异常图像效率低且准确率低成为了目前亟待解决的技术问题
发明内容
本发明的主要目的在于提供基于双支路网络的图像分割方法、装置、设备及计算机可读存储介质，旨在解决现有人工标注效率低且准确率的问题。
为实现上述目的，本发明提供一种基于双支路网络的图像分割方法，所述方法：标注判别器在判定待分割图像携带原始标注时，所述图像分割模块在所述待分割图像中分割出异常区域，得到分割图像；所述分割判别器基于所述原始标注以及分割出的异常区域，计算所述图像分割模块的分割概率，并根据所述分割概率，计算所述图像分割模块的总体不确定度；根据所述总体不确定度约束损失函数，并基于约束后的损失函数对所述双支路网络进行更新训练，得到更新后的所述双支路网络，以通过更新后的所述双支路网络分割出图像中的异常区域。
此外，为实现上述目的，本发明还提供一种基于双支路网络的图像分割装置，所述基于双支路网络的图像分割装置包括：分割图像生成模块，用于标注判别器在判定待分割图像携带原始标注时，所述图像分割模块在所述待分割图像中分割出异常区域，得到分割图像；不确定度计算模块，用于所述分割判别器基于所述原始标注以及分割出的异常区域，计算所述图像分割模块的分割概率，并根据所述分割概率，计算所述图像分割模块的总体不确定度；半监督训练模块，用于根据所述总体不确定度约束损失函数，并基于约束后的损失函数对所述双支路网络进行更新训练，得到更新后的所述双支路网络，以通过更新后的所述双支路网络分割出图像中的异常区域。
此外，为实现上述目的，本发明还提供一种基于双支路网络的图像分割设备，所述图像分割设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的图像分割程序，其中所述图像分割程序被所述处理器执行时，实现如上述基于双支路网络的图像分割方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于双支路网络的图像分割程序，其中所述基于双支路网络的图像分割程序被处理器执行时，实现如上述的基于双支路网络的图像分割方法的步骤。
本发明提供一种基于双支路网络的图像分割方法，所述方法通过标注判别器在判定待分割图像携带原始标注时，所述图像分割模块在所述待分割图像中分割出异常区域，得到分割图像；所述分割判别器基于所述原始标注以及分割出的异常区域，计算所述图像分割模块的分割概率，并根据所述分割概率，计算所述图像分割模块的总体不确定度；根据所述总体不确定度约束损失函数，并基于约束后的损失函数对所述双支路网络进行更新训练，得到更新后的所述双支路网络，以通过更新后的所述双支路网络分割出图像中的异常区域。通过上述方式，本发明根据携带原始标注的待分割图像的异常区域分割以及原始标注，计算出图像分割模块的分割概率，并根据分割概率计算图像分割模块的总体不确定度；通过总体不确定度约束各损失函数，并通过约束后的损失函数对双支路网络进行更新训练，得到更新后的双支路网络，以通过更新后的双支路网络分割出图像中的异常区域。由此采用双支路网络进行图像分割，提高了异常图像识别效率及准确性，避免了人工标注异常图像效率低且准确率低的问题。
附图说明
图1为本发明实施例方案中涉及的基于双支路网络的图像分割设备的硬件结构示意图；
图2为本发明一种基于双支路网络的图像分割方法第一实施例的流程示意图；
图3为本发明一种基于双支路网络的图像分割方法第二实施例的流程示意图；
图4为本发明一种基于双支路网络的图像分割装置的功能模块示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例涉及的基于双支路网络的图像分割方法主要应用于图像分割。
参照图1，图1为本发明实施例方案中涉及的图像分割的网络结构示意图。本发明实施例中，图像分割网络包括双支路编码器1001，特征融合模块1002，双码流解码器1003，多层融合模块1004，图像分割模块1005，分割判别器1006，标注判别器1007。
本领域技术人员可以理解，图1中示出的网络并不构成对图像分割各个模块的限定，包括比图示更多或更少的模块，或者组合某些模块，或者不同的模块布置。
本发明实施例提供了一种基于双支路网络的图像分割方法。
参照图2，图2为本发明基于双支路网络的图像分割方法第一实施例的流程示意图。
本实施例中，所述基于双支路网络的图像分割方法包括以下步骤：
步骤S10，所述标注判别器在判定待分割图像携带原始标注时，所述图像分割模块在所述待分割图像中分割出异常区域，得到分割图像；
本实施例中，通过双支路编码器将两个支路的输出特征大小分别降采样为输入大小的若干倍，得到输出特征向量；通过特征融合模块将所述输出特征向量进行融合，并将融合后的特征向量与一双码流解码器输出并上采样后的特征向量拼接并卷积，得到第一特征向量；通过多层融合模块将低级特征融合到高级特征，得到第二特征向量；通过所述图像分割模块将所述第一特征向量与所述第二特征向量拼接并进行卷积，得到所述分割图像。
本实施例中，所述标注判别器判定所述待分割图像携带原始标注时，通过受所述损失函数约束的所述图像分割模块，对所述分割图像进行分割，得到所述分割图像。
具体地，本发明方法的双支路编码器的第一支路由五个卷积块组成：conv1_x、conv2_x、conv3_x、conv4_x、conv5_x，其中输出特征的大小在宽度和高度上被降采样为输入大小的1/2。第二支路由五个卷积块组成：conv1_y、conv2_y、conv3_y、conv4_y、conv5_y，其中输出特征的大小在宽度和高度上被降采样为输入大小的1/2。这两个支路的编码器可以使用ResNet、VGG、DenseNet等网络模型的五个卷积块构成。
本发明方法的特征融合模块是针对上述双支路编码器每个层次卷积块输出的特征图进行融合而设计的，特征融合的公式为：
DCov3×3＝Cov3×3(Cov3×3(Fin))， (2)
Cov3×3＝ReLU(BN(conv3×3(Fin)))， (3)
其中，conv3×3表示3×3的卷积运算，BN表示批归一化，ReLU表示激活函数，concat表示将两个特征向量拼接在一起，Fin表示输入的特征向量，
表示第一支路的第l卷积块convl_x输出的特征向量(l＝1,2,…,5)，
表示第二支路的第l卷积块convl_y输出的特征向量，
表示第l特征融合模块输出的特征向量。
本发明方法的双流解码器将第l双流解码器输出的特征向量
进行上采样2倍，然后与第l-1特征融合模块输出的特征向量
拼接在一起，并进行卷积，解码器的公式为
其中Up为上采样2倍，
为第l-1双流解码器输出的特征向量。
本发明方法的多层融合模块将从低级特征融合到高级特征，融合的公式为：
其中，F3×3,11-2l是
是经过一个3×3的膨胀率为11-2l卷积运算后的特征向量，F3×3,9-2l是
是经过一个3×3的膨胀率为9-2l卷积运算后的特征向量。
本发明方法的图像分割模块将多层融合模块输出的特征与双流解码器输出的特征拼接在一起，送进1×1卷积运算后得到分割图像。
图像分割是图像识别和计算机视觉至关重要的预处理，没有正确的分割就不可能有正确的识别。但是进行分割仅有的依据是图像中像素的亮度及颜色，由计算机自动处理分割时，将会遇到各种困难。例如，光照不均匀、噪声的影响、图像中存在不清晰的部分以及阴影等，常常发生分割错误，因此需要损失函数对模型进行约束，以修正模型。
具体地，分割判别器DS将图像与分割图像判别为真实的或虚假的，受对抗性损失的约束，对抗性损失由分割判别器DS计算，以惩罚双支路网络S，可以表示为：
其中，x表示待分割图像，y表示待分割图像的标注图像，E表示数学期望，S(x)表示双支路网络S对待分割图像x输出的分割图。L1损失函数也用来约束双支路网络S训练，定义为
交叉熵损失函数也用来约束双支路网络S训练，定义为
其中，y'＝S(x)，H表示图像的高，W表示图像的宽，y'i表示分割图y'中第i个像素的预测值，yi表示标注图y中第i个像素的标注标签，
dice损失函数也用来约束双支路网络S训练，定义为
初始训练的总损失函数为：
其中，λ1为权重参数。
在机器学习中，损失函数是用来估量魔性的预测值与真实值的不一致程度，损失函数越小就代表模型的鲁棒性更好，正式损失函数指导模型的学习，由此，双支路网络S和判别器DS的训练是由分别在最小化和最大化目标函数方面进行最小-最大博弈，如下：
步骤S20，所述分割判别器基于所述原始标注以及分割出的异常区域，计算所述图像分割模块的分割概率，并根据所述分割概率，计算所述图像分割模块的总体不确定度；
本实施例中，改变携带所述原始标注的待分割图像的对比度，得到第一待分割图像；
将所述第一待分割图像送进所述双支路网络，分割出异常区域，基于所述待分割图像的所述原始标注以及分割出的异常区域，得到单个像素分割概率；
根据所述单个像素分割概率，计算所述图像分割模块的所述总体不确定度。
具体地，随机改变待分割图像x的对比度变成待分割图像x'，送进训练好的双支路网络S，进行T次，可以产生分割概率图p1(x'),p2(x'),…,pT(x')，计算不确定度：
计算总体不确定度：
其中，U(xi)表示不确定度图U(x)中第i个像素的不确定度，N表示图像像素数目。不确定度是测量结果的一个参数，用与表征合理的赋予被测量值的分散性。不确定度意味着对测量结果可信性、有效性的怀疑程度或不肯定成都。类似地，对于未标注的待分割图像
使用训练好的双支路网络S计算不确定度图
也计算
的分割图
作为伪标签。
步骤S30，根据所述总体不确定度约束损失函数，并基于约束后的损失函数对所述双支路网络进行更新训练，得到更新后的所述双支路网络，以通过更新后的所述双支路网络分割出图像中的异常区域；
本实施例中，根据所述总体不确定度，对各所述损失函数进行约束，以提升基于所述双支路网络的图像分割的准确性；
将各所述损失函数相加，得到总体损失函数，并通过总体损失函数对所述双支路网络进行更新训练，得到更新后的所述双支路网络，以通过更新后的所述双支路网络分割出图像中的异常区域。
具体地，对双支路网络S进一步训练。分割判别器DS将未标注的待分割图像
与分割图像判别为真实的或虚假的，受对抗性损失的约束，对抗性损失由分割判别器DS计算，以惩罚双支路网络S，可以表示为：
分割判别器DS对有标注的图像采用公式(6)。对于未标注的图像，不确定度约束的交叉熵损失函数也用来约束双支路网络S训练，定义为：
其中，
λu是权重系数，
表示分割图
中第i个像素的预测值，
表示伪标签
中第i个像素的标签值。类似地，对于有标注的图像，也可以定义不确定度约束的交叉熵损失函数
对于未标注的图像，不确定度约束的L1损失函数也用来约束双支路网络S训练，定义为：
类似地，对于有标注的图像，也可以定义不确定度约束的L1损失函数
标注对抗损失用于判别双支路网络S产生的是有标注的图像的分割还是未标注的图像的分割。标注对抗损失函数定义为：
其中，DA为标注判别器。
半监督训练的总体损失函数为：
双支路网络S和判别器DS、DA的训练是由分别在最小化和最大化目标函数方面进行最小-最大博弈，如下：
本实施例提供一种基于双支路网络的图像分割方法，所述方法通过标注判别器在判定待分割图像携带原始标注时，所述图像分割模块在所述待分割图像中分割出异常区域，得到分割图像；所述分割判别器基于所述原始标注以及分割出的异常区域，计算所述图像分割模块的分割概率，并根据所述分割概率，计算所述图像分割模块的总体不确定度；根据所述总体不确定度约束损失函数，并基于约束后的损失函数对所述双支路网络进行更新训练，得到更新后的所述双支路网络，以通过更新后的所述双支路网络分割出图像中的异常区域。由此，根据对基于双支路网络的图像分割模型进行训练，提升了异常区域标注的效率与准确性。
参照图3，图3为本发明基于双支路网络的图像分割方法第二实施例的流程示意图。
基于上述图2所示实施例，本实施例中，步骤S30之后还包括：
步骤S40所述标注判别器判定所述待分割图像携带原始标注时，通过受所述损失函数约束的所述图像分割模块，对所述分割图像进行分割，得到所述分割图像。
本实施例提供一种基于双支路网络的图像分割方法，所述方法通过标注判别器在判定待分割图像携带原始标注时，所述图像分割模块在所述待分割图像中分割出异常区域，得到分割图像；所述分割判别器基于所述原始标注以及分割出的异常区域，计算所述图像分割模块的分割概率，并根据所述分割概率，计算所述图像分割模块的总体不确定度；根据所述总体不确定度约束损失函数，并基于约束后的损失函数对所述双支路网络进行更新训练，得到更新后的所述双支路网络，以通过更新后的所述双支路网络分割出图像中的异常区域，将未携带原始标注的待分割图像送入双支路网络中，得到分割更为准确的分割图像。由此，根据对基于双支路网络的图像分割模型进行训练，提升了异常区域标注的效率与准确性。
进一步地，在完成图像分割之后，还需要通过以下四个医学图像分割中常用的评价指标，对本发明提出的基于双支路网络的图像分割方法进行定量评估：
Dice系数(DSC)、交并比(IoU)、精确度(Precision)和召回率(Recall)。
DSC是评估预测结果与人工标注之间相似度的函数，其利用预测结果与人工标注的交集与并集的比值得到，定义为：
其中TP(True Positive)为真阳性像素数，FP(False Positive)为假阳性像素数，FN(False Negative)为假阴性像素数。
在同一数据集上，将本发明的损失函数、多层融合模块、半监督训练依次添加进入网络进行消融实验，消融实验如表1所示。表1中的Baseline表示双支路网络S不包含多层融合模块(MLFB),依次加入交叉熵损失函数、dice损失函数、L1损失函数、多层融合模块(MLFB)、所有未标注的数据(all)、不确定度(uncertainty)以及标注判别器的分割精度。表1所示，每个部分都对精度提升有贡献。
表1消融实验
在同一数据集上，将本发明方法与UNet,attentionUnet,CENet,DWNet,MFNet,CGNet,DenseASPP,BiSeNet,FCN32s,FCN16s,FCN8s,FCN,PSPNet,PSANet,DANet,DeepLabV3,DUNet,nnUnet进行比较。不同的方法实验结果如表2所示。本发明的方法明显优于其他方法，在DSC、IoU、和Recall都取得最高。对DSC进行了t检验，所有的p值都小于0.05，说明本发明的分割精度显著比其他方法高。通过图2也能发现，本发明的方法优于其他方法。
表2不同方法分割精度对比
此外，本发明实施例还提供一种基于双支路网络的图像分割模型。
参照图4，图4为本发明一种基于双支路网络的图像分割模型的功能模块示意图。
本实施例中，所述基于双支路网络的图像分割模型包括：
图像分割模块10，用于标注判别器在判定待分割图像携带原始标注时，所述图像分割模块在所述待分割图像中分割出异常区域，得到分割图像；
不确定度计算模块20，用于所述分割判别器基于所述原始标注以及分割出的异常区域，计算所述图像分割模块的分割概率，并根据所述分割概率，计算所述图像分割模块的总体不确定度；
半监督训练模块30，用于根据所述总体不确定度约束损失函数，并基于约束后的损失函数对所述双支路网络进行更新训练，得到更新后的所述双支路网络，以通过更新后的所述双支路网络分割出图像中的异常区域；
进一步地，所述异常区域生成模块10具体包括：
双支路编码单元，用于将两个支路的输出特征大小分别降采样为输入大小的若干倍，得到输出特征向量；
双码流解码单元，用于某一双码流解码器输出的特征向量
进行上采样2倍；
特征融合单元，用于将所述输出特征向量进行融合，并将融合后的特征向量与双码流解码单元输出的特征向量拼接并进行卷积，得到第一特征向量；
多层融合单元，用于将低级特征融合到高级特征，得到第二特征向量；
图像分割单元，用于将所述第一特征向量与所述第二特征向量拼接并进行卷积，得到所述分割图像。
进一步地，所述不确定度计算模块20具体包括：
分割概率计算单元，用于所述分割判别器基于所述原始标注以及分割出的异常区域，计算所述图像分割模块的分割概率；
不确定度计算单元，用于根据所述分割概率，计算所述图像分割模块的总体不确定度。
进一步地，所述半监督训练模块30具体包括：
损失函数约束单元，用于根据所述总体不确定度约束损失函数；
网络更新训练单元，用于基于约束后的损失函数对所述双支路网络进行更新训练，得到更新后的所述双支路网络，以通过更新后的所述双支路网络分割出图像中的异常区域。
此外，本发明实施例还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有基于双支路网络的图像分割程序，其中所述基于双支路网络的图像分割程序被处理器执行时，实现如上述的基于双支路网络的图像分割方法的步骤。
其中，基于双支路网络的图像分割被执行时所实现的方法可参照本发明基于双支路网络的图像分割方法的各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于双支路网络的图像分割方法，其特征在于，所述方法应用于双支路网络，所述双支路网络包括标注判别器、分割判别器、图像分割模块，所述方法包括：
所述标注判别器在判定待分割图像携带原始标注时，所述图像分割模块在所述待分割图像中分割出异常区域，得到分割图像；
所述分割判别器基于所述原始标注以及分割出的异常区域，计算所述图像分割模块的分割概率，并根据所述分割概率，计算所述图像分割模块的总体不确定度；
根据所述总体不确定度约束损失函数，并基于约束后的损失函数对所述双支路网络进行更新训练，得到更新后的所述双支路网络，以通过更新后的所述双支路网络分割出图像中的异常区域。
2.根据权利要求1所述的双支路网络的图像分割方法，其特征在于，所述根据所述总体不确定度约束损失函数，并基于约束后的损失函数对所述双支路网络进行更新训练，得到更新后的所述双支路网络，以通过更新后的所述双支路网络分割出图像中的异常区域之后，还包括：
所述标注判别器在判定待分割图像未携带原始标注时，将所述待分割图像送入更新的所述双支路网络进行分割，所述图像分割模块在所述待分割图像中分割出异常区域。
3.根据权利要求1所述的双支路网络的图像分割方法，其特征在于，所述标注判别器在判定待分割图像携带原始标注时，所述图像分割模块在所述待分割图像中分割出异常区域，得到分割图像，所述双支路网络还包括双支路编码器、特征融合模块、双码流解码器、多层融合模块、图像分割模块，所述方法包括：
通过双支路编码器将两个支路的输出特征大小分别降采样为输入大小的若干倍，得到输出特征向量；
通过特征融合模块将所述输出特征向量进行融合，并将融合后的特征向量与一双码流解码器输出并上采样后的特征向量拼接并卷积，得到第一特征向量；
通过多层融合模块将低级特征融合到高级特征，得到第二特征向量；
通过所述图像分割模块将所述第一特征向量与所述第二特征向量拼接并进行卷积，得到所述分割图像。
4.根据权利要求1所述的双支路网络的图像分割方法，其特征在于，所述标注判别器在判定待分割图像携带原始标注时，所述图像分割模块在所述待分割图像中分割出异常区域，得到分割图像，还包括：
所述标注判别器判定所述待分割图像携带原始标注时，通过受所述损失函数约束的所述图像分割模块，对所述分割图像进行分割，得到所述分割图像。
5.根据权利要求1所述的双支路网络的图像分割方法，其特征在于，所述分割判别器基于所述原始标注以及分割出的异常区域，计算所述图像分割模块的分割概率，并根据所述分割概率，计算所述图像分割模块的总体不确定度，包括：
改变携带所述原始标注的待分割图像的对比度，得到第一待分割图像；
将所述第一待分割图像送进所述双支路网络，分割出异常区域，基于所述待分割图像的所述原始标注以及分割出的异常区域，得到单个像素分割概率；
根据所述单个像素分割概率，计算所述图像分割模块的所述总体不确定度。
6.根据权利要求1所述的双支路网络的图像分割方法，其特征在于，所述根据所述总体不确定度约束损失函数，并基于约束后的损失函数对所述双支路网络进行更新训练，得到更新后的所述双支路网络，以通过更新后的所述双支路网络分割出图像中的异常区域，包括：
根据所述总体不确定度，对各所述损失函数进行约束，以提升基于所述双支路网络的图像分割的准确性；
将各所述损失函数相加，得到总体损失函数，并通过总体损失函数对所述双支路网络进行更新训练，得到更新后的所述双支路网络，以通过更新后的所述双支路网络分割出图像中的异常区域。
7.根据权利要求1-6中任一项所述的双支路网络的图像分割方法，其特征在于，所述损失函数，包括：
对抗性损失函数、交叉熵损失函数、L1损失函数、Dice损失函数和标注对抗损失函数。
8.一种基于双支路网络的图像分割装置，其特征在于，所述基于双支路网络的图像分割装置包括：
图像分割模块，用于标注判别器在判定待分割图像携带原始标注时，所述图像分割模块在所述待分割图像中分割出异常区域，得到分割图像；
不确定度计算模块，用于所述分割判别器基于所述原始标注以及分割出的异常区域，计算所述图像分割模块的分割概率，并根据所述分割概率，计算所述图像分割模块的总体不确定度；
半监督训练模块，用于根据所述总体不确定度约束损失函数，并基于约束后的损失函数对所述双支路网络进行更新训练，得到更新后的所述双支路网络，以通过更新后的所述双支路网络分割出图像中的异常区域。
9.一种基于双支路网络的图像分割设备，其特征在于，所述基于双支路网络的图像分割设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的图像分割程序，其中所述图像分割程序被所述处理器执行时，实现如权利要求1-7中任一项所述的图像分割方法的步骤。
10.计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有一种基于双支路网络的图像分割程序，其中所述基于双支路网络的图像分割程序被处理器执行时，实现如权利要求1至7中任一项所述的基于双支路网络的图像分割方法的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2022104128121 | 2022-04-19 | ||
| CN202210412812 | 2022-04-19 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115272367A true CN115272367A (zh) | 2022-11-01 |
Family
ID=83770182
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210895359.4A Pending CN115272367A (zh) | 2022-04-19 | 2022-07-27 | 基于双支路网络的图像分割方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115272367A (zh) |
-
2022
- 2022-07-27 CN CN202210895359.4A patent/CN115272367A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7058373B2 (ja) | 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体 | |
| US11487995B2 (en) | Method and apparatus for determining image quality | |
| JP4026158B1 (ja) | 読影支援装置、読影支援方法及びプログラム | |
| CN111695463B (zh) | 人脸面部杂质检测模型的训练方法、人脸面部杂质检测方法 | |
| CN110264444B (zh) | 基于弱分割的损伤检测方法及装置 | |
| US20210118137A1 (en) | Method and apparatus of labeling target in image, and computer recording medium | |
| Nazir et al. | Optic Disc and Optic Cup Segmentation for Glaucoma Detection from Blur Retinal Images Using Improved Mask‐RCNN | |
| CN114495029B (zh) | 一种基于改进YOLOv4的交通目标检测方法及系统 | |
| CN112509661B (zh) | 用于识别体检报告的方法、计算设备和介质 | |
| CN113870215B (zh) | 中线提取方法及装置 | |
| CN115631397A (zh) | 一种基于双模态图像的目标检测方法及装置 | |
| WO2023108418A1 (zh) | 脑图谱构建及神经环路检测的方法和相关产品 | |
| CN113793326A (zh) | 一种基于图像的疾病识别方法和装置 | |
| CN113506293A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN115272367A (zh) | 基于双支路网络的图像分割方法、装置、设备及存储介质 | |
| CN113221762A (zh) | 代价平衡决策方法、保险理赔决策方法、装置和设备 | |
| CN112991343A (zh) | 眼底图像黄斑区域的识别检测方法和装置及设备 | |
| CN115100731B (zh) | 一种质量评价模型训练方法、装置、电子设备及存储介质 | |
| CN116468702A (zh) | 黄褐斑评估方法、装置、电子设备及计算机可读存储介质 | |
| CN116805522A (zh) | 诊断报告输出方法、装置、终端及存储介质 | |
| CN113591601B (zh) | 角膜共聚焦图像中菌丝识别方法及装置 | |
| CN115631370A (zh) | 一种基于卷积神经网络的mri序列类别的识别方法及装置 | |
| CN115205410A (zh) | 视网膜光学相干断层扫描图像检测方法、装置及终端 | |
| CN115546476A (zh) | 基于多尺度特征的多对象检测方法与数据平台 | |
| CN111462067B (zh) | 图像分割方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |