CN115861252A - 一种基于对抗学习策略的半监督医学图像器官分割方法 - Google Patents
一种基于对抗学习策略的半监督医学图像器官分割方法 Download PDFInfo
- Publication number
- CN115861252A CN115861252A CN202211607583.5A CN202211607583A CN115861252A CN 115861252 A CN115861252 A CN 115861252A CN 202211607583 A CN202211607583 A CN 202211607583A CN 115861252 A CN115861252 A CN 115861252A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- image
- network
- organ
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 401
- 210000000056 organ Anatomy 0.000 title claims abstract description 136
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 125
- 238000002372 labelling Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 12
- 230000003042 antagnostic effect Effects 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 abstract description 2
- 210000003734 kidney Anatomy 0.000 description 8
- 210000004185 liver Anatomy 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 210000002784 stomach Anatomy 0.000 description 4
- 230000001919 adrenal effect Effects 0.000 description 2
- 210000004100 adrenal gland Anatomy 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 210000000709 aorta Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 210000001198 duodenum Anatomy 0.000 description 2
- 210000003238 esophagus Anatomy 0.000 description 2
- 210000000232 gallbladder Anatomy 0.000 description 2
- 210000000496 pancreas Anatomy 0.000 description 2
- 210000000952 spleen Anatomy 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000001631 vena cava inferior Anatomy 0.000 description 2
- 208000000913 Kidney Calculi Diseases 0.000 description 1
- 206010029148 Nephrolithiasis Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及图像分割技术领域，具体是涉及一种基于对抗学习策略的半监督医学图像器官分割方法。本发明首先采用少量的原始标注图像训练判别网络，以得到已训练的判别网络。然后再用上述少量的原始标注图像以及从原始标注图像人为分割出的器官图像对分割训练进行预训练，得到预训练分割网络。最后只要采用无标注图像、噪声图像、已训练判别网络对预训练分割网络进行训练，就可以得到已训练分割网络。由于本发明设置了判别网络，因此可以只使用少量的原始标注图像就可以完成对分割网络的训练，从而节省了训练时间。
Description
技术领域
本发明涉及图像分割技术领域，具体是涉及一种基于对抗学习策略的半监督医学图像器官分割方法。
背景技术
基于医学CT图像(原始图像，在该原始图像上人为标注出器官就得到了原始标注图像)进行内脏器官分割具有许多重要的临床应用价值，例如器官状况的评估、外科手术的安排、疾病诊断等等。但对于放射科专家而言手工器官分割意味着巨大的工作量，即使是最具经验的放射科医生至少也需要一天的时间对常见的13个器官(肝、右肾、脾脏、胰腺、主动脉、下腔静脉、右肾上腺、左肾上腺、胆囊、食道、胃、十二指肠、左肾)进行分割。为了解决上述问题，现有技术采用算法模型分割出CT图像中含有的器官图像，但是现有技术需要大量已标注的CT图像训练算法模型，从而导致增加了算法模型的训练时间。
综上所述，现有技术中的分割模型所需的训练时间较大。
因此，现有技术还有待改进和提高。
发明内容
为解决上述技术问题，本发明提供了一种基于对抗学习策略的半监督医学图像器官分割方法，解决了现有技术中的分割模型所需训练时间较大的问题。
为实现上述目的，本发明采用了以下技术方案：
第一方面，本发明提供一种基于对抗学习策略的半监督医学图像器官分割方法，其中，包括：
采用原始标注图像、被冻结的分割网络，训练判别网络，得到已训练判别网络，所述原始标注图像为标注器官信息的图像，被冻结的所述分割网络在训练所述判别网络的过程中参数保持不变，所述分割网络用于分割出所述原始标注图像中的器官图像，所述判别网络采用对抗学习策略，所述判别网络用于判别所述分割网络分割出的器官图像；
依据所述原始标注图像、所述原始标注图像所对应的真实分割结果，训练所述分割网络，得到预训练分割网络；
依据无标注图像、噪声图像、所述已训练判别网络、被冻结的所述分割网络，训练所述预训练分割网络，得到已训练分割网络，所述噪声图像为在所述无标注图像上添加噪声的图像。
在一种实现方式中，所述采用原始标注图像、被冻结的分割网络，训练判别网络，得到已训练判别网络，所述原始标注图像为标注器官信息的图像，被冻结的所述分割网络在训练所述判别网络的过程中参数保持不变，所述分割网络用于分割出所述原始标注图像中的器官图像，所述判别网络采用对抗学习策略，所述判别网络用于判别所述分割网络分割出的器官图像，包括：
依据所述原始标注图像和被冻结的所述分割网络，得到第一分割结果，所述第一分割结果为从所述原始标注图像上分割出的含有器官的图像；
依据所述第一分割结果、所述原始标注图像、真实分割结果，训练所述判别网络，得到已训练判别网络，所述真实分割结果与所述原始标注图像标注出的器官相对应。
在一种实现方式中，所述依据所述原始标注图像和被冻结的所述分割网络，得到第一分割结果，所述第一分割结果为从所述原始标注图像上分割出的含有器官的图像，包括：
以所述原始标注图像中标注出的器官像素点为中心，沿所述原始标注图像的长和/或宽的方向拓展设定像素点，得到拓展区域；
从所述原始标注图像裁剪出所述拓展区域，得到裁剪图像；
将所述裁剪图像缩放到设定尺寸，得到预处理之后的所述原始标注图像；
将预处理之后的所述原始标注图像输入至被冻结的所述分割网络，得到被冻结的所述分割网络输出的第一分割结果。
在一种实现方式中，所述依据所述原始标注图像、所述原始标注图像所对应的真实分割结果，训练所述分割网络，得到预训练分割网络，包括：
将所述原始标注图像输入至待训练的所述分割网络，得到所述分割网络输出的预测分割结果；
确定所述预测分割结果和所述真实分割结果的重合图像信息；
确定所述预测分割结果和所述真实分割结果的总图像信息；
依据所述重合图像信息和所述总图像信息，确定所述分割网络的损失函数；
依据所述损失函数，调整所述分割网络的参数，完成所述分割网络的预训练。
在一种实现方式中，所述依据无标注图像、噪声图像、所述已训练判别网络、被冻结的所述分割网络，训练所述预训练分割网络，得到已训练分割网络，所述噪声图像为在所述无标注图像上添加噪声的图像，包括：
确定被冻结的所述分割网络针对所述无标注图像分割出的含有器官的分割图像，记为第二分割结果；
确定被冻结的所述分割网络针对所述噪声图像分割出的含有器官的分割图像，记为第三分割结果；
将所述第二分割结果和所述第三分割结果输入至所述已训练判别网络，得到所述已训练判别网络输出的伪标签，所述伪标签用于表征所述第二分割结果和所述第三分割结果的区别程度；
依据所述伪标签调整所述预训练分割网络的梯度方向，得到已训练分割网络。
在一种实现方式中，所述分割网络为第一分割网络，所述方法还包括训练第二分割网络，所述第二分割网络的输入为所述第一分割网络的输出，训练所述第二分割网络，包括：
确定已训练的所述第一分割网络针对所述原始标注图像分割出的含有器官的标注器官初分割结果；
依据所述标注器官初分割结果和所述标注器官初分割结果所对应的真实分割结果，训练判别网络，得到针对所述第二分割网络的已训练判别网络；
依据针对所述第二分割网络的已训练判别网络、所述标注器官初分割结果和所述真实分割结果，训练所述第二分割网络。
在一种实现方式中，所述依据针对所述第二分割网络的已训练判别网络、所述标注器官初分割结果和所述真实分割结果，训练所述第二分割网络，包括：
依据所述标注器官初分割结果和所述真实分割结果，训练所述第二分割网络，得到预训练的第二分割网络；
确定已训练的所述第一分割网络针对无标注图像分割出的含有器官的无标注器官初分割结果；
确定已训练的所述第一分割网络针对噪声图像分割出的含有器官的噪声器官初分割结果；
依据所述无标注器官初分割结果、所述噪声器官初分割结果、针对所述第二分割网络的已训练判别网络，训练预训练的第二分割网络，得到已训练的所述第二分割网络。
第二方面，本发明实施例还提供一种基于对抗学习策略的半监督医学图像器官分割装置，其中，所述装置包括如下组成部分：
判别网络训练模块，用于采用原始标注图像、被冻结的分割网络，训练判别网络，得到已训练判别网络，所述原始标注图像为标注器官信息的图像，被冻结的所述分割网络在训练所述判别网络的过程中参数保持不变，所述分割网络用于分割出所述原始标注图像中的器官图像，所述判别网络采用对抗学习策略，所述判别网络用于判别所述分割网络分割出的器官图像；
分割网络预训练模块，用于依据所述原始标注图像、所述原始标注图像所对应的真实分割结果，训练所述分割网络，得到预训练分割网络；
分割网络训练模块，用于依据无标注图像、噪声图像、所述已训练判别网络、被冻结的所述分割网络，训练所述预训练分割网络，得到已训练分割网络，所述噪声图像为在所述无标注图像上添加噪声的图像。
第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于对抗学习策略的半监督医学图像器官分割程序，所述处理器执行所述基于对抗学习策略的半监督医学图像器官分割程序时，实现上述所述的基于对抗学习策略的半监督医学图像器官分割方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于对抗学习策略的半监督医学图像器官分割程序，所述基于对抗学习策略的半监督医学图像器官分割程序被处理器执行时，实现上述所述的基于对抗学习策略的半监督医学图像器官分割方法的步骤。
有益效果：本发明首先采用少量的原始标注图像训练判别网络(分割网络针对含有器官的原始图像分割出器官图像，判别网络用于判断分割出的器官图像的质量)，以得到已训练的判别网络。然后再用上述少量的原始标注图像以及从原始标注图像人为分割出的器官图像(真实分割结果)对分割训练进行预训练，得到预训练分割网络。最后只要采用无标注图像、噪声图像、已训练判别网络对预训练分割网络进行训练，就可以得到已训练分割网络。由于本发明设置了判别网络，使用判别器可以让网络对于分割质量有一个判别作用，因此本发明可以引入未标注的数据，来减少所需的标注图像数量。因此可以只使用少量的原始标注图像就可以完成对分割网络的训练(原始标注图像需要人为标注，大量的原始标注图像需要大量的时间标注)，从而节省了训练时间。
附图说明
图1为本发明的整体流程图；
图2为本发明实施例中的分割网络训练流程图；
图3为本发明实施例中的判别网络结构图；
图4为本发明实施例中的细分割网络结构图；
图5为本发明实施例提供的终端设备的内部结构原理框图。
具体实施方式
以下结合实施例和说明书附图，对本发明中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
经研究发现，基于医学CT图像(原始图像，在该原始图像上人为标注出器官就得到了原始标注图像)进行内脏器官分割具有许多重要的临床应用价值，例如器官状况的评估、外科手术的安排、疾病诊断等等。但对于放射科专家而言手工器官分割意味着巨大的工作量，即使是最具经验的放射科医生至少也需要一天的时间对常见的13个器官(肝、右肾、脾脏、胰腺、主动脉、下腔静脉、右肾上腺、左肾上腺、胆囊、食道、胃、十二指肠、左肾)进行分割。为了解决上述问题，现有技术采用算法模型分割出CT图像中含有的器官图像，但是现有技术需要大量已标注的CT图像训练算法模型，从而导致增加了算法模型的训练时间。
为解决上述技术问题，本发明提供了一种基于对抗学习策略的半监督医学图像器官分割方法，解决了现有技术中的分割模型所需训练时间较大的问题。具体实施时，首先采用原始标注图像、被冻结的分割网络，训练判别网络，得到已训练判别网络。然后依据原始标注图像、原始标注图像所对应的真实分割结果，训练分割网络，得到预训练分割网络。最后依据无标注图像、噪声图像、已训练判别网络、被冻结的分割网络，训练预训练分割网络，得到已训练分割网络。本发明因设计了判别网络从而使用很少的标注图像就可以完成对分割网络的训练。
举例说明，在人体的肾脏CT图像中标注出肝器官，就形成了关于肝器官的原始标注图像。将肝器官的原始标注图像输入到被冻结的分割网络，被冻结的分割网络就会输出肝器官所在的第一分割图像，然后再将第一分割图像、人工从原始标注图像分割出的肝器官所在的真实分割图像以及原始标注图像输入到待训练的判别网络(卷积神经网络)，训练判别网络记住真实分割图像所具有的特征。训练完成判别网络之后，再采用已训练的判别网络以及无标注图像和噪声图像训练分割图像。
示例性方法
本实施例的基于对抗学习策略的半监督医学图像器官分割方法可应用于终端设备中，所述终端设备可为具有图像采集功能的终端产品，比如电脑等。在本实施例中，如图1中所示，所述基于对抗学习策略的半监督医学图像器官分割方法具体包括如下步骤S100、S200、S300：
分割网络包括粗分割网络(第一分割网络)和细分割网络(第二分割网络)，训练过程是对判别网络、粗分割网络、细分割网络都进行训练，粗分割网络和细分割网络是独立训练的，在训练粗分割网络之前，先训练出一个判别网络(记为粗判别网络)，该判别网络能够判别粗分割网络输出的含有器官的分割图像的质量；在训练细分割网络之前，先训练出一个判别网络(记为细判别网络)，该判别网络能够判别细分割网络输出的含有器官的分割图像的质量。在实际分割图像时，只使用粗分割网络、细分割网络对图像进行分割，以分割出器官所在的图像，具体分割过程：将原始图像输入到已训练的粗分割网络，粗分割网络输出含有器官的初分割图像(该初分割图像中除了器官部分还有其它非器官部分)，然后将初分割图像输入至细分割网络，细分割网络输出最终的分割图像(该分割图像只含有器官部分)，且在分割图像上标注出器官名称。下面以步骤S100、S200、S300说明训练粗分割网络的详细过程：
S100，采用原始标注图像、被冻结的分割网络，训练判别网络，得到已训练判别网络，所述原始标注图像为标注器官信息的图像，被冻结的所述分割网络(卷积神经网络)在训练所述判别网络的过程中参数保持不变，所述分割网络用于分割出所述原始标注图像中的器官图像，所述判别网络采用对抗学习策略，所述判别网络用于判别所述分割网络分割出的器官图像。
原始标注图像即人工在CT图像上标注出器官部分的图像。
如图2所示，将原始标注图像(Original image)进行预处理，将预处理之后的原始标注图像分别输入到判别器(Discriminator)和被冻结的分割网络(图2中，Step部分的虚线框内的Generator),将被冻结的分割网络输出的分割结果(图2中的Segmentation)以及真实分割结果(人工从原始标注图像上分割出的只含有器官部分的图像)也输入至判别器，训练判别器记住什么样的分割结果才是接近真实分割结果的分割图像。
在一个实施例中，步骤S100包括如下的步骤S101至S105：
S101，以所述原始标注图像中标注出的器官像素点为中心，沿所述原始标注图像的长和/或宽的方向拓展设定像素点，得到拓展区域。
该实施例中，设定像素点为原始标注图像的长宽方向上的20个像素点。
举例说明，原始标注图像中标注出了胃器官，以胃器官作为中心，在原始标注图像的长度方向以及宽度方向各自延伸20个像素点就形成了拓展区域。
也就是对于标注好的数据(原始标注图像)先根据对应的标注将有标注的数据部分(器官部分)剪裁出来，同时保留了20个原图像的像素作为器官部分的余量。
S102，从所述原始标注图像裁剪出所述拓展区域，得到裁剪图像。
S103，将所述裁剪图像缩放到设定尺寸，得到预处理之后的所述原始标注图像。
该实施例中将裁剪图像缩放到[160,160,160](设定尺寸)，就得到了预处理之后的原始标注图像
S104，将预处理之后的所述原始标注图像输入至被冻结的所述分割网络，得到被冻结的所述分割网络输出的第一分割结果。
被冻结的所述分割网络就是在训练图2中的判别网络的过程中其参数一直保持不变的分割网络，由于本实施例中的分割网络为粗分割网络，因此被冻结的分割网络输出的第一分割结果中除了含有器官部分还包括非器官部分。
S105，依据所述第一分割结果、所述原始标注图像、真实分割结果，训练所述判别网络，得到已训练判别网络，所述真实分割结果与所述原始标注图像标注出的器官相对应。
将第一分割结果、原始标注图像、真实分割结果输入到判别网络，训练判别网络的过程中判别网络通过将第一分割结果与原始标注图像、真实分割结果进行比较，以评估第一分割结果的图像质量。也就是训练之后的判别网络可以区分分割网络分割出的图像质量。
本实施例中的判别网络的结构如图3所示，对抗训练策略的判别器网络，其输入为CT图像，两个分割结果，这两个分割结果在不同的步骤下由不同的模型和标签提供，用于对相关分割结果进行分析给出模型接下来学习的方向。
S200，依据所述原始标注图像、所述原始标注图像所对应的真实分割结果，训练所述分割网络，得到预训练分割网络。
步骤S100已完成对判别网络的训练，接下来就是训练分割网络，训练过程以epoch作为基本的循环单位，其中，batch size为2，epochs＝500，学习率为0.001，优化器选择AdamW，损失函数采用dice，学习率衰减采用自定义的分布衰减方法。
预训练就是训练图2中的Step2中的Generator(分割网络)，在一个实施例中，步骤S200包括如下的步骤S201至S205：
S201，将所述原始标注图像输入至待训练的所述分割网络，得到所述分割网络输出的预测分割结果。
该原始标注图像也是采用步骤S101、S102和S103处理之后的图像。
S202，确定所述预测分割结果和所述真实分割结果的重合图像信息。
S203，确定所述预测分割结果和所述真实分割结果的总图像信息。
S204，依据所述重合图像信息和所述总图像信息，确定所述分割网络的损失函数DiceLoss:
步骤S202至S204是依据如下公式计算出损失函数DiceLoss。
式中，X为真实分割结果的图像，Y为预测分割结果，X∩Y为重合图像信息，|X|为对图像X中的所有像素点的加权求和，|Y|为对图像Y中的所有像素点的加权求和，且图像X和图像Y中作为前景的像素点的权值为1，作为背景的像素点的权值为0。
分割结果的后处理过程，使用图像连通分析来消除分割时产生的空洞进一步提高模型分割的准确率，我们采用的是cc4d方案，在保证分析效率的前提下消除所有空洞。
S205，依据所述损失函数，调整所述分割网络的参数，完成所述分割网络的预训练。
当损失函数大于一定阈值时，调整分割网络的参数大小，直至调整参数的分割网络输出的预测分割结果与真实分割结果构成的损失函数小于该阈值时，完成分割网络的预训练。
S300，依据无标注图像、噪声图像、所述已训练判别网络、被冻结的所述分割网络，训练所述预训练分割网络，得到已训练分割网络，所述噪声图像为在所述无标注图像上添加噪声的图像。
噪声图像为在无标注图像中添加高斯噪声形成的图像。
在将无标注图像(在图像中没有标注出器官部分)输入至图2中Step3虚线框内的Generator(被冻结的分割网络)之前，对无标注图像进行预处理，无标注图像的预处理包括：将无标注图像缩放到[160,160,160]。
在一个实施例中，步骤S300包括如下的步骤：
S301，确定被冻结的所述分割网络针对所述无标注图像分割出的含有器官的分割图像，记为第二分割结果。
被冻结的所述分割网络为图2中Step3步骤中虚线框内的Generator，无标注图像为Original unlabeled image,第二分割结果为Segmentation Unlabeled。
S302，确定被冻结的所述分割网络针对所述噪声图像分割出的含有器官的分割图像，记为第三分割结果。
噪声图像为图2中的Noised image,第三分割结果为Segmentation Noised。
S303，将所述第二分割结果和所述第三分割结果输入至所述已训练判别网络，得到所述已训练判别网络输出的伪标签，所述伪标签用于表征所述第二分割结果和所述第三分割结果的区别程度。
伪标签为图3中的Pseudo lable，伪标签指的是判别器认为更好的那张对应的分割结果，其作用是作为分割网络的标签参与训练，即将第二分割结果和第三分割结果输入至已训练判别网络，如果第二分割结果比第三分割结果的分割结果好，那么已训练判别网络就给第二分割结果贴上伪标签。否则给第三分割结果贴上伪标签。
S304，依据所述伪标签调整所述预训练分割网络的梯度方向，得到已训练分割网络。
梯度方向即增大分割网络的参数还是减小分割网络的参数。
步骤S100、S200、S300完成了对粗分割网络(第一分割网络)的训练，之后对细分割网络进行训练，这二者的训练过程几乎相同，只需要将图2中的分割网络(Generator)替换成图4中的细分割网络(第二分割网络)、将图2中的原始标注图像(Original image)替换成已训练的粗分割网络针对原始标注图像输出的分割图像，再将该分割图像进行裁剪同时保留20个像素的余量，并且再次裁剪出来的部位缩放到[192,192,192]，之后就采用图2中的训练方式训练细分割网络。完成粗分割网络和细分割网络的训练之后，便可以采用由这二者构成的模型分割CT图像中的器官了，具体过程如下：读取需要预测的CT图像，完成数据粗分割预处理操作，使用粗分割模型进行肾脏定位。然后根据获得的肾脏区域，进行细分割数据预处理操作，使用细分割模型与肾脏及肾结石进行分割；最后，每个数据块重新合并为原始CT图像大小的数据，并且将合并结果输出保存为格式文件并且储存到目标文件夹。
综上，本发明首先采用少量的原始标注图像训练判别网络(分割网络针对含有器官的原始图像分割出器官图像，判别网络用于判断分割出的器官图像的质量)，以得到已训练的判别网络。然后再用上述少量的原始标注图像以及从原始标注图像人为分割出的器官图像(真实分割结果)对分割训练进行预训练，得到预训练分割网络。最后只要采用无标注图像、噪声图像、已训练判别网络对预训练分割网络进行训练，就可以得到已训练分割网络。由于本发明设置了判别网络，因此可以只使用少量的原始标注图像就可以完成对分割网络的训练(原始标注图像需要人为标注，大量的原始标注图像需要大量的时间标注)，从而节省了训练时间。
另外，本发明构建了一个基于深度神经网络的器官分割算法，目的是能快速地对于13个器官进行分割，其关键点在于采用了对抗学习的策略在保证分割准确度的前提下十分快速的对CT图像的内脏器官进行了分割，同时让较小的计算设备也能对医学图像进行分割。
示例性装置
本实施例还提供一种基于对抗学习策略的半监督医学图像器官分割装置，所述装置包括如下组成部分：
判别网络训练模块，用于采用原始标注图像、被冻结的分割网络，训练判别网络，得到已训练判别网络，所述原始标注图像为标注器官信息的图像，被冻结的所述分割网络在训练所述判别网络的过程中参数保持不变，所述分割网络用于分割出所述原始标注图像中的器官图像，所述判别网络采用对抗学习策略，所述判别网络用于判别所述分割网络分割出的器官图像；
分割网络预训练模块，用于依据所述原始标注图像、所述原始标注图像所对应的真实分割结果，训练所述分割网络，得到预训练分割网络；
分割网络训练模块，用于依据无标注图像、噪声图像、所述已训练判别网络、被冻结的所述分割网络，训练所述预训练分割网络，得到已训练分割网络，所述噪声图像为在所述无标注图像上添加噪声的图像。
基于上述实施例，本发明还提供了一种终端设备，其原理框图可以如图5所示。该终端设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于对抗学习策略的半监督医学图像器官分割方法。该终端设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端设备的温度传感器是预先在终端设备内部设置，用于检测内部设备的运行温度。
本领域技术人员可以理解，图5中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端设备，终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于对抗学习策略的半监督医学图像器官分割程序，处理器执行基于对抗学习策略的半监督医学图像器官分割程序时，实现如下操作指令：
采用原始标注图像、被冻结的分割网络，训练判别网络，得到已训练判别网络；
依据所述原始标注图像、所述原始标注图像所对应的真实分割结果，训练所述分割网络，得到预训练分割网络；
依据无标注图像、噪声图像、所述已训练判别网络、被冻结的所述分割网络，训练所述预训练分割网络，得到已训练分割网络，所述噪声图像为在所述无标注图像上添加噪声的图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于对抗学习策略的半监督医学图像器官分割方法，其特征在于，包括：
采用原始标注图像、被冻结的分割网络，训练判别网络，得到已训练判别网络，所述原始标注图像为标注器官信息的图像，被冻结的所述分割网络在训练所述判别网络的过程中参数保持不变，所述分割网络用于分割出所述原始标注图像中的器官图像，所述判别网络采用对抗学习策略，所述判别网络用于判别所述分割网络分割出的器官图像；
依据所述原始标注图像、所述原始标注图像所对应的真实分割结果，训练所述分割网络，得到预训练分割网络；
依据无标注图像、噪声图像、所述已训练判别网络、被冻结的所述分割网络，训练所述预训练分割网络，得到已训练分割网络，所述噪声图像为在所述无标注图像上添加噪声的图像。
2.如权利要求1所述的基于对抗学习策略的半监督医学图像器官分割方法，其特征在于，所述采用原始标注图像、被冻结的分割网络，训练判别网络，得到已训练判别网络，所述原始标注图像为标注器官信息的图像，被冻结的所述分割网络在训练所述判别网络的过程中参数保持不变，所述分割网络用于分割出所述原始标注图像中的器官图像，所述判别网络采用对抗学习策略，所述判别网络用于判别所述分割网络分割出的器官图像，包括：
依据所述原始标注图像和被冻结的所述分割网络，得到第一分割结果，所述第一分割结果为从所述原始标注图像上分割出的含有器官的图像；
依据所述第一分割结果、所述原始标注图像、真实分割结果，训练所述判别网络，得到已训练判别网络，所述真实分割结果与所述原始标注图像标注出的器官相对应。
3.如权利要求2所述的基于对抗学习策略的半监督医学图像器官分割方法，其特征在于，所述依据所述原始标注图像和被冻结的所述分割网络，得到第一分割结果，所述第一分割结果为从所述原始标注图像上分割出的含有器官的图像，包括：
以所述原始标注图像中标注出的器官像素点为中心，沿所述原始标注图像的长和/或宽的方向拓展设定像素点，得到拓展区域；
从所述原始标注图像裁剪出所述拓展区域，得到裁剪图像；
将所述裁剪图像缩放到设定尺寸，得到预处理之后的所述原始标注图像；
将预处理之后的所述原始标注图像输入至被冻结的所述分割网络，得到被冻结的所述分割网络输出的第一分割结果。
4.如权利要求1所述的基于对抗学习策略的半监督医学图像器官分割方法，其特征在于，所述依据所述原始标注图像、所述原始标注图像所对应的真实分割结果，训练所述分割网络，得到预训练分割网络，包括：
将所述原始标注图像输入至待训练的所述分割网络，得到所述分割网络输出的预测分割结果；
确定所述预测分割结果和所述真实分割结果的重合图像信息；
确定所述预测分割结果和所述真实分割结果的总图像信息；
依据所述重合图像信息和所述总图像信息，确定所述分割网络的损失函数；
依据所述损失函数，调整所述分割网络的参数，完成所述分割网络的预训练。
5.如权利要求1所述的基于对抗学习策略的半监督医学图像器官分割方法，其特征在于，所述依据无标注图像、噪声图像、所述已训练判别网络、被冻结的所述分割网络，训练所述预训练分割网络，得到已训练分割网络，所述噪声图像为在所述无标注图像上添加噪声的图像，包括：
确定被冻结的所述分割网络针对所述无标注图像分割出的含有器官的分割图像，记为第二分割结果；
确定被冻结的所述分割网络针对所述噪声图像分割出的含有器官的分割图像，记为第三分割结果；
将所述第二分割结果和所述第三分割结果输入至所述已训练判别网络，得到所述已训练判别网络输出的伪标签，所述伪标签用于表征所述第二分割结果和所述第三分割结果的区别程度；
依据所述伪标签调整所述预训练分割网络的梯度方向，得到已训练分割网络。
6.如权利要求1所述的基于对抗学习策略的半监督医学图像器官分割方法，其特征在于，所述分割网络为第一分割网络，所述方法还包括训练第二分割网络，所述第二分割网络的输入为所述第一分割网络的输出，训练所述第二分割网络，包括：
确定已训练的所述第一分割网络针对所述原始标注图像分割出的含有器官的标注器官初分割结果；
依据所述标注器官初分割结果和所述标注器官初分割结果所对应的真实分割结果，训练判别网络，得到针对所述第二分割网络的已训练判别网络；
依据针对所述第二分割网络的已训练判别网络、所述标注器官初分割结果和所述真实分割结果，训练所述第二分割网络。
7.如权利要求6所述的基于对抗学习策略的半监督医学图像器官分割方法，其特征在于，所述依据针对所述第二分割网络的已训练判别网络、所述标注器官初分割结果和所述真实分割结果，训练所述第二分割网络，包括：
依据所述标注器官初分割结果和所述真实分割结果，训练所述第二分割网络，得到预训练的第二分割网络；
确定已训练的所述第一分割网络针对无标注图像分割出的含有器官的无标注器官初分割结果；
确定已训练的所述第一分割网络针对噪声图像分割出的含有器官的噪声器官初分割结果；
依据所述无标注器官初分割结果、所述噪声器官初分割结果、针对所述第二分割网络的已训练判别网络，训练预训练的第二分割网络，得到已训练的所述第二分割网络。
8.一种基于对抗学习策略的半监督医学图像器官分割装置，其特征在于，所述装置包括如下组成部分：
判别网络训练模块，用于采用原始标注图像、被冻结的分割网络，训练判别网络，得到已训练判别网络，所述原始标注图像为标注器官信息的图像，被冻结的所述分割网络在训练所述判别网络的过程中参数保持不变，所述分割网络用于分割出所述原始标注图像中的器官图像，所述判别网络采用对抗学习策略，所述判别网络用于判别所述分割网络分割出的器官图像；
分割网络预训练模块，用于依据所述原始标注图像、所述原始标注图像所对应的真实分割结果，训练所述分割网络，得到预训练分割网络；
分割网络训练模块，用于依据无标注图像、噪声图像、所述已训练判别网络、被冻结的所述分割网络，训练所述预训练分割网络，得到已训练分割网络，所述噪声图像为在所述无标注图像上添加噪声的图像。
9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于对抗学习策略的半监督医学图像器官分割程序，所述处理器执行所述基于对抗学习策略的半监督医学图像器官分割程序时，实现如权利要求1-7任一项所述的基于对抗学习策略的半监督医学图像器官分割方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于对抗学习策略的半监督医学图像器官分割程序，所述基于对抗学习策略的半监督医学图像器官分割程序被处理器执行时，实现如权利要求1-7任一项所述的基于对抗学习策略的半监督医学图像器官分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211607583.5A CN115861252B (zh) | 2022-12-14 | 2022-12-14 | 一种基于对抗学习策略的半监督医学图像器官分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211607583.5A CN115861252B (zh) | 2022-12-14 | 2022-12-14 | 一种基于对抗学习策略的半监督医学图像器官分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115861252A true CN115861252A (zh) | 2023-03-28 |
| CN115861252B CN115861252B (zh) | 2023-09-22 |
Family
ID=85672881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211607583.5A Active CN115861252B (zh) | 2022-12-14 | 2022-12-14 | 一种基于对抗学习策略的半监督医学图像器官分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115861252B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127447A (zh) * | 2019-12-26 | 2020-05-08 | 河南工业大学 | 基于生成式对抗网络的血管分割网络及方法 |
| CN113436169A (zh) * | 2021-06-25 | 2021-09-24 | 东北大学 | 一种基于半监督语义分割的工业设备表面裂纹检测方法及系统 |
| CN114897782A (zh) * | 2022-04-13 | 2022-08-12 | 华南理工大学 | 基于生成式对抗网络的胃癌病理切片图像分割预测方法 |
| CN114897914A (zh) * | 2022-03-16 | 2022-08-12 | 华东师范大学 | 基于对抗训练的半监督ct图像分割方法 |
| US20220383504A1 (en) * | 2019-10-25 | 2022-12-01 | Raysearch Laboratories Ab (Publ) | Probablistic segmentation |
| CN115439486A (zh) * | 2022-05-27 | 2022-12-06 | 陕西科技大学 | 基于双重对抗网络的半监督器官组织图像分割方法及系统 |
-
2022
- 2022-12-14 CN CN202211607583.5A patent/CN115861252B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220383504A1 (en) * | 2019-10-25 | 2022-12-01 | Raysearch Laboratories Ab (Publ) | Probablistic segmentation |
| CN111127447A (zh) * | 2019-12-26 | 2020-05-08 | 河南工业大学 | 基于生成式对抗网络的血管分割网络及方法 |
| CN113436169A (zh) * | 2021-06-25 | 2021-09-24 | 东北大学 | 一种基于半监督语义分割的工业设备表面裂纹检测方法及系统 |
| CN114897914A (zh) * | 2022-03-16 | 2022-08-12 | 华东师范大学 | 基于对抗训练的半监督ct图像分割方法 |
| CN114897782A (zh) * | 2022-04-13 | 2022-08-12 | 华南理工大学 | 基于生成式对抗网络的胃癌病理切片图像分割预测方法 |
| CN115439486A (zh) * | 2022-05-27 | 2022-12-06 | 陕西科技大学 | 基于双重对抗网络的半监督器官组织图像分割方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115861252B (zh) | 2023-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210390706A1 (en) | Detection model training method and apparatus, computer device and storage medium | |
| CN109872333B (zh) | 医学影像分割方法、装置、计算机设备和存储介质 | |
| CN110930417B (zh) | 图像分割模型的训练方法和装置、图像分割方法和装置 | |
| WO2020215557A1 (zh) | 医学影像解释方法、装置、计算机设备及存储介质 | |
| CN111931865A (zh) | 图像分类模型的训练方法、装置、计算机设备及存储介质 | |
| CN108805828A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN112001399B (zh) | 基于局部特征显著化的图像场景分类方法和装置 | |
| CN111583199B (zh) | 样本图像标注方法、装置、计算机设备和存储介质 | |
| CN114511523B (zh) | 基于自监督学习的胃癌分子亚型分类方法及装置 | |
| CN114723763B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
| CN103955688A (zh) | 一种基于计算机视觉的斑马鱼群检测与跟踪方法 | |
| CN113706564A (zh) | 基于多种监督方式的睑板腺分割网络的训练方法及装置 | |
| CN115423754A (zh) | 一种图像分类方法、装置、设备及存储介质 | |
| CN116402838B (zh) | 一种用于颅内出血的半监督图像分割方法及系统 | |
| CN111724371B (zh) | 一种数据处理方法、装置及电子设备 | |
| CN116363081A (zh) | 基于深度神经网络的胎盘植入mri征象检测分类方法及装置 | |
| CN114742750A (zh) | 异常细胞检测方法、装置、终端设备及可读存储介质 | |
| CN116959712B (zh) | 基于病理图像的肺腺癌预后方法、系统、设备及存储介质 | |
| CN110766653B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN115861252A (zh) | 一种基于对抗学习策略的半监督医学图像器官分割方法 | |
| CN116486304A (zh) | 一种基于超声视频的关键帧提取方法及相关设备 | |
| CN116051880A (zh) | 一种标签噪声下基于不确定性评估的结果预测方法 | |
| CN110766652A (zh) | 网络训练方法、装置、分割方法、计算机设备和存储介质 | |
| Huang et al. | Polyp2Former: Boundary Guided Network Based on Transformer for Polyp Segmentation | |
| CN117058435B (zh) | 一种检查部位识别方法、装置及电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |