CN109102496B - 基于变分生成对抗模型识别乳腺肿瘤区域的方法及装置 - Google Patents
基于变分生成对抗模型识别乳腺肿瘤区域的方法及装置 Download PDFInfo
- Publication number
- CN109102496B CN109102496B CN201810749790.1A CN201810749790A CN109102496B CN 109102496 B CN109102496 B CN 109102496B CN 201810749790 A CN201810749790 A CN 201810749790A CN 109102496 B CN109102496 B CN 109102496B
- Authority
- CN
- China
- Prior art keywords
- layer
- model
- convolutional
- size
- breast tumor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于变分生成对抗模型识别乳腺肿瘤区域的方法。发明的方法使用乳腺肿瘤图片和人工划分的图片对生成模型进行划分学习,同时使用其生成的图片使用判别模型与人工划分的乳腺肿瘤图片进行对抗,从而使网络能对乳腺肿瘤区域进行识别。本方法实现了一种基于变分生成对抗模型识别乳腺肿瘤区域的方法,与现有的方法相比,得到更好的分类效果和性能。
Description
技术领域
本发明涉及图像识别领域,特别是基于深度学习的肿瘤区域识别方法及装置。
背景技术
乳腺癌是威胁女性身心健康的常见肿瘤。早期发现与治疗是降低乳腺癌危害的关键。
人工标定乳腺癌切片的病变情况对于诊断癌症进展程度以及制定和改进治疗方案非常重要,但是人工标定的结果不稳定,不同医生的标定结果,或者同一医生不同时间的标定结果可能差别很大。随着数字化程度的提高,病理切片已经可以快速转化为数字图像,使通过计算机自动划分肿瘤区域成为可能。人们希望利用计算机图像处理技术,快速正确的分析出乳腺癌切片中病灶区域,对病理图像的识别和辅助诊断。为了使算法可以适应不同来源、不同的切片染色方法、不同的切片切割方法、不同的扫描仪等生成的切片样本,需要算法有很强的鲁棒性和泛化能力。
近年来,深度学习领域中涌现出许多新的模型,并得到广泛关注,其中就包含变分自编码器和生成对抗网络。变分自编码器是一种有效的生成模型,包含编码器和解码器两个部分,编码器将输入数据转化为高斯分布,再通过解码器还原该输入信息的分布。生成对抗模型由两个部分组成:生成模型和判别模型,均为非线性深度模型,生成模型如同传统生成模型一样,通过建立一个函数,用于处理输入的原始数据或信息到生成信息的映射;而判别模型用来判断其输入是训练数据而非生成数据的概率。以上两种方法常使用于图片修复、数据生成、特征维度压缩等领域。
基于上述观察与启发,本发明结合变分生成对抗模型方法开展乳腺病理切片中肿瘤区域识别工作。
发明内容
本发明的目的在于提供一种乳腺病理切片中肿瘤区域识别方法。
本发明解决其技术问题采用的技术方案如下:
一种基于变分生成对抗模型识别乳腺肿瘤区域的方法,包括如下步骤:
S1、训练集收集,人工对乳腺肿瘤图片中肿瘤区域进行划分,并生成相应的二值图像;
S2、固定生成模型参数,使用生成模型生成的肿瘤划分图片与人工划分的乳腺肿瘤图片进行判别模型训练;
S3、固定判别模型参数,使用原图对生成模型进行训练;
S4、步骤S2、S3交替进行,直至变分生成对抗模型训练完成;
S5、乳腺肿瘤区域识别,将待划分图像作为训练好的变分生成对抗模型的输入,其输出即为划分结果。
进一步的,所述变分生成对抗模型包括13层的变分自编码器生成模型网络,其中包含6层编码网络和7层解码网络。
进一步的,所述变分生成对抗模型包括10层的卷积神经判别网络,其中各层依次为卷积层、卷积层、卷积层、最大池化层、卷积层、卷积层、卷积层、最大池化层,以及包含1024个节点的全连接层FC1和包含1个节点的全连接层FC2,其中卷积层激活函数为relu函数,全连接层FC1激活函数为tanh函数,全连接层FC2激活函数为sigmoid函数。
进一步的,所述编码网络第一层卷积层为64个大小为11×11的滤波器,第二层和第三层卷积层为256个大小为7×7的滤波器,第四层为滤波器大小为2×2的最大池化层,第五层卷积层为256个大小为5×5的滤波器,第六层卷积层包含两个分支输出OUT1和OUT2,分别包含128个大小为3×3的滤波器,其中卷积层激活函数为relu函数。
进一步的,所述卷积神经判别网络输入为原图和人工或生成模型划分后的图像组成的双通道图像,所述第一层卷积层包含64个大小为11×11的滤波器,第二层和第三层卷积层均包含128个大小为7×7的滤波器,第四层为滤波器大小为2×2的最大池化层,第五层、第六层和第七层卷积层均包含256个大小为3×3的滤波器,第八层为滤波器大小为2×2的最大池化层,其中卷积层激活函数为relu函数。
进一步的,所述解码网络输入为N(OUT1,OUT2),第一层和第二层卷积层为256个大小为3×3的滤波器,第三层为滤波器大小为2×2的上采样层,第四层和第五层卷积层为256个大小为5×5的滤波器,第六层卷积层为128个大小为7×7的滤波器,第七层卷积层为1个大小为3×3的滤波器,之后对输出图像进行阈值为0.5的二值化,其中卷积层激活函数为relu函数。
本发明还提供了一种基于变分生成对抗模型识别乳腺肿瘤区域的装置,包括待判别图像输入模块、变分生成对抗模块和结果输出模块,所述变分生成对抗模块由如上所述的方法训练得到。
本发明还提供了另一种基于变分生成对抗模型识别乳腺肿瘤区域的装置,包括处理器及连接所述处理器的数据输入设备、存储介质和数据输出设备,所述存储介质中储存有如上所述的方法训练得到的变分生成对抗模型,所述处理器用于接收数据输入设备输入的待判别图像数据,调用执行所述变分生成对抗模型对所述待判别图像进行识别处理,并通过数据输出设备输出判别结果。
本发明与背景技术相比,具有的有益效果是:
本发明是结合变分自编码器和生成对抗模型方法进行的,生成对抗模型技术将人工神经网络生成模型的训练转化为一个二元极小极大博弈问题,使前者更加有效地进行训练,从而获得更加优化,更符合预期的生成结果。
(1)准确性:本方法采用了变分自编码器和生成对抗模型方法,首次在乳腺病理切片中肿瘤区域识别领域使用,克服了肿瘤区域自动识别困难,与现有的方法相比,得到更好的分割效果。
(2)客观性:深度学习是使用训练集数据自动学习特征,损失函数也由卷积神经网络判别器担当,划分规则均源于训练集图片,特征和损失函数选取不会因主观因素造成干扰。
(3)便捷性:采用深度学习的方法进行自动识别,避免了手工检测的高成本、速度慢等特性。
具体实施方式
本发明是一种基于变分生成对抗模型识别乳腺肿瘤区域的方法,下面说明其具体实施过程。
步骤一、训练集准备
本发明的训练集准备需要先人工对乳腺肿瘤图片中肿瘤区域进行划分,并生成二值图像,肿瘤区域为1,非肿瘤区域为0。
步骤二、判别模型训练
在生成对抗模型中,我们通过判别模型代替损失函数判别生成模型的好坏,所以判别模型对生成模型的训练至关重要。
本发明中通过一个单输出的卷积神经网络作为生成对抗模型中的判别模型,当其输入为原图与人工划分的乳腺肿瘤区域图片组成的双通道图片时,其期望输出1,当其输入为原图与生成模型划分的乳腺肿瘤区域图片组成的双通道图片时,其期望输出为0。其损失函数可表示为:
其中Xs为手工划分的乳腺肿瘤切片图片与原图组成双通道图像,G(Xt)为生成模型输出图像与原图组成双通道图像,D为判别模型,G为生成模型。
训练时,固定生成对抗模型中的生成模型部分参数,将乳腺肿瘤切片图片作为生成模型部分输入,得到输出图片与原图组成双通道图像设置标签为0,将手工划分的乳腺肿瘤切片图片与原图组成双通道图像设置标签为1。使用上述两种标签图片对卷积神经网络判别模型进行训练。
步骤三、生成模型训练
判别模型输出体现了生成模型生成图像的好坏。生成模型训练时,使用判别模型反向传播梯度作为损失函数的一部分。其损失函数表示为:
除此之外,我们通过KL散度对编码器的输出zmeans(X)和zvar(X)加以约束,其表示为:
其综合损失函数为:
其中D为判别模型,G为生成模型,zmeans为编码器输出的均值部分,zvar为编码器输出的方差部分。
训练时,将判别模型和生成模型组成一个网络结构,固定判别模型部分参数,将乳腺肿瘤切片图片作为生成模型部分输入,通过生成模型和判别模型,得到判别模型的输出,通过最小化上述损失函数,学习生成模型中的参数。
步骤四、多次训练
生成对抗模型的学习中由判别模型作为生成模型损失函数的一部分,通过判别模型判别生成模型生成图片的优劣。在学习中优化生成模型使生成数据与标准训练数据更加接近,使判别模型无法判别其来源于生成数据还是标准训练数据,同时,也需要优化判别模型性能,提高判别模型判别其输入是训练数据而非生成数据的概率。我们通过增大log(D(x))+log(1-D(G(z)))来调整判别模型D的参数,通过减小-log(D(G(z)))来调整生成模型G的参数。最终的形成“二元极大极小博弈”:
所以在训练中,将步骤二,和步骤三依次交替进行,达到上述结果
步骤五、乳腺肿瘤区域识别
对于一张给定乳腺肿瘤切片图像,将其作为训练好的生成模型的输入,经过生成模型最终得到划分结果。
本发明第一种实施例还提供了一种基于变分生成对抗模型识别乳腺肿瘤区域的装置,包括待判别图像输入模块、变分生成对抗模块和结果输出模块,所述变分生成对抗模块由如上所述的方法训练得到。
本发明第二种实施例还提供了另一种基于变分生成对抗模型识别乳腺肿瘤区域的装置,包括处理器及连接所述处理器的数据输入设备、存储介质和数据输出设备,所述存储介质中储存有如上所述的方法训练得到的变分生成对抗模型,所述处理器用于接收数据输入设备输入的待判别图像数据,调用执行所述变分生成对抗模型对所述待判别图像进行识别处理,并通过数据输出设备输出判别结果。
以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (7)
1.一种基于变分生成对抗模型识别乳腺肿瘤区域的方法,所述变分生成对抗模型包括13层的变分自编码器生成模型网络,其中包含6层编码网络和7层解码网络,以及10层的卷积神经判别网络,所述方法包括如下步骤:
S1、训练集收集,人工对乳腺肿瘤图片中肿瘤区域进行划分,并生成相应的二值图像;
S2、固定生成模型参数,使用生成模型生成的肿瘤划分图片与人工划分的乳腺肿瘤图片结合成双通道图像作为输入,进行判别模型训练;
S3、固定判别模型参数,使用多分布类别数据集训练生成模型和判别模型中的全连接层,接着对生成模型进行训练;生成模型训练时,使用判别模型反向传播梯度作为损失函数的一部分,其损失函数表示为:
除此之外,通过KL散度对编码器的输出zmeans(X)和zvar(X)加以约束,其表示为:
其综合损失函数为:
其中D为判别模型,G为生成模型,zmeans为编码器输出的均值部分,zvar为编码器输出的方差部分;
S4、步骤S2、S3交替进行,最终形成二元极大极小博弈如下式:
通过增大log(D(x))+log(1-D(G(z)))来调整判别模型的参数,通过减小-log(D(G(z)))来调整生成模型的参数,直至变分生成对抗模型训练完成;
S5、乳腺肿瘤区域识别,将待划分图像作为训练好的变分生成对抗模型的输入,其输出即为划分结果。
2.根据权利要求1所述的基于变分生成对抗模型识别乳腺肿瘤区域的方法,其特征在于:所述变分生成对抗模型包括10层的卷积神经判别网络,其中各层依次为卷积层、卷积层、卷积层、最大池化层、卷积层、卷积层、卷积层、最大池化层,以及包含1024个节点的全连接层FC1和包含1个节点的全连接层FC2,其中卷积层激活函数为relu函数,全连接层FC1激活函数为tanh函数,全连接层FC2激活函数为sigmoid函数。
3.根据权利要求1所述的基于变分生成对抗模型识别乳腺肿瘤区域的方法,其特征在于:所述编码网络第一层卷积层为64个大小为11×11的滤波器,第二层和第三层卷积层为256个大小为7×7的滤波器,第四层为滤波器大小为2×2的最大池化层,第五层卷积层为256个大小为5×5的滤波器,第六层卷积层包含两个分支输出OUT1和OUT2,分别包含128个大小为3×3的滤波器,其中卷积层激活函数为relu函数。
4.根据权利要求2所述的基于变分生成对抗模型识别乳腺肿瘤区域的方法,其特征在于:所述卷积神经判别网络输入为原图和人工或生成模型划分后的图像组成的双通道图像,第一层卷积层包含64个大小为11×11的滤波器,第二层和第三层卷积层均包含128个大小为7×7的滤波器,第四层为滤波器大小为2×2的最大池化层,第五层、第六层和第七层卷积层均包含256个大小为3×3的滤波器,第八层为滤波器大小为2×2的最大池化层,其中卷积层激活函数为relu函数。
5.根据权利要求1所述的基于变分生成对抗模型识别乳腺肿瘤区域的方法,其特征在于:所述解码网络输入为N(OUT1,OUT2),第一层和第二层卷积层为256个大小为3×3的滤波器,第三层为滤波器大小为2×2的上采样层,第四层和第五层卷积层为256个大小为5×5的滤波器,第六层卷积层为128个大小为7×7的滤波器,第七层卷积层为1个大小为3×3的滤波器,之后对输出图像进行阈值为0.5的二值化,其中卷积层激活函数为relu函数。
6.一种基于变分生成对抗模型识别乳腺肿瘤区域的装置,包括待判别图像输入模块、变分生成对抗模块和结果输出模块,其特征在于:所述变分生成对抗模块由如权利要求1-5任一项所述的方法训练得到。
7.一种基于变分生成对抗模型识别乳腺肿瘤区域的装置,包括处理器及连接所述处理器的数据输入设备、存储介质和数据输出设备,其特征在于:所述存储介质中储存有如权利要求1-5任一项所述的方法训练得到的变分生成对抗模型,所述处理器用于接收数据输入设备输入的待判别图像数据,调用执行所述变分生成对抗模型对所述待判别图像进行识别处理,并通过数据输出设备输出判别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810749790.1A CN109102496B (zh) | 2018-07-10 | 2018-07-10 | 基于变分生成对抗模型识别乳腺肿瘤区域的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810749790.1A CN109102496B (zh) | 2018-07-10 | 2018-07-10 | 基于变分生成对抗模型识别乳腺肿瘤区域的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109102496A CN109102496A (zh) | 2018-12-28 |
CN109102496B true CN109102496B (zh) | 2022-07-26 |
Family
ID=64845989
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810749790.1A Active CN109102496B (zh) | 2018-07-10 | 2018-07-10 | 基于变分生成对抗模型识别乳腺肿瘤区域的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109102496B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110414631B (zh) * | 2019-01-29 | 2022-02-01 | 腾讯科技(深圳)有限公司 | 基于医学图像的病灶检测方法、模型训练的方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107657602A (zh) * | 2017-08-09 | 2018-02-02 | 武汉科技大学 | 基于两次迁移卷积神经网络的乳腺结构紊乱识别方法 |
CN108197736A (zh) * | 2017-12-29 | 2018-06-22 | 北京工业大学 | 一种基于变分自编码器和极限学习机的空气质量预测方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9965901B2 (en) * | 2015-11-19 | 2018-05-08 | KLA—Tencor Corp. | Generating simulated images from design information |
JP2018063504A (ja) * | 2016-10-12 | 2018-04-19 | 株式会社リコー | 生成モデル学習方法、装置及びプログラム |
CN107123151A (zh) * | 2017-04-28 | 2017-09-01 | 深圳市唯特视科技有限公司 | 一种基于变分自动编码器和生成对抗网络的图像转化方法 |
CN107527318B (zh) * | 2017-07-17 | 2021-06-04 | 复旦大学 | 一种基于生成对抗式网络模型的发型更换方法 |
CN107608877B (zh) * | 2017-08-11 | 2021-04-09 | 上海巍擎信息技术有限责任公司 | 一种基于机器学习的自动化应用程序界面测试方法和测试系统 |
CN108074244B (zh) * | 2017-09-07 | 2021-05-25 | 汉鼎宇佑互联网股份有限公司 | 一种融合深度学习与背景差法的平安城市车流统计方法 |
CN107832353B (zh) * | 2017-10-23 | 2020-04-14 | 同济大学 | 一种社交媒体平台虚假信息识别方法 |
CN107748900B (zh) * | 2017-11-08 | 2020-09-25 | 山东财经大学 | 基于区分性卷积神经网络的乳腺肿瘤分类装置和存储介质 |
CN108198179A (zh) * | 2018-01-03 | 2018-06-22 | 华南理工大学 | 一种生成对抗网络改进的ct医学图像肺结节检测方法 |
-
2018
- 2018-07-10 CN CN201810749790.1A patent/CN109102496B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107657602A (zh) * | 2017-08-09 | 2018-02-02 | 武汉科技大学 | 基于两次迁移卷积神经网络的乳腺结构紊乱识别方法 |
CN108197736A (zh) * | 2017-12-29 | 2018-06-22 | 北京工业大学 | 一种基于变分自编码器和极限学习机的空气质量预测方法 |
Non-Patent Citations (1)
Title |
---|
基于自编码器的稀疏深度模型的研究与应用;张春辉;《中国优秀硕士学位论文全文数据库_信息科技辑》;20180415;I138-3317 * |
Also Published As
Publication number | Publication date |
---|---|
CN109102496A (zh) | 2018-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110889853B (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统 | |
CN110889852A (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
CN110751636B (zh) | 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法 | |
CN106228528B (zh) | 一种基于决策图与稀疏表示的多聚焦图像融合方法 | |
CN110689599A (zh) | 基于非局部增强的生成对抗网络的3d视觉显著性预测方法 | |
CN111369574B (zh) | 一种胸腔器官的分割方法及装置 | |
CN114283158A (zh) | 一种视网膜血管图像分割方法、装置及计算机设备 | |
CN110674824A (zh) | 基于R2U-Net的手指静脉分割方法、装置和存储介质 | |
Guo et al. | Simultaneous classification and segmentation of intracranial hemorrhage using a fully convolutional neural network | |
CN112634146A (zh) | 基于多种注意力机制的多通道cnn医学ct图像去噪方法 | |
CN110738660A (zh) | 基于改进U-net的脊椎CT图像分割方法及装置 | |
CN113393469A (zh) | 基于循环残差卷积神经网络的医学图像分割方法和装置 | |
CN112381846A (zh) | 一种基于非对称网络的超声甲状腺结节分割方法 | |
CN112288749A (zh) | 一种基于深度迭代融合深度学习模型的颅骨图像分割方法 | |
CN109102496B (zh) | 基于变分生成对抗模型识别乳腺肿瘤区域的方法及装置 | |
CN111275103A (zh) | 多视角信息协作的肾脏良恶性肿瘤分类方法 | |
Shen et al. | Channel recombination and projection network for blind image quality measurement | |
CN115409764A (zh) | 一种基于域自适应的多模态眼底血管分割方法及装置 | |
CN111881803A (zh) | 一种基于改进YOLOv3的畜脸识别方法 | |
Bendazzoli et al. | Priornet: lesion segmentation in pet-ct including prior tumor appearance information | |
CN116416452A (zh) | 基于二阶段深度学习模型的肺腺癌浸润性智能分类系统 | |
CN115412202A (zh) | 一种基于医学图像的语义通信方法及相关设备 | |
CN114913057A (zh) | 一种基于生成对抗学习的人脸妆容迁移方法 | |
CN113327221A (zh) | 融合roi区域的图像合成方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |