CN109872296A - 一种基于深度卷积生成式对抗网络的甲状腺结节病灶区生成的数据增强方法 - Google Patents

一种基于深度卷积生成式对抗网络的甲状腺结节病灶区生成的数据增强方法 Download PDF

Info

Publication number
CN109872296A
CN109872296A CN201910006557.9A CN201910006557A CN109872296A CN 109872296 A CN109872296 A CN 109872296A CN 201910006557 A CN201910006557 A CN 201910006557A CN 109872296 A CN109872296 A CN 109872296A
Authority
CN
China
Prior art keywords
image
focal zone
thyroid
depth convolution
confrontation network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910006557.9A
Other languages
English (en)
Inventor
蔡庆玲
裴海军
何鸿奇
梁伟霞
周毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201910006557.9A priority Critical patent/CN109872296A/zh
Publication of CN109872296A publication Critical patent/CN109872296A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种基于深度卷积生成式对抗网络的甲状腺结节病灶区生成的数据增强方法,该方法将真实病人的甲状腺超声图像按照良性结节和恶性结节进行分类,然后利用深度卷积生成式对抗网络生成病灶区图像,从中挑出生成比较接近真实病灶的图像,与正常人的甲状腺图像相融合,以达到数据增强的目的,这种病灶区生成图像融合的方法提高了增强数据的质量和多样性,使生成的图像最大程度接近真实图像,更具有可信性。

Description

一种基于深度卷积生成式对抗网络的甲状腺结节病灶区生成 的数据增强方法
技术领域
本发明属于人工智能和深度学习领域,具体涉及一种基于深度卷积生成式对抗网络 (DCGAN,Deep Convolution Generative Adversarial Networks)的甲状腺结节病灶区生成 的数据增强方法。
背景技术
近年来,甲状腺结节发病率呈现出逐年增长的趋势。超声成像技术是当前最常用的肿瘤 早期检查手段之一。并且超声以其廉价性,无辐射,费用低等优点,被广泛应用于临床诊断 中。目前对于甲状腺结节性质的检查主要依靠对超声波图像的分析完成,影像师总结了甲状 腺结节一系列超声图像特性作为癌变征兆,包括低回声反射性,光晕缺失,微钙化点,硬度 高,结节内流和形状等。由于诊断的主观性,对于不同的诊断医生,超声图像的判断通常存 在很多差异。即使是具有丰富经验的专家也可能是错误的。因此,甲状腺结节的精确定位识 别超声诊断是一项具有挑战性的任务。高性能的计算机辅助诊断系统,可进一步提高甲状腺 结节诊断定位的准确性,给医生提供参考。以前这种辅助系统都是基于传统的图像分割方法, 随着深度学习的发展,越来越多的人用深度学习技术去解决这个问题。
但是,深度学习技术是依靠大量的数据作为支撑,由于现实原因医院隐私保护,不共享 数据。就算与医院合作去收集,也很难在短时间内收集到这么多病例数据,长时间少单位也 很难达到深度学习大数据的标准。就算能收集到数据,在标注上也只有经验丰富的医生才能 完成。缺少有标注的高质量数据这是医学图像深度学习研究延缓的一大原因。
生成式对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型,是近 年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中的至少两个模块:生成模 型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好 的输出。2014年Ian J.Goodfellow等人提出了Generative Adversarial Nets网络。他们 使用了一种对抗方式来训练神经网络能够学习训练数据的分布,实现以假乱真,但同时GAN 存在着训练不稳定,学习特征不可控制,图像分辨率不高等缺点。2016年Alec Radford等 人提出了深度卷积生成式对抗网络(DCGAN,Deep ConvolutionGenerative Adversarial Networks),DCGAN借鉴了在图像分类任务中表现优秀的卷积神经网络,判别器和生成器都采 用全卷积神经网络。该模型极大地提高了生成器的图像生成能力,能够生成更加清晰的图像。
发明内容
本发明的目的在于提供一种基于深度卷积生成式对抗网络(DCGAN)的甲状腺结节病灶区 生成的数据增强方法,该方法无需人为标注,能够自动生成甲状腺病灶区图像,并且融合到 正常甲状腺图像中,以此达到医疗图像数据增强的目的。
本发明的发明目的通过如下技术方案实现:一种基于深度卷积生成式对抗网络的甲状腺 结节病灶区生成的数据增强方法,其特征是,将真实病人的甲状腺超声图像按照良性结节和 恶性结节进行分类,然后利用深度卷积生成式对抗网络生成病灶区图像,从中挑选出生成比 较接近真实病灶区的图像,与正常人的甲状腺图像相融合,最终生成病灶在甲状腺不同部位 的甲状腺超声图像,具体包括以下步骤:
S1:在用XML文件标注出结节的位置和类型之后,将图像上影像科医生对结节位置标注的 标签去除;
S2:按照结节的类型,把病灶区截图出来然后存放于不同的文件夹;
S3:统一所有图像的大小并且用传统的数据增强方法增加图片数量;
S4:用深度卷积生成式对抗网络训练生成病灶区图像;
S5:挑选生成的病灶区图像;
S6:用挑选生成的病灶区图像与正常图像进行融合,最终生成病灶在甲状腺不同部位的 甲状腺超声图像。
所述S1中,标签的去除方法为标签区域内的像素点采用双线性插值方法,其由相邻的四 像素2*2计算得出。
所述S2中,截图方法为复制病灶区的像素,并且保存为新的图像。
所述S3中,统一的图片像素大小为32*32-128*128,通道数设为1-3,传统的数据增强 方法为翻转和旋转,翻转包括水平翻转和垂直翻转,旋转就是对图像做一定角度的旋转操作。
所述S4中,所搭建的用深度卷积生成式对抗网络至少包括生成模型和判别模型两个模 块,通过两个模块的互相博弈学习生成病灶区图像。
所述S5中,挑选方法为训练出一个简单的卷积神经网络,这个网络为二分类,训练图片 类别为真实病灶图片和深度卷积生成式对抗网络生成图片,然后把新生成的图片,作为网络 的输入,如果网络分类为真实病灶图像的概率大于0.5,则选择这张图片。
所述S6中,融合方法为首先对计算病灶区图像灰度直方图,查找正常超声图像与生成图 像直方图相似的区域,然后利用OpenCV,将两个图片矩阵进行融合变成一个图片的cvAddWeighted函数;所述cvAddWeighted函数中,有两个源图像image1和image2,两个 图像可以是任何相同的像素类型,也可以是单通道或是三通道,只要两者相符。
本发明与现有技术比较具有以下明显优势:
1)本发明针对的是甲状腺超声图像,但是并不是像现有技术一样直接生成一整张超声图 像,而是选择把病灶区融合到正常人的超声图像中去,这样避免了直接生成超声图像不清晰, 生理结构异常等情况,使生成的图像最大程度接近真实图像,更具有可信性。
2)本发明巧妙地将甲状腺结节不同的病灶分开生成,避免出现了病灶混乱的特点。
附图说明
图1是本发明实施例数据预处理标签去除对比图;
图2是本发明实施例病灶区生成图;
图3是本发明实施例GAN网络结构图;
图4是本发明实施例真实甲状腺图和病灶区甲状腺对比图。
具体实施方式
以下实施例用于对本发明作进一步详细说明,不应用来限制本发明的保护范围。
如图1-4所示,本发明实施例提供的一种基于深度卷积生成式对抗网络(DCGAN,Deep Convolution Generative Adversarial Networks)的甲状腺结节病灶区生成的数据增强方 法,该方法是将真实病人的甲状腺超声图像按照良性结节和恶性结节进行分类,然后利用深 度卷积生成式对抗网络生成病灶区图像,从中挑选出生成比较接近真实病灶区的图像,与正 常人的甲状腺图像相融合,最终生成病灶在甲状腺不同部位的甲状腺超声图像,具体包括以 下步骤:
S1:在用XML文件标注出结节的位置和类型之后,将图像上影像科医生对结节位置标注的 标签去除,标签的去除方法为标签区域内的像素点采用双线性插值方法,其由相邻的四像素 2*2计算得出;
S2:按照结节的类型,把病灶区截图出来然后存放于不同的文件夹,截图方法为复制病 灶区的像素,并且保存为新的图像;
S3:统一所有图像的大小并且用传统的数据增强方法增加图片数量;统一的图片像素大 小为32*32-128*128,通道数设为1-3,传统的数据增强方法为翻转和旋转,翻转包括水平翻 转和垂直翻转,旋转就是对图像做一定角度的旋转操作;
S4:用深度卷积生成式对抗网络(DCGAN)训练生成病灶区图像,所搭建的DCGAN至少包 括生成模型和判别模型两个模块,通过两个模块的互相博弈学习生成病灶区图像;
S5:挑选生成的病灶区图像,挑选方法为训练出一个简单的卷积神经网络,这个网络为 二分类,训练图片类别为真实病灶图片和深度卷积生成式对抗网络(DCGAN)生成图片,然后 把新生成的图片,作为网络的输入,如果网络分类为真实病灶图像的概率大于0.5,则选择 这张图片;
S6:用挑选生成的病灶区图像与正常图像进行融合,最终生成病灶在甲状腺不同部位的 甲状腺超声图像,融合方法为首先对计算病灶区图像灰度直方图,查找正常超声图像与生成 图像直方图相似的区域,然后利用OpenCV,将两个图片矩阵进行融合变成一个图片的 cvAddWeighted函数;所述cvAddWeighted函数中,有两个源图像image1和image2,两个 图像可以是任何相同的像素类型,也可以是单通道或是三通道,只要两者相符。
本发明将真实病人的甲状腺超声图像按照良性结节和恶性结节进行分类,然后利用深度 卷积生成式对抗网络生成病灶区图像,从中挑出生成比较接近真实病灶的图像,与正常人的 甲状腺图像相融合,以达到数据增强的目的,这种病灶区生成图像融合的方法提高了增强数 据的质量和多样性,使生成的图像最大程度接近真实图像,更具有可信性。

Claims (8)

1.一种基于深度卷积生成式对抗网络的甲状腺结节病灶区生成的数据增强方法,其特征是,将真实病人的甲状腺超声图像按照良性结节和恶性结节进行分类,然后利用深度卷积生成式对抗网络生成病灶区图像,从中挑选出生成比较接近真实病灶区的图像,与正常人的甲状腺图像相融合,最终生成病灶在甲状腺不同部位的甲状腺超声图像,具体包括以下步骤:
S1:在用XML文件标注出结节的位置和类型之后,将图像上影像科医生对结节位置标注的标签去除;
S2:按照结节的类型,把病灶区截图出来然后存放于不同的文件夹;
S3:统一所有图像的大小并且用传统的数据增强方法增加图片数量;
S4:用深度卷积生成式对抗网络训练生成病灶区图像;
S5:挑选生成的病灶区图像;
S6:用挑选生成的病灶区图像与正常图像进行融合,最终生成病灶在甲状腺不同部位的甲状腺超声图像。
2.根据权利要求1所述的基于深度卷积生成式对抗网络的甲状腺结节病灶区生成的数据增强方法,其特征是,所述S1中,标签的去除方法为标签区域内的像素点采用双线性插值方法,其由相邻的四像素2*2计算得出。
3.根据权利要求1所述的基于深度卷积生成式对抗网络的甲状腺结节病灶区生成的数据增强方法,其特征是,所述S2中,截图方法为复制病灶区的像素,并且保存为新的图像。
4.根据权利要求1所述的基于深度卷积生成式对抗网络的甲状腺结节病灶区生成的数据增强方法,其特征是,所述S3中,统一的图片像素大小为32*32-128*128,通道数设为1-3,传统的数据增强方法为翻转和旋转,翻转包括水平翻转和垂直翻转,旋转就是对图像做一定角度的旋转操作。
5.根据权利要求1所述的基于深度卷积生成式对抗网络的甲状腺结节病灶区生成的数据增强方法,其特征是,所述S4中,所搭建的用深度卷积生成式对抗网络至少包括生成模型和判别模型两个模块,通过两个模块的互相博弈学习生成病灶区图像。
6.根据权利要求1所述的基于深度卷积生成式对抗网络的甲状腺结节病灶区生成的数据增强方法,其特征是,所述S5中,挑选方法为训练出一个简单的卷积神经网络,这个网络为二分类,训练图片类别为真实病灶图片和深度卷积生成式对抗网络生成图片,然后把新生成的图片,作为网络的输入,如果网络分类为真实病灶图像的概率大于0.5,则选择这张图片。
7.根据权利要求1所述的基于深度卷积生成式对抗网络的甲状腺结节病灶区生成的数据增强方法,其特征是,所述S6中,融合方法为首先对计算病灶区图像灰度直方图,查找正常超声图像与生成图像直方图相似的区域,然后利用OpenCV的cvAddWeighted函数,将两个图片矩阵进行融合变成一个图片。
8.根据权利要求7所述的基于深度卷积生成式对抗网络的甲状腺结节病灶区生成的数据增强方法,其特征是,所述cvAddWeighted函数中,有两个源图像image1和image2,两个图像可以是任何相同的像素类型,也可以是单通道或是三通道,只要两者相符。
CN201910006557.9A 2019-01-04 2019-01-04 一种基于深度卷积生成式对抗网络的甲状腺结节病灶区生成的数据增强方法 Pending CN109872296A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910006557.9A CN109872296A (zh) 2019-01-04 2019-01-04 一种基于深度卷积生成式对抗网络的甲状腺结节病灶区生成的数据增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910006557.9A CN109872296A (zh) 2019-01-04 2019-01-04 一种基于深度卷积生成式对抗网络的甲状腺结节病灶区生成的数据增强方法

Publications (1)

Publication Number Publication Date
CN109872296A true CN109872296A (zh) 2019-06-11

Family

ID=66917449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910006557.9A Pending CN109872296A (zh) 2019-01-04 2019-01-04 一种基于深度卷积生成式对抗网络的甲状腺结节病灶区生成的数据增强方法

Country Status (1)

Country Link
CN (1) CN109872296A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263872A (zh) * 2019-06-26 2019-09-20 上海鹰瞳医疗科技有限公司 训练数据处理方法及装置
CN110490892A (zh) * 2019-07-03 2019-11-22 中山大学 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法
CN110955651A (zh) * 2019-11-28 2020-04-03 武汉科技大学 基于深度卷积生成式对抗网络的电机故障数据的增强方法
CN111724343A (zh) * 2020-05-18 2020-09-29 天津大学 一种基于对抗式学习的甲状腺结节超声影像数据集增强方法
CN111724344A (zh) * 2020-05-18 2020-09-29 天津大学 一种基于对抗网络生成医学超声影像数据的方法
CN112419396A (zh) * 2020-12-03 2021-02-26 前线智能科技(南京)有限公司 一种甲状腺超声视频自动分析方法与系统
CN112488937A (zh) * 2020-11-27 2021-03-12 河北工业大学 针对分割任务的医学影像特征增强方法
CN113012249A (zh) * 2021-03-02 2021-06-22 大连东软教育科技集团有限公司 一种在ct图像上生成病灶的方法、装置及存储介质
CN113205473A (zh) * 2021-07-05 2021-08-03 深圳科亚医疗科技有限公司 用于医学图像检测的数据增强的方法、装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975920A (zh) * 2016-04-28 2016-09-28 上海交通大学 一种眼镜试戴方法及系统
CN106600615A (zh) * 2016-11-24 2017-04-26 上海交通大学 一种图像边缘检测算法评价系统及方法
CN108537893A (zh) * 2017-03-02 2018-09-14 南京同仁医院有限公司 一种甲状腺占位病变的三维可视化模型生成方法
CN108765408A (zh) * 2018-05-31 2018-11-06 杭州同绘科技有限公司 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975920A (zh) * 2016-04-28 2016-09-28 上海交通大学 一种眼镜试戴方法及系统
CN106600615A (zh) * 2016-11-24 2017-04-26 上海交通大学 一种图像边缘检测算法评价系统及方法
CN108537893A (zh) * 2017-03-02 2018-09-14 南京同仁医院有限公司 一种甲状腺占位病变的三维可视化模型生成方法
CN108765408A (zh) * 2018-05-31 2018-11-06 杭州同绘科技有限公司 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
刘海东等: "基于生成对抗网络的乳腺癌病理图像可疑区域标记", 《科研信息化技术与应用》 *
刘海东等: "基于生成对抗网络的乳腺癌病理图像可疑区域标记", 《科研信息化技术与应用》, no. 06, 20 November 2017 (2017-11-20), pages 54 - 66 *
徐久强等: "一种用于肺结节恶性度分类的生成对抗网络", 《东北大学学报(自然科学版)》 *
徐久强等: "一种用于肺结节恶性度分类的生成对抗网络", 《东北大学学报(自然科学版)》, no. 11, 15 November 2018 (2018-11-15), pages 1556 - 1561 *
迟剑宁 等: "融合深度网络和浅层纹理特征的甲状腺结节癌变超声图像诊断", 《中国图象图形学报》, vol. 23, no. 10, pages 1582 - 1592 *
迟剑宁等: "融合深度网络和浅层纹理特征的甲状腺结节癌变超声图像诊断", 《中国图象图形学报》, no. 10, 16 October 2018 (2018-10-16), pages 1582 - 1592 *
陈锟等: "生成对抗网络在医学图像处理中的应用", 《生命科学仪器》 *
陈锟等: "生成对抗网络在医学图像处理中的应用", 《生命科学仪器》, 25 October 2018 (2018-10-25), pages 73 - 82 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263872B (zh) * 2019-06-26 2022-05-17 上海鹰瞳医疗科技有限公司 训练数据处理方法及装置
CN110263872A (zh) * 2019-06-26 2019-09-20 上海鹰瞳医疗科技有限公司 训练数据处理方法及装置
CN110490892A (zh) * 2019-07-03 2019-11-22 中山大学 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法
CN110955651A (zh) * 2019-11-28 2020-04-03 武汉科技大学 基于深度卷积生成式对抗网络的电机故障数据的增强方法
CN111724343A (zh) * 2020-05-18 2020-09-29 天津大学 一种基于对抗式学习的甲状腺结节超声影像数据集增强方法
CN111724344A (zh) * 2020-05-18 2020-09-29 天津大学 一种基于对抗网络生成医学超声影像数据的方法
CN112488937A (zh) * 2020-11-27 2021-03-12 河北工业大学 针对分割任务的医学影像特征增强方法
CN112488937B (zh) * 2020-11-27 2022-07-01 河北工业大学 针对分割任务的医学影像特征增强方法
CN112419396A (zh) * 2020-12-03 2021-02-26 前线智能科技(南京)有限公司 一种甲状腺超声视频自动分析方法与系统
CN112419396B (zh) * 2020-12-03 2024-04-26 前线智能科技(南京)有限公司 一种甲状腺超声视频自动分析方法与系统
CN113012249A (zh) * 2021-03-02 2021-06-22 大连东软教育科技集团有限公司 一种在ct图像上生成病灶的方法、装置及存储介质
CN113012249B (zh) * 2021-03-02 2024-02-06 东软教育科技集团有限公司 一种在ct图像上生成病灶的方法、装置及存储介质
CN113205473A (zh) * 2021-07-05 2021-08-03 深圳科亚医疗科技有限公司 用于医学图像检测的数据增强的方法、装置和存储介质

Similar Documents

Publication Publication Date Title
CN109872296A (zh) 一种基于深度卷积生成式对抗网络的甲状腺结节病灶区生成的数据增强方法
Jiang et al. Ahcnet: An application of attention mechanism and hybrid connection for liver tumor segmentation in ct volumes
CN107886089A (zh) 一种基于骨架图回归的三维人体姿态估计的方法
CN110503654A (zh) 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
CN108268870A (zh) 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN109993733A (zh) 肺部病灶的检测方法、系统、存储介质、终端及显示系统
US20220198230A1 (en) Auxiliary detection method and image recognition method for rib fractures based on deep learning
Qu et al. Deep learning-based methodology for recognition of fetal brain standard scan planes in 2D ultrasound images
CN107845091B (zh) 基于预筛查的快速标注方法和系统
Chen et al. Discriminative cervical lesion detection in colposcopic images with global class activation and local bin excitation
Harmon et al. Predicting shot making in basketball learnt from adversarial multiagent trajectories
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN107808376A (zh) 一种基于深度学习的举手检测方法
CN109377441A (zh) 具有隐私保护功能的舌像采集方法和系统
Sun et al. A novel gastric ulcer differentiation system using convolutional neural networks
Tan et al. A 3d cnn network with bert for automatic covid-19 diagnosis from ct-scan images
Wang et al. Exploiting complementary dynamic incoherence for deepfake video detection
CN110533113A (zh) 一种数字图像中树状结构的分支点检测方法
Zhang et al. An efficient spatial-temporal polyp detection framework for colonoscopy video
Apostolopoulos et al. Deep learning-enhanced nuclear medicine SPECT imaging applied to cardiac studies
Fan et al. TR-Gan: multi-session future MRI prediction with temporal recurrent generative adversarial Network
Qiu et al. 3d random occlusion and multi-layer projection for deep multi-camera pedestrian localization
Pradeepa et al. Artificial Neural Networks in Healthcare for Augmented Reality
Song et al. DPCTN: Dual path context-aware transformer network for medical image segmentation
Shao et al. An end-to-end food portion estimation framework based on shape reconstruction from monocular image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination