CN108961272B - 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法 - Google Patents

一种基于深度卷积对抗生成网络的皮肤病图像的生成方法 Download PDF

Info

Publication number
CN108961272B
CN108961272B CN201810708543.7A CN201810708543A CN108961272B CN 108961272 B CN108961272 B CN 108961272B CN 201810708543 A CN201810708543 A CN 201810708543A CN 108961272 B CN108961272 B CN 108961272B
Authority
CN
China
Prior art keywords
generator
layer
discriminator
network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810708543.7A
Other languages
English (en)
Other versions
CN108961272A (zh
Inventor
胡海根
孔祥勇
苏一平
陈胜勇
管秋
周乾伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810708543.7A priority Critical patent/CN108961272B/zh
Publication of CN108961272A publication Critical patent/CN108961272A/zh
Application granted granted Critical
Publication of CN108961272B publication Critical patent/CN108961272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

一种基于深度卷积对抗生成网络的皮肤病图像的生成方法，包括以下步骤：步骤1：对原始训练数据的预处理，对原始训练数据进行分割，得到皮肤病变区域的分割图片；步骤2：深度卷积对抗生成网络结构的建立，使用卷积神经网络来进行分别构建生成器和判别器；步骤3：设定生成网络和分类网络的输入；步骤4：优化目标的设定，对于判别器来说，判别器负责对真假样本进行分类，生成器生成的样本为假，实际输入的真实样本为真，最小化分类误差；对于生成器来说，生成器尽可能的去生成和真实样本一样的假样本；步骤5：网络的训练。本发明利用人工分割出来的皮损样本作为对抗生成网络的训练样本，然后使用对抗生成网络来生成新的皮肤病样本。

Description

一种基于深度卷积对抗生成网络的皮肤病图像的生成方法
技术领域
本发明涉及计算机视觉领域。本发明公开了一种使用对抗生成网络来生成皮肤病新样本的方法。具体先人工将皮肤病的损伤区域分割出来，然后利用分割出来的图像作为对抗生成网络的训练样本来进行新样本的生成。
背景技术
近年来，由于深度学习在处理图像的分类、检测等问题上优于传统的机器学习方法，因此得到了极大的发展，但是因为深度学习优越的性能是建立在大量训练数据的基础上的，所以收集到更多的训练数据显得尤为重要。由于皮肤病图像可收集的病患样本有限，并且很多数据处于不公开状态，所以为了解决皮肤图像样本量少的问题，本发明提出了一种使用对抗生成网络来生成皮肤病图像的方法。
对抗生成网络是Goodfellow在2014年提出的一种生成式模型。系统由一个生成器和一个判别器构成，生成器捕捉真实数据样本的潜在分布，判别器是一个二分类器，判别输入的是真实数据还是生成的样本。训练时固定一方，更新另一个模型的参数，交替迭代，使得对方的错误最大化，最终能估测出样本数据的分布。目前对抗生成网络最常使用的地方就是图像生成，如超分辨率任务，语义分割等。
发明内容
为了解决皮肤病图像样本量不足的问题，本发明提供一种基于深度卷积对抗生成网络的皮肤病图像的生成方法，该方法利用人工分割出来的皮损样本作为对抗生成网络的训练样本，然后使用对抗生成网络来生成新的皮肤病样本。
为了解决上述技术问题，本发明提供如下的技术方案：
一种基于深度卷积对抗生成网络的皮肤病图像的生成方法，所述生成方法包括以下步骤：
步骤1：对原始训练数据的预处理，对原始训练数据进行分割，得到皮肤病变区域的分割图片；
步骤2：深度卷积对抗生成网络结构的建立，使用卷积神经网络来进行分别构建生成器和判别器；
步骤3：设定生成网络和分类网络的输入，将随机产生的符合均匀分布的随机噪声数据作为步骤2中构建的生成器的输入，将训练后的生成器的输出和步骤1中得到的皮肤病变区域的分割图片样本作为步骤2中构建的判别器的输入；
步骤4：优化目标的设定，对于判别器来说，判别器负责对真假样本进行分类，生成器生成的样本为假，实际输入的真实样本为真，最小化分类误差；对于生成器来说，生成器尽可能的去生成和真实样本一样的假样本；
步骤5：网络的训练：先对生成器网络进行训练，训练周期为n个epoch,然后固定生成器，并将其输出和步骤1中分割出来的皮肤病变区域图片作为判别器网络的输入然后训练2n个epoch。循环按照1:2的训练次数训练生成器和判别器。
进一步，所述步骤1中，通过分割出皮肤的病变区域，分割具体步骤如下：
1.1、依次从原始训练集中取训练数据样本；
1.2、设定训练样本的坐标规则，左上角为起始坐标(0,0)右下角坐标为结束坐标；
1.3、使用标注工具对于原始皮肤图片样本中的病变区域进行标注得到其左上角起始坐标和右下角结束坐标，如果同一张图片存在多个非粘连在一起的皮肤病变，则分别对各个区域进行分割；
1.4、根据1.3中得到的坐标将该区域分割出来并对分割出来的皮肤病变区域图片按照规则重新命名。
再进一步，所述的步骤3中，生成器和判别器的建立过程为：
生成器的建立：生成器一共由5层结构组成，其中前4层对应的结构组成为二维反卷积层+BatchNorm层+Relu激活层。第5层其结构由二维反卷积层+Tanh激活层，其中所有的二维反卷积层的卷积核大小为4×4，不同之处在于，第1层的卷积步长为1，填充为0，第2、3、4、5层的卷积步长为2，填充为1；
判别器的建立：判别器一共由5层结构组成，其中第1层的组成结构为二维卷积层+LeakyReLu激活层，第2、3、4层的组成结构为二维卷积层+BatchNorm层+LeakyReLu激活层，第5层的组成结构为二维卷积层+Sigmoid激活层；
激活层函数表达式：
ReLu激活函数：
Figure BDA0001715839150000021
x代表输入，f(x)代表输出。
LeakyReLu激活函数：
Figure BDA0001715839150000031
其中x代表输入，f(x)代表输出，α是一个人为设定的固定值；
Sigmoid激活函数：
Figure BDA0001715839150000032
其中x代表输入，f(x)代表输出。
本发明的有益效果为：利用人工分割出来的皮损样本作为对抗生成网络的训练样本，然后使用对抗生成网络来生成新的皮肤病样本。
附图说明
图1为本发明中分割皮肤病图像示意图；
图2为对抗生成网络整体原理框架图
图3为生成器网络的结构示意图；
图4为判别器网络的结构示意图；
图5为整个生成模型最终的生成皮肤病图像和真实图像的对比图，其中，(a)为生成图，(b)为真实图像。
具体实施方式
以下将参照附图，对本发明的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
参照图1～图5，一种基于深度卷积对抗生成网络的皮肤病图像的生成方法，所述生成方法包括以下步骤：
步骤1：对原始训练数据的预处理，对原始训练数据进行分割，得到皮肤病变区域的分割图片；
步骤2：深度卷积对抗生成网络结构的建立，使用卷积神经网络来进行分别构建生成器和判别器；
步骤3：设定生成网络和分类网络的输入，将随机产生的符合均匀分布的随机噪声数据作为步骤2中构建的生成器的输入，将训练后的生成器的输出和步骤1中得到的皮肤病变区域的分割图片样本作为步骤2中构建的判别器的输入；
步骤4：优化目标的设定，对于判别器来说，判别器负责对真假样本进行分类，生成器生成的样本为假，实际输入的真实样本为真，最小化分类误差；对于生成器来说，生成器尽可能的去生成和真实样本一样的假样本；
步骤5：网络的训练：先对生成器网络进行训练，训练周期为n个epoch,然后固定生成器，并将其输出和步骤1中分割出来的皮肤病变区域图片作为判别器网络的输入然后训练2n个epoch。循环按照1:2的训练次数训练生成器和判别器。
进一步，所述步骤1中，通过分割出皮肤的病变区域，分割具体步骤如下：
1.1、依次从原始训练集中取训练数据样本；
1.2、设定训练样本的坐标规则，左上角为起始坐标(0,0)右下角坐标为结束坐标；
1.3、使用标注工具对于原始皮肤图片样本中的病变区域进行标注得到其左上角起始坐标和右下角结束坐标，如果同一张图片存在多个非粘连在一起的皮肤病变，则分别对各个区域进行分割；
1.4、根据1.3中得到的坐标将该区域分割出来并对分割出来的皮肤病变区域图片按照规则重新命名。
再进一步，所述的步骤3中，生成器和判别器的建立过程为：
生成器的建立：生成器一共由5层结构组成，其中前4层对应的结构组成为二维反卷积层+BatchNorm层+Relu激活层。第5层其结构由二维反卷积层+Tanh激活层，其中所有的二维反卷积层的卷积核大小为4×4，不同之处在于，第1层的卷积步长为1，填充为0，第2、3、4、5层的卷积步长为2，填充为1；
判别器的建立：判别器一共由5层结构组成，其中第1层的组成结构为二维卷积层+LeakyReLu激活层，第2、3、4层的组成结构为二维卷积层+BatchNorm层+LeakyReLu激活层，第5层的组成结构为二维卷积层+Sigmoid激活层；
激活层函数表达式：
ReLu激活函数：
Figure BDA0001715839150000041
x代表输入，f(x)代表输出。
LeakyReLu激活函数：
Figure BDA0001715839150000051
其中x代表输入，f(x)代表输出，α是一个人为设定的固定值；
Sigmoid激活函数：
Figure BDA0001715839150000052
其中x代表输入，f(x)代表输出。
本实施例的基于深度卷积对抗生成网络的皮肤病图像的生成方法，所述生成方法包括以下步骤：
步骤1：对原始训练图片进行预处理，分割出皮肤病变区域，依次随机从原始训练集中采样，假设某次采样到的样本为ISIC_0000012.jpg，通过标注工具对该训练图片进行人为标定，获得图片上病变区域的左上角横纵坐标(245,783)和右下角横纵坐标(574,1230)，然后将该区域从图片ISIC_0000012.jpg中分割出来，并命名为pathch1ISIC_0000012.jpg。
步骤2：建立生成器网络G和判别器网络D；
步骤3：随机生成100维且符合均匀分布的噪声数据S，将其输入到生成器网络G中进行训练1个epoch，得到其输出为G_out；
步骤4：将步骤1中得到的pathch1ISIC_0000012.jpg等分割样本和步骤3得到的G_out输入到判别器网络D中，训练2个epoch。
步骤5：判别器负责分辨样本的真假，生成的样本为假其他样本为真，最小化分类误差,生成器负责生成更加接近于真实样本的假样本，多次执行步骤3和步骤4，整体训练300个epoch。

Claims (3)

1.一种基于深度卷积对抗生成网络的皮肤病图像的生成方法，其特征在于，所述生成方法包括以下步骤：
步骤1：对原始训练数据的预处理，对原始训练数据进行分割，得到皮肤病变区域的分割图片；
步骤2：深度卷积对抗生成网络结构的建立，使用卷积神经网络来进行分别构建生成器和判别器；
步骤3：设定生成网络和分类网络的输入，将随机产生的符合均匀分布的随机噪声数据作为步骤2中构建的生成器的输入，将训练后的生成器的输出和步骤1中得到的皮肤病变区域的分割图片样本作为步骤2中构建的判别器的输入；
步骤4：优化目标的设定，对于判别器来说，判别器负责对真假样本进行分类，生成器生成的样本为假，实际输入的真实样本为真，最小化分类误差；对于生成器来说，生成器尽可能的去生成和真实样本一样的假样本；
步骤5：网络的训练：先对生成器网络进行训练，训练周期为n个epoch，然后固定生成器，并将其输出和步骤1中分割出来的皮肤病变区域图片作为判别器网络的输入然后训练2n个epoch，循环按照训练次数1:2训练生成器和判别器。
2.如权利要求1所述的一种基于深度卷积对抗生成网络的皮肤病图像的生成方法，其特征在于：所述步骤1中，分割出皮肤的病变区域，分割具体流程如下：
1.1、依次从原始训练集中取训练数据样本；
1.2、设定训练样本的坐标规则，左上角为起始坐标(0,0)右下角坐标为结束坐标；
1.3、使用标注工具对于原始皮肤图片样本中的病变区域进行标注得到其左上角起始坐标和右下角结束坐标，如果同一张图片存在多个非粘连在一起的皮肤病变，则分别对各个区域进行分割；
1.4、根据1.3中得到的坐标将该区域分割出来并对分割出来的皮肤病变区域图片按照规则重新命名。
3.如权利要求1或2所述的一种基于深度卷积对抗生成网络的皮肤病图像的生成方法，其特征在于：所述的步骤2中，生成器和判别器的建立过程为：
生成器的建立：生成器一共由5层结构组成，其中前4层对应的结构组成为二维反卷积层+BatchNorm层+Relu激活层，第5层其结构由二维反卷积层+Tanh激活层，其中所有的二维反卷积层的卷积核大小为4×4，不同之处在于，第1层的卷积步长为1，填充为0，第2、3、4、5层的卷积步长为2，填充为1；
判别器的建立：判别器一共由5层结构组成，其中第1层的组成结构为二维卷积层+LeakyReLu激活层，第2、3、4层的组成结构为二维卷积层+BatchNorm层+LeakyReLu激活层，第5层的组成结构为二维卷积层+Sigmoid激活层；
激活层函数表达式：
ReLu激活函数：
Figure FDA0003026510380000021
x代表输入，f(x)代表输出；
LeakyReLu激活函数：
Figure FDA0003026510380000022
其中x代表输入，f(x)代表输出，α是一个人为设定的固定值；
Sigmoid激活函数：
Figure FDA0003026510380000023
其中x代表输入，f(x)代表输出。
CN201810708543.7A 2018-07-02 2018-07-02 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法 Active CN108961272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810708543.7A CN108961272B (zh) 2018-07-02 2018-07-02 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810708543.7A CN108961272B (zh) 2018-07-02 2018-07-02 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法

Publications (2)

Publication Number Publication Date
CN108961272A CN108961272A (zh) 2018-12-07
CN108961272B true CN108961272B (zh) 2021-10-26

Family

ID=64485088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810708543.7A Active CN108961272B (zh) 2018-07-02 2018-07-02 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法

Country Status (1)

Country Link
CN (1) CN108961272B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840908A (zh) * 2019-01-31 2019-06-04 浙江工业大学 一种基于对抗生成网络的金属轴缺陷图像生成方法
CN109871630B (zh) * 2019-02-28 2023-05-26 浙江工业大学 一种微血管树结构的人工生成方法
CA3133596A1 (en) * 2019-03-15 2020-09-24 Invista Textiles (U.K.) Limited Yarn quality control
CN110069947B (zh) * 2019-04-22 2020-09-15 鹏城实验室 图片隐私的预测方法及装置、存储介质及电子设备
CN110415182B (zh) * 2019-06-18 2024-03-05 平安科技（深圳）有限公司 眼底oct影像增强方法、装置、设备及存储介质
CN110533074B (zh) * 2019-07-30 2022-03-29 华南理工大学 一种基于双深度神经网络的图片类别自动标注方法及系统
CN110619347A (zh) * 2019-07-31 2019-12-27 广东工业大学 一种基于机器学习的图像生成方法及其方法
US20240119586A1 (en) * 2019-10-28 2024-04-11 Google Llc Synthetic Generation of Clinical Skin Images in Pathology
US20220343638A1 (en) * 2019-11-19 2022-10-27 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Smart diagnosis assistance method and terminal based on medical images
CN111062918B (zh) * 2019-12-10 2023-11-21 歌尔股份有限公司 一种基于计算机视觉的异常检测方法及装置
CN111127412B (zh) * 2019-12-18 2021-05-28 广东工业大学 一种基于生成对抗网络的病理图像识别装置
CN111260755B (zh) * 2020-01-19 2023-04-07 金陵科技学院 基于深度学习与数字图像处理的数字扎染图案生成方法
CN112151153A (zh) * 2020-10-23 2020-12-29 脉得智能科技(无锡)有限公司 一种基于生成对抗网络的胃镜图像生成方法
CN112766348A (zh) * 2021-01-12 2021-05-07 云南电网有限责任公司电力科学研究院 一种基于对抗神经网络生成样本数据的方法以及装置
CN113221948B (zh) * 2021-04-13 2022-08-05 复旦大学 基于对抗生成网络和弱监督学习的数字切片图像分类方法
CN113538615B (zh) * 2021-06-29 2024-01-09 中国海洋大学 基于双流生成器深度卷积对抗生成网络的遥感图像上色方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016145379A1 (en) * 2015-03-12 2016-09-15 William Marsh Rice University Automated Compilation of Probabilistic Task Description into Executable Neural Network Specification
CN107220600B (zh) * 2017-05-17 2019-09-10 清华大学深圳研究生院 一种基于深度学习的图片生成方法及生成对抗网络
CN107423707A (zh) * 2017-07-25 2017-12-01 深圳帕罗人工智能科技有限公司 一种基于复杂环境下的人脸情绪识别方法
CN107862293B (zh) * 2017-09-14 2021-05-04 北京航空航天大学 基于对抗生成网络的雷达生成彩色语义图像系统及方法

Also Published As

Publication number Publication date
CN108961272A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
CN108961272B (zh) 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法
Gao et al. Deep leaf‐bootstrapping generative adversarial network for structural image data augmentation
Qian et al. Learning and transferring representations for image steganalysis using convolutional neural network
JP6843086B2 (ja) 画像処理システム、画像においてマルチラベル意味エッジ検出を行う方法、および、非一時的コンピューター可読記憶媒体
CN112750140B (zh) 基于信息挖掘的伪装目标图像分割方法
CN112488210A (zh) 一种基于图卷积神经网络的三维点云自动分类方法
US7711157B2 (en) Artificial intelligence systems for identifying objects
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN106446754A (zh) 图像识别方法、度量学习方法、图像来源识别方法及装置
CN109410184B (zh) 基于稠密对抗网络半监督学习的直播色情图像检测方法
CN112837344B (zh) 一种基于条件对抗生成孪生网络的目标跟踪方法
CN104268140B (zh) 基于权重自学习超图和多元信息融合的图像检索方法
CN113111767A (zh) 一种基于深度学习3d姿态评估的跌倒检测方法
CN109919085B (zh) 基于轻量型卷积神经网络的人人交互行为识别方法
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
CN110163567A (zh) 基于多任务级联卷积神经网络的课堂点名系统
CN113821668A (zh) 数据分类识别方法、装置、设备及可读存储介质
CN109859314A (zh) 三维重建方法、装置、电子设备和存储介质
Yan et al. Human-object interaction recognition using multitask neural network
Deng et al. Individual identification using a gait dynamics graph
CN113762009B (zh) 一种基于多尺度特征融合及双注意力机制的人群计数方法
CN112927127A (zh) 一种运行在边缘设备上的视频隐私数据模糊化方法
CN112149528A (zh) 一种全景图目标检测方法、系统、介质及设备
Yaseen et al. A Novel Approach Based on Multi-Level Bottleneck Attention Modules Using Self-Guided Dropblock for Person Re-Identification
Zaidan et al. A novel hybrid module of skin detector using grouping histogram technique for Bayesian method and segment adjacent-nested technique for neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant