CN111179193B - 基于DCNNs和GANs的皮肤镜图像增强和分类方法 - Google Patents
基于DCNNs和GANs的皮肤镜图像增强和分类方法 Download PDFInfo
- Publication number
- CN111179193B CN111179193B CN201911365878.4A CN201911365878A CN111179193B CN 111179193 B CN111179193 B CN 111179193B CN 201911365878 A CN201911365878 A CN 201911365878A CN 111179193 B CN111179193 B CN 111179193B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- training
- classification
- net
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 title claims abstract 12
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 title claims abstract 12
- 238000012549 training Methods 0.000 claims abstract description 71
- 230000011218 segmentation Effects 0.000 claims abstract description 69
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 40
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 40
- 206010040882 skin lesion Diseases 0.000 claims abstract description 24
- 231100000444 skin lesion Toxicity 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 230000002708 enhancing effect Effects 0.000 claims abstract description 9
- 238000004458 analytical method Methods 0.000 claims abstract description 4
- 230000003902 lesion Effects 0.000 claims description 44
- 238000013507 mapping Methods 0.000 claims description 17
- 239000002131 composite material Substances 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 9
- 206010027145 Melanocytic naevus Diseases 0.000 claims description 7
- 208000007256 Nevus Diseases 0.000 claims description 7
- 201000001441 melanoma Diseases 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 206010039796 Seborrhoeic keratosis Diseases 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims description 3
- 230000001575 pathological effect Effects 0.000 claims description 3
- 201000003385 seborrheic keratosis Diseases 0.000 claims description 3
- 230000006870 function Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Abstract
本发明公开了一种基于DCNNs和GANs的皮肤镜图像增强和分类方法，包括以下步骤：S1：构建并训练U‑Net分割网络；S2：构建基于pix2pixHD的图像合成网络；S3：训练图像合成网络；S4：构建基于DCNNs和GANs的多阶段皮肤病变分类框架；S5：训练SE‑Net分类网络；S6：获取待分类皮肤镜图像；S7：对待分类皮肤镜图像进行预处理；S8：将预处理后的待分类图片输入到多阶段皮肤病变分类框架进行分析。本发明能够实现皮肤镜图像的分割、合成和分类；本发明采用U‑Net、pix2pixHD方法，降低了无用背景信息和训练数据不足对分类任务性能的影响，本发明的方法具有很好的实用性。
Description
技术领域
本发明涉及数字图像处理技术领域，特别涉及一种基于DCNNs和GANs的皮肤镜图像增强和分类方法。
背景技术
皮肤镜图像中皮肤病变的自动准确分类对提高诊断和治疗水平具有重要意义。许多皮肤病变的分类解决方案是基于手工提取的特征，包括颜色、质地、形状，以及病变的综合描述，然而，这些手工提取的特征无法处理黑色素瘤巨大的类内变异性，以及黑色素瘤与非黑色素瘤病变之间高度的视觉相似性。虽然深度学习在许多图像分类任务中表现出了优异的性能，但由于缺乏训练数据和背景信息的干扰，皮肤病变的准确分类仍存在挑战。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于DCNNs和GANs的皮肤镜图像增强和分类方法。
为解决上述技术问题，本发明采用的技术方案是：一种基于DCNNs和GANs的皮肤镜图像增强和分类方法，包括以下步骤：
S1：构建并训练U-Net分割网络；
S2：构建基于pix2pixHD的图像合成网络；
S3：训练所述步骤S2得到的图像合成网络；
S4：构建基于DCNNs和GANs的多阶段皮肤病变分类框架：其包括由所述步骤S3得到的训练后的用于皮肤镜图像生成的图像合成网络、由所述步骤S1得到的训练后的用于病灶分割的U-Net分割网络以及用于病灶分类的SE-Net分类网络；
S5：训练所述步骤S4中的SE-Net分类网络，得到训练后的可用于皮肤镜图像分类的多阶段皮肤病变分类框架；
S6：获取待分类皮肤镜图像；
S7：对待分类皮肤镜图像进行预处理；
S8：将预处理后的待分类图片输入到所述步骤S5得到的训练后的多阶段皮肤病变分类框架，实现对待分类图片的自动分类。
优选的是，所述步骤S1中对构建的U-Net分割网络进行训练的步骤包括：
S1-1：获取训练图像；
S1-2：对训练图像进行预处理：将训练图像大小调整为224*224；
S1-3：将预处理后的训练图像输入U-Net分割网络对该网络进行训练，求得各个网络层的参数并保存，最终获得训练后的U-Net分割网络。
优选的是，所述步骤S2中的基于pix2pixHD的图像合成网络包括一个以U-Net网络构建的生成器G和一个多尺度鉴别器D，所述多尺度鉴别器D包括3个结构相同但尺度不同的子网络。
优选的是，所述步骤S3中训练所述图像合成网络的具体方法包括以下步骤：
S3-1：获取训练图像；
S3-2：将训练图像输入由所述步骤1得到的训练后的U-Net分割网络中，得到二进制分割蒙版；
S3-3：根据得到的二进制分割蒙版制作语义图和实例图；
S3-4：将得到的语义图和实例图输入所述步骤S2得到的所述图像合成网络中进行训练。
优选的是，所述步骤S3-3中根据二进制分割蒙版制作语义图和实例图的具体方法为：
对于语义图，由于像素级分割任务的结果，语义图中的每个像素都有其与之对应的对象类值，使非病变、痣病变、黑色素瘤病变和脂溢性角化病病变皮肤被分配了不同的标签；
对于实例图，首先通过超像素算法生成超像素块，然后将超像素块按从左到右、从上到下的顺序进行升序编号；再对编号后的超像素块进行遍历，如果超像素块中超过一半属于非病变区域，则将超像素块的像素值赋值为1000，每次递增1；对于痣病变，超像素块的像素值赋值为2000，每次递增1。
优选的是，所述步骤S3-4中将语义图和实例图输入所述图像合成网络中的方法为：将实例映射与语义映射连接起来，构造一个复合标签映射，并将其输入所述生成器G；将实例映射、语义映射和真实/合成图像按通道级联输入所述多尺度鉴别器D。
优选的是，所述步骤S5中训练所述SE-Net分类网络的方法具体包括：
S5-1：获取训练图像；
S5-2：将训练图像输入由所述步骤1得到的训练后的U-Net分割网络中，得到二进制分割蒙版；
S5-3：根据得到的二进制分割蒙版制作语义图和实例图；
S5-4：将得到的将语义图和实例图输入所述步骤S3得到的训练后的所述图像合成网络中，获得合成图像；
S5-5：根据二进制分割蒙版将真实图像和合成图像中包含病变区域的最小矩形分割出来；
S5-6：将得到的图像进行预处理；
S5-7：将预处理后的图像输入所述多阶段皮肤病变分类框架中的SE-Net分类网络进行训练，获得训练后的SE-Net分类网络，从而形成最终的训练后的多阶段皮肤病变分类框架。
优选的是，所述步骤S5-5具体为：遍历二进制分割蒙版，得到病变区域坐标信息，根据坐标信息得到包含病变区域最小矩形，根据最小矩形，从对应真实和合成图像中分割出相应病变区域；
所述步骤S5-6中的图像预处理方法包括：对图像进行数据增强、将图像调整为网络要求的尺寸大小以及使用颜色恒常化算法对图片进行处理。
优选的是，所述步骤S7中对待分类皮肤镜图像进行预处理的方法为：将待分类皮肤镜图像调整为网络需要的尺寸大小，然后采用颜色恒常化算法进行处理。
优选的是，所述步骤S8具体为：将预处理后的所述待分类皮肤镜图像输入训练后的所述U-Net分割网络，得到分割蒙版；待分类皮肤镜图像根据分割蒙版得到包含病变区域的最小矩形；将最小矩形输入训练后的所述SE-Net分类网络进行分析；SE-Net分类网络识别出待分类皮肤镜图像的类别，并打上分类标签。
本发明的有益效果是：本发明基于DCNNs和GANs的皮肤镜图像增强和分类方法能够很好的实现皮肤镜图像的分割、合成和分类；本发明采用U-Net、pix2pixHD方法，降低了无用背景信息和训练数据不足对分类任务性能的影响，本发明的方法具有很好的实用性。
附图说明
图1为本发明的方法的流程图；
图2为本发明的一种实施例中采用的原始图像；
图3为本发明的一种实施例中采用本发明的方法的处理过程中的图像；
图4为本发明的一种实施例的真实图像和图像合成网络得到的合成图像的对比图；
图5为本发明的一种实施例的真实图像和经过颜色恒常化算法处理后的图像的对比图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
如图1所示，本实施例的一种基于DCNNs和GANs的皮肤镜图像增强和分类方法，包括以下步骤：
S1：构建并训练U-Net分割网络；
S2：构建基于pix2pixHD的图像合成网络；
S3：训练所述步骤S2得到的图像合成网络；
S4：构建基于DCNNs和GANs的多阶段皮肤病变分类框架：其包括由所述步骤S3得到的训练后的用于皮肤镜图像生成的图像合成网络、由所述步骤S1得到的训练后的用于病灶分割的U-Net分割网络以及用于病灶分类的SE-Net分类网络；
S5：训练所述步骤S4中的SE-Net分类网络，得到训练后的可用于皮肤镜图像分类的多阶段皮肤病变分类框架；
S6：获取待分类皮肤镜图像；
S7：对待分类皮肤镜图像进行预处理；
S8：将预处理后的待分类图片输入到所述步骤S5得到的训练后的多阶段皮肤病变分类框架，实现对待分类图片的自动分类。
本发明提供了一种基于深度卷积神经网络(DCNNs)和生成对抗网络(GANs)的皮肤镜图像增强和分类方法。如图1所示，本发明采用一个多阶段网络框架，一方面分割网络可以过滤掉皮肤镜图像中无用的背景信息以及获得病变的边界分布，另一方面合成网络可以合成皮肤镜图像以解决训练数据不足的问题，所以通过两者的结合，可以提高深度卷积网络在皮肤病变分类任务上的性能。以下提供更为详细的步骤。
S1：构建并训练U-Net分割网络。
U-Net分割网络采用常规的U-Net网络结构，本实施例中的U-Net分割网络包块解码和编码两个过程，由23个卷积层组成，其中4个最大池化层进行下采样，4个反卷积层进行上采样。
对构建的U-Net分割网络进行训练的步骤包括：
S1-1：获取训练图像以及其对应的ground truth；
S1-2：对训练图像进行预处理：为了加快网络读取数据的速度，在训练网络之前，将训练图像大小调整为224*224，并存入数组中；
S1-3：将预处理后的训练图像输入U-Net分割网络对该网络进行训练，求得各个网络层的参数并保存，最终获得训练后的U-Net分割网络。
S2：构建基于pix2pixHD的图像合成网络。
本实施例中的图像合成网络以pix2pixHD GANs为基本框架，包括一个以U-Net网络构建的生成器G和一个多尺度鉴别器D，所述多尺度鉴别器D主要包含3个尺度的子网络，每个尺度子网络的网络结构都相同，只是网络参数不一样。虽然鉴别器的结构是相同的，但是尺度最大的鉴别器接受域最大，它具有更全局的图像视图，可以指导生成器生成全局一致的图像。另一方面，尺度最小的鉴别器鼓励生成器生成更细的细节。这也使训练从粗到细的生成器变得更加容易，因为将低分辨率模型扩展到更高的分辨率仅需要在最精细的级别上添加一个附加的鉴别器，而不是从头开始进行训练。最后，取三个不同尺度上输出的平均值进行鉴别，鉴别器有三个尺度:原始图像，原始图像的1/2下采样，原始图像的1/4下采样。
接下来对损失函数进行定义，首先pix2pixHD是一个条件GANs，目的是通过以下的极大极小博弈方法，对给定语义标签映射的真实图像的条件分布进行建模。
GAN损失函数：
其中，S为标签映射，X为对应的真实图像，E表示期望。
因为鉴别器有三个尺度，公式(1)中的学习问题变成了鉴别器的多任务学习问题:
特别的，为了稳定训练，pix2pixHD通过增加一个基于鉴别器的特征匹配损失来改进公式(3)中GAN的损失，因为生成器必须在多个尺度上生成相应的匹配信息，为了便于表示，将鉴别器Dk的第i层的特征提取器称为
最后，利用提取的特征计算特征匹配损失LFM(G,Dk):
其中T为层数，Ni为每一层的神经元个数，
因此，pix2pixHD总的目标函数为(结合了GAN损失和特征匹配损失)：
其中，λ控制着这两项损失的权重。对于特征匹配损失LFM，Dk只是作为一个特征提取器，并没有最大化损失LFM。
S3：训练所述步骤S2得到的图像合成网络。
具体方法包括以下步骤：
S3-1：获取训练图像；
S3-2：将训练图像输入由所述步骤1得到的训练后的U-Net分割网络中，得到二进制分割蒙版；
S3-3：根据得到的二进制分割蒙版制作语义图和实例图，具体为：
对于语义图，语义图中的每个像素都有其与之对应的对象类值，通常被认为是像素级分割任务的结果，所以非病变、痣病变(Nevus)、黑色素瘤病变(Melanoma)和脂溢性角化病病变(Seborrhoeic keratosis)皮肤被分配了不同的标签；另外在不改变输入尺寸的情况下保持病变的宽高比，在边界上指定了一个不构成皮肤图像的标签；
对于实例图，首先通过超像素算法生成超像素块，然后将超像素块按从左到右、从上到下的顺序进行升序编号；再对编号后的超像素块进行遍历，如果超像素块中超过一半属于非病变区域，则将超像素块的像素值赋值为1000，每次递增1；对于痣病变，超像素块的像素值赋值为2000，每次递增1。
S3-4：将得到的语义图和实例图输入所述步骤S2得到的所述图像合成网络中进行训练。将语义图和实例图输入所述图像合成网络中的方法为：将实例映射与语义映射连接起来，构造一个复合标签映射，并将其输入所述生成器G；类似地，将实例映射、语义映射和真实/合成图像按通道级联输入所述多尺度鉴别器D。
通过以上手段对训练图片进行预处理后输入通过步骤S2建立的图像合成网络对其进行训练，求得各个网络层的参数并保存，获得训练后的图像合成网络。
S4：构建基于DCNNs和GANs的多阶段皮肤病变分类框架。
其包括由所述步骤S3得到的训练后的用于皮肤镜图像生成的图像合成网络、由所述步骤S1得到的训练后的用于病灶分割的U-Net分割网络以及用于病灶分类的SE-Net分类网络。检测过程直接在检测图像上进行病灶分割，然后将分割病变输入分类网络。其中，U-Net分割网络不仅可以过滤掉皮肤镜图像中无用的背景信息而且可以获得图像合成网络所需要的病变边界分布。而基于pix2pixHD的图像合成网络可以合成皮肤镜图像以解决训练数据不足的问题。
S5：训练多阶段皮肤病变分类框架中的SE-Net分类网络。
具体包括：
S5-1：获取训练图像；
S5-2：将训练图像输入由所述步骤1得到的训练后的U-Net分割网络中，得到二进制分割蒙版；
S5-3：根据得到的二进制分割蒙版制作语义图和实例图；
S5-4：将得到的将语义图和实例图输入所述步骤S3得到的训练后的所述图像合成网络中，获得合成图像；
S5-5：根据二进制分割蒙版将真实图像和合成图像中包含病变区域的最小矩形分割出来，具体为：遍历二进制分割蒙版，得到病变区域坐标信息，根据坐标信息得到包含病变区域最小矩形，根据最小矩形，从对应真实和合成图像中分割出相应病变区域；
S5-6：将得到的图像进行预处理，具体为：除了传统的数据增强的方法(平移、旋转、翻转等)和调整为网络要求的尺寸大小之外，本发明还使用了颜色恒常化算法对图片进行处理，以降低不同环境下得到的皮肤镜图像的颜色干扰；
S5-7：将预处理后的图像输入所述多阶段皮肤病变分类框架中的SE-Net分类网络进行训练，获得训练后的SE-Net分类网络，结合训练后的U-Net分割网络和训练后的基于pix2pixHD的图像合成网络，形成最终的训练后的多阶段皮肤病变分类框架，可用于对皮肤镜图像进行自动分类。
S6：获取待分类皮肤镜图像。
当需要对图片进行分类时，首先通过人工或其他手段获取待分类图片。
S7：对待分类皮肤镜图像进行预处理。
方法为：将待分类皮肤镜图像调整为网络需要的尺寸大小，然后采用颜色恒常化算法进行处理。
S8：将预处理后的待分类图片输入到所述步骤S5得到的训练后的多阶段皮肤病变分类框架，实现对待分类图片的自动分类。
具体为：将预处理后的所述待分类皮肤镜图像输入训练后的所述U-Net分割网络，得到分割蒙版；待分类皮肤镜图像根据分割蒙版得到包含病变区域的最小矩形；将最小矩形输入训练后的所述SE-Net分类网络进行分析；SE-Net分类网络识别出待分类皮肤镜图像的类别，并打上分类标签。
参照图2为一种实施例中采用的原始图像。图3为本发明的方法的处理过程中的图像，三行中每行从左至右依次为：真实图像，超像素图像，分割结果和语义图和实例图。图4为真实图像和本发明的图像合成网络得到的合成图像的对比图，其中，第一行为真实图像，第二行为对应的合成图像(每一列相互对应)。图5为真实图像和经过颜色恒常化算法处理后的图像的对比图，其中，第一行为真实图像，第二行为对应的颜色恒常化算法处理后的图像(每一列相互对应)。
本发明能够很好的实现皮肤镜图像的分割、合成和分类。本发明采用U-Net、pix2pixHD方法，降低了无用背景信息和训练数据不足对分类任务性能的影响，本发明的方法具有很好的实用性。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。
Claims (8)
1.一种基于DCNNs和GANs的皮肤镜图像增强和分类方法，其特征在于，包括以下步骤：
S1：构建并训练U-Net分割网络；
S2：构建基于pix2pixHD的图像合成网络；
S3：训练所述步骤S2得到的图像合成网络；
S4：构建基于DCNNs和GANs的多阶段皮肤病变分类框架：其包括由所述步骤S3得到的训练后的用于皮肤镜图像生成的图像合成网络、由所述步骤S1得到的训练后的用于病灶分割的U-Net分割网络以及用于病灶分类的SE-Net分类网络；
S5：训练所述步骤S4中的SE-Net分类网络，得到训练后的可用于皮肤镜图像分类的多阶段皮肤病变分类框架；
S6：获取待分类皮肤镜图像；
S7：对待分类皮肤镜图像进行预处理；
S8：将预处理后的待分类图片输入到所述步骤S5得到的训练后的多阶段皮肤病变分类框架，实现对待分类图片的自动分类；
所述步骤S3中训练所述图像合成网络的具体方法包括以下步骤：
S3-1：获取训练图像；
S3-2：将训练图像输入由所述步骤1得到的训练后的U-Net分割网络中，得到二进制分割蒙版；
S3-3：根据得到的二进制分割蒙版制作语义图和实例图；
S3-4：将得到的语义图和实例图输入所述步骤S2得到的所述图像合成网络中进行训练；
所述步骤S3-3中根据二进制分割蒙版制作语义图和实例图的具体方法为：
对于语义图，由于像素级分割任务的结果，语义图中的每个像素都有其与之对应的对象类值，使非病变、痣病变、黑色素瘤病变和脂溢性角化病病变皮肤被分配了不同的标签；
对于实例图，首先通过超像素算法生成超像素块，然后将超像素块按从左到右、从上到下的顺序进行升序编号；再对编号后的超像素块进行遍历，如果超像素块中超过一半属于非病变区域，则将超像素块的像素值赋值为1000，每次递增1；对于痣病变，超像素块的像素值赋值为2000，每次递增1。
2.根据权利要求1所述的基于DCNNs和GANs的皮肤镜图像增强和分类方法，其特征在于，所述步骤S1中对构建的U-Net分割网络进行训练的步骤包括：
S1-1：获取训练图像；
S1-2：对训练图像进行预处理：将训练图像大小调整为224*224；
S1-3：将预处理后的训练图像输入U-Net分割网络对该网络进行训练，求得各个网络层的参数并保存，最终获得训练后的U-Net分割网络。
3.根据权利要求2所述的基于DCNNs和GANs的皮肤镜图像增强和分类方法，其特征在于，所述步骤S2中的基于pix2pixHD的图像合成网络包括一个以U-Net网络构建的生成器G和一个多尺度鉴别器D，所述多尺度鉴别器D包括3个结构相同但尺度不同的子网络。
4.根据权利要求3所述的基于DCNNs和GANs的皮肤镜图像增强和分类方法，其特征在于，所述步骤S3-4中将语义图和实例图输入所述图像合成网络中的方法为：将实例映射与语义映射连接起来，构造一个复合标签映射，并将其输入所述生成器G；将实例映射、语义映射和真实/合成图像按通道级联输入所述多尺度鉴别器D。
5.根据权利要求4所述的基于DCNNs和GANs的皮肤镜图像增强和分类方法，其特征在于，所述步骤S5中训练所述SE-Net分类网络的方法具体包括：
S5-1：获取训练图像；
S5-2：将训练图像输入由所述步骤1得到的训练后的U-Net分割网络中，得到二进制分割蒙版；
S5-3：根据得到的二进制分割蒙版制作语义图和实例图；
S5-4：将得到的将语义图和实例图输入所述步骤S3得到的训练后的所述图像合成网络中，获得合成图像；
S5-5：根据二进制分割蒙版将真实图像和合成图像中包含病变区域的最小矩形分割出来；
S5-6：将得到的图像进行预处理；
S5-7：将预处理后的图像输入所述多阶段皮肤病变分类框架中的SE-Net分类网络进行训练，获得训练后的SE-Net分类网络，从而形成最终的训练后的多阶段皮肤病变分类框架。
6.根据权利要求5所述的基于DCNNs和GANs的皮肤镜图像增强和分类方法，其特征在于，所述步骤S5-5具体为：遍历二进制分割蒙版，得到病变区域坐标信息，根据坐标信息得到包含病变区域最小矩形，根据最小矩形，从对应真实和合成图像中分割出相应病变区域；
所述步骤S5-6中的图像预处理方法包括：对图像进行数据增强、将图像调整为网络要求的尺寸大小以及使用颜色恒常化算法对图片进行处理。
7.根据权利要求6所述的基于DCNNs和GANs的皮肤镜图像增强和分类方法，其特征在于，所述步骤S7中对待分类皮肤镜图像进行预处理的方法为：将待分类皮肤镜图像调整为网络需要的尺寸大小，然后采用颜色恒常化算法进行处理。
8.根据权利要求7所述的基于DCNNs和GANs的皮肤镜图像增强和分类方法，其特征在于，所述步骤S8具体为：将预处理后的所述待分类皮肤镜图像输入训练后的所述U-Net分割网络，得到分割蒙版；待分类皮肤镜图像根据分割蒙版得到包含病变区域的最小矩形；将最小矩形输入训练后的所述SE-Net分类网络进行分析；SE-Net分类网络识别出待分类皮肤镜图像的类别，并打上分类标签。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911365878.4A CN111179193B (zh) | 2019-12-26 | 2019-12-26 | 基于DCNNs和GANs的皮肤镜图像增强和分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911365878.4A CN111179193B (zh) | 2019-12-26 | 2019-12-26 | 基于DCNNs和GANs的皮肤镜图像增强和分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111179193A CN111179193A (zh) | 2020-05-19 |
| CN111179193B true CN111179193B (zh) | 2021-08-10 |
Family
ID=70650488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911365878.4A Active CN111179193B (zh) | 2019-12-26 | 2019-12-26 | 基于DCNNs和GANs的皮肤镜图像增强和分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111179193B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111951235A (zh) * | 2020-07-31 | 2020-11-17 | 湘潭大学 | 基于深度学习的皮肤图像处理方法 |
| CN112070757A (zh) * | 2020-09-16 | 2020-12-11 | 重庆康盛医道信息科技有限公司 | 基于深度学习算法的皮肤过敏原点刺自动检测分析方法 |
| CN112102323B (zh) * | 2020-09-17 | 2023-07-07 | 陕西师范大学 | 基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法 |
| CN116542891A (zh) * | 2023-05-12 | 2023-08-04 | 广州民航职业技术学院 | 一种高分辨率飞机蒙皮表面损伤图像合成方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109712111A (zh) * | 2018-11-22 | 2019-05-03 | 平安科技（深圳）有限公司 | 一种皮肤癌种类识别方法、系统、计算机设备和存储介质 |
| CN109886986A (zh) * | 2019-01-23 | 2019-06-14 | 北京航空航天大学 | 一种基于多分支卷积神经网络的皮肤镜图像分割方法 |
| CN110348515A (zh) * | 2019-07-10 | 2019-10-18 | 腾讯科技（深圳）有限公司 | 图像分类方法、图像分类模型训练方法及装置 |
| CN110495847A (zh) * | 2019-08-23 | 2019-11-26 | 重庆天如生物科技有限公司 | 基于深度学习的消化道早癌辅助诊断系统和检查装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10531825B2 (en) * | 2016-10-14 | 2020-01-14 | Stoecker & Associates, LLC | Thresholding methods for lesion segmentation in dermoscopy images |
| US10910099B2 (en) * | 2018-02-20 | 2021-02-02 | Siemens Healthcare Gmbh | Segmentation, landmark detection and view classification using multi-task learning |
-
2019
- 2019-12-26 CN CN201911365878.4A patent/CN111179193B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109712111A (zh) * | 2018-11-22 | 2019-05-03 | 平安科技（深圳）有限公司 | 一种皮肤癌种类识别方法、系统、计算机设备和存储介质 |
| CN109886986A (zh) * | 2019-01-23 | 2019-06-14 | 北京航空航天大学 | 一种基于多分支卷积神经网络的皮肤镜图像分割方法 |
| CN110348515A (zh) * | 2019-07-10 | 2019-10-18 | 腾讯科技（深圳）有限公司 | 图像分类方法、图像分类模型训练方法及装置 |
| CN110495847A (zh) * | 2019-08-23 | 2019-11-26 | 重庆天如生物科技有限公司 | 基于深度学习的消化道早癌辅助诊断系统和检查装置 |
Non-Patent Citations (1)
| Title |
|---|
| "High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs";Ting-Chun Wang;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20180623;第3.1-3.2节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111179193A (zh) | 2020-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111179193B (zh) | 基于DCNNs和GANs的皮肤镜图像增强和分类方法 | |
| CN110443842B (zh) | 基于视角融合的深度图预测方法 | |
| CN109753885B (zh) | 一种目标检测方法、装置以及行人检测方法、系统 | |
| CN112132058B (zh) | 一种头部姿态估计方法及其实现系统、存储介质 | |
| Lu et al. | Salient object detection using concavity context | |
| CN110378838B (zh) | 变视角图像生成方法，装置，存储介质及电子设备 | |
| CN110334762B (zh) | 一种基于四叉树结合orb和sift的特征匹配方法 | |
| CN109325484B (zh) | 基于背景先验显著性的花卉图像分类方法 | |
| CN111553837B (zh) | 一种基于神经风格迁移的艺术文本图像生成方法 | |
| CN107967482A (zh) | 图标识别方法及装置 | |
| CN113421269A (zh) | 一种基于双分支深度卷积神经网络的实时语义分割方法 | |
| CN111738055B (zh) | 多类别文本检测系统和基于该系统的票据表单检测方法 | |
| Liu et al. | SAR image segmentation based on hierarchical visual semantic and adaptive neighborhood multinomial latent model | |
| CN107622280B (zh) | 基于场景分类的模块化处方式图像显著性检测方法 | |
| Kim et al. | A new convolutional network-in-network structure and its applications in skin detection, semantic segmentation, and artifact reduction | |
| CN112241745A (zh) | 一种基于光照不变颜色空间的特征点提取方法 | |
| Liu et al. | Asflow: Unsupervised optical flow learning with adaptive pyramid sampling | |
| CN109741358B (zh) | 基于自适应超图学习的超像素分割方法 | |
| CN114494786A (zh) | 一种基于多层协调卷积神经网络的细粒度图像分类方法 | |
| CN110910497B (zh) | 实现增强现实地图的方法和系统 | |
| US10115195B2 (en) | Method and apparatus for processing block to be processed of urine sediment image | |
| CN111627033B (zh) | 一种难样本实例分割方法、设备及计算机可读存储介质 | |
| CN103617616A (zh) | 一种仿射不变的图像匹配方法 | |
| Hammoudi et al. | SuperpixelGridCut, SuperpixelGridMean and SuperpixelGridMix Data Augmentation | |
| CN114627136A (zh) | 一种基于特征金字塔网络的舌象分割与对齐方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |