CN112132833A - 一种基于深度卷积神经网络的皮肤病图像病灶分割方法 - Google Patents
一种基于深度卷积神经网络的皮肤病图像病灶分割方法 Download PDFInfo
- Publication number
- CN112132833A CN112132833A CN202010860172.1A CN202010860172A CN112132833A CN 112132833 A CN112132833 A CN 112132833A CN 202010860172 A CN202010860172 A CN 202010860172A CN 112132833 A CN112132833 A CN 112132833A
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- depth
- skin disease
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 52
- 208000017520 skin disease Diseases 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 230000009467 reduction Effects 0.000 claims abstract description 8
- 210000004209 hair Anatomy 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 23
- 238000012360 testing method Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 9
- 239000011800 void material Substances 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 8
- 230000003902 lesion Effects 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 206010048768 Dermatosis Diseases 0.000 claims description 3
- 208000030695 Sparse hair Diseases 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004195 computer-aided diagnosis Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 206010016326 Feeling cold Diseases 0.000 description 1
- 206010016334 Feeling hot Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机辅助诊断和医学图像处领域，涉及一种基于深度卷积神经网络的皮肤病图像病灶分割方法，用于提高皮肤病图像质量，进而提高病灶分割的准确度，以获得更加精确的病灶信息。具体步骤是：数据预处理负责对皮肤病图像进行降噪处理，将图像中有碍确定病灶位置的人工、天然噪声移除；数据扩充负责将经过降噪处理的图像进行形变、旋转的方式扩充数据集；构建分割模型对图像进行第一次特征提取，再进行编码获得更多细节特征，并融合第一次得到的特征获得预测图。
Description
技术领域
本发明属于计算机辅助诊断和医学图像处理领域，具体涉及一种基于深度空洞卷积网络的特征提取和融合方法。
背景技术
皮肤是人体最大的器官，它覆盖并保护人的身体，具有排汗、感觉冷热和压力等很多重要的功能。而皮肤病是所有年龄段人类中最常见的一种疾病感染，具有很高的发病率，人体机能的病症往往会在皮肤组织上直接表现出来，给患者带来很多困扰。但是皮肤病种类繁多，目前已超过2000种，且很多皮肤病之间极其相似，难以辨别，这给疾病诊断带来很大的困难，极容易造成误诊。皮肤镜作为一种非侵入性的诊断技术可用于快速检查可疑病变，它通过显微技术将皮肤表面的组织结构、纹理变化和颜色差异等细节特征非常清晰地体现在皮肤镜图像上，利用皮肤镜图像可以观察到许多颜色、形态、纹理等形态学特征。通过皮肤镜采集的皮肤病图像在不降低特异性的前提下提高对各类皮肤疾患的诊断敏感性，可以帮助皮肤科医生更好地定义肿瘤边缘，测量治疗后的效果和疾病分类。皮肤病图像分割就是为了获得精准的病灶区域，为自动辅助诊断提供强有力的支持。
随着数字图像处理和计算机视觉与医学相结合，基于皮肤病图像的自动诊断技术成为当下的一个研究重点。在一方面，实际临床采集到的图像包含大量诸如毛发、血管、黑框等噪声信息；在另一方面，不同病种间图像呈现不同形状、颜色、纹理特征，这对皮肤病病灶分割造成了巨大的干扰，导致皮肤病病灶分割问题成为了一个具有实际意义、又极具挑战性的问题。
发明内容
发明目的：
为了提高了皮肤病图像质量，进而提高病灶分割的准确度，以获得更加精确的病灶信息，本发明提出了一种基于深度卷积神经网络的皮肤病图像病灶分割方法。
技术方案：
一种基于深度卷积神经网络的皮肤病图像病灶分割方法，其特征在于：该分割方法包括三个步骤，分别为数据预处理、数据扩充、构建分割模型进行训练并验证；
其中，数据预处理步骤负责对皮肤病图像进行降噪处理，将图像中有碍确定病灶位置的人工、天然噪声移除；
数据扩充步骤负责将经过降噪处理的图像进行形变、旋转的方式扩充数据集；
构建分割模型进行训练并验证步骤，该步骤分为三部分，第一部分用一个由空洞卷积构成的模块对图像进行第一次特征提取；第二部分是一个空洞空间金字塔池化模块，对所提取到的特征再进行编码获得更多细节特征；第三部分是解码模块，对编码所得的高细节特征解码的同时融合第一次得到的特征获得预测图。
在数据预处理步骤中，对图像的人工、天然噪声进行处理，具体步骤如下：
(1)将原始RGB图像转换到HSL空间的亮度分量L，公式如下：
其中，R、G、B分别为RGB色彩空间的三个分量；
(2)将L＜20的像素点标记为黑点，然后统计黑点所占每行/列的比例p；
(3)如果每行/列的p>0.7，则将该行/列标记为黑框行/列；
(4)得到整幅图像的黑框行、列位置信息，并在原始RGB图像中删除所有黑框行/列，以移除人工操作导致的黑框噪声；
(5)对(4)得到的结果先从RGB空间转换到LUV空间，再对L、U、V三个分量分别进行形态学闭操作得到图像MR，公式如下：
MR＝(L',U',V') (2)
其中L'、U'、V'分别为LUV空间三个分量的处理结果，
是形态学膨胀操作，！是腐蚀操作，B为结构元素；
(6)然后对闭操作前后的图像做差，进行波谷检测得到毛发图像CR；
(7)对CR图像进行区域连通处理，并统计连通区域N，N即为毛发数量；
(8)若N>T(T为用来区分粗密毛发模式、稀疏毛发模式的阈值)，则转到粗密毛发处理模式，采用偏微分运算修复毛发部位，设初始图像为u0(i,j)，利用公式(3)对图像进行修复：
其中，公式中的函数c(x)是扩散系数函数，常用形式为
式中x是变量，k是系数，(i,j)表示像素点坐标，D表示像素(i,j)的邻域，n表示邻域点个数，t表示迭代次数；
(9)否则转到稀疏毛发处理模式，采用双线性插值修复毛发信息，以移除天然毛发噪声。
在数据扩充步骤中，通过形变对数据量进行扩充；数据扩充对预处理后的图像及对应的二进制标签图像进行翻转、旋转、改变对比度操作，以增强数量；然后对得到的数据集进行归一化处理，得到归一化后的数据集。
在构建分割模型进行训练并验证步骤中，构建分割模型的三个模块，具体步骤如下：
(1)深度空洞卷积特征提取模块由输入、中间处理、输出三部分组成；输入构建：一个卷积核3×3，步长为2的卷积层、卷积核3×3，步长为1的卷积层、两个卷积核为3×3的深度可分离卷积层、一个步长为2，卷积核为3×3的深度可分离卷积、两个卷积核为3×3的深度可分离卷积、一个步长为2，卷积核为3×3的深度可分离卷积、两个卷积核为3×3的深度可分离卷积、一个步长为2，卷积核为3×3的深度可分离卷积；中间处理由16个三个卷积核为3×3的深度可分离卷积构成；输出构建：两个卷积核为3×3的深度可分离卷积、一个步长为2，卷积核为3×3的深度可分离卷积、三个卷积核为3×3的深度可分离卷积；
(2)空洞空间金字塔池化模块包括1个卷积核大小为1×1的卷积层和3个卷积核大小为3×3、空洞卷积率分别为6，12，18的空洞卷积层以及一个平均池化上采样层、一个卷积核1×1的卷积层；
(3)解码部分由一个卷积核为1×1的卷积层、一个特征融合层、一个卷积核为3×3的卷积层以及一个双线性插值的上采样层构成。
所述的数据集，将其按照8：1：1的比例分为训练集、验证集和测试集；其中训练集用来训练分割模型，验证集用来验证模型，测试集用来测试。
使用深度空洞卷积模块和空洞空间金字塔模块提取特征，对特征进行编码，然后使用解码模块将提取到的特征解码降维生成预测图，具体步骤如下：
(1)将训练集输入到分割模型，图像进入深度空洞卷积特征提取模块，经过输入、中间处理、输出得到一个低级特征图和一个高级特征图；
(2)将(1)得到的高级特征图输入到空洞空间金字塔池化层，经过一个卷积、三个空洞卷积、一个池化层的并行处理得到5个输出，然后将5个输出经过特征融合，再经1×1卷积得到更深层次的特征图；
(3)将(1)得到的低级特征图输入到解码模块，经1×1卷积调整维度，再将特征图进行上采样后与调整维度后的低级特征图融合，经过一个3×3卷积，再上采样得到预测结果；
(4)将(3)得到的预测结果使用softmax函数将值归一化到0和1；
(5)然后使用Dice损失函数将(4)得到的归一化图和标签图进行对比，Dice损失函数公式如下：
其中，X、Y分别为两个样本集。
(6)得到(5)的函数值后根据自适应矩估计算法进行反向传播更新网络中的权重参数；
(7)将验证集按照同样的方式输入到分割模型中，使用Dice损失函数得到结果。
将训练验证后的模型进行测试，将测试集输入到分割模型，得到图像的分割结果。
优点及效果：
本发明利用机器视觉和图像处理领域的相关技术，针对皮肤病图像的特点，通过针对性的皮肤病图像预处理提高了图质量、保证了尽可能多的有效病灶信息；通过图像变换扩充数据集，确保网络训练的泛化能力，以及模型的有效性；通过采用大量的空洞卷积和空间金字塔结构获取了丰富的细节信息，能够更好的采集边缘信息，得到更加准确的病灶分割结果。
附图说明
图1为本发明的总体流程图；
图2为皮肤病图像预处理流程图；
图3为分割网路模型图；
图4为预处理效果图；其中，4(A.1)为原始带黑框图像；4(A.2)移除黑框图像；4(B.1)原始带毛发图像；4(B.2)移除毛发图像；4(C.1)原始带毛发图像；4(C.2)移除毛发图像。
图5为分割效果图。
具体实施方式：
下面结合附图对本发明进行具体说明：
本发明提供一种基于深度卷积神经网络的皮肤病图像病灶分割方法，能够消除图像中具有较高影响的噪声，通过深度卷积神经网络提取到丰富的细节特征，极大的提高病灶分割的准确度。该方法包括三个步骤，这三个步骤就是构建三个模块，分别为数据预处理、数据扩充、构建分割模型进行训练并验证，数据预处理模块负责对皮肤病图像(包括临床图像和皮肤镜图像)进行降噪处理，将图像中有碍确定病灶位置的人工、天然噪声移除；数据扩充模块负责将经过降噪处理的图像进行形变、旋转的方式扩充数据集；构建分割模型，分割模型分为三部分，第一部分用一个由空洞卷积构成的模块对图像进行第一次特征提取，第二部分是一个空洞空间金字塔池化模块，对所提取到的特征再进行编码获得更多细节特征，第三部分是解码模块，对编码所得的高细节特征解码的同时融合第一次得到的特征获得预测图，具体流程见图1的发明的总体流程图。
所述的基于深度卷积神经网络的皮肤病图像病灶分割方法的皮肤病图像的数据预处理，其主要功能是对图像的人工、天然噪声进行处理，具体步骤如下：
(1)将原始RGB图像转换为HSL空间的亮度分量L，公式如(1)：
其中，R、G、B分别为RGB色彩空间的三个分量。
(2)将L＜20的像素点标记为黑点，然后统计黑点所占每行(列)的比例p
(3)如果每行(列)的p>0.7，则将该行(列)标记为黑框行(列)
(4)得到整幅图像的黑框行、列位置信息，并在原始RGB图像中删除所有黑框行(列)，以移除人工操作导致的黑框噪声。
(5)对(4)得到的结果先从RGB空间转换到LUV空间，再对L、U、V三个分量分别进行形态学闭操作得到图像MR，公式如下：
其中L'、U'、V'分别为LUV空间三个分量的处理结果，
是形态学膨胀操作，！是腐蚀操作，B为结构元素。
(6)然后对闭操作前后的图像做差，进行波谷检测得到毛发图像CR
(7)对CR图像进行区域连通处理，并统计连通区域N即为毛发数量
(8)若N>T，则转到粗密毛发处理模式，采用偏微分运算修复毛发部位。对毛发的修复在R、G、B三个域上进行迭代修复，设初始图像为u0(i,j)，利用公式(3)对图像进行修复：
其中，公式中的函数c(x)是扩散系数函数，常用形式为
式中x是变量、k是系数，(i,j)表示像素点坐标，D表示像素(i,j)的邻域，n表示邻域点个数，t表示迭代次数；(9)否则转到稀疏毛发处理模式，采用双线性插值修复毛发信息，以移除天然毛发噪声；具体的流程见图2的图像预处理流程图；图4为预处理效果图，其中，4(A.1)为原始带黑框图像；4(A.2)移除黑框图像；4(B.1)原始带毛发图像；4(B.2)移除毛发图像；4(C.1)原始带毛发图像；4(C.2)移除毛发图像。
所述的基于深度卷积神经网络的皮肤病图像病灶分割方法的数据扩充通过形变对数据量进行扩充。数据扩充对预处理后的图像及对应的二进制标签图像进行翻转、旋转、改变对比度操作，以增强数量；然后对得到的数据集进行归一化处理，得到归一化后的数据集。
所述的基于深度卷积神经网络的皮肤病图像病灶分割方法的构建分割模型由三个模块组成，具体步骤如下：
(1)深度空洞卷积特征提取模块由entry、middle、exit三部分组成。Entry构建：一个卷积核3×3，步长为2的卷积层、卷积核3×3，步长为1的卷积层、两个卷积核为3×3的深度可分离卷积层、一个步长为2，卷积核为3×3的深度可分离卷积、两个卷积核为3×3的深度可分离卷积、一个步长为2，卷积核为3×3的深度可分离卷积、两个卷积核为3×3的深度可分离卷积、一个步长为2，卷积核为3×3的深度可分离卷积。Middle由16个三个卷积核为3×3的深度可分离卷积构成。Exit包括两个卷积核为3×3的深度可分离卷积、一个步长为2，卷积核为3×3的深度可分离卷积、三个卷积核为3×3的深度可分离卷积。
(2)空洞空间金字塔池化模块包括1个卷积核大小为1×1的卷积层和3个卷积核大小为3×3、空洞卷积率分别为6，12，18的空洞卷积层以及一个平均池化上采样层、一个卷积核1×1的卷积层。
(3)解码部分由一个卷积核为1×1的卷积层、一个特征融合层、一个卷积核为3×3的卷积层以及一个双线性插值的上采样层构成。
所述的数据集划分，将经过数据扩充处理后的数据集按照8：1：1的比例分为训练集、验证集和测试集。训练集用来训练分割模型，验证集用来验证模型，测试集用来测试；图3为分割网路模型图。
所述的分割模型的模型训练与验证，其特征在于使用深度空洞卷积模块和空洞空间金字塔模块提取特征，对特征进行编码，然后使用解码模块将提取到的特征解码降维生成预测图，具体如下：
(1)将训练集输入到分割模型，图像进入深度空洞卷积特征提取模块，经过entry、middle、exit得到一个低级特征图low_level feature和一个高级特征图high_levelfeature。
(2)将(1)得到的high_level feature输入到空洞空间金字塔池化层，经过5个不同的操作得到5个输出，然后将5个输出经过特征融合处理，再经1×1卷积得到更深层次的特征图feature。
(3)将(1)得到的low_level feature输入到解码模块，经1×1卷积调整维度，再将feature进行上采样后与调整维度后的low_level feature融合，经过一个3×3卷积，再上采样得到预测结果President。
(4)将(3)得到的President使用softmax函数将值归一化到0和1。
(5)然后使用Dice损失函数将(4)得到的归一化图和标签图进行对比。使用Dice损失函数为Dice系数即骰子系数，用来计算两个样本的相似度；Dice-coefficient lossfunction即骰子系数损失函数，后简记为Dice损失函数。
(6)得到(5)的函数值后根据Adam算法进行反向传播更新网络中的权重参数；自适应矩估计算法即adaptmoment estimation，简记为Adam算法。
(7)将验证集按照同样的方式输入到分割模型中，使用Dice损失函数得到结果。
上述训练验证后的模型测试，是将测试集输入到分割模型，得到图像的分割结果，图5为分割效果图。
Claims (7)
1.一种基于深度卷积神经网络的皮肤病图像病灶分割方法，其特征在于：该分割方法包括三个步骤，分别为数据预处理、数据扩充、构建分割模型进行训练并验证；
其中，数据预处理步骤负责对皮肤病图像进行降噪处理，将图像中有碍确定病灶位置的人工、天然噪声移除；
数据扩充步骤负责将经过降噪处理的图像进行形变、旋转的方式扩充数据集；
构建分割模型进行训练并验证步骤，该步骤分为三部分，第一部分用一个由空洞卷积构成的模块对图像进行第一次特征提取；第二部分是一个空洞空间金字塔池化模块，对所提取到的特征再进行编码获得更多细节特征；第三部分是解码模块，对编码所得的高细节特征解码的同时融合第一次得到的特征获得预测图。
2.根据权利要求1所述的基于深度卷积神经网络的皮肤病图像病灶分割方法，其特征在于：在数据预处理步骤中，对图像的人工、天然噪声进行处理，
具体步骤如下：
(1)将原始RGB图像转换到HSL空间的亮度分量L，公式如下：
其中，R、G、B分别为RGB色彩空间的三个分量；
(2)将L＜20的像素点标记为黑点，然后统计黑点所占每行/列的比例p；
(3)如果每行/列的p>0.7，则将该行/列标记为黑框行/列；
(4)得到整幅图像的黑框行、列位置信息，并在原始RGB图像中删除所有黑框行/列，以移除人工操作导致的黑框噪声；
(5)对(4)得到的结果先从RGB空间转换到LUV空间，再对L、U、V三个分量分别进行形态学闭操作得到图像MR，公式如下：
MR＝(L',U',V') (2)
其中L'、U'、V'分别为LUV空间三个分量的处理结果，
是形态学膨胀操作，！是腐蚀操作，B为结构元素；
(6)然后对闭操作前后的图像做差，进行波谷检测得到毛发图像CR；
(7)对CR图像进行区域连通处理，并统计连通区域N，N即为毛发数量；
(8)若N>T(T为用来区分粗密毛发模式、稀疏毛发模式的阈值)，则转到粗密毛发处理模式，采用偏微分运算修复毛发部位，设初始图像为u0(i,j)，利用公式(3)对图像进行修复：
其中，公式中的函数c(x)是扩散系数函数，常用形式为
式中x是变量，k是系数，(i,j)表示像素点坐标，D表示像素(i,j)的邻域，n表示邻域点个数，t表示迭代次数；
(9)否则转到稀疏毛发处理模式，采用双线性插值修复毛发信息，以移除天然毛发噪声。
3.根据权利要求1所述的基于深度卷积神经网络的皮肤病图像病灶分割方法，其特征在于：在数据扩充步骤中，通过形变对数据量进行扩充；数据扩充对预处理后的图像及对应的二进制标签图像进行翻转、旋转、改变对比度操作，以增强数量；然后对得到的数据集进行归一化处理，得到归一化后的数据集。
4.根据权利要求1所述的基于深度卷积神经网络的皮肤病图像病灶分割方法，其特征在于：在构建分割模型进行训练并验证步骤中，构建分割模型的三个模块，具体步骤如下：
(1)深度空洞卷积特征提取模块由输入、中间处理、输出三部分组成；输入构建：一个卷积核3×3，步长为2的卷积层、卷积核3×3，步长为1的卷积层、两个卷积核为3×3的深度可分离卷积层、一个步长为2，卷积核为3×3的深度可分离卷积、两个卷积核为3×3的深度可分离卷积、一个步长为2，卷积核为3×3的深度可分离卷积、两个卷积核为3×3的深度可分离卷积、一个步长为2，卷积核为3×3的深度可分离卷积；中间处理由16个三个卷积核为3×3的深度可分离卷积构成；输出构建：两个卷积核为3×3的深度可分离卷积、一个步长为2，卷积核为3×3的深度可分离卷积、三个卷积核为3×3的深度可分离卷积；
(2)空洞空间金字塔池化模块包括1个卷积核大小为1×1的卷积层和3个卷积核大小为3×3、空洞卷积率分别为6，12，18的空洞卷积层以及一个平均池化上采样层、一个卷积核1×1的卷积层；
(3)解码部分由一个卷积核为1×1的卷积层、一个特征融合层、一个卷积核为3×3的卷积层以及一个双线性插值的上采样层构成。
5.根据权利要求3所述的基于深度卷积神经网络的皮肤病图像病灶分割方法，其特征在于：所述的数据集，将其按照8：1：1的比例分为训练集、验证集和测试集；其中训练集用来训练分割模型，验证集用来验证模型，测试集用来测试。
6.根据权利要求4所述的基于深度卷积神经网络的皮肤病图像病灶分割方法，其特征在于：使用深度空洞卷积模块和空洞空间金字塔模块提取特征，对特征进行编码，然后使用解码模块将提取到的特征解码降维生成预测图，具体步骤如下：
(1)将训练集输入到分割模型，图像进入深度空洞卷积特征提取模块，经过输入、中间处理、输出得到一个低级特征图和一个高级特征图；
(2)将(1)得到的高级特征图输入到空洞空间金字塔池化层，经过一个卷积、三个空洞卷积、一个池化层的并行处理得到5个输出，然后将5个输出经过特征融合，再经1×1卷积得到更深层次的特征图；
(3)将(1)得到的低级特征图输入到解码模块，经1×1卷积调整维度，再将特征图进行上采样后与调整维度后的低级特征图融合，经过一个3×3卷积，再上采样得到预测结果；
(4)将(3)得到的预测结果使用softmax函数将值归一化到0和1；
(5)然后使用Dice损失函数将(4)得到的归一化图和标签图进行对比，Dice损失函数公式如下：
其中，X、Y分别为两个样本集。
(6)得到(5)的函数值后根据自适应矩估计算法进行反向传播更新网络中的权重参数；
(7)将验证集按照同样的方式输入到分割模型中，使用Dice损失函数得到结果。
7.根据权利要求6所述的基于深度卷积神经网络的皮肤病图像病灶分割方法，其特征在于：将训练验证后的模型进行测试，将测试集输入到分割模型，得到图像的分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010860172.1A CN112132833B (zh) | 2020-08-25 | 2020-08-25 | 一种基于深度卷积神经网络的皮肤病图像病灶分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010860172.1A CN112132833B (zh) | 2020-08-25 | 2020-08-25 | 一种基于深度卷积神经网络的皮肤病图像病灶分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112132833A true CN112132833A (zh) | 2020-12-25 |
| CN112132833B CN112132833B (zh) | 2024-03-26 |
Family
ID=73848529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010860172.1A Active CN112132833B (zh) | 2020-08-25 | 2020-08-25 | 一种基于深度卷积神经网络的皮肤病图像病灶分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112132833B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112750530A (zh) * | 2021-01-05 | 2021-05-04 | 上海梅斯医药科技有限公司 | 一种模型的训练方法、终端设备和存储介质 |
| CN112801962A (zh) * | 2021-01-19 | 2021-05-14 | 上海大学 | 基于正样本学习的半监督工业制品瑕疵检测方法及系统 |
| CN113256704A (zh) * | 2021-03-26 | 2021-08-13 | 上海师范大学 | 一种谷粒长宽测量方法 |
| CN113554668A (zh) * | 2021-07-27 | 2021-10-26 | 深圳大学 | 一种皮肤镜图像黑色素瘤分割方法、装置及相关组件 |
| CN113781439A (zh) * | 2020-11-25 | 2021-12-10 | 北京医准智能科技有限公司 | 超声视频病灶分割方法及装置 |
| CN113902827A (zh) * | 2021-12-02 | 2022-01-07 | 北京鹰瞳科技发展股份有限公司 | 一种针对皮肤病的愈后效果预测系统、方法以及电子设备 |
| CN113936006A (zh) * | 2021-10-29 | 2022-01-14 | 天津大学 | 一种处理高噪低质医学图像的分割方法及装置 |
| CN114581410A (zh) * | 2022-03-04 | 2022-06-03 | 深圳市澈影医生集团有限公司 | 一种神经网络的训练系统及方法 |
| CN114693698A (zh) * | 2020-12-30 | 2022-07-01 | 四川大学华西医院 | 一种基于神经网络的计算机辅助肺气道分割方法 |
| CN114903590A (zh) * | 2022-04-13 | 2022-08-16 | 中南大学湘雅医院 | 一种莫氏显微手术标记信息处理方法、系统及存储介质 |
| CN115601356A (zh) * | 2022-11-16 | 2023-01-13 | 山东大学（Cn） | 基于稀疏卷积自编码的多发性硬化病灶识别方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108257135A (zh) * | 2018-02-01 | 2018-07-06 | 浙江德尚韵兴图像科技有限公司 | 基于深度学习方法解读医学图像特征的辅助诊断系统 |
| CN109886986A (zh) * | 2019-01-23 | 2019-06-14 | 北京航空航天大学 | 一种基于多分支卷积神经网络的皮肤镜图像分割方法 |
| CN110599502A (zh) * | 2019-09-06 | 2019-12-20 | 江南大学 | 一种基于深度学习的皮肤病变分割方法 |
-
2020
- 2020-08-25 CN CN202010860172.1A patent/CN112132833B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108257135A (zh) * | 2018-02-01 | 2018-07-06 | 浙江德尚韵兴图像科技有限公司 | 基于深度学习方法解读医学图像特征的辅助诊断系统 |
| CN109886986A (zh) * | 2019-01-23 | 2019-06-14 | 北京航空航天大学 | 一种基于多分支卷积神经网络的皮肤镜图像分割方法 |
| CN110599502A (zh) * | 2019-09-06 | 2019-12-20 | 江南大学 | 一种基于深度学习的皮肤病变分割方法 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781439A (zh) * | 2020-11-25 | 2021-12-10 | 北京医准智能科技有限公司 | 超声视频病灶分割方法及装置 |
| CN114693698B (zh) * | 2020-12-30 | 2023-06-20 | 四川大学华西医院 | 一种基于神经网络的计算机辅助肺气道分割方法 |
| CN114693698A (zh) * | 2020-12-30 | 2022-07-01 | 四川大学华西医院 | 一种基于神经网络的计算机辅助肺气道分割方法 |
| CN112750530A (zh) * | 2021-01-05 | 2021-05-04 | 上海梅斯医药科技有限公司 | 一种模型的训练方法、终端设备和存储介质 |
| CN112801962A (zh) * | 2021-01-19 | 2021-05-14 | 上海大学 | 基于正样本学习的半监督工业制品瑕疵检测方法及系统 |
| CN113256704A (zh) * | 2021-03-26 | 2021-08-13 | 上海师范大学 | 一种谷粒长宽测量方法 |
| CN113256704B (zh) * | 2021-03-26 | 2024-04-05 | 上海师范大学 | 一种谷粒长宽测量方法 |
| CN113554668A (zh) * | 2021-07-27 | 2021-10-26 | 深圳大学 | 一种皮肤镜图像黑色素瘤分割方法、装置及相关组件 |
| CN113936006A (zh) * | 2021-10-29 | 2022-01-14 | 天津大学 | 一种处理高噪低质医学图像的分割方法及装置 |
| CN113902827A (zh) * | 2021-12-02 | 2022-01-07 | 北京鹰瞳科技发展股份有限公司 | 一种针对皮肤病的愈后效果预测系统、方法以及电子设备 |
| CN113902827B (zh) * | 2021-12-02 | 2022-03-22 | 北京鹰瞳科技发展股份有限公司 | 一种针对皮肤病的愈后效果预测系统、方法以及电子设备 |
| CN114581410A (zh) * | 2022-03-04 | 2022-06-03 | 深圳市澈影医生集团有限公司 | 一种神经网络的训练系统及方法 |
| CN114581410B (zh) * | 2022-03-04 | 2023-03-21 | 深圳市澈影医生集团有限公司 | 一种神经网络的训练系统及方法 |
| CN114903590B (zh) * | 2022-04-13 | 2023-10-27 | 中南大学湘雅医院 | 一种莫氏显微手术标记信息处理方法、系统及存储介质 |
| CN114903590A (zh) * | 2022-04-13 | 2022-08-16 | 中南大学湘雅医院 | 一种莫氏显微手术标记信息处理方法、系统及存储介质 |
| CN115601356B (zh) * | 2022-11-16 | 2023-03-31 | 山东大学 | 基于稀疏卷积自编码的多发性硬化病灶识别方法及系统 |
| CN115601356A (zh) * | 2022-11-16 | 2023-01-13 | 山东大学（Cn） | 基于稀疏卷积自编码的多发性硬化病灶识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112132833B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112132833B (zh) | 一种基于深度卷积神经网络的皮肤病图像病灶分割方法 | |
| Xiuqin et al. | A fundus retinal vessels segmentation scheme based on the improved deep learning U-Net model | |
| CN109886986B (zh) | 一种基于多分支卷积神经网络的皮肤镜图像分割方法 | |
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN112927255B (zh) | 一种基于上下文注意力策略的三维肝脏影像语义分割方法 | |
| CN110930416B (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
| CN110188792A (zh) | 前列腺mri三维图像的图像特征获取方法 | |
| CN110120048B (zh) | 结合改进U-Net和CMF的三维脑肿瘤图像分割方法 | |
| CN113674281A (zh) | 一种基于深度形状学习的肝脏ct自动分割方法 | |
| CN117218453B (zh) | 一种不完备多模态医学影像学习方法 | |
| CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
| CN117409030B (zh) | 基于动态管状卷积的octa图像血管分割方法及其系统 | |
| CN113344933A (zh) | 一种基于多层次特征融合网络的腺体细胞分割方法 | |
| CN115511882A (zh) | 一种基于病变权重特征图的黑色素瘤识别方法 | |
| CN105023023A (zh) | 一种用于计算机辅助诊断的乳腺b超图像特征自学习提取方法 | |
| CN112614093A (zh) | 基于多尺度空间注意力网络的乳腺病理图像分类方法 | |
| CN116740080A (zh) | 一种基于改进U-Net模型的眼底图像血管分割方法 | |
| CN117876689A (zh) | 一种基于多注意力和空洞卷积的脑卒中图像分割方法 | |
| CN117635625A (zh) | 基于自动数据增强策略和多注意力辅助UNet的胰腺肿瘤分割方法 | |
| CN117746042A (zh) | 一种基于APA-UNet的肝脏肿瘤CT图像分割方法 | |
| CN115937083A (zh) | 一种融合先验信息的前列腺磁共振图像区域分割方法 | |
| CN115147303A (zh) | 一种基于掩膜引导的二维超声医学图像修复方法 | |
| CN114862696A (zh) | 一种基于轮廓和语义引导的人脸图像修复方法 | |
| CN114565626A (zh) | 基于PSPNet改进的肺部CT图像分割算法 | |
| CN116309558B (zh) | 一种食管黏膜IPCLs血管区域分割方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |