CN114445418A - 基于多任务学习的卷积网络的皮肤镜图像分割方法与系统 - Google Patents
基于多任务学习的卷积网络的皮肤镜图像分割方法与系统 Download PDFInfo
- Publication number
- CN114445418A CN114445418A CN202111601362.2A CN202111601362A CN114445418A CN 114445418 A CN114445418 A CN 114445418A CN 202111601362 A CN202111601362 A CN 202111601362A CN 114445418 A CN114445418 A CN 114445418A
- Authority
- CN
- China
- Prior art keywords
- network
- segmentation
- reconstruction
- training
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000003709 image segmentation Methods 0.000 title claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 85
- 238000012549 training Methods 0.000 claims abstract description 81
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000012795 verification Methods 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 230000003902 lesion Effects 0.000 claims description 16
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000036074 healthy skin Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003806 hair structure Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 206010040882 skin lesion Diseases 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多任务学习的卷积网络的皮肤镜图像分割方法与系统，包括：1)对收集到的皮肤镜图像进行预处理操作；2)对皮肤镜图像进行数据划分，并对其中的训练集进行数据扩充；3)构建基于多任务学习的卷积网络；4)训练基于多任务学习的卷积网络；5)生成分割结果图。本发明基于多任务学习的卷积网络进行皮肤镜图像的病灶区域分割，利用多任务学习的机制在网络学习病灶区域分割的过程中额外引入边缘特征信息，强制网络关注边缘结构特征。本发明针对分割蒙版边界模糊的挑战性难题提出了有效的解决方案，显著提高了皮肤镜图像分割的准确率。
Description
技术领域
本发明涉及图像分割的技术领域，尤其是指一种基于多任务学习的卷积网络的皮肤镜图像分割方法与系统。
背景技术
传统的图像分割方法主要是根据图像数据集的灰度、纹理、色彩等特征设定不同的阈值，将整幅图像按像素进行划分得到不同的区域，使同一区域的像素具有一定的相似性，并且与其它区域具有明显的差异性。传统的图像分割方法常见于早期的皮肤镜图像分割的研究中，这类方法可以进一步细分为基于阈值的方法，基于区域的方法，基于边缘的方法。传统的图像处理方法需要高质量的图像来保证图像质量，这在实际应用中是不可能的。此外，大多数方法都是基于繁琐的先验知识设计的，这可能会限制其在大规模样本上的应用。
随着深度学习的迅速发展，基于深度学习的图像分割技术成为了研究热点。相比于传统的图像分割技术而言，基于深度学习的图像分割技术通过捕捉图像中的高级语义信息实现自动化的分割过程，而无需人工设定相应的指标以提取图像中的特征，对大型数据集的泛化能力大幅度提升。目前，这类分割模型在皮肤镜图像分割中已经表现出了巨大的潜力，但在精度上仍然与实际应用所需的要求具有一定的距离，需要进一步的提高，尤其是对具有挑战性的皮肤镜图像中的病变区域边界的准确地分割上表现较差，表明在构建分割模型时，保留完整的病灶边缘依然是相当有挑战性的难题。
发明内容
本发明的第一目的在于克服现有技术的缺点与不足，提供一种基于多任务学习的卷积网络的皮肤镜图像分割方法，可以有效提高皮肤病灶区域分割的效率与边缘分割的准确性。本发明能自动分割皮肤镜图像中的病灶区域，利用多任务学习将病灶边缘分割作为辅助任务，通过信息交流模块在病灶区域分割的主任务的训练中引入丰富的边缘信息，以弥补主任务在训练中丢失的边缘信息，加强了模型在边缘结构上的分割能力。
本发明的第二目的在于提供一种基于多任务学习的卷积网络的皮肤镜图像分割系统。
本发明的第一目的通过下述技术方案实现：基于多任务学习的卷积网络的皮肤镜图像分割方法，包括以下步骤：
1)对收集到的原始皮肤镜图像和对应的分割蒙版做预处理操作；
2)将预处理后的皮肤镜图像和分割蒙版按设定的比例划分为训练集、验证集和测试集，并对训练集做数据扩充处理；
3)构建基于多任务学习的卷积网络，用于皮肤镜图像的分割，该卷积网络由特征提取器、辅助任务的重建分支和主任务的重建分支组成，该卷积网络采用隐层参数硬共享的多任务学习模式，将皮肤病灶的边缘分割作为辅助任务，皮肤病灶的区域分割作为主任务，两个任务共享特征提取器，特征提取器后接各任务对应的重建分支，重建分支之间通过设计的信息交流模块促进两重建分支的特征交互；
4)训练基于多任务学习的卷积网络，将数据扩充处理后的训练集分批送入基于多任务学习的卷积网络，再将两个重建分支输出的特征图经过Sigmoid函数分别得到病灶边缘分布概率图和病灶区域分布概率图，再通过二元交叉熵损失与人工标注的对应分割蒙版分别计算两重建分支的损失，按照主任务与辅助任务以设定的权重相加两部分损失得到总损失，最后基于总损失和自适应矩估计优化器调整网络参数，每进行特定次数的网络训练后用验证集对网络的训练效果进行验证，迭代进行至验证集的总损失达到最小的状态；
5)将测试集送入经过步骤4)训练完成后的网络中，得到网络预测的病灶区域概率图，设定阈值，将概率图中大于阈值的值改为255，小于或等于阈值的值改为0，得到皮肤镜图像对应的二值分割结果图。
进一步，在步骤1)中，收集的皮肤镜图像来源于国际皮肤公开挑战赛数据集ISIC2017和ISIC 2018，以及公开的皮肤镜图像数据集PH2，数据集包括原始皮肤镜图像和由专业的皮肤科医生手动标注的对应分割蒙版；预处理操作的流程包括：先利用双线性性插值缩放皮肤镜图像和分割蒙版，统一尺寸至分辨率为128×128；再将皮肤镜图像的像素值进行归一化，缩放到[0,1]区间；最后应用图像的形态学处理，通过闭合操作消除皮肤镜图像中可能存在的毛发噪声。
进一步，在步骤2)中，将预处理后的皮肤镜图像按7∶1∶2的比例划分为训练集、验证集和测试集，然后对训练集中的皮肤镜图像和分割蒙版做翻转和旋转操作来进行数据扩充，其中翻转包括水平翻转、垂直翻转和水平垂直翻转，旋转则采用-30°、-15°、15°和30°的取值。
进一步，在步骤3)中，特征提取器共四层，第一层包括两次连续的3×3卷积操作，后三层包括两次连续的3×3卷积操作和通过最大池化实现的下采样操作；辅助任务和主任务的重建分支也是四层结构，前三层包括上采样操作、3×3卷积操作和1×1卷积操作，且在3×3卷积操作后通过跳过连接与特征提取器中相同分辨率的特征图以通道为轴的串联形成新的特征图，然后通过1×1卷积操作降低特征图的通道维度，最后一层由3×3卷积操作、1×1卷积操作和Sigmoid激活函数层组成；另外，两个重建分支之间设计了信息交流模块，分别基于重建分支中的特征图获得通道注意力权重图，然后互相加权对方的特征图，再将加权后的特征图通过以通道为轴的串联的形式与原分支中的特征图融合。
进一步，在步骤4)中，主任务的重建分支和辅助任务的重建分支输出的特征图，分别经过Sigmoid函数得到病灶边缘分布概率图和病灶区域分布概率图，与各自对应的蒙版经过二元交叉熵计算得到损失，按照主任务：辅助任务为0.8∶0.2的权重相加两部分损失得到总损失，再通过自适应矩估计优化器和总损失反向传播优化网络参数；其中，在网络训练过程中采用了动态学习率，每进行10次完整的训练迭代后用验证集对网络的训练效果进行验证，训练的终止条件为验证集的总损失达到最小值，即连续10次验证集的总损失不再下降。
进一步，在步骤5)中，将测试集送入训练完成后的网络中，得到网络预测的病灶区域概率图，设定阈值为0.5，将概率图中大于0.5的值改为255，小于或等于0.5的值改为0，得到皮肤镜图像对应的二值分割结果图。
本发明的第二目的通过下述技术方案实现：基于多任务学习的卷积网络的皮肤镜图像分割系统，包括：
数据处理模块，用于对收集到的原始皮肤镜图像和对应的分割蒙版做预处理操作；然后将预处理后的皮肤镜图像和分割蒙版按设定的比例划分为训练集、验证集和测试集；最后对训练集做数据扩充处理；
网络构建模块，用于构建基于多任务学习的卷积网络，该卷积网络由特征提取器、辅助任务的重建分支和主任务的重建分支组成，用于皮肤镜图像的分割，该卷积网络采用隐层参数硬共享的多任务学习模式，将皮肤病灶的边缘分割作为辅助任务，皮肤病灶的区域分割作为主任务，两个任务共享特征提取器，特征提取器后接各任务对应的重建分支，重建分支之间通过设计的信息交流模块促进两重建分支的特征交互；
网络训练模块，用于训练基于多任务学习的卷积网络，将训练集分批送入基于多任务学习的卷积网络，再将两个重建分支输出的特征图经过Sigmoid函数分别得到病灶边缘分布概率图和病灶区域分布概率图，再通过二元交叉熵损失与人工标注的对应分割蒙版分别计算两重建分支的损失，按照主任务：辅助任务以设定的权重相加两部分损失得到总损失，最后基于总损失和自适应矩估计优化器调整网络参数，每进行一定次数的网络训练后用验证集对网络的训练效果进行验证，迭代进行至验证集的总损失达到最小的状态；
分割结果生成模块，用于生成分割结果图，将测试集送入训练完成后的网络中，得到网络预测的病灶区域概率图，设定阈值，将概率图中大于阈值的值改为255，小于或等于阈值的值改为0，得到皮肤镜图像对应的二值分割结果图。
进一步，在数据处理模块中，收集的皮肤镜图像来源于国际皮肤公开挑战赛数据集ISIC 2017和ISIC 2018，以及公开的皮肤镜图像数据集PH2，数据集包括原始皮肤镜图像和由专业的皮肤科医生手动标注的对应分割蒙版；预处理操作的流程包括：先利用双线性性插值缩放皮肤镜图像和分割蒙版，统一尺寸至分辨率为128×128；再将皮肤镜图像的像素值进行归一化，缩放到[0,1]区间；最后应用图像的形态学处理，通过闭合操作消除皮肤镜图像中可能存在的毛发噪声；将预处理后的皮肤镜图像按7∶1∶2的比例划分为训练集、验证集和测试集，然后对训练集中的皮肤镜图像和分割蒙版做翻转和旋转操作来进行数据扩充，其中翻转包括水平翻转、垂直翻转和水平垂直翻转，旋转则采用-30°、-15°、15°和30°的取值。
进一步，在网络构建模块中，特征提取器共四层，第一层包括两次连续的3×3卷积操作，后三层包括两次连续的3×3卷积操作和通过最大池化实现的下采样操作；辅助任务和主任务的重建分支也是四层结构，前三层包括上采样操作、3×3卷积操作和1×1卷积操作，且在3×3卷积操作后通过跳过连接与特征提取器中相同分辨率的特征图以通道为轴的串联形成新的特征图，然后通过1×1卷积操作降低特征图的通道维度，最后一层由3×3卷积操作、1×1卷积操作和Sigmoid激活函数层组成；另外，两个重建分支之间设计了信息交流模块，分别基于重建分支中的特征图获得通道注意力权重图，然后互相加权对方的特征图，再将加权后的特征图通过以通道为轴的串联的形式与原分支中的特征图融合。
进一步，在网络训练模块中，主任务的重建分支和辅助任务的重建分支输出的特征图，分别经过Sigmoid函数得到病灶边缘分布概率图和病灶区域分布概率图，与各自对应的蒙版经过二元交叉熵计算得到损失，按照主任务：辅助任务为0.8∶0.2的权重相加两部分损失得到总损失，再通过自适应矩估计优化器和总损失反向传播优化网络参数；其中，在网络训练过程中采用了动态学习率，每进行10次完整的训练迭代后用验证集对网络的训练效果进行验证，训练的终止条件为验证集的总损失达到最小值，即连续10次验证集的总损失不再下降。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明采用了隐层参数硬共享的多任务学习模式，在考虑到区域分割和边缘分割之间的关联性同时，利用边缘分割作为辅助任务提供额外的特征信息，以帮助主任务在进行区域分割时更好地区分区域的边缘像素和健康皮肤像素，此外本文设计的多任务模式还降低了基于深度学习的分割模型中常见的过拟合的风险。
2、本发明设计了信息交流模块，规范了发挥两个任务的相互作用的方式，每个任务以注意力的方式加权另一任务重建分支的中间特征图，再将加权后的特征图与原特征图按通道轴串联以完成新特征信息的融合，丰富了重建分支中的特征信息，提高了区域分割主任务在边缘结构上的分割准确性。
3、本发明相较于其它皮肤镜图像分割的方法，模型较为简单，参数量和计算量较小，分割速度快，因而再实际应用场景中具有广泛的使用空间，具有广阔的应用前景。
附图说明
图1为本发明的网络结构示意图。
图2为本发明的信息交流模块结构示意图。
图3为本发明系统的架构图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例1
本实施例在Keras深度学习框架下实现，计算机配置采用：Intel Core i5 6600K处理器，16GB内存，NVIDIA GeForce GTX1080显卡，Linux操作系统。本实施例公开了一种基于多任务学习的卷积网络的皮肤镜图像分割方法，包括以下步骤：
1)对收集到的原始皮肤镜图像做图像预处理操作，收集的训练样本来源于国际皮肤公开挑战赛数据集(ISIC 2017和ISIC 2018)和公开的皮肤镜图像数据集PH2，数据集包括原始皮肤镜图像和对应的分割蒙版。为了方便后续多任务模型的训练，构造一个内核为椭圆形尺寸为(3,3)的结构元素，再利用该结构元素计算分割蒙版的形态学梯度，抽取病灶区域的边缘，获得皮肤镜图像对应的边缘分割蒙版；所有的原始皮肤镜图像由RGB图像转换为灰度图像；利用双线性插值将皮肤镜图像和对应的分割蒙版缩放到统一的128x128的分辨率；使用min-max标准化，将像素值归一化到[0,1]区间；应用形态学图像处理中的闭合操作，去除皮肤镜图像中的可能存在的毛发结构。
2)将预处理后的皮肤镜图像按7∶1∶2的比例随机划分为训练集、验证集和测试集，然后对训练集中的皮肤镜图像和分割蒙版做翻转和旋转操作来进行数据扩充，其中翻转包括水平翻转、垂直翻转和水平垂直翻转，旋转则采用-30°、-15°、15°和30°的取值。
3)构建基于多任务学习的卷积网络，网络结构见图1所示。该网络是一个端到端的结构，可以分为特征提取器(左侧)和分割蒙版重建分支(右侧)两部分，其中分割蒙版重建分支又可分为主任务(病灶区域分割)的重建分支和辅助任务(病灶边缘分割)的重建分支。特征提取器通过不断地卷积和下采样操作提取皮肤镜图像中的特征信息；分割蒙版重建分支可以通过上采样操作在恢复特征图，利用串联、信息交流模块和卷积操作融合丰富的语义信息，最后对与原始图像分辨率相同的特征图上的每个像素值进行病灶区域/健康皮肤区域的二分类。网络的各部分具体结构如下：
特征提取器具有四层的结构，第一层包括两次连续的3×3卷积操作，后三层包括两次连续的3×3卷积操作和通过最大池化实现的下采样操作，卷积操作提取视野内的特征信息，并通过不断地卷积扩大视野，以得到不同特征值间的联系，而下采样操作降低特征图的分辨率，从而节省计算量和内存的损耗。
主任务(病灶区域分割)的重建分支和辅助任务(病灶边缘分割)的重建分支，这两个分支为相同的四层结构，前三层包括上采样操作、3×3卷积操作和1×1卷积操作，且在3×3卷积操作后通过跳过连接与特征提取器中相同分辨率的特征图以通道为轴的串联形成新的特征图，然后通过1×1卷积操作降低特征图的通道维度，最后一层由3×3卷积操作、1×1卷积操作和Sigmoid激活函数层组成。
两个分支之间设计了信息交流模块，该模块的结构见图2所示，两个分支每次3×3卷积操作后输出的特征图(H×W×C，其中H、W、C分别为高度、宽度和通道数)首先经过3×3的常规卷积，然后并行经过全局平均池化操作和全局最大池化操作得到两个1×1×C的特征图，接着通过按像素值相加的操作融合两个特征图后并将其送入层数为2的多层感知机中(第一层的神经元数量为C/2，第二层的神经元数量为C)，多层感知机输出的特征图通过Sigmoid激活函数得到的基于通道的注意力权重图，用该权重图加权另一分支的输入信息交流模块的原始特征图得到另一分支的加权特征图，加权特征图与分支中3×3卷积操作后的特征图以通道轴串联，从而在分支中引入了另一分支的额外语义信息，促进了不同任务间的信息交流，利用不同任务间的相关性促进当前任务模型的拟合和泛化能力。
4)训练基于多任务学习的卷积网络，将经过数据划分后的皮肤镜图像训练集分批送入网络，辅助任务的重建分支和辅助任务的重建分支输出的特征图，分别经过Sigmoid函数得到病灶边缘分布概率图和病灶区域分布概率图，再通过二元交叉熵损失与对应分割蒙版计算得到各自的损失，按照主任务：辅助任务为0.8：0.2的权重相加两部分损失得到总损失，再通过自适应矩估计优化器和总损失反向传播优化网络参数。网络训练过程中采用了动态学习率，每10次训练集完整迭代后使用一次验证集验证网络的分割效果，训练的终止条件为10次连续的验证集迭代的损失之和不再下降。
5)网络训练完成后以测试集作为输入，通过主任务的重建分支得到皮肤镜图像对应的病灶分布情况预测概率图，设定阈值为0.5，将病灶区域概率图中大于0.5的值改为255，小于或等于0.5的值改为0，最终得到皮肤镜图像对应的二值分割结果图。
实施例2
参见图3所示，本实施例公开了一种基于多任务学习的卷积网络的皮肤镜图像分割系统，包括以下功能模块：
数据处理模块，用于对收集到的原始皮肤镜图像和对应的分割蒙版做预处理操作；然后将预处理后的皮肤镜图像和分割蒙版按设定的比例划分为训练集、验证集和测试集；最后对训练集做数据扩充处理。
网络构建模块，用于构建基于多任务学习的卷积网络，该卷积网络由特征提取器、辅助任务的重建分支和主任务的重建分支组成，用于皮肤镜图像的分割，该网络采用隐层参数硬共享的多任务学习模式，将皮肤病灶的边缘分割作为辅助任务，皮肤病灶的区域分割作为主任务，两个任务共享特征提取器，特征提取器后接各任务对应的重建分支，分支之间通过设计的信息交流模块促进两分支的特征交互。
网络训练模块，用于训练基于多任务学习的卷积网络，将训练集分批送入基于多任务学习的卷积网络，再将两个分支输出的特征图经过Sigmoid函数分别得到病灶边缘分布概率图和病灶区域分布概率图，再通过二元交叉熵损失与人工标注的对应分割蒙版分别计算两分支的损失，按照主任务与辅助任务以设定的权重相加两部分损失得到总损失，最后基于总损失和自适应矩估计优化器调整网络参数，每进行一定次数的网络训练后用验证集对网络的训练效果进行验证，迭代进行至验证集的总损失达到最小的状态。
分割结果生成模块，用于生成分割结果图，将测试集送入训练完成后的网络中，得到网络预测的病灶区域概率图，设定阈值为0.5，将概率图中大于0.5的值改为255，小于或等于0.5的值改为0，得到皮肤镜图像对应的二值分割结果图。
优选的，在数据处理模块中，收集的皮肤镜图像来源于国际皮肤公开挑战赛数据集ISIC 2017和ISIC 2018，以及公开的皮肤镜图像数据集PH2，数据集包括原始皮肤镜图像和由专业的皮肤科医生手动标注的对应分割蒙版；预处理操作的流程包括：先利用双线性性插值缩放皮肤镜图像和分割蒙版，统一尺寸至分辨率为128×128；再将皮肤镜图像的像素值进行归一化，缩放到[0,1]区间；最后应用图像的形态学处理，通过闭合操作消除皮肤镜图像中可能存在的毛发噪声；将预处理后的皮肤镜图像按7∶1∶2的比例划分为训练集、验证集和测试集，然后对训练集中的皮肤镜图像和分割蒙版做翻转和旋转操作来进行数据扩充，其中翻转包括水平翻转、垂直翻转和水平垂直翻转，旋转则采用-30°、-15°、15°和30°的取值。
优选的，在网络构建模块中，特征提取器共四层，第一层包括两次连续的3×3卷积操作，后三层包括两次连续的3×3卷积操作和通过最大池化实现的下采样操作；辅助任务和主任务的重建分支也是四层结构，前三层包括上采样操作、3×3卷积操作和1×1卷积操作，且在3×3卷积操作后通过跳过连接与特征提取器中相同分辨率的特征图以通道为轴的串联形成新的特征图，然后通过1×1卷积操作降低特征图的通道维度，最后一层由3×3卷积操作、1×1卷积操作和Sigmoid激活函数层组成；另外两个重建分支之间设计了信息交流模块，分别基于分支中的特征图获得通道注意力权重图，然后互相加权对方的特征图，再将加权后的特征图通过以通道为轴的串联的形式与原分支中的特征图融合。
优选的，在网络训练模块中，主任务的重建分支和辅助任务的重建分支输出的特征图，分别经过Sigmoid函数得到病灶边缘分布概率图和病灶区域分布概率图，与各自对应的蒙版经过二元交叉熵计算得到损失，按照主任务：辅助任务为0.8：0.2的权重相加两部分损失得到总损失，再通过自适应矩估计优化器和总损失反向传播优化网络参数。在网络训练过程中采用了动态学习率，每进行10次完整的训练迭代后用验证集对网络的训练效果进行验证，训练的终止条件为验证集的总损失达到最小值，即连续10次验证集的总损失不再下降。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.基于多任务学习的卷积网络的皮肤镜图像分割方法，其特征在于，包括以下步骤：
1)对收集到的原始皮肤镜图像和对应的分割蒙版做预处理操作；
2)将预处理后的皮肤镜图像和分割蒙版按设定的比例划分为训练集、验证集和测试集，并对训练集做数据扩充处理；
3)构建基于多任务学习的卷积网络，用于皮肤镜图像的分割，该卷积网络由特征提取器、辅助任务的重建分支和主任务的重建分支组成，该卷积网络采用隐层参数硬共享的多任务学习模式，将皮肤病灶的边缘分割作为辅助任务，皮肤病灶的区域分割作为主任务，两个任务共享特征提取器，特征提取器后接各任务对应的重建分支，重建分支之间通过设计的信息交流模块促进两重建分支的特征交互；
4)训练基于多任务学习的卷积网络，将数据扩充处理后的训练集分批送入基于多任务学习的卷积网络，再将两个重建分支输出的特征图经过Sigmoid函数分别得到病灶边缘分布概率图和病灶区域分布概率图，再通过二元交叉熵损失与人工标注的对应分割蒙版分别计算两重建分支的损失，按照主任务与辅助任务以设定的权重相加两部分损失得到总损失，最后基于总损失和自适应矩估计优化器调整网络参数，每进行特定次数的网络训练后用验证集对网络的训练效果进行验证，迭代进行至验证集的总损失达到最小的状态；
5)将测试集送入经过步骤4)训练完成后的网络中，得到网络预测的病灶区域概率图，设定阈值，将概率图中大于阈值的值改为255，小于或等于阈值的值改为0，得到皮肤镜图像对应的二值分割结果图。
2.根据权利要求1所述的基于多任务学习的卷积网络的皮肤镜图像分割方法，其特征在于，在步骤1)中，收集的皮肤镜图像来源于国际皮肤公开挑战赛数据集ISIC 2017和ISIC2018，以及公开的皮肤镜图像数据集PH2，数据集包括原始皮肤镜图像和由专业的皮肤科医生手动标注的对应分割蒙版；预处理操作的流程包括：先利用双线性性插值缩放皮肤镜图像和分割蒙版，统一尺寸至分辨率为128×128；再将皮肤镜图像的像素值进行归一化，缩放到[0,1]区间；最后应用图像的形态学处理，通过闭合操作消除皮肤镜图像中可能存在的毛发噪声。
3.根据权利要求1所述的基于多任务学习的卷积网络的皮肤镜图像分割方法，其特征在于，在步骤2)中，将预处理后的皮肤镜图像按7∶1∶2的比例划分为训练集、验证集和测试集，然后对训练集中的皮肤镜图像和分割蒙版做翻转和旋转操作来进行数据扩充，其中翻转包括水平翻转、垂直翻转和水平垂直翻转，旋转则采用-30°、-15°、15°和30°的取值。
4.根据权利要求1所述的基于多任务学习的卷积网络的皮肤镜图像分割方法，其特征在于，在步骤3)中，特征提取器共四层，第一层包括两次连续的3×3卷积操作，后三层包括两次连续的3×3卷积操作和通过最大池化实现的下采样操作；辅助任务和主任务的重建分支也是四层结构，前三层包括上采样操作、3×3卷积操作和1×1卷积操作，且在3×3卷积操作后通过跳过连接与特征提取器中相同分辨率的特征图以通道为轴的串联形成新的特征图，然后通过1×1卷积操作降低特征图的通道维度，最后一层由3×3卷积操作、1×1卷积操作和Sigmoid激活函数层组成；另外，两个重建分支之间设计了信息交流模块，分别基于重建分支中的特征图获得通道注意力权重图，然后互相加权对方的特征图，再将加权后的特征图通过以通道为轴的串联的形式与原分支中的特征图融合。
5.根据权利要求1所述的基于多任务学习的卷积网络的皮肤镜图像分割方法，其特征在于，在步骤4)中，主任务的重建分支和辅助任务的重建分支输出的特征图，分别经过Sigmoid函数得到病灶边缘分布概率图和病灶区域分布概率图，与各自对应的蒙版经过二元交叉熵计算得到损失，按照主任务：辅助任务为0.8∶0.2的权重相加两部分损失得到总损失，再通过自适应矩估计优化器和总损失反向传播优化网络参数；其中，在网络训练过程中采用了动态学习率，每进行10次完整的训练迭代后用验证集对网络的训练效果进行验证，训练的终止条件为验证集的总损失达到最小值，即连续10次验证集的总损失不再下降。
6.根据权利要求1所述的基于多任务学习的卷积网络的皮肤镜图像分割方法，其特征在于，在步骤5)中，将测试集送入训练完成后的网络中，得到网络预测的病灶区域概率图，设定阈值为0.5，将概率图中大于0.5的值改为255，小于或等于0.5的值改为0，得到皮肤镜图像对应的二值分割结果图。
7.基于多任务学习的卷积网络的皮肤镜图像分割系统，其特征在于，包括：
数据处理模块，用于对收集到的原始皮肤镜图像和对应的分割蒙版做预处理操作；然后将预处理后的皮肤镜图像和分割蒙版按设定的比例划分为训练集、验证集和测试集；最后对训练集做数据扩充处理；
网络构建模块，用于构建基于多任务学习的卷积网络，该卷积网络由特征提取器、辅助任务的重建分支和主任务的重建分支组成，用于皮肤镜图像的分割，该卷积网络采用隐层参数硬共享的多任务学习模式，将皮肤病灶的边缘分割作为辅助任务，皮肤病灶的区域分割作为主任务，两个任务共享特征提取器，特征提取器后接各任务对应的重建分支，重建分支之间通过设计的信息交流模块促进两重建分支的特征交互；
网络训练模块，用于训练基于多任务学习的卷积网络，将训练集分批送入基于多任务学习的卷积网络，再将两个重建分支输出的特征图经过Sigmoid函数分别得到病灶边缘分布概率图和病灶区域分布概率图，再通过二元交叉熵损失与人工标注的对应分割蒙版分别计算两重建分支的损失，按照主任务：辅助任务以设定的权重相加两部分损失得到总损失，最后基于总损失和自适应矩估计优化器调整网络参数，每进行一定次数的网络训练后用验证集对网络的训练效果进行验证，迭代进行至验证集的总损失达到最小的状态；
分割结果生成模块，用于生成分割结果图，将测试集送入训练完成后的网络中，得到网络预测的病灶区域概率图，设定阈值，将概率图中大于阈值的值改为255，小于或等于阈值的值改为0，得到皮肤镜图像对应的二值分割结果图。
8.根据权利要求7所述的基于多任务学习的卷积网络的皮肤镜图像分割系统，其特征在于，在数据处理模块中，收集的皮肤镜图像来源于国际皮肤公开挑战赛数据集ISIC 2017和ISIC 2018，以及公开的皮肤镜图像数据集PH2，数据集包括原始皮肤镜图像和由专业的皮肤科医生手动标注的对应分割蒙版；预处理操作的流程包括：先利用双线性性插值缩放皮肤镜图像和分割蒙版，统一尺寸至分辨率为128×128；再将皮肤镜图像的像素值进行归一化，缩放到[0,1]区间；最后应用图像的形态学处理，通过闭合操作消除皮肤镜图像中可能存在的毛发噪声；将预处理后的皮肤镜图像按7∶1∶2的比例划分为训练集、验证集和测试集，然后对训练集中的皮肤镜图像和分割蒙版做翻转和旋转操作来进行数据扩充，其中翻转包括水平翻转、垂直翻转和水平垂直翻转，旋转则采用-30°、-15°、15°和30°的取值。
9.根据权利要求7所述的基于多任务学习的卷积网络的皮肤镜图像分割系统，其特征在于，在网络构建模块中，特征提取器共四层，第一层包括两次连续的3×3卷积操作，后三层包括两次连续的3×3卷积操作和通过最大池化实现的下采样操作；辅助任务和主任务的重建分支也是四层结构，前三层包括上采样操作、3×3卷积操作和1×1卷积操作，且在3×3卷积操作后通过跳过连接与特征提取器中相同分辨率的特征图以通道为轴的串联形成新的特征图，然后通过1×1卷积操作降低特征图的通道维度，最后一层由3×3卷积操作、1×1卷积操作和Sigmoid激活函数层组成；另外，两个重建分支之间设计了信息交流模块，分别基于重建分支中的特征图获得通道注意力权重图，然后互相加权对方的特征图，再将加权后的特征图通过以通道为轴的串联的形式与原分支中的特征图融合。
10.根据权利要求7所述的基于多任务学习的卷积网络的皮肤镜图像分割系统，其特征在于，在网络训练模块中，主任务的重建分支和辅助任务的重建分支输出的特征图，分别经过Sigmoid函数得到病灶边缘分布概率图和病灶区域分布概率图，与各自对应的蒙版经过二元交叉熵计算得到损失，按照主任务：辅助任务为0.8∶0.2的权重相加两部分损失得到总损失，再通过自适应矩估计优化器和总损失反向传播优化网络参数；其中，在网络训练过程中采用了动态学习率，每进行10次完整的训练迭代后用验证集对网络的训练效果进行验证，训练的终止条件为验证集的总损失达到最小值，即连续10次验证集的总损失不再下降。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111601362.2A CN114445418A (zh) | 2021-12-24 | 2021-12-24 | 基于多任务学习的卷积网络的皮肤镜图像分割方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111601362.2A CN114445418A (zh) | 2021-12-24 | 2021-12-24 | 基于多任务学习的卷积网络的皮肤镜图像分割方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114445418A true CN114445418A (zh) | 2022-05-06 |
Family
ID=81364111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111601362.2A Pending CN114445418A (zh) | 2021-12-24 | 2021-12-24 | 基于多任务学习的卷积网络的皮肤镜图像分割方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114445418A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079337A (zh) * | 2023-10-17 | 2023-11-17 | 成都信息工程大学 | 一种高精度人脸属性特征识别装置及方法 |
-
2021
- 2021-12-24 CN CN202111601362.2A patent/CN114445418A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079337A (zh) * | 2023-10-17 | 2023-11-17 | 成都信息工程大学 | 一种高精度人脸属性特征识别装置及方法 |
| CN117079337B (zh) * | 2023-10-17 | 2024-02-06 | 成都信息工程大学 | 一种高精度人脸属性特征识别装置及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111210443B (zh) | 基于嵌入平衡的可变形卷积混合任务级联语义分割方法 | |
| Yang et al. | DRFN: Deep recurrent fusion network for single-image super-resolution with large factors | |
| CN111242288B (zh) | 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法 | |
| Wang et al. | Laplacian pyramid adversarial network for face completion | |
| Liu et al. | An attention-based approach for single image super resolution | |
| CN115482241A (zh) | 一种跨模态双分支互补融合的图像分割方法及装置 | |
| CN112819910B (zh) | 基于双鬼注意力机制网络的高光谱图像重建方法 | |
| Li et al. | Single-image super-resolution for remote sensing images using a deep generative adversarial network with local and global attention mechanisms | |
| Wei et al. | Accurate facial image parsing at real-time speed | |
| CN111797841B (zh) | 一种基于深度残差网络的视觉显著性检测方法 | |
| CN111899169B (zh) | 一种基于语义分割的人脸图像的分割网络的方法 | |
| CN110866938B (zh) | 一种全自动视频运动目标分割方法 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| Wang et al. | Improved face super-resolution generative adversarial networks | |
| CN113706545A (zh) | 一种基于双分支神经判别降维的半监督图像分割方法 | |
| He et al. | Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks | |
| CN114419060B (zh) | 皮肤镜图像分割方法与系统 | |
| Wu et al. | CASR: a context-aware residual network for single-image super-resolution | |
| CN113298704B (zh) | 一种广播电视新闻下利用图迁移的肤色分割及美化方法 | |
| CN114445418A (zh) | 基于多任务学习的卷积网络的皮肤镜图像分割方法与系统 | |
| CN113888505A (zh) | 一种基于语义分割的自然场景文本检测方法 | |
| CN116596966A (zh) | 一种基于注意力和特征融合的分割与跟踪方法 | |
| CN116246109A (zh) | 一种多尺度孔洞邻域注意力计算骨干网络模型及其应用 | |
| Liu et al. | Dsma: Reference-based image super-resolution method based on dual-view supervised learning and multi-attention mechanism | |
| Sun et al. | Facial mask attention network for identity-aware face super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |