CN111951288A - 一种基于深度学习的皮肤癌病变分割方法 - Google Patents

一种基于深度学习的皮肤癌病变分割方法 Download PDF

Info

Publication number
CN111951288A
CN111951288A CN202010678175.3A CN202010678175A CN111951288A CN 111951288 A CN111951288 A CN 111951288A CN 202010678175 A CN202010678175 A CN 202010678175A CN 111951288 A CN111951288 A CN 111951288A
Authority
CN
China
Prior art keywords
sub
branch
module
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010678175.3A
Other languages
English (en)
Other versions
CN111951288B (zh
Inventor
屈爱平
程志明
梁豪
钟海勤
黄家辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanhua University
Original Assignee
Nanhua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanhua University filed Critical Nanhua University
Priority to CN202010678175.3A priority Critical patent/CN111951288B/zh
Publication of CN111951288A publication Critical patent/CN111951288A/zh
Application granted granted Critical
Publication of CN111951288B publication Critical patent/CN111951288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于深度学习的皮肤癌病变分割方法，包括步骤1，获取训练皮肤镜图像样本；步骤2，数据归一化；步骤3，边缘感知神经网络模型设计；步骤4，边缘感知神经网络模型训练；步骤5，分割。本发明利用浅层的细节信息和深层的语义信息相融合方式，能够较好的实现对图像的边缘细节的检测，同时利用MultiBlock模块来扩大模型的感受野从而加强对不同尺度目标的敏感能力，同时结合空间注意力机制来抑制背景信息的干扰。

Description

一种基于深度学习的皮肤癌病变分割方法
技术领域
本发明涉及计算机辅助诊断技术领域，尤其涉及一种基于深度学习的皮肤癌病变分割方法。
背景技术
皮肤癌及各种色素性皮肤病正严重威胁着人类的健康。目前医学领域主要通过医生观察分析皮肤镜图像中的病灶特征实现色素性皮肤病诊断。皮肤镜图像是一种利用无创性显微成像技术获取的医学图像,可以清晰的显示皮肤病的病灶特征。但是由于不同病例的病灶差别很小,使医生通过裸眼观察方式分析判断病灶类别变得十分困难。为了实现有效治疗,针对皮肤镜图像的计算机辅助诊断系统需求量上升,通过计算机辅助诊断,可以缓解医生的就诊压力,有助于提升诊断的效率和准确率。
目前传统的皮肤镜图像分割方法包括基于边缘、区域或阈值的分割、基于聚类的分割以及监督学习方法,这些方法会受主观因素以及图像中毛发、水泡等杂质的影响,分割效果不理想。
基于边缘的方法是利用图像中梯度变化较大的区域作为目标边界，这种方法没有背景干扰和目标边界清晰的情况下分割效果较好。
基于阈值的分割方法是利用目标颜色与背景颜色之间的不一致设置一个或多个阈值来划分不同区域，从而实现对目标的分割，但是阈值的大小难以选择。
基于监督学习的方法是通过手工设计皮肤镜图像中的病灶特征，再训练分类器对特征进行分类，这种方法较为依赖特征设计与选择难以适应较为复杂的环境。
随着深度学习在各个领域的不断发展与应用，卷积神经网络也逐渐应用在医学图像处理领域中。相对于传统的图像分割方法，卷积神经网络在图像分类与特征提取方面有着很好的效果。由于皮肤镜图像本身具有的复杂性，卷积神经网络虽然能很好的完成自然图片的语义分割任务,但在皮肤镜图像分割领域应用不成熟，分割效果扔有进一步提升空间。由于皮肤镜图像存在的一些挑战：病变皮肤的尺度变化较大、图像中存在较多的背景干扰以及病变皮肤的模糊的边缘。
发明内容
为了解决上述现有技术中的不足，本发明提供一种基于深度学习的新型皮肤癌病变分割方法，该模型具有两个分支，一个语义分支，具有通道窄，层次深，来获取高层次的语义语境，一个细节分支，具有宽通道和浅层，用于捕获低层细节并生成高分辨率的特征表示。
本发明的一种基于深度学习的新型皮肤癌病变分割方法是通过以下技术特征实现的：
一种基于深度学习的皮肤癌病变分割方法，包括以下步骤：
步骤1，获取训练皮肤镜图像样本：
步骤2，数据归一化；
步骤3，边缘感知神经网络模型设计：
构建一个端到端的两分支神经网络架构，其中一个分支为语义分支，用于捕获低层细节并生成高分辨率的特征表示；另外一个分支为细节分支，用于获取目标的边缘细节信息；所述语义分支与所述细节分支并行；
步骤4，边缘感知神经网络模型训练：
将经过上述步骤1和2预处理好后的训练集皮肤镜图像分批送入到步骤3设计的边缘感知神经网络模型中，设定每批送入8张图像，然后，边缘感知神经网络模型不断学习输入图像目标的特征，使其逐渐向真实掩膜靠近，模型最后一层输出的特征图经过sigmoid函数，得到目标区域的分布概率图，再通过二元交叉熵损失(BCE)，与图像真实标签比较计算损失；损失在网络中反向传递，从而得到网络参数的梯度，再根据自适应矩估计(Adam)优化器来调整参数，使损失达到最小，网络达到最佳；二元交叉熵损失(BCE)计算公式如下所示：
Figure BDA0002584824400000031
其中，Pj和Gj分别表示预测特征图和真实标签掩膜；
步骤5，分割：
训练完成后，直接向网络输入待分割的皮肤镜图像，利用学习好后的网络去预测待测试的皮肤镜图像，测试图像通过网络后输出目标区域的分布概率图，其取值范围是0-1，设置阈值为0.5，大于0.5视为待分割的目标，小于0.5视为背景，然后将目标设置1，背景设置为0，最后就得到需要分割的病变皮肤目标的分割结果。
进一步地，所述语义分支包括编码器，所述编码器后紧跟着一个用来抑制背景干扰的空间注意力模块，所述空间注意力模块后面跟着解码器；
所述编码器包含五个子模块，第一个子模块包含一个Multiblock模块和1×1的卷积，第二个到第四个模块都由一个MutiBlock模块组成，每个子模块之后有一个2×2的最大池化实现的下采样层；
所述解码器包含四个子模块，分辨率通过上采样操作依次上升，直到与输入图像一致；然后使用跳跃连接将上采样结构与编码器中具有相同分辨率的子模块的输出进行连接，作为解码器中下一个子模块的输入；
所述编码器第一至第五个子模块的分辨率分别是256×256，128×128，64×64，32×32，16×16。
进一步地，所述细节分支由两个子模块构成，第一个子模块包含一个1×1卷积和Multiblock模块，第二个子模块包含一个MuitiBlock模块，在第一个子模块后跟随着一个2×2的最大池化，然后将第二个子模块上采样到输入图像大小，然后将两个子模块的输出结构输入到语义分支对应分辨率的子模块中进行跳跃连接。
进一步地，所述MultiBlock模块是DenseNet的变体，将原本的主干分支通道数减半(主干分支感受野3×3)，并添加一个新分支，在所述新分支中添加了两个3×3的卷积，且所述新分支的感受野为5×5。
进一步地，所述空间注意力模块是沿着空间维度推断出注意力特征图，然后将注意力特征图与输入的特征图相乘进行自适应特征细化。
进一步地，所述皮肤镜图像样本来源于国际皮肤公开挑战赛数据集(ISIC 2018)，包含2594张不同分辨率的原始皮肤镜图像，其中原始图像的真实标签是由皮肤科医院手动标注的二值图像；为了方便处理，使用双线性插值的方式将原始图像以及图像真实标签缩放到256×256的分辨率，然后将处理后的皮肤镜图像样本进行划分：1815张用于训练，259张用于验证，520张用于测试。
进一步地，步骤2所述数据归一化是使用常规方法min-max标准化，对样本数据进行线性变换，使处理后的皮肤镜图像样本数据落到[0，1]区间。
进一步地，在步骤4中使用动态的学习率来调整模型优化步伐，当网络的评价指标不再提升的时候，降低网络的学习率来提高网络性能，同时在100次迭代中，当验证损失达到最小时，保存模型此时的参数。
本发明相比于现有技术而言，具有以下有益效果：
1)本发明的模型整体架构是将空间细节和分类语义分开处理，实现了高精度和高效率的语义分割；
2)本发明的MultiBlock模块能提取得到的特征就不只是单一尺度，且能同时兼顾小目标和大目标；
3)本发明利用浅层的细节信息和深层的语义信息相融合方式，能够较好的实现对图像的边缘细节的检测，同时利用MultiBlock模块来扩大模型的感受野从而加强对不同尺度目标的敏感能力，同时结合空间注意力机制来抑制背景信息的干扰；
4)本发明方法能够较好的应对皮肤镜图像中存在的一些挑战，并且有效的提高了皮肤癌病变分割的精度和鲁棒性，能够稳定的输出分割结果。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明的网络结构示意图；
图2为本发明MultiBlock模块的结构示意图；
图3为本发明空间注意力机制模块的结构示意图；
图4为本发明分割结构对比展示图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。本发明中未详细说明的结构或工作原理属于现有技术和本领域的公知常识，本技术领域的技术人员应当知晓。
本发明在Keras深度学习框架下实现，计算机配置采用：Intel Core i5 6600K处理器，16G内存，NVIDIA V100显卡，Linux操作系统。本发明提供一种基于深度学习的皮肤癌病变分割方法，具体包括以下步骤：
步骤1，获取训练皮肤镜图像样本：
皮肤镜图像来源于国际皮肤公开挑战赛数据集(ISIC 2018),该数据集包含了2594张不同分辨率的原始皮肤镜图像，其中原始图像的真实标签是由皮肤科医院手动标注的灰度图像；为了方便处理，我们使用双线性插值的方式将原始图像以及图像真实标签进行缩放到256×256的分辨率，然后将预处理好的数据集进行划分：1815张用于训练，259张用于验证，520张用于测试。
步骤2，数据归一化：
为了加快神经网络的训练进程，使用min-max标准化，对样本数据进行线性变换，使结果落到[0,1]区间。
步骤3，边缘感知神经网络模型设计：
本发明设计的网络结构如图1所示。根据此网络结构，主要分成4个部分：
(1)细节分支部分：细节分支负责空间细节，这是低级的信息。因此需要丰富的信道容量来编码丰富的空间细节信息。同时，因为细节分支只关注底层细节，所以本发明为这个分支设计了一个小跨度的浅层结构，该网络结构由2个子模块构成，第一个子模块包含了一个1×1卷积Multiblock模块，第二个子模块包含一个MuitiBlock模块，在第一个子模块后跟随着一个2×2的最大池化，然后将第二个子模块上采样到输入图像大小，然后将两个子模块的输出结构输入到语义分支对应分辨率的子模块中进行跳跃连接。
(2)语义分支部分：与细节分支并行，语义分支旨在捕获高级语义，该分支的信道容量较低，而空间细节可以由细节分支提供，这使得这个分支是轻量级的。语义分支部分网络架构延续了U-Net的核心思想，加入了MultiBlock模块如图2和空间注意力模块如图3。具体来说，左侧是可视为一个编码器，右侧可视为一个解码器。编码器有五个子模块，第一个子模块包含一个Multiblock模块和1×1的卷积，后面四个模块都由一个MutiBlock模块组成，每个子模块之后有一个2×2的最大池化实现的下采样层。所述编码器第一至第五个子模块输入图像的分辨率分别是256×256，128×128，64×64，32×32，16×16。在编码器后紧跟着的是一个空间注意力模块用来抑制背景干扰，其结构如图3所示。解码器包含四个子模块，分辨率通过上采样操作依次上升，直到与输入图像一致。然后使用跳跃连接将上采样结构与编码器中具有相同分辨率的子模块的输出进行连接，作为解码器中下一个子模块的输入。
(3)MultiBlock模块
MultiBlock模块如图2所示，MultiBlock模块是DenseNet的变体，使用的依然DenseNet的连接方法，除了将原本的主干分支通道数减半(DenseNet主干分支感受野是3×3，还添加了一个新的分支，在新的分支中添加了两个3×3的卷积，这个分支感受野为5×5。如图所示，假定输入通道数为4k，将左右两个分支和输入进行连接，最后输出通道数为6k的特征图，分辨率和输入保持一致。
(4)空间注意力模块
空间注意模块沿着空间维度推断出注意力特征图，然后将注意力特征图与输入的特征图相乘进行自适应特征细化。如图3所示，它首先沿通道轴方向将最大池化和全局池化操作将它们连接起来，然后在级联特征上使用一个卷积层和sigmoid激活函数来生成一个空间注意力特征图，最后，将空间注意力特征图与输入相乘得到输出特征图。
步骤4，边缘感知神经网络模型训练：
将经过上述步骤1和2预处理好后的训练集皮肤镜图像分批送入到步骤3设计的边缘感知神经网络模型中，设定每批送入8张图像，然后，边缘感知神经网络模型不断学习输入图像目标的特征，使其逐渐向真实掩膜靠近，模型的最后一层输出特征图经过sigmoid函数得到目标区域的分布概率图，在通过二元交叉熵损失，于图像真实标签比较计算损失；损失在网络中反向传递，从而得到网络参数的梯度，再根据自适应矩估计(Adam)优化器来调整参数，使损失达到最小，网络达到最佳。二元交叉熵损失计算公式如下所示：
Figure BDA0002584824400000091
其中，Pj和Gj分别表示预测特征图和真实标签掩膜。
训练完成后，直接向网络输入待分割的皮肤镜图像，利用学习好后的网络去预测待测试的皮肤镜图像，测试图像通过网络后输出目标区域的分布概率图，其取值范围是0-1，设置阈值为0.5，大于0.5视为待分割的目标，小于0.5视为背景，然后将目标设置1，背景设置为0，最后就得到需要分割的病变皮肤目标的分割结果。
另外，为了获得最佳的模型性能，本发明使用动态的学习率来调整模型优化步伐，当网络的评价指标不再提升的时候，降低网络的学习率来提高网络性能，同时在100次迭代中，当验证损失达到最小时，保存模型此时的参数。
一、模型性能评估：
自2015年以来，在生物医学图像分割领域，U-Net得到了广泛的应用，U-Net是一个编码-解码结构，该架构在不同的生物分割应用中实现了非常好的性能。至今U-Net已经有了很多变体，目前已有许多新的卷积神经网络设计方案，但很多仍延续了U-Net的核心思想，加入了新的模块或者融入其他设计理念。其中Attention U-net在U-net在引入注意力机制，对编码器每个分辨率上的特征与解码器中对应特征进行拼接之前，使用了一个注意力模块，重新调整了编码器的输出特征；R2U-Net该方法将残差连接和循环卷积结合起来，用于替换U-Net中原来的子模块；BCDU同样也是U-net的扩展，它融入密集连接和ConvLSTM用于医学图像分割；Our_v1是本发明的方法中只包含语义分支的算法；Our_v2是本发明方法。
表1本发明方法与现有方法的性能对比图
方法 F1-Score Sensitivity Specificity Accuracy AUC JS 参数
Unet 0.8507 0.8065 0.9644 0.9195 0.8854 0.9195 31，040，517
R2U-Net 0.8490 0.7847 0.9746 0.9206 0.8797 0.9206 95，986，049
Attention U-net 0.8497 0.7957 0.9693 0.9199 0.8825 0.9199 31，919，097
BCDU 0.8544 0.8356 0.9521 0.9189 0.8939 0.9189 20，660，869
our_v1 0.8572 0.8547 0.9446 0.9190 0.8996 0.9190 8，931，687
our_v2 0.8627 0.8628 0.9454 0.9219 0.9041 0.9219 9，344，907
如表1所示，将本发明方法与上述这些算法在性能上进行对比，表中的评价指标分别是准确性(Accuracy)、敏感性(Sensitivity)、特异性(Specificity)、F1-Score、Jaccard相似性(JS)和ROC曲线下的面积(AUC)。从表1中可以清晰的发现，相对于之前的方法，本发明的方法在以上性能指标上取得了最好的成绩。同时也不难发现只包含语义分支的Our_v1相较于之前的方法在F1-Score、敏感性(Sensitivity)和ROC曲线下的面积(AUC)指标下也有一定的优势，与包含语义分支和细节分支的Our_v2相比，同时也说明加入细节分支对于模型获取目标的边缘信息的重要性。
二、分割结果展示：
如图4所示，展示的是本发明方法与现有的方法对比的分割结果，第一列是将原始图像经过上述步骤一预处理后得到256×256分辨率的输入图像；第二列是输入图像对应的大小的真实掩膜；第三列是Ronneberger等人2015年提出的用于生物医学图像分割的神经网络方法U-net的分割结果，从分割结果图中可以看出U-net的方法在存在过分割和欠分割的情况；第四列是Oktay等人2018年提出的用于CT胰腺分割的Attention u-net方法，从分割结果图中可以看出这种方法在预测时对病变皮肤的整体分割不是很好，此外还容易对相似的背景干扰误判为目标本身；第五列是Alom等人在2018年提出的用于医学图像分割的循环残差卷积神经网络R2U-Net,从分割结果图可以看出，这种方式对于目标边缘分割不是很好；第五列是Azad等人在2019年提出的结合ConvLSTM的Unet变体用于医学图像分割，从分割图中可以看出出现一些对小目标背景的误判以及边界分割还不够好；最后一列是本发明方法，从分割图可以看出本发明方法相较与以前的方法在背景干扰、不同尺度目标和边缘细节上有的一定的提升，能相对较好的实现对皮肤镜图像中的病变皮肤的分割。
本发明的基于深度学习的皮肤癌病变分割方法，模型整体结构的包括：(1)一个细节分支，具有宽通道和浅层，用于捕获低层细节并生成高分辨率的特征表示；(2)一个语义分支，具有通道窄，层次深，来获取高层次的语义语境。通过这种方式将空间细节和分类语义分开处理，以实现高精度和高效率的语义分割。此外模型还结合了空间注意力模块和MultiBlock模块，其中空间注意力模块用于抑制皮肤镜图像中的背景干扰(例如毛发，气泡等)，同时凸显出有价值的目标；MultiBlock模块利用多尺度感受野的方法使提取得到的特征不只是单一尺度，这样能同时兼顾小目标和大目标。由于皮肤镜图像存在的一些挑战：病变皮肤的尺度变化较大、图像中存在较多的背景干扰以及病变皮肤的模糊的边缘，所以本发明方法能够较好的应对皮肤镜图像中存在的一些挑战，并且有效的提高了皮肤癌病变分割的精度和鲁棒性，能够稳定的输出分割结果。

Claims (8)

1.一种基于深度学习的皮肤癌病变分割方法，其特征在于，包括以下步骤：
步骤1，获取训练皮肤镜图像样本；
步骤2，数据归一化；
步骤3，边缘感知神经网络模型设计：
构建一个端到端的两分支神经网络架构，其中一个分支为语义分支，用于捕获低层细节并生成高分辨率的特征表示；另外一个分支为细节分支，用于获取目标的边缘细节信息；所述语义分支与所述细节分支并行；
步骤4，边缘感知神经网络模型训练：
将经过上述步骤1和2预处理好后的训练集皮肤镜图像分批送入到步骤3设计的边缘感知神经网络模型中，设定每批送入8张图像，然后，边缘感知神经网络模型不断学习输入图像目标的特征，使其逐渐向真实掩膜靠近，模型最后一层输出的特征图经过sigmoid函数，得到目标区域的分布概率图，再通过二元交叉熵损失，与图像真实标签比较计算损失；损失在网络中反向传递，从而得到网络参数的梯度，再根据自适应矩估计(Adam)优化器来调整参数，使损失达到最小，网络达到最佳；二元交叉熵损失计算公式如下所示：
Figure RE-RE-FDA0002709826700000011
其中，Pj和Gj分别表示预测特征图和真实标签掩膜；
步骤5，分割：
训练完成后，直接向网络输入待分割的皮肤镜图像，利用学习好后的网络去预测待测试的皮肤镜图像，测试图像通过网络后输出目标区域的分布概率图，其取值范围是0-1，设置阈值为0.5，大于0.5视为待分割的目标，小于0.5视为背景，然后将目标设置1，背景设置为0，最后就得到需要分割的病变皮肤目标的分割结果。
2.如权利要求1所述的一种基于深度学习的皮肤癌病变分割方法，其特征在于，所述语义分支包括编码器，所述编码器后紧跟着一个用来抑制背景干扰的空间注意力模块，所述空间注意力模块后面跟着解码器；
所述编码器包含五个子模块，第一个子模块包含一个Multiblock模块和1×1的卷积，第二个到第四个模块都由一个MutiBlock模块组成，每个子模块之后有一个2×2的最大池化实现的下采样层；
所述解码器包含四个子模块，分辨率通过上采样操作依次上升，直到与输入图像一致；然后使用跳跃连接将上采样结构与编码器中具有相同分辨率的子模块的输出进行连接，作为解码器中下一个子模块的输入；
所述编码器第一至第五个子模块的分辨率分别是256×256，128×128，64×64，32×32，16×16。
3.如权利要求1所述的一种基于深度学习的皮肤癌病变分割方法，其特征在于，所述细节分支由两个子模块构成，第一个子模块包含一个1×1卷积和Multiblock模块，第二个子模块包含一个MuitiBlock模块，在第一个子模块后跟随着一个2×2的最大池化，然后将第二个子模块上采样到输入图像大小，然后将两个子模块的输出结构输入到语义分支对应分辨率的子模块中进行跳跃连接。
4.如权利要求1所述的一种基于深度学习的皮肤癌病变分割方法，其特征在于，所述MultiBlock模块是DenseNet的变体，将原本的主干分支通道数减半(主干分支感受野3×3)，并添加一个新分支，在所述新分支中添加了两个3×3的卷积，且所述新分支的感受野为5×5。
5.如权利要求1所述的一种基于深度学习的皮肤癌病变分割方法，其特征在于，所述空间注意力模块是沿着空间维度推断出注意力特征图，然后将注意力特征图与输入的特征图相乘进行自适应特征细化。
6.如权利要求1所述的一种基于深度学习的皮肤癌病变分割方法，其特征在于，所述皮肤镜图像样本来源于国际皮肤公开挑战赛数据集(ISIC 2018)，包含2594张不同分辨率的原始皮肤镜图像，其中原始图像的真实标签是由皮肤科医院手动标注的二值图像；为了方便处理，使用双线性插值的方式将原始图像以及图像真实标签缩放到256×256的分辨率，然后将处理后的皮肤镜图像样本进行划分：1815张用于训练，259张用于验证，520张用于测试。
7.如权利要求1所述的一种基于深度学习的皮肤癌病变分割方法，其特征在于，步骤2所述数据归一化是使用常规方法min-max标准化，对样本数据进行线性变换，使处理后的皮肤镜图像样本数据落到[0，1]区间。
8.如权利要求1所述的一种基于深度学习的皮肤癌病变分割方法，其特征在于，在步骤4中使用动态的学习率来调整模型优化步伐，当网络的评价指标不再提升的时候，降低网络的学习率来提高网络性能，同时在100次迭代中，当验证损失达到最小时，保存模型此时的参数。
CN202010678175.3A 2020-07-15 2020-07-15 一种基于深度学习的皮肤癌病变分割方法 Active CN111951288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010678175.3A CN111951288B (zh) 2020-07-15 2020-07-15 一种基于深度学习的皮肤癌病变分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010678175.3A CN111951288B (zh) 2020-07-15 2020-07-15 一种基于深度学习的皮肤癌病变分割方法

Publications (2)

Publication Number Publication Date
CN111951288A true CN111951288A (zh) 2020-11-17
CN111951288B CN111951288B (zh) 2023-07-21

Family

ID=73341494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010678175.3A Active CN111951288B (zh) 2020-07-15 2020-07-15 一种基于深度学习的皮肤癌病变分割方法

Country Status (1)

Country Link
CN (1) CN111951288B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819821A (zh) * 2021-03-01 2021-05-18 南华大学 一种细胞核图像检测方法
CN112819831A (zh) * 2021-01-29 2021-05-18 北京小白世纪网络科技有限公司 基于卷积Lstm及多模型融合的分割模型生成方法及装置
CN113160151A (zh) * 2021-04-02 2021-07-23 浙江大学 基于深度学习及注意力机制的全景片龋齿深度识别方法
CN113537228A (zh) * 2021-07-07 2021-10-22 中国电子科技集团公司第五十四研究所 一种基于深度特征的实时图像语义分割方法
CN114066904A (zh) * 2021-11-19 2022-02-18 西安交通大学医学院第二附属医院 一种基于深度学习的皮肤病变图像分割方法、设备及存储介质
CN114565628A (zh) * 2022-03-23 2022-05-31 中南大学 一种基于边界感知注意的图像分割方法及系统
CN116342884A (zh) * 2023-03-28 2023-06-27 阿里云计算有限公司 图像分割及模型训练的方法、服务器
CN117455906A (zh) * 2023-12-20 2024-01-26 东南大学 基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法
WO2024046142A1 (en) * 2022-08-30 2024-03-07 Subtle Medical, Inc. Systems and methods for image segmentation of pet/ct using cascaded and ensembled convolutional neural networks

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886986A (zh) * 2019-01-23 2019-06-14 北京航空航天大学 一种基于多分支卷积神经网络的皮肤镜图像分割方法
US20190385021A1 (en) * 2018-06-18 2019-12-19 Drvision Technologies Llc Optimal and efficient machine learning method for deep semantic segmentation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190385021A1 (en) * 2018-06-18 2019-12-19 Drvision Technologies Llc Optimal and efficient machine learning method for deep semantic segmentation
CN109886986A (zh) * 2019-01-23 2019-06-14 北京航空航天大学 一种基于多分支卷积神经网络的皮肤镜图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
熊伟;蔡咪;吕亚飞;裴家正;: "基于神经网络的遥感图像海陆语义分割方法", 计算机工程与应用, no. 15 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819831A (zh) * 2021-01-29 2021-05-18 北京小白世纪网络科技有限公司 基于卷积Lstm及多模型融合的分割模型生成方法及装置
CN112819831B (zh) * 2021-01-29 2024-04-19 北京小白世纪网络科技有限公司 基于卷积Lstm及多模型融合的分割模型生成方法及装置
CN112819821A (zh) * 2021-03-01 2021-05-18 南华大学 一种细胞核图像检测方法
CN112819821B (zh) * 2021-03-01 2022-06-17 南华大学 一种细胞核图像检测方法
CN113160151A (zh) * 2021-04-02 2021-07-23 浙江大学 基于深度学习及注意力机制的全景片龋齿深度识别方法
CN113537228B (zh) * 2021-07-07 2022-10-21 中国电子科技集团公司第五十四研究所 一种基于深度特征的实时图像语义分割方法
CN113537228A (zh) * 2021-07-07 2021-10-22 中国电子科技集团公司第五十四研究所 一种基于深度特征的实时图像语义分割方法
CN114066904A (zh) * 2021-11-19 2022-02-18 西安交通大学医学院第二附属医院 一种基于深度学习的皮肤病变图像分割方法、设备及存储介质
CN114066904B (zh) * 2021-11-19 2024-08-13 西安交通大学医学院第二附属医院 一种基于深度学习的皮肤病变图像分割方法、设备及存储介质
CN114565628B (zh) * 2022-03-23 2022-09-13 中南大学 一种基于边界感知注意的图像分割方法及系统
CN114565628A (zh) * 2022-03-23 2022-05-31 中南大学 一种基于边界感知注意的图像分割方法及系统
WO2024046142A1 (en) * 2022-08-30 2024-03-07 Subtle Medical, Inc. Systems and methods for image segmentation of pet/ct using cascaded and ensembled convolutional neural networks
CN116342884A (zh) * 2023-03-28 2023-06-27 阿里云计算有限公司 图像分割及模型训练的方法、服务器
CN116342884B (zh) * 2023-03-28 2024-02-06 阿里云计算有限公司 图像分割及模型训练的方法、服务器
CN117455906A (zh) * 2023-12-20 2024-01-26 东南大学 基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法
CN117455906B (zh) * 2023-12-20 2024-03-19 东南大学 基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法

Also Published As

Publication number Publication date
CN111951288B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN111951288B (zh) 一种基于深度学习的皮肤癌病变分割方法
CN109523521B (zh) 基于多切片ct图像的肺结节分类和病灶定位方法和系统
CN112258488A (zh) 一种医疗影像病灶分割方法
CN111461232A (zh) 一种基于多策略批量式主动学习的核磁共振图像分类方法
Xia et al. MC-Net: multi-scale context-attention network for medical CT image segmentation
CN110751636B (zh) 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
CN111627024A (zh) 一种改进U-net的肾脏肿瘤分割方法
CN114399510B (zh) 结合图像和临床元数据的皮肤病灶分割和分类方法及系统
CN114092439A (zh) 一种多器官实例分割方法及系统
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN111161271A (zh) 一种超声图像分割方法
Yamanakkanavar et al. MF2-Net: A multipath feature fusion network for medical image segmentation
CN110895815A (zh) 一种基于深度学习的胸部x线气胸分割方法
CN115471470A (zh) 一种食管癌ct图像分割方法
CN117746119A (zh) 基于特征融合和注意力机制的超声图像乳腺肿瘤分类方法
Guan et al. NCDCN: multi-focus image fusion via nest connection and dilated convolution network
CN118470036A (zh) 一种HL-UNet图像分割模型及心脏动态磁共振成像分割方法
Zhang et al. Multi-scale aggregation networks with flexible receptive fields for melanoma segmentation
Wu et al. Continuous refinement-based digital pathology image assistance scheme in medical decision-making systems
CN113269778B (zh) 基于迭代的图像弱监督分割方法
CN113538363A (zh) 一种基于改进U-Net的肺部医学影像分割方法及装置
Li et al. A fish image segmentation methodology in aquaculture environment based on multi-feature fusion model
CN112967295A (zh) 一种基于残差网络和注意力机制的图像处理方法及系统
Mohammadi et al. Zooming into clarity: Image denoising through innovative autoencoder architectures
Nayantara et al. Automatic Liver Segmentation from Multiphase CT Using Modified SegNet and ASPP Module

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant