CN112419286A - 皮肤镜图像的分割方法及其分割装置 - Google Patents

皮肤镜图像的分割方法及其分割装置 Download PDF

Info

Publication number
CN112419286A
CN112419286A CN202011358893.9A CN202011358893A CN112419286A CN 112419286 A CN112419286 A CN 112419286A CN 202011358893 A CN202011358893 A CN 202011358893A CN 112419286 A CN112419286 A CN 112419286A
Authority
CN
China
Prior art keywords
image
segmentation
weight loss
network
adaptive weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011358893.9A
Other languages
English (en)
Inventor
丁赛赛
左文琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Simawei Technology Co ltd
Original Assignee
Suzhou Simawei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Simawei Technology Co ltd filed Critical Suzhou Simawei Technology Co ltd
Priority to CN202011358893.9A priority Critical patent/CN112419286A/zh
Publication of CN112419286A publication Critical patent/CN112419286A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Abstract

本发明公开了一种皮肤镜图像的分割方法及其分割装置，其涉及数字图像处理技术领域，分割方法包括：在皮肤镜图像的RGB彩色图像的基础上增加灰度图像信息得到预处理后的皮肤镜图像；采用轻量级全卷积神经网络作为图像分割模型的基本框架，并且将ResNet50作为轻量级全卷积神经网络的编码阶段，在此过程中，将ResNet50的网络结构和轻量级全卷积神经网络的编码器结构做匹配调整；在图像分割模型的轻量级全卷积神经网络中采用双重注意力模块将全局信息进行聚合，以生成通道注意力向量；构建自适应权重损失模块；等等。本申请能够对皮肤镜图像中病变区域进行准确的分割。

Description

皮肤镜图像的分割方法及其分割装置
技术领域
本发明涉及数字图像处理技术领域，特别涉及一种皮肤镜图像的分割方法及其分割装置。
背景技术
皮肤镜图像中病变区域自动分割对黑色素瘤的临床诊断和评估具有重要意义。传统分割方法过程繁琐，泛化性不强，对于正常和病变区域之间的高度相似的图像分割结果较差。
而且，由于皮肤病变区域形态多变，分割目标和背景大小极度不平衡，皮肤病变区域往往呈现复杂的形态、多尺度的变化，使得分割目标和背景极其不平衡，很难分割出精准的病变区域。最后，毛发和人工标记会影响图像质量，因此，就目前的技术而言，皮肤镜图像病变区域的准确分割仍然是一个很大的挑战，亟需尽快解决，以满足临床诊断和评估需要。
发明内容
为了克服现有技术的上述缺陷，本发明实施例所要解决的技术问题是提供了一种皮肤镜图像的分割方法及其分割装置，其能够对皮肤镜图像中病变区域进行准确的分割。
本发明实施例的具体技术方案是：
一种皮肤镜图像的分割方法，所述皮肤镜图像的分割方法包括：
在皮肤镜图像的RGB彩色图像的基础上增加灰度图像信息得到预处理后的皮肤镜图像；
采用轻量级全卷积神经网络作为图像分割模型的基本框架，并且将ResNet50作为轻量级全卷积神经网络的编码阶段，在此过程中，将ResNet50的网络结构和轻量级全卷积神经网络的编码器结构做匹配调整；
在图像分割模型的轻量级全卷积神经网络中采用双重注意力模块将信息进行聚合，以生成通道注意力向量；
构建自适应权重损失模块，利用自适应权重损失函数根据预处理后的皮肤镜图像中分割目标区域的相对面积大小分配不同的权重；
在图像分割模型中建立融合双重注意力模块和自适应权重损失模块的分割网络，在基于轻量级全卷积神经网络的基本框架中，在编码器与解码器的连接处插入双重注意力模块，采用分段平均的方法得到最终权重，进而得到自适应权重损失模块中的自适应权重损失函数；
对融合双重注意力模块和自适应权重损失模块的分割网络的图像分割模型进行训练得到训练后的图像分割模型；
通过训练后的图像分割模型对待分割的皮肤镜图像进行分割，以自动分割出病变区域。
优选地，在步骤在皮肤镜图像的RGB彩色图像的基础上增加灰度图像信息得到预处理后的皮肤镜图像中，增加灰度图像信息的具体计算公式如下：
Gray＝0.2989*R+0.5870*G+0.1140*B；
其中，Gray表示灰度图像信息。
优选地，在步骤构建自适应权重损失模块，利用自适应权重损失函数根据预处理后的皮肤镜图像中分割目标区域的相对面积大小分配不同的权重中，具体如下：
自适应权重损失函数利用金标准的先验信息，根据分割目标区域的相对面积大小，给不同图像的损失动态分配权重，小尺度目标分配大权重，大尺度目标分配小权重，自适应权重损失函数中的初始权重如下：
β＝1+(T-α)；
其中，T∈(0，1)，T是划分阈值，图像中病变区域面积占图像总面积大于T则该图像为大目标，图像中病变区域面积占图像总面积小于T则该图像为小目标，β∈(T，T+1)β表示根据分割目标大小生成的权重。
优选地，采用分段平均的方法得到最终权重，具体如下：
Figure BDA0002803466780000031
其中，γ表示最终生成的权重系数；
自适应权重损失模块中的自适应权重损失函数Loss的计算公式表示为：
Loss＝γ(1-Dice)；
其中，Dice系数的公式为：
Figure BDA0002803466780000032
其中，X表示分割网络预测的结果，Y表示分割金标准。
优选地，在步骤对融合双重注意力模块和自适应权重损失模块的分割网络的图像分割模型进行训练得到训练后的图像分割模型中，具体为：
在训练过程中，使用随机旋转的在线皮肤镜图像进行训练；将训练使用的皮肤镜图像的四个通道的像素值全部归一化到0至1之间，并使用Adam优化器来更新网络参数，初始学习率设为1×e-4，批次大小设为4，并且每训练30轮学习率衰减为之前的0.1倍。
一种皮肤镜图像的分割装置，包括存储器和处理器，存储器中存储计算机程序，所述计算机程序在被所述处理器执行时，实现以下步骤：如上述任一所述的皮肤镜图像的分割方法。
本发明的技术方案具有以下显著有益效果：
本申请提出的皮肤镜图像的分割方法及其分割装置首先使用ResNet50作为主干网络改进U-Net的编码阶段，提高网络的特征提取能力，并在RGB三通道的基础上增加一个灰度通道以提升网络对边界的敏感性；然后，引入注意力机制，使分割网络能够更多地关注皮肤病变区域并抑制无用的噪声干扰；最后，针对分割目标和背景极度不平衡的问题提出一种自适应权重损失函数，根据分割目标大小动态分配权重，提高分割网络对小尺度目标的关注度，获得更准确的分割结果。本申请中的皮肤镜图像的分割方法及其分割装置能够用于皮肤镜图像的精准分割，且其利用了注意力机制和自适应权重损失，能够很好地解决医学图像分割任务中普遍存在的分割目标和背景大小极度不平衡问题。
参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
附图说明
在此描述的附图仅用于解释目的，而不意图以任何方式来限制本发明公开的范围。另外，图中的各部件的形状和比例尺寸等仅为示意性的，用于帮助对本发明的理解，并不是具体限定本发明各部件的形状和比例尺寸。本领域的技术人员在本发明的教导下，可以根据具体情况选择各种可能的形状和比例尺寸来实施本发明。
图1为本发明实施例中皮肤镜图像的分割方法的流程示意图；
图2为本发明实施例中皮肤镜图像的分割方法的框架结构图；
图3为为本发明实施例中双重注意力模块原理图；
图4为皮肤镜图像的原始图像和对应的病变区域分割金标准；
图5为采用本申请中皮肤镜图像的分割方法进行分割的示例。
具体实施方式
结合附图和本发明具体实施方式的描述，能够更加清楚地了解本发明的细节。但是，在此描述的本发明的具体实施方式，仅用于解释本发明的目的，而不能以任何方式理解成是对本发明的限制。在本发明的教导下，技术人员可以构想基于本发明的任意可能的变形，这些都应被视为属于本发明的范围。需要说明的是，当元件被称为“设置于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。本文所使用的术语“垂直的”、“水平的”、“上”、“下”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
为了能够对皮肤镜图像中病变区域进行准确的自动分割，在本申请中提出了一种皮肤镜图像的分割方法，图1为本发明实施例中皮肤镜图像的分割方法的流程示意图，如图1所示，所述皮肤镜图像的分割方法可以包括以下步骤：
S101：在皮肤镜图像的RGB彩色图像的基础上增加灰度图像信息得到预处理后的皮肤镜图像。
不同的皮肤镜图像的大小往往不完全一致，为了保证后续图像处理步骤和流程的规范性，作为可行的，首先可以将不同大小的皮肤镜图像大小全部调整为接近一个统一的固定大小，例如192×256，同时保持图像原有的长宽比。
通常皮肤镜图像是RGB彩色图像，由于皮肤镜图像的病变区域信息可以在灰度图上得到一个很好的反映，能够增加边界与周围组织的对比度，因此，本申请在皮肤镜图像的RGB彩色图像的基础上增加一个灰度图像信息Gray，其计算公式如下：
Gray＝0.2989*R+0.5870*G+0.1140*B；
其中，Gray表示灰度图像信息；
通过上述过程可以得到预处理后的皮肤镜图。
S102：采用轻量级全卷积神经网络作为图像分割模型的基本框架，并且将ResNet50作为轻量级全卷积神经网络的编码阶段，在此过程中，将ResNet50的网络结构和轻量级全卷积神经网络的编码器结构做匹配调整。
在本申请中，图像分割模型选择以轻量级全卷积神经网络(U-Net)为基本框架，UNet由编码器和解码器组成，主要有卷积层、最大池化层(下采样)、反卷积层(上采样)以及ReLU非线性激活函数等组成。但是传统的U-Net网络仍然存在许多缺陷，例如，U-Net的编码阶段的网络层数很浅，特征提取能力相对较弱，无法得到充分、有效的特征；又例如，U-Net的网络结构收敛速度较慢，预训练的模型不多。为了解决以上问题，在本申请中采用ResNet50作为U-Net的编码阶段，解码阶段保持不变。
ResNet50作为U-Net编码阶段的主干网络有两个方面的优势：1、加深了编码器网络的层数，提高了网络的特征提取能力，有利于得到更准确的分割结果；2、ResNet50可以使用预训练的模型促进网络的收敛，并且ResNet的残差结构能够有效的防止梯度消失和模型退化问题。
在上述过程中，需要将ResNet50的网络结构和轻量级全卷积神经网络的编码器结构做匹配调整。为了使ResNet50的网络结构能够和U-Net的编码器结构匹配，在本申请中首先需要移除原始ResNet50最后的平均池化层和全连接层，保持网络的全卷积结构，从而替换U-Net中的编码器部分，这部分包含4次下采样过程，且下采样操作之后，特征图的尺寸缩小一倍，图2为本发明实施例中皮肤镜图像的分割方法的框架结构图，如图2所示；其次，为了使网络能够保持更多的细节信息，把ResNet50中的第一个7×7卷积层替换为能够保持图像输入大小的两个3×3卷积层，同时尽可能的保证感受野的大小；最后，由于在输入RGB图像的基础上增加了一个灰度图像，因此，需要将相应的第一个卷积层的通道数修改为4。
S103：在图像分割模型的轻量级全卷积神经网络中采用双重注意力模块(DualAttention Module,DAM)将全局信息进行聚合，以生成通道注意力向量。
本发明将两种全局上下文建模机制集成到DAM中，一种是通过全局平均池来获取皮肤损伤的边界连续性，另一种是通过像素级连接来处理形状不规则性，DAM能够提取出更全面、更有鉴别性的特征来识别皮损的边界。图3为为本发明实施例中双重注意力模块原理图，如图3所示，DAM以特征图X∈RC×H×W做为输入，分别经过卷积核大小为3×3和5×5的卷积(Conv)之后得到U1和U2，为了生成多尺度的特征，通过元素式求和来整合两个分支的特征：
U＝U1+U2
接下来，通过两种不同的注意机制来计算出不同的全局信息。首先，基于全局平均池化(Global Average pooling,GAP)，得到通道级别上的特征P，P∈RC×1×1，
Figure BDA0002803466780000071
由于GAP采用了全局平均池化的方法，因此能够处理皮肤病变的类内颜色和外观变化，但是没有强调像素级相关性。
其次，利用空间域内的像素级相关(pixel-wise correlations,PC)，得到通道级数据q，q∈RC×1×1，
Figure BDA0002803466780000072
其中，W0为线性变换矩阵(1×1卷积层)，N＝H×W为特征图中总像素点数，H表示特征图高度上的像素，W表示特征图宽度上的像素，用归一化因子计算相关性。与GAP相比，PC在分割时更加强调每两个类别之间的互斥关系，因此即使皮肤病变的形状不规则且边缘模糊，它也能够将分割缩小到一个均匀的区域。
为了最大限度地减小两种注意机制之间的信息向量的尺度差异，本发明使用Sigmoid函数对其分别进行归一化，
s＝Sigmoid([P,q])；
其中，s表示对两个分支的注意力归一化后得到的注意力。
通过在s∈R2C×1×1中无缝集成GAP和PC的关注，双重注意力模块不仅可以克服病变类内的变化，还可以处理皮肤病变的形状和边界不规则。最后，DAM通过利用GAP和PC的互补性，实现精准的皮肤病变分割。
本申请通过构建双重注意力模块使卷积神经网络更加关注重要的区域，提升有用特征的权重，抑制无用的噪声，降低干扰，提高卷积网络提取到有用特征的能力。
S104：构建自适应权重损失模块，利用自适应权重损失函数根据预处理后的皮肤镜图像中分割目标区域的相对面积大小分配不同的权重。
皮肤镜图像中的病变区域大小不一、形态多变，分割目标区域(病变区域)与背景区域所占比例极度不平衡，有些图像中病变区域面积占图像总面积的90％以上，但是有些图像中病变区域面积占图像总面积的比例不到10％。数据不平衡问题在皮肤镜图像分割中极为突出，这成为了影响图像分割模型中分割网络的性能的最关键问题之一。
为了解决以上问题，在本申请的自适应权重损失模块中需要构建了一种自适应权重损失函数，利用自适应权重损失函数根据预处理后的皮肤镜图像中分割目标区域的相对面积大小分配不同的权重中。具体而言，图4为皮肤镜图像的原始图像和对应的病变区域分割金标准，如图4所示为一些皮肤镜图像原始图像及其对应的病变区域分割金标准的示例，图中第一行为三张皮肤镜图像原始图像，第二行为三张皮肤镜图像原始图像对应的病变区域分割金标准，自适应权重损失函数利用金标准的先验信息，根据分割目标区域的相对面积大小，给不同图像的损失动态分配权重，小尺度目标分配大权重，大尺度目标分配小权重。自适应权重损失函数可动态地针对分割目标大小分配不同的权重，自适应权重损失函数中的初始权重如下：
β＝1+(T-α)；
其中，T∈(0，1),T是划分阈值，图像中病变区域面积占图像总面积大于T则该图像为大目标，图像中病变区域面积占图像总面积小于T则该图像为小目标，β∈(T，T+1),β表示根据分割目标大小生成的权重。对于α较小的图像其深层次特征和上下文信息难以学习，则其对应β会大于1，表明分割网络需要给予该图像更多的关注；对于α较大的图像其深层次特征和上下文信息容易学习，则其对应β会小于1，表明分割网络不必过分关注。
S105：在图像分割模型中建立融合双重注意力模块和自适应权重损失模块的分割网络，在基于轻量级全卷积神经网络的基本框架中，在编码器与解码器的连接处插入双重注意力模块，采用分段平均的方法得到最终权重，进而得到自适应权重损失模块中的自适应权重损失函数。
在基于U-Net的基础网络上，本申请在编码器与解码器的连接处插入DAM双重注意力模块，双重注意力模块的引入可以使分割网络更多地关注病变区域信息，提高其权重，抑制无关的背景区域，降低毛发、人工标记等干扰。
由于毛发、人工标记及边界模糊程度的影响难以量化，本申请选取分段平均的方法来增加自适应权重的稳定性及容错率，从而得到最终权重，最终权重的计算公式如下：
Figure BDA0002803466780000091
其中，γ表示最终生成的权重系数；
自适应权重损失模块中的自适应权重损失函数Loss的计算公式表示为：
Loss＝γ(1-Dice)；
其中，Dice系数的公式为：
Figure BDA0002803466780000092
其中，X表示分割网络预测的结果，Y表示分割金标准。
S106：对融合双重注意力模块和自适应权重损失模块的分割网络的图像分割模型进行训练得到训练后的图像分割模型。
在训练过程中，使用随机旋转的在线皮肤镜图像进行训练，例如，使用了随机上下、左右翻转，随机旋转的同时又是在线皮肤镜图像可以有效增强训练效果。
另外，除了RGB三个通道以外，本申请之前还使用了灰度通道来更好的反映病灶边界，因此，需要将训练使用的皮肤镜图像的四个通道的像素值全部归一化到0至1之间，并使用Adam优化器来更新网络参数，初始学习率设为1×e-4，批次大小设为4，并且每训练30轮学习率衰减为之前的0.1倍。Adam优化器是深度学习模型网络更新的一个工具，其利用梯度来更新网络参数，学习率主要用于控制梯度更新时的步长，前期学习率较大可以达到网络快速收敛的目的，后期降低学习率，是为了寻找局部最优点。
S107：通过训练后的图像分割模型对待分割的皮肤镜图像进行分割，以自动分割出病变区域。
训练完成后，得到一个端到端的具有分割网络的图像分割模型，只需将待分割的皮肤镜图像输入上述具有分割网络的图像分割模型就可以自动分割出病变区域，图5为采用本申请中皮肤镜图像的分割方法进行分割的示例，如图5所示，图中第一列的三张图为待分割的皮肤镜图像的原图，图中第二列的三张图为第一列图对应的金标准下分割出的病变区域，图中第三列的三张图为第一列图对应的采用本申请皮肤镜图像的分割方法预测输出的自动分割出病变区域，通过对比可以发现，采用本申请皮肤镜图像的分割方法预测输出的自动分割出病变区域与金标准下的病变区域大体基本相接近，可以说明，本申请能够对皮肤镜图像中病变区域进行准确的分割。
本申请还提出了一种皮肤镜图像的分割装置，包括存储器和处理器，存储器中存储计算机程序，所述计算机程序在被所述处理器执行时，实现以下步骤：如上述任一所述的皮肤镜图像的分割方法。
本申请提出的皮肤镜图像的分割方法及其分割装置首先使用ResNet50作为主干网络改进U-Net的编码阶段，提高网络的特征提取能力，并在RGB三通道的基础上增加一个灰度通道以提升网络对边界的敏感性；然后，引入注意力机制，使分割网络能够更多地关注皮肤病变区域并抑制无用的噪声干扰；最后，针对分割目标和背景极度不平衡的问题提出一种自适应权重损失函数，根据分割目标大小动态分配权重，提高分割网络对小尺度目标的关注度，获得更准确的分割结果。本申请中的皮肤镜图像的分割方法及其分割装置能够用于皮肤镜图像的精准分割，且其利用了注意力机制和自适应权重损失，能够很好地解决医学图像分割任务中普遍存在的分割目标和背景大小极度不平衡问题。
披露的所有文章和参考资料，包括专利申请和出版物，出于各种目的通过援引结合于此。描述组合的术语“基本由…构成”应该包括所确定的元件、成分、部件或步骤以及实质上没有影响该组合的基本新颖特征的其他元件、成分、部件或步骤。使用术语“包含”或“包括”来描述这里的元件、成分、部件或步骤的组合也想到了基本由这些元件、成分、部件或步骤构成的实施方式。这里通过使用术语“可以”，旨在说明“可以”包括的所描述的任何属性都是可选的。多个元件、成分、部件或步骤能够由单个集成元件、成分、部件或步骤来提供。另选地，单个集成元件、成分、部件或步骤可以被分成分离的多个元件、成分、部件或步骤。用来描述元件、成分、部件或步骤的公开“一”或“一个”并不说为了排除其他的元件、成分、部件或步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种皮肤镜图像的分割方法，其特征在于，所述皮肤镜图像的分割方法包括：
在皮肤镜图像的RGB彩色图像的基础上增加灰度图像信息得到预处理后的皮肤镜图像；
采用轻量级全卷积神经网络作为图像分割模型的基本框架，并且将ResNet50作为轻量级全卷积神经网络的编码阶段，在此过程中，将ResNet50的网络结构和轻量级全卷积神经网络的编码器结构做匹配调整；
在图像分割模型的轻量级全卷积神经网络中采用双重注意力模块将信息进行聚合，以生成通道注意力向量；
构建自适应权重损失模块，利用自适应权重损失函数根据预处理后的皮肤镜图像中分割目标区域的相对面积大小分配不同的权重；
在图像分割模型中建立融合双重注意力模块和自适应权重损失模块的分割网络，在基于轻量级全卷积神经网络的基本框架中，在编码器与解码器的连接处插入双重注意力模块，采用分段平均的方法得到最终权重，进而得到自适应权重损失模块中的自适应权重损失函数；
对融合双重注意力模块和自适应权重损失模块的分割网络的图像分割模型进行训练得到训练后的图像分割模型；
通过训练后的图像分割模型对待分割的皮肤镜图像进行分割，以自动分割出病变区域。
2.根据权利要求1所述的皮肤镜图像的分割方法，其特征在于，在步骤在皮肤镜图像的RGB彩色图像的基础上增加灰度图像信息得到预处理后的皮肤镜图像中，增加灰度图像信息的具体计算公式如下：
Gray＝0.2989*R+0.5870*G+0.1140*B；
其中，Gray表示灰度图像信息。
3.根据权利要求1所述的皮肤镜图像的分割方法，其特征在于，在将ResNet50的网络结构和轻量级全卷积神经网络的编码器结构做匹配调整中，具体包括：移出原始ResNet50最后的平均池化层和全连接层，保持网络的全卷积结构,从而替换轻量级全卷积神经网络中的编码器部分；把ResNet50中第一个7×7卷积层替换为能够保持图像输入大小的两个3×3卷积层，并将第一个卷积层的通道数修改为4。
4.根据权利要求1所述的皮肤镜图像的分割方法，其特征在于，在步骤构建自适应权重损失模块，利用自适应权重损失函数根据预处理后的皮肤镜图像中分割目标区域的相对面积大小分配不同的权重中，具体如下：
自适应权重损失函数利用金标准的先验信息，根据分割目标区域的相对面积大小，给不同图像的损失动态分配权重，小尺度目标分配大权重，大尺度目标分配小权重，自适应权重损失函数中的初始权重如下：
β＝1+(T-α)；
其中，T∈(0，1)，T是划分阈值，图像中病变区域面积占图像总面积大于T则该图像为大目标，图像中病变区域面积占图像总面积小于T则该图像为小目标，β∈(T，T+1)，β表示根据分割目标大小生成的权重。
5.根据权利要求4所述的皮肤镜图像的分割方法，其特征在于，采用分段平均的方法得到最终权重，具体如下：
Figure FDA0002803466770000021
其中，γ表示最终生成的权重系数；
自适应权重损失模块中的自适应权重损失函数Loss的计算公式表示为：
Loss＝γ(1-Dice)；
其中，Dice系数的公式为：
Figure FDA0002803466770000031
其中，X表示分割网络预测的结果，Y表示分割金标准。
6.根据权利要求1所述的皮肤镜图像的分割方法，其特征在于，在步骤对融合双重注意力模块和自适应权重损失模块的分割网络的图像分割模型进行训练得到训练后的图像分割模型中，具体为：
在训练过程中，使用随机旋转的在线皮肤镜图像进行训练；将训练使用的皮肤镜图像的四个通道的像素值全部归一化到0至1之间，并使用Adam优化器来更新网络参数，初始学习率设为1×e-4，批次大小设为4，并且每训练30轮学习率衰减为之前的0.1倍。
7.一种皮肤镜图像的分割装置，包括存储器和处理器，存储器中存储计算机程序，所述计算机程序在被所述处理器执行时，实现以下步骤：如权利要求1至6中任一所述的皮肤镜图像的分割方法。
CN202011358893.9A 2020-11-27 2020-11-27 皮肤镜图像的分割方法及其分割装置 Pending CN112419286A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011358893.9A CN112419286A (zh) 2020-11-27 2020-11-27 皮肤镜图像的分割方法及其分割装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011358893.9A CN112419286A (zh) 2020-11-27 2020-11-27 皮肤镜图像的分割方法及其分割装置

Publications (1)

Publication Number Publication Date
CN112419286A true CN112419286A (zh) 2021-02-26

Family

ID=74843476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011358893.9A Pending CN112419286A (zh) 2020-11-27 2020-11-27 皮肤镜图像的分割方法及其分割装置

Country Status (1)

Country Link
CN (1) CN112419286A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112465A (zh) * 2021-03-31 2021-07-13 上海深至信息科技有限公司 一种颈动脉内中膜分割模型的生成系统及方法
CN113221945A (zh) * 2021-04-02 2021-08-06 浙江大学 基于口腔全景片和双重注意力模块的龋齿识别方法
CN113554668A (zh) * 2021-07-27 2021-10-26 深圳大学 一种皮肤镜图像黑色素瘤分割方法、装置及相关组件
CN114266794A (zh) * 2022-02-28 2022-04-01 华南理工大学 基于全卷积神经网络的病理切片图像癌症区域分割系统
CN114419060A (zh) * 2021-12-01 2022-04-29 华南理工大学 皮肤镜图像分割方法与系统
CN114882018A (zh) * 2022-06-30 2022-08-09 杭州咏柳科技有限公司 一种基于图像的银屑病严重程度的评估系统
CN114903590A (zh) * 2022-04-13 2022-08-16 中南大学湘雅医院 一种莫氏显微手术标记信息处理方法、系统及存储介质
CN115272679A (zh) * 2022-08-08 2022-11-01 北京理工大学 地热有利区的辨识方法、装置、终端及存储介质

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112465A (zh) * 2021-03-31 2021-07-13 上海深至信息科技有限公司 一种颈动脉内中膜分割模型的生成系统及方法
CN113221945A (zh) * 2021-04-02 2021-08-06 浙江大学 基于口腔全景片和双重注意力模块的龋齿识别方法
CN113554668A (zh) * 2021-07-27 2021-10-26 深圳大学 一种皮肤镜图像黑色素瘤分割方法、装置及相关组件
CN113554668B (zh) * 2021-07-27 2022-02-22 深圳大学 一种皮肤镜图像黑色素瘤分割方法、装置及相关组件
CN114419060A (zh) * 2021-12-01 2022-04-29 华南理工大学 皮肤镜图像分割方法与系统
CN114266794B (zh) * 2022-02-28 2022-06-10 华南理工大学 基于全卷积神经网络的病理切片图像癌症区域分割系统
CN114266794A (zh) * 2022-02-28 2022-04-01 华南理工大学 基于全卷积神经网络的病理切片图像癌症区域分割系统
CN114903590A (zh) * 2022-04-13 2022-08-16 中南大学湘雅医院 一种莫氏显微手术标记信息处理方法、系统及存储介质
CN114903590B (zh) * 2022-04-13 2023-10-27 中南大学湘雅医院 一种莫氏显微手术标记信息处理方法、系统及存储介质
CN114882018A (zh) * 2022-06-30 2022-08-09 杭州咏柳科技有限公司 一种基于图像的银屑病严重程度的评估系统
CN114882018B (zh) * 2022-06-30 2022-10-25 杭州咏柳科技有限公司 一种基于图像的银屑病严重程度的评估系统
CN115272679A (zh) * 2022-08-08 2022-11-01 北京理工大学 地热有利区的辨识方法、装置、终端及存储介质
CN115272679B (zh) * 2022-08-08 2024-03-19 北京理工大学 地热有利区的辨识方法、装置、终端及存储介质

Similar Documents

Publication Publication Date Title
CN112419286A (zh) 皮肤镜图像的分割方法及其分割装置
Lim et al. DSLR: Deep stacked Laplacian restorer for low-light image enhancement
Golts et al. Unsupervised single image dehazing using dark channel prior loss
Fu et al. Uncertainty inspired underwater image enhancement
CN107590791B (zh) 图像增强方法以及图像处理装置
CN110503614B (zh) 一种基于稀疏字典学习的磁共振图像去噪方法
CN109816666B (zh) 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质
CN113793348B (zh) 一种视网膜血管分割方法和装置
Zhao et al. Deep fully convolutional regression networks for single image haze removal
Kwon et al. Dale: Dark region-aware low-light image enhancement
CN114897780A (zh) 一种基于mip序列的肠系膜上动脉血管重建方法
CN110599585A (zh) 基于深度学习的单图像人体三维重建方法及装置
Rivadeneira et al. Thermal image super-resolution challenge-pbvs 2021
CN114897694A (zh) 基于混合注意力和双层监督的图像超分辨率重建方法
Li et al. Flexible piecewise curves estimation for photo enhancement
CN115457359A (zh) 基于自适应对抗生成网络的pet-mri图像融合方法
US20130084025A1 (en) Method for Brightness Correction of Defective Pixels of Digital Monochrome Image
CN116739899A (zh) 基于saugan网络的图像超分辨率重建方法
CN111383759A (zh) 一种肺炎自动诊断系统
Tan et al. High dynamic range imaging for dynamic scenes with large-scale motions and severe saturation
Shukla et al. Adaptive fractional masks and super resolution based approach for image enhancement
CN111563858B (zh) 基于深度卷积神经网络的人类胚胎心脏超声图像的去噪方法
CN111667407B (zh) 一种深度信息引导的图像超分辨率方法
Zhu et al. MRI enhancement based on visual-attention by adaptive contrast adjustment and image fusion
CN116452431A (zh) 基于多分支渐进式深度网络的弱光图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination