CN109712111A - 一种皮肤癌种类识别方法、系统、计算机设备和存储介质 - Google Patents
一种皮肤癌种类识别方法、系统、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN109712111A CN109712111A CN201811395397.3A CN201811395397A CN109712111A CN 109712111 A CN109712111 A CN 109712111A CN 201811395397 A CN201811395397 A CN 201811395397A CN 109712111 A CN109712111 A CN 109712111A
- Authority
- CN
- China
- Prior art keywords
- image
- lesion
- focal area
- training
- densenet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及皮肤癌种类识别方法、系统、计算机设备和存储介质，方法包括：训练U‑Net分割模型、DenseNet分类模型；通过U‑Net分割模型形成病灶区域掩膜；获取病灶区域图像；通过DenseNet分类模型依据提取的病灶分类特征信息对病灶区域图像进行识别和分类。依据图像识别对皮肤癌病症种类进行区分，减少了皮肤图像中其它干扰因素的影响，提取的分类特征信息更加精细且更集中于病灶部位，大大提升了皮肤癌分类的准确率。
Description
技术领域
本申请涉及图像处理领域，特别是一种皮肤癌种类识别方法、系统、计算机设备和存储介质。
背景技术
皮肤癌是一个主要的公共健康问题，在美国每年有超过500万的新诊断病例。例如，黑素瘤是最致命的皮肤癌，导致绝大多数皮肤癌患者死亡。2015年，全球黑素瘤发病率估计超过35万例，近6万人死亡。尽管死亡率很高，但如果及早发现，黑色素瘤病患的存活率将超过95％。黑色素瘤是在皮肤表面发生的色素病变，通过专家的肉眼检查可以及早发现。它还可以通过图像分析进行自动检测。皮肤镜检查是一种消除皮肤表面反射的成像技术。通过去除表面反射，可以增强皮肤深层的视觉效果。先前的研究表明，当专家或者皮肤科医生使用皮肤镜时，与标准的摄影相比，它能提高诊断的准确性。
随着便宜的消费级皮肤镜设备开始进入市场，通过图像分析对皮肤癌种类进行识别越来越受到大众的青睐。但是现有的基于图像分析的皮肤癌种类识别方法易受图像中病灶周围干扰因素的影响，皮肤癌分类的准确率低；且难以实现对多种类别皮肤癌的准确区分。
发明内容
基于此，有必要针对现有基于图像分析的皮肤癌种类识别方法易受图像中病灶周围干扰因素的影响，皮肤癌分类的准确率低等问题，提供一种皮肤癌种类识别方法、系统、计算机设备和存储介质。
一种皮肤癌种类识别方法，具体包括如下步骤：
采集训练用皮肤图像，从训练用皮肤图像中提取病灶分割特征信息及病灶分类特征信息，依据病灶分割特征信息训练U-Net分割模型，依据病灶分类特征信息训练DenseNet分类模型；
采集待识别的皮肤图像，通过U-Net分割模型依据待识别的皮肤图像的病灶分割特征信息生成病灶区域掩膜；
依据病灶区域掩膜从待识别的皮肤图像中分割出病灶区域图像；
通过DenseNet分类模型从病灶区域图像中提取病灶分类特征信息，并依据提取的病灶分类特征信息对病灶区域图像进行识别和分类。
在一个实施例中，所述依据病灶分割特征信息训练U-Net分割模型包括：
搭建U-Net分割模型；
分别对若干训练用皮肤图像进行预处理；
获取各训练用皮肤图像所对应的病灶区域掩膜样本；
将预处理后的各训练用皮肤图像的病灶分割特征信息分别输入至U-Net分割模型，依据病灶分割特征信息进行病灶分割训练；
在病灶分割训练过程中，依据各训练用皮肤图像的病灶区域掩膜样本不断更新U-Net分割模型各层的参数，直至U-Net分割模型生成的病灶区域掩膜达到预设要求。
在一个实施例中，所述依据病灶分类特征信息训练DenseNet分类模型包括：
搭建DenseNet分类模型；
通过训练好的U-Net分割模型从若干训练用皮肤图像中分别分割出训练用病灶区域图像；训练用病灶区域图像包含病灶分类特征信息；
分别对各训练用病灶区域图像进行预处理；
获取各训练用病灶区域图像所对应的类别标签；
将预处理后的各训练用病灶区域图像的病灶分类特征信息分别输入至DenseNet分类模型，依据病灶分类特征信息进行分类训练；
在分类训练过程中，依据各训练用病灶区域图像的类别标签不断更新DenseNet分类模型各层的参数，直至DenseNet分类模型对训练用病灶区域图像的病灶分类能力达到预设要求。
在一个实施例中，所述依据病灶区域掩膜从待识别的皮肤图像中分割出病灶区域图像包括：
通过病灶区域掩膜覆盖待识别的皮肤图像；
依据病灶区域掩膜从待识别的皮肤图像中识别出环绕病灶所在区域的外接矩形区域；
从待识别的皮肤图像中分割出该外接矩形区域的图像。
在一个实施例中，所述依据各训练用皮肤图像的病灶区域掩膜样本不断更新U-Net分割模型各层的参数包括：
输入的病灶分割特征信息在U-Net分割模型内部运行前向传输；利用U-Net分割模型各层的初始参数，得到U-Net分割模型输出的病灶区域掩膜；
以相应的病灶区域掩膜样本为参考，通过损失函数计算得到U-Net分割模型输出的病灶区域掩膜的第一误差；
采用反向传导法依据所述第一误差更新U-Net分割模型各层的参数。
在一个实施例中，所述依据各训练用病灶区域图像的类别标签不断更新DenseNet分类模型各层的参数包括：
输入的病灶分类特征信息在DenseNet分割模型内部运行前向传输；利用DenseNet分割模型各层的初始参数，得到DenseNet分类模型输出的分类结果；
以相应的类别标签为参考，通过加权交叉熵损失函数计算得到DenseNet分类模型输出的分类结果的第二误差；
采用反向传导法依据所述第二误差更新DenseNet分类模型模型各层的参数。
在一个实施例中，所述依据病灶区域掩膜从待识别的皮肤图像中识别出环绕病灶所在区域的外接矩形区域包括：
建立病灶区域掩膜的二维坐标系；
提取病灶区域掩膜各顶点中的最大横坐标点、最小横坐标点、最大纵坐标点、最小纵坐标点；
将二维坐标系中过最小横坐标点的纵向线、过最大横坐标点的纵向线、过最小纵坐标点的横向线、过最大纵坐标点的横向线所围成的封闭区域确定为所述外接矩形区域。
基于相同的技术构思，本申请还提供了一种皮肤癌种类识别系统，包括模型训练单元、掩膜生成单元、病灶图像获取单元、病灶图像分类单元；
所述模型训练单元，设置为采集训练用皮肤图像，从训练用皮肤图像中提取病灶分割特征信息及病灶分类特征信息，依据病灶分割特征信息训练U-Net分割模型，依据病灶分类特征信息训练DenseNet分类模型；
所述掩膜生成单元，设置为采集待识别的皮肤图像，通过U-Net分割模型依据待识别的皮肤图像的病灶分割特征信息生成病灶区域掩膜；
所述病灶图像获取单元，设置为依据病灶区域掩膜从待识别的皮肤图像中分割出病灶区域图像；
所述病灶图像分类单元，设置为通过DenseNet分类模型从病灶区域图像中提取病灶分类特征信息，并依据提取的病灶分类特征信息对病灶区域图像进行识别和分类。
基于相同的技术构思，本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述皮肤癌种类识别方法的步骤。
基于相同的技术构思，本申请还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述皮肤癌种类识别方法的步骤。
上述皮肤癌种类识别方法、系统、计算机设备和存储介质，依据训练用皮肤图像的病灶特征信息训练得到U-Net分割模型和DenseNet分类模型；将U-Net分割模型和DenseNet分类模型级联；然后通过U-Net分割模型依据病灶特征信息对皮肤图像进行病灶区域提取，再通过DenseNet分类模型依据病灶特征信息对提取的病灶区域进行识别分类，最终实现对皮肤癌准确的自动分类。依据图像识别对皮肤癌病症种类进行区分，减少了皮肤图像中其它干扰因素的影响，提取的分类特征信息更加精细且更集中于病灶部位，大大提升了皮肤癌分类的准确率；可以辅助医生进行更精确的病灶分析和诊断。训练中，采用加权的交叉熵损失函数，增加DenseNet分类模型中对少数类图像的分错的权重，提升少数类图像的分类效果，从而实现对多种类型的皮肤癌进行准确识别分类。最小面积的矩形区域信息规整，容易建立，且最小面积的矩形区域保留了病灶区域的完整信息，尽可能的排除病灶区域周围干扰物的影响，为皮肤癌的准确诊断提供保证。
附图说明
通过详细阅读下文优选实施方式的详细描述，各种其他的有点和益处对于本领域内普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是本申请的限制。
图1为本申请一个实施例中一种皮肤癌种类识别方法的流程图；
图2为本申请一个实施例中U-Net分割模型训练方法的流程图；
图3为本申请一个实施例中DenseNet分类模型训练方法的流程图；
图4为本申请一个实施例中病灶区域图像获取方法的流程图；
图5为本申请一个实施例中一种皮肤癌种类识别系统的结构示意图；
图6为本申请一个实施例中模型训练单元的结构示意图；
图7为本申请一个实施例中病灶图像获取单元的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可以包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、程序、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、程序、步骤、操作、元件、组件和/或它们的组。
图1为本申请一个实施例中一种皮肤癌种类识别的流程图，如图1所示，所述皮肤癌种类识别方法，可以包括如下步骤S1-S4：
S1、训练模型：采集训练用皮肤图像，从训练用皮肤图像中提取病灶分割特征信息及病灶分类特征信息，依据病灶分割特征信息训练U-Net分割模型，依据病灶分类特征信息训练DenseNet分类模型。
如图2所示，在一个实施例中，训练U-Net分割模型的步骤包含步骤S111-S115：
S111:搭建U-Net分割模型。
S112:分别对若干训练用皮肤图像进行预处理。
训练用皮肤图像预处理依次包含图像降噪、图像尺寸调整、图像旋转、图像翻转。
S113:获取各训练用皮肤图像所对应的病灶区域掩膜样本。
病灶区域掩膜是指示皮肤图像中病灶区域的二值掩码，形式上是一张只有黑色和白色的与原图像“大小相同的图像”，白色部分表示皮肤图像中的病灶区域，这样，通过掩膜可以将皮肤图像中的病灶区域与其它区域区分开来；通过病灶区域掩膜各数值与皮肤图像的相应数值进行与运算，即可将病灶区域图像从原皮肤图像提取出来。
每个训练用皮肤图像预先的设置好病灶区域掩膜样本，用以告知U-Net分割模型在训练过程中实际生成的病灶区域掩膜与病灶区域掩膜样本之间的偏差有多大，这样，U-Net分割模型就可以依据偏差大小做自我参数调整，达到训练目的。
S114:将预处理后的各训练用皮肤图像的病灶分割特征信息分别输入至U-Net分割模型，依据病灶分割特征信息进行病灶分割训练。
S115:在病灶分割训练过程中，依据各训练用皮肤图像的病灶区域掩膜样本不断更新U-Net分割模型各层的参数，直至U-Net分割模型生成的病灶区域掩膜达到预设要求。
训练后的U-Net分割模型能够输出与待识别的皮肤图像中病灶区域相对应的掩膜。可以利用掩膜把待识别的皮肤图像中病灶所在区域的矩形区域截取出来。U-Net分割模型得名于它的形状，像一个英文字母“U”；一边是一个从上到下，一步一步从原始图像抽取特征(即原始图像本质信息)的过程；另边是一个从下到上，一步一步从图像本质特征还原目标信息的过程。整个U-Net网络里用的全部都是卷积神经网络结构。
在一个实施例中，步骤S115包含以下步骤S1151-S1153：
S1151：输入的病灶分割特征信息在U-Net分割模型内部运行前向传输；利用U-Net分割模型各层的初始参数，得到U-Net分割模型输出的病灶区域掩膜。
S1152：以相应的病灶区域掩膜样本为参考，通过损失函数计算得到U-Net分割模型输出的病灶区域掩膜的第一误差。
S1153：采用反向传导法依据所述第一误差更新U-Net分割模型各层的参数。重复训练，直至U-Net分割模型内部网络收敛。
较佳地，步骤S1152中的损失函数的函数表达式为：
J_loss＝-J(A，B)；
其中，A表示图像标记的病灶区域，B表示U-Net分割模型的预测区域，J(A，B)表示相似性系数(或称jaccard系数)。
其函数意义，给定两个集合A、B，jaccard系数定义为A与B交集的大小与并集大小的比值，jaccard值越大说明相似度越高。该损失函数值J_loss为负的jaccard系数，即J_loss＝-J(A,B)。
U-Net分割模型训练用图像共2595张，其中，80％用于训练，20％用于训练验证。图像需要resize到128*128的大小，并做旋转90、180、270度以及水平和垂直翻转操作，来进行数据增强。U-Net模型训练时，采用Adam优化器来控制学习速度，初始学习率设置为0.0001,batch size为16，利用反向传导法则更新分割模型各层的参数。
如图3所示，在一个实施例中，训练DenseNet分类模型的步骤包含以下步骤S121-S126：
S121:搭建DenseNet分类模型。
S122:通过训练好的U-Net分割模型从若干训练用皮肤图像中分别分割出训练用病灶区域图像；训练用病灶区域图像包含病灶分类特征信息。
训练用病灶区域图像即U-Net分割模型从训练用皮肤图像分割出的病灶区域图像，用于对DenseNet分类模型进行训练。
S124:分别对各训练用病灶区域图像进行预处理。
训练用病灶区域图像预处理依次包含图像降噪、图像尺寸调整、图像旋转、图像翻转。
S124:获取各训练用病灶区域图像所对应的类别标签。
每个训练用病灶区域图像都有相应的类别标签，类别标签依据训练用病灶区域图像中的皮肤癌种类设置，预先标记好各训练用病灶区域图像正确的分类结果，用以告知DenseNet分类模型在训练过程中实际分类结果与正确的分类结果之间的偏差有多大，这样，DenseNet分类模型就可以依据偏差大小做自我参数调整，达到训练目的。
各训练用病灶区域图像带有不同种类的皮肤癌，依据皮肤癌的种类对各训练用病灶区域图像进行标记，训练用病灶区域图像标记的分类结果形式上是“图像名类别”的文本信息。
S125:将预处理后的各训练用病灶区域图像的病灶分类特征信息分别输入至DenseNet分类模型，依据病灶分类特征信息进行分类训练。
S126:在分类训练过程中，依据各训练用病灶区域图像的类别标签不断更新DenseNet分类模型各层的参数，直至DenseNet分类模型对训练用病灶区域图像的病灶分类能力达到预设要求。
本实施例中，DenseNet分类模型的算法公式为：
xl＝Hl([x0,x1,...,xl-1])；
其中，l表示模型的层数；[x0,x1,…,xl-1]表示将0到l-1层的输出feature map做concatenation；concatenation是做通道的合并；Hl(·)为复合函数，是三个操作的组合运算：BN(平衡网络)-->ReLU(激活函数)-->3*3的卷积。
DenseNet分类模型借鉴了ResNet的思想，用dense connectivity(稠密连通性)的方式更加缩短了头尾之间层的连接，使得在前向传播过程中，每一层都与其他所有层相连，于是一个有L层的DenseNet就有L(L+1)/2个连接，每一层都将之前所有层输出的featuremap连结起来作为自己的输入，然后再把自己的输出输送给之后的所有层。DenseNet分类模型可以调整部分卷积层的个数来改变整个网络的层数。优选地，本实施例选取的是121层的DenseNet网络模型。
在一个实施例中，步骤S126包含以下步骤S1261-S1263：
S1261：输入的病灶分类特征信息在DenseNet分割模型内部运行前向传输；利用DenseNet分割模型各层的初始参数，得到DenseNet分类模型输出的分类结果。
S1262：以相应的类别标签为参考，通过加权交叉熵损失函数计算得到DenseNet分类模型输出的分类结果的第二误差。
S1263：采用反向传导法依据所述第二误差更新DenseNet分类模型模型各层的参数。重复训练，直至DenseNet分类模型内部网络收敛。
DenseNet分类模型训练用病灶区域图像共10000张，其中，80％用于训练，20％用作验证。图像需要resize到224*224的大小，并做旋转90、180、270度，以及水平和垂直翻转操作来，进行数据增强。DenseNet分类模型训练时，采用Adam优化器来控制学习速度，初始学习率设置为0.0001,batch size为8，利用反向传导法则更新各个模型各层的参数。由于7类图像非常不平衡，损失函数使用加权的交叉熵损失函数(Weighted Cross EntropyLoss)。
通过神经网络解决多分类问题时，最常用的一种方式就是在最后一层设置n个输出节点。一般情况下，最后一个输出层的节点个数与分类任务的目标数相等。假设最后的节点数为N，那么对于每一个样例，神经网络可以得到一个N维的数组作为输出结果，数组中每一个维度会对应一个类别。在最理想的情况下，如果一个样本属于k，那么这个类别所对应的的输出节点的输出值应该为1，而其他节点的输出都为0，即[0,0,1,0,…0,0]，这个数组也就是样本的Label(标记)，是神经网络最期望的输出结果，交叉熵损失函数用以判定实际的输出与期望的输出的接近程度。
优选地，本实施例采用的加权交叉熵损失函数的公式为：
其中，yk表示DenseNet分类模型输出的预测类别，tk表示图像标记的分类结果。
训练用病灶区域图像中多种类别的数据分别非常不平衡，某些类别的训练数据过少，修改交叉熵不同类别损失(loss)的权重，要增加少数类的分错的权重，提升少数类的分类效果，就是在交叉熵损失函数里面对应的少数类乘上一个系数a。
假设k个类图像里面，第i类是少数类，为了加大分错第i类的成本，在交叉熵上给第i类乘以一个大于1的系数，这样如果分错第i类的话，交叉熵损失(loss)就会增加。在训练时，各个类别的训练用病灶区域图像权重是给定的，比如[1,1,1,1,3,5,7]，后三类是样本数量少的三类。
较佳地，DenseNet分类模型训练用图像共7类，包含黑色素瘤(Melanoma)、黑素细胞痣(Melanocytic nevus)、基底细胞瘤(Basal cell carcinoma)、光线性角化病(Actinickeratosis/Bowen’s disease)、良性角化病(Benign keratosis)、皮肤纤维瘤(Dermatofibroma)、血管病变(Vascular lesion)的图像；这是皮肤癌的常见的7个类别，本实施例不局限于这7各类别皮肤癌的识别分类，可以进行扩展或减少。不同的皮肤癌图像具有不同的特征信息，依据这些特征信息对皮肤癌的种类进行识别和分类。如果DenseNet分类模型对某皮肤图像识别结果不在所训练的类别之内，会将该识别的皮肤图像归类为‘其它’。
S2、生成病灶区域掩膜：采集待识别的皮肤图像，通过U-Net分割模型依据待识别的皮肤图像的病灶分割特征信息生成病灶区域掩膜。
获取待识别的皮肤图像，将待识别的皮肤图像尺寸大小调整到预设大小，U-Net分割模型从待识别的皮肤图像中获取病灶分割特征信息，依据病灶分割特征信息生成相应的病灶区域掩膜。
S3、获取病灶区域图像：依据病灶区域掩膜从待识别的皮肤图像中分割出病灶区域图像。将分割出的病灶区域图像传送至DenseNet分类模型。
如图4所示，在一个实施例中，步骤3包含以下步骤S31-S33：
S31：通过病灶区域掩膜覆盖待识别的皮肤图像。
病灶区域掩膜‘遮盖’住皮肤图像的其它区域，‘显露’出病灶区域，这样就可以对病灶区域进行分割。
S32：依据病灶区域掩膜从待识别的皮肤图像中识别出环绕病灶所在区域的外接矩形区域。
S33：从待识别的皮肤图像中分割出该外接矩形区域的图像，即为病灶区域图像。
在一个实施例中，步骤S32包含以下步骤S321-S323：
S321：建立病灶区域掩膜的二维坐标系。
S322：提取病灶区域掩膜各顶点中的最大横坐标点、最小横坐标点、最大纵坐标点、最小纵坐标点。
S323：将二维坐标系中过最小横坐标点的纵向线、过最大横坐标点的纵向线、过最小纵坐标点的横向线、过最大纵坐标点的横向线所围成的封闭区域确定为所述外接矩形区域。
该外接矩形区域依据病灶二维形状各顶点中的最大横坐标点、最小横坐标点、最大纵坐标点、最小纵坐标点设定边界的矩形。这样可以通过简单的算法最大程度的将病灶区域的全部信息特征提取出来，同时可以最大程度的排除病灶区域周围组织图像或其它杂物图像的干扰，为DenseNet分类模型提供了信息完整的放大图像。
S4、对病灶区域图像识别分类：通过DenseNet分类模型从病灶区域图像中提取病灶分类特征信息，并依据提取的病灶分类特征信息对病灶区域图像进行识别和分类。
不同的皮肤癌的特征不同，每种皮肤癌在不同的时期所呈现的特征也不同，将病灶区域图像尺寸大小调整到预设大小，DenseNet分类模型从病灶区域图像中获取病灶分类特征信息，依据病灶分类特征信息对病灶区域图像进行识别和分类。
上述实施例，U-Net分割模型对待识别的皮肤图像进行分割，得到能显示病灶位置的掩膜，根据掩膜把病灶所在区域的矩形区域截取出来，用于DenseNet分类模型的识别与分类。
U-Net分割模型对DenseNet分类模型的所需数据进行预测，从皮肤镜原始图像中裁取病灶区域，排除掉皮肤镜原始图像中染色、水珠、毛发等周围因素对病灶区域的干扰，以更大的图像分辨率把带有病灶的图像送入DenseNet分类模型，提取更加精细的特征用于DenseNet分类模型的病灶分类。
如图5所示，基于相同的技术构思，本申请还提供了一种皮肤癌种类识别系统，该系统包括模型训练单元1、掩膜生成单元2、病灶图像获取单元3、病灶图像分类单元4。
所述模型训练单元1，设置为采集训练用皮肤图像，从训练用皮肤图像中提取病灶分割特征信息及病灶分类特征信息，依据病灶分割特征信息训练U-Net分割模型，依据病灶分类特征信息训练DenseNet分类模型。
所述掩膜生成单元2，设置为采集待识别的皮肤图像，通过U-Net分割模型依据待识别的皮肤图像的病灶分割特征信息生成病灶区域掩膜。
所述病灶图像获取单元3，设置为依据病灶区域掩膜从待识别的皮肤图像中分割出病灶区域图像。
所述病灶图像分类单元4，设置为通过DenseNet分类模型从病灶区域图像中提取病灶分类特征信息，并依据提取的病灶分类特征信息对病灶区域图像进行识别和分类。
如图6所示，所述模型训练单元1包含U-Net分割模型训练子单元11和DenseNet分类模型训练子单元12。
在一个实施例中，U-Net分割模型训练子单元11包含第一模型搭建模块、第一图像处理模块、掩膜样本获取模块、分割特征信息输入模块、第一参数训练模块。
所述第一模型搭建模块，设置为搭建U-Net分割模型。
所述第一图像处理模块，设置为分别对若干训练用皮肤图像进行预处理。
所述掩膜样本获取模块，设置为获取各训练用皮肤图像所对应的病灶区域掩膜样本。
所述分割特征信息输入模块，设置为将预处理后的各训练用皮肤图像的病灶分割特征信息分别输入至U-Net分割模型，依据病灶分割特征信息进行病灶分割训练。
所述第一参数训练模块，设置为在病灶分割训练过程中，依据各训练用皮肤图像的病灶区域掩膜样本不断更新U-Net分割模型各层的参数，直至U-Net分割模型生成的病灶区域掩膜达到预设要求。
在一个实施例中，DenseNet分类模型训练子单元12包含第二模型搭建模块、分类训练图像获取模块、第二图像处理模块、分类标签获取模块、分类特征信息输入模块、第二参数训练模块。
所述第二模型搭建模块，设置为搭建DenseNet分类模型。
所述分类训练图像获取模块，设置为通过训练好的U-Net分割模型从若干训练用皮肤图像中分别分割出训练用病灶区域图像；训练用病灶区域图像包含病灶分类特征信息。
所述第二图像处理模块，设置为分别对各训练用病灶区域图像进行预处理。
所述分类标签获取模块，设置为获取各训练用病灶区域图像所对应的类别标签。
所述分类特征信息输入模块，设置为将预处理后的各训练用病灶区域图像的病灶分类特征信息分别输入至DenseNet分类模型，依据病灶分类特征信息进行分类训练。
所述第二参数训练模块，设置为在分类训练过程中，依据各训练用病灶区域图像的类别标签不断更新DenseNet分类模型各层的参数，直至DenseNet分类模型对训练用病灶区域图像的病灶分类能力达到预设要求。
如图7所示，在一个实施例中，所述病灶图像获取单元3包含皮肤图像覆盖子单元31、矩形区域识别子单元32、矩形区域分割子单元33。
所述皮肤图像覆盖子单元31，设置为通过病灶区域掩膜覆盖待识别的皮肤图像。
所述矩形区域识别子单元32，设置为依据病灶区域掩膜从待识别的皮肤图像中识别出环绕病灶所在区域的外接矩形区域。
所述矩形区域分割子单元33，设置为从待识别的皮肤图像中分割出该外接矩形区域的图像，即为病灶区域图像。
上述实施例，U-Net分割模型对待识别的皮肤图像进行分割，得到能显示病灶位置的掩膜，根据掩膜把病灶所在区域的矩形区域截取出来，用于DenseNet分类模型的识别与分类。
U-Net分割模型对DenseNet分类模型的所需数据进行预测，从皮肤镜原始图像中裁取病灶区域，排除掉皮肤镜原始图像中染色、水珠、毛发等周围因素对病灶区域的干扰，以更大的图像分辨率把带有病灶的图像送入DenseNet分类模型，提取更加精细的特征用于DenseNet分类模型的病灶分类。
基于相同的技术构思，本申请还提出了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现以下步骤：采集训练用皮肤图像，从训练用皮肤图像中提取病灶分割特征信息及病灶分类特征信息，依据病灶分割特征信息训练U-Net分割模型，依据病灶分类特征信息训练DenseNet分类模型；采集待识别的皮肤图像，通过U-Net分割模型依据待识别的皮肤图像的病灶分割特征信息生成病灶区域掩膜；依据病灶区域掩膜从待识别的皮肤图像中分割出病灶区域图像；通过DenseNet分类模型从病灶区域图像中提取病灶分类特征信息，并依据提取的病灶分类特征信息对病灶区域图像进行识别和分类。
基于相同的技术构思，本申请还提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：采集训练用皮肤图像，从训练用皮肤图像中提取病灶分割特征信息及病灶分类特征信息，依据病灶分割特征信息训练U-Net分割模型，依据病灶分类特征信息训练DenseNet分类模型；采集待识别的皮肤图像，通过U-Net分割模型依据待识别的皮肤图像的病灶分割特征信息生成病灶区域掩膜；依据病灶区域掩膜从待识别的皮肤图像中分割出病灶区域图像；通过DenseNet分类模型从病灶区域图像中提取病灶分类特征信息，并依据提取的病灶分类特征信息对病灶区域图像进行识别和分类。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种皮肤癌种类识别方法，其特征在于，包括以下步骤：
采集训练用皮肤图像，从训练用皮肤图像中提取病灶分割特征信息及病灶分类特征信息，依据病灶分割特征信息训练U-Net分割模型，依据病灶分类特征信息训练DenseNet分类模型；
采集待识别的皮肤图像，通过U-Net分割模型依据待识别的皮肤图像的病灶分割特征信息生成病灶区域掩膜；
依据病灶区域掩膜从待识别的皮肤图像中分割出病灶区域图像；
通过DenseNet分类模型从病灶区域图像中提取病灶分类特征信息，并依据提取的病灶分类特征信息对病灶区域图像进行识别和分类。
2.根据权利要求1所述的一种皮肤癌种类识别方法，其特征在于，所述依据病灶分割特征信息训练U-Net分割模型，包括：
搭建U-Net分割模型；
分别对若干训练用皮肤图像进行预处理；
获取各训练用皮肤图像所对应的病灶区域掩膜样本；
将预处理后的各训练用皮肤图像的病灶分割特征信息分别输入至U-Net分割模型，依据病灶分割特征信息进行病灶分割训练；
在病灶分割训练过程中，依据各训练用皮肤图像的病灶区域掩膜样本不断更新U-Net分割模型各层的参数，直至U-Net分割模型生成的病灶区域掩膜达到预设要求。
3.根据权利要求1所述的一种皮肤癌种类识别方法，其特征在于，所述依据病灶分类特征信息训练DenseNet分类模型，包括：
搭建DenseNet分类模型；
通过训练好的U-Net分割模型从若干训练用皮肤图像中分别分割出训练用病灶区域图像；训练用病灶区域图像包含病灶分类特征信息；
分别对各训练用病灶区域图像进行预处理；
获取各训练用病灶区域图像所对应的类别标签；
将预处理后的各训练用病灶区域图像的病灶分类特征信息分别输入至DenseNet分类模型，依据病灶分类特征信息进行分类训练；
在分类训练过程中，依据各训练用病灶区域图像的类别标签不断更新DenseNet分类模型各层的参数，直至DenseNet分类模型对训练用病灶区域图像的病灶分类能力达到预设要求。
4.根据权利要求1所述的一种皮肤癌种类识别方法，其特征在于，所述依据病灶区域掩膜从待识别的皮肤图像中分割出病灶区域图像，包括：
通过病灶区域掩膜覆盖待识别的皮肤图像；
依据病灶区域掩膜从待识别的皮肤图像中识别出环绕病灶所在区域的外接矩形区域；
从待识别的皮肤图像中分割出该外接矩形区域的图像。
5.根据权利要求2所述的一种皮肤癌种类识别方法，其特征在于，所述依据各训练用皮肤图像的病灶区域掩膜样本不断更新U-Net分割模型各层的参数，包括：
输入的病灶分割特征信息在U-Net分割模型内部运行前向传输；利用U-Net分割模型各层的初始参数，得到U-Net分割模型输出的病灶区域掩膜；
以相应的病灶区域掩膜样本为参考，通过损失函数计算得到U-Net分割模型输出的病灶区域掩膜的第一误差；
采用反向传导法依据所述第一误差更新U-Net分割模型各层的参数。
6.根据权利要求3所述的一种皮肤癌种类识别方法，其特征在于，所述依据各训练用病灶区域图像的类别标签不断更新DenseNet分类模型各层的参数，包括：
输入的病灶分类特征信息在DenseNet分割模型内部运行前向传输；利用DenseNet分割模型各层的初始参数，得到DenseNet分类模型输出的分类结果；
以相应的类别标签为参考，通过加权交叉熵损失函数计算得到DenseNet分类模型输出的分类结果的第二误差；
采用反向传导法依据所述第二误差更新DenseNet分类模型模型各层的参数。
7.根据权利要求4所述的一种皮肤癌种类识别方法，其特征在于，所述依据病灶区域掩膜从待识别的皮肤图像中识别出环绕病灶所在区域的外接矩形区域包括：
建立病灶区域掩膜的二维坐标系；
提取病灶区域掩膜各顶点中的最大横坐标点、最小横坐标点、最大纵坐标点、最小纵坐标点；
将二维坐标系中过最小横坐标点的纵向线、过最大横坐标点的纵向线、过最小纵坐标点的横向线、过最大纵坐标点的横向线所围成的封闭区域确定为所述外接矩形区域。
8.一种皮肤癌种类识别系统，其特征在于，包括模型训练单元、掩膜生成单元、病灶图像获取单元、病灶图像分类单元；
所述模型训练单元，设置为采集训练用皮肤图像，从训练用皮肤图像中提取病灶分割特征信息及病灶分类特征信息，依据病灶分割特征信息训练U-Net分割模型，依据病灶分类特征信息训练DenseNet分类模型；
所述掩膜生成单元，设置为采集待识别的皮肤图像，通过U-Net分割模型依据待识别的皮肤图像的病灶分割特征信息生成病灶区域掩膜；
所述病灶图像获取单元，设置为依据病灶区域掩膜从待识别的皮肤图像中分割出病灶区域图像；
所述病灶图像分类单元，设置为通过DenseNet分类模型从病灶区域图像中提取病灶分类特征信息，并依据提取的病灶分类特征信息对病灶区域图像进行识别和分类。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述皮肤癌种类识别方法的步骤。
10.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述皮肤癌种类识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811395397.3A CN109712111A (zh) | 2018-11-22 | 2018-11-22 | 一种皮肤癌种类识别方法、系统、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811395397.3A CN109712111A (zh) | 2018-11-22 | 2018-11-22 | 一种皮肤癌种类识别方法、系统、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109712111A true CN109712111A (zh) | 2019-05-03 |
Family
ID=66254392
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811395397.3A Pending CN109712111A (zh) | 2018-11-22 | 2018-11-22 | 一种皮肤癌种类识别方法、系统、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109712111A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110661A (zh) * | 2019-05-07 | 2019-08-09 | 西南石油大学 | 一种基于unet分割的岩石图像孔隙类型识别方法 |
| CN110189308A (zh) * | 2019-05-17 | 2019-08-30 | 山东财经大学 | 一种基于bm3d和稠密卷积网络融合的肿瘤检测方法和装置 |
| CN110610756A (zh) * | 2019-07-26 | 2019-12-24 | 赛诺威盛科技（北京）有限公司 | 基于dicom图像信息实现胶片自动分类打印的方法 |
| CN110866931A (zh) * | 2019-11-18 | 2020-03-06 | 东声(苏州)智能科技有限公司 | 图像分割模型训练方法及基于分类的强化图像分割方法 |
| CN110880182A (zh) * | 2019-11-18 | 2020-03-13 | 东声(苏州)智能科技有限公司 | 图像分割模型训练方法、图像分割方法、装置及电子设备 |
| CN111179193A (zh) * | 2019-12-26 | 2020-05-19 | 苏州斯玛维科技有限公司 | 基于DCNNs和GANs的皮肤镜图像增强和分类方法 |
| CN111209916A (zh) * | 2019-12-31 | 2020-05-29 | 中国科学技术大学 | 病灶识别方法及系统、识别设备 |
| CN111275703A (zh) * | 2020-02-27 | 2020-06-12 | 腾讯科技（深圳）有限公司 | 图像检测方法、装置、计算机设备和存储介质 |
| CN111951235A (zh) * | 2020-07-31 | 2020-11-17 | 湘潭大学 | 基于深度学习的皮肤图像处理方法 |
| CN112070757A (zh) * | 2020-09-16 | 2020-12-11 | 重庆康盛医道信息科技有限公司 | 基于深度学习算法的皮肤过敏原点刺自动检测分析方法 |
| CN112150449A (zh) * | 2020-09-29 | 2020-12-29 | 太原理工大学 | 一种脑卒中病灶分割方法和系统 |
| WO2020259209A1 (zh) * | 2019-06-26 | 2020-12-30 | 平安科技（深圳）有限公司 | 眼底图像识别方法、装置、设备和存储介质 |
| CN113140290A (zh) * | 2020-12-17 | 2021-07-20 | 慧影医疗科技（北京）有限公司 | 模型训练方法、装置、病灶识别方法及电子设备 |
| CN114972215A (zh) * | 2022-05-11 | 2022-08-30 | 平安科技（深圳）有限公司 | 病灶图像的分割方法、装置、设备及存储介质 |
| CN115984188A (zh) * | 2022-12-09 | 2023-04-18 | 脉得智能科技(无锡)有限公司 | 皮肤病多病种超声图像识别方法、识别设备、存储介质 |
| CN116416239A (zh) * | 2023-04-13 | 2023-07-11 | 中国人民解放军海军军医大学第一附属医院 | 胰腺ct图像分类方法、图像分类模型、电子设备及介质 |
| CN116486196A (zh) * | 2023-03-17 | 2023-07-25 | 哈尔滨工业大学（深圳） | 病灶分割模型训练方法、病灶分割方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101969852A (zh) * | 2008-03-04 | 2011-02-09 | 断层放疗公司 | 用于改进图像分割的方法和系统 |
| CN108682015A (zh) * | 2018-05-28 | 2018-10-19 | 科大讯飞股份有限公司 | 一种生物图像中的病灶分割方法、装置、设备及存储介质 |
| CN108846432A (zh) * | 2018-06-06 | 2018-11-20 | 深圳神目信息技术有限公司 | 一种基于深度学习对胸部ct影像的分类方法 |
-
2018
- 2018-11-22 CN CN201811395397.3A patent/CN109712111A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101969852A (zh) * | 2008-03-04 | 2011-02-09 | 断层放疗公司 | 用于改进图像分割的方法和系统 |
| CN108682015A (zh) * | 2018-05-28 | 2018-10-19 | 科大讯飞股份有限公司 | 一种生物图像中的病灶分割方法、装置、设备及存储介质 |
| CN108846432A (zh) * | 2018-06-06 | 2018-11-20 | 深圳神目信息技术有限公司 | 一种基于深度学习对胸部ct影像的分类方法 |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110661A (zh) * | 2019-05-07 | 2019-08-09 | 西南石油大学 | 一种基于unet分割的岩石图像孔隙类型识别方法 |
| CN110189308A (zh) * | 2019-05-17 | 2019-08-30 | 山东财经大学 | 一种基于bm3d和稠密卷积网络融合的肿瘤检测方法和装置 |
| CN110189308B (zh) * | 2019-05-17 | 2020-10-23 | 山东财经大学 | 一种基于bm3d和稠密卷积网络融合的肿瘤检测方法和装置 |
| WO2020259209A1 (zh) * | 2019-06-26 | 2020-12-30 | 平安科技（深圳）有限公司 | 眼底图像识别方法、装置、设备和存储介质 |
| CN110610756A (zh) * | 2019-07-26 | 2019-12-24 | 赛诺威盛科技（北京）有限公司 | 基于dicom图像信息实现胶片自动分类打印的方法 |
| CN110866931A (zh) * | 2019-11-18 | 2020-03-06 | 东声(苏州)智能科技有限公司 | 图像分割模型训练方法及基于分类的强化图像分割方法 |
| CN110880182A (zh) * | 2019-11-18 | 2020-03-13 | 东声(苏州)智能科技有限公司 | 图像分割模型训练方法、图像分割方法、装置及电子设备 |
| CN111179193A (zh) * | 2019-12-26 | 2020-05-19 | 苏州斯玛维科技有限公司 | 基于DCNNs和GANs的皮肤镜图像增强和分类方法 |
| CN111179193B (zh) * | 2019-12-26 | 2021-08-10 | 苏州斯玛维科技有限公司 | 基于DCNNs和GANs的皮肤镜图像增强和分类方法 |
| CN111209916A (zh) * | 2019-12-31 | 2020-05-29 | 中国科学技术大学 | 病灶识别方法及系统、识别设备 |
| CN111209916B (zh) * | 2019-12-31 | 2024-01-23 | 中国科学技术大学 | 病灶识别方法及系统、识别设备 |
| CN111275703B (zh) * | 2020-02-27 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 图像检测方法、装置、计算机设备和存储介质 |
| CN111275703A (zh) * | 2020-02-27 | 2020-06-12 | 腾讯科技（深圳）有限公司 | 图像检测方法、装置、计算机设备和存储介质 |
| CN111951235A (zh) * | 2020-07-31 | 2020-11-17 | 湘潭大学 | 基于深度学习的皮肤图像处理方法 |
| CN112070757A (zh) * | 2020-09-16 | 2020-12-11 | 重庆康盛医道信息科技有限公司 | 基于深度学习算法的皮肤过敏原点刺自动检测分析方法 |
| CN112150449A (zh) * | 2020-09-29 | 2020-12-29 | 太原理工大学 | 一种脑卒中病灶分割方法和系统 |
| CN113140290A (zh) * | 2020-12-17 | 2021-07-20 | 慧影医疗科技（北京）有限公司 | 模型训练方法、装置、病灶识别方法及电子设备 |
| CN114972215A (zh) * | 2022-05-11 | 2022-08-30 | 平安科技（深圳）有限公司 | 病灶图像的分割方法、装置、设备及存储介质 |
| CN115984188A (zh) * | 2022-12-09 | 2023-04-18 | 脉得智能科技(无锡)有限公司 | 皮肤病多病种超声图像识别方法、识别设备、存储介质 |
| CN115984188B (zh) * | 2022-12-09 | 2023-11-24 | 脉得智能科技(无锡)有限公司 | 皮肤病多病种超声图像识别方法、识别设备、存储介质 |
| CN116486196A (zh) * | 2023-03-17 | 2023-07-25 | 哈尔滨工业大学（深圳） | 病灶分割模型训练方法、病灶分割方法及装置 |
| CN116486196B (zh) * | 2023-03-17 | 2024-01-23 | 哈尔滨工业大学（深圳） | 病灶分割模型训练方法、病灶分割方法及装置 |
| CN116416239A (zh) * | 2023-04-13 | 2023-07-11 | 中国人民解放军海军军医大学第一附属医院 | 胰腺ct图像分类方法、图像分类模型、电子设备及介质 |
| CN116416239B (zh) * | 2023-04-13 | 2024-03-12 | 中国人民解放军海军军医大学第一附属医院 | 胰腺ct图像分类方法、图像分类模型、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109712111A (zh) | 一种皮肤癌种类识别方法、系统、计算机设备和存储介质 | |
| Saxena et al. | Predictive modeling of brain tumor: a deep learning approach | |
| Chouhan et al. | Soft computing approaches for image segmentation: a survey | |
| Elangovan et al. | Glaucoma assessment from color fundus images using convolutional neural network | |
| CN108230329B (zh) | 基于多尺度卷积神经网络的语义分割方法 | |
| CN107016681B (zh) | 基于全卷积网络的脑部mri肿瘤分割方法 | |
| CN105574859B (zh) | 一种基于ct图像的肝脏肿瘤分割方法及装置 | |
| Dhivyaa et al. | Skin lesion classification using decision trees and random forest algorithms | |
| Izadi et al. | Generative adversarial networks to segment skin lesions | |
| Adla et al. | Deep learning-based computer aided diagnosis model for skin cancer detection and classification | |
| Gouda et al. | Skin cancer classification using ResNet | |
| Yu et al. | Context-based hierarchical unequal merging for SAR image segmentation | |
| CN108960404B (zh) | 一种基于图像的人群计数方法及设备 | |
| TW201510936A (zh) | 細胞影像分割方法以及核質比評估方法 | |
| Vinayaki et al. | Multithreshold image segmentation technique using remora optimization algorithm for diabetic retinopathy detection from fundus images | |
| CN108062749A (zh) | 肛提肌裂孔的识别方法、装置和电子设备 | |
| Arif et al. | Automated detection of nonmelanoma skin cancer based on deep convolutional neural network | |
| Shahbeig | Automatic and quick blood vessels extraction algorithm in retinal images | |
| David et al. | Retinal blood vessels and optic disc segmentation using U-net | |
| Debnath et al. | Brain tumour segmentation using memory based learning method | |
| Milletari et al. | Robust segmentation of various anatomies in 3d ultrasound using hough forests and learned data representations | |
| Fathi et al. | Integrating adaptive neuro-fuzzy inference system and local binary pattern operator for robust retinal blood vessels segmentation | |
| Selvathi et al. | Brain region segmentation using convolutional neural network | |
| CN116311387B (zh) | 一种基于特征交集的跨模态行人重识别方法 | |
| CN112488996A (zh) | 非齐次三维食管癌能谱ct弱监督自动标注方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |