CN115410046A - 基于深度学习的皮肤病舌象分类模型、建立方法及应用 - Google Patents

Abstract

本发明涉及基于深度学习的皮肤病舌像分类模型、建立方法及应用，属于中医智能诊断算法领域，本发明通过对皮肤病患者舌象进行分析，提取舌象的特征信息并进行分类，建立舌象分类模型。采用深度网络模型实现特征的多层级融合，同时引入注意力机制，增强关键特征之间的联系，提高模型的分类性能，实现基于皮肤病舌象的智能症候分类，辅助医生诊断，它可以减少舌诊过程中的主观性，避免由于经验不足或人为误差带来的主观干扰，对于实现中医辨证的规范化和标准化以及中医的推广与传承具有重要的意义。

Description

基于深度学习的皮肤病舌象分类模型、建立方法及应用

技术领域

本发明涉及中医智能诊断算法领域，具体涉及一种基于深度学习的皮肤病舌像分类模型、建立方法及应用。

背景技术

中医治疗皮肤病，是把局部改变与整体的气血、经络以及脏腑、津液等的改变加以联系起来，内外兼治，通过观察皮损的特征，确定所属的皮肤病类型，然后根据中医辨证论治原则，确定所属证候进行用药。中医在治疗皮肤病时不同的皮肤病用不同的方法治疗，同时，相同的病症，不同阶段治疗方法也不相同，因此对皮肤病辨证施治才能够提高治疗效果。

在中医辨证的过程之中，舌象的观察非常重要，根据舌象能了解机体正气之盛衰，病邪之深浅，以指导临床辨证和治疗。观察舌象辨清舌体和舌苔颜色的相关属性，同时观察皮损颜色的不同，对于判断皮肤病的病情发展十分重要。因此，把舌象和皮损特征结合起来综合分析，理清它们之间的辩证关系，就能对皮肤病进行有效的治疗。舌诊是中医辨证论治的重要依据，然而传统的舌诊主要依赖于医生的经验，不同的医生对舌象的辨识能力存在一定的差异，具有一定的主观性与不确定性；同时在舌象诊断发展过程中，许多经验未能得到传承与发展，缺少统一化、规范化的标准；其次，不同光源对医师能否做出正确的舌象诊断结果产生较大的影响。因此，需要为舌诊建立一个客观的、定量的诊断标准。

目前，出现了一些中医智能诊断模型，其中大多是直接应用较为成熟的人工智能方法，如知识工程、数理统计、机器学习和深度学习等。然而这些方法也存在一定的局限性，知识工程在解决推理链过长导致的矛盾推理和循环推理上存在困难；数理统计不能有效模拟中医辨证的复杂映射关系；机器学习对高质量的标注数据依赖性太强等。因此，要根据中医辨证特点，设计符合中医辨证理论的皮肤病智能辨证模型，能够更好的模拟中医辨证思维，辅助医生诊断，服务于中医临床。

中医辨证通过望、闻、问、切四种诊法收集病人信息，依据四诊合参原则，利用中医专家自身的知识和经验加以分析和总结，确定疾病的病性、病位，从而最终确定疾病的证型，并根据证型选择适宜的治疗方案。

发明内容

针对上述问题，本发明的目的一在于提供一种基于深度学习的舌象分类模型的建立方法，目的二在于提供一种基于深度学习的舌象分类模型，目的三在于提供所述舌象分类模型在制备皮肤病辅助诊断装置中的应用，目的四在于提供一种基于舌象特征的皮肤病辅助诊断装置。本发明结合皮肤病患者的舌象数据融合建模，有效地提升了中医辨证的客观性和准确性。

为了实现上述目的，本发明采用的具体方案为：

一种基于深度学习的皮肤病舌象分类模型的建立方法，包括以下步骤：

步骤1：使用手机或者舌象采集设备拍摄舌象；

步骤2：对步骤1中得到的舌象进行预处理，分割出舌体；具体方法为：首先使用labelme对收集到的舌象进行手工标注，将舌象从背景中划分出来，标注结束后，创建mask数据集；接着使用Mask-RCNN网络对mask数据集进行训练，并保存训练好的舌象分割模型；最后利用保存的舌象分割模型，对图像进行分割；

步骤3：将步骤2中分割好的舌象输入CBAM_MobilenetV2网络模型中提取特征；

将任意尺寸的舌象送入到网络模型中，首先通过卷积层提取舌象特征，接着把提取的特征送到通道和空间注意力模块获得加权结果；将高层低分辨率的舌象特征进行上采样，并将采样后的特征图与低层的特征图相加，实现高低层特征的融合；

步骤4：融合后的特征作为softmax分类器的输入，进行分类器的训练，最终得到舌象分类模型。

一种基于深度学习的皮肤病舌象分类模型，是采用上述建立方法建立得到。

上述舌象分类模型在制备皮肤病辅助诊断装置中的应用。

一种基于舌象特征的皮肤病辅助诊断装置，包括：

舌象采集模块，用于原始舌象的采集；

舌象预处理模块，用于对采集到的舌象进行预处理，使用Mask R-CNN网络对舌象进行分割，将分割好的舌象随机划分为训练集和测试集；

特征提取模块，用于将分割好的舌象输入神经网络模型中进行特征提取，获取皮肤病舌象数据；所述神经网络模型为CBAM_MobilenetV2，由标准卷积层、深度可分离卷积层、批归一化层、平均池化层、全连接层以及最后的softmax分类器组成；通过倒残差连接，将网络不同层级的特征进行融合；在特征融合的基础上，引入通道和空间注意力机制；

神经网络分类模块，将处理好的皮肤病舌象数据进行标注，每张舌象上都打上标签；随后将带有标签数据的舌象输入到神经网络模型中，根据损失结果调整网络模型，提取最适合用于辨证的舌象特征，训练完成后保存皮肤病舌象分类模型，使用测试集，对训练好的模型进行测试；

类别和概率输出模块，将训练好的舌象分类模型部署到移动端，在移动端输入待测试的舌象，然后加载到舌象分类模型中，计算每个类别结果的概率，最后概率最高的类别作为结果进行输出，输出形式为症候类别以及概率；

供电模块，用于对舌象采集模块、舌象预处理模块、特征提取模块、神经网络分类模块、以及类别和概率输出模块进行供电。

进一步地，所述特征提取模块中，在MobilenetV2中使用改进的残差连接，先用1×1的卷积将输入的数据转化为高维，接着利用深度可分离卷积提取特征。

更进一步的，在倒残差块中使用的激活函数改为线性激活函数，即在1×1卷积扩展通道数，后面接RELU6激活函数，再用3×3的深度卷积整合特征，后接RELU6激活函数，最后的1×1卷积降维部分，不使用RELU6激活函数，而是使用Linear保留线性特征；其中RELU6函数定义为：f(x)＝min{max(0,x),6}；

通过shortcut连接，融合不同层的舌象特征；在每一个倒残差块中，输入特征为h×w×k，通过1×1卷积后的输出为h×w×(tk)，进一步的h×w×(tk)作为下一层的输入，经过3×3的深度卷积后的输出为

最后

经过1×1卷积后，输出为

其中h，w分别为feature map的长和宽，k为通道数，t为扩展因子，即通道扩充的倍数，s代表步长；当s＝1的时候，输入特征和输出特征尺寸相同，使用Add的方式将输入和输出特征连接到一起；

MobilenetV2是由多个倒残差块构建成的，在倒残差块结构中添加注意力机制；

当步长s＝1的时候，在倒残差结构中添加通道和空间注意力机制，即在网络中的1、11、17层的bottleneck中嵌入注意力机制，关注辨证所用的关键信息，抑制不必要的特征信息；在步长为2的线性瓶颈结构中，即Mobilenet网络中的第2、4、7、14、18层后添加3条并行分支进行多尺度特征提取，卷积核大小分别为1×1、3×3、5×5，特征维度统一调整为96维，将获取的高层信息进行2倍上采样，并将其与较低层的特征图进行融合，最后将融合后的特征送入Softmax分类器中。

进一步地，神经网络分类模块中，所述标签为皮肤病的种类和皮损位置以及所属于的症候类型。更进一步地，症候类型包括表证、里证、虚证、实证、寒证和热证。

本发明相比于现有技术，具有以下有益效果：

1、本发明基于轻量型卷积神经网络和注意力机制构建皮肤病智能辨证模型，通过分析皮肤病和证候之间的关系，确定皮肤病所属的证候类型，有益于辅助医生诊断；它可以减少舌诊过程中的主观性，避免由于经验不足或人为误差带来的主观干扰，现阶段没有成形的皮肤病舌象智能辨证诊断系统供医生辅助检测皮肤病证型，因此，本发明对于实现中医辨证的规范化和标准化以及中医的推广与传承具有重要的意义。

2、本发明以中医理论为指导，利用现代计算机技术，通过对皮肤病患者舌象进行分析，提取皮肤病舌象的特征信息并分类。采用深度网络模型实现特征的多层级融合，同时引入注意力机制，增强关键特征之间的联系，提高模型的分类性能。

3、本发明采用深度网络模型提取皮肤病舌象的关键辨症要素，研究疾病和证候之间的关系，确定疾病所属的证候类型。传统的特征提取方法只能对一种特征进行提取，本发明将采用深度网络模型提取皮肤病舌象的多种特征。同时为了解决单一深度特征在舌象分类任务中的不充分性，本发明通过倒残差连接，将网络不同层级的特征进行融合；在特征融合的基础上，引入通道和空间注意力机制，增强关键特征之间的联系，抑制不必要的特征，实现基于皮肤病舌象的智能证候分类，辅助医生诊断。本发明提供的基于舌象特征的皮肤病辅助诊疗装置，使用轻量级卷积神经网络更有利于移动端的使用。该装置基于深度网络模型和注意力机制，易于实施，且分类效果好。

附图说明

图1是症候分类整体流程图；

图2是嵌入注意力机制的模块图；

图3是层级特征融合网络结构图；

图4是基于舌象特征的皮肤病辅助诊断装置结构图；

图5是本发明实施流程图。

具体实施方式

本发明针对中医皮肤病辨证问题，采用深度网络模型提取皮肤病舌象的关键辨症要素，研究疾病和证候之间的关系，确定疾病所属的证候类型。传统的特征提取方法只能对一种特征进行提取，本发明将采用深度网络模型提取皮肤病舌象的多种特征。同时为了解决单一深度特征在舌象分类任务中的不充分性，本发明通过倒残差连接，将网络不同层级的特征进行融合；在特征融合的基础上，引入通道和空间注意力机制，增强关键特征之间的联系，抑制不必要的特征，实现基于皮肤病舌象的智能证候分类，辅助医生诊断。本发明的目的是提供一种基于舌象特征的皮肤病辅助诊疗装置，使用轻量级卷积神经网络更有利于移动端的使用。该装置基于深度网络模型和注意力机制，易于实施，且分类效果好。本发明所提出的装置主要包括：图像处理模块，特征提取模块，舌象证候分类模块。本发明的主要流程如图1所示。

1.舌象预处理模块。

由于采集到的原始舌图像中还包含嘴唇，脸部等干扰信息，为了避免过多的干扰信息对后续的舌象特征分析产生影响，需要对舌体进行预处理。使用Mask R-CNN网络对舌象进行分割，将分割好的舌象随机划分为训练集和测试集，用于后续的皮肤病舌象智能辨证模型的训练。

2.特征提取模块

本发明使用神经网络模型进行特征提取，该网络模型基于MobilenetV2进行改进得到的CBAM_MobilenetV2，该网络结构由标准卷积层、深度可分离卷积层、批归一化层、平均池化层、全连接层以及最后的softmax分类器组成。在MobilenetV2中使用改进的残差连接，先用1×1的卷积将输入的数据转化为高维，接着利用深度可分离卷积提取特征。进一步的，在倒残差块中使用的激活函数改为线性激活函数，即在1×1卷积扩展通道数，后面接RELU6激活函数，再用3×3的深度卷积整合特征，后接RELU6激活函数，最后的1×1卷积降维部分，不使用RELU6激活函数，而是使用Linear保留线性特征。其中RELU6函数定义为：

f(x)＝min{max(0,x),6} (1)

由于低层的网络关注的是舌象的纹理和颜色特征，而高层网络有更大的感受野，提取高级语义特征，将低层的细节特征和高层的语义特征进行融合，能够弥补高层语义信息的缺失，更加准确的进行分类，并提高皮肤病辨证的效率。

通过shortcut连接，融合不同层的舌象特征。在每一个倒残差块中，输入特征为h×w×k，通过1×1卷积后的输出为h×w×(tk)，进一步的h×w×(tk)作为下一层的输入，经过3×3的深度卷积后的输出为

最后

经过1×1卷积后，输出为

其中h，w分别为feature map的长和宽，k为通道数，t为扩展因子，即通道扩充的倍数，s代表步长。当s＝1的时候，输入特征和输出特征尺寸相同，使用Add的方式将输入和输出特征连接到一起。

MobilenetV2是由多个倒残差块构建成的，在倒残差块结构中添加注意力机制，其模块图如图2所示。当步长s＝1的时候，在倒残差结构中添加通道和空间注意力机制，即在网络中的1、11、17层的bottleneck中嵌入注意力机制，关注辨证所用的关键信息，抑制不必要的特征信息，添加位置如图3所示。

在步长为2的线性瓶颈结构中，即Mobilenet网络中的第2、4、7、14、18层后添加3条并行分支进行多尺度特征提取，卷积核大小分别为1×1、3×3、5×5，特征维度统一调整为96维，将获取的高层信息进行2倍上采样，并将其与较低层的特征图进行融合，最后将融合后的特征送入Softmax分类器中。网络结构如图3所示。

3.皮肤病舌象证候分类模块

将处理好的皮肤病舌象数据进行标注，每张舌象上都打上标签，即皮肤病的种类和皮损位置以及所属于的证候类型，皮肤病所属的证候主要有表证、里证、虚证、实证、寒证和热证。随后将带有标签数据的舌象输入到CBAM_Mobilenet网络模型中，根据损失结果调整网络模型，提取最适合用于辨证的舌象特征，训练完成后保存皮肤病舌象分类模型，使用测试集，对训练好的模型进行测试。

将训练好的皮肤病舌象分类网络嵌入到移动端，形成一个皮肤病舌象辅助诊疗系统，在移动端输入待测试的皮肤病舌象，然后加载到舌象分类网络模型中，计算出每个类别结果的概率，最后概率最高的类别作为结果进行输出。输出形式为证候类别以及概率。基于舌象特征的皮肤病辅助诊断装置如图4所示。

为了解决中医辨证中缺乏客观化、辨证不一等问题，本发明提出一种基于舌象特征的皮肤病辅助诊断装置。本发明将CBAM模块添加到步长为1的倒残差结构中，使得模型在通道和空间维度上都能关注重要特征，抑制不必要的特征，同时在步长为2的倒残差块中添加并行分支，进行多尺度的特征提取，提高皮肤病舌象证候分类的准确率。本发明是一种基于舌象特征融合的皮肤病辅助诊断装置，将上述训练好的网络模型嵌入到移动端，实现皮肤病舌象的智能辨证。流程图如图5所示，具体实施步骤如下：

步骤1：使用手机或者舌象采集设备拍摄舌象。

步骤2：对步骤1中得到的舌象进行预处理，分割出舌体；

具体方法为首先使用labelme对收集到的舌象进行手工标注，将舌象从背景中划分出来，标注结束后，创建mask数据集；接着使用Mask-RCNN网络对mask数据集进行训练，并保存训练好的舌象分割模型；最后利用保存的舌象分割模型，对图像进行分割。需要说明的是，舌象分割方法不唯一，也可以用其他的分割方法。

步骤3：将步骤2中分割好的舌象输入CBAM_MobilenetV2网络模型中提取特征；

将任意尺寸的舌象送入到网络模型中，首先通过卷积层提取舌象特征，接着把提取的特征送到通道和空间注意力模块获得加权结果，为了充分利用特征之间的相关性，将高层低分辨率的舌象特征进行上采样，并将采样后的特征图与低层的特征图相加，实现高低层特征的融合。

步骤4：融合后的特征作为softmax分类器的输入，进行分类器的训练，最终得到皮肤病舌象证候分类模型；

步骤5：将训练好的模型部署在移动端，构建基于舌象特征的皮肤病辅助诊断系统；

步骤6：使用皮肤病辅助诊断模型对舌象进行检测，经过softmax运算得出每个证候类型的概率，通过网络模型中的全连接层输出舌象所属证候类型和概率；

步骤7：保存测试结果，算法结束。

需要说明的是，以上所述的实施方案应理解为说明性的，而非限制本发明的保护范围，本发明的保护范围以权利要求书为准。对于本领域技术人员而言，在不背离本发明实质和范围的前提下，对本发明作出的一些非本质的改进和调整仍属于本发明的保护范围。

Claims (8)

1.一种基于深度学习的皮肤病舌象分类模型的建立方法，其特征在于：包括以下步骤：

步骤1：使用手机或者舌象采集设备拍摄舌象；

步骤2：对步骤1中得到的舌象进行预处理，分割出舌体；具体方法为：首先使用labelme对收集到的舌象进行手工标注，将舌象从背景中划分出来，标注结束后，创建mask数据集；接着使用Mask-RCNN网络对mask数据集进行训练，并保存训练好的舌象分割模型；最后利用保存的舌象分割模型，对图像进行分割；

步骤3：将步骤2中分割好的舌象输入CBAM_MobilenetV2网络模型中提取特征；

将任意尺寸的舌象送入到网络模型中，首先通过卷积层提取舌象特征，接着把提取的特征送到通道和空间注意力模块获得加权结果；将高层低分辨率的舌象特征进行上采样，并将采样后的特征图与低层的特征图相加，实现高低层特征的融合；

步骤4：融合后的特征作为softmax分类器的输入，进行分类器的训练，最终得到舌象分类模型。

2.一种基于深度学习的皮肤病舌象分类模型，是采用权利要求1所述的建立方法建立得到。

3.根据权利要求2所述的舌象分类模型在制备皮肤病辅助诊断装置中的应用。

4.一种基于舌象特征的皮肤病辅助诊断装置，其特征在于：包括：

舌象采集模块，用于原始舌象的采集；

舌象预处理模块，用于对采集到的舌象进行预处理，使用Mask R-CNN网络对舌象进行分割，将分割好的舌象随机划分为训练集和测试集；

特征提取模块，用于将分割好的舌象输入神经网络模型中进行特征提取，获取皮肤病舌象数据；所述神经网络模型为CBAM_MobilenetV2，由标准卷积层、深度可分离卷积层、批归一化层、平均池化层、全连接层以及最后的softmax分类器组成；通过倒残差连接，将网络不同层级的特征进行融合；在特征融合的基础上，引入通道和空间注意力机制；

神经网络分类模块，将处理好的皮肤病舌象数据进行标注，每张舌象上都打上标签；随后将带有标签数据的舌象输入到神经网络模型中，根据损失结果调整网络模型，提取最适合用于辨证的舌象特征，训练完成后保存皮肤病舌象分类模型，使用测试集，对训练好的模型进行测试；

类别和概率输出模块，用于将训练好的舌象分类模型部署到移动端，在移动端输入待测试的舌象，然后加载到舌象分类模型中，计算每个类别结果的概率，最后概率最高的类别作为结果进行输出，输出形式为症候类别以及概率；

供电模块，用于对舌象采集模块、舌象预处理模块、特征提取模块、神经网络分类模块、以及类别和概率输出模块进行供电。

5.根据权利要求4所述的皮肤病辅助诊断装置，其特征在于：所述特征提取模块中，在MobilenetV2中使用改进的残差连接，先用1×1的卷积将输入的数据转化为高维，接着利用深度可分离卷积提取特征。

6.根据权利要求5所述的皮肤病辅助诊断装置，其特征在于：在倒残差块中使用的激活函数改为线性激活函数，即在1×1卷积扩展通道数，后面接RELU6激活函数，再用3×3的深度卷积整合特征，后接RELU6激活函数，最后的1×1卷积降维部分，不使用RELU6激活函数，而是使用Linear保留线性特征；其中RELU6函数定义为：f(x)＝min{max(0,x),6}；

通过shortcut连接，融合不同层的舌象特征；在每一个倒残差块中，输入特征为h×w×k，通过1×1卷积后的输出为h×w×(tk)，进一步的h×w×(tk)作为下一层的输入，经过3×3的深度卷积后的输出为

最后

经过1×1卷积后，输出为

其中h，w分别为feature map的长和宽，k为通道数，t为扩展因子，即通道扩充的倍数，s代表步长；当s＝1的时候，输入特征和输出特征尺寸相同，使用Add的方式将输入和输出特征连接到一起；

MobilenetV2是由多个倒残差块构建成的，在倒残差块结构中添加注意力机制；

当步长s＝1的时候，在倒残差结构中添加通道和空间注意力机制，即在网络中的1、11、17层的bottleneck中嵌入注意力机制，关注辨证所用的关键信息，抑制不必要的特征信息；

在步长为2的线性瓶颈结构中，即Mobilenet网络中的第2、4、7、14、18层后添加3条并行分支进行多尺度特征提取，卷积核大小分别为1×1、3×3、5×5，特征维度统一调整为96维，将获取的高层信息进行2倍上采样，并将其与较低层的特征图进行融合，最后将融合后的特征送入Softmax分类器中。

7.根据权利要求4所述的皮肤病辅助诊断装置，其特征在于：神经网络分类模块中，所述标签为皮肤病的种类和皮损位置以及所属于的症候类型。

8.根据权利要求7所述的皮肤病辅助诊断装置，其特征在于：所述症候类型包括表证、里证、虚证、实证、寒证和热证。

Images