CN113160966A - 一种基于多任务学习的舌象诊断方法及舌象诊断系统 - Google Patents

Abstract

本发明公开了一种基于多任务学习的舌象诊断方法及舌象诊断系统，包括有移动端app、舌体分割模型及舌象分类模型，本发明提供的方法可以对舌体区域进行逐像素点的判别，在不需要先验知识的情况下实现精确分割舌体，使用多任务联合学习网络消除舌象分类中的标签混乱问题，将舌苔、舌质区域和原舌象区域作为多输入，输入的数据分别经过三次不同卷积尺度的特征提取和特征融合，把舌苔、舌质的特征和整个舌象的特征融合起来，加强联合特征之后用特征交叉层进行参数共享以及特征的重组，训练好的舌象分类模型能够实现舌质和苔质的同时分类，与单任务神经网络相比，该方法有着省时、节省计算量并且能高效识别舌象的优点。

Description

一种基于多任务学习的舌象诊断方法及舌象诊断系统

技术领域

本发明属于计算机处理图像技术技术领域，涉及一种基于多任务学习的 舌象诊断方法，还涉及该方法使用的一种基于多任务学习的舌象诊断系统。

背景技术

传统舌诊主要通过医生肉眼来观察舌象，依据个人经验知识进行诊断， 存在对医生的主观依赖性较强的缺点，其诊断结果会受到医生的知识水平、 思维模式和诊断技术的限制。以上因素会导致舌诊结果不准确，可重复性较 差，不利于复诊的信息参考也不利于舌诊相关技术的发展。

目前舌诊的客观化和标准化研究仍然存在很多问题：比如使用传统图像 处理对舌象进行分割的效果并不好，而将深度学习引入到舌象分割中，可以 对舌体区域进行逐像素点的判别，实现精确分割；再比如对于舌象分类，由 于舌象属于多标签数据，使用目前的大多数神经网络进行分类的话会导致训 练时出现歧义性问题，而多任务联合学习网络可以消除舌象分类中的标签混 乱问题，实现舌象的准确和高效识别。

发明内容

本发明的第一个目的是提供一种基于多任务学习的舌象诊断方法，解决 现有技术中存在的舌象分割效果不好，舌象分类标签混乱问题。

本发明的另一个目的是提供一种基于多任务学习的舌象诊断系统，具有 通过移动端设备使用户可方便地参与到智能舌诊中，为大众健康服务的特 点。

本发明所采用的第一个技术方案是，一种基于多任务学习的舌象诊断系 统，包括有移动端app、舌体分割模型及舌象分类模型，所述移动端app包 括有UI界面，所述UI界面设置有操作按钮，所述操作按钮触发处理程序， 所诉处理程序包括调取摄像头、打开本地相册、保存图像和舌象诊断，移动 端app中编写模型加载接口，所述加载接口接入舌体分割模型及舌象分类模 型，所述舌体分割模型及所述舌象分类模型直接封装在移动端app。

本发明所采用的另一个技术方案是，一种基于多任务学习的舌象诊断方 法，使用上述一种基于多任务学习的舌象诊断系统，具体按照以下步骤实施：

步骤1：在自然光照条件下，用户进入到舌象诊断系统，根据提示调用 移动端的摄像头对舌体进行拍摄，保存舌体图像；

步骤2：对步骤1所得的舌体图像进行归一化处理为尺寸为300*300*3 的图像；

步骤3：采用舌体分割模型对舌体进行定位分割，去除舌体外的无用区 域；

步骤4：分割出舌体后对舌体区域进行划分，将舌质、舌苔以及原舌象 图传给舌象分类模型；

步骤5：利用舌象分类模型对舌质、舌苔以及原舌象图进行测试，计算 出每个分类结果的概率，取最高概率的分类结果进行输出。

本发明的特点还在于：

舌体分割模型的建立过程具体如下：

步骤1：使用M张舌象原始图片作为舌象分割数据集，对舌象分割数据 集使用labelme进行手工标注，将舌象从复杂的背景中划分出来；

步骤2：labelme标注结束后，每张图像对应生成一个json文件，json 文件包含了图像文件本身以及标注的对象框信息，利用生成的json文件批 量生成mask数据集；

步骤3：使用Mask R-CNN对步骤2所得的mask数据集进行训练，并 保存完成的舌体分割模型。

舌象分类模型的搭建具体过程如下：

步骤1：准备N张分割好的舌象作为舌象分类数据集，将舌象分类数据 集进行舌苔和舌质的分区预处理；

步骤2：构建多输入的多任务分类网络，使用三个多尺度特征融合层和 最大池化层的组合对输入的舌苔、舌质区域以及原舌象进行特征提取和特征 融合，将舌苔和舌质的特征和整个舌象的特征融合起来，加强联合特征；

步骤3：在融合了舌苔、舌质和原舌象的特征之后，进行卷积池化操作 后用特征交叉层进行参数共享以及特征的重组，目的是为了选取最优的训练 参数和特征；

步骤4：由于有舌色和苔色的两个分类任务的输出，需要设计两组损失 函数分别进行计算，两个任务都采用交叉熵作为损失函数，在进行反向传播 的计算时，分别与相应的类别信息进行对比，求取舌色损失loss1和苔色损 失loss2，总体的损失loss＝0.5*loss1+0.5*loss2；

步骤5：训练完成后保存舌象分类模型。

舌象分类模型网络结构具体包含如下：

首先，舌象分类模型网络结构包含三个多尺度特征融合层和最大池化层 的组合，2层卷积层、2层池化层、2层特征共享交叉层、2层全连接层，这 些作为多任务的共享层；在每个单支任务中又独立包含一层dropout层和全 连接层；

其中，输入数据分别经过三个不同尺度的卷积层，以便于提取舌质，舌 苔和整个舌象的特征；

然后，多任务学习网络以软共享为主，两个网络结构之间都会用特征共 享交叉层进行参数共享以及特征的重组，2个特征共享交叉层分别放置在倒 数第2层全连接层的之前和之后，目的是为了选取最优的训练参数，在第2 个特征共享交叉层之后分开设置1个dropout层和1个全连接层完成独立任 务的学习。

本发明的有益效果是：

1、本分明设计一种基于深度学习的舌体分割方法，使得能够从包含舌 体的图像中对舌体进行精细分割，得到完整的舌体区域。

2、本分明设计一种基于多任务学习的深度卷积神经网络，能够对舌象 进行舌色和苔色的多任务分类。

3、本分明实现移动端的智能舌诊系统，将模型集成到手机上，让用户 能够自主进行舌象拍照并调用模型对用户的舌象进行舌色苔色的分类，同时 给给用户反馈。

附图说明

图1是一种基于多任务学习的舌象诊断系统搭建的舌象分类模型网络 模型示意图；

图2是一种基于多任务学习的舌象诊断系统的舌象分类模型的多尺度 特征融合层示意图；

图3是一种基于多任务学习的舌象诊断系统的舌象分类模型的软共享 特征交叉层示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于多任务学习的舌象诊断系统，包括有移动端app、舌体 分割模型及舌象分类模型，所述移动端app包括有UI界面，所述UI界面设 置有操作按钮，所述操作按钮触发处理程序，所诉处理程序包括调取摄像 头、打开本地相册、保存图像和舌象诊断，移动端app中编写模型加载接口， 加载接口接入舌体分割模型及舌象分类模型，舌体分割模型及所述舌象分类 模型直接封装在移动端app。在Android studio中通过调用libtensorflow_inference.so、libandroid_tensorflow_inference_java.jar以及Java接口实现舌体分割模型及舌象分类模型的调用。

舌体分割模型的建立过程具体如下：

步骤1：使用M张舌象原始图片作为舌象分割数据集，对舌象分割数据 集使用labelme进行手工标注，将舌象从复杂的背景中划分出来；

步骤2：labelme标注结束后，每张图像对应生成一个json文件，json 文件包含了图像文件本身以及标注的对象框信息，利用生成的json文件批 量生成mask数据集；

步骤3：使用Mask R-CNN对步骤2所得的mask数据集进行训练，并 保存完成的舌体分割模型。

舌象分类模型的搭建具体过程如下：

步骤1：准备N张分割好的舌象作为舌象分类数据集，对舌象分类数据 集在医师指导下进行手动标注，每张舌象数据同时具有舌色与苔色标签，其 中舌色包含5种属性，苔色包含4种属性：5种舌色分别是淡白舌、淡红舌、 红舌、绛红舌、青紫舌，4种舌苔分别是薄白苔、白腻苔、薄黄苔、黄腻苔。

随后，依据沈兰荪的《中医舌象的采集和分析》中提供的5个区域划分 法，将舌面划分为舌根、舌中、舌尖、舌左侧、舌右侧5个区域；将舌象分 类数据集进行舌苔和舌质的分区预处理；

步骤2：构建多输入的多任务分类网络，使用三个多尺度特征融合层和 最大池化层的组合对输入的舌苔、舌质区域以及原舌象进行特征提取和特征 融合，将舌苔和舌质的特征和整个舌象的特征融合起来，加强联合特征；

步骤3：在融合了舌苔、舌质和原舌象的特征之后，进行卷积池化操作 后用特征交叉层进行参数共享以及特征的重组，目的是为了选取最优的训练 参数和特征；

步骤4：由于有舌色和苔色的两个分类任务的输出，需要设计两组损失 函数分别进行计算，两个任务都采用交叉熵作为损失函数，在进行反向传播 的计算时，分别与相应的类别信息进行对比，求取舌色损失loss1和苔色损 失loss2，总体的损失loss＝0.5*loss1+0.5*loss2；

步骤5：训练完成后保存舌象分类模型。

舌象分类模型网络结构具体包含如下：

首先，舌象分类模型网络结构包含三个多尺度特征融合层和最大池化层 的组合，2层卷积层、2层池化层、2层特征共享交叉层、2层全连接层，这 些作为多任务的共享层；在每个单支任务中又独立包含一层dropout层和全 连接层；

总体的网络结构顺序中，多尺度特征融合层如图2所示，输入数 据分别经过三个不同尺度的卷积层，以便于提取舌质，舌苔和整个舌 象的特征；

然后，多任务学习网络以软共享为主，两个网络结构之间都会用 特征共享交叉层进行参数共享以及特征的重组软共享特征交叉层。2 个特征共享交叉层分别放置在倒数第2层全连接层的之前和之后，目 的是为了选取最优的训练参数，在第2个特征共享交叉层之后分开设 置1个dropout层和1个全连接层完成独立任务的学习。

本发明所采用的另一个技术方案是，一种基于多任务学习的舌象诊断方 法，使用上述一种基于多任务学习的舌象诊断系统，具体按照以下步骤实施：

步骤1：在自然光照条件下，用户进入到舌象诊断系统，在自然光下， 用手机的摄像头直接拍摄或者读取用户相册中的舌体图像，从而得到用户提 供的舌象照片。拍摄时应当自然探出舌头，无需过分用力或卷曲，保存舌体 图像；

步骤2：对步骤1所得的舌体图像进行归一化处理为尺寸为300*300*3 的图像；

步骤3：采用舌体分割模型对舌体进行定位分割，去除舌体外的无用区 域；

步骤4：分割出舌体后对舌体区域进行划分，将舌质、舌苔以及原舌象 图传给舌象分类模型；

步骤5：利用舌象分类模型对舌质、舌苔以及原舌象图进行测试，计算 出每个分类结果的概率，取最高概率的分类结果进行输出。

本发明的有益效果是：本发明能够使用户随时随地进行舌象的诊断分 析；本发明的舌象分割模块基于深度学习实现，较传统方法来说能够使舌象 分割的精度更高、效率更高，不需要先验知识就可以定位并分割舌体；本发 明舌象分类模块基于多任务分类实现，将舌苔、舌质区域和原舌象区域作为 网络的多输入，能够实现舌质和苔质的同时分类。

Claims (5)

1.一种基于多任务学习的舌象诊断系统，其特征在于，包括有移动端app、舌体分割模型及舌象分类模型，所述移动端app包括有UI界面，所述UI界面设置有操作按钮，所述操作按钮触发处理程序，所诉处理程序包括调取摄像头、打开本地相册、保存图像和舌象诊断，移动端app中编写模型加载接口，所述加载接口接入舌体分割模型及舌象分类模型，所述舌体分割模型及所述舌象分类模型直接封装在移动端app。

2.根据权利要求1所述的一种基于多任务学习的舌象诊断系统，其特征在于，所述舌体分割模型的建立过程具体如下：

步骤1：使用M张舌象原始图片作为舌象分割数据集，对所述舌象分割数据集使用labelme进行手工标注，将舌象从复杂的背景中划分出来；

步骤2：labelme标注结束后，每张图像对应生成一个json文件，所述json文件包含了图像文件本身以及标注的对象框信息，利用生成的json文件批量生成mask数据集；

步骤3：使用Mask R-CNN对步骤2所得的mask数据集进行训练，并保存完成的舌体分割模型。

3.根据权利要求1所述的一种基于多任务学习的舌象诊断系统，其特征在于，所述舌象分类模型的搭建具体过程如下：

步骤1：准备N张分割好的舌象作为舌象分类数据集，将舌象分类数据集进行舌苔和舌质的分区预处理；

步骤2：构建多输入的多任务分类网络，使用三个多尺度特征融合层和最大池化层的组合对输入的舌苔、舌质区域以及原舌象进行特征提取和特征融合，将舌苔和舌质的特征和整个舌象的特征融合起来，加强联合特征；

步骤3：在融合了舌苔、舌质和原舌象的特征之后，进行卷积池化操作后用特征交叉层进行参数共享以及特征的重组，目的是为了选取最优的训练参数和特征；

步骤4：由于有舌色和苔色的两个分类任务的输出，需要设计两组损失函数分别进行计算，两个任务都采用交叉熵作为损失函数，在进行反向传播的计算时，分别与相应的类别信息进行对比，求取舌色损失loss1和苔色损失loss2，总体的损失loss＝0.5*loss1+0.5*loss2；

步骤5：训练完成后保存舌象分类模型。

4.根据权利要求3所述的一种基于多任务学习的舌象诊断系统，其特征在于，所述舌象分类模型网络结构具体包含如下：

首先，舌象分类模型网络结构包含三个多尺度特征融合层和最大池化层的组合，2层卷积层、2层池化层、2层特征共享交叉层、2层全连接层，这些作为多任务的共享层；在每个单支任务中又独立包含一层dropout层和全连接层；

其中，输入数据分别经过三个不同尺度的卷积层，以便于提取舌质，舌苔和整个舌象的特征；

然后，多任务学习网络以软共享为主，两个网络结构之间都会用特征共享交叉层进行参数共享以及特征的重组，2个特征共享交叉层分别放置在倒数第2层全连接层的之前和之后，目的是为了选取最优的训练参数，在第2个特征共享交叉层之后分开设置1个dropout层和1个全连接层完成独立任务的学习。

5.一种基于多任务学习的舌象诊断方法，其特征在于，使用如权利要求1所述的一种基于多任务学习的舌象诊断系统，具体按照以下步骤实施：

步骤1：在自然光照条件下，用户进入到舌象诊断系统，根据提示调用移动端的摄像头对舌体进行拍摄，保存舌体图像；

步骤2：对步骤1所得的舌体图像进行归一化处理为尺寸为300*300*3的图像；

步骤3：采用舌体分割模型对舌体进行定位分割，去除舌体外的无用区域；

步骤4：分割出舌体后对舌体区域进行划分，将舌质、舌苔以及原舌象图传给舌象分类模型；

步骤5：利用舌象分类模型对舌质、舌苔以及原舌象图进行测试，计算出每个分类结果的概率，取最高概率的分类结果进行输出。

Images