CN114947751A

CN114947751A - 基于深度学习的移动端智能舌诊方法

Info

Publication number: CN114947751A
Application number: CN202210653441.6A
Authority: CN
Inventors: 毛晓波; 杨子斌; 赵宇平; 徐华兴; 黄璐琦
Original assignee: Chinese Academy of Medical Sciences CAMS; Zhengzhou University
Current assignee: Chinese Academy of Medical Sciences CAMS; Zhengzhou University
Priority date: 2022-06-10
Filing date: 2022-06-10
Publication date: 2022-08-30

Abstract

本发明公开了一种基于深度学习的移动端智能舌诊方法，首先在密闭环境下采集RGB三通道的舌像数据，并进行舌像特征标注；将标注后的舌像数据裁剪、翻转预处理，按照8:2划分训练集和测试集；依次使用YOLOv5s6算法进行舌像检测；U‑Net的网络模型进行舌体分割；MobilenetV3分类网络模型进行舌像特征识别，得到舌像诊断模型；客户端图像采集工具采集到的舌像数据上传至服务器端，使用舌像诊断模型完成舌诊；生产舌诊报告发送至客户端。本发明优点在于将深度学习算法与计算机系统技术相结合，完成智能舌诊，并以智能手机作为收集舌像与呈现结果的交互平台，云服务器作为舌像处理核心模块，克服了PC平台舌诊系统的不便性，提高了分类精度，实现中医舌诊智能化，客观化。

Description

基于深度学习的移动端智能舌诊方法

技术领域

本发明涉及中医智能诊断领域，尤其是涉及基于深度学习的移动端智能舌诊方法。

背景技术

舌诊是中医“望”诊的核心之一，中医认为“舌为心之苗，脾之外候，由舌苔之白黄，可辨病之寒热；由舌苔之薄厚，可辨病之重轻；由舌苔之变化，可辨病之转化”，通过观察人体的舌质、舌苔，医生可以了解人体脏腑的虚实，病性的寒热、病位的深浅。东汉名医张仲景曾将舌诊作为中医辨证论治的重要组成部分。《伤寒论·辨太阳脉证并治》指出：“脏结，无阳证，不往来寒热，其人反静，舌上滑者，不可攻也。”

舌诊过程中，通常观察人体的舌质、舌苔、医生可以了解人体腑脏的虚实、病性的寒热、病位的深浅。但传统中医舌诊主要依赖医生的经验，缺乏客观量化的描述，很大程度上限制了舌诊技术的应用与发展。因此将舌诊客观化是当下的诊断方法与技术向智能化转变的重点研究方向之一。

近年来随着人工智能的飞速发展，舌诊客观化在舌像采集处理、算法分析、舌诊设备开发等取得突破性进展。而在深度学习领域有很多较为先进和实用的图像处理技术，通过训练深度神经网络可以使其学习如何从图片检测舌体，分割舌体(减少牙齿、脸颊等外部环境对后续处理的影响)，也能学习如何分辨舌质与舌苔的特征以辅助医生进行舌像诊断。近几年来已有若干计算机辅助诊断系统通过深度学习技术将不同类别的舌质、舌苔的颜色通道进行量化，对舌像特征进行分类，但分类精度较低且绝大多数是基于电脑端，实时性与便携性也难以满足用户的需求，很大程度上限制了智能舌诊的应用。

发明内容

本发明目的在于提供一种基于深度学习的移动端智能舌诊方法。

为实现上述目的，本发明采取下述技术方案：

本发明所述的基于深度学习的移动端智能舌诊方法，包括以下步骤：

S1，在密闭环境下采集RGB三通道的舌像数据，并进行舌像特征标注；

S2，将标注后的舌像数据进行裁剪、翻转预处理，按照8:2划分为训练集和测试集；

S3，针对所述训练集和测试集，依次使用YOLOv5s6算法进行舌像检测；使用U-Net的网络模型进行舌体分割；使用MobilenetV3分类网络模型进行舌像特征识别，得到舌像诊断模型；

S4，将客户端图像采集工具采集到的舌像数据上传至服务器端，使用舌像诊断模型完成舌诊；

S5，生产舌诊报告并发送至客户端。

进一步，S1步中，由多名本领域内专家根据舌苔舌质特征分别进行所述舌像特征标注；针对同一舌像数据将多数专家认可的标注作为舌像数据的舌像特征。

进一步，所述舌像特征包括舌质的老嫩、胖瘦、点刺、裂纹、齿痕；以及苔质的厚薄、润燥、腐腻、剥落、真假。

本发明优点在于将图像处理领域最为先进的深度学习算法与计算机系统技术相结合，完成智能舌诊，并以智能手机作为收集舌像与呈现结果的交互平台，云服务器作为舌像处理核心模块，克服了PC平台舌诊系统的不便性，提高了分类精度，为实现中医舌诊智能化，客观化提供一定的借鉴。

附图说明

图1是本发明所述方法的流程图。

图2是本发明所述方法中舌体检测示意图。

图3是本发明所述方法中舌体分割示意图。

图4是本发明所述方法中裂纹、点刺、齿痕的舌像特征识别示意图。

图5是本发明所述方法中YOLOv5s6算法训练曲线。

图6是本发明所述方法中U-Net算法训练曲线。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明所述的基于深度学习的移动端智能舌诊方法，包括以下步骤：

本申请发明人使用Canon Eos700d相机在密闭环境下采集RGB三通道的舌像数据，其尺寸为1728*2592。由中国中医科学院本领域内的5名专家分别对舌像数据的舌像特征进行标注。针对同一个舌像数据，以多数专家的标注为该舌像数据的舌像特征。

舌像特征包括舌质的老嫩、胖瘦、点刺、裂纹、齿痕；以及苔质的厚薄、润燥、腐腻、剥落、真假。

采集的舌像图像过大且包含了很多干扰信息，需要将舌像图像裁剪为1728*1100的图片，并随机进行左右镜像翻转和顺时针旋转90，180，270等方式扩充舌像数据，增加获得舌像诊断模型的泛化性。

S3，将所有的舌像数据按照8:2划分为训练集和测试集；针对训练集和测试集，依次使用YOLOv5s6算法进行舌体检测，如图2所示；使用U-Net的网络模型进行舌体分割，如图3所示；使用MobilenetV3分类网络模型进行舌像特征识别，得到舌像诊断模型，如图4所示，其中a、b、c分别为舌质裂纹、点刺、齿痕的舌像特征识别示意；

传统的图像检测方法主要分为三步：区域选择、特征提取、分类器判定目标。其计算量大且泛化性能弱。现代目标检测算法使用深度学习来提取特征，能够最大程度的保留图片信息，比之传统的检测算法准确率得到很大提高。现代目标检测算法一般可以分为一阶检测和二阶检测，一阶检测不需要单独寻找候选区域，其速度较快，实时性好，但精度较差，如YOLO系列，SSD；二阶检测算法精度较高，但实时性差，其算法分两步进行，实现方式类似于传统算法：先获取候选区域，然后使用分类器进行分类，如R-CNN， Fast R-CNN，FasterR-CNN，mask R-CNN等。YOLO系列算法相比SSD，构建过程相对简单，识别速度和准确性方面有一定的优势。本申请选择YOLO系列中的最新版本YOLOv5s6作为检测网络，它能同时满足本系统在精度与实时性方面的需求。

传统的舌像分割算法主要是基于舌体图像像素值特征来实现的，其原理是在相关性比较强的区域内图片的像素值具有一定的相似性，而不同区域边界处的相邻像素值则具有间断性或不连续性。因此传统算法实现原理简单，鲁棒性差、算法的时间复杂度太高、分割精度难以达到实际应用需求。

深度学习中有很多语义分割方面的优秀算法，它们能提取图像的中高层语义信息，能得到比传统算法更高精度的语义分割结果。其中经典的语义分割算法有FCN，U-Net系列,DeepLab系列等。本申请选择U-Net，相比其他网络精度更高，网络参数量更少，实时性好，能够满足移动端分割任务的需求。

舌像特征识别可以看做一个典型图像分类任务，深度学习中有很多性能较好的分类网络如VGG系列、ResNet系列、MobileNet系列、EfficientNet系列等。其中，Mobilenet系列是Google团队在2017年开发的应用于移动端的轻量级网络，它采用了深度可分离卷积代替了传统分类网络的标准卷积层，大大降低了模型参数，加快了预测效率。其MobilenetV3版本是Google团队经过不断地更新，模型参数更少且实时性更强的轻量级网络。本系统使用MobileNetV3Large版本作为舌像特征分类模型，其准确率、精确率、灵敏度、特异度均显著优于其他算法。

本申请基于浏览器（Brower）/服务器（Server）模式，将本申请的应用逻辑和数据库部署在服务器端，维护工作也集中在服务器端，增强了方法的可靠性与稳定性。客户端通过Web浏览器、手机端APP等实现，仅利用客户端已有的相机、图库功能采集舌像数据，上传至服务器端，由服务器端使用舌像诊断模型以及相关算法对舌像数据进行预处理、检测、分割、特征识别、舌像辩证等步骤，最后再将舌像辩证结果以及治疗建议反馈给用户端系统，完成舌诊。

本申请发明人通过混淆矩阵来分析本申请预测结果，如表1二分类混淆矩阵，其中行代表示真实值，列表示预测值；其中：TP、FP、FN、TN分别为真阳性（真实值为Positive，被预测Positive的数量）、假阳性（真实值为Negative，被预测为Negative的数量）、假阴性（真实值为Positive，被预测Negative的数量）、真阴性（真实值为Negative，被预测为Positive的数量）。

表1

其中，舌体检测常用的评价指标有精确率（英文全拼：Precision）、召回率（英文全拼：Recall）、平均精度均值（英文全拼：Mean Average Precision, 英文缩写：MAP）；精确率表示在所有被检测为正的样本中实际为正样本的概率，计算公式如（1）所示；召回率表示在实际为正的样本中被检测为正样本的概率，计算公式如（2）所示；平均精度均值表示在所有检测类别上的平均精度的均值，计算公式如（3）所示，其中K为舌像特征个数。

(1)

(2)

(3)

体分割常用的评价指标有平均像素精度（英文全拼：Mean Pixel Accuracy, 英文缩写：MPA）和均交并比（英文全拼：Mean Inter-section over Union, 英文缩写：MIoU）。MPA为像素精度（英文全拼：Pixel Accuracy，英文缩写：PA）的平均值，即每一个类别像素正确分类概率的平均值，计算公式如（4）所示。MIoU为交并比（英文全拼：Intersection overUnion，英文缩写：IoU）的均值，是语义分割最为重要的度量标准，计算公式如（5）所示。其中，K为舌像特征个数。

(4)

(5)

舌像特征识别常用的评价指标为准确率(Accuracy), 精确率(Precision), 灵敏度(Recall),特异度(Specificity),其计算公式分别为（6）（7）（8）（9）。

(6)

(7)

(8)

(9)

通过评估，本申请使用YOLOv5s6算法进行舌像检测，如图5所示，其中图a、b分别为YOLOv5s6网络MAP@0.5、MAP@0.5:0.95最高分别达到99.50%，97.15%；如图6所示，如图5所示，其中图a、b分别为使用U-Net的网络模型进行舌体分割，MioU、MPA的值最高为97.86%与99.10%；使用MobilenetV3分类网络模型进行舌像特征识别，齿痕、点刺、裂纹的最高分类准确率也达到相当好的水平，分别为93.33%，90.10%，94.19%。

Claims

1.一种基于深度学习的移动端智能舌诊方法，其特征在于，包括以下步骤：

S5，生产舌诊报告并发送至客户端。

2.根据权利要求1所述的基于深度学习的移动端智能舌诊方法，其特征在于：S1步中，由多名本领域内专家根据舌苔舌质特征分别进行所述舌像特征标注；针对同一舌像数据将多数专家认可的标注作为舌像数据的舌像特征。

3.根据权利要求1所述的基于深度学习的移动端智能舌诊方法，其特征在于：所述舌像特征包括舌质的老嫩、胖瘦、点刺、裂纹、齿痕；以及苔质的厚薄、润燥、腐腻、剥落、真假。