CN109700433A - 一种舌象诊断系统和舌诊移动终端 - Google Patents

Abstract

本发明提供一种舌象诊断系统，其存储有多条指令，所述指令适用于由处理器加载并执行，所述指令包括：启动一拍摄系统，并由所述拍摄系统拍摄舌体，得到待测舌像图片；将所述待测舌像图片输入给一深度学习模型，所述深度学习模型为舌像图片与某病症指标关联的模型，其输入层为舌像图片，输出层为病症指标；运行所述深度学习模型，所述深度学习模型计算出预测的病症指标；将所述预测的病症指标输出至一显示界面。采用本发明，患者无需通过有创或者无创的检测手段或检测设备来对病症参数进行检测以判断病症发展状况，而是利用舌像图片即可直接得到相应病症的病症参数，将给患者带来极大的方便。

Description

一种舌象诊断系统和舌诊移动终端

技术领域

本发明涉及医学诊疗领域，更具体来说，涉及一种基于人工智能的舌象诊断系统和舌诊移动终端。

背景技术

舌象是指人的舌头的表象。中医讲究望闻问切，舌像作为身体状况的表征中的一种，通过观察舌像的状态例如舌苔的颜色、厚度等，中医医生们能够判断出患者的某些病症，例如是否有胃病、糖尿病等。

但是中医医生的判断，是基于其丰富的经验积累，有赖于其亲自望诊，并不利于患者的自查自诊；同时，因为知识和经验的局限性，使得患者并没有办法做出相对准确的初判，而当前紧缺的医疗资源和往返医院的劳顿，使得患者不能及时有效地了解病情。

如何提供一种便捷、方便、随时自查的舌象诊断系统，且该系统能使得患者得到如经验丰富的医生所能做出的准确的诊断，是本发明所面临的技术难题。

发明内容

为了解决现有技术存在的问题，本发明提供一种舌象诊断系统和舌诊移动终端。

本发明的一种舌象诊断系统，其存储有多条指令，所述指令适用于由处理器加载并执行，所述指令包括：

启动一拍摄系统，并由所述拍摄系统拍摄舌体，得到待测舌像图片；

将所述待测舌像图片输入给一深度学习模型，所述深度学习模型为舌像图片与某病症指标关联的模型，其输入层为舌像图片，输出层为病症指标；

运行所述深度学习模型，所述深度学习模型计算出预测的病症指标；

将所述预测的病症指标输出至一显示界面。

其中，启动所述拍摄系统时，调用环境光补偿组件，采用阴影矫正算法对所述拍摄系统进行光源补偿。

其中，启动所述拍摄系统时，调用舌象截取组件，提取舌体的边缘。

其中，所述深度学习模型为卷积神经网络模型。

其中，所述卷积神经网络模型至少包括舌象特征提取层，所述舌象特征提取层所提取的舌象特征至少包括舌形、舌色、红点、舌痕、瘀斑、舌面齿痕、舌苔、舌苔色、舌裂纹、舌面唾液中的四个以上。

其中，所述卷积神经网络模型还包括病症关联特征提取层，所述病症关联特征提取层用来提取各个所述舌象特征与相应的病症的关联性。

其中，所述病症指标为表征该病症的病症参数值，或者为患有该病症的几率。

本发明还涉及一种舌诊移动终端，包括存储器、处理器、拍摄系统、显示界面，所述存储器存储有多条指令，所述指令适用于由所述处理器加载并执行，所述指令包括：

启动所述拍摄系统，并由所述拍摄系统拍摄舌体，得到待测舌像图片；

将所述待测舌像图片输入给一深度学习模型，所述深度学习模型为舌像图片与某病症指标关联的模型，其输入层为舌像图片，输出层为病症指标；

运行所述深度学习模型，所述深度学习模型计算出预测的病症指标；

将所述预测的病症指标输出至所述显示界面。

其中，所述舌诊移动终端为手机，所述拍摄系统为所述手机的前置摄像头，所述前置摄像头被启动时所述手机上显示舌体辅助框。

其中，所述深度学习模型为卷积神经网络模型

通过采用前述技术方案，本发明的有益效果为：

采用本发明的舌象诊断系统，患者无需通过有创或者无创的检测手段或检测设备来对病症参数进行检测以判断病症发展状况，而是利用舌像图片即可直接得到相应病症的病症参数；同时，该舌诊也不是经过医生望诊进行，而是经由前期的舌像样本所建立起的深度学习模型来进行，使得患者免去了医院就诊的往返奔波和排队耗时，而只需要拿起舌诊移动终端例如手机拍摄照片即可，给患者带来极大的方便。

附图说明

图1是本发明实施例的舌象诊断系统的示意图；

图2是对所拍摄的舌向图片进行矫正的示意图；

图3是本发明的深度学习模型的结构示意图。

具体实施方式

现结合附图和具体实施例对本发明进一步说明。

本发明的舌象诊断系统，例如可以是一种APP应用程序，也可以是一个存储介质例如闪存盘、软盘、硬盘等，其存储有多条指令，所述指令适用于由处理器加载并执行，所述指令包括：

启动一拍摄系统，并由拍摄系统拍摄舌体，得到待测舌像图片；

将所述待测舌像图片输入给一深度学习模型，该深度学习模型为舌像图片与某病症指标关联的模型，其输入层为舌像图片，输出层为病症指标；

运行深度学习模型，深度学习模型计算出预测的病症指标；

将所述预测的病症指标输出至一显示界面。

在一实施例中，舌象诊断系统为一APP应用程序或者一芯片，该应用程序或芯片启动后可以有用户界面，便于患者用户登录。用户登录后触发开启拍摄系统的指令，该舌象诊断系统即启动拍摄系统例如摄像头、照相机等硬件，患者用户伸出舌头，让拍摄系统拍摄舌体，从而得到待测舌像图片。

拍摄时，为了尽量避免受到环境光等外部因素的影响，拍出最接近舌头真实状况例如颜色、润燥特征，本舌象诊断系统会同时调用环境光补偿组件，采用阴影矫正算法对拍摄系统进行光源补偿。该环境光补偿组件可以为独立于所述舌象诊断系统的一个程序或芯片，也可以是与舌象诊断系统一体的程序或芯片。

该环境光补偿组件采用阴影矫正算法对拍摄系统的所拍摄的图片进行补偿，主要是对图片的熵引入对数熵。如图2所示，正常拍照的舌象图片亮度直方图上一般为单峰分布，如果环境光的阴影影响导致图片存在另外一个低明度分布，矫正过程就是使低明度分布向原来的正常明度靠近。在靠近过程中，如图2中上一行的普通的熵值计算所示，其熵一直是增加的，而图2中下一行所采用的对数熵至少在重叠前保持不增，如此可以达到全局最优解。具体算法可以参考Torsten Rohlfing的《Single-Image Vignetting Correction byConstrained Minimization of log-Intensity Entropy》等论文。

同时舌头伸出时应尽量松弛自然，避免因舌体张紧而导致舌像纹路、颜色等的变化，因此在一实施例中，舌象诊断系统还存储有舌体对位指令，当拍摄系统被启动时，舌体对位指令会调出舌体辅助框，方便患者按照合适的距离、方位进行拍摄，从而获得符合要求的舌像图片。

为了进一步优化图像，会为后续的计算减少计算量。在启动所述拍摄系统时，调用舌象截取组件，提取舌体的边缘。具体提取舌体的边缘主要是通过对舌象的模糊变化特征判定来实现的。一般来说，图像的能量主要集中在低频部分，噪声所在频段主要在高频段，同时舌象边缘信息也主要集中在其高频部分，所以需要在边缘进行降噪处理。具体实现步骤为：

（1）图像模糊化：具体为将图像灰度矩阵转换到模糊集中形成模糊特征矩阵，把图像每个像素点的灰度值转换成具有相对于某一个特定灰度级的隶属程度，这样用一个模糊值就可以代表图像中某一部分的明暗程度；

（2）阈值选取：具体为利用图像的灰度直方图，以目标和背景的方差最大来自适应确定分割阈值；

（3）转化矩阵：利用分割出来的阈值，用自定义函数将灰度图像转化为图像模糊矩阵；

（4）利用成熟的通用算子实现舌象的边缘提取。

将待测舌像图片直接输入或者按照上述预处理后输入给一深度学习模型，该深度学习模型运行后计算出预测的病症指标并将结果输出。

采用上述舌象诊断系统，能够利用该深度学习模型对输入的待测舌像图片进行分析和预测，从而预测得出病症指标，患者即可通过该预测的病症指标对相应的病症有个初步的判断。

以糖尿病为例，目前主流的糖尿病日常监测方法分为两种：有创检测和无创检测。有创检测，采用扎针采血的方式对糖化血红蛋白的数值进行直接的检测。有创采血疼痛感明显，一天内血糖检测次数较多，使用户心理负担增大，对血糖监测产生明显的抗拒心理。血糖试纸作为检测的高消耗品，开支高。无创检测，利用光谱测量法或能量代谢守恒法等间接测量糖化血红蛋白的数值。虽然成功避免了有创采血带来的疼痛感，但无法保证测量数据的准确性，可参考价值相对较低。加之购买设备价格较高，加重用户的经济负担，普及度不高。

而采用本发明的舌象诊断系统应用在糖尿病检测时，则患者只需要将其当前拍摄的舌像图片作为待测舌像图片输入给该深度学习模型，该深度学习模型即可输出预测的糖化血红蛋白值，使得患者在无需针扎采血、也无需戴上光谱测量等仪器即可获知其当前的糖化血红蛋白值，从而判断当前的糖尿病发展状况。

这对糖尿病患者来说，无创无疼痛，无需购买任何测量仪器，也无需奔波去给医生面诊，仅提供一下当前的舌像图片，即可较为准确地诊断出当前的疾病状况，不仅成本低，还方便快捷。

当然，糖尿病只是本发明的舌象分析方法的其中一种应用情景，采用舌象图片与糖化血红蛋白值关联的深度学习模型也仅是诊断糖尿病的一种模型，例如检测糖尿病也可以采用其他病症参数，而本发明的舌象分析方法还可以用来检测尿酸、癌症、三高等其他病症，只要是中医学上目前利用舌象望诊所能进行初步诊断的病症均可适用于本发明的舌象分析方法中，都属于本发明保护范围之内。本发明中，以糖化血红蛋白值、血压值两个作为病症参数值，以预测糖尿病患病几率、高血压患病几率为目的来解释本发明。

本发明的深度学习模型采用卷积神经网络模型，通过对卷积神经网络各神经网络层的设计，实现从舌像图片到病症参数值之间的深度学习。该模型基于VGG模型，在前几层设计了舌像特征提取层，用来提取包括舌形、舌色、红点、舌痕、瘀斑、舌面齿痕、舌苔、舌苔色、舌面唾液、舌裂纹等多个舌象特征，例如至少提取舌形、舌色、舌苔、舌苔色四个舌象特征。不过为了更为全面地反应舌像，并且更准确地估测病症关联性，对于现有已知和已有分类的舌象特征，应尽可能地均采用。本发明中，优选前述舌象特征中的九个，即本卷积神经网络模型中，前九层的舌像特征提取层分别为该九个舌象特征的神经网络层。

本模型中还设计了病症关联特征提取层，采用的是神经网络层，用来提取各个所述舌象特征与相应的病症的关联性。例如在上述含有九个舌象特征神经网络层的模型中，第十层用于识别所提取的舌象特征偏向于哪个病症，即患糖尿病还是高血压，而模型的最后一层用于判断该病的患病几率，也即诊断结果。当本发明仅需诊断是否患有糖尿病时，则本发明的卷积神经网络模型只需要采用VGG模型，设计前述多个舌象特征提取层，每个舌象特征提取层能提取出相应的舌象特征并评估该特征与糖尿病的关联性，最后采用神经网络层来识别各个舌象特征与糖尿病的关联性即可。

具体实现中，对于舌象图片，按照红、绿、蓝三种颜色的灰阶值作为三个维度，将每个所述舌像图片以M*N*3的维度矩阵进行数据化处理，M为所述舌像图片的横向像素数，N为所述舌像图片的纵向像素数，该维度矩阵作为所述深度学习模型的舌像图片源数据。例如，每张舌像图片按照分辨率256*256进行输入建模，在未进入第一层神经网络层前，按照R、G、B三个维度，每张图片以256*256*3维度的向量矩阵进行数据构成。处理每张图片时，以3*3矩阵为卷积核，以1个像素为卷积核处理图片的步长，之后图片逐层进入模型，根据不同的病症，最终模型会根据待测舌像图片输出相关的预测病症参数值或者相应病症的患病几率。而针对每一层，模型会给出相应病症特征的关联性，从而看出具体哪个舌象特征与该病症强关联。

如图3所示，每个神经网络层包括卷积层、激活函数层和池化层，上述舌象图片的向量矩阵作为输入，经卷积层、激活函数层和池化层后输出R1，然后进入第二个神经网络层输出为R2，依次类推直至最后一层。每个子输出Ri（i=1，2，3，……，n，n为该卷积神经网络模型的层数）有多个节点，每个节点都与下一个神经网络层的卷积层节点连结做向前传导直至进入最后一层也即全连接层，记做FC。全连结层与每层神经网络关联，构成整体训练模型。

在每个神经网络层中，每层卷积层都包含多个神经元，相关输入通过神经元的weight（权重）与神经元相连。当输入进入一个神经元以后需要激活函数将相关输出进行激活，具体函数为，其中xi为第i个输入节点，wi为xi的权重，b为偏置值。经过激活函数层后再进入池化层实现降维操作，从而降低运算复杂度。

通过构建上述的卷积神经网络模型，将舌象图片与最终的病症参数值或患病几率进行关联，在确定最终的深度学习模型之前，需要对预建立的深度学习模型进行训练，并通过舌象样本集的各个舌象样本、一般是千个以上样本的训练学习，从而获得最优的深度学习模型，也即最终准确率较高的卷积方程式。在这样的卷积神经网络模型下，输入待测舌象图片，运行该卷积神经网络模型，即可预测出较为准确的病症参数值。

基于以上，本发明还涉及一种舌诊移动终端，例如手机、手环或其他智能穿戴设备，其包括存储器、处理器、拍摄系统、显示界面，其中存储器存储有多条指令，用于由处理器加载并执行，这些指令包括：

启动拍摄系统，并由拍摄系统拍摄舌体，得到待测舌像图片；

将待测舌像图片输入给一深度学习模型，深度学习模型为舌像图片与某病症指标关联的模型，其输入层为舌像图片，输出层为病症指标；

运行深度学习模型，深度学习模型计算出预测的病症指标；

将预测的病症指标输出至所述显示界面。

上文中对舌象诊断系统中各指令的描述和可能的实施例、实现方式均适用在本舌诊移动终端中，在此不再赘述。

在一个常用的实施例中，该舌诊移动终端为手机，拍摄系统为手机的前置摄像头，这样患者只需拿起手机启动前置摄像头进行拍照，然后点击手机上的某个按键操作，将拍摄的待测舌像图片传送给深度学习模型即可，当该深度学习模型运行计算完成后，会在手机的显示界面例如显示屏幕上输出得到的病症指标，例如糖化血红蛋白值是多少，或者该值是高还是低，从而方便患者对病症做较为准确的评估和判断。

其中，本发明中涉及的深度学习模型可以存储在前述舌象诊断系统中或舌诊移动设备的存储器中，也可以是存储在其他服务器、云端等位置上，由舌象诊断系统或舌诊移动终端调用该模型进行运算，本专利不做限制。

通过构建上述的卷积神经网络模型，将舌像图片与最终的病症指标进行关联，并通过舌像样本集的各个舌像样本、一般是千个以上样本的训练学习，最终得到准确率较高的卷积方程式。在这样的卷积方程式下，输入待测舌像图片，运行该卷积神经网络模型，即可预测出较为准确的病症指标。

与普通的舌诊仪相比，本发明有非常明显的优越性。普通的舌诊仪体积大而笨重，造价昂贵，只适用于医院或诊所内采用，而其功能也仅能进行舌像拍照、舌像图片存储、病历上传等记录性功能，诊断的工作依然只能有医生来进行，而诊断的准确性还要依赖于当前面诊的医生的经验要足够丰富，并且该舌像与该病症的关联性还是只有医生意会而无法言传。而本发明的舌像分析方法，则是用一定数量的舌像样本为基础，用明确的已检验出的病症指标作为评估指标，来检验本发明的深度学习模型所做预测的准确性，从而具有更为精确而科学的诊断依据。对于患者而言，无需购买舌诊仪，无需向医生面诊，仅需输入当前待测的舌像图片，即可实时得到诊断结果，极其方便快捷。

尽管结合优选实施方案具体展示和介绍了本发明，具体实现该技术方案方法和途径很多，以上所述仅是本发明的优选实施方式，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (10)

1.一种舌象诊断系统，其特征在于，其存储有多条指令，所述指令适用于由处理器加载并执行，所述指令包括：

启动一拍摄系统，并由所述拍摄系统拍摄舌体，得到待测舌像图片；

将所述待测舌像图片输入给一深度学习模型，所述深度学习模型为舌像图片与某病症指标关联的模型，其输入层为舌像图片，输出层为病症指标；

运行所述深度学习模型，所述深度学习模型计算出预测的病症指标；

将所述预测的病症指标输出至一显示界面。

2.根据权利要求1所述的舌象诊断系统，其特征在于，启动所述拍摄系统时，调用环境光补偿组件，采用阴影矫正算法对所述拍摄系统进行光源补偿。

3.根据权利要求1所述的舌象诊断系统，其特征在于，启动所述拍摄系统时，调用舌象截取组件，提取舌体的边缘。

4.根据权利要求1所述的舌象诊断系统，其特征在于，所述深度学习模型为卷积神经网络模型。

5.根据权利要求4所述的舌象诊断系统，其特征在于，所述卷积神经网络模型至少包括舌象特征提取层，所述舌象特征提取层所提取的舌象特征至少包括舌形、舌色、红点、舌痕、瘀斑、舌面齿痕、舌苔、舌苔色、舌裂纹、舌面唾液中的四个以上。

6.根据权利要求4所述的舌象诊断系统，其特征在于，所述卷积神经网络模型还包括病症关联特征提取层，所述病症关联特征提取层用来提取各个所述舌象特征与相应的病症的关联性。

7.根据权利要求1所述的舌象诊断系统，其特征在于，所述病症指标为表征该病症的病症参数值，或者为患有该病症的几率。

8.一种舌诊移动终端，其特征在于，包括存储器、处理器、拍摄系统、显示界面，所述存储器存储有多条指令，所述指令适用于由所述处理器加载并执行，所述指令包括：

启动所述拍摄系统，并由所述拍摄系统拍摄舌体，得到待测舌像图片；

将所述待测舌像图片输入给一深度学习模型，所述深度学习模型为舌像图片与某病症指标关联的模型，其输入层为舌像图片，输出层为病症指标；

运行所述深度学习模型，所述深度学习模型计算出预测的病症指标；

将所述预测的病症指标输出至所述显示界面。

9.根据权利要求8所述的舌诊移动终端，其特征在于，所述舌诊移动终端为手机，所述拍摄系统为所述手机的前置摄像头，所述前置摄像头被启动时所述手机上显示舌体辅助框。

10.根据权利要求8所述的舌诊移动终端，其特征在于，所述深度学习模型为卷积神经网络模型。