CN111599444A - 智能舌诊检测方法、装置、智能终端和存储介质 - Google Patents

智能舌诊检测方法、装置、智能终端和存储介质 Download PDF

Info

Publication number
CN111599444A
CN111599444A CN202010418958.8A CN202010418958A CN111599444A CN 111599444 A CN111599444 A CN 111599444A CN 202010418958 A CN202010418958 A CN 202010418958A CN 111599444 A CN111599444 A CN 111599444A
Authority
CN
China
Prior art keywords
tongue
target
tip
attributes
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010418958.8A
Other languages
English (en)
Inventor
胡茂伟
甘南南
张小兵
聂鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuedongtianxia Technology Co ltd
Original Assignee
Shenzhen Yuedongtianxia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yuedongtianxia Technology Co ltd filed Critical Shenzhen Yuedongtianxia Technology Co ltd
Priority to CN202010418958.8A priority Critical patent/CN111599444A/zh
Publication of CN111599444A publication Critical patent/CN111599444A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/90ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to alternative medicines, e.g. homeopathy or oriental medicines
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Alternative & Traditional Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种智能舌诊检测方法、装置、智能终端和存储介质,该方法包括:采集舌头图像数据;应用设定目标检测算法,根据舌头图像数据识别舌头局部目标,舌头局部目标包括舌苔和舌尖;应用设定深度学习算法,确定舌头的属性、舌苔的属性和舌尖的属性;舌头的属性包括肥大、瘦小、老、嫩和正常,舌苔的属性包括干、湿、厚、薄和颜色,舌尖的属性包括颜色;根据舌头的属性、舌苔的属性和舌尖的属性确定用户体质信息,并根据用户体质信息生成中医调理方案并展示。降低了用户舌诊的门槛,对用户的体质情况进行分析和记录,给出调理建议,有助于用户对自身体质的了解,方便用户了解身体的各项状况的问题;通过增加舌诊检测指标来提高检测准确率。

Description

智能舌诊检测方法、装置、智能终端和存储介质
技术领域
本发明涉及人工智能技术领域,具体涉及一种智能舌诊检测方法、装置、智能终端和存储介质。
背景技术
舌诊是中医望诊中的一个重点观测指标,舌头也被中医称为心之苗,脾之外候,苔由肺气所生。在中医中又有舌尖属心肺,舌边属肝胆,舌中属脾胃,舌根属肾。因此,通过舌头可以了解身体的各项状况,舌头可以反映人的身体状况。
传统舌诊检测过程的诊断指标单一,因此,无法得出较为准确的舌头诊断判断。
发明内容
有鉴于此,提供一种智能舌诊检测方法、装置、智能终端和存储介质,以解决相关技术中舌诊检测指标单一以及诊断结果不准确的问题。
本发明采用如下技术方案:
第一方面,本申请实施例提供了一种智能舌诊检测方法,该方法包括:
采集舌头图像数据;
应用设定目标检测算法,根据所述舌头图像数据识别舌头局部目标,其中,所述舌头局部目标包括舌苔和舌尖;
应用设定深度学习算法,确定所述舌头的属性、所述舌苔的属性和所述舌尖的属性;其中,所述舌头的属性包括肥大、瘦小、老、嫩和正常,所述舌苔的属性包括干、湿、厚、薄和颜色,所述舌尖的属性包括颜色;
根据所述舌头的属性、所述舌苔的属性和所述舌尖的属性确定用户体质信息,并根据所述用户体质信息生成中医调理方案并展示。
第二方面,本申请实施例提供了一种智能舌诊检测装置,该装置包括:
数据采集模块,用于采集舌头图像数据;
目标识别模块,用于应用设定目标检测算法,根据所述舌头图像数据识别舌头局部目标,其中,所述舌头局部目标包括舌苔和舌尖;
属性确定模块,用于应用设定深度学习算法,确定所述舌头的属性、所述舌苔的属性和所述舌尖的属性;其中,所述舌头的属性包括肥大、瘦小、老、嫩和正常,所述舌苔的属性包括干、湿、厚、薄和颜色,所述舌尖的属性包括颜色;
展示模块,用于根据所述舌头的属性、所述舌苔的属性和所述舌尖的属性确定用户体质信息,并根据所述用户体质信息生成中医调理方案并展示。
第三方面,本申请实施例提供了一种智能终端,该智能终端包括:
处理器,以及与所述处理器相连接的存储器;
所述存储器用于存储计算机程序,所述计算机程序至少用于执行本申请实施例第一方面所述的智能舌诊检测方法;
所述处理器用于调用并执行所述存储器中的所述计算机程序。
第四方面,本申请实施例提供了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时,实现如第一方面所述的智能舌诊检测方法中各个步骤。
本发明采用以上技术方案,通过采集舌头图像数据;应用设定目标检测算法,根据舌头图像数据识别舌头局部目标,其中,舌头局部目标包括舌苔和舌尖;应用设定深度学习算法,确定舌头的属性、舌苔的属性和舌尖的属性;其中,舌头的属性包括肥大、瘦小、老、嫩和正常,舌苔的属性包括干、湿、厚、薄和颜色,舌尖的属性包括颜色;根据舌头的属性、舌苔的属性和舌尖的属性确定用户体质信息,并根据用户体质信息生成中医调理方案并展示。获取图像分析用户的体质,降低了用户舌诊的门槛,对用户的体质情况进行分析和记录,给出调理建议,有助于用户对自身体质的了解,方便用户了解身体的各项状况的问题;通过增加舌诊检测指标来提高检测准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种智能舌诊检测方法的流程图;
图2是本发明实施例中适用的一种目标检测的网络结构图;
图3是本发明实施例中适用的一种智能舌诊检测方法的流程图;
图4是本发明实施例提供的一种智能舌诊检测装置的结构示意图;
图5是本发明实施例提供的一种智能终端的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将对本发明的技术方案进行详细的描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式,都属于本发明所保护的范围。
实施例
图1为本发明实施例提供的一种智能舌诊检测方法的流程图,该方法可以由本发明实施例提供的智能舌诊检测装置来执行,该装置可采用软件和/或硬件的方式实现。参考图1,该方法具体可以包括如下步骤:
S101、采集舌头图像数据。
首先采集舌头的图像,比如可以是用户用手机对舌头进行拍摄,可以是手机后置摄像头拍摄的数据,还可以是手机前置摄像头拍摄的数据,还可以是从历史相册中上传包含舌头的图片,以采集舌头图像数据。
S102、应用设定目标检测算法,根据舌头图像数据识别舌头局部目标,其中,舌头局部目标包括舌苔和舌尖。
具体的,舌头图像中包括构成舌头的各个局部目标的图像,而这些局部目标中的舌苔和舌尖能更准确的反应人的身体健康状况。应用设定目标检测算法,根据各个局部目标的特点,对采集到舌头图像数据进行局部目标识别,比如,确定舌苔图片和舌尖图片。
S103、应用设定深度学习算法,确定舌头的属性、舌苔的属性和舌尖的属性;其中,舌头的属性包括肥大、瘦小、老、嫩和正常,舌苔的属性包括干、湿、厚、薄和颜色,舌尖的属性包括颜色。
具体的,应用设定深度学习算法,将舌头图像数据输入至深度学习图像分类模型,进行舌头属性的判断。具体的分类模型可以是两个,分别将舌头根据舌形分为正常、肥大和瘦小,以及,将舌头分为老、嫩和正常。另外,对舌苔图像使用深度学习分类模型进行舌苔属性的确定,其中,舌苔的属性确定使用了三个深度学习分类模型,依次进行了舌苔干、湿的划分;舌苔的厚、薄的划分;舌苔颜色的白、黄和灰黑的划分;将检测的舌苔属性结果存储到舌头检测结果字典中。对舌尖图像,输入至送入深度学习分类模型进行舌尖颜色的划分,分析用户舌尖颜色属性,其中,舌尖颜色属性包括淡白、淡红、暗红、鲜红、紫红,并将得到的舌尖颜色属性结果存入舌头检测结果字典中。
S104、根据舌头的属性、舌苔的属性和舌尖的属性确定用户体质信息,并根据用户体质信息生成中医调理方案并展示。
其中,用户的体质信息可以包括平和质、气虚质、阳虚质、阴虚质、痰湿质、湿热质、血瘀质、气郁质,针对上述分析,通过中医原理,进行用户体质的分析确定。然后针对不同体质的分析结果,生成相应的中医调理方案并展示。在一个具体的例子中,可以将中医调理方案以文字、图片或者视频的形式发送到用户的手机上。通过对舌头图像目标识别和舌头图像属性分类模型得到的结果,运用中医诊断的原理进行用户体质的总和分类,并给用户反馈相对应的临床意义,以及给出对应的调理建议。示例性的,表1为舌头特征以及对应的中医临床意义表。由于页面显示有限,表1显示在两页中。
表1舌头特征以及对应的中医临床意义表
Figure BDA0002496186400000051
Figure BDA0002496186400000061
本发明采用以上技术方案,通过采集舌头图像数据;应用设定目标检测算法,根据舌头图像数据识别舌头局部目标,其中,舌头局部目标包括舌苔和舌尖;应用设定深度学习算法,确定舌头的属性、舌苔的属性和舌尖的属性;其中,舌头的属性包括肥大、瘦小、老、嫩和正常,舌苔的属性包括干、湿、厚、薄和颜色,舌尖的属性包括颜色;根据舌头的属性、舌苔的属性和舌尖的属性确定用户体质信息,并根据用户体质信息生成中医调理方案并展示。获取图像分析用户的体质,降低了用户舌诊的门槛,对用户的体质情况进行分析和记录,给出调理建议,有助于用户对自身体质的了解,方便用户了解身体的各项状况的问题;通过增加舌诊检测指标来提高检测准确率。
可选的,采集舌头图像数据具体可以通过如下方式实现:采集原始舌头图像数据;检测到舌头目标的第一置信度大于第一设定置信度阈值,则根据舌头目标在舌头图像中的位置截取舌头目标的图像数据,得到舌头图像数据。
在实际的应用过程中,采集到的原始舌头图像数据可能存在不能完全覆盖舌头等问题,因此,需要对原始舌头图像数据进行预处理。比如,对用户上传的图像质量进行检测,以及,舌头目标的检测,当用户上传的舌头图像质量符合要求,并且,第一置信度大于第一设定置信度阈值时,表明用户上传的原始舌头图像可以应用,此时,根据舌头目标检测模型检测舌头的位置坐标,然后根据舌头目标在舌头图像中的位置截取舌头目标的图像数据,得到舌头图像数据。当用户上传的数据不符合质量要求或者没有检测到舌头目标时,提醒用户重新上传。
在一个具体的例子中,第一设定置信度阈值可以是0.75,这样可以使得齿痕、裂纹和舌尖这种小目标的检测效果更好。示例性的,舌头目标检测算法可以是yolov3目标检测算法,但这只是本申请的一个具体的实施例,具体的也可以使用其他的深度学习目标检测算法如R-CNN,Fast R-CNN、Faster R-CNN、SSD、yolov1、yolov2、RetinaNet等实现。
其中,以舌头目标检测为例,在预测舌头所在位置的边界框时,需要用到锚定框,通过这个锚定框就可以知道舌头最可能所在框的宽度和高度。可以预先通过聚类算法得到锚定框的大小。在一个具体的例子中,需要预测舌头所在的位置,围绕该舌头目标所在的位置可以预测出无数目标框的形状,但是在检测算法的实现过程中,这种预测并不是随便给出的,需要参考设置的锚定框的大小,即从已经标注好的数据中通过聚类算法统计得到最可能的舌头目标预测框的大小。
对于确定舌头目标框的大小,可选择的聚类算法包括K-Means聚类、均值漂移聚类、基于密度的聚类方法、层次聚类、高斯混合聚类等算法中的任一种或多种。在本申请实施例中,可以应用现有技术中的任意的一种或多种聚类算法和二分类算法,凡是能解决本申请中的聚类问题均可实现本申请的技术方案,这里不进行限定。
通过对标注好的算法运用聚类算法可以知道可能的目标对应的边界框的大小,通过计算两个框的iou(Intersection over Union,重叠度),即两个框的相似程度,定义为d=1-iou(box1,box_cluster),其中得到的d得结果越小,说明box1与box_cluster越相似,将box1划归为box_cluster,其中iou是两个box的交叉面积除以总面积得到的。
可选的,应用设定目标检测算法,根据舌头图像数据识别舌头局部目标,具体可以通过如下方式实现:分别检测舌苔目标的第二置信度和舌尖目标的第三置信度;当第二置信度大于第二设定置信度阈值时,根据舌苔目标的位置截取舌苔目标的图像数据,得到舌苔图像数据,以识别舌苔目标;当第三置信度大于第三设定置信度阈值时,根据舌尖目标的位置截取舌尖目标的图像数据,得到舌尖图像数据,以识别舌尖目标。
具体的,在舌苔目标的检测过程中,根据舌头图像目标的检测结果,分别检测舌苔目标的第二置信度和舌尖目标的第三置信度,当第二置信度大于第二设定置信度阈值时,选取大于第二设定置信度阈值的舌苔目标中置信度最大的目标,然后根据得到的坐标将舌苔置信度最大的目标的图像进行截图,得到舌苔图像数据,用于舌苔属性的分析,还可以将结果存储到舌头检测结果字典。在一个具体的例子中,舌苔的第二设定置信度阈值为0.6。
另外,针对舌头目标检测得到的结果,分析舌尖目标检测模型的置信度,称为第三置信度,当舌尖目标检测的第三置信度大于第三设定置信度阈值时,选取大于第三设定置信度阈值的舌尖目标中置信度最大的目标,然后根据得到的坐标将舌尖置信度最大的目标的图像截取下来,得到舌尖图像数据,用于舌尖属性的分析,还可以将结果存储在舌头检测结果字典。在一个具体的例子中,舌尖的第三设定置信度阈值为0.55。
进一步的,构建网络训练舌尖目标检测模型,在整个深度学习目标检测模型中通过划分单元格来做检测;在激活函数上采用leaky ReLU作为激活函数;使用端到端的训练方法,一个损失函数搞定所有的训练,训练时只需要关心模型的输入和输出;使用BatchNormalization作为正则化、加速收敛和避免过拟合的方法;采用多尺度的模型训练方法,在速度和舌尖目标检测的准确率之间达到平衡。
在一个具体的例子中,图2示出了一种目标检测的网络结构图,参考图2,其网络结构没有使用池化层和全连接层,在前向传播的过程中张量的尺度变换是通过改变卷积核的步长来实现的,例如使用stride=(2,2),则相当于将图像边长缩小了一半,图像经过模型的时候,主干网络会将输入图像的特征图压缩到原来的1/32,因此通常要求输入的图像的尺寸是32的倍数。具体的,CBL表示的结构是由卷积神经网络、批归一化和Leaky Relu构成,构成的一个组件。Resn中n表示的是数字,有res1,res2,…,res8等,表示该残差网络单元中包含了多少个残差单元,残差单元的引入可以使得模型可以训练更深的网络结构,其中每个残差单元是由两个CBL引入短接构造而成的。Concat表示张量的拼接,可以将网络的中间层输出和后面每一层的上采样进行拼接,其中拼接的操作和残差层的相加操作是不一样的,采用拼接操作会扩张张量的维度,而相加操作不会导致张量维度的改变。
参考图2,模型的输出方面,其输出了3个不同尺度的特征图,如图2的Y1、Y2、Y3所示,其采用多个尺度来对不同尺寸的目标进行检测,越精细的网络细胞能预测出越精细的物体。Y1适合对小目标进行检测,Y2适合对中等大小的目标进行检测,Y3适合对大目标进行检测。三个输出中Y1、Y2、Y3的深度都是30,其边长分别为:13、26、52,其中深度的计算公式是Boxes*(BoxCordinate+ObjectnessScore+Clsses)。其中模型采用上采样的方法来实现多尺度的特征图,没用采用骨干网络的中间层处理结果作为特征图的输出,而是采用和后面的网络层上采样的结果进行一个拼接处理之后得到的处理结果作为输出的特征图。
参考图2,在目标框的预测方面,模型直接预测相对位置的方法,预测出边界框中心点相对于网格单元左上角的相对坐标。其中bx、by、bw、bh是模型预测得到的边界框的中心点坐标和框的大小,并且对于每个边界框的置信度分数使用了逻辑回归进行预测,如果边界框和真实框的重叠度比之前任何的其它的边界框都要好,这该值应该为1,如果边界框不是最好,但是与真实对象重叠度超过某个阈值,则忽略这次预测。
本申请在进行类别预测时可以采用多标签多分类的Logistic分类器。如果使用Softmax分类器,则认为一个目标只属于一个类别,通过输出Score大小,使得每个框分配到Score最大的一个类别。但在一些复杂场景下,一个目标可能属于多个类,也即,有重叠的类别标签,例如在本实施例中,有些舌尖目标上也有齿痕,因此该目标就具有了多重目标,因此模型采用多个独立的Logistic分类器替代Softmax层解决多标签分类问题,且准确率不会下降。Logistic分类器主要用到sigmoid函数,该函数可以将输入约束在0到1的范围内,因此当一张图像经过特征提取后的某一类输出经过sigmoid函数约束后如果大于0.5,就表示该边界框负责的目标属于该类。
在实际的应用过程中,舌头局部目标还包括齿痕和裂纹;相应的,根据舌头图像数据识别舌头局部目标,具体可以通过如下方式实现:通过对舌头图像数据的标注数据目标框采用聚类算法来确定锚定框;采用上采样方法获取多尺度特征图,对多尺度特征图进行拼接得到输出特征图;根据输出特征图识别齿痕和裂纹。
在实际的应用过程中,舌头目标的检测过程中,还可以进行裂纹和齿痕等目标的检测,然后将检测结果存储到舌头检测结果字典中。采用聚类算法来确定锚定框的大小,通过对标注数据目标框采用聚类算法来确定锚定框的大小,采用上采样的方法来实现多尺度的特征图,没有采用主干网络的中间层结果作为输出的特征图,根据输出特征图识别齿痕和裂纹。在一个具体的例子中,裂纹设置的设定置信度阈值为0.4,齿痕设置的设定置信度阈值为0.35。
示例性的,应用设定深度学习算法确定舌头的属性、舌苔的属性和舌尖的属性中,分别对舌头图片、舌苔图片和舌尖图片进行属性标注;分别应用预先训练的深度学习分类算法模型,根据标注结果确定舌头的属性、舌苔的属性和舌尖的属性。
具体的,标注过程可以中,每个属性标注的标注不同,分别应用预先训练的深度学习分类算法模型,识别各个舌头目标、舌苔目标和舌尖目标的标注结果来进行匹配,得到舌头的属性、舌苔的属性和舌尖的属性。
可选的,根据舌头的属性、舌苔的属性和舌尖的属性确定用户体质信息,并根据用户体质信息生成中医调理方案并展示,具体可以通过如下方式实现:将舌头的属性、舌苔的属性和舌尖的属性输入至预设中医诊断数据库进行匹配,确定用户体质信息;将用户体质信息输入至预设中医调理数据库进行匹配,生成中医调理方案并展示。
其中,预设中医诊断数据库中存储的是舌头的属性、舌苔的属性和舌尖的属性与用户体质信息的对应关系;预设中医调理数据库中存储的是不同的用户体质信息与中医调理方案的对应关系。因此,在实际的应用过程中,在确定用户体质信息后,生成对应的中医调理方案并展示给用户,以供用户根据中医调理方案来调理身体。
可选的,聚类算法包括K-Means聚类、均值漂移聚类、基于密度的聚类方法、层次聚类或高斯混合聚类的至少一种;目标检测算法包括R-CNN,Fast R-CNN、Faster R-CNN、SSD、yolov1、yolov2或RetinaNet的至少一种;深度学习分类算法包括VGG16、VGG19、InceptionV3、Xception、MobileNet、AlexNet、LeNet、ZFNet、ResNet18、ResNet34、ResNet50或ResNet152中的至少一种。
具体的,在本申请中使用ResNet_101来确定舌头的属性,其中模型的输入数据是通过用户输入图片数据检测到舌头之后,其目标置信度大于设置的阈值0.75后截取下来的图像,使用ResNet_101进行舌头属性正常、肥大、瘦小和老、嫩的划分,其中舌头的正常、肥大、瘦小通过对截取的舌头图像数据进行标注,训练一个ResNet_101分类模型;舌头的老、嫩的划分也是通过截取到的舌头照片数据进行标注,训练一个分类模型。同时在本申请中舌苔属性和舌尖属性的划分也是采用ResNet_101来进行确定的,舌苔的干、湿属性是通过目标检测模型截取到的舌苔图像数据,训练一个ResNet_101分类模型得到的;舌苔的厚薄也是通过用户舌苔图像的标注数据训练一个ResNet_101分类模型进行确定;舌苔的颜色白、黄、灰黑也是通过一个ResNet_101分类模型进行确定。舌尖颜色的属性也是通过目标检测模型识别到舌尖目标之后截取到的舌尖图像数据训练的一个ResNet_101分类模型来进行确定。
ResNet_101采用残差学习比原始特征直接学习更容易,引入残差结构,当残差为0时,此时的残差堆积层仅做了恒等映射,网络的性能也不会出现下降,实际上残差不会为0,这也会使得堆积层在输入特征基础上学习到新的特征,从而拥有更好的性能;残差网络改变了原来网络的学习目的,相关技术中,网络学习的是直接通过卷积得到的图像特征,本申请实施例中,网络学习的是图像与特征的残差,充分利用了残差学习相比原始特征的直接学习更加容易。
为了使本申请的技术方案更容易理解,图3示出了一种智能舌诊检测方法的流程图。
图4是本发明是实施例提供的一种智能舌诊检测装置的结构示意图,该装置适用于执行本发明实施例提供给的一种智能舌诊检测方法。如图4所示,该装置具体可以包括数据采集模块401、目标识别模块402、属性确定模块403和展示模块404。
其中,数据采集模块401,用于采集舌头图像数据;目标识别模块402,用于应用设定目标检测算法,根据舌头图像数据识别舌头局部目标,其中,舌头局部目标包括舌苔和舌尖;属性确定模块403,用于应用设定深度学习算法,确定舌头的属性、舌苔的属性和舌尖的属性;其中,舌头的属性包括肥大、瘦小、老、嫩和正常,舌苔的属性包括干、湿、厚、薄和颜色,舌尖的属性包括颜色;展示模块404,用于根据舌头的属性、舌苔的属性和舌尖的属性确定用户体质信息,并根据用户体质信息生成中医调理方案并展示。
本发明采用以上技术方案,通过采集舌头图像数据;应用设定目标检测算法,根据舌头图像数据识别舌头局部目标,其中,舌头局部目标包括舌苔和舌尖;应用设定深度学习算法,确定舌头的属性、舌苔的属性和舌尖的属性;其中,舌头的属性包括肥大、瘦小、老、嫩和正常,舌苔的属性包括干、湿、厚、薄和颜色,舌尖的属性包括颜色;根据舌头的属性、舌苔的属性和舌尖的属性确定用户体质信息,并根据用户体质信息生成中医调理方案并展示。获取图像分析用户的体质,降低了用户舌诊的门槛,对用户的体质情况进行分析和记录,给出调理建议,有助于用户对自身体质的了解,方便用户了解身体的各项状况的问题;通过增加舌诊检测指标来提高检测准确率。
可选的,数据采集模块401具体用于:
采集原始舌头图像数据;
检测到舌头目标的第一置信度大于第一设定置信度阈值,则根据舌头目标在舌头图像中的位置截取舌头目标的图像数据,得到舌头图像数据。
可选的,目标识别模块402具体用于:
分别检测舌苔目标的第二置信度和舌尖目标的第三置信度;
当第二置信度大于第二设定置信度阈值时,根据舌苔目标的位置截取舌苔目标的图像数据,得到舌苔图像数据,以识别舌苔目标;
当第三置信度大于第三设定置信度阈值时,根据舌尖目标的位置截取舌尖目标的图像数据,得到舌尖图像数据,以识别舌尖目标。
可选的,舌头局部目标还包括齿痕和裂纹;
相应的,目标识别模块402具体用于:
通过对舌头图像数据的标注数据目标框采用聚类算法来确定锚定框;
采用上采样方法获取多尺度特征图,对多尺度特征图进行拼接得到输出特征图;
根据输出特征图识别齿痕和裂纹。
可选的,属性确定模块403具体用于:
分别对舌头图片、舌苔图片和舌尖图片进行属性标注;
分别应用预先训练的深度学习分类算法模型,根据标注结果确定舌头的属性、舌苔的属性和舌尖的属性。
可选的,展示模块404具体用于:
将舌头的属性、舌苔的属性和舌尖的属性输入至预设中医诊断数据库进行匹配,确定用户体质信息;
将用户体质信息输入至预设中医调理数据库进行匹配,生成中医调理方案并展示。
可选的,聚类算法包括K-Means聚类、均值漂移聚类、基于密度的聚类方法、层次聚类或高斯混合聚类的至少一种;目标检测算法包括R-CNN,Fast R-CNN、Faster R-CNN、SSD、yolov1、yolov2或RetinaNet的至少一种;深度学习分类算法包括VGG16、VGG19、InceptionV3、Xception、MobileNet、AlexNet、LeNet、ZFNet、ResNet18、ResNet34、ResNet50或ResNet152中的至少一种。
本发明实施例提供的智能舌诊检测装置可执行本发明任意实施例提供的智能舌诊检测装置方法,具备执行方法相应的功能模块和有益效果。
本发明实施例还提供一种智能终端,请参阅图5,图5为一种智能终端的结构示意图,如图5所示,该智能终端包括:处理器510,以及与处理器510相连接的存储器520;存储器520用于存储计算机程序,所述计算机程序至少用于执行本发明实施例中的智能终端方法;处理器510用于调用并执行所述存储器中的所述计算机程序;上述智能舌诊检测方法至少包括如下步骤:采集舌头图像数据;应用设定目标检测算法,根据所述舌头图像数据识别舌头局部目标,其中,所述舌头局部目标包括舌苔和舌尖;应用设定深度学习算法,确定所述舌头的属性、所述舌苔的属性和所述舌尖的属性;其中,所述舌头的属性包括肥大、瘦小、老、嫩和正常,所述舌苔的属性包括干、湿、厚、薄和颜色,所述舌尖的属性包括颜色;根据所述舌头的属性、所述舌苔的属性和所述舌尖的属性确定用户体质信息,并根据所述用户体质信息生成中医调理方案并展示。用户通过便携的电子设备或智能终端进行舌头的综合体检。
本发明实施例还提供一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时,实现如本发明实施例中的智能舌诊检测方法中各个步骤:采集舌头图像数据;应用设定目标检测算法,根据所述舌头图像数据识别舌头局部目标,其中,所述舌头局部目标包括舌苔和舌尖;应用设定深度学习算法,确定所述舌头的属性、所述舌苔的属性和所述舌尖的属性;其中,所述舌头的属性包括肥大、瘦小、老、嫩和正常,所述舌苔的属性包括干、湿、厚、薄和颜色,所述舌尖的属性包括颜色;根据所述舌头的属性、所述舌苔的属性和所述舌尖的属性确定用户体质信息,并根据所述用户体质信息生成中医调理方案并展示。
可以理解的是,上述各实施例中相同或相似部分可以相互参考,在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是,在本发明的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种智能舌诊检测方法,其特征在于,包括:
采集舌头图像数据;
应用设定目标检测算法,根据所述舌头图像数据识别舌头局部目标,其中,所述舌头局部目标包括舌苔和舌尖;
应用设定深度学习算法,确定所述舌头的属性、所述舌苔的属性和所述舌尖的属性;其中,所述舌头的属性包括肥大、瘦小、老、嫩和正常,所述舌苔的属性包括干、湿、厚、薄和颜色,所述舌尖的属性包括颜色;
根据所述舌头的属性、所述舌苔的属性和所述舌尖的属性确定用户体质信息,并根据所述用户体质信息生成中医调理方案并展示。
2.根据权利要求1所述的方法,其特征在于,所述采集舌头图像数据包括:
采集原始舌头图像数据;
检测到舌头目标的第一置信度大于第一设定置信度阈值,则根据所述舌头目标在所述舌头图像中的位置截取所述舌头目标的图像数据,得到舌头图像数据。
3.根据权利要求1所述的方法,其特征在于,所述应用设定目标检测算法,根据所述舌头图像数据识别舌头局部目标,包括:
分别检测舌苔目标的第二置信度和舌尖目标的第三置信度;
当所述第二置信度大于第二设定置信度阈值时,根据所述舌苔目标的位置截取所述舌苔目标的图像数据,得到舌苔图像数据,以识别舌苔目标;
当所述第三置信度大于第三设定置信度阈值时,根据所述舌尖目标的位置截取所述舌尖目标的图像数据,得到舌尖图像数据,以识别舌尖目标。
4.根据权利要求1所述的方法,其特征在于,所述舌头局部目标还包括齿痕和裂纹;
相应的,所述根据所述舌头图像数据识别舌头局部目标,包括:
通过对所述舌头图像数据的标注数据目标框采用聚类算法来确定锚定框;
采用上采样方法获取多尺度特征图,对所述多尺度特征图进行拼接得到输出特征图;
根据所述输出特征图识别所述齿痕和裂纹。
5.根据权利要求1所述的方法,其特征在于,所述应用设定深度学习算法确定所述舌头的属性、所述舌苔的属性和所述舌尖的属性,包括:
分别对舌头图片、舌苔图片和舌尖图片进行属性标注;
分别应用预先训练的深度学习分类算法模型,根据标注结果确定舌头的属性、舌苔的属性和舌尖的属性。
6.根据权利要求1所述的方法,其特征在于,所述根据所述舌头的属性、所述舌苔的属性和所述舌尖的属性确定用户体质信息,并根据所述用户体质信息生成中医调理方案并展示,包括:
将所述舌头的属性、所述舌苔的属性和所述舌尖的属性输入至预设中医诊断数据库进行匹配,确定用户体质信息;
将所述用户体质信息输入至预设中医调理数据库进行匹配,生成中医调理方案并展示。
7.根据权利要求4所述的方法,其特征在于,所述聚类算法包括K-Means聚类、均值漂移聚类、基于密度的聚类方法、层次聚类或高斯混合聚类的至少一种;所述目标检测算法包括R-CNN,Fast R-CNN、Faster R-CNN、SSD、yolov1、yolov2或RetinaNet的至少一种;所述深度学习分类算法包括VGG16、VGG19、InceptionV3、Xception、MobileNet、AlexNet、LeNet、ZFNet、ResNet18、ResNet34、ResNet50或ResNet152中的至少一种。
8.一种智能舌诊检测装置,其特征在于,包括:
数据采集模块,用于采集舌头图像数据;
目标识别模块,用于应用设定目标检测算法,根据所述舌头图像数据识别舌头局部目标,其中,所述舌头局部目标包括舌苔和舌尖;
属性确定模块,用于应用设定深度学习算法,确定所述舌头的属性、所述舌苔的属性和所述舌尖的属性;其中,所述舌头的属性包括肥大、瘦小、老、嫩和正常,所述舌苔的属性包括干、湿、厚、薄和颜色,所述舌尖的属性包括颜色;
展示模块,用于根据所述舌头的属性、所述舌苔的属性和所述舌尖的属性确定用户体质信息,并根据所述用户体质信息生成中医调理方案并展示。
9.一种智能终端,其特征在于,包括:
处理器,以及与所述处理器相连接的存储器;
所述存储器用于存储计算机程序,所述计算机程序至少用于执行权利要求1-7任一项所述的智能舌诊检测方法;
所述处理器用于调用并执行所述存储器中的所述计算机程序。
10.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时,实现如权利要求1-7任一项所述的智能舌诊检测方法中各个步骤。
CN202010418958.8A 2020-05-18 2020-05-18 智能舌诊检测方法、装置、智能终端和存储介质 Pending CN111599444A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010418958.8A CN111599444A (zh) 2020-05-18 2020-05-18 智能舌诊检测方法、装置、智能终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010418958.8A CN111599444A (zh) 2020-05-18 2020-05-18 智能舌诊检测方法、装置、智能终端和存储介质

Publications (1)

Publication Number Publication Date
CN111599444A true CN111599444A (zh) 2020-08-28

Family

ID=72187232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010418958.8A Pending CN111599444A (zh) 2020-05-18 2020-05-18 智能舌诊检测方法、装置、智能终端和存储介质

Country Status (1)

Country Link
CN (1) CN111599444A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200091A (zh) * 2020-10-13 2021-01-08 深圳市悦动天下科技有限公司 舌头区域识别的方法、装置及计算机存储介质
CN116843672A (zh) * 2023-07-24 2023-10-03 南京大经中医药信息技术有限公司 一种基于深度学习的舌苔检测方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683087A (zh) * 2016-12-26 2017-05-17 华南理工大学 一种基于深度神经网络的舌苔体质辨别方法
CN108182967A (zh) * 2017-12-14 2018-06-19 华南理工大学 一种基于深度神经网络的中医药材推荐方法
CN109214410A (zh) * 2018-07-10 2019-01-15 上海斐讯数据通信技术有限公司 一种提升多标签分类正确率的方法及系统
CN109259730A (zh) * 2018-10-09 2019-01-25 广东数相智能科技有限公司 一种基于舌诊的预警分析方法和存储介质
CN109300123A (zh) * 2018-09-18 2019-02-01 天津大学 基于面部和舌部图像采集的体质分析方法
CN109903836A (zh) * 2019-03-31 2019-06-18 山西慧虎健康科技有限公司 一种基于体质和大数据的饮食智能推荐和匹配系统及方法
CN109993391A (zh) * 2017-12-31 2019-07-09 中国移动通信集团山西有限公司 网络运维任务工单的派发方法、装置、设备及介质
CN110059554A (zh) * 2019-03-13 2019-07-26 重庆邮电大学 一种基于交通场景的多支路目标检测方法
CN110210391A (zh) * 2019-05-31 2019-09-06 合肥云诊信息科技有限公司 基于多尺度卷积神经网络的舌象纹理定量分析方法
CN110299193A (zh) * 2019-06-27 2019-10-01 合肥云诊信息科技有限公司 基于人工智能舌诊的中医健康云服务方法
CN110310737A (zh) * 2018-12-07 2019-10-08 广州华久信息科技有限公司 一种中医体质养生的智能移动终端
CN110866476A (zh) * 2019-11-06 2020-03-06 南京信息职业技术学院 一种基于自动标注和迁移学习的密集堆垛目标检测方法
CN111091072A (zh) * 2019-11-29 2020-05-01 河海大学 一种基于YOLOv3的火焰及浓烟检测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683087A (zh) * 2016-12-26 2017-05-17 华南理工大学 一种基于深度神经网络的舌苔体质辨别方法
CN108182967A (zh) * 2017-12-14 2018-06-19 华南理工大学 一种基于深度神经网络的中医药材推荐方法
CN109993391A (zh) * 2017-12-31 2019-07-09 中国移动通信集团山西有限公司 网络运维任务工单的派发方法、装置、设备及介质
CN109214410A (zh) * 2018-07-10 2019-01-15 上海斐讯数据通信技术有限公司 一种提升多标签分类正确率的方法及系统
CN109300123A (zh) * 2018-09-18 2019-02-01 天津大学 基于面部和舌部图像采集的体质分析方法
CN109259730A (zh) * 2018-10-09 2019-01-25 广东数相智能科技有限公司 一种基于舌诊的预警分析方法和存储介质
CN110310737A (zh) * 2018-12-07 2019-10-08 广州华久信息科技有限公司 一种中医体质养生的智能移动终端
CN110059554A (zh) * 2019-03-13 2019-07-26 重庆邮电大学 一种基于交通场景的多支路目标检测方法
CN109903836A (zh) * 2019-03-31 2019-06-18 山西慧虎健康科技有限公司 一种基于体质和大数据的饮食智能推荐和匹配系统及方法
CN110210391A (zh) * 2019-05-31 2019-09-06 合肥云诊信息科技有限公司 基于多尺度卷积神经网络的舌象纹理定量分析方法
CN110299193A (zh) * 2019-06-27 2019-10-01 合肥云诊信息科技有限公司 基于人工智能舌诊的中医健康云服务方法
CN110866476A (zh) * 2019-11-06 2020-03-06 南京信息职业技术学院 一种基于自动标注和迁移学习的密集堆垛目标检测方法
CN111091072A (zh) * 2019-11-29 2020-05-01 河海大学 一种基于YOLOv3的火焰及浓烟检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
尚文文;王亚伟;薛双双;彭光威;韩豪;徐媛媛;: "基于舌象色谱比较分析的舌诊方法", no. 03 *
曹燕;李欢;王天宝;: "基于深度学习的目标检测算法研究综述", 计算机与现代化, no. 05 *
黄知超;梁国丽;朱芳来;: "微芯片焊点快速识别与定位方法", 半导体技术, no. 03 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200091A (zh) * 2020-10-13 2021-01-08 深圳市悦动天下科技有限公司 舌头区域识别的方法、装置及计算机存储介质
CN116843672A (zh) * 2023-07-24 2023-10-03 南京大经中医药信息技术有限公司 一种基于深度学习的舌苔检测方法

Similar Documents

Publication Publication Date Title
CN106803247B (zh) 一种基于多级筛选卷积神经网络的微血管瘤图像识别方法
CN110853022B (zh) 病理切片图像的处理方法、装置、系统及存储介质
US10121245B2 (en) Identification of inflammation in tissue images
CN112052186B (zh) 目标检测方法、装置、设备以及存储介质
CN114445670B (zh) 图像处理模型的训练方法、装置、设备及存储介质
CN112949408B (zh) 一种过鱼通道目标鱼类实时识别方法和系统
CN110647802A (zh) 基于深度学习的遥感影像舰船目标检测方法
CN111563550B (zh) 基于图像技术的精子形态检测方法和装置
Tania et al. Intelligent image-based colourimetric tests using machine learning framework for lateral flow assays
CN111611851B (zh) 模型生成方法、虹膜检测方法及装置
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
CN112801236B (zh) 图像识别模型的迁移方法、装置、设备及存储介质
CN113177559B (zh) 结合广度和密集卷积神经网络的图像识别方法、系统、设备及介质
CN111599444A (zh) 智能舌诊检测方法、装置、智能终端和存储介质
CN113706562B (zh) 图像分割方法、装置、系统及细胞分割方法
CN114998220A (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN105354405A (zh) 基于机器学习的免疫组化图像自动化判读系统
CN111127400A (zh) 一种乳腺病变检测方法和装置
Azizah et al. Tajweed-YOLO: Object Detection Method for Tajweed by Applying HSV Color Model Augmentation on Mushaf Images
CN113781387A (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN113052236A (zh) 一种基于NASNet的肺炎图像分类方法
CN116309465B (zh) 一种基于改进的YOLOv5的自然环境下舌像检测定位方法
CN105528791B (zh) 一种面向触摸屏手绘图像的质量评价装置及其评价方法
CN115049660B (zh) 心脏解剖学结构特征点的定位方法、定位装置
CN115659221A (zh) 一种教学质量的评估方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination