CN110189383B - 基于机器学习的中医舌色苔色定量分析方法 - Google Patents

基于机器学习的中医舌色苔色定量分析方法 Download PDF

Info

Publication number
CN110189383B
CN110189383B CN201910568779.XA CN201910568779A CN110189383B CN 110189383 B CN110189383 B CN 110189383B CN 201910568779 A CN201910568779 A CN 201910568779A CN 110189383 B CN110189383 B CN 110189383B
Authority
CN
China
Prior art keywords
tongue
color
fur
coating
whole
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910568779.XA
Other languages
English (en)
Other versions
CN110189383A (zh
Inventor
彭成东
王勇
杨诺
黄稳
陈仁明
董昌武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Yundian Information Technology Co ltd
Original Assignee
Hefei Yundian Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Yundian Information Technology Co ltd filed Critical Hefei Yundian Information Technology Co ltd
Priority to CN201910568779.XA priority Critical patent/CN110189383B/zh
Publication of CN110189383A publication Critical patent/CN110189383A/zh
Application granted granted Critical
Publication of CN110189383B publication Critical patent/CN110189383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Abstract

本发明涉及舌色苔色鉴定,具体涉及基于机器学习的中医舌色苔色定量分析方法,对不同地区、年龄的人群进行舌象调查与图像采集,并通过一致评审的方法对采集的舌象图像进行舌色、苔色判定,构建中医舌象大数据,对中医舌象大数据中的舌象图像提取舌体区域,通过HSV空间聚类,切分成子图,聚类结果按色调自动生成舌色颜色色卡、苔色颜色色卡,基于xgboost机器学习算法构建像素颜色属性分类器X,基于xgboost机器学习算法分别构建整舌舌色分类模型s和整舌苔色分类模型t,本发明提供的技术方案能够有效克服现有技术所存在的识别结果准确性较低、较为依赖样本数据的缺陷。

Description

基于机器学习的中医舌色苔色定量分析方法
技术领域
本发明涉及舌色苔色鉴定,具体涉及基于机器学习的中医舌色苔色定量分析方法。
背景技术
传统望舌是以肉眼观察为主,其正确性取决于医生经验,受限于环境因素,缺乏客观统一的辨识指标,无法达到研究上的可重复性要求。医生可能会因光线、环境等因素,造成对舌色、苔色的判断失误,因此急需采用机器量化分析和辨识的方法。现有技术主要有以下两种方法:
卷积神经网络分类模型
直接使用神经网络来分类判别舌体苔质颜色,以Inception V4分类网络为例,该网络在ILSVRC-2012-CLS数据集下以最大概率的类别作为预测结果,准确率为80.2%,而使用的是包含百万张图片的数据集。对于中医舌诊来说,要使用权威医生标注的高质量样本不仅匮乏而且代价十分昂贵,经验不足的医生往往难以保证数据标注的质量,所以能够作为训练的舌象库样本容量太小,无法达到预期的分类效果。
卷积网络滑动窗口预测
在《一种基于卷积神经网络的中医舌色苔色自动分析方法》专利中,提到的不再使用原图进行直接训练,而是利用滑动窗口从舌象的舌质、舌苔区域得到小块图片,然后再由中医进行确定标签,随后训练,预测的时候也是先通过滑动窗口将图片分成小块,然后通过模型预测每块的类型,综合起来判定整舌的舌色、苔色。上述方式较第一种确实有所改进,但是其中也有问题,比如使用滑动窗口方式取分块,具有随机性和不稳定性,往往一块图片上带有其他很多颜色,导致标记出现偏差,致使最终结果不准确。
发明内容
(一)解决的技术问题
针对现有技术所存在的上述缺点,本发明提供了基于机器学习的中医舌色苔色定量分析方法,能够有效克服现有技术所存在的识别结果准确性较低、较为依赖样本数据的缺陷。
(二)技术方案
为实现以上目的,本发明通过以下技术方案予以实现:
基于机器学习的中医舌色苔色定量分析方法,包括以下步骤:
S1、对不同地区、年龄的人群进行舌象调查与图像采集,并通过一致评审的方法对采集的舌象图像进行舌色、苔色判定,构建中医舌象大数据;
S2、对中医舌象大数据中的舌象图像提取舌体区域,通过HSV空间聚类,切分成子图,聚类结果按色调自动生成舌色颜色色卡、苔色颜色色卡;
S3、基于xgboost机器学习算法构建像素颜色属性分类器X,基于xgboost机器学习算法分别构建整舌舌色分类模型d和整舌苔色分类模型t;
S4、使用像素颜色属性分类器X计算舌体区域每个像素点的颜色属性,得到颜色数量c、颜色比例f;
S5、使用整舌舌色分类模型d计算整舌舌色,使用整舌苔色分类模型t计算整舌苔色;
S6、按局部特征定义要求,对舌体各分区进行局部舌色、苔色特征计算;
其中,使用整舌舌色分类模型d计算整舌舌色,使用整舌苔色分类模型t计算整舌苔色包括以下步骤:
S51、读取r张舌象图像,图片宽度为w,高度为L,计算各像素在HSV空间的矩阵M:
Figure GDA0002930254070000031
其中,
S52、mij=[h s v],h∈[0,180]s∈[0,255]v∈[0,255]使用像素颜色属性分类器X计算舌象图像中各像素属于淡白、淡红、红、绛、青紫的颜色属性类别矩阵Ns
Figure GDA0002930254070000032
S53、对颜色属性类别矩阵Ns统计各类别像素数量矩阵Cs及其占整舌比例fs
Figure GDA0002930254070000033
Figure GDA0002930254070000034
S54、使用整舌舌色分类模型d计算整舌舌色属于淡白、淡红、红、绛、青紫的概率ps
Figure GDA0002930254070000041
取颜色最大概率max(ps)=[pj]r为整舌舌色;
S55、使用像素颜色属性分类器X计算舌象图像中各像素属于白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔的颜色属性类别矩阵Nt
Figure GDA0002930254070000042
S56、对颜色属性类别矩阵Nt统计各类别像素数量矩阵Ct及其占整舌比例ft
Figure GDA0002930254070000043
Figure GDA0002930254070000044
S57、使用整舌苔色分类模型t计算整舌苔色属于白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔的概率pt
Figure GDA0002930254070000051
取颜色最大概率max(pt)=[pj]r为整舌苔色;
其中,局部特征定义要求包括:
舌尖区域超过一半有红、绛色时,则判定舌象为舌尖红;舌左边和右边区域超过一半有红、绛色时,则判定舌象为舌两边红;舌中区域超过一半有厚白苔时,则判定舌象为舌中厚白苔;舌根区域超过一半有厚白苔时,则判定舌象为舌中厚白苔;舌中区域超过一半有淡黄、黄、焦黄苔时,则判定舌象为舌中黄苔;舌根区域超过一半有淡黄、黄、焦黄苔时,则判定舌象为舌根黄苔;整舌舌苔90%以上时为苔满布;整舌舌苔低于5%时为无苔或假苔。
优选地,所述舌象图像为在自然光条件下,采用图像采集装置对儿童、青少年、中老年各年龄段人群进行采集。
优选地,所述中医舌象大数据包括舌色、舌形、苔质、苔色,所述舌色包括淡白、淡红、红、绛、青紫,所述舌形包括胖大、瘦小、齿痕、裂纹、瘀斑、瘀点、点刺,所述苔质包括厚苔、薄苔、腐苔、腻苔、润苔、燥苔、剥苔,所述苔色包括白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔。
优选地,从S2中所述舌象图像提取舌体区域基于多尺度卷积神经网络的像素级实例分割模型,所述实例分割模型通过深度学习对舌象图像提取舌体区域并计算轮廓边界,每张舌体区域图像生成一张背景为黑色、前景为舌体的图像,作为舌体颜色特征计算数据源。
优选地,通过所述HSV空间聚类生成舌色颜色色卡、苔色颜色色卡包括以下步骤:
S1、通过颜色聚类的方式将提取的舌体区域图像进行HSV颜色空间聚类,按照相邻区域相近颜色为同一区域切分成子图;
S2、对切分成的子图,使用抠图工具按照舌色、苔色的顺序,新建11张各颜色命名的黑色背景图片,从子图中抠出可能具有的以上颜色区域小图放置到对应的黑色背景图片中,经过反复取小图的方式,可以得到比较可靠的各颜色小块图片的拼图;
S3、对各颜色小块图片进行像素点合并,并对色调跳跃大的以及重复像素点进行数据清洗,最后生成各种颜色对应的像素点图片,即五张舌色颜色色卡、六张苔色颜色色卡。
优选地,构建所述像素颜色属性分类器X包括将舌色颜色色卡、苔色颜色色卡像素点的HSV三个值作为三列训练集特征数据,色卡对应的颜色作为标签值,并用数字代替,制作好的数据进行颜色属性分类器X的训练,得到所述颜色属性分类器X。
优选地,构建所述整舌舌色分类模型d和整舌苔色分类模型t包括以下步骤:
S1、使用颜色属性分类器X计算舌体区域每个像素点的颜色属性,得到颜色数量c、颜色比例f;
S2、舌色训练数据列包括淡白、淡红、红、绛、青紫颜色像素点占比及中医专家评审舌色标签,苔色数据列包括白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔颜色像素点占比及中医专家评审苔色标签;
S3、使用SVM模型对整舌舌色预测模型、整舌苔色预测模型进行数据训练,得到整舌舌色分类模型d、整舌苔色分类模型t。
优选地,所述舌体各分区包括舌尖、舌左边、舌右边、舌中、舌根。
(三)有益效果
与现有技术相比,本发明所提供的基于机器学习的中医舌色苔色定量分析方法具有以下有益效果:
(1)、准确度明显高于同类方法,对舌体颜色特征的检测能力高于一般方法,检测算法的准确性更高,所需数据依赖更小,更能保证日常自然光照条件下拍照舌诊使用;
(2)、通过对HSV颜色空间舌色、苔色属性的两次机器学习,对舌体进行像素级分类和舌色、苔色的定量计算,能达到对舌体5种舌色、6种苔色,共11个类别的检测,以及舌尖、舌中、舌根、舌左边、舌右边5个区域局部颜色的特征识别,显著提升了检测能力并且重复性好、准确度高,可应用于人工智能舌诊机器辨析舌色、苔色。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明舌色、苔色机器学习模型训练流程示意图;
图2为本发明舌色、苔色分类模型定量分析示意图;
图3为本发明舌体区域划分示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
基于机器学习的中医舌色苔色定量分析方法,如图1至图3所示,包括以下步骤:
S1、对不同地区、年龄的人群进行舌象调查与图像采集,并通过一致评审的方法对采集的舌象图像进行舌色、苔色判定,构建中医舌象大数据;
S2、对中医舌象大数据中的舌象图像提取舌体区域,通过HSV空间聚类,切分成子图,聚类结果按色调自动生成舌色颜色色卡、苔色颜色色卡;
S3、基于xgboost机器学习算法构建像素颜色属性分类器X,基于xgboost机器学习算法分别构建整舌舌色分类模型d和整舌苔色分类模型t;
S4、使用像素颜色属性分类器X计算舌体区域每个像素点的颜色属性,得到颜色数量c、颜色比例f;
S5、使用整舌舌色分类模型d计算整舌舌色,使用整舌苔色分类模型t计算整舌苔色;
S6、按局部特征定义要求,对舌体各分区进行局部舌色、苔色特征计算;
其中,使用整舌舌色分类模型d计算整舌舌色,使用整舌苔色分类模型t计算整舌苔色包括以下步骤:
S51、读取r张舌象图像,图片宽度为w,高度为L,计算各像素在HSV空间的矩阵M:
Figure GDA0002930254070000081
其中,mij=[h s v],h∈[0,180]s∈[0,255]v∈[0,255]
S52、使用像素颜色属性分类器X计算舌象图像中各像素属于淡白、淡红、红、绛、青紫的颜色属性类别矩阵Ns
Figure GDA0002930254070000091
S53、对颜色属性类别矩阵Ns统计各类别像素数量矩阵Cs及其占整舌比例fs
Figure GDA0002930254070000092
Figure GDA0002930254070000093
S54、使用整舌舌色分类模型d计算整舌舌色属于淡白、淡红、红、绛、青紫的概率ps
Figure GDA0002930254070000094
取颜色最大概率max(ps)=[pj]r为整舌舌色;
S55、使用像素颜色属性分类器X计算舌象图像中各像素属于白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔的颜色属性类别矩阵Nt
Figure GDA0002930254070000101
S56、对颜色属性类别矩阵Nt统计各类别像素数量矩阵Ct及其占整舌比例ft
Figure GDA0002930254070000102
Figure GDA0002930254070000103
S57、使用整舌苔色分类模型t计算整舌苔色属于白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔的概率pt
Figure GDA0002930254070000104
取颜色最大概率max(pt)=[pj]r为整舌苔色;
其中,局部特征定义要求包括:
舌尖区域超过一半有红、绛色时,则判定舌象为舌尖红;舌左边和右边区域超过一半有红、绛色时,则判定舌象为舌两边红;舌中区域超过一半有厚白苔时,则判定舌象为舌中厚白苔;舌根区域超过一半有厚白苔时,则判定舌象为舌中厚白苔;舌中区域超过一半有淡黄、黄、焦黄苔时,则判定舌象为舌中黄苔;舌根区域超过一半有淡黄、黄、焦黄苔时,则判定舌象为舌根黄苔;整舌舌苔90%以上时为苔满布;整舌舌苔低于5%时为无苔或假苔。
舌象图像为在自然光条件下,采用图像采集装置对儿童、青少年、中老年各年龄段人群进行采集。
中医舌象大数据包括舌色、舌形、苔质、苔色,舌色包括淡白、淡红、红、绛、青紫,舌形包括胖大、瘦小、齿痕、裂纹、瘀斑、瘀点、点刺,苔质包括厚苔、薄苔、腐苔、腻苔、润苔、燥苔、剥苔,苔色包括白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔。
从舌象图像提取舌体区域基于多尺度卷积神经网络的像素级实例分割模型,实例分割模型通过深度学习对舌象图像提取舌体区域并计算轮廓边界,每张舌体区域图像生成一张背景为黑色、前景为舌体的图像,作为舌体颜色特征计算数据源。
通过HSV空间聚类生成舌色颜色色卡、苔色颜色色卡包括以下步骤:
S1、通过颜色聚类的方式将提取的舌体区域图像进行HSV颜色空间聚类,按照相邻区域相近颜色为同一区域切分成子图;
S2、对切分成的子图,使用抠图工具按照舌色、苔色的顺序,新建11张各颜色命名的黑色背景图片,从子图中抠出可能具有的以上颜色区域小图放置到对应的黑色背景图片中,经过反复取小图的方式,可以得到比较可靠的各颜色小块图片的拼图;
S3、对各颜色小块图片进行像素点合并,并对色调跳跃大的以及重复像素点进行数据清洗,最后生成各种颜色对应的像素点图片,即五张舌色颜色色卡、六张苔色颜色色卡。
构建像素颜色属性分类器X包括将舌色颜色色卡、苔色颜色色卡像素点的HSV三个值作为三列训练集特征数据,色卡对应的颜色作为标签值,并用数字代替,制作好的数据进行颜色属性分类器X的训练,得到颜色属性分类器X。
构建整舌舌色分类模型d和整舌苔色分类模型t包括以下步骤:
S1、使用颜色属性分类器X计算舌体区域每个像素点的颜色属性,得到颜色数量c、颜色比例f;
S2、舌色训练数据列包括淡白、淡红、红、绛、青紫颜色像素点占比及中医专家评审舌色标签,苔色数据列包括白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔颜色像素点占比及中医专家评审苔色标签;
S3、使用SVM模型对整舌舌色预测模型、整舌苔色预测模型进行数据训练,得到整舌舌色分类模型d、整舌苔色分类模型t。
舌体各分区包括舌尖、舌左边、舌右边、舌中、舌根。
如图3所示,舌体分区是将舌体划分成左、右、上、下、中5个部分。取舌体的最小外接矩形,将左右两边的上1/5处进行连线,将左右两边的下1/5处进行连线,上下两边的左1/5处进行连线,上下两边的右1/5处进行连线,通过4条线将最小外接矩形分成了A、B、C、D、E、F、G、H、I共9块区域,将B区域记为舌根,A、D、G区域记为舌左边,C、F、I区域记为舌右边、E区域记舌中、H区域记为舌尖。
使用各颜色分类数量Cs、Ct得到各所属区域颜色分类数量,根据各类颜色区域像素量与舌体的区域像素重合比例,以舌体五个区域中重合比例最高的记为舌色、苔色的主要分布区域。局部特征定义和阈值化计算公式如表1:
表1局部特征定义和阈值化计算公式
Figure GDA0002930254070000121
Figure GDA0002930254070000131
从1000张测试集舌象图像中,随机挑选舌象图像中若干像素点,选用不重复2000个像素点,将每个像素点扩大成40*40的小块图片,从中选取550张样本图,由中医专家和像素颜色属性分类器X同时进行颜色辨识,使用像素颜色属性分类器X对颜色分类的准确率高于85%,实验结果分析如表2:
表2像素点颜色预测结果
Figure GDA0002930254070000132
Figure GDA0002930254070000141
结果显示:本发明训练得到像素颜色属性分类器X的准确性与专家评审的一致率保持较高水平,具备对舌色、苔色的辨识能力。
从中医舌象大数据中抽取5000例舌象图像,按舌色分类建立淡白舌、淡红舌、红舌、绛舌、青紫舌数据集,利用神经网络、图像属性阈值算法、两次机器学习三种算法进行实验,使用xgboost两次机器学习预测准确率达85%以上,舌色实验结果分析如表3:
表3舌色颜色属性及综合判定分析准确率结果
Figure GDA0002930254070000142
Figure GDA0002930254070000151
结果显示:本发明在经过两次机器学习训练后,对整舌舌色判定的准确性更高。
对白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔共六类数据集实验分析,利用神经网络、图像属性阈值算法、两次机器学习三种算法进行实验,使用xgboost两次机器学习预测的准确率达85%,苔色实验结果分析如表4:
表4苔色颜色属性及综合判定分析准确率结果
Figure GDA0002930254070000152
结果显示:本发明在经过两次机器学习训练后,对整舌苔色判定的准确性更高。
从中医舌象大数据中抽取具有舌尖红图片200张、无舌尖红图片200张、舌两边红图片200张、舌两边不红图片200张,按舌尖红和两边红组建数据集,进行舌尖红和舌两边红判定实验。在数据量较少的情况下,用神经网络对舌尖红、舌两边红分类准确率低,用机器学习与阈值算法判定准确率在85%,在舌尖不红的情况下误检测概率小。舌色局部特征实验结果见下表5:
表5舌色局部特征的检测结果
Figure GDA0002930254070000153
Figure GDA0002930254070000161
结果显示:本发明方法对舌尖红、舌两边红特征的进一步判定,准确性高,出现误检的概率低。
对中根厚白苔、中根无厚白苔、中根黄苔、中根无黄苔、苔满布、无苔各200张舌象图像,共六类数据集实验分析。在数据量较少情况下,用神经网络对舌尖红、舌两边红分类准确率低,使用机器学习与阈值算法判定准确率在85%左右。舌苔局部特征实验结果分析如表6:
表6舌苔局部特征的检测结果
舌象数据集 神经网络 机器学习+阈值算法
中根厚白苔 75% 85%
中根无厚白苔 20% 85%
中根黄苔 75% 90%
中根无黄苔 20% 85%
舌苔满布 70% 90%
无苔 70% 80%
结果显示:本发明对舌中根厚白苔、中根黄苔局部特征的进一步判定,准确性较高,出现误检的概率低。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.基于机器学习的中医舌色苔色定量分析方法,其特征在于:包括以下步骤:
S1、对不同地区、年龄的人群进行舌象调查与图像采集,并通过一致评审的方法对采集的舌象图像进行舌色、苔色判定,构建中医舌象大数据;
S2、对中医舌象大数据中的舌象图像提取舌体区域,通过HSV空间聚类,切分成子图,聚类结果按色调自动生成舌色颜色色卡、苔色颜色色卡;
S3、基于xgboost机器学习算法构建像素颜色属性分类器X,基于xgboost机器学习算法分别构建整舌舌色分类模型d和整舌苔色分类模型t;
S4、使用像素颜色属性分类器X计算舌体区域每个像素点的颜色属性,得到颜色数量c、颜色比例f;
S5、使用整舌舌色分类模型d计算整舌舌色,使用整舌苔色分类模型t计算整舌苔色;
S6、按局部特征定义要求,对舌体各分区进行局部舌色、苔色特征计算;
其中,使用整舌舌色分类模型d计算整舌舌色,使用整舌苔色分类模型t计算整舌苔色包括以下步骤:
S51、读取r张舌象图像,图片宽度为w,高度为L,计算各像素在HSV空间的矩阵M:
其中,
Figure FDA0002930254060000011
S52、mij=[h s v],h∈[0,180]s∈[0,255]v∈[0,255]使用像素颜色属性分类器X计算舌象图像中各像素属于淡白、淡红、红、绛、青紫的颜色属性类别矩阵Ns
Figure FDA0002930254060000021
S53、对颜色属性类别矩阵Ns统计各类别像素数量矩阵Cs及其占整舌比例fs
Figure FDA0002930254060000022
Figure FDA0002930254060000023
S54、使用整舌舌色分类模型d计算整舌舌色属于淡白、淡红、红、绛、青紫的概率ps
Figure FDA0002930254060000024
取颜色最大概率max(ps)=[pj]r为整舌舌色;
S55、使用像素颜色属性分类器X计算舌象图像中各像素属于白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔的颜色属性类别矩阵Nt
Figure FDA0002930254060000031
S56、对颜色属性类别矩阵Nt统计各类别像素数量矩阵Ct及其占整舌比例ft
Figure FDA0002930254060000032
Figure FDA0002930254060000033
S57、使用整舌苔色分类模型t计算整舌苔色属于白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔的概率pt
Figure FDA0002930254060000034
取颜色最大概率max(pt)=[pj]r为整舌苔色;
其中,局部特征定义要求包括:
舌尖区域超过一半有红、绛色时,则判定舌象为舌尖红;舌左边和右边区域超过一半有红、绛色时,则判定舌象为舌两边红;舌中区域超过一半有厚白苔时,则判定舌象为舌中厚白苔;舌根区域超过一半有厚白苔时,则判定舌象为舌中厚白苔;舌中区域超过一半有淡黄、黄、焦黄苔时,则判定舌象为舌中黄苔;舌根区域超过一半有淡黄、黄、焦黄苔时,则判定舌象为舌根黄苔;整舌舌苔90%以上时为苔满布;整舌舌苔低于5%时为无苔或假苔。
2.根据权利要求1所述的基于机器学习的中医舌色苔色定量分析方法,其特征在于:所述舌象图像为在自然光条件下,采用图像采集装置对儿童、青少年、中老年各年龄段人群进行采集。
3.根据权利要求1所述的基于机器学习的中医舌色苔色定量分析方法,其特征在于:所述中医舌象大数据包括舌色、舌形、苔质、苔色,所述舌色包括淡白、淡红、红、绛、青紫,所述舌形包括胖大、瘦小、齿痕、裂纹、瘀斑、瘀点、点刺,所述苔质包括厚苔、薄苔、腐苔、腻苔、润苔、燥苔、剥苔,所述苔色包括白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔。
4.根据权利要求1所述的基于机器学习的中医舌色苔色定量分析方法,其特征在于:从S2中所述舌象图像提取舌体区域基于多尺度卷积神经网络的像素级实例分割模型,所述实例分割模型通过深度学习对舌象图像提取舌体区域并计算轮廓边界,每张舌体区域图像生成一张背景为黑色、前景为舌体的图像,作为舌体颜色特征计算数据源。
5.根据权利要求1所述的基于机器学习的中医舌色苔色定量分析方法,其特征在于:通过所述HSV空间聚类生成舌色颜色色卡、苔色颜色色卡包括以下步骤:
S1、通过颜色聚类的方式将提取的舌体区域图像进行HSV颜色空间聚类,按照相邻区域相近颜色为同一区域切分成子图;
S2、对切分成的子图,使用抠图工具按照舌色、苔色的顺序,新建11张各颜色命名的黑色背景图片,从子图中抠出可能具有的以上颜色区域小图放置到对应的黑色背景图片中,经过反复取小图的方式,可以得到比较可靠的各颜色小块图片的拼图;
S3、对各颜色小块图片进行像素点合并,并对色调跳跃大的以及重复像素点进行数据清洗,最后生成各种颜色对应的像素点图片,即五张舌色颜色色卡、六张苔色颜色色卡。
6.根据权利要求1所述的基于机器学习的中医舌色苔色定量分析方法,其特征在于:构建所述像素颜色属性分类器X包括将舌色颜色色卡、苔色颜色色卡像素点的HSV三个值作为三列训练集特征数据,色卡对应的颜色作为标签值,并用数字代替,制作好的数据进行颜色属性分类器X的训练,得到所述颜色属性分类器X。
7.根据权利要求1所述的基于机器学习的中医舌色苔色定量分析方法,其特征在于:构建所述整舌舌色分类模型d和整舌苔色分类模型t包括以下步骤:
S1、使用颜色属性分类器X计算舌体区域每个像素点的颜色属性,得到颜色数量c、颜色比例f;
S2、舌色训练数据列包括淡白、淡红、红、绛、青紫颜色像素点占比及中医专家评审舌色标签,苔色数据列包括白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔颜色像素点占比及中医专家评审苔色标签;
S3、使用SVM模型对整舌舌色预测模型、整舌苔色预测模型进行数据训练,得到整舌舌色分类模型d、整舌苔色分类模型t。
8.根据权利要求1所述的基于机器学习的中医舌色苔色定量分析方法,其特征在于:所述舌体各分区包括舌尖、舌左边、舌右边、舌中、舌根。
CN201910568779.XA 2019-06-27 2019-06-27 基于机器学习的中医舌色苔色定量分析方法 Active CN110189383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910568779.XA CN110189383B (zh) 2019-06-27 2019-06-27 基于机器学习的中医舌色苔色定量分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910568779.XA CN110189383B (zh) 2019-06-27 2019-06-27 基于机器学习的中医舌色苔色定量分析方法

Publications (2)

Publication Number Publication Date
CN110189383A CN110189383A (zh) 2019-08-30
CN110189383B true CN110189383B (zh) 2021-07-02

Family

ID=67723854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910568779.XA Active CN110189383B (zh) 2019-06-27 2019-06-27 基于机器学习的中医舌色苔色定量分析方法

Country Status (1)

Country Link
CN (1) CN110189383B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929740A (zh) * 2019-11-21 2020-03-27 中电健康云科技有限公司 一种基于lgbm模型的舌质舌苔分离方法
CN112560911B (zh) * 2020-12-04 2024-01-26 中国科学院苏州生物医学工程技术研究所 中医舌图像分类方法及系统
CN113011436A (zh) * 2021-02-26 2021-06-22 北京工业大学 一种基于卷积神经网络的中医舌色苔色协同分类方法
CN113160203B (zh) * 2021-04-30 2023-06-23 湄洲湾职业技术学院 人工智能舌象苔色识别系统
CN116824252A (zh) * 2023-06-28 2023-09-29 广东省新黄埔中医药联合创新研究院 高光谱舌象图像的中医舌色分类量化方法
CN116843672A (zh) * 2023-07-24 2023-10-03 南京大经中医药信息技术有限公司 一种基于深度学习的舌苔检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1162798C (zh) * 2002-03-25 2004-08-18 北京工业大学 基于多类支持向量机的中医舌色、苔色、舌苔厚度分析方法
US20080139966A1 (en) * 2006-12-07 2008-06-12 The Hong Kong Polytechnic University Automatic tongue diagnosis based on chromatic and textural features classification using bayesian belief networks
CN103745217B (zh) * 2013-12-31 2017-02-15 北京工业大学 基于图像检索的中医舌色苔色自动分析方法
CN104156715B (zh) * 2014-09-01 2018-08-28 杭州朗和科技有限公司 一种终端设备、信息采集方法及装置
CN109872299A (zh) * 2018-12-14 2019-06-11 上海源庐加佳信息科技有限公司 一种中医舌色苔色识别方法

Also Published As

Publication number Publication date
CN110189383A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
CN110189383B (zh) 基于机器学习的中医舌色苔色定量分析方法
CN107977671B (zh) 一种基于多任务卷积神经网络的舌象分类方法
CN107316077B (zh) 一种基于图像分割及边缘检测的脂肪细胞自动计数方法
CN109961426B (zh) 一种人脸皮肤肤质的检测方法
CN108181316B (zh) 一种基于机器视觉的竹条缺陷检测方法
CN112132843A (zh) 基于无监督深度学习的苏木精-伊红染色病理图像分割方法
CN109523524B (zh) 一种基于集成学习的眼底图像硬性渗出检测方法
CN105389581B (zh) 一种胚芽米胚芽完整度智能识别系统及其识别方法
US8135216B2 (en) Systems and methods for unsupervised local boundary or region refinement of figure masks using over and under segmentation of regions
Najeeb et al. Dates maturity status and classification using image processing
CN110070024B (zh) 一种皮肤压力性损伤热成像图像识别的方法、系统及手机
Pandit et al. Literature review on object counting using image processing techniques
Chen et al. Segmentation of beef marbling based on vision threshold
CN110853006A (zh) 一种使用扫描仪获取的数字病理图像质量评价的方法
CN106932408A (zh) 一种基于图像处理的方格蔟污染蚕茧检测方法
CN111260645A (zh) 基于分块分类深度学习的篡改图像检测方法及系统
Rachna et al. Detection of Tuberculosis bacilli using image processing techniques
CN115294377A (zh) 一种道路裂缝的识别系统及方法
Zuñiga et al. Grape maturity estimation based on seed images and neural networks
CN113392819B (zh) 一种批量化学术图像自动分割标注装置和方法
Dang-Ngoc et al. Citrus leaf disease detection and classification using hierarchical support vector machine
CN110874835A (zh) 作物叶部病害抗性鉴定方法、系统、电子设备及存储介质
CN111986157B (zh) 一种数字病理图像质量评价系统
CN113033488B (zh) 医疗特征识别方法及装置、电子设备、存储介质
EP3896650A1 (en) Quality control system for series production

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant