CN117197139B - 一种基于ai的舌诊图像多标签分类方法 - Google Patents

一种基于ai的舌诊图像多标签分类方法 Download PDF

Info

Publication number
CN117197139B
CN117197139B CN202311465899.XA CN202311465899A CN117197139B CN 117197139 B CN117197139 B CN 117197139B CN 202311465899 A CN202311465899 A CN 202311465899A CN 117197139 B CN117197139 B CN 117197139B
Authority
CN
China
Prior art keywords
tongue
color
feature
image
diagnosis image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311465899.XA
Other languages
English (en)
Other versions
CN117197139A (zh
Inventor
兰岚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Medical University Cancer Institute and Hospital
Original Assignee
Tianjin Medical University Cancer Institute and Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Medical University Cancer Institute and Hospital filed Critical Tianjin Medical University Cancer Institute and Hospital
Priority to CN202311465899.XA priority Critical patent/CN117197139B/zh
Publication of CN117197139A publication Critical patent/CN117197139A/zh
Application granted granted Critical
Publication of CN117197139B publication Critical patent/CN117197139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明属于图像处理技术领域,涉及一种基于AI的舌诊图像多标签分类方法,将舌诊图像进行色彩通道投影,提取整个舌诊图像的双峰属性;根据双峰属性将舌诊图像分为多个舌象特征图,建立AI特征预测模型,输入多个舌象特征图对舌诊图像进行特征预测;根据舌诊图像的特征预测结果,对每一个舌诊图像进行标签分类,提高了分类的准确性。

Description

一种基于AI的舌诊图像多标签分类方法
技术领域
本发明属于图像处理技术领域,更具体地,涉及一种基于AI的舌诊图像多标签分类方法。
背景技术
舌诊是中医辨证的核心之一,通过观察人体的舌质、舌苔,医生可以了解人体脏腑的虚实,病性的寒热、病位的深浅。传统的中医医生辨识舌象依赖于肉眼观察,容易受到主观经验和客观环境(比如,光照、温度等)的影响。因此将舌象诊断进行客观化、标准化是当下的研究方向。通过现代数字技术将不同类别的舌质、舌苔的颜色通道进行量化,确定舌象的分类标准,不仅有助于开发新的舌象诊断仪帮助医生进行辅助诊断,更能为医生辨别舌象提供客观的诊断标准。
传统的舌诊客观化研究主要依赖于传统图像处理技术,然而传统图像处理技术容易受到光照,阴影等外部环境的影响,很难应用于复杂的日常环境。为了解决这个问题,我们采用深度学习技术来研究舌诊客观化,它是当今比较先进和实用的图像处理技术,通过训练,深度神经网络(深度学习)可以学习如何从舌像中分割出舌体,减少牙齿、脸颊等外部环境对后续处理的影响,也能学习如何分辨舌质与舌苔以辅助医生进行舌象诊断。深度学习技术具有较强的泛化能力和学习优化能力,因此能较好地应对复杂的日常环境。
进行舌诊客观化首先需要通过数字成像设备(比如:单反照相机,舌像采集仪等)从受试者采集舌像(舌象图像),在采集图像时通常使用照明设备(比如:LED,荧光光源等)代替日光进行照明以减少光照的影响。然后使用图像处理软件对舌像进行预处理、校正、除杂,以便后续的舌像识别研究。最后应用软件对舌像进行分析、诊断,将舌诊客观化标准化。
发明内容
为了解决上述技术问题,本发明提出了一种基于AI的舌诊图像多标签分类方法,包括如下步骤:
S1、将舌诊图像进行色彩通道投影,提取整个舌诊图像的双峰属性;
S2、根据双峰属性将舌诊图像分为多个舌象特征图,建立AI特征预测模型,输入多个舌象特征图对舌诊图像进行特征预测;
S3、根据舌诊图像的特征预测结果,对每一个舌诊图像进行标签分类。
进一步地,步骤S1包括如下步骤:
S11、确定动态阈值及投影的最佳色彩通道;
S12、将舌诊图像投影到最佳色彩通道上,提取整个舌诊图像的双峰属性。
进一步地,步骤S11包括:将舌诊图像投影到n个色彩通道,计算每个色彩通道的直方图;
对每个直方图查找最大峰值点P1,最大峰值点P1对应的色阶值记为T1
在最大峰值点P1左右宽度范围内查找第二峰值点P2
标记两峰间的最低点为峰谷点P3,峰谷点P3对应的色阶值记为T3
计算通道评价值V:
式中,S1为最大峰值点P1覆盖的面积;S2为第二峰值点P2覆盖的面积;S为直方图曲线总面积;d为两峰值点P1与P2间的距离;
比较n个色彩通道的V值,取最大V值对应的色彩通道为最佳投影通道,所述最佳投影通道的V值为动态确定的最终阈值。
进一步地,步骤S12中包括:将舌诊图像投影到最佳投影通道上,计算点集H1,H2
其中,Tp代表直方图中的点P处的色阶值,T1、T2代表直方图中的两峰值点P1与P2处的色阶值,H1,H2分别表示两峰值点P1与P2下覆盖的点集;
计算两峰值点P1与P2距离峰谷点P3的远近程度D1,D2
式中,(x0,y0)是直方图中的峰谷点P3的坐标;(,/>)和(/>,/>)为点集H1和H2里面点的坐标;n1,n2分别为H1,H2里面点的个数;
提取整个舌诊图像的双峰属性D:
进一步地,步骤S2包括:
S21、输入舌象特征图,指定颜色中心,计算不同像素颜色与颜色中心的相似度;
S22、对不同的相似度中舌诊图像分布范围进行压缩,分别得到R色温特征、 G色温特征和B色温特征;
S23、计算舌诊图像像素点的一阶特征矩、二阶特征矩和三阶特征矩,构成颜色矩特征矩阵;
S24、使用颜色矩特征矩阵作为数据集X,重复抽取样本m次,生成m份训练样本,得到训练集X=[X1,…,Xk,…,Xm];
S25、在Xk中随机选择子特征向量,使用子训练集Xk和子特征向量/>构建第k棵决策树;
S26、重复步骤S25,完成随机森林的训练,分别使用随机森林中的m棵决策树对样本进行预测,得到对应的特征向量。
进一步地,步骤S3中,对于一个给定的特征,计算所述给定的特征的舌诊图像占所有特征的舌诊图像的比例,查找特征比例最大的舌诊图像所属特征,进行分类标定。
相比于现有技术,本发明具有如下有益技术效果:
将舌诊图像进行色彩通道投影,提取整个舌诊图像的双峰属性;根据双峰属性将舌诊图像分为多个舌象特征图,建立AI特征预测模型,输入多个舌象特征图对舌诊图像进行特征预测;根据舌诊图像的特征预测结果,对每一个舌诊图像进行标签分类,提高了分类的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的基于AI的舌诊图像多标签分类方法的流程图。
图2为本发明的将舌诊图像分为多个舌象特征图的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本发明的具体实施例附图中,为了更好、更清楚的描述系统中的各元件的工作原理,表现所述装置中各部分的连接关系,只是明显区分了各元件之间的相对位置关系,并不能构成对元件或结构内的信号传输方向、连接顺序及各部分结构大小、尺寸、形状的限定。
如图1所示,为本发明的一种基于AI的舌诊图像多标签分类方法的流程图,该舌诊图像多标签分类方法包括如下步骤:
S1,将舌诊图像进行色彩通道投影,提取整个舌诊图像的双峰属性。
在色彩通道上动态确定阈值,精确度将随投影的色彩通道数的增加而提高,包括如下步骤:
S11,确定投影的最佳色彩通道和动态阈值。
投影的最佳色彩通道的选取直接影响到直方图的双峰特性的显著程度进而影响到动态阈值的选取,动态阈值的确定则决定了整个方法的准确度。根据双峰距离以及双峰覆盖面积来度量该投影通道适合与否,具体实现步骤如下:
①将舌诊图像投影到n个色彩通道,计算每个色彩通道的直方图。
具体实现采用H、S、V、R、G、B六个色彩通道,每幅直方图都采用256个色阶。
②对每个直方图查找最大峰值点P1,最大峰值点P1的左右各10个色阶范围被定义为此峰顶的宽度,P1对应的色阶值记为T1
③在P1左右各10个色阶以外的范围内查找第二峰值点P2,第二峰值点P2便是整个直方图的第二高峰。
④标记两峰间的最低点为峰谷点P3,P3对应的色阶值记为T3
⑤计算该通道评价值V:
式中,S1为峰P1覆盖的面积;S2为峰P2覆盖的面积;S为直方图曲线总面积; d为两峰值点P1与P2间的距离。
⑥比较n个色彩通道的V值,取最大V值对应的色彩通道为最佳投影通道,所述最佳投影通道的T值为动态确定的最终阈值。
S12,将舌诊图像投影到最佳通道上,利用动态阈值进行二值化,提取整个舌象的区域的双峰属性。
将舌诊图像投影到最佳通道C上,利用动态阈值T进行二值化,通过计算两峰下覆盖的点集的平均空间位置可以确定舌苔和舌质对应的峰值,具体算法实现步骤如下:
①将舌诊图像投影到最佳投影通道C。
②计算点集H1,H2
其中,Tp代表直方图中的点P处的色阶值,T1、T2代表直方图中的两峰值点P1与P2处的色阶值,H1,H2分别表示两峰值点P1与P2下覆盖的点集;
③计算两峰值点P1与P2距离峰谷点P3的远近程度D1,D2
式中,(x0,y0)是直方图中的峰谷点P3的坐标;(,/>)和(/>,/>)为点集H1和H2里面点的坐标;n1,n2分别为H1,H2里面点的个数;
⑤提取整个舌诊图像的双峰属性D:
S2、根据双峰属性D将舌诊图像分为多个舌象特征图,建立AI特征预测模型,输入多个舌象特征图对舌诊图像进行特征预测。
建立AI特征预测模型;通过参数配置和设置评测指标建立初始模型;训练模型,基于PSI评测指标值是否满足预设指标条件;如满足指标条件,则生成模型集合;如不满足指标条件,则重新创建初始模型并继续训练模型;
如图2所示,根据双峰属性将舌诊图像分为多个舌象特征图。
S21、输入舌象特征图,指定颜色中心,计算不同像素颜色与颜色中心的相似度。
按从左到右,从上到下的顺序一次进行遍历,分别计算舌象特征图中每一个像素点与给定的颜色中心的相似度,取相似度最大的颜色中心作为颜色标签。
使用欧几里德距离来计算不同像素颜色的相似度S:
其中,L′、a′、b′分别为图像中像素点的颜色空间分量值,L、a、b分别为颜色中心的颜色空间分量值。
S22、对不同的相似度中舌诊图像分布范围进行压缩,分别得到R色温特征、 G色温特征和B色温特征。
颜色是舌质的一种整体表现形式,与舌诊图像的每一个像素点颜色密切相关,即与像素点的相似度相关。
通过对舌诊图像相似度样本进行统计, 在R色温中,舌质颜色主要分布在[20,170],在G色温中,舌质颜色主要分布在[0,110],在B色温中,舌质颜色主要分布在[10,130]。
在仅考虑舌质颜色主要分布范围时,3个色温特征仍然有众多个色度特征,本实施例以10个单位为基准对不同的色温特征中色度分布范围进行压缩,分别得到R色温特征的R1个特征、B色温特征的B1个特征和G色温特征的G1个特征,共计R1+B1+G1个特征。
S23、计算舌诊图像像素点在颜色空间的不同阶特征矩:一阶特征矩、二阶特征矩和三阶特征矩。
特征矩为颜色特征表示方法,具有特征维度低,不需要对颜色空间进行量化的有点。同时,颜色信息主要集中分布在低阶矩中,因此,选择使用一阶特征矩、二阶特征矩和三阶特征矩来对舌质颜色进行描述。
其中一阶特征矩表示图像的平均颜色,见式(1),二阶特征矩/>表示图像的标准方差,见式(2),三阶特征矩s表示图像三次根非对称性,见式(3)。
(1);
(2);
(3);
其中,A表示图像的像总数,即图像的面积,pij表示像素点p在图像二维空间中的坐标(i,j)处的颜色值。
选择使用一阶特征矩、二阶特征矩和三阶特征矩来构成颜色矩特征矩阵F为:
S24、建立AI特征预测模型,进行特征预测。
构建AI特征预测模型,利用设定特征向量和数据参数对AI特征预测模型进行训练。
使用颜色矩特征矩阵F作为数据集X,把数据集X分为两部分:训练集 Xtrain和测试集XTest,指定随机森林决策树的数量为m,每棵树由n个特征向量构成;使用重釆样技术在数据集 X中重新抽取x个样本,重复m次,生成m份训练样本,得到训练集X=[X1,…,Xk,…,Xm];
在Xk中随机选择子特征向量,且/>与其他子特征向量相互独立同分布,使用子训练集Xk和子特征向量/>构建第k棵决策树;
重复上述步骤,完成随机森林的训练,分别使用随机森林中的m棵决策树对样本进行预测,得到对应的特征向量。
S3、根据舌诊图像的特征预测结果,对每一个舌诊图像进行标签分类。
首先计算每个特征的舌诊图像占所有特征的舌诊图像的比例,查找个特征的比例最大的舌诊图像。该特征的比例Ra为:
;k=1,2,…,M,q=1,2,…,C;
该公式中Yq代表特征为q的颜色矩特征矩阵,C为特征个数,M为该训练集的颜色矩特征矩阵数量。
对于一个给定的特征,可计算每一个舌诊图像对应于该特征的比例,然后从中选择一个特征的比例最大的舌诊图像对应的特征,进行分类标定。
优选地,以矩阵形式构建查找表,将所有舌诊图像进行分类。
当获得了所有可能的舌诊图像的标签后,一个有监督的分类器被用来对所有舌诊图像进行分类。查找表可视为一个常用的最简单同时也是速度最快的有监督分类器。在这个像素分类的过程中,最终的分类决策仅仅与舌诊图像类别的标签相关。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如,固态硬盘(solid state disk))等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (4)

1.一种基于AI的舌诊图像多标签分类方法,其特征在于,包括如下步骤:
S1、将舌诊图像进行色彩通道投影,提取整个舌诊图像的双峰属性;
S2、根据双峰属性将舌诊图像分为多个舌象特征图,建立AI特征预测模型,输入多个舌象特征图对舌诊图像进行特征预测,包括:
S21、输入舌象特征图,指定颜色中心,计算不同像素颜色与颜色中心的相似度;
S22、对不同的相似度中舌诊图像分布范围进行压缩,分别得到R色温特征、 G色温特征和B色温特征;
S23、计算舌诊图像像素点的一阶特征矩、二阶特征矩和三阶特征矩,构成颜色矩特征矩阵;
S24、使用颜色矩特征矩阵作为数据集X,重复抽取样本m次,生成m份训练样本,得到训练集X=[X1,…,Xk,…,Xm];
S25、在Xk中随机选择子特征向量,使用子训练集Xk和子特征向量/>构建第k棵决策树;
S26、重复步骤S25,完成随机森林的训练,分别使用随机森林中的m棵决策树对样本进行预测,得到对应的特征向量;
S3、根据舌诊图像的特征预测结果,对每一个舌诊图像进行标签分类;
计算每个特征的舌诊图像占所有特征的舌诊图像的比例,查找特征的比例最大的舌诊图像,该特征的比例Ra为:
;k=1,2,…,M,q=1,2,…,C;
该公式中Yq代表特征为q的颜色矩特征矩阵,C为特征个数,M为该训练集的颜色矩特征矩阵数量。
2.根据权利要求1所述的舌诊图像多标签分类方法,其特征在于,步骤S21中,按从左到右,从上到下的顺序一次进行遍历,分别计算舌象特征图中每一个像素点与给定的颜色中心的相似度,取相似度最大的颜色中心作为颜色标签;
使用欧几里德距离来计算不同像素颜色的相似度S:
其中,L′、a′、b′分别为图像中像素点的颜色空间分量值,L、a、b分别为颜色中心的颜色空间分量值。
3.根据权利要求1所述的舌诊图像多标签分类方法,其特征在于,步骤S22中,以10个单位为基准对不同的色温特征中色度分布范围进行压缩,分别得到R色温特征的R1个特征、B色温特征的B1个特征和G色温特征的G1个特征,共计R1+B1+G1个特征。
4.根据权利要求1所述的舌诊图像多标签分类方法,其特征在于,步骤S1包括如下步骤:
S11、确定动态阈值及投影的最佳色彩通道;
S12、将舌诊图像投影到最佳色彩通道上,提取整个舌诊图像的双峰属性。
CN202311465899.XA 2023-11-07 2023-11-07 一种基于ai的舌诊图像多标签分类方法 Active CN117197139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311465899.XA CN117197139B (zh) 2023-11-07 2023-11-07 一种基于ai的舌诊图像多标签分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311465899.XA CN117197139B (zh) 2023-11-07 2023-11-07 一种基于ai的舌诊图像多标签分类方法

Publications (2)

Publication Number Publication Date
CN117197139A CN117197139A (zh) 2023-12-08
CN117197139B true CN117197139B (zh) 2024-02-02

Family

ID=88983656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311465899.XA Active CN117197139B (zh) 2023-11-07 2023-11-07 一种基于ai的舌诊图像多标签分类方法

Country Status (1)

Country Link
CN (1) CN117197139B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636754A (zh) * 2015-01-31 2015-05-20 华南理工大学 基于舌体分区颜色特征的智能图像分类方法
CN113724228A (zh) * 2021-08-31 2021-11-30 平安科技(深圳)有限公司 舌色苔色识别方法、装置、计算机设备及存储介质
CN113781488A (zh) * 2021-08-02 2021-12-10 横琴鲸准智慧医疗科技有限公司 舌象图像的分割方法、装置及介质
CN115375690A (zh) * 2022-10-26 2022-11-22 合肥云诊信息科技有限公司 一种舌象腐腻苔分类识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636754A (zh) * 2015-01-31 2015-05-20 华南理工大学 基于舌体分区颜色特征的智能图像分类方法
CN113781488A (zh) * 2021-08-02 2021-12-10 横琴鲸准智慧医疗科技有限公司 舌象图像的分割方法、装置及介质
CN113724228A (zh) * 2021-08-31 2021-11-30 平安科技(深圳)有限公司 舌色苔色识别方法、装置、计算机设备及存储介质
CN115375690A (zh) * 2022-10-26 2022-11-22 合肥云诊信息科技有限公司 一种舌象腐腻苔分类识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"一种基于多色彩通道动态阈值的舌苔舌质分离算法";彭明德等;《中华中医药学刊》;第26卷(第7期);第1456-1459页 *

Also Published As

Publication number Publication date
CN117197139A (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
CN106295124B (zh) 多种图像检测技术综合分析基因子图相似概率量的方法
CN111985536B (zh) 一种基于弱监督学习的胃镜病理图像分类方法
WO2021139258A1 (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN107194937B (zh) 一种开放环境下中医舌象图像分割方法
CN103034838B (zh) 一种基于图像特征的特种车辆仪表类型识别与标定方法
CN110532970B (zh) 人脸2d图像的年龄性别属性分析方法、系统、设备和介质
WO2022001571A1 (zh) 一种基于超像素图像相似度的计算方法
CN111783576A (zh) 基于改进型YOLOv3网络和特征融合的行人重识别方法
Casanova et al. Texture analysis using fractal descriptors estimated by the mutual interference of color channels
CN108960142B (zh) 基于全局特征损失函数的行人再识别方法
CN107622280B (zh) 基于场景分类的模块化处方式图像显著性检测方法
CN116012721B (zh) 一种基于深度学习的水稻叶片病斑检测方法
CN110874576B (zh) 一种基于典型相关分析融合特征的行人再识别方法
WO2021051382A1 (zh) 白平衡处理方法和设备、可移动平台、相机
CN114331989A (zh) 基于点特征直方图测地距离的全参考3d点云质量评估方法
Batule et al. Leaf disease detection using image processing and support vector machine (SVM)
CN116664585B (zh) 基于深度学习的头皮健康状况检测方法及相关装置
CN116934747B (zh) 眼底图像分割模型训练方法、设备和青光眼辅助诊断系统
CN116849612B (zh) 一种多光谱舌象图像采集分析系统
CN110910497B (zh) 实现增强现实地图的方法和系统
CN117197139B (zh) 一种基于ai的舌诊图像多标签分类方法
CN115908950B (zh) 基于相似度正切映射的快速医学高光谱影像分类方法
CN112418262A (zh) 车辆再识别的方法、客户端及系统
CN116402802A (zh) 一种基于颜色空间多特征融合的水下图像质量评价方法
CN110334730B (zh) 比较和归档人工智能训练数据集中高相似图片的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant