CN112560911A - 中医舌图像分类方法及系统 - Google Patents
中医舌图像分类方法及系统 Download PDFInfo
- Publication number
- CN112560911A CN112560911A CN202011406385.3A CN202011406385A CN112560911A CN 112560911 A CN112560911 A CN 112560911A CN 202011406385 A CN202011406385 A CN 202011406385A CN 112560911 A CN112560911 A CN 112560911A
- Authority
- CN
- China
- Prior art keywords
- tongue
- image
- texture
- extracting
- crack
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000003814 drug Substances 0.000 title claims abstract description 32
- 238000010801 machine learning Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 45
- 239000011248 coating agent Substances 0.000 claims description 38
- 238000000576 coating method Methods 0.000 claims description 38
- 238000000605 extraction Methods 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000000926 separation method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000003708 edge detection Methods 0.000 claims description 8
- 238000012889 quartic function Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 abstract description 21
- 238000004445 quantitative analysis Methods 0.000 abstract description 3
- 238000002790 cross-validation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000007812 deficiency Effects 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 206010003694 Atrophy Diseases 0.000 description 1
- 208000007882 Gastritis Diseases 0.000 description 1
- 206010042727 Swollen tongue Diseases 0.000 description 1
- 208000031975 Yang Deficiency Diseases 0.000 description 1
- 208000031971 Yin Deficiency Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000037444 atrophy Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 208000023652 chronic gastritis Diseases 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002309 gasification Methods 0.000 description 1
- 206010018388 glossodynia Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4854—Diagnosis based on concepts of traditional oriental medicine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Alternative & Traditional Medicine (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种中医舌图像分类方法及系统，包括以下步骤：1)颜色特征提取；2)裂纹特征提取；3)胖瘦特征提取；4)纹理特征提取；5)基于机器学习的图像分类。本发明能实现中医舌图像的分类，可以有效利用舌象图像特征对中医舌象进行客观分类，从而能为医生的诊断提供客观的辅助信息，以提高诊断准确率并辅助医生实现定量分析。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种中医舌图像分类方法及系统。
背景技术
在中医诊断中，舌诊是其中的一个重要环节。舌诊通过观察舌质，舌苔的形态，颜色等来判断疾病，是一种有效且无创的诊断方法。然而，诊断过程存在一定的主观性，如中医医生对病人的诊断方式各不相同，不同的医生对同一病人的诊断也不一致。因此，需要客观指标来辅助提高中医诊断的准确性。
随着计算机科学技术的发展，通过医学图像分析处理可以提供客观、定量的数据信息，能辅助医生进行更好的诊断。对于舌图像的分析处理主要分为舌分割、提取特征、图像分类三个部分，先利用分割算法从原始舌图像中获得准确的舌图像，然后在特征提取环节根据中医诊断方法提取所需要的中医舌象特征，最后通过提取的这些特征用来对舌图像进行分类，从而为医生的诊断提供辅助的信息。但现在缺少可靠的方案来实现舌图像的分类。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种中医舌图像分类方法及系统。
为解决上述技术问题，本发明采用的技术方案是：一种中医舌图像分类方法，包括以下步骤：
1)颜色特征提取：先对原始舌图像进行苔质分离，获得舌苔图像和舌质图像，然后分别提取舌苔图像和舌质图像的颜色特征，得到颜色特征向量A1；
2)裂纹特征提取：在原始舌图像中剪裁出舌中部图像，对舌中部图像进行处理获得裂纹图像，再计算裂纹图像的区域一致性和区域对比度，得到裂纹特征向量A2；
3)胖瘦特征提取：对原始舌图像采用边缘检测和曲线拟合的方法进行胖瘦特征提取，得到胖瘦特征向量A3；
4)纹理特征提取：对原始舌图像采用基于灰度矩阵和基于LBP算子的纹理特征提取方法进行纹理特征提取，得到纹理特征向量A4；
5)基于机器学习的图像分类：将步骤1)-步骤4)得到的颜色特征向量A1、裂纹特征向量A2、胖瘦特征向量A3和纹理特征向量A4串联，得到融合特征向量，然后采用支持向量机分类器和随机森林分类器进行分类，获得舌图像的分离结果。
优选的是，所述步骤1)具体为：
1-1)将原始舌图像从RGB颜色空间转换到CIELab颜色空间并提取a、b通道的信息；
1-2)随机选取k个像素点作为聚类中心，结合得到的a、b通道的信息，再通过欧氏距离计算每个像素点到每个聚类中心的距离，将像素点划分到与之最近的聚类中心的集合中，得到k个集合；
1-3)对步骤1-2)获得的k个集合，重新计算每个集合的聚类中心；对于k个集合中的任意一个，若新聚类中心和原聚类中心的距离差值大于预先设定的标准，则再重新计算，直至所有的集合中，重新计算得到的新聚类中心和原聚类中心的距离差值不大于预先设定的标准，则进入下一步；
1-4)通过图像分离得到舌苔图像和舌质图像；
1-5)分别提取舌苔、舌质的RGB空间的三个通道的颜色特征，计算均值，方差和偏度；
将RGB空间转换成HSV空间，分别提取舌苔、舌质的HSV空间的三个通道的颜色特征，计算均值，方差和偏度；
将RGB空间转换成Lab空间，分别提取舌苔、舌质的Lab空间的三个通道的颜色特征，计算均值，方差和偏度；
将以上步骤得到的舌苔、舌质在RGB、HSV、Lab三个颜色空间分别获得的均值、方差和偏度进行融合，最终得到颜色特征向量A1。
优选的是，所述步骤2)具体包括：
2-1)在原始舌图像中手动剪裁出舌中部图像；
2-2)统计舌中部图像中每个灰度值的像素个数：
设舌中部图象包含L个灰度值：0,1,…,L-1；灰度值为i的象素点数为Ni，i＝0,1,…,L-1；则舌中部图象中总的象素点数为N＝N0+N1+...+Ni+...+N(L-1)；
2-3)计算舌中部图像中每个灰度值所占的比例：灰度值为i的点所占的比例为：P(i)＝N(i)/N；
2-4)遍历所有的灰度值，计算每个灰度值的类间方差，然后通过比较获得最大类间方差，取最大类间方差对应的灰度值为分割阈值；
2-5)根据分割阈值对舌中部图像进行处理得到裂纹图像：在舌中部图像中，将灰度值小于分割阈值的像素点的灰度值置为零，大于分割阈值的像素点的灰度值保留，处理后的图像即为裂纹图像；
2-6)通过舌中部图像和裂纹图像的对比计算得到裂纹图像的区域一致性和区域对比度，组合后形成裂纹特征向量A2。
优选的是，区域一致性的计算公式为：
其中，F表示舌中部位的像素总数，f(x,y)表示像素点(x,y)的灰度值。
优选的是，区域对比度的计算公式为：
其中，G1和G2分别表示舌中部图像中裂纹区域和非裂纹区域的平均灰度值。
优选的是，所述步骤3)具体包括：
3-1)将原始图像转换成二值图像；
3-2)利用拉普拉斯算子对二值图像进行边缘检测得到舌图像的轮廓；
3-3)对步骤3-2)中得到的轮廓的上半部分置为0，对轮廓的下半部分进行四次函数的曲线拟合；
3-4)输出拟合得到的四次函数的系数值作为胖瘦特征向量A3。
优选的是，所述步骤4)中提取的纹理特征包括：基于灰度直方图的一阶统计特征、基于灰度共生矩阵的特征、基于灰度游程矩阵的特征、基于灰度差分统计的特征、基于邻域灰度差分矩阵的特征、基于灰度区域尺寸矩阵的特征和基于局部二值模式的特征。
本发明还提供一种中医舌图像分类系统，其采用如上所述的方法进行中医舌图像分类。
本发明还提供一种存储介质，其上存储有计算机程序，该程序被执行时用于实现如上所述的方法。
本发明还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。
本发明的有益效果是：本发明能实现中医舌图像的分类，可以有效利用舌象图像特征对中医舌象进行客观分类，通过多特征融合可提高分类的准确率，本发明能为医生的诊断提供客观的辅助信息，以提高诊断准确率并辅助医生实现定量分析。
附图说明
图1为本发明的实施例中的中医舌图像分类方法的流程图；
图2为本发明的实施例中的舌图像苔质分离过程图；
图3为本发明的实施例中的裂纹特征提取过程图；
图4为本发明的实施例中的胖瘦特征提取的过程图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
参照图1，本实施例的一种中医舌图像分类方法，包括以下步骤：
S1、颜色特征提取
先对原始舌图像进行苔质分离，获得舌苔图像和舌质图像，然后分别提取舌苔图像和舌质图像的颜色特征，得到颜色特征向量A1。
具体步骤包括：
1-1)将原始舌图像从RGB颜色空间转换到CIELab颜色空间并提取a、b通道的信息；
1-2)随机选取k个像素点作为聚类中心，结合得到的a、b通道的信息，再通过欧氏距离计算每个像素点到每个聚类中心的距离，将像素点划分到与之最近的聚类中心的集合中，得到k个集合；
1-3)对步骤1-2)获得的k个集合，重新计算每个集合的聚类中心；对于k个集合中的任意一个，若新聚类中心和原聚类中心的距离差值大于预先设定的标准，则再重新计算，直至所有的集合中，重新计算得到的新聚类中心和原聚类中心的距离差值不大于预先设定的标准，则进入下一步；
1-4)通过图像分离得到舌苔图像和舌质图像；
1-5)分别提取舌苔、舌质的RGB空间的三个通道的颜色特征，计算均值，方差和偏度；
将RGB空间转换成HSV空间，分别提取舌苔、舌质的HSV空间的三个通道的颜色特征，计算均值，方差和偏度；
将RGB空间转换成Lab空间，分别提取舌苔、舌质的Lab空间的三个通道的颜色特征，计算均值，方差和偏度；
将以上步骤得到的舌苔、舌质在RGB、HSV、Lab三个颜色空间分别获得的均值、方差和偏度进行融合，最终得到颜色特征向量A1。
颜色特征是图像中最常见的一种特征，在中医诊断中，舌头颜色也是重要的诊断标准。和其他诊断不同的是，舌头的颜色又分为舌质颜色和舌苔颜色，所以舌质和舌苔要先进行分离才能分别提取舌质和舌苔的颜色特征。因为舌苔和舌质在颜色上有所区别，舌苔多为白、黄色，而舌质多为红、紫色。所以通过颜色信息来进行苔质分离。CIELab颜色空间是一种与设备无关的颜色空间，同时也是一种基于生理特征的颜色空间。而且在ab两个颜色通道中分别反映了‘绿-红’和‘蓝-黄’的颜色范围。结合以上信息本发明中采用CIELab颜色空间的ab两个通道的颜色信息作为K-means聚类算法的输入数据，同时在初始阶段随机选取K个聚类中心，采用欧氏距离来作为计算新的聚类中心的判定条件，直到满足终止条件。
通过苔质分离算法得到舌苔和舌质的图像后，本发明在进行颜色特征提取时，选取了三个不同类型的颜色空间，分别是RGB、HSV、Lab。这三个颜色空间共有九个通道，在这九个通道上计算了三个参数，包括均值、方差、偏度，在舌苔和舌质的图像上都完成了这个工作。最终得到颜色特征向量长度为N×54，N为原始舌图像个数。
参照图2，为原始舌图像苔质分离的过程，其中图2a为原始图像，图2b为分离的舌苔，图2c为分离的舌质。
S2、裂纹特征提取
在原始舌图像中剪裁出舌中部图像，对舌中部图像进行处理获得裂纹图像，再计算裂纹图像的区域一致性和区域对比度，得到裂纹特征向量A2。
舌面的裂纹是舌诊中的一项重要指标。在中医中，舌面见多少不等、深浅不一、形状各异的裂纹，称裂纹舌，多为阴虚热盛之证。现代研究认为舌上浅裂纹主要是由于舌粘膜萎缩，使舌的纵纹或横纹透出表面而形成。通常舌裂纹的颜色会与周围舌质，舌苔的颜色有所区别，相较于周围的颜色，裂纹的颜色偏暗。
裂纹特征提取的具体步骤包括：
2-1)在原始舌图像中手动剪裁出舌中部图像；
2-2)统计舌中部图像中每个灰度值的像素个数：
设舌中部图象包含L个灰度值：0,1,…,L-1；灰度值为i的象素点数为Ni，i＝0,1,…,L-1；则舌中部图象中总的象素点数为N＝N0+N1+...+Ni+...+N(L-1)；
2-3)计算舌中部图像中每个灰度值所占的比例：灰度值为i的点所占的比例为：P(i)＝N(i)/N；
2-4)遍历所有的灰度值，计算每个灰度值的类间方差，然后通过比较获得最大类间方差，取最大类间方差对应的灰度值为分割阈值；
最大类间方差法一种自适应的阈值确定方法。算法根据图片的灰度特性得到一个最佳阈值，然后通过这个最佳阈值将图像分成前景和背景两部分，类间方差推导公式如下：
对于某一灰度值L0，将其作为前景与背景的分割阈值，前景点数占图像比例为w0，平均灰度为u0；背景点数占图像比例为w1，平均灰度为u1；
则图像的总平均灰度为：u＝w0×u0+w1×u1。
前景和背景图象的方差：
g＝w0×(u0-u)×(u0-u)+w1×(u1-u)×(u1-u)＝w0×w1×(u0-u1)×(u0-u1)；
从而得到该灰度值下的类间方差，通过比较所有灰度值下的类间方差，取最大类间方差对应的灰度值作为前景与背景的分割阈值；
2-5)根据分割阈值对舌中部图像进行处理得到裂纹图像：在舌中部图像中，将灰度值小于分割阈值的像素点的灰度值置为零，大于分割阈值的像素点的灰度值保留，处理后的图像即为裂纹图像；
2-6)通过舌中部图像和裂纹图像的对比计算得到裂纹图像的区域一致性和区域对比度，组合后形成裂纹特征向量A2。
得到裂纹图像后，需要将裂纹的特征进行数据化，用来表示裂纹特征，本发明中通过区域一致性和区域对比度来表征。
区域一致性：假设裂纹不存在，那么舌中部位的图像应该是完整的舌苔或舌质，它们的灰度值差异不会太大，也就是说舌中区域的每个像素点的灰度值和舌中区域的平均灰度值的标准差不会大；而有裂纹存在的时候，则正好相反。计算区域一致性公式如下：
其中，F表示舌中部位的像素总数，f(x,y)表示像素点(x,y)的灰度值。
区域对比度：如果裂纹存在，那么通过OTSU得到的裂纹区域和非裂纹区域就可以算出两个区域的平均灰度值，通过区域对比度公式就可以得到区域对比度的值；区域对比度的计算公式为：
其中，G1和G2分别表示舌中部图像中裂纹区域和非裂纹区域的平均灰度值。
通过以上步骤得到的裂纹特征向量A2长度为N×2，N为舌中部图像个数。
图3为裂纹特征提取过程图，其中图3a为原始图像，图3b为舌中部图像，图3c为裂纹图像。
S3、胖瘦特征提取
对原始舌图像采用边缘检测和曲线拟合的方法进行胖瘦特征提取，得到胖瘦特征向量A3。
舌体的胖瘦特征也是中医舌诊中的重要研究内容，在中医中胖大舌“舌色淡白，舌体胖嫩，比正常舌大而厚，甚至充满口腔”，主脾肾阳虚，气化失常，水湿内停。舌体比正常舌瘦小而薄，称为“瘦薄舌”，主气血两虚和阴血不足。研究发现舌体的胖瘦与舌体的长宽比、舌前部轮廓的圆钝或尖锐程度有关。本发明通过边缘检测和曲线拟合来实现胖瘦特征的提取，将舌前部轮廓进行曲线拟合，拟合的系数及系数间的关系与曲线的圆钝尖锐有关。
边缘检测的目的是标识数字图像中亮度变化明显的点。曲线拟合是指选择适当的曲线类型来拟合观测数据，并用拟合的曲线方程分析两变量间的关系。曲线拟合选取的函数有二次函数、高斯函数、四次项函数等。
胖瘦特征提取的具体包括：
3-1)将原始图像转换成二值图像；
3-2)利用拉普拉斯算子对二值图像进行边缘检测得到舌图像的轮廓；
3-3)对步骤3-2)中得到的轮廓的上半部分置为0，对轮廓的下半部分进行四次函数的曲线拟合；
3-4)输出拟合得到的四次函数的系数值作为胖瘦特征向量A3。
本实施例中，四次函数如下：
y＝a1(x-a2)4+a3(x-a4)2+a5
其中舌体胖瘦由系数a1、a2、a3和a4决定。|a1|值越大，曲线y＝a1x4抛口越小，|a3|值越大，曲线y＝a3x2抛口越小。|a2|和|a4|分别决定了它们在水平方向的位移大小。本实施例得到胖瘦特征向量长度为N×4，N为原始舌图像个数。
参照图4，为胖瘦特征提取的过程图，其中，图4a为原始舌图像，图4b为二值图像，图4c为边缘轮廓，图4d为下半部分轮廓，图4f为拟合结果。
S4、纹理特征提取
对原始舌图像采用基于灰度矩阵和基于LBP算子的纹理特征提取方法进行纹理特征提取，得到纹理特征向量A4。
在提取中医特征之后，为了增加分类时可用的特征数量以及分类的准确率，弥补只有中医特征的缺陷，本发明中依据影像组学中的特征提取方法提取图像的纹理特征。具体的，本实施例中提取的影像组学纹理特征包括基于灰度直方图的4个一阶统计特征、基于灰度共生矩阵(Gray level co-occurrence matrix，GLCM)的20个特征、基于灰度游程矩阵(Gray level run length matrix，GLRLM)的13个特征、基于灰度差分统计(Gray leveldifference statistics，GLDS)的4个特征、基于邻域灰度差分矩阵(Neighborhood graytone difference matrix，NGTDM)的5个特征、基于灰度区域尺寸矩阵(Gray level zonesize matrix，GLZSM)的13个特征和基于局部二值模式(Local Binary Pattern，LBP)的59个特征。其中，上述的部分特征具体如下表1所示：
表1
本实施例中，分别提取了舌质、舌苔以及全舌的纹理特征，最终的纹理特征向量长度为N×177，N为舌图像个数。
S5、基于机器学习的图像分类
将步骤1)-步骤4)得到的颜色特征向量A1、裂纹特征向量A2、胖瘦特征向量A3和胖瘦特征向量A4串联，得到融合特征向量，然后采用支持向量机分类器和随机森林分类器对该融合特征向量进行分类，获得舌图像的分类结果。
本实施例将这些特征向量以串联的方式进行融合得到最终的特征向量，这一步的目的是将描述不同信息的特征放在一个单一的特征向量中以减少错误率。多元特征的融合虽然能更加准确地对分类问题进行描述，但是会造成维度问题，所以通常采用特征选择方法消除特征的不相关性和冗余性，提高分类器的性能。本实施例中采用RF分类器和线性SVM(Linear-SVM)进行分类，由公共可用的LIBSVM库实现，并基于惩罚参数C值(C＝10-2，10-1,100,101)进行网格搜索。RF分类器是基于50到300的树形数量的网格搜索，步长为50，其他参数保留为MATLAB文档中的默认值。
为了合理的对不同分类器的参数进行选择，同时完成性能评估，本实施例采用嵌套交叉验证(Nested cross validation)的策略。嵌套交叉验证分为两层循环，包括内循环和外循环。其中内循环用于寻找分类器的最优参数，而外循环使用内循环中寻到的最优参数对模型进行训练，用于性能测试。本实施例中，以单次的5折交叉验证(Crossvalidation，CV)作为内循环，以10次10折的CV作为外循环。实施例中采用不同的性能评估指标，包括受试者工作特征曲线下面积(AUC)，准确度(ACC)、特异性(SPE)、灵敏度(SEN)，对所选分类器的性能进行分析。
本发明提出的基于舌象的智能分类方法，可以有效利用舌象图像特征对中医舌象进行客观分类，从而能辅助医生进行诊断提高诊断准确率并辅助医生实现定量分析。例如，糖尿病和慢性胃炎患者的患病情况能在一定程度上反应到舌图像中，利用本发明的方法对舌图像进行分类后，能为医生的诊断提供客观的辅助信息，能提高诊断的准确性和效率。
本实施例还提供一种中医舌图像分类系统，其采用如上的方法进行中医舌图像分类。
本实施例还提供一种存储介质，其上存储有计算机程序，该程序被执行时用于实现如上的方法。
本实施例还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的方法。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。
Claims (10)
1.一种中医舌图像分类方法，其特征在于，包括以下步骤：
1)颜色特征提取：先对原始舌图像进行苔质分离，获得舌苔图像和舌质图像，然后分别提取舌苔图像和舌质图像的颜色特征，得到颜色特征向量A1；
2)裂纹特征提取：在原始舌图像中剪裁出舌中部图像，对舌中部图像进行处理获得裂纹图像，再计算裂纹图像的区域一致性和区域对比度，得到裂纹特征向量A2；
3)胖瘦特征提取：对原始舌图像采用边缘检测和曲线拟合的方法进行胖瘦特征提取，得到胖瘦特征向量A3；
4)纹理特征提取：对原始舌图像采用基于灰度矩阵和基于LBP算子的纹理特征提取方法进行纹理特征提取，得到纹理特征向量A4；
5)基于机器学习的图像分类：将步骤1)-步骤4)得到的颜色特征向量A1、裂纹特征向量A2、胖瘦特征向量A3和纹理特征向量A4串联，得到融合特征向量，然后采用支持向量机分类器和随机森林分类器对该融合特征向量进行分类，获得舌图像的分类结果。
2.根据权利要求1所述的中医舌图像分类方法，其特征在于，所述步骤1)具体为：
1-1)将原始舌图像从RGB颜色空间转换到CIELab颜色空间并提取a、b通道的信息；
1-2)随机选取k个像素点作为聚类中心，结合得到的a、b通道的信息，再通过欧氏距离计算每个像素点到每个聚类中心的距离，将像素点划分到与之最近的聚类中心的集合中，得到k个集合；
1-3)对步骤1-2)获得的k个集合，重新计算每个集合的聚类中心；对于k个集合中的任意一个，若新聚类中心和原聚类中心的距离差值大于预先设定的标准，则再重新计算，直至所有的集合中，重新计算得到的新聚类中心和原聚类中心的距离差值不大于预先设定的标准，则进入下一步；
1-4)通过图像分离得到舌苔图像和舌质图像；
1-5)分别提取舌苔、舌质的RGB空间的三个通道的颜色特征，计算均值，方差和偏度；
将RGB空间转换成HSV空间，分别提取舌苔、舌质的HSV空间的三个通道的颜色特征，计算均值，方差和偏度；
将RGB空间转换成Lab空间，分别提取舌苔、舌质的Lab空间的三个通道的颜色特征，计算均值，方差和偏度；
将以上步骤得到的舌苔、舌质在RGB、HSV、Lab三个颜色空间分别获得的均值、方差和偏度进行融合，最终得到颜色特征向量A1。
3.根据权利要求2所述的中医舌图像分类方法，其特征在于，所述步骤2)具体包括：
2-1)在原始舌图像中手动剪裁出舌中部图像；
2-2)统计舌中部图像中每个灰度值的像素个数：
设舌中部图象包含L个灰度值：0,1,…,L-1；灰度值为i的象素点数为Ni，i＝0,1,…,L-1；则舌中部图象中总的象素点数为N＝N0+N1+...+Ni+...+N(L-1)；
2-3)计算舌中部图像中每个灰度值所占的比例：灰度值为i的点所占的比例为：P(i)＝N(i)/N；
2-4)遍历所有的灰度值，计算每个灰度值的类间方差，然后通过比较获得最大类间方差，取最大类间方差对应的灰度值为分割阈值；
2-5)根据分割阈值对舌中部图像进行处理得到裂纹图像：在舌中部图像中，将灰度值小于分割阈值的像素点的灰度值置为零，大于分割阈值的像素点的灰度值保留，处理后的图像即为裂纹图像；
2-6)通过舌中部图像和裂纹图像的对比计算得到裂纹图像的区域一致性和区域对比度，组合后形成裂纹特征向量A2。
4.根据权利要求3所述的中医舌图像分类方法，其特征在于，区域一致性的计算公式为：
其中，F表示舌中部位的像素总数，f(x,y)表示像素点(x,y)的灰度值。
5.根据权利要求3所述的中医舌图像分类方法，其特征在于，区域对比度的计算公式为：
其中，G1和G2分别表示舌中部图像中裂纹区域和非裂纹区域的平均灰度值。
6.根据权利要求3所述的中医舌图像分类方法，其特征在于，所述步骤3)具体包括：
3-1)将原始图像转换成二值图像；
3-2)利用拉普拉斯算子对二值图像进行边缘检测得到舌图像的轮廓；
3-3)对步骤3-2)中得到的轮廓的上半部分置为0，对轮廓的下半部分进行四次函数的曲线拟合；
3-4)输出拟合得到的四次函数的系数值作为胖瘦特征向量A3。
7.根据权利要求6所述的中医舌图像分类方法，其特征在于，所述步骤4)中提取的纹理特征包括：基于灰度直方图的一阶统计特征、基于灰度共生矩阵的特征、基于灰度游程矩阵的特征、基于灰度差分统计的特征、基于邻域灰度差分矩阵的特征、基于灰度区域尺寸矩阵的特征和基于局部二值模式的特征。
8.一种中医舌图像分类系统，其特征在于，其采用如权利要求1-7中任意一项所述的方法进行中医舌图像分类。
9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被执行时用于实现如权利要求1-7中任意一项所述的方法。
10.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011406385.3A CN112560911B (zh) | 2020-12-04 | 2020-12-04 | 中医舌图像分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011406385.3A CN112560911B (zh) | 2020-12-04 | 2020-12-04 | 中医舌图像分类方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112560911A true CN112560911A (zh) | 2021-03-26 |
| CN112560911B CN112560911B (zh) | 2024-01-26 |
Family
ID=75048291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011406385.3A Active CN112560911B (zh) | 2020-12-04 | 2020-12-04 | 中医舌图像分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112560911B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115409834A (zh) * | 2022-10-30 | 2022-11-29 | 四川大学华西医院 | 一种用于跟腱病诊断的特征提取方法、系统和存储介质 |
| CN117911722A (zh) * | 2024-03-19 | 2024-04-19 | 陕西中医药大学 | 基于人工智能的糖尿病人舌象特征提取方法 |
| CN118645250A (zh) * | 2024-08-15 | 2024-09-13 | 杭州六智科技有限公司 | 基于人工智能的中医健康状态分析系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102426583A (zh) * | 2011-10-10 | 2012-04-25 | 北京工业大学 | 基于图像内容分析的中医舌象检索方法 |
| CN103745217A (zh) * | 2013-12-31 | 2014-04-23 | 北京工业大学 | 基于图像检索的中医舌色苔色自动分析方法 |
| CN110189383A (zh) * | 2019-06-27 | 2019-08-30 | 合肥云诊信息科技有限公司 | 基于机器学习的中医舌色苔色定量分析方法 |
-
2020
- 2020-12-04 CN CN202011406385.3A patent/CN112560911B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102426583A (zh) * | 2011-10-10 | 2012-04-25 | 北京工业大学 | 基于图像内容分析的中医舌象检索方法 |
| CN103745217A (zh) * | 2013-12-31 | 2014-04-23 | 北京工业大学 | 基于图像检索的中医舌色苔色自动分析方法 |
| CN110189383A (zh) * | 2019-06-27 | 2019-08-30 | 合肥云诊信息科技有限公司 | 基于机器学习的中医舌色苔色定量分析方法 |
Non-Patent Citations (8)
| Title |
|---|
| 张康等: "基于图像分析的中医舌诊及客观化研究", 《科技广场》, no. 02 * |
| 方晨晔等: "现代化舌诊在临床研究中的应用", 《中国中医药信息杂志》, no. 06 * |
| 李文斌等: "一种优化K-means聚类的舌苔舌质分离方法", 《河北工业科技》, no. 05 * |
| 沈兰荪等: "中医舌象分析技术的研究", 《世界科学技术-中医药现代化》, no. 01 * |
| 焦月等: "中医舌象样本分类中加权SVM的应用研究", 《测控技术》, no. 05 * |
| 王昇等: "舌诊图像点刺和瘀点的识别与提取", 《计算机工程与科学》, no. 06 * |
| 阚红星等: "一种2型糖尿病中医证型的舌图像识别方法", 《中国生物医学工程学报》, no. 06 * |
| 高清河等: "舌诊图像分割和特征提取的方法研究与应用", 《中国中医药现代远程教育》, no. 13 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115409834A (zh) * | 2022-10-30 | 2022-11-29 | 四川大学华西医院 | 一种用于跟腱病诊断的特征提取方法、系统和存储介质 |
| CN115409834B (zh) * | 2022-10-30 | 2023-02-28 | 四川大学华西医院 | 一种用于跟腱病诊断的特征提取方法、系统和存储介质 |
| CN117911722A (zh) * | 2024-03-19 | 2024-04-19 | 陕西中医药大学 | 基于人工智能的糖尿病人舌象特征提取方法 |
| CN117911722B (zh) * | 2024-03-19 | 2024-06-04 | 陕西中医药大学 | 基于人工智能的糖尿病人舌象特征提取方法 |
| CN118645250A (zh) * | 2024-08-15 | 2024-09-13 | 杭州六智科技有限公司 | 基于人工智能的中医健康状态分析系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112560911B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Khan et al. | Classification of melanoma and nevus in digital images for diagnosis of skin cancer | |
| CN107977671B (zh) | 一种基于多任务卷积神经网络的舌象分类方法 | |
| Sheng et al. | Retinal vessel segmentation using minimum spanning superpixel tree detector | |
| Cheng et al. | Superpixel classification based optic disc and optic cup segmentation for glaucoma screening | |
| CN112560911B (zh) | 中医舌图像分类方法及系统 | |
| CN109472781B (zh) | 一种基于串行结构分割的糖尿病视网膜病变检测系统 | |
| CN108830853A (zh) | 一种基于人工智能的黑色素瘤辅助诊断方法 | |
| WO2022142030A1 (zh) | 高血压性视网膜病变的病变特征的测量方法及测量系统 | |
| Ramakanth et al. | Approximate nearest neighbour field based optic disk detection | |
| Renugambal et al. | Application of image processing techniques in plant disease recognition | |
| Waheed et al. | Hybrid features and mediods classification based robust segmentation of blood vessels | |
| CN108615239A (zh) | 基于阈值技术和灰度投影的舌图像分割方法 | |
| Riaz et al. | Impact of visual features on the segmentation of gastroenterology images using normalized cuts | |
| Wang et al. | Facial image medical analysis system using quantitative chromatic feature | |
| CN114820603B (zh) | 基于ai舌诊图像处理的智能健康管理方法及相关装置 | |
| CN111222371A (zh) | 舌下静脉特征提取装置及方法 | |
| CN110648336B (zh) | 一种舌质和舌苔的分割方法及装置 | |
| Ali et al. | Color-based template selection for detection of gastric abnormalities in video endoscopy | |
| CN108665474A (zh) | 一种基于b-cosfire的眼底图像视网膜血管分割方法 | |
| CN106372593B (zh) | 一种基于血管收敛的视盘区定位方法 | |
| Fondón et al. | Automatic optic cup segmentation algorithm for retinal fundus images based on random forest classifier | |
| CN108629780B (zh) | 基于颜色分解和阈值技术的舌图像分割方法 | |
| CN114359279B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN116168228A (zh) | 多维特征联合的肿瘤高光谱图像分类方法及系统 | |
| Elzennary et al. | Early Deep Detection for Diabetic Retinopathy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |