CN114511567B - 舌体与舌苔图像识别分离方法 - Google Patents

舌体与舌苔图像识别分离方法 Download PDF

Info

Publication number
CN114511567B
CN114511567B CN202210412947.8A CN202210412947A CN114511567B CN 114511567 B CN114511567 B CN 114511567B CN 202210412947 A CN202210412947 A CN 202210412947A CN 114511567 B CN114511567 B CN 114511567B
Authority
CN
China
Prior art keywords
tongue
image
color
tongue body
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210412947.8A
Other languages
English (en)
Other versions
CN114511567A (zh
Inventor
周鹏
杨佳欣
陈露诗
徐向阳
夏瑮烨
周威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianzhong Yimai Tianjin Intelligent Technology Co ltd
Original Assignee
Tianzhong Yimai Tianjin Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianzhong Yimai Tianjin Intelligent Technology Co ltd filed Critical Tianzhong Yimai Tianjin Intelligent Technology Co ltd
Priority to CN202210412947.8A priority Critical patent/CN114511567B/zh
Publication of CN114511567A publication Critical patent/CN114511567A/zh
Application granted granted Critical
Publication of CN114511567B publication Critical patent/CN114511567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了舌体与舌苔图像识别分离方法，步骤一：采集舌像图片；步骤二：根据采集设备的不同对获取的舌像图片进行不同方式的色彩校正，用以提升后续图像处理算法的准确度；步骤三：对舌像图片中的舌体区域进行定位，包括，对舌像图片进行任意裁剪成子图块，利用经过训练的卷积神经网络对子图块进行训练，根据人脸的左右眼位置，鼻尖位置和左右嘴角的位置对舌体进行定位，得到完整的包含舌体的矩形图像；步骤四：实现舌体与非舌体的分割；步骤五：根据舌苔与舌体颜色不同，实现对分割以后的舌像进行苔质分离。本发明的有益效果是，对采集到的舌体图像进行色彩的矫正，改善了色偏对后续舌体特征分析所带来的影响，实现了舌体与苔质的准确分离。

Description

舌体与舌苔图像识别分离方法
技术领域
本发明涉及中医舌像处理技术领域，特别是舌体与舌苔图像识别分离方法。
背景技术
舌诊作为中医的特色诊法，具有相对完整的理论依据，通过表象揭示了人体生理病理的客观现象，并被人们广泛接受与认可。舌诊作为中医行之有效的一种特色诊断方法，在今天的临床实践中依然发挥着重要作用。到目前为止，舌诊依然是证候诊断指向明确、容易上手且行之有效的诊断方法之一，对疾病的认识、用药的指导、疗效的评价都发挥着重要作用。随着计算机技术的发展，人们开始利用深度学习，机器视觉等方法结合中医专家丰富的临床经验推动舌诊客观化、标准化等相关研究。
在中医舌诊当中，对颜色的准确描述和判断是非常重要的。但是在用摄影设备采集舌像的过程当中，由于采集仪器的精度不同、环境光不同等因素，极易导致采集到的舌像图片存在一定的色偏。这不仅会对算法后续舌体定位与分割、颜色特征的提取和分析部分造成影响，而且会给使用者和临床医师的诊断造成一定的干扰。
发明内容
本发明的目的是为了解决上述问题，设计了舌体与舌苔图像识别分离方法，包括以下步骤：
步骤一：通过采集设备采集舌像图片；
步骤二：根据采集设备的不同对获取的舌像图片进行不同方式的色彩校正，用以提升后续图像处理算法的准确度；
步骤三：对进行色彩校正后的舌像图片中的舌体区域进行定位，包括，对舌像图片进行任意裁剪成子图块，利用经过训练的卷积神经网络对子图块进行训练，根据人脸的左右眼位置，鼻尖位置和左右嘴角的位置对舌体进行定位，得到完整的包含舌体的矩形图像；
步骤四：根据颜色与位置的不同将舌体定位后的舌像图片分为前景模型和背景模型，通过高斯混合模型对前景模型和背景模型建模，得到分割以后的舌体图像，实现舌体与非舌体的分割；
步骤五：根据舌苔与舌体颜色不同，实现对分割以后的舌像进行苔质分离。
进一步地，若所述步骤一中的采集设备为固定式采集设备，则所述色彩校正方法为颜色校正矩阵算法，若所述步骤一中的采集设备为手持式或移动式采集设备，则所述色彩校正方法为灰度世界法和完美反射法相结合。
进一步地，所述颜色校正矩阵算法包括：
将RGB图像转化为灰度图像，对灰度图像进行二值化处理，并提取灰度图像的边缘；
检索灰度图像当中所有的轮廓，并对轮廓进行多边形拟合，去除拟合以后的多边形的顶点过多和过少的轮廓，同时用轮廓的面积对轮廓进行进一步筛选，获取筛选过后的轮廓的最小外接矩形的宽高比和最大外接矩形宽高比，将上述两个宽高比与预设的色卡块的宽高比进行对比，将灰度图像中宽高比过小和过大的轮廓筛除，得到n个标准的轮廓；
分别计算每一个轮廓到其他轮廓的距离，距离的计算公式如下：
Figure DEST_PATH_IMAGE001
(3-1)
式中，Di,j表示第i个轮廓和第j个轮廓之间的距离，rect.x和rect.y分别表示轮廓左上角点的横、纵坐标值；
统计每一个轮廓周围满足距离条件的轮廓个数，当个数大于阈值NC时，把这一轮廓的点压入栈中；
确定色卡的位置为包围栈中所有点的最小正矩形，根据色卡上色块的具体位置对色块进行提取并得到色块的颜色值；
得到颜色校正矩阵
Figure 78577DEST_PATH_IMAGE002
：根据公式（3-2）进行计算：
Figure DEST_PATH_IMAGE003
（3-2）
其中，色卡在原RGB颜色空间的多项式模型记为T1，色卡在标准颜色色板颜色空间的
Figure 91139DEST_PATH_IMAGE004
记为T2。
通过公式（3-2）计算标准颜色色板的RGB颜色空间的R、G、B值。
Figure DEST_PATH_IMAGE005
(3-3)
式中，
Figure 437807DEST_PATH_IMAGE006
是标准颜色色板的RGB颜色空间的R、G、B值，
Figure DEST_PATH_IMAGE007
是原图像的RGB颜色空间多项式，
Figure 460120DEST_PATH_IMAGE008
是颜色校正矩阵
Figure DEST_PATH_IMAGE009
。
进一步地，
Figure 363486DEST_PATH_IMAGE010
为通过高阶多项式回归得到的标准颜色色板的RGB颜色空间的多项式模型，具体为
Figure DEST_PATH_IMAGE011
，记为T1，用于确保颜色校正精确度以及图像的质量。
进一步地，所述通过灰度世界法和完美反射法的结合进行色彩校正具体包括：
对R通道和B通道进行颜色校正：
Figure 420434DEST_PATH_IMAGE012
（5-1）式中，
Figure DEST_PATH_IMAGE013
和
Figure 748123DEST_PATH_IMAGE014
是R通道校正参数，
Figure DEST_PATH_IMAGE015
和
Figure 523312DEST_PATH_IMAGE016
是B通道校正参数；
Figure DEST_PATH_IMAGE017
指R通道图像，
Figure 964789DEST_PATH_IMAGE018
指B通道图像，
Figure DEST_PATH_IMAGE019
，
Figure 876244DEST_PATH_IMAGE020
分别指R通道和B通道图像坐标（x,y）位置的灰度值；
当同时满足灰度世界法和完美反射法时，式(5-1)变形为：
Figure DEST_PATH_IMAGE021
（5-2）
通过计算得到
Figure 374834DEST_PATH_IMAGE022
、
Figure DEST_PATH_IMAGE023
对R通道进行校正，
Figure 371740DEST_PATH_IMAGE024
和
Figure DEST_PATH_IMAGE025
对B通道进行校正，
Figure 554591DEST_PATH_IMAGE017
指R通道图像，
Figure 773083DEST_PATH_IMAGE026
指B通道图像，
Figure DEST_PATH_IMAGE027
，
Figure 383187DEST_PATH_IMAGE028
分别指R通道和B通道图像坐标（x,y）位置的灰度值；
Figure DEST_PATH_IMAGE029
指同时满足灰度世界法和完美反射法条件的灰度图像。
进一步地，所述利用经过训练的卷积神经网络对子图块进行训练具体包括：
S1：构建舌体数据集，得到作为模型的训练数据：将原始图片缩放成不同的尺度，构成图像金字塔，对舌像图片进行随机裁剪成子图块，并将裁剪以后的子图块分为是舌头样本和非舌头样本；
S2：将训练数据输入在Caffe框架下的MTCNN神经网络进行模型训练，所述MTCNN神经网络包括P-Net子神经网络、R-Net子神经网络和O-Net子神经网络，P-Net子神经网络、R-Net子神经网络和O-Net子神经网络，分别得到子图块归属于是舌头样本还是非舌头样本的概率值，形成识别面部特征的矩形框，并输出与之对应的三个检测结果，三个检测结果包括判断图像当中是否有人脸、判断网络提取的图片当中的人脸框和定位人脸的特征点位置。
进一步地，所述P-Net子神经网络包括用于选出图片当中所有可能的不同尺度的人脸框的三个卷积层和一个池化层，所述R-Net子神经网络包括用于对P-Net中的预备人脸框进一步判定的三个卷积层、两个池化层和一个全连接层，所述O-Net子神经网络包括用于对人脸进一步筛选并输出最后结果的四个卷积层、三个池化层和一个全连接层池化层。
进一步地，所述S1中，对样本子图块进行标记，该标记对样本子图块是属于是舌头样本还是非舌头样进行注释，其中，如果样本子图块超过一半以上为舌体区域，则把该样本子图块标为是舌头区域，反之则把该样本子图块标为非舌体样本。
进一步地，所述步骤四中实现舌体的分割具体包括：
S3：对图像进行初始化:获取经过定位的舌体信息的舌像中所有像素的红色通道值R(i,j)、蓝色通道值B(i,j)以及绿色通道值G(i,j)，其中舌像包括U*V个像素,i＝1,...,U,j＝1,...,V；按照像素点初始化中央区域为前景区域、可能前景区域，周围区域为背景、可能背景区域，前景区域和可能前景区域构成前景模型，背景和可能背景构成背景模型；
S4:高斯混合模型建模，具体包括：
S41:用混合高斯模型对前景模型和背景模型建模,混合高斯模型的参数包括每一个高斯分量的权重
Figure 54339DEST_PATH_IMAGE030
、每个高斯分量均值向量u和协方差矩阵
Figure DEST_PATH_IMAGE031
；
S42:学习优化混合高斯模型参数，将可能前景区域像素点和可能背景区域像素点分别带入到前景模型和背景模型中计算，选择概率最大的混合高斯模型参数重新分配未知的像素点，然后根据重新分配以后的前景模型和背景模型对混合高斯模型的参数进行更新，将舌体定位后图片中心的颜色设置为前景区域，将牙齿的颜色、面区域的颜色、口腔的区域的颜色设置为可能背景区域并且设置为黑色，并通过min cut算法进行分割；
S43:重复步骤S42:直到收敛或达到规定的迭代次数以后，得到分割以后的舌体图像。
进一步地，所述步骤五中若分割以后的舌体图像的像素点满足式(1-1)所示的条件时，认为是舌苔像素点；若分割以后的舌图的像素点不满足式(1-1)所示的条件时，则认为是舌体像素点，
Figure 834689DEST_PATH_IMAGE032
(1-1)
式中，
Figure DEST_PATH_IMAGE033
、
Figure 658420DEST_PATH_IMAGE034
、
Figure DEST_PATH_IMAGE035
指的是坐标位置为
Figure 501742DEST_PATH_IMAGE036
的像素点R、G、B三个通道的值。
利用本发明的技术方案制作的舌体与舌苔图像识别分离方法，所达到的有益效果：
在舌体图像采集之后、舌体定位与分割之前增加了颜色校正的环节，实现对舌像的色彩管理，改善了色偏对于舌体定位与分割以及舌体特征部分分析造成的影响，根据采集设备不同可以选择不同的色彩校正方法，若用固定式采集设备，判断为运用颜色校正矩阵的方法采用色卡校正对采集到的舌体图像进行色彩校正，以提升后续图像处理算法的准确度；若用手持式或移动式设备，则判断为使用灰度世界法和完美反射法相结合进行色彩校正；
用MTCNN模型对舌体进行定位，并使用Grab-cut方法进行舌体与背景的分割，在进行舌体与背景的分割过程中，获取到舌体位置的像素大小，直接为后续舌体与舌苔分离提供了支持，将舌体分割苔质分离模块化，加快了舌像处理过程。
附图说明
图1是本发明所述舌体与舌苔图像识别分离方法的色卡定位过程图；
图2是本发明所述舌体与舌苔图像识别分离方法的颜色校正效果图；
图3是本发明所述舌体与舌苔图像识别分离方法的三种自动白平衡算法的校正效果；
图4是本发明所述舌体与舌苔图像识别分离方法的P-Net结构示意图；
图5是本发明所述舌体与舌苔图像识别分离方法的R-Net结构示意图；
图6是本发明所述舌体与舌苔图像识别分离方法的O-Net结构示意图；
图7是本发明所述舌体与舌苔图像识别分离方法的舌体定位过程图；
图8是本发明所述舌体与舌苔图像识别分离方法的Grab-cut算法流程图；
图9是本发明所述舌体与舌苔图像识别分离方法的舌体分割效果图；
图10是本发明所述舌体与舌苔图像识别分离方法的苔质分离后的舌体图片。
具体实施方式
为了更好的理解本发明，下面结合具体实施例和附图对本发明进行进一步的描述，舌体与舌苔图像识别分离方法。
步骤一：通过采集设备采集舌像图片；
步骤二：根据采集设备的不同对获取的舌像图片进行不同方式的色彩校正，用以提升后续图像处理算法的准确度；
步骤三：对进行色彩校正后的舌像图片中的舌体区域进行定位，包括，对舌像图片进行任意裁剪成子图块，利用经过训练的卷积神经网络对子图块进行训练，根据人脸的左右眼位置，鼻尖位置和左右嘴角的位置对舌体进行定位，得到完整的包含舌体的矩形图像；
步骤四：根据颜色与位置的不同将舌体定位后的舌像图片分为前景模型和背景模型，通过高斯混合模型对前景模型和背景模型建模，得到分割以后的舌体图像，实现舌体与非舌体的分割；
步骤五：根据舌苔与舌体颜色不同，实现对分割以后的舌像进行苔质分离。
其中，在对舌型特征，例如齿痕舌与老嫩舌的特征进行分析以及对苔质特征，例如腐腻苔与润燥苔进行特征分析前都需要采集舌体图像，并对其进行舌体定位以及舌像分割的操作，但是，由于在用摄影设备采集舌像的过程当中，由于采集仪器的精度不同、环境光不同等因素，采集到的舌像图片存在一定的色偏，若采集到舌像的颜色与原始图像的颜色偏差较大，会对后续与颜色有关特征的提取和分析部分，例如舌体与舌苔的分离判定以及腐腻苔与润燥苔的判断与分析造成影响。在采集完成舌体图像后，对采集到的舌体图像进行色彩校正。进行色彩校正的步骤如下：
若采用固定采集设备，通过颜色校正方法对色偏进行矫正，首先，将RGB图像转化为灰度图像，对灰度图像进行二值化处理，即将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果，并提取灰度图像的边缘。
检索灰度图像当中所有的轮廓，并对轮廓进行多边形拟合，去除拟合以后的多边形的顶点过多和过少的轮廓，同时用轮廓的面积对轮廓进行进一步筛选，获取筛选过后的轮廓的最小外接矩形的宽高比和最大外接矩形宽高比，将上述两个宽高比与预设的色卡块的宽高比进行对比，将灰度图像中宽高比过小和过大的轮廓筛除，得到n个标准的轮廓。
分别计算每一个轮廓到其他轮廓的距离，距离的计算公式如下：
Figure DEST_PATH_IMAGE037
(3-1)
式中，Di,j表示第i个轮廓和第j个轮廓之间的距离，rect.x和rect.y分别表示轮廓左上角点的横、纵坐标值，统计每一个轮廓周围满足距离条件的轮廓个数，当个数大于阈值
Figure 660191DEST_PATH_IMAGE038
时，把这一轮廓的点压入栈中；
确定色卡的位置为包围栈中所有点的最小正矩形，根据色卡上色块的具体位置对色块进行提取并得到色块的颜色值，色卡定位过程如图1所示，依次为原色卡图像，Canny算子边缘提取，色卡定位效果。得到色卡对应的24个色块的颜色值后，计算得到颜色校正矩阵
Figure 184844DEST_PATH_IMAGE039
。
颜色校正矩阵
Figure 315611DEST_PATH_IMAGE040
的计算方法如下：
Figure 516786DEST_PATH_IMAGE041
为通过高阶多项式回归得到的标准颜色色板的RGB颜色空间的多项式模型，具体为
Figure 834634DEST_PATH_IMAGE042
，记为T1，传统的CCM算法只是使用了图像的R、G、B值实现了从RGB空间到sRGB空间（标准颜色色板的RGB颜色空间）的转换，只是简单的线性转换，存在较大的误差。为了能进一步提升转化的维度，使用高阶多项式回归法，即在原式的基础上添加
Figure 183486DEST_PATH_IMAGE043
，等阶数更高的项，但是并不是项数越多，阶数越大得到的校正效果就越好。因为随着阶数的增加，模型的推广性能会变差，所以最后的图像质量会变差，而且运算量也会随之增加。为了在保证颜色校正精确度的同时也保证图像的质量，最终选择了项数为10的多项式模型，
即
Figure 231077DEST_PATH_IMAGE044
，该多项式模型即原图像的RGB颜色空间多项式。
颜色校正矩阵
Figure 540835DEST_PATH_IMAGE045
根据公式（3-2）进行计算：
Figure 159030DEST_PATH_IMAGE046
（3-2）
其中，色卡在原RGB颜色空间的多项式模型记为T1，色卡在标准颜色色板颜色空间的
Figure 274753DEST_PATH_IMAGE047
记为T2。
最后通过公式(2-3)计算标准颜色色板的RGB颜色空间的R、G、B值。
Figure 114533DEST_PATH_IMAGE048
(3-3)
式中，
Figure 408243DEST_PATH_IMAGE049
是标准颜色色板的RGB颜色空间的R、G、B值，
Figure 966263DEST_PATH_IMAGE050
是原图像的RGB颜色空间多项式，
Figure 620098DEST_PATH_IMAGE051
是颜色校正矩阵
Figure 393013DEST_PATH_IMAGE039
。通过颜色矩阵色彩校正方法校正以后图片的色差明显减小，对图片颜色的还原度更高。
若采用手持式或移动式采集设备，往往要求色彩校正算法有更强的灵活性和便携性。灰度世界法认为自然界中的景物对光的反射的均值在总体上是一个定值，所以在一幅彩色图像当中，灰度世界法认为R、G、B三通道的均值在整体上也趋近于同一个灰度值。灰度世界法的操作简单，运算量很小，但是在图像的颜色不够丰富的时候校正效果不是很理想。完美反射法就是将图像当中亮度最大的点认为是白色的点，把它当做可以完全反射光源的“镜面”，然后根据这个白色点对整体图像上所有的像素点的颜色值进行校正。但是如果图片当中不存在较为理想的反射“镜面”时，使用完美反射法进行白平衡校正的效果也不理想。于是，结合灰度世界法和完美反射法的优点，在原有线性校正的基础上，R通道和B通道的校正表示为“平方”的形式。具体为
Figure 44574DEST_PATH_IMAGE052
(4-1)
式中，
Figure 886628DEST_PATH_IMAGE053
和
Figure 281838DEST_PATH_IMAGE054
是R通道校正参数，
Figure 906330DEST_PATH_IMAGE055
和
Figure 791109DEST_PATH_IMAGE056
是B通道校正参数，
Figure 58142DEST_PATH_IMAGE017
指R通道图像，
Figure 70092DEST_PATH_IMAGE026
指B通道图像，
Figure 801287DEST_PATH_IMAGE057
，
Figure 794651DEST_PATH_IMAGE028
分别指R通道和B通道图像坐标（x,y）位置的灰度值。
当同时满足灰度世界法和完美反射法时，式(4-1)变形为：
Figure 362030DEST_PATH_IMAGE058
(4-2)
通过计算得到
Figure 364621DEST_PATH_IMAGE022
、
Figure 950323DEST_PATH_IMAGE023
对R通道进行校正，
Figure 927637DEST_PATH_IMAGE024
和
Figure 169263DEST_PATH_IMAGE025
对B通道进行校正，
Figure 772283DEST_PATH_IMAGE017
指R通道图像，
Figure 150174DEST_PATH_IMAGE026
指B通道图像，
Figure 561040DEST_PATH_IMAGE027
，
Figure 24382DEST_PATH_IMAGE028
分别指R通道和B通道图像坐标（x,y）位置的灰度值；
Figure 431093DEST_PATH_IMAGE029
指同时满足灰度世界法和完美反射法条件的灰度图像。
由上述操作进行色彩校正的图片进行舌像定位，具体操作如下：
S1：构建舌体数据集，得到作为模型的训练数据：将原始图片缩放成不同的尺度，构成图像金字塔，对舌像图片进行随机裁剪成子图块，并将裁剪以后的子图块分为是舌头样本和非舌头样本；该标记对样本子图块是属于是舌头样本还是非舌头样进行注释，其中，如果样本子图块超过一半以上为舌体区域，则把该样本子图块标为是舌头区域，反之则把该样本子图块标为非舌体样本。将这些图片的格式转换为Imdb格式作为模型的训练数据。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的表示。层级越高，则图像越小，分辨率越低。图像金字塔的建立可以保证在统一的尺度下检测人脸。在本实施例中，图像被分割为以下三种尺寸图块：12×12×3、24×24×3和48×48×3。
S2：将训练数据输入在Caffe框架下的MTCNN神经网络进行模型训练，所述MTCNN神经网络包括P-Net子神经网络、R-Net子神经网络和O-Net子神经网络，P-Net子神经网络、R-Net子神经网络和O-Net子神经网络，分别得到子图块归属于是舌头样本还是非舌头样本的概率值，形成识别面部特征的矩形框，并输出与之对应的三个检测结果，三个检测结果包括判断图像当中是否有人脸、判断网络提取的图片当中的人脸框和定位人脸的特征点位置。所述P-Net子神经网络包括用于选出图片当中所有可能的不同尺度的人脸框的三个卷积层和一个池化层，所述R-Net子神经网络包括用于对P-Net中的预备人脸框进一步判定的三个卷积层、两个池化层和一个全连接层，所述O-Net子神经网络包括用于对人脸进一步筛选并输出最后结果的四个卷积层、三个池化层和一个全连接层池化层。
Caffe是一种开源软件框架，用以实现GPU并行架构下的深度卷积神经网络。卷积层的功能是对输入数据进行特征提取；在卷积层进行特征提取后，输出的特征图会被传递至池化层进行特征选择和信息过滤。池化层包含预设定的池化函数，其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量。连接层的作用则是对提取的特征进行非线性组合以得到输出。
具体地，如图3所示，input size为输入的子图块的尺寸，Conv为卷积层卷积核的大小，MP为池化层卷积核的大小，P-Net子神经网络包括三个卷积层和一个池化层，输入经分割的子图片尺寸大小为12×12×3，卷积层的卷积核均为3×3，图片输入后，先经过第一个卷积层与池化层，得到5×5×10的图片，再经过第二个卷积层，得到3×3×16的图片，再经过第三个卷积层，得到1×1×32的图片，最后经过输出层，使用逻辑函数或归一化指数函数（softmax function）输出分类标签，得到1×1×2、1×1×4和1×1×10的训练模型，具体为，用来判断图像当中是否有人脸的第一部分“face classification”，输出用于网络提取的图片当中的人脸框的第二部分“bounding box regression”，输出用来定位人脸的特征点位置的“Facial landmark localization”的第三部分。
具体地，如图4所示，input size为输入的子图块的尺寸，Conv为卷积层卷积核的大小，MP为池化层卷积核的大小，R-Net子神经网络包括三个卷积层、两个池化层和一个全连接层，输入经分割的子图片尺寸为24×24×3，其中，前两个卷积层的卷积核均为3×3，第三个卷积层的卷积核为2×2，池化层位于第一个卷积层和第二个卷积层之后，池化层的核大小为2×2，图片输入后，先经过第一个卷积层与池化层，再经过第二个卷积层和池化层，再经过第三个卷积层，得到3×3×64的图片，最后经过输出层，第三个卷积层经过延展变换与全连接层相连。使用逻辑函数或归一化指数函数（softmax function）输出分类标签，得到2、4和10的训练模型，具体为，用来判断图像当中是否有人脸的第一部分“faceclassification”，输出用于网络提取的图片当中的人脸框的第二部分“bounding boxregression”，输出用来定位人脸的特征点位置的“Facial landmark localization”的第三部分。
具体地，如图5所示，input size为输入的子图块的尺寸，Conv为卷积层卷积核的大小，MP为池化层卷积核的大小，O-Net子神经网络包括四个卷积层、三个池化层和一个全连接层，输入经分割的子图片尺寸为48×48×3，其中，前三个卷积层的卷积核均为3×3，第四个卷积层的卷积核为2×2，池化层分别位于第一个卷积层、第二个卷积层和第三个卷积层之后，前两个池化层的核大小为3×3，位于第三个卷积层后的池化层的核大小为2×2，图片输入后，先经过第一个卷积层与池化层，再经过第二个卷积层和池化层，接着经过第三个卷积层和第三个池化层，再经过第四个卷积层，得到3×3×128的图片，第四个卷积层经过延展变换与全连接层相连。最后经过输出层，使用逻辑函数或归一化指数函数（softmaxfunction）输出分类标签，得到2、4和10的交叉熵，具体为，用来判断图像当中是否有人脸的第一部分“face classification”，输出用于网络提取的图片当中的人脸框的第二部分“bounding box regression”，输出用来定位人脸的特征点位置的“Facial landmarklocalization”的第三部分。
从P-Net到R-Net再到O-Net，网络层数不断增加，准确率越来越高。直接使用O-Net会使运行速度非常缓慢，先通过使用P-Net和R-Net这两个准确度不算高但是运行速率很快的网络对输入O-Net的舌部图片进行预筛选，会极大提高运行的效率，降低了处理时间。
舌体实现定位后，对其进行舌体的分割操作，具体包括：
S3：对图像进行初始化:获取经过定位的舌体信息的舌像中所有像素的红色通道值R(i,j)、蓝色通道值B(i,j)以及绿色通道值G(i,j)，其中舌像包括U*V个像素,i＝1,...,U,j＝1,...,V；按照像素点初始化中央区域为前景区域、可能前景区域，周围区域为背景、可能背景区域，前景区域和可能前景区域构成前景模型，背景和可能背景构成背景模型；
S4:高斯混合模型建模，具体包括：
S41:用混合高斯模型对前景模型和背景模型建模,混合高斯模型的参数包括每一个高斯分量的权重
Figure 476540DEST_PATH_IMAGE030
、每个高斯分量均值向量u和协方差矩阵
Figure 248187DEST_PATH_IMAGE031
；
S42:学习优化混合高斯模型参数，将可能前景区域像素点和可能背景区域像素点分别带入到前景模型和背景模型中计算，选择概率最大的混合高斯模型参数重新分配未知的像素点，然后根据重新分配以后的前景模型和背景模型对混合高斯模型的参数进行更新，将舌体定位后图片中心的颜色设置为前景区域，将牙齿的颜色、面区域的颜色、口腔的区域的颜色设置为可能背景区域并且设置为黑色，并通过min cut算法进行分割；
S43:重复步骤S42:直到收敛或达到规定的迭代次数以后，得到分割以后的舌体图像。
分割后的图片如图8所示，图中，前景区域为GCD_FGD，背景区域为GCD_BGD，可能前景区域为GCD_PR_FGD和可能背景区域GCD_PR_BGD，其中前景区域和可能前景区域构成前景模型FGD_Model，背景区域和可能背景区域构成背景模型BGD_Model；通过高斯混合模型进行多次迭代使得分割后的舌像图片更加精确，图片边缘更加光滑。
若分割以后的舌体图像的像素点满足式(1-1)所示的条件时，认为是舌苔像素点；若分割以后的舌图的像素点不满足式(1-1)所示的条件时，则认为是舌体像素点，
Figure 261142DEST_PATH_IMAGE032
(1-1)
式中，
Figure 143648DEST_PATH_IMAGE033
、
Figure 309181DEST_PATH_IMAGE034
、
Figure 314046DEST_PATH_IMAGE035
指的是坐标位置为
Figure 751981DEST_PATH_IMAGE036
的像素点R、G、B三个通道的值。
在进行舌体分割时即记录了舌像各个位置的像素点，根据像素点的不同，即可将舌苔和舌体进行分离，简化了舌苔和舌体的分离步骤，直接影响舌诊客观化的可行性与准确性。
实验例：
步骤一：通过采集设备采集舌像图片；
步骤二：根据采集设备的不同对获取的舌像图片进行不同方式的色彩校正，用以提升后续图像处理算法的准确度；
使用固定式采集设备时，色彩校正方法为颜色校正矩阵算法，具体操作如下：
确定色卡的位置；进一步根据色卡上色块的具体位置对色块进行提取并得到色块的颜色值。本实验例中使用的颜色校正的标准颜色色板为定制的8cm*11.2cm的爱色丽24色色卡，色卡当中的24个色块的颜色信息如表1-1所示：
表1-1 爱色丽24色色卡色块信息
颜色序号 R G B 颜色序号 R G B
1 115 82 68 13 56 61 150
2 194 150 130 14 70 148 73
3 98 122 157 15 175 54 60
4 87 108 67 16 231 199 31
5 133 128 177 17 187 86 149
6 103 189 170 18 8 133 161
7 214 126 44 19 243 243 242
8 80 91 166 20 200 200 200
9 193 90 99 21 160 160 160
10 94 60 108 22 122 122 121
11 157 188 64 23 85 85 85
12 224 163 46 24 52 52 52
具体地，将色卡在原RGB颜色空间的多项式模型记为T1，色卡在sRGB颜色空间的
Figure 251226DEST_PATH_IMAGE059
记为T2，通过计算得到颜色校正矩阵
Figure 458217DEST_PATH_IMAGE060
：
Figure 633983DEST_PATH_IMAGE061
(2-2)
将得到的颜色校正矩阵与在该拍摄条件下采集图像的多项式模型
Figure 369333DEST_PATH_IMAGE062
相乘，即可得到色彩校正以后的图片，图2为色彩校正前后对比图像。左侧为进行色彩校正前的图像，右侧为进行色彩校正后的图像。通过颜色矩阵色彩校正方法校正以后图片的色差明显减小，对图片颜色的还原度更高。
若采用手持式或移动式采集设备，往往要求色彩校正算法有更强的灵活性和便携性。灰度世界法认为自然界中的景物对光的反射的均值在总体上是一个定值，所以在一幅彩色图像当中，灰度世界法认为R、G、B三通道的均值在整体上也趋近于同一个灰度值。灰度世界法的操作简单，运算量很小，但是在图像的颜色不够丰富的时候校正效果不是很理想。完美反射法就是将图像当中亮度最大的点认为是白色的点，把它当做可以完全反射光源的“镜面”，然后根据这个白色点对整体图像上所有的像素点的颜色值进行校正。但是如果图片当中不存在较为理想的反射“镜面”时，使用完美反射法进行白平衡校正的效果也不理想。于是，结合灰度世界法和完美反射法的优点，在原有线性校正的基础上，R通道和B通道的校正表示为“平方”的形式。具体为
Figure 593641DEST_PATH_IMAGE052
(4-1)
式中，
Figure 983034DEST_PATH_IMAGE022
和
Figure 1806DEST_PATH_IMAGE023
是R通道校正参数，
Figure 227382DEST_PATH_IMAGE024
和
Figure 317698DEST_PATH_IMAGE025
是B通道校正参数，
Figure 499280DEST_PATH_IMAGE017
指R通道图像，
Figure 767582DEST_PATH_IMAGE026
指B通道图像，
Figure 464142DEST_PATH_IMAGE063
，
Figure 30253DEST_PATH_IMAGE028
分别指R通道和B通道图像坐标（x,y）位置的灰度值。
当同时满足灰度世界法和完美反射法时，式(4-1)变形为：
Figure 144971DEST_PATH_IMAGE064
(4-2)
通过计算得到
Figure 771124DEST_PATH_IMAGE022
、
Figure 954981DEST_PATH_IMAGE023
对R通道进行校正，
Figure 134902DEST_PATH_IMAGE024
和
Figure 291077DEST_PATH_IMAGE025
对B通道进行校正，
Figure 150448DEST_PATH_IMAGE017
指R通道图像，
Figure 572333DEST_PATH_IMAGE026
指B通道图像，
Figure 480247DEST_PATH_IMAGE019
，
Figure 553245DEST_PATH_IMAGE028
分别指R通道和B通道图像坐标（x,y）位置的灰度值；
Figure 334250DEST_PATH_IMAGE029
指同时满足灰度世界法和完美反射法条件的灰度图像。
偏色因子反应偏色的程度，计算方法如下：
CIE Lab颜色空间所计算出来的颜色之间的距离与实际感知上的差别基本一致。其直方图可以客观的反映图像色偏程度，在CIE Lab下进行偏色图像的自动检测更为合理。
经过对正常图像和偏色图像的分析发现，如果在ab色度坐标平面上的直方图中，色度分布基本上为单峰值，或者分布较为集中，而色度平均值D又较大时，一般都存在色偏，而且色度平均值越大，色偏越严重。然而，如果在ab色度坐标平面上的直方图中色度分布存在明显的多峰值，而且较为分散时，图像色偏程度将大大减轻，甚至没有色偏。所以在CIELab颜色空间的ab色度坐标平面计算偏色因子。其中，a为在CIE Lab颜色空间的ab色度坐标平面中图像的横坐标值，b为在CIE Lab颜色空间的ab色度坐标平面中图像的纵坐标值。
假设等效圆的中心坐标为
Figure 430382DEST_PATH_IMAGE065
，图像的宽度和高度分别为M，N，那么
Figure 204303DEST_PATH_IMAGE066
，
Figure 69491DEST_PATH_IMAGE067
以及图像平均色度D的计算公式如下：
Figure 21397DEST_PATH_IMAGE068
(4-3)
通过计算得到的
Figure 667142DEST_PATH_IMAGE066
，
Figure 182437DEST_PATH_IMAGE067
计算色度中心距m：
Figure 712251DEST_PATH_IMAGE069
(4-4)
通过计算图像平均色度D以及色度中心距m的比值，得到偏色因子
Figure 84327DEST_PATH_IMAGE070
：
Figure 155051DEST_PATH_IMAGE071
(4-5)
偏色因子
Figure 21507DEST_PATH_IMAGE072
的值越大，说明偏色越严重。
分别使用灰度世界法、完美反射法以及融合两种算法的颜色校正算法对三幅移动设备采集到的舌像图片进行颜色校正，如图3所示，并对这几种算法进行偏色检测，结果如表1-2所示：
表1-2 三种自动白平衡算法偏色检测
Figure 861287DEST_PATH_IMAGE073
从表中可以看出，和没有经过色彩校正的原始图像相比三种颜色校正算法都可以在一定程度上减小图像的偏色。融合完美反射法和灰度世界法的颜色校正算法得到的颜色校正效果更为理想。
步骤三：对进行色彩校正后的舌像图片中的舌体区域进行定位，包括，对舌像图片进行任意裁剪成子图块，利用经过训练的卷积神经网络对子图块进行训练，根据人脸的左右眼位置，鼻尖位置和左右嘴角的位置对舌体进行定位，得到完整的包含舌体的矩形图像。训练后得到P-Net、 R-Net和O-Net分别对应的三个训练模型。模型训练的训练集图片数量为4090张，测试集图片数量为750张，测试过程中漏检4张图片，误检2张图片，对舌像检测的正确率高于95%。原始图像经过三个子网络的舌体检测与定位结果如图7，依次为通过P-Net、 R-Net和O-Net定位的结果：最左侧为P-Net的检测结果，中间位置为 R-Net的检测结果，最右侧为O-Net的检测结果。
步骤四：根据颜色与位置的不同将舌体定位后的舌像图片分为前景模型和背景模型，通过高斯混合模型对前景模型和背景模型建模，得到分割以后的舌体图像，实现舌体与非舌体的分割；具体包括：
S3：对图像进行初始化:获取经过定位的舌体信息的舌像中所有像素的红色通道值R(i,j)、蓝色通道值B(i,j)以及绿色通道值G(i,j)，其中舌像包括U*V个像素,i＝1,...,U,j＝1,...,V；按照像素点初始化中央区域为前景区域、可能前景区域，周围区域为背景、可能背景区域，前景区域和可能前景区域构成前景模型，背景和可能背景构成背景模型；
S4:高斯混合模型建模，具体包括：
S41:用混合高斯模型对前景模型和背景模型建模,混合高斯模型的参数包括每一个高斯分量的权重
Figure 404264DEST_PATH_IMAGE074
、每个高斯分量均值向量
Figure 775333DEST_PATH_IMAGE075
和协方差矩阵
Figure 366852DEST_PATH_IMAGE076
；
S42:学习优化混合高斯模型参数，将可能前景区域像素点和可能背景区域像素点分别带入到前景模型和背景模型中计算，选择概率最大的混合高斯模型参数重新分配未知的像素点，然后根据重新分配以后的前景模型和背景模型对混合高斯模型的参数进行更新，将舌体定位后图片中心的颜色设置为前景区域，将牙齿的颜色、面区域的颜色、口腔的区域的颜色设置为可能背景区域并且设置为黑色，并通过min cut算法进行分割；
S43:重复步骤S42:直到收敛或达到规定的迭代次数以后，得到分割以后的舌体图像。
对舌体图片进行Grab-cut分割，分割后的图片如图9所示，通过高斯混合模型进行多次迭代使得分割后的舌像图片更加精确，图片边缘更加光滑。
步骤五：根据舌苔与舌体颜色不同，实现对分割以后的舌像进行苔质分离。
若分割以后的舌体图像的像素点满足式(1-1)所示的条件时，认为是舌苔像素点；若分割以后的舌图的像素点不满足式(1-1)所示的条件时，则认为是舌体像素点，
Figure 123455DEST_PATH_IMAGE077
(1-1)
式中，
Figure 40596DEST_PATH_IMAGE078
、
Figure 633382DEST_PATH_IMAGE079
、
Figure 90908DEST_PATH_IMAGE080
指的是坐标位置为
Figure 905281DEST_PATH_IMAGE081
的像素点R、G、B三个通道的值。根据该方法对舌体图像中舌体与苔质进行分离的结果如图10所示。
上述技术方案仅体现了本发明技术方案的优选技术方案，本技术领域的技术人员对其中某些部分所可能做出的一些变动均体现了本发明的原理，属于本发明的保护范围之内。

Claims (8)

1.舌体与舌苔图像识别分离方法，其特征在于，包括以下步骤：
步骤一：通过采集设备采集舌像图片；
步骤二：根据采集设备的不同对获取的舌像图片进行不同方式的色彩校正，用以提升后续图像处理算法的准确度；
若所述步骤一中的采集设备为固定式采集设备，则所述色彩校正方法为颜色校正矩阵算法，若所述步骤一中的采集设备为手持式或移动式采集设备，则所述色彩校正方法为灰度世界法和完美反射法相结合；
步骤三：对进行色彩校正后的舌像图片中的舌体区域进行定位，包括，对舌像图片进行任意裁剪成子图块，利用经过训练的卷积神经网络对子图块进行训练，根据人脸的左右眼位置，鼻尖位置和左右嘴角的位置对舌体进行定位，得到完整的包含舌体的矩形图像；
步骤四：根据颜色与位置的不同将舌体定位后的舌像图片分为前景模型和背景模型，通过高斯混合模型对前景模型和背景模型建模，得到分割以后的舌体图像，实现舌体与非舌体的分割；
步骤五：根据舌苔与舌体颜色不同，实现对分割以后的舌像进行苔质分离；
所述步骤五中若分割以后的舌体图像的像素点满足式(1-1)所示的条件时，认为是舌苔像素点；若分割以后的舌图的像素点不满足式(1-1)所示的条件时，则认为是舌体像素点，
Figure 643972DEST_PATH_IMAGE001
(1-1)
式中，
Figure 773602DEST_PATH_IMAGE002
、
Figure 401023DEST_PATH_IMAGE003
、
Figure 223486DEST_PATH_IMAGE004
指的是坐标位置为
Figure 818415DEST_PATH_IMAGE005
的像素点R、G、B三个通道的值。
2.根据权利要求1所述的舌体与舌苔图像识别分离方法，其特征在于，所述颜色校正矩阵算法包括：
将RGB图像转化为灰度图像，对灰度图像进行二值化处理，并提取灰度图像的边缘；
检索灰度图像当中所有的轮廓，并对轮廓进行多边形拟合，去除拟合以后的多边形的顶点过多和过少的轮廓，同时用轮廓的面积对轮廓进行进一步筛选，获取筛选过后的轮廓的最小外接矩形的宽高比和最大外接矩形宽高比，将上述两个宽高比与预设的色卡块的宽高比进行对比，将灰度图像中宽高比过小和过大的轮廓筛除，得到n个标准的轮廓；
分别计算每一个轮廓到其他轮廓的距离，距离的计算公式如下：
Figure 17315DEST_PATH_IMAGE006
(3-1)
式中，Di,j表示第i个轮廓和第j个轮廓之间的距离，rect.x和rect.y分别表示轮廓左上角点的横、纵坐标值；
统计每一个轮廓周围满足距离条件的轮廓个数，当个数大于阈值NC时，把这一轮廓的点压入栈中；
确定色卡的位置为包围栈中所有点的最小正矩形，根据色卡上色块的具体位置对色块进行提取并得到色块的颜色值；
得到颜色校正矩阵
Figure 155036DEST_PATH_IMAGE007
：根据公式（3-2）进行计算：
Figure 148399DEST_PATH_IMAGE008
(3-2)
其中，色卡在原RGB颜色空间的多项式模型记为T1，色卡在标准颜色色板颜色空间的
Figure 509586DEST_PATH_IMAGE009
记为T2；
通过公式（3-2）计算标准颜色色板的RGB颜色空间的R、G、B值；
Figure 246598DEST_PATH_IMAGE010
(3-3)
式中，
Figure 973246DEST_PATH_IMAGE011
是标准颜色色板的RGB颜色空间的R、G、B值，
Figure 403090DEST_PATH_IMAGE012
是原图像的RGB颜色空间多项式，
Figure 644715DEST_PATH_IMAGE013
是颜色校正矩阵
Figure 513314DEST_PATH_IMAGE014
。
3.根据权利要求2所述的舌体与舌苔图像识别分离方法，其特征在于，
Figure 156785DEST_PATH_IMAGE015
为通过高阶多项式回归得到的标准颜色色板的RGB颜色空间的多项式模型，具体为
Figure 226372DEST_PATH_IMAGE016
，记为T1，用于确保颜色校正精确度以及图像的质量。
4.根据权利要求1所述的舌体与舌苔图像识别分离方法，其特征在于，所述通过灰度世界法和完美反射法的结合进行色彩校正具体包括：
对R通道和B通道进行颜色校正：
Figure 955294DEST_PATH_IMAGE017
(5-1)
式中，
Figure 34108DEST_PATH_IMAGE018
和
Figure 610714DEST_PATH_IMAGE019
是R通道校正参数，
Figure 382361DEST_PATH_IMAGE020
和
Figure 801841DEST_PATH_IMAGE021
是B通道校正参数，
Figure 684347DEST_PATH_IMAGE022
指R通道图像，
Figure 36831DEST_PATH_IMAGE023
指B通 道图像，
Figure 572854DEST_PATH_IMAGE024
，
Figure 10789DEST_PATH_IMAGE025
分别指R通道和B通道图像坐标（x,y）位置的灰度值；
当同时满足灰度世界法和完美反射法时，式(5-1)变形为：
Figure 900247DEST_PATH_IMAGE026
（5-2）
通过计算得到
Figure 372817DEST_PATH_IMAGE027
、
Figure 486266DEST_PATH_IMAGE028
对R通道进行校正，
Figure 21284DEST_PATH_IMAGE029
和
Figure 245592DEST_PATH_IMAGE030
对B通道进行校正，
Figure 510351DEST_PATH_IMAGE022
指R通道图像，
Figure 794702DEST_PATH_IMAGE023
指B通道图像，
Figure 66284DEST_PATH_IMAGE031
，
Figure 94282DEST_PATH_IMAGE032
分别指R通道和B通道图像坐标（x,y）位置的灰度值；
Figure 275865DEST_PATH_IMAGE033
指同时满足灰度世界法和完美反射法条件的灰度图像。
5.根据权利要求1所述的舌体与舌苔图像识别分离方法，其特征在于，所述利用经过训练的卷积神经网络对子图块进行训练具体包括：
S1：构建舌体数据集，得到作为模型的训练数据：将原始图片缩放成不同的尺度，构成图像金字塔，对舌像图片进行随机裁剪成子图块，并将裁剪以后的子图块分为是舌头样本和非舌头样本；
S2：将训练数据输入在Caffe框架下的MTCNN神经网络进行模型训练，所述MTCNN神经网络包括P-Net子神经网络、R-Net子神经网络和O-Net子神经网络，P-Net子神经网络、R-Net子神经网络和O-Net子神经网络，分别得到子图块归属于是舌头样本还是非舌头样本的概率值，形成识别面部特征的矩形框，并输出与之对应的三个检测结果，三个检测结果包括判断图像当中是否有人脸、判断网络提取的图片当中的人脸框和定位人脸的特征点位置。
6.根据权利要求5所述的舌体与舌苔图像识别分离方法，其特征在于，所述P-Net子神经网络包括用于选出图片当中所有可能的不同尺度的人脸框的三个卷积层和一个池化层，所述R-Net子神经网络包括用于对P-Net中的预备人脸框进一步判定的三个卷积层、两个池化层和一个全连接层，所述O-Net子神经网络包括用于对人脸进一步筛选并输出最后结果的四个卷积层、三个池化层和一个全连接层池化层。
7.根据权利要求5所述的舌体与舌苔图像识别分离方法，其特征在于，所述S1中，对样本子图块进行标记，该标记对样本子图块是属于是舌头样本还是非舌头样进行注释，其中，如果样本子图块超过一半以上为舌体区域，则把该样本子图块标为是舌头区域，反之则把该样本子图块标为非舌体样本。
8.根据权利要求1所述的舌体与舌苔图像识别分离方法，其特征在于，所述步骤四中实现舌体的分割具体包括：
S3：对图像进行初始化:获取经过定位的舌体信息的舌像中所有像素的红色通道值R(i,j)、蓝色通道值B(i,j)以及绿色通道值G(i,j)，其中舌像包括U*V个像素,i＝1,...,U,j＝1,...,V；按照像素点初始化中央区域为前景区域、可能前景区域，周围区域为背景、可能背景区域，前景区域和可能前景区域构成前景模型，背景和可能背景构成背景模型；
S4:高斯混合模型建模，具体包括：
S41:用混合高斯模型对前景模型和背景模型建模,混合高斯模型的参数包括每一个高斯分量的权重
Figure 934379DEST_PATH_IMAGE034
、每个高斯分量均值向量u和协方差矩阵
Figure 834202DEST_PATH_IMAGE035
；
S42:学习优化混合高斯模型参数，将可能前景区域像素点和可能背景区域像素点分别带入到前景模型和背景模型中计算，选择概率最大的混合高斯模型参数重新分配未知的像素点，然后根据重新分配以后的前景模型和背景模型对混合高斯模型的参数进行更新，将舌体定位后图片中心的颜色设置为前景区域，将牙齿的颜色、面区域的颜色、口腔的区域的颜色设置为可能背景区域并且设置为黑色，并通过min cut算法进行分割；
S43:重复步骤S42:直到收敛或达到规定的迭代次数以后，得到分割以后的舌体图像。
CN202210412947.8A 2022-04-20 2022-04-20 舌体与舌苔图像识别分离方法 Active CN114511567B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210412947.8A CN114511567B (zh) 2022-04-20 2022-04-20 舌体与舌苔图像识别分离方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210412947.8A CN114511567B (zh) 2022-04-20 2022-04-20 舌体与舌苔图像识别分离方法

Publications (2)

Publication Number Publication Date
CN114511567A CN114511567A (zh) 2022-05-17
CN114511567B true CN114511567B (zh) 2022-08-05

Family

ID=81555529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210412947.8A Active CN114511567B (zh) 2022-04-20 2022-04-20 舌体与舌苔图像识别分离方法

Country Status (1)

Country Link
CN (1) CN114511567B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156715A (zh) * 2014-09-01 2014-11-19 杭州朗和科技有限公司 一种终端设备、信息采集方法及装置
CN106295139A (zh) * 2016-07-29 2017-01-04 姹ゅ钩 一种基于深度卷积神经网络的舌体自诊健康云服务系统
CN107330889A (zh) * 2017-07-11 2017-11-07 北京工业大学 一种基于卷积神经网络的中医舌色苔色自动分析方法
CN107977671A (zh) * 2017-10-27 2018-05-01 浙江工业大学 一种基于多任务卷积神经网络的舌象分类方法
CN108109160A (zh) * 2017-11-16 2018-06-01 浙江工业大学 一种基于深度学习的免交互式GrabCut舌体分割方法
CN109377441A (zh) * 2018-08-20 2019-02-22 清华大学 具有隐私保护功能的舌像采集方法和系统
CN109410168A (zh) * 2018-08-31 2019-03-01 清华大学 用于确定图像中的子图块的类别的卷积神经网络模型的建模方法
CN109584251A (zh) * 2018-12-06 2019-04-05 湘潭大学 一种基于单目标区域分割的舌体图像分割方法
CN109636864A (zh) * 2018-12-19 2019-04-16 新绎健康科技有限公司 一种基于颜色校正与深度卷积神经网络的舌分割方法及系统
CN110929740A (zh) * 2019-11-21 2020-03-27 中电健康云科技有限公司 一种基于lgbm模型的舌质舌苔分离方法
CN113143201A (zh) * 2020-01-22 2021-07-23 北京大学第三医院 基于舌苔舌质图像的诊断系统
CN113724228A (zh) * 2021-08-31 2021-11-30 平安科技（深圳）有限公司 舌色苔色识别方法、装置、计算机设备及存储介质
CN114372926A (zh) * 2021-12-21 2022-04-19 华东理工大学 一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100405402C (zh) * 2006-08-18 2008-07-23 清华大学 舌头彩色数码照片的舌苔的分割提取方法
CN103985113B (zh) * 2014-03-12 2017-09-29 浙江工商大学 舌像分割方法
CN107507250B (zh) * 2017-06-02 2020-08-21 北京工业大学 一种基于卷积神经网络的面色舌色图像颜色校正方法
CN113130066A (zh) * 2021-03-22 2021-07-16 杭州电子科技大学 一种基于人工智能的舌诊图像识别方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156715A (zh) * 2014-09-01 2014-11-19 杭州朗和科技有限公司 一种终端设备、信息采集方法及装置
CN106295139A (zh) * 2016-07-29 2017-01-04 姹ゅ钩 一种基于深度卷积神经网络的舌体自诊健康云服务系统
CN107330889A (zh) * 2017-07-11 2017-11-07 北京工业大学 一种基于卷积神经网络的中医舌色苔色自动分析方法
CN107977671A (zh) * 2017-10-27 2018-05-01 浙江工业大学 一种基于多任务卷积神经网络的舌象分类方法
CN108109160A (zh) * 2017-11-16 2018-06-01 浙江工业大学 一种基于深度学习的免交互式GrabCut舌体分割方法
CN109377441A (zh) * 2018-08-20 2019-02-22 清华大学 具有隐私保护功能的舌像采集方法和系统
CN109410168A (zh) * 2018-08-31 2019-03-01 清华大学 用于确定图像中的子图块的类别的卷积神经网络模型的建模方法
CN109584251A (zh) * 2018-12-06 2019-04-05 湘潭大学 一种基于单目标区域分割的舌体图像分割方法
CN109636864A (zh) * 2018-12-19 2019-04-16 新绎健康科技有限公司 一种基于颜色校正与深度卷积神经网络的舌分割方法及系统
CN110929740A (zh) * 2019-11-21 2020-03-27 中电健康云科技有限公司 一种基于lgbm模型的舌质舌苔分离方法
CN113143201A (zh) * 2020-01-22 2021-07-23 北京大学第三医院 基于舌苔舌质图像的诊断系统
CN113724228A (zh) * 2021-08-31 2021-11-30 平安科技（深圳）有限公司 舌色苔色识别方法、装置、计算机设备及存储介质
CN114372926A (zh) * 2021-12-21 2022-04-19 华东理工大学 一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于远程医疗的中医望诊智能分析系统研究;曹嘉伟;《中国优秀博硕士学位论文全文数据库(硕士)医药卫生科技辑》;20220115;正文第19-44页，图3-3,3-5,3-6,3-7 *

Also Published As

Publication number Publication date
CN114511567A (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN103914699B (zh) 一种基于色彩空间的自动唇彩的图像增强的方法
CN106548165A (zh) 一种基于图像分块加权的卷积神经网络的人脸识别方法
CN105893925A (zh) 基于肤色的人手检测方法及装置
CN108615239B (zh) 基于阈值技术和灰度投影的舌图像分割方法
WO2020038312A1 (zh) 多通道舌体边缘检测装置、方法及存储介质
CN108615229B (zh) 基于曲率点聚类及决策树的碰撞检测优化方法
CN105139404A (zh) 一种可检测拍摄质量的证照相机及拍摄质量检测方法
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN110569784B (zh) 一种人体尺寸测量方法、系统、存储介质及电子设备
CN115631350B (zh) 罐印图像的颜色识别方法和装置
CN110648336B (zh) 一种舌质和舌苔的分割方法及装置
WO2021016896A1 (zh) 图像处理方法、系统、设备、可移动平台和存储介质
CN107154058A (zh) 一种引导使用者还原魔方的方法
CN108711160A (zh) 一种基于hsi增强性模型的目标分割方法
CN111709305B (zh) 一种基于局部图像块的人脸年龄识别方法
CN113129390A (zh) 一种基于联合显著性的色盲图像重新着色方法及系统
CN114511567B (zh) 舌体与舌苔图像识别分离方法
CN109934152B (zh) 一种针对手语图像的改进小弯臂图像分割方法
CN116452526A (zh) 一种基于图像检测的稻种识别和计数方法
JP2009050035A (ja) 画像処理方法、画像処理システムおよび画像処理プログラム
JP2007243987A (ja) 画像処理方法、画像処理システムおよび画像処理プログラム
KR20030091471A (ko) ＹＣｒＣｂ 칼라 기반 얼굴 영역 추출 방법
CN113989137A (zh) 一种脸部肌肤图像色素沉着提取并形成棕区光谱的方法
CN115601358B (zh) 一种自然光环境下的舌象图像分割方法
CN109658382A (zh) 基于图像聚类和灰度投影的舌体定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant