CN104537373B - 舌下络脉诊断用多光谱舌下图像特征提取方法 - Google Patents

Abstract

舌下络脉诊断用多光谱舌下图像特征提取方法，属于舌下图像技术领域。本发明是为了解决采用现有舌下图像信号质量差，并且包含有效信息有限，及其图像信号处理难于标准化的问题。它包括彩色舌下图像中舌腹面轮廓的提取：首先去除彩色舌下图像中阴影与牙齿区域的干扰；然后对获得的舌腹面所在区域进行粗分割；再对粗分割后的舌腹面候选区域进行二次分割；彩色舌下图像中赘生物的提取：首先对彩色舌下图像的反光区域进行过检测；然后对舌下赘生物图像效果图进行粗分割；再对舌下赘生物的粗分割图像进行非舌下赘生物区域的剔除，获得保留的赘生物区域；还包括近红外舌下图像中舌下静脉轮廓的提取。本发明用于对多光谱舌下图像进行特征提取。

Description

舌下络脉诊断用多光谱舌下图像特征提取方法

技术领域

本发明涉及舌下络脉诊断用多光谱舌下图像特征提取方法，属于舌下图像技术领域。

背景技术

舌作为人体唯一外露的脏器，观其象既能反映人体的总体健康状态，又能揭示人体五脏六腑的局部病变，有时甚至还能发现B超、CT、核磁共振等现代医疗设备所不能检查出的病变。

近年来，伴随着舌诊的现代化，特别是舌诊客观化检测仪器的现代化，国内外的舌象特别是针对舌面图像方面的量化研究工作得到了广泛的开展。在舌图像采集设备、舌象量化特征提取、基于量化特征的舌象诊断及舌诊系统的建立等方面都取得了一定的成果。但是，目前对中医舌诊的重要组成部分——舌下络脉诊法的量化研究开展得还非常少。

以门脉高压症为例，作为一种由多种原因所致门静脉血循环障碍的临床综合表现，目前西医临床评价门静脉压力的方法主要为传统的数字减影血管造影的创伤性方法，但由于其创伤性大，技术要求高，患者受射线量大及并发症多等因素使其很难作为常规检查。而在中医舌下络脉诊法中，根据舌脉管径扩张、形态改变、色暗紫及病人有肝病史的信息，即应诊断患有门脉高压症。此外，舌脉伸张呈螺丝状串珠样改变，色绛紫有咳嗽气喘病史，即应考虑为肺心病；舌脉伸长羽状侧支形成，有瘀斑瘀点、色红或淡紫，伴有胸闷气短且血压升高者，多考虑为高血压病。三种疾病，由于其病理机制不同，其产生的舌下络脉病变程度各有不同，更进一步说明，在某些病症中，观察舌底部，即舌下区域，具有重要的辨证辨病意义，值得应用研究。

近年来，舌下络脉诊法的客观化研究已经逐渐引起众多学者的注意，但由于大多数现有舌诊图像采集仪器都是以舌上表面为主要采集对象，相较于能伸出口腔张开较大面积的舌面区域，舌下络脉诊法所需观察的舌下静脉、舌下赘生物等诊断特征都位于无法伸出口腔且面积较小的舌底部。因此，应用现有舌诊图像采集仪器所获取的图像中舌下图像区域很小，受舌下图像信号质量及其所包含有效信息量等方面的制约，大多数针对舌下区域的研究仍停留在对舌下静脉进行初步的轮廓提取及粗略诊断特征的提取阶段。舌下图像信号这一数据源的缺陷导致舌下络脉诊法中的诊断特征难以标准化、定量化，更不用提将舌下特征应用于临床诊病。因此，舌下络脉诊法的客观化研究必须从舌下图像获取策略阶段进行全新的探索，进而寻求针对标准化舌下图像进行多种舌下特征提取与量化的解决方案，最终结合中医舌下络脉诊法理论应用量化的舌下特征进行疾病诊断。

发明内容

本发明目的是为了解决采用现有舌下图像信号质量差，并且包含有效信息有限，及其图像信号处理难于标准化的问题，提供了一种舌下络脉诊断用多光谱舌下图像特征提取方法。

本发明所述舌下络脉诊断用多光谱舌下图像特征提取方法，该图像提取方法对可见光与近红外光舌下图像采集系统同时采集获得的彩色舌下图像与近红外舌下图像进行提取，所述可见光与近红外光舌下图像采集系统包括外壳、光源模块、摄像机模块以及显示器，

外壳由左支撑板、右支撑板、上支撑板、下支撑板、后背板和内插板组成，

左支撑板、右支撑板、上支撑板、下支撑板和后背板围成一长方体空腔，该长方体空腔内设置光源模块和摄像机模块，长方体空腔的开口端作为测试端，该测试端与后背板所在端面相对；左支撑板和右支撑板的内侧表面靠近下支撑板的位置对应设置一对相互平行的凹槽，内插板插接固定在凹槽内；显示器设置在上支撑板上，并靠近后背板一侧；

光源模块包括电路板、近红外LED、白炽灯、四个风扇、散热片和开关电源，电路板固定设置在长方体空腔的开口端，将长方体空腔分隔为测试空间和图像采集空间，图像采集空间为电路板与后背板之间的长度空间；电路板的中心设置图像采集通孔，电路板的面向图像采集空间的表面上设置散热片，散热片四个角的位置分别设置一个风扇；电路板的外侧表面上沿图像采集通孔圆周向均匀焊接有近红外LED，电路板外侧表面的四外边框位置分别设置一个白炽灯；开关电源设置于图像采集空间内，用于为近红外LED、白炽灯、风扇和显示器提供工作电源；

摄像机模块包括2CCD工业相机、近红外镜头、底座和交换机，底座和交换机设置在图像采集空间的内插板上，2CCD工业相机固定在底座上，2CCD工业相机旋有近红外镜头，近红外镜头伸出图像采集通孔，近红外镜头的光心与电路板图像采集通孔的中心共线；2CCD工业相机经由交换机的网口传输数据；

开关电源还用于为2CCD工业相机提供工作电源；

经由交换机的网口传输的数据包括2CCD工业相机采集获得的彩色舌下图像与近红外舌下图像；2CCD工业相机采集获得的彩色舌下图像由交换机传递给计算机，再由计算机传递给显示器进行显示；

所述图像提取方法包括彩色舌下图像中舌腹面轮廓的提取、彩色舌下图像中赘生物的提取及近红外舌下图像中舌下静脉轮廓的提取；

其中彩色舌下图像中舌腹面轮廓的提取方法为：

首先去除彩色舌下图像中阴影与牙齿区域的干扰：将彩色舌下图像的色彩空间由RGB模式转换为Lab模式，提取Lab模式彩色舌下图像中的a分量，并对其进行直方图均衡化处理，以增强阴影与牙齿区域相对于舌腹面区域的对比度；再通过阈值化处理，分离a分量中色度值低于预设值的像素点，并将该像素点判定为干扰区域像素点，然后将原彩色舌下图像中与所述像素点相对应位置的RGB值置0，实现彩色舌下图像中阴影与牙齿区域的干扰去除，获得舌腹面所在区域；

然后对获得的舌腹面所在区域进行粗分割：采用基于直方图对比度的方法获得彩色舌下图像的显著性图，经过提取和筛选，在显著性图中分离出具有最高显著性的阴影带，获得包含舌腹面区域的最小外接矩形，并将该最小外接矩形作为GrabCut的初始化边界，所述最小外接矩形的内部作为包含舌腹面区域的可能前景，外部作为舌腹面区域的背景；再采用GrabCut算法对所述舌腹面区域进行GrabCut自动分割，获得粗分割后的舌腹面候选区域；

再对粗分割后的舌腹面候选区域进行二次分割：采用基于直方图对比度的方法获得粗分割后的舌腹面候选区域的显著性图，采用阈值化方法去除舌腹面候选区域的显著性图中低显著区域，获得舌腹面候选区域的显著性图中最大连通区域的最小外接矩形，应用该最大连通区域的最小外接矩形初始化GrabCut算法，对粗分割后的舌腹面候选区域进行GrabCut自动分割，获得彩色舌下图像中舌腹面轮廓；

彩色舌下图像中赘生物的提取方法为：

首先对彩色舌下图像的反光区域进行过检测：将彩色舌下图像中舌腹面轮廓的提取方法中获得的舌腹面轮廓包围的区域进行阈值化，在该阈值化过程中进行反光区域阈值选取时增加高亮度值区域的权重，将舌腹面轮廓包围的区域中高亮区域完全剔除，然后使用基于Fast Marching的图像修复方法对被剔除的高亮区域进行区域填充，得到舌下赘生物与舌质视觉差异增大的舌下赘生物图像效果图，所述舌质为舌腹面轮廓包围的区域中除舌下赘生物以外的其它区域；

然后对舌下赘生物图像效果图进行粗分割：使用多阈值大津法在舌下赘生物图像效果图的直方图的相邻波峰之间寻找最佳波谷，以将舌下赘生物图像效果图中赘生物与舌质分离，获得舌下赘生物的粗分割图像；

再对舌下赘生物的粗分割图像进行非舌下赘生物区域的剔除：使用几何测度筛除，将舌下赘生物的粗分割图像进行小范围阴影形态学膨胀处理，若膨胀结果与小范围阴影不重合，则确定该小范围阴影区域为非赘生物区域，并将非赘生物区域剔除，获得保留的赘生物区域；

将保留的赘生物区域的边缘叠加在所述彩色舌下图像中，得到最终的赘生物提取图像；

近红外舌下图像中舌下静脉轮廓的提取方法为：

首先对近红外舌下图像进行舌腹面轮廓的提取：根据彩色舌下图像中舌腹面轮廓的提取方法中获得的舌腹面轮廓边缘像素点位置，在近红外舌下图像中确定舌腹面轮廓区域，提取获得近红外舌下图像的舌腹面轮廓图像；

然后去除近红外舌下图像的舌腹面轮廓图像中反光点：确定该舌腹面轮廓图像的统计直方图中反光点区域的灰度值变化范围，通过阈值化方法剔除反光点区域，再使用8-邻域最小值法填充被剔除的反光点区域，并对8-邻域为反光点的像素点进行灰度形态学开运算，进一步消除统计直方图中的其它反光点区域，获得近红外舌下图像的舌下静脉轮廓初步图像；

再提取候选舌下静脉区域图像：通过直方图统计的方法获得近红外舌下图像的舌下静脉轮廓初步图像的初始阈值μ，并根据该初始阈值将舌下静脉轮廓初步图像像素分为A、B两个区域，计算获得区域A的像素灰度均值为μ₁，区域B的像素灰度均值为μ₂，再计算获得A、B两个区域内所有像素点分别到μ₁、μ₂的欧氏距离d₁、d₂，并将A、B两个区域内的像素全部采用二值化法置为0和255：

式中f(x,y)表示A、B两个区域内所有像素点的坐标值；

由此获得二值化后的舌下静脉图像；

再对二值化后的舌下静脉图像运用形态学滤波去噪，采用可变腐蚀元迭代腐蚀的方法求取候选舌下静脉区域图像；

最后提取获得近红外舌下图像中舌下静脉轮廓图像：根据可变腐蚀元迭代腐蚀的方法中确定的种子点，以舌下静脉轮廓初步图像为基础，使用区域生长法，当处于候选舌下静脉区域图像的当前像素点与舌下静脉轮廓初步图像中相应的像素点的灰度值差小于预定阈值时，判定当前像素点为舌下静脉区域像素点，直到相邻两次生长所增加的像素点小于设定阈值时，生长过程结束，由此获得的所有舌下静脉区域像素点所形成的区域为近红外舌下图像中舌下静脉轮廓图像；

再将该舌下静脉轮廓图像的轮廓边缘叠加到彩色舌下图像中，获得彩色舌下图像中的舌下静脉轮廓；

上述获得的彩色舌下图像中舌腹面轮廓、彩色舌下图像中赘生物提取图像、近红外舌下图像中舌下静脉轮廓图像及彩色舌下图像中的舌下静脉轮廓共同用于舌下络脉诊断。

所述获得舌下赘生物的粗分割图像的具体方法为：

首先，令{0,1,2,…,255}表示舌下赘生物图像效果图的256个灰度级，并根据舌下赘生物图像效果图的灰度直方图，检查与极大值相邻的极小值，当极大值左右两个极小值都大于给定的阈值时，判定该极大值为一个独立峰值；否则把该极大值与前一个或后一个极大值比较，选取最大的极大值作为峰值；

然后，应用大津法计算两两独立的峰值之间的最佳分割阈值，运用获得的最佳分割阈值对舌下赘生物图像效果图进行分割，将赘生物分割于最高层的区域，赘生物在舌质上的阴影分割于最低层的区域，实现舌下赘生物图像效果图中赘生物与阴影的分离，获得舌下赘生物的粗分割图像。

所述采用可变腐蚀元迭代腐蚀的方法求取候选舌下静脉区域图像的具体方法为：

设定二值化后的舌下静脉图像为二值图像I，对I连续做K次腐蚀运算，获得二值图像I_k：

I_k＝(...((IΘs¹)Θs²)...Θs^k)，

式中Θ表示腐蚀操作，s表示腐蚀元；

设定第k次腐蚀使得二值图像I中所有连通区域都消失，则第k-1次腐蚀的结果为二值图像I最大连通区域的中心，将第k次迭代腐蚀的结果作为种子点；依据该种子点得到的二值图像I中最大连通区域为第一个静脉区域，将第一个静脉区域从二值图像I中去除；重复所述过程获得第二个静脉区域，将第一个静脉区域和第二个静脉区域整理后获得候选舌下静脉区域图像。

本发明的优点：本发明对同时采集获得的彩色舌下图像与近红外舌下图像提出了分析多光谱舌下图像以辅助舌下络脉诊法特征提取的具体方法，包括：彩色舌下图像中舌体轮廓的提取，近红外舌下图像中舌下静脉轮廓提取以及彩色舌下图像中赘生物提取方法。它使用于舌象诊断的图像数据的有效信息更加充分的显现出来，有利于此类图像数据的标准化，能更全面地描述与量化舌下图像特征，并能够更准确的为计算机化舌诊诊断提供依据。

附图说明

图1是舌下络脉诊断用多光谱舌下图像特征提取方法的总体流程图。

图2是彩色舌下图像中舌腹面轮廓提取方法流程图；

图3是彩色舌下图像中赘生物的提取方法流程图；

图4是近红外舌下图像中舌下静脉轮廓的提取方法流程图；

图5是可见光与近红外光舌下图像采集系统的内部结构示意图；

图6是可见光与近红外光舌下图像采集系统的外部轮廓的一个方位立体结构图；

图7是可见光与近红外光舌下图像采集系统的外部轮廓的另一个方位立体结构图；

图8是摄像机模块的示意图；

图9是光源模块的一侧表面示意图；

图10是光源模块的另一侧表面示意图；

具体实施方式

具体实施方式一：下面结合图1至图10说明本实施方式，本实施方式所述舌下络脉诊断用多光谱舌下图像特征提取方法，该图像提取方法对可见光与近红外光舌下图像采集系统同时采集获得的彩色舌下图像与近红外舌下图像进行提取，所述可见光与近红外光舌下图像采集系统包括外壳、光源模块、摄像机模块以及显示器4，

外壳由左支撑板11、右支撑板12、上支撑板13、下支撑板14、后背板16和内插板15组成，

左支撑板11、右支撑板12、上支撑板13、下支撑板14和后背板16围成一长方体空腔，该长方体空腔内设置光源模块和摄像机模块，长方体空腔的开口端作为测试端，该测试端与后背板16所在端面相对；左支撑板11和右支撑板12的内侧表面靠近下支撑板14的位置对应设置一对相互平行的凹槽，内插板15插接固定在凹槽内；显示器4设置在上支撑板13上，并靠近后背板16一侧；

光源模块包括电路板21、近红外LED22、白炽灯23、四个风扇24、散热片25和开关电源26，电路板21固定设置在长方体空腔的开口端，将长方体空腔分隔为测试空间和图像采集空间，图像采集空间为电路板21与后背板16之间的长度空间；电路板21的中心设置图像采集通孔，电路板21的面向图像采集空间的表面上设置散热片25，散热片25四个角的位置分别设置一个风扇24；电路板21的外侧表面上沿图像采集通孔圆周向均匀焊接有近红外LED22，电路板21外侧表面的四外边框位置分别设置一个白炽灯23；开关电源26设置于图像采集空间内，用于为近红外LED22、白炽灯23、风扇24和显示器4提供工作电源；

摄像机模块包括2CCD工业相机31、近红外镜头32、底座33和交换机34，底座33和交换机34设置在图像采集空间的内插板15上，2CCD工业相机31固定在底座33上，2CCD工业相机31旋有近红外镜头32，近红外镜头32伸出图像采集通孔，近红外镜头32的光心与电路板21图像采集通孔的中心共线；2CCD工业相机31经由交换机34的网口传输数据；

开关电源26还用于为2CCD工业相机31提供工作电源；

经由交换机34的网口传输的数据包括2CCD工业相机31采集获得的彩色舌下图像与近红外舌下图像；

所述图像提取方法包括彩色舌下图像中舌腹面轮廓的提取、彩色舌下图像中赘生物的提取及近红外舌下图像中舌下静脉轮廓的提取；

其中彩色舌下图像中舌腹面轮廓的提取方法为：

首先去除彩色舌下图像中阴影与牙齿区域的干扰：将彩色舌下图像的色彩空间由RGB模式转换为Lab模式，提取Lab模式彩色舌下图像中的a分量，并对其进行直方图均衡化处理，以增强阴影与牙齿区域相对于舌腹面区域的对比度；再通过阈值化处理，分离a分量中色度值低于预设值的像素点，并将该像素点判定为干扰区域像素点，然后将原彩色舌下图像中与所述像素点相对应位置的RGB值置0，实现彩色舌下图像中阴影与牙齿区域的干扰去除，获得舌腹面所在区域；

然后对获得的舌腹面所在区域进行粗分割：采用基于直方图对比度的方法获得彩色舌下图像的显著性图，经过提取和筛选，在显著性图中分离出具有最高显著性的阴影带，获得包含舌腹面区域的最小外接矩形，并将该最小外接矩形作为GrabCut的初始化边界，所述最小外接矩形的内部作为包含舌腹面区域的可能前景，外部作为舌腹面区域的背景；再采用GrabCut算法对所述舌腹面区域进行GrabCut自动分割，获得粗分割后的舌腹面候选区域；

再对粗分割后的舌腹面候选区域进行二次分割：采用基于直方图对比度的方法获得粗分割后的舌腹面候选区域的显著性图，采用阈值化方法去除舌腹面候选区域的显著性图中低显著区域，获得舌腹面候选区域的显著性图中最大连通区域的最小外接矩形，应用该最大连通区域的最小外接矩形初始化GrabCut算法，对粗分割后的舌腹面候选区域进行GrabCut自动分割，获得彩色舌下图像中舌腹面轮廓；

彩色舌下图像中赘生物的提取方法为：

首先对彩色舌下图像的反光区域进行过检测：将彩色舌下图像中舌腹面轮廓的提取方法中获得的舌腹面轮廓包围的区域进行阈值化，在该阈值化过程中进行反光区域阈值选取时增加高亮度值区域的权重，将舌腹面轮廓包围的区域中高亮区域完全剔除，然后使用基于Fast Marching的图像修复方法对被剔除的高亮区域进行区域填充，得到舌下赘生物与舌质视觉差异增大的舌下赘生物图像效果图，所述舌质为舌腹面轮廓包围的区域中除舌下赘生物以外的其它区域；

然后对舌下赘生物图像效果图进行粗分割：使用多阈值大津法在舌下赘生物图像效果图的直方图的相邻波峰之间寻找最佳波谷，以将舌下赘生物图像效果图中赘生物与舌质分离，获得舌下赘生物的粗分割图像；

再对舌下赘生物的粗分割图像进行非舌下赘生物区域的剔除：使用几何测度筛除，将舌下赘生物的粗分割图像进行小范围阴影形态学膨胀处理，若膨胀结果与小范围阴影不重合，则确定该小范围阴影区域为非赘生物区域，并将非赘生物区域剔除，获得保留的赘生物区域；

将保留的赘生物区域的边缘叠加在所述彩色舌下图像中，得到最终的赘生物提取图像；

近红外舌下图像中舌下静脉轮廓的提取方法为：

首先对近红外舌下图像进行舌腹面轮廓的提取：根据彩色舌下图像中舌腹面轮廓的提取方法中获得的舌腹面轮廓边缘像素点位置，在近红外舌下图像中确定舌腹面轮廓区域，提取获得近红外舌下图像的舌腹面轮廓图像；

然后去除近红外舌下图像的舌腹面轮廓图像中反光点：确定该舌腹面轮廓图像的统计直方图中反光点区域的灰度值变化范围，通过阈值化方法剔除反光点区域，再使用8-邻域最小值法填充被剔除的反光点区域，并对8-邻域为反光点的像素点进行灰度形态学开运算，进一步消除统计直方图中的其它反光点区域，获得近红外舌下图像的舌下静脉轮廓初步图像；

再提取候选舌下静脉区域图像：通过直方图统计的方法获得近红外舌下图像的舌下静脉轮廓初步图像的初始阈值μ，并根据该初始阈值将舌下静脉轮廓初步图像像素分为A、B两个区域，计算获得区域A的像素灰度均值为μ₁，区域B的像素灰度均值为μ₂，再计算获得A、B两个区域内所有像素点分别到μ₁、μ₂的欧氏距离d₁、d₂，并将A、B两个区域内的像素全部采用二值化法置为0和255：

式中f(x,y)表示A、B两个区域内所有像素点的坐标值；

由此获得二值化后的舌下静脉图像；

再对二值化后的舌下静脉图像运用形态学滤波去噪，采用可变腐蚀元迭代腐蚀的方法求取候选舌下静脉区域图像；

最后提取获得近红外舌下图像中舌下静脉轮廓图像：根据可变腐蚀元迭代腐蚀的方法中确定的种子点，以舌下静脉轮廓初步图像为基础，使用区域生长法，当处于候选舌下静脉区域图像的当前像素点与舌下静脉轮廓初步图像中相应的像素点的灰度值差小于预定阈值时，判定当前像素点为舌下静脉区域像素点，直到相邻两次生长所增加的像素点小于设定阈值时，生长过程结束，由此获得的所有舌下静脉区域像素点所形成的区域为近红外舌下图像中舌下静脉轮廓图像；

再将该舌下静脉轮廓图像的轮廓边缘叠加到彩色舌下图像中，获得彩色舌下图像中的舌下静脉轮廓；

上述获得的彩色舌下图像中舌腹面轮廓、彩色舌下图像中赘生物提取图像、近红外舌下图像中舌下静脉轮廓图像及彩色舌下图像中的舌下静脉轮廓共同用于舌下络脉诊断。

针对本实施方式中的可见光与近红外光舌下图像采集系统中，由于采集舌下图像时需被采集者上卷舌体，展露出舌下区域的诊断特征并静置片刻，才能获取清晰的图像效果。但由于人的舌体经常轻微颤动，如果应用不同摄像机分别采集同一被采集者的彩色舌下图像与近红外舌下图像，所得到的两种舌下图像会呈现明显差异，不利于后续同种特征的比较与分析。此外，如果采用彩色摄像机与近红外摄像机两台相机同时采集舌下图像，虽然能够捕捉到同一舌体在同一时刻的状态，但需要考虑的问题较多，如①两个摄像机的位置及相应光源的位置安排；②在获取不同类型图像时，摄像机以及对应光源的切换机制；③由于使用两台摄像机产生的位置偏差，需要对获取的图像进行图像配准等等。这都会造成设备复杂度大大增加，设备的体积也大幅增大。

因此，本实施方式采用JAI公司的2CCD摄像机，在同一光学孔径下同时采集可见光与近红外光的光谱成像图像，并将两种图像经由两个传输通道同时输出。一个通道输出可见光条件下通过Bayer转换得到的彩色图像；另一个通道输出近红外光条件下的单色图像。

摄像机模块中交换机用于将2CCD工业相机获得的两路图像数据传出。由于本发明需同时采集彩色与近红外两种图像，因此，要求摄像机的镜头具有对可见光与近红外光的双重通过性，这里选用保留对可见光通过性的近红外镜头。由交换机输出的数据最终输入计算机进行图像处理，实现将2CCD相机所拍摄两组图像序列传输到计算机上。

显示器主要用于将摄相机所捕捉的彩色舌下图像序列实时显示，使被采集者能够看到自己舌体的拍摄情况，以辅助被采集者调整伸舌姿态。此处显示器的视频源是计算机端获得的两路视频源中的彩色舌下图像序列构成的视频流经设备外壳视频输入端口传输到液晶显示器上的成像。

开关电源及交换机由设备开关控制，设备外端采用220V市电供电。

具体实施方式二：本实施方式对实施方式一作进一步说明，所述获得舌下赘生物的粗分割图像的具体方法为：

首先，令{0,1,2,…,255}表示舌下赘生物图像效果图的256个灰度级，并根据舌下赘生物图像效果图的灰度直方图，检查与极大值相邻的极小值，当极大值左右两个极小值都大于给定的阈值时，判定该极大值为一个独立峰值；否则把该极大值与前一个或后一个极大值比较，选取最大的极大值作为峰值；

然后，应用大津法计算两两独立的峰值之间的最佳分割阈值，运用获得的最佳分割阈值对舌下赘生物图像效果图进行分割，将赘生物分割于最高层的区域，赘生物在舌质上的阴影分割于最低层的区域，实现舌下赘生物图像效果图中赘生物与阴影的分离，获得舌下赘生物的粗分割图像。

具体实施方式三：本实施方式对实施方式一或二作进一步说明，所述采用可变腐蚀元迭代腐蚀的方法求取候选舌下静脉区域图像的具体方法为：

设定二值化后的舌下静脉图像为二值图像I，对I连续做K次腐蚀运算，获得二值图像I_k：

I_k＝(...((IΘs¹)Θs²)...Θs^k)，

式中Θ表示腐蚀操作，s表示腐蚀元；

设定第k次腐蚀使得二值图像I中所有连通区域都消失，则第k-1次腐蚀的结果为二值图像I最大连通区域的中心，将第k次迭代腐蚀的结果作为种子点；依据该种子点得到的二值图像I中最大连通区域为第一个静脉区域，将第一个静脉区域从二值图像I中去除；重复所述过程获得第二个静脉区域，将第一个静脉区域和第二个静脉区域整理后获得候选舌下静脉区域图像。

下面结合图1至图4对本发明方法的处理过程进行说明：

所述的图像提取方法通过图像采集模块提供数据：图像采集模块包括摄像机控制模块、图像采集模块、图像存储模块以及图像数据库管理模块。

摄像机控制模块主要针对本发明所使用的2CCD摄像机，完成摄像机的连接检测、启动摄像机与关闭摄像机等功能。

图像采集模块，主要包括开始采集图像与结束采集图像功能。其中，开始采集图像功能启用后，可以分别采集当前被采集者的彩色与近红外舌下图像各6幅，并将该6幅图像暂存在当前运行环境中，通过界面按钮回看所采集的12幅图像。

图像存储模块由图像采集模块激活，当启动开始采集图像功能后，将弹出输入被采集者个人信息的对话框，系统会对被采集样本自动编号并直接存入对应数据库中。信息输入完毕后，将连续采集该样本的彩色与近红外舌下图像。当达到采集图像数量上限后，将自动弹出个人信息输入对话框，提示对下一个样本的图像采集。

图像数据库管理模块主要完成对该设备所采集图像构成的可见/近红外舌下图像库进行信息管理与维护等工作。该模块能够实现通过不同关键词查询、修改被采集者信息，查看任一被采集者的全部彩色与近红外舌下图像，以及对选定图像的删除与路径修改等维护操作。

舌下图像处理方法：

针对本发明中的可见光与近红外光舌下图像采集系统所获取的彩色与近红外舌下图像，分别给出了舌下络脉诊法客观化研究中的可进一步量化的诊断特征，如舌腹面、舌下静脉以及舌下赘生物等特征的轮廓提取方法。

彩色舌下图像中舌腹面轮廓的提取：

首先去除口腔内阴影与牙齿等区域的干扰：彩色舌下图像主要由舌腹面、唇、牙齿、胡须、面部皮肤和阴影等区域构成，舌腹面即舌底部，因此，彩色舌下图像中舌底部轮廓的提取称为舌腹面轮廓提取；图像中牙齿和阴影部分由于距离舌体距离较近，且具有较多的边缘信息，容易对舌腹面区域的提取造成干扰。因此为保证分割的准确与高效，应当首先对这些干扰区域进行去除。本专利采取基于颜色特征的方法去除这些干扰区域。将彩色舌下图像的色彩空间由RGB模式转换为Lab模式，在Lab色彩空间三个不同分量中，可以看出阴影、牙齿干扰区域与舌腹面区域在a分量中色度差别较大，因此将图像中的a分量单独提取出来并对其进行直方图均衡化处理，进一步增强两个区域的对比度。经此处理后，两个区域之间的色度已经具有了较大的差异，阴影、牙齿等干扰区域色度明显低于其他区域。通过阈值化处理，将a分量中色度值较低的像素点分离出来，得到一组被判定为干扰区域的像素点，再将原彩色舌下图像中这些像素点对应位置的RGB值置为0，即可实现排除口腔内大部分阴影与牙齿等区域的干扰。

舌腹面区域的粗分割：这一步的主要作用是通过确定一个粗略的、将舌腹面部分完全包含在其中的矩形区域对GrabCut算法进行初始化，然后，通过GrabCut算对舌腹面区域进行初步分割。在原彩色舌下图像中，介于舌腹面与唇部之间有一个阴影带，包围着舌腹面所在的区域，可以用于分割的初始化。首先采用基于直方图对比度的方法求出原彩色舌下图像的显著性图，在这一显著性图中，阴影带具有最高的显著性，可以明显与其他区域区别开来。经过提取和筛选，可以在显著性图中分离出阴影带，同时求出这一区域的最小外接矩形，该矩形完全包含舌腹面所在区域。再采用GrabCut算法对所述舌腹面区域进行GrabCut自动分割，可以得到基本去除面部皮肤区域且包含舌腹面区域的图像。但由于唇部和舌腹面之间有一些靠近舌体的阴影区域无法去除，分割后的图像中仍有可能包含部分唇部区域。

对舌腹面候选区域的二次分割：

这一步对前面得到的舌腹面候选区域再次采用GrabCut算法，实现对舌腹面区域的二次分割。首先，基于直方图对比度求出上面所得舌腹面候选图像的显著性图。在这一显著性图中，唇部与舌腹面之间尚未去除的阴影区域具有最低的显著性。通过阈值化去除低显著性区域后，求出图中的最大连通区域的最小外接矩形，进而应用该矩形区域初始化GrabCut算法，对粗分割后的舌腹面候选区域进行GrabCut自动分割，最终得到更为准确的舌腹面区域。

彩色舌下图像中赘生物的提取方法：

反光区域的过检测：由于舌下赘生物较周围舌质区域更为突出，致使赘生物中心区域亮度较高或易形成反光点。因而，舌腹面其他高亮区域会对赘生物的提取造成很大干扰。舌腹面的高亮区域主要是由于舌体外围所覆盖的唾液分布不均而在光线的照射下形成的，部分区域亮度很高，而饱和度很低。以损失部分舌下静脉颜色特征为代价，通过对饱和度与亮度的双重限制，在进行反光区域阈值选取时增加亮度值较高区域的权重，

具体公式如下：

其中，I_max和I_min分别表示舌腹面图像中的最大与最小亮度值，为该区域的饱和度均值，γ为调节参数，T_s为通过该方法获得的饱和度阈值。

将彩色舌下图像中舌腹面轮廓的提取方法中获得的舌腹面轮廓包围的区域进行阈值化后，影响赘生物提取的高亮区域被完全剔除，然后使用基于Fast Marching的图像修复方法对被剔除区域进行区域填充，得到舌下赘生物与舌腹面其他区域视觉差异明显增大的图像效果。

舌下赘生物的粗分割：

该步骤使用多阈值大津法在直方图的相邻波峰之间寻找最佳波谷，将赘生物与舌质分离，以实现舌下赘生物的粗分割。

首先，令{0,1,2,…,255}表示舌下图像256个灰度级并统计舌腹面图像的灰度直方图，检查与极大值相邻的极小值，当左右两个极小值都大于给定的阈值时，认为该极大值是一个独立峰值，否则把它与前一个或后一个极大值比较，取大者作为峰值；

然后，应用大津法计算两两独立峰值之间最佳分割阈值。假设独立的峰值为η₁、η₂，阈值k把相邻独立峰值之间处理为C₁和C₂两类，根据σ²类间方差公式确定分割点，如下式所示：

σ²(k)＝P₁(m₁-m_G)²+P₂(m₂-m_G)²；

其中，m_G为整幅图像的平均灰度，P₁(k)为类C₁发生的概率，P₂(k)为类C₂发生的概率，m₁、m₂分别是C₁和C₂类的平均灰度。逐渐变化k值使σ²类间方差值最大，此时的k便是区分这两个类的最佳分割阈值。运用这些分割点对图像进行分割，得出赘生物被分割于最高层的区域，阴影被分割于最低层的区域。

应用该方法粗分割得到的舌下赘生物候选区域保留了赘生物的完整区域信息，且赘生物区域与周围舌质背景分属不同层。

基于区域特征的非舌下赘生物区域剔除：

首先，使用几何测度筛除非赘生物区域。分别计算各连通区域的圆形度、矩形度以及扁度。将不符合赘生物形态特点的区域剔除。

鉴于赘生物的隆起可以在其临近处产生阴影的特点，经上述处理后，赘生物与其周围的阴影区域分别位于多阈值大津法划定的最高灰度层与最低灰度层。对待测区域进行小范围形态学膨胀处理，如果该膨胀结果未与阴影重合，则说明该区域非赘生物区域，将其剔除。

经过上述处理后，粗分割得到的候选赘生物区域中的非赘生物区域被全部剔除，将被保留的赘生物区域的边缘叠加在原彩色舌下图像中得到最终的赘生物分割结果。

近红外舌下图像中舌下静脉轮廓的提取：

近红外舌下图像中舌腹面轮廓的提取：

由于本发明中涉及的采集设备通过同一孔径获取同一舌体的两幅图像，虽然两幅图像由于成像光源的不同而呈现不同的图像效果，但两者所捕捉的舌体状态及所有特征是一致的。因此，近红外舌下图像中的舌腹面轮廓可以简单地通过将彩色舌下图像中舌腹面轮廓边缘像素点位置确定。

去除近红外舌腹面图像中的反光点：

近红外舌下图像中的反光点主要是由舌体表面分布不均的唾液反光所致，如果该反光点在舌下静脉之上，将影响舌下静脉分割的准确性。通过对近红外舌腹面区域的统计直方图分析，可以得到该类反光点的灰度值变化范围，在灰度值250附近波动。通过简单的阈值化方法即可将其剔除。

然后使用8-邻域最小值法填充检测出的反光区域，得到尽可能保持原图像信息且视觉一致的图像效果，并对8-邻域均为反光点的像素点进行灰度形态学开运算，以全局性地消除其他高亮区域。

提取候选舌下静脉区域的过程中，对二值化后的图像进一步运用形态学滤波去噪，采用可变腐蚀元迭代腐蚀的方法来求取候选舌下静脉区域。通过连续多次的腐蚀运算，可以求二值图像的极限腐蚀。极限腐蚀是每个连通区域被连续腐蚀直到完全消失前一次的结果的并集。为了求出舌下静脉图像的二值化图像的极限腐蚀图像，可以通过对图像做连续的腐蚀操作，即迭代腐蚀来实现。

对于一个二值图像，如果第k次腐蚀使得图像中所有连通区域都消失，则第k-1次腐蚀的结果就是原图像中最大连通区域的中心。将最后一次迭代腐蚀的结果作为种子点。依据种子点所得到的最大连通区域——即第一个静脉区域后，将其从原图中去除，重复上述过程即可得到第二大连通区域，即第二个静脉区域。因为绝大部分舌下图片只呈现两根静脉，迭代腐蚀只需进行两次即可。二值化图像中的小型噪声因为面积比较小，可在迭代腐蚀的过程中自然消除。

基于区域生长法的舌下静脉轮廓提取：

应用确定的种子点，以去反光后的舌腹面图像为基础，使用区域生长法，当处于候选区域的像素点与当前考虑的像素点的灰度值的差异较小时，则认为该像素点属于舌下静脉区域。当相邻两次生长所增加的像素点足够小时生长过程结束，此时形成的区域即为最终分割得到的舌下静脉区域。

将近红外图像中得到的舌下静脉轮廓边缘叠加到彩色舌下图像中，即可得到彩色舌下图像中的舌下静脉轮廓。分析该轮廓线所包围区域的颜色信息，能更全面地描述与量化舌下静脉颜色特征。

下面结合图5至图10对本发明中所述的可见光与近红外光舌下图像采集系统进一步说明，在长方体空腔的开口端，上支撑板13的边缘具有一个向下的倾斜面，该倾斜面的底面中心具有一鼻外轮廓弧形支撑口。为固定被采集者的头部，且使被采集者伸舌时能保持较一致的头部姿态，在上支撑板靠近被采集者一端专门设计了一个光滑且符合鼻外轮廓的鼻支撑设计。左支撑板11和右支撑板12上分别设置散热孔。

由于本发明系统中应用光源、摄像机、开关电源等较多放热组件，因此，在左支撑板11和右支撑板12上分别设置了两组散热孔。

电路板21为铝基板电路板。

由于光源模块中两种光源在持续工作时放热量较大，普通的玻纤PCB电路板无法负载其长时间工作，因此需选用具有较好散热功能的铝基板，同时配合风扇、散热片等散热装置，使元器件发出的热量更有效地传导到散热片上，再经散热片散发到周围空气中，配合设备外壳上的四组散热孔，利用风扇及时将光源、摄像机等组件产生的大量热量从设备内部排出，有效维持设备的正常运转。

2CCD工业相机31具有GigE传输网口，该GigE传输网口与交换机34的网口连接，并传输数据。

Claims (3)

1.一种舌下络脉诊断用多光谱舌下图像特征提取方法，该图像提取方法对可见光与近红外光舌下图像采集系统同时采集获得的彩色舌下图像与近红外舌下图像进行提取，所述可见光与近红外光舌下图像采集系统包括外壳、光源模块、摄像机模块以及显示器(4)，

外壳由左支撑板(11)、右支撑板(12)、上支撑板(13)、下支撑板(14)、后背板(16)和内插板(15)组成，

左支撑板(11)、右支撑板(12)、上支撑板(13)、下支撑板(14)和后背板(16)围成一长方体空腔，该长方体空腔内设置光源模块和摄像机模块，长方体空腔的开口端作为测试端，该测试端与后背板(16)所在端面相对；左支撑板(11)和右支撑板(12)的内侧表面靠近下支撑板(14)的位置对应设置一对相互平行的凹槽，内插板(15)插接固定在凹槽内；显示器(4)设置在上支撑板(13)上，并靠近后背板(16)一侧；

光源模块包括电路板(21)、近红外LED(22)、白炽灯(23)、四个风扇(24)、散热片(25)和开关电源(26)，电路板(21)固定设置在长方体空腔的开口端，将长方体空腔分隔为测试空间和图像采集空间，图像采集空间为电路板(21)与后背板(16)之间的长度空间；电路板(21)的中心设置图像采集通孔，电路板(21)的面向图像采集空间的表面上设置散热片(25)，散热片(25)四个角的位置分别设置一个风扇(24)；电路板(21)的外侧表面上沿图像采集通孔圆周向均匀焊接有近红外LED(22)，电路板(21)外侧表面的四外边框位置分别设置一个白炽灯(23)；开关电源(26)设置于图像采集空间内，用于为近红外LED(22)、白炽灯(23)、风扇(24)和显示器(4)提供工作电源；

摄像机模块包括2CCD工业相机(31)、近红外镜头(32)、底座(33)和交换机(34)，底座(33)和交换机(34)设置在图像采集空间的内插板(15)上，2CCD工业相机(31)固定在底座(33)上，2CCD工业相机(31)旋有近红外镜头(32)，近红外镜头(32)伸出图像采集通孔，近红外镜头(32)的光心与电路板(21)图像采集通孔的中心共线；2CCD工业相机(31)经由交换机(34)的网口传输数据；

开关电源(26)还用于为2CCD工业相机(31)提供工作电源；

经由交换机(34)的网口传输的数据包括2CCD工业相机(31)采集获得的彩色舌下图像与近红外舌下图像；2CCD工业相机(31)采集获得的彩色舌下图像由交换机(34)传递给计算机，再由计算机传递给显示器(4)进行显示；

其特征在于，所述图像提取方法包括彩色舌下图像中舌腹面轮廓的提取、彩色舌下图像中赘生物的提取及近红外舌下图像中舌下静脉轮廓的提取；

其中彩色舌下图像中舌腹面轮廓的提取方法为：

首先去除彩色舌下图像中阴影与牙齿区域的干扰：将彩色舌下图像的色彩空间由RGB模式转换为Lab模式，提取Lab模式彩色舌下图像中的a分量，并对其进行直方图均衡化处理，以增强阴影与牙齿区域相对于舌腹面区域的对比度；再通过阈值化处理，分离a分量中色度值低于预设值的像素点，并将该像素点判定为干扰区域像素点，然后将原彩色舌下图像中与所述像素点相对应位置的RGB值置0，实现彩色舌下图像中阴影与牙齿区域的干扰去除，获得舌腹面所在区域；

然后对获得的舌腹面所在区域进行粗分割：采用基于直方图对比度的方法获得彩色舌下图像的显著性图，经过提取和筛选，在显著性图中分离出具有最高显著性的阴影带，获得包含舌腹面区域的最小外接矩形，并将该最小外接矩形作为GrabCut的初始化边界，所述最小外接矩形的内部作为包含舌腹面区域的可能前景，外部作为舌腹面区域的背景；再采用GrabCut算法对所述舌腹面区域进行GrabCut自动分割，获得粗分割后的舌腹面候选区域；

再对粗分割后的舌腹面候选区域进行二次分割：采用基于直方图对比度的方法获得粗分割后的舌腹面候选区域的显著性图，采用阈值化方法去除舌腹面候选区域的显著性图中低显著区域，获得舌腹面候选区域的显著性图中最大连通区域的最小外接矩形，应用该最大连通区域的最小外接矩形初始化GrabCut算法，对粗分割后的舌腹面候选区域进行GrabCut自动分割，获得彩色舌下图像中舌腹面轮廓；

彩色舌下图像中赘生物的提取方法为：

首先对彩色舌下图像的反光区域进行过检测：将彩色舌下图像中舌腹面轮廓的提取方法中获得的舌腹面轮廓包围的区域进行阈值化，在该阈值化过程中进行反光区域阈值选取时增加高亮度值区域的权重，将舌腹面轮廓包围的区域中高亮区域完全剔除，然后使用基于Fast Marching的图像修复方法对被剔除的高亮区域进行区域填充，得到舌下赘生物与舌质视觉差异增大的舌下赘生物图像效果图，所述舌质为舌腹面轮廓包围的区域中除舌下赘生物以外的其它区域；

然后对舌下赘生物图像效果图进行粗分割：使用多阈值大津法在舌下赘生物图像效果图的直方图的相邻波峰之间寻找最佳波谷，以将舌下赘生物图像效果图中赘生物与舌质分离，获得舌下赘生物的粗分割图像；

再对舌下赘生物的粗分割图像进行非舌下赘生物区域的剔除：使用几何测度筛除，将舌下赘生物的粗分割图像进行小范围阴影形态学膨胀处理，若膨胀结果与小范围阴影不重合，则确定该小范围阴影区域为非赘生物区域，并将非赘生物区域剔除，获得保留的赘生物区域；

将保留的赘生物区域的边缘叠加在所述彩色舌下图像中，得到最终的赘生物提取图像；

近红外舌下图像中舌下静脉轮廓的提取方法为：

首先对近红外舌下图像进行舌腹面轮廓的提取：根据彩色舌下图像中舌腹面轮廓的提取方法中获得的舌腹面轮廓边缘像素点位置，在近红外舌下图像中确定舌腹面轮廓区域，提取获得近红外舌下图像的舌腹面轮廓图像；

然后去除近红外舌下图像的舌腹面轮廓图像中反光点：确定该舌腹面轮廓图像的统计直方图中反光点区域的灰度值变化范围，通过阈值化方法剔除反光点区域，再使用8-邻域最小值法填充被剔除的反光点区域，并对8-邻域为反光点的像素点进行灰度形态学开运算，进一步消除统计直方图中的其它反光点区域，获得近红外舌下图像的舌下静脉轮廓初步图像；

再提取候选舌下静脉区域图像：通过直方图统计的方法获得近红外舌下图像的舌下静脉轮廓初步图像的初始阈值μ，并根据该初始阈值将舌下静脉轮廓初步图像像素分为A、B两个区域，计算获得区域A的像素灰度均值为μ₁，区域B的像素灰度均值为μ₂，再计算获得A、B两个区域内所有像素点分别到μ₁、μ₂的欧氏距离d₁、d₂，并将A、B两个区域内的像素全部采用二值化法置为0和255：

d_i＝|f(x,y)-μ_i|i＝1,2，

<mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>255</mn> </mtd> <mtd> <mrow> <msub> <mi>d</mi> <mn>1</mn> </msub> <mo>&lt;</mo> <msub> <mi>d</mi> <mn>2</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <msub> <mi>d</mi> <mn>2</mn> </msub> <mo>&lt;</mo> <msub> <mi>d</mi> <mn>1</mn> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>

式中f(x,y)表示A、B两个区域内所有像素点的坐标值；

由此获得二值化后的舌下静脉图像；

再对二值化后的舌下静脉图像运用形态学滤波去噪，采用可变腐蚀元迭代腐蚀的方法求取候选舌下静脉区域图像；

最后提取获得近红外舌下图像中舌下静脉轮廓图像：根据可变腐蚀元迭代腐蚀的方法中确定的种子点，以舌下静脉轮廓初步图像为基础，使用区域生长法，当处于候选舌下静脉区域图像的当前像素点与舌下静脉轮廓初步图像中相应的像素点的灰度值差小于预定阈值时，判定当前像素点为舌下静脉区域像素点，直到相邻两次生长所增加的像素点小于设定阈值时，生长过程结束，由此获得的所有舌下静脉区域像素点所形成的区域为近红外舌下图像中舌下静脉轮廓图像；

再将该舌下静脉轮廓图像的轮廓边缘叠加到彩色舌下图像中，获得彩色舌下图像中的舌下静脉轮廓；

上述获得的彩色舌下图像中舌腹面轮廓、彩色舌下图像中赘生物提取图像、近红外舌下图像中舌下静脉轮廓图像及彩色舌下图像中的舌下静脉轮廓共同用于舌下络脉诊断。

2.根据权利要求1所述的舌下络脉诊断用多光谱舌下图像特征提取方法，其特征在于：

所述获得舌下赘生物的粗分割图像的具体方法为：

首先，令{0,1,2,…,255}表示舌下赘生物图像效果图的256个灰度级，并根据舌下赘生物图像效果图的灰度直方图，检查与极大值相邻的极小值，当极大值左右两个极小值都大于给定的阈值时，判定该极大值为一个独立峰值；否则把该极大值与前一个或后一个极大值比较，选取最大的极大值作为峰值；

然后，应用大津法计算两两独立的峰值之间的最佳分割阈值，运用获得的最佳分割阈值对舌下赘生物图像效果图进行分割，将赘生物分割于最高层的区域，赘生物在舌质上的阴影分割于最低层的区域，实现舌下赘生物图像效果图中赘生物与阴影的分离，获得舌下赘生物的粗分割图像。

3.根据权利要求1或2所述的舌下络脉诊断用多光谱舌下图像特征提取方法，其特征在于：所述采用可变腐蚀元迭代腐蚀的方法求取候选舌下静脉区域图像的具体方法为：

设定二值化后的舌下静脉图像为二值图像I，对I连续做K次腐蚀运算，获得二值图像I_k：

I_k＝(...((IΘs¹)Θs²)...Θs^k)，

式中Θ表示腐蚀操作，s表示腐蚀元；

设定第k次腐蚀使得二值图像I中所有连通区域都消失，则第k-1次腐蚀的结果为二值图像I最大连通区域的中心，将第k次迭代腐蚀的结果作为种子点；依据该种子点得到的二值图像I中最大连通区域为第一个静脉区域，将第一个静脉区域从二值图像I中去除；重复所述过程获得第二个静脉区域，将第一个静脉区域和第二个静脉区域整理后获得候选舌下静脉区域图像。