CN203970354U - 一种基于移动终端的中医舌象分析系统 - Google Patents

Abstract

本实用新型公开了一种基于移动终端的中医舌象分析系统，其包括移动终端和服务器，所述移动终端用于采集舌头图像并发送到服务器，所述服务器用于接收所述移动终端发出的舌头图像并进行处理、分析，然后将分析结果发送到移动终端。本实用新型简易方便，能够自动识别舌象信息并进行处理，保证了诊断分析结果的稳定准确；用户可随时随地进行舌象诊断，获知自身的健康水平，实现了足不出户看医生。

Description

一种基于移动终端的中医舌象分析系统

技术领域

本实用新型涉及医学图像处理领域，特别涉及一种基于移动终端的中医舌象分析系统。 

背景技术

随着计算机技术的发展,现代图像处理技术使得中医舌诊客观化、定量化、标准化成为了可能，国内成功地研制了相应的舌象自动分析仪，通过图像处理技术对舌图像的舌质颜色、舌苔厚薄、纹理特征等进行处理，通过舌图像的多种参数及量化特征，依据统计模式识别方法，建立了舌象分析系统。现有舌象自动分析仪主要由数码相机的图像采集系统和照明系统硬件部分以及舌体分割、苔质分离、苔质色彩模式识别以及舌苔纹理、厚度的认定等软件部分组成。 

现有舌象自动分析仪的不足之处主要为： 

1)舌象分析系统或自动识别系统不能处理非完全信息问题，而中医舌象复杂环境下非完全信息问题是普遍存在的。 

2)操作复杂，不易携带，舌体轮廓提取智能化程度不高或者边缘曲线比较粗糙，用户普及度不高，尚不能满足用户随时随地使用舌象分析系统。 

实用新型内容

本实用新型的目的在于提供一种基于移动终端的中医舌象分析系统，其简易方便，能够自动识别舌象非完全信息并进行处理，保证了诊断分析结果的稳定准确，用户可随时随地进行舌象诊断，获知自身的健康水平，实现了足不出户看医生。 

为实现上述目的，本实用新型采用以下技术方案： 

一种基于移动终端的中医舌象分析系统，包括移动终端和服务器，所述 移动终端用于采集舌头图像并发送到服务器，所述服务器用于接收所述移动终端发出的舌头图像并进行处理、分析，然后将分析结果发送到移动终端。 

进一步地，所述移动终端设置有： 

摄像头，用于拍摄并采集舌头图像； 

第一预处理模块，用于判断图像质量并进行相应的白平衡处理； 

图像发送模块，用于向服务器发送舌头图像。 

进一步地，所述所述服务器上设置有： 

图像接收模块，用于接收由图像发送模块发出的舌头图像； 

第二预处理模块，用于对图像接收模块接收到的舌头图像进行中值滤波并检测是否含有舌象； 

图像处理模块，用于对经第二预处理模块处理后的舌头图像进行舌体分割和质苔分离，从而得到舌质图像和舌苔图像； 

舌象分析模块，用于对舌质图像和舌苔图像进行分析并提供舌象分析结果。 

结果反馈模块，用于将舌象分析结果发送到移动终端。 

优选地，所述移动终端为智能手机。 

采用上述技术方案后，本实用新型与背景技术相比，具有如下优点： 

1、本实用新型通过移动终端获取用户舌象信息，利用移动终端的上网宽带无线技术将舌象信息传送给远程的高性能健康咨询中心(服务器)，实现了舌诊数字化的要求，简单易用，便于推广和普及。 

2、本实用新型能够自动识别舌象非完全信息并进行处理，剔除不符合诊断要求的非完整舌象信息，保证了诊断分析结果的稳定准确。 

3、用户可随时随地进行舌象诊断，获知自身的健康水平，健康咨询中心对用户可能存在的潜在疾病给予提示和建议，并辨证施治地给予包括中成药、饮食、运动和睡眠等多方面的健康处方，实现了足不出户看医生，将疾病的处理从事后的治疗转为事前的预防。 

附图说明

图1为本实用新型一种基于移动终端的中医舌象分析系统的结构示意图。 

图2为本实用新型的工作流程示意图。 

具体实施方式

为了使本实用新型的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本实用新型进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本实用新型，并不用于限定本实用新型。 

实施例 

参见图1，本实用新型公开了一种基于移动终端的中医舌象分析系统，包括移动终端100和服务器200，其中： 

移动终端100用于采集舌头图像并发送到服务器200，其上设置有摄像头110、第一预处理模块120、图像发送模块130。摄像头110用于拍摄并采集舌头图像；第一预处理模块120用于判断图像质量并进行相应的白平衡处理；图像发送模块130用于向服务器200发送舌头图像。 

服务器200用于接收移动终端100发出的舌头图像并进行处理、分析，然后将分析结果发送到移动终端100，其上设置有图像接收模块210、第二预处理模块220、图像理模块230、舌象分析模块240及结果反馈模块250。图像接收模块210用于接收由图像发送模块130发出的舌头图像；第二预处理模块220用于对图像接收模块210接收到的舌头图像进行中值滤波并检测是否含有舌象；图像理模块230用于对经第二预处理模块220处理后的舌头图像进行舌体分割和质苔分离，从而得到舌质图像和舌苔图像；舌象分析模块240用于对舌质图像和舌苔图像进行分析并提供舌象分析结果；结果反馈模块250用于将舌象分析结果发送到移动终端100。 

在本实施例中，移动终端100为智能手机。 

参考图1和图2所示，本实用新型的工作过程通过以下步骤实现： 

S1、移动终端100采集舌头图像并发送到服务器200，该步骤通过以下步 骤实现： 

S11、检测环境光照值，通过移动终端100的光线传感器获取周围环境的光照值，预先设定光照值取值范围，当检测到的环境光照值不在预先设定的光照值取值范围内时，将拍照不成功。在本实例中，预先设定的光照值取值范围为150lux至12400lux。 

S12、舌头对中处理，设置拍摄预览框，用户通过调整拍摄位置使舌头呈现在预览框中，然后进行拍摄。 

S13、移动终端100的第一预处理模块120对步骤S12中拍摄采集到的图像进行白平衡处理，从而获得符合图像质量要求的舌头图像，白平衡处理采用基于动态阀值的自动白平衡算法，其具体通过以下方法实现： 

寻找参考白点，为了确定一个接近白色的区域，将RGB颜色空间转换成YCbCr色空间。颜色空间转换后，计算Cb、Cr的均值Mb、Mr，然后通过下式计算Cb、Cr的均方差Db、Dr： 

为了提高算法的稳健性，将图像分为几个区域并且计算每个区域的Mb、Mr、Db、Dr，如果一个区域的Db，Dr太小，那么这个区域就没有足够的色彩变化，就可以丢弃掉了，这样可以避免大面积的统一色调对结果的影响。 

通过下面的关系式得到接近白色区域的所有像素点： 

Cb i，j-Mb+Db×sign Mb             ＜1.5×Db 

Cr i，j-1.5×Mr+Dr×sign Mr             ＜1.5×Dr 

根据亮度值，选择接近白色区域中的10％的候选参考白点作为参考白点。在白点确定后，就可以从参考白点中得到信道增益的值。为了维持整幅图像 的亮度不变，亮度的最大值被用来得到信道增益。所以信道增益不仅和参考白点有关还与亮度的最大值有关，其表达式如下： 

其中，Ymax是整幅图片像素的亮度最大值，Ravew、Gavew和Bavew是参考白点的RGB信道的均值。 

白点调整，根据von-kvies model来调整图片，使其达到白平衡的效果。调整的表达式如下： 

R＝R_gain×R₀

G＝G_gain×G₀

B＝B_gain×B₀

其中，R₀、G₀、B₀是原始图像中像素点的三个信道值，R、G、B是调整之后的图片的像素点的三个信道值。 

S14、移动终端100的图像发送模块130将步骤S13中获得的舌头图像发送到服务器200。 

S2、服务器200接收移动终端100发出的舌头图像并进行处理、分析，然后将分析结果发送到移动终端100。 

S21、图像接收模块210接收由图像发送模块130发出的舌头图像。 

S22、第二预处理模块220对步骤S21中得到的舌头图像进行中值滤波并检测是否含有舌象。 

中值滤波是将舌头图像中每一个像素点的值用该像素点的一个邻域中各点值的中值代替。为了便于理解，举例加以说明，设有一个一维序列f₁，f₂，…，f_n，取窗口长度为m(m为奇数)，对此序列进行中值滤波，就是从输入序列中 相继抽出m个数，f_i-v，…，f_i-1，…，f₁，…，f_i+1，…，f_i+v，其中i为窗口的中心位置，再将这m个点按其数值大小排列，取其序号为正中间的那作为输出。用数学公式表示为: 

Y_i＝Med{f_i-v，…，f_i，…，f_i+v}    $i\∈Z,v=\frac{m-1}{2}$

检测是否含有舌象是采用采用霍夫森林目标检测算法实现的，其具体通过以下方法实现： 

首先，构建霍夫森林。用于构造随机树的样本图片块集合表示为{Ρ_i＝(Ι _i,c_i,d_i)}。其中，是图片块的外观，是第j个特征通道的特征向量，M是通道的数量；c_i{0,1}是类别标志，用来表示图像块是背景还是前景；d_i是对象图片块的偏移量，即从样本图片块的中心位置到它所在的样本图像中对象中心位置的距离。对于背景图像块，d_i未定义。每棵随机树都是从根节点开始递归构建的。随机生成一个测试集合，从中选取一个最优的二进制测试指定给树中的非叶节点，而后根据对图片块外观的测试结果，把样本图片块划分到相应的子分支集合中。这个过程反复执行，直到达到随机树的最大深度或所属节点的图片块数量小于最低阈值，此时就生成叶节点。针对图像块外观I的测试t如下式所示： 

$t\left(I\right)=\left\{\begin{array}{c}0,\mathrm{if}{I}^j\left(p\right)<I^j\left(q\right)+\mathrm{\&tau;}\\ 1,\mathrm{otherwise}\end{array}\right.---\left(1\right)$

其中，p、q是图像块外观I上的两个位置，τ是限制阈值，它们都是随机选取的。上式是通过简单比较位置p和q上特征通道j上值的大小来实现测试的。随机树构建完成后，每个叶子节点L存放着类别标志信息C_L(即待检测对象图片块占所有图片块的比例)和偏移量集合D_L＝{d}。 

为了给非叶节点从测试集合中选取一个最好的测试，使用两个不确定性测度(即类标志不确定性测度和偏移量不确定性测度)来评价每个二进制测试，针对某节点N的两个不确定性测度公式如下式所示： 

E_c(N)＝-|N|(C_Nlog(C_N)+(1-C_N)log(1-C_N))          (2) 

$E_o\left(N\right)=\underset{d_i\&Element;D_N}{\mathrm{\&Sigma;}}{(d_i-\stackrel{\_}{d})}^2---\left(3\right)$

其中，C_N表示节点N中对象图片块占所有图片块的比例，^-d是偏移量集合D_N中所有偏移量的平均值。则按照下式从K个测试中选取一个最好的测试。 

$\arg \underset{k}{\min }[E_{*}\left(N_l^k\right)+E_{*}\left(N_r^k\right)]---\left(4\right)$

其中，和是根据第k个测试结果所划分的两个集合，*表示随机选取的c或o。 

然后，进行目标检测。为了在测试图像中定位待检测的对象，待检测的测试图像被划分成若干相互重叠的矩形图片块。这些图片块中的每一块访问随机森林后，向测试图像中对象的中心位置进行概率投票，构成Hough图像，其局部极大值被认为是对象的所在位置。设I(y)表示叶节点L中的一个测试图片块外观，中心位置在y。对于某个随机树Τ_t，该图片块外观向对象中心位置x的概率投票值如下式所示： 

$p\left(x\right|I\left(y\right);T_t)=\left[\frac{1}{\left|D_L\right|}\underset{d\&Element;D_L}{\mathrm{\&Sigma;}}\frac{1}{{2\mathrm{\&pi;\&sigma;}}^2}\exp (-\frac{{\left|\right|(y-x)-d\left|\right|}^2}{{2\mathrm{\&sigma;}}^2})\right]C_L---\left(5\right)$

其中，类别标志信息C_L和偏移量信息D_L都是从构建的随机森林的叶节点中获得的。该图片块访问完所有的随机树后，整个随机森林给出的概率投票值如下式所示： 

$p\left(x\right|I\left(y\right);{\left\{T_t\right\}}_{t=1}^{\mathrm{TN}})=\frac{1}{\mathrm{TN}}\underset{t=1}{\overset{\mathrm{TN}}{\mathrm{\&Sigma;}}}p\left(x\right|I\left(y\right);T_t)---\left(6\right)$

S23、图像理模块230对经步骤S22处理后的舌头图像进行舌体分割和质苔分离，从而得到舌质图像和舌苔图像。 

S231、采用迭代能量最小化分割算法对步骤S22处理后的舌头图像进行舌体分割，并提取舌体图像。该步骤的舌头图像采用RGB颜色空间，分别用一个K个高斯分量(一取般K＝5)的全协方差GMM(混合高斯模型)来对目标和背景进行建模。于是就存在一个额外的向量k＝{k1,...,kn,...,kN}，其中kn就是第n个像素对应于哪个高斯分量，kn∈{1,...K}。对于每个像素，要不来自于目标GMM的某个高斯分量，要不就来自于背景GMM的某个高斯分量。所以用于整个舌头图像的Gibbs能量为： 

E(α，k，θ，z)＝U(α，k，θ，z)+V(α，z)，               (7) 

$U(\underset{\&OverBar;}{\mathrm{\&alpha;}},k,\underset{\&OverBar;}{\mathrm{\&theta;}},z)=\underset{n}{\mathrm{\&Sigma;}}D({\mathrm{\&alpha;}}_n,k_n,\underset{\&OverBar;}{\mathrm{\&theta;}},z_n),---\left(8\right)$

$\begin{array}{c}D({\mathrm{\&alpha;}}_n,k_n,\underset{\&OverBar;}{\mathrm{\&theta;}},z_n)=-\log \mathrm{\&pi;}({\mathrm{\&alpha;}}_n,k_n)+\frac{1}{2}\log \det \mathrm{\&Sigma;}({\mathrm{\&alpha;}}_n,k_n)\\ +\frac{1}{2}{[z_n-\mathrm{\&mu;}({\mathrm{\&alpha;}}_n,k_n)]}^T\mathrm{\&Sigma;}{({\mathrm{\&alpha;}}_n,k_n)}^{-1}[z_n-\mathrm{\&mu;}({\mathrm{\&alpha;}}_n,k_n)].\end{array}---\left(9\right)$

θ＝{π(α，k)，μ(α，k)Σ(α，k)，α＝0，1，k＝1...K}，             (10) 

其中，U就是区域项，表示一个像素被归类为目标或者背景的惩罚，也就是某个像素属于目标或者背景的概率的负对数。混合高斯密度模型是如下形式： 

$D\left(x\right)=\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&pi;}}_i{g}_i(x;{\mathrm{\&mu;}}_i,{\mathrm{\&Sigma;}}_i),\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&pi;}}_i=1$ 且0≤π_i≤1 

$g(x;\mathrm{\&mu;},\&Sum;)=\frac{1}{\sqrt{{\left(2\mathrm{\&pi;}\right)}^d\left|\mathrm{\&Sigma;}\right|}}\exp [-\frac{1}{2}{(x-\mathrm{\&mu;})}^T{\mathrm{\&Sigma;}}^{-1}(x-\mathrm{\&mu;})]$

所以取负对数之后就变成式(9)那样的形式了，其中GMM的参数θ就有三个：每一个高斯分量的权重π、每个高斯分量的均值向量u(因为有RGB三个通道，故为三个元素向量)和协方差矩阵∑(因为有RGB三个通道，故为3x3矩阵)。如式(10)。也就是说描述目标的GMM和描述背景的GMM的这三个参数都需要学习确定。一旦确定了这三个参数，那么我们知道一个像素的RGB颜色值之后，就可以代入目标的GMM和背景的GMM，就可以得到该像素分别属于目标和背景的概率了，也就是Gibbs能量的区域能量项就可以确定了，即图的t-link的权值我们就可以求出。 

$V(\underset{\&OverBar;}{\mathrm{\&alpha;}},z)=\mathrm{\&gamma;}\underset{(m,n)\&Element;C}{\mathrm{\&Sigma;}}[{\mathrm{\&alpha;}}_n\&NotEqual;{\mathrm{\&alpha;}}_m]\exp -\mathrm{\&beta;}{\left|\right|z_m-z_n\left|\right|}^2.---\left(11\right)$

边界项体现邻域像素m和n之间不连续的惩罚，如果两邻域像素差别很小，那么它属于同一个目标或者同一背景的可能性就很大，如果他们的差别很大，那说明这两个像素很有可能处于目标和背景的边缘部分，则被分割开的可能性比较大，所以当两邻域像素差别越大，能量越小。而在RGB空间中，衡量两像素的相似性，我们采用欧式距离(二范数)。这里面的参数β由图像的对比度决定，可以想象，如果图像的对比度较低，也就是说本身有差别的像素m和n，它们的差||zm-zn||还是比较低，那么我们需要乘以一个比较大的β来放大这种差别，而对于对比度高的图像，那么也许本身属于同一目标的像素m和n的差||zm-zn||还是比较高，那么我们就需要乘以一个比较小的β来缩小这种差别，使得V项能在对比度高或者低的情况下都可以正常工作。常数γ 为50。n-link的权值就可以通过式(11)来确定了，这时候我们想要的图就可以得到了，我们就可以对其进行分割了。 

迭代能量最小化分割算法，具体通过以下步骤实现： 

1.初始化 

(1)获取初始的trimap T，即方框外的像素全部作为背景像素TB，而方框内TU的像素全部作为“可能是目标”的像素。 

(2)对TB内的每一像素n，初始化像素n的标签αn＝0，即为背景像素；而对TU内的每个像素n，初始化像素n的标签αn＝1，即作为“可能是目标”的像素。 

(3)经过上面两个步骤，我们就可以分别得到属于目标(αn＝1)的一些像素，剩下的为属于背景(αn＝0)的像素，这时候，我们就可以通过这个像素来估计目标和背景的GMM了。我们可以通过k-mean算法分别把属于目标和背景的像素聚类为K类，即GMM中的K个高斯模型，这时候GMM中每个高斯模型就具有了一些像素样本集，这时候它的参数均值和协方差就可以通过他们的RGB值估计得到，而该高斯分量的权值可以通过属于该高斯分量的像素个数与总的像素个数的比值来确定。 

2.迭代最小化 

(1)对每个像素分配GMM中的高斯分量(例如像素n是目标像素，那么把像素n的RGB值代入目标GMM中的每一个高斯分量中，概率最大的那个就是最有可能生成n的，也即像素n的第kn个高斯分量)： 

$k_n:=\arg \underset{k_n}{\min }{D}_n({\mathrm{\&alpha;}}_n,k_n,\mathrm{\&theta;},z_n).$

(2)对于给定的图像数据Z，学习优化GMM的参数(因为在步骤(1)中我们已经为每个像素归为哪个高斯分量做了归类，那么每个高斯模型就具有了一些像素样本集，这时候它的参数均值和协方差就可以通过这些像素样本的RGB值估计得到，而该高斯分量的权值可以通过属于该高斯分量的像素个数与总的像素个数的比值来确定。)： 

$\underset{\&OverBar;}{\mathrm{\&theta;}}:=\arg \underset{\underset{\&OverBar;}{\mathrm{\&theta;}}}{\min }U(\underset{\&OverBar;}{\mathrm{\&alpha;}},k,\underset{\&OverBar;}{\mathrm{\&theta;}},z)$

(3)分割估计(通过1中分析的Gibbs能量项，建立一个图，并求出权值t-link和n-link，然后通过max flow/min cut算法来进行分割)： 

$\underset{\{{\mathrm{\&alpha;}}_n:n\&Element;T_U\}}{\min }\underset{k}{\min }E(\underset{\&OverBar;}{\mathrm{\&alpha;}},k,\underset{\&OverBar;}{\mathrm{\&theta;}},z).$

(4)重复步骤(1)至(3)，直到收敛，最终得到了舌体图像。经过步骤(3)的分割后，每个像素属于目标GMM还是背景GMM就变了，所以每个像素的kn就变了，故GMM也变了，所以每次的迭代会交互地优化GMM模型和分割结果。 

S232、对步骤S231中提取的舌体图像进行舌质和舌苔的分离，将舌体图像的颜色模型转换成HSV颜色模型，然后采用迭代法求取在S分量上的最佳阈值T,最后遍历舌体图像中的所有像素点，S分量值小于最佳阈值T的像素点属于舌苔部分，S分量值大于最佳阈值T的像素点属于舌质部分，从而获得舌质图像和舌苔图像。 

在本实施例中，最佳阈值T通过以下公式求解： 

$T_k=\frac{1}{2}(\frac{\underset{i\&GreaterEqual;T_{k-1}}{\mathrm{\&Sigma;}}i\&times;N_i}{\underset{i\&GreaterEqual;T_{k-1}}{\mathrm{\&Sigma;}}{N}_i}+\frac{\underset{i<T_{k-1}}{\mathrm{\&Sigma;}}i\&times;N_i}{\underset{i<T_{k-1}}{\mathrm{\&Sigma;}}{N}_i})$

其中，N_i为舌体图像上S分量值为i的像素点的数量，T_k-1和T_k分别表示第k-1次、第k次迭代结果，迭代终止条件为|T_k-T_k-1|＜0.015。 

S24、舌象分析模块240对步骤S23中得到的舌质图像和舌苔图像进行分析，并得出舌象分析结果。 

S25、结果反馈模块250将步骤S24中得出的舌象分析结果发送到移动终端100，移动终端100接收到舌象分析结果并呈现给用户。 

以上所述，仅为本实用新型较佳的具体实施方式，但本实用新型的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本实用新型揭露的技 术范围内，可轻易想到的变化或替换，都应涵盖在本实用新型的保护范围之内。因此，本实用新型的保护范围应该以权利要求的保护范围为准。 

Claims (4)

1.一种基于移动终端的中医舌象分析系统，其特征在于：包括移动终端和服务器，所述移动终端用于采集舌头图像并发送到服务器，所述服务器用于接收所述移动终端发出的舌头图像并进行处理、分析，然后将分析结果发送到移动终端。

2.如权利要求1所述的一种基于移动终端的中医舌象分析系统，其特征在于，所述移动终端设置有：

摄像头，用于拍摄并采集舌头图像；

第一预处理模块，用于判断图像质量并进行相应的白平衡处理；

图像发送模块，用于向服务器发送舌头图像。

3.如权利要求2所述的一种基于移动终端的中医舌象分析系统，其特征在于：所述所述服务器上设置有：

图像接收模块，用于接收由图像发送模块发出的舌头图像；

第二预处理模块，用于对图像接收模块接收到的舌头图像进行中值滤波并检测是否含有舌象；

图像处理模块，用于对经第二预处理模块处理后的舌头图像进行舌体分割和舌质、舌苔分离，从而得到舌质图像和舌苔图像；

舌象分析模块，用于对舌质图像和舌苔图像进行分析并提供舌象分析结果。

结果反馈模块，用于将舌象分析结果发送到移动终端。

4.如权利要求1-3任一项所述的一种基于移动终端的中医舌象分析系统，其特征在于：所述移动终端为智能手机。