CN110460830A

CN110460830A - 一种用于中医舌面诊图像的颜色校正方法

Info

Publication number: CN110460830A
Application number: CN201910740619.9A
Authority: CN
Inventors: 刘绍杰; 仲天琪
Original assignee: Shanghai Zhi Yun Medical Technology Co Ltd
Current assignee: Shanghai Zhi Yun Medical Technology Co Ltd
Priority date: 2019-08-12
Filing date: 2019-08-12
Publication date: 2019-11-15

Abstract

本发明属于中医学智能检测的技术领域，公开了一种用于中医舌面诊图像的颜色校正方法，包括以下步骤：步骤一、建立不同场景下的多张色卡图像组成的色卡图像集；步骤二、对每个所述色卡图像的RGB值进行对数变换，形成点集，通过数据拟合，建立校正模型；步骤三、利用校正模型对舌面诊图像进行校正。利用本发明的方法可以完成开放环境下的舌面象图像的颜色校正，降低或消除成像过程中由于开放环境、硬件性能、设备间差异和人为操作不规范等都对输入图像的质量产生较大影响，对于中医舌面象分析来说，更加符合实际应用的需求。

Description

一种用于中医舌面诊图像的颜色校正方法

技术领域

本发明属于中医学智能健康检测的技术领域，具体涉及一种用于中医舌面诊图像的颜色校正方法。

背景技术

舌面诊是中医望诊的重要组成部分，是中医临床辨证论治的重要依据之一。舌面象中包涵很多重要的临床信息，能客观反映人体气血的盛衰、疾病的性质、病位的深浅，病情的转归，反映出机体的生理及病理变化。传统的舌面颜色识别方法主要依靠医生目视观察进行判断分析，其诊断结果既受医生知识水平、诊断经验的限制，又受当时光线、温度这些外部环境的影响，存在主观依赖性强、可重复性差的缺陷。为了克服传统舌面诊方法的弊端，通过拍摄舌面象图片，运用计算机方法进行定量化的检测和分析，可以实现舌、面诊的客观化和数字化，但是对于中医舌、面诊来说，通过舌面象采集，图像的颜色能否真实再现客观、真实的颜色信息成为了舌面象准确辨别判定的一大问题。

舌面颜色是舌面诊中最直观、也最具有病理意义的特征，但是采集到的舌、面数字图像的颜色，往往与舌面在自然光线下的颜色并不一致。虽然目前很多利用计算机算法实现了在暗箱或暗室等封闭环境下常用的颜色校正，然而由于自然光的特性受时间、地点、天气、环境等因素的影响，开放环境下的光照条件变得不稳定、不可控，在色温、光谱功率分布等方面经常会有动态的变化，封闭环境下相对成熟的一些颜色校正方法难以直接应用于开放环境中以保证舌、面图像颜色的真实保真还原，同时，人体的舌和面经过照明光源的照射、成像设备的采集与处理，最后经显示器显示后，不可避免地会发生一些颜色失真。对于图像分析来说，颜色失真首先会使直接观察图像的医生，产生不正确的判断；其次，也会影响舌面象特征自动分析的准确度和鲁棒性，特别是影响在中医辨证诊断中占有重要地位的舌色、苔色、面色、光泽特征的自动分析。因此，亟需一种开放环境下的中医舌面诊图像颜色校正方法。

发明内容

本发明提供了一种用于中医舌面诊图像的颜色校正方法，解决了现有舌面象的中医诊断仍需要纯人工判断，主观依赖性强、可重复性差或者暗箱封闭环境下常用的颜色校正不能适用现有的就医环境等问题。

本发明可通过以下技术方案实现：

一种用于中医舌面诊图像的颜色校正方法，包括以下步骤：

步骤一、建立不同场景下的多张色卡图像组成的色卡图像集；

步骤二、对每个所述色卡图像的RGB值进行对数变换，形成点集，通过数据拟合，建立校正模型；

步骤三、利用校正模型对舌面诊图像进行校正。

进一步，所述步骤二的建立校正模型方法包括以下步骤：

步骤Ⅰ、计算每个所述色卡图像中所有像素点的RGB值的平均值对值取对数，分别作为对应色卡图像的横坐标和纵坐标；

步骤Ⅱ、对所有色卡图像对应的横坐标和纵坐标组成的点集同时进行直线和二次曲线拟合，建立校正模型。

进一步，所述色卡图像包括黑色色卡图像、白色色卡图像、灰色色卡图像。

进一步，利用最小二乘法多项式曲线进行拟合，得到的直线方程式中一次项的系数小于零、二次曲线方程式中二次项的系数也小于零，

若拟合得到的直线和二次曲线相交，则校正模型的数学表达式为拟合得到的直线和二次曲线方程式组成的分段函数；若拟合得到的直线和二次曲线不相交，则校正模型的数学表达式为拟合得到的直线方程式。

进一步，令直线的方程式为y＝ax+b，二次曲线的方程式为y＝mx²+nx+c，交点为A(x1,y1)、B(x2,y2)，其中，x1<＝x2，

若拟合得到的直线和二次曲线相交，则校正模型的数学表达式为

若拟合得到的直线和二次曲线不相交，则校正模型的数学表达式为y＝ax+b。

进一步，所述步骤三的利用校正模型对舌面诊图像进行校正的方法包括以下步骤：

步骤ⅰ、计算待校正的舌面诊图像中所有像素点的RGB值的平均值对值取对数，分别作为所述待校正的舌面诊图像的横坐标x_T和纵坐标y_T；

步骤ⅱ、过待校正的舌面诊图像对应的点(x_T,y_T)向校正模型中的直线部分所在的直线做垂线，计算所述垂线与校正模型对应的曲线的交点，对应记为交点C；

步骤ⅲ、对所述交点C的横坐标和纵坐标进行对数逆运算，得到对应的将待校正的舌面诊图像中所有像素点对应的R值乘以所有像素点对应的B值乘以从而得到校正后的舌面诊图像。

进一步，所述交点C设置为垂线与直线部分的垂点，或者垂线与直线部分所在延长部对应校正模型中二次曲线部分的交点。

进一步，不同场景包括晴天、阴天进行室内拍摄，白天不同时段的室内拍摄，夜晚中白炽灯、暖色灯、冷色灯、不同色调灯带组合下进行室内拍摄，强光、弱光下的室内拍摄。

一种电子设备，包括一个或多个处理器、存储器，以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，当所述一个或者多个程序被所述处理器执行时，使得所述电子设备执行以下步骤：

步骤二、对每个所述色卡图像的RGB值进行对数变换，通过数据拟合，建立校正模型；

步骤三、利用校正模型对舌面诊图像进行校正。

一种计算机存储介质，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如上文所述的用于中医舌面诊图像的颜色校正方法。

本发明有益的技术效果在于：

通过采集不同场景下不同颜色的多张色卡图像，建立色卡图像集，再利用对数变换将每张色卡图像的RGB值变换成一个点的横坐标和纵坐标，组成点集，然后，利用直线和二次曲线对点集进行数据拟合，得到分段函数或者直线形式的校正模型，最后，利用该校正模型对舌面诊图像进行校正，利用本发明的方法可以完成开放环境下的舌面象图像的颜色校正，降低或消除成像过程中由于开放环境、硬件性能、设备间差异和人为操作不规范等都对输入图像的质量产生较大影响，对于中医舌面象分析来说，更加符合实际应用的需求，使图像能够重现原本的舌、面图像信息，使得自动分析结果真实可信，提高舌面诊数字化检测的临床实用性。

附图说明

图1为本发明的总体过程示意图；

图2为利用本发明的方法对黑色、白色和灰色色卡分别和混合在一起进行数据拟合后的对比示意图，其中，标识A表示黑色，B表示白色，C表示灰色，D表示混合在一起。

具体实施方式

下面结合附图及较佳实施例详细说明本发明的具体实施方式。

参照附图1，本发明提供了一种用于中医舌面诊图像的颜色校正方法，应用于开放环境下，主要通过采集不同场景下不同颜色的多张色卡图像，建立色卡图像集，利用对数变换，将每张色卡图像对应的RGB值转换为一个点对应的横坐标和纵坐标，使色卡图像集变换为点集，再利用直线和二次曲线对点集进行数据拟合，得到由具体的直线和/或二次曲线方程式组成的校正模型，最后，利用该校正模型对舌面象图像进行校正，重现原本的舌、面图像信息，提高了中医舌面象分析的准确性，具体包括以下步骤：

步骤一、建立不同场景下的多张色卡图像组成的色卡图像集。

为了提高校正的准确性和精度，本发明通过采集大量的图像建立了色卡图像集，至少1000张以上，包括不同日期、天气、场景、室内不同灯光环境下的多种色卡图像，优选黑色色卡、白色色卡和灰色色卡，如白天、夜晚，晴天、阴天，强光、弱光，暖色灯、冷色灯等等，可利用自带不同色调及不同档位的灯带实现不同的环境光干扰下的图像采集。

步骤二、对每个色卡图像的RGB值进行对数变换，形成点集，通过数据拟合，建立校正模型，具体如下：

步骤Ⅰ、计算每个色卡图像中所有像素点的RGB值的平均值对值取对数，分别作为对应色卡图像的横坐标和纵坐标，从而将一个色卡图像对应的信息转换为一个点，如图2中深颜色的实心点所示。

可利用最小二乘法对点集同时进行直线和二次曲线拟合，通过大量的图像试验验证，我们发现整体拟合曲线的走势为左边上扬，右边下沉，拟合得到的直线方程式中一次项的系数小于零、二次曲线方程式中二次项的系数也小于零，如图2中相交的浅颜色的直线和抛物线所示。

根据输入不同场景下图像进行拟合的实验数据分析可知，晴天和阴天的大趋势一致，阴天相对较分散，并且晴天和晴天、以及阴天和阴天的趋势一致，有极少数点分散较大；白天和晚上的趋势相差较大，主要晚上受环境光和灯带影响，通过人工筛选后，在正常日光灯下的模型和白天的趋势能趋于一致。在白天自然光影响下不同时段的数据分布区域一致；夜晚只开单色灯带中，正常灯带趋势趋于一致、夜晚冷色灯带和暖色灯带组合趋势趋于一致、夜晚不同色调的灯带组合在一起趋势趋于一致。

另外，在自然光变化大的区域拍摄的图像，对实验建模效果影响大；采集图像在远离强自然光的地方，有利于数据建模。

在数据采集到一定量时，黑白灰三种色卡之间的趋势是趋于一致的，如图2所示，该总的模型是具有普适性的。

因此，若拟合得到的直线和二次曲线相交，则校正模型的数学表达式为拟合得到的直线和二次曲线方程式组成的分段函数；若拟合得到的直线和二次曲线不相交，则校正模型的数学表达式为拟合得到的直线方程式。

即令直线的方程式为y＝ax+b，二次曲线的方程式为y＝mx²+nx+c，交点为A(x1,y1)、B(x2,y2)，其中，x1<＝x2，

另外，我们利用如下方法以新采集的不同场景下的黑白灰三色色卡图像，来验证上述校正模型的假设理论，然后，基于Lab空间色差分析的客观评判和图像专家主观的判读，判断校正后的色卡图像是否可以满足要求，若满足，则维持原校正模型；若不满足，则增加对应场景在色卡图像集中图像的数量，利用上述方法重新拟合得到校正模型，从而不断微调校正模型对应曲线的校正系数即直线方程式和二次曲线方程式的五个系数，使之更加完美，得到最终的校正模型。

步骤三、利用校正模型对舌面诊图像进行校正，主要是先通过对数变换将待校正的舌面诊图像转换为一个点，如图2中浅颜色的实心点所示，再过该点校正模型中的直线部分所在的直线做垂线，如图2中深颜色的直线所示，最后，对该垂线与校正模型对应曲线的交点进行对数逆运算，得到对应待校正的舌面诊图像的校正系数，完成校正，使其重现原本的舌、面图像，提高中医舌面诊的准确性，具体如下：

步骤ⅰ、计算待校正的舌面诊图像中所有像素点的RGB值的平均值对值取对数，分别作为该待校正的舌面诊图像的横坐标x_T和纵坐标y_T；

步骤ⅱ、过待校正的舌面诊图像对应的点(x_T,y_T)向校正模型中的直线部分所在的直线做垂线，计算该垂线与校正模型对应的曲线的交点，对应记为交点C；

若校正模型为分段函数，且点(x_T,y_T)中x_T≤x1，说明此时取校正模型中直线部分的点作为点(x_T,y_T)对应的映射点，则交点C设置为垂线与校正模型中的直线部分的垂点；若校正模型为分段函数，且点(x_T,y_T)中x_T＞x1，说明此时取校正模型中二次曲线部分的点作为点(x_T,y_T)对应的映射点，垂线与直线部分所在延长部相互垂直，则交点C设置为垂线与校正模型中二次曲线部分的交点。

步骤ⅲ、对交点C的横坐标和纵坐标进行对数逆运算，得到对应的将待校正的舌面诊图像中所有像素点对应的R值乘以所有像素点对应的B值乘以从而得到校正后的舌面诊图像。

为了验证本发明的方法的实用性，我们利用本发明的方法对不同场景的多张舌面诊图像进行校正，以基于Lab空间色差分析的客观评判和图像专家主观的判读为判断标准，其准确率如下表所示，从中可以看出，采用本发明的方法校正的舌面诊图像基本都可以达到判断标准，可以实现在开放环境下对舌面诊图像的校正，重现原本的舌、面图像信息，提高了中医舌面象分析的准确性。

场景	校正数量	符合要求	准确率
				室内光线暗	500	465	93％
室内有色光(偏黄、蓝、青、红)	500	460	92％
				室内强光(侧光、直射光)	500	425	85％
室内自然光	500	485	97％
				总计	2000	1835	91.75％

本发明还提供了一种电子设备，包括一个或多个处理器、存储器，以及一个或多个程序，其中该一个或多个程序被存储在存储器中，当一个或者多个程序被所述处理器执行时，使得电子设备执行以下步骤：

建立不同场景下的多张色卡图像组成的色卡图像集；对每个色卡图像的RGB值进行对数变换，形成点集，通过数据拟合，建立校正模型；利用校正模型对舌面诊图像进行校正。其具体步骤如上文所述。

还提供了一种计算机存储介质，包括计算机指令，当该计算机指令在电子设备上运行时，使得该电子设备执行如上文所述的用于中医舌面诊图像的颜色校正方法。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，在不背离本发明的和实质的前提下，可以对这些实施方式做出多种变更或修改，因此，本发明的保护范围由所附权利要求书限定。

Claims

1.一种用于中医舌面诊图像的颜色校正方法，其特征在于包括以下步骤：

步骤三、利用校正模型对舌面诊图像进行校正。

2.根据权利要求1所述的用于中医舌面诊图像的颜色校正方法，其特征在于所述步骤二的建立校正模型方法包括以下步骤：

3.根据权利要求2所述的用于中医舌面诊图像的颜色校正方法，其特征在于：所述色卡图像包括黑色色卡图像、白色色卡图像、灰色色卡图像。

4.根据权利要求2所述的用于中医舌面诊图像的颜色校正方法，其特征在于：利用最小二乘法多项式曲线进行拟合，得到的直线方程式中一次项的系数小于零、二次曲线方程式中二次项的系数也小于零，

5.根据权利要求4的所述的用于中医舌面诊图像的颜色校正方法，其特征在于：令直线的方程式为y＝ax+b，二次曲线的方程式为y＝mx²+nx+c，交点为A(x1,y1)、B(x2,y2)，其中，x1<＝x2，

6.根据权利要求4所述的用于中医舌面诊图像的颜色校正方法，其特征在于所述步骤三的利用校正模型对舌面诊图像进行校正的方法包括以下步骤：

7.根据权利要求6所述的用于中医舌面诊图像的颜色校正方法，其特征在于：所述交点C设置为垂线与直线部分的垂点，或者垂线与直线部分所在延长部对应校正模型中二次曲线部分的交点。

8.根据权利要求1所述的用于中医舌面诊图像的颜色校正方法，其特征在于：不同场景包括晴天、阴天进行室内拍摄，白天不同时段的室内拍摄，夜晚中白炽灯、暖色灯、冷色灯、不同色调灯带组合下进行室内拍摄，强光、弱光下的室内拍摄。

9.一种电子设备，其特征在于：包括一个或多个处理器、存储器，以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，当所述一个或者多个程序被所述处理器执行时，使得所述电子设备执行以下步骤：

步骤三、利用校正模型对舌面诊图像进行校正。

10.一种计算机存储介质，其特征在于：包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1至8中任一项所述的用于中医舌面诊图像的颜色校正方法的步骤。