CN110459304A

CN110459304A - 一种基于面部图像的健康状态诊断系统

Info

Publication number: CN110459304A
Application number: CN201910655823.0A
Authority: CN
Inventors: 吴福培; 李庆华
Original assignee: Shantou University
Current assignee: Shantou University
Priority date: 2019-07-19
Filing date: 2019-07-19
Publication date: 2019-11-15

Abstract

本发明实施例公开了一种基于面部图像的健康状态诊断系统，包括：面部图像采集模块、面部图像处理模块、系统与数据库之间的网络通信模块以及面部特征点训练学习模块；面部图像处理模块包括面部区域分割与颜色信息比对，面部图像处理模块，对面部区域进行划分并进一步设定ROI区域，然后使用图像处理算法分割相应区域，对每个区域进行特征提取并进行信息比对，若与比对对象对应区域的差值超过设定阈值则诊断用户患有相应类型的疾病，即对用户的健康状态做出初步诊断。采用本发明，能快速准确的进行健康状态初判，具有广泛的应用前景。该自诊断系统可以作为个人家庭的健康诊断助手，医生的辅助判断工具、公司员工日常健康诊断等。

Description

一种基于面部图像的健康状态诊断系统

技术领域

本发明涉及图像处理领域，涉及一种基于面部图像特征的健康状态诊断系统。

背景技术

随着生活节奏的加快，一些不健康的生活方式逐渐成为部分人群的常态，如：熬夜、暴饮暴食、缺乏体育锻炼等。进而导致身体上出现了不同程度的不适，这种状况的累积会使人体体质下降，严重损害人们的健康。另外，工作环境及劳动、压力强度等因素导致一系列疾病的产生，为了减少此类情形的发生，疾病预防尤为必要，健康状态自诊断是一种极佳的预防方式。

目前健康状态自我诊断的方式主要有：观色、切脉、根据身体感受与反应进行诊断等，常见身体反应如：脱发、便秘、失眠多梦等。切脉方法需要对中医脉象原理有深刻的认识和了解才能够完成诊断，对于一般个体而言难以实现；根据身体感受与反应的自诊断方法具有滞后效应，其诊断预防效果欠佳；通过观察面部颜色进行诊断是一种有效、快捷的自诊断方法，是中医望诊中色诊方法，但是需要相关的中医基础理论作为辅助诊断工具。

近年来，图像处理与计算机视觉技术迅速发展并应用于越来越多的领域如：安防监控、人脸识别、无人驾驶中交通信号灯自动识别等。图像处理技术的使用节省了大量人力、物力，使识别、检测、判断等更加自动化与智能化。同样，图像处理可用于医疗诊断来判断健康状况。中医讲究望闻问切，传统面诊法受制于医生的行诊水平、诊断经验等，主观性较强而易造成误判。借助图像处理技术，使诊断自动化且使人感知自己的健康状况并及时做出调整。本发明旨在设计一种基于面部图像处理的健康状态诊断系统和方法，将中医面诊方法与图像处理结合并嵌入系统，达到通过分析面部特征并进行数据求取与对比来给出初步诊断结果的目的。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于面部图像的健康状态诊断系统。可快速准确的进行健康状态初判，具有广泛的应用前景。

为了解决上述技术问题，本发明实施例提供了一种基于面部图像的健康状态诊断系统，包括面部图像采集模块、面部图像处理模块以及网络通信模块、面部特征点训练学习模块。

在面部图像采集模块，采用人脸识别智能摄像头获取用户面部图像，采集时用户不要化妆，此外，用户表情保持自然且摘掉眼镜；在面部图像处理模块，基于中医理论，对面部区域进行划分并进一步设定ROI区域，然后使用图像处理算法分割相应区域，对每个区域进行特征提取，主要是色度信息的提取，提取到用户面部各个区域的信息后，进行信息比对，若与比对对象对应区域的差值超过设定阈值则诊断用户患有相应类型的疾病，即对用户的健康状态做出初步诊断；在网络通信模块，比对用户面部颜色信息时会链接到健康人面色数据库和病患数据库，获取比对对象面部颜色信息；在面部特征点训练学习模块，通过梯度下降树GBDT建立各级回归树，调节特征池尺寸、每个节点的分裂节点等数目等参数，构建和优化人脸特征点检测器。

在面部图像采集模块，应严格光照环境，避免过亮或过暗导致采集图像质量不佳；采集对象即用户为中国人，人群年龄阶段分布为20～50岁，采集图像制作数据库时应分地区采集。

面部图像处理模块包含如下步骤：

⑴面部区域划分

⑵区域特征提取

⑶特征信息对比

面部区域的划分是基于中医理论的，“望而知之谓之神”望神、察色、观形，在中医诊断学上占有重要之位置，中医望诊自《内经》、《难经》、《伤寒杂病论》等医著中就记载有关望诊的资料，清代汪宏于1875年撰写《望诊遵经》系统总结了历代望诊的文献，是我国现存最早的内容详实的望诊专著，使望诊逐渐走向规范化。望诊理论可概括为：当脏腑发生病变时会在面部相应区域呈现特定的颜色，颜色与疾病具有对应关系。因此，结合中医理论和图像处理方法完成面部区域的划分。

面部区域划分采用的是基于特征点定位的分割方法。获取人脸区域后，首先基于已有的人脸68点数据标定集采集用户面部对应的68个特征点，该方法获取特征点的原理是：通过多级级联的回归树进行关键点回归，通过对样本图片的训练获取人脸位置和特征点位置，训练之后可得到人脸特征点检测器，然后运用人脸特征点检测器对人脸进行检测。设定面部区域划分的关键特征点：鼻尖、鼻梁，内眼角、下眼睑，两眉之间，颧骨部位，嘴唇部位。其中有些关键特征点可从68特征点中直接获取，如鼻尖、内眼角等，部分关键点需结合面部器官分布几何特征来获取，如：两眉之间、颧骨部位等。然后根据关键特征点并结合中医理论将面部划分为：鼻部区域、眼部区域、眉毛区域、颧骨区域和嘴唇区域。该面部区域分割方法依托于人脸特征点，该方法的优势是可通过对特定个体的面部图像进行训练并获得检测效果较好的个性化的人脸特征点检测器，从而对特定个体面部区域有较好的分割结果。

区域特征提取中，提取的是面部的色度信息。提取之前建立颜色模型，颜色模型包含正色模型和病色模型。其中正色是指健康人面部呈现的颜色，相应地，病色是指罹患疾病时病患面部呈现的颜色。分别在RGB和YCrCb颜色空间中提取面部区域的色度信息，其中YCrCb颜色空间受光照影响较小，然后区域中进一步设定ROI区域，选取的区域大小能够判定疾病信息，即区域包含信息丰富且完全；然后分别求取鼻部区域、眼部区域、眉毛区域、颧骨区域和嘴唇区域等各颜色分量均值和方差，其中颜色均值反映了对应区域内颜色分布信息的总体情况，是衡量皮肤区域颜色的重要指标参量之一；而颜色方差反映了区域内颜色信息的波动状况，是衡量皮肤颜色受光照、季节、气候等外部因素影响大小的指标参量之一。

特征信息比对需考虑多种情形。将通过算法提取的比对对象整个或局部的面部区域颜色信息集合C_info_cal(简称为计算集合)与基于统计数据获取的健康人群的对应面部区域颜色信息集合C_info_static(简称为统计集合)进行比较，其中以上两种颜色信息集合包括R_mean、G_mean、B_mean、R_std、G_std、B_std、Cr_mean、Cb_mean、Cr_std、Cb_std，分别为RGB颜色空间的R、G、B颜色分量的颜色均值与标准差和YCrCb颜色空间的Cr、Cb颜色分量的颜色均值与标准差。若颜色信息集合中每个对应颜色分量均满足|C_info_cal-C_info_static|≤T_i，T_i为设定的阈值，i取值为0～9，表明该对象面部区域的颜色信息与健康人接近，该对象的初步诊断结果评定为：健康；若颜色信息集合中存在颜色分量满足|C_info_cal-C_info_static|≥T_i，表明该对象处于不健康状态或可能患有某种疾病，此时引入新的比较判断模型，将不满足阈值条件的颜色分量的均值或标准差取出，结合中医望诊中的色诊理论：当面部整体或特定局部某区域呈现某种颜色偏向，面部区域记作R_D，颜色偏向集合记作C_re，可推断对象患有某种类型疾病，记作D_T，如鼻尖部位呈现青紫色时，肝部有恙，可能是肝气不疏导致；将医院病患数据库中面部呈现相似颜色(C_re)的患者面部图像一一取出(根据推测判断疾病类型选取)，按照本专利所提计算方法计算每张病患面部图片区域R_D的RGB颜色空间、YCrCb颜色空间的颜色分量的均值与标准差，病患面部颜色信息集合记作C_info_sick，其颜色分量分别记作R′_mean、G′_mean、B′_mean、R′_std、G′_std、B′_std、Cr′_mean、Cb′_mean、Cr′_std、Cb′_std；计算病患面部各颜色分量，并求取各颜色分量的均值，然后与测试对象的颜色偏向集合中对应颜色参量进行比较，若满足|C_info_cal-c_{_re}|≤T_j，则该对象极其可能患有D_T类型疾病，j取值为初步判断中不满足条件的颜色分量个数。

除了三基色之外，其余颜色均是由三基色合成，如RGB颜色空间中，R、G、B为描述其余颜色的基向量，对于特定的某种颜色，每个基向量对合成颜色的贡献不同即权值不同。据此，将测试对象面部呈现的颜色信息C_re分解为三个基向量，以RGB颜色空间为例，则C_re＝αR+βG+γB，根据贡献权值设定测试对象与病患面部颜色信息比较的阈值。如：|R_{mean_cal}-R′_mean|≤T_αi，T_αi为根据颜色分量的权值α设定的阈值，其余颜色分量类比。若对测试对象面部呈现颜色贡献权值较大的任意两个颜色分量的均值与标准差满足以上阈值条件，则给出该测试对象的初步诊断结果：该测试对象有较大概率患有D_T类型疾病。若仅有权值较小的颜色分量满足阈值条件或没有颜色分量满足阈值条件，则该测试对象处于亚健康状态或者濒临患病。

网络通信模块用于比对用户面部颜色信息并链接到健康人面色数据库和病患数据库，获取比对对象面部颜色信息。

实施本发明实施例，具有如下有益效果：本发明能快速准确的进行健康状态初判，具有广泛的应用前景。该自诊断系统可以作为个人家庭的健康诊断助手，医生的辅助判断工具、公司员工日常健康诊断等。

附图说明

图1是人脸68特征点分布示意图；

图2是内脏器官与面部映射区域对应图；

图3是本发明各模块之间的关系图；

图4是面部特征点训练学习模块图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

本发明实施例提供了一种基于面部图像的健康状态诊断系统，包括面部图像采集模块、面部图像处理模块、网络通信模块以及面部特征点训练学习模块；

所述面部图像采集模块采集用户面部图像，图像采集使用高清摄像头，采集面部图像时用户不要化妆且在正常光线条件下即保证一定的光源色温及显色指数，此外，用户的表情保持自然且摘掉眼镜。在基于统计方法获取健康人群面部图像时，应划分年龄范围并在同一个地区进行采集，划分的年龄范围分别为：20～28、29～37、38～45、46～50，限制在同一地区采集图像是由于不同地区人群面部呈现颜色受气候因素影响有差异。

在采集面部图像时，应严格控制光照的影响，通过两种方法完成：基于硬件设施、环境因素的主动控制和基于采集图像的被动控制。其中基于硬件设施的主动控制是指应严格采集设备的硬件参数等确保达到较好的采集效果，而环境因素主要是控制光照环境的影响使采集时光照均匀，同时确保采集背景单一纯净；基于采集图像的被动控制是指在图像采集完成后已无法通过控制采集过程改变采集图像质量，只能通过图像增强算法对图像进行预处理，常见图像预处理手段：直方图均衡化、中值滤波等，有时还需要对人脸增加矫正操作称之为几何归一化，通过矫正使人脸不会在左右方向上发生倾斜。

在采集面部图像时，应保持基本的仪态，具体包含：用户面部禁止化妆，表情保持自然，嘴唇微闭不露牙齿，避免刘海部位头发对眉毛区域造成遮挡。

所述面部图像处理模块，首先基于中医理论和图像分割算法，对面部区域进行划分，然后采用图像算法分割区域，对每个区域进行特征提取，主要是色度信息的提取，提取到用户面部各个区域的信息后，进行信息比对，若与比对对象对应区域的差值超过设定阈值则诊断用户患有相应类型的疾病，即对用户的健康状态做出初步诊断。

所述面部图像处理模块先进行面部区域划分。根据中医理论，五脏六腑在人体面部均有相应的反映区域，通过观察面部不同区域颜色的变化探知人体内脏器官的病变情况。据此，将面部划分为：脸部整体；鼻部区域，具体包括：鼻尖处、鼻翼两侧、鼻梁部位；眼部区域，具体包括：内眼角、下眼睑、眼圈周围区域；眉毛区域，具体为：两眉之间及眉毛上方区域；颧骨区域；嘴唇区域。

为了识别和定位这些区域，使用基于面部特征点的区域定位分割，通过训练标定的人脸特征点使面部区域分割更为准确。在人脸库中，通过一定数量的特征点勾勒出人脸和面部器官轮廓，此处使用68点分割人脸。下面分别介绍面部区域的特征点分割方法。对于脸部整体，通过0～26号特征点平滑连线确定其区域。对于鼻部区域，针对鼻尖部位，以30号特征点为圆心，设定半径为r_{nose_tip}的圆形ROI区域，即为分割的鼻尖区域；针对鼻梁部位，分别以27号特征点、29号特征点作为矩形两条短边的中心点设定宽度为w_{nose_brridge}矩形ROI区域，即为分割的鼻梁区域；针对鼻翼部位，以右鼻翼为例，以31号特征点为圆心，设定半径为r_{rnose_wing}的圆形ROI区域，在该ROI区域内包含鼻孔部分，利用鼻孔与鼻翼灰度值的差异将鼻翼部位分割出来，即为分割的右鼻翼区域，同理，获取左鼻翼区域。

对于眼部区域，针对内眼角部位，分别以42号特征点、39号特征点为圆心，设定半径分别为r_{l_eyecorner}、r_{r_eyecorner}的圆形ROI区域，即为左、右内眼角的分割区域；针对下眼睑部位，由于该部位比较难以准确描述，提出一种曲线拟合方法进行大致描述，以左下眼睑为例，获取42～45号特征点横纵坐标数据，进行曲线拟合，得到目标曲线方程y_leyelid＝f(x)，在人脸连续小区域范围内，颜色灰度值近似保持不变，下眼睑的上、下部位分别为：眼球白色区域、眼皮下方皮肤区域，这两个区域灰度值均值分别记作g_eye、g_skin，二者有明显差异，求取下眼睑曲线上每个点的灰度值，记作cg_leyelid，若满足|cg_leyelid-g_eye|≤|g_skin-cg_leyelid|，表明曲线上该点坐标不属于下眼睑部位，对其进行坐标修正，修正方法为：判断该点坐标的8邻域坐标点是否满足上述不等条件，筛选出不满足条件的点，从这些点中选取离下眼睑曲线最近的点作为更新后的下眼睑曲线坐标点，当曲线上的点遍历完成后更新下眼睑曲线方程y′_leyelid＝f(x′)，该曲线方程所描述的区域即为左下眼睑区域，同理，可求右下眼睑区域；针对眼圈周围部位，则通过椭圆圈定的方式求取其区域，以左眼为例进行表述。求取42号特征点与45号特征点之间的欧氏距离，记作L_laxes，作为椭圆的长轴，分别求取上下眼睑的曲线方程，求取上眼睑曲线最高点与下眼睑曲线最低点间的欧氏距离，记作S_laxes，作为椭圆的短轴，然后根据以上参数设定椭圆ROI区域，将眼圈周围36～41号特征点进行顺次连接得到连通区域，则椭圆区域内部与连通区域外部之间的部分即为做左眼圈周围区域，同理可求右眼圈周围区域。

对于两眉之间及眉毛上方区域，顺次连接19号、21号、22号、24号特征点，设定四边形ROI区域，即为分割的眉毛区域。

对于颧骨区域，颧骨的准确定位较为困难，提出一种近似方法，以右颧骨为例。首先将31号特征点的横坐标在x方向上进行适当偏移，得到新的坐标编号为x31，将39号特征点在的纵坐标在y方向适当偏移，得到新的坐标编号为y39，顺次连接0号、4号、x31号、y39号特征点，得到连通区域。颧骨一般是高耸突出的，受光照影响，该部位灰度梯度较于其他区域变化明显，因此，利用此特征在连通区域内求取灰度梯度最大的点，以该点为圆心，设定半径为r_{r_checkbone}的圆形ROI区域，即为分割的右颧骨区域，左颧骨区域求法同此。

对于嘴唇区域，顺次连接48～60号特征点，形成一个不规则多线条连通区域，在该区域内利用嘴唇与周围皮肤灰度信息的差异进一步将嘴唇分割，得到的区域即为嘴唇区域。

所述面部图像处理模块主要用于提取面部各区域的色度信息。建立正色模型，正色指未患病时面部呈现的颜色，正色模型是基于统计方法建立的，需借助医院体检数据库，选取300～500例健康人，在本专利要求的环境下分别采集面部图像，然后针对每个个体按照本专利设定的ROI区域进行图像分割，分别求取各区域内RGB和YCrCb各颜色分量的均值与方差，并求取所有个体各区域内颜色分量均值和方差的平均值，求取各颜色分量的分布范围，至此，得到正色模型，由于不同地区人群肤色有差异，因此，应选定同一地区的测试人群。建立病色模型，病色指患病时面部呈现的颜色，结合中医理论，描述面部的主体颜色包含：白、红、黄、青、黑；其他颜色由主体颜色衍生而得，具体包含：苍白、浅红、淡黄、偏黄、青紫、乌黑、暗、乌。病色模型的建立同样是基于统计方法，借助医院病患数据库。首先根据面部整体所呈现的颜色分别将患者进行归类，集合C_w、C_r、C_y、C_c、C_b分别存放面部整体呈现偏白、偏红、偏黄、偏青和偏黑的病患，对于面部局部区域颜色异常的病患则依据分割的面部区域进行分类，如：鼻尖泛红、嘴唇青紫等。将眼睛部分、鼻子部分、眉毛部分、嘴唇部分以及颧骨部分颜色异常的分别放入集合Z_eye、Z_nose、Z_eyebrow、Z_lips、Z_checkbone，在该集合中提取颜色异常区域的各颜色分量信息。

所述面部图像处理模块还用于进行特征信息对比，特征信息具体过程为：首先提取并计算测试对象面部各区域颜色分量信息：RGB颜色空间与YCrCb颜色空间的R、G、B、Cr、Cb颜色分量的均值与方差。将测试对象的各颜色分量信息与正色模型中各颜色分量的分布范围相比较，若测试对象各颜色分量的值均落入正色模型对应颜色分量区间内，则判定测试对象为健康状态；若存在颜色分量参数(均值和方差)不满足设定的阈值条件，根据产生偏差的颜色结合中医理论推测测试对象内脏部位可能有病变产生。根据中医理论：当皮肤表面偏白时，可能肺部有疾；当皮肤表面偏红时，可能心脏部位有问题；当皮肤表面偏黄时，脾脏部位可能出现病变；当皮肤表面发青时，肝部可能出现炎症；当皮肤表面发黑时，可能有肾病。然后根据面部各区域与人体脏腑的对应关系：眉毛上方及两眉之间区域对应心脑部位；颧骨区域对应肾脏部位；鼻梁区域对应肺部，鼻翼两侧对应胃部，鼻尖区域对应脾脏；眼圈周围区域对应胸腔、乳房部位；嘴唇区域对应膀胱与生殖系统。经过以上两层的对应联系，可建立颜色偏差与面部区域的映射关系，取出病色模型集合中相同面部区域出现同样颜色偏差的病患对象，计算病患对象相应面部区域内的各颜色分量的均值与方差，统计各颜色分量均值与方差的分布范围，若测试对象各颜色分量的均值与方差位于上述分布范围内，则该测试对象极其可能患有与病患同样的疾病类型，建议测试对象进一步复检以确认。

所述面部特征点训练和学习模块主要用于构建和优化人脸特征点检测器。通过制作样本训练数据集和测试集，设定和调节学习参数，保证足够数量的训练样本，获得通用的人脸特征点检测器；当区域分割效果欠佳时，对相同类型的面部图片进行特征点训练，针对性优化特征点检测器。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims

1.一种基于面部图像的健康状态诊断系统，其特征在于，包括面部图像采集模块、面部图像处理模块以及网络通信模块、所述面部特征点训练学习模块；

所述面部图像采集模块用于获取用户面部图像；

所述面部图像处理模块用于对面部区域进行划分并进一步设定ROI区域，并使用特征点检测模型分割相应区域，对每个区域进行特征提取，提取到用户面部各个区域的信息后，进行特征信息比对，若与比对对象对应区域的差值超过设定阈值则诊断用户患有相应类型的疾病，即对用户的健康状态做出初步诊断；

所述网络通信模块用于比对用户面部颜色信息并链接到健康人面色数据库和病患数据库，获取比对对象面部颜色信息。

所述面部特征点训练学习模块用于优化调整面部特征点检测模型。

2.根据权利要求1所述的基于面部图像的健康状态诊断系统，其特征在于，所述面部图像处理模块通过多级级联的回归树进行关键点回归，通过对样本图片的训练获取人脸位置和特征点位置，训练之后可得到人脸特征点检测器，运用所述人脸特征点检测器对人脸进行检测。

3.根据权利要求2所述的基于面部图像的健康状态诊断系统，其特征在于，所述面部图像处理模块建立有颜色模型，所述颜色模型包括正色模型和病色模型，所述颜色模型分别在RGB和YCrCb颜色空间中提取面部区域的色度信息，然后区域中进一步设定ROI区域，求取各ROI区域的各颜色分量均值和方差。

4.根据权利要求3所述的基于面部图像的健康状态诊断系统，其特征在于，所述面部图像处理模块的特征对比使用提取的比对对象整个或局部的面部区域颜色信息集合C_info-cal与基于统计数据获取的健康人群的对应面部区域颜色信息集合C_info-static进行比较，若颜色信息集合中每个对应颜色分量均满足|C_info_cal-C_info_static|≤T_i,T_i为设定的阈值，i取值为0～9，表明该对象面部区域的颜色信息与健康人接近，该对象的初步诊断结果评定为：健康；若颜色信息集合中存在颜色分量满足|C_info_cal-C_info_static|≥T_i，表明该对象处于不健康状态或可能患有某种疾病，并使用比较判断模型，将不满足阈值条件的颜色分量的均值或标准差取出。

5.根据权利要求4所述的基于面部图像的健康状态诊断系统，其特征在于，所述面部图像处理模块还用于计算每张病患面部图片区域R_D的RGB颜色空间、YCrCb颜色空间的颜色分量的均值与标准差，病患面部颜色信息集合记作C_info_sick，其颜色分量分别记作R′_mean、G′_mean、B′_mean、R′_std、G′_std、B′_std、Cr′_mean、Cb′_mean、Cr′_std、Cb′_std；计算病患面部各颜色分量，并求取各颜色分量的均值，然后与测试对象的颜色偏向集合中对应颜色参量进行比较，若满足|C_info-cal-C__re|≤T_j，则该对象极其可能患有D_T类型疾病，j取值为初步判断中不满足条件的颜色分量个数。

6.根据权利要求5所述的基于面部图像的健康状态诊断系统，其特征在于，所述面部图像处理模块还用于将测试对象面部呈现的颜色信息C_re分解为三个基向量，根据贡献权值设定测试对象与病患面部颜色信息比较的阈值，若对测试对象面部呈现颜色贡献权值较大的任意两个颜色分量的均值与标准差满足以上阈值条件，则给出该测试对象的初步诊断结果。

7.根据权利要求1-6任一项所述的基于面部图像的健康状态诊断系统，其特征在于，所述面部特征点训练学习模块将根据通用的人脸68个关键点训练数据集进行训练，通过不断调整训练策略和调节训练参数，优化当前通用人脸特征点检测器；同时，可根据自己制作的特定对象的68个关键点的训练数据集与测试集生成特定对象的面部特征点检测器，进而优化其面部区域分割效果。