CN107085654B - 基于人脸图像的健康分析方法及装置 - Google Patents

Abstract

本发明公开了一种基于人脸图像的健康分析方法，包括：获取待处理的人脸图像；识别所述人脸图像所对应的用户以及该用户的当前表情；判断所述用户的当前表情是否为平静表情；当所述用户的当前表情为平静表情时，基于所述人脸图像与预置病症特征库，对所述用户进行健康分析并输出所述健康分析结果。本发明还公开了一种基于人脸图像的健康分析装置。本发明可解决用户脸部表情对健康分析过程中的干扰，提升健康分析结果的准确性。

Description

基于人脸图像的健康分析方法及装置

技术领域

本发明涉及图像分析技术领域，尤其涉及基于人脸图像的健康分析方法及装置。

背景技术

随着智能手机的普及，用户使用智能手机进行自拍已几乎成为用户每天必干的事情之一，并且大多数都是自拍，这为通过人脸图像识别来分析用户的健康状况提供了技术可能。

通常，用户自拍过程中或多或少可能都会带有情绪，进而会影响到人脸图像的特征表现，而现有技术中，在通过用户自拍图像进行用户健康状况分析时，并未考虑此类因素对于分析结果的干扰，从而存在分析偏差而导致分析结果的准确率不高，同时也大大降低了通过人脸识别分析用户健康这一技术的实用性。

发明内容

本发明的主要目的在于提供一种基于人脸图像的健康分析方法，旨在解决用户脸部表情对健康分析过程中的干扰，提升健康分析结果的准确性的技术问题。

为实现上述目的，本发明提供一种基于人脸图像的健康分析方法，所述健康分析方法包括：

获取待处理的人脸图像；

识别所述人脸图像所对应的用户以及该用户的当前表情；

判断所述用户的当前表情是否为平静表情；

当所述用户的当前表情为平静表情时，基于所述人脸图像与预置病症特征库，对所述用户进行健康分析并输出所述健康分析结果。

优选地，所述判断所述用户的当前表情是否为平静表情之后，所述健康分析方法还包括：

当所述用户的当前表情为非平静表情时，对所述人脸图像进行平静表情还原处理，并基于所述还原处理后的所述人脸图像与所述病症特征库，对所述用户进行健康分析并输出所述健康分析结果。

优选地，所述获取待处理的人脸图像之前包括：

获取待识别图像，并对所述待识别图像进行白平衡校准；

根据预设识别规则，确定白平衡校准后的所述待识别图像的视角角度，并判断所述视角角度是否在预设角度阈值内；

若是，则将所述待识别图像设定为待处理的人脸图像。

优选地，在所述获取待识别图像之前，所述健康分析方法还包括：

根据多张全角度下的用户头部图像，建立用户人脸3D模型；和/或，

将面部病症样本的影像表现进行参数化以进行病症样本学习，并将病症样本学习所得影像参数保存至所述病症特征库中，以供进行病症特征匹配；

其中，所述用户人脸3D模型中包括多种人脸细节特征参数，所述人脸细节特征参数至少包括面部轮廓线条长宽、器官颜色、器官纹理、器官长宽以及各器官之间的相对位置；所述病症样本学习至少包括单器官病症样本学习、单病症多器官样本学习、多病症多器官样本学习中的一种或多种。

优选地，所述健康分析方法还包括：

获取所述用户的历史表情识别记录；

根据所述历史表情识别记录，对所述用户进行心理健康分析并输出所述心理健康分析结果。

优选地，所述当所述用户的当前表情为平静表情时，基于所述人脸图像与预置病症特征库，对所述用户进行健康分析并输出所述健康分析结果包括：

当所述用户的当前表情为平静表情时，基于所述人脸图像与预置病症特征库，依次采用单器官病症特征匹配、单病症多器官特征匹配以及多病症多器官特征匹配，对所述用户进行健康分析并输出所述健康分析结果。

进一步地，为实现上述目的，本发明还提供一种基于人脸图像的健康分析装置，所述健康分析装置包括：

获取模块，用于获取待处理的人脸图像；

识别模块，用于识别所述人脸图像所对应的用户以及该用户的当前表情；

判断模块，用于判断所述用户的当前表情是否为平静表情；

分析模块，用于当所述用户的当前表情为平静表情时，基于所述人脸图像与预置病症特征库，对所述用户进行健康分析并输出所述健康分析结果。

优选地，所述健康分析装置还包括：表情还原模块；

所述表情还原模块用于：当所述用户的当前表情为非平静表情时，对所述人脸图像进行平静表情还原处理；

所述分析模块还用于：基于所述还原处理后的所述人脸图像与所述病症特征库，对所述用户进行健康分析并输出所述健康分析结果。

优选地，所述健康分析装置还包括：

校准模块，用于获取待识别图像，并对所述待识别图像进行白平衡校准；

确定模块，用于根据预设识别规则，确定白平衡校准后的所述待识别图像的视角角度，并判断所述视角角度是否在预设角度阈值内；

设定模块，用于当所述视角角度在所述预设角度阈值内时，将所述待识别图像设定为待处理的人脸图像。

优选地，所述健康分析装置还包括：

人脸建模模块，用于根据多张全角度下的用户头部图像，建立用户人脸3D模型；

病症学习模块，用于将面部病症样本的影像表现进行参数化以进行病症样本学习，并将病症样本学习所得影像参数保存至所述病症特征库中，以供进行病症特征匹配；

其中，所述用户人脸3D模型中包括多种人脸细节特征参数，所述人脸细节特征参数至少包括面部轮廓线条长宽、器官颜色、器官纹理、器官长宽以及各器官之间的相对位置；所述病症样本学习至少包括单器官病症样本学习、单病症多器官样本学习、多病症多器官样本学习中的一种或多种。

优选地，所述获取模块还用于：获取所述用户的历史表情识别记录；

所述分析模块还用于：根据所述历史表情识别记录，对所述用户进行心理健康分析并输出所述心理健康分析结果。

优选地，所述分析模块具体用于：

当所述用户的当前表情为平静表情时，基于所述人脸图像与预置病症特征库，依次采用单器官病症特征匹配、单病症多器官特征匹配以及多病症多器官特征匹配，对所述用户进行健康分析并输出所述健康分析结果。

本发明中，在获取到待处理的人脸图像时，先识别出人脸图像所对应的用户，进而可在考虑用户脸部特点(比如脸部胖瘦)的基础上进行健康分析，从而提升分析结果的准确性，同时还进一步识别出用户的当前表情，从而避免非平静表情对健康分析的干扰，并进一步提升健康分析的准确性。

附图说明

图1为本发明基于人脸图像的健康分析方法第一实施例的流程示意图；

图2为本发明基于人脸图像的健康分析方法第二实施例的流程示意图；

图3为本发明基于人脸图像的健康分析方法第三实施例的流程示意图；

图4为本发明基于人脸图像的健康分析方法第四实施例的流程示意图；

图5为本发明基于人脸图像的健康分析装置第一实施例的功能模块示意图；

图6为本发明基于人脸图像的健康分析装置第二实施例的功能模块示意图；

图7为本发明基于人脸图像的健康分析装置第三实施例的功能模块示意图；

图8为本发明基于人脸图像的健康分析装置第四实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明基于人脸图像的健康分析方法第一实施例的流程示意图。本实施例中，健康分析方法包括：

步骤S110，获取待处理的人脸图像；

本实施例中，对于待处理人脸图像的获取方式不限，比如直接获取拍照设备(比如手机)拍摄的自拍图片，或者直接接收拍照设备所上传的自拍图片等。当然也可以是直接从拍照设备所对应的存储设备中获取，本实施例具体根据实际需要进行设置。

步骤S120，识别人脸图像所对应的用户以及该用户的当前表情；

本实施例中，由于同一健康分析装置存在多人使用的场景，同时也基于每一个人不同的脸型特征，因此，本实施例中识别出人脸图像所对应的用户(比如用户名或用户ID等)，从而便于建立不同用户的健康档案，同时在健康分析过程中，也便于基于用户个人的独特脸型特征(比如偏胖、偏瘦)进行健康分析，进而可进一步提升分析结果的准确性。

此外，本实施例中进一步分析人脸图像所对应的表情，比如愤怒、微笑、平静等，进而避免非平静表情(比如愤怒、微笑)对基于人脸图像的健康分析的干扰。本实施例对于识别用户表情的方式不限，比如表情识别可以采用基于人脸3D模型的方式进行识别，从而识别出如愤怒表情、微笑表情、平静表情等。

步骤S130，判断用户的当前表情是否为平静表情；

步骤S140，当用户的当前表情为平静表情时，基于人脸图像与预置病症特征库，对用户进行健康分析并输出健康分析结果。

本实施例中，考虑到非平静表情会对人脸的图像特征造成干扰，因此，本实施例仅对平静表情下的人脸图像进行健康分析，具体基于人脸图像的图像特征与预置病症特征库中病症的图像特征进行匹配来进行健康分析，从而得到用户的健康分析结果。例如，用户的人脸图像包含图像特征1、2，而病症A所表现出的图像特征中也包含图像特征1、2，则可以确定用户当前具有病症A的特征，从而可得出用户A患有病症A。

进一步可选的，在本发明另一实施例中，为提升健康分析结果的准确与全面性，也可进一步增加多个图像特征的比对，同时还可以综合单个器官的图像特征比对、多个器官的图像特征比对，以提升本发明的适用范围。具体基于人脸图像与预置病症特征库，依次采用单器官病症特征匹配、单病症多器官特征匹配以及多病症多器官特征匹配，对用户进行健康分析，其中，用户健康分析具体通过病症匹配进行分析，具体包括三层匹配分析：

第一层：单器官病症的特征匹配分析。这是最低层次的病症匹配，首先从用户人脸图像中定位出用户的面部器官，例如眼部，然后抽取眼部的特征参数，最后再进行常见眼科疾病的特征参数匹配。如此，逐一定位出用户面部的所有器官并进行特征参数比对；

第二层：单病症多器官的特征匹配分析。这一阶段需要将多个器官联合起来进行分析，具体将用户面部多个器官的特征参数以及器官间的参数(比如各器官间的相对位置)，与预置病症特征库中的单病症多器官特征进行特征参数比对；

第三层：多病症多器官的特征匹配分析。继续将用户面部多个器官的特征参数与预置病症特征库中的多病症多器官特征进行特征参数比对，从而可得出一些交叉病、综合症状的比对结果。通过上述三层匹配分析，不仅能够发现用户局部的病变，而且能够发现用户全局的病变或一些复杂病症。

本实施例对于非平静表情的处理方式不限，具体根据实际需要进行设置。本实施例中，在获取到待处理的人脸图像时，先识别出人脸图像所对应的用户，进而可在考虑用户脸部特点(比如脸部胖瘦)的基础上进行健康分析，从而提升分析结果的准确性，同时还进一步识别出用户的当前表情，从而避免非平静表情对健康分析的干扰，并进一步提升健康分析的准确性。

参照图2，图2为本发明基于人脸图像的健康分析方法第二实施例的流程示意图。基于上述方法第一实施例，本实施例中，上述步骤S130之后包括：

步骤S150，当用户的当前表情为非平静表情时，对人脸图像进行平静表情还原处理，并基于还原处理后的人脸图像与病症特征库，对用户进行健康分析并输出健康分析结果。

为避免重新获取平静表情下的人脸图像的繁琐过程，因此，本实施例直接对非平静表情进行表情还原处理，从而将非平静表情还原为平静表情。

本实施例中，表情还原处理可采用如下步骤：1)根据当前表情的识别结果，得到表情识别结果所对应的人脸3D模型参数；2)获取平静表情所对应的人脸3D模型参数；3)基于人脸3D模型，进行参数变换及细节调整，得到还原处理后的平静表情。

本实施例中，通过表情还原处理，不仅避免了重新获取平静表情的繁琐，同时，采用平静表情进行健康分析可进一步提升结果的准确率。

参照图3，图3为本发明基于人脸图像的健康分析方法第三实施例的流程示意图。本实施例中，上述步骤S110之前包括：

步骤S10，获取待识别图像，并对待识别图像进行白平衡校准；

步骤S20，根据预设识别规则，确定白平衡校准后的待识别图像的视角角度，并判断视角角度是否在预设角度阈值内；

步骤S30，若是，则将待识别图像设定为待处理的人脸图像。

本实施例中，优选采用动态阈值算法进行白平衡校准，具体包括两个处理步骤：白点检测与白点调整。白平衡校准主要是去除不同光照对后续识别检测的准确性干扰，特别是颜色值的干扰。

(1)白点检测

1.1为了增强算法的鲁棒性，优选将人脸图像分成12部分，且宽高比优选为4∶3；

1.2计算每个区域的C_b、C_r分量的平均值M_b、M_r；

1.3按下式计算每个区域的C_b、C_r分量的绝对差的累积值D_b、D_r：

上式中N为每个区域的像素数。

1.4如果D_b、D_r的值偏小，则我们忽略这一块区域，因为这表明这一块区域的颜色分布比较均匀；

1.5统计对于除了符合第四条的其他区域的M_b、M_r、D_b、D_r的平均值作为整幅图像的M_b、M_r、D_b、D_r值；

1.6按下述规则初步确定哪些点是属于白色参考点：

|C_b(i，j)-(M_b+D_b×sign(M_b|＜1.5×D_b

|C_r(i，j)-(1.5×M_r+D_r×sign(M_r))|＜1.5×D_r

1.7对于初步判断已经属于白色参考点的像素，按大小取其亮度值为前10％的为最终确定的白色参考点。

(2)白点调整

2.1计算白色参考点亮度值的平均值R_aver、G_aver、B_aver(各通道分开计算)；

2.2按照以下各式计算每个通道的增益：

R_gain＝Y_max/R_avew G_gain＝Y_max/G_avew B_gain＝Y_max/B_avew

上式中，Y_max就是YCbCr颜色空间中Y分量的在整幅图像中的最大值。

2.3按照以下各式计算最终每个通道的颜色值：

R'＝R×R_gain G′＝G×G_gain B′＝B×B_gain

上式中，R、G、B为在原始的颜色空间中的值。

此外，鉴于用户通过拍照设备拍摄人脸图像时的角度可能会影响人脸图像的视角角度，进而对健康分析结果产生干扰，因此，本实施例中，需要识别并确定白平衡校准后的待识别图像的视角角度，具体识别规则不限。

例如，从待识别图像全局的轮廓、大色块进行识别，进而判断出待识别图像的视角角度。比如根据待识别图像色彩中黄色(面部颜色)与黑色(头发颜色)的占比，即可以初步区分出人的正脸、侧脸以及头部背面，并可进一步根据轮廓线条特征来确定视角角度，并判断视角角度是否在预设角度阈值内，比如将水平正脸所对应的视角角度设为零度，则可将水平(-30°，30°)，垂直(-30°，30°)设置为角度阈值，若在该阈值内，则确定当前待识别图像适合进行健康分析，也即对应为正脸或侧脸，因而可进一步将当前的待识别图像设定为待处理的人脸图像，以方便进行后续健康分析处理。

进一步可选的，在本发明基于人脸图像的健康分析方法一实施例中，由于基于人脸图像的健康分析需要预先保存用户的相貌特征信息，同时预先保存多种常见的面部病症的图像特征信息，因此，如果是待检查的用户发生变化，或者如果用户的病症没有记载于预置病症特征库中，则无法进行健康分析或者分析结果不准确。

因此，本实施例中，可临时增加新用户的相貌特征和/或新的病症特征，从而扩大健康分析的适用范围及使用场景。

(1)个人参数建模，具体根据多张全角度下的用户头部图像，建立用户人脸3D模型；

个人参数建模是根据该用户个人的图像数据进行3D建模，因为每个人的脸部特征不一样，所以需要进行区分对待才能够提升健康分析的准确性，具体步骤如下：

步骤1：全角度拍照。全角度拍照可以采用手机拍摄多个角度的图片，其目标是要覆盖人脸正前方视角、左侧面视角、右侧面视角、顶部视角、后视角，并具体根据相机的视角宽度而拍摄的数量会有不同。为了让数据更加准确，可以重复进行多次拍摄并录入。比如，1)正前方平静表情下录入3次；2)左侧脸平静表情录入3次；3)右侧脸平静表情下录入3次；4)背面录入1次；5)顶部录入1次，且所有拍照录入需要按照顺序进行。

步骤2：图片拟合。该步骤需要将步骤1的各个分散的照片进行系统编排、拟合。其具体步骤为：1)标定和排序，首先需要确保用户的录入顺序是正确的，然后对每一照片进行标定其序号和视角，例如正面_1，正面_2，右侧_1等；2)多角度多轮拟合。因为每个角度都录入了3张图片，背面和顶部没那么重要的则保证了至少一张；因此可以选取正面_1、左侧_1、右侧_1、顶部、背面进行一轮拟合，拟合需要去除视角重合层，同时需要填充视角缝隙。如果重合和缝隙的比例过大，则说明该轮拟合效果不佳，则重新选取正面_2、左侧_1、右侧_1、顶部、背面进行下一轮拟合，如此依次进行而可以组合出27轮拟合。然后对每一次的拟合效果进行评价，评价标准为重叠面积和缝隙面积越小越好，进而可从27轮拟合中选取最优拟合。

步骤3：用户人脸3D模型建立。具体以现有人脸3D模型为基础，并增加人脸细节参数。现有人脸3D建模是根据三角形面加贴图来实现的。本实施例支持三角形面来构建3D模型，同时替换掉贴图环节，而是采用人脸细节特征参数构建，人脸细节特征参数具体包括面部轮廓参数、单器官参数、多器官间参数。面部轮廓参数包含面部轮廓线条长宽；单器官参数包括器官颜色参数、器官纹理参数、器官长宽；多器官间参数包含各器官的相对位置，比如眼睛分别与鼻子、嘴巴、眉毛等的相对位置。

(2)病症样本学习，具体将面部病症样本的影像表现进行参数化以进行病症样本学习，并将病症样本学习所得影像参数保存至病症特征库中，以供进行病症特征匹配；本实施例中，病症样本学习至少包括单器官病症样本学习、单病症多器官样本学习、多病症多器官样本学习中的一种或多种。

本实施例的病症样本学习不仅丰富了更多的参数，单个器官病症识别更加准确，而且还提出了单病症多器官和多病症多器官的学习，让病症样本学习更加系统性，提高病症识别的准确度，也更加支持更复杂的病症识别。具体步骤如下：

步骤1：单器官病症样本学习。单器官常见病例样本学习是病症库的基础级别的样本学习。例如常见的眼科疾病：麦粒肿、睑缘炎、结膜炎、青光眼，并对上述病症的图片特征进行学习，样本的特征学习包括对病症的位置、面积、纹理、轮廓、颜色值、尺寸的学习。例如麦粒肿表现为眼睑局部性红肿，有小硬结，毛囊根部出现脓头，图片特征的结果就是将病症图片的影像表现参数化，即将其病症的位置、面积、纹理、轮廓、颜色值、尺寸进行参数化，同时以此类推，将面部其他单器官疾病的影像表现特征逐一学习，可以反复学习不断的提高其特征准确性。

步骤2：单病症多器官样本学习。该类样本学习是比单器官学习更为高层次的样本学习。由于有些疾病影响到的是多个器官的表现，所以需要将多个器官的表现特征联合起来看待。例如一个典型的病症：生活不规律、身体透支导致的亚健康状态。该类病症的面部表现可能是多器官的，例如面部肤色黯淡无光、眼部周围黑眼圈，眼睛充血丝、甚至发际线的变更等。这种判定需要对多个器官的特征表现联合起来学习。单病症多器官样本学习所得影像参数采用单独的数据表进行存储，以加快后期识别效率。

步骤3：多病症多器官样本学习。这类样本学习为高级的学习层次。考虑到用户可能同时患有多种疾病，而这些疾病的共同反应会影响到多个器官的不同影像表现，因此在步骤1、步骤2的基础上做出多病症多器官样本学习。多病症多器官样本学习所得影像参数亦采用单独的数据表进行存储，以加快后期识别的效率。

本实施例中，提出全角度拍照然后拟合的方法构建用户3D人脸模型，由于增加了人脸细节参数，因此该模型不仅能够方便后续的识别过程，而且能够处理复杂表情的转换，比如将非平静表情转换为平静表情。此外，病症样本学习是分三个层次进行的，通过此类方式不仅可以识别一些局部病症，同时也更能够处理一些涉及到多个器官病变的情形，提升健康分析方案的适用性。

进一步地，参照图4，图4为本发明基于人脸图像的健康分析方法第四实施例的流程示意图。本发明健康分析方法还包括：

步骤S210，获取用户的历史表情识别记录；

步骤S220，根据历史表情识别记录，对用户进行心理健康分析并输出心理健康分析结果。

本实施例中，在对待处理的人脸图像进行表情识别时，保存每一次的表情识别结果，以供长期跟踪用户的情绪状态变化，从而可通过对用户表情的识别而分析其心理健康状况，并输出心理健康分析结果，若存在心理健康问题则还可以进一步给出具体治疗意见。

参照图5，图5为本发明基于人脸图像的健康分析装置第一实施例的功能模块示意图。本实施例中，健康分析装置包括：

获取模块110，用于获取待处理的人脸图像；

本实施例中，对于待处理人脸图像的获取方式不限，比如直接获取拍照设备(比如手机)拍摄的自拍图片，或者直接接收拍照设备所上传的自拍图片等。当然也可以是直接从拍照设备所对应的存储设备中获取，本实施例具体根据实际需要进行设置。

识别模块120，用于识别人脸图像所对应的用户以及该用户的当前表情；

本实施例中，由于同一健康分析装置存在多人使用的场景，同时也基于每一个人不同的脸型特征，因此，本实施例中识别出人脸图像所对应的用户(比如用户名或用户ID等)，从而便于建立不同用户的健康档案，同时在健康分析过程中，也便于基于用户个人的独特脸型特征(比如偏胖、偏瘦)进行健康分析，进而可进一步提升分析结果的准确性。

此外，本实施例中进一步分析人脸图像所对应的表情，比如愤怒、微笑、平静等，进而避免非平静表情(比如愤怒、微笑)对基于人脸图像的健康分析的干扰。本实施例对于识别用户表情的方式不限，比如表情识别可以采用基于人脸3D模型的方式进行识别，从而识别出如愤怒表情、微笑表情、平静表情等。

判断模块130，用于判断用户的当前表情是否为平静表情；

分析模块140，用于当用户的当前表情为平静表情时，基于人脸图像与预置病症特征库，对用户进行健康分析并输出健康分析结果。

本实施例中，考虑到非平静表情会对人脸的图像特征造成干扰，因此，本实施例仅对平静表情下的人脸图像进行健康分析，具体基于人脸图像的图像特征与预置病症特征库中病症的图像特征进行匹配来进行健康分析，从而得到用户的健康分析结果。例如，用户的人脸图像包含图像特征1、2，而病症A所表现出的图像特征中也包含图像特征1、2，则可以确定用户当前具有病症A的特征，从而可得出用户A患有病症A。

此外，进一步可选的，在本发明另一实施例中，为提升健康分析结果的准确与全面性，也可进一步增加多个图像特征的比对，同时还可以综合单个器官的图像特征比对、多个器官的图像特征比对，以提升本发明的适用范围。具体基于人脸图像与预置病症特征库，依次采用单器官病症特征匹配、单病症多器官特征匹配以及多病症多器官特征匹配，对用户进行健康分析，其中，用户健康分析具体通过病症匹配进行分析，具体包括三层匹配分析：

第一层：单器官病症的特征匹配分析。这是最低层次的病症匹配，首先从用户人脸图像中定位出用户的面部器官，例如眼部，然后抽取眼部的特征参数，最后再进行常见眼科疾病的特征参数匹配。如此，逐一定位出用户面部的所有器官并进行特征参数比对；

第二层：单病症多器官的特征匹配分析。这一阶段需要将多个器官联合起来进行分析，具体将用户面部多个器官的特征参数以及器官间的参数(比如各器官间的相对位置)，与预置病症特征库中的单病症多器官特征进行特征参数比对；

第三层：多病症多器官的特征匹配分析。继续将用户面部多个器官的特征参数与预置病症特征库中的多病症多器官特征进行特征参数比对，从而可得出一些交叉病、综合症状的比对结果。通过上述三层匹配分析，不仅能够发现用户局部的病变，而且能够发现用户全局的病变或一些复杂病症。

本实施例对于非平静表情的处理方式不限，具体根据实际需要进行设置。本实施例中，在获取到待处理的人脸图像时，先识别出人脸图像所对应的用户，进而可在考虑用户脸部特点(比如脸部胖瘦)的基础上进行健康分析，从而提升分析结果的准确性，同时还进一步识别出用户的当前表情，从而避免非平静表情对健康分析的干扰，并进一步提升健康分析的准确性。

参照图6，图6为本发明基于人脸图像的健康分析装置第二实施例的功能模块示意图。本实施例中，健康分析装置还包括：表情还原模块150；

表情还原模块150用于：当用户的当前表情为非平静表情时，对人脸图像进行平静表情还原处理；

分析模块140还用于：基于还原处理后的人脸图像与病症特征库，对用户进行健康分析并输出健康分析结果。

为避免重新获取平静表情下的人脸图像的繁琐过程，因此，本实施例直接对非平静表情进行表情还原处理，从而将非平静表情还原为平静表情。

本实施例中，表情还原处理可采用如下步骤：1)根据当前表情的识别结果，得到表情识别结果所对应的人脸3D模型参数；2)获取平静表情所对应的人脸3D模型参数；3)基于人脸3D模型，进行参数变换及细节调整，得到还原处理后的平静表情。

本实施例中，通过表情还原处理，不仅避免了重新获取平静表情的繁琐，同时，采用平静表情进行健康分析可进一步提升结果的准确率。

参照图7，图7为本发明基于人脸图像的健康分析装置第三实施例的功能模块示意图。本实施例中，健康分析装置还包括：

校准模块160，用于获取待识别图像，并对待识别图像进行白平衡校准；

确定模块170，用于根据预设识别规则，确定白平衡校准后的待识别图像的视角角度，并判断视角角度是否在预设角度阈值内；

设定模块180，用于当视角角度在预设角度阈值内时，将待识别图像设定为待处理的人脸图像。

本实施例中，校准模块160优选采用动态阈值算法进行白平衡校准，具体包括两个处理步骤：白点检测与白点调整。白平衡校准主要是去除不同光照对后续识别检测的准确性干扰，特别是颜色值的干扰。

此外，鉴于用户通过拍照设备拍摄人脸图像时的角度可能会影响人脸图像的视角角度，进而对健康分析结果产生干扰，因此，本实施例中，需要识别并确定白平衡校准后的待识别图像的视角角度，具体识别规则不限。

例如，从待识别图像全局的轮廓、大色块进行识别，进而判断出待识别图像的视角角度。比如根据待识别图像色彩中黄色(面部颜色)与黑色(头发颜色)的占比，即可以初步区分出人的正脸、侧脸以及头部背面，并可进一步根据轮廓线条特征来确定视角角度，并判断视角角度是否在预设角度阈值内，比如将水平正脸所对应的视角角度设为零度，则可将水平(-30°，30°)，垂直(-30°，30°)设置为角度阈值，若在该阈值内，则确定模块170确定当前待识别图像适合进行健康分析，也即对应为正脸或侧脸，因而设定模块180可进一步将当前的待识别图像设定为待处理的人脸图像，以方便进行后续健康分析处理。

参照图8，图8为本发明基于人脸图像的健康分析装置第四实施例的功能模块示意图。健康分析装置还包括：

人脸建模模块210，用于根据多张全角度下的用户头部图像，建立用户人脸3D模型；

个人参数建模是根据该用户个人的图像数据进行3D建模，因为每个人的脸部特征不一样，所以需要进行区分对待才能够提升健康分析的准确性，具体步骤如下：

步骤1：全角度拍照。全角度拍照可以采用手机拍摄多个角度的图片，其目标是要覆盖人脸正前方视角、左侧面视角、右侧面视角、顶部视角、后视角，并具体根据相机的视角宽度而拍摄的数量会有不同。为了让数据更加准确，可以重复进行多次拍摄并录入。比如，1)正前方平静表情下录入3次；2)左侧脸平静表情录入3次；3)右侧脸平静表情下录入3次；4)背面录入1次；5)顶部录入1次，且所有拍照录入需要按照顺序进行。

步骤2：图片拟合。该步骤需要将步骤1的各个分散的照片进行系统编排、拟合。其具体步骤为：1)标定和排序，首先需要确保用户的录入顺序是正确的，然后对每一照片进行标定其序号和视角，例如正面_1，正面_2，右侧_1等；2)多角度多轮拟合。因为每个角度都录入了3张图片，背面和顶部没那么重要的则保证了至少一张；因此可以选取正面_1、左侧_1、右侧_1、顶部、背面进行一轮拟合，拟合需要去除视角重合层，同时需要填充视角缝隙。如果重合和缝隙的比例过大，则说明该轮拟合效果不佳，则重新选取正面_2、左侧_1、右侧_1、顶部、背面进行下一轮拟合，如此依次进行而可以组合出27轮拟合。然后对每一次的拟合效果进行评价，评价标准为重叠面积和缝隙面积越小越好，进而可从27轮拟合中选取最优拟合。

步骤3：用户人脸3D模型建立。具体以现有人脸3D模型为基础，并增加人脸细节参数。现有人脸3D建模是根据三角形面加贴图来实现的。本实施例支持三角形面来构建3D模型，同时替换掉贴图环节，而是采用人脸细节特征参数构建，人脸细节特征参数具体包括面部轮廓参数、单器官参数、多器官间参数。面部轮廓参数包含面部轮廓线条长宽；单器官参数包括器官颜色参数、器官纹理参数、器官长宽；多器官间参数包含各器官的相对位置，比如眼睛分别与鼻子、嘴巴、眉毛等的相对位置。

病症学习模块220，用于将面部病症样本的影像表现进行参数化以进行病症样本学习，并将病症样本学习所得影像参数保存至病症特征库中，以供进行病症特征匹配；

具体将面部病症样本的影像表现进行参数化以进行病症样本学习，并将病症样本学习所得影像参数保存至病症特征库中，以供进行病症特征匹配；本实施例中，病症样本学习至少包括单器官病症样本学习、单病症多器官样本学习、多病症多器官样本学习中的一种或多种。

本实施例的病症样本学习不仅丰富了更多的参数，单个器官病症识别更加准确，而且还提出了单病症多器官和多病症多器官的学习，让病症样本学习更加系统性，提高病症识别的准确度，也更加支持更复杂的病症识别。具体步骤如下：

步骤1：单器官病症样本学习。单器官常见病例样本学习是病症库的基础级别的样本学习。例如常见的眼科疾病：麦粒肿、睑缘炎、结膜炎、青光眼，并对上述病症的图片特征进行学习，样本的特征学习包括对病症的位置、面积、纹理、轮廓、颜色值、尺寸的学习。例如麦粒肿表现为眼睑局部性红肿，有小硬结，毛囊根部出现脓头，图片特征的结果就是将病症图片的影像表现参数化，即将其病症的位置、面积、纹理、轮廓、颜色值、尺寸进行参数化，同时以此类推，将面部其他单器官疾病的影像表现特征逐一学习，可以反复学习不断的提高其特征准确性。

步骤2：单病症多器官样本学习。该类样本学习是比单器官学习更为高层次的样本学习。由于有些疾病影响到的是多个器官的表现，所以需要将多个器官的表现特征联合起来看待。例如一个典型的病症：生活不规律、身体透支导致的亚健康状态。该类病症的面部表现可能是多器官的，例如面部肤色黯淡无光、眼部周围黑眼圈，眼睛充血丝、甚至发际线的变更等。这种判定需要对多个器官的特征表现联合起来学习。单病症多器官样本学习所得影像参数采用单独的数据表进行存储，以加快后期识别效率。

步骤3：多病症多器官样本学习。这类样本学习为高级的学习层次。考虑到用户可能同时患有多种疾病，而这些疾病的共同反应会影响到多个器官的不同影像表现，因此在步骤1、步骤2的基础上做出多病症多器官样本学习。多病症多器官样本学习所得影像参数亦采用单独的数据表进行存储，以加快后期识别的效率。

本实施例中，提出全角度拍照然后拟合的方法构建用户3D人脸模型，由于增加了人脸细节参数，因此该模型不仅能够方便后续的识别过程，而且能够处理复杂表情的转换，比如将非平静表情转换为平静表情。此外，病症样本学习是分三个层次进行的，通过此类方式不仅可以识别一些局部病症，同时也更能够处理一些涉及到多个器官病变的情形，提升健康分析方案的适用性。

进一步可选的，在本发明基于人脸识别的健康分析装置一实施例中，获取模块110还用于：获取用户的历史表情识别记录；分析模块140还用于：根据历史表情识别记录，对用户进行心理健康分析并输出心理健康分析结果。

本实施例中，在对待处理的人脸图像进行表情识别时，保存每一次的表情识别结果，以供长期跟踪用户的情绪状态变化，从而可通过对用户表情的识别而分析其心理健康状况，并输出心理健康分析结果，若存在心理健康问题则还可以进一步给出具体治疗意见。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于人脸图像的健康分析方法，其特征在于，所述健康分析方法包括：

获取待识别图像，并对所述待识别图像进行包含白点检测和白点调整处理步骤的白平衡校准；

根据预设识别规则，确定白平衡校准后的所述待识别图像的视角角度，并判断所述视角角度是否在预设角度阈值内；

若是，则将所述待识别图像设定为待处理的人脸图像；

获取待处理的人脸图像；

识别所述人脸图像所对应的用户以及该用户的当前表情；

判断所述用户的当前表情是否为平静表情；

当所述用户的当前表情为非平静表情时，根据当前表情的识别结果，得到表情识别结果所对应的人脸3D模型参数；获取平静表情所对应的人脸3D模型参数；基于人脸3D模型，进行参数变换及细节调整，得到还原处理后的平静表情；

当所述用户的当前表情为平静表情时，基于所述人脸图像或所述还原处理后的所述人脸图像与预置病症特征库，依次采用单器官病症特征匹配、单病症多器官特征匹配以及多病症多器官特征匹配，对所述用户进行健康分析并输出所述健康分析结果。

2.如权利要求1所述的健康分析方法，其特征在于，在所述获取待识别图像之前，所述健康分析方法还包括：

根据多张全角度下的用户头部图像，建立用户人脸3D模型；和/或，

将面部病症样本的影像表现进行参数化以进行病症样本学习，并将病症样本学习所得影像参数保存至所述病症特征库中，以供进行病症特征匹配；

其中，所述用户人脸3D模型中包括多种人脸细节特征参数，所述人脸细节特征参数至少包括面部轮廓线条长宽、器官颜色、器官纹理、器官长宽以及各器官之间的相对位置；所述病症样本学习至少包括单器官病症样本学习、单病症多器官样本学习、多病症多器官样本学习中的一种或多种。

3.如权利要求1所述的健康分析方法，其特征在于，所述健康分析方法还包括：

获取所述用户的历史表情识别记录；

根据所述历史表情识别记录，对所述用户进行心理健康分析并输出所述心理健康分析结果。

4.如权利要求1所述的健康分析方法，其特征在于，所述当所述用户的当前表情为平静表情时，基于所述人脸图像与预置病症特征库，对所述用户进行健康分析并输出所述健康分析结果包括：

当所述用户的当前表情为平静表情时，基于所述人脸图像与预置病症特征库，依次采用单器官病症特征匹配、单病症多器官特征匹配以及多病症多器官特征匹配，对所述用户进行健康分析并输出所述健康分析结果。

5.一种基于人脸图像的健康分析装置，其特征在于，所述健康分析装置包括：

校准模块，用于获取待识别图像，并对所述待识别图像进行包含白点检测和白点调整处理步骤的白平衡校准；

确定模块，用于根据预设识别规则，确定白平衡校准后的所述待识别图像的视角角度，并判断所述视角角度是否在预设角度阈值内；

设定模块，用于当所述视角角度在所述预设角度阈值内时，将所述待识别图像设定为待处理的人脸图像；

获取模块，用于获取待处理的人脸图像；

识别模块，用于识别所述人脸图像所对应的用户以及该用户的当前表情；

判断模块，用于判断所述用户的当前表情是否为平静表情；

表情还原模块，用于当所述用户的当前表情为非平静表情时，根据当前表情的识别结果，得到表情识别结果所对应的人脸3D模型参数；获取平静表情所对应的人脸3D模型参数；基于人脸3D模型，进行参数变换及细节调整，得到还原处理后的平静表情；

分析模块，用于当所述用户的当前表情为平静表情时，基于所述人脸图像与预置病症特征库，依次采用单器官病症特征匹配、单病症多器官特征匹配以及多病症多器官特征匹配，对所述用户进行健康分析并输出所述健康分析结果；还用于基于所述还原处理后的所述人脸图像与所述病症特征库，对所述用户进行健康分析并输出所述健康分析结果。

6.如权利要求5所述的健康分析装置，其特征在于，所述健康分析装置还包括：

人脸建模模块，用于根据多张全角度下的用户头部图像，建立用户人脸3D模型；

病症学习模块，用于将面部病症样本的影像表现进行参数化以进行病症样本学习，并将病症样本学习所得影像参数保存至所述病症特征库中，以供进行病症特征匹配；

其中，所述用户人脸3D模型中包括多种人脸细节特征参数，所述人脸细节特征参数至少包括面部轮廓线条长宽、器官颜色、器官纹理、器官长宽以及各器官之间的相对位置；所述病症样本学习至少包括单器官病症样本学习、单病症多器官样本学习、多病症多器官样本学习中的一种或多种。

7.如权利要求5所述的健康分析装置，其特征在于，

所述获取模块还用于：获取所述用户的历史表情识别记录；

所述分析模块还用于：根据所述历史表情识别记录，对所述用户进行心理健康分析并输出所述心理健康分析结果。

8.如权利要求5所述的健康分析装置，其特征在于，所述分析模块具体用于：

当所述用户的当前表情为平静表情时，基于所述人脸图像与预置病症特征库，依次采用单器官病症特征匹配、单病症多器官特征匹配以及多病症多器官特征匹配，对所述用户进行健康分析并输出所述健康分析结果。

Images