CN107464291A - 一种脸部图像的处理方法及装置 - Google Patents

Abstract

本发明公开了一种脸部图像的处理方法及装置，该方法包括：实时获取脸部坐标，根据所述脸部坐标的变化确定用户的头部摇动；将所述脸部坐标与预设的判断点进行比较以确定用户当前的表情；依据用户当前的表情和/或所摇动的头部生成脸谱图像；实时采集脸部图像，并将所述脸谱图像覆盖所述脸部图像。该发明的有益效果为：通过体验增强现实的交互变脸体验，可以实时试戴变换川剧脸谱，进行对川剧文化的虚拟互动。

Description

一种脸部图像的处理方法及装置

技术领域

本技术涉及网络信息技术，计算机视觉，人机交互与计算机图形技术，具体涉及一种脸部图像的处理方法及装置。

背景技术

变脸是运用在川剧艺术中塑造人物的一种特技。现在人们只有在川剧舞台上才欣赏到川剧变脸的文化，由于现有的保护机制，极大地限制了普通人们对川剧变脸的认识与体验。而在科学技术日益发展的今天，增强现实技术已经走近到我们生活当中，这技术更接近于人们体感对增强现实的互动体验，让川剧变脸文化融入到图像识别，以摄像头的同步数据进行川剧脸谱的变换功能，实现技术上的川剧变脸。

发明内容

本发明的目的在于解决现有技术中极大地限制了普通人们对川剧变脸的认识与体验的问题，提供一种脸部图像的处理方法及装置。

本发明解决其技术问题所采用的技术方案是：

提供一种脸部图像的处理方法，包括：

实时获取脸部坐标，根据所述脸部坐标的变化确定用户的头部摇动；

将所述脸部坐标与预设的判断点进行比较以确定用户当前的表情；

依据用户当前的表情和/或所摇动的头部生成脸谱图像；

实时采集脸部图像，并将所述脸谱图像覆盖所述脸部图像。

在本发明所述的处理方法中，所述实时获取脸部坐标，根据所述脸部坐标的变化确定用户的头部摇动，包括：

将所述脸部图像显示于显示屏中，并设置所述脸部图像的坐标系，其中，在所述显示屏中与水平面平行的方向为x轴，在所述显示屏中与水平面垂直的方向为y轴，与所述显示屏垂直的方向为z轴；

通过摄像头获取所述脸部图像，并按照图像帧提取所述脸部坐标，并将y轴上的姿态向量存储于数据池中；

若所述数据池中的y轴上的姿态向量大于预设值，则写入当前的y轴上的姿态向量并删除所述数据池中最早的y轴上的姿态向量；

将y轴上的姿态向量进行kalman滤波以剔除滤波抖动；

对所述数据池中所存储的y轴上的姿态向量进行绝对差值求和以得到y轴总和；

判断所述y轴总和是否大于预设的阈值，若是，则确定用户的头部摇动，若否，则确定用户的头部非摇动。

在本发明所述的处理方法中，所述将所述脸部坐标与预设的判断点进行比较以确定用户当前的表情，包括：

设置脸谱图像上的判断点的坐标；

依据所述脸部坐标提取所述脸部图像上的特征点的坐标；

将所述判断点的坐标与所述特征点的坐标进行比较以得出实时的坐标距离；

依据所述坐标距离实时变化的范围确定用户当前的表情。

在本发明所述的处理方法中，所述依据用户当前的表情和/或所摇动的头部生成脸谱图像，包括：

当用户的头部摇动之后，判断所述脸部图像的正脸是否停留在所述显示屏内并停留预设时间，若是，则依据用户当前的表情生成脸谱图像。

在本发明所述的处理方法中，所述实时采集脸部图像，并将所述脸谱图像覆盖所述脸部图像，包括：

当所述摄像头捕捉到所述脸部图像时，抓取当前帧的图像并开始追踪以获取脸部姿态的位置值、旋转值及形态值；

当生成和/或切换脸谱时，创建脸谱纹理网格，并从所述脸谱纹理网格中根据预设的解析文件获取顶点数据、三角形数据、及纹理坐标；

将所述脸谱图像转换为TXT参数文件，对所述TXT参数文件进行解析，根据解析所得到的参数对应地贴合在所述脸谱纹理网格上，并返回所述摄像头抓取到的当前帧的图像以实时追踪纹理数据坐标的变化。。

另一方面，提供一种脸部图像的处理装置，其中存储有多条指令，所述指令适于由处理器加载并执行，包括：

实时获取脸部坐标，根据所述脸部坐标的变化确定用户的头部摇动；

将所述脸部坐标与预设的判断点进行比较以确定用户当前的表情；

依据用户当前的表情和/或所摇动的头部生成脸谱图像；

实时采集脸部图像，并将所述脸谱图像覆盖所述脸部图像。

在本发明所述的处理装置中，所述实时获取脸部坐标，根据所述脸部坐标的变化确定用户的头部摇动，包括：

将所述脸部图像显示于显示屏中，并设置所述脸部图像的坐标系，其中，在所述显示屏中与水平面平行的方向为x轴，在所述显示屏中与水平面垂直的方向为y轴，与所述显示屏垂直的方向为z轴；

通过摄像头获取所述脸部图像，并按照图像帧提取所述脸部坐标，并将y轴上的姿态向量存储于数据池中；

若所述数据池中的y轴上的姿态向量大于预设值，则写入当前的y轴上的姿态向量并删除所述数据池中最早的y轴上的姿态向量；

将y轴上的姿态向量进行kalman滤波以剔除滤波抖动；

对所述数据池中所存储的y轴上的姿态向量进行绝对差值求和以得到y轴总和；

判断所述y轴总和是否大于预设的阈值，若是，则确定用户的头部摇动，若否，则确定用户的头部非摇动。

在本发明所述的处理装置中，所述将所述脸部坐标与预设的判断点进行比较以确定用户当前的表情，包括：

设置脸谱图像上的判断点的坐标；

依据所述脸部坐标提取所述脸部图像上的特征点的坐标；

将所述判断点的坐标与所述特征点的坐标进行比较以得出实时的坐标距离；

依据所述坐标距离实时变化的范围确定用户当前的表情。

在本发明所述的处理装置中，所述依据用户当前的表情和/或所摇动的头部生成脸谱图像，包括：

当用户的头部摇动之后，判断所述脸部图像的正脸是否停留在所述显示屏内并停留预设时间，若是，则依据用户当前的表情生成脸谱图像。

在本发明所述的处理装置中，所述实时采集脸部图像，并将所述脸谱图像覆盖所述脸部图像，包括：

当所述摄像头捕捉到所述脸部图像时，抓取当前帧的图像并开始追踪以获取脸部姿态的位置值、旋转值及形态值；

当生成和/或切换脸谱时，创建脸谱纹理网格，并从所述脸谱纹理网格中根据预设的解析文件获取顶点数据、三角形数据、及纹理坐标；

将所述脸谱图像转换为TXT参数文件，对所述TXT参数文件进行解析，根据解析所得到的参数对应地贴合在所述脸谱纹理网格上，并返回所述摄像头抓取到的当前帧的图像以实时追踪纹理数据坐标的变化。

上述公开的一种脸部图像的处理方法及装置具有以下有益效果：通过体验增强现实的交互变脸体验，可以实时试戴变换川剧脸谱，进行对川剧文化的虚拟互动。

附图说明

图1为本发明一实施例提供的一种脸部图像的处理方法的流程图；

图2为本发明一实施例提供的相对于摄像头的空间坐标示意图；

图3为本发明一实施例提供的人脸识别示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供了一种脸部图像的处理方法及装置，其目的在于，主要以方便人们与川剧变脸文化体验为主，实现增强现实与此题材体验功能的独特性、互动性。如果有了这技术一方面可以传播川剧变脸的文化，另一方面从技术上给人们提供了川剧变脸的体验平台，弥补人们亲身体验的局限性。相比川剧变脸那传统传播与继承，此专利很好地从科技层面让不了解川剧变脸的人们很好地得到认识。同时，运用此专利提供的技术方案可以解决川剧变脸文化在历史展览中的限制，有益于人们对中国历史文化的现代化互动体验，科技性地展现出川剧变脸的独特之处。

参见图1，图1为本发明一实施例提供的一种脸部图像的处理方法的流程图，该脸部图像的处理方法可通过计算机程序实现，并优选的采用主机、显示器及摄像头1实现，主机中设置有处理器，存储有多条指令，所述指令适于由处理器加载并执行，其中主机通过HDMI视频线连接至显示器并通过USB接口连接至摄像头1，优选的，安装时还包括鼠标键盘等，通过USB接口连接以辅助装机，该处理方法包括步骤S1-S4：

S1、实时获取脸部坐标，根据所述脸部坐标的变化确定用户的头部摇动；步骤S1包括子步骤S11-S16：

S11、将所述脸部图像显示于显示屏中，并设置所述脸部图像的坐标系，其中，在所述显示屏中与水平面平行的方向为x轴，在所述显示屏中与水平面垂直的方向为y轴，与所述显示屏垂直的方向为z轴；参见图2，图2为本发明一实施例提供的相对于摄像头的空间坐标示意图。

S12、通过摄像头1获取所述脸部图像，并按照图像帧提取所述脸部坐标，并将y轴上的姿态向量存储于数据池中；例如：通过摄像头1获取脸部图像，并获取(优选为RGB图像)图像帧，提取脸部坐标以获取当前帧的头部姿态(pitch、yaw、roll)。其中，pitch为x轴上的姿态向量，yaw为y轴上的姿态向量，roll为z轴上的姿态向量。

S13、若所述数据池中的y轴上的姿态向量大于预设值，则写入当前的y轴上的姿态向量并删除所述数据池中最早的y轴上的姿态向量；例如：根据帧率计算出数据池所能容纳的数据容量max_count，当数据池内的yaw数据量大于或等于数据容量(≥max_count)时，将当前帧的yaw数据存储至数据池，并去除数据池内最早的yaw数据以写入当前的yaw数据。

S14、将y轴上的姿态向量进行kalman滤波以剔除滤波抖动；卡尔曼滤波(Kalmanfiltering)一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波过程。滤波抖动可能会产生较大的误差，因此采用kalman滤波消除这些误差。

S15、对所述数据池中所存储的y轴上的姿态向量进行绝对差值求和以得到y轴总和；在数字图像处理中，绝对差的总和(SAD)是图像块之间的相似度的量度。通过取原始块中的每个像素与用于比较的块中的相应像素之间的绝对差来计算。将这些差值相加以创建块相似度的简单度量，差异图像的范数或两个图像块之间的曼哈顿距离。绝对差的和可以用于各种目的，例如对象识别，立体图像的视差图的生成以及用于视频压缩的运动估计。例如：对数据池内max_count个yaw数据的绝对差值求和，得到sum_yaw。

S16、判断所述y轴总和是否大于预设的阈值，若是，则确定用户的头部摇动，若否，则确定用户的头部非摇动。例如：sum_yaw＞阈值，则判定为摇头，若否，则判定为非摇头。

S2、将所述脸部坐标与预设的判断点进行比较以确定用户当前的表情；步骤S2包括子步骤S21-S24：

S21、设置脸谱图像上的判断点的坐标；优选的，结合当前帧的脸部姿态(pitch、yaw、roll)。

S22、依据所述脸部坐标提取所述脸部图像上的特征点的坐标；例如：通过脸部特征点的捕获，添加脸部捕抓点到用于识别人脸五官的数据库中。

S23、将所述判断点的坐标与所述特征点的坐标进行比较以得出实时的坐标距离；例如：根据五官上的特征点计算出一个范围，这个范围用于判断当前的表情。

S24、依据所述坐标距离实时变化的范围确定用户当前的表情。各个面部区域的坐标距离均处于一个表情对应的范围内，则得出此时对应的表情，表情可以包括开心、伤心、愤怒等。例如：根据这些特征点的各个坐标求出的一个判断值或范围。当捕捉到的表情为开心时：嘴巴周围的特征点稍微往上翘即可判断为开心；当捕捉到的表情为伤心时：两眼眼睛的特征点整体往下垂及嘴巴附近的特征点成八字形则判断为伤心；当捕捉到的表情为愤怒时：两眼眼睛的特征点成倒八形态则判断为愤怒。

S3、依据用户当前的表情和/或所摇动的头部生成脸谱图像；优选的，当用户的头部摇动之后，判断所述脸部图像的正脸是否停留在所述显示屏内并停留预设时间，若是，则依据用户当前的表情生成脸谱图像。一般地，正脸停留在显示屏时，才可以准确地获取用户当前的表情，并产生对应的川剧脸谱，其次，实际的川剧表演中，也是正对观众时方产生变脸效果，因此通过实时试戴川剧脸谱，达到体验川剧表演的效果。

S4、实时采集脸部图像，并将所述脸谱图像覆盖所述脸部图像。本方案主要应用在川剧变脸中，因此，通过脸部表情的覆盖可以达到实时体验川剧变脸的效果。步骤S4包括子步骤S41-S43：

S41、当所述摄像头捕捉到所述脸部图像时，抓取当前帧的图像并开始追踪以获取脸部姿态的位置值、旋转值及形态值；例如：获取当前帧数据、基于OpenCV图像处理-人脸识别，获取脸谱姿态特征点的位置值、旋转值、形态值。人脸识别及纹理贴图解析：当摄像头捕捉到人脸时，抓取当前帧数据并开始追踪，获取脸部姿态translation值、rotation值、status值(位置值、旋转值及形态值)。

S42、当生成和/或切换脸谱时，创建脸谱纹理网格，并从所述脸谱纹理网格中根据预设的解析文件获取顶点数据、三角形数据、及纹理坐标；参见图3，图3为本发明一实施例提供的人脸识别示意图。图中的脸谱纹理网格包括了顶点数据、三角形数据及纹理坐标。顶点数据：创建脸谱纹理模型网格上的顶点坐标数据；三角形数据：每三个顶点组合成一个三角形；纹理坐标：每一个三角形组成一个纹理面(即贴图对应上一个纹理面贴图的坐标)，如嘴巴、眼睛、鼻子的数据。

以上依据专门定制(PanxTrackerUnityPlugin_x64.dll)文件返回模型数据，而此Dll文件的底层是基于OpenCV人脸识别图形处理来写的(语言运用C++)。

此外，直接在内存中通过管道来传输像素数据，在内存中通过渲染管线API进行传输以上的像素数据。例如：texturePixels＝((Texture2D)texture).GetPixels32(0)。

S43、将所述脸谱图像转换为TXT参数文件，对所述TXT参数文件进行解析，根据解析所得到的参数对应地贴合在所述脸谱纹理网格上，并返回所述摄像头抓取到的当前帧的图像以实时追踪纹理数据坐标的变化，即对脸谱模型参数文件中的数据进行解析，让脸谱贴图根据解析到的参数对应地贴合在创建的脸谱纹理网格上，最后返回到摄像头抓取到的当前帧数据及方向，并实时追踪纹理数据坐标的变化。例如，脸谱图像一般为obj文件，先把obj文件改写成后缀为.Txt的TXT文件，此时TXT文件里就带有贴图模型的顶点、面、纹理坐标的数据。通过方法GetTextureCoordinates对Obj的参数文件进行解析，分析出各顶点v、纹理坐标vt、三角形面f的参数数据。其中，对相应脸谱贴图的TXT进行解析，传入TXT文件，获取文件的文本text，以文本数据之前的字符分别读取顶点、纹理坐标、面的数据；条件判断语法判断首字符是否为“v”、“vt”、“f”，从而用float.ParseAPI解析对应的数据。

每次切换脸谱同时切换新的贴图素材、TXT文本，并解析其TXT里的参数。最后是以摄像头获取RGB图像信息，获取当前帧数据，并一直跟踪其位置，即返回当前摄像头获取当前帧数据、脸部姿态值及方向(带动脸谱贴图纹理坐标的变化)。

优选的，本发明所述的处理方法还包括S5-S6：

S5、将所述脸谱图像覆盖所述脸部图像并生成合成图像；合成图像用于输出到其他设备，也可以通过服务器远程生成合成图像，便于图像通过互联网下发至其他设备。

S6、生成识别码，通过所述识别码输出所述合成图像。例如，当用户通过显示器试戴变换川剧脸谱时，可以通过扫描二维码的方式将合成图像下载到手机上。如此，则需要主机具备联网功能，可实时地将合成图像上传至互联网中，手机通过互联网下载合成图像。

综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (10)

1.一种脸部图像的处理方法，其特征在于，包括：

实时获取脸部坐标，根据所述脸部坐标的变化确定用户的头部摇动；

将所述脸部坐标与预设的判断点进行比较以确定用户当前的表情；

依据用户当前的表情和/或所摇动的头部生成脸谱图像；

实时采集脸部图像，并将所述脸谱图像覆盖所述脸部图像。

2.根据权利要求1所述的处理方法，其特征在于，所述实时获取脸部坐标，根据所述脸部坐标的变化确定用户的头部摇动，包括：

将所述脸部图像显示于显示屏中，并设置所述脸部图像的坐标系，其中，在所述显示屏中与水平面平行的方向为x轴，在所述显示屏中与水平面垂直的方向为y轴，与所述显示屏垂直的方向为z轴；

通过摄像头获取所述脸部图像，并按照图像帧提取所述脸部坐标，并将y轴上的姿态向量存储于数据池中；

若所述数据池中的y轴上的姿态向量大于预设值，则写入当前的y轴上的姿态向量并删除所述数据池中最早的y轴上的姿态向量；

将y轴上的姿态向量进行kalman滤波以剔除滤波抖动；

对所述数据池中所存储的y轴上的姿态向量进行绝对差值求和以得到y轴总和；

判断所述y轴总和是否大于预设的阈值，若是，则确定用户的头部摇动，若否，则确定用户的头部非摇动。

3.根据权利要求2所述的处理方法，其特征在于，所述将所述脸部坐标与预设的判断点进行比较以确定用户当前的表情，包括：

设置脸谱图像上的判断点的坐标；

依据所述脸部坐标提取所述脸部图像上的特征点的坐标；

将所述判断点的坐标与所述特征点的坐标进行比较以得出实时的坐标距离；

依据所述坐标距离实时变化的范围确定用户当前的表情。

4.根据权利要求3所述的处理方法，其特征在于，所述依据用户当前的表情和/或所摇动的头部生成脸谱图像，包括：

当用户的头部摇动之后，判断所述脸部图像的正脸是否停留在所述显示屏内并停留预设时间，若是，则依据用户当前的表情生成脸谱图像。

5.根据权利要求4所述的处理方法，其特征在于，所述实时采集脸部图像，并将所述脸谱图像覆盖所述脸部图像，包括：

当所述摄像头捕捉到所述脸部图像时，抓取当前帧的图像并开始追踪以获取脸部姿态的位置值、旋转值及形态值；

当生成和/或切换脸谱时，创建脸谱纹理网格，并从所述脸谱纹理网格中根据预设的解析文件获取顶点数据、三角形数据、及纹理坐标；

将所述脸谱图像转换为TXT参数文件，对所述TXT参数文件进行解析，根据解析所得到的参数对应地贴合在所述脸谱纹理网格上，并返回所述摄像头抓取到的当前帧的图像以实时追踪纹理数据坐标的变化。

6.一种脸部图像的处理装置，其中存储有多条指令，所述指令适于由处理器加载并执行，其特征在于，包括：

实时获取脸部坐标，根据所述脸部坐标的变化确定用户的头部摇动；

将所述脸部坐标与预设的判断点进行比较以确定用户当前的表情；

依据用户当前的表情和/或所摇动的头部生成脸谱图像；

实时采集脸部图像，并将所述脸谱图像覆盖所述脸部图像。

7.根据权利要求6所述的处理装置，其特征在于，所述实时获取脸部坐标，根据所述脸部坐标的变化确定用户的头部摇动，包括：

将所述脸部图像显示于显示屏中，并设置所述脸部图像的坐标系，其中，在所述显示屏中与水平面平行的方向为x轴，在所述显示屏中与水平面垂直的方向为y轴，与所述显示屏垂直的方向为z轴；

通过摄像头获取所述脸部图像，并按照图像帧提取所述脸部坐标，并将y轴上的姿态向量存储于数据池中；

若所述数据池中的y轴上的姿态向量大于预设值，则写入当前的y轴上的姿态向量并删除所述数据池中最早的y轴上的姿态向量；

将y轴上的姿态向量进行kalman滤波以剔除滤波抖动；

对所述数据池中所存储的y轴上的姿态向量进行绝对差值求和以得到y轴总和；

判断所述y轴总和是否大于预设的阈值，若是，则确定用户的头部摇动，若否，则确定用户的头部非摇动。

8.根据权利要求7所述的处理装置，其特征在于，所述将所述脸部坐标与预设的判断点进行比较以确定用户当前的表情，包括：

设置脸谱图像上的判断点的坐标；

依据所述脸部坐标提取所述脸部图像上的特征点的坐标；

将所述判断点的坐标与所述特征点的坐标进行比较以得出实时的坐标距离；

依据所述坐标距离实时变化的范围确定用户当前的表情。

9.根据权利要求8所述的处理装置，其特征在于，所述依据用户当前的表情和/或所摇动的头部生成脸谱图像，包括：

当用户的头部摇动之后，判断所述脸部图像的正脸是否停留在所述显示屏内并停留预设时间，若是，则依据用户当前的表情生成脸谱图像。

10.根据权利要求9所述的处理装置，其特征在于，所述实时采集脸部图像，并将所述脸谱图像覆盖所述脸部图像，包括：

当所述摄像头捕捉到所述脸部图像时，抓取当前帧的图像并开始追踪以获取脸部姿态的位置值、旋转值及形态值；

当生成和/或切换脸谱时，创建脸谱纹理网格，并从所述脸谱纹理网格中根据预设的解析文件获取顶点数据、三角形数据、及纹理坐标；

将所述脸谱图像转换为TXT参数文件，对所述TXT参数文件进行解析，根据解析所得到的参数对应地贴合在所述脸谱纹理网格上，并返回所述摄像头抓取到的当前帧的图像以实时追踪纹理数据坐标的变化。