CN110266940A - 一种人脸-摄像机主动位姿协同的人脸正视图像获取方法 - Google Patents

Abstract

本发明涉及一种人脸‑摄像机主动位姿协同的人脸正视图像获取方法，属于人脸识别技术领域。建立人脸坐标系、摄像机坐标系、运动控制器坐标系间的映射关系，利用单像空间后方交会思想结合最小二乘法拟合出最佳拟合时的人脸姿态求解模型；读入单幅图像，对人脸区域以及人脸特征点进行检测，求解人脸姿态参数ω，κ；判断是否为正脸图像，如果不是正脸图像，计算相对于标准人脸位姿变化Δα_t、Δβ_t、Δγ_t；计算摄像机运动参数ΔX_t、ΔY_t、Δβ_t；按照运动距离与步进电机输出脉冲的变换关系，转换为步进电机输出脉冲，调整摄像机位置姿态后，读入下一帧图像后返回。本发明获取正视或近似正视的人脸图像，降低人脸信息的丢失，提高人脸图像纠正的精度。

Description

一种人脸-摄像机主动位姿协同的人脸正视图像获取方法

技术领域

本发明涉及一种人脸-摄像机主动位姿协同的人脸正视图像获取方法，属于人脸识别技术领域。

背景技术

人脸纠正是将倾斜、偏转的人脸变换为正视人脸图像的过程，是人脸检测、表情识别与人脸识别等技术的关键步骤。在像方空间下，纠正人脸图像主要采用人脸对齐的方法。

人脸对齐是根据输入的人脸图像，定位出面部关键特征点，将非正视人脸相似变换至正视人脸。对齐方法主要有手动标定对齐、局部对齐、整体对齐。手动标定对齐是手动标定人脸特征点，将特征点依次串联构成人脸特征点几何形状，用于描述人脸轮廓。手动标定对齐适用于构建人脸正视图像样本库。局部对齐方法是以已知特征点图像邻域判断待定点的类型，其次判断待定点移动后的人脸特征点几何形状。局部对齐方法是以先验知识为基础的局部似然估计，在特征点数量增加时，计算代价较高。整体对齐是以人脸特征点几何形状为基础，通过级联回归器，以由粗到细形式逐步改善人脸特征点几何形状。整体对齐相较于局部对齐表现出较强的鲁棒性与实时性。但当人脸偏转角度较大时，人脸图像变形较大、信息缺失较为严重，人脸对齐的累积误差呈现明显增大趋势，难以纠正人脸图像。

发明内容

针对上述现有技术存在的问题及不足，本发明提供一种人脸-摄像机主动位姿协同的人脸正视图像获取方法。本发明建立人脸坐标系、摄像机坐标系、运动控制器坐标系间的映射关系，根据相邻采样时刻人脸姿态角变化，将姿态变化量映射到摄像机所在的运动控制器坐标系中，计算摄像机协同位姿，将协同位姿信息转换为PCI-1240U4轴运动控制卡控制的步进电机的脉冲信号，实现摄像机位姿的调整，获取正视或近似正视的人脸图像，降低人脸信息的丢失，提高人脸图像纠正的精度。本发明通过以下技术方案实现。

一种人脸-摄像机主动位姿协同的人脸正视图像获取方法，其具体步骤如下：

步骤1、建立人脸坐标系、摄像机坐标系、运动控制器坐标系间的映射关系，利用单像空间后方交会思想结合最小二乘法拟合出最佳拟合时的人脸姿态求解模型；

首先需计算人脸图像的姿态角。根据摄影测量中物点在相片中的成像原理，如图(1)所示，假设人脸特征点P在世界坐标系和摄像机坐标系中的坐标分别表示为(X_W，Y_W，Z_W)与(X_C，Y_C，Z_C)，摄影中心S在世界坐标系中的坐标为(X_S，Y_S，Z_S)。P点在像平面坐标系中的坐标为(u'-u₀，v'-v₀)，则各个坐标系变换关系利用共线方程可表示为：

其中，a_i，b_i，c_i为ω，κ所构成的9个方向余弦；

采用基于模型的方法对人脸姿态求解时，求解过程可描述为人脸标准模型经过缩放、平移、旋转，使得标准模型上特征点在像平面上的投影与对应的测试人脸特征点最佳拟合，此时标准人脸模型姿态近似测试人脸姿态。待计算姿态的人脸特征点与标准人脸特征点利用最小二乘法进行拟合：

其中，n为特征点个数，p_i为待测试人脸特征点，q_i为对应人脸标准模型特征点。S、t、R分别表示缩放因子、平移向量和旋转矩阵。分别为ω、κ的估计，当(2)式最小时，(ω，κ)表示测试人脸特征形状与标准人脸特征形状最佳拟合时的人脸标准模型姿态。

令q＝(q_u，q_v)^T，l＝(u-u₀，v-v₀)^T，将每个特征点的拟合误差表示为：

e＝q(p)-l, (3)

其中，q_u，q_v分别为标准人脸模型上特征点经过构像方程(1)式变换后在像素坐标系的坐标，u-u₀，v-v₀分别为测试人脸图像特征点在像素坐标系中坐标；那么n个特征点的拟合误差为V＝(e₁,e₂,,e_n)^T，e₁，e₂，…，e_n分别为n个特征点的拟合误差，结合(2)式，将人脸姿态求解模型表示为：

其中，Q＝(q₁，q₂，…，q_n)^T，L＝(l₁，l₂，…，l_n)^T；q₁，q₂，…，q_n分别为标准人脸模型上n个特征点在像素坐标中的坐标；l₁，l₂，…，l_n分别为测试人脸图像在像素坐标系中的坐标，为的估计值。

步骤2、读入单幅图像，对人脸区域以及人脸特征点进行检测，通过步骤1的人脸姿态求解模型计算人脸姿态参数ω，κ，其中为人脸上下翻转角度，ω为人脸左右翻转角度，κ为人脸平面内旋转角度；

步骤3、根据步骤2得到的人脸姿态参数ω、κ，判断是否为正脸图像，如果是正脸图像，读入下一帧图像后返回步骤1，如果不是正脸图像，继续进行步骤4；

步骤4、计算相对于标准人脸位姿变化Δα_t、Δβ_t、Δγ_t，其中Δα_t为相邻时刻人脸相对于标准人脸模型姿态角的变化，Δγ_t为相邻时刻人脸相对于标准人脸模型姿态角ω的变化，Δβ_t为相邻时刻人脸相对于标准人脸模型姿态角κ的变化；

步骤5、将步骤4得到的相对于标准人脸位姿变化Δα_t、Δβ_t、Δγ_t；计算摄像机运动参数ΔX_t、ΔY_t、Δβ_t，其中ΔX_t为摄像机在运动轴x轴的运动参数，ΔY_t为摄像机在运动轴y轴的运动参数，Δβ_t为摄像机在运动轴u轴的运动参数；

具体为：计算相邻时刻人脸图像的将位姿变化，并投影到摄像机的运动空间得到摄像机运动参数，以构建相机运动模型，模型构建过程如下：

以计算X轴运动参数为例，t时刻拍摄人脸与标准人脸模型进行解算得到t时刻人脸位姿变化P_t(ΔXt，ΔYt，ΔZt，Δα_t，Δβ_t，Δγ_t)，根据空间关系映射到相机运动空间，计算该采样间隔内的相机运动参数。

在图2中机实际位置和理想位置。F与F₁分别为t时刻标准人脸模型位置与人脸位置。

角度α_t，β_t为t时刻人脸相对于相机运动轴X，Y旋转的角度。则t时刻时人脸绕相机运动轴X，Y轴旋转的角度可表示为：

距离z_t为t时刻人脸距相机坐标系X_W轴的距离，标准人脸到相机的距离z。距离z_t表示为：

z_t＝z+Δz_t (6)

如图4所示，可得相机运动X轴的运动参数：

ΔX_t＝Δx_t/cosβ_t-1+(Δx_ttanβ_t-1+z_t)sinΔβ_t/cosβ_t (7)

同理可得相机运动Y轴的运动参数：

ΔY_t＝Δy_t/cosα_t-1+(Δy_ttanα_t-1+z_t)sinΔα_t/cosα_t (8)

将t时刻人脸位姿变化投影到相机运动空间，计算该时刻的相机运动参数。ΔX_t、ΔY_t、Δβ_t为第t个采样间隔内相机X轴、Y轴、U轴的运动参数，运动模型可表示为

步骤6、根据步骤5得到的摄像机运动参数ΔX_t、ΔY_t、Δβ_t，按照运动距离与步进电机输出脉冲的变换关系，转换为步进电机输出脉冲，调整摄像机位置姿态后，读入下一帧图像后返回步骤1。

所述步骤1中摄像机坐标系与标准人脸坐标系是正对平行关系，人脸特征点P世界坐标系Xw、Yw轴分别平行于运动控制器坐标系的x、y轴。

所述步骤2对人脸区域以及人脸特征点进行检测的具体过程：将检测到人脸区域的图像在提取人脸特征点后，将特征点按顺序串联起来，看作整体人脸形状。

本发明将因人脸姿态角变化而导致的摄像机在平移轴产生的平移分量补偿到摄像机的协同位姿中。

上述没有特殊说明的标号均是本领域技术人员公知的标号，都在现有技术中有公开发表。

本发明的有益效果是：

(1)在运动控制器作用范围内，人脸旋转角度控制在[-70°，70°]区间内摄像机能够主动、实时地获取人脸正视图像。

(2)步进电机脉冲输出控制在3000PPU/S时，摄像机在运动轴上的位置误差在10mm以内。

(3)提取的人脸正视图像提高人脸纠正的精准度与鲁棒性。

附图说明

图1是本发明世界坐标系到摄像机坐标系转换示意图；

图2是本发明初始采样时刻各个坐标系位置关系图；

图3是本发明人脸位姿与相机运动x轴的关系图；

图4是本发明人脸正视图像获取流程图。

具体实施方式

下面结合附图和具体实施方式，对本发明作进一步说明。

实施例1

如图4所示，该人脸-摄像机主动位姿协同的人脸正视图像获取方法，其具体步骤如下：

步骤1、建立人脸坐标系、摄像机坐标系、运动控制器坐标系间的映射关系，利用单像空间后方交会思想结合最小二乘法拟合出最佳拟合时的人脸姿态求解模型；

首先需计算人脸图像的姿态角。根据摄影测量中物点在相片中的成像原理，如图(1)所示，假设人脸特征点P在世界坐标系和摄像机坐标系中的坐标分别表示为(X_W，Y_W，Z_W)与(X_C，Y_C，Z_C)，摄影中心S在世界坐标系中的坐标为(X_S，Y_S，Z_S)。P点在像平面坐标系中的坐标为(u'-u₀，v'-v₀)，则各个坐标系变换关系利用共线方程可表示为：

其中，a_i，b_i，c_i为ω，κ所构成的9个方向余弦；

采用基于模型的方法对人脸姿态求解时，求解过程可描述为人脸标准模型经过缩放、平移、旋转，使得标准模型上特征点在像平面上的投影与对应的测试人脸特征点最佳拟合，此时标准人脸模型姿态近似测试人脸姿态。待计算姿态的人脸特征点与标准人脸特征点利用最小二乘法进行拟合：

其中，n为特征点个数，p_i为待测试人脸特征点，q_i为对应人脸标准模型特征点。S、t、R分别表示缩放因子、平移向量和旋转矩阵。分别为ω、κ的估计，当(2)式最小时，(ω，κ)表示测试人脸特征形状与标准人脸特征形状最佳拟合时的人脸标准模型姿态。

令q＝(q_u，q_v)^T，l＝(u-u₀，v-v₀)^T，将每个特征点的拟合误差表示为：

e＝q(p)-l, (3)，

其中，q_u，q_v分别为标准人脸模型上特征点经过构像方程(1)式变换后在像素坐标系的坐标，u-u₀，v-v₀分别为测试人脸图像特征点在像素坐标系中坐标；那么n个特征点的拟合误差为V＝(e₁,e₂,,e_n)^T，e₁，e₂，…，e_n分别为n个特征点的拟合误差，结合(2)式，将人脸姿态求解模型表示为：

其中，Q＝(q₁，q₂，…，q_n)^T，L＝(l₁，l₂，…，l_n)^T；q₁，q₂，…，q_n分别为标准人脸模型上n个特征点在像素坐标中的坐标；l₁，l₂，…，l_n分别为测试人脸图像在像素坐标系中的坐标，为的估计值。

步骤2、读入单幅图像，对人脸区域以及人脸特征点进行检测，通过步骤1的人脸姿态求解模型计算人脸姿态参数ω，κ，其中为人脸上下翻转角度，ω为人脸在左右翻转角度，κ为人脸在平面内旋转角度；

步骤3、根据步骤2得到的人脸姿态参数ω、κ，判断是否为正脸图像，如果是正脸图像，读入下一帧图像后返回步骤1，如果不是正脸图像，继续进行步骤4；

步骤4、计算相对于标准人脸位姿变化Δα_t、Δβ_t、Δγ_t，其中ΔX_t为摄像机在运动轴x轴的运动参数，ΔY_t为摄像机在运动轴y轴的运动参数，Δβ_t为摄像机在运动轴u轴的运动参数；

步骤5、将步骤4得到的相对于标准人脸位姿变化Δα_t、Δβ_t、Δγ_t；计算摄像机运动参数ΔX_t、ΔY_t、Δβ_t，其中ΔX_t为摄像机在运动轴x轴的运动参数，ΔY_t为摄像机在运动轴y轴的运动参数，Δβ_t为摄像机在运动轴u轴的运动参数；

具体为：计算相邻时刻人脸图像的将位姿变化，并投影到摄像机的运动空间得到摄像机运动参数，以构建相机运动模型，模型构建过程如下：

以计算X轴运动参数为例，t时刻拍摄人脸与标准人脸模型进行解算得到t时刻人脸位姿变化P_t(ΔXt，ΔYt，ΔZt，Δα_t，Δβ_t，Δγ_t)，根据空间关系映射到相机运动空间，计算该采样间隔内的相机运动参数。

在图2中机实际位置和理想位置。F与F₁分别为t时刻标准人脸模型位置与人脸位置。

角度α_t，β_t为t时刻人脸相对于相机运动轴X，Y旋转的角度。则t时刻时人脸绕相机运动轴X，Y轴旋转的角度可表示为：

距离z_t为t时刻人脸距相机坐标系X_W轴的距离，标准人脸到相机的距离z。距离z_t表示为：

z_t＝z+Δz_t (6)

如图4所示，可得相机运动X轴的运动参数：

ΔX_t＝Δx_t/cosβ_t-1+(Δx_ttanβ_t-1+z_t)sinΔβ_t/cosβ_t (7)

同理可得相机运动Y轴的运动参数：

ΔY_t＝Δy_t/cosα_t-1+(Δy_ttanα_t-1+z_t)sinΔα_t/cosα_t (8)

将t时刻人脸位姿变化投影到相机运动空间，计算该时刻的相机运动参数。ΔX_t、ΔY_t、Δβ_t为第t个采样间隔内相机X轴、Y轴、U轴的运动参数，运动模型可表示为

步骤6、根据步骤5得到的摄像机运动参数ΔX_t、ΔY_t、Δβ_t，按照运动距离与步进电机输出脉冲的变换关系，转换为步进电机输出脉冲，调整摄像机位置姿态后，读入下一帧图像后返回步骤1。

所述步骤1中摄像机坐标系与标准人脸坐标系是正对平行关系，人脸特征点P世界坐标系Xw、Yw轴分别平行于运动控制器坐标系的x、y轴。

所述步骤2对人脸区域以及人脸特征点进行检测的具体过程：将检测到人脸区域的图像在提取人脸特征点后，将特征点按顺序串联起来，看作整体人脸形状。

以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (3)

1.一种人脸-摄像机主动位姿协同的人脸正视图像获取方法，其特征在于具体步骤如下：

步骤1、建立人脸坐标系、摄像机坐标系、运动控制器坐标系间的映射关系，利用单像空间后方交会思想结合最小二乘法拟合出最佳拟合时的人脸姿态求解模型；

步骤2、读入单幅图像，对人脸区域以及人脸特征点进行检测，通过步骤1的人脸姿态求解模型计算人脸姿态参数ω，κ，其中为人脸在上下翻转角度，ω为人脸在左右翻转角度，κ为人脸在平面内旋转角度；

步骤3、根据步骤2得到的人脸姿态参数ω、κ，判断是否为正脸图像，如果是正脸图像，读入下一帧图像后返回步骤1，如果不是正脸图像，继续进行步骤4；

步骤4、计算相对于标准人脸位姿变化Δα_t、Δβ_t、Δγ_t，其中Δα_t为相邻时刻人脸相对于标准人脸模型姿态角的变化，Δγ_t为相邻时刻人脸相对于标准人脸模型姿态角ω的变化，Δβ_t为相邻时刻人脸相对于标准人脸模型姿态角κ的变化；

步骤5、将步骤4得到的相对于标准人脸位姿变化Δα_t、Δβ_t、Δγ_t；计算摄像机运动参数ΔX_t、ΔY_t、Δβ_t，其中ΔX_t为摄像机在运动轴x轴的运动参数，ΔY_t为摄像机在运动轴y轴的运动参数，Δβ_t为摄像机在运动轴u轴的运动参数；

步骤6、根据步骤5得到的摄像机运动参数ΔX_t、ΔY_t、Δβ_t，按照运动距离与步进电机输出脉冲的变换关系，转换为步进电机输出脉冲，调整摄像机位置姿态后，读入下一帧图像后返回步骤1。

2.根据权利要求1所述的人脸-摄像机主动位姿协同的人脸正视图像获取方法，其特征在于：所述步骤1中摄像机坐标系与标准人脸坐标系是正对平行关系，人脸特征点P世界坐标系Xw、Yw轴分别平行于运动控制器坐标系的x、y轴。

3.根据权利要求1所述的人脸-摄像机主动位姿协同的人脸正视图像获取方法，其特征在于：所述步骤2对人脸区域以及人脸特征点进行检测的具体过程：将检测到人脸区域的图像在提取人脸特征点后，将特征点按顺序串联起来，看作整体人脸形状。