CN111414798A - 基于rgb-d图像的头部姿态检测方法及系统 - Google Patents

Abstract

一种基于RGB‑D图像的头部姿态检测方法，该方法步骤如下：（一）、采集头部姿态深度图像和RGB图像，并对该头部姿态深度图像和RGB图像进行对齐，得头部姿态图像；（二）、对于（一）步骤对齐后的头部姿态图像进行点云计算得到待检测头部点云数据；（三）、将（二）步骤中的点云数据代入三维标准头部模型中与三维标准头部模型点云进行配准，完成头部姿态检测。该算法能够在光源均匀且充足的诊疗室环境中准确地检测人体头部姿态，提高头部姿态角度大时姿态估计的鲁棒性。

Description

基于RGB-D图像的头部姿态检测方法及系统

技术领域

本发明涉及一种基于RGB-D图像的头部姿态检测方法及系统，属于处理技术。

背景技术

头部姿态检测方法是计算机视觉领域的一个热点研究课题。在一些图像类应用中，通过对头部姿态的检测，可以实现动画制作以及虚拟现实中实时的头部姿态交互，此外头部姿态的检测在面部跟踪、视线估计、安全驾驶、人机交互、智能监控、安全驾驶等领域也有广泛的应用。但是目前对这种头部姿态检测使用的方法效果都不理想。

发明内容

发明目的：

本发明涉及一种基于RGB-D图像的头部姿态检测方法及系统，其目的是解决以往所存在的问题。

技术方案：

一种基于RGB-D图像的头部姿态检测方法，该方法步骤如下：

(一)、采集头部姿态深度图像和RGB图像，并对该头部姿态深度图像和RGB图像进行对齐，得头部姿态图像；

(二)、对于(一)步骤对齐后的头部姿态图像进行点云计算得到待检测头部点云数据；

(三)、将(二)步骤中的点云数据代入三维标准头部模型中与三维标准头部模型点云进行配准，完成头部姿态检测。

(一)步骤中的深度图像由因特尔实感SR300摄像头中的3D深度成像模块，即深度相机得到，是反映成像物体到深度相机光心距离的灰度图像；彩色图像即RGB图像，由因特尔实感SR300摄像头中的2D彩色成像模块，即彩色相机得到。(一)步骤中的对齐要求RGB-D四个通道对齐，即每一个三维点的颜色信息与每一个三维点的深度信息一一对应：

假设人体头部表面某一点P在深度图像上的投影坐标为p_ir，在深度相机坐标系下的空间坐标为P_ir，深度相机的内参数矩阵为H_ir，p_ir与P_ir之间的转换关系如式(1)所示：

同样，如果P_rgb为人体头部表面上同一点P在彩色相机坐标系的空间坐标，p_rgb为该点在彩色图像上的投影坐标；P_rgb与P_ir之间的关系通过深度相机与彩色相机之间的外参数矩阵表示，外参数矩阵包括旋转矩阵R和平移矩阵T两部分；P_rgb与P_ir之间的转换关系如式(2)所示：

P_rgb＝RP_ir+T

(2)

如果人体头部表面上同一点P在彩色相机坐标系下的空间坐标P_rgb，在彩色图像上的投影坐标为p_rgb，P_rgb与p_rgb之间的变换关系由彩色相机的内参数矩阵H_rgb表示，如式(3)所示：

p_rgb＝H_rgbP_rgb (3)

那么点P在深度相机坐标系和彩色相机坐标系下的空间坐标P_ir、P_rgb由式(4)求得：

式(4)中，R_ir,T_ir分别为深度相机内参数矩阵中的旋转矩阵和平移矩阵，R_rgb,T_rgb分别为彩色相机内参数矩阵中的旋转矩阵和平移矩阵；在式(4)的第一式中，将点P由R_ir,P_ir,T_ir表示，带入式(2)得：

整理即得深度相机和彩色相机的外参数矩阵，式(6)为外参数矩阵中旋转矩阵R和平移矩阵T的表达式：

因此，在同一场景下，通过相机标定获取深度相机和彩色相机的内参数矩阵后，由(6)式求得深度相机和彩色相机的外参数矩阵，即将彩色图像与深度图像一一对齐。这个对齐就是分别计算参数矩阵中旋转矩阵R和平移矩阵T，值一样了就算对齐了。

(三)步骤所述的配准为先进行粗配准；粗配准方式如下：

设三维标准头部模型点云为P，待检测的头部姿态点云为Q；

设待检测的头部姿态点云Q相对于标准三维头部模型点云P中各点的齐次变换矩阵为T，表达式如式(15)所示：

式(15)中，使用旋转矩阵

描述头部坐标系{Q}中任一点Q_m相对于在坐标系{P}中对应点P_m的姿态，

描述头部坐标系{Q}中原点相对于在坐标系{P}中原点的位置关系；人体头部上同一点m在两个三维头部坐标系{P}，{Q}中的描述P_m和Q_m具有如下变换关系：

式(16)为齐次坐标旋转平移方程；

能分解为绕x,y,z三个坐标轴的旋转矩阵R_x，R_y，R_z，若使头部各点以ZYX的顺序依次左乘旋转矩阵，

表示为

其中R_x，R_y，R_z以欧拉角的形式表示，如式(17-1)至(17-3)所示：

式(17-1)至(17-3)中，α,β和γ分别为绕x,y,z轴旋转的欧拉角；设三维标准头部模型点云P上的头部坐标系O-XYZ相对于摄像机坐标系O_C-X_CY_CZ_C的空间齐次变换矩阵为T₀，O_C＝(0，0，0)，旋转矩阵为R₀及平移矩阵为t₀由式(18)(19)求得：

t₀＝O-O_C＝O (18)

定义三维标准头部模型点云P的头部姿态为零，即如式(17-1)至(17-3)所示，表示点云P的头部姿态的欧拉角α,β和_γ都为0；图6为粗配准的推导过程，通过分别计算点云P和Q上人脸坐标系相对于摄像机坐标系的刚体变换关系，求得待检测人脸相对于零姿态三维标准人脸的位置与姿态，完成待检测人脸的姿态初检测。三维标准头部模型点云P相对于摄像机坐标系的位置关系求解由式(18)(19)求得，而待检测的头部姿态点云Q相对于深度相机的视点坐标系的位置关系T₁计算过程与T₀相同；待检测的头部姿态点云Q相对于姿态为零的三维标准头部模型点云P的刚体变换关系表示为T，使TP＝Q；由图6可得，

矩阵T即为头部姿态的粗配准结果。

粗配准之后进行迭代最近点点云配准(精配准)算法：

假设源数据集为S，待检测的头部姿态点云为目标数据集G，基于粗配准结果T，对目标数据集G进行旋转平移的变换，从而更新目标数据G；初始时设置P₀＝S,R₀＝I，t₀＝0，迭代次数k＝0，ICP精配准算法的迭代步骤如下：

输入参数：数据集S和G；算法最大迭代次数k；设定阈值τ；

首先，计算零姿态点云集P_k中每个点在G中的对应最近点，生成对应点云集Q；

第二步，定义最小化目标函数e_k，e_k表示为P_k中各点与待检测的头部姿态点云Q中对应点的平均欧式距离，假设P_k及Q中点云个数为N，P_ik、Q_ik为迭代第k次时零姿态点云集P_k和对应点云集Q中第i点的表示，e_k的计算如式(20)所示:

将点云集P_k中各点按照第k次迭代的位姿变换参数T_k，包含旋转矩阵R_k及平移矩阵t_k，如式(21)所示，得到变换后的点云集(R_kp_i,k+t_k)，点云配准误差d_k是自变量为旋转矩阵R和平移矩阵T的函数，表达式如式(22)所示；

第三步，使用第k次的变换矩阵T_k更新源集P_k+1＝T_k(P₀)＝R_kP₀+t_k；

接下来进入迭代过程，直到相邻两次的误差变化小于规定的阈值，即||d_k-d_k+1||＜τ(配准完成的标准，即迭代停止的条件)，或达到最大迭代次数时，停止迭代；最后输出配准结果，求得转换矩阵T，包含旋转矩阵R和平移矩阵t。

三维标准头部模型注册方法包括如下步骤：

(A)、采集建模用的多个头部姿态深度图像和RGB图像，并对该头部姿态深度图像和RGB图像进行预处理，得头部姿态图像；

(B)、对于(A)步骤预处理后的头部姿态图像进行点云计算得到待检测的头部点云；

(C)、在(B)步骤中的点云数据中进行三维人脸特征点检测；并构建三维头部坐标系并完成三维标准头部点云模型注册及点云优化。

(A)步骤中的深度图像由因特尔实感SR300摄像头中的3D深度成像模块，即深度相机得到，是反映成像物体到深度相机光心距离的灰度图像；彩色图像即RGB图像，由因特尔实感SR300摄像头中的2D彩色成像模块，即彩色相机得到；(A)步骤中的预处理包括RGB-D图像对齐、深度图预处理和点云计算，三者先后进行；

RGB-D图像对齐：要求RGB-D四个通道对齐，即每一个三维点的颜色信息与每一个三维点的深度信息一一对应：

假设人体头部表面某一点P在深度图像上的投影坐标为p_ir，在深度相机坐标系下的空间坐标为P_ir，深度相机的内参数矩阵为H_ir，p_ir与P_ir之间的转换关系如式(1)所示：

同样，假设P_rgb为人体头部表面上同一点P在彩色相机坐标系的空间坐标，p_rgb为该点在彩色图像上的投影坐标；P_rgb与P_ir之间的关系通过深度相机与彩色相机之间的外参数矩阵表示，外参数矩阵包括旋转矩阵R和平移矩阵T两部分；P_rgb与P_ir之间的转换关系如式(2)所示：

P_rgb＝RP_ir+T

(2)

假设人体头部表面上同一点P在彩色相机坐标系下的空间坐标P_rgb，在彩色图像上的投影坐标为p_rgb，P_rgb与p_rgb之间的变换关系由彩色相机的内参数矩阵H_rgb表示，如式(3)所示：

p_rgb＝H_rgbP_rgb (3)

那么点P在深度相机坐标系和彩色相机坐标系下的空间坐标P_ir、P_rgb由式(4)求得：

式(4)中，R_ir,T_ir分别为深度相机内参数矩阵中的旋转矩阵和平移矩阵，R_rgb,T_rgb分别为彩色相机内参数矩阵中的旋转矩阵和平移矩阵；在式(4)的第一式中，将点P由R_ir,P_ir,T_ir表示，带入式(2)得：

整理即得深度相机和彩色相机的外参数矩阵，式(6)为外参数矩阵中旋转矩阵R和平移矩阵T的表达式：

因此，在同一场景下，通过相机标定获取深度相机和彩色相机的内参数矩阵后，由(6)式求得深度相机和彩色相机的外参数矩阵，即可将彩色图像与深度图像一一对齐。

深度图预处理：先对与彩色图像对齐后的深度图像基于阈值去除人物背景；再通过双边滤波算法确保深度图像人脸区域的边缘信息和细节信息，起到对图像保边去噪的作用；

深度图像去除背景：

深度图像由深度数据可视化而来，通过灰度值的大小表示物体与深度相机光心之间的距离关系；通过设定合适的阈值T，与深度图像中每一个像素点(x,y)的灰度值f(x,y)相比较，灰度值大于T时认定其为背景，将深度图像像素点(x,y)处的灰度值设为0；小于T则认定其为感兴趣区域，保留灰度值；g(x,y)表示去除背景后的深度图像每一个像素点(x,y)处的灰度值；(x,y)为深度图像上的像素点坐标；

基于阈值去除深度图像背景的过程如式(7)所示：

采用由Tomasi和Manduchi(Tomasi和Manduchi于1998年提出双边滤波算法)两位学者提出的双边滤波算法对去除背景后的深度图像进行保边去噪操作；双边滤波的表达式如式(8)所示：

式(8)中，双边滤波的权值函数w(x₀,y₀)由空间域函数d(x₀,y₀)和值域函数r(x₀,y₀)两部分构成，x₀,y₀为双边滤波模板的中心坐标，x,y为公式(7)去除背景后保留像素值的像素坐标点，即为整个滤波领域中的像素坐标点；空间域函数d(x₀,y₀)为标准差为σ_d的高斯滤波器，与滤波模板中心目标像素(x,y)的欧式距离越小，其权值越大；值域函数r(x₀,y₀)是一个单调递减函数，像素差值||f(x₀,y₀)-f(x,y)||越大，r(x₀,y₀)的值越小；双边滤波的权值函数形式如式(8)所示：

由式(9)得知在进行双边滤波时，不仅要确定滤波模板的大小，还要定义空间域标准差和值域标准差两个参数；本文在实验中，将邻域范围取为10×10，空间域标准差固定为σ_d＝4，当σ_r＝4时，可以去除噪声以及保留物体的边缘信息。当σ_r>4时，双边滤波则会失去其本身优势，保边去噪效果不明显，退化为高斯滤波；若空间域标准差固定为σ_d＝4，而值域标准差σ_r<4，则滤波器会过于敏感导致滤波效果差。

点云计算方式如下：

定义深度相机的视点坐标系为头部姿态检测系统坐标系；

假设H为深度相机的内参数矩阵，(i,j)为经过去除背景的深度图像中的像素点，根据(i,j)处的深度值dep(i,j)计算出深度相机视点坐标系下的三维点云坐标[x_(i,j),y_(i,j),z_(i,j)]，由式(10)实现：

式(10)中，K^-1是深度相机内参数矩阵的逆矩阵；XYZ型点云数据直接由深度数据得到，XYZRGB型点云数据需要通过RGB-D数据进行转换。

(C)步骤过程如下：

三维人脸特征点检测：

(a)在高分辨率的彩色图像上检测人脸特征点：

首先从彩色图像(RGB图像，这个RGB图像就是相机采集的原始RGB图像)提取人脸特征点，获值得人脸特征点在彩色图像上的位置信息，即式(10)中[x_(i,j),y_(i,j),z_(i,j)]的x,y值；再通过对齐的深度图像得到人脸特征点的深度信息，即式(10)中[x_(i,j),y_(i,j),z_(i,j)]的z值；

(b)人脸特征点的提取：在彩色图像上基于HOG及线性分类器建立人脸检测器，在人脸检测器检测到的人脸区域内检测特征点，获得人脸特征点在彩色图像上的位置信息；

(c)、人脸特征点的深度信息获得：使用Dlib库中已标记好人脸68个特征点的训练样本集，然后使用ERT级联回归算法，实现彩色图像上人脸特征点位置的定位，通过对齐的深度图像得到人脸特征点的深度信息；

构建三维头部坐标系：

首先，检测人脸特征点在彩色图像上的位置信息和在深度图像上该点的深度信息，将其反投影到点云空间得到特征点的三维坐标；

然后，选取三个稳定的面部标志建立三维头部坐标系；人脸的内外眼角以及鼻子下端中间点是面部的基准标志；分别取左右眼内外眼角的中点，记为点M₁，M₂，鼻子下端点记为点N作为建立三维头部坐标系的基准点；

最后，定义原点及坐标轴；过点N做直线M₁M₂的垂线交其于点O，并令点O为头部坐标系原点；连接

规定下巴到眉心方向为Z轴正方向；连接

规定人脸从右眼到左眼方向为Y轴正方向；根据右手坐标系定则，确定X轴正方向；x,y,z轴的方向确定以后，将三轴表示为

归一化的计算过程如式(12)所示：

三维标准头部点云模型注册及点云优化：

注册标准三维头部点云模型并规定其姿态为零，即绕三维头部坐标系中的x,y,z三轴的欧拉角均为0，作为检测其他头部姿态的基准；

注册阶段，使人脸正向面对摄像头，采集RGB-D图像并生成零姿态头部点云模型；

点云优化阶段，在建立三维头部标准点云模型过程中，点云优化的首要任务是填充空洞；直接处理深度信息来达到点云优化的效果；

多帧均值滤波算法能在去噪的同时对空洞进行修补；在同样的条件下对同一场景拍摄m张图像，在理想情况下每张图像像素的个数、排列，像素值的大小都完全相同，g_i(x,y)为经过式(7)去除背景和式(8)双边滤波处理后的深度图像像素点(x,y)处的灰度值，使用g_i(x,y)表示受到加性噪声n_i(x,y)影响的m张含噪图片中第i张深度图片像素点(x,y)处的灰度值，f(x,y)深度图像上每一个像素点(x,y)处的灰度值，g_i(x,y)的数学表示为：

g_i(x,y)＝f(x,y)+n_i(x,y),i＝1,2,…,m (13)

多帧均值滤波的基本思想是基于每张图像的有效信号完全一致，噪声相互独立，且噪声n_i(x,y)的均值都为0的假设之上的，利用m张深度图像的算术平均值

来代替理想深度图像g(x,y)，；式(14)为多帧均值滤波的计算公式：

对m幅信号相同，噪声不同的图像求算术平均，含噪图像算术平均的数学期望就等于信号，同时算术平均后的方差减少为1/m；基于式(14)处理后的深度图像计算点云，填补三维标准头部点云模型的空洞，达到点云优化的作用。

一种基于RGB-D图像的头部姿态检测系统，其特征在于：该系统包括头部姿态图像模块、点云数据获取模块和配准模块；

头部姿态图像模块采集头部姿态深度图像和RGB图像，并对该头部姿态深度图像和RGB图像进行对齐，得头部姿态图像；

点云数据获取模块对于头部姿态图像模块对齐后的头部姿态图像进行点云计算得到待检测头部点云数据；

配准模块将点云数据获取模块中的点云数据代入三维标准头部模型中与三维标准头部模型点云进行配准，完成头部姿态检测。

优点效果：

针对基于二维彩色图像的头部姿态估计对环境、姿态敏感的问题，本发明提出了一种联合彩色图像与深度图像的头部姿态检测方法。通过彩色图像检测人脸特征点的二维位置信息，结合深度信息定义三维头部坐标系；然后在现有ICP点云配准算法基础上，提出一种粗配准方法，通过计算待检测头部点云与标准头部点云之间坐标系的变换关系得到初始位姿参数，以防止点云配准陷入局部最优。实验表明，该算法能够在光源均匀且充足的诊疗室环境中准确地检测人体头部姿态，提高头部姿态角度大时姿态估计的鲁棒性。

附图说明

图1为深度相机成像原理示意图：

图2为人脸点云图像；

图3为不同姿态图像中人脸特征点检测图；

图4为三维头部坐标系示意图；

图5为点云配准流程图；

图6为粗配准计算示意图；

图7为部分绕x,y,z轴偏转的RGB-D图像；

图8为粗配准绝对误差图；

图9为精配准绝对误差图。

具体实施方式

一种基于RGB-D图像的头部姿态检测方法，该方法步骤如下：(一)、采集头部姿态深度图像和RGB图像，并对该头部姿态深度图像和RGB图像进行对齐，得头部姿态图像；(二)、对于(一)步骤对齐后的头部姿态图像进行点云计算得到待检测头部点云数据；(三)、将(二)步骤中的点云数据代入三维标准头部模型中与三维标准头部模型点云进行配准，完成头部姿态检测。

(一)步骤中的深度图像由因特尔实感SR300摄像头中的3D深度成像模块，即深度相机得到，是反映成像物体到深度相机光心距离的灰度图像；彩色图像即RGB图像，由因特尔实感SR300摄像头中的2D彩色成像模块，即彩色相机得到。(一)步骤中的对齐要求RGB-D四个通道对齐，即每一个三维点的颜色信息与每一个三维点的深度信息一一对应：

人体头部表面某一点P在深度图像上的投影坐标为p_ir，在深度相机坐标系下的空间坐标为P_ir，深度相机的内参数矩阵为H_ir，p_ir与P_ir之间的转换关系如式(1)所示：

同样，如果P_rgb为人体头部表面上同一点P在彩色相机坐标系的空间坐标，p_rgb为该点在彩色图像上的投影坐标；P_rgb与P_ir之间的关系通过深度相机与彩色相机之间的外参数矩阵表示，外参数矩阵包括旋转矩阵R和平移矩阵T两部分；P_rgb与P_ir之间的转换关系如式(2)所示：

P_rgb＝RP_ir+T

(2)

如果人体头部表面上同一点P在彩色相机坐标系下的空间坐标P_rgb，在彩色图像上的投影坐标为p_rgb，P_rgb与p_rgb之间的变换关系由彩色相机的内参数矩阵H_rgb表示，如式(3)所示：

p_rgb＝H_rgbP_rgb (3)

那么点P在深度相机坐标系和彩色相机坐标系下的空间坐标P_ir、P_rgb由式(4)求得：

式(4)中，R_ir,T_ir分别为深度相机内参数矩阵中的旋转矩阵和平移矩阵，R_rgb,T_rgb分别为彩色相机内参数矩阵中的旋转矩阵和平移矩阵；在式(4)的第一式中，将点P由R_ir,P_ir,T_ir表示，带入式(2)得：

整理即得深度相机和彩色相机的外参数矩阵，式(6)为外参数矩阵中旋转矩阵R和平移矩阵T的表达式：

因此，在同一场景下，通过相机标定获取深度相机和彩色相机的内参数矩阵后，由(6)式求得深度相机和彩色相机的外参数矩阵，即将彩色图像与深度图像一一对齐。

(三)步骤所述的配准为先进行粗配准；粗配准方式如下：

设三维标准头部模型点云为P，待检测的头部姿态点云为Q；

设待检测的头部姿态点云Q相对于标准三维头部模型点云P中各点的齐次变换矩阵为T，表达式如式(15)所示：

式(15)中，使用旋转矩阵

描述头部坐标系{Q}中任一点Q_m相对于在坐标系{P}中对应点P_m的姿态，

描述头部坐标系{Q}中原点相对于在坐标系{P}中原点的位置关系；人体头部上同一点m在两个三维头部坐标系{P}，{Q}中的描述P_m和Q_m具有如下变换关系：

式(16)为齐次坐标旋转平移方程；

能分解为绕x,y,z三个坐标轴的旋转矩阵R_x，R_y，R_z，若使头部各点以ZYX的顺序依次左乘旋转矩阵，表示为

其中R_x，R_y，R_z以欧拉角的形式表示，如式(17-1)至(17-3)所示：

式(17-1)至(17-3)中，α,β和γ分别为绕x,y,z轴旋转的欧拉角；设三维标准头部模型点云P上的头部坐标系O-XYZ相对于摄像机坐标系O_C-X_CY_CZ_C的空间齐次变换矩阵为T₀，O_C＝(0，0，0)，旋转矩阵为R₀及平移矩阵为t₀由式(18)(19)求得：

t₀＝O-O_C＝O (18)

定义三维标准头部模型点云P的头部姿态为零，即如式(17-1)至(17-3)所示，表示点云P的头部姿态的欧拉角α,β和γ都为0；三维标准头部模型点云P相对于摄像机坐标系的位置关系求解由式(18)(19)求得，而待检测的头部姿态点云Q相对于深度相机的视点坐标系的位置关系T₁计算过程与T₀相同；待检测的头部姿态点云Q相对于姿态为零的三维标准头部模型点云P的刚体变换关系表示为T，使TP＝Q；得，

矩阵T即为头部姿态的粗配准结果。

粗配准之后进行迭代最近点点云配准算法：

假设源数据集为S，待检测的头部姿态点云为目标数据集G，基于粗配准结果T，对目标数据集G进行旋转平移的变换，从而更新目标数据G；初始时设置P₀＝S,R₀＝I，t₀＝0，迭代次数k＝0，ICP精配准算法的迭代步骤如下：

输入参数：数据集S和G；算法最大迭代次数k；设定阈值τ；

首先，计算零姿态点云集P_k中每个点在G中的对应最近点，生成对应点云集Q；

第二步，定义最小化目标函数e_k，e_k表示为P_k中各点与待检测的头部姿态点云Q中对应点的平均欧式距离，假设P_k及Q中点云个数为N，P_ik、Q_ik为迭代第k次时零姿态点云集P_k和对应点云集Q中第i点的表示，e_k的计算如式(20)所示:

将点云集P_k中各点按照第k次迭代的位姿变换参数T_k，包含旋转矩阵R_k及平移矩阵t_k，如式(21)所示，得到变换后的点云集(R_kp_i,k+t_k)，点云配准误差d_k是自变量为旋转矩阵R和平移矩阵T的函数，表达式如式(22)所示；

第三步，使用第k次的变换矩阵T_k更新源集P_k+1＝T_k(P₀)＝R_kP₀+t_k；

接下来进入迭代过程，直到相邻两次的误差变化小于规定的阈值，即||d_k-d_k+1||＜τ，或达到最大迭代次数时，停止迭代；最后输出配准结果，求得转换矩阵T，包含旋转矩阵R和平移矩阵t。

三维标准头部模型注册方法包括如下步骤：

(A)、采集建模用的多个头部姿态深度图像和RGB图像，并对该头部姿态深度图像和RGB图像进行预处理，得头部姿态图像；(B)、对于(A)步骤预处理后的头部姿态图像进行点云计算得到待检测的头部点云；(C)、在(B)步骤中的点云数据中进行三维人脸特征点检测；并构建三维头部坐标系并完成三维标准头部点云模型注册及点云优化。(A)步骤中的深度图像由因特尔实感SR300摄像头中的3D深度成像模块，即深度相机得到，是反映成像物体到深度相机光心距离的灰度图像；彩色图像即RGB图像，由因特尔实感SR300摄像头中的2D彩色成像模块，即彩色相机得到；(A)步骤中的预处理包括RGB-D图像对齐、深度图预处理和点云计算，三者先后进行；

RGB-D图像对齐：要求RGB-D四个通道对齐，即每一个三维点的颜色信息与每一个三维点的深度信息一一对应：

假设人体头部表面某一点P在深度图像上的投影坐标为p_ir，在深度相机坐标系下的空间坐标为P_ir，深度相机的内参数矩阵为H_ir，p_ir与P_ir之间的转换关系如式(1)所示：

同样，假设P_rgb为人体头部表面上同一点P在彩色相机坐标系的空间坐标，p_rgb为该点在彩色图像上的投影坐标；P_rgb与P_ir之间的关系通过深度相机与彩色相机之间的外参数矩阵表示，外参数矩阵包括旋转矩阵R和平移矩阵T两部分；P_rgb与P_ir之间的转换关系如式(2)所示：

P_rgb＝RP_ir+T

(2)

假设人体头部表面上同一点P在彩色相机坐标系下的空间坐标P_rgb，在彩色图像上的投影坐标为p_rgb，P_rgb与p_rgb之间的变换关系由彩色相机的内参数矩阵H_rgb表示，如式(3)所示：

p_rgb＝H_rgbP_rgb (3)

那么点P在深度相机坐标系和彩色相机坐标系下的空间坐标P_ir、P_rgb由式(4)求得：

式(4)中，R_ir,T_ir分别为深度相机内参数矩阵中的旋转矩阵和平移矩阵，R_rgb,T_rgb分别为彩色相机内参数矩阵中的旋转矩阵和平移矩阵；在式(4)的第一式中，将点P由R_ir,P_ir,T_ir表示，带入式(2)得：

整理即得深度相机和彩色相机的外参数矩阵，式(6)为外参数矩阵中旋转矩阵R和平移矩阵T的表达式：

因此，在同一场景下，通过相机标定获取深度相机和彩色相机的内参数矩阵后，由(6)式求得深度相机和彩色相机的外参数矩阵，即可将彩色图像与深度图像一一对齐；

深度图预处理：先对与彩色图像对齐后的深度图像基于阈值去除人物背景；再通过双边滤波算法确保深度图像人脸区域的边缘信息和细节信息；

深度图像去除背景：

深度图像由深度数据可视化而来，通过灰度值的大小表示物体与深度相机光心之间的距离关系；通过设定合适的阈值T，与深度图像中每一个像素点(x,y)的灰度值f(x,y)相比较，灰度值大于T时认定其为背景，将深度图像像素点(x,y)处的灰度值设为0；小于T则认定其为感兴趣区域，保留灰度值；g(x,y)表示去除背景后的深度图像每一个像素点(x,y)处的灰度值；(x,y)为深度图像上的像素点坐标；

基于阈值去除深度图像背景的过程如式(7)所示：

采用由Tomasi和Manduchi两位学者提出的双边滤波算法对去除背景后的深度图像进行保边去噪操作；双边滤波的表达式如式(8)所示：

式(8)中，双边滤波的权值函数w(x₀,y₀)由空间域函数d(x₀,y₀)和值域函数r(x₀,y₀)两部分构成，x₀,y₀为双边滤波模板的中心坐标，x,y为公式(7)去除背景后保留像素值的像素坐标点，即为整个滤波领域中的像素坐标点；空间域函数d(x₀,y₀)为标准差为σ_d的高斯滤波器，与滤波模板中心目标像素(x,y)的欧式距离越小，其权值越大；值域函数r(x₀,y₀)是一个单调递减函数，像素差值||f(x₀,y₀)-f(x,y)||越大，r(x₀,y₀)的值越小；双边滤波的权值函数形式如式(8)所示：

由式(9)得知在进行双边滤波时，不仅要确定滤波模板的大小，还要定义空间域标准差和值域标准差两个参数；邻域范围取为10×10，σ_d＝4，σ_r＝4，能够去除噪声以及保留物体的边缘信息。

点云计算方式如下：

定义深度相机的视点坐标系为头部姿态检测系统坐标系；

H为深度相机的内参数矩阵，(i,j)为经过去除背景的深度图像中的像素点，根据(i,j)处的深度值dep(i,j)计算出深度相机视点坐标系下的三维点云坐标[x_(i,j),y_(i,j),z_(i,j)]，由式(10)实现：

式(10)中，K^-1是深度相机内参数矩阵的逆矩阵；XYZ型点云数据直接由深度数据得到，XYZRGB型点云数据需要通过RGB-D数据进行转换。

(C)步骤过程如下：

三维人脸特征点检测：

(a)在高分辨率的彩色图像上检测人脸特征点：

首先从彩色图像提取人脸特征点，获值得人脸特征点在彩色图像上的位置信息，即式(10)中[x_(i,j),y_(i,j),z_(i,j)]的x,y值；再通过对齐的深度图像得到人脸特征点的深度信息，即式(10)中[x_(i,j),y_(i,j),z_(i,j)]的z值；

(b)人脸特征点的提取：在彩色图像上基于HOG及线性分类器建立人脸检测器，在人脸检测器检测到的人脸区域内检测特征点，获得人脸特征点在彩色图像上的位置信息；

(c)、人脸特征点的深度信息获得：使用Dlib库中已标记好人脸68个特征点的训练样本集，然后使用ERT级联回归算法，实现彩色图像上人脸特征点位置的定位，通过对齐的深度图像得到人脸特征点的深度信息；

构建三维头部坐标系：首先，检测人脸特征点在彩色图像上的位置信息和在深度图像上该点的深度信息，将其反投影到点云空间得到特征点的三维坐标；

然后，选取三个稳定的面部标志建立三维头部坐标系；人脸的内外眼角以及鼻子下端中间点是面部的基准标志；分别取左右眼内外眼角的中点，记为点M₁，M₂，鼻子下端点记为点N作为建立三维头部坐标系的基准点；

最后，定义原点及坐标轴；过点N做直线M₁M₂的垂线交其于点O，并令点O为头部坐标系原点；连接

规定下巴到眉心方向为Z轴正方向；连接

规定人脸从右眼到左眼方向为Y轴正方向；根据右手坐标系定则，确定X轴正方向；x,y,z轴的方向确定以后，将三轴表示为

归一化的计算过程如式(12)所示：

三维标准头部点云模型注册及点云优化：

注册标准三维头部点云模型并规定其姿态为零，即绕三维头部坐标系中的x,y,z三轴的欧拉角均为0，作为检测其他头部姿态的基准；

注册阶段，使人脸正向面对摄像头，采集RGB-D图像并生成零姿态头部点云模型；

点云优化阶段，在建立三维头部标准点云模型过程中，点云优化的首要任务是填充空洞；直接处理深度信息来达到点云优化的效果；

多帧均值滤波算法能在去噪的同时对空洞进行修补；在同样的条件下对同一场景拍摄m张图像，在理想情况下每张图像像素的个数、排列，像素值的大小都完全相同，g_i(x,y)为经过式(7)去除背景和式(8)双边滤波处理后的深度图像像素点(x,y)处的灰度值，使用g_i(x,y)表示受到加性噪声n_i(x,y)影响的m张含噪图片中第i张深度图片像素点(x,y)处的灰度值，f(x,y)深度图像上每一个像素点(x,y)处的灰度值，g_i(x,y)的数学表示为：

g_i(x,y)＝f(x,y)+n_i(x,y),i＝1,2,…,m (13)

多帧均值滤波的基本思想是基于每张图像的有效信号完全一致，噪声相互独立，且噪声n_i(x,y)的均值都为0的假设之上的，利用m张深度图像的算术平均值

来代替理想深度图像g(x,y)，；式(14)为多帧均值滤波的计算公式：

对m幅信号相同，噪声不同的图像求算术平均，含噪图像算术平均的数学期望就等于信号，同时算术平均后的方差减少为1/m；基于式(14)处理后的深度图像计算点云，填补三维标准头部点云模型的空洞，达到点云优化的作用。

下面结合附图对本发明做进一步的详细说明：

本发明提出了一种基于RGB-D图像检测头部姿态的方法，考虑实际应用中的需要，将头部姿态检测系统分为注册零姿态三维头部点云模型和头部姿态实时检测两部分。注册阶段在可控条件下进行，在高分辨率的彩色图像上检测人脸特征点，结合特征点的深度信息构建精度高的三维头部坐标系；实时检测阶段在非可控条件下进行，将头部坐标系粗配准计算与迭代最近点(ICP，Iterative Closest Point)点云配准算法相结合，得到待检测头部的精准头部姿态参数。

1RGB-D图像预处理

英特尔实感SR300摄像头(Intel

^TM Camera SR300，以下简称SR300)是前置近距离集成3D空间深度和2D摄像头模块。3D深度模块通过结构光原理和三维测距获取物体的深度信息，将深度数据可视化为深度图像；2D摄像头模块通过传统彩色摄像头获得含有丰富色彩信息和纹理信息的RGB图像。深度图像易受物体表面的材质或遮挡等因素影响，造成深度信息丢失和空洞；在观察深度相机30帧每秒的连续成像时，容易发现深度图像的一些细节部分在跳动，这些跳动的变化是由深度图像空洞和随机噪声共同影响产生的。综上所述，在人脸特征点检测、生成点云和点云配准之前应对RGB-D数据进行针对性的预处理工作，以改善数据质量。

1.1 RGB-D图像对齐

RGB-D数据是将同一时刻下采集的深度数据和彩色数据对齐和融合的结果。传统摄像头和深度摄像头的安装位置不同，获得的图像大小也不同。本发明后续算法要求RGB-D四个通道对齐，即每一个三维点的颜色信息与深度信息一一对应。

假设深度图像某一像素点(x,y)的投影坐标为p_ir，其z值表示深度信息，单位为毫米。物体表面上一点在深度相机坐标系下的空间坐标为P_ir，深度相机内参为H_ir，转换关系如式(1)所示：

同样，假设P_rgb为物体上同一点在彩色相机坐标系的空间坐标，该点在彩色图像上的投影坐标为p_rgb。P_rgb与P_ir之间的关系可通过外参R及T由式(2)表示：

P_rgb＝RP_ir+T (2)

彩色相机坐标系下某一像素点的三维坐标通过内参矩阵H_rgb变换，其对应的RGB图像像素坐标p_rgb由式(3)可得到：

p_rgb＝H_rgbP_rgb (3)

假设有点P空间坐标，那么点P在深度相机坐标系和彩色相机坐标系下的空间坐标P_ir、P_rgb可由式(4)求得：

在式(4)的第一式中，将P由R_ir,P_ir,T_ir表示，带入式(2)可得：

整理即可得深度相机和彩色相机的外参数矩阵，式(6)为旋转矩阵R和平移矩阵T的表达式：

在同一场景下，通过标定获取深度相机和彩色相机的内外参数矩阵，再由上式计算即可将彩色图像与深度图像一一对齐。

1.2深度图像预处理

SR300通过红外测距获得物体的深度信息，在物体的边缘处反射信息往往发生剧烈的变化，使深度图像中物体的边缘模糊；空洞区域的反射光线不能被接收器接收，使深度信息不连续或产生图像空洞^[19]。深度数据通过相机标定原理转换为点云数据，深度图像预处理的效果直接影响点云的质量。如果深度图像中物体边缘受背景影响变得模糊，当转化为点空间坐标后，物体边缘就会出现变形。因此与传统的图像滤波要求相比，对深度图像进行滤波时，更加需要确保图像的边缘信息和细节信息，即对保边去噪的要求较高。

Tomasi和Manduchi提出的双边滤波算法是一种用于保边去噪的经典图像滤波算法，该算法结合高斯滤波算法和基于灰度相似度的领域均值滤波算法的优点，兼顾了滤波领域中各像素的空间距离和像素差两个重要影响因素^[20]。双边滤波的表达式如式(7)所示：

式(7)中，双边滤波的权值函数w(x₀,y₀)由空间域函数d(x₀,y₀)和值域函数r(x₀,y₀)两部分构成，x₀,y₀为目标像素坐标，即双边滤波模板的中心坐标，x,y为整个滤波领域中的像素坐标点。空间域函数d(x₀,y₀)可以理解为标准差为σ_d的高斯滤波器，与滤波模板中心目标像素x₀,y₀的欧式距离越小，其权值越大；值域函数r(x₀,y₀)是一个单调递减函数，像素差值||f(x₀,y₀)-f(x,y)||越大，r(x₀,y₀)的值越小。双边滤波的权值函数形式如式(8)所示：

由式(8)可知在进行双边滤波时，不仅要确定滤波模板的大小，还要定义空间域标准差和值域标准差两个参数。空间域标准差越大，图像在像素变化较为平缓的区域变得越模糊；值域标准差的值越小，保边效果越好。

深度图像由深度数据可视化而来，通过灰度值的大小表示物体与相机之间的距离关系。通过设定合适的阈值T，与图像中每一个像素的灰度值f(x,y)相比较，灰度值大于T时认定其为背景，将灰度值g(x,y)设为0；小于T则认定其为感兴趣区域，保留灰度值。基于阈值去除深度图像背景的过程如式(9)所示：

1.3点云计算

点云数据根据相机标定原理^[22]由深度数据转换而来，深度相机成像原理如图1所示。我们定义深度相机的视点坐标系为头部姿态检测系统坐标系。

假设深度相机的内参数矩阵为K，深度图像中像素点(i,j)的深度值为dep(i,j)，深度值和深度相机坐标系下的三维点云坐标[x_(i,j),y_(i,j),z_(i,j)]的转换可由式(10)实现：

式(10)中，K^-1是深度相机内参数矩阵的逆矩阵。XYZ型点云数据直接由深度数据就可以得到，XYZRGB型点云数据需要通过RGB-D数据进行转换。图2为在摄像机坐标系下的人脸点云图像。

2三维人脸特征点检测

在面部处理中我们将人脸特征点定义人脸面部的关键区域位置，例如眼角、嘴角、鼻尖、眉毛这些能够使用初级的图像特征(方向梯度直方图，角度，或尺度不变特征变换(SIFT))就可以直接检测得到的标志被称为主要标志(基准标志)；鼻孔、下巴、脸颊轮廓、唇或眉毛中点、眼睑等的检测以基准标志为指导，被称为二级标志。人脸特征点被广泛地应用到面部表情分析、三维人脸重建、配准、人脸跟踪、头部姿态检测等领域。

三维特征点通过注册彩色图像和深度图像获得，本发明把头部姿态粗检测转换为基于人脸特征点的三维头部坐标系变换问题，即寻找实时检测的人脸点云和零姿态三维人脸模型点云的姿态变换。特征点信息提取的准确性直接影响了姿态检测的可靠性。SR300捕捉的彩色图像像素最高达1080p，故为了得到点云间准确的特征匹配，首先从彩色图像提取人脸特征点，获得其x,y空间的特征信息。再通过对齐的深度图像得到人脸特征点的深度信息。

首先，在RGB图像上基于HOG及线性分类器建立人脸检测器。然后，在检测到的人脸区域内检测特征点。在训练样本集中对人脸图像特征点进行标注，然后使用Kazemi V等人提出的ERT(ensemble of regression trees)级联回归算法，实现人脸眼部、鼻子、嘴部等68个特征点位置的定位。

为避免光源直射造成人脸局部区域过亮或有阴影，本发明将经颅磁刺激仪的实验环境设置为光源充足且均匀的室内，确保人脸特征点检测的精度。针对单轴方向的姿态变化，我们在头部正常旋转角度范围内进行人脸特征点检测实验，部分姿态下实现的人脸68个特征点检测效果如图3所示。

3三维头部坐标系

物体的方位可由固接于该物体的坐标系来描述。要完全描述刚体在空间的位姿(位置与姿态)，通常将物体B与某一坐标系{B}相固接。坐标系{B}的坐标原点一般选在该物体的特征点上。相对于参考系{A}，坐标系{B}的原点位置和坐标轴的方位可由式(11)来表示：

式(11)中，

为坐标系{B}相对于参考系{A}的位置矢量及旋转矩阵。

本发明假设人体头部是一个刚体，分别在零姿态三维标准头部模型和待检测头部点云上基于面部的特征点建立三维头部坐标系，用于头部初始姿态的求解。

3.1定义三维头部坐标系

建立三维标准头部坐标系的过程如下：

首先，检测人脸特征点，将其反投影到点云空间得到特征点的三维坐标；

然后，在三维人脸上选取三个稳定的面部标志建立三维头部坐标系。人脸的内外眼角以及鼻子下端中间点是面部的基准标志。为提高检测的准确性，分别取左右眼内外眼角的中点(记为点M₁，M₂)，鼻子下端点(记为点N)作为建立三维头部坐标系的基准点；

最后，定义原点及坐标轴。过点N做直线M₁M₂的垂线交其于点O，并令点O为头部坐标系原点；连接

规定下巴到眉心方向为Z轴正方向；连接

规定人脸从右眼到左眼方向为Y轴正方向；根据右手坐标系定则，确定X轴正方向。x,y,z轴的方向确定以后，将三轴表示为

归一化的计算过程如式(12)所示：

在人脸点云上建立的三维头部坐标系与SR300摄像机坐标系如图4所示。

3.2三维标准头部点云模型注册及点云优化

注册标准三维头部点云模型并规定其姿态为零，即绕x,y,z三轴的欧拉角均为0，作为检测其他头部姿态的基准。为了提高配准精度，在使用标准点云模型之前对其点云数据进行优化处理^[27]。

注册阶段，使人脸正向面对摄像头，采集RGB-D图像并生成零姿态头部点云模型。在建立三维头部标准点云模型过程中，点云优化的首要任务是填充空洞。三维点云的本质仍是深度信息，可以直接处理深度信息来达到点云优化的效果^[19]。

多帧均值滤波算法能在去噪的同时对孔洞进行修补^[27]。在同样的条件下对同一场景拍摄m张图像，在理想情况下每张图像f(x,y)都是完全一致的(像素的个数，排列，像素值的大小都完全相同)，但受到加性噪声n_i(x,y)的影响，m张含噪图片的数学表示为：

g_i(x,y)＝f(x,y)+n_i(x,y),i＝1,2,…,m (13)

多帧均值滤波的基本思想是基于每张图像的有效信号完全一致，噪声相互独立，且噪声n_i(x,y)的均值都为0的假设之上的，利用m张深度图像的算术平均值来代替理想深度图像f(x,y)。式(14)为多帧均值滤波的计算公式：

对m幅信号相同，噪声不同的图像求算术平均，因为噪声的均值为0，所以含噪图像算术平均的数学期望就等于信号，同时算术平均后的方差减少为1/m。因此该算法在抑制噪声的同时，对输入图像没有进行任何平滑处理。

4姿态检测

实时检测过程的关键部分，就是将待检测头部点云与三维标准头部模型点云进行配准。若两点云有一定的重叠度(一般特征比较明显的点云重叠部分超过60％时)即可得到正确的配准结果。在本发明中，自定义的零姿态三维头部标准模型与待检测三维人脸点云都有不同程度上的重叠。若直接使用精配准算法容易陷入局部最优解，而不是全局最优。故需要粗配准算法通过点云的一些特征信息估计出初始配准参数，为精配准提供精确配准一个迭代的起始位置，来增大收敛到最佳结果的概率。

针对上述点云数据配准中存在的问题，本发明将二维图像上检测的人脸特征点映射到三维点云上，为点云增加了稳定的特征，并基于此面部特征建立三维头部坐标系，通过计算待检测头部坐标系与标准三维头部坐标系的相对位置关系得到初始配准参数，将两片点云在全局范围内的相对位置变换到ICP算法的收敛域内，具体流程如图5所示。

4.1粗配准

设零姿态头部模型点集为P，姿态待配准头部点集为Q。图6为点云粗配准示意图。

设人体头部点云集Q相对于标准三维头部点云集P中各点的齐次变换矩阵为T，表达式如式(15)所示：

式(15)中，使用旋转矩阵

及

描述头部坐标系{Q}相对于{P}的姿态和原点的位置关系。人体头部上同一点m在两个三维头部坐标系{P}，{Q}中的描述P_m和Q_m具有如下变换关系：

式(16)为坐标旋转方程。

可分解为绕x,y,z三个坐标轴的旋转矩阵，使头部各点以ZYX的顺序依次左乘旋转矩阵可得

其中R_x，R_y，R_z矩阵以欧拉角的形式表示，如式(17)所示：

式(17)中，α,β和γ分别为绕x,y,z轴旋转的欧拉角。设零姿态三维头部坐标系O-XYZ相对于摄像机坐标系O_C-X_CY_CZ_C空间齐次变换矩阵为T₀，由于O_C＝(0，0，0)，则旋转矩阵为R₀及平移矩阵为t₀可由式(18)(19)求得：

t₀＝O-O_C＝O (18)

待配准点云Q相对于摄相机坐标系的位置关系T₁计算过程与T₀相同。由图6推导可得：

T为头部姿态的粗配准结果，使TP＝Q。

4.2精配准

ICP算法由计算机视觉研究者Besl和Mckay于1992年提出，是目前最经典且较为成熟的点云配准方法。ICP算法是一个基于最小二乘法的迭代过程，可以使两个待配准的点云在距离最小和的目标函数下，迭代收敛到局部最小值，在整体上达到某种度量准则下的最优配准。

假设零姿态头部点云为源数据集S，待检测姿态点云为目标数据集G，基于粗配准结果更新目标数据。初始时设置P₀＝S,R₀＝I，t₀＝0，迭代次数k＝0，ICP精配准算法的迭代步骤如下：

输入参数：数据集S和G；算法最大迭代次数k；设定阈值τ。

首先，计算零姿态点云集P_k中每个点在G中的对应最近点，生成对应点云集Q；

第二步，定义最小化目标函数e_k，e_k表示为P_k中各点与Q中对应点的平均欧式距离，如式(20)所示:

将点云集P_k中各点按照第k次迭代的位姿变换参数T_k，如式(21)所示，进行变换得到(R_kp_i,k+t_k)，式(22)为点云配准误差d_k的表达式；

第三步，使用第k次的变换矩阵T_k更新源集P_k+1＝T_k(P₀)＝R_kP₀+t_k；

接下来进入迭代过程，直到相邻两次的误差变化小于规定的阈值，即||d_k-d_k+1||＜τ，或达到最大迭代次数时，停止迭代。

最后输出配准结果，求得转换矩阵T，包含旋转矩阵R和平移矩阵t。

5实验与分析

本发明算法在Inter(R)Core(TM)i5-8250U CPU、64位Windows 10操作系统上运行。开发环境为Python 3.6，基于Pcl、Dlib和OpenCV开发库。由于本发明的头部姿态检测需要利用摄像机内外参数进行标定及坐标系转换的计算，故实验数据均来自Intel

^TM Camera SR300，简称SR300。SR300景深范围为0.2至1.2米，适用于室内和阳光间接照射环境，彩色摄像头像素高达1080p(30fps)，景深摄像头像素为640*480。

为了更好地说明本发明算法的精度，我们在x,y,z三个单轴上对本发明算法进行实验检测。由于真实人体头部姿态很难测量，因此我们在实验中使用仿真头部模型模拟真实人体头部的旋转，采集头部模型俯、仰、左转、右转、左偏、右偏6种姿态图像，并使用六轴运动姿态测量其头部姿态欧拉角的真实值。传感器在x、z轴的量程为±180°，y轴量程为±90°，静态角度精度为0.05°，动态精度为0.1°。将陀螺仪佩戴在零姿态的仿真头部模型上，然后对陀螺仪坐标系与三维头部坐标系进行标定，从而得到在本发明三维头部坐标系定义下头部姿态的真实值。

人体头部姿态在左右偏转时具有对称性，仰视运动范围大于俯视，因此在X轴(-60°，60°)，Y轴(-60°，30°)，Z轴(-60°，60°)区间内对本发明算法进行实验测试，每间隔5度采集一组RGB-D图像，部分姿态下的人体头部RGB-D图像如图7所示。

假设α，β，γ为绕x,y,z轴旋转的真实值(以欧拉角为单位)，

为检测值，使用平均绝对误差(Mean Absolute Error，MAE)作为头部姿态检测算法的评价准则，计算在x,y,z每个单轴上分别实验N₁,N₂,N₃次的平均绝对误差Δα,Δβ,Δγ，如式(22)：

通过式(24)计算x,y,z三轴的总平均绝对误差Δ：

图8为粗配准算法在x,y,z三个轴上66个不同姿态图像上检测结果的误差分析，横轴为绕坐标轴旋转的欧拉角角度，纵轴为绝对误差值(以欧拉角维单位)，图中三条折线分别代表本发明粗配准算法在x,y,z三个轴上的表现，水平虚线表示三轴总平均绝对误差。

图8为本发明头部姿态粗检测算法在单轴姿态检测上的表现。由实验数据可以得出，本发明提出的头部姿态粗配准算法在三个单轴头部正常旋转范围内的平均绝对误差为1.141°，在x轴(-60°，60°)范围内平均误差为1.102°，在y轴(-60°，30°)范围内平均误差为1.089°，在z轴(-60°，60°)范围内平均误差为1.22°。在头部偏转角度大于45度时，z轴的绝对误差高于x和_y轴，这是由于头部在向左右偏时，人脸的特征点数据完整，没有丢失的情况。本发明头部姿态检测算法在x轴(-40°，40°)区间准确率和稳定性表现非常好，绝对误差均低于三轴平均绝对误差。从图9可以看出，绕z轴旋转即左右旋转时，当欧拉角在35度以上时，姿态检测的绝对误差曾上升趋势，在旋转角度为-60°时，检测误差达到最大值1.932°。因此可以得出，本发明提出的粗配准算法精度依赖于特征点检测的准确率。

图9为本发明的头部姿态精配准算法在x,y,z三个轴上66个不同姿态图像上检测结果的误差分析。精配准算法在x,y,z三轴的平均绝对误差分别为0.667°，0.624°，0.690°。点云精配准时，ICP算法通过配准整个头部的点云数据，可以弥补在头部姿态大时由特征点丢失或检测不准时造成的误差。由图9实验数据可知，精配准将平均绝对误差从粗配准时的1.141°下降到0.663°。在经颅磁实际应用中，欧拉角检测的误差允许范围为(0°,2°)，因此，本发明的头部姿态检测算法精度可达到应用标准。

Claims (10)

1.一种基于RGB-D图像的头部姿态检测方法，其特征在于：该方法步骤如下：

(一)、采集头部姿态深度图像和RGB图像，并对该头部姿态深度图像和RGB图像进行对齐，得头部姿态图像；

(二)、对于(一)步骤对齐后的头部姿态图像进行点云计算得到待检测头部点云数据；

(三)、将(二)步骤中的点云数据代入三维标准头部模型中与三维标准头部模型点云进行配准，完成头部姿态检测。

2.根据权利要求1所述的基于RGB-D图像的头部姿态检测方法，其特征在于：(一)步骤中的深度图像由因特尔实感SR300摄像头中的3D深度成像模块，即深度相机得到，是反映成像物体到深度相机光心距离的灰度图像；彩色图像即RGB图像，由因特尔实感SR300摄像头中的2D彩色成像模块，即彩色相机得到。

3.根据权利要求2所述的基于RGB-D图像的头部姿态检测方法，其特征在于：(一)步骤中的对齐要求RGB-D四个通道对齐，即每一个三维点的颜色信息与每一个三维点的深度信息一一对应：

人体头部表面某一点P在深度图像上的投影坐标为p_ir，在深度相机坐标系下的空间坐标为P_ir，深度相机的内参数矩阵为H_ir，p_ir与P_ir之间的转换关系如式(1)所示：

同样，如果P_rgb为人体头部表面上同一点P在彩色相机坐标系的空间坐标，p_rgb为该点在彩色图像上的投影坐标；P_rgb与P_ir之间的关系通过深度相机与彩色相机之间的外参数矩阵表示，外参数矩阵包括旋转矩阵R和平移矩阵T两部分；P_rgb与P_it之间的转换关系如式(2)所示：

P_rgb＝RP_ir+T

(2)

如果人体头部表面上同一点P在彩色相机坐标系下的空间坐标P_rgb，在彩色图像上的投影坐标为p_rgb，P_rgb与p_rgb之间的变换关系由彩色相机的内参数矩阵H_rgb表示，如式(3)所示：

p_rgb＝H_rgbP_rgb (3)

那么点P在深度相机坐标系和彩色相机坐标系下的空间坐标P_ir、P_rgb由式(4)求得：

式(4)中，R_ir，T_ir分别为深度相机内参数矩阵中的旋转矩阵和平移矩阵，R_rgb，T_rgb分别为彩色相机内参数矩阵中的旋转矩阵和平移矩阵；在式(4)的第一式中，将点P由R_ir，P_ir，T_ir表示，带入式(2)得：

整理即得深度相机和彩色相机的外参数矩阵，式(6)为外参数矩阵中旋转矩阵R和平移矩阵T的表达式：

因此，在同一场景下，通过相机标定获取深度相机和彩色相机的内参数矩阵后，由(6)式求得深度相机和彩色相机的外参数矩阵，即将彩色图像与深度图像一一对齐。

4.根据权利要求2所述的基于RGB-D图像的头部姿态检测方法，其特征在于：

(三)步骤所述的配准为先进行粗配准；

粗配准方式如下：

设三维标准头部模型点云为P，待检测的头部姿态点云为Q；

设待检测的头部姿态点云Q相对于标准三维头部模型点云P中各点的齐次变换矩阵为T，表达式如式(15)所示：

式(15)中，使用旋转矩阵

描述头部坐标系{Q}中任一点Q_m相对于在坐标系{P}中对应点P_m的姿态，

描述头部坐标系{Q}中原点相对于在坐标系{P}中原点的位置关系；人体头部上同一点m在两个三维头部坐标系{P}，{Q}中的描述P_m和Q_m具有如下变换关系：

式(16)为齐次坐标旋转平移方程；

能分解为绕x，y，z三个坐标轴的旋转矩阵R_x，R_y，R_z，若使头部各点以ZYX的顺序依次左乘旋转矩阵，

表示为

其中R_x，R_y，R_z以欧拉角的形式表示，如式(17-1)至(17-3)所示：

式(17-1)至(17-3)中，α，β和γ分别为绕x，y，z轴旋转的欧拉角；设三维标准头部模型点云P上的头部坐标系O-XYZ相对于摄像机坐标系O_C-X_CY_CZ_C的空间齐次变换矩阵为T₀，O_C＝(0，0，0)，旋转矩阵为R₀及平移矩阵为t₀由式(18)(19)求得：

t₀＝O-O_C＝O (18)

定义三维标准头部模型点云P的头部姿态为零，即如式(17-1)至(17-3)所示，表示点云P的头部姿态的欧拉角α，β和γ都为0；三维标准头部模型点云P相对于摄像机坐标系的位置关系求解由式(18)(19)求得，而待检测的头部姿态点云Q相对于深度相机的视点坐标系的位置关系T₁计算过程与T₀相同；待检测的头部姿态点云Q相对于姿态为零的三维标准头部模型点云P的刚体变换关系表示为T，使TP＝Q；得，T＝T₁ ^-1T₀，矩阵T即为头部姿态的粗配准结果。

5.根据权利要求4所述的基于RGB-D图像的头部姿态检测方法，其特征在于：

粗配准之后进行迭代最近点点云配准算法：

源数据集为s，待检测的头部姿态点云为目标数据集G，基于粗配准结果T，对目标数据集G进行旋转平移的变换，从而更新目标数据G；初始时设置P₀＝S，R₀＝I，t₀＝0，迭代次数k＝0，ICP精配准算法的迭代步骤如下：

输入参数：数据集s和G；算法最大迭代次数k；设定阈值τ；

首先，计算零姿态点云集P_k中每个点在G中的对应最近点，生成对应点云集Q；

第二步，定义最小化目标函数e_k，e_k表示为P_k中各点与待检测的头部姿态点云Q中对应点的平均欧式距离，P_k及Q中点云个数为N，P_ik、Q_ik为迭代第k次时零姿态点云集P_k和对应点云集Q中第i点的表示，e_k的计算如式(20)所示：

将点云集P_k中各点按照第k次迭代的位姿变换参数T_k，包含旋转矩阵R_k及平移矩阵t_k，如式(21)所示，得到变换后的点云集(R_kp_i，k+t_k)，点云配准误差d_k是自变量为旋转矩阵R和平移矩阵T的函数，表达式如式(22)所示；

第三步，使用第k次的变换矩阵T_k更新源集P_k+1＝T_k(P₀)＝R_kP₀+t_k；

接下来进入迭代过程，直到相邻两次的误差变化小于规定的阈值，即||d_k-d_k+1||＜τ，或达到最大迭代次数时，停止迭代；最后输出配准结果，求得转换矩阵T，包含旋转矩阵R和平移矩阵t。

6.根据权利要求1所述的基于RGB-D图像的头部姿态检测方法，其特征在于：三维标准头部模型注册方法包括如下步骤：

(A)、采集建模用的多个头部姿态深度图像和RGB图像，并对该头部姿态深度图像和RGB图像进行预处理，得头部姿态图像；

(B)、对于(A)步骤预处理后的头部姿态图像进行点云计算得到待检测的头部点云；

(C)、在(B)步骤中的点云数据中进行三维人脸特征点检测；并构建三维头部坐标系并完成三维标准头部点云模型注册及点云优化。

7.根据权利要求1所述的基于RGB-D图像的头部姿态检测方法，其特征在于：(A)步骤中的深度图像由因特尔实感SR300摄像头中的3D深度成像模块，即深度相机得到，是反映成像物体到深度相机光心距离的灰度图像；彩色图像即RGB图像，由因特尔实感SR300摄像头中的2D彩色成像模块，即彩色相机得到；

(A)步骤中的预处理包括RGB-D图像对齐、深度图预处理和点云计算，三者先后进行；

RGB-D图像对齐：

要求RGB-D四个通道对齐，即每一个三维点的颜色信息与每一个三维点的深度信息一一对应：

人体头部表面某一点P在深度图像上的投影坐标为p_ir，在深度相机坐标系下的空间坐标为P_ir，深度相机的内参数矩阵为H_ir，p_ir与P_ir之间的转换关系如式(1)所示：

同样，如果P_rgb为人体头部表面上同一点P在彩色相机坐标系的空间坐标，p_rgb为该点在彩色图像上的投影坐标；P_rgb与P_ir之间的关系通过深度相机与彩色相机之间的外参数矩阵表示，外参数矩阵包括旋转矩阵R和平移矩阵T两部分；P_rgb与P_it之间的转换关系如式(2)所示：

P_rgb＝RP_ir+T

(2)

人体头部表面上同一点P在彩色相机坐标系下的空间坐标P_rgb，在彩色图像上的投影坐标为p_rgb，P_rgb与p_rgb之间的变换关系由彩色相机的内参数矩阵H_rgb表示，如式(3)所示：

p_rgb＝H_rgbP_rgb (3)

那么点P在深度相机坐标系和彩色相机坐标系下的空间坐标P_ir、P_rgb由式(4)求得：

式(4)中，R_ir，T_ir分别为深度相机内参数矩阵中的旋转矩阵和平移矩阵，R_rgb，T_rgb分别为彩色相机内参数矩阵中的旋转矩阵和平移矩阵；在式(4)的第一式中，将点P由R_ir，P_ir，T_ir表示，带入式(2)得：

整理即得深度相机和彩色相机的外参数矩阵，式(6)为外参数矩阵中旋转矩阵R和平移矩阵T的表达式：

因此，在同一场景下，通过相机标定获取深度相机和彩色相机的内参数矩阵后，由(6)式求得深度相机和彩色相机的外参数矩阵，即可将彩色图像与深度图像一一对齐；

深度图预处理：

先对与彩色图像对齐后的深度图像基于阈值去除人物背景；再通过双边滤波算法确保深度图像人脸区域的边缘信息和细节信息；

深度图像去除背景：

深度图像由深度数据可视化而来，通过灰度值的大小表示物体与深度相机光心之间的距离关系；通过设定合适的阈值T，与深度图像中每一个像素点(x，y)的灰度值f(x，y)相比较，灰度值大于T时认定其为背景，将深度图像像素点(x，y)处的灰度值设为0；小于T则认定其为感兴趣区域，保留灰度值；g(x，y)表示去除背景后的深度图像每一个像素点(x，y)处的灰度值；(x，y)为深度图像上的像素点坐标；

基于阈值去除深度图像背景的过程如式(7)所示：

采用由Tomasi和Manduchi两位学者提出的双边滤波算法对去除背景后的深度图像进行保边去噪操作；双边滤波的表达式如式(8)所示：

式(8)中，双边滤波的权值函数w(x₀，y₀)由空间域函数d(x₀，y₀)和值域函数r(x₀，y₀)两部分构成，x₀，y₀为双边滤波模板的中心坐标，x，y为公式(7)去除背景后保留像素值的像素坐标点，即为整个滤波领域中的像素坐标点；空间域函数d(x₀，y₀)为标准差为σ_d的高斯滤波器，与滤波模板中心目标像素(x，y)的欧式距离越小，其权值越大；值域函数r(x₀，y₀)是一个单调递减函数，像素差值||f(x₀，y₀)-f(x，y)||越大，r(x₀，y₀)的值越小；双边滤波的权值函数形式如式(8)所示：

由式(9)得知在进行双边滤波时，不仅要确定滤波模板的大小，还要定义空间域标准差和值域标准差两个参数；邻域范围取为10×10，σ_d＝4，σ_r＝4，能够去除噪声以及保留物体的边缘信息。

8.根据权利要求3或7所述的基于RGB-D图像的头部姿态检测方法，其特征在于：

点云计算方式如下：

定义深度相机的视点坐标系为头部姿态检测系统坐标系；

H为深度相机的内参数矩阵，(i，j)为经过去除背景的深度图像中的像素点，根据(i，j)处的深度值dep(i，j)计算出深度相机视点坐标系下的三维点云坐标[x_(i，j)，y_(i，j)，z_(i，j)]，由式(10)实现：

式(10)中，K^-1是深度相机内参数矩阵的逆矩阵；XYZ型点云数据直接由深度数据得到，XYZRGB型点云数据需要通过RGB-D数据进行转换。

9.根据权利要求8所述的基于RGB-D图像的头部姿态检测方法，其特征在于：

(C)步骤过程如下：

三维人脸特征点检测：

(a)在高分辨率的彩色图像上检测人脸特征点：

首先从彩色图像提取人脸特征点，获值得人脸特征点在彩色图像上的位置信息，即式(10)中[x_(i，j)，y_(i，j)，z_(i，j)]的x，y值；再通过对齐的深度图像得到人脸特征点的深度信息，即式(10)中[x_(i，j)，y_(i，j)，z_(i，j)]的z值；

(b)人脸特征点的提取：在彩色图像上基于HOG及线性分类器建立人脸检测器，在人脸检测器检测到的人脸区域内检测特征点，获得人脸特征点在彩色图像上的位置信息；

(c)、人脸特征点的深度信息获得：使用Dlib库中已标记好人脸68个特征点的训练样本集，然后使用ERT级联回归算法，实现彩色图像上人脸特征点位置的定位，通过对齐的深度图像得到人脸特征点的深度信息；

构建三维头部坐标系：

首先，检测人脸特征点在彩色图像上的位置信息和在深度图像上该点的深度信息，将其反投影到点云空间得到特征点的三维坐标；

然后，选取三个稳定的面部标志建立三维头部坐标系；人脸的内外眼角以及鼻子下端中间点是面部的基准标志；分别取左右眼内外眼角的中点，记为点M₁，M₂，鼻子下端点记为点N作为建立三维头部坐标系的基准点；

最后，定义原点及坐标轴；过点N做直线M₁M₂的垂线交其于点O，并令点O为头部坐标系原点；连接

规定下巴到眉心方向为z轴正方向；连接

规定人脸从右眼到左眼方向为Y轴正方向；根据右手坐标系定则，确定X轴正方向；x，y，z轴的方向确定以后，将三轴表示为

归一化的计算过程如式(12)所示：

三维标准头部点云模型注册及点云优化：

注册标准三维头部点云模型并规定其姿态为零，即绕三维头部坐标系中的x，y，z三轴的欧拉角均为0，作为检测其他头部姿态的基准；

注册阶段，使人脸正向面对摄像头，采集RGB-D图像并生成零姿态头部点云模型；

点云优化阶段，在建立三维头部标准点云模型过程中，点云优化的首要任务是填充空洞；直接处理深度信息来达到点云优化的效果；

多帧均值滤波算法能在去噪的同时对空洞进行修补；在同样的条件下对同一场景拍摄m张图像，在理想情况下每张图像像素的个数、排列，像素值的大小都完全相同，g_i(x，y)为经过式(7)去除背景和式(8)双边滤波处理后的深度图像像素点(x，y)处的灰度值，使用g_i(x，y)表示受到加性噪声n_i(x，y)影响的m张含噪图片中第i张深度图片像素点(x，y)处的灰度值，f(x，y)深度图像上每一个像素点(x，y)处的灰度值，g_i(x，y)的数学表示为：

g_i(x，y)＝f(x，y)+n_i(x，y)，i＝1，2，…，m (13)

多帧均值滤波的基本思想是基于每张图像的有效信号完全一致，噪声相互独立，且噪声n_i(x，y)的均值都为0的条件之上的，利用m张深度图像的算术平均值

来代替理想深度图像g(x，y)，；式(14)为多帧均值滤波的计算公式：

对m幅信号相同，噪声不同的图像求算术平均，含噪图像算术平均的数学期望就等于信号，同时算术平均后的方差减少为1/m；基于式(14)处理后的深度图像计算点云，填补三维标准头部点云模型的空洞，达到点云优化的作用。

10.一种基于RGB-D图像的头部姿态检测系统，其特征在于：该系统包括头部姿态图像模块、点云数据获取模块和配准模块；

头部姿态图像模块采集头部姿态深度图像和RGB图像，并对该头部姿态深度图像和RGB图像进行对齐，得头部姿态图像；

点云数据获取模块对于头部姿态图像模块对齐后的头部姿态图像进行点云计算得到待检测头部点云数据；

配准模块将点云数据获取模块中的点云数据代入三维标准头部模型中与三维标准头部模型点云进行配准，完成头部姿态检测。

Images