CN117315018B - 基于改进PnP的用户面部位姿检测方法、设备、介质 - Google Patents

Abstract

本发明涉及一种基于改进PnP的用户面部位姿检测方法、设备、介质，方法包括如下步骤：获取用户头部的扫描数据并构建三维模型，得到相机坐标系下的多个三维关键点坐标，以及对应的相机拍摄平面下的二维关键点的坐标，形成多个三维‑二维点对；基于所述多个三维‑二维点对，得到点与点之间的投影成像约束信息，基于所述投影成像约束信息，得到世界坐标系与相机坐标系之间的转换矩阵；基于所述世界坐标系与相机坐标系之间的转换矩阵，得到世界坐标系下用户面部位姿。与现有技术相比，本发明具有提高面部位姿检测准确性、性能良好等优点。

Description

基于改进PnP的用户面部位姿检测方法、设备、介质

技术领域

本发明涉及位姿识别技术领域，尤其是涉及一种基于改进PnP(Perspective-n-Point)的用户面部位姿检测方法、设备、介质。

背景技术

位姿估计方法可以分为两种，一种是深度学习方法，另一种是基于关键点2D投影到3D的方法；

最近的FSA-NET算法就是基于深度学习来实现位姿估计的，通过使用给定的数据集以及与每张数据集图相对应的欧拉角，最小化平均绝对误差(Mean Absolute Error，MAE)。FSA-NET算法借鉴了SSR-Net思想把回归问题转为软分段回归。通过这样的方法解决了将姿势估计转化为回归问题所带来的样本的分布不均衡以及随机性造成的过拟合现象。FSA-NET算法性能很优，实验中通过侧脸可以估计出头部的姿态。然而即使FSA-NET虽然拥有较小的模型，可是在显存性能和运行的时间上相比于其他模型没有做出明显的改进。

另一种是基于关键点投影的方法，例如比较经典的PnP(Perspective-n-Point)方法。简单讲就是将二维点投射到一个三维人脸模型上，接着在进行角度计算，这种方法的优点是不会受到检测器中检测点数量的制约，比如5点、6点的投影都可以，当然点数越多拟合的效果也越好，不过也会降低检测的速度；

对于n点透视问题，传统直接线性变换法使用空间参考点与图像间映射关系求解线性方程组，这种方法效率很高但是它并未考虑成像过程中存在的非线性约束关系，因此直接线性变换法求解n点透视问题存在精度不高、抗噪能力弱的缺点。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于改进PnP的用户面部位姿检测方法、设备、介质，以提高面部位姿检测准确性。

本发明的目的可以通过以下技术方案来实现：

本发明的一个方面，提供了一种基于改进PnP的用户面部位姿检测方法，包括如下步骤：

获取用户头部的扫描数据并构建三维模型，得到相机坐标系下的多个三维关键点坐标，以及对应的相机拍摄平面下的二维关键点的坐标，形成多个三维-二维点对；

基于所述多个三维-二维点对，得到点与点之间的投影成像约束信息，基于所述投影成像约束信息，得到世界坐标系与相机坐标系之间的转换矩阵；

基于所述世界坐标系与相机坐标系之间的转换矩阵对用户面部位姿进行检测。

作为优选的技术方案，所述的点与点之间的投影成像约束信息的计算过程包括：

基于小孔成像，建立所述三维关键点与所述二维关键点的关系表达式；

基于所述关系表达式，以第一平面和第二平面共面为限制条件，得到点与点之间的投影成像约束信息，其中，所述第一平面为任意两个三维关键点与相机光心形成的平面，所述第二平面为第一平面中两个三维关键点对应的二维关键点与相机光心形成的平面；

基于所述投影成像约束信息以及所述多个三维-二维点对，计算得到所述世界坐标系与相机坐标系之间的转换矩阵。

作为优选的技术方案，所述的投影成像约束信息基于下式获取：

α_ijn_ij＝Rm_ij-t×Rq_ij

其中，α_ij是针对三维关键点p_i、p_j的系数，n_ij是所述第一平面的法向量，R、t分别为旋转和平移矩阵，m_ij是所述第二平面的法向量，q_ij＝p_i-p_j。

作为优选的技术方案，所述的关系表达式为：

λ_ip_i＝KC；i＝1，2，…，n

其中，λ_i表示深度因子，C_i为点i在相机坐标系下的坐标，K表示相机内部参数，P_i为点i在世界坐标系下的坐标。

作为优选的技术方案，所述的用户面部位姿的获取包括如下步骤：

利用所述转换矩阵得到相机拍摄平面下的实际二维坐标，实现面部位姿检测。

作为优选的技术方案，所述的关键点包括鼻尖、下巴、左眼左侧、右眼右侧、左嘴角、右嘴角以及嘴部中心。

作为优选的技术方案，通过将Dlib库中的ID号与所述三维模型对应，得到与所述三维关键点对应的二维关键点的坐标。

作为优选的技术方案，通过平移和旋转对所述三维模型进行对齐，对齐后通过标定得到所述三维关键点，其中，所述的三维模型为Mesh模型。

本发明的另一个方面，提供了一种电子设备，包括：一个或多个处理器以及存储器，所述存储器内储存有一个或多个程序，所述一个或多个程序包括用于执行上述基于改进PnP的用户面部位姿检测方法的指令。

本发明的另一个方面，提供了一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行上述基于改进PnP的用户面部位姿检测方法的指令。

与现有技术相比，本发明具有以下优点：

(1)提高面部位姿检测准确性：本发明针对用户头部构建三维模型并得到面部特征的三维-二维点对，以此求解世界坐标系与相机坐标系的转换矩阵，基于转换矩阵得到相机坐标下的坐标，完成相机坐标系的位姿检测。本发明通过在求解转换矩阵的过程中加入点与点之间的投影成像约束信息(即构建投影成像约束模型)，相较于传统的求解的方法增加了额外的约束条件，提高了检测准确性。

(2)性能良好：本发明使用深度相机扫描建模头部产生三维坐标点，并结合Python中的Dlib库实现对应二维关键点识别，经过在ROS环境中位姿检测项目实际部署，可视化结果表明该位姿检测方法具有良好的性能。本方法也可以用于其他领域的位姿检测中。

附图说明

图1为实施例中基于改进PnP的用户面部位姿检测方法的流程图；

图2为n点透视视觉测量原理图；

图3为本申请采用的添加点与点约束的n点透视视觉测量原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例1

如图1所示，本申请针对前述现有技术存在的缺点，提供了一种基于改进PnP的用户面部位姿检测方法、设备、介质，流程具体如下：

步骤S1，采用深度相机扫描生成三维人头部模型，使用三维几何处理系统来导入扫描后得到的Mesh模型，通过平移和旋转对扫描后模型进行对齐以及标定三维关键点；

步骤S2，在获得人脸三维关键点坐标后，位姿估计算法还需要与之对应相机平面的二维关键点坐标，使用Python中的Dlib库以获取对应二维关键点坐标，得到用于预测位姿的三维和二维点；

步骤S3，建立世界坐标系O_w-X_wY_wZ_w与相机坐标系O_c-X_cY_cZ_c；相机的光心为原点Oc，光轴为Zc轴，相机所拍摄图像平面的水平和垂直方向分别为Xc轴和Yc轴；假设P_i为空间中的一特征点在世界坐标系O_w-X_wY_wZ_w的坐标，C_i为在相机坐标系O_c-X_cY_cZ_c的坐标，那么C_i和P_i之间的关系满足以下关系：

C_i＝RP_i+t i＝1，2，…，n (1)

步骤S4，已知相机内参数K的情况下，基于空间参考点{P_i，i＝1，2，…，n}以及与之对应的图像平面上的投影点{p_i，i＝1，2，…，n}计算出世界坐标系与相机坐标系之间的平移t和旋转R关系，并将图像坐标归一化得到P_i。

为了方便后续推导令P_i，R，t分别为/>P_i＝[X_i，Y_i，Z_i]^T，

步骤S5，P_i，P_j代表空间中的两个不同特征点，C_i和C_j为它们在相机坐标系下的点，O_c为相机的光心，O_c，C_i和C_j组成平面C_iO_cC_j，C_iO_cC_j在相机坐标系下的法向量是N_ij＝C_i×C_j。同理可得，C_i与C_j在图像上的投影P_i，P_j和O_c组成平面p_iO_cp_j，p_iO_cp_j与C_iO_cC_j在同一平面上，记平面p_iO_cp_j的法向量为n_ij＝p_i×p_j，得到n_ij和N_ij满足平行关系：

α_ijn_ij＝N_ij (4)

α_ijn_ij＝C_i×C_j (5)

将式(1)代入式(5)得：

α_ijn_ij＝(RP_i+t)×(RP_j+t) (6)

通过叉乘的运算规律，合并同类项最终化简为：

α_ijn_ij＝Rm_ij-t×Rq_ij (7)

设q_ij＝[q_x，q_y，q_z]^T，将t和R的表示形式代入t×Rq_ij得到：

令其中h_i，i＝1，2，…，9为未知数，推算出点与点间的成像约束模型α_ijn_ij＝Rm_ij-Hq_ij；

步骤S6，添加n个约束信息与k个约束条件继续进行线性求解，令式中n_ij＝[n_x，n_y，n_z]^T，m_ij＝[m_x，m_y，m_z]^T，代入式展开得到：

r₁m_xn_z-r₃m_xn_x+r₄m_yn_z-r₆m_yn_s+r₇m_zn_z-r₉m_zn_x-

h₁q_xn_z+h₃q_xn_x-h₄q_yn_z+h₆q_yn_x-h₇q_zn_z+h₉q_zn_x＝0

r₂m_xn_z-r₃m_xn_y+r₅m_yn_z-r₆m_yn_y+r₈m_zn_z-r₉m_zn_y-

h₂q_xn_z+h₃q_xn_y-h₅q_yn_z+h₆q_yn_y-h₈q_zn_z+h₉q_zn_y＝0

并令w_i＝h_i/t_z，i＝1，2，…，9，然后扩充变量s为在添加点与点特征间存在的成像约束信息后，使用最小二乘法求出/>并得到最终真实的世界坐标系与相机坐标系之间的平移t和旋转R关系，对提取的三维-二维点对转换得到用户嘴部位姿。

为了更加详细地说明位姿检测过程，在具体的实施过程中，方法包括如下步骤：

采用Intel RealSense D415深度相机以及RecFusion Pro软件扫描生成三维人头部Mesh模型；

使用MeshLab三维几何处理系统来导入扫描后得到的Mesh模型，通过平移和旋转对扫描后模型进行对齐以及标定三维关键点；

使用Python的Dlib库中68个人脸关键点的ID号来对应三维模型标注的鼻尖、下巴、左眼左侧、右眼右侧、左嘴角、右嘴角以及嘴部中心，以获取人脸三维关键点坐标对应的二维关键点坐标；

传统PnP问题中n点透视视觉测量原理如图2所示，建立世界坐标系O_w-X_wY_wZ_w与相机坐标系O_c-X_cY_cZ_c；相机的光心为原点Oc，光轴为Zc轴，相机所拍摄图像平面的水平和垂直方向分别为Xc轴和Yc轴；

假设P_i为空间中的一特征点在世界坐标系O_w-X_wY_wZ_w的坐标，C_i为在相机坐标系O_c-X_cY_cZ_c的坐标，那么C_i和P_i之间的关系满足以下关系

C_i＝RP_i+t i＝1，2，…，n (1)

式中R是一个3×3的矩阵，表示世界坐标系与相机坐标系之间的旋转关系；t是一个3×1的向量，表示世界坐标系与相机坐标系之间的平移关系。根据小孔成像原理，P_i是C_i在图像平面上的投影，P_i和C_i之间满足以下关系：

λ_ip_i＝KC_i i＝1，2，…，n (2)

等式中K表示相机内部参数，λ_i表示深度因子。

将图像坐标归一化得到P_i，由(1)和(2)推得

令P_i，R，t分别为/>P_i＝[X_i，Y_i，Z_i]^T，/>t＝[t_x，t_y，t_z]^T

将P_i，R，t带入公式(3)得到

在实际的应用场景中，相机拍摄的物体位于镜头前方，以此t_z＞0令

s_i＝r_i/t_z，i＝1，2，…，9，t₁＝t_x/t_z，t₂＝t_y/t_z

则得到关于s＝[s₁，s₂，s₃，s₄，s₅，s₆，s₇，s₈，s₉，t₁，t₂]^T的线性方程组

A_is＝B_i (5)

其中

对于空间中每个特征点都满足式(5)，因此空间中n个特征点可以得到

当空间特征点数目大于等于6个时，可以通过最小二乘法求解得到：

s＝(A^TA)^-1A^TB (7)

因为旋转矩阵R符合单位正交，因此

将s₁＝r₁/t_z，s₂＝r₂/t_z，s₃＝r₃/t_z代入式(8)，因为t_z＞0，所以

将t_z代回s_i＝r_i/t_z可以求出需要的R和t；

本发明基于改进的PnP求解方法实时获取用户嘴部位姿检测方法视觉测量原理如图3所示，P_j代表空间中的两个不同特征点，C_i和C_j为它们在相机坐标系下的点，O_c为相机的光心，O_c，C_i和C_j组成平面C_iO_cC_j，C_iO_cC_j在相机坐标系下的法向量是N_ij＝C_i×C_j。同理可得，C_i与C_j在图像上的投影P_i，P_j和O_c组成平面p_iO_cP_j，p_iO_cp_j与C_iO_cC_j在同一平面上，记平面p_iO_cp_j的法向量为n_ij＝p_i×p_j，得到n_ij和N_ij满足平行关系：

α_ijn_ij＝N_ij (10)

α_ijn_ij＝C_i×C_j (11)

将式(1)代入式(11)得：

α_ijn_ij＝(RP_i+t)×(RP_j+t) (12)

通过叉乘的运算规律，合并同类项得到：

α_ijn_ij＝R(P_i×P_j)-t×R(P_i-P_j)+t×t (13)

式中：p_i×p_j代表在世界坐标系下平面p_iO_wp_j的法向量，记为m_ij；p_i-p_j表示世界坐标系下的向量，记为q_ijt；t×t的值为0，则式(13)可写为：

α_ijn_ij＝Rm_ij-t×Rq_ij (14)

设q_ij＝[q_x，q_y，q_z]^T，将t和R的表示形式代入t×Rq_ij得到：

令其中h_i，i＝1，2，…，9为未知数，将式(15)带回式(14)，则式(14)变为：

α_ijn_ij＝Rm_ij-Hq_ij (16)

式(16)为推算出的点与点间的成像约束模型；

将空间中的n个特征点两两组合可以得到k＝n(n-1)/2种可能。因此，对于PnP问题的线性求解不仅可以使用式(1)中的n个约束信息，而且可以使用式(5)中的k个约束条件；

令式(16)中n_ij＝[n_x，n_y，n_z]^T，m_ij＝[m_x，m_y，m_z]^T，代入式(16)展开得到：

并令w_i＝h_i/t_z，i＝1，2，…，9，然后将式(5)中的变量s扩充为：

则式(5)变为：

根据式(20)，式(6)可以改写为

通过新定义的将式(18)和式(19)用矩阵的形式表示为

因为式(22)满足空间中k个点间的组合，因此得到

由式(21)和(23)可以得出：

式(24)中加入了点与点特征间存在的成像约束信息。使用最小二乘法可以得出为：

得出结果后提取它前11个分量，可以得出具有比例因子的如下结果：与真实的R，t间相差一个系数t_z。通过式(9)的方法先计算t_z，可以得出真实的R和t；

在求出真实的R和t后可以对用户面部位姿进行检测。姿态估计任务涉及世界坐标系、相机坐标系和图像坐标系三个坐标系统。

Step1，首先获取相机坐标系下的人脸特征点的三维坐标

Step2，将相机坐标系下的三维点投射到图像平面中得到二维数据，

Step3，已知相机内在的参数K，可计算相机的内参矩阵，利用本申请提供的改进的直接线性变换法，以提取的三维-二维点对以及相机内参矩阵作为算法的输入，预先求得更加真实的R和t，由式(1)进行相机坐标系与世界坐标系的转换，最终得到世界坐标系中(机械臂基座为世界坐标系)用户嘴的位姿。

本发明具有如下优点：

(1)本发明创新地使用深度相机扫描建模头部产生三维坐标点，并结合Python中的Dlib库实现对应二维关键点识别；

(2)本发明在传统直接线性变换法求解的基础上增加了点与点之间的投影成像约束模型，传统直接线性变换法使用空间参考点与图像间映射关系求解线性方程组，这种方法效率高但并未考虑成像过程中存在的非线性约束关系，因此直接线性变换法求解PnP问题存在精度不高、抗噪能力弱的缺点，改进后的直接线性变换法显著提高了姿态估计精度；

(3)本发明经过在ROS环境中位姿检测项目实际部署，可视化结果表明该位姿检测方法具有良好的性能。

本实施例提供的一种基于改进的PnP(Perspective-n-Point)地用户面部位姿检测方法，基于传统PnP求解方法，包括如下步骤：采用深度相机生成三维人头部模型并使用软件对扫描得到的头部模型进行对齐以及标定三维关键点；使用Python中的Dlib库以获取对应二维关键点坐标，得到用于预测位姿的三维和二维点；使用改进的直接线性变换法对提取的三维-二维点对转换得到(机械臂基座为世界坐标系)用户嘴的位姿，最终在ROS环境中部署位姿检测项目。本发明算法步骤简单明了，检测精度高，稳定性也更强，可实时准确获取用户嘴部位姿。

实施例2

本实施例提供了一种电子设备，包括：一个或多个处理器以及存储器，所述存储器内储存有一个或多个程序，所述一个或多个程序包括用于执行如实施例1所述基于改进PnP的用户面部位姿检测方法的指令。

实施例3

本实施例提供了一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如实施例1所述基于改进PnP的用户面部位姿检测方法的指令。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种基于改进PnP的用户面部位姿检测方法，其特征在于，包括如下步骤：

获取用户头部的扫描数据并构建三维模型，得到相机坐标系下的多个三维关键点坐标，以及对应的相机拍摄平面下的二维关键点的坐标，形成多个三维-二维点对；

基于所述多个三维-二维点对，得到点与点之间的投影成像约束信息，基于所述投影成像约束信息，得到世界坐标系与相机坐标系之间的转换矩阵；

基于所述世界坐标系与相机坐标系之间的转换矩阵对用户面部位姿进行检测，

其中，所述的点与点之间的投影成像约束信息的计算过程包括：

基于小孔成像，建立所述三维关键点与所述二维关键点的关系表达式；

基于所述关系表达式，以第一平面和第二平面共面为限制条件，得到点与点之间的投影成像约束信息，其中，所述第一平面为任意两个三维关键点与相机光心形成的平面，所述第二平面为第一平面中两个三维关键点对应的二维关键点与相机光心形成的平面；

基于所述投影成像约束信息以及所述多个三维-二维点对，计算得到所述世界坐标系与相机坐标系之间的转换矩阵，

所述的投影成像约束信息基于下式获取：

，

上式中，是针对三维关键点/>的系数，/>是所述第一平面的法向量，/>分别为旋转和平移矩阵，/>是所述第二平面的法向量，/>，

所述的关系表达式为：

，

上式中，表示深度因子，/>为点/>在相机坐标系下的坐标，/>表示相机内部参数，/>为点在世界坐标系下的坐标。

2.根据权利要求1所述的一种基于改进PnP的用户面部位姿检测方法，其特征在于，所述的用户面部位姿的获取包括如下步骤：

利用所述转换矩阵得到相机拍摄平面下的实际二维坐标，实现面部位姿检测。

3.根据权利要求1所述的一种基于改进PnP的用户面部位姿检测方法，其特征在于，所述的关键点包括鼻尖、下巴、左眼左侧、右眼右侧、左嘴角、右嘴角以及嘴部中心。

4.根据权利要求1所述的一种基于改进PnP的用户面部位姿检测方法，其特征在于，通过将Dlib库中的ID号与所述三维模型对应，得到与所述三维关键点对应的二维关键点的坐标。

5.根据权利要求1所述的一种基于改进PnP的用户面部位姿检测方法，其特征在于，通过平移和旋转对所述三维模型进行对齐，对齐后通过标定得到所述三维关键点，其中，所述的三维模型为Mesh模型。

6.一种电子设备，其特征在于，包括：一个或多个处理器以及存储器，所述存储器内储存有一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-5任一所述基于改进PnP的用户面部位姿检测方法的指令。

7.一种计算机可读存储介质，其特征在于，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-5任一所述基于改进PnP的用户面部位姿检测方法的指令。