CN112489135A - 一种虚拟三维人脸面部重建系统的标定方法 - Google Patents

Abstract

本发明公开一种虚拟三维人脸面部重建系统的标定方法，包括S1、利用圆柱体模的模型坐标系作为世界坐标系，求取世界坐标系与CT三维坐标系的变换关系；S2、利用棋盘格标定板，求取单目相机的内部参数得到相机坐标系与相机图像坐标系的变换关系；S3、通过单目相机在初始点处拍摄体模，求得世界坐标系与相机图像坐标系的变换关系；S4、根据已知的坐标变换关系，可最终求得CT三维坐标系到相机图像坐标系的变换关系；S5、由于单目相机是固定至CBCT上，当悬臂旋转时，即可求解出任意位置下的坐标变换关系，本发明用以实现单目相机与CBCT的系统标定，为三维人脸重建奠定硬件和数据基础，解决了现有技术中需要双目视觉扫描仪才能重建三维人脸的问题。

Description

一种虚拟三维人脸面部重建系统的标定方法

技术领域

本发明涉及牙齿正畸技术领域，尤其涉及一种虚拟三维人脸面部重建系统的标定方法。

背景技术

随着人民生活水平的提高，人们对于自身容貌的重视程度也越来越高，通过对五官的修整、矫正、美白等处理能够得到良好的外表形象。目前在各类整形手术前，都需要进行手术规划。通过拍摄CT图像，医生针对患者进行诊断以及制定手术计划，结合CT图像的三维重建，可以让医生和患者了解到手术目的和矫正的方案，并且结合术前和术后的影像信息，能够直观地对比手术效果。但是目前的针对CT三维重建效果并不够逼真，同时，由于CT图像中含有大量其他解剖结构的信息，针对脸部表面的呈现不够详细，并不利于医生和患者的观察。因此需要借助相机，对脸部表情进行重建，并与CT三维影像相配准，从而才能逼真地显示患者三维脸部。

目前，对于三维脸部的重建方式，大多数是采用双目立体视觉的三维面部扫描仪实现。双目立体视觉扫描仪需要针对两个相机进行标定，才可得到图像的深度信息，然而此过程会引入标定误差，导致深度信息不准确。标定完毕后，双目相机对脸部进行拍摄，得到深度图像，进行点云拼接，并构建脸部点云模型，进而根据点云模型完成纹理贴图。但由于脸部的重建是分别采用了双目相机系统与CT系统，这就使重建后的模型还需要进行两个系统的坐标匹配，才能精确地将模型贴合至CT三维影像上。

其次，双目扫描仪的成本较高，且不方便嵌入至CT系统中，但是使用单目相机亦可获取人脸的纹理信息，结合CT三维影像中提取的脸部点云模型，也可以完成纹理贴图的效果。这样将有利于降低人脸重建的成本，且无需实现两套系统的坐标标定。

因此，如何构建一套嵌入单目相机的CBCT人脸重建系统，并完成相机与CBCT系统坐标标定，为三维人脸重建奠定硬件和数据基础，将是本发明所要解决的技术问题。

发明内容

针对上述问题，本发明提出一种虚拟三维人脸面部重建系统的标定方法，主要解决背景技术中的问题。

本发明的目的在于提供一种基于锥形束计算机断层成像设备(CBCT)和单目相机的3D人脸面部重建系统标定方法。用以实现单目相机与CBCT的系统标定，为三维人脸重建奠定硬件和数据基础。解决了现有技术中，需要双目视觉扫描仪才能重建三维人脸的问题。

本发明提出一种虚拟三维人脸面部重建系统的标定方法，包括以下步骤：

S1、利用圆柱体模的模型坐标系作为世界坐标系，求取世界坐标系与CT三维坐标系的变换关系；

S2、利用棋盘格标定板，求取单目相机的内部参数得到相机坐标系与相机图像坐标系的变换关系；

S3、通过单目相机在初始点处拍摄体模，求得世界坐标系与相机图像坐标系的变换关系；

S4、根据已知的坐标变换关系，可最终求得CT三维坐标系到相机图像坐标系的变换关系；

S5、由于单目相机是固定至CBCT上，当悬臂旋转时，即可求解出任意位置下的坐标变换关系。

进一步改进在于，所述步骤S1具体包括：

S11、利用圆柱体模的模型坐标系作为世界坐标系S_w(x_w,y_w,z_w)，并提取圆柱体模上十字标记点在世界坐标系下的坐标值p_w；

S12、利用CBCT对圆柱体模进行扫描重建，构建出虚拟的三维模型，并命名为CT三维空间，根据其原点构建CT三维坐标系S_o(x_o,y_o,z_o)；

S13、圆柱体模上十字标记点在CT三维坐标系下的坐标值p_o通过钢珠的高CT值被提取得到，根据伪逆法或四元数法进而求取世界坐标系与CT三维坐标系的坐标变换关系为：

p_w＝R_owp_o+T_ow

其中，R_ow是世界坐标系到CT三维坐标系的旋转矩阵，T_ow是世界坐标系到CT三维坐标系的平移向量。

进一步改进在于，所述步骤S2具体包括：

S21、利用单目相机从不同角度拍摄多幅标定板图像，由于标定板棋盘格之间的间隔是已知的，通过张正友标定法可以求出单目相机的内部参数A；

S22、通过单目相机的内部参数A得到相机坐标系S_c(x_c,y_c,z_c)到相机图像坐标系S_d(x_d,y_d,z_d＝1)的坐标变换关系：

进一步改进在于，所述步骤S3具体包括：

S31、利用单目相机在CBCT悬臂的运动初始点处开始拍摄圆柱体模，通过圆柱体模上的十字标记点，结合角点提取算法提取圆柱体模上十字标记点的图像坐标值p_d；

S32、由于圆柱体模上的各排十字标记点的距离关系是确定的，根据距离关系即可得到对应标记点世界坐标值p_w，进而求出世界坐标系S_w(x_w,y_w,z_w)与相机图像坐标系S_d(x_d,y_d,z_d＝1)的坐标变换关系为：

p_d＝A·(R_wcp_w+T_wc)

其中，R_wc是世界坐标系到相机坐标系的旋转矩阵，T_wc是世界坐标系到相机坐标系的平移向量，经过与内部参数A转换得到相机图像坐标系坐标值。

进一步改进在于，所述步骤S4具体包括：

根据已得到的坐标变换关系，求出在CBCT初始点下，CT三维坐标系至相机图像坐标系的坐标变换关系：

p_d＝R_odp_o+T_od

R_od＝A·R_wc·R_ow

T_od＝A·(R_wc·T_ow+T_wc)

其中，R_od为CT三维坐标系到相机图像坐标系的旋转矩阵，T_od为CT三维坐标系到相机图像坐标系的平移向量。

进一步改进在于，所述步骤S13具体还包括：

利用伪逆法求解旋转矩阵R和平移向量T的具体方式为：设世界坐标点集向量为P，CT三维坐标点集向量为Q，将R、T进行拼接，式子两边同右乘Q的转置矩阵，即可推出R和T，公式如下：

世界坐标系到相机坐标系的旋转矩阵R_wc与平移向量T_wc求解方式与上述过程相同。

与现有技术相比，本发明的有益效果为：

1、本发明基于CBCT和单目相机人脸面部重建系统，可以通过单目相机拍摄即可获取人脸纹理，无需通过双目相机得到，可降低使用成本。

2、本发明设计的基于CBCT和单目相机人脸面部重建系统标定方法，具有操作复杂度低，标定时间短等特点，适用于现场标定，具有较高的临床应用价值。

附图说明

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

图1为本发明一实施方式的基于CBCT和单目相机人脸面部重建系统示意图；

图2为本发明一实施方式的系统标定流程示意图；

图3为本发明一实施方式的标定流程中坐标变换示意图；

图4为本发明一实施方式的体模标定的结果示意图；

图5为本发明一实施方式的人脸模型面部重建侧视结果示意图；

附图标记：1、锥形束计算机断层成像设备；2、单目相机；3、圆柱体模；4、棋盘格标定板。

具体实施方式

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以是通过中间媒介间接连接，可以说两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明的具体含义。下面结合附图和实施例对本发明的技术方案做进一步的说明。

本发明涉及一种虚拟三维人脸面部重建系统的标定方法，具体涉及了一种基于锥形束计算机断层成像设备(CBCT)和单目相机的精准三维人脸面部重建系统标定方法，根据系统标定的结果，可实时反馈相机与CBCT虚拟人脸模型的坐标变换关系，从而为快速精准地生成三维人脸面部纹理奠定基础。主要可应用于牙齿正畸、整形手术等临床医学中。

本发明的目的在于提供一种基于锥形束计算机断层成像设备(CBCT)和单目相机的3D人脸面部重建系统标定方法。用以实现单目相机与CBCT的系统标定，为三维人脸重建奠定硬件和数据基础。解决了现有技术中，需要双目视觉扫描仪才能重建三维人脸的问题。

为了达到上述的目的，本发明为一种基于CBCT和单目相机的3D人脸面部重建系统标定方法，该方法需要用到CBCT，单目相机，圆柱体模，棋盘格标定板。其中所述的CBCT用于扫描并重建出患者虚拟的面部三维模型；所述的单目相机固定于CBCT的球管发射正上方，用于拍摄患者的面部照片；所述的圆柱体模表面上均匀刻有12排十字架作为标记点，且每个十字架中心处嵌入一颗钢珠，放置于CBCT的平台上进行扫描。所述的棋盘格标定板为黑白格相间的标定板，间隔之间的相对位置都已知，用于对单目相机的标定；通过利用上述的单目相机，圆柱体模，标定板完成对整个三维人脸面部重建系统的标定，求解CBCT与相机图像之间的坐标变换关系，为实现面部三维模型与面部照片的贴合，重建出虚拟的三维人脸面部结构奠定了基础。

参照图1到图5，一种虚拟三维人脸面部重建系统的标定方法，包括以下步骤：

S1、利用圆柱体模的模型坐标系作为世界坐标系，求取世界坐标系与CT三维坐标系的变换关系；

S2、利用棋盘格标定板，求取单目相机的内部参数得到相机坐标系与相机图像坐标系的变换关系；

S3、通过单目相机在初始点处拍摄体模，求得世界坐标系与相机图像坐标系的变换关系；

S4、根据已知的坐标变换关系，可最终求得CT三维坐标系到相机图像坐标系的变换关系；

S5、由于单目相机是固定至CBCT上，当悬臂旋转时，即可求解出任意位置下的坐标变换关系。

具体地，所述步骤S5由于相机是固定在CBCT，当CBCT悬臂旋转时，相机环绕体模进行拍摄，以此类推，可以得到不同角度下CT三维坐标系与相机图像坐标系的坐标变换关系。至此，三维人脸面部重建系统的标定就已经完成了，从而为三维面部重建实时提供相机和患者的位置信息。

作为本发明一优选实施方案，所述步骤S1具体包括：

S11、利用圆柱体模的模型坐标系作为世界坐标系S_w(x_w,y_w,z_w)，并提取圆柱体模上十字标记点在世界坐标系下的坐标值p_w；

S12、由于圆柱体模设计时，十字标记点是分组排列的，其距离是固定的，依据距离关系，分别将两个坐标系下的坐标值按顺序进行排列，保证标记点一一对应，因此，利用CBCT对圆柱体模进行扫描重建，构建出虚拟的三维模型，并命名为CT三维空间，根据其原点构建CT三维坐标系S_o(x_o,y_o,z_o)；

S13、圆柱体模上十字标记点在CT三维坐标系下的坐标值p_o通过钢珠的高CT值被提取得到，根据伪逆法或四元数法进而求取世界坐标系与CT三维坐标系的坐标变换关系为：

p_w＝R_owp_o+T_ow

其中，R_ow是世界坐标系到CT三维坐标系的旋转矩阵，T_ow是世界坐标系到CT三维坐标系的平移向量。

作为本发明一优选实施方案，所述步骤S2具体包括：

S21、利用单目相机从不同角度拍摄多幅标定板图像，由于标定板棋盘格之间的间隔是已知的，通过张正友标定法可以求出单目相机的内部参数A，包括内参矩阵和畸变参数等，同时也可求解相机的外部参数，即标定板到图像坐标系的旋转矩阵R_bd和平移向量T_bd，此步骤无需使用；

S22、通过单目相机的内部参数A得到相机坐标系S_c(x_c,y_c,z_c)到相机图像坐标系S_d(x_d,y_d,z_d＝1)的坐标变换关系：

作为本发明一优选实施方案，所述步骤S3具体包括：

S31、利用单目相机在CBCT悬臂的运动初始点处开始拍摄圆柱体模，通过圆柱体模上的十字标记点，结合角点提取算法提取圆柱体模上十字标记点的图像坐标值p_d；

S32、由于圆柱体模上的各排十字标记点的距离关系是确定的，根据距离关系即可得到对应标记点世界坐标值p_w，结合步骤S1中相同的方法，进而求出世界坐标系S_w(x_w,y_w,z_w)与相机图像坐标系S_d(x_d,y_d,z_d＝1)的坐标变换关系为：

p_d＝A·(R_wcp_w+T_wc)

其中，R_wc是世界坐标系到相机坐标系的旋转矩阵，T_wc是世界坐标系到相机坐标系的平移向量，经过与内部参数A转换得到相机图像坐标系坐标值。

作为本发明一优选实施方案，所述步骤S4具体包括：

根据已得到的坐标变换关系，求出在CBCT初始点下，CT三维坐标系至相机图像坐标系的坐标变换关系：

p_d＝R_odp_o+T_od

R_od＝A·R_wc·R_ow

T_od＝A·(R_wc·T_ow+T_wc)

其中，R_od为CT三维坐标系到相机图像坐标系的旋转矩阵，T_od为CT三维坐标系到相机图像坐标系的平移向量。

作为本发明一优选实施方案，所述步骤S13具体还包括：

利用伪逆法求解旋转矩阵R和平移向量T的具体方式为：设世界坐标点集向量为P，CT三维坐标点集向量为Q，将R、T进行拼接，式子两边同右乘Q的转置矩阵，即可推出R和T，公式如下：

世界坐标系到相机坐标系的旋转矩阵R_wc与平移向量T_wc求解方式与上述过程相同。

最后，在步骤S5中，由于相机是固定在CBCT，当CBCT悬臂旋转时，相机环绕体模进行拍摄，以此类推，可以得到不同角度下CT三维坐标系与相机图像坐标系的坐标变换关系。至此，三维人脸面部重建系统的标定就已经完成了，从而为三维面部重建实时提供相机和患者的位置信息。体模的标定测试结果如图4所示。

综上所述，本发明的CBCT与单目相机人脸重建系统标定方法能够凭借圆柱体模与标定板即可完成整个系统的标定，之后结合相机所拍摄到的人脸影像与CBCT生成的点云模型，即可完成三维人脸的重建，无需进行二次的空间配准。

与现有技术相比，本发明的有益效果为：

1、本发明基于CBCT和单目相机人脸面部重建系统，可以通过单目相机拍摄即可获取人脸纹理，无需通过双目相机得到，可降低使用成本。

2、本发明设计的基于CBCT和单目相机人脸面部重建系统标定方法，具有操作复杂度低，标定时间短等特点，适用于现场标定，具有较高的临床应用价值。

图中，描述位置关系仅用于示例性说明，不能理解为对本专利的限制；显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种虚拟三维人脸面部重建系统的标定方法，其特征在于，包括以下步骤：

S1、利用圆柱体模的模型坐标系作为世界坐标系，求取世界坐标系与CT三维坐标系的变换关系；

S2、利用棋盘格标定板，求取单目相机的内部参数得到相机坐标系与相机图像坐标系的变换关系；

S3、通过单目相机在初始点处拍摄体模，求得世界坐标系与相机图像坐标系的变换关系；

S4、根据已知的坐标变换关系，可最终求得CT三维坐标系到相机图像坐标系的变换关系；

S5、由于单目相机是固定至CBCT上，当悬臂旋转时，即可求解出任意位置下的坐标变换关系。

2.根据权利要求1所述的一种虚拟三维人脸面部重建系统的标定方法，其特征在于，所述步骤S1具体包括：

S11、利用圆柱体模的模型坐标系作为世界坐标系S_w(x_w,y_w,z_w)，并提取圆柱体模上十字标记点在世界坐标系下的坐标值p_w；

S12、利用CBCT对圆柱体模进行扫描重建，构建出虚拟的三维模型，并命名为CT三维空间，根据其原点构建CT三维坐标系S_o(x_o,y_o,z_o)；

S13、圆柱体模上十字标记点在CT三维坐标系下的坐标值p_o通过钢珠的高CT值被提取得到，根据伪逆法或四元数法进而求取世界坐标系与CT三维坐标系的坐标变换关系为：

p_w＝R_owp_o+T_ow

其中，R_ow是世界坐标系到CT三维坐标系的旋转矩阵，T_ow是世界坐标系到CT三维坐标系的平移向量。

3.根据权利要求1所述的一种虚拟三维人脸面部重建系统的标定方法，其特征在于，所述步骤S2具体包括：

S21、利用单目相机从不同角度拍摄多幅标定板图像，由于标定板棋盘格之间的间隔是已知的，通过张正友标定法可以求出单目相机的内部参数A；

S22、通过单目相机的内部参数A得到相机坐标系S_c(x_c,y_c,z_c)到相机图像坐标系S_d(x_d,y_d,z_d＝1)的坐标变换关系：

4.根据权利要求1所述的一种虚拟三维人脸面部重建系统的标定方法，其特征在于，所述步骤S3具体包括：

S31、利用单目相机在CBCT悬臂的运动初始点处开始拍摄圆柱体模，通过圆柱体模上的十字标记点，结合角点提取算法提取圆柱体模上十字标记点的图像坐标值p_d；

S32、由于圆柱体模上的各排十字标记点的距离关系是确定的，根据距离关系即可得到对应标记点世界坐标值p_w，进而求出世界坐标系S_w(x_w,y_w,z_w)与相机图像坐标系S_d(x_d,y_d,z_d＝1)的坐标变换关系为：

p_d＝A·(R_wcp_w+T_wc)

其中，R_wc是世界坐标系到相机坐标系的旋转矩阵，T_wc是世界坐标系到相机坐标系的平移向量，经过与内部参数A转换得到相机图像坐标系坐标值。

5.根据权利要求1所述的一种虚拟三维人脸面部重建系统的标定方法，其特征在于，所述步骤S4具体包括：

根据已得到的坐标变换关系，求出在CBCT初始点下，CT三维坐标系至相机图像坐标系的坐标变换关系：

p_d＝R_odp_o+T_od

R_od＝A·R_wc·R_ow

T_od＝A·(R_wc·T_ow+T_wc)

其中，R_od为CT三维坐标系到相机图像坐标系的旋转矩阵，T_od为CT三维坐标系到相机图像坐标系的平移向量。

6.根据权利要求2所述的一种虚拟三维人脸面部重建系统的标定方法，其特征在于，所述步骤S13具体还包括：

利用伪逆法求解旋转矩阵R和平移向量T的具体方式为：设世界坐标点集向量为P，CT三维坐标点集向量为Q，将R、T进行拼接，式子两边同右乘Q的转置矩阵，即可推出R和T，公式如下：

世界坐标系到相机坐标系的旋转矩阵R_wc与平移向量T_wc求解方式与上述过程相同。

Images