CN113485058B - 一种紧凑型高精度三维人脸成像方法 - Google Patents

一种紧凑型高精度三维人脸成像方法 Download PDF

Info

Publication number
CN113485058B
CN113485058B CN202110678834.8A CN202110678834A CN113485058B CN 113485058 B CN113485058 B CN 113485058B CN 202110678834 A CN202110678834 A CN 202110678834A CN 113485058 B CN113485058 B CN 113485058B
Authority
CN
China
Prior art keywords
total reflection
rgb
face
point cloud
mirror surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110678834.8A
Other languages
English (en)
Other versions
CN113485058A (zh
Inventor
郭俊兴
金传广
李虹
李宁
喻晓
孙立斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Xiaoyou Intelligent Technology Co ltd
Original Assignee
Suzhou Xiaoyou Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Xiaoyou Intelligent Technology Co ltd filed Critical Suzhou Xiaoyou Intelligent Technology Co ltd
Priority to CN202110678834.8A priority Critical patent/CN113485058B/zh
Publication of CN113485058A publication Critical patent/CN113485058A/zh
Application granted granted Critical
Publication of CN113485058B publication Critical patent/CN113485058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于三维机器视觉领域，涉及一种紧凑型高精度三维人脸成像方法，包括光学模块、RGB‑D深度相机、补光灯模组和姿势矫正器；方法为，步骤1、对RGB‑D深度相机与四块全反射镜面系统进行标定；步骤2、将人的下巴固定于姿态矫正器上，确保人脸面部静止不动；步骤3、点云配准；步骤4、纹理映射。通过转动平台，将RGB‑D深度相机的使用数量限制在1台，极大的降低了设备成本；采用10标准球系统作为标定基准，对于4个光路系统的标定精度提升至0.01mm；采用点云配准与纹理融合技术，输出完整的人脸三维模型。

Description

一种紧凑型高精度三维人脸成像方法
技术领域
本发明属于三维机器视觉领域，涉及一种紧凑型高精度三维人脸成像方法。
背景技术
人脸面部信息是医疗美容行业的核心信息，对医疗美容医生的诊断、手术起到至关重要的作用。当前医美行业所使用的设备均为二维照片信息，无法精准的表现出来面部三维结构，对于整形手术的术前分析和术后效果仿真无法提供直观的展示。另外，医美行业中大量的实体门店体量较小，对于大型医美分析设备的配备能力不足，主要体现在没有足够的空间进行放置，而且对使用者的操作技能水平要求较高。因此，医疗美容行业对于便捷式、小体积、高精度的三维人脸成像仪具有迫切的需求。
发明内容
为解决背景技术中提到的问题，本发明展示了一种紧凑型高精度三维人脸成像方法。
为实现上述目的，现提供技术方案如下：
一种紧凑型高精度三维人脸成像装置，
包括光学模块、RGB-D深度相机、补光灯模组和姿势矫正器；
光学模块的下部设置有结构支架，用于对面部的反射；
RGB-D深度相机设置在旋转平台，通过驱动控制器控制旋转平台的角度，用于对面部的拍摄；
补光灯模组设置在光学模块上部，对面部进行补光；
姿势矫正器用于对面部所在位置的限定。
进一步的，所述光学模块包括为四组全反射镜面，四组全反射镜面的中心位于椭圆上，通过角度调整使四组全反射镜覆盖人脸完整面部区域。
进一步的，所述姿势矫正器位于椭圆焦点的F1处，所述RGB-D深度相机设置在椭圆焦点的F2处。
一种三维人脸成像方法，包括：
步骤1、对RGB-D深度相机与四块全反射镜面系统进行标定；
步骤2、将人的下巴固定于姿态矫正器上，确保人脸面部静止不动；
步骤3、点云配准；
步骤4、纹理映射。
进一步的，步骤1.1、根据深度相机对应四个光学全反射镜面的视场范围设计标定球，标定球精度为0.1um；
步骤1.2、将标定板顺时针依次在全反射镜面一与全反射镜面二之间的公共成像区一、全反射镜面二与全反射镜面三之间的公共成像区二、全反射镜面三与全反射镜面四的之间的公共成像区三内摆放4个不同姿态；
步骤1.3、用RGB-D深度相机转动到步骤1.2中的公共成像区一、公共成像区二和公共成像区三分别对应的扫描位一、扫描位二和扫描位三采集对应姿态下的标定球点云数据；
步骤1.4、对标定球点云进行去噪、球体拟合后，可依次求出公共成像区一、公共成像区二和公共成像区三之间的旋转平移矩阵。
进一步的，所述标定球为10个直径相同、相对距离不同的标准球组成的高精度三维标定球系统，对x、y、z的标定精度为0.05mm，α、β、γ的标定精度为0.02rad。
进一步的，求出公共成像区一的旋转平移矩阵的方法为，对处理后的点云做标定球模型配准后，分别在全反射镜面一与全反射镜面二两个光学视场下RGB-D深度相机在扫描位一时标定球姿态A、B、C、D下10个球中的坐标值，然后通过最小二乘法求解公共成像区一最佳的旋转平移矩阵；公共成像区二、公共成像区三与公共成像区一的操作、计算完全相同。
进一步的，步骤2中，通过驱动控制器控制RGB-D深度相机开机启动，补光灯模组开机点亮，旋转平台带动RGB-D深度相机转到全反射镜面一的光路系统中；其中RGB-D深度相机的视野正对全反射镜面一中人脸的像进行扫描、重建并输出该全反射镜面一视野中的三维人脸模型，然后依次进行全反射镜面二、全反射镜面三和全反射镜面四的光路系统中的三维人脸重建及三维数据的输出。
进一步的，步骤3中，点云配准具体为：
步骤3.1、通过标定参数，将全反射镜面二位置采集的点云统一到全反射镜面一位置采集的点云坐标系下；
步骤3.2、按照最近点搜索，找到点云全反射镜面一和全反射镜面二的对应点集；
步骤3.3、根据对应点集计算点云全反射镜面一和全反射镜面二的刚性变换矩阵，并为点云应用变换矩阵；
步骤3.4、如果两片点云的配准误差小于给定阈值，则两组点云的配准完成，将二者合并为一组点云，并保存变换矩阵为transform.tf；
步骤3.5、重复步骤3.1-3.4，实现全反射镜面三和全反射镜面二点云的拼接、全反射镜面四和全反射镜面三点云的拼接，最终得到全反射镜面一、全反射镜面二、全反射镜面三和全反射镜面四的四个点云拼接的完整结果。
进一步的，步骤4中纹理映射具体步骤为：
步骤4.1、根据深度缓存原理剔除不可见的三角面片；
步骤4.2、基于点云配准过程中得到的变换矩阵以及RGB相机与深度相机的标定参数，将4个位置的RGB相机统一到世界坐标系；
步骤4.3、计算三维模型每个点在不同RGB图片中的UV坐标值；
步骤4.4、根据马尔可夫随机场原理，为每个三角面片选择最佳视角；
步骤4.5、纹理颜色校正，通过全局颜色平均与局部泊松融合消除纹理颜色差异，生成带纹理的三维人脸模型。
本发明的有益效果：
1、采用全反射镜面系统进行光路折转将装置的结构体积最大限度的减小；
2、通过转动平台，将RGB-D深度相机的使用数量限制在1台，极大的降低了设备成本；
3、采用10标准球系统作为标定基准，对于4个光路系统的标定精度提升至0.01mm；
4、采用点云配准与纹理融合技术，输出完整的人脸三维模型。
附图说明
图1.为本发明一种紧凑型高精度三维人脸成像装置结构示意图；
图2.为本发明的标定球及标定球参数；
图3.为本发明的标定球扫描点云误差；
图4.为本发明的标定球的位置图；
图5.为本发明的点云配准流程图；
图6.为本发明的点云配准效果图；
图7.为本发明的点云配准与纹理映射效果图；
图8.为本发明的纹理边界的局部颜色校正；
其中：102-1、全反射镜面一；102-2、全反射镜面二；102-3、全反射镜面三；102-4、全反射镜面四；106、结构支架；108、RGB-D深度相机；110、旋转平台；112、姿势矫正器；104、补光灯模组；114、驱动控制器。
具体实施方式
为使本领域技术人员更加清楚和明确本发明技术方案，下面结合附图对本发明技术方案进行详细描述，但本发明的实施方式不限于此。
一种紧凑型高精度三维人脸成像装置，
包括光学模块、RGB-D深度相机108、补光灯模组104和姿势矫正器112；
光学模块的下部设置有结构支架106，用于对面部的反射；所述光学模块包括为四组全反射镜面，分别为全反射镜面一102-1、全反射镜面二102-2、全反射镜面三102-3和全反射镜面四102-4，四组全反射镜面的中心位于椭圆上，通过角度调整使四组全反射镜覆盖人脸完整面部区域。
RGB-D深度相机108设置在旋转平台110，通过驱动控制器114控制旋转平台110的角度，用于对面部的拍摄；
补光灯模组104设置在光学模块上部，对面部进行补光；
姿势矫正器112用于对面部所在位置的限定。
所述姿势矫正器112位于椭圆焦点的F1处；所述RGB-D深度相机108设置在椭圆焦点的F2处。
一种三维人脸成像方法，包括：
步骤1、对RGB-D深度相机108与四块全反射镜面系统进行标定；
步骤1.1、根据深度相机对应四个光学全反射镜面的视场范围设计标定球，标定球精度为0.1um；所述标定球为10个直径相同、相对距离不同的标准球组成的高精度三维标定球系统，如图4，对x、y、z的标定精度为0.05mm，α、β、γ的标定精度为0.02rad。
步骤1.2、将标定板顺时针依次在全反射镜面一102-1与全反射镜面二102-2之间的公共成像区一、全反射镜面二102-2与全反射镜面三102-3之间的公共成像区二、全反射镜面三102-3与全反射镜面四102-4的之间的公共成像区三内摆放4个不同姿态；
步骤1.3、用RGB-D深度相机108转动到步骤1.2中的公共成像区一、公共成像区二和公共成像区三分别对应的扫描位一、扫描位二和扫描位三采集对应姿态下的标定球点云数据；
步骤1.4、对标定球点云进行去噪、球体拟合后，可依次求出公共成像区一、公共成像区二和公共成像区三之间的旋转平移矩阵。
求出公共成像区一的旋转平移矩阵的方法为，对处理后的点云做标定球模型配准后，分别在全反射镜面一102-1与全反射镜面二102-2两个光学视场下RGB-D深度相机108在扫描位一时标定球姿态A、B、C、D下10个球中的坐标值，然后通过最小二乘法求解公共成像区一最佳的旋转平移矩阵；公共成像区二、公共成像区三与公共成像区一的操作、计算完全相同。
步骤2、将人的下巴固定于姿态矫正器上，确保人脸面部静止不动；
通过驱动控制器114控制RGB-D深度相机108开机启动，补光灯模组104开机点亮，旋转平台110带动RGB-D深度相机108转到全反射镜面一102-1的光路系统中；其中RGB-D深度相机108的视野正对全反射镜面一102-1中人脸的像进行扫描、重建并输出该全反射镜面一102-1视野中的三维人脸模型，然后依次进行全反射镜面二102-2、全反射镜面三102-3和全反射镜面四102-4的光路系统中的三维人脸重建及三维数据的输出。
步骤3、点云配准；
点云配准具体为：
步骤3.1、通过标定参数，将全反射镜面二102-2位置采集的点云统一到全反射镜面一102-1位置采集的点云坐标系下；
步骤3.2、按照最近点搜索，找到点云全反射镜面一102-1和全反射镜面二102-2的对应点集；
步骤3.3、根据对应点集计算点云全反射镜面一102-1和全反射镜面二102-2的刚性变换矩阵，并为点云应用变换矩阵；
步骤3.4、如果两片点云的配准误差小于给定阈值，则两组点云的配准完成，将二者合并为一组点云，并保存变换矩阵为transform.tf；
步骤3.5、重复步骤3.1-3.4，实现全反射镜面三102-3和全反射镜面二102-2点云的拼接、全反射镜面四102-4和全反射镜面三102-3点云的拼接，最终得到全反射镜面一102-1、全反射镜面二102-2、全反射镜面三102-3和全反射镜面四102-4的四个点云拼接的完整结果。
步骤4、纹理映射。
步骤4.1、根据深度缓存原理剔除不可见的三角面片；
步骤4.2、基于点云配准过程中得到的变换矩阵以及RGB相机与深度相机的标定参数，将4个位置的RGB相机统一到世界坐标系；
步骤4.3、计算三维模型每个点在不同RGB图片中的UV坐标值；
步骤4.4、根据马尔可夫随机场原理，为每个三角面片选择最佳视角；
步骤4.5、纹理颜色校正，通过全局颜色平均与局部泊松融合消除纹理颜色差异，生成带纹理的三维人脸模型。
本发明具体运行流程为：
第一，对RGB-D深度相机108与四块全反射镜面系统进行标定，具体措施为：
根据深度相机对应四个光学全反射镜模块的视场范围设计标定球，标定球精度为0.1um，将标定板顺时针依次在全反射镜面一102-1和全反射镜面二102-2、全反射镜面二102-2和全反射镜面三102-3、全反射镜面三102-3和全反射镜面四102-4光学玻璃的公共成像区内摆放4个不同姿态，并用RGB-D深度相机108转动到扫描位一、扫描位二、扫描位三、扫描位四采集对应姿态下的标定球点云数据，对标定球点云进行去噪、球体拟合后，可依次求出全反射镜面一102-1和全反射镜面二102-2、全反射镜面二102-2和全反射镜面三102-3、全反射镜面三102-3和全反射镜面四102-4之间的旋转平移矩阵，该矩阵即为三维点云拼接矩阵。三维拼接矩阵求解方法为对处理后的点云做标定球模型配准后，分别在全反射镜面一102-1、全反射镜面二102-2两个光学视场下RGB-D深度相机108在扫描位全反射镜面一102-1时标定球姿态A、B、C、D下10个球中的坐标值，然后通过最小二乘法求解全反射镜面一102-1和全反射镜面二102-2之间最佳三维拼接矩阵，全反射镜面二102-2和全反射镜面三102-3、全反射镜面三102-3和全反射镜面四102-4与全反射镜面一102-1和全反射镜面二102-2的操作、计算完全相同。
第二，将人的下巴固定于姿态矫正器上，确保人脸面部静止不动。通过驱动控制器114控制控制RGB-D深度相机108开机启动、补光灯模组104开机点亮，旋转平台110带动RGB-D深度相机108转到全反射镜面全反射镜面一102-1光路系统中，其中RGB-D深度相机108的视野正对平面镜全反射镜面一102-1中人脸的像进行扫描、重建并输出该全反射镜面视野中的三维人脸模型，然后依次进行全反射镜面二102-2、全反射镜面三102-3和全反射镜面一102-1光路系统中的三维人脸重建及三维数据的输出。
点云配准，通过驱动控制系统控制RGB-D深度相机108的旋转角度，并通过RGB-D深度相机108与全反射镜面在特定角度进行人脸重建，得到四幅人脸三维点云数据。由于四幅人脸点云拍摄视角的不同，需要将输出的4组三维人脸点云数据进行拼接及纹理融合。进行点云拼接将其统一到同一个坐标系中。具体为：在装置标定阶段，以左二位置的深度相机为世界坐标系，可得到RGB-D深度相机108其余三个位置与世界坐标系的相对坐标信息。
通过标定参数，将全反射镜面二102-2位置采集的点云统一到全反射镜面一102-1位置采集的点云坐标系下；
按照最近点搜索，找到点云全反射镜面一102-1和全反射镜面二102-2的对应点集；
根据对应点集计算点云全反射镜面一102-1和全反射镜面二102-2的刚性变换矩阵，并为点云应用变换矩阵；
如果两片点云的配准误差小于给定阈值，则两组点云的配准完成，将二者合并为一组点云，并保存变换矩阵为transform.tf；
按照以上算法，将剩余点云分别与拼接后的点云进行配准，最终可得到由四片点云拼接成的完整人脸点云。
点云配准主要分为粗配准和精配准两个阶段。粗配准阶段主要给出各点云间粗略的位置关系。通常可根据系统相关信息以及标定结果给定。本系统根据系统的结构及固定旋转角度及标定结果，给出较好的四幅点云相对的初始位置关系，可保证精配准的收敛速度与稳定性。由于初始位置关系通常会存在一定偏差，需要进一步进行姿态优化，即精配准过程。精配准使用经典的最近点迭代算法ICP，其目的是在粗配准的基础上让点云之间的空间位置差别最小化。精配准的目标是迭代优化以下目标函数直到达到收敛条件：
对于给定的两个点集P及Q
argminP,Q∑d(pi,Rqi+t).
其中d(p,q)表示p与q之间的欧氏距离，R表示旋转变换，t表示平移变换。
算法流程如下：由于整个系统扫描得到四幅人脸点云，如图7所示以正脸朝前为例，将四幅人脸分为右侧脸、右正脸、左正脸及左侧脸，分别代表四个位置的人脸扫描结果。为得到最终完整的人脸结果，采取一种递增式的配准方案将四幅点云分别进行拼接。首先将左右正脸进行精配准，得到正脸结果。然后将左侧脸与正脸结果进行精配准，得到正-左侧脸结果。最后将右侧脸与正-左侧脸进行精配准，得到完整的人脸模型。此方案根据左右正脸特征较明显的特点，首先得到完整的正脸结果，然后分别将左右侧脸与前一步得到的结果进行配准，以简单的策略实现高效且鲁棒的拼接效果。
第四，纹理映射。点云配准之后，RGB-D深度相机108在四个位置采集的点云拼接为一片完整的人脸点云，采用泊松重建算法，将点云构建为三角网格模型，结合相机采集的4张RGB图片，可以进行纹理映射。
纹理映射的步骤如下：
根据深度缓存原理剔除不可见的三角面片；
基于点云配准过程中得到的变换矩阵以及RGB相机与深度相机的标定参数，将4个位置的RGB相机统一到世界坐标系；
计算三维模型每个点在不同RGB图片中的UV坐标值；
根据马尔可夫随机场原理，为每个三角面片选择最佳视角，即一个面片的纹理仅在一张RGB图片中选取，使得每个面片获得最清晰的纹理；
纹理颜色校正，通过全局颜色平均与局部泊松融合消除纹理颜色差异，
生成带纹理的三维人脸模型。
以上所述，仅是本发明的最佳实施例而已，并非对本发明的任何形式的限制，任何熟悉本领域的技术人员，在不脱离本发明技术方案范围的情况下利用上述揭示的方法和内容对本发明做出的许多可能的变动和修饰，均属于权利要求书保护的范围。

Claims (6)

1.一种紧凑型高精度三维人脸成像方法，其特征在于，包括：
包括光学模块、RGB-D深度相机、补光灯模组和姿势矫正器；
光学模块的下部设置有结构支架，用于对面部的反射；
所述光学模块包括为四组全反射镜面，四组全反射镜面的中心位于椭圆上，通过角度调整使四组全反射镜覆盖人脸完整面部区域；
RGB-D深度相机设置在旋转平台，通过驱动控制器控制旋转平台的角度，用于对面部的拍摄；
补光灯模组设置在光学模块上部，对面部进行补光；
姿势矫正器用于对面部所在位置的限定；
所述姿势矫正器位于椭圆焦点的F1处，所述RGB-D深度相机设置在椭圆焦点的F2处；
其步骤为：
步骤1、对RGB-D深度相机与四块全反射镜面系统进行标定；
步骤1.1、根据深度相机对应四个光学全反射镜面的视场范围设计标定球，标定球精度为0.1um；
步骤1.2、将标定板顺时针依次在全反射镜面一与全反射镜面二之间的公共成像区一、全反射镜面二与全反射镜面三之间的公共成像区二、全反射镜面三与全反射镜面四的之间的公共成像区三内摆放4个不同姿态；
步骤1.3、用RGB-D深度相机转动到步骤1.2中的公共成像区一、公共成像区二和公共成像区三分别对应的扫描位一、扫描位二和扫描位三采集对应姿态下的标定球点云数据；
步骤1.4、对标定球点云进行去噪、球体拟合后，可依次求出公共成像区一、公共成像区二和公共成像区三之间的旋转平移矩阵；
步骤2、将人的下巴固定于姿态矫正器上，确保人脸面部静止不动；
步骤3、点云配准；
步骤4、纹理映射。
2.根据权利要求1所述的一种紧凑型高精度三维人脸成像方法，其特征在于：所述标定球为10个直径相同、相对距离不同的标准球组成的高精度三维标定球系统，对x、y、z的标定精度为0.05mm，α、β、γ的标定精度为0.02rad。
3.根据权利要求2所述的一种紧凑型高精度三维人脸成像方法，其特征在于：求出公共成像区一的旋转平移矩阵的方法为，对处理后的点云做标定球模型配准后，分别在全反射镜面一与全反射镜面二两个光学视场下RGB-D深度相机在扫描位一时标定球姿态A、B、C、D下10个球中的坐标值，然后通过最小二乘法求解公共成像区一最佳的旋转平移矩阵；公共成像区二、公共成像区三与公共成像区一的操作、计算完全相同。
4.根据权利要求3所述的一种紧凑型高精度三维人脸成像方法，其特征在于：步骤2中，通过驱动控制器控制RGB-D深度相机开机启动，补光灯模组开机点亮，旋转平台带动RGB-D深度相机转到全反射镜面一的光路系统中；其中RGB-D深度相机的视野正对全反射镜面一中人脸的像进行扫描、重建并输出该全反射镜面一视野中的三维人脸模型，然后依次进行全反射镜面二、全反射镜面三和全反射镜面四的光路系统中的三维人脸重建及三维数据的输出。
5.根据权利要求4所述的一种紧凑型高精度三维人脸成像方法，其特征在于，步骤3中，点云配准具体为：
步骤3.1、通过标定参数，将全反射镜面二位置采集的点云统一到全反射镜面一位置采集的点云坐标系下；
步骤3.2、按照最近点搜索，找到点云全反射镜面一和全反射镜面二的对应点集；
步骤3.3、根据对应点集计算点云全反射镜面一和全反射镜面二的刚性变换矩阵，并为点云应用变换矩阵；
步骤3.4、如果两片点云的配准误差小于给定阈值，则两组点云的配准完成，将二者合并为一组点云，并保存变换矩阵为transform.tf；
步骤3.5、重复步骤3.1-3.4，实现全反射镜面三和全反射镜面二点云的拼接、全反射镜面四和全反射镜面三点云的拼接，最终得到全反射镜面一、全反射镜面二、全反射镜面三和全反射镜面四的四个点云拼接的完整结果。
6.根据权利要求5所述的一种紧凑型高精度三维人脸成像方法，其特征在于，步骤4中纹理映射具体步骤为：
步骤4.1、根据深度缓存原理剔除不可见的三角面片；
步骤4.2、基于点云配准过程中得到的变换矩阵以及RGB相机与深度相机的标定参数，将4个位置的RGB相机统一到世界坐标系；
步骤4.3、计算三维模型每个点在不同RGB图片中的UV坐标值；
步骤4.4、根据马尔可夫随机场原理，为每个三角面片选择最佳视角；
步骤4.5、纹理颜色校正，通过全局颜色平均与局部泊松融合消除纹理颜色差异，生成带纹理的三维人脸模型。
CN202110678834.8A 2021-06-18 2021-06-18 一种紧凑型高精度三维人脸成像方法 Active CN113485058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110678834.8A CN113485058B (zh) 2021-06-18 2021-06-18 一种紧凑型高精度三维人脸成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110678834.8A CN113485058B (zh) 2021-06-18 2021-06-18 一种紧凑型高精度三维人脸成像方法

Publications (2)

Publication Number Publication Date
CN113485058A CN113485058A (zh) 2021-10-08
CN113485058B true CN113485058B (zh) 2022-07-08

Family

ID=77933754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110678834.8A Active CN113485058B (zh) 2021-06-18 2021-06-18 一种紧凑型高精度三维人脸成像方法

Country Status (1)

Country Link
CN (1) CN113485058B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024098321A1 (zh) * 2022-11-10 2024-05-16 杭州小肤科技有限公司 一种结合光学反射成像的3d结构光全脸成像装置
WO2024098322A1 (zh) * 2022-11-10 2024-05-16 杭州小肤科技有限公司 一种利用光学反射合成3d人脸模型的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005064525A1 (en) * 2003-12-30 2005-07-14 Kield Martin Kieldsen A method and apparatus for providing information relating to a body part of a person, such as for identifying the person
CN110672039A (zh) * 2019-09-18 2020-01-10 南京理工大学 一种基于平面反射镜的物体全方位三维测量方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9230325B2 (en) * 2011-08-19 2016-01-05 University Of Rochester Three-dimensional model acquisition using planar mirrors
CN109903227B (zh) * 2019-02-21 2021-09-14 武汉大学 基于相机几何位置关系的全景影像拼接方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005064525A1 (en) * 2003-12-30 2005-07-14 Kield Martin Kieldsen A method and apparatus for providing information relating to a body part of a person, such as for identifying the person
CN110672039A (zh) * 2019-09-18 2020-01-10 南京理工大学 一种基于平面反射镜的物体全方位三维测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于镜面成像技术的三维立体视觉测量与重构综述;郭伟青等;《计算机科学》;20160915(第09期);1-9 *

Also Published As

Publication number Publication date
CN113485058A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN113485058B (zh) 一种紧凑型高精度三维人脸成像方法
CN113532326B (zh) 用于辅助型3d扫描的系统和方法
CN110657785B (zh) 一种高效的场景深度信息获取方法及系统
US6628298B1 (en) Apparatus and method for rendering synthetic objects into real scenes using measurements of scene illumination
CN107505324B (zh) 基于双目协同激光的3d扫描装置及扫描方法
CN110967166B (zh) 近眼显示光学系统的检测方法、检测装置和检测系统
CN108471487A (zh) 产生全景深度图像的图像装置及相关图像装置
WO2017008226A1 (zh) 一种三维人脸重建方法及系统
CN114998499A (zh) 一种基于线激光振镜扫描的双目三维重建方法及系统
CN108388341B (zh) 一种基于红外摄像机-可见光投影仪的人机交互系统及装置
WO2016073557A1 (en) Minimal-latency tracking and display for matching real and virtual worlds
WO2021208933A1 (zh) 用于相机的图像校正方法和装置
CN113175899B (zh) 相机与振镜结合的变视线系统三维成像模型及其标定方法
CN108038886A (zh) 双目摄像系统标定方法、装置及其汽车
CN109274898A (zh) 文档图像智能采集方法、装置和系统
CN109146781A (zh) 激光切割中的图像校正方法及装置、电子设备
CN111189415A (zh) 一种基于线结构光的多功能三维测量重建系统及方法
CN113160298A (zh) 一种深度真值获取方法、装置、系统及深度相机
CN112991457B (zh) 手术导航中投影仪空间位置和内外参标定方法、装置
JP7489253B2 (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
CN116883465A (zh) 一种多光谱植物表型三维成像方法、系统及装置
CN109345595B (zh) 一种基于圆球透镜的立体视觉传感器标定方法
CN114967170B (zh) 基于柔性裸眼三维显示设备的显示处理方法及其装置
CN113536957A (zh) 获取物体点云数据的系统
CN112419421A (zh) 一种相机标定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant