CN112802171A - 一种三维人脸重建方法、装置、系统及存储介质 - Google Patents

一种三维人脸重建方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN112802171A
CN112802171A CN202110050174.9A CN202110050174A CN112802171A CN 112802171 A CN112802171 A CN 112802171A CN 202110050174 A CN202110050174 A CN 202110050174A CN 112802171 A CN112802171 A CN 112802171A
Authority
CN
China
Prior art keywords
image
camera
matching
size
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110050174.9A
Other languages
English (en)
Inventor
陈家彬
王衍田
程诚
汪浩源
刘欣
王旭光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Nano Tech and Nano Bionics of CAS
Original Assignee
Suzhou Institute of Nano Tech and Nano Bionics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Nano Tech and Nano Bionics of CAS filed Critical Suzhou Institute of Nano Tech and Nano Bionics of CAS
Priority to CN202110050174.9A priority Critical patent/CN112802171A/zh
Publication of CN112802171A publication Critical patent/CN112802171A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种三维人脸重建方法、装置、系统及存储介质。该方法利用投影设备向目标人脸投射条纹结构光，有效减少了图像对的数量，降低了对投影设备和相机拍摄的曝光时间，也减少了对图像的存储和计算要求，其次利用两个相机从不同角度采集不同时刻的目标人脸，对得到的图像对进行处理得到不同尺寸的图像序列，然后对多个尺寸下的图像序列进行匹配处理，得到匹配视差，有效减少了传统随机散斑匹配方法中对窗口大小的依赖，提高了匹配视差的准确度，在基于匹配视差得到重建的三维人脸时，提高了重建结果的准确度。

Description

一种三维人脸重建方法、装置、系统及存储介质
技术领域
本发明实施例涉及计算机视觉技术领域，尤其涉及一种三维人脸重建方法、装置、系统及存储介质。
背景技术
三维人脸重建在诸如人脸识别、医疗整形、表情识别、人机交互、虚拟现实等领域被逐步采用。其中如何运用低成本的设备快速便捷的获取高精度的三维人脸模型成为热门的研究方向。
现有的三维人脸重建分为被动式和主动式两种。被动式三维重建主要是基于立体视觉，通过同一空间点在左右相机中图像的坐标差来计算该空间点的深度信息，构建三维模型，对于弱纹理区域的重建效果较差。主动式三维重建又分为飞行时间法和结构光法。飞行时间法通过测量光线到达物体再反射回传感器的时间来计算物体的深度信息，对设备的要求高，且难以在复杂场景下进行测量。结构光法是通过投影设备发射具有编码信息的光到物体表面，然后由相机进行拍照并解算出物体的深度信息，构建三维模型，该方法因具有非接触、高精度、高鲁棒性等优点，称为研究热点。
目前常用的结构光主要包括随机散斑，这种方式对投影设备和相机等硬件的要求较高，而且自适应能力较差。
发明内容
本发明实施例提供一种三维人脸重建方法、装置、系统及存储介质，在提高三维重建结果准确度的同时可以降低对硬件设备的要求。
第一方面，本发明实施例提供了一种三维人脸重建方法，包括：
获取不同时刻的图像对，所述图像对包括第一相机拍摄目标人脸得到的第一图像和第二相机拍摄所述目标人脸得到的第二图像，所述第一图像和所述第二图像在时间上保持一致，所述第一相机和第二相机位于投影设备的两侧，所述投影设备在所述第一相机和第二相机拍摄之前向所述目标人脸投射条纹结构光；
确定所述第一图像在不同尺寸下的第一图像序列以及所述第二图像在对应尺寸下的第二图像序列；
对所述第一图像序列和第二图像序列进行匹配处理，得到所述第一图像和第二图像中匹配的像素点之间的匹配视差；
根据所述匹配视差以及所述第一相机和第二相机的相机参数生成三维点云数据，得到重建的三维人脸。
第二方面，本发明实施例还提供了一种三维人脸重建装置，包括：
图像对获取模块，用于获取不同时刻的图像对，所述图像对包括第一相机拍摄目标人脸得到的第一图像和第二相机拍摄所述目标人脸得到的第二图像，所述第一图像和所述第二图像在时间上保持一致，所述第一相机和第二相机位于投影设备的两侧，所述投影设备在所述第一相机和第二相机拍摄之前向所述目标人脸投射条纹结构光；
图像序列确定模块，用于确定所述第一图像在不同尺寸下的第一图像序列以及所述第二图像在对应尺寸下的第二图像序列；
匹配视差确定模块，用于对所述第一图像序列和第二图像序列进行匹配处理，得到所述第一图像和第二图像中匹配的像素点之间的匹配视差；
三维人脸重建模块，用于根据所述匹配视差以及所述第一相机和第二相机的相机参数生成三维点云数据，得到重建的三维人脸。
第三方面，本发明实施例还提供了一种三维人脸重建系统，包括第一相机、第二相机、投影设备和计算机设备，所述计算机设备分别与所述第一相机、第二相机和投影设备连接，所述投影设备位于所述第一相机和第二相机之间；
所述第一相机，用于拍摄目标人脸得到第一图像，并发送给所述计算机设备；
所述第二相机，用于拍摄所述目标人脸得到第二图像，并发送给所述计算机设备；
所述投影设备，用于在所述第一相机和第二相机拍摄之前向所述目标人脸投射条纹结构光；
所述计算机设备，用于根据所述第一图像和第二图像重建所述目标人脸的三维人脸。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被计算机设备执行时实现如第一方面所述的三维人脸重建方法。
本发明实施例提供一种三维人脸重建方法、装置、系统及存储介质，利用投影设备向目标人脸投射条纹结构光，有效减少了图像对的数量，降低了对投影设备和相机拍摄的曝光时间，也减少了对图像的存储和计算要求，其次利用两个相机从不同角度采集不同时刻的目标人脸，对得到的图像对进行处理得到不同尺寸的图像序列，然后对多个尺寸下的图像序列进行匹配处理，得到匹配视差，有效减少了传统随机散斑匹配方法中对窗口大小的依赖，提高了匹配视差的准确度，在基于匹配视差得到重建的三维人脸时，提高了重建结果的准确度。
附图说明
图1为本发明实施例一提供的一种三维人脸重建方法的流程图；
图2为本发明实施例二提供的一种三维人脸重建方法的流程图；
图3为本发明实施例二提供的一种第一图像序列的排列示意图；
图4为本发明实施例三提供的一种三维人脸重建装置的结构图；
图5为本发明实施例四提供的一种三维人脸重建系统的结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1为本发明实施例一提供的一种三维人脸重建方法的流程图，本实施例可适用于三维人脸重建的情况，该方法可以由三维人脸重建装置来执行，该装置可以由软件和/或硬件的方式来实现，并可集成在具备数据处理功能的计算机设备中。参考图1，该方法可以包括如下步骤：
S110、获取不同时刻的图像对。
其中，所述图像对包括第一相机拍摄目标人脸得到的第一图像和第二相机拍摄所述目标人脸得到的第二图像，所述第一图像和所述第二图像在时间上保持一致，所述第一相机和第二相机位于投影设备的两侧，所述投影设备在所述第一相机和第二相机拍摄之前向所述目标人脸投射条纹结构光。
第一相机和第二相机可以是相同的相机，分别位于投影设备的两侧，例如当第一相机、第二相机和投影设备左右方向排列时，第一相机可以是位于投影设备左侧的相机，第二相机可以是位于投影设备右侧的相机；当第一相机、第二相机和投影设备上下方向排列时，第一相机可以是位于投影设备上方的相机，第二相机可以是位于投影设备下方的相机。第一相机和第二相机用于从不同的角度拍摄目标人脸，可选的，第一相机和第二相机可以同时拍摄目标人脸，得到同一时刻的两张图像，即实施例所述的图像对。本实施例可以利用第一相机和第二相机采集不同时刻下的目标人脸，该不同时刻可以是连续时刻也可以是不连续时刻，同一相机采集的第一幅图像和最后一幅图像之间的时间间隔较短，即同一相机采集的不同时刻下的图像在时间上具有先后顺序，在空间上保持一致，即同一相机采集的图像中同一像素点的坐标相同。采用两个相机对同一个目标人脸的不同时刻进行拍摄，可以提高后续三维人脸重建的准确度。可选的，在利用第一相机和第二相机拍摄目标人脸之前可以先对第一相机和第二相机进行标定，以分别获取第一相机和第二相机的内外参数，为后续重建三维人脸提供依据。实施例对第一相机和第二相机的标定过程不进行限定。
投影设备用于在第一相机和第二相机拍摄之前向目标人脸投射条纹结构光，该条纹结构光在竖直方向上的灰度相同，在横向上的灰度不同，可以看作一个一维向量。与传统的随机散斑相比，条纹结构光的参数远少于散斑，可以有效减少因为光照、目标人脸反射、噪声等带来的误匹配，提高重建效果。随机散斑通常为二维矩阵。投射到目标人脸上的条纹结构光受目标人脸表面的影响可以产生不同程度的形变，利用第一相机和第二相机拍摄目标人脸，可以获取带有变形条纹的图像，为后续重建三维人脸提供数据依据。该条纹结构光可以是随机条纹结构光，实施例对随机条纹结构光的生成过程不进行限定，例如可以由计算机设备随机生成多个一维数组，也可以由计算机利用梯度下降或自适应的方式生成多个一维数组，通过编译生成16进制数，以控制投影设备向目标人脸投射条纹结构光。与传统的正弦结构光相比，控制投影设备向目标人脸投射随机条纹结构光可以减少需要投影的图像对的数量，从而可以减少投影设备和相机拍摄的曝光时间，也可以减少计算机设备对图像对的存储和运算要求。可选的，该随机条纹结构光可以是红外光，与传统的白炽光或激光相比，红外光可以避免对人眼造成不适。相应的，投影设备可以是红外投影设备，第一相机和第二相机可以是能够拍摄红外光的相机。
本实施例将投影设备放置在第一相机和第二相机之间可以防止投影设备偏向目标人脸的一侧而导致另一侧接收不到条纹结构光，影响后续三维人脸重建的效果。实际应用时，第一相机、投影设备和第二相机可以位于同一条基准线上，可以避免因视线角度不同而导致目标人脸的部分区域被遮挡，无法获取目标人脸的全部区域，进而影响后续三维人脸重建的效果。例如当第一相机、投影设备和第二相机左右方向排列时，第一相机、投影设备和第二相机位于同一水平线上，当第一相机、投影设备和第二相机竖直方向排列时，第一相机、投影设备和第二相机位于同一竖直线上。
S120、确定所述第一图像在不同尺寸下的第一图像序列以及所述第二图像在对应尺寸下的第二图像序列。
以第一相机、投影设备和第二相机左右排列，第一相机位于投影设备的左侧，第二相机位于投影设备的右侧为例，第一相机也可以称为左相机，第二相机也可以称为右相机，相应的，第一相机采集的第一图像也可以称为左图像，第二相机采集的第二图像也可以称为右图像。假定从t0开始，采集了n张图像，则左图像可以是L1、L2、…、Ln，右图像可以是R1、R2、…、Rn，当然图像顺序也可以倒序，只要保证左图像和右图像的序列顺序一致即可。第一图像序列为左图像对应的图像序列，第二图像序列为右图像对应的图像序列。
第一图像序列和第二图像序列的确定过程类似，以第一图像序列为例，可选的，针对左图像的第一张图像L1，可以对其进行下采样处理，得到宽和高均为第一张图像L11/2的图像，然后对新尺寸图像进行下采样处理，得到宽和高均为新尺寸图像1/2的图像，依次循环，得到第一张图像L1在不同尺寸下的一组图像
Figure BDA0002898895000000071
其中，M为不同尺寸的数量，m代表具体的尺寸，例如m＝0代表原尺寸，即第一张图像L1的尺寸，m＝1代表原尺寸的一半，即图像
Figure BDA0002898895000000072
的尺寸为图像
Figure BDA0002898895000000081
的尺寸的一半，同理，对左图像的其他张图像L2、…、Ln重复执行上述操作，可以得到每一张原始尺寸的图像在不同尺寸下的图像。将相同尺寸的图像按照时间先后顺序排列，得到第一图像序列的某一层图像，将各层图像按照尺寸的大小排列可以得到第一图像序列。对右图像执行类似的操作即可得到第二图像序列。
可选的，在确定第一图像序列和第二图像序列之前可以对第一图像和第二图像进行预处理。例如可以对拍摄的每一张图像进行高斯滤波，去除图像中的噪声，其次对滤波后的图像进行畸变处理，消除因相机镜头导致的切向畸变和径向畸变，还原目标人脸的正常形貌，在此基础上按顺序对畸变处理后的每一对图像对进行极线校正，使任意一对图像对上的对应点位于像素坐标的同一行上，在后续重建三维人脸时可以减少计算量。对预处理后的第一图像和第二图像执行上述操作即可得到第一图像序列和第二图像序列。
S130、对所述第一图像序列和第二图像序列进行匹配处理，得到所述第一图像和第二图像中匹配的像素点之间的匹配视差。
视差是从有一定距离的两个点上观察同一个目标所产生的方向差异，本实施例是由第一相机和第二相机拍摄目标人脸的同一个点所产生的方向差异，是重建三维人脸的关键，视差的准确性直接影响重建效果。可选的，可以以左图像为参考图像，针对左图像中的每一个像素点可以在右图像中确定与该像素点匹配的像素点，可选的，可以将左图像中的像素点称为匹配点，将右图像中与该匹配点匹配的像素点称为最优匹配点，根据最优匹配点和匹配点的像素坐标可以确定左图像中每一个匹配点的视差，例如匹配点的像素坐标为(x,y)，最优匹配点的像素坐标为(x,y-d)，则匹配点(x,y)的视差为d，实施例将该视差称为匹配视差。当然也可以将右图像中的像素点作为匹配点，在左图像中确定最优匹配点，过程类似。匹配点的相关内容可以参考后面。
传统的方式是在原始尺寸下利用待匹配点及其邻域像素的灰度信息进行相似度计算，确定匹配点，也称为窗口匹配，窗口的大小为邻域的大小。大窗口包含的信息多，匹配点的准确性较高，但计算量大，小窗口包含的信息少，容易出现误匹配。本实施例利用多尺寸融合的匹配方式，对不同尺寸下的第一图像序列和第二图像序列进行匹配处理，可以减少传统方法对窗口大小的依赖，提高视差的准确度，进而提高重建的准确度。
S140、根据所述匹配视差以及所述第一相机和第二相机的相机参数生成三维点云数据，得到重建的三维人脸。
以左图像为参考图像为例，第一相机和第二相机的相机参数可以包括第一相机的光心坐标、第二相机的光心坐标和第一相机镜头的焦距。可选的，可以根据第一相机的光心坐标和第二相机的光心坐标确定第一相机和第二相机之间的光心距离。针对左图像中的每一个像素点，可以基于该像素点对应的匹配视差、第一相机镜头的焦距以及第一相机和第二相机的光心距离得到该像素点对应的三维点云数据，进而得到重建的三维人脸。
本发明实施例一提供一种三维人脸重建方法，利用投影设备向目标人脸投射条纹结构光，有效减少了图像对的数量，降低了对投影设备和相机拍摄的曝光时间，也减少了对图像的存储和计算要求，其次利用两个相机从不同角度采集不同时刻的目标人脸，对得到的图像对进行处理得到不同尺寸的图像序列，然后对多个尺寸下的图像序列进行匹配处理，得到匹配视差，有效减少了传统随机散斑匹配方法中对窗口大小的依赖，提高了匹配视差的准确度，在基于匹配视差得到重建的三维人脸时，提高了重建结果的准确度。
实施例二
图2为本发明实施例二提供的一种三维人脸重建方法的流程图，本实施例是在上述实施例的基础上进行优化，参考图2，该方法可以包括如下步骤：
S210、获取不同时刻的图像对。
S220、对所述图像对进行预处理，以使预处理后的图像对中的对应像素点位于所述图像对的同一行。
可选的，预处理可以包括高斯滤波、畸变处理和极线校正，其中高斯滤波用于去除图像中的噪声，畸变处理用于消除因相机镜头导致的切向畸变和径向畸变，还原目标人脸的正常形貌，极线校正用于使每一对图像对上的对应像素点处于同一水平线，即位于图像对的同一行上，由此可以减少后续步骤的计算量以及待匹配点的搜索范围。
S230、针对预处理后的第一图像中的第一张图像，对所述第一张图像进行下采样处理，得到第二尺寸图像。
其中，所述第一张图像为所述第一相机在初始时刻拍摄目标人脸得到的图像。第一图像序列和第二图像序列的确定过程类似，本实施例以第一图像序列为例。第一图像包含n张图像，每一张图像的处理过程类似，以第一张图像为例。可选的，可以对第一张图像进行下采样处理，得到第二尺寸图像，第二尺寸图像的宽和高可以为第一张图像的1/2。低尺寸的图像可以有效保留图像的细节，保证三维重建的准确度。当然也可以是其他低于原尺寸的尺寸，例如第二尺寸图像的宽和高也可以是第一张图像的1/3，或者第二尺寸图像的宽为第一张。图像的1/2，第二尺寸图像的高为第一张图像的1/3。
S240、对所述第二尺寸图像进行下采样处理，得到第三尺寸图像，依次类推，得到第N尺寸图像，N为不同尺寸的数量。
N的大小可以根据实际情况设定，实施例不进行限定。在进行下采样时，可选的，可以采用相同的下采样比例，例如当第二尺寸图像的宽和高为第一张图像的1/2时，第三尺寸图像的宽和高也为第二尺寸图像的1/2，即当前尺寸图像的宽和高为前一个尺寸图像的1/2。
S250、对所述预处理后的第一图像中的其他张图像重复执行所述第一张图像的操作。
第一图像的第二张图像至第N张图像重复执行第一张图像的操作，即可得到对应的一组图像。
S260、按照尺寸的大小顺序排列各尺寸图像，得到第一图像序列。
其中，同一尺寸对应的各尺寸图像按照时间先后顺序排列。示例性的，参考图3，图3为本发明实施例二提供的一种第一图像序列的排列示意图。图3所示的示意图也可以称为图像金字塔，图像金字塔由下至上依次为第一图像、第二尺寸图像、第三尺寸图像、…、第N尺寸图像。尺寸相同的图像位于图像金字塔的同一层，例如第一图像位于图像金字塔的第一层，也即最底层，第二尺寸图像位于图像金字塔的第二层，第N尺寸图像位于图像金字塔的第N层。
S270、对预处理后的第二图像重复执行所述预处理后的第一图像的操作，得到第二图像序列。
对第二图像执行S230-S260的类似操作即可得到第二图像序列，其排列方式与图3所示的图像金字塔类似。
S280、确定各尺寸下所述第一图像序列中的每一个像素点与对应尺寸下第二图像序列中对应行的视差范围内待匹配点之间的匹配代价。
仍以第一图像为参考图像为例，针对第一图像序列的每一种尺寸，可以确定该尺寸图像中各匹配点与第二图像序列中对应行的视差范围内待匹配点之间的匹配代价。第一图像序列的匹配点即为第一图像序列的各像素点。第一图像序列中不同像素点在第二图像序列中对应行的视差范围可以不同。在一个示例中，可以利用时空相关的零均值归一化互相关(Zero-Normalized Cross-Correlation，ZNCC)函数确定第二图像序列中对应视差范围内各待匹配点与第一图像序列中对应匹配点之间的匹配代价。ZNCC函数如下：
Figure BDA0002898895000000121
式中，Czncc(x,y,d)为第一图像序列中像素点(x,y)平移d个像素后得到在第二图像序列中的像素点的匹配代价，也即第一图像序列中像素点(x,y)与第二图像序列中对应行的视差范围内像素点的匹配代价，Ln(x+i,y+j)为第n幅图像中像素点(x+i,y+j)的灰度值，(x+i,y+j)表示像素以(x,y)为中心偏移(i,j)个像素后的位置，
Figure BDA0002898895000000122
和
Figure BDA0002898895000000123
分别表示第一图像序列中匹配点(x,y)和第二图像序列中待匹配点(x,y-d)为中心的大小为2l+1的矩形窗口内的灰度平均值，l为窗口大小的控制参数。通过上述公式可以确定第一图像序列中各尺寸图像中的每一个像素点与对应尺寸下第二图像序列中对应尺寸图像的对应行的视差范围内待匹配点之间的匹配代价。可选的，可以将每一种尺寸图像所有像素点的匹配代价用三维的数据立方体表示，每一种尺寸对应一个数据立方体。数据立方体的大小与图像的尺寸有关，例如原尺寸为H*W，预设的视差范围为D，则在m＝mi的尺度下图像的尺寸为
Figure BDA0002898895000000124
视差范围为
Figure BDA0002898895000000125
mi∈[0,M]，数据立方体的大小为
Figure BDA0002898895000000131
上述公式中包含三层求和，相邻像素点之间会存在重复运算，在一个示例中，还可以对上述的ZNCC进行改进，利用积分图的方法预先存储图像中各像素点的求和结果，可以避免重复运算。可选的，可以采用如下公式确定第一图像序列中各尺寸图像中的每一个像素点与对应尺寸下第二图像序列中对应尺寸图像的对应行的视差范围内待匹配点之间的匹配代价。
Figure BDA0002898895000000132
式中，
Figure BDA0002898895000000133
SRR(x,y-d)类似，
Figure BDA0002898895000000134
SR(x,y-d)类似，
Figure BDA0002898895000000135
和
Figure BDA0002898895000000136
为第一图像序列和第二图像序列匹配窗口内的像素灰度平均值，对SLL(x,y)、SL(x,y)、SR(x,y-d)和SRR(x,y-d)可以采用积分图的方法快速得到。积分图像中每个点的值是原图像中该点左上角的所有像素值之和。通过积分图法，图像中的任意矩形区域内的像素求和都可利用该矩形的四个角点坐标进行快速运算得到，假设目标区域为以(x,y)中心，边长为(2l+1)的矩形，以SL为例，IIL为第一图像序列计算得到的积分图，则SL(x,y)＝IIL(x+l,y+l)-IIL(x-l,y+l)-IIL(x+l,y-l)+IIL(x-l,y-l)。由此可以提高计算效率。
S290、针对所述第一图像中的每一个像素点，融合所述像素点在各个尺寸下的匹配代价，得到所述像素点在对应视差范围内的融合匹配代价。
本实施例对上述计算得到的不同尺度下的数据立方体进行融合，可以充分利用各个尺寸中图像的有效信息，从而可以提高匹配点的准确度。可选的，可以确定该像素点在各个尺寸下的融合系数，对该像素点在各个尺寸下的融合系数和对应的匹配代价加权求和，得到该像素点在对应视差范围内的融合匹配代价。其中融合系数可以通过公式确定，该公式也可以称为跨尺度代价聚合模型，用于对各个尺寸得到的匹配代价进行融合，与上述确定融合匹配代价的原理是一致。
Figure BDA0002898895000000141
式中，Cm为上述实施例所求的在尺寸为m时第一图像中像素点(x,y)与第二图像中像素点(x,y-d)的匹配代价，Zm为待计算的在尺寸为m时的匹配代价，
Figure BDA0002898895000000142
为融合匹配代价，α为正则化因子，使数据立方体中的匹配待机进行融合，最终融合多个尺寸的匹配代价到原尺寸中，采用正则化的方式可以在融合有效信息的同时减小错误信息的传播。α的大小可以根据实际情况设定。通过解算上述跨尺度代价聚合模型可以确定像素点在各个尺寸下的融合系数，实施例对具体的解算过程不进行限定。
S2100、将所述融合匹配代价中最大的融合匹配代价，作为所述像素点的最优匹配代价，并将所述最优匹配代价对应的最优匹配点作为与所述像素点匹配的像素点。
利用多尺寸融合的匹配方式，将不同尺寸的图像进行融合，得到融合匹配代价，可以减小传统散斑匹配方法对窗口大小的依赖，在提高匹配准确度的同时可以降低计算量。
S2110、根据所述最优匹配点和所述像素点的像素坐标，确定所述像素点的最优视差，作为所述最优匹配点与所述像素点之间的匹配视差。
假定像素点A的坐标为(x,y)，最优匹配点的坐标为(x,y-d)，则像素点A与最优匹配点之间的匹配视差为d。
可选的，为了提高重建的准确度，可以对上述得到的匹配视差进行左右一致性检测，剔除错误的像素点和遮挡的像素点，并结合邻域信息进行迭代补洞，以提高匹配精度。左右一致性检测是从左到右匹配之后，再从右到左匹配来判断匹配点与原位置是否一致。
S2120、根据所述匹配视差以及所述第一相机和第二相机的相机参数生成三维点云数据，得到重建的三维人脸。
可选的，可以通过如下方式确定各像素点的深度信息，得到各像素点对应的三维点云数据，进而得到重建的三维人脸。
Z1＝(B*f)/d
式中，Z1为像素点的深度信息，B为第一相机和第二相机之间的光心距离，也称为基线距离，f为参考图像所对应相机镜头的焦距，本实施例以第一图像为参考图像，则f为第一相机镜头的焦距，d为匹配视差。
本发明实施例二提供一种三维人脸重建方法，在上述实施例的基础上，对左右图像构建多尺寸空间，对相同窗口下不同尺寸空间的匹配结果进行融合，基于融合后的匹配代价确定视差，提高了视差的准确性，进而提高了重建结果的准确度。
实施例三
图4为本发明实施例三提供的一种三维人脸重建装置的结构图，该装置可以执行上述实施例所述的三维人脸重建方法，参考图4，该装置可以包括：
图像对获取模块31，用于获取不同时刻的图像对，所述图像对包括第一相机拍摄目标人脸得到的第一图像和第二相机拍摄所述目标人脸得到的第二图像，所述第一图像和所述第二图像在时间上保持一致，所述第一相机和第二相机位于投影设备的两侧，所述投影设备在所述第一相机和第二相机拍摄之前向所述目标人脸投射条纹结构光；
图像序列确定模块32，用于确定所述第一图像在不同尺寸下的第一图像序列以及所述第二图像在对应尺寸下的第二图像序列；
匹配视差确定模块33，用于对所述第一图像序列和第二图像序列进行匹配处理，得到所述第一图像和第二图像中匹配的像素点之间的匹配视差；
三维人脸重建模块34，用于根据所述匹配视差以及所述第一相机和第二相机的相机参数生成三维点云数据，得到重建的三维人脸。
本发明实施例三提供一种三维人脸重建装置，利用投影设备向目标人脸投射条纹结构光，有效减少了图像对的数量，降低了对投影设备和相机拍摄的曝光时间，也减少了对图像的存储和计算要求，其次利用两个相机从不同角度采集不同时刻的目标人脸，对得到的图像对进行处理得到不同尺寸的图像序列，然后对多个尺寸下的图像序列进行匹配处理，得到匹配视差，有效减少了传统随机散斑匹配方法中对窗口大小的依赖，提高了匹配视差的准确度，在基于匹配视差得到重建的三维人脸时，提高了重建结果的准确度。
在上述实施例的基础上，图像序列确定模块32，具体用于：
对所述图像对进行预处理，以使预处理后的图像对中的对应像素点位于所述图像对的同一行；
针对预处理后的第一图像中的第一张图像，对所述第一张图像进行下采样处理，得到第二尺寸图像，所述第一张图像为所述第一相机在初始时刻拍摄目标人脸得到的图像；对所述第二尺寸图像进行下采样处理，得到第三尺寸图像，依次类推，得到第N尺寸图像，N为不同尺寸的数量；对所述预处理后的第一图像中的其他张图像重复执行所述第一张图像的操作；按照尺寸的大小顺序排列各尺寸图像，得到第一图像序列，其中，同一尺寸对应的各尺寸图像按照时间先后顺序排列；
对预处理后的第二图像重复执行所述预处理后的第一图像的操作，得到第二图像序列。
在上述实施例的基础上，匹配视差确定模块33，包括：
匹配代价确定单元，用于确定各尺寸下所述第一图像序列中的每一个像素点与对应尺寸下第二图像序列中对应行的视差范围内待匹配点之间的匹配代价；
融合匹配代价确定单元，用于针对所述第一图像中的每一个像素点，融合所述像素点在各个尺寸下的匹配代价，得到所述像素点在对应视差范围内的融合匹配代价；
最优匹配代价确定单元，用于将所述融合匹配代价中最大的融合匹配代价，作为所述像素点的最优匹配代价，并将所述最优匹配代价对应的最优匹配点作为与所述像素点匹配的像素点；
匹配视差确定单元，用于根据所述最优匹配点和所述像素点的像素坐标，确定所述像素点的最优视差，作为所述最优匹配点与所述像素点之间的匹配视差。
在上述实施例的基础上，融合匹配代价确定单元，具体用于：
确定所述像素点在各个尺寸下的融合系数；
对所述像素点在各个尺寸下的融合系数和对应的匹配代价加权求和，得到所述像素点在对应视差范围内的融合匹配代价。
在上述实施例的基础上，三维人脸重建模块34，具体用于：
确定所述第一相机和所述第二相机之间的光心距离和所述第一相机的焦距；
根据所述光心距离、焦距和匹配视差，生成所述第一图像中人脸的各像素点对应的三维点云数据，得到重建的三维人脸。
在上述实施例的基础上，所述条纹结构光包括随机条纹结构光。
在上述实施例的基础上，所述条纹结构光为红外条纹结构光。
本发明实施例提供的三维人脸重建装置与上述实施例提供的三维人脸重建方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例具备执行三维人脸重建方法相同的有益效果。
实施例四
图5为本发明实施例四提供的一种三维人脸重建系统的结构图，该系统包括第一相机41、第二相机42、投影设备43和计算机设备44，计算机设备44分别与第一相机41、第二相机42和投影设备43连接，投影设备43位于第一相机41和第二相机42之间。计算机设备44可以是具备数据处理功能的终端或设备。
其中，第一相机41，用于拍摄目标人脸得到第一图像，并发送给计算机设备44。第二相机42，用于拍摄目标人脸得到第二图像，并发送给计算机设备44。投影设备43，用于在第一相机41和第二相机42拍摄之前向目标人脸投射条纹结构光，可选的，该条纹结构光可以是随机条纹结构光，结构光可以是红外光。第一相机41和第二相机42分别位于投影设备43的两侧，实际应用时，第一相机41、第二相机42和投影设备43位于同一基准线上。计算机设备44可以包括存储器和处理器，存储器用于存储待投影的条纹结构光数据以及第一相机41和第二相机42拍摄目标人脸得到的图像数据，处理器根据存储器存储的条纹结构光数据可以控制投影设备43向目标人脸投射相应的条纹结构光。根据存储器存储的图像数据可以重建三维人脸。具体的重建细节可以参考上述实施例，此处不再赘述。
本发明实施例提供的三维人脸重建系统与上述实施例提供的三维人脸重建方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例具备执行三维人脸重建方法相同的有益效果。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被计算机设备执行时用于执行三维人脸重建方法，该方法包括：
获取不同时刻的图像对，所述图像对包括第一相机拍摄目标人脸得到的第一图像和第二相机拍摄所述目标人脸得到的第二图像，所述第一图像和所述第二图像在时间上保持一致，所述第一相机和第二相机位于投影设备的两侧，所述投影设备在所述第一相机和第二相机拍摄之前向所述目标人脸投射条纹结构光；
确定所述第一图像在不同尺寸下的第一图像序列以及所述第二图像在对应尺寸下的第二图像序列；
对所述第一图像序列和第二图像序列进行匹配处理，得到所述第一图像和第二图像中匹配的像素点之间的匹配视差；
根据所述匹配视差以及所述第一相机和第二相机的相机参数生成三维点云数据，得到重建的三维人脸。
本发明实施例的存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(Erasable ProgrammableRead Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种三维人脸重建方法，其特征在于，包括：
获取不同时刻的图像对，所述图像对包括第一相机拍摄目标人脸得到的第一图像和第二相机拍摄所述目标人脸得到的第二图像，所述第一图像和所述第二图像在时间上保持一致，所述第一相机和第二相机位于投影设备的两侧，所述投影设备在所述第一相机和第二相机拍摄之前向所述目标人脸投射条纹结构光；
确定所述第一图像在不同尺寸下的第一图像序列以及所述第二图像在对应尺寸下的第二图像序列；
对所述第一图像序列和第二图像序列进行匹配处理，得到所述第一图像和第二图像中匹配的像素点之间的匹配视差；
根据所述匹配视差以及所述第一相机和第二相机的相机参数生成三维点云数据，得到重建的三维人脸。
2.根据权利要求1所述的方法，其特征在于，所述确定所述第一图像在不同尺寸下的第一图像序列以及所述第二图像在对应尺寸下的第二图像序列，包括：
对所述图像对进行预处理，以使预处理后的图像对中的对应像素点位于所述图像对的同一行；
针对预处理后的第一图像中的第一张图像，对所述第一张图像进行下采样处理，得到第二尺寸图像，所述第一张图像为所述第一相机在初始时刻拍摄目标人脸得到的图像；对所述第二尺寸图像进行下采样处理，得到第三尺寸图像，依次类推，得到第N尺寸图像，N为不同尺寸的数量；对所述预处理后的第一图像中的其他张图像重复执行所述第一张图像的操作；按照尺寸的大小顺序排列各尺寸图像，得到第一图像序列，其中，同一尺寸对应的各尺寸图像按照时间先后顺序排列；
对预处理后的第二图像重复执行所述预处理后的第一图像的操作，得到第二图像序列。
3.根据权利要求1所述的方法，其特征在于，所述对所述第一图像序列和第二图像序列进行匹配处理，得到所述第一图像和第二图像中各匹配像素点之间的匹配视差，包括：
确定各尺寸下所述第一图像序列中的每一个像素点与对应尺寸下第二图像序列中对应行的视差范围内待匹配点之间的匹配代价；
针对所述第一图像中的每一个像素点，融合所述像素点在各个尺寸下的匹配代价，得到所述像素点在对应视差范围内的融合匹配代价；
将所述融合匹配代价中最大的融合匹配代价，作为所述像素点的最优匹配代价，并将所述最优匹配代价对应的最优匹配点作为与所述像素点匹配的像素点；
根据所述最优匹配点和所述像素点的像素坐标，确定所述像素点的最优视差，作为所述最优匹配点与所述像素点之间的匹配视差。
4.根据权利要求3所述的方法，其特征在于，所述融合所述像素点在各个尺寸下的匹配代价，得到所述像素点在对应视差范围内的融合匹配代价，包括：
确定所述像素点在各个尺寸下的融合系数；
对所述像素点在各个尺寸下的融合系数和对应的匹配代价加权求和，得到所述像素点在对应视差范围内的融合匹配代价。
5.根据权利要求1所述的方法，其特征在于，所述根据所述匹配视差以及所述第一相机和第二相机的相机参数生成三维点云数据，得到重建的三维人脸，包括：
确定所述第一相机和所述第二相机之间的光心距离和所述第一相机的焦距；
根据所述光心距离、焦距和匹配视差，生成所述第一图像中人脸的各像素点对应的三维点云数据，得到重建的三维人脸。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述条纹结构光包括随机条纹结构光。
7.根据权利要求1-5任一项所述的方法，其特征在于，所述条纹结构光为红外条纹结构光。
8.一种三维人脸重建装置，其特征在于，包括：
图像对获取模块，用于获取不同时刻的图像对，所述图像对包括第一相机拍摄目标人脸得到的第一图像和第二相机拍摄所述目标人脸得到的第二图像，所述第一图像和所述第二图像在时间上保持一致，所述第一相机和第二相机位于投影设备的两侧，所述投影设备在所述第一相机和第二相机拍摄之前向所述目标人脸投射条纹结构光；
图像序列确定模块，用于确定所述第一图像在不同尺寸下的第一图像序列以及所述第二图像在对应尺寸下的第二图像序列；
匹配视差确定模块，用于对所述第一图像序列和第二图像序列进行匹配处理，得到所述第一图像和第二图像中匹配的像素点之间的匹配视差；
三维人脸重建模块，用于根据所述匹配视差以及所述第一相机和第二相机的相机参数生成三维点云数据，得到重建的三维人脸。
9.一种三维人脸重建系统，其特征在于，包括第一相机、第二相机、投影设备和计算机设备，所述计算机设备分别与所述第一相机、第二相机和投影设备连接，所述投影设备位于所述第一相机和第二相机之间；
所述第一相机，用于拍摄目标人脸得到第一图像，并发送给所述计算机设备；
所述第二相机，用于拍摄所述目标人脸得到第二图像，并发送给所述计算机设备；
所述投影设备，用于在所述第一相机和第二相机拍摄之前向所述目标人脸投射条纹结构光；
所述计算机设备，用于根据所述第一图像和第二图像重建所述目标人脸的三维人脸。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被计算机设备执行时实现如权利要求1-7任一项所述的三维人脸重建方法。
CN202110050174.9A 2021-01-14 2021-01-14 一种三维人脸重建方法、装置、系统及存储介质 Pending CN112802171A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110050174.9A CN112802171A (zh) 2021-01-14 2021-01-14 一种三维人脸重建方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110050174.9A CN112802171A (zh) 2021-01-14 2021-01-14 一种三维人脸重建方法、装置、系统及存储介质

Publications (1)

Publication Number Publication Date
CN112802171A true CN112802171A (zh) 2021-05-14

Family

ID=75810928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110050174.9A Pending CN112802171A (zh) 2021-01-14 2021-01-14 一种三维人脸重建方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN112802171A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112530008A (zh) * 2020-12-25 2021-03-19 中国科学院苏州纳米技术与纳米仿生研究所 一种条纹结构光的参数确定方法、装置、设备及存储介质
CN113740035A (zh) * 2021-08-26 2021-12-03 歌尔光学科技有限公司 投影质量检测方法、装置、设备及可读存储介质
CN113763540A (zh) * 2021-09-08 2021-12-07 四川川大智胜软件股份有限公司 一种基于散斑条纹混合调制的三维重建方法及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112530008A (zh) * 2020-12-25 2021-03-19 中国科学院苏州纳米技术与纳米仿生研究所 一种条纹结构光的参数确定方法、装置、设备及存储介质
CN113740035A (zh) * 2021-08-26 2021-12-03 歌尔光学科技有限公司 投影质量检测方法、装置、设备及可读存储介质
CN113763540A (zh) * 2021-09-08 2021-12-07 四川川大智胜软件股份有限公司 一种基于散斑条纹混合调制的三维重建方法及设备

Similar Documents

Publication Publication Date Title
CN112802171A (zh) 一种三维人脸重建方法、装置、系统及存储介质
US10412373B2 (en) Image capture for virtual reality displays
CN110462686B (zh) 用于从场景获得深度信息的设备和方法
CN107230225B (zh) 三维重建的方法和装置
CN109961401A (zh) 一种双目相机的图像校正方法和存储介质
CN103279982B (zh) 鲁棒的快速高深度分辨率的散斑三维重建方法
US20090324059A1 (en) Method for determining a depth map from images, device for determining a depth map
US9025862B2 (en) Range image pixel matching method
CN105654547B (zh) 三维重建方法
TWI738196B (zh) 一種圖像深度估計方法、電子設備、儲存介質
CN108510540A (zh) 立体视觉摄像机及其高度获取方法
CN115035235A (zh) 三维重建方法及装置
CN109255809A (zh) 一种光场图像深度估计方法及装置
WO2021084530A1 (en) Method and system for generating a depth map
Gadasin et al. Reconstruction of a Three-Dimensional Scene from its Projections in Computer Vision Systems
CN107360354A (zh) 拍照方法、装置、移动终端和计算机可读存储介质
CN114419568A (zh) 一种基于特征融合的多视角行人检测方法
WO2017046397A1 (en) An apparatus and a method for calibrating an optical acquisition system
US8340399B2 (en) Method for determining a depth map from images, device for determining a depth map
CN117456114B (zh) 基于多视图的三维图像重建方法及系统
JP6285686B2 (ja) 視差画像生成装置
CN110443228A (zh) 一种行人匹配方法、装置、电子设备及存储介质
US10909704B2 (en) Apparatus and a method for generating data representing a pixel beam
CN111160233B (zh) 基于三维成像辅助的人脸活体检测方法、介质及系统
US11283970B2 (en) Image processing method, image processing apparatus, electronic device, and computer readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination