CN113763540A - 一种基于散斑条纹混合调制的三维重建方法及设备 - Google Patents

Abstract

本发明基于双目立体视觉原理，研究一种基于散斑条纹混合调制的三维重建方法及设备，所述设备采集N帧散斑和M帧相移条纹图像(N≥1，M≥3)，即可实现高精度三维人脸重建。本方法首先使用散斑图像进行立体匹配得到粗视差图，再通过相移条纹图像得到两组截断相位，采用交错调制的方法，对粗视差进行单线性插值得到精视差图，进而完成三维重建。对比传统方法本发明利用交错调制法解决了当匹配点出现在截断相位周期分界处附近而导致错误匹配的问题，同时动态场景的敏感度较低，为实时高精度三维人脸测量提供了行之有效的解决方案。

Description

一种基于散斑条纹混合调制的三维重建方法及设备

技术领域

本发明涉及光学三维成像领域，特别涉及一种基于散斑条纹混合调制的三维重建方法及设备。

背景技术

在三维重建领域，已经提出了许多方法，根据测量过程中是否采用结构光，这些方法可以分为主动式和被动式测量方法。其中，被动式方法不需要投影额外的结构光信息，而是通过三角测量和复杂而耗时的立体匹配算法，从被测物体的纹理中重建三维数据，测量精度角度；主动式测量方法即主动投影附加的信息到被测对象表面进行编码，它可以提高三维重建的空间分辨率。与被动式方法相比，基于主动式测量方法使用结构光来照亮物体表面，具有高精度及高鲁棒性，已经广泛应用于各个行业中。目前，结构光已发展出多种模式，其中散斑模式、条纹模式以及两种模式的组合被广泛应用。

散斑结构光技术通常将高对比度、独特强度的散斑纹理投射到被测物体表面。人工散斑纹理带有丰富的高频信息，双目立体视觉中，数字图像相关算法将立体图像对中的图像块进行匹配，以评估其相似程度，更高的相似度意味着更准确的匹配。然而，由于投影仪分辨率的限制，用这种技术很难获得高空间分辨率。

条纹结构光技术通过投影多个相移正弦条纹图，利用连续分布的相位信息对目标表面进行编码，以实现全空间分辨率的精确三维重建。以相位测量轮廓术(PMP)和傅里叶变换轮廓术(FTP)为代表的技术已经被提出并广泛使用。与FTP相比，PMP更准确，面对表面反射率、环境光和噪声的影响表现的更加稳定。然而，在任何一种情况下，PMP获得的相位信息都被包裹在-π到π中，有2π个不连续点，必须进行相位解包算法才能得到真实相位信息。为此，学者们提出了很多稳健相位解包裹算法：空间相位解包算法(SPU)和时间相位解包算法(TPU)。SPU只需投影N≥3帧即可完成相位解包，它通过分析被包裹的相位本身并遵循相位解包的路径来消除相位不连续的现象，但它存在以下缺点：1)只能得到相对相位；3)只能计算连续相位分布的区域(只能计算孤立物体)；2)相位解包误差会沿着解包路径传播。TPU是将每个像素彼此独立，并沿时间轴进行相位解包，常用方法有格雷码、多频法等，它虽然克服了SPU的缺点，但其投影帧数较多，例如，多频法中双频法至少也要投影6帧(双频三步相移)条纹图案才能完成相位的解析。因此，TPU与SPU相比，具有高精度、高效率及高可靠性的特点，但牺牲了采集速度。

因此，对于实现高速高精度的三维测量系统，我们还面临以下挑战：

(1)散斑结构光的立体匹配算法虽然目前已经发展的比较成熟，且投影帧数可以很少(最低投影一帧)，算法速度较快，但较条纹结构光而言，其测量精度较低，不适用于精度要求较高的场合。

(2)SPU虽然投影帧率少，但是只能测量孤立物体，且存在误差传播的问题而导致误差较大，尤其在运动过程中，误差更容易被放大，甚至出现错误展开；

(3)TPU虽然具有高效、可靠及精度高的特点，但投影帧数较多，拍照时间较长，不适合动态测量；

(4)不管SPU还是TPU，相位解包裹都比较耗时，均存在计算量大，计算效率低，且重建速度较慢的问题。

(5)目前虽然已经提出基于散斑和条纹结构光混合调制的无相位展开算法，即从截断相位信息到精视差图的计算，但在工程化实际应用中，其尤其是在某些复杂环境下，例如在动态环境中要求抓拍高精度实时三维点云数据的场合，算法的鲁棒性、工程适用性方面还有所欠缺。

综上所述，为了解决上述问题，本专利发明一种基于散斑条纹混合调制的三维重建方法及设备。公开号为CN109903377A，名为“一种无需相位展开的三维人脸建模方法及系统”的中国专利公开了一种利用人脸几何信息约束条件去对齐截断相位级次标记线，从而直接使用截断相位进行立体匹配来重建三维人脸模型的方法；但本发明是通过采用投影N帧散斑和M帧相移条纹图案的混合调制方法(N≥1，M≥3)，结合交错调制算法实现了高精度实时三维点云重建，算法简单，适用性好，鲁棒性高。

发明内容

针对背景技术中存在的动态环境中抓拍高精度实时三维点云数据时，算法的鲁棒性、工程适用性方面不佳的具体问题，提供一种基于人脸面形空间分布的无相位展开三维人脸重建方法及系统，通过交错调制算法实现了高精度实时三维点云重建，无需进行相位展开，即可完成高精度三维重建。

为了实现上述目的，本发明采用的技术方案包括以下各方面。

一种基于散斑条纹混合调制的三维重建方法，包括：

步骤501，以不相同的Y个拍摄角度，采集N帧被测物在散斑结构光场中和M帧被测物在条纹结构光场中的人脸图像，分别对所采集到人脸图像进行极线校正，得到N帧散斑图像和M帧条纹图像；其中，Y是大于或等于2的整数，N是大于或等于1的整数，M是大于或等于3的整数；

步骤502，对所述M帧条纹图像，采用调整顺序的方法，计算得到两组截断相位信息，对所述N帧散斑图像进行立体匹配计算得到粗视差图；

步骤503，基于所述两组截断相位信息，采用交错调制算法，对所述粗视差图进行精确匹配得到精视差图；

步骤504，结合所述精视差图和系统标定信息，得到面部的三维点云数据。

优选的，一种基于散斑条纹混合调制的三维重建方法中，所述调整顺序的方法为，采集M帧条纹图像I₁,I₂,I₃,...I_m，以I₁,I₂,I₃,...I_m的顺序计算得到第一组截断相位信息；以与I₁,I₂,I₃,...I_m不同的顺序计算得到第二组截断相位信息。

优选的，一种基于散斑条纹混合调制的三维重建方法中，所述第一组截断相位信息与第二组截断相位信息的相位差异为2kπ+2π/M，其中k为非负整数

优选的，一种基于散斑条纹混合调制的三维重建方法中，采用最小二乘法计算所述两组截断相位信息。

优选的，一种基于散斑条纹混合调制的三维重建方法中，所述立体匹配算法，采用零均值归一化交叉相关的算法。

优选的，一种基于散斑条纹混合调制的三维重建方法中，所述交错调制算法为，当待匹配像素点在第一组截断相位中位于周期波峰或波谷的位置时，使用第二组截断相位进行精确匹配；当待匹配像素点在第二组截断相位中位于周期波峰或波谷的位置时，使用第一组截断相位进行精确匹配。

优选的，一种基于散斑条纹混合调制的三维重建方法中，采用单线性插值算法对所述粗视差图进行精确匹配得到精视差图。

基于相同的构思，本发明还提出了一种基于散斑条纹混合调制的三维重建设备，包括一个控制单元，以及与所述控制单元通讯连接的光场投影装置、成像系统，所述控制单元用于控制协调所述光场投影装置、成像系统的工作流程，以使所述系统能够执行上述基于散斑条纹混合调制的三维重建方法。

综上所述，由于采用了上述技术方案，本发明至少具有以下有益效果：

本发明通过对待测物体进行散斑和条纹的混合编码，采用散斑粗匹配后再利用截断相位信息，通过交错调制算法进行精确匹配的方式，无需进行相位展开，优化了建模时间；相对于单一的散斑编码，提高了编码的精度；引入交错相位调制算法，解决了当匹配点出现在截断相位周期分界处附近而导致错误匹配的问题，提升了算法的鲁棒性；相比于普通SPU或TPU或混合调制进行三维重建，平衡了投影图像数量、精度及速度，具有较高的计算效率，更加适应于工程化应用。

附图说明

图1是根据本发明示例性实施例的基于散斑条纹混合调制的三维重建设备的原理图。

图2是根据本发明示例性实施例的基于散斑条纹混合调制的三维重建方法的流程图。

图3是根据本发明示例性实施例的左右相机分别采集的混合调制图像。

图4是根据本发明示例性实施例的对左右相移条纹图像分别解析得到的四个截断相位图。

图5是根据本发明示例性实施例的对左右散斑图像进行立体匹配得到的粗视差图。

图6是根据本发明示例性实施例的基于两组截断相位的交错调制算法原理图。

图7是根据本发明示例性实施例的四个截断相位信息辅助粗视差进行精确匹配得到的精视差图。

图8是根据本发明示例性实施例的重建三维人脸模型图像。

图中标记：100-光场投影装置，201-左成像装置，202-右成像装置，300-所投影条纹结构光场(以3帧条纹结构光场，1帧散斑结构光场为例)，400-控制单元。

具体实施方式

下面结合附图及实施例，对本发明进行进一步详细说明，以使本发明的目的、技术方案及优点更加清楚明白。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

一种基于散斑条纹混合调制的三维重建设备如图1所示，包括以光场投影装置100、成像系统201-202、控制单元400。所述光场投影装置100投射可调图像数量的混合调制投影光场序列300至人脸表面，同时输出同步控制信号给所述成像系统201-202，其中，所述混合调制投影光场包括N(N≥1)幅散斑结构光场和M(M≥3)幅条纹结构光场；所述成像系统201-202工作于外触发状态，在光场投影装置100所输出的同步控制信号控制下，拍摄被混合结构光场300照明下的人脸表面作为建模图像传送至所述控制单元400；所述控制单元400控制协调三维人脸建模实现系统的工作流程，基于接收的混合调制图像序列完成三维人脸建模。以投影1帧散斑、3帧正弦相移条纹为例，示例性地说明本发明提出的三维人脸重建方法的工作原理。

所述基于散斑条纹混合调制的三维重建方法的流程图如图2所示，包括如下步骤：

步骤501，三维人脸建模方法实现系统拍摄混合调制光场照明下的人脸图像，左右相机各得到4张混合调制图像，其中左右相机各1张散斑图像(N＝1)和3张条纹图像(M＝3)；依据系统标定信息对获取的图像对分别进行极线校正，以使得对应匹配点处于同一水平线。

步骤502，对经过极线校正的所述条纹图像进行顺序调整，解析出左右两组截断相位信息，如图4所示；对散斑图像进行立体匹配计算得到粗视差图，如图5所示。

具体的，当M＝3时，投影3帧条纹图像，分别为I₁、I₂、I₃，再利用最小二乘法分别解析图像中所蕴含的截断相位信息，以I₁、I₂、I₃三帧顺序可以计算得到第一组截断相位

包括

和

以I₂、I₃、I₁或I₃、I₁、I₂三帧顺序可计算得到第二组截断相位

包括

和

其中，所述第一组截断相位信息与第二组截断相位信息的相位差异为2kπ+2π/M，其中k为非负整数。当M＝3时，并且截断相位

与

的范围均为[-π～π]，由此可得，截断相位

与

的相位差异为±2π/3，即若

位于截断相位周期分界处附近的像素点(如周期波峰或波谷的位置)，则

位于对应相位周期相邻波峰和波谷之间的位置。

其中，截断相位的计算方法不限于最小二乘法。

进一步的，当正弦条纹投影于三维物体表面时，设相移条纹图像的像素点为(x，y)，得到3帧变形条纹I₁～I₃为：

其中，I_bias(x，y)为背景强度，I_mod(x，y)为调制强度，

为截断相位，α＝2π/3为相移步长。

由公式(1)～(3)可得，截断相位

和

以I₁,I₂,I₃为顺序，通过以下公式计算：

截断相位

和

以I2,I3,I1为顺序，通过以下公式计算：

对散斑图像进行立体匹配，得到粗视差图，如图5所示。通常可以采用零均值归一化交叉相关(ZNCC)、像素点灰度差的绝对值和(SAD)等立体匹配算法，计算得到粗视差图。对散斑图像采用的立体匹配算法精度越高，得到的粗视差精度则越高。

具体的，本发明采用零均值归一化交叉相关算法(ZNCC)，以匹配值S最大处的点对作为匹配点对，以此计算得到粗视差图，计算公式为：

式中，I(i+x,j+y)表示左相机所采集到的散斑图像匹配窗口矩阵中的像素灰度，m_i表示对应左相机所采集到的散斑图像窗口像素的灰度平均值；T(i+x,j+y)表示左相机所采集到的散斑图像匹配窗口矩阵中的像素灰度，m_t表示对应左相机所采集到的散斑图像窗口像素的灰度平均值，S_ZNCC(x,y)表示匹配结果，其结果在0到1的范围内，数值越大，相似度越高。

步骤503，基于得到的两组截断相位信息

和

和

采用交错调制算法处理当待匹配像素点出现在截断相位周期分界处附近而导致错误匹配的问题，同时采用单线性插值、双线性插值等相关插值算法对由散斑立体匹配得到的粗视差图进行精确匹配，获得精视差图。

具体的，利用

和

和

两组截断相位信息辅助粗视差图进行精确匹配，得到精视差图。在基于截断相位信息完成粗视差图到精视差图的匹配过程中，通常只使用一组截断相位，进一步的，由于截断相位是周期性变化的，会出现左右待匹配像素点x₁和x₂位于截断相位周期分界处附近的情况，此时会发生相位值的突变，无法直接比较x₂及其左右点的相位信息找出辅助待匹配像素点x₃以获得精确匹配，而需对x₂邻域的相位进行特殊处理。但是处理过程较为复杂，增加了算法的难度，因此，交错调制算法正好用于克服这种情况，解决了当待匹配像素点出现在截断相位周期分界处附近而导致错误匹配的问题，算法简单，适用性好，鲁棒性高。

具体的，当待匹配像素点在第一组截断相位

和

中位于周期边缘波峰(π)或波谷(-π)的位置时，则在第二组截断相位

和

中必定不位于周期边缘波峰(π)或波谷(-π)的位置，此时使用第二组截断相位

和

进行匹配，如图6所示；当待匹配像素点在第二组截断相位

和

中位于周期边缘波峰(π)或波谷(-π)的位置时，则在第一组截断相位

和

中必定不位于周期边缘波峰(π)或波谷(-π)的位置，此时使用第一组截断相位

和

进行匹配，以此来保证精确匹配的高准确性。

具体算法步骤如下：

1)找到第一个有效粗视差点：

设粗视差图中某像素点p(u，v)的视差值为d，

是第一组左相位

中待匹配像素点x₁(u₁,v₁)的相位值，

是第一组右相位中待匹配像素点x₂(u₂,v₂)的相位值。根据视差计算公式，有u₂＝u₁-d。

2)判断并搜索精确视差值：

(1)如果

和

不位于第一组

和

周期分界处附近，则继续使用第一组截断相位信息

和

进行亚像素级视差插值计算。本实例中具体使用的是单线性插值方法：

当

由于截断相位中某一行上每个单周期(-π～π)内的相位信息都是单调递增的，由点x₂开始向右搜索第一个相位值大于

的辅助待匹配像素点，记为x₃(u₃,v₃)，其对应相位值为

则通过单线性插值公式

就可以得到亚像素匹配点x的列坐标u；当

则通过式

即可得到亚像素匹配点x的列坐标u。最后，再根据d＝u₁-u，即可求得精确视差值。

(2)如果

和

位于第一组

和

周期分界处附近，则：改用第二组截断相位信息

和

进行亚像素级视差插值计算。使用的插值计算方法与(1)中单线性插值方法相同。

3)找到下一个有效粗视差点，循环操作1)和2)中相关步骤，直到所有粗视差点均搜索到精确的视差值，获得的精视差图如图7所示。

步骤505，根据得到的精视差图和系统标定信息，计算待测目标的三维模型，得到高精度三维点云数据，三维人脸重建结果图如图8所示。

以上所述，仅为本发明具体实施方式的详细说明，而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下，做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于散斑条纹混合调制的三维重建方法，其特征在于，所述方法包括：

步骤501，以不相同的Y个拍摄角度，采集N帧被测物在散斑结构光场中的人脸图像和M帧被测物在条纹结构光场中的人脸图像，分别对所采集到人脸图像进行极线校正，得到N帧散斑图像和M帧条纹图像；其中，Y是大于或等于2的整数，N是大于或等于1的整数，M是大于或等于3的整数；

步骤502，对所述M帧条纹图像，采用调整顺序的方法，计算得到两组截断相位信息，对所述N帧散斑图像进行立体匹配计算得到粗视差图；

步骤503，基于所述两组截断相位信息，采用交错调制算法，对所述粗视差图进行精确匹配得到精视差图；

步骤504，结合所述精视差图和系统标定信息，得到面部的三维点云数据。

2.权利要求1所述的一种基于散斑条纹混合调制的三维重建方法，其特征在于，步骤502中，所述调整顺序的方法为，采集M帧条纹图像I₁,I₂,I₃,...I_m，以I₁,I₂,I₃,...I_m的顺序计算得到第一组截断相位信息；以与I₁,I₂,I₃,...I_m不同的顺序计算得到第二组截断相位信息。

3.权利要求2所述的一种基于散斑条纹混合调制的三维重建方法，其特征在于，所述第一组截断相位信息与第二组截断相位信息的相位差异为2kπ+2π/M，其中k为非负整数。

4.根据权利要求2所述的一种基于散斑条纹混合调制的三维重建方法，其特征在于，步骤502中，采用最小二乘法计算所述两组截断相位信息。

5.根据权利要求1所述的一种基于散斑条纹混合调制的三维重建方法，其特征在于，步骤502中，所述立体匹配计算采用零均值归一化交叉相关的算法。

6.根据权利要求1所述的一种基于散斑条纹混合调制的三维重建方法，其特征在于，步骤503中，所述交错调制算法为，当待匹配像素点在第一组截断相位中位于周期波峰或波谷的位置时，使用第二组截断相位进行精确匹配；当待匹配像素点在第二组截断相位中位于周期波峰或波谷的位置时，使用第一组截断相位进行精确匹配。

7.根据权利要求1所述的一种基于散斑条纹混合调制的三维重建方法，其特征在于，步骤503中，采用单线性插值算法对所述粗视差图进行精确匹配得到精视差图。

8.一种基于散斑条纹混合调制的三维重建设备，其特征在于，包括一个控制单元，以及与所述控制单元通讯连接的光场投影装置、成像系统，所述控制单元用于控制协调所述光场投影装置、成像系统的工作流程，以使所述系统能够执行权利要求1至7中任一项所述的方法。

Images