CN108182727A - 基于多视点几何一致性的相位展开方法 - Google Patents

Abstract

本发明涉及一种基于多视点几何一致性的相位展开方法，首先建立多视点结构光系统，每个视点包含一组测量单元，并进行该系统的标定以获取各个相机的投影参数矩阵；然后各个结构光单元分别采用模板向测量目标投影，各个视点分别测量计算参考相位图和采集相位图；最后在多视点几何一致性的约束下，通过相机参数和形变相位建立三维映射目标能量函数，并得到每个像素点的补偿相位，实现相位展开。本发明考虑了视点之间的相关性和约束，所得相位展开结果将更加准确；多视点同步展开，将大大降低相位展开的工作量。

Description

基于多视点几何一致性的相位展开方法

技术领域

本发明属于三维图像信息的采集和处理领域，涉及一种多视点结构光系统中的相位展开方法，可以用于三维建模，3D打印，动作捕捉，自然交互等应用。

背景技术

随着技术的发展，传统的二维场景表示方式(如图片和视频)已经不能满足生产和生活中对场景表征和场景记录的要求。相应地，引入三维信息可很好地解决这一问题，并催生大量的研究和应用，如工业领域的3D打印、产品质量检测，消费娱乐领域的3D电影等等。在一系列采集三维信息的技术中，结构光技术测量结果准确、实施成本低廉、而且无需与测量目标进行物理接触，是一种理论完备且具有充分可行性的技术。

结构光采用投影仪和相机组成一组基本的测量单元，其中投影仪向测量目标投射预先设计好的模板，该模板在测量目标表面会发生形变，并由相机进行采集。将形变模板与测量单元预存的参考模板(对深度值已知的平面进行采集所得)进行比较，可得由测量目标引起的模板形变，并以此为依据求出目标的三维信息。在结构光技术中，相位结构光采用正弦波模板建立各个像素点的坐标和相位之间的关系，可求得连续的相位和深度，避免了量化误差；该方法还具有良好的抗噪声性能和鲁棒性，是重点研究对象。

然而，相位结构光还面临两个方面的问题。其一，单视点的结构光只能获取测量目标的一部分信息，为了完整地获取场景的信息，需要采用包含多个视点的结构光系统。其二，相位结构光存在相位包裹问题，其测量相位为真实相位以2π取模的结果，而只有将包裹相位展开得到真实相位之后才能正确获得场景的深度值和三维信息。

发明内容

本发明将针对相位结构光所面临的以上两个问题，针对多视点结构光单元，提出一种多视点间的相位展开方法，该方法基于多个视点之间的几何一致性，对多个视点同时进行相位展开，最终可计算求解到多个视点下的深度和三维几何信息。

为了达到上述目的，本发明提供的技术方案是：首先建立多视点结构光系统，每个视点包含一组测量单元，并进行该系统的标定以获取各个相机的投影参数矩阵；然后各个结构光单元分别采用模板向测量目标投影，各个视点分别测量计算参考相位图和采集相位图；最后在多视点几何一致性的约束下，通过相机参数和形变相位建立三维映射目标能量函数，并得到每个像素点的补偿相位，实现相位展开；包括如下步骤，

步骤1，构建多视点结构光系统，并对系统进行标定，得到每个视点下相机的参数，每个结构光单元采用投影仪和相机组成一组基本的测量单元；

步骤2，为每个结构光单元设计不同的正弦波模板，包括模板的频率和周期，且不同视点中，模板的周期互为质数；

步骤3，各个结构光单元分别将模板向参考平面和测量目标投影，并由相机采集，获得第i个视点下对应参考平面的参考相位对应测量目标的采集相位其中参考平面放置在结构光单元前方，其深度值为Z₀；

步骤4，利用参考相位对应的采集相位计算形变相位，

步骤5，对于第i个视点，假定像素点p的相位解缠系数为m_i，则其对应的真实形变相位可计算为，

步骤6，利用步骤5中求得的真实形变相位计算对应的深度值，进一步求得像素点p的三维空间坐标点为

步骤7，获得第j个视点下像素点p对应的三维空间坐标点

步骤8，在几何一致性的约束下，视点i求得的场景点和视点j求得的场景点十分接近，则定义能量函数为，

其中像素点坐标和相位解缠系数相关，可重写为

E(i,j)＝dist{g(m_i),g(m_j)} (6)

对多视点结构光系统，该能量函数可以写为，

其中，n为系统中视点的个数，m_k表示第k个视点的相位解缠系数；

步骤9，通过最小化能量函数等式(7)，求得各视点的相位解缠系数为进而通过公式(2)实现相位展开，消除相位包裹效应。

进一步的，步骤1中采用张氏标定对系统进行标定，得到第i个视点下相机的参数为其中为第i个视点中相机的内部参数，f_xi为水平方向焦距，f_yi为竖直方向焦距，s_i为畸变系数，(x_0i，y_0i)为光心对应中心点坐标；为第i个视点中相机的外部参数。

进一步，步骤3中参考相位和采集相位采用相移法获得，实现方式如下，

1-a.每个视点i发射N张模板，模板之间具有的相位差，即视点i发射的第n张模板中，像素点(x,y)的灰度值为(测量单元中的相机和投影仪水平部署)或者为(测量单元中的相机和投影仪竖直部署)，(x,y)为像素点坐标，A为常数，T_i表示第i个视点投影的正弦波模板的周期；

1-b.每张发射模板投射在参考平面上，相机可捕获一张参考模板投射在测量目标上，相机可捕获一张采集模板

1-c.则整个采集流程获得N张参考模板可求得参考相位

1-d.整个采集流程获得N张采集模板可求得采集相位

进一步的，步骤3中参考相位和采集相位采用傅里叶变换相位分析法获得，实现方式如下，

2-a.视点i只单张发射模板，模板中像素点(x,y)的灰度值为(测量单元中的相机和投影仪水平部署)或者为(测量单元中的相机和投影仪竖直部署)，(x,y)为像素点坐标，A为常数，T_i表示第i个视点投影的正弦波模板的周期，投射在参考平面上，相机捕获一张参考模板I^ref；投射在测量目标上，相机捕获一张采集模板I^cap；

2-b.对I^ref沿着模板调制方向(如果相机和投影仪是沿着水平方向布置的，那模板沿着x方向调制，如果相机和投影仪是沿着竖直方向布置的，那模板沿着y方向调制)抽取强度值，进行傅里叶变换的频谱F_ref，再对F_ref进行带通滤波，提取正频谱中的基带部分

2-c.参考相位求得为其中Im表示取实部，Re表示取虚部，IDFT表示傅里叶逆变换；

2-d.对采集模板I^cap执行步骤2-b和步骤2-c的操作，求得采集相位

进一步的，步骤5中求得像素点p的三维空间坐标点的实现方式如下，

首先根据步骤5中求得的真实形变相位计算对应的深度值，然后计算

其中，b为该结构光单元中投影仪和相机之间的基线距离，Z₀为参考平面的深度值；f_L为相机的焦距，为第i个视点下相机的参数，由步骤1获得；f_i为模板频率，由步骤2获得；为p点在图像下的二维坐标。

进一步的，步骤1中结构光单元的个数大于等于3，每个结构光单元从不同的角度对同一场景进行采集且结构光单元中相机的视野有重合部分。

进一步的，步骤9中定义能量函数等式(7)为凸函数，采用凸优化算法最小化能量函数等式(7)。

现有的相位展开技术在单视点内进行，即一次只能针对一个视点。在多视点结构光系统中，若采用现有方法，则需要每个视点都需相对独立地进行相位展开，一方面视点间没有建立联系，另一方面也将带来巨大繁重的工作量。本发明考虑多个结构光单元部署在同一个系统中，因此可利用不同视点之间的相关性，对多个视点同步进行相位展开。因此，本发明的优点主要有两点：(一)由于考虑了视点之间的相关性和约束，所得相位展开结果将更加准确；(二)多视点同步展开，将大大降低相位展开的工作量。

附图说明

图1为本发明实施例中多视点结构光系统示意图。

图2为本发明实施例中视点i和视点j映射到三维投影点示意图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步说明。

(1)如图1所示构建多视点结构光系统，每个结构光单元采用投影仪和相机组成一组基本的测量单元，测量单元中投影仪和相机水平部署(投影仪和相机为左右关系)或竖直部署(投影仪和相机为上下关系)，多个结构光单元从不同的角度对同一场景进行采集，覆盖所需获取的场景范围，且其相机的视野有重合部分；如需获得360°的深度值则需要3个或以上，但若只需要获得的场景范围缩小，则2个结构光单元也能满足要求，并对系统进行标定(采用既有方法，如张氏标定)，得到第i个视点下相机的参数为其中为第i个视点中相机的内部参数，f_xi为水平方向焦距，f_yi为竖直方向焦距，s_i为畸变系数，(x_0i，y_0i)为光心对应中心点坐标。为第i个视点中相机的外部参数。

(2)为每个结构光单元设计不同的正弦波模板，假定第i个视点投影的正弦波模板频率为f_i，周期为T_i。在不同视点中，模板的周期互为质数，即视点i的周期T_i和视点j的周期T_j均互为质数。

(3)各个结构光单元分别将模板向测量目标投影，并由相机采集。

(3.1)在结构光单元前方放置一参考平面，该参考平面的深度值为Z₀，相机采集参考平面上的模板为参考模板，利用参考模板求得参考相位

(3.2)利用结构光单元采集待测目标的下的模板，该场景深度值未知，相机采集所得模板为采集模板，求得采集相位

其中参考相位和采集相位的具体计算方法为，

1.采用相移法(phase shifting)求相位：

1-a.发射N张模板，模板之间具有的相位差，即视点i发射的第n张模板中，像素点(x,y)的灰度值为(测量单元中的相机和投影仪水平部署)或者为(测量单元中的相机和投影仪竖直部署)，(x,y)为像素点坐标，A为常数，T_i表示第i个视点投影的正弦波模板的周期；

1-b.每张发射模板投射在参考平面上，相机可捕获一张参考模板投射在测量目标上，相机可捕获一张采集模板

1-c.则整个采集流程获得N张参考模板可求得参考相位

1-d.整个采集流程获得N张采集模板可求得采集相位

2.可采用傅里叶变换相位分析法求相位：

2-a.视点i只需单张发射模板，模板中像素点(x,y)的灰度值为(测量单元中的相机和投影仪水平部署)或者为(测量单元中的相机和投影仪竖直部署)，(x,y)为像素点坐标，A为常数，T_i表示第i个视点投影的正弦波模板的周期，投射在参考平面上，相机可捕获一张参考模板I^ref；投射在测量目标上，相机可捕获一张采集模板I^cap；

2-b.对I^ref沿着模板调制方向(如果相机和投影仪是沿着水平方向布置的，那模板沿着x方向调制，如果相机和投影仪是沿着竖直方向布置的，那模板沿着y方向调制)抽取强度值，进行傅里叶变换的频谱F_ref，再对F_ref进行带通滤波，提取正频谱中的基带部分

2-c.参考相位可求得为其中Im表示取实部，Re表示取虚部，IDFT表示傅里叶逆变换；

2-d.对采集模板I^cap执行以上2-b步骤和2-c步骤操作，即可求得采集相位

(4)利用参考相位对应的采集相位计算形变相位，

(5)对于第i个视点，假定像素点p的相位解缠系数为m_i，则其对应的真实形变相位可计算为

(6)以(5)为基础，第i个视点下像素点p的相位解缠系数假定为m_i，所求得的相位计算对应的深度值

其中，b为该结构光单元中投影仪和相机之间的基线距离，Z₀为标定时采用的参考平面的深度值，f_L为相机的焦距(若投影仪和相机在水平方向部署，则f_L为f_ix，若投影仪和相机在竖直方向部署，则f_L为f_iy，f_i为模板频率。

利用公式(3)求得深度值之后，进一步求得利用相机模型，像素点p的三维空间坐标点为

该过程如图2所示，其中为p点在图像下的二维坐标，为第i个视点下相机的参数，深度值是关于相位解缠系数m_i的函数，则坐标也是关于相位解缠系数m_i的函数。

(7)以(4)(5)(6)为基础，第j个视点下的像素点p均按以上步骤获得其三维空间坐标点为该坐标是关于相位解缠系数m_j的函数。如图2所示，视点i和视点j均映射到三维空间得到场景点。

(8)在几何一致性的约束下，不同视点下的投影点来自于同一个三维场景点，则视点i求得的场景点和视点j求得的场景点应该十分接近。则定义能量函数

其中像素点坐标和相位解缠系数相关，可重写为

E(i,j)＝dist{g(m_i),g(m_j)} (6)

其中g表示公式(2)(3)(4)所述的根据解缠系数进行相位展开，并求得三维坐标点的过程。对多视点结构光系统，该能量函数可以写作

其中，n为系统中视点的个数，m_k表示第k个视点的相位解缠系数；

(9)通过最小化能量函数等式(7)，求得各视点的相位解缠系数为进而通过公式(2)，可实现相位展开，消除相位包裹效应。由于能量函数一般可定义为凸函数，例如E(i,j)＝[g(m_i)-g(m_j)]²，因此可采用凸优化算法如梯度下降进行求解，又因为实际测量的场景深度值范围有限，所以相位解缠系数的取值解空间也十分有限，也可测试所有可能的候选值求解。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.基于多视点几何一致性的相位展开方法，其特征在于，包括如下步骤：

步骤1，构建多视点结构光系统，并对系统进行标定，得到每个视点下相机的参数，每个结构光单元采用投影仪和相机组成一组基本的测量单元；

步骤2，为每个结构光单元设计不同的正弦波模板，包括模板的频率和周期，且不同视点中，模板的周期互为质数；

步骤3，各个结构光单元分别将模板向参考平面和测量目标投影，并由相机采集，获得第i个视点下对应参考平面的参考相位对应测量目标的采集相位其中参考平面放置在结构光单元前方，其深度值为Z₀；

步骤4，利用参考相位对应的采集相位计算形变相位，

步骤5，对于第i个视点，假定像素点p的相位解缠系数为m_i，则其对应的真实形变相位可计算为，

步骤6，利用步骤5中求得的真实形变相位计算对应的深度值，进一步求得像素点p的三维空间坐标点为

步骤7，获得第j个视点下像素点p对应的三维空间坐标点

步骤8，在几何一致性的约束下，视点i求得的场景点和视点j求得的场景点十分接近，则定义能量函数为，

其中像素点坐标和相位解缠系数相关，可重写为

E(i,j)＝dist{g(m_i),g(m_j)} (6)

对多视点结构光系统，该能量函数可以写为，

其中，n为系统中视点的个数，m_k表示第k个视点的相位解缠系数；

步骤9，通过最小化能量函数等式(7)，求得各视点的相位解缠系数为进而通过公式(2)实现相位展开，消除相位包裹效应。

2.如权利要求1所述的基于多视点几何一致性的相位展开方法，其特征在于：步骤1中采用张氏标定对系统进行标定，得到第i个视点下相机的参数为其中为第i个视点中相机的内部参数，f_xi为水平方向焦距，f_yi为竖直方向焦距，s_i为畸变系数，(x_0i，y_0i)为光心对应中心点坐标；为第i个视点中相机的外部参数。

3.如权利要求2所述的基于多视点几何一致性的相位展开方法，其特征在于：步骤3中参考相位和采集相位采用相移法获得，实现方式如下，

进一步，步骤3中参考相位和采集相位采用相移法获得，实现方式如下，

1-a.每个视点i发射N张模板，模板之间具有的相位差，即视点i发射的第n张模板中，像素点(x,y)的灰度值为或者为(x,y)为像素点坐标，A为常数，T_i表示第i个视点投影的正弦波模板的周期；

1-b.每张发射模板投射在参考平面上，相机可捕获一张参考模板投射在测量目标上，相机可捕获一张采集模板

1-c.则整个采集流程获得N张参考模板可求得参考相位

1-d.整个采集流程获得N张采集模板可求得采集相位

4.如权利要求2所述的基于多视点几何一致性的相位展开方法，其特征在于：步骤3中参考相位和采集相位采用傅里叶变换相位分析法获得，实现方式如下，

2-a.视点i只单张发射模板，模板中像素点(x,y)的灰度值为或者为(x,y)为像素点坐标，A为常数，T_i表示第i个视点投影的正弦波模板的周期，投射在参考平面上，相机捕获一张参考模板I^ref；投射在测量目标上，相机捕获一张采集模板I^cap；

2-b.对I^ref沿着模板调制方向抽取强度值，进行傅里叶变换的频谱F_ref，再对F_ref进行带通滤波，提取正频谱中的基带部分

2-c.参考相位求得为其中Im表示取实部，Re表示取虚部，IDFT表示傅里叶逆变换；

2-d.对采集模板I^cap执行步骤2-b和步骤2-c的操作，求得采集相位

5.如权利要求3或4所述的基于多视点几何一致性的相位展开方法，其特征在于：步骤5中求得像素点p的三维空间坐标点的实现方式如下，

首先根据步骤5中求得的真实形变相位计算对应的深度值，然后计算

其中，b为该结构光单元中投影仪和相机之间的基线距离，Z₀为参考平面的深度值；f_L为相机的焦距，为第i个视点下相机的参数，由步骤1获得；f_i为模板频率，由步骤2获得；为p点在图像下的二维坐标。

6.如权利要求1所述的基于多视点几何一致性的相位展开方法，其特征在于：步骤1中结构光单元的个数大于等于3，每个结构光单元从不同的角度对同一场景进行采集且结构光单元中相机的视野有重合部分。

7.如权利要求1所述的基于多视点几何一致性的相位展开方法，其特征在于：步骤9中定义能量函数等式(7)为凸函数，采用凸优化算法最小化能量函数等式(7)。