CN101825443A - 一种三维成像方法及系统 - Google Patents

Abstract

本发明适用于三维成像，提供了一种三维成像方法及系统，所述方法包括以下步骤：生成并投射条纹图案，所述条纹图案经所述成像物体的表面调制形成条纹图像；将所述条纹图像分解成第一正弦条纹图像、第二正弦条纹图像及De Bruign序列条纹图像；对分解后的图像进行解码；图像解码后结合其图像坐标以及系统参数进行三维成像。所述三维成像系统包括图案生成模块、图案投射模块、图像采集模块、解码模块以及成像模块。本发明实施例提供的三维成像方法及系统使用相位作为编码，其单次获取三维数据密度大；解码时利用Hilbert变换的性质，过程简单；展开相位时利用De Bruign序列的性质，避免了复杂的算法且没有误差传递，分辨率高，三维成像及重建更准确。

Description

一种三维成像方法及系统

技术领域

本发明属于数字成像领域，尤其涉及一种三维成像方法及系统。

背景技术

运动物体三维深度数据实时获取技术在动态建模、三维数字视频序列的获取方面有着重要的意义。实时获取运动物体三维深度数据的方法大致分为基于时空相关性的方法，如条纹边界编码，以及基于空间相关性的单幅编码图方法，如彩色结构光编码方案、自适应结构光方法、彩色相移方案等。基于单幅编码条纹图的方法具有不受物体运动速度限制、一次拍摄就可获得三维数据的优点，其中用相位进行编码的方法更以单次拍摄分辨率高，数据密度大而被广泛关注。使用相位进行编码包含两个关键技术：一是合适的相位解调的方法；二是有效的相位展开方法。相位解调的方法包括傅立叶变换算法、相移算法等。前者仅需一幅条纹图便可解算出相位，但其受噪声影响大，且基于频域滤波鲁棒性不够；后者可求得精确的解析解，噪声抑制能力强，鲁棒性好，但需要三幅或更多的条纹图，不适用于运动物体。相位展开方法可分为时间相位展开和空间相位展开。时间相位展开需要多幅条纹图，不适用于实时3D重建。传统的空间相位展开算法如枝切法、可靠性导向法等等，都是基于物体表面空间相关性的方法，受噪声点影响大，算法复杂且存在误差传递的问题，成像不准确。

发明内容

本发明实施例的目的在于提供一种三维成像方法，旨在解决现有三维成像方法算法复杂、准确性低的问题。

本发明实施例的另一目的在于提供一种三维成像系统。

本发明实施例是这样实现的，一种三维成像方法，包括以下步骤：

生成由两幅正弦条纹图案及一幅De Bruign序列条纹图案组成的条纹图案；

投射所述条纹图案至成像物体，经所述成像物体的表面调制形成条纹图像；

采集所述条纹图像；

将所述条纹图像分解成两幅正弦条纹图像及De Bruign序列条纹图像，利用所述两幅正弦条纹图像，获取与所述成像物体的表面形貌相关的折叠相位，利用所述De Bruign序列条纹图像，获取De Bruign序列，确定所述折叠相位的展开级次，利用所述折叠相位及其展开级次，获取与所述成像物体的表面形貌相关的绝对相位；

利用所述绝对相位并结合所述成像物体的表面各点的图像坐标以及系统参数，确定出所述成像物体的表面各点的三维坐标，获取所述成像物体的表面的三维图像。

本发明实施例的另一目的是这样实现的，一种三维成像系统，包括：

图案生成模块，用于生成由两幅正弦条纹图案及一幅De Bruign序列条纹图案组成的条纹图案；

图案投射模块，用于投射所述条纹图案至成像物体，经所述成像物体的表面调制形成条纹图像；

图像采集模块，用于采集所述条纹图像；

解码模块，用于将所述条纹图像分解成两幅正弦条纹图像及De Bruign序列条纹图像，利用所述两幅正弦条纹图像，获取与所述成像物体的表面形貌相关的折叠相位，利用所述De Bruign序列条纹图像，获取De Bruign序列，确定所述折叠相位的展开级次，利用所述折叠相位及其展开级次，获取与所述成像物体的表面形貌相关的绝对相位；

成像模块，用于利用所述绝对相位并结合所述成像物体的表面各点的图像坐标以及系统参数，确定出所述成像物体的表面各点的三维坐标，获取所述成像物体的表面的三维图像。

本发明实施例提供的三维成像方法及系统使用相位作为编码，其单次获取三维数据密度大，分辨率高；易于对所述第一正弦条纹图像和第二正弦条纹图像分量进行解码，过程简单，效率高；展开相位时利用De Bruign序列的性质，避免了复杂的算法且没有误差传递，三维成像及重建更准确。

附图说明

图1是本发明实施例提供的三维成像方法的流程图；

图2是本发明实施例中投射的彩色正弦结构光图案的构成示意图；

图3是本发明实施例提供的三维成像系统的结构图；

图4是本发明实施例提供的三维成像系统的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例与现有技术的区别在于，本发明实施例提供的三维成像方法采用由两幅正弦条纹图案及一幅De Bruign序列条纹图案组成的条纹图案，将所述条纹图案投射至成像物体，经所述成像物体的表面调制形成条纹图像；解码时，将所述条纹图像分解成两幅正弦条纹图像及一幅De Bruign序列条纹图像，利用两幅正弦条纹图像，获取与成像物体的表面形貌相关的折叠相位，利用De Bruign序列条纹图像，获取De Bruign序列，确定所述折叠相位的展开级次，利用所述折叠相位及其展开级次，获取与所述成像物体的表面形貌相关的绝对相位；利用所述绝对相位并结合所述成像物体的表面各点的图像坐标以及系统参数，确定出所述成像物体的表面各点的三维坐标，最终获取所述成像物体的表面的三维图像。本方法使用相位作为编码，分辨率高，单次获取三维数据密度大；解码时利用了Hilbert变换的性质，过程简单；展开相位时利用De Bruign序列的性质，避免了复杂的算法且没有误差传递，三维成像及重建更准确。

本发明实施例提供一种三维成像方法，所述方法包括以下步骤：生成由两幅正弦条纹图案及一幅De Bruign序列条纹图案组成的条纹图案；投射所述条纹图案至成像物体，经所述成像物体的表面调制形成条纹图像；采集所述条纹图像；将所述条纹图像分解成两幅正弦条纹图像及De Bruign序列条纹图像，利用所述两幅正弦条纹图像，获取与所述成像物体的表面形貌相关的折叠相位，利用所述De Bruign序列条纹图像，获取De Bruign序列，确定所述折叠相位的展开级次，利用所述折叠相位及其展开级次，获取与所述成像物体的表面形貌相关的绝对相位；利用所述绝对相位并结合所述成像物体的表面各点的图像坐标以及系统参数，确定出所述成像物体的表面各点的三维坐标，获取所述成像物体的表面的三维图像。

图1示出了本发明实施例提供的三维成像方法的实现流程，详述如下：

在步骤S101中，生成由两幅正弦条纹图案及一幅De Bruign序列条纹图案组成的条纹图案。本发明实施例中，所述条纹图案为编码条纹图案，所述编码条纹图案由第一正弦条纹图案、第二正弦条纹图案及一幅De Bruign序列条纹图案分置于三个颜色通道生成，所述De Bruign序列条纹图案由一个De Bruign序列生成，De Bruign序列码由De Bruign序列条纹图案中的条纹的颜色分量表示，所述De Bruign序列条纹图案包括黑、白两种条纹，黑条纹用0表示，白条纹用1表示。本实施例中所述De Bruign序列条纹图案由一个2元5级的DeBruign序列生成，所述De Bruign序列条纹图案由相连的五个黑白条纹组合而成，所述De Bruign序列为由0和1组成的长度为5的序列，每一个De Bruign序列唯一对应了一个相位展开级次，本发明实施例中01001的De Bruign序列对应的相位展开级次N为1。所述第一正弦条纹图案的相移量与第二正弦条纹图案的相移量之间的差为(n为整数)，本实施例中所述第一正弦条纹图案的相移量为0，第二正弦条纹图案的相移量为

由其生成的编码条纹图案为彩色正弦结构光图案。

在步骤S102中，投射所述条纹图案至成像物体，经所述成像物体的表面调制形成条纹图像。本发明实施例中，所述成像物体的表面为非平面。

在步骤S103中，采集所述条纹图像。本发明实施例为及时获得物体的三维图像，需实时采集所述条纹图像。

在步骤S104中，将所述条纹图像分解成两幅正弦条纹图像及De Bruign序列条纹图像，利用所述两幅正弦条纹图像，获取与所述成像物体的表面形貌相关的折叠相位，利用所述De Bruign序列条纹图像，获取De Bruign序列，确定所述折叠相位的展开级次，利用所述折叠相位及其展开级次，获取与所述成像物体的表面形貌相关的绝对相位。本发明实施例中，将所述条纹图像分解成第一正弦条纹图像、第二正弦条纹图像及De Bruign序列条纹图像。利用所述第一正弦条纹图像I₁和第二正弦条纹图像I₂，获取与所述成像物体的表面形貌相关的折叠相位φ，计算所述折叠相位φ的步骤具体为：

对所述第一正弦条纹图像I₁和第二正弦条纹图像I₂分别做傅里叶变换得到F₁和F₂，所述傅里叶变换的计算公式为：

F₁＝FFT{I₁}，F₂＝FFT{I₂}，

其中，FFT{·}为傅里叶变换运算符，

对F₁-F₂做逆傅里叶变换得到I_D，所述逆傅里叶变换的计算公式为：

I_D＝IFFT{F₁-F₂}

其中，IFFT{·}为逆傅里叶变换运算符，对I_D做Hilbert变换得到F_HD，利用F_HD的实部Re al(F_HD)和虚部Im ag(F_HD)解出所述折叠相位φ，所述折叠相位φ的计算公式为：

$\mathrm{\φ}=-{\tan }^{-1}\left(\frac{\mathrm{Real}\left(F_{\mathrm{HD}}\right)}{\mathrm{Imag}\left(F_{\mathrm{HD}}\right)}\right).$

利用所述De Bruign序列条纹图像，获取De Bruign序列码，确定所述折叠相位φ的展开级次N。本发明实施例中，由De Bruign序列条纹图案中连续5个条纹的颜色分量(由0或1表示)得到De Bruign序列：01001，由此序列便可找到与之对应的相位展开级次N为1。利用所述折叠相位φ及其展开级次N，获取与所述成像物体的表面形貌相关的绝对相位ψ，所述绝对相位ψ的计算公式为：

ψ＝φ+2π×N。

在步骤S105中，利用所述绝对相位ψ并结合所述成像物体的表面各点的图像坐标以及系统参数，计算出所述成像物体的表面各点的三维坐标，获取所述成像物体的表面的三维图像。解码过程中，利用De Bruign序列条纹图案定出折叠相位的级次进行相位展开，使用相位作为编码实现实时、高分辨三维数字成像。

本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤可以通过程序来指令相关的硬件完成，该程序可以存储于一计算机可读取存储介质中，如ROM/RAM、磁盘、光盘等。

本发明实施例还提供一种三维成像系统，所述系统包括：图案生成模块，用于生成由两幅正弦条纹图案及一幅De Bruign序列条纹图案组成的条纹图案；图案投射模块，用于投射所述条纹图案至成像物体，经所述成像物体的表面调制形成条纹图像；图像采集模块，用于采集所述条纹图像；解码模块，用于将所述条纹图像分解成两幅正弦条纹图像及De Bruign序列条纹图像，利用所述两幅正弦条纹图像，获取与所述成像物体的表面形貌相关的折叠相位，利用所述De Bruign序列条纹图像，获取De Bruign序列，确定所述折叠相位的展开级次，利用所述折叠相位及其展开级次，获取与所述成像物体的表面形貌相关的绝对相位；成像模块，用于利用所述绝对相位并结合所述成像物体的表面各点的图像坐标以及系统参数，确定出所述成像物体的表面各点的三维坐标，获取所述成像物体的表面的三维图像。

图3示出了本发明实施例提供的三维成像系统的结构原理，为了便于描述，仅示出了与本发明实施例相关的部分。

所述图案生成模块31生成由两幅正弦条纹图案及一幅De Bruign序列条纹图案组成的条纹图案。图案投射模块32投射所述条纹图案至成像物体，经所述成像物体的表面调制形成条纹图像。图像采集模块33采集所述条纹图像。解码模块34将所述条纹图像分解成两幅正弦条纹图像及De Bruign序列条纹图像，利用所述两幅正弦条纹图像，获取与所述成像物体的表面形貌相关的折叠相位，利用所述De Bruign序列条纹图像，获取De Bruign序列，确定所述折叠相位的展开级次，利用所述折叠相位及其展开级次，获取与所述成像物体的表面形貌相关的绝对相位。成像模块35利用所述绝对相位并结合所述成像物体的表面各点的图像坐标以及系统参数，确定出所述成像物体的表面各点的三维坐标，获取所述成像物体的表面的三维图像。

上述各个模块(单元)的工作原理如上文所述，此处不再加以赘述。

上述三维成像系统的各个单元(模块)可以为软件单元、硬件单元或者软硬件结合的单元，软件单元部分可以存储于一计算机可读取存储介质中，如ROM/RAM、磁盘、光盘等。

本发明实施例中所述图案投射模块内置于数字投影照明发射器，所述图像采集模块内置于图像传感接收器，所述图案生成模块、解码模块以及成像模块内置于图像处理器。所述数字投影照明发射器可以是数字液晶装置(LCD投影仪)，数字微透镜装置(DMD投影仪)或硅基片液晶投影装置(LCOS投影仪)，可用计算机图像处理系统方便的生成彩色正弦结构光图案并写入数字投影装置，所述彩色正弦结构光图案用于照明成像物体；所述图像传感接收器由光学成像透镜和光电探测器构成，所述光学成像透镜可以是定焦距或变焦距的成像透镜或透镜组，二元光学成像系统，衍射原件成像系统，显微成像系统；所述光电探测器件可以是电荷耦合器件、液晶器件、空间光调制器，CMOS器件或数码相机。所述图像处理器是数字信号处理器与可编程专用集成电路的组合，也可以是通用图像处理卡和计算机的组合。所述数字投影照明发射器以固定角度投射所述条纹图案，所述图像传感接收器置于所述条纹图案的照明场的中心所处的平面并偏转一定角度，所述条纹图案的照明场的中心位于所述图像传感接收器的光轴上。

如图4所示，所述数字投影照明发射器101的投影镜104的出瞳P、图像传感接收器102的成像透镜105的入瞳C以及所述条纹图案的照明场的中心O位于同一平面，并构成一个三角形，投影光轴PO与成像光轴CO所成的夹角为α；以PC连线为基线，它和形成于所述成像物体的表面的条纹图像上的点构成三角形，即形成三角测量系统。所述数字投影照明发射器101和图像传感接收器102设于调节杆107，所述调节杆107用于调节数字投影照明发射器101与图像传感接收器102的相对位置及夹角。所述数字投影照明发射器101所需的彩色正弦结构光图案由图像处理器103的计算机或数字信号处理器产生，将彩色正弦结构光图案投射至所述成像物体106，受所述成像物体的表面调制的条纹图案由所述图像传感接收器102采集或接受，并传送至所述图像处理器103，通过数字解码，计算出所述成像物体的表面的三维数据信息。

本发明实施例利用Hilbert变换的性质进行相位解调，利用De Bruign序列的性质进行相位展开，避免了复杂的算法，且没有误差传递的问题，是一种有效的实时、高分辨三维数字成像方法及系统。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种三维成像方法，其特征在于，所述方法包括以下步骤：

生成由两幅正弦条纹图案及一幅De Bruign序列条纹图案组成的条纹图案；

投射所述条纹图案至成像物体，经所述成像物体的表面调制形成条纹图像；

采集所述条纹图像；

将所述条纹图像分解成两幅正弦条纹图像及De Bruign序列条纹图像，利用所述两幅正弦条纹图像，获取与所述成像物体的表面形貌相关的折叠相位，利用所述De Bruign序列条纹图像，获取De Bruign序列，确定所述折叠相位的展开级次，利用所述折叠相位及其展开级次，获取与所述成像物体的表面形貌相关的绝对相位；

利用所述绝对相位并结合所述成像物体的表面各点的图像坐标以及系统参数，确定出所述成像物体的表面各点的三维坐标，获取所述成像物体的表面的三维图像。

2.如权利要求1所述的三维成像方法，其特征在于，所述生成由两幅正弦条纹图案及一幅De Bruign序列条纹图案组成的条纹图案的步骤具体为：

生成条纹图案，所述条纹图案由第一正弦条纹图案、第二正弦条纹图案及一幅De Bruign序列条纹图案分置于三个颜色通道生成，所述第一正弦条纹图案的相移量与第二正弦条纹图案的相移量相差

其中n为整数；

所述将所述条纹图像分解成两幅正弦条纹图像及De Bruign序列条纹图像的步骤具体为：

将所述条纹图像分解成第一正弦条纹图像、第二正弦条纹图像及De Bruign序列条纹图像；

所述利用所述两幅正弦条纹图像，获取与所述成像物体的表面形貌相关的折叠相位的步骤具体为：

利用所述第一正弦条纹图像和第二正弦条纹图像，获取与所述成像物体的表面形貌相关的折叠相位。

3.如权利要求2所述的三维成像方法，其特征在于，所述获取与所述成像物体的表面形貌相关的折叠相位的步骤具体为：

对所述第一正弦条纹图像I₁和第二正弦条纹图像I₂分别做傅里叶变换得到F₁和F₂，对F₁-F₂做逆傅里叶变换得到I_D，对I_D做Hilbert变换得到F_HD，利用F_HD的实部Real(F_HD)和虚部Imag(F_HD)解出所述折叠相位，所述折叠相位的计算公式为：

$\mathrm{\φ}=-{\tan }^{-1}\left(\frac{\mathrm{Real}\left(F_{\mathrm{HD}}\right)}{\mathrm{Imag}\left(F_{\mathrm{HD}}\right)}\right)$

其中，φ为折叠相位。

4.如权利要求3所述的三维成像方法，其特征在于，所述绝对相位的计算公式为：

ψ＝φ+2π×N，

其中，ψ为绝对相位，φ为折叠相位，N为折叠相位的展开级次。

5.如权利要求1所述的三维成像方法，其特征在于，所述De Bruign序列条纹图案由De Bruign序列生成，每个De Bruign序列唯一对应折叠相位的展开级次；De Bruign序列码由De Bruign序列条纹图案中的条纹的颜色分量表示，所述De Bruign序列条纹图案包括黑、白两种条纹，黑条纹用0表示，白条纹用1表示。

6.一种三维成像系统，其特征在于，所述系统包括：

图案生成模块，用于生成由两幅正弦条纹图案及一幅De Bruign序列条纹图案组成的条纹图案；

图案投射模块，用于投射所述条纹图案至成像物体，经所述成像物体的表面调制形成条纹图像；

图像采集模块，用于采集所述条纹图像；

解码模块，用于将所述条纹图像分解成两幅正弦条纹图像及De Bruign序列条纹图像，利用所述两幅正弦条纹图像，获取与所述成像物体的表面形貌相关的折叠相位，利用所述De Bruign序列条纹图像，获取De Bruign序列，确定所述折叠相位的展开级次，利用所述折叠相位及其展开级次，获取与所述成像物体的表面形貌相关的绝对相位；

成像模块，用于利用所述绝对相位并结合所述成像物体的表面各点的图像坐标以及系统参数，确定出所述成像物体的表面各点的三维坐标，获取所述成像物体的表面的三维图像。

7.如权利要求6所述的三维成像系统，其特征在于，所述图案生成模块、解码模块及成像模块内置于图像处理器，所述图案投射模块内置于数字投影照明发射器，所述图像采集模块内置于图像传感接收器。

8.如权利要求7所述的三维成像系统，其特征在于，所述数字投影照明发射器以固定角度投射所述条纹图案，所述图像传感接收器具有一成像透镜，所述成像物体的中心位于所述成像透镜的光轴。

9.如权利要求8所述的三维成像系统，其特征在于，所述数字投影照明发射器具有一投影镜，所述投影镜的出瞳与所述成像透镜的入瞳以及形成于所述成像物体的表面的条纹图像上的点构成三角形。

10.如权利要求7所述的三维成像系统，其特征在于，所述数字投影照明发射器和图像传感接收器设在用于调节所述数字投影照明发射器与图像传感接收器的相对位置及夹角的调节杆上。

Images