CN101504277B

CN101504277B - 一种光学三维传感获取物体三维图像的方法

Info

Publication number: CN101504277B
Application number: CN2009100959525A
Authority: CN
Inventors: 李勇; 金洪震; 王辉
Original assignee: Zhejiang Normal University CJNU
Current assignee: Zhejiang Normal University CJNU
Priority date: 2009-02-26
Filing date: 2009-02-26
Publication date: 2010-11-10
Anticipated expiration: 2029-02-26
Also published as: CN101504277A

Abstract

本发明属于可见光区域的光学三维传感技术领域，具体涉及一种基于结构光照明的光学三维传感获取物体三维图像的方法。一种光学三维传感获取物体三维图像的方法，包括以下步骤：步骤一：至少一个配备二值时空光栅的光结构化装置向物体投射结构光；步骤二：至少一个摄像机在另一位置拍摄被物体反射回来的变形图像；步骤三：对物体反射回来的变形图像进行分析，获得与摄像机像面上的点对应的投影平面上点的坐标；步骤四：根据几何关系计算出物体测量点坐标进行三维重构，恢复出物体三维形貌。本方案不仅可以得到高密度的三维测量结果并且可以同时获得物体的纹理，只要有足够多的编码区域投影到孤立物体上，它也可以被测量。

Description

一种光学三维传感获取物体三维图像的方法

技术领域：

本发明属于可见光及红外区域的光学三维传感技术领域，具体涉及一种基于结构光照明的光学三维传感获取物体三维图像的方法。

背景技术：

基于结构光照明的光学三维传感技术在工业检测、质量控制、机器视觉、影视特技和生物医学等领域有广泛的应用。该技术的关键之一是投影平面与摄像机像面对应点的匹配。通常利用颜色、灰度、光栅相位和利用上述参数编码的符号或符号序列等实现对应点匹配。

图1为结构光照明三维成像技术的系统示意图。它由投影仪和摄像机构成。O_p、O_c分别为投影仪和摄像机光心，(x_p0，y_p0)、(x_c0，y_c0)分别为投影仪和摄像机主点的图像坐标。P_p、P_c为一对投影平面和摄像机像面的对应点。P为物体表面上的测量点，其坐标为(X_w，Y_w，Z_w)。由投影仪投出特定的图案，摄像机在另一位置拍摄被物体表面反射回来的变形图案。通过分析拍摄到的图像，获得与摄像机像面上的点对应的投影平面上点的坐标。最后在由PO_cO_p构成的三角形中，根据几何关系计算出P点坐标，进而恢复出物体三维形貌。

已有的结构光照明三维传感技术，按是否与颜色有关，可分为基于颜色和基于灰度的编码方案。按用于编码的参数不同，可分为正弦光栅相位编码方案和光强编码方案。

相位编码方案主要有相位测量轮廓术PMP和傅立叶变换轮廓术FTP等。

光强编码方案可分为时间编码方案，空间邻域编码方案和直接编码方案三类。采用正弦光栅投影的技术可以得到高分辨率的测量结果。但是采用单频正弦光栅投影，对不连续物体的相位展开比较困难。这一问题可以采用时间相位展开法或与格雷码结合等方法解决，但测量的时间复杂度会增加。也可以采用复合光栅或与彩色及二值编码结合的方法解决，但对测量范围或对物体表面纹理有一定限制。

时间编码方案由于需要投影较多的模式，测量的时间复杂度通常较高，不易达到高密度测量，但测量精度较高。

空间编码方案测量速度快，但解码过程比较复杂，通常精度不高，空间分辨率较低。

直接编码方案通常仅适用于非彩色或浅色物体的测量，而且不易达到高的测量精度。

基于颜色的空间邻域编码方案是目前研究较多的结构光照明三维成像技术。但这类技术有一个明显的缺点，即对测量物体的颜色有限制，也不能同时从编码图像中获取物体纹理。

发明内容：

针对上述现有技术的不足，本发明提供了一种优化的光学三维传感获取物体三维图像的方法。这种方案具有测量速度介于普通PMP与时间编码方案之间，测量精度及鲁棒性与时间编码方案相当，分辨率与PMP相当。不仅可以得到高密度的三维测量结果并且可以同时获得物体的纹理。只要有足够多的编码区域投影到孤立物体上，它也可以被测量。

一种光学三维传感获取物体三维图像的方法，包括以下步骤：

步骤一：至少一个配备二值时空光栅的光结构化装置向物体投射结构光；

步骤二；至少一个摄像机在另一位置拍摄被物体反射回来的变形图像；

步骤三：对物体反射回来的变形图像进行分析，获得与摄像机像面上的点对应的投影平面上点的坐标；

步骤四：根据几何关系计算出物体测量点坐标进行三维重构，恢复出物体三维形貌。

其中二值时空编码光栅由一套在同一空间位置上顺序显示的二值光栅组成。其的核心技术是，用投影平面上称为编码单元的若干相邻像素点的局部空间坐标和它们的状态为1时的相对时间坐标的组合来编码一组符号；然后用由这组符号构成的伪随机序列来确定每幅二值光栅的总体结构。

伪随机序列满足如下条件：

在序列中，大于等于窗口长度的子序列是唯一的；在任意长度等于窗口长度的子序列内无重复符号。

比如窗口长度为4的序列

“ABDECFADBEFDBECDABFECBDEFBDCEABCDAECFBDE”。

投影平面上每一像素点的状态满足如下要求：在且仅在一幅光栅中为1，在其他光栅中都为0。

相邻的编码单元采用时间坐标来区别，像素点状态为1时的相对时间坐标小于阈值的归为1个编码单元，大于等于阈值的归为另一编码单元。

以用相邻3个像素的空间、时间坐标编码为例，说明二值时空编码光栅的原理。图2是编码原理的示意图。这里采用竖条纹，投影平面上像素的状态只在行方向改变，而在列方向不变。选一行进行说明。图中将光栅按显示的顺序从上到下排列。每幅光栅被划分成若干由3个像素组成的小区域。按要求，尺寸为3个像素的区域，在时间上有三幅光栅对应。从图中可以看到：空间上，在一幅光栅中，每个单元内有且只有一个像素是白色的，其它都为黑色；时间上，在同一单元内，每个像素在且只在一幅光栅中是白色的，在其它光栅中都为黑色。这样，像素的局部空间坐标和时间坐标的组合可以用来对区域进行编码。如图2中标记为“B”的区域，单元内第1个像素的空间时间坐标为(1，1)，即：第1个像素在单元内的空间位置为1，状态为1时的相对时间坐标为1，第2个像素的空间时间坐标为(2，3)，第3个像素的空间时间坐标为(3，2)。将这些坐标按顺序排列得到码字“113223”，这里用字母“B”来表示。同理我们可以得到其它码字。根据排列知识，可以得到3！＝6个码字，分别用“A”-“F”表示。为区别相邻编码单元，这里设置阈值4。一共设计了6幅光栅，第一个编码单元中像素状态为1的时间坐标小于4。第二个编码单元中像素状态为1的时间坐标大于等于4。第三个编码单元中像素状态为1的时间坐标小于4。以此类推，进行编码。

根据以上编码原理，所有投影模式叠加的结果为一幅全白图像。投影全白的图像就相当于用投影仪当光源照明物体，摄像机拍到的就是物体的纹理。因此，只要将拍摄到的图像序列进行叠加就得到物体的纹理，而不需要单独拍摄纹理。如果采用彩色摄像机，则可以得到彩色纹理。

采用不断从一组指定符号中随机选取1个符号，加到已构造好的序列后构成新的符合要求的序列的方法来构造指定长度的伪随机序列。具体步骤如下：

第一，从指定符号中随机选取个数等于窗口长度个符号，构成初始序列；

第二，从指定符号中随机选取1个符号，添加到已构造序列后；

第三，检查包括新加入符号在内的窗口内的子序列是否符合二值时空编码原理所述的伪随机序列的要求。如果符合，则检查整个序列长度是否满足要求，如果满足则结束，否则转至上述第二步骤；如果不符合，则在已构造序列中删除刚添加的符号，转转至上述第二步骤。

本发明所称三维重构过程主要步骤如下：

(1)对于摄像机像面上的每一点，从拍摄的图像序列中寻找对应像素光强最大的图像。由于投影和拍摄是按相同顺序进行，对应像素光强最大的图像的采集顺序号就是投影平面上对应点状态为1的时间坐标，简称对应点时间坐标。摄像机像面上所有点的对应点时间坐标构成一幅对应点时间坐标图。

(2)在对应点时间坐标图中，按行扫描，根据编码规则识别编码单元并恢复出对应的投影符号。所有编码单元对应的投影符号构成一幅投影符号图。

(3)在投影符号图中，按行以窗口长度为单位扫描，将窗口内子序列与原始投影序列中的子序列进行匹配，得到窗口内符号在原始投影序列中的位置。进而根据编码规则得到摄像机、投影仪对应点图。

(4)得到摄像机、投影仪对应点后，根据三角测量原理恢复物体三维形貌。

(5)将拍摄的图像序列对应点强度相加，得到物体纹理图。

附图说明：

图1是结构光照明三维成像系统示意图

图2是时空二值编码原理示意图

图3是根据时空二值编码原理设计的一套光栅示意图

图4是JAI_CVA50摄像机测量结果示意图

图5是本发明获取物体三维图像的中间结果与彩色纹理示意图

图6是本发明物体形貌恢复结果示意图

具体实施方式：

以下结合附图对本发明作进一步的描述。

采用窗口长度为4的序列：

“ABDECFADBEFDBECDABFECBDEFBDCEABCDAECFBDEABFCABDFAEC

BADEFCAEDCFEBDFECABFDEAFCEADBCADFBACDEACBDACEBDCABEC

AFECDBEADCEBAFDEBFADECADEBCAEBDAEBCDEBADCBAFEBACEDFA

BDCFAEBFDCAEFDCBEACDBAECDC”。

图3中(a)、(b)、(c)为本方案设计的一套光栅。具体步骤如下：

(1)根据投影仪的像素列数计算符号个数、编码单元尺寸及伪随机序列长度，采用本发明所述算法构造伪随机序列；

(2)根据本发明二值时空编码原理，设计与每个符号对应的编码单元；

(3)按照(1)构造的代码序列，将编码单元按顺序排列，最后得到与伪随机序列对应的二值时空编码光栅；

(4)将设计得到的光栅按其时间坐标，先后投影到被测物体上，并同时用摄像机拍摄被物体形貌调制的变形光栅；

(5)在投影完所有光栅后，将拍摄到的变形光栅按照2.4所述步骤处理，得到物体的三维形貌和纹理。

首先用分辨率为740×572的JAI_CVA50 CCD工业摄像机对表面高度分布及反射率分布不连续，有阴影、遮挡的典型场景进行测量。

本方案采用的场景为：一个方纸盒和一个鼠标放在一张贴有棋盘格图案的平板上。本方案不采取纠错算法，丢弃对应点时间坐标恢复不完整的编码单元。

图4(a)为投影第1个模式后采集的图像。图4(b)为由拍摄的6幅图像序列恢复的摄像机、投影仪对应点图。为表示更清楚，用灰度来显示结果。从图中可以看到，大部分有效的区域都被测量出来，阴影对解码无影响。由代码序列特点，一个错误恢复的代码最多影响4个编码单元的测量结果。如果采用一定的错误检测及控制算法，大部分错误被进一步限制在本单元，不会影响其它单元。从图4(b)可以看到解码错误被限制在小区域内，没有向外传播。图中出现空洞的主要原因有：阴影；物体表面反射率太低而导致无法测出光强变化；摄像机视线被遮挡；在物体表面阶跃型纹理处，由于摄像机的低通滤波特性造成编码单元内对应点时间坐标恢复错误。

然后采用Sony的DCR-SR100型民用彩色CCD摄像机进行实验，分辨率2016×1512。测量对象为最大深度在100mm左右的石膏模型和可以看成孤立物体的一部分白屏。

图5(a)为投影第1幅光栅后采集的图像。图5(b)为用颜色表示的对应点时间坐标图。可以看出由于采用民用摄像机，图像的信噪比低些，在对应点时间坐标图中无条纹处出现较大的噪音。图5(c)为用颜色表示的投影符号图。可以看到，前一阶段产生的噪音对投影符号恢复影响很小。图5(d)为通过简单叠加6幅图像恢复的物体彩色纹理图。

图6为用彩色网格表示的被测物体与参考平面的投影仪横向像素坐标差。可以看出，物体的形貌得到了很好的恢复。

Claims

1.一种光学三维传感获取物体三维图像的方法，包括以下步骤：

步骤一：至少一个配备二值时空光栅的光结构化装置向物体投射结构光，该二值时空光栅由一套在投影平面上顺序显示的二值光栅组成；

步骤四：根据几何关系计算出物体测量点坐标进行三维重构，获得物体三维图像，其特征在于

所述的二值光栅的总体结构由伪随机序列来确定，该伪随机序列由投影平面上若干相邻像素点的局部空间坐标和它们的状态为1时的相对时间坐标的组合来编码一组符号组成。

2.根据权利要求1所述的方法，其特征在于所述伪随机序列应满足如下条件：在该伪随机序列中大于等于窗口长度的子序列是唯一的；在任意长度等于窗口长度的子序列内无重复符号。

3.根据权利要求1所述的方法，其特征在于步骤四中所称的三维重构包括以下步骤：

从摄像机拍摄的图像序列中寻找出对应像素光强最大的图像，该图像的采集顺序号为投影平面上对应点状态为1的时间坐标，摄像机像面上所有点的对应点时间坐标构成一幅对应点的时间坐标图；

在对应点的时间坐标图中，按行扫描，根据编码规则识别编码单元并恢复出对应的投影符号，所有编码单元对应的投影符号构成一幅投影符号图；

在投影符号图中，按行以窗口长度为单位扫描，将窗口内子序列与原始投影序列中的子序列进行匹配，得到窗口内符号在原始投影序列中的位置，进而根据编码规则得到摄像机、投影仪对应点图；

得到摄像机、投影仪对应点图后，根据三角测量原理恢复物体三维形貌；

将拍摄的图像序列对应点强度相加，得到物体纹理图。

4.根据权利要求1所述的方法，其特征在于所述的光结构化装置为投影仪。