CN1512455A - 基于主动视觉的物体三维模型快速获取方法 - Google Patents

Abstract

一种基于主动视觉的物体三维模型快速获取方法，标定投影设备所投出的各光栅平面在参考坐标系下的光平面方程以及参考坐标系到照相机的投影变换矩阵；将物体放在系统前方，分别拍摄一幅带有光栅的物体图像和一幅只带有纹理的物体图像；将拍摄的图像输入计算机；通过自动或人机交互方式从输入图像中提取出投影在物体上的光栅的边缘并进行聚类；将提取出的每一个边缘点反投影到空间中所对应的光平面方程上，由此求出物体上所有光栅边缘点在参考坐标系下的三维坐标，得到物体的可见表面的三维模型；对所提取的物体表面上的三维点进行三角分解，并将带有纹理的物体图像的纹理信息映射到所获取的三维模型上；将物体旋转一定角度，重复以上步骤，获得物体不同侧面的三维模型，并通过数据融合获得完整的物体三维模型。

Description

基于主动视觉的物体三维模型快速获取方法

技术领域

本发明涉及计算机辅助自动建模及测量，特别涉及基于主动视觉的物体三维模型快速获取方法。

背景技术

在我们日常生活的许多领域中，经常需要对物体进行三维建模。三维建模技术在机器人障碍物识别与导航、虚拟现实、三维鉴定、医学整形、数字化铸模、三维雕刻、工业设计、快速制造、考古、文物保护、电子商务、交互式娱乐等诸多领域都有广泛的应用前景。

传统的建模方法一般是借助AutoCAD、3DS MAX等三维处理软件人工完成，这种方法十分耗时，而且所建模型的精度易受人为因素影响。另一类方法是借助接触式测量仪、激光扫描仪等仪器设备来获取物体模型，这类方法在一定程度上提高了建模精度，但由于这些设备可能会对人和某些物体带来损害，因而限制了其应用范围。

近年来，随着计算机视觉的发展和应用，人们开始探索借助计算机视觉方法，通过图像进行建模。基于视觉的方法以其非接触性、成本低、采样快等特点，一直受到众多研究者的广泛关注。基于视觉的方法通常采用三角测量原理，概括起来，一般分为被动视觉系统和主动视觉系统两大类。被动视觉系统即通常所说的立体视觉方法，采用多台摄像机或一台摄像机在不同位置拍摄多幅物体图像来恢复场景深度信息。但这类方法都无法回避在不同图像间寻找匹配关系的问题，由于图像匹配是计算机视觉领域的一个经典难题，从而限制了这类方法的广泛应用。主动视觉系统一般采用结构光的方法。该系统通常包括一台摄像机和一个投影仪，投影仪向物体投射一些人工设计的经过编码的图案，如点、网格、光条等，摄像机拍摄被照物体得到这些结构光图案在物体表面形成的变形图像，利用结构光的编码技术和三角测量原理，来恢复物体的三维结构。这种方法借助结构光的信息，从而在某种程度上简化了图像匹配问题。

发明内容

本发明的目的在于提供一种较为简便、实用、快速并具有较高建模精度和鲁棒性的基于主动视觉的物体三维模型获取方法。

为实现上述目的，基于主动视觉的物体三维模型快速获取方法，包括步骤：

1)主动视觉系统标定，使用标定模板标定投影设备所投出的各光栅平面在参考坐标系下的光平面方程以及参考坐标系到照相机的投影变换矩阵；

2)将物体放在系统前方，分别启动和关闭投影设备，拍摄一幅带有光栅的物体图像和一幅只带有纹理的物体图像；

3)将拍摄的图像借助扫描仪或某些专用接口输入计算机；

4)通过自动或人机交互方式从输入图像中提取出投影在物体上的光栅的边缘并进行聚类；

5)将步骤4)提取出的每一个边缘点反投影到所对应的空间光平面上，由此求出物体上所有光栅边缘点在参考坐标系下的三维坐标，从而得到物体的可见表面的三维模型；

6)对步骤4)所提取的物体上的边缘点进行三角分解，从而将带有纹理的物体图像的纹理信息映射到所获取的三维模型上；

7)将物体旋转一定角度，重复步骤2)到步骤6)，可获得物体不同侧面的三维模型，将各侧面的三维模型数据进行融合，即可获得完整的物体三维模型。

本发明提供的建模方法对整个主动视觉系统进行一次性标定，而不需要对摄像机和投影设备参数分别进行标定，具有较为简便、实用、建模精度高、鲁棒性好等特点，使基于主动视觉的建模方法走向实用。

附图说明

图1是主动视觉系统结构图；

图2是本方法的流程图；

图3是系统的平面标定模板示意图；

图4是系统的立体标定模板示意图；

图5是从不同侧面拍摄的带有光栅的图像和只带有纹理的物体图像；

图6是物体不同侧面的重建模型和纹理映射结果；

图7是恢复出的完整三维物体模型从不同侧面观察的结果。

具体实施方式

本项发明由一台光栅投影设备(如投影仪、幻灯机等)、一部照相机(如数码相机、工业摄像机等)、标定块、计算机及相关软件组成。投影设备和照相机可以垂直或水平放置，使投影设备所投出的光栅平面与照相机成一定夹角，如图1所示。需要建模的物体放在投影设备和照相机的前方有效焦距范围内，使投影设备所投出的光栅可以在物体表面清晰成像，而且照相机可以获取该图像。该方法主要包括系统标定、物体图像获取、图像输入、图像特征提取和聚类、物体三维模型计算、物体纹理映射、三维模型数据融合、物体模型数据转换及加工等步骤组成，如图2所示，各步的具体说明如下：

1.主动视觉系统标定

标定实际上就是要求出投影设备所投出的各光栅平面在参考坐标系下的平面方程以及参考坐标系到照相机的投影变换矩阵。系统标定需要借助标定模板，而且只需在系统初始安装或系统参数发生改变时一次完成。本发明提出两种标定方法，第一种方法采用单平面标定模板，在模板上含有一些几何信息已知的点或矩形等图案，如图3所示，标定过程包括以下步骤：

1)获取模板和光栅图像。将标定模板放在系统前方，启动投影设备，使光栅投影到平面标定模板上，拍摄一幅带有光栅的模板图像；将标定模板向前或向后精确移动一定距离，再拍摄一幅带有光栅的模板图像；

2)输入图像。将拍摄的图像借助扫描仪或某些专用接口输入计算机；

3)标定投影变换矩阵。通过自动或人机交互方式从两幅图像中提取出模板内的已知信息。选定空间参考坐标系(一般选在模板上)，则这些信息在该参考坐标系下的坐标是已知的，由此可以求出参考坐标系到图像间的投影变换矩阵。

4)计算光栅边缘在模板上对应的直线方程。通过自动或人机交互方式从两幅图像中提取出每一条光栅条纹的边缘信息，即所对应的图像直线。通过步骤3)所求出的投影变换矩阵，可求出每一条纹边缘反投影到空间所对应的空间平面方程，该方程与对应的模板平面的方程相交于一条直线，由此即可求出该直线在参考坐标系下的方程。

5)标定光栅平面在参考坐标系下的平面方程。由步骤4)求出每一条光栅的每一个边缘在模板的两个不同位置上对应的两条直线的方程，这两条直线在同一个光平面上，因此，由这两条直线的方程即可唯一地确定该光平面在参考坐标系下的平面方程，类似方法可标定出所有光栅平面在参考坐标系下的平面方程。

第二种标定方法采用带有两个相互垂直平面的立体标定模板，在模板的每个平面上含有一些几何信息已知的点或矩形等图案，如图5所示，标定过程包括以下步骤：

1)获取模板和光栅图像。将标定模板放在系统前方，启动投影设备，使每一条光栅同时投影在模板的两个垂直平面上，拍摄一幅带有光栅的模板图像；

2)输入图像。将拍摄的图像借助扫描仪或某些专用接口输入计算机；

3)标定投影变换矩阵。通过自动或人机交互方式从输入图像中提取出模板两个平面内的已知信息。选定空间参考坐标系(一般选在模板上)，则这些信息在该参考坐标系下的坐标是已知的，由此可以求出参考坐标系到图像间的投影变换矩阵。

4)计算光栅边缘在模板上对应的直线方程。每一条光栅的边缘在模板的两个垂直平面内对应两条直线，通过自动或人机交互方式从图像中提取出这两条图像直线。通过步骤3)所求出的投影变换矩阵，可求出每一条图像直线反投影到空间所对应的空间平面方程，该方程与对应的模板平面的方程相交于一条直线，由此即可求出该直线在参考坐标系下的方程。

5)标定光栅平面在参考坐标系下的平面方程。由步骤4)求出每一条光栅的每一个边缘在模板的两个不同平面上对应的两条直线的方程，这两条直线在同一个光平面上，因此，由这两条直线的方程即可唯一地确定该光平面在参考坐标系下的平面方程，类似方法可标定出所有光栅平面在参考坐标系下的平面方程。

2.获取物体图像

将物体放在系统前方，启动投影设备将光栅投射在物体上，拍摄一幅带有光栅的物体图像；关闭投影设备，拍摄一幅只带有纹理的物体图像；

3.输入图像

将拍摄的图像借助扫描仪或某些专用接口输入计算机；

4.图像特征提取和聚类

光栅投影在非平面物体上，其边缘不再是直线，而是一些随物体表面曲率而变化的变形曲线。通过自动或人机交互方式从输入图像中提取出投影在物体上的光栅的边缘点并进行聚类，即按照光栅编码策略将属于同一条光栅的边缘点放到同一类中。

5.物体三维模型计算

通过步骤1所标定的照相机投影变换矩阵，可求出由步骤4提取出的每一个边缘点反投影到空间所对应的空间直线方程，再由步骤1所标定的光栅平面方程可知该边缘点所对应的空间光平面方程。这一空间直线方程和光平面方程相交可确定一个唯一的交点，此交点坐标即为物体对应于这一光栅边缘点在参考坐标系下的三维数据。类似的方法可求出物体上所有光栅边缘点在参考坐标系下的三维数据，从而得到物体的三维模型。

6.物体纹理映射

步骤2所获取的带有光栅的物体图像和只带有纹理的物体图像其对应点坐标是完全相同的，对步骤4所提取的物体上的边缘点进行三角分解，将物体表面分解为许多微小的三角面片，便可以将物体的纹理信息映射到步骤5所获取的三维模型上。

7.三维模型数据融合

将物体旋转一定角度，重复步骤2到步骤6，可获得物体不同侧面的三维模型。将各侧面的三维模型数据进行融合，即可获得完整的物体三维模型。

8.物体模型数据转换及加工

步骤5所得到的物体三维模型是一种点云数据，经过一定的数据处理和转换，可以将其存储为IGES、AutoCAD、3DS、STL、OBJ等数据类型，使该模型可以利用许多标准的3D处理软件和工业造型软件(如3D MAX，AutoCAD，Rhino，Pro-Engineering等)进行编辑，并生成各种反向工程和三维雕刻机可以加工的数据。

实施例

图5至图7是本发明方法实施例的结果示意图。首先从物体不同侧面分别拍摄带有光栅的物体图像和只带有纹理的物体图像(如图5所示)；然后按本发明提供的方法分别重建出物体每个侧面的点的模型，并将纹理映射到重建的模型上(如图6所示)；最后，将重建的物体每个侧面的模型进行数据融合，恢复出完整的三维物体模型(如图7所示)。本发明方法对物体重建模型的精度为0.5mm，这是完全可以满足一般物体模型的恢复精度要求的。

Claims (4)

1.一种基于主动视觉的物体三维模型快速获取方法，包括步骤：

1)主动视觉系统标定，使用标定模板标定投影设备所投出的各光栅平面在参考坐标系下的光平面方程以及参考坐标系到照相机的投影变换矩阵；

2)将物体放在系统前方，分别启动和关闭投影设备，拍摄一幅带有光栅的物体图像和一幅只带有纹理的物体图像；

3)将拍摄的图像借助扫描仪或某些专用接口输入计算机；

4)通过自动或人机交互方式从输入图像中提取出投影在物体上的光栅的边缘并进行聚类；

5)将步骤4)提取出的每一个边缘点反投影到所对应的空间光平面上，由此求出物体上所有光栅边缘点在参考坐标系下的三维坐标，从而得到物体的可见表面的三维模型；

6)对步骤4)所提取的物体上的边缘点进行三角分解，从而将带有纹理的物体图像的纹理信息映射到所获取的三维模型上；

7)将物体旋转一定角度，重复步骤2)到步骤6)，可获得物体不同侧面的三维模型，将各侧面的三维模型数据进行融合，即可获得完整的物体三维模型。

2.按权利要求1所述的基于主动视觉的物体三维模型快速获取方法，其特征在于所述的主动视觉系统标定包括步骤：

1)获取模板和光栅图像，将标定模板放在系统前方，启动投影设备，使光栅投影到平面标定模板上，拍摄一幅带有光栅的模板图像，将标定模板向前或向后精确移动一定距离，再拍摄一幅带有光栅的模板图像；

2)输入图像，将拍摄的图像借助扫描仪或某些专用接口输入计算机；

3)标定投影变换矩阵，通过自动或人机交互方式从两幅图像中提取出模板内的已知信息，选定空间参考坐标系(一般选在模板上)，则这些信息在该参考坐标系下的坐标是已知的，由此可以求出参考坐标系到图像间的投影变换矩阵。

4)计算光栅边缘在模板上对应的直线方程，通过自动或人机交互方式从两幅图像中提取出每一条光栅条纹的边缘信息，即所对应的图像直线，通过步骤3)所求出的投影变换矩阵，可求出每一条纹边缘反投影到空间所对应的空间平面方程，该方程与对应的模板平面的方程相交于一条直线，由此即可求出该直线在参考坐标系下的方程；

5)标定光栅平面在参考坐标系下的平面方程，由步骤4)求出每一条光栅的每一个边缘在模板的两个不同位置上对应的两条直线的方程，这两条直线在同一个光平面上，因此，由这两条直线的方程即可唯一地确定该光平面在参考坐标系下的平面方程。

3.按权利要求1所述的基于主动视觉的物体三维模型快速获取方法，其特征在于所述的主动视觉系统标定包括步骤：

1)获取模板和光栅图像，将标定模板放在系统前方，启动投影设备，使每一条光栅同时投影在模板的两个垂直平面上，拍摄一幅带有光栅的模板图像；

2)输入图像，将拍摄的图像借助扫描仪或某些专用接口输入计算机；

3)标定投影变换矩阵，通过自动或人机交互方式从输入图像中提取出模板两个平面内的已知信息。选定空间参考坐标系，则这些信息在该参考坐标系下的坐标是已知的，由此可以求出参考坐标系到图像间的投影变换矩阵；

4)计算光栅边缘在模板上对应的直线方程，每一条光栅的边缘在模板的两个垂直平面内对应两条直线，通过自动或人机交互方式从图像中提取出这两条图像直线。通过步骤3)所求出的投影变换矩阵，可求出每一条图像直线反投影到空间所对应的空间平面方程，该方程与对应的模板平面的方程相交于一条直线，由此即可求出该直线在参考坐标系下的方程；

5)标定光栅平面在参考坐标系下的平面方程，由步骤4)求出每一条光栅的每一个边缘在模板的两个不同平面上对应的两条直线的方程，这两条直线在同一个光平面上，因此，由这两条直线的方程即可唯一地确定该光平面在参考坐标系下的平面方程。

4.按权利要求2或3所述的基于主动视觉的物体三维模型快速获取方法，其特征在于在选定的参考坐标系下对系统整体进行一次性标定，而不需要对投影设备和照相机分别进行标定。

Images