CN105953747B - 结构光投影全视角三维成像系统及方法 - Google Patents

Abstract

本发明公开了结构光投影全视角三维成像系统及方法。本发明结构光投影全视角三维成像系统包括相机、结构光投影装置、旋转台、电机、驱动器、计算机、固定支架，固定支架上安装相机、结构光投影装置，相机、结构光投影装置都与计算机相联接，计算机通过驱动器与电机相联；旋转台呈圆形，圆心处与电机的电机轴垂直固定连接；旋转台之上用于放置待测物体。本发明能实现高分辨率测量物体表面轮廓特征，能对物体进行全自动全视角三维轮廓测量，测量系统结构简单、维护方便，不仅适用于一般工作场景和需求，还适用于快速高精度的场合。

Description

结构光投影全视角三维成像系统及方法

技术领域

本发明属于结构光法的非接触式全视角三维测量技术领域，具体涉及一种利用旋转法提高分辨率的结构光投影全视角三维成像系统及方法。

背景技术

随着近年来经济建设等各方面的快速发展，工业生产、逆向工程、虚拟现实等各个领域对三维轮廓测量的需求逐渐增加，结构光光学成像方法以其非接触式、测量速度快等优点而受到广泛关注。结构光投影三维成像方法的原理是利用面阵结构光投影装置向待测物体表面投影结构光栅，由于物体表面高度变化导致光栅条纹发生弯曲，这种变化可以解释为幅值和相位都被调制的载波信号，利用计算机进行傅里叶分析和处理，解析出待测物体的表面轮廓信息。

目前所研制出的结构光投影三维成像设备大多都是只对某一特定视角的成像，无法获得待测物体的全视角三维信息，而且测量精度容易受到工业相机分辨率以及待测物体与测量装置间距离的影响，导致无法真实地还原物体全部表面的轮廓信息。

发明内容

基于上述现有技术存在的缺陷，本发明公开了一种利用旋转法提高分辨率的结构光投影全视角三维成像系统及方法。

本发明通过研究新的技术实现方法，搭建一套基于旋转法的结构光投影全视角三维成像系统，利用定位精度高的电控旋转台和工业相机实现旋转运动和图像采集协同控制，通过旋转固定角度间隔采集一幅图像，结合所设计的三维重构算法计算出当前视场下待测物体表面轮廓高度信息，根据旋转角度实现不同区域投影结果的全视角拼接三维重构；利用高精度电控旋转台使待测物体旋转一个微小角度，重复上述重构过程，使得所测得的三维点云数据在第一次采集的点云数据中实现插值，提高测量分辨率。

为达到上述目的，本发明采取如下技术方案实现：结构光投影全视角三维成像系统，包括相机、结构光投影装置、旋转台、电机、驱动器、计算机、固定支架，固定支架上安装相机、结构光投影装置，相机、结构光投影装置都与计算机相联接，计算机通过驱动器与电机相联；旋转台呈圆形，圆心处与电机的电机轴垂直固定连接；旋转台之上用于放置待测物体。

所述结构光投影全视角三维成像系统，结构光投影装置选用投影出光栅图案的数字投影仪或投影灯。

所述结构光投影全视角三维成像系统，旋转台的最小旋转角度与待测物体表面到旋转轴中心距离的乘积小于当前相机放大倍数与相元大小的乘积。

所述结构光投影全视角三维成像系统，利用相机采集图像并将图像信息送入计算机；相机采集图像：通过控制旋转台按一定规律旋转，利用相机采集不同旋转角度下待测物体表面的变形光栅图案，待测物体旋转一周即完成一组图像采集，控制电机转动一角度后，再重复上述过程采集另一组图像并送入计算机处理。

所述结构光投影全视角三维成像系统，计算机利用傅里叶变换轮廓术得到相位差分布，再根据光学三角法得到的高度-相位映射关系即能得出待测物体相对于参考平面的高度信息。

所述结构光投影全视角三维成像系统，利用傅里叶变换轮廓术提取参考平面条纹和变形条纹的基频信息并进行傅里叶逆变换，得到待测物体高度分布所对应的相位信息；通过相位解包裹算法处理得到连续相位分布，并根据高度-相位映射关系实现各个图像所在区域的表面轮廓重建；

光学三角法求取高度-相位映射关系是根据光学三角法原理是指通过几何推导的方法求取物体真实高度与被物体表面高度调制而形成的相位差之间的关系，通过推倒求得物体高度与相位的映射关系为

其中，l是相机光心到参考平面的距离，d是相机光心和投影装置透镜中心的距离，T是光栅的周期，Δφ(x,y)是变形条纹与参考条纹之间的相位差，当通过标定求出相机内外参数后，求出Δφ(x,y)能得到待测物体的深度信息。

所述结构光投影全视角三维成像系统，通过相机标定，将所得高度信息转化到世界坐标系下点云坐标；标定是通过相机标定求取相机内、外参数及畸变参数，实现像素坐标系到世界坐标系的转化，通过旋转轴标定实现世界坐标系到物体坐标系的转化；相机的标定采用标准圆点标定板，且将标定板放置于与相机光轴垂直的平面上，根据相机像平面与标定平面的单应性及建立起图像坐标系与世界坐标系之间的关系，而待测物体的深度信息由傅里叶变换轮廓术求得；因旋转轴与参考平面平行，则建立起以旋转轴为竖轴的物体坐标系与世界坐标系之间只需一个平移矩阵即可完成转化。

所述结构光投影全视角三维成像系统，利用电机控制旋转台带动待测物体旋转固定角度，得到不同角度下的点云结果，再根据回转角度进行拼接即能得到物体的全视角三维轮廓信息。

所述结构光投影全视角三维成像系统，单视场下表面轮廓重建将由傅里叶变换轮廓术得到的相位分布结果代入三角法原理得到的高度-相位映射关系即能得到当前视场下各个像素点所对应的高度信息，通过相机标定结果将像素坐标下的结果转化为世界坐标系下的点云数据信息；

不同角度点云数据拼接是将得到各个角度的单视场下的表面轮廓重建结果通过平移、旋转还原到物体坐标系下的点云数据即可完成全视角点云拼接，而当将世界坐标系下坐标平移到Z轴与物体坐标系下Z重合时，转换关系为

其中，[X_o,Y_o,Z_o]^T是物体坐标系下坐标，[X_w,Y_w,Z_w]^T是世界坐标系，T₀是平移矩阵，θ是旋转角度；

通过将不同角度的点云进行拼接即能得到全视角三维点云数据；

点云插值是由于受相机分辨率和物体相对位置的影响导致单个像素点的灰度值是由物体表面某块较大的范围通过能量积分填充；通过对旋转角度的控制，实现多次采集并将所得点云数据结合旋转角度插值到首次采集的点云数据；

三维重建是将最终得到的三维点云数据借助三维视觉库重建被测物体的三维结构。

本发明还公开了一种基于上述结构光投影全视角三维成像系统的成像方法，其按如下步骤进行：

步骤1：启动计算机，将标定板放置于参考平面上，对相机进行自动标定，标定完成后，移走标定板，将旋转轴标定物放置于旋转平台上，待标定完成后移走标定物；

步骤2：打开结构光投影装置，向参考平面投影条纹，用相机完成未变形条纹采集；

步骤3：将待测物体放置于旋转平台上，控制待测物体旋转并按一定角度采集该角度下变形条纹图像；待采集完一周后，控制待测物体旋转一个微小角度θ后，按本步骤重复全视角采集过程；

步骤4：根据步骤3采集到的变形条纹图像、各个视角的旋转角度和步骤2采集到的参考平面条纹利用傅里叶变换轮廓术、三角法原理计算得出待测物体的点云数据，转化到物体坐标系下的点云坐标即可完成重建。

本发明利用结构光法的主动式光学三角法的非接触式三维测量技术方案，运用计算机视觉、数字图像处理、自动化控制等技术，标定后即可完成全自动测量。

本发明能实现高分辨率测量物体表面轮廓特征，能对物体进行全自动全视角三维轮廓测量，测量系统结构简单、维护方便，不仅适用于一般工作场景和需求，还适用于快速高精度的场合。

附图说明

图1是本发明结构光投影全视角三维成像系统的一种优选实施例结构图。

图2是光学三角法的原理图。

图3是傅里叶变换轮廓术处理流程图。

图4是旋转原理图。

图5是插值原理图。

具体实施方式

为了更好地理解本发明的技术方案，以下将结合优选实施例作进一步的描述。这些实施例仅用于说明本发明和解释本发明，而不用于限定本发明。

如图1所示，本发明利用旋转法提高分辨率的结构光投影全视角三维成像系统，包括工业相机1、结构光投影装置2、标定板、高精度旋转台(电控旋转台)6、步进电机5、细分驱动器4、计算机3、运动控制卡、电源和固定支架等，固定支架上安装工业相机1和结构光投影装置2，工业相机1与结构光投影装置2按一定间距布设，两者的光轴在同一平面上且二者光心连线与参考平面平行。

工业相机1、结构光投影装置2、运动控制卡都与计算机3相联接，计算机3与驱动器4相联，驱动器4与步进电机5相联。

旋转台6呈圆形，其下部圆心处与步进电机5的电机轴垂直固定连接。高精度旋转台6设置于与参考平面垂直的平面上，且其旋转轴与工业相机1和结构光投影装置2的光轴处于同一平面上。旋转台6之上放置待测物体7。

标定板设置于与工业相机光轴垂直的平面上。

电源为工业相机、光栅投影装置、计算机、电机等提供电力。

光栅投影装置与工业相机按光学三角法采用斜入射正接收的方式安装，利用光栅投影装置2向待测物体7表面投影一定频率光栅图案，驱动器4驱动电机5运行，电机5控制旋转台6带动待测物体7旋转，利用工业相机1对待测物体的各个区域进行图像采集，送计算机3保存处理。

本实施例中，结构光投影装置是一个高分辨率的设备，可以是光栅投影装置，如投影出光栅图案的数字投影仪或投影灯。光栅图案是一种面阵结构光。

本实施例中，高精度旋转台的最小旋转角度与待测物表面到旋转轴中心距离的乘积小于当前相机放大倍数与相元大小的乘积。

本发明利用旋转法提高分辨率结构光投影全视角三维成像方法，利用结构光投影装置2向待测物体表面7投影结构光栅，利用工业相机1采集参考平面条纹图像和被物体高度调制变形的条纹图像送计算机3，利用傅里叶变换轮廓术得到相位差分布，再根据光学三角法得到的高度-相位映射关系即可得出物体相对于参考平面的高度信息。通过工业相机标定技术，将所得高度信息转化到世界坐标系下点云坐标；利用步进电机5控制旋转台6带动物体旋转固定角度，得到不同角度下的点云结果，再根据回转角度进行拼接即可得到物体的全视角三维轮廓信息。该方法主要包括图像采集、系统标定、光学三角法求取高度-相位映射关系、傅里叶变换轮廓术求取相位差、单视场下表面轮廓重建、不同角度点云数据拼接、点云插值、三维重建，内容具体如下：

图像采集是指通过控制旋转平台按照一定规律旋转，利用工业相机采集不同旋转角度下物体表面的变形光栅图案，待物体旋转一周即完成一组图像采集，控制步进电机转动一个微小角度后，再重复上述过程采集一组图像并送计算机处理。

系统标定是指通过工业相机标定求取工业相机内、外参数及畸变参数，实现像素坐标系到世界坐标系的转化，通过旋转轴标定实现世界坐标系到物体坐标系的转化。工业相机的标定采用标准圆点标定板，且将标定板放置于与工业相机光轴垂直的平面上，根据工业相机像平面与标定平面的单应性及建立起图像坐标系与世界坐标系之间的关系，而物体的深度信息由傅里叶变换轮廓术求得。因旋转轴与参考平面平行，则建立起的以旋转轴为竖轴的物体坐标系与世界坐标系之间只需一个平移矩阵即可完成转化。

利用旋转法通过每次旋转θ角度，总共采集360°/θ次实现全视角变形图案采集。

在获得全视角变形图案的基础上利用控制旋转台相比上次全视角图案采集的初始角度旋转一个α小角度，采集物体表面变形光栅图案，其中，α满足α<＝βμ/r。采集一圈后第i个单视角的旋转角度为i*θ，(0≤i≤n)，采集第二圈的第i个单视场旋转角度为i*θ+α，(0≤i≤n)，根据旋转角度完成第一圈、第二圈的点云数据拼接，通过这种方法实现了在第一圈点云数据的基础上进行插值。

分辨率的提高可通过多次改变初始角度，初始角度与全视角采集图案的个数t之间的关系满足t*α。

光学三角法求取高度-相位映射关系是指根据光学三角法原理是指通过几何推导的方法求取物体真实高度与被物体表面高度调制而形成的相位差之间的关系，如图2所示，通过推倒求得物体高度与相位的映射关系为

其中，l是相机光心到参考平面的距离，d是相机光心和投影装置透镜中心的距离，T是光栅的周期，Δφ(x,y)是变形条纹与参考条纹之间的相位差，当通过标定求出工业相机内外参数后，只需要求出Δφ(x,y)就可得到物体的深度信息。

傅里叶变换轮廓术求取相位差是指通过对采集到的参考平面条纹图像与变形条纹图像进行傅里叶分析和处理，其处理流程如图3所示。

利用傅里叶变换技术提取参考平面条纹和变形条纹的基频信息并进行傅里叶逆变换，得到待测物体高度分布所对应的相位信息。通过相位解包裹算法处理得到连续相位分布，并根据高度-相位映射关系实现各个图像所在区域的表面轮廓重建。

单视场下表面轮廓重建是指将由傅里叶变换轮廓术得到的相位分布结果代入三角法原理得到的高度-相位映射关系即可得到当前视场下各个像素点所对应的高度信息，通过工业相机标定结果将像素坐标下下的结果转化为世界坐标系下的点云数据信息。

不同角度点云数据拼接是指将得到各个角度的单视场下的表面轮廓重建结果通过平移、旋转还原到物体坐标系下的点云数据即可完成全视角点云拼接，而当将世界坐标系下坐标平移到Z轴与物体坐标系下Z重合时，其旋转原理如图4所示：

则其转换关系为

其中，[X_o,Y_o,Z_o]^T是物体坐标系下坐标，[X_w,Y_w,Z_w]^T是世界坐标系，T₀是平移矩阵，θ是旋转角度。

通过将不同角度的点云进行拼接即可得到全视角三维点云数据。

点云插值是指由于受相机分辨率和物体相对位置的影响导致单个像素点的灰度值是由物体表面某块较大的范围通过能量积分填充。如图5所示，根据透视投影，当物体表面细节变化明显时，那么重建后该区域内的细节将无法呈现。因此，本发明通过将待测物体转动微小角度θ使得对物体表面的采样点更多。一个像素(如像素1)可以成像圆盘上两个格子的内容(2、3)，则像素1上的灰度值将由格子2、3的表面的能量积分，因此，当格子2、3内表面存在丰富的高度变化细节时将无法较好的呈现，而当对待测物体旋转θ角度后，其将增加一个采样点。基于此原理可以通过对旋转角度的控制，实现多次采集并将所得点云数据结合旋转角度插值到首次采集的点云数据。

三维重建是指将最终得到的三维点云数据借助OpenGL、OpenCV等三维视觉库重建被测物体的三维结构。

本发明利用旋转法提高分辨率的结构光投影全视角三维成像系统的工作原理如下：本发明利用结构光投影装置向待测物体表面投影结构光栅，工业相机和电控旋转台协同控制间隔一定角度采集一帧变形光栅条纹，利用傅里叶变换轮廓术和光学三角法原理计算出物体各个角度下的三维轮廓信息，根据旋转角度实现不同角度的点云拼接。利用电控旋转台控制待测物实现微小偏移，重复全视角三维点云数据采集过程，计算此次微小偏移量并转化为坐标的偏移，将两次采集到的点云数据进行融合，即完成了插值操作，该操作使分辨率增大了一倍。

本发明利用旋转法提高分辨率的结构光投影全视角三维成像系统的工作流程如下：

步骤1：启动计算机中控制软件，将标定板放置于参考平面上，对相机进行自动标定，标定完成后，拿走标定板，将旋转轴标定物放置于旋转平台上，待标定完成后拿走标定物。

步骤2：打开结构光投影装置，向参考平面投影条纹，用相机完成未变形条纹采集。

步骤3：将待测物体放置于旋转平台上，控制待测物体旋转并按一定角度采集该角度下变形条纹图像。待采集完一周后，控制待测物体旋转一个微小角度θ后，按本步骤重复全视角采集过程。

步骤4：根据步骤3采集到的变形条纹图像、各个视角的旋转角度和步骤2采集到的参考平面条纹利用傅里叶变换轮廓术、三角法原理计算得出待测物体的点云数据，转化到物体坐标系下的点云坐标即可完成重建。

该方法的实现过程如下：首先利用采用结构光投影装置向参考平面投影一定频率的等间距光栅条纹，采集一张参考平面的条纹图像；然后再利用采用结构光投影装置向待测物体表面投影一定频率的等间距光栅条纹，定位精度为0.1°的电控旋转台带动待测物体旋转，计算机通过对运动控制卡和工业相机融合开发的应用程序实现图像采集和旋转运动的协同控制，每运动θ角度采集一帧变形条纹图像，则采集n＝360°/θ(n为正整数)张图像，记为第一组图像。控制电控旋转台旋转α角度，其中α满足αr<＝βμ且α大于旋转台最小定位精度,r为物体表面距离旋转轴心的距离，β为图像放大倍数，μ表示相机像素点尺寸大小，再令工业相机和电控旋转台每旋转θ角度采集一张变形条纹图像，采集n张图像作为第二组。

利用傅里叶变换技术提取参考平面条纹和上述两组变形条纹的基频信息并进行傅里叶逆变换，得到待测物体高度分布所对应的相位信息。通过相位解包裹算法处理得到连续相位分布，并根据高度-相位映射关系实现各个图像所在区域的表面轮廓重建。第一组的各个视角的旋转角度为i*θ，(0≤i≤n)，第二组的旋转角度为i*θ+α，(0≤i≤n)，根据旋转角度完成第一组、第二组的点云数据拼接，通过这样的方法实现了在第一组点云数据的基础上进行插值。

应当明确，利用条件αr<＝βμ使得在第一组图像数据的基础上完成多组插值的情况也属于本发明保护范围。

Claims (9)

1.结构光投影全视角三维成像系统，其特征是：包括相机、结构光投影装置、旋转台、电机、驱动器、计算机、固定支架，固定支架上安装相机、结构光投影装置，相机、结构光投影装置都与计算机相联接，计算机通过驱动器与电机相联；旋转台呈圆形，圆心处与电机的电机轴垂直固定连接；旋转台之上用于放置待测物体；

利用相机采集图像并将图像信息送入计算机；相机采集图像：通过控制旋转台按一定规律旋转，利用相机采集不同旋转角度下待测物体表面的变形光栅图案，待测物体旋转一周即完成一组图像采集，控制电机转动一角度α后，再重复上述过程采集另一组图像并送入计算机处理；其中，转动角度α满足α<＝βμ/r，r为物体表面距离旋转轴心的距离，β为图像放大倍数，μ表示相机像素点尺寸大小。

2.如权利要求1所述结构光投影全视角三维成像系统，其特征是：所述的结构光投影装置选用投影出光栅图案的数字投影仪或投影灯。

3.如权利要求1所述结构光投影全视角三维成像系统，其特征是：所述旋转台的最小旋转角度与待测物体表面到旋转轴中心距离的乘积小于当前相机放大倍数与相元大小的乘积。

4.如权利要求1所述结构光投影全视角三维成像系统，其特征是：计算机利用傅里叶变换轮廓术得到相位差分布，再根据光学三角法得到的高度-相位映射关系即能得出待测物体相对于参考平面的高度信息。

5.如权利要求4所述结构光投影全视角三维成像系统，其特征是：利用傅里叶变换轮廓术提取参考平面条纹和变形条纹的基频信息并进行傅里叶逆变换，得到待测物体高度分布所对应的相位信息；通过相位解包裹算法处理得到连续相位分布，并根据高度相位映射关系实现各个图像所在区域的表面轮廓重建；

光学三角法求取高度-相位映射关系是根据光学三角法原理是指通过几何推导的方法求取物体真实高度与被物体表面高度调制而形成的相位差之间的关系，通过推倒求得物体高度与相位的映射关系为：

其中，l是相机光心到参考平面的距离，d是相机光心和投影装置透镜中心的距离，T是光栅的周期，Δφ(x,y)是变形条纹与参考条纹之间的相位差，当通过标定求出相机内外参数后，求出Δφ(x,y)能得到待测物体的深度信息。

6.如权利要求5所述结构光投影全视角三维成像系统，其特征是：通过相机标定，将所得高度信息转化到世界坐标系下点云坐标；标定是通过相机标定求取相机内、外参数及畸变参数，实现像素坐标系到世界坐标系的转化，通过旋转轴标定实现世界坐标系到物体坐标系的转化；相机的标定采用标准圆点标定板，且将标定板放置于与相机光轴垂直的平面上，根据相机像平面与标定平面的单应性及建立起图像坐标系与世界坐标系之间的关系，而待测物体的深度信息由傅里叶变换轮廓术求得；因旋转轴与参考平面平行，则建立起以旋转轴为竖轴的物体坐标系与世界坐标系之间只需一个平移矩阵即可完成转化。

7.如权利要求6所述结构光投影全视角三维成像系统，其特征是：利用电机控制旋转台带动待测物体旋转固定角度，得到不同角度下的点云结果，再根据回转角度进行拼接即能得到物体的全视角三维轮廓信息。

8.如权利要求7所述结构光投影全视角三维成像系统，其特征是：单视场下表面轮廓重建将由傅里叶变换轮廓术得到的相位分布结果代入三角法原理得到的高度相位映射关系即能得到当前视场下各个像素点所对应的高度信息，通过相机标定结果将像素坐标下的结果转化为世界坐标系下的点云数据信息；

不同角度点云数据拼接是将得到各个角度的单视场下的表面轮廓重建结果通过平移、旋转还原到物体坐标系下的点云数据即可完成全视角点云拼接，而当将世界坐标系下坐标平移到Z轴与物体坐标系下Z重合时，转换关系为

其中，[X₀ Y₀ Z₀]^T，是物体坐标系下坐标，[X_w Y_w Z_w]^T是世界坐标系，T₀是平移矩阵，θ是旋转角度；

通过将不同角度的点云进行拼接即能得到全视角三维点云数据；

点云插值是由于受相机分辨率和物体相对位置的影响导致单个像素点的灰度值是由物体表面某块较大的范围通过能量积分填充；通过对旋转角度的控制，实现多次采集并将所得点云数据结合旋转角度插值到首次采集的点云数据；

三维重建是将最终得到的三维点云数据借助三维视觉库重建被测物体的三维结构。

9.基于权利要求1-8任一项所述结构光投影全视角三维成像系统的成像方法，其按如下步骤进行：

步骤1：启动计算机，将标定板放置于参考平面上，对相机进行自动标定，标定完成后，移走标定板，将旋转轴标定物放置于旋转平台上，待标定完成后移走标定物；

步骤2：打开结构光投影装置，向参考平面投影条纹，用相机完成未变形条纹采集；

步骤3：将待测物体放置于旋转平台上，控制待测物体旋转并按一定角度采集该角度下变形条纹图像；待采集完一周后，控制待测物体旋转一个微小角度θ后，按本步骤重复全视角采集过程；

步骤4：根据步骤3采集到的变形条纹图像、各个视角的旋转角度和步骤2采集到的参考平面条纹利用傅里叶变换轮廓术、三角法原理计算得出待测物体的点云数据，转化到物体坐标系下的点云坐标即可完成重建。