CN107945268B

CN107945268B - 一种基于二元面结构光的高精度三维重建方法及系统

Info

Publication number: CN107945268B
Application number: CN201711351719.XA
Authority: CN
Inventors: 徐铭; 卢先鑫; 罗琼; 吉建华; 王可
Original assignee: Shenzhen University
Current assignee: Shenzhen University
Priority date: 2017-12-15
Filing date: 2017-12-15
Publication date: 2019-11-29
Anticipated expiration: 2037-12-15
Also published as: CN107945268A

Abstract

本发明提供了一种基于二元面结构光的高精度三维重建方法及系统，该方法包括：先对CCD高清摄像机及投影仪进行标定；由LED灯发出定向光源，投射至目标物体所在场景，经由CCD高清摄像机获取图像，经过自适应识别模块匹配出与目标物体近似的轮廓；根据自适应识别模块识别的结果进行结构光信息编码，再由投影仪投射面结构光至目标轮廓平面所在的大概位置；CCD高清摄像机获取投影在目标物体的调制图像，将结构光特征点和LED光轮廓获取的梯度信息结合，得到最终的三维图像。本发明的有益效果是：本发明可以提高三维重建系统对环境变化的适应性，目标物体的重建精度和准确度有效提高，而且减少了因环境多目标带来的运算成本增加的问题。

Description

一种基于二元面结构光的高精度三维重建方法及系统

技术领域

本发明涉及三维重建技术领域，尤其涉及一种基于二元面结构光的高精度三维重建方法及系统。

背景技术

三维重建技术处于交叉研究领域，涉及计算机视觉、计算机图形学、图像处理以及模式识别等诸多学科。通过国内外科研人员近几十年的研究，在理论和应用方面都涌现出大量的研究成果。结构光三维重建其发展最初由Rioux等人在80年代发表了多种基于点结构光模式的光点测距仪，它将从被测物体表面采集到的反射光点信息与三角原理相结合，从而获得物体的三维信息。再到由Y Shirai和M Oshima等人提出线结构光测量法，与点结构光测量方法相比速度得到很大的提升。面结构光测量方法，与其他模式相比具有更高的空间分辨率及测量速度。1988年Stockman等人提出一种提取精确三维结构信息的视觉系统。该系统是一种物体表面检测方法，用三维表面条纹的边缘检测与场景进行匹配，提出一种姿态累积法用于累积识别的匹配数据。Albitar等提出一种单色编码图案，该图案包含3个图形元素，它在一定程度上解决了M-阵列方法需要大量的符号及彩色图形对彩色场合不适用等问题。在国内，关丛荣等提出一种基于RGB颜色格雷码的结构光编码方法，该方法将R、B条纹按二进制格雷码方式进行编排，并且在其两者之间用一个像素的G条纹作为分界，提取G条纹中心即可获得条纹的准确位置，最后依据三角法原理实现物体的三维测量。2013年，韩成等人提出了适用于快速搭建三维重建测量系统和准确获取物体三维点云的方法，该方法运用编码图案自身的特点有效的提高了解码的准确率。2015年，唐苏明等人提出了对彩色编码结构光三步解码的方法，该方法在没有预先假设物体颜色和纹理的情况下，解码的准确度仍较高。

代表国际先进水平的有德国Gom公司开发的便携式Atos系列扫描仪，它具有操作简单、测量准确度高、携带方便的特点，应用比较广泛。目前的Atos III Triple Scan扫描仪的测量范围为38x 29–2000x 1500mm²，点间距为0.01-0.61mm,工作距离为490-2000mm。德国的Steinbichler公司开发了Comet系列的扫描设备，设备采用投影光栅和三角法相结合的原理，Comet5系列扫描系统的测量范围：80×80mm至80×800mm，测量距离为420至1700mm，最小点间距为0.04mm，z轴的分辨率为0.001mm，数据采集时间小于1秒。

国内的如北京天远、上海造数等公司也推出了具有自主知识产权的结构光测量系统等。北京天远三维科技有限公司与清华大学相关课题组密切合作，其中推出的OKIO-I型，最高精度可达到0.025mm，单面扫描速度小于5秒，但是扫描范围比较小，仅为200mm×150mm。上海造数推出了3DSS双目系列和3DCC单目系列三维光学扫描仪，结合结构光、相位测量和计算机视觉技术。其中的单目彩色三维扫描仪3DSS_3DCC单次扫描范围为400mm×300mm到500mm×400mm，扫描精度为0.05mm，单次扫描采集时间小于2秒。西安交通大学信息机电研究所研发了XJTUOM

三维光学面扫描系统以及XJTUDP三维光学点测量(工业三维摄影测量)系统等。其单幅测量幅面为200mm至3m,点间距为0.04至0.67mm,测量精度高于0.05mm，测速为3秒至6秒。

目前技术的缺陷：目前的三维测量产品虽然能做到高精度，高效率测量，但都只能单纯的测定某一已知物体，将三维测量扫描仪人工对准后再进行三维测量。当目标场景内有多种干扰物时，在无人为干扰下则不能自主的判断哪个物体为测量目标，会产生测量的不准确和测量的错误。多个物体扫描则存在固有遮挡问题，多角度多时段测量后匹配的精度算法也是三维重建的难题。

发明内容

本发明提供了一种基于二元面结构光的高精度三维重建方法，包括如下步骤：

第一步：先对CCD高清摄像机及投影仪进行标定；

第二步：由LED灯发出定向光源，投射至目标物体所在场景，经由CCD高清摄像机获取图像，经过视觉处理系统的自适应识别模块匹配出与目标物体近似的轮廓，得出待测物所在平面的坐标信息及复杂度信息，对目标物体的位置进行粗略对准；

第三步：根据自适应识别模块识别的结果进行结构光信息编码，使面结构光的编码精度满足目标物体的复杂度，再由投影仪投射面结构光至目标轮廓平面所在的大概位置；

第四步：CCD高清摄像机获取投影在目标物体的调制图像，将通过对图像RGB颜色分量进行分解，分割为不同通道的图像，经过视觉处理系统的三维重建模块利用获取的面结构光图像进行光学三角法测量目标的深度信息，生成三维点云数据和三维网格；

第五步：将结构光特征点和LED光轮廓获取的梯度信息结合，在像素平面中，将邻接的结构光点连线，在连线和梯度信息的交叉处插入新的三维点，新插入三维点的深度信息由细分规则得出；更新插入新三维点云后生成的网格，进行曲面拟合，得到最终的三维图像。

作为本发明的进一步改进，在所述第四步中，G通道为结构光为主的图像，R为目标物体的轮廓平面图像；R通道图像，为CCD摄像机所拍摄的物体的二维平面图形，通过对R通道图像的灰度值区域分割，可以得到视野范围内的各个目标，通过对干扰光线或者微小物体的过滤，得到主要目标区域。

作为本发明的进一步改进，标定方法采用现场标定方法，步骤如下：

第1步：标定照片的获取；

第2步：平面的世界坐标系获取，通过4组标定板照片上的特征点照片，可以获取4组标定板所在平面的世界坐标系；

第3步：平面上各个光点世界坐标的获取，由于标定板所在的平面世界坐标系和光点所在的平面为同一平面，根据各光点在图像上的坐标，可以获得该光点所在的世界坐标系上的空间位置，通过对光点照片的二值化分割、开运算、闭运算后，拟合最小外接圆，求得各个光点在图像坐标系中的光点位置；

第4步：各光点标定参数的获取，令被测物体的世界坐标系为{W}，摄像机坐标系为{C}，结构光坐标系为{P}，光点P_p(U_p，V_p)，照射到被测物上点P_w(X_w，Y_w，Z_w)，P_w在图像平面上成像点位P_c(U_c，V_c)，光平面上的结构光点P_p(U_p，V_p)，和在世界坐标系上的坐标值P_w(X_w，Y_w，Z_w)，可以推出其满足以下关系：

式中:K是非零系数；A_P是光信息编码结构光的内约束参数矩阵,^PR_W与^PT_W分别表示结构光坐标系关于靶标所在世界坐标系之间的旋转矩阵和平移向量。

作为本发明的进一步改进，在所述第1步中，包括如下步骤：

第(1)步：在工作台上，放置任意一平面物件，在物件平面上放置摄像机平面标定板，拍一张照片；

第(2)步：拿走标定板，保持物件平面不动，打开结构光源，拍一张照片；

第(3)步：移动平面物件的姿态和位置，重复第(1)步和第(2)步，共计获取4组照片，其中标定板画面照片4张，结构光画面图片4张。

作为本发明的进一步改进，所述CCD高清摄像机标定的方法包括如下步骤：

A.把标定板放置于视野范围内的各个位置，进行拍照；

B.检测出各个图像中的特征点；

C.根据特征点求出CCD高清摄像机的内参数和外参数；

D.根据内外参数求出畸变系数；

E.最后优化参数，减少运算量，保证校正精度；

标定软件提取每张不同姿态的图片中标定板上特征点的位置，标定完成后，生成标定参数文件，通过标定后，利用标定参数对图像进行校正，使畸变的图像恢复正常。

作为本发明的进一步改进，在所述第二步中，采用特定波长的LED定向光光源，对场景中的物体进行光照投射，根据反射回的光信息，得到场景中的各个物体的轮廓信息，轮廓信息包括形状、面积、目标区域占比、各区域反射光强度、轮廓复杂度；对场景轮廓与目标物体本身轮廓进行对比，通过模式识别与轮廓匹配方法，确定与目标物体相对应的轮廓区域，并确定目标物体与其所在区域的占比面积。

作为本发明的进一步改进，在所述第三步中，通过对目标区域的初步确定及面积大小的判断，视觉处理系统自适应的给出一定波长的面结构光光源进行投影，该结构光的参量依据物件的大体轮廓而定；

采用多参量光信息编码面结构光，为得到较为精确的三维轮廓信息，点云集是{P_i＝(x_i,y_i,z_i,f_i,I_i,△d_i,△N_i,....)}，其中每个i点可以多参量编码的，颜色通道数据f_i＝(R_i,G_i,B_i)，R_i，G_i和B_i，I_i为每个光点的强度，△d_i为光点的间隔数据，△N_i为每单位分割区域的光点的数量。

作为本发明的进一步改进，在所述第四步中，用CCD高清摄像机采集经物体表面调制变形的结构光图像，通过对变形结构光图像的分析，建立投影到物体表面上一点的结构光投影点和其在变形结构光图像中成像点之间的对应关系，然后根据三角测量原理计算出物体表面结构光点出的深度信息，生成点云数据，将点云数据分割成一个一个的参量，采用凸包或凹包算法的多参量三角网格化以及网格渲染，从而达到将CCD高清摄像机中的图像和网格相匹配。

作为本发明的进一步改进，在所述第五步中，包括如下步骤：

a.利用光信息编码以及通道提取和Sobel算子，得到梯度信息；

b.过滤结构光，只留下物体的梯度信息；

c.选择细分规则：由LED定向光确定的物体的轮廓，得到相应的规则约束，从而选择平面细分规则；

d.将结构光点和梯度信息结合，在像素平面中，将邻接的结构光点连线，在连线和梯度信息的交叉处插入新的三维点，新插入三维点的深度信息由细分规则得出。

本发明还提供了一种基于二元面结构光的高精度三维重建系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本发明所述的方法的步骤。

本发明的有益效果是：本发明可以提高三维重建系统对环境变化的适应性，目标物体的重建精度和准确度可以有效提高，而且减少了因环境多目标带来的运算成本增加的问题。

附图说明

图1是本发明的原理图。

具体实施方式

本发明在传统的结构光三维测量基础上，设计了一种基于多参量光信息编码的二元面结构光的高精度三维重建方法。将多参量光信息编码面结构光、定向LED光源组合投影的光模式，称之为二元面结构光。同时采用两种光源，LED光源可以确定目标物体的轮廓平面，光信息编码面结构光确定物体的深度信息。面结构光光点间的间隔将自适应的由轮廓的尺寸决定，从而确定光信息参量进而确定编码结构，实现二元面结构光、单次投射无扫描的三维测量理论技术，精度和准确度有较大的提高。

本发明采用光信息编码面结构光、定向LED光源组合投影。由LED光源确定目标物体的轮廓平面，光信息编码面结构光确定物体的深度信息，将物体的轮廓信息与深度信息有机融合在一起。针对精度和场景不同，完成高精度的匹配算法，实现大动态范围由微纳米级到千米级的场景三维重建，克服了传统测量系统的测量对象复杂度单一的局限性。

本发明的三维重建系统如图1所示，其中视觉处理系统包含：1.光信息编解码模块；2.自标定模块；3.自适应识别模块；4.快速三维重建模块。

本发明基于二元面结构光的高精度三维重建方法，包括如下步骤：

第一步：先对摄像机及投影仪进行标定；

第二步：由LED灯发出定向光源，投射至目标物体所在场景，经由CCD高清摄像机获取图像，经过视觉处理系统的自适应识别模块，匹配出与目标物体近似的轮廓，得出待测物所在平面的坐标信息及复杂度信息，对目标物体的位置进行粗略对准；

第四步：CCD高清摄像机获取投影在目标物体的调制图像，将通过对图像RGB颜色分量进行分解，分割为不同通道的图像，如G通道为结构光为主的图像，R为目标物体的轮廓平面图像。R通道图像，为CCD摄像机所拍摄的物体的二维平面图形，通过对R通道图像的灰度值区域分割，可以得到视野范围内的各个目标，通过对干扰光线或者微小物体的过滤，得到主要目标区域。经过视觉处理系统的三维重建模块利用获取的面结构光图像进行光学三角法测量目标的深度信息，生成三维点云数据和三维网格；

第五步：将结构光特征点和LED光轮廓获取的梯度信息结合，在像素平面中，将邻接的结构光点连线，在连线和梯度信息的交叉处插入新的三维点，新插入三维点的深度信息由细分规则得出。更新插入新三维点云后生成的网格，进行曲面拟合，得到最终的三维图像。通过梯度信息与结构光的结合，得到比传统结构光更高的重建精度。

本发明的标定方法采用现场标定方法，步骤如下：

第1步：标定照片的获取。

1)在工作台上，放置任意一平面物件，在物件平面上放置摄像机平面标定板，拍一张照片；

2)拿走标定板，保持物件平面不动，打开结构光源，拍一张照片；

3)移动平面物件的姿态和位置，重复1)、2)步骤，共计获取4组照片，其中标定板画面照片4张，结构光画面图片4张。

第2步：平面的世界坐标系获取。

通过4组标定板照片上的特征点照片，可以获取4组标定板所在平面的世界坐标系。

第3步：平面上各个光点世界坐标的获取。

由于标定板所在的平面世界坐标系和光点所在的平面为同一平面，根据各光点在图像上的坐标，可以获得该光点所在的世界坐标系上的空间位置。通过对光点照片的二值化分割，开运算、闭运算后，拟合最小外接圆，求得各个光点在图像坐标系中的光点位置。

第4步：各光点标定参数的获取

令被测物体的世界坐标系为{W}，摄像机坐标系为{C}，结构光坐标系为{P}，光点P_p(U_p，V_p)，照射到被测物上点P_w(X_w，Y_w，Z_w)，P_w在图像平面上成像点位P_c(U_c，V_c)。光平面上的结构光点P_p(U_p，V_p)，和在世界坐标系上的坐标值P_w(X_w，Y_w，Z_w)，可以推出其满足以下关系：

式中：K是非零系数；A_P是光信息编码结构光的内约束参数矩阵，^PR_W与^PT_W分别表示结构光坐标系关于靶标所在世界坐标系之间的旋转矩阵和平移向量。即需要通过标定，求得A_P，^PR_W与^PT_W的值，得到光点在光平面和世界坐标系上的转换公式。

根据4组各光点所在的世界坐标系上的位置，代入光点在光平面和世界坐标系上的转换公式(1)，可以求得A_P，^PR_W与^PT_W的值，即得到光点在光平面和世界坐标系上的转换公式。光点间的间隔将和光信息编码高度相关，只有先确定了光信息参量才能确定编码结构，才能自主标定面结构光坐标位置。

CCD高清摄像机标定的方法包括：

使用OpenCV的算法库实现平面标定算法。摄像机标定操作的基本流程如下：

A.把标定板放置于视野范围内的各个位置，进行拍照；

B.检测出各个图像中的特征点；

C.根据特征点求出CCD高清摄像机的内参数和外参数；

D.根据内外参数求出畸变系数；

E.最后优化参数，减少运算量，保证校正精度；

标定板放置时，要求能够覆盖到摄像机的所有视野范围，以便得到最精确的标定参数。标定软件提取每张不同姿态的图片中标定板上特征点的位置。标定完成后，生成标定参数文件，通过标定后，利用标定参数对图像进行校正，使畸变的图像恢复正常。

在所述第二步中，采用特定波长的LED定向光光源，对场景中的物体进行光照投射，根据反射回的光信息，得到场景中的各个物体的轮廓信息，轮廓信息包括形状、面积、目标区域占比、各区域反射光强度、轮廓复杂度；对场景轮廓与目标物体本身轮廓进行对比，通过模式识别与轮廓匹配方法，确定与目标物体相对应的轮廓区域，并确定目标物体与其所在区域的占比面积。

在所述第三步中，通过对目标区域的初步确定及面积大小的判断，视觉处理系统自适应的给出一定波长的面结构光光源进行投影，该结构光的参量如光点间隔依据物件的大体轮廓而定。

大多数面结构光编码主要是采用颜色编码，是基于颜色(波长)分布的编码，通过颜色等级来实施三维重建，编码系统的码参数单一，且不能变化。本发明采用多参量光信息编码面结构光，为得到较为精确的三维轮廓信息，此点云集可以是{P_i＝(x_i,y_i,z_i,f_i,I_i,△d_i,△N_i,....)}，其中每个i点可以多参量编码的，颜色通道数据f_i＝(R_i,G_i,B_i)，R_i，G_i和B_i(红绿蓝)，I_i为每个光点的强度，△d_i为光点的间隔数据，△N_i为每单位分割区域的光点的数量等。在具体应用时，根据目标的特性，以及对三维感知性能的要求，可以自适应地选择不同款式的结构光编码结构。用工业摄像机采集经物体表面调制变形的结构光图像，通过对变形结构光图像的分析，建立投影到物体表面上一点的结构光投影点和其在变形结构光图像中成像点之间的对应关系，然后根据三角测量原理计算出物体表面结构光点出的深度信息，生成点云数据。此三维重建过程，是基于多重参量点云数据的预处理、分割、三角网格化、网格渲染等过程。对点云数据进行一定的预处理，消除伴有杂点或噪声，采用多参量的滤波去噪、数据精简、数据插补等。根据精度，合理的分割，即将整个点云聚类为多个点云，每个点云对应独立的参量。多参量分割算法可大体上先选定一个点，利用kd树计算以该点为中心的球，球内的点都属于该参量，球的半径设为一个阈值，之后遍历该参量的其他点都这么处理。

最终会将点云分割成一个一个的参量。研究采用凸包或凹包算法的多参量三角网格化以及网格渲染，以达到将数码摄像机中的图像和网格相匹配。

在所述第五步中，包括如步骤：

a.利用光信息编码以及通道提取和Sobel算子，得到梯度信息；

b.过滤结构光，只留下物体的梯度信息；

c.选择细分规则：由特殊的LED定向光确定的物体的轮廓，如场景中的物体是方形体或梯形体，得到相应的规则约束，从而可以选择平面细分规则。如果场景中的物体是曲面体，则选择曲面细分规则；

d.将结构光点和梯度信息结合，在像素平面中，将邻接的结构光点连线，在连线和梯度信息的交叉处插入新的三维点，新插入三维点的深度信息由细分规则得出。通过梯度信息的结合，得到比传统结构光更高的重建精度。

本发明具有如下有益效果：

1.使用二元面结构光方法对目标物体的自适应检测，该技术针对精度和场景不同，能完成高精度的匹配算法，实现大动态范围测量，可以提高三维重建系统对环境变化的适应性。

2.对不同目标物体的大小由轮廓信息作出的结构光自适应编码后投影，并有机结合结构光与LED轮廓光信息，目标物体的重建精度和准确度可以有效提高。

3.本发明利用两步识别的方法，轮廓线提取识别的可以在复杂环境中首先提取有用目标，然后进行三维重建，减少了因环境多目标带来的运算成本增加的问题。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种基于二元面结构光的高精度三维重建方法，其特征在于，包括如下步骤：

第一步：先对CCD高清摄像机及投影仪进行标定；

第五步：将结构光特征点和LED光轮廓获取的梯度信息结合，在像素平面中，将邻接的结构光点连线，在连线和梯度信息的交叉处插入新的三维点，新插入三维点的深度信息由细分规则得出；更新插入新三维点云后生成的网格，进行曲面拟合，得到最终的三维图像；

在所述第四步中，G通道为结构光为主的图像，R为目标物体的轮廓平面图像；R通道图像，为CCD摄像机所拍摄的物体的二维平面图形，通过对R通道图像的灰度值区域分割，可以得到视野范围内的各个目标，通过对干扰光线或者微小物体的过滤，得到主要目标区域。

2.根据权利要求1所述的高精度三维重建方法，其特征在于，标定方法采用现场标定方法，步骤如下：

第1步：标定照片的获取；

第4步：各光点标定参数的获取，令被测物体的世界坐标系为{W}，摄像机坐标系为{C}，结构光坐标系为{P}，光点P_p(U_p,V_p)，照射到被测物上点P_w(X_w,Y_w,Z_w)，P_w在图像平面上成像点位P_c(U_c,V_c),光平面上的结构光点P_p(U_p,V_p)，和在世界坐标系上的坐标值P_w(X_w,Y_w,Z_w)，可以推出其满足以下关系：

3.根据权利要求2所述的高精度三维重建方法，其特征在于，在所述第1步中，包括如下步骤：

4.根据权利要求1所述的高精度三维重建方法，其特征在于，所述CCD高清摄像机标定的方法包括如下步骤：

A.把标定板放置于视野范围内的各个位置，进行拍照；

B.检测出各个图像中的特征点；

C.根据特征点求出CCD高清摄像机的内参数和外参数；

D.根据内外参数求出畸变系数；

E.最后优化参数，减少运算量，保证校正精度；

5.根据权利要求1所述的高精度三维重建方法，其特征在于，在所述第二步中，采用特定波长的LED定向光光源，对场景中的物体进行光照投射，根据反射回的光信息，得到场景中的各个物体的轮廓信息，轮廓信息包括形状、面积、目标区域占比、各区域反射光强度、轮廓复杂度；对场景轮廓与目标物体本身轮廓进行对比，通过模式识别与轮廓匹配方法，确定与目标物体相对应的轮廓区域，并确定目标物体与其所在区域的占比面积。

6.根据权利要求1所述的高精度三维重建方法，其特征在于，在所述第三步中，通过对目标区域的初步确定及面积大小的判断，视觉处理系统自适应的给出一定波长的面结构光光源进行投影，该结构光的参量依据物件的大体轮廓而定；

采用多参量光信息编码面结构光，为得到较为精确的三维轮廓信息，点云集是{P_i＝(x_i,y_i,z_i,f_i,I_i,Δd_i,ΔN_i,....)}，其中每个i点可以多参量编码的，颜色通道数据f_i＝(R_i,G_i,B_i)，R_i，G_i和B_i，I_i为每个光点的强度，Δd_i为光点的间隔数据，ΔN_i为每单位分割区域的光点的数量。

7.根据权利要求1所述的高精度三维重建方法，其特征在于，在所述第四步中，用CCD高清摄像机采集经物体表面调制变形的结构光图像，通过对变形结构光图像的分析，建立投影到物体表面上一点的结构光投影点和其在变形结构光图像中成像点之间的对应关系，然后根据三角测量原理计算出物体表面结构光点出的深度信息，生成点云数据，将点云数据分割成一个一个的参量，采用凸包或凹包算法的多参量三角网格化以及网格渲染，从而达到将CCD高清摄像机中的图像和网格相匹配。

8.根据权利要求1所述的高精度三维重建方法，其特征在于，在所述第五步中，包括如下步骤：

a.利用光信息编码以及通道提取和Sobel算子，得到梯度信息；

b.过滤结构光，只留下物体的梯度信息；

9.一种基于二元面结构光的高精度三维重建系统，其特征在于，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求1-8中任一项所述的方法的步骤。