CN104408732B - 一种基于全向结构光的大视场深度测量系统及方法 - Google Patents

一种基于全向结构光的大视场深度测量系统及方法 Download PDF

Info

Publication number
CN104408732B
CN104408732B CN201410753433.4A CN201410753433A CN104408732B CN 104408732 B CN104408732 B CN 104408732B CN 201410753433 A CN201410753433 A CN 201410753433A CN 104408732 B CN104408732 B CN 104408732B
Authority
CN
China
Prior art keywords
light
image
depth
point
projecting apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410753433.4A
Other languages
English (en)
Other versions
CN104408732A (zh
Inventor
贾同
王炳楠
高海红
孟海秀
张�浩
吴景状
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201410753433.4A priority Critical patent/CN104408732B/zh
Publication of CN104408732A publication Critical patent/CN104408732A/zh
Application granted granted Critical
Publication of CN104408732B publication Critical patent/CN104408732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Abstract

一种基于全向结构光的大视场深度测量系统及方法，该系统包括摄像机、双曲面反射镜、至少4个投影仪、三轴移动平台和计算机；投影仪和摄像机均固定放置在三轴移动平台上，且投影仪围绕摄像机均匀分布布置；三轴移动平台可以沿x、y、z三个轴进行移动；投影仪投射的编码结构光照射在被测场景目标物上，经过双曲面反射镜反射后进入摄像机成像；所成图像由计算机进行采集并进行处理获得场景深度信息；采用双曲面镜反射成像，扩大了摄像机的视场范围，与结构光视觉测量相结合，实现了宽视场的视觉三维感知测量；系统结构简单，实用性强，摄像机与投影仪无需精确对准即能完成测量任务；采用平面白板完成摄像机与投影仪标定，操作简单，标定精度较高。

Description

一种基于全向结构光的大视场深度测量系统及方法
技术领域
本发明属于测量技术领域，具体涉及一种基于全向结构光的大视场深度测量系统及方法。
背景技术
立体视觉是机器视觉(robot vision)领域的关键技术，即由同一场景的两幅或多幅观测图像出发获取目标物三维信息的一种方法。立体视觉的目的是根据所测的图像信息，建立被观测景物的三维模型。心理学上的视觉感知使我们得知二维图像本身蕴含着丰富的三维信息，其中最重要的就是深度信息，因此深度感知与测量是立体视觉的研究基础。它主要研究如何利用机器视觉系统模拟、延伸和扩展人的视觉感知能力，使机器人能在视觉系统引导下有效的与周围环境产生作用。
传统的深度测量技术分为被动式和主动式两种。被动式深度测量技术是指视觉系统接受来自场景发射或反射的光能量，然后摄像机捕获图像，在这些图像的基础上恢复场景的深度。而主动式深度测量技术有专门的光源装置，由光源装置向场景发射能量，然后由摄像机捕获图像，根据系统的几何关系恢复场景深度。
被动式深度测量技术中具有代表性的就是双目立体视觉技术，其基本原理就是利用位置不同的两台或者一台摄像机经过移动或旋转拍摄同一副场景，通过计算空间点在两幅图像中的视差，来获得该点的深度信息。双目立体视觉技术理论基础强，方法可靠。但是它需要解决不同摄像机捕获的图像之间像素的匹配难题。
为了解决双目立体视觉技术对应点匹配的难题，结构光技术被提出。结构光技术用一个光源装置代替双目视觉中的一个摄像机。用光源装置向场景中投射已知图案，用摄像机捕获图案，根据系统几何关系和三角测量原理获得待测目标物的深度。结构光技术是一种主动式深度测量技术，由于此技术使用已知图案对空间待测目标物进行标记，因此很好的解决了对应点匹配的难题。同时结构光技术还具有成像系统结构紧凑，深度测量准确的优点。但是当前的结构光技术普遍所获视场较小，一次拍摄只能获得空间中零散的信息，无法对场景有一个全面的感知，限制了此技术的应用和发展。
投影仪为一种常见的光源装置，由于其不是图像捕捉装置，其标定的难点是获取目标特征点的图像坐标。根据获取坐标的方式，投影仪标定方法通常有三类：(1)获得标定物上特征点的世界坐标，运用相位技术求出其图像坐标。这类方法需要多次投射正弦光栅，并且图像坐标的精度依赖于绝对相位展开的精度；(2)同样先测得标定物上特征点的世界坐标，然后将特定的结构光图案投射到标定物上，运用交比不变性换算出投影图案特征点在图像坐标下的坐标。这类方法需要分别将用于相机标定和投影仪标定的图案区分开来，还需要做直线拟合和灰度插值；(3)获得投影图案特征点的图像坐标，利用已标定相机模型的参数，反向投影求解其世界坐标。为了达到将相机标定和投影仪标定的图案区分开来的目的，此类方法通常需要特殊设计的标定板。
发明内容：
针对现有技术中存在的不足，本发明提出一种基于全向结构光的大视场深度测量系统及方法，将全向图和结构光结合起来，既利用全景成像大视场特点，又利用主动视觉优势进行深度信息提取，在获得大视场的同时，还可以获得周围场景的深度信息，进而实现三维重建。
本发明的技术方案是这样实现的：
1.一种基于全向结构光的大视场深度测量系统，该系统包括全景摄像机、结构光投射单元、三轴移动平台和计算机；
所述全景摄像机包括摄像机和双曲面反射镜；所述双曲面反射镜倒立放置在摄像机的正上方；
所述结构光投射单元，包括至少4个投影仪，即第一投影仪、第二投影仪、第三投影仪和第四投影仪；
所述结构光投射单元和摄像机均固定放置在三轴移动平台的台面上，且第一投影仪、第二投影仪、第三投影仪和第四投影仪围绕摄像机均匀分布布置；
所述三轴移动平台可以沿x、y、z三个轴进行移动；
所述第一投影仪、第二投影仪、第三投影仪和第四投影仪投射的编码结构光照射在被测场景目标物表面上，被结构光照射的被测场景目标物的光线经过双曲面反射镜反射后进入摄像机成像；所成图像由计算机进行采集，并由计算机对采集图像进行处理获得场景深度信息。
采用所述的基于全向结构光的大视场深度测量系统进行场景深度测量的方法，实施过程分为标定阶段和测量阶段，进行一次标定即可连续测量，包括如下步骤：
A、标定阶段：
A.1.调整摄像机和双曲面反射镜的相对位置，使二者的轴心在一条直线上，并尽量使得摄像机设置在双曲面反射镜的第二焦点位置上，使全景摄像机具有单视点特性；调整摄像机镜头焦距，保证在双曲面反射镜四周的反射光路方向上距离摄像机50～400cm范围内的目标物所成图像较为清晰；
A.2.标定全景摄像机的参数，具体步骤如下：
A.2.1:在全景摄像机的视场范围内，首先利用格子尺寸为30mm×30mm的7×9的棋盘格标定模板，拍摄一幅1024×768像素的图像；自由移动该棋盘格标定模板7次，每移动一次拍摄一幅1024×768像素的图像，最终通过全景摄像机捕捉到8幅不同位置的该标定模板的图像，这8幅图像都称为全景摄像机的待标定图像；
A.2.2:对全景摄像机的每幅待标定图像进行角点(棋盘格角点)提取；
A.2.3:利用步骤A.2.2所提取的所有角点的图像坐标来标定全景摄像机的内部参数，包括全向图中心坐标u0、v0以及仿射变换参数k1、k2、k3；
A.2.4:根据步骤A.2.3的标定结果，确定被测目标物表面反射到全景摄像机的光线方程；
A.3：对投影仪分别进行标定；
采用至少两个深度已知的参考面对投影仪进行标定，进行一次标定即可连续测量，具体方法如下：
垂直于世界坐标系的X轴，在待标定投影仪正前方设置第一参考面或者第二参考面，参考面的深度应保证结构光投射到摄像机视场范围内且所成图像较为清晰；所述参考面的深度为参考面到摄像机的距离；
假设投影仪的投射光线为Li，被测目标物表面目标点为O，与Li对应的全景摄像机捕捉的被测目标物表面目标点的光线为Lx，对投影仪的标定，就是要计算出射线Li的方程，具体步骤如下：
1).打开投影仪，使待标定投影仪投射出的编码结构光照射到深度为d1的第一参考面上，由全景摄像机捕捉到第一参考面的图像；假设第一参考面上的点r1反射到全景摄像机的反射光线为Lo1，根据全景摄像机的标定结果所得到的图像坐标得到光线Lo1的方向向量为(x1,y1,z1)，又根据Lo1经过双曲面反射镜第一焦点即世界坐标系的原点(0,0,0)，得出Lo1的参数方程为：
其中t为任意非零变量；
由第一参考面的平面方程为x＝d1，可求出r1在世界坐标系下的坐标为
2).使待标定投影仪投射出的编码结构光照射到深度为d2的第二参考面上，由全景摄像机捕捉到第二参考面的图像，利用相应的结构光解码方法，分别计算第一参考面图像与第二参考面图像中各个编码图案的码值，并根据单位位置上编码图案的唯一性原则确定第二参考面图像上与点r1相对应的对应点r2，假设点r2反射到全景摄像机的反射光线为Lo2，根据全景摄像机的标定结果所得到的图像坐标得到与之对应的向量Lo2的方向向量为(x2,y2,z2)，Lo2的参数方程为：
由第二参考面的平面方程x＝d2，可求出r2在世界坐标系下的坐标为
3).根据特征点r1、特征点r2在世界坐标系下的坐标，计算得到投影仪射出的投射光线Li的方程，完成投影仪的标定。
B.测量阶段
B.1:将所述的基于全向结构光的大视场深度测量系统放置在待测场景中，打开前述4个投影仪，向场景内的被测目标物投射编码结构光，全景摄像机拍摄一幅图像，称为待测图像；将结构光编码图案的特征点所覆盖的被测目标物表面位置称为目标点；
B.2:计算被测目标物表面目标点的深度，具体步骤如下：
B.2.1：计算待测图像与结构光编码图案的对应点；
根据所采用的结构光编码图案，利用相应的编解码方法，分别计算待测图像上结构光编码图案的码值与投射的结构光编码图案的码值，并根据单位位置上基元图案的唯一性原则确定待测图像上目标点与投射的结构光编码图案上的对应点；
B.2.2：根据全景摄像机标定结果，确定被测目标物表面目标点o反射到全景摄像机的光线Lx方程；
B.2.3：根据异面直线的判定定理判断投射到被测目标物上的光线Li与对应的全景摄像机捕捉的被测目标物表面目标点o的光线Lx是否共面，是，则计算出这两条直线交点的世界坐标，从而得到被测目标物表面目标点的深度，否，则执行步骤B.2.4；
B.2.4：平移Li使其与Lx相交于点S1；通过点S1建立Li与Lx形成的平面的垂线，该垂线与Li的交点为S2；连接S1与S2得到Li与Lx的公垂线段，计算该公垂线段的中点M的世界坐标，从而得到被测目标物表面目标点的深度；
B.2.5：利用ICP算法进行深度点云匹配，从而获得更大场景中被测目标物的深度信息；
通过控制三轴移动平台的移动方向与移动距离，预先确定出ICP算法的初始旋转矩阵和初始平移向量，从而得到连续拍摄两幅图像的初始对应点集；利用ICP算法的迭代计算得到匹配后的点云信息，从而获得更大场景中被测目标物的深度信息。
有益效果：本发明的基于全向结构光的大视场深度测量系统，具有如下优势：
一、采用双曲面反射镜反射成像，扩大了摄像机的视场范围，与结构光视觉测量相结合，实现了宽视场的视觉三维感知测量；
二、系统结构简单，实用性强，摄像机与投影仪无需精确对准即能完成测量任务；
三、采用平面白板完成摄像机与投影仪的标定，操作简单，标定精度较高。
附图说明
图1为本发明一种实施方式的基于全向结构光的大视场深度测量系统的结构示意图；
图2为本发明一种实施方式的从图像中还原出的一幅结构光编码图案的示意图；
图3为本发明一种实施方式的一幅全景摄像机待标定图像示意图；
图4为本发明一种实施方式的八幅连续拍摄的全景摄像机待标定图像示意图；
图5(a)和(b)均为本发明一种实施方式的基于双参考面的投影仪标定模型图；
图6为本发明一种实施方式的拟全景摄像机拍摄的全向结构光图像示意图；
图7为本发明一种实施方式的沙漏码编码图案中的4个图像基元示意图；
图8为本发明一种实施方式的单视点全景成像折反射模型图；
图9为本发明一种实施方式的异面直线公垂线中点原理图；
图10为本发明一种实施方式的全向三维重建结果示意图；
图11(a)为本发明一种实施方式的目标物结构光图像；(b)为针对(a)的深度点云匹配图；(c)为根据(a)和(b)的深度点云三维重建图。
具体实施方式
下面结合附图对本发明的具体实施做详细说明。
本实施方式的基于全向结构光的大视场深度测量系统，如图1所示，该系统包括全景摄像机1、结构光投射单元、三轴移动平台8和计算机；所述全景摄像机1包括摄像机2和双曲面反射镜3，所述双曲面反射镜3倒立放置在摄像机2的正上方，双曲面反射镜3可以把水平方向360度范围内目标物的光线反射到摄像机，从而使得摄像机在一次拍摄中获得远大于普通摄像机视野范围的图像，即全向图；所述结构光投射单元包括至少四个投影仪，即第一投影仪4、第二投影仪5、第三投影仪6和第四投影仪7；所述四个投影仪和摄像机2均固定放置在三轴移动平台8的台面上，且四个投影仪围绕摄像机2均匀分布布置；三轴移动平台8可以沿x、y、z三个轴移动。四个投影仪分别投射出的编码结构光照射在被测场景目标物表面上，被结构光照射的被测场景目标物的光线经过双曲面反射镜反射后进入摄像机成像，如图11(a)所示的图像，照射在该图像上的结构光编码图案为沙漏码图案。所成图像由计算机进行采集，并由计算机对采集图像进行处理，还原出结构光编码图案，如图2所示，通过计算被测目标物表面结构光编码图案上特征点的三维坐标，获得图像上编码图案特征点所覆盖的被测目标物表面目标点的三维坐标，从而获得场景深度信息，图2上每个沙漏码图案的质心(图2上每个沙漏码图案上的黑点)即为结构光编码图案的特征点。
基于全向结构光的大视场深度测量系统的工作原理为：由摄像机拍摄带有编码结构光的全向图，利用结构光的编解码方法还原出结构光编码图案，根据结构光编解码图案上的特征点信息确定图像上被测目标物目标点的二维坐标，再根据四个投影仪的参数以及全景摄像机坐标系与测量坐标系的关系，计算出图像上目标点的三维坐标，从而获得场景深度信息。
采用图1所示的基于全向结构光的大视场深度测量系统进行场景深度测量的方法，实施过程分为标定阶段和测量阶段，进行一次标定即可连续测量，具体步骤如下：
A、标定阶段：
A.1.调整双曲面反射镜3和摄像机2的相对位置，使得二者的轴心在一条直线上，并确保摄像机2被安装在双曲面反射镜3的第二焦点F2位置上，使全景摄像机具有单视点特性，从而保证清晰成像。调整摄像机镜头焦距，保证在双曲面反射镜四周的反射光路方向上距离摄像机50～400cm范围内的目标物所成图像较为清晰；
A.2：标定全景摄像机的参数，具体步骤如下：
A.2.1:在全景摄像机的视场范围内，首先利用格子尺寸为30mm×30mm的7×9的棋盘格标定模板，拍摄一幅1024×768像素的图像，如图3所示；接下来自由移动该棋盘格标定模板7次，每移动一次拍摄一幅图像，且标定模板在能全部被全景摄像机捕捉到的前提下尽量靠近全景摄像机，最终通过全景摄像机捕捉到8幅不同位置的该标定模板的图像，这8幅图像都称为全景摄像机的待标定图像，如图4所示；
A.2.2:对全景摄像机的每幅待标定图像进行棋盘格角点提取。利用Matlab的标定工具箱提供的自动提取角点的函数，输入棋盘格横向和纵向黑白格子的个数以及每个格子的尺寸大小，即可以自动提取棋盘格的角点。
A.2.3:利用步骤A.2.2所提取的所有棋盘格角点的图像坐标来标定全景摄像机的内部参数，包括全向图中心坐标u0、v0以及仿射变换参数k1、k2、k3，标定方法参见DavideScaramuzza的论文“A Flexible Technique for Accurate Omnidirectional CameraCalibration and Structure from Motion.Proceedings of the Fourth IEEEInternational Conference on Computer Vision Systems [C]，pp.45-55,New York,USA,04-07January,2006”。
A.2.4:根据步骤A.2.3的标定结果，确定被测目标物表面反射到全景摄像机的光线方程；
A.3：标定四个投影仪即第一投影仪4、第二投影仪5、第三投影仪6和第四投影仪7的参数；
本实施方式的投影仪标定中，采用两个深度已知的参考面对投影仪进行标定，用户在实施时也可以采用更多的参考面对投影仪进行标定，本实施方式的参考面采用的是白板，进行一次标定即可连续测量，以第一投影仪4的标定为例，具体步骤如下：
A.3.1:在摄像机的视场范围内，垂直于世界坐标系的X轴，在深度为d1的位置上放置白板，设定为第一参考面，如图5(a)或图5(b)所示，因此，第一参考面距离全景摄像机的距离就是其在世界坐标系下X轴上的坐标。打开第一投影仪4的电源，第一投影仪4投射出编码结构光照射到第一参考面上。由全景摄像机捕捉到第一参考面的图像。假设第一参考面上的特征点r1反射到全景摄像机的反射光线为Lo1，根据全景摄像机的标定结果所得到的第一参考面的图像上特征点r1的坐标相应的得到r1反射到全景摄像机的光线Lo1的方向向量为(x1,y1,z1)，如图5(a)或者图5(b)所示，因为Lo1经过双曲面反射镜第一焦点F1，即世界坐标系原点(0,0,0)，所以Lo1的参数方程为：
Lo1与第一参考面有一个交点r1，第一参考面的平面方程为：x＝d1，可求出r1在世界坐标系下的坐标为：
A.3.2:在第一投影仪4的环境中，在世界坐标系X轴方向上移动白板使其固定在深度为d2的位置上，设定为第二参考面，如图5(a)或者图5(b)所示。此时，第一投影仪4投射出的编码结构光照射到第二参考面上，全景摄像机捕捉到第二参考面的图像。利用相应的结构光解码方法，分别计算第一参考面图像与第二参考面图像中各个编码图案的码值，并根据单位位置上编码图案的唯一性原则确定出r1在第二参考面图像上的对应点r2，根据全景摄像机的标定结果所得到的第二参考面的图像上特征点r2的坐标相应的得到r2反射到全景摄像机的光线Lo2的方向向量为(x2,y2,z2)，所以Lo2的参数方程为：
Lo2与第二参考面有一个交点r2，第二参考面的平面方程为：x＝d2。可求出r2在世界坐标系下的坐标为：
由图5(a)或者图5(b)所示的基于双参考面的投影仪标定模型可知r1点与r2点都在投影仪射出的射线Li上，因此可以计算得到Li的方程为从而完成第一投影仪4的标定。当对待测目标进行测量时，仅需要根据待测场景中目标物的光线Lx方程与两条参考面反射光线Lo1、Lo2的方程联立求解，即可求得深度信息。
A.3.3:按照步骤A.3.1至步骤A.3.2的方法，完成投影仪5、6、7的标定。
B.测量阶段
B.1:将本实施方式的基于全向结构光的深度测量系统放置在待测场景中，打开4个投影仪，同时向场景内的被测目标物投射编码结构光，全景摄像机拍摄一幅图像，称为待测图像，如图6所示；将在被测目标物表面上由结构光编码图案的特征点所覆盖的位置称为目标点；
B.2:计算被测目标物表面目标点的深度，具体步骤如下：
B.2.1：计算待测图像与结构光编码图案的对应点；
根据所采用结构光的编码图案特征，利用相应的编解码方法，分别计算待测图像与结构光编码图案的码值，并根据单位位置上基元图案的唯一性原则确定待测图像与结构光编码图案上的对应点；
如图7所示的采用沙漏状图案作为编码结构光的基元图案，将沙漏状基元图案中两个对顶三角形的顶点交点作为基元图案的特征点；选择多个具有不同方向角的沙漏状基元图案作为编码结构光的图形基元；为每种图形基元配置码字；根据结构光投射范围需求，采用伪随机阵列编码方法，利用不同的图形基元进行组合排列，形成相应规模的图形基元阵列，对应得到编码码字阵列；基于邻域的空间编码策略和编码码字阵列，为图形基元阵列中的每个图形基元确定编码码值；由图形基元阵列构成的结构光将被投射到待测物体上进行深度测量；深度测量时捕捉到待测图像，利用与前述编码方法相对应的解码方法，还原出待测图像上结构光的编码图案，即还原出图形基元阵列(如图2所示)、每个图形基元的编码码值和编码码字阵列。根据每个图形基元的编码码值可以确定出待测图像上目标点与结构光编码图案的对应点。
B.2.2：根据全景摄像机标定结果，确定被测目标物表面目标点o反射到全景摄像机的光线Lx方程；
双曲面反射镜成像具有单视点特性，图像中每个像素与被测目标物表面相应目标点的一条射线Lx对应,如图8所示。F1和F2分别表示双曲面的第一焦点和第二焦点，其中，F1为世界坐标系原点，F2(0,0,-2e)为图像坐标系原点，Oc为投影中心，e＝sqrt(a2+b2)。双曲面反射镜折反射公式如下：
公式(3)中，a和b分别表示双曲面的长轴和短轴。在单视点条件下，来自被测目标物表面目标点P的光线Lx和曲面镜交于点Pm，其坐标为(x，y，z)，并且反射到图像平面上的点为PI，其坐标为(xI，yI)。点PI和Pm相互间的关系可以被表示为：
PI＝K[r,t]Pm (4)
其中K表示摄像机的内部参数，r和t表示摄像机的外部参数。理想情况下，r等于一个单位矩阵I，t＝[0,0,2e]。公式(4)转换为：
其中fx和fy分别表示沿着X轴和Y轴方向的焦距，[u0,v0]表示图像中心的坐标，α表示斜率。利用公式(3)，得到：
Pm＝P*λ(P) (6)
其中，结合公式(5)和(6),点PI和P相互间的关系可以被表示为:
B.2.3：根据异面直线的判定定理判断投射到被测目标物上的光线Li与对应的全景摄像机捕捉的被测目标物表面目标点o的光线Lx是否共面，是，则计算出这两条直线交点的世界坐标，从而得到被测目标物表面目标点的深度，否，则执行步骤B.2.4；
B.2.4：(1)平移Li使其与Lx相交点S1并形成一个平面，如图9所示；
(2)在步骤(1)中得到的平面上的点S1做平面的垂线；
(3)计算步骤(2)得到的垂线与与Li的交点，得到点S2。
(4)连接S1与S2得到Li与Lx的公垂线段S1S2中点M，由于点S1与S2的世界坐标已知，M为线段S1S2的中点，因此可计算出点M的世界坐标，从而得到被测目标物表面目标点的深度；
B.2.5：利用迭代就近点(Iterative Closest Point，ICP)算法进行深度点云匹配,得到点云信息，从而获得更大场景中被测目标物的深度新信息；
在对实际场景测量过程中，为了避免遮挡，获得更大的视场信息，需要通过三轴移动平台8移动全景摄像机和结构光投射单元构成的视觉系统，并采用点云匹配算法以获得更大场景的深度点云信息。基本ICP算法的均方根误差如公式(9)所示。
在视觉系统移动过程中，连续拍摄的两幅深度图像存在重复部分，设在重复部分的对应点对之间的均方根误差为f，Np为两幅深度图像的点集中对应点对的个数，点集坐标分别保存在参考点集向量M＝{mi,i＝0,1,2,…,Np}和目标点集向量Q＝{qi,i＝0,1,2,…，NP}中，R和T分别是对应点对进行匹配的旋转和平移参数；利用公式(9)计算均方根误差f，如小于预设的阈值，则结束，否则，使用ICP算法进行迭代，直至f小于预先设置的阈值。
由于ICP算法在确定初始对应点集上耗费大量时间，如果在采用ICP算法进行匹配之前给出点云的初始位置，就可以大幅度减少寻找初始对应点集的时间。因此，控制本系统的三轴移动平台8的移动方向与移动距离，可以预先确定出ICP算法的初始旋转矩阵R0和平移向量T0，从而得到新的目标点集Q1，如公式(10)所示。
Q1＝Q·R0+T0 (10)
以点集Q1替换Q，计算M与Q1之间的均方根误差f，如小于预设的阈值，则结束，否则，使用ICP算法进行迭代，直至f小于预先设置的阈值。利用此思路可以大幅度减少计算初始对应点集时间，提高ICP算法的效率。
实施例
本实施例的基于全向结构光的场景深度测量系统：采用的摄像机为Sony xcd-x710工业摄像机，采用的双曲面反射镜为28.85mm高、45mm直径的双曲面反射镜，其焦点距离双曲面反射镜最低点的距离是4.67mm；采用的微型投影仪为854×600标准分辩率、1920×1080最高分辨率、320流明亮度、30英寸最小投影尺寸、180英寸最大投影尺寸的微型投影仪、由于微型投影仪的体积小，使得本实施例的基于全向结构光的场景深度测量系统具有较高的可扩展性。本实施例的三轴移动平台通过步进电机控制其三轴位移，可以做水平与垂直方向的精确位移，能够在X、Y、Z方向上实现精确到微米级的移动。
采用7×9棋盘格标定模板，对全景摄像机在对应的世界坐标系下的方程系数进行标定。标定得到全景摄像机的内部参数如表1所示：
表1 全景摄像机的内部参数标定值
内部参数 u0 v0 k1 k2 k3
标定值 403.9409 493.2522 1.000 -1.54x10-4 -1.8988x10-4
采用白板进行投影仪标定，第一参考面深度d1＝510mm，第二参考面深度d2＝660mm。标定得到投影仪的标定结果，即投影仪射出的投射光线Li的方向向量如表2所示：
表2 投影仪的标定结果
投影仪 Li的方向向量
第一投影仪4 (0.9591,0.1716，-0.2282)
第二投影仪5 (-0.9279,0.1337，-0.2062)
第三投影仪6 (-0.9417,-0.1658，-0.2193)
第四投影仪7 (0.9675,-0.2085，-0.2347)
在第一投影仪4的环境下，不同深度平面上进行了图像目标点测量分析，提取16组深度数据进行误差分析如表3所示。由表3可知系统的最大误差是0.5307mm，平均测量误差为0.2526mm。
表3 图像目标点的测量深度与实际深度的比较结果
实际深度 测量深度 测量误差
520 520.1026 0.1026
530 530.1019 0.1019
540 539.8949 0.1051
550 550.1246 0.1246
560 559.8762 0.1238
570 569.8564 0.1436
580 580.1392 0.1392
590 589.8509 0.1491
600 600.1849 0.1849
610 609.7914 0.2086
620 620.2916 0.2916
630 629.6634 0.3366
640 640.3515 0.3515
650 649.658 0.342
660 660.3815 0.3815
670 669.4693 0.5307
将标定完成的投影仪向四个方向投射预先设计的编码结构光，图6为获得的全向结构光图像。全向图重建结果如图10所示。单独方向重建结果分别如图11所示，其中图11(a)为目标物结构光图像，图11(b)为提取的深度点云匹配图，对此目标物的检测，系统分别在X，Y方向进行了移动，图11(c)为运用Delaunay三角剖分方法得到的深度点云三维重建图。

Claims (6)

1.一种基于全向结构光的大视场深度测量的方法，该方法采用基于全向结构光的大视场深度测量系统实现，该系统包括全景摄像机(1)、结构光投射单元、三轴移动平台(8)和计算机；
所述全景摄像机包括摄像机(2)和双曲面反射镜(3)；所述双曲面反射镜(3)倒立放置在摄像机(2)的正上方；
所述结构光投射单元，包括至少4个投影仪，即第一投影仪(4)、第二投影仪(5)、第三投影仪(6)和第四投影仪(7)；
所述结构光投射单元和摄像机(2)均固定放置在三轴移动平台(8)的台面上，且第一投影仪(4)、第二投影仪(5)、第三投影仪(6)和第四投影仪(7)围绕摄像机(2)均匀分布布置；
所述三轴移动平台(8)可以沿x、y、z三个轴进行移动；
所述4个投影仪投射的编码结构光照射在被测场景目标物表面上，被结构光照射的被测场景目标物的光线经过双曲面反射镜(3)反射后进入摄像机(2)成像；所成图像由计算机进行采集，并由计算机对采集图像进行处理获得场景深度信息。
所述双曲面反射镜(3)可以把水平方向360度范围内目标物的光线反射到摄像机(2)，从而使得摄像机(2)在一次拍摄中获得远大于普通摄像机视野范围的图像，即全向图；
该方法实施过程分为标定阶段和测量阶段，进行一次标定即可连续测量，其特征在于：包括如下步骤：
A、标定阶段：
A.1：调整摄像机(2)和双曲面反射镜(3)的相对位置，使二者的轴心在一条直线上，并尽量使得摄像机(2)设置在双曲面反射镜(3)的第二焦点位置上；调整摄像机镜头焦距，保证在双曲面反射镜四周的反射光路方向上距离摄像机50～400cm范围内的目标物所成图像较为清晰；
A.2：标定全景摄像机的参数；
A.3：对投影仪进行标定；
采用至少两个深度已知的参考面对投影仪进行标定，进行一次标定即可连续测量，具体方法如下：
垂直于世界坐标系的X轴，在待标定投影仪正前方已知深度处设置第一参考面或者第二参考面，参考面的深度应保证结构光投射到摄像机视场范围内且所成图像较为清晰；所述参考面的深度为参考面到摄像机的距离；
假设投影仪的投射光线为Li，被测目标物表面目标点为O，与Li对应的全景摄像机捕捉的被测目标物表面目标点的光线为Lx，对投影仪的标定，就是要计算出射线Li的方程，具体步骤如下：
1).打开投影仪，使待标定投影仪投射出的编码结构光照射到深度为d1的第一参考面上，由全景摄像机捕捉到第一参考面的图像；假设第一参考面上的点r1反射到全景摄像机的反射光线为Lo1，根据全景摄像机的标定结果所得到的图像坐标得到光线Lo1的方向向量为(x1，y1，z1)，又根据Lo1经过双曲面反射镜第一焦点即世界坐标系的原点(0，0，0)，得出Lo1的参数方程为：
x = x 1 · t y = y 1 · t z = z 1 · t
其中t为任意非零变量；
由第一参考面的平面方程为x＝d1，可求出r1在世界坐标系下的坐标为
2).使待标定投影仪投射出的编码结构光照射到深度为d2的第二参考面上，由全景摄像机捕捉到第二参考面的图像，利用相应的结构光解码方法，分别计算第一参考面图像与第二参考面图像中各个编码图案的码值，并根据单位位置上编码图案的唯一性原则确定r1在第二参考面图像上的对应点r2，假设点r2反射到全景摄像机的反射光线为Lo2，根据全景摄像机的标定结果所得到的图像坐标得到与之对应的光线Lo2的方向向量为(x2，y2，z2)，Lo2的参数方程为：
x = x 2 · t y = y 2 · t z = z 2 · t
由第二参考面的平面方程x＝d2，可求出r2在世界坐标系下的坐标为
3).根据特征点r1、特征点r2在世界坐标系下的坐标，计算得到投影仪射出的投射光线Li的方程，完成投影仪的标定；
B.测量阶段
B.1：将所述的基于全向结构光的大视场深度测量系统放置在待测场景中，打开4个投影仪(4)、(5)、(6)和(7)，向场景内的被测目标物投射编码结构光，全景摄像机拍摄一幅图像，称为待测图像；将结构光编码图案的特征点所覆盖的被测目标物表面位置称为目标点；
B.2：计算被测目标物表面目标点的深度。
2.根据权利要求1所述的基于全向结构光的大视场深度测量的方法，其特征在于：所述的步骤A.2中标定全景摄像机的参数，包括如下步骤：
A.2.1：在全景摄像机的视场范围内，首先利用格子尺寸为30mm×30mm的7×9的棋盘格标定模板，拍摄一幅1024×768像素的图像；自由移动该棋盘格标定模板7次，每移动一次拍摄一幅1024×768像素的图像，最终通过全景摄像机捕捉到8幅不同位置的该标定模板的图像，这8幅图像都称为全景摄像机的待标定图像；
A.2.2：对全景摄像机的每幅待标定图像进行角点提取；
A.2.3：利用步骤A.2.2所提取的所有角点的图像坐标来标定全景摄像机的内部参数；
A.2.4：根据步骤A.2.3的标定结果，确定被测目标物表面反射到全景摄像机的光线方程。
3.根据权利要求2所述的基于全向结构光的大视场深度测量的方法，其特征在于：所述步骤A.2.3中的全景摄像机的内部参数，包括全向图中心坐标u0、v0以及仿射变换参数k1、k2、k3。
4.根据权利要求1所述的基于全向结构光的大视场深度测量的方法，其特征在于：所述的步骤B.2中计算被测目标物表面目标点的深度的方法为：
B.2.1：计算待测图像与结构光编码图案的对应点；
B.2.2：根据全景摄像机标定结果，确定被测目标物表面目标点o反射到全景摄像机的光线Lx方程；
B.2.3：根据异面直线的判定定理判断投射到被测目标物上的光线Li与对应的全景摄像机捕捉的被测目标物表面目标点o的光线Lx是否共面，是，则计算出这两条直线交点的世界坐标，从而得到被测目标物表面目标点的深度，否，则执行步骤B.2.4；
B.2.4：平移Li使其与Lx相交于点S1；通过点S1建立Li与Lx形成的平面的垂线，该垂线与Li交于点S2；连接S1与S2得到Li与Lx的公垂线段，计算该公垂线段的中点M的世界坐标，从而得到被测目标物表面目标点的深度；
B.2.5：利用ICP算法进行深度点云匹配，从而获得更大场景中被测目标物的深度信息。
5.根据权利要求4所述的基于全向结构光的大视场深度测量的方法，其特征在于：所述的步骤B.2.1中计算待测图像与结构光编码图案的对应点的方法为：
根据所采用结构光的编码图案，利用相应的编解码方法，分别计算待测图像上结构光编码图案的码值与投射的结构光编码图案的码值，并根据单位位置上基元图案的唯一性原则确定待测图像上目标点与结构光编码图案上的对应点。
6.根据权利要求4所述的基于全向结构光的大视场深度测量的方法，其特征在于：所述的步骤B.2.5中利用ICP算法进行深度点云匹配的方法为：通过控制三轴移动平台(8)的移动方向与移动距离，预先确定出ICP算法的初始旋转矩阵和初始平移向量，从而得到连续拍摄两幅图像的初始对应点集；利用ICP算法的迭代计算得到匹配后的点云信息，从而获得更大场景中被测目标物的深度信息。
CN201410753433.4A 2014-12-10 2014-12-10 一种基于全向结构光的大视场深度测量系统及方法 Active CN104408732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410753433.4A CN104408732B (zh) 2014-12-10 2014-12-10 一种基于全向结构光的大视场深度测量系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410753433.4A CN104408732B (zh) 2014-12-10 2014-12-10 一种基于全向结构光的大视场深度测量系统及方法

Publications (2)

Publication Number Publication Date
CN104408732A CN104408732A (zh) 2015-03-11
CN104408732B true CN104408732B (zh) 2017-07-28

Family

ID=52646361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410753433.4A Active CN104408732B (zh) 2014-12-10 2014-12-10 一种基于全向结构光的大视场深度测量系统及方法

Country Status (1)

Country Link
CN (1) CN104408732B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019067109A1 (en) * 2017-09-27 2019-04-04 Facebook Technologies, Llc 3-D DEPTH PROJECTOR 360 DEGREES

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017158240A1 (en) 2016-03-18 2017-09-21 Teknologian Tutkimuskeskus Vtt Oy Method and apparatus for monitoring a position
US10979691B2 (en) * 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
CN106556356A (zh) * 2016-12-07 2017-04-05 西安知象光电科技有限公司 一种多角度三维轮廓测量系统及测量方法
CN108696694B (zh) * 2017-03-31 2023-04-07 钰立微电子股份有限公司 有关深度信息/全景图像的图像装置及其相关图像系统
CN107369172B (zh) * 2017-07-14 2021-07-09 上海肇观电子科技有限公司 一种智能设备和输出深度图像的方法
CN108038898B (zh) * 2017-11-03 2020-06-30 华中科技大学 一种单帧二值结构光编解码方法
US10991112B2 (en) * 2018-01-24 2021-04-27 Qualcomm Incorporated Multiple scale processing for received structured light
CN108594457A (zh) * 2018-04-03 2018-09-28 Oppo广东移动通信有限公司 激光投射器、图像获取装置及电子装置
CN109003308B (zh) * 2018-06-27 2022-03-18 浙江大学 一种基于相位编码的特殊成像范围相机标定系统及方法
CN111630342B (zh) * 2018-08-29 2022-04-15 深圳配天智能技术研究院有限公司 视觉焊接系统的缝隙检测方法以及系统
US10977775B2 (en) 2018-12-07 2021-04-13 Himax Technologies Limited Depth decoding system and method for ground truth image rectification
CN109558012B (zh) * 2018-12-26 2022-05-13 北京七鑫易维信息技术有限公司 一种眼球追踪方法及装置
CN109709661B (zh) * 2019-01-23 2020-06-19 浙江大学 一种基于全景环带投影物镜的柱面结构光投影装置
CN110088563B (zh) * 2019-03-13 2021-03-19 深圳市汇顶科技股份有限公司 图像深度的计算方法、图像处理装置及三维测量系统
CN111830517B (zh) * 2019-04-17 2023-08-01 北京地平线机器人技术研发有限公司 调整激光雷达扫描范围的方法、装置及电子设备
CN110337674B (zh) * 2019-05-28 2023-07-07 深圳市汇顶科技股份有限公司 三维重建方法、装置、设备及存储介质
CN110162098A (zh) * 2019-07-03 2019-08-23 安徽理工大学 一种矿用无人机
CN110316376A (zh) * 2019-07-03 2019-10-11 安徽理工大学 一种用于探测矿井火灾的无人机
CN111127436B (zh) * 2019-12-25 2023-10-20 北京深测科技有限公司 一种用于桥梁的位移检测预警方法
CN111561867A (zh) * 2020-04-15 2020-08-21 成都飞机工业（集团）有限责任公司 一种飞机表面形貌数字化测量方法
JP7272336B2 (ja) * 2020-09-09 2023-05-12 セイコーエプソン株式会社 情報生成方法、情報生成システム、及びプログラム
CN112797956B (zh) * 2020-12-04 2022-08-26 上海理工大学 一种基于计算机视觉的光路反射机构运动测量方法及装置
CN112630469B (zh) * 2020-12-07 2023-04-25 清华大学深圳国际研究生院 一种基于结构光和多光场相机的三维检测方法
CN113188450B (zh) * 2021-04-23 2023-03-14 封泽希 基于结构光的场景深度检测方法及系统
CN113689484B (zh) * 2021-08-25 2022-07-15 北京三快在线科技有限公司 深度信息的确定方法、装置、终端及存储介质
CN114143426B (zh) * 2021-11-19 2023-05-30 复旦大学 一种基于全景结构光的三维重构系统和方法
CN113916156B (zh) * 2021-12-13 2022-06-24 英特维科技(深圳)有限公司 一种高速高精度三维检测系统及方法
CN116067283B (zh) * 2023-04-03 2023-08-04 成都飞机工业（集团）有限责任公司 一种深腔测量方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957552A (zh) * 2010-02-10 2011-01-26 中国人民解放军国防科学技术大学 互补结构折反射全向成像装置及基于其的超分辨率柱面全景空间构建方法
CN102679959A (zh) * 2012-05-03 2012-09-19 浙江工业大学 基于主动全景视觉传感器的全方位三维建模系统
CN102788559A (zh) * 2012-07-19 2012-11-21 北京航空航天大学 一种宽视场结构光视觉测量系统及测量方法
US8493432B2 (en) * 2010-06-29 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Digital refocusing for wide-angle images using axial-cone cameras
CN103528543A (zh) * 2013-11-05 2014-01-22 东南大学 一种光栅投影三维测量中的系统标定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957552A (zh) * 2010-02-10 2011-01-26 中国人民解放军国防科学技术大学 互补结构折反射全向成像装置及基于其的超分辨率柱面全景空间构建方法
US8493432B2 (en) * 2010-06-29 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Digital refocusing for wide-angle images using axial-cone cameras
CN102679959A (zh) * 2012-05-03 2012-09-19 浙江工业大学 基于主动全景视觉传感器的全方位三维建模系统
CN102788559A (zh) * 2012-07-19 2012-11-21 北京航空航天大学 一种宽视场结构光视觉测量系统及测量方法
CN103528543A (zh) * 2013-11-05 2014-01-22 东南大学 一种光栅投影三维测量中的系统标定方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Depth Measurement by Omni-directional Camera;Jia Tong et al.;《Proceedings of the 2013 IEEE International Conference on Cyber Technology in Automation，Control and Intelligent Systems》;20130529;论文第1-2节 *
伪随机编码结构光系统的标定;唐苏明 等;《仪器仪表学报》;20140630;第35卷(第6期);全文 *
基于全景相机与像素偏移的三维深度测量;贾同 等;《Proceeding of the 11th World Congress on Intelligent Control and Automation》;20140704;全文 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019067109A1 (en) * 2017-09-27 2019-04-04 Facebook Technologies, Llc 3-D DEPTH PROJECTOR 360 DEGREES

Also Published As

Publication number Publication date
CN104408732A (zh) 2015-03-11

Similar Documents

Publication Publication Date Title
CN104408732B (zh) 一种基于全向结构光的大视场深度测量系统及方法
JP6426968B2 (ja) 情報処理装置およびその方法
Ding et al. Automatic registration of aerial imagery with untextured 3d lidar models
CN102692214B (zh) 一种狭窄空间双目视觉测量定位装置及方法
CN104574406B (zh) 一种360度全景激光与多个视觉系统间的联合标定方法
Park et al. A multiview 3D modeling system based on stereo vision techniques
CN103414861B (zh) 一种投影仪画面自适应几何矫正的方法
CN108225216A (zh) 结构光系统标定方法及装置、结构光系统及移动设备
CN105069789B (zh) 基于编码网格模板的结构光动态场景深度获取方法
CN102054276B (zh) 物体三维几何重建相机定标方法和系统
CN102750697A (zh) 一种参数标定方法及装置
CN102944191B (zh) 一种基于平面圆靶标的三维视觉测量数据拼接方法及装置
JP2006099188A (ja) 情報処理方法および装置
CN106500596A (zh) 结构光全景测量系统的测量方法
Jia et al. Scene depth perception based on omnidirectional structured light
CN103940370B (zh) 基于周期互质混合编码的目标物体三维信息获取方法
CN106464780B (zh) Xslit相机
Furukawa et al. One-shot entire shape acquisition method using multiple projectors and cameras
CN106500625A (zh) 一种远心立体视觉测量装置及其应用于物体三维形貌微米级精度测量的方法
Yan et al. Joint camera intrinsic and lidar-camera extrinsic calibration
Jiang et al. Combined shape measurement based on locating and tracking of an optical scanner
CN114549660B (zh) 基于圆柱形自识别标记物的多相机标定方法、装置及设备
CN104166995B (zh) 一种基于马步测度的Harris‑SIFT双目视觉定位方法
CN101661625B (zh) 基于一幅标准图像生成各视角下样本图像的方法
Yu et al. An improved projector calibration method for structured-light 3D measurement systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant