CN214039921U - 基于差分投影的立体视觉三维检测装置 - Google Patents

Abstract

本实用新型为一种基于差分投影的立体视觉三维检测装置，属于光学测量技术领域。本实用新型装置包括投影模块、拍摄模块和微处理器，投影模块用于投射随机图案或编码结构光图案；拍摄模块用于拍摄被测样品表面；微处理器用于控制各模块的运行与数据处理。本实用新型首次将差分投影与立体视觉装置进行结合，具有测量速度快，测量精度高，可用于复杂光照和纹理背景条件下测量等优点，可用于复杂环境下的三维形貌测量。

Description

基于差分投影的立体视觉三维检测装置

技术领域

本实用新型属于光学测量技术领域，特别涉及可用于复杂光照和纹理背景条件下物体表面三维形貌的高精度测量，具体是一种基于差分投影的立体视觉三维检测装置。

背景技术

三维检测技术作为一项重要的检测手段，被广泛应用于工业检测、物流分类、虚拟现实、智能机器人等领域。相对于传统的二维图像检测，三维检测技术增加了深度信息，能够直观反映出物体在三维空间中的位置与姿态，极大地提高了物体检测的能力。随着信息技术的发展，仪器自动化水平的提高，迫切需要测量速度快、测量精度高并且能够在复杂环境下工作的三维形貌检测装置。

随着计算机视觉的发展与微处理器性能的提升，基于立体视觉的三维形貌检测装置由于其非接触、速度快、精度高等优势得到了越来越多的应用。基于立体视觉的三维形貌检测装置按照原理主要分为基于飞行时间技术的三维形貌检测装置、基于被动立体视觉技术的三维形貌检测装置和基于主动立体视觉技术的三维形貌检测装置。其中，基于飞行时间技术三维形貌检测装置的帧率高、测量范围大，但是近距离精度受限，且空间分辨率较低；基于被动立体视觉技术的三维形貌检测装置的系统简单，但是测量精度较低，且容易受到物体表面纹理和环境光照影响；基于主动立体视觉技术的三维形貌检测装置增加了投影系统，能够克服被测物体缺少纹理、拍摄环境光照不足等问题，但是在深度信息的提取上仍然容易受到复杂纹理背景、变化光照条件等影响。

综上可以发现，对于三维形貌测量，目前现有的基于立体视觉的三维检测装置无法同时满足测量精度高、测量速度快和能够在复杂环境下工作这几个特点。但在实际情况中，通常要求对待测样品表面做出快速且高精度的形貌检测，被测环境通常存在其他光源干扰，被测样品的表面可能存在复杂纹理。因此，上述这些基于立体视觉的三维形貌检测装置在实际生产应用中都存在一定限制，如何更大程度地拓展基于立体视觉技术三维形貌检测装置的适用范围仍是目前亟待解决的重要问题。

发明内容

为解决上述问题，本实用新型提出了一种基于差分投影的立体视觉三维检测装置，利用被测表面被投影前后拍摄得到的图像数据的差值，排除了背景和被测样品本身纹理的影响，解决了测量环境存在光源干扰、被测样品存在复杂纹理等不良因素导致无法完成立体匹配的问题，最终实现在复杂环境下的三维检测。

本实用新型是通过如下技术方案实现的：

一种基于差分投影的立体视觉三维检测装置，包括投影模块、拍摄模块以及微处理器；

所述投影模块包括图像显示器和投影镜头，图像显示器上产生投影图案，投影镜头将投影图案投射到被测样品表面；

所述拍摄模块包括成像镜头和图像传感器，成像镜头接受来自被测样品表面的光，并将其成像到图像传感器上，由图像传感器拍摄图像；

所述微处理器控制所述投影模块和所述拍摄模块正常工作，对来自所述拍摄模块的图像数据进行差分处理和三维解算，并输出被测样品表面的三维形貌数据。

上述检测装置中，投影模块由投影仪外壳、投影镜头和图像显示器组成，图像显示器固定于投影仪外壳内，投影镜头通过镜头尾端的螺纹与投影仪外壳连接。拍摄模块由相机外壳、成像镜头和图像传感器组成，成像镜头通过镜头尾端的螺纹与相机外壳连接，图像传感器固定于相机外壳中。投影模块、拍摄模块与微处理器通过数据线相互连接。

进一步地，所述投影模块的图像显示器为DLP、液晶显示器、激光显示器和静态图片显示器中的一种。

进一步地，所述投影模块的图像显示器产生的投影图案为随机图案和编码结构光图案中的一种。

进一步地，投影模块和拍摄模块的数量都为一个。通过匹配投影模块和拍摄模块上的对应点来对被测样品进行三维检测，装置集成度更高，成本更低。

进一步地，投影模块的数量为一个，拍摄模块的数量为两个或两个以上。通过匹配拍摄模块之间的对应点来对被测样品进行三维检测，从而扩大检测范围，减小三维检测的盲区。

本实用新型检测装置首次将差分投影与立体视觉装置进行结合，具有测量速度快，测量精度高，可用于复杂光照和纹理背景条件下测量等优点，可用于复杂环境下的三维形貌测量。与现有技术相比，本实用新型具有如下有益效果：

1）通过差分投影技术，可以有效的避免环境光源干扰和被测样品表面纹理干扰，从而适用于具有复杂纹理的样品表面三维检测，能够在复杂环境下进行工作，并具备更高的立体匹配的效率与精度；

2）根据检测需求，可以采用匹配投影模块上的像素与拍摄模块上的像素的对应关系获取被测样品的三维形貌数据，该方案只需要一个投影模块和一个拍摄模块，系统集成度更高、成本更低；

3）根据被测样品的形貌特点和检测需求，可以选择随机图案投影三维检测装置或编码结构光三维检测装置，来获得更好的三维形貌测量效果；

4）本实用新型为非接触式测量，无需对表面进行任何处理，可直接对被测样品表面进行三维形貌测量，不会对被测样品表面造成损伤。

附图说明

此处的附图用来提供对本实用新型的进一步说明，构成本申请的一部分，本实用新型的示意性实施例及其说明用来解释本实用新型，并不构成对本实用新型的不当限定。

图1为实施例1、2中本实用新型检测装置的结构示意图。

图2为实施例1中主动式随机图案投影三维检测实施示意图。

图3为实施例2中主动式编码结构光投影三维检测实施示意图。

图4为实施例3、4中本实用新型检测装置的结构示意图。

图5为实施例3中主动式随机图案投影三维检测实施示意图。

图6为实施例4主动式编码结构光投影三维检测实施示意图。

图中：1-一号拍摄模块、2-二号拍摄模块、3-投影模块、4-支撑架、5-圆柱形被测样品、6-随机图案、7-编码结构光图案、8-微处理器。

具体实施方式

为了使本领域技术人员更好的理解本实用新型，以下结合参考附图并结合实施例对本实用新型作进一步清楚、完整的说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本实用新型装置是将差分投影和立体视觉三维检测技术相结合，其基本思想是：首先使用拍摄模块分别采集被测样品表面被投影前后的图像数据并对其作差分处理，得到差分图像数据；然后利用立体匹配算法，建立差分图像之间的视差关系；最后基于三角测量原理，结合标定得到的光学系统内外参数，得到被测样品的三维形貌数据。

实施例1

本实施例提供的一种基于差分投影的立体视觉三维检测装置，装置图如图1所示，实施示意图如图2所示，本实施例检测装置是基于随机图案投影的检测装置，包括：一号拍摄模块1、二号拍摄模块2、投影模块3、支撑架4、微处理器8，投影模块3安装于支撑架4的中部，一号拍摄模块1、二号拍摄模块2安装于支撑架4的两侧；其中，投影模块3可投射随机图案6到被测样品表面，被测样品为圆柱形被测样品5；

本实施例检测装置的具体测量步骤如下：

(a) 首先对一号拍摄模块1和二号拍摄模块2进行标定，具体的步骤是：将圆柱形被测样品5换为标定板，通过标定板定义世界坐标系；在标定过程中，由一号拍摄模块1和二号拍摄模块2同时拍摄标定板，每拍摄完成一组图像，随机改变标定板的位置与角度，再次由一号拍摄模块1和二号拍摄模块2同时拍摄标定板，重复十五次，得到十五组标定板图像数据；利用相机标定算法处理这十五组标定板图像数据解得一号拍摄模块1的内参矩阵为[4699.6, 0, 1232.5; 0, 4699.6, 943.6; 0, 0, 1]，畸变参数为[-0.0667, -0.1157, -0.0008, 0.0005]，二号拍摄模块2的内参矩阵为[4691.2, 0, 1181.8; 0, 4692.6,995.8; 0, 0, 1]，畸变参数为[-0.0716, 0.0287, 0.0015, 0.0002, 0.0000]，一号拍摄模块1和二号拍摄模块2的相对位姿旋转矩阵为[0.970, -0.020, 0.241; 0.021, 1.000,-0.002; -0.241, 0.007, 0.970]，相对位姿平移矩阵为[-12.20, -0.17, 1.60]。

(b) 其次获取差分图像数据，具体的步骤是：换上圆柱形被测样品5，由微处理器8控制一号拍摄模块1和二号拍摄模块2，拍摄圆柱形被测样品5表面，得到图像数据I ₁ ⁽ⁱ⁾(x,y)，其中x、y是拍摄模块中的像素坐标，i是拍摄模块编号，i =1或2，并将I ₁ ⁽ⁱ⁾(x, y)传输给微处理器8；由微处理器8控制投影模块3，向圆柱形被测样品5表面投射随机图案6，通过一号拍摄模块1和二号拍摄模块2拍摄随机投影图案6与圆柱形被测样品5表面相互作用后的结果，得到图像数据I ₂ ⁽ⁱ⁾(x, y)并传输给微处理器8；微处理器8对图像数据做差分处理，得到差分图像I _diff ⁽ⁱ⁾(x, y) = I ₂ ⁽ⁱ⁾(x, y) - I ₁ ⁽ⁱ⁾(x, y)。

(c) 最后进行立体匹配和三维检测，具体步骤为：首先建立能量函数描述I _diff ⁽¹⁾(x, y)和I _diff ⁽²⁾(x, y)的像素匹配关系；然后在立体匹配的约束条件下，微处理器8通过寻找能量函数的最小值计算得到I _diff ⁽¹⁾(x, y)和I _diff ⁽²⁾(x, y)的视差关系；最后基于三角测距原理，微处理器8利用一号拍摄模块1坐标系和世界坐标系的转换关系、二号拍摄模块2坐标系和世界坐标系的转换关系、一号拍摄模块1和二号拍摄模块2之间的相对位姿关系、一号拍摄模块1和二号拍摄模块2的镜头参数，解算出圆柱形被测样品5的三维形貌数据。

实施例2

与实施例1不同的是，本实施例的投影模块3向被测样品表面投射编码结构光图案7。装置图如图1所示，实施示意图如图3所示，编码结构光图案7可以选择颜色编码图案、空间编码图案和时间编码图案，对于颜色编码，微处理器8通过寻找I _diff ⁽¹⁾(x, y)和I _diff ⁽²⁾(x,y)之间相同的颜色确定I _diff ⁽¹⁾(x, y)和I _diff ⁽²⁾(x, y)之间的视差关系；对于空间编码，微处理器8通过寻找I _diff ⁽¹⁾(x, y)和I _diff ⁽²⁾(x, y)之间相同的编码区块确定I _diff ⁽¹⁾(x, y)和I _diff ⁽²⁾(x, y)之间的视差关系；对于时间编码，微处理器8通过寻找相同的编码序列确定I _diff ⁽¹⁾(x, y)和I _diff ⁽²⁾(x, y)之间的视差关系。在获得I _diff ⁽¹⁾(x, y)和I _diff ⁽²⁾(x, y)之间的视差关系之后，基于三角测距原理，微处理器8利用一号拍摄模块1坐标系和世界坐标系的转换关系、二号拍摄模块2坐标系和世界坐标系的转换关系、一号拍摄模块1和二号拍摄模块2之间的相对位姿关系、一号拍摄模块1和二号拍摄模块2的镜头参数，解算出圆柱形被测样品5的三维形貌数据。

与实施例1相比，本实施例的编码结构光可以通过采用颜色编码方式、空间编码方式和时间编码方式等编码方式满足不同测量速度，不同测量精度的测量需求。

实施例3

与实施例1不同的是，本实施例提供的一种基于差分投影的立体视觉三维检测装置，装置图如图4所示，实施示意图如图5所示，本实施例检测装置是基于随机图案投影的检测装置，包括：一号拍摄模块1，投影模块3、支撑架4、微处理器8，投影模块3安装于支撑架4的中部，一号拍摄模块1安装于支撑架4的一侧；其中，投影模块3可投射随机图案6到被测样品表面，被测样品为圆柱形被测样品5。

本实施例检测装置与实施例1检测装置相比，减小了检测装置的体积并降低了成本，其具体操作步骤如下：

(a) 首先对一号拍摄模块1进行标定，具体步骤为：将圆柱形被测样品5换为标定板，通过标定板定义世界坐标系；在标定过程中，由一号拍摄模块1拍摄标定板，每拍摄完成一组图像，随机改变标定板的位置与角度，然后再由一号拍摄模块拍摄标定板，重复十五次，得到十五张标定板图像数据；利用相机标定算法处理这十五张标定板图像数据解得一号拍摄模块1的内参矩阵为[4699.6, 0, 1232.5; 0, 4699.6, 943.6; 0, 0, 1]，畸变参数为[-0.0667, -0.1157, -0.0008, 0.0005]。

(b) 其次标定投影模块3，具体步骤为：利用投影模块3投射标定图案到平面上，由已经标定完成的一号拍摄模块1拍摄投影模块3所投射的标定图案，利用一号拍摄模块1的内外参数解算出平面上的标定图案的空间坐标，然后根据一号拍摄模块1拍摄得到的标定图案特征点与投影模块3的图像显示器中的标定图案特征点的对应关系，解算出投影模块3的内参矩阵为[4690.3, 0, 1932.5; 0, 4689.8, 1171.5; 0, 0, 1]，畸变参数为[-0.2062, 0.3230, -0.0004, 0.0005]，一号拍摄模块1与投影模块3的相对位姿旋转矩阵为[1.031, -0.018, 0.256; 0.012, 0.978, -0.001; -0.313, 0.005, 1.040]，相对位姿平移矩阵为[-11.43, -0.26, 2.60]。

(c) 然后获取差分图像数据，具体步骤为：换上圆柱形被测样品5，由微处理器8控制一号拍摄模块1拍摄圆柱形被测样品5表面，得到图像数据I ₁ (x, y)，其中x、y是一号拍摄模块1中的像素坐标，并将I ₁ (x, y)传输给微处理器8；由微处理器8控制投影模块3，向圆柱形被测样品5表面投射随机图案6，此时投影模块3的图像显示器中的图像数据记为I _proj(x _p , y _p )，其中x _p 、y _p 是投影模块3中的像素坐标；通过一号拍摄模块1拍摄投影图案与圆柱形被测样品5表面相互作用后的结果，得到图像数据I ₂ (x, y)并传输给微处理器8。微处理器8对图像数据做差分处理，得到差分图像I _diff(x, y) = I ₂ (x, y) - I ₁ (x, y)。

(d) 最后进行立体匹配和三维重建，具体步骤为：首先建立能量函数描述I _diff(x,y)与I _proj(x _p , y _p )的像素匹配关系；然后在立体匹配的约束条件下，微处理器8通过寻找能量函数的最小值计算得到I _diff(x, y)与I _proj(x _p , y _p )的视差关系；最后基于三角测距原理，微处理器8利用投影模块3坐标系和世界坐标系的转换关系、一号拍摄模块1坐标系和世界坐标系的转换关系、投影模块3和一号拍摄模块1的相对位姿关系、投影模块3和一号拍摄模块1的镜头参数，解算出圆柱形被测样品5的三维形貌数据。

实施例4

与实施例1不同的是，本实施例检测装置是基于编码结构光投影的检测装置，包括：一号拍摄模块1，投影模块3、支撑架4、微处理器8，投影模块3安装于支撑架4的中部，一号拍摄模块1安装于支撑架4的一侧；其中，投影模块3可投射编码结构光7到被测样品表面，被测样品为圆柱形被测样品5；检测装置图如图4所示，实施示意图如图6所示。

与实施例1相比，本实施例的编码结构光可以通过采用颜色编码方式、空间编码方式和时间编码方式等编码方式满足不同测量速度，不同测量精度的测量需求。与实施例2相比，本实施例的系统更加集成化，成本更低。

实施例5

与实施例1不同的是，本实施例检测装置采用一个投影模块3和五个拍摄模块，通过对五个拍摄模块的差分图像数据之间的立体匹配，或五个拍摄模块的差分图像数据与投影模块3中图像显示器的图像数据的立体匹配，可以获得更大的三维测量范围，提高测量准确度，消除视场遮挡等环境干扰。

以上结合附图对本实用新型的具体实施方式作了说明，但这些实用新型不能被理解为限制了本实用新的适用范围，本实用新的保护范围由随附的权利要求书限定，任何在本实用新权利要求基础上的改动都是本实用新的保护范围。

Claims (5)

1.一种基于差分投影的立体视觉三维检测装置，其特征在于：包括投影模块、拍摄模块以及微处理器；

所述投影模块包括图像显示器和投影镜头，图像显示器上产生投影图案，投影镜头将投影图案投射到被测样品表面；

所述拍摄模块包括成像镜头和图像传感器，成像镜头接受来自被测样品表面的光，并将其成像到图像传感器上，由图像传感器拍摄图像；

所述微处理器控制所述投影模块和所述拍摄模块正常工作，对来自所述拍摄模块的图像数据进行差分处理和三维解算，并输出被测样品表面的三维形貌数据。

2.根据权利要求1所述的基于差分投影的立体视觉三维检测装置，其特征在于：所述投影模块的图像显示器为DLP、液晶显示器、激光显示器和静态图片显示器中的一种。

3.根据权利要求1所述的基于差分投影的立体视觉三维检测装置，其特征在于：所述投影模块的图像显示器产生的投影图案为随机图案和编码结构光图案中的一种。

4.根据权利要求1-3任一所述的基于差分投影的立体视觉三维检测装置，其特征在于：投影模块和拍摄模块的数量都为一个。

5.根据权利要求1-3任一所述的基于差分投影的立体视觉三维检测装置，其特征在于：投影模块的数量为一个，拍摄模块的数量为两个或两个以上。

Images