CN207281829U - 一种基于光度立体视觉的视觉系统 - Google Patents

Abstract

本实用新型公开了一种基于光度立体视觉的视觉系统，包括：光斑发生器，所述光斑发生器能够投射密集的斑点；至少3个LED，所述至少3个LED的每一个形成一个点光源；两个相机，所述两个相机构成一对立体相机；和控制电路，所述控制电路分别与光斑发生器、至少3个LED和两个相机通信连接，以控制：所述光斑发生器投射密集的斑点；所述至少3个LED相继被点亮，且在同一时间只有一个LED被点亮；所述两个相机被同时触发以采集在光斑发生器照射下的物体表面的图像；和所述两个相机中的一个被触发以采集在LED照射下的物体表面的图像。本实用新型的视觉系统体积小，且有快速测量模式和精确测量模式。

Description

一种基于光度立体视觉的视觉系统

技术领域

本实用新型涉及光学三维测量领域，尤其涉及一种基于光度立体视觉的视觉系统。

背景技术

三维重建技术在三维建模、逆向工程、3D打印、人体测量、人机交互、电影和动画制作等方面具有广泛的应用。基于正弦条纹的系统，具有很高的测量精度，但成本高，因此难以在消费级应用中使用。近年来，廉价的三维成像传感器(如Kinect)使得3D数据获取的成本大大降低，但这些廉价的传感器精度很有限，不能直接得到高精度的三维重建。目前为了提高三维重建的精度，一类方法是对多点观测的三维点云进行加权平均，另一类方法是与其他类型的三维重建方法进行融合，如光度立体视觉方法、从明暗恢复形状的方法等。

其中，经典的光度立体视觉方法利用同一个相机拍摄的3张不同光照条件下的图像，可以计算出被测物体表面的法线方向。光度立体视觉方法能够很好地重建表面的高频细节，但得到的结果容易出现低频的畸变。并且光度立体视觉方法大部分还处于实验室研究阶段，对使用的条件要求非常严格。此外，基于点光源的光度立体视觉系统比基于平行光的立体视觉系统具有更加紧凑的结构，但为了保证法线方向估计的精度，各个点光源之间需要保持着较大的间距，这就使得立体视觉系统的体积较大。有的立体视觉方法假设目标表面具有均匀的反射率，对具有均匀反射率的目标重建效果很好，但不适用于具有多反射率的目标。而在实际应用环境中，具有多反射率的目标是很常见的。并且有些对传感器尺寸很敏感的产品，比如手机，其希望搭载或外挂的3D传感器的尺寸越小越好。

实用新型内容

为了解决以上技术问题，本实用新型提出了一种可以结合光度立体视觉和传统立体视觉的视觉系统，该系统可以有快速测量模式和精确测量模式两种模式，并且，该系统中点光源之间的距离可以很小，这就使得本实用新型的系统体积可以做到很小，从而具备良好的便携性和实用性。

本实用新型解决上述技术问题所采用的技术方案如下：

一种基于光度立体视觉的视觉系统，所述视觉系统包括如下装置：

光斑发生器，所述光斑发生器能够投射密集的斑点；

至少3个LED，所述至少3个LED的每一个形成一个点光源；

两个相机，所述两个相机构成一对立体相机；和

控制电路，所述控制电路分别与光斑发生器、至少3个LED和两个相机通信连接，以控制：所述光斑发生器投射密集的斑点；所述至少3个LED相继被点亮，且在同一时间只有一个LED被点亮；所述两个相机被同时触发以采集在光斑发生器照射下的物体表面的图像；和所述两个相机中的一个被触发以采集在LED照射下的物体表面的图像。

作为本实用新型上述技术方案的可选方案，所述视觉系统还包括封装外壳，光斑发生器和两个相机嵌入在封装外壳的同一表面且光斑发生器位于该表面的中心位置。

作为本实用新型上述技术方案的可选方案，所述两个相机对称地固定在光斑发生器的两侧。

作为本实用新型上述技术方案的可选方案，LED为3个或4个。

作为本实用新型上述技术方案的进一步改进，所述视觉系统还包括与LED数量相同的多个旋转臂，其中多个旋转臂的一端分别固定有一个LED，多个旋转臂的另一端以光斑发生器为中心对称地枢轴连接于封装外壳上。

作为本实用新型上述技术方案的进一步改进，所述多个旋转臂的长度小于封装外壳长轴的一半。

作为本实用新型上述技术方案的进一步改进，所述封装外壳为六面体，且在连接旋转臂的位置处均设置有长条形凹槽。

作为本实用新型上述技术方案的进一步改进，所述视觉系统中的光斑发生器为近红外光斑发生器，和/或两个相机为近红外相机。

作为本实用新型上述技术方案的可选方案，所述视觉系统还包括数据处理单元，所述数据处理单元对两个相机采集的图像进行处理和分析。

本实用新型相对现有技术具有如下有益的技术效果：

在本实用新型的一种基于光度立体视觉的视觉系统中，首先，控制电路可以控制光斑发生器投射密集的斑点，之后控制两个相机被同时触发以采集在光斑发生器照射下的物体表面的斑点图像，从而可以通过对这对斑点图像进行处理以得到被测物体的初始深度像；其次，控制电路可以控制至少3个LED相继被点亮，且在同一时间只有一个LED被点亮，同时控制所述两个相机中的一个被触发以分别采集在单个LED照射下的物体表面的至少三幅图像，从而通过对这至少三幅图像进行处理以得到被测物体表面的法线方向，并通过融合被测物体的初始深度像和法线方向可以得到优化的深度像。也就是说，本实用新型的立体视觉系统可以有两种模式，一种是快速测量模式，即只利用控制电路控制光斑发生器和一对立体相机得到被测物体的初始深度像，另一种是高精度测量模式，即利用控制电路分别控制光斑发生器、一对立体相机和至少三个LED得到被测物体优化后的高精度深度图像。用户可以根据实际需要而任意选择两种模式。

在本实用新型的一种基于光度立体视觉的视觉系统中，视觉系统可以包括与LED数量相同的多个旋转臂，且多个旋转臂的其中一端枢轴连接于封装外壳上，则多个旋转臂可以绕各自的枢轴中心旋转，从而使本实用新型的立体视觉系统在第一种快速测量模式下，多个旋转臂可以尽量贴近本系统使得系统保持更小的体积，而在第二种高精度测量模式下，多个旋转臂可以展开使得LED之间有更大的间距从而得到更好的视觉测量效果。

在本实用新型的一种基于光度立体视觉的视觉系统中，封装外壳上连接旋转臂的位置处均设置有长条形凹槽，这样使得旋转臂旋转贴近视觉系统时可以被容纳在凹槽内，从而使得本实用新型的视觉系统的结构更加紧凑，从外表上看也更加美观。

附图说明

图1为本实用新型一种基于光度立体视觉的视觉系统的另一个实施例的系统具体结构示意图；

图2为上述实施例中系统的旋转臂展开时的具体结构示意图；

图3为本实用新型一种基于光度立体视觉的视觉系统的另一个实施例的系统具体结构示意图；

图4为上述实施例中系统的旋转臂展开时的具体结构示意图。

具体实施方式

以下结合附图对本实用新型的各个实施例作进一步详细地说明。

根据本实用新型的一方面，一种基于光度立体视觉的视觉系统的一个实施例，所述视觉系统可以包括如下装置：

光斑发生器10，所述光斑发生器10能够投射密集的斑点；

至少3个LED，所述至少3个LED的每一个形成一个点光源；

两个相机31、32，所述两个相机31、32构成一对立体相机；和

控制电路，所述控制电路分别与光斑发生器10、至少3个LED和两个相机31、32通信连接，以控制：所述光斑发生器10投射密集的斑点；所述至少3个LED相继被点亮，且在同一时间只有一个LED被点亮；所述两个相机31、32被同时触发以采集在光斑发生器10照射下的物体表面的图像；和所述两个相机31、32中的一个被触发以采集在LED照射下的物体表面的图像。

作为本实用新型上述实施例的优选实施方式，所述视觉系统还包括封装外壳50，光斑发生器10和两个相机31、32嵌入在封装外壳50的同一表面且光斑发生器10位于该表面的中心位置。优选地，所述两个相机31、32对称地固定在光斑发生器10的两侧。当然，根据实际测量需要，两个相机31、32也可以不对称地固定在光斑发生器10的两侧，只要两个相机31、32能够同时拍摄到光斑发生器10照射下的物体表面的图像即可，这样便可以根据立体视觉测量领域中常用的立体视觉匹配方法，例如，极线约束方法，得到被测物体的初始深度像。在封装外壳50的内部，两个相机31、32可以固定安装在刚性的结构上，以保证它们之间的相互位置关系保持不变。

作为本实用新型上述实施例的优选实施方式，控制电路主要包括单片机及其外围电路。

在实施上述实施例的过程中，控制电路可以控制光斑发生器10投射各种类型的密集斑点，该密集斑点的形状可以是圆形、十字架形和其结合，和/或各种类似的密集斑点形状，只要其能够在两个相机31、32所拍摄的图像中被分别精确定位密集斑点的中心位置即可。

作为本实用新型上述实施例的进一步改进，所述视觉系统中的光斑发生器10可以为近红外光斑发生器10，和/或两个相机31、32为近红外相机。在这种情况下，近红外光斑发生器10可以向被测物体的表面投射近红外密集的散乱斑点，这样可以增强被测物体表面的纹理特性，并且，由相机采集的在近红外光斑发生器10投射下的被测物体表面的图像，与在普通可见光投射下的被测物体表面的图像不同，它们之间具有一定的互补特性。在光斑发生器10选择为近红外光斑发生器10的情况下，为了更好的拍摄效果，两个相机31、32也可以选择为近红外相机。更进一步，LED点光源也可以采用近红外LED点光源。

作为本实用新型上述实施例的优选实施方式，所述视觉系统还包括数据处理单元，所述数据处理单元对两个相机31、32采集的图像进行处理和分析，例如，对左右两个相机31、32采集的图像进行立体匹配。优选地，所述数据处理单元为基于现场可编程门阵列FPGA的数据处理单元。所述数据处理单元可以封装在封装外壳50内，也可以是单独的处理器，还可以是结合类似计算机的硬件。

作为上述实施例的一个具体实施方式，本申请的视觉系统可以由两个CMOS相机、一个波长为830nm的近红外光斑发生器10、至少三个中心波长为830nm的近红外LED点光源、控制电路和基于现场可编程门阵列的数据处理单元组成。相机的镜头上安装窄带滤光片，用于过滤环境光。两个相机31、32固定安装在一个刚性的结构上。两个相机31、32、光斑发生器10和LED的工作状态均由控制电路统一控制，控制电路主要包括单片机及其外围电路。数据处理单元对拍摄到的图像进行处理和分析。当然，本申请的视觉系统可以采用任何其它波段的近红外光斑发生器10、任何其它类型的近红外相机以及任何其它波段的近红外LED点光源。优选地，近红外光斑发生器10和近红外LED点光源的波段可以相同。

基于本实用新型的上述视觉系统，可以有两种模式，一种是快速测量模式，即只利用控制电路控制光斑发生器10和一对立体相机得到被测物体的初始深度像，另一种是高精度测量模式，即利用控制电路分别控制光斑发生器10、一对立体相机和至少三个LED得到被测物体优化后的高精度深度图像。用户可以根据实际需要而任意选择两种模式。

根据本实用新型一种基于光度立体视觉的视觉系统的另一个实施例，如图1所示，其在上述实施例的基础上，LED的数量为3个，分别为21、22、和23，并且在包括上述实施例中的基本装置的前提下，本实施例的视觉系统还包括3个旋转臂41、42和43，其中3个旋转臂41、42和43的一端分别固定有一个LED，3个旋转臂41、42和43的另一端以光斑发生器10为中心对称地枢轴连接于封装外壳50上。优选得，所述封装外壳50为六面体。优选地，其中2个旋转臂42、43的枢轴中心设置在封装外壳50面向被测物体那一面的上/下顶点处，另一个旋转臂41的枢轴中心设置在与上述2个旋转臂相对的另一条边的中心位置处。当然，本实施例中的附图标记只是为了起解释说明的作用，3个旋转臂也可以是任意其它类似位置的设置。作为本实施例优选的实施方式，如图2所示，在连接旋转臂41、42和43的位置处均设置有长条形凹槽61、62和63，用于容纳旋转贴近封装外壳50的旋转臂41、42和43，以使得整个视觉系统的结构更加紧凑，外观上也更加美观。更优选地，3个旋转臂的长度小于封装外壳50长轴的一半。这样，3个旋转臂41、42和43可以绕各自的枢轴中心旋转，从而使本实用新型的立体视觉系统在第一种如图1所示的快速测量模式下，3个旋转臂41、42和43可以尽量贴近本系统使得系统出于折叠状态从而保持更小的体积，而在第二种如图2所示高精度测量模式下，3个旋转臂41、42和43可以展开使得LED之间有更大的间距从而得到更好的视觉测量效果。

根据本实用新型一种基于光度立体视觉的视觉系统的另一个实施例，如图3所示，其在上述实施例的基础上，LED的数量为4个，分别为21、22、23和24，并且在包括上述实施例中的基本装置的前提下，本实施例的视觉系统还包括4个旋转臂41、42、43和44，其中4个旋转臂41、42、43和44的一端分别固定有一个LED，4个旋转臂41、42、43和44的另一端以光斑发生器10为中心对称地枢轴连接于封装外壳50上。优选得，所述封装外壳50为六面体。优选地，其中2个旋转臂41、42的枢轴中心设置在封装外壳50面向被测物体那一面的上/下顶点处，另2个旋转臂的枢轴中心设置在与上述2个旋转臂43、44相对的另一条边的顶点位置处。当然，本实施例中的附图标记只是为了起解释说明的作用，3个旋转臂也可以是任意其它类似位置的设置。作为本实施例优选的实施方式，如图4所示，在连接旋转臂41、42、43和44的位置处均设置有长条形凹槽61、62、63和64，用于容纳旋转贴近封装外壳50的旋转臂41、42、43和44，以使得整个视觉系统的结构更加紧凑，外观上也更加美观。更优选地，4个旋转臂41、42、43和44的长度小于封装外壳50长轴的一半。这样，4个旋转臂41、42、43和44可以绕各自的枢轴中心旋转，从而使本实用新型的立体视觉系统在第一种如图3所示的快速测量模式下，4个旋转臂41、42、43和44可以尽量贴近本系统使得系统出于折叠状态从而保持更小的体积，而在第二种如图4所示的高精度测量模式下，如图4所示，4个旋转臂可以展开使得LED之间有更大的间距从而得到更好的视觉测量效果。

值得说明的是，在上述各个实施例中，为了美观，封装外壳50的边角处可以设置为图1-4所示的包角形状。当然，设置成正六面体形状也是可以的。同样，为了美观，长条形凹槽和/或旋转臂的边角处也可以设置为包角形状。各个旋转臂的长度可以为等长，也可以其中两个或两个以上为等长，也可以长度均不相同。

在本实用新型的上述各个实施例中，旋转臂的旋转可以由控制电路控制，或者由其它控制器控制从而自动完成将视觉系统从折叠状态变换为展开状态和/或从展开状态变换为折叠状态。其中，旋转臂展开的角度可以根据实际测量需要人任意设置。

在实际实施本实用新型的上述各个实施例的情况下，本实用新型的视觉系统还可以包括显示器，用于显示相机采集的图像，以及被测物体的深度像。优选地，上述各个实施例的视觉系统还可以包括开关，以转换控制电路、光斑发生器10和相机31、32中的一种或多种的启动或关闭。开关可以集成在封装外壳50上，也可以为单独的开关。

以上是对本实用新型的较佳实施例进行的具体说明，但本实用新型创造并不限于所述实施例，熟悉本领域的技术人员在不违背本实用新型精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.一种基于光度立体视觉的视觉系统，其特征在于，所述视觉系统包括如下装置：

光斑发生器，所述光斑发生器能够投射密集的斑点；

至少3个LED，所述至少3个LED的每一个形成一个点光源；

两个相机，所述两个相机构成一对立体相机；和

控制电路，所述控制电路分别与光斑发生器、至少3个LED和两个相机通信连接，以控制：

所述光斑发生器投射密集的斑点；

所述至少3个LED相继被点亮，且在同一时间只有一个LED被点亮；

所述两个相机被同时触发以采集在光斑发生器照射下的物体表面的图像；和

所述两个相机中的一个被触发以采集在LED照射下的物体表面的图像。

2.根据权利要求1所述的一种基于光度立体视觉的视觉系统，其特征在于，所述视觉系统还包括封装外壳，光斑发生器和两个相机嵌入在封装外壳的同一表面且光斑发生器位于该表面的中心位置。

3.根据权利要求2所述的一种基于光度立体视觉的视觉系统，其特征在于，所述两个相机对称地固定在光斑发生器的两侧。

4.根据权利要求1所述的一种基于光度立体视觉的视觉系统，其特征在于，LED为3个或4个。

5.根据权利要求4所述的一种基于光度立体视觉的视觉系统，其特征在于，所述视觉系统还包括与LED数量相同的多个旋转臂，其中多个旋转臂的一端分别固定有一个LED，多个旋转臂的另一端以光斑发生器为中心对称地枢轴连接于封装外壳上。

6.根据权利要求5所述的一种基于光度立体视觉的视觉系统，其特征在于，所述多个旋转臂的长度小于封装外壳长轴的一半。

7.根据权利要求6所述的一种基于光度立体视觉的视觉系统，其特征在于，所述封装外壳为六面体，且在连接旋转臂的位置处均设置有长条形凹槽。

8.根据权利要求1所述的一种基于光度立体视觉的视觉系统，其特征在于，所述视觉系统中的光斑发生器为近红外光斑发生器，和/或两个相机为近红外相机。

9.根据权利要求1所述的一种基于光度立体视觉的视觉系统，其特征在于，所述视觉系统还包括数据处理单元，所述数据处理单元对两个相机采集的图像进行处理和分析。