CN206740128U - 大视角3d视觉系统 - Google Patents

Abstract

本实用新型提出一种3D视觉系统，包括：固定支架；至少2个深度获取单元，用于独立或同步地获取目标深度图像；所述至少2个深度获取单元以圆弧形式分布在所述固定支架上。本实用新型采用多个深度获取单元以圆弧形式分布来扩大视场角，相对于已有方案中的单个深度相机，本实用新型具有更大的视场角，结合融合单元可以实现更大视角和更高空间分辨率的深度图像采集；相对于已有方案中的激光雷达而言，本实用新型具有明显的成本以及空间分辨率优势。

Description

大视角3D视觉系统

技术领域

本实用新型涉及光学及电子技术领域，尤其涉及一种大视角3D视觉系统。

背景技术

获取目标的深度信息有助于智能设备实现对目标更好的认识和理解，人类通过双眼来感知目标的深度以此实现精确的抓取、躲避，因而对于一些智能化设备，例如机器人，通过配备3D相机来获取3D感知能力，进一步可以实现3D扫描、场景建模、手势交互、SLAM、导航等任务。因此，在未来3D视觉将会逐渐成为智能设备必不可少的部分。

然而目前的3D相机在性能与成本之间往往难以达到较好的平衡，比如成本较低的KINECT等3D相机可用作智能设备的3D视觉系统，然而由于其视场角有限，因此在很多应用中也受到很大的限制，比如难以快速对场景建模、或者由于视野内特征点较小使得数据融合时带来较大的误差；还有一视场角大的3D视觉系统，比如激光雷达，然而一方面成本高，另一方面获取的场景深度信息的分辨率非常有限，难以用来执行更加繁杂的任务，比如体感交互、避障等。

发明内容

本实用新型的目的是为了解决现有技术中的3D视觉系统不能同时具有大的视场角和高的分辨率的问题，提出一种大视角3D视觉系统。

本实用新型的大视角3D视觉系统，包括：固定支架；至少2个深度获取单元，用于独立或同步地获取目标深度图像；所述至少2深度获取单元以圆弧形式分布在所述固定支架上。

优选地，当单个所述深度获取单元的视场角、相邻所述深度获取单元的光心的基线间距和所述深度获取单元的最小测量范围值确定时，所述深度获取单元中的相邻深度获取单元的组合视场角为一固定值，所述固定值为所述3D视觉系统在测量范围内没有盲区的情形下能够实现的最大组合视场角。

与现有技术相比，本实用新型的有益效果有：

本实用新型采用多个深度获取单元以圆弧形式分布来扩大视场角，相对于已有方案中的单个深度相机，本实用新型具有更大的视场角，结合融合单元可以实现更大视角和更高空间分辨率的深度图像采集；相对于已有方案中的激光雷达而言，本实用新型具有明显的成本以及空间分辨率优势。

进一步地，在定义了所述深度获取单元的最小测量范围值h和相邻深度获取单元光心的基线间距b的前提下，通过合理地设置深度获取单元的位置，可以保证在测量范围内没有盲区的情形下实现最大的组合视场。

附图说明

图1是本实用新型一个实施例的3D视觉系统结构示意图。

图2是本实用新型一个实施例的3D视觉系统的几何结构图。

图3是本实用新型一个实施例的3D视觉系统结构示意图。

图4是本实用新型一个实施例的3D视觉系统结构示意图。

图5是本实用新型一个实施例的3D视觉系统结构示意图。

图6是本实用新型一个实施例的3D视觉系统结构示意图。

具体实施方式

下面结合具体实施方式并对照附图对本实用新型做进一步详细说明。其中相同的附图标记表示相同的部件，除非另外特别说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本实用新型的范围及其应用。

3D视觉系统(如深度相机、激光雷达)用于获取目标空间中的深度信息，比如激光雷达可以获取目标空间中某一水平面上360度的深度信息，这种深度信息尽管是一维的，空间分辨率较低，但拥有360度的大视角；又如利用深度相机可以获取目标空间中水平及垂直FOV分别为60度及40度的深度信息，这种深度信息是二维的，拥有非常高的空间分辨率，但每个方向上的视场角都较小。在许多应用中，往往要求3D视觉系统即拥有某一方向上的大视角，也要求有非常高的空间分辨率。本实用新型提出一种大视角(视场、FOV)的3D视觉系统，通过将多个深度相机进行合理的布置，或者通过多个深度获取单元组成一个整体的深度相机来实现大视角、高空间分辨率的深度测量，在一种实施方式中，在其中一个方向上的FOV可以达到180度。以下将通过图1～图6来详细地说明本实用新型的原理。

图1是根据本实用新型的一个实施例的3D视觉系统的示意图。3D视觉系统101包括固定支架111、深度获取单元102、103、控制单元104以及其他单元105、106。固定支架111用于固定深度获取单元102及103，本实施例中固定支架为圆环形形状，主要是便于深度获取单元102及103按圆弧形式进行排列及固定，在其他实施例中也可以为其他任何形状。固定支架111一般为硬性材质起到支撑作用，比如PCB、金属，也可以为金属等材料，除了起到支撑作用外还可以用来散热。在一种实施例中采用铜，即可以直到支撑固定作用也可以起到很好的散热作用。

在本实施例中有两个深度获取单元102及103，并按照圆弧形式排列在固定支架111上，其视场朝向面向圆弧的外侧。深度获取单元102、103可以是基于结构光技术、TOF技术或者双目视觉技术的深度相机组成，优选地，深度获取单元102与103为同一类型且具有相同性能的深度获取单元，但原则上可以采用任何形式、任意搭配的深度获取单元组合。在其他实施例中，也可以有更多深度获取单元，可参见图3。

深度获取单元102、103与固定支架111的连接根据深度获取单元及固定支架的种类有多种形式。在一种实施例中，深度获取单元102、103为独立的深度相机，固定支架仅起到固定作用，此时深度获取单元通过焊接、胶接、螺栓等连接方式按照指定的位置及方位固定到固定支架111上；在另一种实施例中，为提高整体3D视觉系统的集成度，在一个光电支架上集成了多个深度获取单元的内部组件，这里的光电支架即是固定支架111，此时固定支架也可以由PCB构成，还可以提供电路接连；在又一实施例中，固定支架111为半导体基底，通过半导体工艺将多个深度获取单元制作到半导体基底上，这种方式可以进一步减小3D视觉系统的体积与功耗，以提高集成度。

上面所说的“圆弧形式”主要指的是深度获取单元的视场叠加形式，在下面的说明中将以某一方向上的视场叠加为例，对于其他任何方向上的叠加情形均适用于本实用新型。由于深度获取单元的视场在一个方向上一般可以近似看成是扇形(整体的形状近似为锥形)，对于深度获取单元102而言，由扇形连线107与108组成的中间扇形区域即为其视场，视场角即这两条线的夹角。同样地，由连线109、110组成的中间扇形区域为深度获取单元103的视场。

视场叠加最简单的方法是将深度获取单元平行放置，其光轴相互平行，光轴即为视场中心线，可参考图1中的中心线113、114。在光轴相互平行的方式下，当两个深度获取单元102与103距离近时，两个视场重叠区域较大，整体的视场角并没有得到提升，只是单纯增加了空间分辨率；当两个深度获取单元102与103距离较远时，两个视场之间的盲区(可参考图1中区域112)就增大，不利于对目标区域深度信息的完整获取。

当视场的光轴之间有夹角时，如图1中光轴113与光轴114所示，可以将两个深度获取单元102、103靠的足够近，在减小体积的同时也扩大了整体的视场角，详细说明见后面对图2的阐述。因此，这里的“圆弧形式”指的是通过将深度获取单元在结构上进行圆弧形式的排列使得视场光轴成一定角度最终实现视场的扩大。圆弧形式的种类也有多种，具体将在后续实施例中进行说明。

控制单元104用于控制深度获取单元102、103的开关，在一种实施方式中，深度获取单元相互之间有干扰时，控制单元104就可以控制深度获取102、103间隔地打开或者关闭以消除干扰，对于数量更多的深度获取单元，比如4个时，控制单元104还可以分组进行控制。另外控制单元还可以根据具体的应用需要，有针对性地打开或关闭某一个或者某一些深度获取单元，在一种实施例中，当前的应用仅需要单个深度获取单元时，控制单元根据需求打开该其中一个深度获取单元而关闭其他深度获取单元。

当3D视觉系统101在实际使用时，比如3D建模、避障、导航或SLAM，还可以在系统中增加相应的功能模块单元105、106等。功能模块单元105、106可以为标定单元、融合单元、SLAM单元等。其中标定单元与控制单元连接，用于对多个深度获取单元的相对位置进行标定。标定的方法有多种，一种是在结构设计时就精确地对深度获取单元进行定位，根据设计参数来获取相对位置信息；另一种是利用图像标定程序及算法，比如张正友标定算法来进行标定以获取相对位置信息。在获取相对位置信息后，将信息保存到系统的存储器(一般设备所共有，在这里没有进行说明)中。融合单元与控制单元连接，通过调用存储器中的深度获取单元的相对位置信息，以及接收到的深度获取单元的深度图像，并对这些深度图像进行融合，最终形成单幅大视角、高分辨率的深度图像。SLAM单元与融合单元连接，根据所述单幅大视角深度图像序列进行地图创建、定位、避障以及导航等任务，若仅有单个深度获取单元打开时，SLAM单元将直接调用单幅深度图像序列执行这些任务。

需要注意的是，以上的标定单元、融合单元、SLAM单元也可以是通过软件模块置入到系统中，比如通过程序写入存储器中，在需要时通过控制单元来调用并执行。各个单元之间的界限也并非局限，比如标定单元与融合单元的功能可以合二为一，或者融合单元也SLAM单元合二为一。另外，一些单元也不一定被置入到系统中，比如标定单元，可以在系统组装完成后进行标定，标定结束后将参数保存到存储器中，随后将标定单元从系统中撤走。

在一些实施例中，为了进一步减小3D视觉系统的体积与功耗，在3D视觉系统的固定支架上，仅安装有2个或2个以上的深度获取单元，其以圆弧形式分布在固定支架上，用于独立或同步地获取目标深度图像。上述的控制单元和/或标定单元和/或融合单元和/或SLAM单元，均位于另外的控制设备中，该控制设备与上述3D视觉系统配合使用，用于获得更大视场角和更高分辨率的深度图像。

在将多个深度获取单元以圆弧形式排列时，需要进行特别的定位才能保证整体系统即体积小又能达到视场大的效果。图2所示的是根据本实用新型的一个实施例的3D视觉系统的几何结构图，以由2个深度获取单元A、B为例进行说明，3个以上深度获取单元的情形可以看成是由多个两两组合的情形的叠加。

这里以一个方向(或平面)上的视场叠加为例进行说明，同时为简便起见，深度获取单元A、B拥有相同的性能，比如视场角、测量范围等。图2中，深度获取单元A、B沿图2所在平面上的视场角FOV为2α，基线间距为b。在一个实施例中，基线间距即是当深度获取单元A、B足够靠近时深度获取单元中光心的间距。光心指的是用来采集目标深度图像的相机模组的感光元件(如CCD、CMOS)或光学成像透镜的中心。在其他实施例中，间距b也可以根据其他依据来确定，在间距b确定后，光轴之间的夹角∠AOB将直接决定了叠加之后的组合视场角∠AQB的大小，即

∠AQB＝∠AOB+2α 公式(1)

可以理解的是，∠AOB可以为任何角度，不同角度所得到的叠加视场角也不同。

在一种优选的实施例中，根据两个深度获取单元相互之间的盲区尽可能小的要求来确定光轴夹角∠AOB。光轴偏离角度越大，组合视场越大，导致盲区也越来越大。这里的盲区指的是在深度获取单元测量范围内，由于深度获取单元相互偏离导致两个深度获取单元视场之间的不可测量的区域，这块区域是可以通过调整偏离来达到可测量。在图2中分别用虚线202与203来表示深度获取单元A、B的最小测量距离对应的平面。从图中可以看出，当光轴相互偏离直到两个视场的边线与虚线202、203的交点M重合时，盲区为零，即在测量范围内，两个深度获取单元的视场之间的区域均可以被测量。

为了计算组合视场角∠AQB，在图中引入了几个辅助角度θ，β，由于两个深度获取单元A、B的性能相同，因此图2中以OM虚线为中心被分成了相互对称的两边，各个对应的角度也相同，只要对一边的几何图形进行计算即可。假设深度获取单元的最小测量范围值为h，即AH＝BN＝h，根据图2中的几何关系有：

β＝α-θ 公式(2)

Sinθ＝bcosα/(2h) 公式(3)

∠AQB＝4α-2θ 公式(4)

将公式(3)代入公式(4)可得

∠AQB＝4α-2sin^-1(bcosα/(2h)) 公式(5)

根据上式可知，在本实施例中，只要确定了间距b以及深度获取单元的最小测量范围值h，就可以计算出两个深度获取单元的组合视场角。根据公式(1)与公式(5)也可以计算出光轴夹角

∠AOB＝2α-2sin^-1(bcosα/(2h)) (6)

根据该夹角就可以实现对两个深度获取单元的准确布置。

可以理解的是，间距b以及深度获取单元的最小测量范围值h的确定也可以有其他多种方式，∠AQB和∠AOB值的确定也可以有其他多种方式，上述仅给出了一种优选的案例。由公式(5)定义的两个深度获取单元的组合视场角可以看成图2所示的分布情形下组合视场的最优值，即在定义了3D视觉系统最小测量范围值h的前提下，保证在该范围内没有盲区的情形下实现最大的组合视场。在其他实施例中，组合视场角∠AQB还可以更大，但是随之而来的盲区也更大。

图3所示的由4个深度获取单元所组成的3D视觉系统，此时3D视觉系统的整体视场角可以达到180°甚至更大的角度。比如按照图2所示的方法，即在定义了3D视觉系统最小测量范围值h和间距b的前提下，保证在该范围内没有盲区的情形下实现最大的组合视场，4个深度获取单元之间有3个2θ夹角，则整体的组合视场角γ为

γ＝4*2α-3*2θ 公式(7)

将公式(3)代入公式(7)，并且假设单个深度获取单元在图3所示平面内的视场角FOV为2α＝60°，最小测量范围值为h＝600mm，基线间距b＝100mm，此时可计算出整体的组合视场角γ为

γ＝8α-6sin^-1(bcosα/(2h))≈215° 公式(8)

由图2和图3可以推导出，在其他实施例中，3D视觉系统包括n个深度获取单元，其中，n＞2。按照图2所示的方法，即在定义了3D视觉系统最小测量范围值h和间距b的前提下，保证在该范围内没有盲区的情形下实现最大的组合视场，此时可计算出整体的组合视场角γ为：

γ＝2nα-2(n-1)sin^-1(bcosα/(2h)) 公式(9)

其中，2α为单个深度获取单元在某一平面内的视场角FOV，h为深度获取单元的最小测量范围值，b为基线间距。

在一些实施例中，为了尽可能大地扩大视场角，将相邻的两个深度获取单元的FOV连线设置为平行，这样扩大后的视场角即为两个深度获取单元单个视场角之和，如图4所示。然而，当相邻的深度获取单元被放在同一平面上时，由于深度获取单元本身的尺寸限制，导致如图4中所示在两个相邻视场中间出现一块平行的盲区401，该片区域的深度信息将无法获取。为了解决这一问题，一种优选的实施方式如图5所示，将相邻的深度获取单元错开放置，并且让其光心处在同一直线501上，从图中可以看出，直线501是这相邻两个深度获取单元的光心距离最短的直线，定义光心垂直于固定支架所在平面的直线为光心所在轴线，则这相邻两个深度获取单元的光心所在轴线重合为直线501，此时通过偏转各深度获取单元的光轴，使得视场的边线在直线501所在方向上重合，这样就可以实现没有盲区的前提下最大程度地扩大视场。

图5中仅仅给出了两个深度获取单元的叠加情形，对于3个及3个以上的情形同样可以根据此方案实现视场叠加。这一实施例所述的方案需要特别注意的是，相互错开的两个深度获取单元中一个相对另一个是倒置的，即获取的深度图像相对另一个是相反的，在进行图像融合时需要考虑这一因素。在其他实施例中也可以不采用种倒置的方案，倒置方案的优势在于，可以让两个深度获取单元的外表面尽可能一致，这在将3D视觉系统安装在其他设备上时使得整体设备更加平整、美观。

图5所示的实施例中，深度获取单元尽管不在同一平面放置，但若将其投影到一个共同平面，也可以认为是通过“圆弧形式”分布在固定支架上以扩大视场角。这种圆弧形式也可以进一步延伸为如图6所示的情形，尽管4个深度获取单元处在同一平面，然而相互之间也有相互的错位，最终的效果也是实现视场角的扩大。通过这两个实施例可以更加深入理解这里的圆弧形式，并非单纯的指深度获取单元硬件结构上的分布，而主要指的是其视场角的叠加是按照圆弧形式叠加的。

在本实用新型中，采用多个深度获取单元以圆弧形式分布来扩大视场角，另外提出了具体的深度获取单元的几种优选的分布分式，相对于已有方案中的单个深度相机，本实用新型具有更大的视场角，结合融合单元可以实现更大视角和更高空间分辨率的深度图像采集；相对于已有方案中的激光雷达而言，本实用新型具有明显的成本以及空间分辨率优势。

以上内容是结合具体的优选实施方式对本实用新型所作的进一步详细说明，不能认定本实用新型的具体实施只局限于这些说明。对于本实用新型所属技术领域的技术人员来说，在不脱离本实用新型构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本实用新型的保护范围。

Claims (10)

1.一种大视角3D视觉系统，其特征在于，包括：

固定支架；

至少2个深度获取单元，用于独立或同步地获取目标深度图像；

所述至少2个深度获取单元以圆弧形式分布在所述固定支架上。

2.根据权利要求1所述的大视角3D视觉系统，其特征在于，至少2个所述深度获取单元的视场朝向圆弧外侧。

3.根据权利要求1或2所述的大视角3D视觉系统，其特征在于，还包括：控制单元，用于控制所述至少2个深度获取单元获取深度图像。

4.根据权利要求3所述的大视角3D视觉系统，其特征在于，还包括：标定单元，与所述控制单元连接，用于对所述至少2个深度获取单元进行标定，以获取所述至少2个深度获取单元的相对位置信息。

5.根据权利要求4所述的大视角3D视觉系统，其特征在于，还包括：融合单元，与所述控制单元连接，用于将所述至少2个深度获取单元获取的至少两幅深度图像融合成单幅大视角深度图像。

6.根据权利要求5所述的大视角3D视觉系统，其特征在于，还包括：SLAM单元，与所述融合单元连接，根据所述深度图像或所述单幅大视角深度图像进行地图创建、定位、避障及导航中的至少一种。

7.根据权利要求1所述的大视角3D视觉系统，其特征在于，所述至少2个深度获取单元处在同一平面上，并且所述至少2个深度获取单元的视场部分重叠。

8.根据权利要求7所述的大视角3D视觉系统，其特征在于，所述深度获取单元中的相邻深度获取单元的组合视场角为一固定值，所述固定值为所述3D视觉系统在测量范围内没有盲区的情形下能够实现的最大组合视场角。

9.根据权利要求7所述的大视角3D视觉系统，其特征在于，所述3D视觉系统的整体组合视场角为一固定值，所述固定值为所述3D视觉系统在测量范围内没有盲区的情形下能够实现的最大整体组合视场角。

10.根据权利要求1所述的大视角3D视觉系统，其特征在于，所述至少2个深度获取单元处在不同平面上，所述至少2个深度获取单元中至少有2个深度获取单元的光心所在轴线重合。