CN217825178U

CN217825178U - 一种双目立体视觉相机的成像系统和双目立体视觉相机

Info

Publication number: CN217825178U
Application number: CN202221954499.6U
Authority: CN
Inventors: 王春宇; 郝成龙; 谭凤泽; 朱健
Original assignee: Shenzhen Metalenx Technology Co Ltd
Current assignee: Shenzhen Metalenx Technology Co Ltd
Priority date: 2022-07-27
Filing date: 2022-07-27
Publication date: 2022-11-15
Anticipated expiration: 2032-07-27

Abstract

本实用新型提供了一种双目立体视觉相机的成像系统和双目立体视觉相机，该成像系统包括：第一镜头组件和第二镜头组件；第一镜头组件包括：第一反射超表面和第一图像传感器；第二镜头组件包括：第二反射超表面和第二图像传感器；第一反射超表面对入射的成像光线进行相位调制，将相位调制后的成像光线反射到第一图像传感器中；第二反射超表面对入射的成像光线进行相位调制，将相位调制后的成像光线反射到第二图像传感器中。超表面本身轻，薄，简，且采用反射超表面对入射的成像光线进行相位调制，并将相位调制后的成像光线反射到对应的图像传感器中，缩短了相机的实际物理尺寸，使得双目立体视觉相机重量轻，且具有更小的结构空间来等效大基线距。

Description

一种双目立体视觉相机的成像系统和双目立体视觉相机

技术领域

本实用新型涉及超表面应用技术领域，具体而言，涉及一种双目立体视觉相机的成像系统和双目立体视觉相机。

背景技术

双目立体视觉是机器视觉的一种重要形式，它基于视差原理并由多副图像获取物体三维几何信息的方法。传统的双目立体视觉相机采用的传统光学透镜元件的体积大，导致双目立体视觉相机整体体积较大，不利于实际使用。

实用新型内容

为解决上述问题，本实用新型实施例的目的在于提供一种双目立体视觉相机的成像系统和双目立体视觉相机。

第一方面，本实用新型实施例提供了一种双目立体视觉相机的成像系统，包括：第一镜头组件和第二镜头组件；第一镜头组件包括：第一反射超表面和第一图像传感器；第二镜头组件包括：第二反射超表面和第二图像传感器；

第一反射超表面对入射的成像光线进行相位调制，将相位调制后的成像光线反射到第一图像传感器中；

第二反射超表面对入射的成像光线进行相位调制，将相位调制后的成像光线反射到第二图像传感器中。

第二方面，本实用新型实施例还提供了一种双目立体视觉相机，包括：上述第一方面所述的双目立体视觉相机的成像系统。

本实用新型上述第一方面和第二方面提供的方案中，双目立体视觉相机的成像系统的第一镜头组件包括：第一反射超表面和第一图像传感器；第二镜头组件包括：第二反射超表面和第二图像传感器；第一反射超表面对入射的成像光线进行相位调制，将相位调制后的成像光线反射到第一图像传感器中；第二反射超表面对入射的成像光线进行相位调制，将相位调制后的成像光线反射到第二图像传感器中。与相关技术中双目立体视觉相机采用传统的光学透镜元件导致双目立体视觉相机体积大的方式相比，由于超表面具有轻，薄，简的特点，使用超表面的双目立体视觉相机具有体积小、重量轻且结构简单的优点；而且，双目立体视觉相机的两个相机采用反射超表面对入射的成像光线进行相位调制，并将相位调制后的成像光线反射到对应的图像传感器中，缩短了两相机之间的实际物理尺寸，从而利用超表面对光的调制作用实现更小的结构空间来等效大基线距的双目视觉立体相机，实现了双目立体视觉相机的结构小型化。

为使本实用新型的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了传统双目立体视觉相机结构示意图；

图2示出了双目立体视觉相机成像原理示意图；

图3示出了传统双目立体视觉相机精度分析模型示意图；

图4示出了双目立体视觉相机对精度的影响图；

图5示出了本实用新型实施例所提供双目立体视觉相机结构示意图；

图6示出了本实用新型实施例所提供的超结构单元可选的纳米结构的示意图；

图7示出了本实用新型实施例所提供的超结构单元可选的排布图。

图标：11、左相机；12、右相机；13补光装置；21、第一反射超表面；22、第二反射超表面；23、补光组件；24；第一图像传感器；25、第二图像传感器；201、虚拟左相机；202、虚拟右相机。

具体实施方式

在本实用新型的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本实用新型和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本实用新型的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实用新型的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本实用新型中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本实用新型中的具体含义。

双目立体视觉相机是基于视差原理，由三角测量法原理来获取三维信息。参见图1所示的传统双目立体视觉相机结构示意图；

传统的双目立体视觉相机结构示意图，通常由两个相机，左相机11和右相机12构成，且左相机11和右相机12均由传统光学镜头加CMOS或CCD传感器组成。两个相机和被测物体之间形成三角形结构。根据已知的两相机的位置关系，即可获得其公共视野内的物体三维坐标，进而获得物体的三维特征。双目立体视觉相机还具有补光装置13，补光装置13能在缺乏光线的条件下拍摄时提供辅助光线。

双目立体视觉三维测量是基于视差原理，参见如图2所示的双目立体视觉相机成像原理示意图。

参见图1所示的传统双目立体视觉相机结构示意图，两相机的投影中心连线的距离，即基线距离B。两相机在同一时刻观看空间物体的同一特征点P，获取点P在左右相机中的图像，它们的图像坐标分别为p₁＝(X₁,Y₁)，p₂＝(X₂,Y₂)。并且两相机的等效焦距相同，设为f。假设两相机拍摄时处于同一个水平面上，则特征点P的图像坐标的Y坐标相同，即Y₁＝Y₂＝Y，则由三角几何关系得特征点P的图像坐标如下公式1-3所示：

则视差为D＝X₁-X₂。由此可计算出特征点P在摄像机坐标系下的三维坐标(x₀,y₀,z₀)如下公式4-6所示：

因此，左相机的成像面上的任意一点只要能同时在右相机的成像面上找到对应的匹配点，就可以据此确定出该位置的三维坐标。这是一种点对点的运算，像面上只要存在匹配点，就可以根据上述方法计算三维坐标。

上述为两相机平视的情况，而更一般地情况是两相机之间有一定的角度，原理相同，只是要根据两相机的位置姿态关系，通过透视变换来求出旋转矩阵和平移矢量即可。

为了分析双目视觉测量系统的结构参数对视觉测量精度的影响，建立如图3所示的精度分析模型。为简化分析，设两相机水平放置，视觉测量系统的坐标原点为其中一台相机的投影中心。设相机的有效焦距为f₁、f₂。光轴与x轴的夹角为α₁、α₂，ω₁、ω₂为小于相机的视场角的投影角。

由几何关系得到P的三维坐标(x,y,z)如下公式7-9所示：

下面分析双目立体视觉测量系统的结构参数及P点的位置对测量系统精度的影响。由公式7-9可得公式10-17：

设两台相机X方向的提取精度分别为δX₁、δX₂，Y方向的提取精度分别为δY₁、δY₂，则P点的x方向的测量精度为如公式18所示：

P点的y方向的测量精度为如公式19所示：

P点的z方向的测量精度为如公式20所示：

P点的总体测量精度为如公式21所示：

根据以上分析，可以得出以下结论：

(1)两相机的有效焦距f₁、f₂越大，视觉测量系统的测量精度越高，即采用长焦距镜头容易获得高的测量精度；

(2)视觉测量系统的基线距离B对视觉系统测量精度的影响比较复杂，当基线距离B增大时，相应的测量角α+ω变大，使得基线距离B对精度的影响是非线性的；

(3)位于镜头光轴上点的测量精度最低。

因此，在此通过研究两相机光轴的交点位置的视觉测量精度来分析基线距离B对视觉测量精度的影响。假定两相机对称放置，设α₁＝α₂＝α，ω₁＝ω₂＝ω，k＝B/z,其中z为最远的测量物体到相机的垂直距离，并令

则

由此可以看出，e₁正比于Δx的大小，e₂正比于Δz的大小，而e₃反映了Δxyz的大小。图4示出了双目立体视觉相机对精度的影响图，k在0.8～2.2之间时，系统的测量精度变化较小。因此当系统工作距离较小时，k＝B/z不是设计的重点。而k<0.5时，B＝kz的变化对测量精度有较大影响，因此，设计重点应放在系统的结构尺寸上。计算得e₃的最小值出现在k＝1.3附近，为较合适的结构。因此对工作距离较大的系统，要求系统的基线距离B必须也较大，但是基线距离B的大小受到系统空间、体积、重量、成本和相机的大小等因素的制约。另外，在系统结构已经确定时，系统工作距离越大，测量精度越低。

一般的，为了获得更高的测量精度，要求左右两相机的基线距离B能尽可能大。若按照上面的计算，检测1米(m)距离的物体，其基线距离要做到1.3m左右，这无疑已经不利于实际使用，最终相机结构是一个很长的结构。因此可以使用超表面对光的相位调制，来实现在较短的结构距离下更长的等效基线距离下较好的三维成像性能。

基于此，本实用新型实施提出一种双目立体视觉相机的成像系统，包括第一镜头组件和第二镜头组件：其中，第一镜头组件包括：第一反射超表面和第一图像传感器；第二镜头组件包括：第二反射超表面和第二图像传感器；第一反射超表面对入射的成像光线进行相位调制，将相位调制后的成像光线反射到第一图像传感器中；第二反射超表面对入射的成像光线进行相位调制，将相位调制后的成像光线反射到第二图像传感器中，由于超表面具有轻，薄，简的特点，使用超表面的双目立体视觉相机具有体积小、重量轻且结构简单的优点；而且，双目立体视觉相机的两个相机采用反射超表面对入射的成像光线进行相位调制，并将相位调制后的成像光线反射到各镜头对应的图像传感器中，缩短了两相机之间的实际物理尺寸，从而利用超表面对光的调制作用实现更小的结构空间来等效大基线距的双目视觉立体相机，实现了双目立体视觉相机的结构小型化。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请做进一步详细的说明。

实施例

参见图5所示的本实用新型实施例所提供双目立体视觉相机结构示意图；双目立体视觉相机的成像系统包括：第一镜头组件和第二镜头组件；第一镜头组件包括：第一反射超表面21和第一图像传感器24；第二镜头组件包括：第二反射超表面22和第二图像传感器25；

第一反射超表面21对入射的成像光线进行相位调制，将相位调制后的成像光线反射到第一图像传感器24中；

第二反射超表面22对入射的成像光线进行相位调制，将相位调制后的成像光线反射到第二图像传感器25中。

在一个实施方式中，双目立体视觉相机还包括补光组件23，补光组件23包括闪光灯。补光组件23通常是位于左右两反射超表面之间的、对被摄对象作总体照明用的光源，其目的在于使阴影部的细节能获得恰当的曝光。优选地，补光组件23位于第一反射超表面21和第二反射超表面22连线的中间位置。

第一反射超表面21与第一图像传感器24之间的位置关系以及第二反射超表面22与第二图像传感器25之间的位置关系不做具体限定，只要保证入射的成像光线能顺利入射至第一反射超表面21和第二反射超表面22，以及经相位调制后的成像光线能顺利入射至第一图像传感器24和第二图像传感器25，成像光线在入射及反射的过程中，均不会被任何器件遮挡即可。

在一个实施方式中，在双目立体视觉相机整体结构中，第一图像传感器24位于第一反射超表面21内侧，第二图像传感器25位于第二反射超表面22内侧。在另一个实施方式中，第一图像传感器24位于第一反射超表面21和补光组件23之间；第二图像传感器25位于第二反射超表面22和所述补光组件23之间。

优选地，第一镜头组件和第二镜头组件相对于补光组件23的轴线对称设置。

参见图5所示的本实用新型实施例所提供双目立体视觉相机结构示意图，虚像位置处标出了传统双目立体视觉相机的光学镜头虚拟左相机201和虚拟右相机202，实线标出了本实用新型实施例中采用两个反射超表面作为光学镜头的双目立体视觉相机示意图。采用传统的光学镜头时，虚拟左相机201和虚拟右相机202的光学镜头和图像传感器按照光线透射的方向依次设置，入射的成像光线经虚拟左相机201和虚拟右相机202的光学镜头透射后入射至对应的图像传感器中，若需要较高的测量精度以及更远的工作距离，要求左右两相机的基线距离B要尽可能大，设计的双目相机整机的横向尺寸增大。而在本实用新型实施例中，待测物体发出的散射光作为入射的成像光线入射至第一反射超表面21和第二反射超表面22进行相位调制，经相位调制后的成像光线反射到对应的图像传感器中，两图像传感器设置在反射光线上并布置在左右两相机的内侧，从而在相同工作距离和精度要求的条件下，相对于采用传统光学镜头的双目立体视觉相机，缩短了两相机之间的实际物理尺寸L，从而利用超表面对光的调制作用实现更小的结构空间来等效大基线距的双目视觉立体相机。

本申请实施例中第一反射超表面21和第二反射超表面22均包括：超结构单元。参见图6所示的本实用新型实施例所提供的超结构单元可选的纳米结构示意图。超结构单元包括：基底和在基底上周期性排布的纳米结构。在一些情况下，基底的一侧设置有纳米结构。在一些情况下，基底的两侧都设置有纳米结构。

超表面通过周期性排列的亚波长尺寸纳米结构对入射的成像光线的相位、幅度和偏振进行调制。

第一反射超表面21和第二反射超表面22对入射其上的光束施加一个相位，假设第一反射超表面21和第二反射超表面22的不同结构单元给予入射的成像光线一个

的空间相位分布，第一反射超表面和第二反射超表面对成像光线的调制相位满足广义斯涅耳定律，如下式28-式31所示：

其中，式28-式29为广义反射定律，式30-式31为广义折射定律。

其中，θ_i表示所述入射的成像光线相对于其所入射的超表面的入射角，θ_r表示所述入射的成像光线相对于其所入射的超表面发生反射的反射角，θ_t表示所述入射的成像光线相对于其所入射的超表面发生折射的折射角，n_i和n_t分别表示所述入射的成像光线所在介质的折射率和所述入射的成像光线经其所入射的超表面折射后的折射光所在介质的折射率，φ_r1和φ_t1分别表示反射光波矢和折射光波矢在与入射平面相垂直的平面投影，且

λ表示所述入射的成像光线的波长，Φ表示第一反射超表面或第二反射超表面对所述入射的成像光线的调制相位，x、y分别表示所述入射的成像光线在x、y方向上的传播距离，

表示x方向的相位梯度，

表示y方向的相位梯度。

第一反射超表面21和第二反射超表面22以一定的角度及姿态放置在整个系统中，根据实际精度要求及工作范围能够确定第一反射超表面21和第二反射超表面22的间隔距离、等效焦距以及光线入射角和反射角。在获得光线入射角和反射角后再根据广义斯涅尔定律确定第一反射超表面21和第二反射超表面22空间相位分布

并根据广义斯涅尔定律确定超表面空间相位分布

在纳米结构数据库中寻找相应的满足相位分布的纳米结构，据此来设计第一反射超表面21和第二反射超表面22纳米结构的。最后，在工作距离内的视野测量范围的光线，经超表面的调制作用最后完美成像在图像传感器上。

第一反射超表面21和第二反射超表面22是一层亚波长的人工纳米结构膜，可根据基底上的纳米结构来调制入射的成像光线。其中纳米结构包含全介质或等离子的纳米天线，可直接调控光的相位、幅度和偏振等特性。

可选地，纳米结构可以采用全介质结构单元，在可见光波段具有高透过率，可选的材料包括但不限于：氧化钛、氮化硅、熔融石英、氧化铝、氮化镓、磷化镓和氢化非晶硅。

参见图7所示的超结构单元可选的排布图，超结构单元呈阵列排布，超结构单元为正六边形和/或正方形和/或扇形，每个超结构单元的中心位置，或者每个超结构单元的中心位置和顶点位置分别设有一个纳米结构。该超结构单元以可密堆积图形的形式阵列排布，以使纳米结构位于所述可密堆积图形的中心和/或顶点。本申请实施例中，可密堆积图形指的是一种或多种可以无缝隙不重叠地填充整个平面的图形。可密堆积图形包括正六边形、正四边形或扇形中的一种或多种。根据本申请的实施方式，超结构单元可以布置成扇形、正六边形或者正方形的阵列。本领域技术人员应认识到，超结构单元还可以包括其他形式的阵列布置，所有这些变型方案均涵盖于本申请的范围内。

可选地，超表面的工作波段为可见光波段(400nm-700nm)，或者其中至少一个波段(波段中心波长为λc,带宽为Δλ)。

参见图6所示的本实用新型实施例所提供的超结构单元可选的纳米结构示意图，可选地，纳米结构可为偏振相关的结构，如纳米鳍或纳米椭圆柱等结构，此类结构对入射的成像光线施加一个几何相位；纳米结构也可以是偏振无关结构，如纳米圆柱或纳米方柱等结构，此类结构对入射的成像光线施加一个传播相位。超结构单元的纳米结构包括纳米鳍、纳米椭圆柱、纳米圆柱或者纳米方柱结构中的一种或多种。

可选地，超表面还包括填充物质，纳米结构之间的空隙由填充物质填充，并且，填充物质的材料对工作波段的消光系数小于0.01。可选地，填充物包括空气或在工作波段透明或半透明的其他材料。根据本申请的实施方式，填充物质的材料的折射率与纳米结构的折射率之间的差值的绝对值应大于或等于0.5。

为了对本实施例提出的双目立体视觉相机的成像系统进行应用，本申请实施例还提供了一种双目立体视觉相机，其特征在于，包括：上述实施例中所述的双目立体视觉相机的成像系统。

综上所述，本实用新型实施提出一种双目立体视觉相机的成像系统，包括第一镜头组件和第二镜头组件：其中，第一镜头组件包括：第一反射超表面和第一图像传感器；第二镜头组件包括：第二反射超表面和第二图像传感器；第一反射超表面对入射的成像光线进行相位调制，将相位调制后的成像光线反射到第一图像传感器中；第二反射超表面对入射的成像光线进行相位调制，将相位调制后的成像光线反射到第二图像传感器中，由于超表面具有轻，薄，简的特点，使用超表面的双目立体视觉相机具有体积小、重量轻且结构简单的优点；而且，双目立体视觉相机的两个相机采用反射超表面对入射的成像光线进行相位调制，并将相位调制后的成像光线反射到对应的图像传感器中，缩短了两相机之间的实际物理距离，从而利用超表面对光的调制作用实现更小的结构空间来等效大基线距的双目视觉立体相机，实现了双目立体视觉相机的结构小型化。

以上所述，仅为本实用新型的具体实施方式，但本实用新型的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本实用新型揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本实用新型的保护范围之内。因此，本实用新型的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种双目立体视觉相机的成像系统，其特征在于，包括：第一镜头组件和第二镜头组件；所述第一镜头组件，包括：第一反射超表面和第一图像传感器；第二镜头组件，包括：第二反射超表面和第二图像传感器；

所述第一反射超表面对入射的成像光线进行相位调制，将相位调制后的所述成像光线反射到第一图像传感器中；

所述第二反射超表面对入射的成像光线进行相位调制，将相位调制后的所述成像光线反射到第二图像传感器中。

2.根据权利要求1所述的双目立体视觉相机的成像系统，其特征在于，还包括：补光组件，所述补光组件包括闪光灯。

3.根据权利要求2所述的双目立体视觉相机的成像系统，其特征在于，所述补光组件位于所述第一反射超表面和所述第二反射超表面连线的中间位置。

4.根据权利要求3所述的双目立体视觉相机的成像系统，其特征在于，所述第一图像传感器位于所述第一反射超表面和所述补光组件之间；所述第二图像传感器位于所述第二反射超表面和所述补光组件之间。

5.根据权利要求3所述的双目立体视觉相机的成像系统，其特征在于，所述第一镜头组件和所述第二镜头组件相对于所述补光组件的轴线对称设置。

6.根据权利要求1-5任一项所述的双目立体视觉相机的成像系统，其特征在于，所述第一反射超表面和第二反射超表面均包括：超结构单元；所述超结构单元，包括：基底和在基底上周期性排布的纳米结构。

7.根据权利要求6所述的双目立体视觉相机的成像系统，其特征在于，所述第一反射超表面和第二反射超表面对成像光线的调制相位满足广义斯涅耳定律。

8.根据权利要求6所述的双目立体视觉相机的成像系统，其特征在于，所述纳米结构，包括：全介质纳米结构或等离子纳米结构。

9.根据权利要求6所述的双目立体视觉相机的成像系统，其特征在于，所述超结构单元以可密堆积图形的形式阵列排布，以使所述纳米结构位于所述可密堆积图形的中心和/或顶点。

10.根据权利要求9所述的双目立体视觉相机的成像系统，其特征在于，所述可密堆积图形包括正六边形、正四边形或扇形中的一种或多种。

11.根据权利要求6所述的双目立体视觉相机的成像系统，其特征在于，所述纳米结构的形状，包括：纳米鳍、纳米椭圆柱、纳米圆柱或者纳米方柱结构中的一种或多种。

12.根据权利要求6所述的双目立体视觉相机的成像系统，其特征在于，所述超结构单元还包括填充物质；所述纳米结构之间的空隙由所述填充物质填充。

13.根据权利要求12所述的双目立体视觉相机的成像系统，其特征在于，所述填充物质的折射率与所述纳米结构的折射率之间的差值的绝对值大于或等于0.5。

14.一种双目立体视觉相机，其特征在于，包括：上述权利要求1-13任一项所述的双目立体视觉相机的成像系统。