CN115297249B - 一种双目摄像头及双目避障方法 - Google Patents

Abstract

本发明提供一种双目摄像头及双目避障方法，涉及视觉避障领域。双目摄像头包括摄像头本体和两个传感器，传感器设于摄像头本体，两个传感器的取景方向均相对于水平方向倾斜设置。当双目摄像头拍摄重复纹理时，由于传感器的取景方向相对于水平方向倾斜设置，故采集到的左右图像相较于实际情况存在一定的倾斜角度，纹理重复的方向也由水平方向变为相对于水平方向倾斜的另一方向。此时，同一水平线上不易出现多个特征描述算子相同的特征点，对左右图像进行立体匹配时不易出错，从而减小计算视差出错的可能性，降低避障失灵的概率。

Description

一种双目摄像头及双目避障方法

技术领域

本发明涉及视觉避障领域，尤其涉及一种双目摄像头及双目避障方法。

背景技术

现有的双目避障方案基本都是采用传统的立体匹配方法，其工作原理如下：首先对双目摄像头进行标定，然后从双目摄像头采集到的左右图像中进行立体匹配计算每个像素的视差，最后根据标定参数和视差，计算每个像素的实际深度。

但是，现有的双目避障方案在重复纹理环境中往往表现不佳。究其原因，是因为立体匹配算法在重复纹理环境下匹配失灵。经过标定流程后，双目摄像头的左图和右图会被校准到同一水平线上，所以特征匹配只会在水平方向上进行，从左图中取一个特征点去右图中匹配相同的特征点。而在重复纹理环境中，右图往往有几个特征描述算子相同的特征点。这种情况下算法无法准确判断究竟哪一个特征点是正确的，计算视差出错的概率大大提升，避障因此失灵。

发明内容

为了解决现有技术中存在的问题，本发明的目的之一是提供一种双目摄像头。

本发明提供如下技术方案：

一种双目摄像头，包括摄像头本体和两个传感器，所述传感器设于所述摄像头本体，两个所述传感器的取景方向均相对于水平方向倾斜设置。

作为对所述双目摄像头的进一步可选的方案，两个所述传感器沿所述取景方向并排设置。

作为对所述双目摄像头的进一步可选的方案，所述取景方向与水平方向的夹角为0.5-5°。

作为对所述双目摄像头的进一步可选的方案，所述取景方向与水平方向的夹角为2°。

作为对所述双目摄像头的进一步可选的方案，所述双目摄像头还包括两个镜头，所述镜头设于所述摄像头本体，所述镜头沿水平方向并排设置；

所述传感器与所述镜头分别对应，所述传感器位于对应的所述镜头的覆盖范围内。

作为对所述双目摄像头的进一步可选的方案，所述镜头具有进光孔，所述镜头的所述进光孔与对应的所述传感器对齐。

本发明的另一目的是提供一种双目避障方法。

本发明提供如下技术方案：

一种双目避障方法，应用于纹理沿水平方向重复的环境，所述双目避障方法包括：

旋转双目摄像头的两个传感器，使所述传感器的取景方向相对于水平方向倾斜设置；

对所述双目摄像头的两个所述传感器进行标定；

对两个所述传感器采集到的图像中相同的特征点进行立体匹配；

计算匹配到的同一所述特征点在两个所述图像中的视差；

根据所述视差计算所述特征点的实际深度。

作为对所述双目避障方法的进一步可选的方案，所述纹理还沿第一方向重复，所述取景方向相对于所述第一方向倾斜设置。

作为对所述双目避障方法的进一步可选的方案，所述取景方向相对于所述纹理的对角线方向倾斜设置。

作为对所述双目避障方法的进一步可选的方案，旋转所述双目摄像头的两个所述传感器时，以两个所述传感器的中点为旋转中心。

本发明的实施例具有如下有益效果：

当双目摄像头拍摄重复纹理时，由于传感器的取景方向相对于水平方向倾斜设置，故采集到的左右图像相较于实际情况存在一定的倾斜角度，纹理重复的方向也由水平方向变为相对于水平方向倾斜的另一方向。此时，同一水平线上不易出现多个特征描述算子相同的特征点，对左右图像进行立体匹配时不易出错，从而减小计算视差出错的可能性，降低避障失灵的概率。

为使本发明的上述目的、特征和优点能更明显和易懂，下文特举较佳实施例，并配合所附附图，做详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了一种重复纹理环境的实际图像的示意图；

图2示出了另一种重复纹理环境的实际图像的示意图；

图3示出了本发明实施例提供的一种双目摄像头的整体结构示意图；

图4示出了本发明实施例提供的一种双目避障方法中两个传感器采集到的图像在取景方向相对于水平方向倾斜时的示意图；

图5示出了本发明实施例提供的一种双目避障方法的步骤流程图；

图6示出了本发明实施例提供的一种双目避障方法中两个传感器采集到的图像在取景方向平行于第一方向时的示意图；

图7示出了本发明实施例提供的一种双目避障方法中两个传感器采集到的图像在取景方向平行于其中一种纹理的对角线方向时的示意图；

图8示出了本发明实施例提供的一种双目避障方法中两个传感器采集到的图像在取景方向平行于另一种纹理的对角线方向的示意图；

图9示出了本发明实施例提供的一种双目避障方法中两个传感器采集到的图像在取景方向平行于又一种纹理的对角线方向的示意图。

主要元件符号说明：

100-摄像头本体；200-镜头；210-进光孔；300-传感器。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。相反，当元件被称作“直接在”另一元件“上”时，不存在中间元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在模板的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

常规的双目避障方案主要包括标定、立体匹配、计算视差和计算实际深度等步骤。

其中，标定的目的之一是对左右两图进行畸变矫正，去除畸变。标定的另一目的是使左右两图的基线对齐，将左右两图中的同一个特征点调整到同一水平线上。经过标定流程后，立体匹配只会在同一水平线上进行，不会跨行匹配。

这种双目避障方案在非重复的纹理环境中具有很好的避障效果，但在重复纹理环境中往往表现不佳，其根本原因在于立体匹配算法在重复纹理环境中容易失灵。

需要注意的是，重复纹理环境是指环境中包含多个沿水平方向重复的纹理，如图1和图2所示。其中，水平方向以x方向示意。

在重复纹理环境中，采用立体匹配算法从左图中取一个特征点去右图中匹配相同的特征点时，往往有多个特征描述算子相同的特征点。这种情况下，立体匹配算法无法准确判断究竟哪一个特征点是正确的，计算视差出错的概率大大提升，避障因此失灵。

实施例1

请参阅图3，本实施例提供一种双目摄像头，应用于视觉避障，尤其是在重复纹理环境中的视觉避障。该双目摄像头由摄像头本体100、镜头200和传感器300组成，其中，镜头200和传感器300均设有两个，两个镜头200与两个传感器300分别对应。

具体地，两个镜头200均设置在摄像头本体100上，与摄像头本体100固定连接。此外，两个镜头200沿水平方向并排设置。

具体地，两个传感器300均设置在摄像头本体100上，与摄像头本体100固定连接，且两个传感器300位于对应的镜头200的覆盖范围内。此外，传感器300的取景方向相对于水平方向倾斜设置。

其中，对传感器300的取景方向的改变通过旋转传感器300来实现。在常规双目摄像头的基础上将传感器300旋转一定角度，则传感器300的取景方向也会相对于水平方向倾斜，且取景方向与水平方向的夹角等于传感器300的旋转角度。

在本实施例中，取景方向与水平方向的夹角为0.5-5°。

可选地，取景方向与水平方向的夹角可以是0.5°、1°、2°、3°、4°、5°或0.5-5°范围内的任意值。

优选地，取景方向与水平方向的夹角为2°。

进一步地，两个传感器300沿取景方向并排设置。无论传感器300旋转至何角度，两个传感器300的顶端仍保持对齐，两个传感器300的底端同样保持对齐。

此外，在传感器300旋转前后，两个传感器300连线的中点始终保持不变，两个传感器300的光心间距也保持不变。

其中，两个传感器300连线的中点是指两个传感器300的光心的连线中点。

在本实施例中，两个传感器300的光心间距为44mm。

在本申请的其它实施例中，两个传感器300的光心间距也可以是其它长度。

显然，传感器300在旋转后会偏离镜头200的中心区域，只需保证传感器300始终位于对应的镜头200的覆盖范围内即可。

在本实施例中，镜头200的尺寸为1/3.2英寸，传感器300的尺寸为1/6英寸。

进一步地，镜头200具有进光孔210，且镜头200的进光孔210始终与对应的传感器300保持对齐，随传感器300偏离镜头200的中心区域。

使进光孔210随传感器300移位，能够保证两个传感器300旋转后，在水平方向上仍然能有大部分图像区域重合，避免因重叠区域过少而影响到正常的测距。

请参阅图4，当双目摄像头拍摄重复纹理时，由于传感器300的取景方向相对于水平方向倾斜设置，故采集到的左右图像相较于实际情况存在一定的倾斜角度，纹理重复的方向也由水平方向变为相对于水平方向倾斜的另一方向。

此时，同一水平线上不易出现多个特征描述算子相同的特征点，对左右图像进行立体匹配时不易出错，从而减小计算视差出错的可能性，降低避障失灵的概率。

换言之，通过对双目摄像头的传感器300进行旋转，能够改变重复纹理的特征点布局，达到非重复纹理匹配的效果，从而大大提升重复纹理匹配的准确率。

实施例2

请参阅图5，本实施例提供一种双目避障方法，尤其适用于纹理沿水平方向重复的环境。该双目避障方法的步骤如下：

S1，旋转双目摄像头的两个传感器300，使传感器300的取景方向相对于水平方向倾斜设置。

重复纹理环境的实际图像如图1和图2所示，同一水平线上存在多个特征描述算子相同的特征点。

在传感器300的取景方向相对于水平方向倾斜的情况下，两个传感器300采集到的图像如图4所示，同一水平线上的特征点具有不同的特征描述算子。

进一步地，旋转双目摄像头的两个传感器300时，以两个传感器300的中心为旋转中心。其中，两个传感器300的中点是指两个传感器300的光心的连线中点。

此时，两个传感器300的光心间距在旋转前后保持不变，且两个传感器300始终沿取景方向并排设置。

S2，对双目摄像头的两个传感器300进行标定。

经过标定后，两个传感器300采集到的图像中的畸变被矫正去除。与此同时，两个传感器300采集到的图像的基线对齐，同一个特征点被调整到同一水平线上。

S3，对两个传感器300采集到的图像中相同的特征点进行立体匹配。

请参阅图4，由于同一水平线上的特征点具有不同的特征描述算子，故从左图中取一个特征点去右图中匹配相同的特征点时，不易出现匹配错误的情况。

S4，计算匹配到的同一特征点在两个图像中的视差。

S5，根据视差和标定参数，计算特征点的实际深度。

总之，采用上述双目避障方法在重复纹理环境中进行视觉避障时，由于传感器300的取景方向相对于水平方向倾斜设置，故采集到的左右图像相较于实际情况存在一定的倾斜角度，纹理重复的方向也由水平方向变为相对于水平方向倾斜的另一方向。此时，同一水平线上不易出现多个特征描述算子相同的特征点，对左右图像进行立体匹配时不易出错，从而减小计算视差出错的可能性，降低避障失灵的概率。

进一步地，在重复纹理环境中，纹理除沿水平方向重复外，还可能沿不同于水平方向的第一方向重复。

其中，第一方向可以是竖直方向，如图1所示，图中以y方向示意。

第一方向还可以与水平方向倾斜相交，如图2所示，图中以a方向示意。

此时，取景方向也相对于第一方向倾斜设置。

请参阅图6，若取景方向与第一方向平行，则两个传感器300采集到的图像中仍会出现同一水平线上存在多个特征描述算子相同的特征点的情况，导致立体匹配算法无法准确判断究竟哪一个特征点是正确的。

进一步地，取景方向还相对于纹理的对角线方向倾斜设置。

需要注意的是，此处的纹理不仅仅指最小重复单元，也可以是多个最小重复单元所组成的整体，其同样会沿水平方向和第一方向重复出现。

请一并参阅图7至图9，若取景方向与纹理的对角线方向平行，则两个传感器300采集到的图像中仍会出现同一水平线上存在多个特征描述算子相同的特征点的情况，导致立体匹配算法无法准确判断究竟哪一个特征点是正确的。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种双目避障方法，其特征在于，应用于纹理沿水平方向重复的环境，所述双目避障方法包括：

旋转双目摄像头的两个传感器，使所述传感器的取景方向相对于水平方向倾斜设置，以使所述传感器采集到的图像中纹理重复的方向由水平方向变为相对于水平方向倾斜的另一方向；

对所述双目摄像头的两个所述传感器进行标定；

对两个所述传感器采集到的图像中相同的特征点进行立体匹配；

计算匹配到的同一所述特征点在两个所述图像中的视差；

根据所述视差计算所述特征点的实际深度。

2.根据权利要求1所述的双目避障方法，其特征在于，所述纹理还沿第一方向重复，所述取景方向相对于所述第一方向倾斜设置。

3.根据权利要求2所述的双目避障方法，其特征在于，所述取景方向相对于所述纹理的对角线方向倾斜设置；

其中，所述纹理为最小重复单元，或多个最小重复单元所组成的整体。

4.根据权利要求1-3中任一项所述的双目避障方法，其特征在于，旋转所述双目摄像头的两个所述传感器时，以两个所述传感器的中点为旋转中心。

5.一种使用如权利要求1-4中任一项所述双目避障方法的双目摄像头，其特征在于，包括摄像头本体和两个传感器，所述传感器设于所述摄像头本体。

6.根据权利要求5所述的双目摄像头，其特征在于，两个所述传感器沿所述取景方向并排设置。

7.根据权利要求5所述的双目摄像头，其特征在于，所述取景方向与水平方向的夹角为0.5-5°。

8.根据权利要求7所述的双目摄像头，其特征在于，所述取景方向与水平方向的夹角为2°。

9.根据权利要求5所述的双目摄像头，其特征在于，所述双目摄像头还包括两个镜头，所述镜头设于所述摄像头本体，所述镜头沿水平方向并排设置；

所述传感器与所述镜头分别对应，所述传感器位于对应的所述镜头的覆盖范围内。

10.根据权利要求9所述的双目摄像头，其特征在于，所述镜头具有进光孔，所述镜头的所述进光孔与对应的所述传感器对齐。

Images