CN111986248B - 多目视觉感知方法、装置及自动驾驶汽车 - Google Patents

Abstract

本发明提供了一种多目视觉感知方法、装置及自动驾驶汽车，涉及无人驾驶技术领域，包括；通过基于第一组多目摄像头中第一多目摄像头获取目标对象的第一组图像；基于第一组图像进行距离估计，确定目标对象与自动驾驶汽车的第一距离；在预先确定的距离与基线间距的对应关系中，确定第一距离对应的第一基线间距；基于第一组多目摄像头中第一基线间距对应的第二多目摄像头获取目标对象的第二组图像，以用于基于第二组图像对目标对象进行感知。从而可以根据目标对象与自动驾驶汽车之间的距离，来选择更适合的基线间距的多目摄像头来进行感知，使得感知的结果更精确。

Description

多目视觉感知方法、装置及自动驾驶汽车

技术领域

本发明涉及无人驾驶技术领域，尤其是涉及一种多目视觉感知方法、装置及自动驾驶汽车。

背景技术

近年来，我国汽车产业一直高歌猛进，发展势头迅猛。汽车智能化，汽车信息化，无人驾驶等汽车行业先进领域发展快速，利用双目视觉系统，模仿人的眼睛，对汽车行进过程中前方物体进行三维重建的技术也越来越多的应用到自动驾驶汽车当中。对物体进行三维重建的目的主要是用来实现自动驾驶汽车的主动避险。

双目视觉系统属于仿真生物视觉系统，属于计算机视觉领域，传统的双目视觉技术是首先对摄像机标定，用来模仿人的双眼，然后用标定好的摄像机获取两张双目图像，然后提取两张图片上的特征信息进行立体匹配，最后计算匹配好的同名特征点或者特征区域的视差信息，进而反算求出深度信息，最后利用所计算出来的信息进行物体的三维模型重建。

但是，利用双目视觉系统计算深度信息时，会受到相机基线间距的限制，只有在较窄的视线区域，才能够保证一定的精度，这也使得双目视觉系统的计算精度整体偏低。

发明内容

本发明的目的在于提供一种多目视觉感知方法、装置及自动驾驶汽车，以缓解了现有技术中存在的计算精度低技术问题。

第一方面，本发明实施例提供一种多目视觉感知方法，方法应用于自动驾驶汽车，自动驾驶汽车包括至少一组多目摄像头，每组多目摄像头包括基线间距不同的多个多目摄像头；方法包括：

基于第一组多目摄像头中第一多目摄像头获取目标对象的第一组图像；

基于第一组图像进行距离估计，确定目标对象与自动驾驶汽车的第一距离；

在预先确定的距离与基线间距的对应关系中，确定第一距离对应的第一基线间距；

基于第一组多目摄像头中第一基线间距对应的第二多目摄像头获取目标对象的第二组图像，以用于基于第二组图像对目标对象进行感知。

在可选的实施方式中，每组多目摄像头对应一个视线角度，至少一组多目摄像头的视线角度的组合覆盖自动驾驶汽车的360度环视范围。

在可选的实施方式中，基于第一组多目摄像头中第一多目摄像头获取目标对象的第一组图像的步骤，包括：

基于至少一组多目摄像头获取自动驾驶汽车周围的环境图像；

对环境图像进行感知到目标对象，并确定目标对象的第一组图像，第一组图像基于第一组多目摄像头中第一多目摄像头获取。

在可选的实施方式中，多目摄像头为双目摄像头。

在可选的实施方式中，预先确定的距离与基线间距的对应关系指示基线间距级别与距离范围的对应关系。

第二方面，本发明实施例提供一种多目视觉感知装置，装置应用于自动驾驶汽车，自动驾驶汽车包括至少一组多目摄像头，每组多目摄像头包括基线间距不同的多个多目摄像头；装置包括：

第一获取模块，用于基于第一组多目摄像头中第一多目摄像头获取目标对象的第一组图像；

第一确定模块，用于基于第一组图像进行距离估计，确定目标对象与自动驾驶汽车的第一距离；

第二确定模块，用于在预先确定的距离与基线间距的对应关系中，确定第一距离对应的第一基线间距；

第二获取模块，用于基于第一组多目摄像头中第一基线间距对应的第二多目摄像头获取目标对象的第二组图像，以用于基于第二组图像对目标对象进行感知。

在可选的实施方式中，每组多目摄像头对应一个视线角度，至少一组多目摄像头的视线角度的组合覆盖自动驾驶汽车的360度环视范围。

在可选的实施方式中，第一获取模块用于：

基于至少一组多目摄像头获取自动驾驶汽车周围的环境图像；

对环境图像进行感知到目标对象，并确定目标对象的第一组图像，第一组图像基于第一组多目摄像头中第一多目摄像头获取。

第三方面，本发明实施例提供一种自动驾驶汽车，包括存储器、处理器以及至少一组多目摄像头，每组多目摄像头包括基线间距不同的多个多目摄像头；存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述前述实施方式任一项的方法的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质存储有机器可运行指令，计算机可运行指令在被处理器调用和运行时，计算机可运行指令促使处理器运行前述实施方式任一项的方法。

本发明提供的一种多目视觉感知方法、装置及自动驾驶汽车；通过基于第一组多目摄像头中第一多目摄像头获取目标对象的第一组图像；基于第一组图像进行距离估计，确定目标对象与自动驾驶汽车的第一距离；在预先确定的距离与基线间距的对应关系中，确定第一距离对应的第一基线间距；基于第一组多目摄像头中第一基线间距对应的第二多目摄像头获取目标对象的第二组图像，以用于基于第二组图像对目标对象进行感知。从而可以根据目标对象与自动驾驶汽车之间的距离，来选择更适合的基线间距的多目摄像头来进行感知，使得感知的结果更精确。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种多目视觉感知方法流程示意图；

图2为本申请实施例提供的自动驾驶汽车的一个示例；

图3为本申请实施例提供的一种多目视觉感知装置结构示意图；

图4为本申请实施例提供的一种自动驾驶汽车结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

图1为本发明实施例提供的一种多目视觉感知方法流程示意图。其中，该方法应用于自动驾驶汽车，该自动驾驶汽车包括至少一组多目摄像头，每组多目摄像头包括基线间距不同的多个多目摄像头，该基线间距用于指示多目摄像头中各个摄像头之间间距。

每组多目摄像头对应一个视线角度，至少一组多目摄像头的视线角度的组合覆盖自动驾驶汽车的360度环视范围。该多目摄像头可以为双目摄像头、三目摄像头，或者更多目摄像头，本发明实施例以双目摄像头为例进行说明。

例如，如图2所示，该自动驾驶汽车可以包括分别用于拍摄前、后、左、右四个方向上的四组多目摄像头，每组多目摄像头可以包括基线间距等级分别为大、中以及小的三个多目摄像头。需要说明的是，图2中所示的结构仅为本发明实施例的一个示例，在具体实现时，自动驾驶汽车可以包括比图2中更多或更少的多目摄像头组，每个多目摄像头组可以包括比图2中更多或更少的多目摄像头。

如图1所示，该方法具体可以包括如下步骤：

步骤S110，基于第一组多目摄像头中第一多目摄像头获取目标对象的第一组图像；

作为一个示例，可以基于至少一组多目摄像头获取自动驾驶汽车周围的环境图像；对环境图像进行感知到目标对象，并确定目标对象的第一组图像，第一组图像基于第一组多目摄像头中第一多目摄像头获取。

其中，对环境图像进行感知可以通过预先训练的识别模型来实现，例如，该识别模型可以为神经网络模型。通过将获取到的环境图像输入到识别模型中可以得到该环境图像中包括的目标对象，该目标对象可以为车辆、行人等障碍物，也可以为其他标识物体。

步骤S120，基于第一组图像进行距离估计，确定目标对象与自动驾驶汽车的第一距离；

以双目视觉技术为例，双目视觉技术是利用视差原理计算深度信息的一种方法。其中，双目测距可以通过相机标定、双目校正、双目匹配以及计算深度信息来实现。

对于相机标定：摄像头由于光学透镜的特性使得成像存在着径向畸变，装配方面也存在误差，传感器与光学镜头之间并非完全平行，因此成像存在切向畸变。单个摄像头的定标主要是计算出摄像头的内参(焦距和成像原点、畸变参数)以及外参(标定物的世界坐标)。而双目摄像头定标不仅要得出每个摄像头的内部参数，还需要通过标定来测量两个摄像头之间的相对位置(即右摄像头相对于左摄像头的旋转矩阵R、平移向量t)，该相对位置可以基于基线间距确定。因此，在进行双目标定时，需要使两个相机对同一标定板进行多次取图，分别标定出各自的内参和相对于标定板的外参，然后便可计算出两相机位置间的关系。

对于双目校正：双目校正是根据摄像头定标后获得的单目内参数据(焦距、成像原点、畸变系数)和双目相对位置关系(旋转矩阵和平移向量)，分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。双目校正多利用极线约束，来使同一特征点位于左右相机两张图像水平方向的同一条直线上，即“把实际中非共面行对准的两幅图像，校正成共面行对准”。当然，在这个过程中也会进行一些畸变校正。利用极线约束进行双目校正后可以使特征点在两幅图像中都位于极线上，这样在进行特征点匹配时仅需要在极线上进行搜索而不需要在整个二维图像上进行搜索，大大减少了计算量。

对于双目匹配：双目匹配的作用是把同一场景在左右视图上对应的像点匹配起来，这样做的目的是为了得到视差图。

基于，可以计算出深度信息Z。例如，可以根据公式“Z＝f*B/d”计算深度信息Z，其中，d为视差数据，f为相机焦距，B为基线间距。

双目匹配有多种算法，例如，局部匹配算法、全局匹配算法、区域立体匹配算法、基于特征的立方匹配算法、基于相位立体匹配算法等等。

步骤S130，在预先确定的距离与基线间距的对应关系中，确定第一距离对应的第一基线间距；

为了适应自动驾驶等应用场合的需要，在复杂多变的道路条件下，往往既需要关注近距离目标，如行人、障碍物等，又需要关注远处的目标，如对向来车，信号灯信息等。

可以通过切换不同的基线间距对应的多目摄像头，可以实现对近距离以及远距离的目标对象计算得到的深度信息，均可以有较高的精度。

其中，该预先确定的距离与基线间距的对应关系指示基线间距级别与距离范围的对应关系。对于同一基线间距，当距离超过一定的值时，测量精度会低于期望值，当距离小于一定的值时，测量精度也会低于期望值，所以每一个基线间距，均可以确定一个满足测量精度的要求距离范围，该预先确定的距离与基线间距的对应关系可以为基线间距级别与距离范围的对应关系。每一个基线间距级别可以对应一个基线间距值。

对于该步骤S130，如果第一基线间距即为第一多目摄像头的基线间距，则结束。如果第一基线间距不是第一多目摄像头的基线间距，则执行步骤S140。

步骤S140，基于第一组多目摄像头中第一基线间距对应的第二多目摄像头获取目标对象的第二组图像，以用于基于第二组图像对目标对象进行感知。

基于第二组图像对目标对象进行感知的过程可以如前述基于双目视觉技术计算深度信息的过程。基于第二多目摄像头获取目标对象的第二组图像进行感知，得到的深度信息精确程度更高。

需要说明的是，通过本发明实施例中前述步骤S110-步骤S140，可以实现不同基线间距之间的摄像头进行切换，以便基于相对精度最高的摄像头获取到的图像进行感知。应该知道的是，在实际应用中，如果多目摄像头组中的多目摄像头包括两个以上，此时，在切换过程中，可以重复执行上述步骤S110至步骤S140，直至第一基线间距不再发生变化，此时得到的感知结果既可以认为是精度最高的结果。

本申请实施例根据目标对象与自动驾驶汽车之间的距离，来选择更适合的基线间距的多目摄像头来进行感知，使得感知的结果更精确。

图3为本发明实施例提供的一种多目视觉感知装置结构示意图。如图3所示，该装置应用于自动驾驶汽车，自动驾驶汽车包括至少一组多目摄像头，每组多目摄像头包括基线间距不同的多个多目摄像头；该装置包括：

第一获取模块301，用于基于第一组多目摄像头中第一多目摄像头获取目标对象的第一组图像；

第一确定模块302，用于基于第一组图像进行距离估计，确定目标对象与自动驾驶汽车的第一距离；

第二确定模块303，用于在预先确定的距离与基线间距的对应关系中，确定第一距离对应的第一基线间距；

第二获取模块304，用于基于第一组多目摄像头中第一基线间距对应的第二多目摄像头获取目标对象的第二组图像，以用于基于第二组图像对目标对象进行感知。

在一些实施例中，每组多目摄像头对应一个视线角度，至少一组多目摄像头的视线角度的组合覆盖自动驾驶汽车的360度环视范围。

在一些实施例中，第一获取模块301用于：

基于至少一组多目摄像头获取自动驾驶汽车周围的环境图像；

对环境图像进行感知到目标对象，并确定目标对象的第一组图像，第一组图像基于第一组多目摄像头中第一多目摄像头获取。

在一些实施例中，多目摄像头为双目摄像头。

在一些实施例中，预先确定的距离与基线间距的对应关系指示基线间距级别与距离范围的对应关系。

本申请实施例提供的多目视觉感知方法、装置及自动驾驶汽车装置，与上述实施例提供的多目视觉感知方法、装置及自动驾驶汽车方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

如图4所示，本申请实施例提供的一种自动驾驶汽车700，包括：处理器701、存储器702和总线，存储器702存储有处理器701可执行的机器可读指令，当电子设备运行时，处理器701与存储器702之间通过总线通信，处理器701执行机器可读指令，以执行如上述多目视觉感知方法、装置及自动驾驶汽车方法的步骤。

具体地，上述存储器702和处理器701能够为通用的存储器和处理器，这里不做具体限定，当处理器701运行存储器702存储的计算机程序时，能够执行上述多目视觉感知方法。

对应于上述多目视觉感知方法，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有机器可运行指令，计算机可运行指令在被处理器调用和运行时，计算机可运行指令促使处理器运行上述多目视觉感知方法、装置及自动驾驶汽车方法的步骤。

本申请实施例所提供的多目视觉感知方法、装置及自动驾驶汽车装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台自动驾驶汽车执行本申请各个实施例移动控制方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。

Claims (9)

1.一种多目视觉感知方法，其特征在于，所述方法应用于自动驾驶汽车，所述自动驾驶汽车包括至少一组多目摄像头，每组多目摄像头包括基线间距不同的多个多目摄像头；所述方法包括：

基于第一组多目摄像头中第一多目摄像头获取目标对象的第一组图像；

基于所述第一组图像进行距离估计，确定所述目标对象与所述自动驾驶汽车的第一距离；

在预先确定的距离与基线间距的对应关系中，确定所述第一距离对应的第一基线间距；

基于所述第一组多目摄像头中所述第一基线间距对应的第二多目摄像头获取所述目标对象的第二组图像，以用于基于所述第二组图像对所述目标对象进行感知；

所述预先确定的距离与基线间距的对应关系指示基线间距级别与距离范围的对应关系。

2.根据权利要求1所述的方法，其特征在于，每组多目摄像头对应一个视线角度，所述至少一组多目摄像头的视线角度的组合覆盖所述自动驾驶汽车的360度环视范围。

3.根据权利要求2所述的方法，其特征在于，基于第一组多目摄像头中第一多目摄像头获取目标对象的第一组图像的步骤，包括：

基于所述至少一组多目摄像头获取所述自动驾驶汽车周围的环境图像；

基于所述环境图像进行感知目标对象，并确定所述目标对象的第一组图像，所述第一组图像基于第一组多目摄像头中第一多目摄像头获取。

4.根据权利要求1所述的方法，其特征在于，所述多目摄像头为双目摄像头。

5.一种多目视觉感知装置，其特征在于，所述装置应用于自动驾驶汽车，所述自动驾驶汽车包括至少一组多目摄像头，每组多目摄像头包括基线间距不同的多个多目摄像头；所述装置包括：

第一获取模块，用于基于第一组多目摄像头中第一多目摄像头获取目标对象的第一组图像；

第一确定模块，用于基于所述第一组图像进行距离估计，确定所述目标对象与所述自动驾驶汽车的第一距离；

第二确定模块，用于在预先确定的距离与基线间距的对应关系中，确定所述第一距离对应的第一基线间距；

第二获取模块，用于基于所述第一组多目摄像头中所述第一基线间距对应的第二多目摄像头获取所述目标对象的第二组图像，以用于基于所述第二组图像对所述目标对象进行感知；

所述预先确定的距离与基线间距的对应关系指示基线间距级别与距离范围的对应关系。

6.根据权利要求5所述的装置，其特征在于，每组多目摄像头对应一个视线角度，所述至少一组多目摄像头的视线角度的组合覆盖所述自动驾驶汽车的360度环视范围。

7.根据权利要求6所述的装置，其特征在于，所述第一获取模块用于：

基于所述至少一组多目摄像头获取所述自动驾驶汽车周围的环境图像；

对所述环境图像进行感知到目标对象，并确定所述目标对象的第一组图像，所述第一组图像基于第一组多目摄像头中第一多目摄像头获取。

8.一种自动驾驶汽车，其特征在于，包括存储器、处理器以及至少一组多目摄像头，每组多目摄像头包括基线间距不同的多个多目摄像头；所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1至4任一项所述的方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述权利要求1至4任一项所述的方法。