CN113936043B

CN113936043B - 基于双目立体视觉运动估计方法、电子设备、车辆和介质

Info

Publication number: CN113936043B
Application number: CN202111560724.8A
Authority: CN
Inventors: 王欣亮; 肖志鹏; 裴姗姗
Original assignee: Beijing Smarter Eye Technology Co Ltd
Current assignee: Beijing Smarter Eye Technology Co Ltd
Priority date: 2021-12-20
Filing date: 2021-12-20
Publication date: 2022-03-18
Anticipated expiration: 2041-12-20
Also published as: CN113936043A

Abstract

本发明公开了一种基于双目立体视觉的运动估计方法、电子设备、车辆和介质，方法包括：获取当前帧的左图图像、当前帧的右图图像、上一帧的左图图像及上一帧的右图图像；根据当前帧的左图图像中的预选特征像素点，在上一帧的左图图像中匹配以得到第一匹配像素点；根据第一匹配像素点以及视差图信息确定上一帧的右图图像中的第二匹配像素点；根据第二匹配像素点确定当前帧的右图图像中的第三匹配像素点；根据第三匹配像素点以及视差图信息确定当前帧的左图图像中的目标特征像素点；在所述目标特征点与所述预选特征像素点重合的情况下，根据第一匹配像素点以及目标特征像素点的像素坐标估计相机的位置姿态变化。从而解决了现有技术中前后帧间匹配计算量较大的技术问题。

Description

基于双目立体视觉运动估计方法、电子设备、车辆和介质

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种基于双目立体视觉的运动估计方法、电子设备、车辆和介质。

背景技术

现有技术中，在记录车辆的里程时，可以通过基于轮子编码器的里程计实现车辆里程的记录。

但是基于轮子编码器的里程计在路面平整的情况下可以保持较高的精度，当路面不平整时误差会越来越大。

视觉里程计可以获取相比轮式里程计更加精准的估计轨迹，但是视觉里程计的计算量较大，导致处理器的计算时间较长，难以满足时效性的要求。

发明内容

为此，本发明实施例提供一种基于双目立体视觉的运动估计方法、电子设备、车辆和介质，以至少部分解决现有技术中前后帧间匹配计算量较大的技术问题。

为了实现上述目的，本发明第一方面提供了一种基于双目立体视觉的运动估计方法，所述方法包括：

获取当前帧的左图图像、当前帧的右图图像、上一帧的左图图像以及上一帧的右图图像，其中，所述上一帧为所述当前帧的上一帧；

根据预先选取的、当前帧的左图图像中的预选特征像素点，在上一帧的左图图像中匹配，以得到第一匹配像素点；

根据所述第一匹配像素点以及视差图信息，确定上一帧的右图图像中的第二匹配像素点，其中，所述视差图信息表征同一帧的左图图像和右图图像中对应像素点的像素距离；

根据所述第二匹配像素点，确定当前帧的右图图像中的第三匹配像素点；

根据所述第三匹配像素点以及所述视差图信息，确定当前帧的左图图像中的目标特征像素点；

在所述目标特征像素点与所述预选特征像素点重合的情况下，根据所述第一匹配像素点以及所述目标特征像素点的像素坐标，估计相机在上一帧至当前帧的位置姿态变化。

进一步地，所述根据所述第一匹配像素点以及视差图信息，确定上一帧的右图图像中的第二匹配像素点，包括：

根据所述第一匹配像素点和所述视差图信息，确定上一帧的右图图像中的候选像素点；

根据所述第一匹配像素点确定上一帧的右图图像中每一候选像素点的匹配可信度；

确定上一帧的右图图像中、匹配可信度最高的候选像素点为所述第二匹配像素点。

进一步地，所述根据所述第三匹配像素点以及所述视差图信息，确定当前帧的左图图像中的目标特征像素点，包括：

根据所述第三匹配像素点和所述视差图信息，确定当前帧的左图图像中的候选像素点；

根据所述第三匹配像素点确定当前帧的左图图像中每一候选像素点的匹配可信度；

确定当前帧的左图图像中、匹配可信度最高的候选像素点为所述目标特征像素点。

进一步地，所述根据预先选取的、当前帧的左图图像中的预选特征像素点，在上一帧的左图图像中匹配，以得到第一匹配像素点，包括：

根据所述预选特征像素点，确定上一帧的左图图像中每一像素点的匹配可信度；

确定上一帧的左图图像中、匹配可信度最高的像素点为所述第一匹配像素点。

进一步地，所述根据所述第二匹配像素点，确定当前帧的右图图像中的第三匹配像素点，包括：

根据所述第二匹配像素点，确定当前帧的右图图像中每一像素点的匹配可信度；

确定当前帧的右图图像中、匹配可信度最高的像素点为所述第三匹配像素点。

进一步地，所述根据所述第一匹配像素点以及所述目标特征像素点的像素坐标，估计相机在上一帧至当前帧的位置姿态变化，包括：

根据所述第一匹配像素点以及所述目标特征像素点的像素坐标，确定上一帧至当前帧的旋转平移矩阵；

根据所述旋转平移矩阵，估计所述相机在上一帧至当前帧的位置姿态变化。

进一步地，所述根据所述第一匹配像素点以及所述目标特征像素点的像素坐标，估计相机在上一帧至当前帧的位置姿态变化，还包括：

若当前帧的左图图像上、满足预设筛选条件的像素点的数量少于预设数量阈值，并且满足所述预设筛选条件的像素点中、能够匹配到所述第一匹配像素点的比例小于预设比例阈值，则根据惯性测量信息确定所述相机的偏航角度，其中，所述预设筛选条件用于筛选所述预选特征像素点；

所述根据所述第一匹配像素点以及所述目标特征像素点的像素坐标，确定上一帧至当前帧的旋转平移矩阵，包括：

根据所述第一匹配像素点和所述目标特征像素点的像素坐标、以及所述偏航角度，确定上一帧至当前帧的旋转平移矩阵。

本发明第二方面提供了一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器上存储的计算机程序，该程序被处理器执行时，能实现本发明第一方面所提供的基于双目立体视觉的运动估计方法。

本发明第三方面提供了一种车辆，包括本发明第二方面所提供的电子设备。

本发明第四方面提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行本发明第一方面所提供的基于双目立体视觉的运动估计方法的步骤。

通过上述技术方案，在确定第二匹配像素点以及目标特征像素点时，通过引入视差图信息，可以减少前后匹配的计算量，这样可以提高处理器的计算速度，便于达到时效性的要求。同时，通过引入视差图信息，还便于精确确定第二匹配像素点和目标特征像素点。这样，在确定第一匹配像素点、第二匹配像素点、第三匹配像素点以及目标特征像素点之后，可以根据第一匹配像素点、以及目标特征像素点的像素坐标，估计相机在上一帧至当前帧的位置姿态变化。如此，对于每一当前帧，通过估计上一帧至当前帧的位置姿态变化，即可确定总里程。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明所提供的基于双目立体相机的运动估计方法一种具体实施方式的流程图；

图2为本发明所提供的基于双目立体相机的电子设备的框图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所提供的基于双目立体相机的弯道场景感知方法，通过自身算法实现车辆行驶姿态的评估，从而无需依赖外界输入信息，提高了自动驾驶或辅助驾驶场景中姿态评估的快速性和准确性。

在一种具体实施方式中，如图1所示，本发明所提供的基于双目立体相机的运动估计方法可以包括以下步骤：

在步骤S11中，获取当前帧的左图图像、当前帧的右图图像、上一帧的左图图像以及上一帧的右图图像，其中，上一帧为当前帧的上一帧。

在步骤S12中，根据预先选取的、当前帧的左图图像中的预选特征像素点，在上一帧的左图图像中匹配，以得到第一匹配像素点。

在步骤S13中，根据第一匹配像素点以及视差图信息，确定上一帧的右图图像中的第二匹配像素点，其中，视差图信息表征同一帧的左图图像和右图图像中对应像素点的像素距离。

在步骤S14中，根据第二匹配像素点，确定当前帧的右图图像中的第三匹配像素点。

在步骤S15中，根据第三匹配像素点以及视差图信息，确定当前帧的左图图像中的目标特征像素点。

在步骤S16中，在目标特征像素点与预选特征像素点重合的情况下，根据第一匹配像素点以及目标特征像素点的像素坐标，估计相机在上一帧至当前帧的位置姿态变化。

本方案中，在确定第二匹配像素点以及目标特征像素点时，通过引入视差图信息，可以减少前后匹配的计算量，这样可以提高处理器的计算速度，便于达到时效性的要求。同时，通过引入视差图信息，还便于精确确定第二匹配像素点和目标特征像素点，这样可以更加精确地估计相机在上一帧至当前帧的位置姿态变化。

可以理解，在本示例的方案应用于车辆上时，相机在上一帧至当前帧的位置姿态变化，即为车辆在上一帧至当前帧的位置姿态变化。这样，对于每一当前帧，通过估计上一帧至当前帧的位置姿态变化，即可确定车辆的总里程。

示例性地，视差图信息可以标定获得。

示例性地，上述步骤S13具体包括：

根据第一匹配像素点和视差图信息，确定上一帧的右图图像中的候选像素点。

例如，可以根据第一匹配像素点的像素坐标和视差图信息，在上一帧的右图图像中确定一个搜索范围，搜索范围内的像素点即为候选像素点。

例如范围可以设置为±5，那么候选像素点可以为10个，这样，可以大大减少处理器的计算量。

根据第一匹配像素点确定上一帧的右图图像中每一候选像素点的匹配可信度。

例如对于每一候选像素点，可以基于SAD（Sumofabsolutedifferences）算法统计候选像素点对应的窗口内差值的和，以此作为该候选像素点的匹配可信度。

确定上一帧的右图图像中、匹配可信度最高的候选像素点为第二匹配像素点。

如此，可以减少处理器的计算量。

示例性地，上述步骤S15具体包括：

根据第三匹配像素点和视差图信息，确定当前帧的左图图像中的候选像素点；

根据第三匹配像素点确定当前帧的左图图像中每一候选像素点的匹配可信度；

确定当前帧的左图图像中、匹配可信度最高的候选像素点为目标特征像素点。

上述步骤S15可以参照上述步骤S13进行处理，此处不再赘述。

示例性地，上述步骤S12具体包括：

根据预选特征像素点，确定上一帧的左图图像中每一像素点的匹配可信度。

例如对于上一帧的左图图像中每一像素点，可以基于SAD算法统计该像素点对应的窗口内差值的和，以此作为该像素点的匹配可信度。

确定上一帧的左图图像中、匹配可信度最高的像素点为第一匹配像素点。

示例性地，上述步骤S14具体包括：

根据第二匹配像素点，确定当前帧的右图图像中每一像素点的匹配可信度。

例如对于当前帧的右图图像中每一像素点，可以基于SAD算法统计该像素点对应的窗口内差值的和，以此作为该像素点的匹配可信度。

确定当前帧的右图图像中、匹配可信度最高的像素点为第三匹配像素点。

示例性地，上述步骤S16具体包括：

根据第一匹配像素点以及目标特征像素点的像素坐标，确定上一帧至当前帧的旋转平移矩阵；

根据旋转平移矩阵，估计相机在上一帧至当前帧的位置姿态变化。

例如可以构造以下代价函数：

（1）

公式（1）中，

表示当前帧的左图图像中目标特征像素点的像素坐标，

表示前一帧的左图图像中第一匹配像素点的像素坐标，

表示旋转平移矩阵。

如此，可以利用牛顿高斯法以下问题：优化一个最优的

，以使公式（1）取得最小值。这样可以得到旋转平移矩阵。

示例性地，上述步骤S16具体还可以包括：

若当前帧的左图图像上、满足预设筛选条件的像素点的数量少于预设数量阈值，并且满足预设筛选条件的像素点中、能够匹配到第一匹配像素点的比例小于预设比例阈值，则根据惯性测量信息确定相机的偏航角度，其中，预设筛选条件用于筛选预选特征像素点；

上述根据第一匹配像素点以及目标特征像素点的像素坐标，确定上一帧至当前帧的旋转平移矩阵的步骤，可以包括：

根据第一匹配像素点和目标特征像素点的像素坐标、以及偏航角度，确定上一帧至当前帧的旋转平移矩阵。

例如，可以定义以下坐标系：以车辆行驶方向为基准，x轴指向车辆右侧，y轴指向车辆下方，z轴指向车辆行驶方向。

在根据第一匹配像素点和目标特征像素点的像素坐标、以及偏航角度，确定上一帧至当前帧的旋转平移矩阵之后，可以利用偏航角度替换旋转平移矩阵坐标系中绕y轴旋转的分量，这样可以进行优化补偿，减小误差。

参照图2，本发明还提供了一种电子设备，包括：

存储器401，其上存储有计算机程序；

处理器402，用于执行存储器401上存储的计算机程序，该程序被处理器执行时，能实现本发明第一方面所提供的基于双目立体视觉的运动估计方法。

本发明还提供了一种车辆，包括上述实施例所提供的电子设备800，该电子设备800可以包括：处理器801，存储器802。该电子设备800还可以包括多媒体组件803，输入/输出（I/O）接口804，以及通信组件805中的一者或多者。

其中，处理器801用于控制该电子设备800的整体操作，以完成上述基于双目立体相机的运动估计方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该电子设备800的操作，这些数据例如可以包括用于在该电子设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器（StaticRandomAccessMemory，简称SRAM），电可擦除可编程只读存储器（ElectricallyErasableProgrammableRead-OnlyMemory，简称EEPROM），可擦除可编程只读存储器（ErasableProgrammableRead-OnlyMemory，简称EPROM），可编程只读存储器（ProgrammableRead-OnlyMemory，简称PROM），只读存储器（Read-OnlyMemory，简称ROM），磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该电子设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信（NearFieldCommunication，简称NFC），2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。

在一示例性实施例中，电子设备800可以被一个或多个应用专用集成电路（ApplicationSpecificIntegratedCircuit，简称ASIC）、数字信号处理器（DigitalSignalProcessor，简称DSP）、数字信号处理设备（DigitalSignalProcessingDevice，简称DSPD）、可编程逻辑器件（ProgrammableLogicDevice，简称PLD）、现场可编程门阵列（FieldProgrammableGateArray，简称FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述基于双目立体相机的运动估计方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述基于双目立体相机的运动估计方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由电子设备800的处理器801执行以完成上述基于双目立体相机的运动估计方法。

本发明还提供了一种车辆，包括上述实施例所提供的电子设备。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims

1.一种基于双目立体视觉的运动估计方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于双目立体视觉的运动估计方法，其特征在于，所述根据所述第一匹配像素点以及视差图信息，确定上一帧的右图图像中的第二匹配像素点，包括：

3.根据权利要求1所述的基于双目立体视觉的运动估计方法，其特征在于，所述根据所述第三匹配像素点以及所述视差图信息，确定当前帧的左图图像中的目标特征像素点，包括：

4.根据权利要求1至3中任一项所述的基于双目立体视觉的运动估计方法，其特征在于，所述根据预先选取的、当前帧的左图图像中的预选特征像素点，在上一帧的左图图像中匹配，以得到第一匹配像素点，包括：

5.根据权利要求1至3中任一项所述的基于双目立体视觉的运动估计方法，其特征在于，所述根据所述第二匹配像素点，确定当前帧的右图图像中的第三匹配像素点，包括：

6.根据权利要求1至3中任一项所述的基于双目立体视觉的运动估计方法，其特征在于，所述根据所述第一匹配像素点以及所述目标特征像素点的像素坐标，估计相机在上一帧至当前帧的位置姿态变化，包括：

7.根据权利要求6所述的基于双目立体视觉的运动估计方法，其特征在于，所述根据所述第一匹配像素以及所述目标特征像素点的像素坐标，估计相机在上一帧至当前帧的位置姿态变化，还包括：

8.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器上存储的计算机程序，该程序被处理器执行时，能实现如权利要求1至7中任一项所述的方法。

9.一种车辆，其特征在于，包括如权利要求8所述的电子设备。

10.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1至7任一项所述方法的步骤。