CN114155303B - 基于双目相机的参数立体匹配方法和系统 - Google Patents

Abstract

本发明公开了一种基于双目相机的参数立体匹配方法和系统，所述方法包括：获取目标检测区域内的左右图像；基于权重参数，通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图；基于监督学习策略对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值。解决了现有用于自动驾驶的参数匹配算法准确性差、计算速度慢的技术问题。

Description

基于双目相机的参数立体匹配方法和系统

技术领域

本申请实施例涉及自动驾驶技术领域，具体涉及一种基于双目相机的参数立体匹配方法和系统。

背景技术

随着人们对更加安全和便捷出行的需求的日益增长，智能驾驶技术正处于蓬勃发展时期，感知和理解环境的能力是汽车智能系统的基础和前提。智能车辆通过双目相机采集视图，并在感知周围环境后做出分析，通过将信息提供给控制系统，实现对行驶情况的检测。

在数据分析时，需要进行参数匹配，参数匹配的性能直接影响到自动驾驶信息识别的准确性和效率。传统的参数匹配算法包括局部算法和全局算法，但是，局部算法由于所基于的局部窗口视差相同的假设在很多情况下并不成立，导致匹配效果较差；而全局算法虽然通过二维相邻像素视差之间的约束，能够得到更好的匹配效果，但是对内存的占用量大，速度慢。

发明内容

为此，本申请实施例提供一种基于双目相机的参数立体匹配方法和系统，以至少部分解决现有用于自动驾驶的参数匹配算法准确性差、计算速度慢的技术问题。

为了实现上述目的，本申请实施例提供如下技术方案：

根据本申请实施例的第一方面，提供了一种基于双目相机的参数立体匹配方法，所述方法包括：

获取目标检测区域内的左右图像；

基于权重参数，通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图；

基于监督学习策略对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值。

进一步地，所述通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图，具体包括：

利用所述多层级网络结构中的encode模块对左右图像进行特征提取，以获得第一特征维度的左右特征图；且/或，

利用所述多层级网络结构中的decode模块对左右图像进行特征提取，以获得第二特征维度的左右特征图。

进一步地，所述第一特征维度包括[w,h,dim],[w/2,h/2,dim*2],[w/4,h/4,dim*4]，所述第二特征维度包括[w/4,h/4,dim*4],[w/2,h/2,dim*2]，[w,h,dim]，其中，w是指左右特征图宽度，h是指左右特征图高度，dim是左右特征图数量。

进一步地，利用以下公式对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值

：

其中，

为聚合后的代价值，C（p，d）为聚合前的代价值，r为传播方向上的单位距离，d为当前视差，di为视差搜索范围内的遍历视差值，p为当前点，λi为惩罚项的最优值，disp-n为视差的搜索范围。

进一步地，所述监督学习策略具体包括：

基于激光雷达点云获取真实视差值和前向推理的预测视差值；

计算所述真实视差值与所述预测视差值的差值，并将所述差值向并将所述差值逐层求取相对于权重参数的梯度，依次根据多层级网络结构进行随机梯度下降的方式进行向前传播；

沿着梯度的反方向随机的调整所述权重参数，使所述差值逐步减小。

进一步地，通过反向传播结果调整所述权重参数，具体包括：

梯度下降是指导数的最大值的方向就代表了梯度的方向，因此我们在做梯度下降的时候，应该是沿着梯度的反方向进行权重的更新，可以有效的找到全局的最优解。

本方案采用的是小批量随机梯度下降的方法：随机抽取m个样本作为一个批次，计算平均差值，根据平均差值计算梯度，在沿着梯度下降的方向进行权重的更新。

根据本申请实施例的第二方面，提供了一种基于双目相机的参数立体匹配系统，所述系统包括：

图像获取单元，用于获取目标检测区域内的左右图像；

特征图获取单元，用于基于权重参数，通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图；

聚合结果输出单元，用于基于监督学习策略对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值。

进一步地，所述特征图获取单元具体用于：

利用所述多层级网络结构中的encode模块对左右图像进行特征提取，以获得第一特征维度的左右特征图；且/或，

利用所述多层级网络结构中的decode模块对左右图像进行特征提取，以获得第二特征维度的左右特征图。

根据本申请实施例的第三方面，提供了一种电子设备，所述电子设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行第一方面任一项所述的方法。

根据本申请实施例的第四方面，提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如第一方面任一项所述的方法。

本申请实施例提供了一种基于双目相机的参数立体匹配方法和系统，通过获取目标检测区域内的左右图像，基于权重参数，通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图；并基于监督学习策略对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值。该方法通过特征提取及代价聚合方法的改进，提升了算法的鲁棒性，并能够通过样本学习，解决立体匹配中的困难场景效果差的问题。解决了现有用于自动驾驶的参数匹配算法准确性差、计算速度慢的技术问题。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

图1为本发明所提供的基于双目相机的参数立体匹配方法一种具体实施方式的流程图；

图2为本发明所提供的基于双目相机的参数立体匹配系统一种具体实施方式的结构框图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对现有参数匹配方法准确性差，计算速度慢的问题，本发明对Preprocess（图像预处理特征提取）+CostCompute（代价计算）及SGM（代价聚合）两大部分进行可学习参数设计和替换，使匹配算法更鲁棒，以便为后续的自动驾驶提供较好的数据基础，具体地，能够提供稠密可靠的视差数据及三维点云数据，为障碍物测距测速提供可靠的三维数据。

请参考图1，图1为本发明所提供的基于双目相机的参数立体匹配方法一种具体实施方式的流程图。

在一种具体实施方式中，本发明所提供的基于双目相机的参数立体匹配方法包括以下步骤：

S1：获取目标检测区域内的左右图像。应当理解的是，左右图像是指双目相机中的左目相机获取的左目图像，以及双目相机中右目相机获取的右目图像。

S2：基于权重参数，通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图；

在一些实施例中，步骤S2具体包括：

利用所述多层级网络结构中的encode模块对左右图像进行特征提取，以获得第一特征维度的左右特征图；且/或，

利用所述多层级网络结构中的decode模块对左右图像进行特征提取，以获得第二特征维度的左右特征图。

其中，所述第一特征维度包括[w,h,dim],[w/2,h/2,dim*2],[w/4,h/4,dim*4]，所述第二特征维度包括[w/4,h/4,dim*4],[w/2,h/2,dim*2]，[w,h,dim]，其中，w是指左右特征图宽度，h是指左右特征图高度，dim是左右特征图数量。从理论上来讲，还可以包括更多的特征维度，例如可重复整个encode和decode模块，或者加深encode和decode模块深度。

这样，在特征提取时，基于共享卷积神经网络权重参数，对左右图像分别进行特征提取，从而输出多特征维度的左右特征图，多层级网络结构为多漏斗（包含encode、decode模块）模块级联组成，通过不同层级的卷积层提取不同的特征，相对于人工设计的特征提取方式，鲁棒性更强。

S3：基于监督学习策略对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值。

SGM（半全局立体匹配算法Semi-GlobalMatching）由学者Hirschmüller在2005年所提出，其背景一方面高效率的局部算法由于所基于的局部窗口视差相同的假设在很多情况下并不成立导致匹配效果较差；而另一方面全局算法虽然通过二维相邻像素视差之间的约束（如平滑性约束）而得到更好的匹配效果，但是对内存的占用量大，速度慢。为了结合两者的优点，同时避免两者的缺点，SGM算法依旧采用全局框架，但是在计算能量函数最小化的步骤时使用高效率的一维路径聚合方法来代替全局算法中的二维最小化算法，使用一维最优来近似二维最优，得到的视差图在效果上和全局算法没有太大的差别，但是算法效率却有非常大的提升。

为此，根据传统SGM代价聚合的不足之处及深度学习中卷积神经网络操作的特点，对传播过程优化，以提高聚合代价值的精度。因此利用以下公式对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值

：

其中，

为聚合后的代价值，C（p，d）为聚合前的代价值，r为传播方向上的单位距离，d为当前视差，di为视差搜索范围内的遍历视差值，p为当前点，λi为惩罚项的最优值，disp-n为视差的搜索范围。其中，聚合前的代价值的计算方法为现有技术，在此不做赘述。

在一些实施例中，所述监督学习策略具体包括以下步骤：

基于激光雷达点云获取真实视差值和本立体匹配方案前向推理的预测视差值；

计算所述真实视差值与所述预测视差值的差值，并将所述差值向并将所述差值逐层求取相对于权重参数的梯度，依次根据模型结构进行随机梯度下降的方式进行向前传播。其中，模型结构可以为任何机器学习的模型，其模型结构的计算方法与现有技术相同，不做赘述。

沿着梯度的反方向随机的调整所述权重参数，使所述差值逐步减小。

进一步地，通过反向传播结果调整所述权重参数，具体包括：

梯度下降：导数的最大值的方向就代表了梯度的方向，因此我们在做梯度下降的时候，应该是沿着梯度的反方向进行权重的更新，可以有效的找到全局的最优解。

本方案采用的是小批量随机梯度下降的方法：随机抽取m个样本作为一个批次，计算平均差值，根据平均差值计算梯度，在沿着梯度下降的方向进行权重的更新。

在上述具体实施方式中，本发明所提供的基于双目相机的参数立体匹配方法，通过获取目标检测区域内的左右图像，基于权重参数，通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图；并基于监督学习策略对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值。该方法通过特征提取及代价聚合方法的改进，提升了算法的鲁棒性，并能够通过样本学习，解决立体匹配中的困难场景效果差的问题，例如通过高维度的学习的特征进行匹配聚合解决了低纹理区域，高频同构区域误匹配的问题。解决了现有技术中，用于自动驾驶的参数匹配算法准确性差、计算速度慢的技术问题。

除了上述方法，本发明还提供一种基于双目相机的参数立体匹配系统，如图2所示，所述系统包括：

图像获取单元100，用于获取目标检测区域内的左右图像；

特征图获取单元200，用于基于权重参数，通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图；

聚合结果输出单元300，用于基于监督学习策略对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值。

其中，所述特征图获取单元具体用于：

利用所述多层级网络结构中的encode模块对左右图像进行特征提取，以获得第一特征维度的左右特征图；且/或，

利用所述多层级网络结构中的decode模块对左右图像进行特征提取，以获得第二特征维度的左右特征图。

在一种具体实施方式中，本发明所提供的基于双目相机的参数立体匹配系统，通过获取目标检测区域内的左右图像，基于权重参数，通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图；并基于监督学习策略对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值。该方法通过特征提取及代价聚合方法的改进，提升了算法的鲁棒性，并能够通过样本学习，解决立体匹配中的困难场景（例如，通过高维度的学习的特征进行匹配聚合解决了低纹理区域，高频同构区域误匹配的问题）效果差的问题。解决了现有技术中，用于自动驾驶的参数匹配算法准确性差、计算速度慢的技术问题。

根据本申请实施例的第三方面，提供了一种设备，所述设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行第一方面任一项所述的方法。

根据本申请实施例的第四方面，提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如第一方面任一项所述的方法。

基于相同的技术构思，本申请实施例还提供了一种电子设备，所述电子设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行所述的方法。

基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行所述的方法。

本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。

需要说明的是，尽管在附图中以特定顺序描述了本发明方法的操作，但这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然本申请提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行（例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境）。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。

上述实施例阐明的单元、装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，移动终端，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (6)

1.一种基于双目相机的参数立体匹配方法，其特征在于，所述方法包括：

获取目标检测区域内的左右图像；

基于权重参数，通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图；

基于监督学习策略对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值；

其中，所述通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图，具体包括：

利用所述多层级网络结构中的encode模块对左右图像进行特征提取，以获得第一特征维度的左右特征图；且/或，

利用所述多层级网络结构中的decode模块对左右图像进行特征提取，以获得第二特征维度的左右特征图；

其中，所述第一特征维度包括：[w,h,dim],[w/2,h/2,dim*2],[w/4,h/4,dim*4]，所述第二特征维度包括[w/4,h/4,dim*4],[w/2,h/2,dim*2]，[w,h,dim]，其中，w是指左右特征图宽度，h是指左右特征图高度，dim是左右特征图数量；

其中，利用以下公式对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值

：

其中，

为聚合后的代价值，C（p，d）为聚合前的代价值，r为传播方向上的单位距离，d为当前视差，di为视差搜索范围内的遍历视差值，p为当前点，λi为惩罚项的最优值，disp-n为视差的搜索范围。

2.如权利要求1所述的参数立体匹配方法，其特征在于，所述监督学习策略具体包括：

基于激光雷达点云获取真实视差值和前向推理的预测视差值；

计算所述真实视差值与所述预测视差值的差值，并将所述差值逐层求取相对于权重参数的梯度，依次根据多层级网络结构进行随机梯度下降的方式进行向前传播；

沿着梯度的反方向随机的调整所述权重参数，使所述差值逐步减小。

3.如权利要求2所述的参数立体匹配方法，其特征在于，通过反向传播结果调整所述权重参数，具体包括：

随机抽取m个样本作为一个批次，计算平均差值，根据平均差值计算梯度，在沿着梯度下降的方向进行权重参数的调整。

4.一种基于双目相机的参数立体匹配系统，其特征在于，所述系统包括：

图像获取单元，用于获取目标检测区域内的左右图像；

特征图获取单元，用于基于权重参数，通过多层级网络结构对左右图像进行特征提取，以获得具有多个特征维度的左右特征图；

聚合结果输出单元，用于基于监督学习策略对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值；

其中，所述特征图获取单元具体用于：

利用所述多层级网络结构中的encode模块对左右图像进行特征提取，以获得第一特征维度的左右特征图；且/或，

利用所述多层级网络结构中的decode模块对左右图像进行特征提取，以获得第二特征维度的左右特征图；

其中，所述第一特征维度包括：[w,h,dim],[w/2,h/2,dim*2],[w/4,h/4,dim*4]，所述第二特征维度包括[w/4,h/4,dim*4],[w/2,h/2,dim*2]，[w,h,dim]，其中，w是指左右特征图宽度，h是指左右特征图高度，dim是左右特征图数量；

其中，利用以下公式对所述左右特征图进行匹配代价聚合，以得到聚合后的代价值

：

其中，

为聚合后的代价值，C（p，d）为聚合前的代价值，r为传播方向上的单位距离，d为当前视差，di为视差搜索范围内的遍历视差值，p为当前点，λi为惩罚项的最优值，disp-n为视差的搜索范围。

5.一种电子设备，其特征在于，所述电子设备包括：数据采集装置、处理器和存储器；

所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-3任一项所述的方法。

6.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-3任一项所述的方法。

Images