CN105389790A - 为立体匹配校正插值系数的装置、方法和计算机可读介质 - Google Patents

Abstract

本发明涉及一种为立体匹配校正插值系数的装置、方法和计算机可读介质。其中用于为立体匹配校正插值系数的装置，包括：插值系数生成部，其被配置成生成插值系数λ；校正值计算部，其被配置成基于图像中物体的位置计算参数和权重值；以及插值系数校正部，其被配置成通过将计算出的参数和计算出的权重值乘以所生成的插值系数，来校正所生成的插值系数。

Description

为立体匹配校正插值系数的装置、方法和计算机可读介质

技术领域

本发明涉及一种用于为立体匹配校正插值系数的装置，更特别涉及一种用于校正插值系数的技术，该插值系数在基于四叉树(Quad-tree-based)的立体匹配算法中确定树的深度(depth)。

背景技术

通常，基于四叉树的立体匹配算法通过匹配检测成本函数来计算插值系数(λ)，并基于插值系数确定树的深度(即结构)。通过利用与定位在图像中的物体(例如障碍物)无关地计算出的插值系数来确定树的深度，因此匹配的准确性可能会比较低。此外，当基于四叉树的立体匹配算法被应用到利用立体图像来计算与物体之间的距离时，匹配的准确性可能会更低。因此，需要一种能够根据图像中物体的位置来校正插值系数的方案。

发明内容

为解决现有技术中的上述问题，本发明提供一种用于为立体匹配校正插值系数的装置，其能够通过基于图像中物体的位置，而适应性地校正在基于四叉树的立体匹配算法中用来确定树的深度的插值系数，从而在利用立体图像来计算与物体之间的距离时能够改善准确性。

根据本发明一个实施方式，一种用于为立体匹配校正插值系数的装置，包括：插值系数生成部，其被配置成生成插值系数λ；校正值计算部，其被配置成基于图像中物体的位置计算参数和权重值；以及插值系数校正部，其被配置成通过将计算出的参数和计算出的权重值乘以所生成的插值系数，来校正所生成的插值系数。

校正值计算部可包括第一参数计算部，其被配置成利用公式：α＝2^d来计算第一参数α，其中d为立体摄像机与物体之间的距离。

校正值计算部可包括第二参数计算部，其被配置成基于到图像中灭点的像素的数目以及与像素相对应的距离来计算第二参数β，该第二参数β是到物体的距离。

校正值计算部可包括车道检测部，其被配置成当物体定位在与车辆相同的车道时赋予权重值γ。

校正值计算部可包括边缘检测部，其被配置成当检测到物体的边缘时赋予权重值δ。

校正值计算部可包括：第一参数计算部，其被配置成利用公式：α＝2^d计算第一参数α，其中d为立体摄像机与物体之间的距离；第二参数计算部，其被配置成基于到该图像中灭点的像素的数目以及与像素相对应的距离来计算第二参数β，该第二参数β是到该物体的距离；车道检测部，其被配置成当物体定位在与车辆相同的车道时赋予权重值γ；以及边缘检测部，其被配置成当检测到物体的边缘时赋予权重值δ。

插值系数校正部利用公式：λ'＝λ×α×β×γ×δ，来校正插值系数λ，其中λ'是校正后的插值系数。

此外，根据本发明的又一实施方式，一种用于为立体匹配校正插值系数的方法，包括以下步骤：生成插值系数λ；基于图像中物体的位置计算参数和权重值；以及通过将计算出的参数与计算出的权重值乘以所生成的插值系数，来校正所生成的插值系数。

该方法还可以包括以下步骤：利用公式α＝2^d计算第一参数α，其中d为立体摄像机与物体之间的距离。

该方法还可以包括以下步骤：基于到图像中灭点的像素的数目以及与像素相对应的距离来计算第二参数β，其中第二参数β是到物体的距离。

该方法还可包括以下步骤：当物体定位在与车辆相同的车道时赋予权重值γ。

该方法还可包括以下步骤：当检测到物体的边缘时赋予权重值δ。

该方法还可包括以下步骤：利用公式：α＝2^d计算第一参数α，其中d为立体摄像机与物体之间的距离；基于到图像中灭点的像素的数目以及与像素相对应的距离来计算第二参数β，其中第二参数β是到物体的距离；当物体定位在与车辆相同的车道时赋予权重值γ；以及当检测到物体的边缘时赋予权重值δ。

该方法还可包括以下步骤：利用公式：λ'＝λ×α×β×γ×δ，来校正插值系数λ，其中λ'为校正后的插值系数。

此外，根据本发明的又一个实施方式提供一种包括用于为立体匹配校正插值系数的程序指令的非暂时计算机可读介质，其包括：生成插值系数λ的程序指令；基于图像中物体的位置计算参数和权重值的程序指令；以及通过将计算出的参数与计算出的权重值乘以所生成的插值系数来校正所生成的插值系数的程序指令。

因此，本发明的教导可通过基于图像中物体的位置，适应性地校正在基于四叉树的立体匹配算法中用来确定树的深度的插值系数，从而在利用立体图像计算与物体之间的距离时能够改善准确性。

附图说明

通过下面的详细描述，并结合附图，本发明的上述及其它目的、特征和优点将会更加显而易见，其中：

图1是根据本发明的实施方式的用于为立体匹配校正插值系数的装置的配置图；以及

图2是根据本发明的基于立体图像的距离计算过程的示例图。

附图中各部件的附图标记：

10：插值系数生成部

20：第一参数计算部

30：第二参数计算部

40：车道检测部

50：边缘检测部

60：插值系数校正部

具体实施方式

通过下面的详细描述，并参考附图，本发明的上述目标、特征和优点将会更加显而易见，使得本领域技术人员可以实施本发明的技术精神。在下文中，将参考附图详细描述本发明的实施方式。通过以下描述，本发明的其他目的和优点将更易于理解，通过所公开的实施方式将会变得更加清楚。此外，应该理解，本发明的目的和优点可通过在权利要求及其组合中描述的装置和方法来实现。

本文所用的术语仅用于描述特定实施例的目的，而并非旨在限制本发明。除非上下文明确指出，否则如本文中所使用的单数形式“一”、“一个”和“该”等意图也包括复数形式。还应该理解的是，在本说明书中使用“包括”和/或“包含”等术语时，是意图说明存在该特征、整数、步骤、操作、元素和/或组件，而不排除一个或多个其它特征、整数、步骤、操作、元素、组件、和/或其组合的存在或增加。如本文中所使用的，术语“和/或”包括一个或多个相关列出项目的任何和所有组合。

可以理解的是，本文中所使用的术语“车辆”或“车辆的”或其它类似的术语包括一般而言的机动车辆，比如包含运动型多用途车辆(SUV)、公共汽车、货车，各种商用车辆的客车、包含各种轮船和舰船的船只、飞行部等等，并且包括混合动力车辆、电动汽车、混合动力电动汽车、氢动力汽车和其它替代燃料汽车(例如，从除了石油以外的资源中取得的燃料)。如在本文中所引用的，混合动力车辆是具有两种或多种动力来源的车辆，例如汽油动力车辆和电动动力车辆二者。

此外，应该理解，下面的方法或其方面中的一个或多个可由至少一个控制部来执行。术语“控制部”可指包括存储部和处理部的硬件装置。存储部被配置成存储程序指令，并且处理部被配置成执行程序指令以执行在下面将进一步描述的一个或多个过程。此外，应该理解，以下的方法可由包括控制部的装置来执行，借此，在本领域中已知的装置适用于为立体匹配校正插值系数。

此外，本发明的控制部可被实施为包含由处理部、控制部等执行的可执行程序指令的计算机可读介质上的非暂时计算机可读介质。计算机可读介质的例子包括，但不局限于，ROM、RAM、光盘(CD)-ROM、磁带、闪存盘、智能卡和光数据存储装置。计算机可读记录介质也可以分布在连接计算机系统的网络中，以使计算机可读介质可以以分布式方式，例如，通过电信息通信服务部或控制部区域网(CAN)，被存储和执行。

现在参考本发明的图1，图1是根据本发明的实施方式的用于为立体匹配校正插值系数的装置的配置图。

如图1所示，根据本发明的用于为立体匹配校正插值系数的装置包括：插值系数生成部10、第一参数计算部20、第二参数计算部30、车道检测部40、边缘检测部50、以及插值系数校正部60。首先，插值系数生成部10生成插值系数λ，该插值系数λ用于在基于四叉树的立体匹配算法中确定树的深度。由于插值系数生成部10生成插值系数的技术为公众所知，因此省略其详细过程。

接着，第一参数计算部20基于立体视觉系统，计算立体摄像机与物体(例如障碍物)之间的距离d，然后基于以下公式来计算第一参数：

[公式1]

α＝2^d

在下文中，参考图2，描述第一参数计算部20计算距离d的过程。

首先，通过利用从立体摄像机220拍摄的图像，寻找对应点来生成深度图(depthmap)。利用深度图和左/右图像来检测移动物体，并获得所检测的移动物体的视差(disparity)平均值。在立体视觉系统中，可通过利用已获得的视差来估计物体的距离。

在图2中，b(即，基线)是指在立体摄像机的中心之间的距离，f是指立体摄像机的焦距(例如，透镜与成像装置(例如CCD、CMOS等)之间的距离)，x_l是指聚焦在左摄像机上的物体偏离左摄像机中心的距离，x_r是指聚焦在右摄像机上的物体偏离右摄像机中心的距离，而d是指在物体与立体摄像机之间的垂直距离。

因此，d可被表示为以下公式：

[公式2]

$d=\frac{f\×b}{x_1-x_r}\≈\frac{f\×b}{k\×p_d}$

在此，P_d是指在图像的像素之间的距离，k是指像素的数目。即，可通过将立体摄像机中心之间的距离b与立体摄像机焦距f之间的乘积除以时间差x_l-x_r来计算d。时间差x_l-x_r可近似于图像像素之间的距离P_d与像素的数目k的乘积。

接着，第二参数计算部30基于到图像中灭点(vanishingpoint)的像素的数目，以及通过车道估计算法估计的与像素相对应的距离，来计算到物体的距离β。例如，其中到灭点的像素的数目可以是100，单个像素可表示实际1m(其可在初始设定过程中获知)。因此，如果从图像的下端到物体的像素的数目是10，则从立体摄像机到物体的距离为10m。

接着，如果物体位于与车辆相同的车道中，则车道检测部40将权重值γ赋予第一权重值(例如γ>1)，如果物体没有位于与车辆相同的车道中，则赋予第二权重值(例如γ＝1)。接着，如果在由边缘估计算法检测物体时通过边缘检测到物体，则边缘检测部50将权重值δ赋予第三权重值(例如δ>1)，如果没有通过边缘检测到物体，则赋予第四权重值(例如δ＝1)。在此，边缘是指图像中区域之间变化比较大的部分(即像素)。

接下来，插值系数校正部60利用由第一参数计算部20计算的第一参数α、由第二参数计算部30计算的第二参数β、由车道检测部40分配的权重值γ、以及由边缘检测部50分配的权重值δ中的至少一个，来校正由插值系数生成部10生成的插值系数。也就是说，插值校正部60可利用以下公式来校正插值系数：

[公式3]

λ'＝λ×α×β×γ×δ

尽管α、β、γ、δ都被应用到[公式3]中，然而，公式中仅需要应用这些参数中的一个参数(应该应用至少一个参数)。因此，存在总共15个可能的公式结构。因此，校正值计算部利用源自第一参数计算部20、第二参数计算部30、车道检测部40以及边缘检测部50中的每一个部分的值。

如上所述，尽管已通过特定的配置和附图对本发明进行了说明，然而，本发明的技术概念并不限于上述实施方式，本领域技术人员在本发明和所附权利要求的技术概念的等效变化内还可以做出各种修改和变化。

Claims (14)

1.一种用于为立体匹配校正插值系数的装置，包括：

插值系数生成部，其被配置成生成插值系数λ；

校正值计算部，其被配置成基于图像中物体的位置计算参数和权重值；以及

插值系数校正部，其被配置成通过将计算出的参数和计算出的权重值乘以所生成的插值系数，来校正所生成的插值系数。

2.如权利要求1所述的用于为立体匹配校正插值系数的装置，其中所述校正值计算部包括第一参数计算部，其被配置成利用以下公式来计算第一参数α：

α＝2^d，

其中d为立体摄像机与所述物体之间的距离。

3.如权利要求1所述的用于为立体匹配校正插值系数的装置，其中所述校正值计算部包括第二参数计算部，其被配置成基于到所述图像中灭点的像素的数目以及与像素相对应的距离来计算第二参数β，所述第二参数β是到所述物体的距离。

4.如权利要求1所述的用于为立体匹配校正插值系数的装置，其中所述校正值计算部包括车道检测部，其被配置成当所述物体定位在与车辆相同的车道时赋予权重值γ。

5.如权利要求1所述的用于为立体匹配校正插值系数的装置，其中所述校正值计算部包括边缘检测部，其被配置成当检测到所述物体的边缘时赋予权重值δ。

6.如权利要求1所述的用于为立体匹配校正插值系数的装置，其中所述校正值计算部包括：

第一参数计算部，其被配置成利用公式：α＝2^d计算第一参数α，其中d为立体摄像机与所述物体之间的距离；

第二参数计算部，其被配置成基于到所述图像中灭点的像素的数目以及与像素相对应的距离来计算第二参数β，所述第二参数β是到所述物体的距离；

车道检测部，其被配置成当所述物体定位在与车辆相同的车道时赋予权重值γ；以及

边缘检测部，其被配置成当检测到所述物体的边缘时赋予权重值δ。

7.如权利要求6所述的用于为立体匹配校正插值系数的装置，其中所述插值系数校正部利用以下公式来校正所述插值系数λ：

λ'＝λ×α×β×γ×δ，

其中λ'是校正后的插值系数。

8.一种用于为立体匹配校正插值系数的方法，包括以下步骤：

生成插值系数λ；

基于图像中物体的位置计算参数和权重值；以及

通过将计算出的参数与计算出的权重值乘以所生成的插值系数，来校正所生成的插值系数。

9.如权利要求8所述的用于为立体匹配校正插值系数的方法，还包括以下步骤：

利用以下公式计算第一参数α：

α＝2^d，

其中d为立体摄像机与所述物体之间的距离。

10.如权利要求8所述的用于为立体匹配校正插值系数的方法，还包括以下步骤：

基于到所述图像中灭点的像素的数目以及与像素相对应的距离来计算第二参数β，其中所述第二参数β是到所述物体的距离。

11.如权利要求8所述的用于为立体匹配校正插值系数的方法，还包括以下步骤：

当所述物体定位在与车辆相同的车道时赋予权重值γ。

12.如权利要求8所述的用于为立体匹配校正插值系数的方法，还包括以下步骤：

当检测到所述物体的边缘时赋予权重值δ。

13.如权利要求8所述的用于为立体匹配校正插值系数的方法，还包括以下步骤：

利用公式：α＝2^d计算第一参数α，其中d为立体摄像机与所述物体之间的距离；

基于到所述图像中灭点的像素的数目以及与像素相对应的距离来计算第二参数β，其中所述第二参数β是到所述物体的距离；

当所述物体定位在与车辆相同的车道时赋予权重值γ；以及

当检测到所述物体的边缘时赋予权重值δ。

14.如权利要求13所述的用于为立体匹配校正插值系数的方法，还包括以下步骤：

利用以下公式校正所述插值系数λ：

λ'＝λ×α×β×γ×δ，

其中λ'为校正后的插值系数。