CN109978933A - 视差信息数据的置信度检测方法，装置与自动驾驶系统 - Google Patents

Abstract

本发明提供一种视差信息数据的置信度检测方法，装置与自动驾驶系统，应用于双目相机系统。该视差信息数据的置信度检测方法包括：对从双目相机系统获取的左视图与右视图进行匹配相似度计算；基于所述匹配相似度计算所述左视图与所述右视图的视差信息数据；根据所述视差信息数据、所述左视图以及所述右视图进行置信度计算，并根据计算结果对所述左视图以及所述右视图进行一致性评估。本发明通过对视差信息数据进行置信度计算及输出，对双目相机系统获取的左视图与右视图进行结构一致性评估。

Description

视差信息数据的置信度检测方法，装置与自动驾驶系统

技术领域

本发明涉及图像成像领域，尤其涉及一种视差信息数据的置信度检测方法，装置与自动驾驶系统。

背景技术

视差信息数据是双目相机使用中十分重要的数据信息，主要作用在于，可以通过视差信息获取相机视场范围内的路径路面信息、障碍物信息、以及距离信息。这些信息的应用，都完全依赖于视差信息的准确性。但是在自动驾驶领域的实际使用过程中，由于双目相机制造工艺限制，使用环境条件复杂等因素，视差信息数据有时会出现不稳定的波动现象，但这种不稳定的波动现象是暂时的、不连续的、偶发的。虽然它不能被认定为双目设备的坏损和失效，但也会对设备的正常工作造成风险隐患。

鉴于此，提出本发明。

发明内容

本发明提出一种视差信息数据的置信度检测方法，装置与自动驾驶系统，用于解决现有技术中视差信息数据有时会出现不稳定的波动现象的问题。

为实现上述目的，根据本发明的一个方面，提供一种视差信息数据的置信度检测方法，并采用如下技术方案：

一种视差信息数据的置信度检测方法，应用于双目相机系统，该置信度检测方法包括：对从双目相机系统获取的左视图与右视图进行匹配相似度计算；基于所述匹配相似度计算所述左视图与所述右视图的视差信息数据；根据所述视差信息数据、所述左视图以及所述右视图进行置信度计算，并根据计算结果对所述左视图以及所述右视图进行一致性评估。

根据本发明的另外一个方面，提供一种视差信息数据的置信度检测装置，并采用如下技术方案：

一种视差信息数据的置信度检测装置包括：第一计算模块，用于对从双目相机系统获取的左视图与右视图进行匹配相似度计算；第二计算模块，用于基于所述匹配相似度计算所述左视图与所述右视图的视差信息数据；第三计算模块，用于对所述视差信息数据、所述左视图以及所述右视图进行置信度计算，并根据计算结果对所述左视图以及所述右视图进行一致性评估。

根据本发明的又一方面，提供一种自动驾驶系统，并采用如下技术方案：

一种自动驾驶系统包括上述的置信度检测装置。

本发明通过SSIM算法对视差信息数据进行置信度计算，通过置信度数值对所述左视图以及所述右视图进行结构一致性评估。其中所有置信度数据都集中在[-1，1]区间，其中越接近1，表示置信度越大，越接近-1，表示置信度越小。本发明还可将置信度数值按照灰度信息可视化输出。将[-1，1]之间的数值，归一化在0至255之间的灰度级别，即1对应255，-1对应0。因此置信度越大，在可视化图像中的偏亮；反之，置信度越小，可视化图像中的偏暗。

由此明显偏暗的区域的视差数据置信度较低，在进一步使用这些区域的视差数据进行其他功能实现的时候，应该更加谨慎，充分考虑可能存在的风险因素。而其他高亮区域，表示这些地方的视差数据置信度较高，可以认为这些区域的视差数据完全正确，对于后续的其他功能，可以正常使用这些区域的视差值而不必担心存在任何风险因素。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1表示本发明实施例所述的视差信息数据的置信度检测方法流程图；

图2表示本发明实施例所述的由双目成像系统获取的左视图和右视图；

图3表示发明实施例所述的视差信息数据可视化示意图；

图4表示本发明实施例所述的置信度可视化示意图；

图5表示本发明实施例所述的视差信息数据的置信度检测装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在对本发明通过以下具体实施例进行阐述之前，先对视差信息数据的置信度进行定义：

所谓视差信息数据，是指的双目相机成像系统中，对同一物体分别在左、右相机上成像位置的坐标差值。求取视差信息数据的方法很多，目前流行的主要方法有相似度匹配、全局匹配等方案。但是在各种方案中，视差信息数据结果的正确性评判，都是不可忽视的一个问题。

本发明提出利用视差信息数据置信度的概念来对视差信息数据进行正确性评判。本专利采用计算左右视图的结构相似性(structural similarity index method，SSIM)作为评判标准，定义视差数据置信度函数如下：

Confidence(disp)＝SSIM(Left，Right) 公式(1)

其中Confidence(disp)表示视差disp的置信度，SSIM(Left，Right)表示基于双目的左(Left)、右(Right)视图，利用前述结构相似性(SSIM)的方法计算置信度。

图1表示本发明实施例所述的视差信息数据的置信度检测方法流程图。

参见图1所示，一种视差信息数据的置信度检测方法包括：

S101：对从双目相机系统获取的左视图与右视图进行匹配相似度计算；

S 103基于所述匹配相似度计算所述左视图与所述右视图的视差信息数据；

S105：根据所述视差信息数据、所述左视图以及所述右视图进行置信度计算，并根据计算结果对所述左视图与所述右视图进行一致性评估。

具体而言，在步骤S101中，由双目相机成像系统可以获取得到对应的左视图imL与右视图imR，参见图2所示，然后对左视图及右视图做匹配相似度计算。具体的，具体计算匹配相似度可采用以左视图为基准，提取边长为n 像素，本实施例中取17行17列的正方形匹配模板mod1。在右视图构建相同尺寸的窗口模板mod2，定义模板的几何中心处像素为核心，令匹配模板mod1 和窗口模板mod2的核心分别在左视图imL和右视图imR的同一行，固定左视图像imL中匹配模板mod1位置，移动右视图像imR中窗口模板mod2，以 s为步长，本实施例中取s＝3，遍历这一行，按照公式(2)进行匹配相似度计算。

其中ρ(mod1，mod2)表示匹配模板mod1与窗口模板mod2的匹配相似度， cov(mod1，mod2)表示匹配模板mod1与窗口模板mod2的协方差，σ(mod1)与σ(mod2)分别表示匹配模板mod1与窗口模板mod2的标准差。计算方法如下所示。

其中n就是模板的边长尺寸在本实施例中n＝17，mod1(i，j)表示模板mod1 中第i行第j列的像素灰度值。

在步骤S103中，基于所述匹配相似度计算所述左视图与所述右视图的视差信息数据。首先，根据所述匹配相似度计算出在所述右视图上的匹配位置；根据所述匹配模板mod1与所述匹配位置计算所述视差信息数据。具体如下：

在计算出的多个所述匹配相似度中，选取其中所述匹配相似度ρ最大值的位置u作为初始化位置x₀，并选取所述匹配相似度ρ最大值的位置u的左右各一个位置的ρ值(x_-1，x₁)；构造相对坐标位置与ρ值之间的二维空间，得到所述二维空间下的三个点坐标分别为(x_-1，ρ_-1)，(x₀，ρ₀)和(x₁，ρ₁)，由最小二乘法拟合得到一条抛物线方程y＝ax²+bx+c，由此确定准确的匹配位置Δx＝-b/2a；其中的a和b即为抛物线方程的相应系数，Δx是匹配位置的横坐标。

进一步的，所述根据所述匹配模板mod1与所述匹配位置计算所述视差信息数据包括：所述视差信息数据由公式(5)计算得到：

disp＝u_{mod 1}-u_{mod 2}+Δx公式(5)

其中，disp指所求的视差信息数据，u_mod1指mod1的核心像素的横坐标， u_mod2指mod2的核心像素的横坐标，Δx是匹配位置的横坐标。

作为优选的实施方式，所述对所述视差信息数据、所述左视图以及所述右视图进行置信度计算，并根据计算结果对所述左视图以及所述右视图数据进行一致性评估包括：

在左视图中以(u₁，v₁)为核心，u₁指该像素位置的横坐标，v₁值该像素位置的纵坐标。提取边长为t，本例中取23行23列，的正方形模板窗口win1，根据视差值可以得到左视图核心点，在右视图中对应的核心像素位置(u_r，v_r) ＝(u₁+disp，v₁)，依然定义在模板窗口的几何中心处像素为核心，并在右视图中的此位置提取相同大小的窗口模板win2，为了更好计算精确度，第二次用到的win应该比第一次用到的mod要大一些，在数学上计算的时候可以湮灭第一次的计算误差得到的结果不会累积误差。

假设视差信息完全准确，则win1中的物体应该与win2中的物体几乎相同。在本发明中，这种相同指的是结构上的相同。

为了达到这一约束目的，选取SSIM算法来对视差数据进行评估。如下公式所示：

其中，μ_{win 1}是win1的平均值，μ_{win 2}是win2的平均值；是win1的方差，是win2的方差；σ_{win 1win 2}是win1和win2的协方差。c₁＝ (k₁L)²，c₂＝(k₂L)²其中L是图像的像素灰度值动态范围，k₁＝0.01，k₂＝0.03。计算方法如下：

SSIM的最终取值范围是-1到1之间，越靠近1表示两幅图像结构一致性越高。

同样参见图2所示，双目成像系统的图像，图3是根据图2双目图像计算得到的视差信息可视化图像，由图2可以看到：

(1)路面灰色横线区域(左视图点划线标记框内)，由于大量的重复性信息，导致视差数据计算错误，这体现在图3中(点划线标记框内)的区域与附近路面产生割裂效果。

(2)远处两个较高的障碍物(左视图圆点线标记框内)，由于距离较远，导致视差数据分辨率不够，这体现在图2中(圆点线标记框内)的区域内无法将障碍物的视差数据信息与周围背景信息(天空)区分开来。

针对图3中视差信息的所呈现出的这一现象，使用本发明提供的公式(5) 的方法，对所有像素的视差信息数据进行置信度计算，并将置信度数值以可视化方式输出，可以得到如图4所示的图像结果。其中所有数据都集中在[-1，1] 区间，其中越接近1，表示置信度越大，越接近-1，表示置信度越小。将[-1，1] 之间的数值，归一化在0至255之间的灰度级别，即1对应255，-1对应0。将置信度数值按照灰度信息可视化输出。因此置信度越大，在可视化图像中的偏亮；反之，置信度越小，可视化图像中的偏暗。

从图4可以看到，对应图2和图3圆点线和点划线标记框内的部分，在图 4的数据可视化图像中都明显偏暗，这表明这些区域的视差信息数据置信度较低，在进一步使用这些区域的视差信息数据进行其他功能实现的时候，应该更加谨慎，充分考虑可能存在的风险因素。而其他高亮区域，表示这些地方的视差数据置信度较高，可以认为这些区域的视差数据完全正确，对于后续的其他功能，可以正常使用这些区域的视差值而不必担心存在任何风险因素。

图5表示本发明实施例所述的视差信息数据的置信度检测装置的结构示意图。

参见图5所示，视差信息数据的置信度检测装置包括：第一计算模块50，用于对从双目相机系统获取的左视图与右视图进行匹配相似度计算；第二计算模块52，用于基于所述匹配相似度计算所述左视图与所述右视图的视差信息数据；第三计算模块54，用于对所述视差信息数据、所述左视图以及所述右视图进行置信度计算，并根据计算结果对所述左视图与所述右视图进行一致性评估。

可选地，所述第一计算模块50包括：提取模块(图中未示)，用于以所述左视图为基准，在所述左视图上提取一匹配模板mod1；构建模块(图中未示)，用于在所述右视图上构建与所述匹配模板mod1尺寸相同的窗口模板mod2；定义模块(图中未示)，用于分别定义所述匹配模板mod1与所述窗口模板mod2 的几何中心处像素为核心，且所述匹配模板mod1和所述窗口模板mod2的核心分别在左视图imL和右视图imR的同一行，固定所述匹配模板mod1的位置，移动所述窗口模板mod2，以s为步长，遍历从所述窗口模板mod2的核心到所述匹配模板mod1的核心，按照公式(2)进行所述匹配相似度计算：

其中ρ(mod1，mod2)表示匹配模板mod1与窗口模板mod2的匹配相似度； cov(mod1，mod2)表示匹配模板mod1与窗口模板mod2的协方差，σ(mod1)与σ(mod2)分别表示匹配模板mod1与窗口模板mod2的标准差，计算方法分别为公式(3)和公式(4)：

其中n是匹配模板mod1的边长尺寸，mod1(i，j)表示匹配模板mod1中第i 行第j列的像素灰度值。

本发明提供的一种自动驾驶系统，包括上述的置信度检测装置。

本发明通过对视差信息数据进行置信度计算及输出，对双目相机系统获取的左视图与右视图进行结构一致性评估。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种视差信息数据的置信度检测方法，应用于双目相机系统，其特征在于，包括：

对从双目相机系统获取的左视图与右视图进行匹配相似度计算；

基于所述匹配相似度计算所述左视图与所述右视图的视差信息数据；

根据所述视差信息数据、所述左视图以及所述右视图进行置信度计算，并根据计算结果对所述左视图以及所述右视图进行一致性评估。

2.如权利要求1所述的置信度检测方法，其特征在于，所述对从双目相机系统获取的左视图与右视图进行匹配相似度计算包括：

以所述左视图为基准，在所述左视图上提取一匹配模板mod1；

在所述右视图上构建与所述匹配模板mod1尺寸相同的窗口模板mod2；

分别定义所述匹配模板mod1与所述窗口模板mod2的几何中心处像素为核心，且所述匹配模板mod1的核心与所述窗口模板mod2的核心在同一行，固定所述匹配模板mod1的位置，移动所述窗口模板mod2，以s为步长，遍历从所述窗口模板mod2的核心到所述匹配模板mod1的核心，按照公式(2)进行所述匹配相似度计算：

其中ρ(mod1，mod2)表示匹配模板mod1与窗口模板mod2的匹配相似度；cov(mod1，mod2)表示匹配模板mod1与窗口模板mod2的协方差，σ(mod1)与σ(mod2)分别表示匹配模板mod1与窗口模板mod2的标准差，计算方法分别为公式(3)和公式(4)：

其中n是匹配模板mod1的边长尺寸，mod1(i，j)表示匹配模板mod1中第i行第j列的像素灰度值。

3.如权利要求1所述的置信度检测方法，其特征在于，所述基于所述匹配相似度计算所述左视图与所述右视图的视差信息数据包括：

根据所述匹配相似度计算出在所述右视图上的匹配位置；

根据所述匹配模板与所述匹配位置计算所述视差信息数据。

4.如权利要求3所述的置信度检测方法，其特征在于，所述根据所述匹配相似度计算出在所述右视图上的匹配位置包括：

在计算出的多个所述匹配相似度中，选取其中所述匹配相似度ρ最大值的位置u作为初始化位置x₀，并选取所述匹配相似度ρ最大值的位置u的左右各一个位置的ρ值(x_-1，x₁)；

构造相对坐标位置与ρ值之间的二维空间，得到所述二维空间下的三个点坐标分别为(x_-1，ρ_-1)，(x₀，ρ₀)和(x₁，ρ₁)，由最小二乘法拟合得到一条抛物线方程y＝ax²+bx+c，由此确定准确的匹配位置Δx＝-b/2a；

其中的a和b即为抛物线方程的相应系数，Δx是匹配位置的横坐标。

5.如权利要求4所述的置信度检测方法，其特征在于，所述根据所述匹配模板mod1与所述匹配位置计算所述视差信息数据包括：

所述视差信息数据由公式(5)计算得到：

disp＝u_mod1-u_mod2+Δx公式(5)

其中，disp指所求的视差信息数据，u_mod1指mod1的核心像素的横坐标，u_mod2指mod2的核心像素的横坐标，Δx是匹配位置的横坐标。

6.如权利要求5所述的置信度检测方法，其特征在于，所述对所述视差信息数据、所述左视图以及所述右视图进行置信度计算，并根据计算结果对所述左视图以及所述右视图进行一致性评估包括：

通过SSIM算法对所述视差信息数据进行评估，公式(6)如下所示：

其中，win1表示正方形匹配模板，win2表示窗口模板，μ_win1是win1的平均值，μ_win2是win2的平均值；是win1的方差，是win2的方差；σ_win1win2是win1和win2的协方差，c₁＝(k₁L)²，c₂＝(k₂L)²，其中L是图像的像素灰度值动态范围，k1＝0.01，k2＝0.03，计算方法如下：

SSIM的取值范围在-1到1之间，越靠近1表示所述左视图与所述右视图结构一致性越高。

7.如权利要求6所述的置信度检测方法，其特征在于，在所述根据计算结果对所述左视图以及所述右视图进行一致性评估之后，所述置信度检测方法还包括：

将计算得出的置信度数值以可视化方式输出，具体方法为：

所述置信度数值集中在[-1，1]区间；

将[-1，1]之间的数值，归一化在0至255之间的灰度级别，即1对应255，-1对应0，将所述置信度数值按照灰度信息可视化输出。

8.一种视差信息数据的置信度检测装置，应用于双目相机系统，其特征在于，包括：

第一计算模块，用于对从双目相机系统获取的左视图与右视图进行匹配相似度计算；

第二计算模块，用于基于所述匹配相似度计算所述左视图与所述右视图的视差信息数据；

第三计算模块，用于对所述视差信息数据、所述左视图以及所述右视图进行置信度计算，并根据计算结果对所述左视图以及所述右视图进行一致性评估。

9.如权利要求8所述的置信度检测装置，其特征在于，所述第一计算模块包括：

提取模块，用于以所述左视图为基准，在所述左视图上提取一匹配模板mod1；

构建模块，用于在所述右视图上构建与所述匹配模板mod1尺寸相同的窗口模板mod2；

定义模块用于分别定义所述匹配模板mod1与所述窗口模板mod2的几何中心处像素为核心，且所述匹配模板mod1和所述窗口模板mod2的核心分别在左视图imL和右视图imR的同一行，固定所述匹配模板mod1的位置，移动所述窗口模板mod2，以s为步长，遍历从所述窗口模板mod2的核心到所述匹配模板mod1的核心，按照公式(2)进行所述匹配相似度计算：

其中ρ(mod1，mod2)表示匹配模板mod1与窗口模板mod2的匹配相似度；cov(mod1，mod2)表示匹配模板mod1与窗口模板mod2的协方差，σ(mod1)与σ(mod2)分别表示匹配模板mod1与窗口模板mod2的标准差，计算方法分别为公式(3)和公式(4)：

其中n是匹配模板mod1的边长尺寸，mod1(i，j)表示匹配模板mod1中第i行第j列的像素灰度值。

10.一种自动驾驶系统，其特征在于，包括权利要求8至9任一项所述的置信度检测装置。