CN109862349B - 视差图的质量检测方法、装置与自动驾驶系统 - Google Patents

Abstract

本发明提供一种视差图的质量检测方法、装置与自动驾驶系统，该视差图的质量检测方法包括：对目标视差图进行视差信息统计及计算，得到归一化后的视差直方图信息；构建行号索引值与视差等级的二维坐标平面坐标系，并提取满足预设条件的所述视差直方图信息在所述二维坐标平面内进行直线拟合；基于拟合结果，统计所有与拟合直线垂直方向的有效点集合的分布直方图信息，根据统计结果及预设阈值，确定所述目标视差图的质量。本发明从统计学角度出发，通过对“质量好”的视差图进行视差数据的统计分析，建立评判标准的统计学模型，进而可以对质量好的视差图与质量差的视差图像在此统计学模型的标准上加以区分。

Description

视差图的质量检测方法、装置与自动驾驶系统

技术领域

本发明涉及双目相机领域，尤其涉及一种视差图的质量检测方法、装置与自动驾驶系统。

背景技术

在双目相机的使用过程中，视差图是双目相机测距的唯一数据来源。视差图质量的好坏，即是否存在误匹配，在很大程度上决定了双目相机测距的精准度。但是在实际使用过程中，通过各种不同匹配算法得到的视差图信息，并没有一种对其深度图质量的衡量标准，目前只能通过使用者的主观评价来进行评估。

如图1所示，理想效果下视差图内物体边缘清晰，路面视差信息过度平滑、明显，视差图内的杂乱信息较少。但是在实际使用中，由于各种各样的原因，例如行驶过程中路面颠簸导致的震动，或成像环境光线突然变化等因素，导致视差图像无法稳定保持在理想效果下。如图1所示，中间部分的是可以接受的质量较好的视差图示例。物体边缘清晰，路面视差信息过度平滑、明显，在局部小区域内有个别杂点噪音，但是并不影响整体视差信息的正确使用。图1中最右侧是视差图质量较差的示例，在这种情况下，路面和障碍物本身视差信息杂乱，边界出现“空白”分割现象，视差信息本身存在大量噪音污染，已无法正常使用。

目前，在双目立体相机的使用中，针对这一现象还没有一个可以有效实施的客观评价准则。

鉴于此，提出本发明。

发明内容

本发明提出一种视差图的质量检测方法、装置与自动驾驶系统，用于解决现有技术中视差图质量检测评判问题。

为实现上述目的，根据本发明的一个方面，提供一种视差图的质量检测方法，并采用如下技术方案：

一种视差图的质量检测方法，应用于双目相机系统，包括：对目标视差图进行视差信息统计及计算，得到归一化后的视差直方图信息；构建行号索引值与视差等级的二维坐标平面坐标系，并提取满足预设条件的所述视差直方图信息在所述二维坐标平面内进行直线拟合；基于拟合结果，统计所有与拟合直线垂直方向的有效点集合的分布直方图信息，根据统计结果及预设阈值，确定所述目标视差图的质量。

根据本发明的另外一个方面，提供一种视差图的质量检测装置，并采用如下技术方案：

视差图的质量检测装置包括：计算模块，用于对目标视差图进行视差信息统计及计算，得到归一化后的视差直方图信息；构建模块，用于构建行号索引值与视差等级的二维坐标平面坐标系，并提取满足预设条件的所述视差直方图信息在所述二维坐标平面内进行直线拟合；确定模块，用于基于拟合结果，统计所有与拟合直线垂直方向的有效点集合的分布直方图信息，根据统计结果及预设阈值，确定所述目标视差图的质量。

根据本发明的又一个方面，提供一种自动驾驶系统，并采用如下技术方案：

一种自动驾驶系统包括上述的质量检测装置。

本发明从统计学角度出发，建立视差信息的统计学模型，利用视差数据的统计信息，拟合高斯分布，根据高斯分布曲线的方差对视差图质量进行评估。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1表示本发明背景技术所述的视差图质量展示示意图；

图2表示本发明实施例所述的视差图的质量检测方法的流程图；

图3表示本发明实施例所述的在

空间内保留的有效数据点的示意图；

图4表示本发明实施例所述的有效点第一次直线拟合示意图；

图5表示本发明实施例所述的第二次拟合区域示意图；

图6表示本发明实施例所述的有效点第二次直线拟合示意图；

图7表示本发明实施例所述的拟合直线法线方向位置序列示意图；

图8表示本发明实施例所述的视差图的质量检测装置的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图2表示本发明实施例所述的视差图的质量检测方法的流程图。

参见图2所示，一种视差图的质量检测方法包括：

S101：对目标视差图进行视差信息统计及计算，得到归一化后的视差直方图信息；

S103：构建行号索引值与视差等级的二维坐标平面坐标系，并提取满足预设条件的所述视差直方图信息在所述二维坐标平面内进行直线拟合；

S105：基于拟合结果，统计所有与拟合直线垂直方向的有效点集合的分布直方图信息，根据统计结果及预设阈值，确定所述目标视差图的质量。

具体的，在步骤S101中，对目标视差图进行视差信息统计及计算，得到归一化后的视差直方图信息。本实施例仍以图1的中间图像为例，称作目标视差图，首先对目标视差图进行视差信息统计，统计方法如下：

首先统计每一行中，视差值的直方图信息，即对每一行视差信息，统计其不同视差等级对应的视差值在本行中的累计个数；然后将该视差直方图信息进行归一化计算，即计算视差值直方图中对应视差值累计个数占本行全部视差值个数的百分比。可以按公式(1)实现每一行视差信息的归一化直方图统计：

其中：

在公式(1)中，imhist_i,k表示对第i行统计视差等级为k的视差值进行归一化直方图统计。其中，n表示当前第i行共有n列，disp(i,j)表示第i行第j列的视差值。当第i行j列像素对应的视差值等于k的时候，其直方图统计的累积数量增加1，否则不增加，当第i行统计完后，再将视差等级k的累积数量除于第i行的列数n，就得到归一化后的视差直方图信息。

在步骤S103中，构建行号索引值与视差等级的二维坐标平面坐标系，并提取满足预设条件的所述视差直方图信息在所述二维坐标平面内进行直线拟合。

具体而言，将每一行的行号索引值与视差等级组成对应的二维坐标平面坐标系，即二维坐标平面的横轴是视差等级，纵轴是行号索引值，由此可以得到行号索引值与视差等级之间的二维空间

则

内任意一点P坐标可以表示为P(d,i)。其中d表示视差等级，i表示该视差等级对应的行号索引值。

则可以得到二维空间

内的一系列离散点集合{Pi}。计算该离散点集合在行序列下排列的一阶差分，如公式(2)：

对一阶差分序列寻找第i＝k列，要求ΔP_k≥0且ΔP_k-1≤0。此时，二维空间

内的第i＝k列表示视差图像信息中的第i行。以第i行为起点，对深度图像进行分割，保留第i行至最后一行的深度统计信息，第1至第i-1行深度信息不再保留，但行索引号保留。如图3所示，黑色部分的数据为0，高亮部分即为保留下来的有效数据点集合{Pi}。接下来，在被截取后的每一行视差值归一化直方图信息的基础上，提取每一行占比最多的视差值等级，并要求被提取的视差值其归一化直方图信息占比在50％以上。并保存该行对应的二维空间

内的点坐标P(d,i)。针对由所有满足上述约束条件的P(d,i)所组成的集合{Pi}，在二维空间

内拟合直线方程，如图4所示圆点线Lr，即为第一次直线拟合得到的结果。

作为优选的实施方式，本实施例对第一次直线拟合得到的结果上，进一步的进行筛选，做第二次直线拟合。具体方案如下：

以第一次直线拟合得到的直线方程为中心，在其垂直方向两侧各划取t＝5的范围，根据此范围，对{Pi}进行第二次筛选，删除所有不再此范围内的点，只保留t＝±5范围内的点。如图5所示。再次以筛选后的点集为基础，在二维空间

内拟合直线方程，如图6所示虚直线Lg。

在步骤S105中，基于拟合结果，统计所有与拟合直线垂直方向的有效点集合的分布直方图信息，根据统计结果及预设阈值，确定所述目标视差图的质量。

具体的，以步骤S103中第二次直线拟合的结果为基础，在图6所示虚直线线段的法线方向，统计所有与Lg法线垂直方向的有效点集合{Pi}的分布直方图信息hist。

理论上，因为Lg是由{Pi}的点拟合得到的，因此质量好的视差信息的hist统计结果应该满足正态分布规律，且方差较小，即数据的集中度较好。如图7所示：

图7展示的是图1中间示例的视差图像的最终统计信息，可以看到，米字星标识是真实统计的数据点，虚线段是由这些数据拟合得到的高斯曲线。在该示例中，可以得到拟合的高斯曲线的主要参数是μ＝0.543，σ²＝0.0045。

因此，针对该款双目产品的视差图质量评估可以通过上述方案，计算得到最终拟合的高斯曲线，大量实验后可以选取σ²＝0.01作为阈值，对视差图质量进行评判。小于该阈值的认为是质量较好的视差图，大于该阈值的认为是质量较差的视差图。

图8表示本发明实施例所述的视差图的质量检测装置的示意图。

参见图8所示，视差图的质量检测装置，包括：计算模块80，用于对目标视差图进行视差信息统计及计算，得到归一化后的视差直方图信息；构建模块，82用于构建行号索引值与视差等级的二维坐标平面坐标系，并提取满足预设条件的所述视差直方图信息在所述二维坐标平面内进行直线拟合；确定模块84，用于基于拟合结果，统计所有与拟合直线垂直方向的有效点集合的分布直方图信息，根据统计结果及预设阈值，确定所述目标视差图的质量。

可选地，所述计算模块80包括：统计模块(图中未示)，用于统计所述目标视差图的每一行视差信息的不同视差等级对应的视差值在本行中的累计个数，得到所述视差值的直方图信息；计算子模块(图中未示)，用于将所述直方图信息进行归一化计算，实现对每一行视差信息的归一化直方图统计，计算公式为：

其中：

其中，imhist_i,k表示对第i行统计视差等级为k的视差值进行归一化直方图统计，n表示当前第i行共有n列，disp(i,j)表示第i行第j列的视差值，当第i行j列像素对应的视差值等于k的时候，其直方图统计的累积数量增加1，否则不增加，当第i行统计完后，再将视差等级k的累积数量除于第i行的列数n，就得到归一化后的视差直方图信息。

可选地，所述统计模块还用于：统计所有拟合直线垂直方向的有效点集合{Pi}的分布直方图信息数据，并基于所述直方图信息数据拟合得到高斯曲线；将所述高斯曲线的参数与预设阈值进行比较，在所述参数小于所述预设阈值时，确定所述目标视差图为质量较好的视差图。

本发明提供的一种自动驾驶系统包括上述的质量检测装置。

本发明从统计学角度出发，建立视差信息的统计学模型，利用视差数据的统计信息拟合高斯分布，根据高斯分布曲线的方差对视差图质量进行评估。这为视差图质量提供一个客观可行的评价方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种视差图的质量检测方法，应用于双目相机系统，其特征在于，包括：

对目标视差图进行视差信息统计及计算，得到归一化后的视差直方图信息；

构建行号索引值与视差等级的二维坐标平面坐标系，并提取满足预设条件的所述视差直方图信息在所述二维坐标平面内进行直线拟合；

基于拟合结果，统计所有与拟合直线垂直方向的有效点集合的分布直方图信息，根据统计结果及预设阈值，确定所述目标视差图的质量；具体地，统计所有拟合直线垂直方向的有效点集合{Pi}的分布直方图信息数据，并基于所述直方图信息数据拟合得到高斯曲线；将所述高斯曲线的参数与预设阈值进行比较，在所述参数小于所述预设阈值时，确定所述目标视差图为质量较好的视差图；

所述构建行号索引值与视差等级的二维坐标平面坐标系，并提取满足预设条件的所述视差直方图信息在所述二维坐标平面内进行直线拟合包括：

将每一行的行号索引值与视差等级组成对应的二维坐标平面坐标系，即二维坐标平面的横轴是视差等级，纵轴是行号索引值，由此可以得到行号索引值与视差等级之间的二维空间

则二维空间

内任意一点P坐标可以表示为P(d,i)，其中d表示视差等级，i表示该视差等级对应的行号索引值；

计算所述二维空间

内的一系列离散点集合{Pi}的行序列下排列的一阶差分，基于计算结果并根据预设条件得到第一次直线拟合结果；

在所述基于计算结果并根据预设条件得到第一次直线拟合结果之后，所述质量检测方法还包括：

以第一次直线拟合得到的直线为中心，在所述直线的垂直方向两侧各划取t＝5的范围，根据此范围，对{Pi}进行第二次筛选，删除所有不在此范围内的点，只保留t＝±5范围内的点；

再次以筛选后的点集为基础，在二维空间

内拟合直线方程，得到第二次直线拟合结果。

2.如权利要求1所述的质量检测方法，其特征在于，所述对目标视差图进行视差信息统计及计算，得到归一化后的视差直方图信息包括：

统计所述目标视差图的每一行视差信息的不同视差等级对应的视差值在本行中的累计个数，得到所述视差值的直方图信息；

将所述直方图信息进行归一化计算，实现对每一行视差信息的归一化直方图统计，计算公式为：

其中：

其中，imhist_i,k表示对第i行统计视差等级为k的视差值进行归一化直方图统计，n表示当前第i行共有n列，disp(i,j)表示第i行第j列的视差值，当第i行j列像素对应的视差值等于k的时候，其直方图统计的累积数量增加1，否则不增加，当第i行统计完后，再将视差等级k的累积数量除于第i行的列数n，就得到归一化后的视差直方图信息。

3.如权利要求1所述的质量检测方法，其特征在于，所述计算所述二维空间

内的一系列离散点集合{Pi}的行序列下排列的一阶差分，基于计算结果并根据预设条件得到第一次直线拟合结果包括：

计算所述二维空间

内的一系列离散点集合{Pi}在行序列下排列的一阶差分，且计算公式如下：

对一阶差分序列寻找第i＝k列，要求ΔP_k≥0且ΔP_k-1≤0；

其中，二维空间

内的第i＝k列表示视差图像信息中的第i行，以第i行为起点，对深度图像进行分割，保留第i行至最后一行的深度统计信息，第1至第i-1行深度信息不再保留，但行索引号保留；

在被截取后的每一行视差值归一化直方图信息的基础上，提取每一行占比最多的视差值等级，并要求被提取的视差值其归一化直方图信息占比在50％以上，并保存该行对应的二维空间

内的点坐标P(d,i)；

针对由所有满足上述预设条件的P(d,i)所组成的集合{Pi}，在二维空间

内拟合直线方程，即为第一次直线拟合结果。

4.一种视差图的质量检测装置，应用于双目相机系统，其特征在于，包括：

计算模块，用于对目标视差图进行视差信息统计及计算，得到归一化后的视差直方图信息；

构建模块，用于构建行号索引值与视差等级的二维坐标平面坐标系，并提取满足预设条件的所述视差直方图信息在所述二维坐标平面内进行直线拟合；

确定模块，用于基于拟合结果，统计所有与拟合直线垂直方向的有效点集合的分布直方图信息，根据统计结果及预设阈值，确定所述目标视差图的质量；统计所有拟合直线垂直方向的有效点集合{Pi}的分布直方图信息数据，并基于所述直方图信息数据拟合得到高斯曲线；将所述高斯曲线的参数与预设阈值进行比较，在所述参数小于所述预设阈值时，确定所述目标视差图为质量较好的视差图；

所述构建模块具体用于，将每一行的行号索引值与视差等级组成对应的二维坐标平面坐标系，即二维坐标平面的横轴是视差等级，纵轴是行号索引值，由此可以得到行号索引值与视差等级之间的二维空间

则二维空间

内任意一点P坐标可以表示为P(d,i)，其中d表示视差等级，i表示该视差等级对应的行号索引值；

计算所述二维空间

内的一系列离散点集合{Pi}的行序列下排列的一阶差分，基于计算结果并根据预设条件得到第一次直线拟合结果；

在所述基于计算结果并根据预设条件得到第一次直线拟合结果之后，所述确定模块还用于：

以第一次直线拟合得到的直线为中心，在所述直线的垂直方向两侧各划取t＝5的范围，根据此范围，对{Pi}进行第二次筛选，删除所有不在此范围内的点，只保留t＝±5范围内的点；

再次以筛选后的点集为基础，在二维空间

内拟合直线方程，得到第二次直线拟合结果。

5.如权利要求4所述的质量检测装置，其特征在于，所述计算模块包括：

统计模块，用于统计所述目标视差图的每一行视差信息的不同视差等级对应的视差值在本行中的累计个数，得到所述视差值的直方图信息；

计算子模块，用于将所述直方图信息进行归一化计算，实现对每一行视差信息的归一化直方图统计，计算公式为：

其中：

其中，imhist_i,k表示对第i行统计视差等级为k的视差值进行归一化直方图统计，n表示当前第i行共有n列，disp(i,j)表示第i行第j列的视差值，当第i行j列像素对应的视差值等于k的时候，其直方图统计的累积数量增加1，否则不增加，当第i行统计完后，再将视差等级k的累积数量除于第i行的列数n，就得到归一化后的视差直方图信息。

6.一种自动驾驶系统，其特征在于，包括权利要求4-5任一项所述的质量检测装置。

Images