CN111383185B - 一种基于稠密视差图的孔洞填充方法及车载设备 - Google Patents

Abstract

本发明提供一种基于稠密视差图的孔洞填充方法及车载设备，所述方法包括：获取稠密视差图像；遍历所述稠密视差图像中的每一行视差点确定孔洞区域和非孔洞区域；确定所述孔洞区域的位置；统计所述非孔洞区域中视差点的数量；根据所述孔洞区域的位置和所述数量对所述孔洞区域进行孔洞填充，本发明可以通过逐行搜索孔洞区域，从而使搜索结果更加准确，并且本发明可以根据孔洞区域的位置及非孔洞区域的视差点的数量进行孔洞填充，从而可以有效去除大片无纹理区域的斑块噪声，填补孔洞视差，获取平滑的稠密视差，还可以减少消耗的硬件资源。

Description

一种基于稠密视差图的孔洞填充方法及车载设备

技术领域

本发明涉及双目视觉技术领域，尤其涉及一种基于稠密视差图的孔洞填充方法及车载设备。

背景技术

双目立体视觉的原理是通过模拟人类双眼识别场景的三维信息，即从两个角度获取场景的二维图像，再通过建立图像之间的匹配关系，获得视差图像，进而根据三角测量原理，获得原始图像的深度信息，其主要包括相机标定、图像校正及双目图像匹配等主要过程，其中建立两幅图像像素点的对应关系就是立体匹配的过程，也是双目立体视觉的核心过程。

现有双目立体匹配主要有两大类，局部匹配算法和全局匹配算法。其中，局部匹配算法利用邻域信息进行匹配，即每个像素点视差的计算只在一个有限的窗口中进行，匹配时只考虑窗口中像素之间的灰度信息或位置关系，其计算复杂度较低，匹配精度较差，特别是在低纹理，视差不连续的区域容易产生误匹配，其常用方法有基于固定窗口的立体匹配方法；全局匹配算法是利用整幅图像的信息，构造具有数据项和平滑项的能量函数，使匹配问题转化为求取能量函数的全局最优的问题，所以其匹配精度较高，但相比局部匹配算法，其计算复杂度较高，耗时较长，常用方法有动态规划算法，置信度传播算法等。

双目立体匹配获得的视差图像主要分为两种，即稠密视差图像和稀疏视差图像。其中，稠密视差图像是对源图像中的每一个像素点，都有相应的视差值与其对应，信息量比较丰富；而稀疏视差图像是仅特征点有对应的视差值，非特征点处为无效视差。由于稠密视差图像可以获取丰富的三维信息，因此在三维重建和ADAS领域得到广泛应用。

然而，现阶段的得到的初始视差图像经过后处理之后往往存在空洞点(也可称为孔洞点)和斑块噪声，尤其是大片无纹理区域和深度不连续区域，例如天空中的斑块噪声。大量的噪声出会影响障碍物检测的准确性，造成大量的漏检和误检，降低产品的安全标准和用户体验。现阶段传统方法主要采用计算复杂度高的滤波器(如中值滤波，引导器滤波，双边滤波等)去除稠密视差图中的噪声视差，但由于处理效果依赖于窗口大小，一般而言，处理窗口越大，处理效果越好，但是斑点噪声去除效果并不理想，窗口增大还会直接导致硬件资源(例如FPGA)的消耗直线上升。现有的滤波器后处理的对于孔洞的填充的效果欠佳。

发明内容

有鉴于此，本发明提供一种基于稠密视差图的孔洞填充方法及车载设备来解决现有技术中对稠密视差图的孔洞点处理效果较差的问题。

具体地，本发明是通过如下技术方案实现的：

本发明提供一种基于稠密视差图的孔洞填充方法，所述方法包括：

获取稠密视差图像；

遍历所述稠密视差图像中的每一行视差点确定孔洞区域和非孔洞区域；

确定所述孔洞区域的位置；

统计所述非孔洞区域中视差点的数量；

根据所述孔洞区域的位置和所述数量对所述孔洞区域进行孔洞填充。

作为一个实施例，遍历所述稠密视差图像中的每一行视差点确定孔洞区域和非孔洞区域，包括：

从所述稠密视差图像的第一行的左起第一个视差点开始搜索遍历；

当搜索到的视差点的视差值为0时，确定所述搜索到的视差点为孔洞点，当搜索到的视差点的视差值不为0时，确定所述搜索到的视差点为非孔洞点；

基于首个孔洞点在第一范围内进行孔洞搜索，直到搜索到首个非孔洞点或者到边缘时，确定搜索到的孔洞点组成的区域为孔洞区域；

基于首个非孔洞点在第二范围内进行非孔洞搜索，直到搜索到首个孔洞点或者到边缘时，确定搜索到的非孔洞点组成的区域为非孔洞区域。

作为一个实施例，确定所述孔洞区域的位置，包括：

若确定图像每一行的第一个视差点或者最后一个视差点为孔洞点，则确定所述孔洞区域位于图像两侧，否则确定所述孔洞区域位于图像中间。

作为一个实施例，根据所述孔洞区域的位置和所述视差点数量对所述孔洞区域进行孔洞填充，包括：

当所述孔洞区域位于图像两侧时，判断所述数量是否大于阈值，若是，则将所述非孔洞区域中的与所述孔洞区域相邻的非孔洞点的视差值作为填补值对所述孔洞区域进行填补；若否，则将所述非孔洞区域视差点的视差值置为0；

当所述孔洞区域位于图像中间时，判断所述数量是否大于阈值，若是，则将所述非孔洞区域中的与所述孔洞区域相邻的且视差值最小的非孔洞点的视差值作为填补值对所述孔洞区域进行填补；若否，则将所述非孔洞区域视差点的视差值置为0。

作为一个实施例，根据填补值对所述所述孔洞区域进行填补，包括：

根据所述填补值所对应的阈值区间，确定所述填补值对应的所述孔洞区域的填充长度；所述填补值与所述填充长度成正比。

基于相同的构思，本发明还提供一种车载设备，所述车载设备包括存储器、处理器、通信接口以及通信总线；

其中，所述存储器、处理器、通信接口通过所述通信总线进行相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的计算机程序，所述处理器执行所述计算机程序时实现所述基于稠密视差图的孔洞填充方法的任一步骤。

基于相同的构思，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述基于稠密视差图的孔洞填充方法的任一步骤。

由此可见，本发明通过获取稠密视差图像，遍历所述稠密视差图像中的每一行视差点确定孔洞区域和非孔洞区域，确定所述孔洞区域的位置并统计所述非孔洞区域中视差点的数量，根据所述孔洞区域的位置和所述数量对所述孔洞区域进行孔洞填充。相比于现有技术通过窗口进行孔洞填充，本发明可以通过逐行搜索孔洞区域，从而使搜索结果更加准确，并且本发明可以根据孔洞区域的位置及非孔洞区域中视差点的数量进行孔洞填充，从而可以有效去除大片无纹理区域的斑块噪声，填补孔洞视差，获取平滑的稠密视差，还可以减少消耗的硬件资源。

附图说明

图1是本发明一种示例性实施方式中的一种基于稠密视差图的孔洞填充方法的处理流程图；

图2是本发明一种示例性实施方式中的初始稠密视差图的示意图；

图3是本发明一种示例性实施方式中的孔洞区域位置示意图；

图4是本发明一种示例性实施方式中的孔洞搜索及填充方法的处理流程图；

图5是本发明一种示例性实施方式中的利用本申请实施例提供的基于稠密视差图的孔洞方法实现的填充效果示意图；

图6本发明一种示例性实施方式中的一种车载设备的逻辑结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了解决现有技术存在的问题，本发明提供一种基于稠密视差图的孔洞填充方法及车载设备，可以通过获取稠密视差图像，遍历所述稠密视差图像中的每一行视差点确定孔洞区域和非孔洞区域，确定所述孔洞区域的位置并统计所述非孔洞区域中视差点的数量，根据所述孔洞区域的位置和所述数量对所述孔洞区域进行孔洞填充。相比于现有技术通过窗口进行孔洞填充，本发明可以通过逐行搜索孔洞区域，从而使搜索结果更加准确，并且本发明可以根据孔洞区域的位置及非孔洞区域视差点的数量进行孔洞填充，从而可以有效去除大片无纹理区域的斑块噪声，填补孔洞视差，获取平滑的稠密视差，还可以减少消耗的硬件资源。

请参考图1，是本发明一种示例性实施方式中的一种基于稠密视差图的孔洞填充方法的处理流程图，所该方法包括：

步骤101、获取稠密视差图像；

在本实施例中，车载相机可以基于初始视差图像，经过初步的斑点滤波和中值滤波的预处理后，去除面积较小的噪声点，得到稠密视差图像，如图2所示，该稠密视差图像中包含的面积较大的斑块噪声，例如图2左上角圈出的区域。

步骤102、遍历所述稠密视差图像中的每一行视差点确定孔洞区域和非孔洞区域；

作为一个实施例，可以从所述稠密视差图像的第一行的左起第一个视差点开始搜索遍历；当搜索到的视差点的视差值为0时，可以确定所述搜索到的视差点为孔洞点，当搜索到的视差点的视差值不为0时，可以确定所述搜索到的视差点为非孔洞点。当搜索到首个孔洞点时，可以基于首个孔洞点在第一范围内进行孔洞搜索，直到搜索到首个非孔洞点或者到图像边缘时，确定搜索到的孔洞点组成的区域为孔洞区域；同理，当搜索到首个非孔洞点时，可以基于首个非孔洞点在第二范围内进行非孔洞搜索，直到搜索到首个孔洞点或者到图像边缘时，确定搜索到的非孔洞点组成的区域为非孔洞区域。

步骤103、确定所述孔洞区域的位置；

孔洞区域主要出现的位置包括在稠密视差图像中的最左或最右端区域，以及出现在图像中间区域，具体位置请参见图3，其中白色方块代表孔洞点，灰色方块代表非孔洞点，白色方块组成的区域为孔洞区域，灰色方块组成的区域为非孔洞区域。

作为一个实施例，根据图3中孔洞区域的常见位置特征，可以进一步协助本发明确定孔洞区域的位置。具体来讲，若确定图像每一行的第一个视差点或者最后一个视差点为孔洞点，则确定所述孔洞区域位于图像两侧，否则确定所述孔洞区域位于图像中间。

步骤104、统计所述非孔洞区域中视差点的数量；

在本实施例中，确定非孔洞区域后，可以进一步统计非孔洞区域中视差点的数量。

步骤105、根据所述孔洞区域的位置和所述数量对所述孔洞区域进行孔洞填充。

在本实施例中，可以根据所述孔洞区域的位置和视差点的数量对所述孔洞区域进行孔洞填充。具体来讲，当孔洞区域位于图像两侧时，判断非孔洞区域内的视差点的数量是否大于阈值，若是，则说明非孔洞区域较大，从而可将孔洞区域填补为非孔洞区域，因此可将所述非孔洞区域中的与所述孔洞区域相邻的非孔洞点的视差值作为填补值对所述孔洞区域进行填补；若否，则说明非孔洞区域较小，从而可将非孔洞区域填补为孔洞区域，因此可将所述非孔洞区域中视差点的视差值置为0；当孔洞区域位于图像中间时，判断非孔洞区域内的视差点的数量是否大于阈值，若是，则说明非孔洞区域较大，从而将孔洞区域填补为非孔洞区域，因此可将所述非孔洞区域中的与所述孔洞区域相邻的且视差值最小的非孔洞点的视差值作为填补值，并根据填补值对所述孔洞区域进行填补；若否，则说明非孔洞区域较小，从而可将非孔洞区域填补为孔洞区域，因此将所述非孔洞区域中视差点的视差值置为0。本发明的填补方法，对于像天空这种大片无纹理区域中的斑块噪声进行填充时，由于斑块噪声对应为非孔洞区域，而非孔洞区域较小，因此可以将非孔洞区域填补为孔洞区域，从而减少斑块噪声，使图像更加平滑。

作为一个实施例，当根据填补值对所述所述孔洞区域进行填补时，可以根据所述填补值所对应的阈值区间，确定所述填补值对应的所述孔洞区域的填充长度；然后根据该填充长度进行孔洞填补。考虑到孔洞区域在图像中的近大远小的特点，孔洞的填补长度fillLength主要由填补值holeValue决定。所述填补值与所述填充长度成正比，还可以预先设置填补值holeValue的阈值区间以及对应的填补长度fillLength，如下所示：

上述所提的阈值均为参考值，可以根据实际情况进行设定。如果填补长度小于确定的孔洞长度，则孔洞未被填补。反之，填补长度大于孔洞长度，孔洞则被填补值完全填补上。填补结束后，则以非孔洞区域的结束点为起点进行下一孔洞点的搜索和填补。

为了进一步说明本发明的孔洞搜索及填充过程，请参见图4的孔洞搜索及填充方法的处理流程，具体包括：

步骤401、遍历稠密视差图，转步骤402；

步骤402、判断当前视差点是否为孔洞点，若是，则转步骤403；若否，则转步骤407；

步骤403、向该孔洞点的两侧搜索，搜索范围为k，转步骤404；

步骤404、判断当前搜索范围是否大于k，或搜索到边界，若是，转步骤405；若否，转步骤406；

步骤405、记录孔洞区域的长度和位置，转步骤409；

步骤406、获取下一个视差点作为当前视差点，转步骤402；

步骤407、向该非孔洞点的两侧搜索，搜索范围为m，转步骤408；

步骤408、判断当前搜索范围是否大于m，或搜索到边界，若是，转步骤409；若否，转步骤406；

步骤409、判断非孔洞区域的有效视差个数是否大于阈值，若是，转步骤410；若否，转步骤411；

步骤410、将孔洞区域与非孔洞区域相邻视差点且较小的视差值作为填补值填充孔洞区域，转步骤412；

步骤411、将非孔洞区域中视差点的视差值置0，转步骤412；

步骤412、得到填补后的稠密视差图。

按照上述方法，可以将稠密视差图中的全部视差点进行遍历，通过根据孔洞位置及非孔洞中有效视差点的数量，对孔洞区域进行孔洞填充，从而得到最终的稠密视差图像，如图5所示，对比图2的斑块噪声区域，可见经过本发明提供的基于稠密视差图的孔洞填充方法处理后的稠密视差图的斑块噪声明显减少了。

相比于现有技术通过窗口进行孔洞填充，本发明可以通过逐行搜索孔洞区域，从而使搜索结果更加准确，并且本发明可以根据孔洞区域的位置及非孔洞区域视差点的数量进行孔洞填充，从而可以有效去除大片无纹理区域的斑块噪声，填补孔洞视差，获取平滑的稠密视差，还可以减少消耗的硬件资源。

基于相同的构思，本发明还提供一种车载设备，如图6所示，所述车载设备包括存储器61、处理器62、通信接口63以及通信总线64；

其中，所述存储器61、处理器62、通信接口63通过所述通信总线64进行相互间的通信；

所述存储器61，用于存放计算机程序；

所述处理器62，用于执行所述存储器61上所存放的计算机程序，所述处理器62执行所述计算机程序时实现本发明实施例提供的基于稠密视差图的孔洞填充方法的任一步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供的基于稠密视差图的孔洞填充方法的任一步骤。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于计算机设备和计算机可读存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

综上所述，本发明通过获取稠密视差图像，遍历所述稠密视差图像中的每一行视差点确定孔洞区域和非孔洞区域，确定所述孔洞区域的位置并统计所述非孔洞区域中视差点的数量，根据所述孔洞区域的位置和所述数量对所述孔洞区域进行孔洞填充。相比于现有技术通过窗口进行孔洞填充，本发明可以通过逐行搜索孔洞区域，从而使搜索结果更加准确，并且本发明可以根据孔洞区域的位置及非孔洞区域视差点的数量进行孔洞填充，从而可以有效去除大片无纹理区域的斑块噪声，填补孔洞视差，获取平滑的稠密视差，还可以减少消耗的硬件资源。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (6)

1.一种基于稠密视差图的孔洞填充方法，其特征在于，所述方法包括：

获取稠密视差图像；

遍历所述稠密视差图像中的每一行视差点确定孔洞区域和非孔洞区域；

确定所述孔洞区域的位置；

统计所述非孔洞区域中视差点的数量；

根据所述孔洞区域的位置和所述数量对所述孔洞区域进行孔洞填充；

所述根据所述孔洞区域的位置和所述数量对所述孔洞区域进行孔洞填充，包括：

当所述孔洞区域位于图像两侧时，判断所述数量是否大于阈值，若是，则将所述非孔洞区域中的与所述孔洞区域相邻的非孔洞点的视差值作为填补值，并根据填补值对所述孔洞区域进行填补；若否，则将所述非孔洞区域视差点的视差值置为0；

当所述孔洞区域位于图像中间时，判断所述数量是否大于阈值，若是，则将所述非孔洞区域中的与所述孔洞区域相邻的且视差值最小的非孔洞点的视差值作为填补值对所述孔洞区域进行填补；若否，则将所述非孔洞区域视差点的视差值置为0。

2.根据权利要求1所述的方法，其特征在于，遍历所述稠密视差图像中的每一行视差点确定孔洞区域和非孔洞区域，包括：

从所述稠密视差图像的第一行的左起第一个视差点开始搜索遍历；

当搜索到的视差点的视差值为0时，确定所述搜索到的视差点为孔洞点，当搜索到的视差点的视差值不为0时，确定所述搜索到的视差点为非孔洞点；

基于首个孔洞点在第一范围内进行孔洞搜索，直到搜索到首个非孔洞点或者到边缘时，确定搜索到的孔洞点组成的区域为孔洞区域；

基于首个非孔洞点在第二范围内进行非孔洞搜索，直到搜索到首个孔洞点或者到边缘时，确定搜索到的非孔洞点组成的区域为非孔洞区域。

3.根据权利要求1所述的方法，其特征在于，确定所述孔洞区域的位置，包括：

若确定图像每一行的第一个视差点或者最后一个视差点为孔洞点，则确定所述孔洞区域位于图像两侧，否则确定孔洞区域位于图像中间。

4.根据权利要求1所述的方法，其特征在于，根据填补值对所述所述孔洞区域进行填补，包括：

根据所述填补值所对应的阈值区间，确定所述填补值对应的所述孔洞区域的填充长度；所述填补值与所述填充长度成正比。

5.一种车载设备，其特征在于，所述车载设备包括存储器、处理器、通信接口以及通信总线；

其中，所述存储器、处理器、通信接口通过所述通信总线进行相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-4中任一项所述的方法。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的方法。