CN108876841A - 一种视差图视差求精中插值的方法及系统 - Google Patents

Abstract

本申请公开了一种视差图视差求精中插值的方法，包括：以视差图中的错误匹配点为中心，沿N个方向搜索视差有效的像素点；分别计算错误匹配点与各方向搜索到的像素点之间的欧式距离，并利用欧式距离计算对应的欧式距离权重；根据原始图像的像素值以及原始图像的颜色通道，分别计算错误匹配点与各方向搜索到的像素点之间的颜色空间距离，并利用颜色空间距离计算对应的颜色空间距离权重；根据欧式距离权重以及颜色空间距离权重，计算错误匹配点的视差值；该方法能解决传统视差求精中插值算法鲁棒性差、效率低下的问题；本申请公开了一种视差图视差求精中插值的系统，具有上述有益效果。

Description

一种视差图视差求精中插值的方法及系统

技术领域

本申请涉及计算机视觉技术领域，特别涉及一种视差图视差求精中插值的方法及系统。

背景技术

基于局部匹配的立体匹配算法一般可以分解为四个步骤：代价计算、代价聚合、视差计算以及视差求精。其中，视差求精可用于生成稠密的视差图，是局部立体匹配算法中非常关键的步骤。

一般的视差求精步骤主要包含左右一致检测、插值、中值滤波等。左右一致性检测可以检测视差图像中的正常点、遮挡点以及错误点；插值是对遮挡点和错误点进行填充；中值滤波使视察图像更平滑。

在这些骤中，插值结果的好坏直接影响稠密视差图的最终效果，是视差求精中的关键步骤。传统的插值方法大多采用最近邻插值方法或者区域内求中值的方法；这些方法在视差图像存在大片错误区域时仍然会造成严重的错误，尤其是在视差不连续区域。因此，在实际应用中，采用一种更加鲁棒并且效率较高的插值算法是十分必要的。

申请内容

本申请的目的是提供一种视差图视差求精中插值的方法及系统，能解决传统视差求精中插值算法鲁棒性差、效率低下的问题。

为解决上述技术问题，本申请提供一种视差图视差求精中插值的方法，所述方法包括：

以视差图中的错误匹配点为中心，沿N个方向搜索视差有效的像素点；

分别计算所述错误匹配点与各方向搜索到的所述像素点之间的欧式距离，并利用所述欧式距离计算对应的欧式距离权重；

根据原始图像的像素值以及原始图像的颜色通道，分别计算所述错误匹配点与各方向搜索到的所述像素点之间的颜色空间距离，并利用所述颜色空间距离计算对应的颜色空间距离权重；

根据所述欧式距离权重以及所述颜色空间距离权重，计算所述错误匹配点的视差值。

可选的，分别计算所述错误匹配点与各方向搜索到的所述像素点之间的欧式距离，包括：

利用公式d_i＝|p_ep_i|分别计算所述错误匹配点p_e与各方向搜索到的所述像素点p_i之间的欧式距离d_i。

可选的，利用所述欧式距离计算对应的欧式距离权重，包括：

根据所述欧式距离d_i，利用公式计算i方向搜索到的所述像素点对应的欧式距离权重其中，β＞0，β为常数参数。

可选的，根据原始图像的像素值以及原始图像的颜色通道，分别计算所述错误匹配点与各方向搜索到的所述像素点之间的颜色空间距离，包括：

根据原始图像的像素值I(·)以及原始图像的颜色通道j，利用公式分别计算所述错误匹配点p_e与各方向搜索到的所述像素点p_i之间的颜色空间距离c_i。

可选的，利用所述颜色空间距离计算对应的颜色空间距离权重，包括：

根据所述颜色空间距离c_i，利用公式计算i方向搜索到的所述像素点对应的颜色空间距离权重其中，γ＞0，γ为常数参数。

可选的，根据所述欧式距离权重以及所述颜色空间距离权重，计算所述错误匹配点的视差值，包括：

根据所述欧式距离权重以及所述颜色空间距离权重利用公式计算所述错误匹配点p_e的视差值disparity(p_e)；其中，disparity(·)表示参考视差图像的像素值；λ＞0控制欧式距离与颜色空间距离的权重比例。

可选的，所述错误匹配点的确定方式，包括：

利用左右一致性检测确定所述视差图中的所述错误匹配点。

本申请还提供一种视差图视差求精中插值的系统，包括：

像素点搜索模块，用于以视差图中的错误匹配点为中心，沿N个方向搜索视差有效的像素点；

欧式距离计算模块，用于分别计算所述错误匹配点与各方向搜索到的所述像素点之间的欧式距离，并利用所述欧式距离计算对应的欧式距离权重；

颜色空间距离计算模块，用于根据原始图像的像素值以及原始图像的颜色通道，分别计算所述错误匹配点与各方向搜索到的所述像素点之间的颜色空间距离，并利用所述颜色空间距离计算对应的颜色空间距离权重；

视差值计算模块，用于根据所述欧式距离权重以及所述颜色空间距离权重，计算所述错误匹配点的视差值。

可选的，所述欧式距离计算模块，包括：

欧式距离单元，用于利用公式d_i＝|p_ep_i|分别计算所述错误匹配点p_e与各方向搜索到的所述像素点p_i之间的欧式距离d_i；

欧式距离权重单元，用于根据所述欧式距离d_i，利用公式计算i方向搜索到的所述像素点对应的欧式距离权重其中，β＞0，β为常数参数。

可选的，所述颜色空间距离计算模块，包括：

颜色空间距离单元，用于根据原始图像的像素值I(·)以及原始图像的颜色通道j，利用公式分别计算所述错误匹配点p_e与各方向搜索到的所述像素点p_i之间的颜色空间距离c_i；

颜色空间距离权重单元，用于根据所述颜色空间距离c_i，利用公式计算i方向搜索到的所述像素点对应的颜色空间距离权重其中，γ＞0，γ为常数参数。

本申请所提供的一种视差图视差求精中插值的方法，包括：以视差图中的错误匹配点为中心，沿N个方向搜索视差有效的像素点；分别计算错误匹配点与各方向搜索到的像素点之间的欧式距离，并利用欧式距离计算对应的欧式距离权重；根据原始图像的像素值以及原始图像的颜色通道，分别计算错误匹配点与各方向搜索到的像素点之间的颜色空间距离，并利用颜色空间距离计算对应的颜色空间距离权重；根据欧式距离权重以及颜色空间距离权重，计算错误匹配点的视差值。

可见，该方法充分利用了原始图像信息以及视差图像本身的信息，相比一般的插值方法具有明显的优势，在效果上具有很大提升，同时并没有增加太多的运算量。此外，本申请提出的插值方法可以进行并行处理，充分利用计算资源能够大大提高运算速度；该方法能解决传统视差求精中插值算法鲁棒性差、效率低下的问题；本申请还提供了一种视差图视差求精中插值的系统，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的视差图视差求精中插值的方法的流程图；

图2为本申请实施例所提供的错误匹配点与周围最近的视差有效的像素点对应的欧式距离权重以及颜色空间距离权重分布示意图；

图3为本申请实施例所提供的视差图视差求精中插值的系统的结构框图。

具体实施方式

本申请的核心是提供一种视差图视差求精中插值的方法及系统，能解决传统视差求精中插值算法鲁棒性差、效率低下的问题。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的视差图视差求精中插值的方法的流程图；该方法可以包括：

S100、以视差图中的错误匹配点为中心，沿N个方向搜索视差有效的像素点；

具体的，本实施例并不限定视差图中的错误匹配点的确定方式，例如可以是通过左右一致性检测确定视差图中的错误匹配点。本实施例仅通过高效、快速的插值方法对错误匹配点进行修正。

具体的，对视差图中的错误匹配点p_e，以该点p_e为中心，沿N个方向搜索视差有效的像素点p_i(i＝1,2,…,N)。本实施例并不限定具体的搜索方式。优选的，在每个方向上仅选择最近的视差有效的像素点参与后续计算。

S110、分别计算错误匹配点与各方向搜索到的像素点之间的欧式距离，并利用欧式距离计算对应的欧式距离权重；

具体的，参考视差图像，计算视差图中的错误匹配点即中心点p_e与各方向搜索到的像素点p_i之间的欧式距离d_i。即利用公式d_i＝|p_ep_i|分别计算错误匹配点p_e与各方向搜索到的像素点p_i之间的欧式距离d_i。

本实施例并不限定欧式距离权重的计算方式。具体的，根据欧式距离d_i，可以利用公式计算i方向搜索到的像素点对应的欧式距离权重其中，β＞0，β为常数参数。

S120、根据原始图像的像素值以及原始图像的颜色通道，分别计算错误匹配点与各方向搜索到的像素点之间的颜色空间距离，并利用颜色空间距离计算对应的颜色空间距离权重；

具体的，参考原图像即原始图像计算参考的原始图像中对应的中心点p_e与各方向搜索到的像素点p_i之间的颜色空间距离c_i。即根据参考的原始图像的像素值I(·)以及参考的原始图像的颜色通道j，利用公式分别计算错误匹配点p_e与各方向搜索到的像素点p_i之间的颜色空间距离c_i，其中，abs为求取的绝对值。

本实施例并不限定颜色空间距离权重的计算方式。具体的，根据颜色空间距离c_i，利用公式计算i方向搜索到的像素点对应的颜色空间距离权重其中，γ＞0，γ为常数参数。

具体的请参考图2，以8方向为例，给出了错误匹配点与8方向周围最近的视差有效的像素点对应的欧式距离权重以及颜色空间距离权重分布示意图。

S130、根据欧式距离权重以及颜色空间距离权重，计算错误匹配点的视差值。

具体的，根据欧式距离权重以及颜色空间距离权重利用公式计算错误匹配点p_e的视差值disparity(p_e)；其中，disparity(·)表示参考视差图像的像素值；λ＞0控制欧式距离与颜色空间距离的权重比例。

本实施例中为了提高运算速度，提升插值方法的效率；上述错误匹配点欧式距离权重以及颜色空间距离权重的计算过程即步骤S110和步骤S120可以是并行运行的。另外，各个错误匹配点也可以并行的执行步骤S100到步骤S130的步骤。

在视差图所有的错误匹配点完成插值后，该视差图中各像素点的视差值与现有技术相比更加准确。对该完成了插值后的视差图进行滤波处理(例如进行中值滤波处理)可以完成立体匹配过程。

基于上述技术方案，本发明实施例提的视差图视差求精中插值的方法，充分利用了原始图像信息以及视差图像本身的信息，相比一般的插值方法具有明显的优势，在效果上具有很大提升，同时并没有增加太多的运算量。此外，本申请提出的插值方法可以进行并行处理，充分利用计算资源能够大大提高运算速度；该方法能解决传统视差求精中插值算法鲁棒性差、效率低下的问题。

下面对本申请实施例提供的视差图视差求精中插值的系统进行介绍，下文描述的视差图视差求精中插值的系统与上文描述的视差图视差求精中插值的方法可相互对应参照。

请参考图3，图3为本申请实施例所提供的视差图视差求精中插值的系统的结构框图；该系统可以包括：

像素点搜索模块100，用于以视差图中的错误匹配点为中心，沿N个方向搜索视差有效的像素点；

欧式距离计算模块200，用于分别计算错误匹配点与各方向搜索到的像素点之间的欧式距离，并利用欧式距离计算对应的欧式距离权重；

颜色空间距离计算模块300，用于根据原始图像的像素值以及原始图像的颜色通道，分别计算错误匹配点与各方向搜索到的像素点之间的颜色空间距离，并利用颜色空间距离计算对应的颜色空间距离权重；

视差值计算模块400，用于根据欧式距离权重以及颜色空间距离权重，计算错误匹配点的视差值。

基于上述实施例，欧式距离计算模块200可以包括：

欧式距离单元，用于利用公式d_i＝|p_ep_i|分别计算错误匹配点p_e与各方向搜索到的像素点p_i之间的欧式距离d_i；

欧式距离权重单元，用于根据欧式距离d_i，利用公式计算i方向搜索到的像素点对应的欧式距离权重其中，β＞0，β为常数参数。

基于上述实施例，颜色空间距离计算模块300可以包括：

颜色空间距离单元，用于根据原始图像的像素值I(·)以及原始图像的颜色通道j，利用公式分别计算错误匹配点p_e与各方向搜索到的像素点p_i之间的颜色空间距离c_i；

颜色空间距离权重单元，用于根据颜色空间距离c_i，利用公式计算i方向搜索到的像素点对应的颜色空间距离权重其中，γ＞0，γ为常数参数。

基于上述实施例，视差值计算模块400具体用于根据欧式距离权重以及颜色空间距离权重利用公式计算错误匹配点p_e的视差值disparity(p_e)；其中，disparity(·)表示参考视差图像的像素值；λ＞0控制欧式距离与颜色空间距离的权重比例。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种视差图视差求精中插值的方法及系统进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种视差图视差求精中插值的方法，其特征在于，所述方法包括：

以视差图中的错误匹配点为中心，沿N个方向搜索视差有效的像素点；

分别计算所述错误匹配点与各方向搜索到的所述像素点之间的欧式距离，并利用所述欧式距离计算对应的欧式距离权重；

根据原始图像的像素值以及原始图像的颜色通道，分别计算所述错误匹配点与各方向搜索到的所述像素点之间的颜色空间距离，并利用所述颜色空间距离计算对应的颜色空间距离权重；

根据所述欧式距离权重以及所述颜色空间距离权重，计算所述错误匹配点的视差值。

2.根据权利要求1所述的方法，其特征在于，分别计算所述错误匹配点与各方向搜索到的所述像素点之间的欧式距离，包括：

利用公式d_i＝|p_ep_i|分别计算所述错误匹配点p_e与各方向搜索到的所述像素点p_i之间的欧式距离d_i。

3.根据权利要求2所述的方法，其特征在于，利用所述欧式距离计算对应的欧式距离权重，包括：

根据所述欧式距离d_i，利用公式计算i方向搜索到的所述像素点对应的欧式距离权重其中，β＞0，β为常数参数。

4.根据权利要求3所述的方法，其特征在于，根据原始图像的像素值以及原始图像的颜色通道，分别计算所述错误匹配点与各方向搜索到的所述像素点之间的颜色空间距离，包括：

根据原始图像的像素值I(·)以及原始图像的颜色通道j，利用公式分别计算所述错误匹配点p_e与各方向搜索到的所述像素点p_i之间的颜色空间距离c_i。

5.根据权利要求4所述的方法，其特征在于，利用所述颜色空间距离计算对应的颜色空间距离权重，包括：

根据所述颜色空间距离c_i，利用公式计算i方向搜索到的所述像素点对应的颜色空间距离权重其中，γ＞0，γ为常数参数。

6.根据权利要求5所述的方法，其特征在于，根据所述欧式距离权重以及所述颜色空间距离权重，计算所述错误匹配点的视差值，包括：

根据所述欧式距离权重以及所述颜色空间距离权重利用公式计算所述错误匹配点p_e的视差值disparity(p_e)；其中，disparity(·)表示参考视差图像的像素值；λ＞0控制欧式距离与颜色空间距离的权重比例。

7.根据权利要求6所述的方法，其特征在于，所述错误匹配点的确定方式，包括：

利用左右一致性检测确定所述视差图中的所述错误匹配点。

8.一种视差图视差求精中插值的系统，其特征在于，包括：

像素点搜索模块，用于以视差图中的错误匹配点为中心，沿N个方向搜索视差有效的像素点；

欧式距离计算模块，用于分别计算所述错误匹配点与各方向搜索到的所述像素点之间的欧式距离，并利用所述欧式距离计算对应的欧式距离权重；

颜色空间距离计算模块，用于根据原始图像的像素值以及原始图像的颜色通道，分别计算所述错误匹配点与各方向搜索到的所述像素点之间的颜色空间距离，并利用所述颜色空间距离计算对应的颜色空间距离权重；

视差值计算模块，用于根据所述欧式距离权重以及所述颜色空间距离权重，计算所述错误匹配点的视差值。

9.根据权利要求8所述的系统，其特征在于，所述欧式距离计算模块，包括：

欧式距离单元，用于利用公式d_i＝|p_ep_i|分别计算所述错误匹配点p_e与各方向搜索到的所述像素点p_i之间的欧式距离d_i；

欧式距离权重单元，用于根据所述欧式距离d_i，利用公式计算i方向搜索到的所述像素点对应的欧式距离权重其中，β＞0，β为常数参数。

10.根据权利要求9所述的系统，其特征在于，所述颜色空间距离计算模块，包括：

颜色空间距离单元，用于根据原始图像的像素值I(·)以及原始图像的颜色通道j，利用公式分别计算所述错误匹配点p_e与各方向搜索到的所述像素点p_i之间的颜色空间距离c_i；

颜色空间距离权重单元，用于根据所述颜色空间距离c_i，利用公式计算i方向搜索到的所述像素点对应的颜色空间距离权重其中，γ＞0，γ为常数参数。