CN104915927B - 视差图像优化方法及装置 - Google Patents

Abstract

提供了一种视差图像中的目标边界优化方法和装置。所述方法包括：确定视差图像中与目标边界对应的像素区域；对该像素区域中的像素进行验证，以滤除低置信度的像素；利用被滤除像素周围像素的视差值向被滤除像素填充视差值，其中对于由被滤除像素形成的像素块，按照从小视差值像素向大视差值像素传播的方式对该像素块中的各像素填充视差值。该目标边界优化方法通过滤除低置信度的像素随后有方向地进行填充，能够获得清晰准确的目标边界。

Description

视差图像优化方法及装置

技术领域

本发明总体涉及图像处理，更具体地，涉及视差图像中的目标边界优化方法和装置。

背景技术

立体匹配是一种用于获得视差图像的基本技术。立体匹配的基本原理是对通过例如立体相机拍摄的两个或更多个不同视角下同一物体的图像(参考图像和目标图像)进行比较，通过寻找对应像素来计算图像的像素点之间的位置偏差，从而得到视差图像。通过立体匹配获得的视差图像在诸如机器人、监控以及智能车辆等众多领域有着广泛的应用。例如，以智能车辆为例，通过由立体匹配获得的视差图像，可以容易地检测路面、白线和栅栏，进而检测例如行人和车辆等目标并对目标进行分类，由此能够全面掌控车辆的整体行驶状况。而视差图像中清晰而准确的目标边界对于如上所述的目标检测和目标分类是至关重要的。

然而，在采用诸如块匹配、传播、半全局匹配等传统的立体匹配算法计算得到的视差图像中，目标边界通常都是模糊的，即前景目标会变胖，这会导致随后的目标检测和目标分类的结果变差。

图1(a)和1(b)示出了车辆行驶场景的示例性灰度图以及使用传统的立体匹配算法获得的对应的视差图像。具体的，图1(a)示出了车辆行驶场景的灰度图以及该灰度图中用方框框选的车辆以及竖杆的放大图；图1(b)示出了图1(a)中的灰度图对应的视差图像以及该视差图像中用方框框选的车辆以及竖杆的放大图。可以看出，在采用传统的立体匹配算法获得在视差图像中，作为目标的车辆和竖杆的边界模糊，导致其与目标的实际尺寸相比变胖。

针对这一问题，目前研究人员已经提出了一些改善视差图像中的目标边界的方法。其中一种改进方法是在立体匹配过程中不采用像素周围固定形状的区域(例如矩形)作为支持区域，而是根据灰度/彩色信息选择像素周围一个自适应形状作为支持区域，以保证该支持区域不穿过目标边界，由此提高计算得到的视差图像中的目标边界的清晰度。然而，在该方法中，只利用灰度/彩色信息来调整支持区域，因此对于目标与背景灰度/彩色相似的情况效果不佳。

发明内容

根据本发明的实施例，提供了一种视差图像中的目标边界优化方法，包括：确定视差图像中与目标边界对应的像素区域；对该像素区域中的像素进行验证，以滤除低置信度的像素；利用被滤除像素周围像素的视差值向被滤除像素填充视差值，其中对于由被滤除像素形成的像素块，按照从小视差值像素向大视差值像素传播的方式对该像素块中的各像素填充视差值。

根据本发明的另一实施例，提供了一种视差图像中的目标边界优化装置，包括：检测部件，用于确定视差图像中与目标边界对应的像素区域；滤除部件，对该像素区域中的像素进行验证，以滤除低置信度的像素；填充部件，利用被滤除像素周围像素的视差值向被滤除像素填充视差值，其中对于由被滤除像素形成的像素块，按照从小视差值像素向大视差值像素传播的方式对该像素块中的各像素填充视差值。

根据本发明实施例的视差图像中的目标边界优化技术通过滤除低置信度的像素随后有方向地进行填充，能够获得清晰准确的目标边界。

附图说明

图1(a)和1(b)分别示出了车辆行驶场景的示例性灰度图和使用传统的立体匹配算法获得的对应的视差图像。

图2例示了根据本发明实施例的视差图像中的目标边界优化方法的示意性流程图。

图3例示了在根据本发明实施例的目标边界优化方法中考虑灰度(彩色)信息和视差信息两者来确定像素区域的处理过程的流程图。

图4例示了与目标边界对应的像素区域的示意图。

图5例示了采用本发明实施例的目标边界优化方法滤除了视差图像中不可靠的目标边界像素点后的视差图像。

图6(a)例示了采用本发明实施例的目标边界优化方法滤除了视差图像中不可靠的目标边界像素点后的示意性视差图像，图6(b)和6(c)分别示出了对图6(a)中的视差图像进行像素填充后的示意性视差图像。

图7例示了在根据本发明实施例的目标边界优化方法中通过逐列扫描查找到的由被滤除像素形成的纵向像素块的示意图。

图8例示了采用本发明实施例的目标边界优化方法逐列扫描填充视差图之后得到的优化视差图像。

图9例示了在根据本发明实施例的目标边界优化方法中通过逐行扫描查找到的由被滤除像素形成的横向像素块的示意图。

图10例示了采用本发明实施例的目标边界优化方法逐行扫描填充视差图之后得到的优化视差图像。

图11示出了根据本发明实施例的目标边界优化装置的功能配置框图。

图12示出了根据本发明实施例的目标边界优化系统的总体硬件框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

首先对本发明中涉及的技术术语进行简单的介绍。

本领域中公知，视差是指从相隔一定距离的两个点或多个点观察同一个目标所产生的差异。当利用例如双目相机拍摄同一个目标的左右两幅图像时，该目标的视差可以理解为该目标在左图像中的横坐标与在右图像中的横坐标之间的差。视差图像则是以左右图像中的任一图像为参考图像，其尺寸为该参考图像的尺寸，并且其每个像素点的值为参考图像中对应点的视差的图像。视差图像中的像素点的坐标可以表示为(x，y，d)，其中x为横坐标，y为纵坐标，d为该像素点的视差值。

在下文中，将以使用双目立体相机进行拍摄为例进行说明，其中拍摄得到的左图像和右图像中的任一个作为参考图像，另一个作为目标图像。

图2例示了根据本发明实施例的视差图像中的目标边界优化方法的示意性流程图。

如图2所示，在步骤S201，确定视差图像中与目标边界对应的像素区域。

在该步骤中，将考虑灰度(彩色)信息和/或视差信息来确定视差图像中与目标边界对应的像素区域。需要说明的是，此处及下文中提到的目标边界、第一边界、第二边界、第三边界并不是目标准确的实际边界，而是利用现有技术检测出来的可能的边界，即根据本发明的目标边界优化技术将要进行优化的边界。图3例示了同时考虑灰度(彩色)信息和视差信息两者来确定所述像素区域的处理过程的流程图。

如图3所示，在步骤S301中，在视差图像中检测目标的第一边界。

在该步骤中可以采用任意边界检测方法在视差图像中检测目标的边界，例如基于梯度的方法、基于图像分割的方法等等，此处不进行详细描述。

在步骤S302，在与所述视差图像对应的灰度图像中检测该目标的第二边界。

如前所述，视差图像是以左右灰度图像中的任一图像为参考图像，其尺寸为该参考图像的尺寸，并且其每个像素点的值为参考图像中对应点的视差的图像。在该步骤中，采用任意边界检测方法在与视差图像对应的参考图像中检测所述目标的第二边界。

在步骤S303，将该第一边界周围预定大小的区域以及视差图像中与该第二边界对应的第三边界周围预定大小的区域作为所述像素区域。

所述预定大小的区域可以根据具体情况来设定。例如，作为一种示例，可以将距离目标边界5个像素以内的范围设定为该区域。另外，第一边界周围预定大小的区域和第三边界周围预定大小的区域可以具有不同的设定范围。

在该步骤中，将第一边界周围预定大小的区域以及第三边界周围预定大小的区域共同作为像素区域。图4示意性地例示出了该像素区域。参见图4，其上部的图为灰度图，下部的图为视差图像，其中第二边界是在灰度图中检测到的某一目标的边界，第一边界是在视差图像中检测到的该目标的边界，第三边界是将第二边界映射到视差图像中得到的。如图4中所示，第一边界和第三边界周围的灰色区域分别为其周围预定大小的区域，这两个灰色区域形成了所述像素区域。

可选的，在该步骤S303中，也可以将第一边界周围预定大小的区域与视差图像中与该第二边界对应的第三边界周围预定大小的区域重叠的区域作为所述像素区域。

另一方面，以上参考图3描述的是利用灰度(彩色)信息和视差信息两者来确定像素区域的一种示例，而作为替换的实现，也可以仅利用灰度(彩色)信息或仅利用视差信息来确定像素区域。

例如，在步骤S201中，可选的，可以在与视差图像对应的灰度图像中检测所述目标的第二边界，并将视差图像中与该第二边界对应的第三边界周围预定大小的区域作为所述像素区域。或者，可选的，在步骤S201中，可以在视差图像中检测目标的第一边界，并将该第一边界周围预定大小的区域作为所述像素区域。

回到图2，在步骤S202中，对该像素区域中的像素进行验证，以滤除低置信度的像素。

在该步骤中，可以采用例如左右一致性检查、基于出现频度的滤波等任何现有的验证方法对像素区域中的像素进行验证，以滤除置信度低的像素。

视差图像中每个像素的值为参考图像中对应点的视差值，因此，此处置信度反映各像素的视差值的可靠性。例如，如果通过验证确定某一像素的视差值是可靠的，则认为该像素的置信度高，因此不滤除该像素；如果通过验证确定某一像素的视差值是不可靠的，则认为该像素的置信度低，因此滤除该像素(将该像素的视差值设为0)。像素的视差值是否可靠根据验证方法不用可以采用不同的判断标准，或者也可以根据目标优化的具体需要和应用场景等预先设定判断标准，其并非是本发明的关键所在，此处不进行详细描述。

通过上述步骤S201和S202，滤除了视差图像中不可靠的目标边界像素点。图5例示了滤除了视差图像中不可靠的目标边界像素点后的优化视差图像。具体的，图5左侧是采用传统的SGM算法得到的视差图像，右侧是对该视差图像执行上述步骤S201和S202中的处理后得到的视差图像。可以看出，图5右侧的视差图像中已经滤除了一些不可靠的目标边界像素点。

随后，在步骤S203中，利用被滤除像素周围像素的视差值向被滤除像素填充视差值，其中对于由被滤除像素形成的像素块，按照从小视差值像素向大视差值像素传播的方式对该像素块中的各像素填充视差值。

在该步骤中，通过参考周围的像素向被滤除的像素(视差值被设为0的像素)填充视差值，以恢复目标边界。

本发明人注意到，在对被滤除的像素进行传播填充时，传播方向是很重要的。采用不当的传播方向或者不考虑传播方向进行传播填充，会影响目标边界优化的效果。下面将参考图6(a)-6(c)对此进行说明。

图6(a)示出了按照上文的描述滤除了低置信度的目标边界像素后的视差图像。假设图6(a)中目标区域周围的黑色框是被滤除的像素。

如果按照图6(b)中左图中箭头所示方向对被滤除的像素填充视差值，即采用背景像素的视差值来填充被滤除像素，则填充后目标可能如图6(b)中右图所示，即目标变瘦。由于在视差图像中背景像素的视差值比前景目标像素的视差值要小，因此图6(b)所示是按照从小视差值像素向大视差值像素传播的方式进行填充的示意性结果。

与此相反，图6(c)示出了按照从大视差值像素向小视差值像素传播的方式进行填充的示意性结果。如图6(c)所示，如果按照图6(c)中左图中箭头所示方向对被滤除的像素填充视差值，即采用前景目标像素的视差值来填充被滤除像素，则填充后目标可能如图6(c)中右图所示，即目标变胖。

如前所述，在采用传统的立体匹配算法计算得到的视差图像中，目标边界通常都是模糊的，即前景目标会变胖。因此，在本实施例中，采用如图6(b)所示的传播方向，即从小视差值像素向大视差值像素传播来进行填充，从而能够获得较好的目标边界优化结果。

在本实施例中，作为一种示例性的具体实现方式，可以通过在视差图像中逐行和逐列地进行扫描来查找被滤除的像素，并对其进行填充。

具体的，在逐列扫描进行填充的过程中，依次扫描视差图像中的每一列，以根据视差值查找每一列中由被滤除像素形成的纵向像素块，随后按照从小视差值像素向大视差值像素传播的方式对该像素块中的各像素填充视差值。图7例示了通过逐列扫描查找到的由被滤除像素形成的纵向像素块的示意图。如图7所示，对于每一个纵向像素块中的各个像素，按照如箭头所示从小视差值像素向大视差值像素传播的方向进行填充。例如，对于图7中用椭圆形框框选的纵向像素块，从其中用带有斜线的小方块表示的起始像素开始沿箭头方向逐个像素进行填充。

对于所述纵向像素块中的每个像素，可以基于其周围像素的视差值采用任何适当的方式进行填充。例如，可以如等式(1)所示，采用待填充像素的周围像素的视差值的加权平均值来向该像素填充视差值：

其中，(x₀,y₀)表示待填充像素，d(x₀,y₀)为像素(x₀,y₀)将被填充的视差值，N(x₀,y₀)表示待填充像素的周围像素的集合，W为权重函数，d(x,y)为周围像素(x,y)的视差值。

所述权重函数W用于表示周围像素对待填充像素的视差值的贡献的大小，其可以通过例如等式(2)来计算：

其中，I(x₀,y₀)为待填充像素(x₀,y₀)的灰度值，I(x,y)为周围像素(x,y)的灰度值。

能够理解，等式(2)中所示的权重函数仅仅是一个示例，并非对本发明的限制。本领域技术人员可以选择任何其他适当的函数来表示该权重。另外，以上所描述的采用待填充像素的周围像素的视差值的加权平均值来向进行填充也仅仅是一个示例，可以采用其他适当的方式基于待填充像素周围像素的视差值进行填充。例如，可以采用周围像素的视差值的算术平均值进行填充。再比如，对于如图7中椭圆形框框选的纵向像素块中的各个像素可以填充相同的像素值，即带有斜线的小方块上方的像素的视差值。

另一方面，能够理解，在如上所述对纵向像素块中的各个像素填充视差值时，如果该像素块的长度太长(包含的像素数目过多)，则距离起始像素较远的像素被填充的视差值的精确度降低。因此，可选的，在上述逐列扫描进行填充的过程中，在查找到由被滤除像素形成的纵向像素块后，仅当该纵向像素块的长度小于某一阈值时，才如上所述按照从小视差值像素向大视差值像素传播的方式对该像素块中的各像素填充视差值；而对于长度大于等于阈值的纵向像素块，则不进行该填充。

图8例示了进行了上述逐列扫描填充的过程后得到的优化视差图像。可以看出，与图5左侧采用传统的SGM算法得到的视差图像相比，图8所示的视差图像中的目标边界变得清晰、准确。

在进行了上述逐列扫描进行填充的过程后，可以对优化的视差图像逐行扫描进行填充(该优化的视差图像中可能还存在尚未填充的被滤除像素)。在该逐行扫描进行填充的过程中，依次扫描视差图像中的每一行，以根据视差值查找每一行中由被滤除像素形成的横向像素块，随后按照从小视差值像素向大视差值像素传播的方式对该像素块中的各像素填充视差值。图9例示了通过逐行扫描查找到的由被滤除像素形成的横向像素块的示意图。如图9所示，对于每一个横向像素块中的各个像素，按照如箭头所示从小视差值像素向大视差值像素传播的方向进行填充。例如，对于图9中用椭圆形框框选的横向像素块，从其中用带有斜线的小方块表示的起始像素开始沿箭头方向逐个像素进行填充。

在该逐行扫描进行填充的过程中，各像素的具体填充方式与上文中描述的逐列扫描进行填充的过程采用的填充方式相同，此处不再赘述。

另外，与逐列扫描进行填充类似，在该逐行扫描进行填充的过程中，可选的，仅对像素长度小于预定阈值的横向像素块，按照从小视差值像素向大视差值像素传播的方式对该像素块中的各像素填充视差值；而对于长度大于等于阈值的横向像素块，则不进行该填充。

图10例示了进行上述逐行扫描填充的过程后得到的优化视差图像。可以看出，与图5左侧采用传统的SGM算法得到的视差图像相比，图10所示的视差图像中的目标边界更加清晰、准确。

以上按照先执行逐列扫描填充的过程然后执行逐行扫描填充的过程的顺序进行了描述，这仅仅是为了说明的目的，而并非是限制性的。本领域技术人员能够理解，也可以先执行逐行扫描填充的过程然后再执行逐列扫描填充的过程。

以上已经描述了如图2所示的、根据本发明实施例的视差图像中的目标边界优化的方法。可选的，为了更好的优化视差图像，在如图2所示的目标边界优化方法中，在执行步骤S203之前，还可以执行噪声过滤步骤，用于滤除视差图像中的噪声点或噪声块。在该噪声过滤步骤中可以采用任意适当的噪声过滤方法。例如，可以假设视差图像的上部视差值小，视差图像的下部视差值大，从而当视差图像的下部出现了视差值较小的像素或者当视差图像的上部出现了视差值较大的像素时，可以将该像素作为噪声像素予以滤除。再比如，可以采用连通域分析法来滤除视差图像中的噪声块。

根据本发明实施例的上述视差图像中的目标边界优化技术通过滤除低置信度的像素随后有方向地进行填充，能够获得清晰准确的目标边界。

下面参考图11描述根据本发明实施例的视差图像中的目标边界的优化装置。

图11示出了根据本发明实施例的目标边界优化装置1100的功能配置框图。

如图11所示，目标边界优化装置1100可以包括：检测部件1101，用于确定视差图像中与目标边界对应的像素区域；滤除部件1102，对该像素区域中的像素进行验证，以滤除低置信度的像素；填充部件1103，利用被滤除像素周围像素的视差值向被滤除像素填充视差值，其中对于由被滤除像素形成的像素块，按照从小视差值像素向大视差值像素传播的方式对该像素块中的各像素填充视差值。可选的，所述滤除部件1102还用于滤除所述视差图像中的噪声像素。

上述检测部件1101、滤除部件1102以及填充部件1103的具体功能和操作可以参考上述图2到图10的相关描述，此处不再重复描述。

下面参考图12描述根据本发明实施例的视差图像中的目标边界优化系统1200的总体硬件框图。如图12所示，目标边界优化系统1200可以包括：输入设备1201，用于从外部输入有关图像或信息，例如立体相机拍摄的左右图像、按照传统的立体匹配技术计算出的视差图像等，该输入设备例如可以是立体相机；处理设备1202，用于实施上述的按照本发明实施例的目标边界优化方法，或者实施为上述的目标边界优化装置，该装置例如可以是计算机的中央处理器或其它的具有处理能力的芯片等等；输出设备1203，用于向外部输出实施上述目标边界优化过程所得到的结果，例如优化的视差图像等等，该输出设备例如可以是显示器、打印机等等；以及存储设备1204，用于以易失或非易失的方式存储上述目标边界优化过程所涉及的信息，例如检测到的各个目标边界、滤除低置信度的像素后的视差图像、纵向扫描填充后的视差图像、各个预定阈值等等，该存储设备例如可以是随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。例如，图3中所示的步骤S301和S302并非必须按照描述的顺序执行，而是步骤S302可以在步骤S301之前执行，或者步骤S301和S302可以并行地执行。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种视差图像中的目标边界优化方法，包括：

确定视差图像中与目标边界对应的像素区域；

对该像素区域中的像素进行验证，以滤除低置信度的像素；

利用被滤除像素周围像素的视差值向被滤除像素填充视差值，其中对于由被滤除像素形成的像素块，按照从小视差值像素向大视差值像素传播的方式对该像素块中的各像素填充视差值。

2.如权利要求1所述的优化方法，其中所述确定视差图像中与目标边界对应的像素区域包括：

在视差图像中检测目标的第一边界，并将该第一边界周围预定大小的区域作为所述像素区域。

3.如权利要求1所述的优化方法，其中所述确定视差图像中与目标边界对应的像素区域包括：

在与所述视差图像对应的灰度图像中检测所述目标的第二边界；

并将视差图像中与该第二边界对应的第三边界周围预定大小的区域作为所述像素区域。

4.如权利要求1所述的优化方法，其中所述确定视差图像中与目标边界对应的像素区域包括：

在视差图像中检测目标的第一边界；

在与所述视差图像对应的灰度图像中检测该目标的第二边界；

将该第一边界周围预定大小的区域以及视差图像中与该第二边界对应的第三边界周围预定大小的区域作为所述像素区域。

5.如权利要求1所述的优化方法，其中所述确定视差图像中与目标边界对应的像素区域包括：

在视差图像中检测目标的第一边界；

在与所述视差图像对应的灰度图像中检测该目标的第二边界；

将该第一边界周围预定大小的区域与视差图像中与该第二边界对应的第三边界周围预定大小的区域重叠的区域作为所述像素区域。

6.如权利要求1所述的优化方法，还包括在向被滤除像素填充视差值之前滤除所述视差图像中的噪声像素。

7.如权利要求1-6中任一项所述的优化方法，其中所述对于由被滤除像素形成的像素块，按照从小视差值像素向大视差值像素传播的方式对该像素块中的各像素填充视差值包括：

依次扫描视差图像中的每一列，以查找每一列中由被滤除像素形成的纵向像素块；

确定每一个纵向像素块的像素长度；

对于像素长度小于预定阈值的纵向像素块，按照从小视差值像素向大视差值像素传播的方式对该像素块中的各像素填充视差值。

8.如权利要求7所述的优化方法，其中所述对于由被滤除像素形成的像素块，按照从小视差值像素向大视差值像素传播的方式对该像素块中的各像素填充视差值还包括：

依次扫描视差图像中的每一行，以查找每一行中由被滤除像素形成的横向像素块；

确定每一个横向像素块的像素长度；

对于像素长度小于预定阈值的横向像素块，按照从小视差值像素向大视差值像素传播的方式对该像素块中的各像素填充视差值。

9.一种视差图像中的目标边界优化装置，包括：

检测部件，用于确定视差图像中与目标边界对应的像素区域；

滤除部件，对该像素区域中的像素进行验证，以滤除低置信度的像素；

填充部件，利用被滤除像素周围像素的视差值向被滤除像素填充视差值，其中对于由被滤除像素形成的像素块，按照从小视差值像素向大视差值像素传播的方式对该像素块中的各像素填充视差值。

10.如权利要求9所述的优化装置，其中所述滤除部件还用于滤除所述视差图像中的噪声像素。