CN104766275A - 稀疏视差图稠密化方法和装置 - Google Patents

Abstract

提供了稀疏视差图稠密化方法和装置。该方法可以包括：获得稀疏型的视差图；定位视差图中的前景像素；在视差图中，基于定位到的前景像素，提取前景对象与背景间的交界轮廓作为前景对象的外轮廓，并将与前景对象的外轮廓相关联的像素标记为属于第一类，以及提取前景对象之间的交界轮廓作为前景对象的内轮廓，并将与前景对象的内轮廓相关联的像素标记为属于第二类；以及对于前景像素之中需要填充的像素，将该像素归类为第一类或第二类，并且在该像素被归类为第一类的情况下利用在该像素周围的预定区域中的与该像素属于同一类且具有有效视差值的像素的视差值，来估计该像素的视差值，而在该像素被归类为第二类的情况下，不对该像素的视差值进行估计。

Description

稀疏视差图稠密化方法和装置

技术领域

本发明总体地涉及视差图像处理，更具体地涉及稀疏视差图像处理方法和装置。

背景技术

已经开发了许多基于视差图像（或视差图像）检测物体的方法，例如基于视差图像检测人、车辆、栅栏等。例如，在计算机视觉领域，人的检测和跟踪已经成为了活跃的研究对象，因为它可以为计算机自动地感知人提供关键的信息，并且为一些高层应用（如人的活动识别和场景理解）提供底层服务。

但是，有时，由于相机的性能限制或者场景本身的特性等因素，可能会得到视差点比较稀疏的视差图，后文称之为稀疏视差图。稀疏是一个相对主观的词汇，含义是指只存在少量的有效视差像素，而且主要是不连续地出现在对象的边缘。出现这种现象的原因可能是一些立体匹配算法只匹配强纹理点或只采纳髙置信度的点。由于稀疏视差图效应，可能使得难于检测到物体如人、车辆等。

在题为“Method for forming a depth image from digital image data”的美国专利US6891966B2中，提出了一种方法和装置，其中对全图实现稠密化，并且使用了颜色辅助的八邻域最小均方误差（LMS）的插值过程。具体来说，首先在对全体深度图集合利用一致性测试后获得一幅关于场景的稀疏的基于特征点的深度图。然后，通过对该稀疏特征点深度图施加一个颜色辅助的深度传播过程获得一幅完全稠密的特征点深度图。最后，通过对该完全稠密的特征点深度图施加颜色辅助的八邻域最小均方误差（LMS）进行插值，获得稠密前景深度。

在题为“Apparatus and method for correcting disparity map”的美国专利US20120155743A1中：首先，一个视差图区域设置单元利用当前帧的二值图像将对象区分为内部和外部区域。视差图区域设置单元包括立体相机的左右图，以及前一帧的三维模型，以对当前帧的视差图设置内部和外部区。接着，一个姿态估计单元使用当前帧的二值图和前一帧的二值图获得3D模型的二维投影的视差信息，来估计对象的姿态，其中，当前帧和前一帧3D模型有仿射变换。最后，视差图矫正单元使用视差信息以及内部区域和外部区域被设置了的视差图来矫正视差。该技术使用了三维模型的视差信息，还涉及到3D重构的过程。

发明内容

希望提供一种稀疏视差图稠密化技术，其中即便不具有前景掩膜中的对象的先验知识，也能够避免或减轻前景掩膜中的属于不同对象的视差的歧义性。

根据本发明的一个方面，提供了一种对稀疏视差图进行稠密化处理的稀疏视差图稠密化方法，可以包括：视差图获得步骤，获得视差图，该视差图为稀疏型的视差图；前景像素定位步骤，定位视差图中的前景像素；前景对象外轮廓和内轮廓提取步骤，在视差图中，基于定位到的前景像素，提取前景对象与背景间的交界轮廓作为前景对象的外轮廓，并将与前景对象的外轮廓相关联的像素标记为属于第一类，以及提取前景对象之间的交界轮廓作为前景对象的内轮廓，并将与前景对象的内轮廓相关联的像素标记为属于第二类；以及前景像素填充步骤，对于前景像素之中需要填充的像素，将该像素归类为第一类或第二类，并且在该像素被归类为第一类的情况下利用在该像素周围的预定区域中的与该像素属于同一类且具有有效视差值的像素的视差值，来估计该像素的视差值，而在该像素被归类为第二类的情况下，不对该像素的视差值进行估计。

根据本发明的另一方面，提供了一种对稀疏视差图进行稠密化处理的稀疏视差图稠密化装置，可以包括：图像获得部件，获得视差图，该视差图为稀疏型的视差图；前景像素定位部件，定位视差图中的前景像素；前景对象外轮廓和内轮廓提取部件，在视差图中，基于定位到的前景像素，提取前景对象与背景间的交界轮廓作为前景对象的外轮廓，并将与前景对象的外轮廓相关联的像素标记为属于第一类，以及提取前景对象之间的交界轮廓作为前景对象的内轮廓，并将与前景对象的内轮廓相关联的像素标记为属于第二类；以及前景像素填充部件，对于前景像素之中需要填充的像素，将该像素归类为第一类或第二类，并且在该像素被归类为第一类的情况下利用在该像素周围的预定区域中的与该像素属于同一类且具有有效视差值的像素的视差值，来估计该像素的视差值，而在该像素被归类为第二类的情况下，不对该像素的视差值进行估计。

根据本发明上述实施例的稀疏视差图稠密化的方法和装置将待填充像素归类为外轮廓相关类别和内轮廓相关类别，而且对于归类为外轮廓相关类别的待填充像素才进行视差估计，对归类为内轮廓相关类别的待填充像素，不对其进行视差估计，由此能够避免内轮廓附近像素的视差歧义的传播，增强稀疏视差图填充的准确性。而且，上述稀疏视差图方法和装置仅在前景掩膜上而不是在整图上将稀疏视差图转换成稠密视差图，具有对光照变化增强的鲁棒性，能够降低后续检测对象的漏检率，同时也提高了算法的计算效率和降低了背景噪声的干扰。

附图说明

在附图中图示各种示例实施例，意图这些例子不是限制性的。应理解，为了图示的简化和清楚，以下引用的图中所示的元件不一定被画成成比例的。而且，在认为适当时，可以在附图之间重复使用附图标记来指示相同的、对应的或类似的元件。在附图中：

图1示出了根据本发明实施例的稀疏视差图稠密化装置的示例性系统输入输出的示意图。

图2示出了根据本发明实施例的稀疏视差图稠密化装置的配置框图。

图3示出根据本发明实施例的对稀疏视差图进行稠密化处理的示例性稀疏视差图稠密化方法的流程图。

图4中的（1）-（4）示意了利用灰度图提取的前景掩膜来在视差图上定位前景像素的过程的示意图。

图5(a)和(b)示出了基于前景像素提取的前景对象的外轮廓和内轮廓的示意图。

图6示意性地示出了对需要视差估计的像素进行二元分类的一个示例性方法的示意图。

图7(a)和(b)示出了本发明实施例的仅传播A类像素、而B类像素用作填充终止边界的示意图。

图8示出了一轮迭代过程中进行视差填充处理的示例性方法的流程图。

图9示出了适于用来实现本发明实施方式的示例性计算系统的框图。

具体实施方式

下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整的传达给本领域的技术人员。

这里说明一下，发明人发现：一般情况下，视差填充所关心的更多在于前景对象的填充。例如在人或车辆为关注对象的情况下，关注的是对人和车辆所在区域的视差进行填充，使其稠密，以便于后续处理。

因此，本发明实施例关注前景中的视差填充。另外，后文中为描述方便，将以关注的前景对象是人为例进行说明。不过前景对象可以为其它对象。本发明实施例不限制前景对象。

发明人注意到下述情况。现有技术中，视差填充常常在下述情况下出现问题：假设前景中存在多个对象，例如多个人，而且这多个人之间存在彼此遮挡，此时对于一个待填充点，并不清楚其属于哪个人。如果简单地例如通过找到附近两个有效视差点（例如，同行的或同列的两个有效视差点）进行插值来填充该点，则可能由于找到的该两个有效视差点分属于不同的人（尤其是深度相差较大的两个人），从而导致该点的错误视差填充结果。换句话说，多个对象彼此遮挡易于导致相关区域视差填充错误，这源于在赋值像素的局部区域，视差值可能存在歧义性（多个人可以表征不同的视差），如对象A和对象B之间存在遮挡，则在填充对象B内部的空白点（即不具有有效视差的点）的视差时，可能利用了属于对象A的有效视差点的视差，而原本正确的做法应该是都采用对象B的有效视差点的视差来进行对象B的空白点的视差填充。这产生了一系列相关问题。特别是，当在一个场景中存在许多人并发生了遮挡，这种歧义性就更显著。这导致现有的技术在准确赋予视差值时遇到很大的困难。

为此，发明人提出了本发明。本发明的一个目的是：即使没有关于前景掩模中包含的对象数目的先验知识和遮挡状态的信息，仍具有通过充分利用图像自身存在的二维空间关系来获得自然回避上述歧义性的能力。

本发明的主要思想是：提取外轮廓（对象与背景之间的交界轮廓）和内轮廓（对象之间的交界轮廓），并相应地进行像素归类。对于一个待填充视差的像素，将把该像素归类于外轮廓或内轮廓，并且只有在一个待填充像素被归类于外轮廓时，才利用该待填充像素附近的、同样被归类为外轮廓的有效视差像素对在该待填充像素的视差进行估计，而如果一个待填充像素被归类为内轮廓，则将不对其进行填充。由此可以仅传播外轮廓像素，而避免传播存在或者可能导致视差歧义的内轮廓像素，从而达到抑制视差歧义的传播的效果。

图1示出了根据本发明实施例的稀疏视差图稠密化装置的系统输入输出的示意图。如图1所示，稀疏视差图稠密化装置可以从立体相机中接收稀疏视差图（可选地，还可接收灰度图）作为输入数据，进行稠密化处理后，输出稠密化的视差图。例如，该稠密化的视差图可以输入到对象检测和跟踪系统，用于对象检测和（或）跟踪。在图1的示例中，前景对象为人，因此经视差填充后得到稠密化的人的视差图。

需要说明的是，图1中所示的系统输入为视差图，不过当然输入也可以为例如双目相机的左图像和右图像，然后在稀疏视差图稠密化装置的内部来从左图像和右图像来得到视差图，然后对该视差图进行稠密化处理。另外，可选地以及附加地，除了视差图外，还可以输入灰度图。另外，图1中所示的系统输出为前景视差图，不过当然也可以将前景视差图和背景视差图合并来输出整幅视差图。

另外，顺便说一下，在本领域中，“视差”和“深度”、“视差图”和“深度图”具有基本相同的含义。在本文中，“视差”和“深度”二者可以等效地互换使用。

图2示出了根据本发明实施例的稀疏视差图稠密化装置1000的配置框图。

如图2所示，稀疏视差图稠密化装置1000可以包括：图像获得部件1100，获得视差图，该视差图为稀疏型的视差图；前景像素定位部件1200，定位视差图中的前景像素；前景对象外轮廓和内轮廓提取部件1300，基于定位到的前景像素，提取前景对象与背景间的交界轮廓作为前景对象的外轮廓，并将与前景对象的外轮廓相关联的像素标记为属于第一类，以及提取前景对象之间的交界轮廓作为前景对象的内轮廓，并将与前景对象的内轮廓相关联的像素标记为属于第二类；以及前景像素填充部件1400，对于前景像素之中需要填充的像素，将该像素归类为第一类或第二类，并且在该像素被归类为第一类的情况下利用在该像素周围的预定区域中的与该像素属于同一类且具有有效视差值的像素的视差值，来估计该像素的视差值，而在该像素被归类为第二类的情况下，不对该像素的视差值进行估计。

需要说明的是，上述稀疏视差图稠密化装置1000的部件可以用软件程序来实现，例如通过通用计算机中的CPU结合RAM和ROM等以及其中运行的软件代码来实现。软件程序可以存储在诸如闪存、软盘、硬盘、光盘等存储介质上，在运行时加载到诸如随机访问存储器RAM上来由CPU执行。另外，除了通用计算机上，还可以通过专用集成电路和软件之间的合作来实现。所述集成电路包括通过例如MPU（微处理单元）、DSP（数字信号处理器）、FPGA（现场可编程门阵列）、ASIC（专用集成电路）等中的至少一个来实现。这样的通用计算机或者专用集成电路等例如可以装载在房间里，并且与安装在例如房间天花板处的成像设备例如照相机来通信，以便对照相机拍摄获得的二维图像和/或立体图像进行处理来得到稠密化的视差图像，以及可选地还可以分析稠密化的视差图像以进行对象检测和/或跟踪。另外，稀疏视差图稠密化装置1000的各个部件可以用专门的硬件来实现，例如特定的现场可编程门阵列、专用集成电路等。另外，稀疏视差图稠密化装置1000的各个部件也可以利用软件和硬件的结合来实现。

需要说明的是，图2中所示的箭头只表示两个部件的功能之间存在逻辑关系，两个部件之间可以直接或者间接地操作性地连接。另外，即便图2中的某两个部件之间未示出某方向的箭头连接，但是这并不表明两者之间必然不存在该方向的逻辑关系，相反，两者之间可以存在操作性的连接关系，例如前景对象外轮廓和内轮廓提取部件1300、前景像素填充部件1400和图像获得部件1100之间可以存在逻辑关联，其中前景对象外轮廓和内轮廓提取部件1300、前景像素填充部件1400在操作过程中可能需要利用图像获得部件1100所获得的视差图。

上述各个单元的结构和数量不对本发明的范围构成限制。根据本发明的一个实施例，上述图像获得部件1100、前景像素定位部件1200、前景对象外轮廓和内轮廓提取部件1300、前景像素填充部件1400可以合并为一个独立的部件来执行和实现相应的功能和操作，或者可以将上述图像获得部件1100、前景像素定位部件1200、前景对象外轮廓和内轮廓提取部件1300、前景像素填充部件1400进一步拆分为更小的单元来实现他们各自的功能和操作。

下面参考图3来描述根据本发明实施例的对稀疏视差图进行稠密化处理的稀疏视差图稠密化方法2000的例子。根据本发明的一个实施例，稀疏视差图稠密化方法2000的各个步骤可以由图2所示的对应部件来实施，即步骤S2100由图像获得部件1100执行，步骤S2200由前景像素定位部件1200执行，步骤S2300由前景对象外轮廓和内轮廓提取部件1300执行，步骤S2400由前景像素填充部件1400执行。

如图3所示，在步骤S2100中，获得视差图，该视差图为稀疏型的视差图。

任何现有的获取视差图的方法均可以用于本发明。例如，可以通过安装于适当位置如房间天花板四个拐角的双目相机、多目相机、立体相机拍摄灰度图，并计算得到对应的视差图。具体地，例如，可以通过双目相机来拍得左图像和右图像，以及基于左图像和右图像计算得到视差图。

这里，在一个实施例中，成像装置例如双目相机相对于获得视差图的部件（或装置）处于本地，并可以例如通过本地的双目相机来实现视差图的获取。或者在另一个实施例中，也可以利用例如有线网络或者无线网络来从远程获得视差图。另外如前文所述的，如果需要，还可以获得对应的灰度图。需要说明的是，这里的灰度图是广义的概念，既包括单通道的灰度图，也包括RGB在内的多通道图像或者其它彩色空间的图像。

在步骤S2200中，定位视差图中的前景像素。

该步骤也可以称为前景提取或前景分割，即从立体图像中将作为处理对象的前景与背景分开，并提取出（或分割出）前景。

在一个示例中，在视差图中定位前景像素可以借助于灰度图来实现。具体地，在前述步骤S2100中，除了获得视差图外，还可以获得对应的灰度图（例如双目相机获得的左图像或者右图像）。然后在灰度图上实施像素级别的背景建模以提取前景掩膜（或前景模板），以及利用该前景掩膜定位视差图上的对应像素作为前景像素。

关于背景建模，作为示例，可以使用但不限于此的方法例如有高斯混合模型（Gaussian Mixture Model）的动态建模方法和在灰度图上逐像素的静态建模方法，用于提取由独立前景像素构成的前景掩膜。此非本发明要点，这里对此不进行详述关于高斯混合模型建模的更具体的介绍，可以参考标题为"Plan-view trajectory estimation with dense stereo background model"的T.Darrel于2001年发表的文章。

这里的前景掩膜可以是由0/1构成的数据。然后可以使用该前景掩膜在稀疏视差图上通过逻辑与的操作提取对应的视差像素。这样例如只有对应掩膜像素为1的视差像素才会被提取出。

图4中的（1）-（4）示意了利用灰度图提取的前景掩膜来在视差图上定位前景像素的过程的示意图，这里假设感兴趣的前景对象是人，其中图4中的(1)示出了灰度图；图4中的（2）示出了对灰度图进行前景分割后提取的前景掩膜；图4中的（3）示出了利用该在灰度图上提取的前景掩膜在视差图上定位的对应的视差像素；图4中的（4）示出了从视差图提取出的前景像素构成的视差图像。

上述利用灰度图提取的前景掩膜来在视差图上定位前景像素的方法仅为示例。任何能够直接或间接地在视差图上实现前景分割的方法均可以用于本发明，例如可以无需借助灰度图而直接在视差图上进行前景分割，定位出前景像素。

在步骤S2300中，基于定位到的前景像素，提取前景对象与背景间的交界轮廓作为前景对象的外轮廓，并将与前景对象的外轮廓相关联的像素标记为属于第一类，以及提取前景对象之间的交界轮廓作为前景对象的内轮廓，并将与前景对象的内轮廓相关联的像素标记为属于第二类。

图5(a)和(b)示出了基于前景像素提取到的前景对象的外轮廓和内轮廓的示意图。所有前景对象与背景间的交界轮廓为前景对象的外轮廓，图5(a)中标号A所标示的外轮廓线由前景对象1和前景对象2与背景之间的交界轮廓形成，图5(b)中标号A所标示的外轮廓线由前景对象1、前景对象2、前景对象3与背景之间的交界轮廓形成。所有前景对象（在存在遮挡的情况下）之间的交界轮廓，如果有的话，为前景对象的内轮廓。图5(a)中的前景对象1和前景对象2之间的交界轮廓形成标号B所标示的内轮廓线，图5(b)中的前景对象1和前景对象2之间的交界轮廓、前景对象1和前景对象3之间的交界轮廓、前景对象2和前景对象3之间的交界轮廓形成标号B所标示的内轮廓线。

在下文中，为描述方便，属于外轮廓（第一类）的像素用A来标记，属于内轮廓（第二类）的像素用B来标记。

下面说明一下轮廓的表现形式。在实际应用中，轮廓并非是理想地由各个连续单个像素形成的曲线。如本领域技术人员公知的，在对象的自然边缘附近，常常得到较多的有效视差值。因此，轮廓在实际中可以由前景像素之中的、对象的自然边缘附近的局部区域中的若干有效像素（即具有有效视差值的像素）来表征。也就是说，这里提到的轮廓，是具有一定宽度（例如，预定数目个像素的宽度）并且宽度可变的自然边缘，而并非理想的线。

需要说明的是，“有效视差”的含义，在一般情况下，是指视差值大于零的像素，不过在某些情况下，视差值可能具有一个有效范围，只有落入该范围内的视差值才被称为有效视差值。例如，双目相机或立体相机具有适宜的工作距离区间，即所谓的视界(Horopter)，视差值应该落入与视界对应的数值区间内，才视为有效视差值。

在一个示例中，可以如下进行前景对象的外轮廓和内轮廓的提取以及有效视差像素的分类：在以前景掩模最外围的轮廓线上的各个像素为中心的各个预定大小的区域中搜索具有有效视差值的前景像素，并将搜索到的区域中的具有有效视差值的前景像素标记为属于第一类，即外轮廓类，或下文所谓的A类；将前景掩膜限定的区域内的具有有效视差值但未被标记为属于第一类的像素标记为属于第二类，即内轮廓类，或下文所谓的B类。例如，以前景掩膜最外围的轮廓线上的像素为中心，用一个预定大小的窗口（或称为单元，cell,patch等）在轮廓线上滑动，将该窗口内的有效视差像素标记为第一类，用于表征外轮廓；然后在前景像素之中，将拥有有效视差但未被标记为第一类的像素标记为第二类，用于表征内轮廓。

需要说明的是，在上述的像素分类之中，可能有些像素看起来并不在内轮廓附近，但被归类为第二类来表征内轮廓。不过，这在后续的处理之中并不会产生问题，这是因为，本发明的内轮廓和外轮廓的提取目的在于对像素进行归类，稀疏视差图中一般情况下绝大多数有效视差像素都处于自然边缘（包括对象和背景之间的边缘，即所谓的外边缘，和对象之间的边缘，即所谓的内边缘），因此少数的有效视差像素不在内边缘附近而被归类为内轮廓并不会导致问题。

在另一个示例中，为了更好地体现出内轮廓的概念，可以例如在提取的前景掩膜区域内部进行边缘检测，基于提取到的边缘来在视差图中得到内轮廓。在这种情况下，在对具有视差值的前景像素进行归类时，可以将既不属于外轮廓也不属于内轮廓的前景像素（对象内部像素）强制归类为第二类（即内轮廓类），或者也可以将这样的对象内部像素归类为第三类（中间像素类）。

在步骤S2300完成后，前进到步骤S2400。

在步骤S2400中，对于前景像素之中需要填充的像素，将该像素归类为第一类或第二类，并且在该像素被归类为第一类的情况下利用在该像素周围的预定区域中的与该像素属于同一类且具有有效视差值的像素的视差值，来估计该像素的视差值，而在该像素被归类为第二类的情况下，不对该像素的视差值进行估计。

如前所述，视差歧义性出现在对象遮挡附近区域，即内轮廓附近，由此，本发明实施例对待填充的像素进行归类，使得仅当该待填充的像素不在内轮廓附近（例如，在外轮廓附近或者中间）时，才对该待填充像素依据属于同一类的有效视差像素进行视差估计，而当该待填充的像素被归类为内轮廓时（例如，该像素位于内轮廓附近），则不对该像素进行视差填充。由此避免了利用存在视差歧义的内轮廓附近像素来对空像素进行填充，从而避免了视差歧义的传播。需要说明的是，这适用于将像素归于多于两类的类别（其中至少包括内轮廓类）的情况。下文中，将以将像素分为两类的情况为例进行描述。

图6示意性地示出了对需要视差估计的像素进行二元分类的一个示例性方法的示意图。如图6所示，对于外轮廓附近的待填充像素x1，在以其为中心的7*7的像素区域中，存在18个有效视差像素，其中16个像素属于A类，而2个像素属于B类，因此统计地认为该像素属于A类的概率更大，并将该像素x1归为A类，然后可以利用同属于A类的该16个像素来估计像素x1的视差值。类似地，对于内轮廓附近的待填充像素x2，在以其为中心的7*7的像素区域中，存在13个有效视差像素，其中11个像素属于B类，而2个像素属于A类，因此将该像素x2归为B类，并且后续可以因为其属于B类（从视差歧义的角度考虑），不对其进行视差估计，换个角度说，视差填充终止于内轮廓附近。

在一个示例中，如果需要填充的像素属于第一类的概率和属于第二类的概率都低于预定阈值，则可以拒绝对该像素进行归类和视差值估计。

在一个示例中，在定位的前景掩膜区域中，在对所有待填充的像素进行了上述归类和可能的填充处理后，步骤S2400完成，然后处理结束。

在一个示例中，可以重复进行前景像素填充处理S2400，即迭代地进行前景像素填充处理，其中将前景像素中所有待填充像素遍历一遍前景像素填充处理视为一轮迭代。迭代终止条件可以为下述几项中的至少一个或者其组合：例如，迭代次数大于预定阈值数目、剩余待填充像素的个数在预定次数的连续迭代中下降速率小于预定速率阈值、剩余待填充的像素的数量少于填充数量阈值。剩余待填充像素是指在前一轮迭代中因为未被归类为A类也未被归类为B类而未进行填充处理的像素（不包括被归类为B类而未进行填充处理的像素）。剩余待填充像素的个数在预定次数的连续迭代中下降速率小于预定速率阈值或者剩余待填充的像素的数量少于填充数量阈值说明通过进一步迭代所带来的改善已经不显著，这可能是由于如下原因：在剩余的待填充像素附近的属于类A的有效像素的数目和属于类B的有效像素的数目比较接近，因而这样的像素属于类A的概率和属于类B的概率都低于预定阈值，因而可以拒绝对这样的像素进行类别判定，并且拒绝对其进行视差估计。这样的迭代处理表现出来的效果是A类像素从外轮廓向内轮廓传播，并终止于内轮廓附近。

图7(a)和(b)示出了本发明实施例的仅传播A类像素、而B类像素用作填充终止边界的示意图，其中(a)示出了迭代运行视差填充处理得到的总体上从靠近外轮廓处对A类像素向内轮廓处（B类像素，如果存在内轮廓的话）传播的示意图，(b)示出了迭代前的前景视差图像、迭代过程中的前景视差图像和迭代终止时的前景视差图像。因此本实施例的视差填充方法是一种传播A类像素并以B类像素为终止边界的方法。

可见，利用本实施例的视差填充方法，即使没有关于包含于前景掩模中的人数的先验知识以及他们之间遮挡状态的可用信息，仍然可以通过充分利用二维图像的空间信息而避免前景掩模中的属于不同对象的视差的歧义性。

图8示出了一轮迭代过程中进行视差填充处理的方法2400的流程图，如前所述，方法2400可以用于实现图3中的步骤S2400，或者在图3中的步骤S2400迭代式进行的情况下实现图3中的步骤S2400的一轮迭代。

如图8所示，在步骤S2401中搜索一个需要分类和赋值的像素。搜索方式包括但不限于在前景掩模区域中顺序扫描像素，例如从左至右行扫描，然后从上至下换行。在第一轮迭代中，需要分类和赋值的像素可以是所有空白像素（不具有有效视差值的像素），在后续的迭代中需要分类和赋值的像素可以是在前一轮的迭代中被拒绝分类的像素。

在步骤S2402中，在像素的局部区域中计算该像素属于类A这一事件的概率，记为P(A)。

类似地，在步骤S2403中，在像素的局部区域中计算该像素属于类B这一事件的概率，记为P(B)。

在步骤S2404中，判断P(A)>P(B)是否满足。如果满足，过程前进到步骤S2405，判断P(A)>给定阈值是否满足；如果P(A)>P(B)不成立，则前进到步骤S2406判断P(B)>给定阈值是否满足。

如果在步骤S2405中确定P(A)>给定阈值，那么过程前进到步骤S2407。

在步骤S2407中，判定该像素属于A类，然后前进到步骤S2410。

在步骤S2410中，给该像素赋予视差值，例如，可以在该像素的邻域块上，对属于A类的像素的视差值进行某种平滑，其结果作为该像素的视差估计。在步骤S2410结束后，前进到步骤S2411。

如果在步骤S2405中确定P(A)不大于给定阈值，则过程前进到步骤S2408。

类似地，如果在步骤S2406中，确定P(B)>给定阈值，那么过程前进到步骤S2409。

在步骤S2409中，判定该像素属于B类，并对该像素进行标记，然后前进到步骤S2411进行迭代终止条件判断。即在本实施例中，对于判定属于B类（换个角度说，判定靠近内轮廓）的像素仅仅进行标记，表明该像素属于内轮廓相关类，但并不对其进行视差估计处理。

如果在步骤S2406中，确定P(B)不大于给定阈值，则过程前进到步骤S2408。

在步骤S2408中，决定在本轮迭代中忽略对该像素的类别判定任务。

可见，如果P(A)与P(B)的概率都很低，不足以做出高可靠的决定，即步骤S2405与S2406的判定条件都未能满足从而不能继续进入到步骤S2407或S2409，则过程前进到步骤S2408中，决定在本轮迭代中忽略对该像素的类别判定任务。在步骤S2408完成后，过程前进到步骤S2411。

在步骤S2411中，决定是否还有像素需要被分类和赋值。如果有，过程返回到S2401，否则本轮迭代结束。

需要说明的是，步骤S2407,S2408与S2409对像素进行归类，以便进行相应的处理。具体地，在相关邻域中计算像素属于A类这一事件的概率，以及像素属于B类这一事件的概率，然后决定像素属于具有较高概率的那一类（如果这个概率值足够大的话），而如果P(A)与P(B)的概率都很低，不足以做出高可靠的决定，则算法决定在本轮迭代中忽略对该像素的类别判定任务。

需要说明的是，步骤S2408和步骤S2409都不对该像素进行赋值处理，但是两者不同在于，步骤S2409处理过的像素被归类为B类（即，靠近内轮廓的一类），在后续的迭代中将其作为无需再处理的像素对待，即不会再对其进行归类和赋值等的处理。但是步骤S2408处理过的像素只表明在本轮迭代中未对该像素所属类别做出可靠的决定，在后续的迭代中将继续对其进行归类和可能的赋值处理，而且可能在后续的某一轮迭代中，这个像素被判定为A类并进行赋值，或被判定为B类而不被赋值。

在一个示例中，待填充像素属于A类的概率P(A)与待填充像素属于B类的概率P(B)可以在概率框架下计算，方法包括但不限于高斯卷积，如下式(1)和(2)所示：

P(A)=I_A(x,y)*G(x,y;t),t∈[0,+∞)  （1）

P(B)=I_B(x,y)*G(x,y;t),t∈[0,+∞)  （2）

其中,I_A(x,y)代表该像素的局部邻域的图像，其中包含了所有A类像素并排除了所有B类像素，有关该邻域的大小可以预先确定，或者通过学习得到；而I_B(x,y)表示相对的情形，即该像素的局部邻域的图像，其中包含了所有B类像素并排除了所有A类像素。G(x,y;t)表示高斯核，如下式(3所示):

$G(x,y;t)=\frac{1}{4\mathrm{\πt}}\exp (-\frac{x^2+y^2}{4t})---\left(3\right)$

其中，t表征高斯核的方差。G(x,y;t)刻画了一种对概率密度分布进行加权的方法。概率密度分布表示的是复合事件的概率密度分布，而复合事件又进一步是由独立事件（一个类别的像素在邻域中的某个位置的出现）组成的。因此，对概率密度分布的加权是对复合事件的概率估计。

利用高斯卷积计算待填充像素属于类A和类B的概率仅为示例。可以利用其它方法来计算待填充像素属于类A和类B的概率，例如简单地统计预定大小的邻域中属于类A和类B的有效像素的数目并除以该邻域中的所有有效像素的数目来作为待填充像素属于类A和类B的概率，等等。本发明实施例不限制计算待填充像素属于类A和类B的概率的方法。

图8示出了一轮迭代的方法的过程的流程图。如果在此轮迭代结束后，不满足迭代终止条件而进入下一轮的迭代，则在所进入的迭代中，对于上轮迭代中被拒绝分类的待填充像素（即经过步骤S2408处理的像素）重复图8所示的处理，经过该轮迭代处理，有些先前被拒绝分类的待填充像素被成功分类（如果分类为A类，则将被赋值，否则被分类为B类，将不进行赋值），从而由于被拒绝分类因而尚未被赋予视差值的剩余像素的数量一般而言较上轮有所下降。如此重复迭代进行，当满足迭代终止条件时，终止迭代，否则进行新一轮迭代。迭代终止条件可以包含但不限于：在每一轮迭代后，剩余待分类像素的数量小于一个阈值，或者剩余待分类像素的数量的下降率小于某阈值，这说明通过进一步迭代所带来的改善已经不会显著。本发明实施例不限制迭代终止条件，例如，迭代终止条件还可以包括迭代次数达到预定次数阈值等。

上述视差填充迭代处理表现出来的效果是从靠近外轮廓处向内轮廓处传播A类像素，并且迭代终止于内轮廓附近。因此是一种传播A类像素并以B类像素为迭代终止条件的方法。如图7(a)和(b)所示。

利用本实施例的视差填充方法，即使没有关于包含于前景掩模中的人数的先验知识，以及他们之间遮挡状态的可用信息，仍然可以通过充分利用二维图像的空间信息而避免前景掩模中的属于不同对象的视差的歧义性。

本发明还可以通过一种用于进行稀疏视差图稠密化的计算系统来实施。图9示出了适于用来实现本发明实施方式的示例性计算系统600的框图。如图9所示，计算系统600可以包括：CPU（中央处理单元）601、RAM（随机存取存储器）602、ROM（只读存储器）603、系统总线604、硬盘控制器605、键盘控制器606、串行接口控制器607、并行接口控制器608、显示控制器69、硬盘610、键盘611、串行外部设备612、并行外部设备613和显示器614。在这些设备中，与系统总线604耦合的有CPU601、RAM602、ROM603、硬盘控制器605、键盘控制器606、串行控制器607、并行控制器608和显示控制器609。硬盘610与硬盘控制器605耦合，键盘611与键盘控制器606耦合，串行外部设备612与串行接口控制器607耦合，并行外部设备613与并行接口控制器608耦合，以及显示器614与显示控制器609耦合。应当理解，图16所述的结构框图仅仅是为了示例的目的，而不是对本发明范围的限制。在某些情况下，可以根据具体情况增加或减少某些设备。

所属技术领域的技术人员知道，本发明可以实现为系统、装置、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件（包括固件、驻留软件、微代码等），还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”、“装置”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

上面参照本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruction means)的制造品（manufacture）。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

前述描述仅为说明性的，可以进行很多修改和/或替换。

例如，在前文的描述中，以前景对象为人为例进行说明，但是本发明实际上可以应用于前景对象。

另外，前文的描述中，示出了存在两个前景对象（两个人），但是这仅是为描述方便举出的例子，实际上对于前景对象的数量没有限制，可以存在更少或更多的前景对象。

另外，前文的描述中，仅将前景像素归为两类，即外轮廓类和内轮廓内。不过可以想见，也可以将前景像素归为更多类，例如，外轮廓类，内轮廓类，中间像素类（或对象内部像素类），如前文曾描述的那样。后续在进行视差填充时，对于待填充像素，将判断其所属的类别，并进行相应地处理，例如，如果待填充像素被判定属于外轮廓类，则利用其邻域的外轮廓类像素进行平滑处理来估计该待填充像素的视差值；如果待填充像素被判定属于中间像素类，则利用其邻域的同属于中间像素类的像素进行平滑处理来估计该待填充像素的视差值；以及如果待填充像素被判定属于内轮廓类，则仅将其标记为内轮廓类而不对其进行视差估计，以避免视差歧义的传播。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种对稀疏视差图进行稠密化处理的稀疏视差图稠密化方法，包括：

视差图获得步骤，获得视差图，该视差图为稀疏型的视差图；

前景像素定位步骤，定位视差图中的前景像素；

前景对象外轮廓和内轮廓提取步骤，在视差图中，基于定位到的前景像素，提取前景对象与背景间的交界轮廓作为前景对象的外轮廓，并将与前景对象的外轮廓相关联的像素标记为属于第一类，以及提取前景对象之间的交界轮廓作为前景对象的内轮廓，并将与前景对象的内轮廓相关联的像素标记为属于第二类；以及

前景像素填充步骤，对于前景像素之中需要填充的像素，将该像素归类为第一类或第二类，并且在该像素被归类为第一类的情况下利用在该像素周围的预定区域中的与该像素属于同一类且具有有效视差值的像素的视差值，来估计该像素的视差值，而在该像素被归类为第二类的情况下，不对该像素的视差值进行估计。

2.根据权利要求1的稀疏视差图稠密化方法，所述前景像素填充步骤填充各个前景像素为迭代过程，其中将前景像素中所有待填充像素遍历一遍前景像素填充处理为一轮迭代，迭代终止条件为迭代次数大于预定阈值数目、剩余待填充像素的个数在预定次数的连续迭代中下降速率小于预定速率阈值、剩余待填充的像素的数量少于填充数量阈值中的至少一个或者其组合。

3.根据权利要求2的稀疏视差图稠密化方法，其中每一轮迭代过程包括：

步骤（a），取出一个需要填充的像素，并获得该需要填充的像素周围的预定区域的像素；

步骤（b），基于该预定区域的像素，计算该需要填充的像素属于第一类的概率和属于第二类的概率，并基于计算的属于第一类的概率和属于第二类的概率，将该像素归为第一类或第二类，然后在该像素被归类为第一类的情况下利用在该像素周围的预定区域中的与该像素属于同一类且具有有效视差值的像素的视差值，来估计该像素的视差值，而在该像素被归类为第二类的情况下，不对该像素的视差值进行估计；以及

步骤(c)，判断是否还存在需要填充的像素，如果存在，则返回到步骤(a)，如果不存在，则终止本轮迭代过程。

4.根据权利要求2的稀疏视差图稠密化方法，还包括，在步骤(b)中，如果需要填充的像素属于第一类的概率和属于第二类的概率都低于预定阈值，则拒绝对该像素进行归类和视差值估计，并前进到步骤(c)。

5.根据权利要求1到3中任一项的稀疏视差图稠密化方法，在该像素被归类为第一类的情况下利用在该像素周围的预定区域中的与该像素属于同一类且具有有效视差值的像素的视差值，来估计该像素的视差值包括：

利用所述属于同一类且具有有效视差值的像素的视差值的视差平滑结果作为该像素的视差值。

6.根据权利要求1的稀疏视差图稠密化方法，还包括获得与该视差图相对应的灰度图，以及所述定位视差图中的前景像素包括：

在灰度图上实施像素级别的背景建模以提取前景掩模，以及

利用该前景掩模定位视差图上的对应像素作为前景像素。

7.根据权利要求6的稀疏视差图稠密化方法，所述提取前景对象与背景间的交界轮廓作为前景对象的外轮廓，并将与前景对象的外轮廓相关联的像素标记为属于第一类，以及提取前景对象之间的交界轮廓作为前景对象的内轮廓，并将与前景对象的内轮廓相关联的像素标记为属于第二类包括：

在以前景掩模最外围的轮廓线上的各个像素为中心的各个预定大小的区域中搜索具有有效视差值的前景像素，并将搜索到的区域中的具有有效视差值的前景像素标记为属于第一类；以及

将前景掩膜限定的区域内的具有有效视差值但未被标记为属于第一类的像素标记为属于第二类。

8.一种对稀疏视差图进行稠密化处理的稀疏视差图稠密化装置，包括：

图像获得部件，获得视差图，该视差图为稀疏型的视差图；

前景像素定位部件，定位视差图中的前景像素；

前景对象外轮廓和内轮廓提取部件，在视差图中，基于定位到的前景像素，提取前景对象与背景间的交界轮廓作为前景对象的外轮廓，并将与前景对象的外轮廓相关联的像素标记为属于第一类，以及提取前景对象之间的交界轮廓作为前景对象的内轮廓，并将与前景对象的内轮廓相关联的像素标记为属于第二类；以及

前景像素填充部件，对于前景像素之中需要填充的像素，将该像素归类为第一类或第二类，并且在该像素被归类为第一类的情况下利用在该像素周围的预定区域中的与该像素属于同一类且具有有效视差值的像素的视差值，来估计该像素的视差值，而在该像素被归类为第二类的情况下，不对该像素的视差值进行估计。

9.根据权利要求8的稀疏视差图稠密化装置，所述前景像素填充部件填充各个前景像素为迭代过程，其中将前景像素中所有待填充像素遍历一遍前景像素填充处理为一轮迭代，迭代终止条件为迭代次数大于预定阈值数目、待填充像素的个数在预定次数的连续迭代中下降速率小于预定速率阈值、剩余待填充的像素的数量少于填充数量阈值中的至少一个或者其组合。

10.根据权利要求9的稀疏视差图稠密化方法，其中每一轮迭代过程包括：

步骤（a），取出一个需要填充的像素，并获得该需要填充的像素周围的预定区域的像素；

步骤（b），基于该预定区域的像素，计算该需要填充的像素属于第一类的概率和属于第二类的概率，并基于计算的属于第一类的概率和属于第二类的概率，将该像素归为第一类或第二类，然后在该像素被归类为第一类的情况下利用在该像素周围的预定区域中的与该像素属于同一类且具有有效视差值的像素的视差值，来估计该像素的视差值，而在该像素被归类为第二类的情况下，不对该像素的视差值进行估计；以及

步骤(c)，判断当前的迭代是否满足迭代终止条件，如果不满足，则返回到步骤(a)，如果满足，则终止迭代过程。