CN104346608A - 稀疏深度图稠密化方法和装置 - Google Patents

Abstract

提供了稀疏深度图稠密化方法和装置。该方法可以包括：获得要从中检测预定对象的深度图；在深度图中定位前景像素；将前景像素变换到三维世界坐标系中，形成三维点云；将该三维点云分组为子点云；对每个子点云，将该子点云与预先建立的该预定对象的三维稠密模型库中的每个三维稠密模型进行匹配，三维稠密模型表示该模型是由稠密型而非稀疏型的点组成，以及根据匹配结果，选取三维稠密模型，并用该三维稠密模型来代替该子点云；以及将替代后的三维点云投影回深度图。根据本发明的方法和装置仅在前景掩膜上而不是在整图上将稀疏深度图转换成稠密深度图，具有对光照变化增强的鲁棒性，能够降低对象漏检率、提高算法的计算效率和降低背景噪声的干扰。

Description

稀疏深度图稠密化方法和装置

技术领域

本发明总体地涉及视差图像处理，更具体地涉及稀疏视差图像处理方法和装置。

背景技术

已经开发了许多基于深度图像（或视差图像）检测物体的方法，例如基于深度图像检测人、车辆、栅栏等。例如，在计算机视觉领域，人的检测和跟踪已经成为了活跃的研究对象，因为它可以为计算机自动地感知人提供关键的信息，并且为一些高层应用（如人的活动识别和场景理解）提供底层服务。

但是，有时，由于相机的性能限制或者场景本身的特性等因素，可能会得到视差点比较稀疏的深度图，后文称之为稀疏深度图。稀疏是一个相对主观的词汇，含义是指只存在少量的有效深度像素，而且主要是不连续地出现在对象的边缘。出现这种现象的原因可能是一些立体匹配算法只匹配强纹理点或只采纳髙置信度的点。由于稀疏深度图效应，可能使得难于检测到物体如人、车辆等。

在题为“从数字图像数据中形成深度图像”的美国专利US6891966B2中，提出了一种方法和装置，其中对全图实现稠密化，并且使用了颜色辅助的八邻域最小均方误差（LMS）的插值过程。具体来说，首先在对全体深度图集合利用一致性测试后获得一幅关于场景的稀疏的基于特征点的深度图。然后，通过对该稀疏特征点深度图施加一个颜色辅助的深度传播过程获得一幅完全稠密的特征点深度图。最后，通过对该完全稠密的特征点深度图施加颜色辅助的八邻域最小均方误差（LMS）进行插值，获得稠密前景深度。

发明内容

希望提供更适合于进行对象检测的稀疏深度图稠密化方法和装置。

根据本发明的一个方面，提供了一种对稀疏深度图进行稠密化处理的稀疏深度图稠密化方法，可以包括：获得要从中检测预定对象的深度图，该深度图为稀疏型的深度图；在深度图中定位前景像素；将前景像素变换到三维世界坐标系中，形成三维点云；将该三维点云分组为子点云；对每个子点云，将该子点云与预先建立的该预定对象的三维稠密模型库中的每个三维稠密模型进行匹配，其中三维稠密模型表示该模型是由稠密型而非稀疏型的点组成，以及根据匹配结果，选取三维稠密模型，并用该三维稠密模型来代替该子点云；以及将替代后的三维点云投影回深度图。

根据本发明的另一方面，提供了一种对稀疏深度图进行稠密化处理的稀疏深度图稠密化装置，包括：图像获得部件，获得要从中检测预定对象的深度图，该深度图为稀疏型的深度图；前景像素定位部件，在深度图中定位前景像素；三维点云变换部件，将前景像素变换到三维世界坐标系中，形成三维点云；子点云分组部件，将该三维点云分组为子点云；子点云稠密化部件，对每个子点云，将该子点云与预先建立的该预定对象的三维稠密模型库中的每个三维稠密模型进行匹配，其中三维稠密模型表示该模型是由稠密型而非稀疏型的点组成，以及根据匹配结果，选取三维稠密模型，并用该三维稠密模型来代替该子点云；以及深度图投影部件，将替代后的三维点云投影回深度图。

根据本发明上述实施例提出的方法和装置仅在前景掩膜上而不是在整图上将稀疏深度图转换成稠密深度图，具有对光照变化增强的鲁棒性，能够降低后续检测对象的漏检率，同时也提高了算法的计算效率和降低了背景噪声的干扰。而且，上述方法，基于待检测的对象的三维稠密模型于子点云的匹配来进行对稀疏子点云的替代，这样的稠密化的深度图更加适于后续的对象检测，能够降低漏检率，提高对象的检测准确率。

附图说明

在附图中图示各种示例实施例，意图这些例子不是限制性的。应理解，为了图示的简化和清楚，以下引用的图中所示的元件不一定被画成成比例的。而且，在认为适当时，可以在附图之间重复使用附图标记来指示相同的、对应的或类似的元件。在附图中：

图1示出根据本发明实施例的稀疏视差图稠密化系统的应用场景示例的示意图。

图2示出了根据本发明实施例的稀疏深度图稠密化系统1000的配置框图。

图3示出根据本发明实施例的对稀疏深度图进行稠密化处理的稀疏深度图稠密化方法2000的流程图。

图4中的（1）-（4）示意了上述利用灰度图提取的前景掩膜来在深度图上定位前景像素的过程的示意图，这里假设感兴趣的检测对象是人，其中图4中的(1)示出了灰度图；图4中的（2）示出了对灰度图进行前景分割后提取的前景掩膜；图4中的（3）示出了利用该在灰度图上提取的前景掩膜在深度图上定位的对应的深度像素；图4中的（4）示出了从深度图提取出的前景像素构成的深度图像。

图5示意性地示出了将二维深度图的前景像素转换为摄像机坐标系下的三维点云的过程的示意图，其中的左图示意性地示出了提取出的独立深度前景像素组成的深度图，右图示意性地示出了在变换到三维世界坐标系中后得到的三维点云。

图6中的（1）示出了在三维世界坐标系中由独立前景像素组成的点云，图（6）中的（2）示出了经过聚类分组后得到的两个稀疏子点云1和2，图6中的（3）示出了（2）中所示的稀疏子点云经过与三维稠密模型匹配后匹配上的人体三维稠密模型。

图7示出了根据本发明一个实施例的将替代后的三维点云投影回深度图的示例方法2600的流程图。

图8示出了根据本发明一个实施例将匹配的稠密模型投影回深度图的示意图。

图9示意性示出了投影屏蔽原理中“屏蔽”的物理含义。

图10示出了经过步骤S2620的投影屏蔽处理后的投影结果的示意图。

图11示出了根据本发明一个实施例的经过步骤S2630的前景掩膜剪切处理后的投影结果的示意图。

图12示出了根据本发明一个实施例的从图3的步骤S2300到步骤S2600的输入输出关系的示意图。

图13示出了根据本发明一个实施例的对象检测和/或跟踪方法3000的流程图。

图14中的(1)到(3)示出了根据本发明一个实施例的利用定时图投影的卡尔曼滤波方法进行人的检测和/或跟踪过程的示意图，其中图14中的(1)示出了经稠密化处理的投影后的前景分割结果；图14中的(2)示出了利用定时图投影的卡尔曼滤波得到的表面积图和高度图，以此作为检测和/或跟踪特征；图14中的(3)示出了在显示器上显示的灰度图的示意图，其中用方框框出了检测的对象。

图15示出了适于用来实现本发明实施方式的示例性计算系统100的框图。

具体实施方式

下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1示出根据本发明实施例的稀疏视差图稠密化系统的应用场景示例的示意图。如图1所示，稀疏视差图稠密化系统1可以从立体相机中接收稀疏深度图（可选地，还可接收灰度图）作为输入数据，进行稠密化处理后，稠密化的深度图输入到对象检测和跟踪系统2，最后输出检测和（或）跟踪结果。这里，假设以人为检测和（或）跟踪对象，检测到的人以方框框出。

需要说明的是，图1中分开示出了稀疏视差图稠密化系统和对象检测和跟踪系统，不过这两个系统可以合并为单个系统。另外，稀疏视差图稠密化系统1的输出结果不是必需输入到对象检测和(或)跟踪系统2，而是可以直接作为处理结果例如输出在显示屏上。

另外，需要说明的是，图1中所示的系统输入为深度图，不过当然输入也可以为例如双目相机的左图像和右图像，然后在稀疏深度图稠密化系统1的内部来从左图像和右图像来得到深度图，然后对该深度图进行稠密化处理。另外，可选地以及附加地，除了深度图外，还可以输入灰度图。

另外，顺便说一下，在本领域中，深度图和视差图具有基本相同的含义。在本文中，二者可以等效地互换使用。

图2示出了根据本发明实施例的稀疏深度图稠密化系统1000的配置框图。

如图2所示，稀疏深度图稠密化系统1000可以包括：图像获得部件1100，获得要从中检测预定对象的深度图，该深度图为稀疏型的深度图；前景像素定位部件1200，在深度图中定位前景像素；三维点云变换部件1300，将前景像素变换到三维世界坐标系中，形成三维点云；子点云分组部件1400，将该三维点云分组为子点云；子点云稠密化部件1500，对每个子点云，将该子点云与预先建立的该预定对象的三维稠密模型库中的每个三维稠密模型进行匹配，其中三维稠密模型表示该模型是由稠密型而非稀疏型的点组成，以及根据匹配结果，选取三维稠密模型，并用该三维稠密模型来代替该子点云；以及深度图投影部件1600，将替代后的三维点云投影回深度图。

需要说明的是，上述稀疏深度图稠密化系统1000的部件可以用软件程序来实现，例如通过通用计算机中的CPU结合RAM和ROM等以及其中运行的软件代码来实现。软件程序可以存储在诸如闪存、软盘、硬盘、光盘等存储介质上，在运行时加载到诸如随机访问存储器RAM上来由CPU执行。另外，除了通用计算机上，还可以通过专用集成电路和软件之间的合作来实现。所述集成电路包括通过例如MPU（微处理单元）、DSP（数字信号处理器）、FPGA（现场可编程门阵列）、ASIC（专用集成电路）等中的至少一个来实现。这样的通用计算机或者专用集成电路等例如可以装载在房间里，并且与安装在例如房间天花板处的成像设备例如照相机来通信，以便对照相机拍摄获得的二维图像和/或立体图像进行处理来得到稠密化的深度图像，以及可选地还可以分析稠密化的深度图像以进行对象检测和/或跟踪。另外，稀疏深度图稠密化系统1000的各个部件可以用专门的硬件来实现，例如特定的现场可编程门阵列、专用集成电路等。另外，稀疏深度图稠密化系统1000的各个部件也可以利用软件和硬件的结合来实现。

需要说明的是，图2中所示的箭头只表示两个部件的功能之间存在逻辑关系，两个部件之间可以直接或者间接地操作性地连接。另外，即便图2中的某两个部件之间未示出某方向的箭头连接，但是这并不表明两者之间必然不存在该方向的逻辑关系，相反，两者之间可以存在操作性的连接关系，例如三维点云变换部件1300、深度图投影部件1600和图像获得部件1100之间可以存在逻辑关联，其中三维点云变换部件1300、深度图投影部件1600在操作过程中可能需要利用图像获得部件1100所获得的深度图。

上述各个单元的结构和数量不对本发明的范围构成限制。根据本发明的一个实施例，上述图像获得部件1100、前景像素定位部件1200、三维点云变换部件1300、子点云分组部件1400、子点云稠密化部件1500、深度图投影部件1600可以合并为一个独立的部件来执行和实现相应的功能和操作，或者可以将上述图像获得部件1100、前景像素定位部件1200、三维点云变换部件1300、子点云分组部件1400、子点云稠密化部件1500、深度图投影部件1600进一步拆分为更小的单元来实现他们各自的功能和操作。

另外，需要说明的是，图2中所示的结构并不是排他式的，相反稀疏深度图稠密化系统1000可以包括其他部件，例如显示部件，用于例如显示深度图投影部件1600处理后的结果，以及例如通信部件，用于将有关信息和/或中间处理结果传递到外部等。

下面参考图3来描述根据本发明实施例的对稀疏深度图进行稠密化处理的稀疏深度图稠密化方法2000的例子。根据本发明的一个实施例，稀疏深度图稠密化方法2000的各个步骤可以由图2所示的对应部件来实施，即步骤S2100由图像获得部件1100执行，步骤S2200由前景像素定位部件1200执行，步骤S2300由三维点云变换部件1300执行，步骤S2400由子点云分组部件1400执行，步骤S2500由子点云稠密化部件1500执行，以及步骤S2600由深度图投影部件1600执行。

如图3所示，在步骤S2100中，获得要从中检测预定对象的深度图，该深度图为稀疏型的深度图。

任何现有的获取视差图的方法均可以用于本发明。例如，可以通过安装于适当位置如房间天花板四个拐角的双目相机、多目相机、立体相机拍摄灰度图，并计算得到对应的视差图。具体地，例如，可以通过双目相机来拍得左图像和右图像，以及基于左图像和右图像计算得到视差图。

这里，在一个实施例中，成像装置例如双目相机相对于获得深度图的部件（或装置）处于本地，并可以例如通过本地的双目相机来实现视差图的获取。或者在另一个实施例中，也可以利用例如有线网络或者无线网络来从远程获得视差图。另外如前文所述的，如果需要，还可以获得对应的灰度图。需要说明的是，这里的灰度图是广义的概念，既包括单通道的灰度图，也包括RGB在内的多通道图像或者其它彩色空间的图像。

在步骤S2200中，在深度图中定位前景像素。

该步骤也可以称为前景提取或前景分割，即从立体图像中将作为处理对象的前景与背景分开，并提取出（或分割出）前景。

在一个示例中，在深度图中定位前景像素可以借助于灰度图来实现。具体地，在前述步骤S2100中，除了获得深度图外，还可以获得对应的灰度图。然后在灰度图上实施像素级别的背景建模以提取前景掩膜（或前景模板），以及利用该前景掩膜定位深度图上的对应像素作为前景像素。

关于背景建模，作为示例，可以使用但不限于此的方法例如有高斯混合模型（Gaussian Mixture Model）的动态建模方法和在灰度图上逐像素的静态建模方法，用于提取由独立前景像素构成的前景掩膜。此非本发明要点，这里对此不进行详述关于高斯混合模型建模的更具体的介绍，可以参考标题为"Plan-view trajectory estimation with dense stereo background model"的T.Darrel于2001年发表的文章。

这里的前景掩膜可以是由0/1构成的数据。然后可以使用该前景掩膜在稀疏深度图上通过逻辑与的操作提取对应的深度像素。这样例如只有对应掩膜像素为1的深度像素才会被提取出。

图4中的（1）-（4）示意了上述利用灰度图提取的前景掩膜来在深度图上定位前景像素的过程的示意图，这里假设感兴趣的检测对象是人，其中图4中的(1)示出了灰度图；图4中的（2）示出了对灰度图进行前景分割后提取的前景掩膜；图4中的（3）示出了利用该在灰度图上提取的前景掩膜在深度图上定位的对应的深度像素；图4中的（4）示出了从深度图提取出的前景像素构成的深度图像。需要说明的是，图4中的(4)的提取处理并不是必需的，可以在深度图上定位深度像素，然后直接针对这样定位的深度像素进行后续步骤S2300的处理。

上述利用灰度图提取的前景掩膜来在深度图上定位前景像素的方法仅为示例。任何能够直接或间接地在深度图上实现前景分割的方法均可以用于本发明，例如可以无需借助灰度图而直接在深度图上进行前景分割，定位出前景像素。

在步骤S2300中，将前景像素变换到三维世界坐标系中，形成三维点云。

此步骤的操作是为了得到在三维物理世界坐标系中与前景像素对应的点，从而可以利用深度信息分离开在深度图或灰度图上看起来很接近的像素点。

下文中，三维世界坐标系有时也被称为摄像机坐标系或三维摄像机坐标系，它们表示相同的含义，可以互换使用。

图5示意性地示出了将二维深度图的前景像素转换为摄像机坐标系下的三维点云的过程的示意图，其中的左图示意性地示出了提取出的独立深度前景像素组成的深度图，右图示意性地示出了在变换到三维世界坐标系中后得到的三维点云。此可视为从二维到三维的变换过程。需要说明的是，这里所谓的从二维到三维的变换过程是指从二维到三维的空间变化，而不是给二维的数据直接增加一维数据。对于二维的深度图而言，二维表示这是以像素为单位的图像坐标系。在这样的像素位置坐标(Ix,Iy)下的像素值d具有实际的物理单位（比如厘米），从而构成了一幅二维的深度图。在这样的意义下。一幅RGB图也同样可以视为二维的，表示从二维坐标系到像素值的映射。尽管从纯数据的角度其向量可以构成为(Ix,Iy,R,G,B)。

如在摄像机标定技术中公知的，二维图像坐标系与三维摄像机坐标系间的转换关系可以通过摄像机内参矩阵建立，如下式(1)所示：

$\left[\begin{array}{c}\mathrm{Cx}\\ \mathrm{Cy}\\ \mathrm{Cz}\end{array}\right]{=\left[\begin{array}{ccc}\mathrm{fx}& 0& c_x\\ 0& \mathrm{fy}& c_y\\ 0& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}\mathrm{Ix}\·d\\ \mathrm{Iy}\·d\\ d\end{array}\right]---\left(1\right)$

其中，fx与fy表示成像仪沿着图像的x与y方向的焦距；c_x与c_y表示成像仪（或摄像机的感光元件）的中心关于光轴的偏离（分别沿x与y方向）。Ix表示深度图中一个像素点的横轴(x轴)坐标,Iy表示深度图中一个像素点的纵轴（y轴）坐标，d表示深度图中位于坐标(Ix,Iy)下的像素点的深度值，Ix.d表示Ix和d的乘积，Iy.d表示Iy和d的乘积。(Cx,Cy,Cz)表示深度图的二维坐标系中的像素点在摄像机坐标系中的对应点的坐标，各个坐标值可以以物理单位（如厘米）为量纲，表示从三维坐标系到像素值的映射。经此二维到三维的转换，摄像机坐标系下的坐标(Cx,Cy,Cz)的各个分量可以具有同样的物理尺度（量纲），从而便于后续的三维点云到子点云的分组（比如通过基于欧式距离准则的聚类）和匹配。

经过上述将二维深度图下的前景像素变换到三维世界坐标系的处理，每一个二维图像像素（以像素为单位）与其深度值（例如，假设深度以厘米为单位）一起，变换到三维摄像机坐标系下（假设以厘米为单位）。这是一个逐个像素进行的过程，即每个像素独立进行变换。深度图像素之间在变换时彼此不进行联系。经此变换，在三维摄像机坐标系中得到一个由许多孤立的三维点组成的点集，下文中称之为点云。

在步骤S2400中，将该三维点云分组为子点云。

此步骤的处理，相当于将三维摄像机坐标系中各个孤立的点分组为相互联系的各个子点云，其中预期每个子点云中的点来自于同一对象，即在检测对象为人的情况下，预期每个子点云中的点来自于同一个人，换句话说，认为每个子点云中的点在概率意义上很可能来自于同一个人。经过此分组处理，可以建立该子点云内包含的像素间的联系，以及实现属于不同的子点云的像素间的隔离。

在一个示例中，可以利用聚类算法来将三维点云分组为子点云。例如，利用距离测度或利用关于预定对象在三维世界中体积分布的先验知识来进行聚类。关于具体聚类算法，可以例如为K近邻（KNN）算法或者K均值（K-means）算法等等。

在一个示例中，可以对于聚类得到的各个子点云进行标记，例如，利用数值进行标记。例如，数值的大小可以与子点云的平均深度之间存在对应关系，例如，平均深度最小的子点云用1标记，平均深度次小的子点云用2标记，等等。当然，也可以按其它的方式进行标记。

在另一个例子中，可以借助于灰度图来进行点的分类，例如可以在灰度图上利用例如像素的颜色、纹理等特征进行分类，然后，将这样的各个类别的点对应转换为三维世界坐标系中的子点云。

在另一个示例中，可以将灰度图的分类和在三维世界坐标系中的分组结合起来实现子点云的分组。例如，可以借助于灰度图来进行点的分类，例如可以在灰度图上利用例如像素的颜色、纹理等特征进行分类，然后在将这样的类别对应转换到三维世界坐标系中，并且在三维世界坐标系中，考虑例如各个点到所属的子点云的中心之间的距离，来进行类别的细修正，例如，如果一个点距离所属的子点云的中心之间的距离超出预定阈值，则可以将该点从该子点云脱离，并重新判定该点在各个子点云中的归属。

图6中的（1）示出了在三维世界坐标系中由独立前景像素组成的点云，图（6）中的（2）示出了经过聚类分组后得到的两个稀疏子点云1和2。

在步骤S2500中，对每个子点云，将该子点云与预先建立的该预定对象的三维稠密模型库中的每个三维稠密模型进行匹配，其中三维稠密模型表示该模型是由稠密型而非稀疏型的点组成，以及根据匹配结果，选取三维稠密模型，并用该三维稠密模型来代替该子点云。

三维稠密模型库可以包括预定对象（例如，本示例中为人）的不同视角和/或不同姿态下的三维稠密模型。

需要指出，这里所谓的稠密是指模型是由稠密的点而非稀疏的点构成的。另外，关于密集到何种程度为稠密，以及稀疏到何种程度为稀疏可以由人为规定，无论如何分类都不影响本发明的应用，因此本发明对此不进行阐述。

另外，优选地，预先建立多个稠密模型而非一个，这是为了包含人体在摄像机坐标系下的旋转或者姿态在一定程度上的变化产生的多种样态。

存在一些开源数据库，包含各种姿态和视点下的人体三维表面的稠密的点云，可以将这些稠密点云作为三维稠密模型。例如，下面是两个参考数据库：http://robotics.stanford.edu/～drago/Projects/scape/scape.html

http://www.eecs.berkeley.edu/～lbourdev/h3d/。

在另一个示例中，也可以用输出稠密深度的立体相机建立自身的对象的稠密三维稠密模型。

在一个示例中，尤其是在准备了足够多的三维稠密模型的情况下，可以不对各个三维稠密模型进行坐标变换处理（例如旋转处理），而直接进行各个三维稠密模型与子点云的匹配。

在另一个示例中，尤其是无法准备足够的三维稠密模型的情况下，将子点云与预先建立的该预定对象的三维稠密模型库中的每个三维稠密模型进行匹配可以包括：对每个三维稠密模型，通过旋转变换得到该三维稠密模型在不同视角下的旋转三维稠密模型，并将各个旋转三维稠密模型与该子点云进行匹配，来得到匹配度最高的旋转三维稠密模型，并得到与匹配度最高的旋转三维稠密模型之间的匹配误差，并且如果该匹配误差在可接受的范围内，则可以选取该匹配度最高的旋转三维稠密模型，用以替代该子点云，从而实现了该子点云的稠密化处理。

在一个示例中，将子点云与一个三维稠密模型匹配的过程可以例如具体实现为如下两个三维点云的配准过程：给定一个原点云（如三维对象模型，对应于这里的三维稠密模型）和一个目标点云（如标记过的稀疏点云，对应于本发明实施例中的分组后得到的子点云），确定对应的特征点；估计一个透视变换（或者说，坐标变换）使得该变换可以在空间上对齐这些特征点；将该变换施加到目标点云中所有的点，然后计算配准误差。这样就可以估计原点云与目标点云的点在空间中的分布的接近程度。

另外，上述坐标变换过程除了包括旋转变换外，还可以包括平移变换。

关于子点云与三维稠密模型的匹配方法，可以使用的方法包括但不限于最小均方误差准则（LMS）。

在一个示例中，如果一个三维稠密模型与一个标记的子点云匹配，则该三维稠密模型可以被赋予相同的标记，例如与子点云1匹配的三维稠密模型被赋予标记1，与子点云2匹配的三维稠密模型被赋予标记2，等等。

图6中的（3）示出了（2）中所示的稀疏子点云经过与三维稠密模型的匹配处理后匹配上的人体三维稠密模型，分别用1和2标示，表示人体三维稠密模型1与稀疏子点云1匹配，以及人体三维稠密模型2与稀疏子点云2匹配。

需要说明的是，如果发现一个子点云与各个三维稠密模型之间都无法匹配，例如匹配误差大于预定阈值，则在一个示例中，可以认为该子点云是待检测的对象的可能性很低，因此不对该子点云进行稠密化处理；或者，在另一个示例中，可以对该子点云进行进一步细分类，并对作为子类别的进一步的子点云重复上述匹配处理。

在步骤S2600中，将替代后的三维点云投影回深度图。

下面参考图7描述根据本发明一个实施例的将替代后的三维点云投影回深度图的示例方法。

图7示出了根据本发明一个实施例的将替代后的三维点云投影回深度图的示例方法2600的流程图。

如图7所示，该方法的输入为经过步骤S2500的处理匹配上的各个三维稠密模型。

在步骤S2610中，在深度图上投影匹配上的各个三维稠密模型。

投影过程可以通过摄像机内参矩阵的线性变换实现，如公式（2）所示，其可以视为步骤S2300中操作的逆过程。

$\left[\begin{array}{c}\mathrm{Ix}.d\\ \mathrm{Iy}.d\\ d\end{array}\right]=\left[\begin{array}{ccc}\mathrm{fx}& 0& c_{\text{x}}\\ 0& \mathrm{fy}& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}\mathrm{Cx}\\ \mathrm{Cy}\\ \mathrm{Cz}\end{array}\right]---\left(2\right)$

式(2)中各变量的含义与上式(1)中的相同变量的含义相同，这里不再赘述。

经过此三维点云向二维深度图的投影，得到的深度图中的前景是稠密型的，因为它们来源于三维稠密模型。

图8示出了根据本发明一个实施例将匹配的稠密模型投影回深度图的示意图，其中图8中的（1）示出了摄像机坐标系下与稀疏子点云匹配上的人体三维稠密模型，图8中的(2)示出了投影回深度图后得到的图像。

在某些情况下，三维稠密模型之间可能存在相互遮挡，在此情况下，从摄像机视角看，三维空间中的多个点会被投影到深度图中的一个点。图8中的（2）即示出了三维空间中的多个点重叠投影到深度图中的一个点的情况。

针对此情况，在步骤S2620中，在深度图上如果某个像素对应于多个三维稠密模型中的点，则用代表最小的深度的三维世界坐标系中点来投影得到该像素。换句话说，根据投影屏蔽原理，在一个示例中，如果三维点云中的多个点对应于深度图中的同一个像素点，则用三维点云中深度最小的点来投影得到深度图中的该像素点。

这是基于如下简单光学假设：如果沿着同一条光线上有若干点，摄像机将只能看到最近的点。其它较远点都被这个最近点屏蔽了。

图9示意性示出了投影屏蔽原理中“屏蔽”的物理含义。在图9所显示的摄像机坐标系下，假设投影中心发出一束穿过点q(x,y)(该点在图像平面上)以及点Q’(X’,Y’,Z’)的光线。沿着这条光线，如果从摄像机的视角通过投影中心来观察，点Q’会被点Q屏蔽和遮挡。因此点q(x,y)是点Q而不是点Q’的投影。这一现象源于透视投影的基本假设，本文称其为投影屏蔽。

图10示出了经过步骤S2620的投影屏蔽处理后的投影结果的示意图，可见因为子点云1的各个点的深度小于子点云2的各个点的深度，因此在深度图中的同一个点既对应于子点云1中的点也对应于子点云2中的点的情况下，深度图中的该像素点被对应到子点云1中的点，或者说最终利用子点云1中的点来获得深度图中的该像素点。经过步骤S2620的投影屏蔽处理，每个前景像素仅对应一个标记，如图10所示，原重叠标记的像素目前仅对应于标记1，而非如图8中的（2）所示有的前景像素既对应于标记1也对应于标记2。

需要说明的是，在对投影到同一个点的三维世界坐标系中的多个点的深度值进行比较的过程中，可以用各个点自身的深度值。或者可替代地可以利用各个点所属于的子点云的平均深度来代表该点的深度，这样可以提高计算效率。

步骤S2630是可选的步骤。即在需要时，可以利用前景掩膜来剪切投影结果，具体地如果将替代后的三维点云投影回深度图的结果超出了前景掩膜的轮廓，则可以利用前景掩膜来修剪掉结果中超出前景掩膜的轮廓的部分。这里所说的修剪掉，是指对于超出前景掩膜的部分不予采用，或者可以不进行向二维深度图的投影处理，而是将该部分继续保持作为背景。本实施例提出利用前景掩膜来剪切投影结果是出于如下考虑：由于匹配到的最优三维模型仅是人体在三维空间的位置、视角（在摄像机坐标系下的旋转）和姿态等的粗略估计，因此投影后的图像可能会有一定的失真，可能会扩张前景掩膜的轮廓。这样，通过利用前景掩膜来修剪掉结果中超出前景掩膜的轮廓的部分，由标记的稀疏点云以及其最佳人体三维稠密模型间的估计误差所产生的前景的轮廓失真（轮廓的扩张）会得到修正。

图11示出了根据本发明一个实施例的经过步骤S2630的前景掩膜剪切处理后的投影结果的示意图。

在经过步骤S2600将三维点云投影回深度图后，结束处理。

为便于理解，图12示出了根据本发明一个实施例的从图3的步骤S2300到步骤S2600的输入输出关系的示意图，即步骤S2300的从二维到三维（坐标变换）、步骤S2400和S2500的从三维到三维（稠密化处理）、步骤S2600的从三维到二维(投影)的顺序过程：使用由通过S2200提取到的独立深度像素构成的图像以及前景掩膜（可选）作为输入，获得被分割了的人（即人由相同标记的关联像素构成）的稠密化结果。上述输入输出关系的建立需要本发明实施例提出的从二维到三维再到二维的变换过程。在变换到三维后，在三维世界坐标系中匹配人体三维稠密模型；在接下来的二维阶段还可以实施投影屏蔽。

根据本发明上述实施例提出的方法和装置仅在前景掩膜上而不是在整图上将稀疏深度图转换成稠密深度图，具有对光照变化增强的鲁棒性，能够降低后续检测对象的漏检率，同时也提高了算法的计算效率和降低了背景噪声的干扰。

下面参考图13描述根据本发明一个实施例的包括图3所示的稀疏深度图稠密化处理的对象检测和/或跟踪方法的例子。

图13示出了根据本发明一个实施例的对象检测和/或跟踪方法3000的流程图。图13中的步骤S3100到S3600对应于图3中的步骤S2100到S2600，可以用相同的处理来实现，这里不再赘述。

图13与图3的区别在于还包括步骤S3700和S3800。

在步骤S3700中，在投影后的深度图上检测和/或跟踪预定对象。

存在各种对象（例如人）的检测和跟踪算法，包括但不限于利用顶视图投影，从而获得反映人的可视表面积分布的表面积图和反映人的高度分布的高度图。作为实施例，可以使用了基于顶视图模板匹配的卡尔曼滤波跟踪技术。关于可视表面积和高度分布的具体介绍可以参考申请人为株式会社理光，申请号为CN201210292660.2和申请人为株式会社理光，申请号为CN201210574632.x的中国专利申请中的描述，通过引用将这两篇专利申请全文并入本文。

需要说明的是，这里可以是在投影的由前景像素构成的深度图（经过稠密化处理，不包括背景像素）上进行对象检测和/或跟踪。不过，也可以是在既包括投影的前景像素（经过稠密化处理）也包括背景像素的深度图上进行对象检测和/或跟踪。

在步骤S3800中，输出检测和/或跟踪结果。

可以以各种形式来输出对象检测和/或跟踪结果。例如，可以在显示器上显示灰度图，其中用方框框出检测到的对象，如图14中的（3）所示。或者，替代地，也可以用语音形式进行告知，或者以文本形式来通知检测结果，等等。

图14中的(1)到(3)示出了根据本发明一个实施例的利用定时图投影的卡尔曼滤波方法进行人的检测和/或跟踪过程的示意图，其中图14中的(1)示出了经稠密化处理的投影后的前景分割结果；图14中的(2)示出了利用定时图投影的卡尔曼滤波得到的表面积图和高度图，以此作为检测和/或跟踪特征；图14中的(3)示出了在显示器上显示的灰度图的示意图，其中用方框框出了检测的对象。

本发明还可以通过一种用于检测物体的计算系统来实施。图15示出了适于用来实现本发明实施方式的示例性计算系统100的框图。如图15所示，计算系统100可以包括：CPU（中央处理单元）101、RAM（随机存取存储器）102、ROM（只读存储器）103、系统总线104、硬盘控制器105、键盘控制器106、串行接口控制器107、并行接口控制器108、显示控制器109、硬盘110、键盘111、串行外部设备112、并行外部设备113和显示器114。在这些设备中，与系统总线104耦合的有CPU101、RAM102、ROM103、硬盘控制器105、键盘控制器106、串行控制器107、并行控制器108和显示控制器109。硬盘110与硬盘控制器105耦合，键盘111与键盘控制器106耦合，串行外部设备112与串行接口控制器107耦合，并行外部设备113与并行接口控制器108耦合，以及显示器114与显示控制器109耦合。应当理解，图1所述的结构框图仅仅是为了示例的目的，而不是对本发明范围的限制。在某些情况下，可以根据具体情况增加或减少某些设备。

所属技术领域的技术人员知道，本发明可以实现为系统、装置、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件（包括固件、驻留软件、微代码等），还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”、“装置”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

上面参照本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruction means)的制造品（manufacture）。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

前述描述仅为说明性的，可以进行很多修改和/或替换。

例如，在前文的描述中，以检测人为例进行说明，但是本发明实际上可以应用于检测任何对象，此时要建立该待检对象的三维稠密模型。

另外，前文的描述中，示出了存在两个待检测的人，但是这仅是为描述方便举出的例子，实际上对于待检测的对象的数量没有限制，可以存在更少或更多的待检测对象。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种对稀疏深度图进行稠密化处理的稀疏深度图稠密化方法，包括：

获得要从中检测预定对象的深度图，该深度图为稀疏型的深度图；

在深度图中定位前景像素；

将前景像素变换到三维世界坐标系中，形成三维点云；

将该三维点云分组为子点云；

对每个子点云，将该子点云与预先建立的该预定对象的三维稠密模型库中的每个三维稠密模型进行匹配，其中三维稠密模型表示该模型是由稠密型而非稀疏型的点组成，以及根据匹配结果，选取三维稠密模型，并用该三维稠密模型来代替该子点云；以及

将替代后的三维点云投影回深度图。

2.根据权利要求1的稀疏深度图稠密化方法，所述将替代后的三维点云投影回稀疏深度图包括：

如果三维点云中的多个点对应于深度图中的同一个像素点，则用三维点云中深度最小的点来投影得到深度图中的该像素点。

3.根据权利要求1的稀疏深度图稠密化方法，还包括获得与该深度图相对应的灰度图，以及所述在深度图中定位前景像素包括：

在灰度图上实施像素级别的背景建模以提取前景掩膜，以及

利用该前景掩膜定位深度图上的对应像素作为前景像素。

4.根据权利要求1的稀疏深度图稠密化方法，所述将该三维点云分组为子点云包括：

利用距离测度或利用关于预定对象在三维世界中体积分布的先验知识，通过聚类算法将三维点云分组为子点云，表征该子点云中的点预期来自于同一对象。

5.根据权利要求1的稀疏深度图稠密化方法，所述三维稠密模型库包括预定对象的不同视角和/或不同姿态下的三维稠密模型。

6.根据权利要求1的稀疏深度图稠密化方法，将该子点云与预先建立的该预定对象的三维稠密模型库中的每个三维稠密模型进行匹配包括：

对每个三维稠密模型，通过旋转变换得到该三维稠密模型在不同视角下的旋转三维稠密模型，并将各个旋转三维稠密模型与该子点云进行匹配，来得到匹配度最高的旋转三维稠密模型。

7.根据权利要求3的稀疏深度图稠密化方法，还包括：

如果将替代后的三维点云投影回深度图的结果超出了前景掩膜的轮廓，则利用前景掩膜来修剪掉结果中超出前景掩膜的轮廓的部分。

8.根据权利要求1的稀疏深度图稠密化方法，还包括：

在投影后的深度图上检测和/或跟踪预定对象；以及

输出检测和/或跟踪结果。

9.一种对稀疏深度图进行稠密化处理的稀疏深度图稠密化装置，包括：

图像获得部件，获得要从中检测预定对象的深度图，该深度图为稀疏型的深度图；

前景像素定位部件，在深度图中定位前景像素；

三维点云变换部件，将前景像素变换到三维世界坐标系中，形成三维点云；

子点云分组部件，将该三维点云分组为子点云；

子点云稠密化部件，对每个子点云，将该子点云与预先建立的该预定对象的三维稠密模型库中的每个三维稠密模型进行匹配，其中三维稠密模型表示该模型是由稠密型而非稀疏型的点组成，以及根据匹配结果，选取三维稠密模型，并用该三维稠密模型来代替该子点云；以及

深度图投影部件，将替代后的三维点云投影回深度图。

10.根据权利要求9的稀疏深度图稠密化装置，所述深度图投影部件将替代后的三维点云投影回稀疏深度图包括：

如果三维点云中的多个点对应于深度图中的一个像素点，则用三维点云中深度最小的点来投影得到深度图中的该像素点。