CN103593641A - 基于立体摄像机的物体检测方法和装置 - Google Patents

Abstract

本发明公开了一种基于立体摄像机的物体检测方法和装置。该方法包括下述步骤：对立体摄像机拍摄物体获得的立体图像进行坐标转化，获得相当于假想的摄像机沿预定方向拍摄物体的立体图像，并且获得该坐标转化后的立体图像在该预定投影方向上的平面投影视图；对于该投影视图，基于检测参数进行物体检测；计算出被检测出物体遮挡的区域；对于在被检测出物体遮挡的区域内的位置，调整检测参数；以及对于在被检测出物体遮挡的区域内的位置，基于该调整后的检测参数来检测物体。本发明的物体检测方法和装置有效地解决了遮挡对物体检测和跟踪的影响，可以更准确和尽可能地利用已有图像数据检测到物体。

Description

基于立体摄像机的物体检测方法和装置

技术领域

本发明总体地涉及图像处理，更具体地涉及基于立体摄像机的物体检测方法和装置。

背景技术

图像处理领域中对人的检测的方法已经有很多方法，其中大多数使用的是彩色（或灰度）图像。比如，基于混合高斯（GMM）的动态背景建模结合前景分割的方法，基于Haar特征的人脸检测，基于HOG的行人检测方法等等。由于采集设备的限制，彩色（或灰度）图像只包含二维信息，所以当存在遮挡时由于特征的不完整，检测失败是无法避免的难题。

目前出现了许多立体信息采集设备。一类立体摄像机使用主动发射红外光来辅助生成立体信息，这类摄像机有微软的Kinect。另一类立体摄像机基于立体视距的双目原理，称为双目摄像机。

已经存在一些利用立体摄像机采集的图像来检测对象的技术。

例如，在标题为“METHOD AND SYSTEM TO SEGMENT DEPTHIMAGES AND TO DETECT SHAPES IN THREE-DIMENSIONALLYACQUIRED DATA”的专利文献US8009871B2中提出一种对深度图像的分割技术，可以从三维信息中检测出某种形状的物体。在该公开的技术中，首先，对深度图像中相临近的有相似深度值的像素赋予相同的标记，从而完成分割。然后，由于遮挡的存在，不同对象会被粗划分为同一个区域内，将该区域内的像素先进行连通域分析然后进行统计直方图的处理。直方图可以帮助细划分出不同的区域。

标题为“SURFACE GENERATION METHOD FROM BOUNDARIES OFSTEREO IMAGES”的专利文献US5202928A中提出一种使用立体图像检测平面的方法。该方法首先在不同角度摄像机得到的图像中检测边缘并计算出各图像中的边缘对应同一物体的同一个边缘；然后对边缘进行分类为真实的分割边界，假象的分割边界和未定义边界。最后，使用点的相互遮挡的信息计算出一个平面的边界。

另外，Michael Harville在2003年发表的文章"Stereo Person Tracking withAdaptive Plan-View Templates of Height and Occupancy Statistics"（下文中称为非专利文献3）中提出了一种使用立体相机在投影图中对人进行跟踪的方法。具体地说，提出了使用固定阈值对累加俯视图二值化，然后作为掩膜(mask)模板对高度俯视图进行操作；最终人的检测在操作后的图像中完成。

如上，在已知文献中介绍了使用立体摄像机检测对象的方法，然而当存在遮挡，尤其是较严重的遮挡时如何检测仍然是待解决的难题。

发明内容

本发明的一个目的是希望提供一种物体检测方法和装置，其对物体遮挡具有较强的鲁棒性，能够准确且尽可能多地检测出对象。

根据本发明的实施例，一种基于立体摄像机的物体检测方法，可以包括下述步骤：对立体摄像机拍摄物体获得的立体图像进行坐标转化，获得相当于假想的摄像机沿预定方向拍摄物体的立体图像，并且获得该坐标转化后的立体图像在该预定方向上的平面投影视图；对于该投影视图，基于检测参数进行物体检测；计算出被检测出物体遮挡的区域；对于在被检测出物体遮挡的区域内的位置，调整检测参数；以及对于在被检测出物体遮挡的区域内的位置，基于该调整后的检测参数来检测物体。

根据本发明的另一实施例，提供了一种基于立体摄像机的物体检测装置，包括：投影视图获得部件，用于对立体摄像机拍摄物体获得的立体图像进行坐标转化，获得相当于假想的摄像机沿预定方向拍摄物体的立体图像，并且获得该坐标转化后的立体图像在该预定方向上的平面投影视图；第一物体检测部件，用于对于该投影视图，基于检测参数进行物体检测；遮挡区域计算部件，用于计算出被检测出物体遮挡的区域；检测参数调整部件，用于对于在被检测出物体遮挡的区域内的位置，调整检测参数；以及第二物体检测部件，用于对于在被检测出物体遮挡的区域内的位置，基于该调整后的检测参数来检测物体。

利用根据本发明实施例的物体检测方法和装置，可以消除或减轻遮挡的影响，更准确和尽可能多地检测出对象。

附图说明

图1示出了根据本发明一个实施例的物体检测方法的总体流程图。

图2给出了摄像机垂直方位、水平方位以及倾斜方位这三种布置下的覆盖范围和遮挡情况的对比示意图。

图3a示出了将立体摄像机获得的立体图像进行坐标转化，获得相当于假想的摄像机垂直拍摄物体的立体图像的示意图，图3b示意性示出了真实立体摄像机拍摄的图像和假想的摄像机拍摄的图像的对比示意图。

图4a示出了人的累加俯视图的示意图，图4b示出人的高度俯视图的示意图，图4c示出了根据本发明一个实施例的在累加俯视图中标识出的由检测出的人遮挡的区域的示意图。

图5示出了通过物体模板和累加俯视图中候选区域匹配进行对象检测的示例性方法120的流程图。

图6示出了在图5的示例性方法120中使用的匹配窗口的示意图。

图7a示出了用三维高斯核(Gaussian Kernel)函数来模拟立体人的示意图，图7b示出了高斯核函数的累加俯视图的示意图。

图8示出了在对图5的示例性方法120中的检测结果进行阈值化处理后的检测结果的示意图。

图9示出了根据本发明实施例的遮挡区域计算和检测参数调整的示例性方法的流程图。

图10示出了一种示例性遮挡模型的示意图。

图11示出了一种被遮挡曲线的示意图。

图12示出了根据本发明一个实施例的示例性物体检测装置的功能配置框图。

图13是示出按照本发明实施例的物体检测系统的总体硬件框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

将按下列顺序进行描述：

1、物体检测方法的整体过程

2、坐标转换和平面投影视图的获得

3、具体物体检测方法的示例

4、遮挡区域计算和检测参数调整的方法示例

5、物体检测装置

6、系统硬件配置

7、总结

1、物体检测方法的整体过程

下面描述根据本发明一个实施例的、利用针对预定空间布置的立体摄像机，来对该预定空间中的物体进行检测的整体过程。

图1示出了根据本发明一个实施例的物体检测方法100的总体流程图。

为便于描述，该总体流程图假定针对一预定空间中，布置了一个或多个立体摄像机，以对出现于该预定空间中的对象进行立体成像，通过对立体图像进行处理来进行对象检测。

关于预定空间，例如可以是一个房间，例如超市、厂房等，不过也可以是室外的空间，例如学校场地、军工场所等，只要是可以作为监控对象的空间即可。关于被检测的对象，没有特别限制，可以是人、动物、飞行物、汽车、椅子等等。

关于立体摄像机是指能够对物体进行三维成像或立体成像的摄像机，一般可同时输出深度图像和彩色图像（或灰度图像）。如前所述，一类立体摄像机使用主动发射红外光来辅助生成立体信息，这样的摄像机例子，有微软的Kinect，还有基于红外光飞行时间(Time of Flight,TOF)技术的类型，或者基于纹理光的类型。另一类立体摄像机基于立体视距的双目原理，例如双目摄像机或多目摄像机。为描述便利，下文将采用双目摄像机为例进行说明，不过本发明并不局限于此，而是可以应用任何立体摄像机。

请注意，由于使用立体摄像机，能得到准确的三维信息。所以本发明提出的人的检测应理解为可以同时完成检测和定位，当然不必说也可以仅进行对象检测和定位之一。

如图1所示，在步骤S110中，对立体摄像机拍摄物体获得的立体图像进行坐标转化，获得相当于假想的摄像机沿预定方向拍摄物体的立体图像，并且获得该坐标转化后的立体图像在该预定方向上的平面投影视图。

优选地，可以在对立体图像进行坐标转换之前，首先进行前景分割，即从立体图像中将作为处理对象的前景与背景分开，并提取出前景。作为一种示例性实现，可以使用RGBD的混合高斯动态建模来分割前景，具体可以参考标题为"Plan-view trajectory estimation with dense stereo background model"的T.Darrel于2001年发表的文章。

关于平面投影视图的概念，如何进行坐标转换以及如何得到平面投影视图的例子，后面将参考图2到图4b进行详细描述。

对于这样坐标转换并投影后的平面投影视图，更容易进行物体检测，而且因为是从立体图像转换而来，因此仍然具有对应的三维信息，例如高度信息。

在步骤S120中，对于该平面投影视图，基于检测参数进行物体检测。

优选地，按照距离立体摄像机由近及远的顺序来检测物体。这是因为距离立体摄像机近的物体较少或者不会被遮挡。

这里的检测参数，根据采用检测方法的不同而不同。

根据一个示例，如果通过物体标准模板和平面投影视图中待检对象进行匹配的方法进行检测，则检测参数可以为阈值和物体模板。在此情况下，通过将被检测物体和物体模板进行匹配、确定匹配程度、将匹配程度和阈值进行比较来检测物体。

作为另一示例，如果通过对物体检测模型进行建模的方法来对物体进行检测，则检测参数可以是依赖于具体物体检测模型的具体参数。

这里，对于检测方法和检测参数，本发明没有特别限制，任何检测方法和对应的检测参数都可以用于本发明，例如基于连通域分析来分割和检测对象的方法等。不过后面为了描述方便，作为示例，将参考图5-8描述通过物体模板和平面投影视图中待检对象进行匹配的方法进行对象检测的例子。

在步骤S130中，计算出被检测出物体遮挡的区域。

已知摄像机的位置、摄像机的高度、检测出物体的位置和检测出物体的高度，可以利用遮挡模型来计算出被检测出物体遮挡的区域，其中遮挡模型建立了遮挡程度与摄像机位置以及检测出物体的位置之间的关系。后文将参考图9-11对如何利用遮挡模型计算遮挡区域给出示例性描述。

不过利用遮挡模型计算遮挡区域仅为示例，在摄像机位置和高度固定的情况下，可以事先为预定高度范围的物体建立起物体高度、位置与遮挡程度或区域之间关系的对应表格。后续在进行物体检测时，在检测出物体并进而确定了物体的高度和位置后，即可以通过查询表格来获得遮挡区域。

在步骤S140中，对于在被检测出物体遮挡的区域内的位置，调整检测参数。

当在遮挡区域内的某位置检测是否存在预定对象时，假设在该位置处存在预定对象，该对象受到遮挡，存在某部分的丢失，例如当检测预定的人时，该人的下部分缺失了。那么应该根据遮挡的程度和/或遮挡的区域，来调整检测参数。

例如，在对物体图像取侧面投影视图时，此时因为下半部分丢失，则可以将匹配模板也抹掉对应的下半部分，而只对上半部分进行匹配。而如果是例如左侧肩膀区域被遮挡，则可以将匹配模板也某掉对应的左侧肩膀区域。

再例如，在以物体图像的平面投影视图，更具体地例如以累加投影视图为处理对象时，此时因为存在遮挡，会丢失像素信息，反映在累加投影视图的结果是，相比于没有遮挡的情况，累加投影视图的所有区域或者部分会变暗甚至缺失，这时可以根据遮挡程度来调整阈值参数或者修正匹配模板。

在步骤S150中，对于在被检测出物体遮挡的区域内的位置，基于该调整后的检测参数来检测物体。

此步骤的操作与步骤S120的操作类似，不同之处在于，因为已经考虑到遮挡情况而对于被遮挡的位置调整了检测参数，这里对于遮挡区域内的位置，将根据动态调整后的检测参数来检测物体。

在本发明上述实施例中的物体检测方法中，通过对立体图像进行坐标转化以及向预定方向投影而获得易于进行物体检测的平面投影视图，基于检测参数进行物体检测，对于检测出的物体，计算被其遮挡的区域；针对该遮挡区域的位置，调整检测参数，并基于调整后的检测参数来检测物体，由此有效地解决了遮挡对物体检测和/或跟踪的影响，可以更准确和尽可能地利用已有图像数据检测到物体。

2、坐标转换和平面投影视图的获得

下面将参考图2到图4b给出对立体图像进行坐标转换以及对坐标转换后的图像进行投影而得到平面投影视图的方法例子进行描述。该方法可以应用于图1所示的步骤S110。

如前所述，本发明的一个目的在于减轻遮挡对物体检测的影响，为了获得遮挡程度或遮挡区域的信息，物体的三维图像即立体图像是必要的，因此本发明以立体图像为处理对象。

如前所述，在步骤S110中，对立体摄像机拍摄物体获得的立体图像进行坐标转化，获得相当于假想的摄像机沿预定方向拍摄物体的立体图像，并且获得该坐标转化后的立体图像在该预定方向上的平面投影视图。

需要说明的是，本例子以及后续例子中，以人为检测目标，并假设人站在地面上。不过这仅为示例，本发明并不局限于此，可以以任何物体为检测目标，如动物、椅子等等，而且被检测对象可以任意布置而未必一定位于地面上。

直观地，当摄像机正好位于成像对象的上方，并垂直向下拍摄成像对象时，此时对象之间存在很少的遮挡甚至不存在遮挡。而当摄像机镜头的方位与地面平行布置时，此时立体摄像机覆盖范围最广，但是遮挡最严重。

一般地，在现实世界中的真实应用中，立体摄像机是以与例如地面成一定倾斜角度来对物体进行拍摄的，而很少是绝对垂直拍摄或与地面平行地拍摄。此时立体摄像机的覆盖范围和遮挡均为中间情况。

图2给出了摄像机垂直方位、水平方位以及倾斜方位这三种布置下的覆盖范围和遮挡情况的对比示意图。

为描述方便，下面将以假想的摄像机是垂直向下俯拍为例进行描述，换句话说此时预定方向为垂直方向。不过这仅为示例，本发明并不局限于此，例如也可以是假想的摄像机拍摄方向与地面平行。

图3a示出了将立体摄像机获得的立体图像进行坐标转化，获得相当于假想的摄像机垂直拍摄物体的立体图像的示意图；以及图3b示意性示出了真实立体摄像机拍摄的图像和假想的摄像机拍摄的图像的对比示意图。

如图3a所示，在已知摄像机外参（图3a中的R和T）的情况下，对于按照与对面成一定倾斜角度布置的真实摄像机所拍摄的图像，可以将图像中的任意一个像素位置转换到世界坐标系，转换后就得到了如同图3a中的假想摄像机垂直俯拍物体时得到的立体图像。在此示例中，这里的俯视图是指世界坐标系的两个坐标轴置于地面上时的图像。注意，图3a中的摄像机外参R为旋转参数，外参T为平移参数，具体描述可参见上述T.Darrel于2001年发表的文章。

顺便说一下，本领域技术人员应该知道，上述对一个被遮挡的物体进行坐标转换，以获得相当于假想的摄像机沿例如垂直向下方向拍摄物体的立体图像，请注意这里的用语“假想的”，即并非能获得和一台真正摄像机正垂直向下拍摄图像同样的效果。例如，在物体被部分遮挡的情况下，此时其实只是对物体被拍摄到的部分进行坐标转换，这是因为坐标转换并不能增加本来没有的信息。

在步骤S110中，在获得如此步骤坐标转换后的立体图像后，还获得该坐标转化后的立体图像在该预定方向上的平面投影视图。

关于平面投影视图，可以例如为累加投影视图，投影后的视图中的每个像素的值表示立体图像在投影方向上坐标相同的所有像素值之和。或者平面投影视图可以为高度投影视图，投影后的视图中的每个像素的值表示立体图像在投影方向上坐标相同的所有像素之中高度最大的像素的高度。

下文中，在假想摄像机为垂直向下拍摄时，对应的投影视图称为累加俯视图和高度俯视图。

图4a给出了人的累加俯视图的示意图，以及图4b给出人的高度俯视图的示意图。图4a和4b以及后面描述的4c中的标号300指示的喇叭形区域表示摄像机的拍摄范围，这里按照纸面方向，摄像机（未示出）位于图4a和4b以及后面描述的4c中的累加俯视图和/或高度俯视图的下部。

如图4a中的累加俯视图的示意图所示，图中每个像素代表的含义是坐标转换后在相同的地面坐标区域内所有的像素的和，这里像素的和可以是简单的像素计数，或者可以是像素的强度之和，或者也可以是对像素的强度进行归一化后的和，特别地，关于归一化方法，可以考虑到同一物体近大远小的特点，使用像素的深度值进行归一化，例如可参考前述非专利文献3获得关于归一化方法的具体实现的描述。图中较亮的区域表示在该区域有更多的像素被累加。白色的直线表示摄像机的拍摄区域，摄像机的拍摄位置在图中底部的白线下方。图4a中的5个亮斑表示场景中的5个人。

图4b阐述本发明的高度俯视图的示意图。图中每个像素代表的含义是坐标转换后在相同的地面坐标区域内所有的像素中高度最大的值。

上面简要描述了对立体摄像机拍摄物体获得的立体图像进行坐标转化，获得相当于假想的摄像机沿预定方向拍摄物体的立体图像，并且获得转换后的图像在某个平面视图上的投影，换句话说，可以视为在某个平面视图上物体的表面点的分布的统计数据，也可称为外观平面视图(Appearance planview)。在垂直向下投影的情况下，可以获得两种外观水平面视图，即累加俯视图和高度俯视图。关于获得外观平面视图的方法的更具体描述，可以参考标题为"Plan-view trajectory estimation with dense stereo background model"的T.Darrel于2001年发表的文章。

不同的物体的外观平面视图表现出不同的特性，由此可以通过分析物体的外观平面视图实现对物体的检测。

3、具体物体检测方法的示例

下面参考图5描述通过物体模板和累加俯视图中候选区域匹配进行对象检测的示例性方法120。该方法可以应用于图1中的步骤S120。

假设，已经预先准备并存储了人的俯视模板17、匹配阈值表18，在匹配阈值表18中，将位置和对应的匹配阈值相关联地存储。另外假设通过图1中步骤S110的操作已经获得了累加俯视图16。

如图5所示，在步骤S121中，将当前匹配窗口移动到累加俯视图16的相应位置的步骤。

优选地，步骤S121的窗口移动顺序遵循相对于摄像机而言由近到远的原则。这是因为，最好先检测距离摄像机近的没有遮挡的人，以便调整被遮挡的区域的匹配阈值。在累加俯视图16中窗口的移动顺序为按纸面方向从图像底部移动到顶部。图6示出了步骤S121中使用的匹配窗口的示意图，其中底部的匹配窗口所覆盖的区域不存在待检测对象即人，而在其上部的匹配窗口所覆盖的区域中存在待检测对象即人。本示例中，采用了矩形形状的匹配窗口，不过这仅为示例，可以采用其他形状的匹配窗口，例如圆形形状等。另外，关于窗口的大小和窗口移动的步长，可以根据经验确定或者通过学习来获得。

在完成步骤S121的操作后，过程前进到步骤S122。

在步骤S122中，计算匹配窗口中区域与人的俯视模板17的相似度。

在累加俯视图16，一个存在人的区域表现为图像中的一个斑块，其中心亮度高于周边区域的值。只要具有这种特性的图像即可作为一个人的俯视模板17。本实施例中使用图7所示的高斯模板，其中图7a示出了用三维高斯核(Gaussian Kernel)函数来模拟立体人的示意图，图7b示出了高斯核函数的累加俯视图的示意图。人可能呈现各种体态，但无论何种体态，一般而言，人的累加俯视图中总体地仍具有中心亮度高于周边区域的值的特性，高斯模板很好地反映了人的累加俯视图的特征，对人的不同姿态具有鲁棒性。不过，高斯模板仅为应用于人的匹配模板的示例，本发明并不局限于此，如前所述，任何体现中中心亮度高于周边区域的值的斑块状的模板均可以用于本发明。而且，可以想见，检测对象不同，模板也应不同。

计算匹配窗口中区域（如图6中矩形框区域）与人的俯视模板17（如图7所示）的相似度步骤可以通过对矩形框区域和模板进行卷积操作来实现，如表达式（1）所示：

$m(i,j)=\mathrm{convol}(\mathrm{plan\; view}(i,j),\mathrm{template})=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{plan\; view}(i+x,j+y)*\mathrm{template}(x,y)......\left(1\right)$

其中(i，j)表示俯视图的位置坐标，公式convol()表示卷积操作，m表示匹配值。x,y分别表示模板中的相对宽和高的值。

本示例中，采用卷积操作计算相似度，不过这仅为示例，可以采用任何能够计算两个图像区域相似度的方法，例如绝对差值和法等。而且，对于计算的相似度，可以进行常见的归一化处理。

在步骤S123中，比较计算的相似度和对应的匹配阈值，判断是否存在检测对象即人。

具体地，根据检测位置（i，j）从匹配阈值表18中获得该位置对应的匹配阈值threshold(i，j)，将步骤S122中计算得到的相似度m(i，j)和匹配阈值threshold(i，j)进行比较，如果相似度m(i，j)大于匹配阈值threshold(i，j)，如公式(2)所示，则判定该匹配窗口区域存在人，否则判定该匹配窗口区域不存在人。

m(i,j)>threshold(i,j)                            ……(2)

假如将累加俯视图中各位置相关联的相似度进行阈值化处理，即当该位置相关联的相似度小于阈值时，将该位置对应的区域中的像素的值设为零，而保留相似度大于阈值的区域的像素值，那么最后每个检测到的人为一个亮斑。图8示出了如此阈值化处理后的检测结果的示意图。图中每一个亮的区域表示一个可能的人的区域。需要说明的是，在存在遮挡的情况下，图中代表每个人的区域的亮的区域的亮度是不相同的，存在遮挡的人的区域会较暗。图8中仅仅给出检测到5个检测对象即人的示意图，并不代表真实的结果中每个亮斑的亮度都相同。

另外，在匹配阈值表格中，可以将投影摄图中的每个位置与对应的检测参数相关联地存储。初始地，可以设置每个位置相关联的阈值都相同，该初始阈值可以根据经验人工设置或者通过学习确定。在例如图1所示的步骤S130中调整检测参数时，对于在被检测出物体遮挡的区域内的位置，根据遮挡模型确定的与该位置对应的遮挡程度来调整检测参数，以及将利用调整后的检测参数更新表格中对应的检测参数。

4、遮挡区域计算和检测参数调整的方法示例

在已经例如通过图1中步骤S120的操作而检测到了人的情况下，接下来需要计算被该检测出的人遮挡的区域以及对于遮挡区域中的位置调整检测参数。

下面参考图9描述根据本发明实施例的遮挡区域计算和检测参数调整的方法130的示例。该示例性方法可以应用于图1所示的步骤S130和S140。

图9示出了根据本发明实施例的遮挡区域计算和检测参数调整的示例性方法130的流程图。

这里，假设已经配备了匹配阈值表18和前述高度俯视图19。不过需要说明的是，可以不配备高度俯视图，而是只要能够获得与位置对应的高度信息即可。另外，匹配阈值表也不一定是必需的，例如，在某些应用中可能可以利用公式来计算匹配阈值。

如图9所示，在步骤S131中，计算被检测的人的高度。具体地，如前所述，高度俯视图中每个像素点的值表示人的表面点投影在水平视图中，其中坐标相同的所有像素之中高度最大的像素的高度，如图4(b)所示。因此，可以根据被检测出的人的位置而计算对应的高度。例如，通过下面的公式(3)来计算人的高度。

h=average(view_H,human)                            ……(3)

其中h表示被检测出的人的高度，view_H表示高度俯视图18，而human表示的是被检测出的人在高度俯视图中对应的区域。即通过人在高度俯视图中对应的区域中的各点的像素均值，来获得人的高度。

此获得人的高度的方法仅为示例，替代地，例如，也可以用人的表面的最高点作为人的高度。

在步骤S131中获得人的高度后，前进到步骤S132。

在步骤S132中，根据遮挡模型计算被遮挡区域。

图10给出了一种示例性遮挡模型的示意图。遮挡模型主要描述的根据摄像机的位置、人的位置、摄像机的高度H、人的高度h与所遮挡的区域之间的关系。首先，某位置相关联的被遮挡的高度h₀与该位置距离检测出的人的距离负相关，即离检测出的人越远，被遮挡高度越低。图11中显示的被遮挡曲线描述该关系。根据图11所示，距离检测出的人较近的位置（较小的Δd）遮挡比较严重，随着距离的变远遮挡程度逐渐变弱。

本例子中认为当被遮挡的高度低到一定程度时，遮挡对于物体检测的影响可以忽略不计，由此定义了一个遮挡最小值h_low，计算出最远距离Δd_max，从而确定出遮挡区域边界。

如图10所示，假设存在如下式(4)所示的比例关系。

$\frac{h-h_0}{H-h}=\frac{\mathrm{\Δd}}{d}......\left(4\right)$

其中H表示摄像机高度，h表示检测出的人的高度，d表示摄像机距离检测出的人的距离，Δd表示被遮挡位置离开检测出的人的距离，h₀表示被检测出的人，也即距离摄像机较近的人遮挡的高度。

则，由公式(4)可导出公式(5)，以获得被检测出的人遮挡的高度h0。

$h_0=\max (h-\frac{H-h}{d}*\mathrm{\Δd},0)......\left(5\right)$

图4c示出了根据本发明一个实施例的在累加俯视图中标识出的由检测出的人遮挡的区域的示意图，该遮挡区域由图4c中的标号400指示的区域示出。如前所述，在图4c的示例中，摄像机（未示出）位于累加俯视图的下部，从摄像机的视角看，遮挡区域为一个类似梯形的区域，该梯形区域例如可以由前文的检测出人的位置，最远遮挡区域Δd_max，检测出的人的宽度，摄像机的参数而定。不过梯形形状仅为示例，可以基于检测出的人的位置、最远遮挡区域Δd_max、检测出的人的宽度而确定矩形形状的遮挡区域。

在完成步骤S132后，前进到步骤S133。

在步骤S133中，对被遮挡区域中的每个位置计算匹配阈值，并利用该匹配阈值更新匹配阈值表。

在本示例中，假定该位置也存在一个与检测出的人的高度h一样高的人，那么通过步骤S132的操作已经确定了该人被遮挡的高度为h₀，则该人未被遮挡的高度为h-h₀。假设在未被遮挡的高度、原始高度h、初始阈值threshold(i，j)和更新后的阈值thresholdⁿ(i，j)之间存在下式(6)所示的比例关系：

$\frac{{\mathrm{tjreshold}}^n(i,j)}{\mathrm{threshold}(i,j)}=\frac{h-h_0}{h}......\left(6\right)$

由公式(4)可得下式(7)

$h-h_0=\frac{\mathrm{\Δd}(i,j)}{d}*(H-h)......\left(7\right)$

将等式(7)带入公式(6)，可导出公式(8)，以得到更新后的阈值thresholdⁿ(i，j)。

${\mathrm{threshold}}^n(i,j)=\frac{H-h}{h}*\frac{\mathrm{\Δd}(i,j)}{d}*\mathrm{threshold}(i,j)......\left(8\right)$

由此，可以利用新的阈值thresholdⁿ(i，j)来更新匹配阈值表18中的位置(i，j)处相关联的阈值。

本示例中调整的参数是匹配阈值，不过这仅为示例，例如也可以调整匹配模板，例如根据遮挡程度而调低模板的亮度。另外，可以根据应用的检测方法不同而调整不同的参数。

5、物体检测装置

图12示出了根据本发明一个实施例的示例性物体检测装置5000的功能配置框图。

物体检测装置5000用于利用针对预定空间布置的立体摄像机进行图像处理，对物体进行检测和/或跟踪，其能够处理存在遮挡的情况。

如图11所示，物体检测装置5000包括：投影视图获得部件5100、第一物体检测部件5200、遮挡区域计算部件5300、检测参数调整部件5400、第二物体检测部件5500。

投影视图获得部件5100，可以对立体摄像机拍摄物体获得的立体图像进行坐标转化，获得相当于假想的摄像机沿预定方向拍摄物体的立体图像，并且获得该坐标转化后的立体图像在预定投影方向上的投影视图。

第一物体检测部件5200，用于对于该投影视图，基于检测参数进行物体检测。

遮挡区域计算部件5300，用于计算出被检测出物体遮挡的区域。

检测参数调整部件5400，用于对于在被检测出物体遮挡的区域内的位置，调整检测参数。

第二物体检测部件5500，用于对于在被检测出物体遮挡的区域内的位置，基于该调整后的检测参数来检测物体。

有关上述物体检测装置5000的各个功能部件5200到5500的操作可以参考图1中所示的流程图以及相关的描述，这里不再赘述。

需要说明的是，上述第一物体检测部件和第二物体检测部件5500可以用相同的功能配件来实现。

6、系统硬件配置

本发明还可以通过一种物体检测（跟踪）硬件系统来实施。图13是示出按照本发明实施例的物体检测（跟踪）系统1000的总体硬件框图。如图13所示，物体检测系统1000可以包括：输入设备1100，用于从外部输入有关图像或信息，例如摄像机拍摄的图像或视频流、预定空间的大小、摄像机的位置等，例如可以包括键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等；处理设备1200，用于实施上述的按照本发明实施例的物体检测方法，或者实施为上述的物体检测装置，例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等，可以连接到诸如因特网的网络（未示出），根据处理过程的需要向远程传送处理后的图像等等；输出设备1300，用于向外部输出实施上述物体检测（跟踪）过程所得的结果，例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设备1400，用于以易失或非易失的方式存储上述物体检测（跟踪）过程所涉及的诸如立体图像、空间大小、摄像机的参数、累加俯视图、高度俯视图、匹配阈值表等数据，例如可以包括随机存取存储器（RAM）、只读存储器（ROM）、硬盘、或半导体存储器等等的各种易失或非易失性存储器。

7、总结

根据本发明的实施例，提供了一种基于立体摄像机的物体检测方法，可以包括下述步骤：对立体摄像机拍摄物体获得的立体图像进行坐标转化，获得相当于假想的摄像机沿预定方向拍摄物体的立体图像，并且获得该坐标转化后的立体图像在该预定方向上的平面投影视图；对于该投影视图，基于检测参数进行物体检测；计算出被检测出物体遮挡的区域；对于在被检测出物体遮挡的区域内的位置，调整检测参数；以及对于在被检测出物体遮挡的区域内的位置，基于该调整后的检测参数来检测物体。

根据本发明的另一实施例，提供了一种基于立体摄像机的物体检测装置，包括：投影视图获得部件，用于对立体摄像机拍摄物体获得的立体图像进行坐标转化，获得相当于假想的摄像机沿预定方向拍摄物体的立体图像，并且获得该坐标转化后的立体图像在该预定方向上的平面投影视图；第一物体检测部件，用于对于该投影视图，基于检测参数进行物体检测；遮挡区域计算部件，用于计算出被检测出物体遮挡的区域；检测参数调整部件，用于对于在被检测出物体遮挡的区域内的位置，调整检测参数；以及第二物体检测部件，用于对于在被检测出物体遮挡的区域内的位置，基于该调整后的检测参数来检测物体。

利用根据本发明实施例的物体检测方法和装置，可以减轻遮挡的影响，更准确和尽可能多地检测出对象。

前述描述仅为说明性的，可以进行很多修改和/或替换。

前面的附图和描述中以立体摄像机为双目摄像机为例进行说明，不过本发明并不局限于此，而是可以应用任何立体摄像机。

前文的示例性描述中以人为检测目标。不过这仅为示例，本发明并不局限于此，可以以任何物体为检测目标，如动物、椅子等等。

前文的示例性描述中，假设人站在地面上，不过本发明并不局限于此，被检测对象可以任意布置，而未必一定位于地面上。

前文的示例性描述中，以累积俯视图为处理对象，不过这仅为示例，本发明并不局限于此，可以以任意方向的平面投影视图为处理对象，例如可以以累积侧视图为处理对象。另外，处理对象并不一定是累积平面视图，也可以是例如高度平面视图等。

前文的示例性描述中，每一次检测出预定物体，即计算该检测出物体的遮挡区域，并更新该遮挡区域中位置的检测参数。不过这仅为示例，本发明并不局限于此，可以统一首先进行任意检测顺序的物体检测过程，然后针对检测出的所有物体来确定各个检测出物体的遮挡区域，然后对遮挡区域中的位置来更新检测参数。

前文的示例性描述中，假设所有待检物体的高度相同，不过这仅是出于便于描述的目的给出的示例。被检测物体的高度可以不同，这样的高度很容易从立体图像的三维信息中得出，并相应地计算有关遮挡区域和进行检测参数调整。

前文的示例性描述中，在计算遮挡区域的过程中，以检测出物体所在区域的平均高度为高度，不过这仅为示例，可以对检测出物体进行进一步的区域划分，然后计算每一区域的高度，并针对每一区域来计算遮挡区域。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种基于立体摄像机的物体检测方法，包括：

对立体摄像机拍摄物体获得的立体图像进行坐标转化，获得相当于假想的摄像机沿预定方向拍摄物体的立体图像，并且获得该坐标转化后的立体图像在该预定方向上的平面投影视图；

对于该投影视图，基于检测参数进行物体检测；

计算出被检测出物体遮挡的区域；

对于在被检测出物体遮挡的区域内的位置，调整检测参数；以及

对于在被检测出物体遮挡的区域内的位置，基于该调整后的检测参数来检测物体。

2.如权利要求1所述的方法，其中，在所述调整检测参数的步骤中调整的检测参数是阈值和/或物体模板，其中通过将被检测物体和物体模板进行匹配、确定匹配程度、比较匹配程度和阈值来检测物体。

3.如权利要求1或2所述的方法，其中，按照距离立体摄像机由近及远的顺序来检测物体。

4.如权利要求1或2所述的方法，其中，利用遮挡模型来计算出被检测出物体遮挡的区域，该遮挡模型建立了遮挡程度与摄像机位置以及检测出物体的位置之间的关系。

5.如权利要求4所述的方法，其中在表格中将投影摄图中的每个位置与对应的检测参数相关联地存储，以及在调整检测参数时，对于在被检测出物体遮挡的区域内的位置，根据遮挡模型确定的与该位置对应的遮挡程度来调整检测参数，以及利用调整后的检测参数更新表格中对应的检测参数。

6.如权利要求1或2所述的方法，其中所述投影视图为累加投影视图，投影后的视图中的每个像素的值表示立体图像在投影方向上坐标相同的所有像素值之和。

7.如权利要求1或2所述的方法，其中所述投影视图为高度投影视图，投影后的视图中的每个像素的值表示立体图像在投影方向上坐标相同的所有像素之中高度最大的像素的高度。

8.一种基于立体摄像机的物体检测装置，包括：

投影视图获得部件，用于对立体摄像机拍摄物体获得的立体图像进行坐标转化，获得相当于假想的摄像机沿预定方向拍摄物体的立体图像，并且获得该坐标转化后的立体图像在该预定方向上的平面投影视图；

第一物体检测部件，用于对于该投影视图，基于检测参数进行物体检测；

遮挡区域计算部件，用于计算出被检测出物体遮挡的区域；

检测参数调整部件，用于对于在被检测出物体遮挡的区域内的位置，调整检测参数；以及

第二物体检测部件，用于对于在被检测出物体遮挡的区域内的位置，基于该调整后的检测参数来检测物体。

9.如权利要求8所述的物体检测装置，其中，所述检测参数调整部件调整的检测参数是阈值和/或物体模板，其中通过将被检测物体和物体模板进行匹配、确定匹配程度、比较匹配程度和阈值来检测物体。

10.如权利要求8或9所述的方法，其中，所述第一物体检测部件和第二物体检测部件按照距离立体摄像机由近及远的顺序来检测物体。

Images