CN104182747A - 基于多个立体相机的对象检测跟踪方法及装置 - Google Patents

Abstract

本发明公开了一种对象检测和跟踪装置及方法。该方法包括：获得先前对象检测结果；获得当前时刻的多个立体相机的各个初步对象检测结果；在统一的世界坐标系中，将所有初步对象检测结果的位置信息归一化于当前帧中，并且不区分各个初步对象检测结果所关联的立体相机；在当前帧中，针对每个先前对象检测结果生成相关联的搜索窗口，在搜索窗口内，确定与该先前对象检测结果最匹配的一个或多个初步对象检测结果，以及更新对象检测结果；确定新对象候选；基于对新对象候选的聚类处理，检测新对象；以及输出所述更新对象检测结果和所述检测到的新对象作为当前对象检测结果。该物体检测跟踪方法和装置可以提高运算效率，适于扩展。

Description

基于多个立体相机的对象检测跟踪方法及装置

技术领域

本发明总体地涉及图像处理，更具体地涉及基于立体视觉的对象检测跟踪方法及装置。

背景技术

已经存在一些利用立体摄像机采集的图像来检测对象的技术，例如，标题为“METHOD AND SYSTEM TO SEGMENT DEPTH IMAGES AND TODETECT SHAPES IN THREE-DIMENSIONALLY ACQUIRED DATA”的专利文献US8009871B，标题为“SURFACE GENERATION METHOD FROMBOUNDARIES OF STEREO IMAGES”的专利文献US5202928A，MichaelHarville在2003年发表的文章"Stereo Person Tracking with Adaptive Plan-ViewTemplates of Height and Occupancy Statistics"等。

以人的定位或检测为例，人的定位是以人为中心的技术的基础，只有人被准确的定位后方能提供和推送主动的服务。人定位是指检测到人进而得到人在室内或者室外的位置信息，也就是得到人在世界坐标系中的坐标值(x, y,z)的过程。

基于立体视觉的人的定位技术的核心是深度图/视差图序列中的人的检测和跟踪技术。目前，基于立体视觉的人的定位技术，当其用于真实的场景时，依然有些问题和挑战。首先，当物体离立体相机/双目相机的距离较远时，测量得到的距离的精度呈现下降的趋势，这对基于立体视觉的对象的检测、跟踪和定位带来了极大的负面影响。另外，遮挡也会导致对象检测、跟踪和定位的不准确，甚至失效。为此，在实际应用中，特别是涉及到较大的范围的实际应用中，往往需要部署多台立体相机/双目相机。

发明内容

如何利用多个立体相机的深度/视差信息来更有效的检测对象、跟踪对象和更精确地定位对象，就是非常亟待解决的实际问题。可以通过使用融合技术来进行解决。融合，按照其融合对象的不同大致可以分为三类：原始数据集的融合；特征集的融合；再有就是结果集的融合。

对于多个立体相机诸如双目相机的场景而言，原始数据集的融合，即像素集的融合，网络传输数据量大和处理的数据量大，很难在实际场景中进行实时应用。

专利US7929017B2提出了一种方法和装置用于立体相机、多相机以及RF和视频的融合。该方法融合单目相机、立体相机的跟踪结果，以及RFID、定位系统和生物识别系统的结果。该融合技术通过对不同传感器信息的噪声和模糊进行严格地不确定性分析后，进行传感器信息的转换。其基于时空约束来融合不同传感器的位置和速度信息。

该专利提出的技术使用了贝叶斯方法来融合各类结果，融合目标是跟踪的结果和位置信息。为了增加稳定性，其考虑了时空的约束。本质上讲，该方法明确地将不同的结果根据其来源的传感器进行区分，然后建立不同的传感器的各个结果之间的映射关系。如果，不同的传感器的某些结果通过距离计算判定为同一个结果，就融合它们，否则这些不同传感器的结果均作为不同的最终结果。

专利US7742620B2提出了一种通过时域和空域融合来提升检测结果的方法。该方法融合目标是各个不同传感器的处理结果，其将空域和时域的融合结合到一起，同时采用了特殊的阈值处理。该方法也是在结果集上的融合。其也明确区分不同传感器的处理结果，通过建立映射关系及其距离计算来进行结果的融合。

上述两篇文献中介绍的技术均明确区分不同传感器的处理结果，通过建立映射关系及其距离计算来进行结果的融合。下文中为描述方便，将这类技术统称为区分来源式结果融合技术。

本发明人经实验和分析认为，上述区分来源式结果融合技术的基本处理是根据结果的来源显式地区分结果，然后建立这些不同来源的结果的关联度矩阵，再通过优化的方法找到匹配，匹配的不同源的各个结果融合为一个最终的人。一般而言，构建关联度矩阵目的在于求解匹配，导致处理的复杂性过高，求解也比较困难。

鉴于现有技术的上述问题，本发明希望提供一种能够降低基于多个立体相机的对象检测结果融合的复杂性、提高处理效率的技术。

根据本发明的一个方面，提供了一种基于多个立体相机的对象检测和跟踪方法，可以包括下述步骤：获得先前时刻的先前对象检测结果；获得来源于当前时刻的多个立体相机拍摄的图像的每个的对象检测的各个初步对象检测结果；在统一的世界坐标系中，将来源于多个立体相机的所有初步对象检测结果的位置信息归一化于当前帧中，并且每个初步对象检测结果用各自的特征信息表示，其中并不区分各个初步对象检测结果所关联的立体相机；在当前帧中，针对每个先前对象检测结果生成相关联的搜索窗口，在每个先前对象检测结果相关联的搜索窗口内，确定与该先前对象检测结果最匹配的一个或多个初步对象检测结果，基于所确定的一个或多个初步对象检测结果获得先前对象检测结果的更新对象检测结果；确定搜索窗口内与先前对象检测结果的匹配度小于预定阈值的初步对象检测结果以及确定在搜索窗口外的初步对象检测结果作为新对象候选；基于对新对象候选的聚类处理，检测新对象；以及输出所述更新对象检测结果和所述检测到的新对象作为当前对象检测结果。

根据本发明的另一方面，提供了一种基于多个立体相机的对象检测和跟踪装置，可以包括：先前对象检测结果获得部件，用于获得先前时刻的先前对象检测结果；多立体相机初步检测结果获得部件，用于获得来源于当前时刻的多个立体相机拍摄的图像的每个的对象检测的各个初步对象检测结果；归一化部件，在统一的世界坐标系中，将来源于多个立体相机的所有初步对象检测结果的位置信息归一化于当前帧中，并且每个初步对象检测结果用各自的特征信息表示，其中并不区分各个初步对象检测结果所关联的立体相机；更新对象检测结果获得部件，用于在当前帧中，针对每个先前对象检测结果生成相关联的搜索窗口，在每个先前对象检测结果相关联的搜索窗口内，确定与该先前对象检测结果最匹配的一个或多个初步对象检测结果，基于所确定的一个或多个初步对象检测结果获得先前对象检测结果的更新对象检测结果；新对象候选确定部件，用于确定搜索窗口内与先前对象检测结果的匹配度小于预定阈值的初步对象检测结果以及确定在搜索窗口外的初步对象检测结果作为新对象候选；新对象检测部件，用于基于对新对象候选的聚类处理，检测新对象；以及当前对象检测结果输出部件，用于输出所述更新对象检测结果和所述检测到的新对象作为当前对象检测结果。

利用根据本发明实施例的对象检测跟踪方法和装置，能够不考虑对象检测结果所来源的相机地进行融合处理。其中进行先前对象检测结果的更新相当于进行时域上的融合。而不区分所来源的相机地对来自若干立体相机的初步对象检测结果进行空域上的聚类处理则相当于空域上的融合。根据本发明实施例的对象检测跟踪方法和装置能够适用于任何个数立体相机的结果的融合，大大降低了融合处理的复杂度和难度，增强了适应性和可扩展性。

附图说明

图1示出了基于多个立体相机的对象检测结果融合的示例性应用场景。

图2示出了不同的双目摄像机的检测跟踪的结果在顶视图上的示意性显示示例。

图3给出了在顶视图上的结果融合的示意图。

图4示出了显式地区分不同双目相机的对象检测结果的示意图。

图5示出了区分来源式结果融合技术中涉及的两个双目相机的对象检测结果之间的关联度矩阵的示意图。

图6示出了两个双目相机的结果直接通过关联度矩阵进行判定后确定的相互匹配的结果的示意图。

图7示出了使用本发明实施例的方法或装置的系统示意图。

图8示出了根据本发明一个实施例的物体检测跟踪方法100的总体流程图。

图9示出了搜索窗口内匹配处理的示意图。

图10示出了经过新对象备选处理后的结果示意图。

图11是根据本发明实施例的对新的对象的备选进行聚类处理的示意图。

图12是根据本发明实施例的对新的人的备选进行空域聚类处理的结果示例的示意图。

图13(a)-(d)示出了根据本发明实施例的自适应搜索窗口生成方法过程的示意图。

图14示出了根据本发明一个实施例的示例性对象检测跟踪装置2000的功能配置框图。

图15是示出按照本发明实施例的对象检测跟踪系统3000的总体硬件框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

如前所述，如何有效地进行多个立体相机的处理结果的融合，得到更加完善和精确的对象定位结果，目前仍是一个正在解决的课题。

<面对问题分析>

在描述本发明的优选实施例之前，首先分析要解决的问题的应用场景，有关跟踪结果表示形式、融合形式、在区分检测结果来源的相机的情况下使用的关联度矩阵示例、利用关联度矩阵的匹配示例。以便本领域技术人员能够更好地理解本发明提出的基本思想。

下面，为描述方便，将以检测的对象为人来进行说明。不过，显然检测的对象可以不限于人。

图1示出了基于多个立体相机的对象检测结果融合的示例性应用场景，其中源于各个相机的不同检测跟踪结果通过网络汇聚到了服务器端，在服务器上进行融合，最后给出融合结果，例如检测到的对象的位置。本发明中关注的是如何快捷有效地进行结果融合。

图2示出了不同的双目摄像机的检测跟踪的结果在顶视图上的示意性显示示例。图2中，两个圆圈表示双目相机A和双目相机B的位置。四个三角形表示双目相机A的人的检测跟踪的结果；四个星形表示双目相机B的人的检测跟踪的结果。

图3给出了在顶视图上的结果融合的示意图。四个菱形表示四个被定位的人。他们是两个双目相机的人的检测和跟踪的结果融合后的最终结果。

下面概要地描述区分来源式结果融合技术的一种典型处理过程。

首先，根据结果的来源显式地区分不同的结果。对于多个双目相机的结果的融合，即根据双目相机的不同对结果进行明确地区分。例如，双目相机A的结果就表示为A1,A2,…,An,…；双目相机B的结果则表示为B1,B2,…Bm,…..。

图4示出了显式地区分不同双目相机的结果的示意图。其中，5个三角形表示从双目相机A得到的结果，他们是A1,A2,A3,A4和A5。6个星形表示从双目相机B得到的结果，他们是B1,B2,B3,B4,B5和B6。

其次，建立不同双目相机的结果的关联关系，例如通过关联度矩阵（association matrix）或者不确定性分析方法（贝叶斯理论）。

图5示出了区分来源式结果融合技术中涉及的两个双目相机的结果之间的关联度矩阵的示意图。图中，A1,A2,…,An是从双目相机A得到的人的结果;B1,B2,…,Bm是从双目相机B得到的人的结果。为构建关联度矩阵，需要计算相似度值：S11,…,Smn。这些相似度值为来自不同的双目相机的结果Ai和Bj的组合的相似度。这里，i从1到n，j从1到m。

图6示出了两个双目相机的结果直接通过关联度矩阵进行判定后确定的相互匹配的结果的示意图。其中，结果B1和A1匹配到一起，即这两个结果可以融合为一个人；结果Bm和An相匹配，即这两个结果可以融合为一个人。

实际上，当结果的数量较多，或者双目相机的数量较多时，构造相似度矩阵比较复杂。此外，在构造的相似度矩阵中找到正确的匹配，本身是一个优化问题，其需要用到动态规划等方法来求解。

上述区分来源式结果融合技术的基本处理是根据结果的来源显式地区分结果，然后建立这些不同来源的结果的关联度矩阵，再通过优化的方法找到匹配，匹配的不同源的各个结果融合为一个最终的人。一般而言，构建关联度矩阵目的在于求解匹配，导致处理的复杂性过高，求解也比较困难。

<本发明基本思想概述>

为降低复杂度和解决求解的问题，提出了本发明。本发明的基本思想如下：

1.通过迭代来同时考虑空域和时域的融合。

迭代的含义由公式（1）和公式（2）确定。

T(n)=F(t(n),T(n-1))   (1)

T(n+1)=F(t(n+1),T(n))   (2)

公式（1）中T(n-1)表示的是第n-1帧的融合后的结果（n>2）或者初始帧的检测结果（n=2）；t(n)表示第n帧的来自于不同双目相机的需要进行融合处理的结果；T(n)表示的是第n帧的融合后的结果。同理，公式（2）中T(n)表示的是第n帧的融合后的结果；t(n+1)表示的是第n+1帧来自于不同的双目相机的需要进行融合处理的结果；T(n+1)表示的是第n+1帧的融合后的结果。上述公式中，n>=2，其中初始帧的检测结果T(1)可以通过任何检测方法获得。

上述的处理不断地进行，从第二帧，到第三帧，…，我们把这个处理过程称为迭代处理。这体现了时域上的跟踪和空域上的融合的理念。

2.不对结果进行显式的区分，即不按照结果的来源对结果进行区分。

本发明并不按照双目相机的不同，将要融合的结果分为Ai和Bj等。相反，本发明对所有的结果进行平等和独立的处理。即，我们把所有的结果看做x1,x2,…,xi,…，然后对他们进行统一的处理。

<本发明实施例系统示意图>

图7示出了使用本发明实施例的方法或装置的系统示意图，主要示例性给出了本发明实施例的输入和输出。其中，输入的信息在图中显示为来自于两个个双目相机。图中仅示出了两个双目相机，实际上本发明可以支持一个、两个、更多个双目相机。本发明实施例的输出是定位到的人的位置，我们以鸟瞰图或俯视图的形式呈现出来。图7中的两个圆圈表示的是两个双目相机在顶视图中的位置，线表示的是双目相机的视角边缘。多个白色的菱形表示定位到的人。

需要说明的是，图7中示出了服务器为单独的信息处理装置。不过作为替代，用于从例如本地相机拍摄的图像检测对象的客户端之一也可以用作这里的服务器。这时，其它客户端将检测结果传送到该用作服务器的客户端，以进行结果的融合处理。

需要说明的是，本例子以及后续例子中，以人为检测目标，并假设人站在地面上。不过这仅为示例，本发明并不局限于此，可以以任何物体为检测目标，如动物、椅子等等，而且被检测对象可以任意布置而未必一定位于地面上。

<第一实施例>

下面描述根据本发明一个实施例的、利用多个立体摄像机来对对象进行检测跟踪的整体过程。

图8示出了根据本发明一个实施例的物体检测跟踪方法100的总体流程图。

为便于描述，该总体流程图假定针对一预定空间中，布置了多个立体摄像机，以对出现于该预定空间中的对象进行立体成像，通过对立体图像进行处理来进行对象检测。

关于预定空间，例如可以是一个房间，例如超市、厂房等，不过也可以是室外的空间，例如学校场地、军工场所等，只要是可以作为监控对象的空间即可。关于被检测的对象，没有特别限制，可以是人、动物、飞行物、汽车、椅子等等。

关于立体摄像机是指能够对物体进行三维成像或立体成像的摄像机，一般可同时输出深度图像和彩色图像（或灰度图像）。立体摄像机大致可分为两类。一类立体摄像机使用主动发射红外光来辅助生成立体信息，这样的摄像机例子，有微软的Kinect，还有基于红外光飞行时间(Time of Flight,TOF)技术的类型，或者基于纹理光的类型。另一类立体摄像机基于立体视距的双目原理，例如双目摄像机或多目摄像机。为描述便利，下文将采用双目摄像机为例进行说明，不过本发明并不局限于此，而是可以应用任何立体摄像机。

请注意，由于使用立体摄像机，能得到准确的三维信息。所以本发明提出的人的检测应理解为可以同时完成检测和定位，当然不必说也可以仅进行对象检测和定位之一。需要说明的是，这里提到“跟踪”是因为涉及到对先前帧中检测到的对象的在当前帧中的持续检测。但是，在图8所示的方法中，并不需要一定是一段时间的持续过程，而可以是在能够获得先前帧的检测结果的前提下对当前帧的处理。

如图8所示，在步骤S110中，获得先前时刻的先前对象检测结果。

这里，有关先前时刻的先前对象检测结果，可以是先前时刻利用此方法100得到的检测结果。对于最初的图像（即，不存在先前帧的第一帧），其对象检测结果可以是应用任何对象检测方法得到的，例如可以是应用后文描述的空间聚类方法获得的，也可以是应用现有技术的任何基于立体图像检测对象的方法得到的。

另外，可选地而非必须如此，先前对象检测结果可以被存储于融合对象库180中。在这种情况下，在本步骤中可以从融合对象库180来获取先前对象检测结果。

需要说明的是，这里的先前时刻，可以指紧挨当前帧的上一帧，不过也可以指在当前帧之前的非紧挨的某帧。

在步骤S120中，获得来源于当前时刻的多个（包括多组的情况）立体相机拍摄的图像的每个的对象检测的各个初步对象检测结果。

这里，来源于每个立体相机拍摄的图像的对象检测结果指的是仅仅针对单个立体相机拍摄的图像进行对象检测和/或跟踪得到的结果。

不过，实际上，本发明实施例同样适用于已经经过初步融合处理得到的来自不同组立体相机的对象检测结果的处理。例如，假设存在4个立体相机，那么可以是两个立体相机为一组（下文称A组）来进行该组的对象检测（在该组的对象检测过程中，有可能涉及到融合处理），然后以其余两个立体相机为一组（下文称B组）来进行该组的对象检测（同样，在该组的对象检测过程中，有可能涉及到融合处理），然后将来自A组和B组的对象检测结果作为本步骤S120中使用的初步对象检测结果。

即，来源于每组立体相机拍摄的图像的对象检测结果指的是仅仅针对单组立体相机拍摄的图像进行对象检测和/或跟踪得到的结果。

下文为描述方便，将以初步对象检测结果来自单个立体相机为例进行说明。不过，需要说明的是，除非出现逻辑矛盾，否则本发明的说明书或者权利要求书中的“多个立体相机”、“单个立体相机”、“一个立体相机”的表达旨在涵盖多组立体相机、单组立体相机、一组立体相机的情况。

这里，来源于某个立体相机的对象检测结果可以是该立体相机本地的信息处理装置对该立体相机拍摄的图像进行对象检测得到的。或者，来源于某个立体相机的对象检测结果也可以是该立体相机自身集成的信息处理装置通过对立体相机中的图像捕获部件捕获的图像进行对象检测得到的。再或者，也可以是相对于立体相机而言位于远程的信息处理装置对该立体相机拍摄的图像进行对象检测得到的。

在一个示例中，图8所示的方法100可以是在如图7所示的服务器处执行。此时可以例如通过有线网络或者无线网络将来自各个立体相机的对象检测结果传输到该服务器。当然也可以利用例如USB或者便携式闪存、光盘、软盘、硬盘等来进行对象检测结果的传递。

需要说明的是，这里的对象检测结果可以包括对象的位置信息，以及还包括其它特征信息诸如颜色、高度分布、运动信息等等或者各种特征信息的任意组合。

在步骤S130中，在统一的世界坐标系中，将来源于多个（或多组）立体相机的所有初步对象检测结果的位置信息归一化于当前帧中，并且每个初步对象检测结果用各自的特征信息表示，其中并不区分各个初步对象检测结果所关联的立体相机。

进行归一化处理的原因是来自不同的双目相机的特征是基于其自己的相机坐标系的，进行融合前，需要将它们统一到统一的世界坐标系中。如何将相机坐标系转换到世界坐标系是已知技术，这里不再赘述。诸如位置特征，高度分布特征和运动特征等特征均需要进行归一化处理，而诸如颜色这类仅跟对象自身相关的特征，无需进行归一化处理。

这里，每个检测得到的对象可以用各自的特征信息来表征，如本领域公知的，有时也将这样的描述的一个对象的特征组合称为特征向量。不过，在本发明的实施例中，并不区分各个初步对象检测结果所关联的立体相机。换句话说，各个对象的特征分量并不必须包含指示作为该对象的来源的相机的信息。

在步骤S140中，在当前帧中，针对每个先前对象检测结果生成相关联的搜索窗口；在每个先前对象检测结果相关联的搜索窗口内，确定与该先前对象检测结果最匹配的一个或多个初步对象检测结果；基于所确定的一个或多个初步对象检测结果获得先前对象检测结果的更新对象检测结果。

此步骤的操作主要旨在进行先前对象检测结果的更新。

为此，首先对于在步骤S110中得到的每个先前对象检测结果（即每个先前检测到的对象）生成相关联的搜索窗口。这里搜索窗口的生成，可以如现有技术中那样，采用一个固定大小和形状例如矩形的搜索窗口。后文中将参考图13详细描述根据本发明一个实施例的自适应搜索窗口生成办法。

然后，在每个先前对象检测结果相关联的搜索窗口内，确定或搜索与该先前对象检测结果最匹配的一个或多个初步对象检测结果。

这里，可以根据融合对象和各个相机来的对象检测结果的特征信息（或特征向量）之间的距离（下文有时简称之为特征距离）计算，来找到与融合对象最相近或最匹配的一个或几个结果，根据最相近的结果来更新该融合对象。

对于特征信息，可以使用简单的特征，例如对象的位置特征（x,y,z）。除了对象的位置特征外附加地，或者替代对象的位置特征，可以使用复杂的特征，例如外加对象的高度分布，对象的颜色直方图，对象的运动特征等。

对于特征的距离计算，任何用于特征相似性计算的距离度量方法均可以利用。例如，Euclidian距离，chi-square距离等。视需要，可以对计算得到的距离进行归一化运算。

找到与融合对象最匹配或最相近的一个或多个结果（例如最匹配的3个结果表示与融合对象的匹配度排在前三的3个结果），具体地可以指找到特征距离最小的一个或多个结果，并判断其特征距离是否小于给定的阈值，如果小于给定的阈值，则该特征距离最小的一个或多个结果即是找到的与融合对象最相近的一个或多个结果，否则视为没有找到。这里，相似度阈值similarity_threshold可以是一个范围，例如[0.2，0.4]，其可以通过实验进一步精确地确定。

如果没有找到相似度大于预定相似度阈值的一个或多个最匹配的初步对象检测结果，说明该先前检测对象在本帧的处理过程中没有找到可匹配的初步对象检测结果，该先前检测对象将不进行更新处理。该先前检测对象可直接被删除，或者对其未匹配进行计数统计。在后者的情况下，当其在后续连续多帧的处理过程中，未匹配的计数次数大于设定的未匹配次数阈值（默认阈值是3）后，该先前检测对象将被删除。

如果找到了相似度大于预定相似度阈值的一个或多个最匹配的初步对象检测结果，就可以用找到的最匹配的一个或多个结果来更新该融合对象。

在一个示例中，可以简单地用当前迭代（当前帧）中找到的最相似的结果，更新上次迭代（例如上一帧）的融合对象，这样就得到了当前迭代的更新的融合对象。

在另一个示例中，确定与该先前对象检测结果最匹配的多个初步对象检测结果，以所确定的多个初步对象检测结果的融合结果作为先前对象检测结果的更新对象检测结果。这里的融合方法例如可以利用该多个初步对象检测结果的特征例如位置信息的加权和得到更新对象检测结果的对应特征向量。

最后，在本发明实施例中，对于除了上述视为与先前对象检测结果外的其他初步对象检测结果，这里并不丢弃它们，而是保留它们到后续的处理。而传统的匹配处理，对于这些结果，通常进行了丢弃处理。

图9示出了搜索窗口内匹配处理的示意图。其中，标号1指示搜索窗口，标号2指示菱形的先前对象检测结果（例如来自于上一帧的对象检测结果），标号3指示在搜索窗口内每个当前帧的初步对象检测结果被独立处理，例如不考虑这些初步对象检测结果之间的相关性，或者彼此是否表示同一对象等。

在步骤S150中，确定搜索窗口内与先前对象检测结果的匹配度小于预定阈值（下文中称之为远距离阈值）的初步对象检测结果以及确定在搜索窗口外的初步对象检测结果作为新对象候选。

此步骤在于确定在本帧内是否出现了除先前检测到的对象外的新对象。这可以包括确定窗口内的新对象备选和确定窗口外的新对象备选。

顺便说一下，本文中的词汇“备选”和“候选”表示相同含义，可以替换使用。

在每一个自适应的搜索窗口内，基于融合对象和各个相机来的结果的距离计算，以及设定的远距离阈值，确定该自适应的搜索窗口内是否有新的对象的备选。

在一个示例中，在每个自适应的搜索窗口内，处理那些没有被匹配的结果，而且这些没有被匹配的结果只有同更新的融合对象在特征上的匹配度或相似度方面差距较大时才会被视为可能的新的人的备选。

这里，在此步骤S150中使用的特征信息（即在确定搜索窗口内与先前对象检测结果的匹配度小于预定阈值（下文称之为远距离阈值）的初步对象检测结果作为新对象候选中使用的特征信息）可以不同于在步骤S140中使用的特征信息（也即在用于所述确定与该先前对象检测结果最匹配的一个或多个初步对象检测结果中使用的特征信息）。例如，在一个示例中，在确定搜索窗口内新对象候选（步骤S150中）使用的特征信息可以由高度分布、颜色直方图组成，而在确定与先前对象检测结果最匹配的初步对象检测结果中（步骤S140中）使用的特征信息可以仅由位置信息组成。另外，即使在步骤S150中使用的特征信息与步骤S140中使用的特征信息组成相同的情况下，在步骤S150和步骤S140之间各个特征的权重分配也可以不同。例如，在步骤Ｓ150中在搜索窗口内确定新对象候选重点在于确定窗口内的某些对象与先前检测到的对象不是同一对象的可能性很高，为此，例如高度分布、颜色直方图、运动分布等观测型特征的权重可以大于位置信息的权重。

通过设定的远距离阈值来保证得到的新的对象的备选同该自适应的搜索窗口内的融合对象的特征距离足够远，换句话说充分不相近似。在一个示例中，远距离阈值Far_threshold可以通过公式（3）计算得到。

Far_threshold=max(0.6,2*similarity_threshold)   (3)

其中，similarity_threshold表示前文提到的相似度阈值，在前述步骤S140中，只有搜索窗口内与先前检测的对象之间的相似度大于该相似度阈值的初步对象检测结果才有可能作为用于更新先前检测的对象的初步对象检测结果的候选。

即，在该例子中，远距离阈值Far_threshold为数值0.6和2倍相似度阈值之中较大的。不过这仅为示例，可以根据需要调整数值0.6为其它数值，或者调整2倍为1.5倍等。而且，也可以采用不同于上述公式(3)的方式来确定远距离阈值。

在一个示例中，以远距离阈值来过滤搜索窗口内在步骤S140中未被视为匹配的初步对象检测结果，且大于远距离阈值的初步对象检测结果均被保留下来作为新的人的备选。这样在每个自适应的窗口内可能会得到0个、1个或者多个人的备选。多个自适应的窗口，就可以得到更多个人的备选。实际上，这些人的备选来自于多个不同的源，其还可能存在冗余。

另外，在本发明实施例中，有可能存在下述情况，即一个初步对象检测结果既不匹配先前检测的对象，也未被视为新对象备选。考虑到相机精度等原因，将这样的初步对象检测结果排除于参与先前对象检测结果的更新以及排除于新对象备选之外对于提高检测精度，特别是对于降低误检率是有利的。

可以将搜索窗口外的初步对象检测结果也作为新对象备选。

图10示出了经过新对象备选处理后的结果示意图。其中标号1指示经过步骤S140的针对先前检测对象的更新处理后得到的更新后的对象，标号2指示经过步骤S150的处理后的搜索窗口内的作为新对象备选的远距离初步对象检测结果，标号3指示搜索窗口外的作为新对象备选的初步对象检测结果。

在步骤S160中，基于对新对象候选的聚类处理，检测新对象。即，对所有的自适应搜索窗口内的新的对象的备选，以及搜索窗口外的未经处理的来自于双目相机/立体相机的新对象备选，进行统一的空域的聚类处理，来检测新的对象。

具体地，在一个示例中，对新对象备选执行聚类处理以检测新对象的操作可以如下进行。

首先，将各个搜索窗口中得到的新的对象的备选，以及搜索窗口外的还没有被处理过的来自于各个双目相机的结果统一作为新对象备选。

其次，进行特征选择，可以使用简单的位置特征(x,y,z),也可以使用复杂特征，诸如颜色分布、高度分布、运动信息等，也可以是简单特征和复杂特征的组合。

最后，基于选择的特征，进行聚类处理。关于聚类方法，可以采用任何已知的对数据进行聚类处理的方法，例如mean shift或者KNN方法等。在一个示例中，可以将聚类得到的各个中心作为新的对象，计算其位置信息，就是新的对象的位置。

图11是根据本发明实施例的对新的对象的备选进行聚类处理的示意图，其中标号1指示经过步骤S140的针对先前检测对象的更新处理后得到的更新后的对象，标号2指示经过步骤S150的处理后的搜索窗口内的作为新对象备选的远距离初步对象检测结果，标号3指示搜索窗口外的作为新对象备选的初步对象检测结果，标号4指示将对标号2和标号3指示的初步对象检测结果的集合进行聚类处理以检测新对象。

图12是根据本发明实施例的对新的人的备选进行空域聚类处理的结果示例的示意图。如图12所示，通过聚类处理，得到了三个新的对象。加上，已经更新的三个对象。在本次检测处理（本帧）处理中，共得到六个对象（例如人）。

在步骤S170中，输出所述更新的对象检测结果和所述检测到的新对象作为当前对象检测结果。

可以将步骤S140中得到的更新的对象和步骤S160中检测得到的新对象存储到数据库18中，如从步骤S170的框到数据库18的连接虚线所示。

此外附加地或者作为替代，也可以以其它方式输出检测到的对象，例如以图形方式可视地显示在显示屏上，或者以有线或者无线网络、USB连接等其它方式传输到外部。

利用本发明实施例的对象检测和跟踪方法，能够不考虑对象检测结果所来源的相机地进行融合处理，其中进行先前对象检测结果的更新相当于进行时域上的融合。而不区分所来源的相机地对来自若干立体相机的初步对象检测结果进行了空域上的聚类处理则相当于空域上的融合。该方法可适用于任何个数立体相机的结果的融合的方法，该方法大大降低了融合处理的复杂度和难度，增强了适应性和可扩展性。

另外，上述参考图8描述的本发明实施例的对象检测跟踪方法可以作为当前时刻的一个迭代过程。显然，在下一时刻，能够以当前对象检测结果作为先前对象检测结果，以及以来源于该下一时刻的多个立体相机拍摄的图像的每个的对象检测的各个对象检测结果作为初步对象检测结果，以及重复上述位置信息归一化、获得更新对象检测结果、确定新对象候选、检测新对象、输出当前对象检测结果的操作，以及图8描述的处理可以一步步迭代下去，随时间持续进行对象的检测和跟踪。

<自适应搜索窗口生成方法示例>

下面参考图13(a)-(d)描述根据本发明实施例的自适应搜索窗口生成方法示例。

图13(a)-(d)示出了根据本发明实施例的自适应窗口生成方法过程的示意图。

图13（a）表示上次迭代处理例如上一帧处理得到的融合的对象，为描述方便，下文用x指代该融合的对象。图13(a)-(d)中，白色菱形表示先前融合的对象，两个圆圈表示两个双目相机，这里假设图中相对纸面方向而言下面的双目相机用bi_a表示，上面的双目相机用bi_b表示。

首先，对该对象x，计算其到双目相机bi_a的距离Dis(x,bi_a)，这里距离可以是该对象x的中心到该双目相机bi_a的物理距离（或者说现实三维世界中的距离）或者作为替代，也可以是在顶视图的图像坐标系中该对象的中心到该双目相机的图像坐标系中距离。这里的顶视图，也就是xoz坐标系。这里的距离可以是欧式距离。接下来，可以根据距离确定搜索窗口的大小。基本思想是融合的对象到该双目相机的距离越远，则搜索窗口在沿着该先前对象检测结果与该立体相机连接方向上的窗口维度（下文中，称之为搜索窗口的高度）Rect_Height越大；同时可以保持搜索窗口的宽度Rect_Width固定，假设该固定值用Rect_Width_Const表示。例如，具体的计算公式可以如公式（4）和公式（5）所示。

Rect_Height=Max(Height,ln(Dis(x,bi_i))*Height)   (4)

Rect_Width=Rect_Width_Const   (5)

这里，Max(x,y)表示x和y中的较大的值；ln()是函数，其代表“自然对数”。这里的Height表示搜索窗口的初始高度，其默认值例如为80cm，其值可以根据摄像机的内部参数和实验来具体确定；bi-i表示相机bi_a或bi_b，在图13(b)的情况下为bi_a；Dis(x,bi_i)表示对象x到相机bi_i的距离。

这里对于搜索窗口使用固定的宽度而使用变化的高度主要是因为距离测量精度变化的缘故。一般地，摄像机的测量精度随着摄像机与对象之间距离变大而变差。

摄像机的测量误差与测量距离之间关系的误差变化状况可通过实验或者误差估计计算两种方法来得到。

通过实验来确定双目摄像机的误差变化状况，指通过对比对象到双目摄像机的真实距离和测量距离来测定误差。

通过误差估计计算来得到双目摄像机的误差分布状况，可以使用已有的公式和方法。有关详细介绍，可以在例如张广军著的书籍《视觉测量》，北京:科学出版社,2008和刘琼等的“双目视觉测量系统结构参数设计及精度分析”，中国机械工程，Vol.19No.22，2008/112728-2732中找到。

根据本发明的一个实施例，可以使用一种简略方法来计算某测量距离对应的测量误差，如公式（6）和公式（7）所示。

${\mathrm{\&Delta;}}_{\mathrm{xz}}=\sqrt{2}\mathrm{\&delta;}{B}^{*}\sqrt{(k^4+\frac{{3k}^2}{4}+\frac{3}{16}+\frac{1}{{64k}^2})}...\left(6\right)$

$k=\frac{Z}{B}...\left(7\right)$

Δ_xz表示估计的误差，B表示双目摄像机中两个相机间的距离;Z表示检测对象到双目摄像机的距离;δB是误差的单位。

由上述公式可知，基本上，在室内场景中，对象的距离测量的误差随着对象离立体相机的距离的增大而增大，对象离得越远，距离测量的误差也就越大。这是本发明调节搜索窗口高度的原因所在。

通过计算后，可以得到一个搜索窗口rect(x,bi_a)。图13（b）示出了该融合的对象x对应于离其距离近的双目相机的搜索窗口。

其次，对该融合的对象x，计算其到另一个双目相机bi_b的距离Dis(x,bi_b)。采用同上一步类似的处理，得到另一个搜索窗口rect(x,bi_b)。图13（c）额外示出了该融合的对象x对应于离其距离较远的双目相机bi_b的搜索窗口。

第三步，对得到的两个搜索窗口进行“并”的处理，即取各个搜索窗口的并集作为最终的该融合的对象的搜索窗口。“并”处理的详情，例如参见公式（8）。

search_widow=rect(x,bi_a)∪rect(x,bi_b)∪...

   (8)

其中search_window表示最终的搜索窗口，

图13（d）示出了该融合的对象相对于两个立体相机的最终的搜索窗口。

根据本发明实施例的自适应搜索窗口生成方法可以容易扩展到应用于多于两个立体相机的情况，此时即对每个立体相机确定对应的搜索窗口，最后以所有搜索窗口的并集作为最终的搜索窗口。

根据本发明实施例的搜索窗口生成方法，一个先前融合对象的搜索窗口的大小、形状不是固定的，而是根据该融合的对象距对应相机之间的距离而调整的，这样最后得到的搜索窗口能够反映出不同相机距该融合的对象的距离的影响，从而最终降低了对象的漏检同时又保证了低的误检率。

<对象检测跟踪装置>

图14示出了根据本发明一个实施例的示例性对象检测跟踪装置2000的功能配置框图。

如图14所示，对象检测跟踪装置2000可以包括：先前对象检测结果获得部件2100，用于获得先前时刻的先前对象检测结果；多立体相机初步检测结果获得部件2200，用于获得来源于当前时刻的多个立体相机拍摄的图像的每个的对象检测的各个初步对象检测结果；归一化部件2300，在统一的世界坐标系中，将来源于多个立体相机的所有初步对象检测结果的位置信息归一化于当前帧中，并且每个初步对象检测结果用各自的特征信息表示，其中并不区分各个初步对象检测结果所关联的立体相机；更新对象检测结果获得部件2400，用于在当前帧中，针对每个先前对象检测结果生成相关联的搜索窗口，在每个先前对象检测结果相关联的搜索窗口内，确定与该先前对象检测结果最匹配的一个或多个初步对象检测结果，基于所确定的一个或多个初步对象检测结果获得先前对象检测结果的更新对象检测结果；新对象候选确定部件2500，用于确定搜索窗口内与先前对象检测结果的匹配度小于预定阈值的初步对象检测结果以及确定在搜索窗口外的初步对象检测结果作为新对象候选；新对象检测部件2600，用于基于对新对象候选的聚类处理，检测新对象；以及当前对象检测结果输出部件2700，用于输出所述更新对象检测结果和所述检测到的新对象作为当前对象检测结果。

有关上述对象检测跟踪装置2000的各个功能部件2100到2700的操作可以参考图8中所示的流程图以及相关的描述，这里不再赘述。

<系统硬件配置>

本发明还可以通过一种对象检测跟踪硬件系统来实施。图15是示出按照本发明实施例的对象检测跟踪系统3000的总体硬件框图。如图15所示，对象检测跟踪系统3000可以包括：输入设备3100，用于从外部输入有关信息，例如来源于当前时刻的多个立体相机拍摄的图像的每个的对象检测的各个初步对象检测结果、摄像机的各种内部参数和外部参数如位置等，例如可以包括键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等；处理设备3200，用于实施上述的按照本发明实施例的对象检测跟踪方法，或者实施为上述的对象检测跟踪装置，例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等，可以连接到诸如因特网的网络（未示出），根据处理过程的需要向远程传送处理后的图像等等；输出设备3300，用于向外部输出实施上述对象检测（跟踪）过程所得的结果，例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设备3400，用于以易失或非易失的方式存储上述对象检测（跟踪）过程所涉及的诸如先前对象检测结果、初步对象检测结果、有关特征信息、搜索窗口、匹配度、距离、阈值等数据，例如可以包括随机存取存储器（RAM）、只读存储器（ROM）、硬盘、或半导体存储器等等的各种易失或非易失性存储器。

<总结>

根据本发明的实施例，提供了一种基于多个立体相机的对象检测和跟踪方法，可以包括下述步骤：获得先前时刻的先前对象检测结果；获得来源于当前时刻的多个立体相机拍摄的图像的每个的对象检测的各个初步对象检测结果；在统一的世界坐标系中，将来源于多个立体相机的所有初步对象检测结果的位置信息归一化于当前帧中，并且每个初步对象检测结果用各自的特征信息表示，其中并不区分各个初步对象检测结果所关联的立体相机；在当前帧中，针对每个先前对象检测结果生成相关联的搜索窗口，在每个先前对象检测结果相关联的搜索窗口内，确定与该先前对象检测结果最匹配的一个或多个初步对象检测结果，基于所确定的一个或多个初步对象检测结果获得先前对象检测结果的更新对象检测结果；确定搜索窗口内与先前对象检测结果的匹配度小于预定阈值的初步对象检测结果以及确定在搜索窗口外的初步对象检测结果作为新对象候选；基于对新对象候选的聚类处理，检测新对象；以及输出所述更新对象检测结果和所述检测到的新对象作为当前对象检测结果。

根据本发明的另一实施例，提供了一种基于多个立体相机的对象检测和跟踪装置，可以包括：先前对象检测结果获得部件，用于获得先前时刻的先前对象检测结果；多立体相机初步检测结果获得部件，用于获得来源于当前时刻的多个立体相机拍摄的图像的每个的对象检测的各个初步对象检测结果；归一化部件，在统一的世界坐标系中，将来源于多个立体相机的所有初步对象检测结果的位置信息归一化于当前帧中，并且每个初步对象检测结果用各自的特征信息表示，其中并不区分各个初步对象检测结果所关联的立体相机；更新对象检测结果获得部件，用于在当前帧中，针对每个先前对象检测结果生成相关联的搜索窗口，在每个先前对象检测结果相关联的搜索窗口内，确定与该先前对象检测结果最匹配的一个或多个初步对象检测结果，基于所确定的一个或多个初步对象检测结果获得先前对象检测结果的更新对象检测结果；新对象候选确定部件，用于确定搜索窗口内与先前对象检测结果的匹配度小于预定阈值的初步对象检测结果以及确定在搜索窗口外的初步对象检测结果作为新对象候选；新对象检测部件，用于基于对新对象候选的聚类处理，检测新对象；以及当前对象检测结果输出部件，用于输出所述更新对象检测结果和所述检测到的新对象作为当前对象检测结果。

利用根据本发明实施例的对象检测跟踪方法和装置，能够不考虑对象检测结果所来源的相机地进行融合处理，其中在进行先前对象检测结果的更新中，相同于进行了时域上的融合，而且不区分所来源的相机地对来自若干立体相机的初步对象检测结果进行了空域上的聚类处理。根据本发明实施例的对象检测跟踪方法和装置适用于任何个数立体相机的结果的融合，大大降低了融合处理的复杂度和难度，增强了适应性和可扩展性。

前述描述仅为说明性的，可以进行很多修改和/或替换。

前面的附图和描述中以立体摄像机为双目摄像机为例进行说明，不过本发明并不局限于此，而是可以采用任何类型立体摄像机。

前文的示例性描述中以人为检测目标。不过这仅为示例，本发明并不局限于此，可以以任何物体为检测目标，如动物、椅子等等。

前文的示例性描述中，假设人站在地面上，不过本发明并不局限于此，被检测对象可以任意布置，而未必一定位于地面上。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案，例如图8中所示的步骤S140可以分解为分开的搜索窗口的生成和与先前检测的对象最匹配的对象结果的确定、以及先前对象检测结果的更新三个步骤。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行，而且有些步骤之间的顺序可以互换，例如图8中所示的步骤S110和步骤S120之间的顺序就可以互换。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种基于多个立体相机的对象检测和跟踪方法，包括：

获得先前时刻的先前对象检测结果；

获得来源于当前时刻的多个立体相机拍摄的图像的每个的对象检测的各个初步对象检测结果；

在统一的世界坐标系中，将来源于多个立体相机的所有初步对象检测结果的位置信息归一化于当前帧中，并且每个初步对象检测结果用各自的特征信息表示，其中并不区分各个初步对象检测结果所关联的立体相机；

在当前帧中，针对每个先前对象检测结果生成相关联的搜索窗口，在每个先前对象检测结果相关联的搜索窗口内，确定与该先前对象检测结果最匹配的一个或多个初步对象检测结果，基于所确定的一个或多个初步对象检测结果获得先前对象检测结果的更新对象检测结果；

确定搜索窗口内与先前对象检测结果的匹配度小于预定阈值的初步对象检测结果以及确定在搜索窗口外的初步对象检测结果作为新对象候选；

基于对新对象候选的聚类处理，检测新对象；以及

输出所述更新对象检测结果和所述检测到的新对象作为当前对象检测结果。

2.根据权利要求1的对象检测和跟踪方法，其中所述针对每个先前对象检测结果生成相关联的搜索窗口包括：

对每个先前对象检测结果，计算其到该多个立体相机的距离；

根据该先前对象检测结果同该多个立体相机的各个距离来定义与该多个立体相机的每个相关联的搜索窗口，其中与该多个立体相机的每个相关联的搜索窗口在沿着该先前对象检测结果与该立体相机连接方向上的窗口维度随着距离的增大而增大；以及

以各个搜索窗口的并集作为搜索窗口。

3.根据权利要求1的对象检测和跟踪方法，还包括：

在下一时刻，以所述当前对象检测结果作为所述先前对象检测结果，以及以来源于该下一时刻的多个立体相机拍摄的图像的每个的对象检测的各个对象检测结果作为所述初步对象检测结果，以及重复上述位置信息归一化、获得更新对象检测结果、确定新对象候选、检测新对象、输出当前对象检测结果的操作。

4.根据权利要求1的对象检测和跟踪方法，其中在用于所述确定与该先前对象检测结果最匹配的一个或多个初步对象检测结果中使用的特征信息不同于在确定搜索窗口内与先前对象检测结果的匹配度小于预定阈值的初步对象检测结果作为新对象候选中使用的特征信息。

5.根据权利要求1的对象检测和跟踪方法，其中在确定搜索窗口内与先前对象检测结果的匹配度小于预定阈值的初步对象检测结果作为新对象候选中使用的特征包括观测特征和三维位置特征，其中观测特征采用的权重大于位置特征采用的权重。

6.根据权利要求1的对象检测和跟踪方法，其中所述确定与该先前对象检测结果最匹配的一个或多个初步对象检测结果，基于所确定的一个或多个初步对象检测结果获得先前对象检测结果的更新对象检测结果包括：

确定与该先前对象检测结果最匹配的一个初步对象检测结果，以所确定的一个初步对象检测结果作为先前对象检测结果的更新对象检测结果。

7.根据权利要求1的对象检测和跟踪方法，其中所述确定与该先前对象检测结果最匹配的一个或多个初步对象检测结果，基于所确定的一个或多个初步对象检测结果获得先前对象检测结果的更新对象检测结果包括：

确定与该先前对象检测结果最匹配的多个初步对象检测结果，以所确定的多个初步对象检测结果的融合结果作为先前对象检测结果的更新对象检测结果。

8.一种基于多个立体相机的对象检测和跟踪装置，包括：

先前对象检测结果获得部件，用于获得先前时刻的先前对象检测结果；

多立体相机初步检测结果获得部件，用于获得来源于当前时刻的多个立体相机拍摄的图像的每个的对象检测的各个初步对象检测结果；

归一化部件，在统一的世界坐标系中，将来源于多个立体相机的所有初步对象检测结果的位置信息归一化于当前帧中，并且每个初步对象检测结果用各自的特征信息表示，其中并不区分各个初步对象检测结果所关联的立体相机；

更新对象检测结果获得部件，用于在当前帧中，针对每个先前对象检测结果生成相关联的搜索窗口，在每个先前对象检测结果相关联的搜索窗口内，确定与该先前对象检测结果最匹配的一个或多个初步对象检测结果，基于所确定的一个或多个初步对象检测结果获得先前对象检测结果的更新对象检测结果；

新对象候选确定部件，用于确定搜索窗口内与先前对象检测结果的匹配度小于预定阈值的初步对象检测结果以及确定在搜索窗口外的初步对象检测结果作为新对象候选；

新对象检测部件，用于基于对新对象候选的聚类处理，检测新对象；以及

当前对象检测结果输出部件，用于输出所述更新对象检测结果和所述检测到的新对象作为当前对象检测结果。

9.根据权利要求8的对象检测和跟踪装置，其中所述更新对象检测结果获得部件针对每个先前对象检测结果生成相关联的搜索窗口包括：

对每个先前对象检测结果，计算其到该多个立体相机的距离；

根据该先前对象检测结果同该多个立体相机的各个距离来定义与该多个立体相机的每个相关联的搜索窗口，其中与该多个立体相机的每个相关联的搜索窗口在沿着该先前对象检测结果与该立体相机连接方向上的窗口维度随着距离的增大而增大；以及

以各个搜索窗口的并集作为搜索窗口。

10.根据权利要求8的对象检测和跟踪装置，其中所述更新对象检测结果获得部件在确定搜索窗口内与先前对象检测结果的匹配度小于预定阈值的初步对象检测结果作为新对象候选中使用的特征包括观测特征和三维位置特征，其中观测特征采用的权重大于位置特征采用的权重。