CN111325089A - 跟踪对象的方法和设备 - Google Patents

Abstract

本发明提供一种跟踪对象的方法和设备。在用于在视频监控场景中跟踪对象的方法中，提取(722)多个特征向量并在点云中将其组合(724)，其中可以针对每个小轨迹(即针对轨迹的每个独立部分)组合点云。为了确定不同的小轨迹是否与相同或不同的对象有关，比较(734)每个小轨迹的点云。基于比较的结果，推断第一对象和第二对象可否被认为是相同的对象，并且如果是，则将第一对象与第二对象相关联(738)。

Description

跟踪对象的方法和设备

技术领域

本发明涉及视频中对象的跟踪，尤其涉及在遮挡事件或对象完全或部分地从摄像机视野消失更长或更短时间段的另一事件之后对对象的跟踪的恢复。

背景技术

对象重新识别的使用在视频监控领域，或更广泛地，在视频数据分析领域中是众所周知的。特别地，重新识别适用于跟踪个体。在一个相同的场景中进行跟踪的过程中，被跟踪的个体可能会在有限的时间内完全地或部分地被另一个人或建筑细节等遮挡。如果操作员监视该场景并且手动进行跟踪，则这种类型的遮挡不是问题，因为在遮挡之后操作员将能够容易地再次找到该个体。

但是，当使用计算机视觉时，情况要复杂一些。对于跟踪算法，遮挡导致个体从视野中消失，并且跟踪结束，或者更确切地说，这导致跟踪算法不再具有足够的数据以跟踪个体。当该个体再次出现时，例如在遮挡物的另一侧，该算法会将该个体识别为新对象，并将启动新的跟踪序列。

尽管跟踪个体是上面提供的示例，但是任何可识别的对象都可被跟踪，无论是人、兔子、汽车等。

容易理解，在监视情况下经常发生完全或部分遮挡，因此已经开发出各种用于重新识别的技术。如果在遮挡事件之后可以将对象(例如个体)识别为与遮挡事件之前的对象相同，在遮挡之后识别的对象和轨迹与在遮挡之前记录的相应的对象和轨迹可以被标记为一个且相同。在这种重新识别之后，遮挡之前和之后的对象和/或轨迹的标识符可被设置为一个且相同。当然，该对象和/或轨迹可以以不同于标识符的直接合并的其它方式进行耦合。在本文中，“轨迹”可以是指对象遵循的路径。与轨迹有关的数据与时间戳结合可以对应于跟踪算法已检测到该对象的每个位置。在显示视频时，轨迹可能会或可能不会对用户可见，但数据通常会被记录。

使用实际轨迹的技术包括推断直至遮挡事件的当前轨迹的方法，以使得能够对在遮挡之后出现的新轨迹进行过滤。而且，可以使用用于表征对象或个体的各种描述符或特征向量。如果消失的对象的特征向量与场景中出现的新对象的特征向量足够相似，该对象可能是一个且相同的。这两种技术可以容易地组合在一起。

应该注意的是，本发明可以用于完全或部分遮挡期间的轨迹恢复，但是也可以用于一对象，其消失的时间比本领域中“遮挡”一词通常暗示的时间更长，以及对象从第一台摄像机视野中消失并在第二台摄像机视野中重新出现的情况。这将在详细描述中举例说明。

“Mapping Appearance Descriptors on 3D Body Models for People Re-identification(在3D人体模型上映射外观描述符以重新识别人员)”(Int.J.Comput.Vis.[2015]111：345-364)一文中公开了上述内容的更多背景和示例。在该引用的文件中，目的是通过为要跟踪的对象完善外观描述符来改善重新识别，尤其是要利用3D人体模型。

发明内容

本发明的目的是解决上述问题，提供一种用于在视频监控的场景中跟踪对象的新方法。这种在视频监控场景中跟踪对象的方法包括以下步骤：

检测场景中的第一对象，在第一图像帧序列上跟踪所述第一对象，以多个第一特征向量的形式为所述第一对象提取第一特征数据，将所述多个第一特征向量组合为特征向量空间中的第一点云，以及检测所述第一对象的遮挡。这些第一步骤本质上对应于该方法的前半部分，并且应当注意，这些步骤不一定必须以所述顺序执行。例如，遮挡的检测可以在将多个第一特征向量组合为第一点云之前进行。

此外，检测遮挡的步骤更多地对应于由于可用于跟踪的数据不足而导致的跟踪算法失去对对象的跟踪。那时，可以说已经检测到遮挡。

该方法进一步包括检测随后出现在场景中的第二对象，在第二图像帧序列上跟踪所述第二对象，以多个第二特征向量的形式为所述第二对象提取第二特征数据，将所述多个第二特征向量组合为所述特征向量空间中的第二点云，以及在所述点云空间中比较所述第一点云的至少选择部分与所述第二点云的至少选择部分。使用所述比较的结果推断所述第一对象和所述第二对象可否被认为是相同的对象，如果是，将第一对象与第二对象相关联，并且尤其是将其各自的轨迹相关联。因此，该结果可以实现轨迹恢复，其中可以以第二轨迹的形式恢复丢失的第一轨迹。此外，可以直接在跟踪算法中将所述第二对象的标识设置为所述第一对象的标识，反之亦然，或者以另一种方式进行关联，例如在单独的目录中映射对象。如前所述，步骤的顺序可能与上述不同，例如，所述比较可以在第二点云形成之前或至少完全形成之前开始。

本发明的方法将使得能够在对象的不同出现所产生的特征向量之间进行动态比较。可以比较整个点云，但是也可以使用此类点云内部分的选择。如果第一对象与第二对象相关联，那么结果可以是它们被赋予了相同的对象ID，例如，可以取消第二对象的对象ID，并用第一对象的ID代替。在这种情况下，对象ID是大多数对象跟踪器中生成的参数之一。通常生成的其它参数是对象位置的度量，以及对象尺寸的部分度量。每个新检测到的对象都被赋予对象ID，因此在进行比较之前，可以为同一对象的第一次出现和第二次出现赋予不同的对象ID。每个图像帧都是用于提取一个或多个特征向量的潜在来源，并且由于常见的帧速度是每秒30或60帧，因此点云可包含大量特征向量的表示。

在一个或多个实施例中，用于比较的一个或两个选择部分基于遮挡时段，所述遮挡时段是在所述第一对象的遮挡与所述第二对象的出现之间的时间。在本申请的多个地方提到了术语遮挡，并且在跟踪的上下文中，它通常是指当对象已经被例如另一个对象完全或部分遮挡时由于缺少图像信息而导致的当前使用的跟踪算法不再能够跟踪对象的时间点。因此，遮挡可对应于对象在摄像机视野中的全部或部分消失。以类似的方式，当有足够的信息供跟踪算法再次看到该对象时，就认为该对象已出现(或重新出现)。显然，在比较之前不可能确定出现的第二对象是否与已经消失的第一对象相同，直到对此进行验证。而且，当确定在进行比较时应该使用点云的哪个部分时，可以将遮挡时段用作参数。值得注意的是，当为遮挡时段分配值时，假定再次出现的第二对象与之前消失的第一对象相同。稍后可能会证明这是一个错误的假设(请参见详细说明中描述的图1的示例)，但是出于控制要用于比较的部分的选择的目的，该假设是有效的。这将在详细描述中进一步描述，但在一个相关实施例中，遮挡时段将影响在一个或两个选择中赋予每个单独特征向量的统计权重的分布。例如，与可以使用其它权重分布的较长遮挡时段相比，较短的遮挡时段可以将较高的权重转移到在更接近遮挡时段获取的特征向量。这意味着，在简化的实施例中，将紧接在遮挡之前的对象的特征与紧接在对象的再次出现之后的对象的特征进行比较。原因是对于较短的遮挡时段，对象的特征以及外部条件(例如光照)可能相似。对于更长的遮挡时段，可以使用其它选择。

在一关联的实施例中，完全或部分地基于与点云相关联的被跟踪对象的姿态选择哪一部分点云要被用于比较。该实施例可与针对个体的跟踪特别相关。组合的点云特别适合用作可以从中使用任何现有参数进行选择的集合，并且很可能使用从相同姿态(对于同一个体)散发的特征向量比使用不同(或随机)姿态更相似。进行确定的选择的一种相邻技术允许姿态确定比较中使用的权重，从而对应于“较软”的选择，以便为每个获取的特征向量提供权重，并且其中权重受对象的姿态影响，从而在保持其它姿态的一些输入的同时增强所需的姿态。

组合的点云可进行相关评估，在评估中发现某个姿态会导致点云的定义明确的部分，从而可以选择该部分进行比较或赋予更大的权重。

在一个或多个实施例中，从选自以下的组的参数中选择要用于比较的点云的部分，该组包括：在第一或第二对象的图像区域中的运动模糊水平、信噪比级别、光照条件、以及被跟踪对象的视角或其组合。基本思想是比较可能相似的特征向量(如果对象相同)，并且通过使用呈现的参数之一作为选择器，可以增加这种相似性的机会。此外，所涉及的图像区域包括对象和对象周围的一小块区域，并且在最可能的方法中，该区域将对应于跟踪算法使用的区域，因为这很容易获得。但是，在某些应用程序中，该区域的大小可能会更大，并且也可能受限于实际对象或甚至对象的一部分。将任一参数用作选择器意味着对于要从点云中选择的特征向量，特定参数应该相似(在预定阈值内)。

在一个或多个实施例中，对一个或多个点云进行评估，以便识别每个点云的特征向量密集度特别高的部分，因为这种密集度可以提供出色的统计量。可以相对于预定阈值定义什么是“特别密集”，但是也可以基于对特定点云的统计分析确定什么是“特别密集”，使得与点云的其它部分相比是密集的。在第一点云中选择特定部分的实施例中，可以在与第一点云进行比较的点云中使用该相应的部分，从而使比较不失真。在其它实施例中，不使用该方法。

当将第一点云与第二点云进行比较时，可以使用诸如欧几里得距离的度量。在相同或其它实施例中，可以在第一点云和第二点云(或至少用于比较的点云部分)所位于的点云空间的流形中将第一点云与第二点云进行比较。

在一个或多个实施例中，所述第一点云是使用第一监控摄像机获取的，而所述第二点云是使用第二监控摄像机获取的，而在其它实施例中，使用相同的摄像机。

根据另一理念，本发明涉及一种设备，该设备包括：至少一个用于获取场景的视频图像的视频拍摄单元；以及被配置为执行说明书描述的一实施例的方法的步骤的控制单元。在一个或多个实施例中，该设备是视频监控摄像机，而在另一实施例中，该设备是视频监控摄像机系统。在后一个实施例中，所述控制单元是所述视频监控摄像机之一的控制单元，或者，所述控制单元是作为独立设备位于服务器上或远离所述视频监控摄像机的客户端设备上的集中式控制单元。

根据第三方面，本发明涉及一种包括指令的计算机可读介质，当所述指令被计算机执行时使所述计算机执行根据所描述的任一实施例的方法。

根据以下给出的详细描述，本公开的适用性的进一步范围将变得显而易见。然而，应当理解，虽然指示了本发明构思的优选变型，详细说明书和特定示例仅以示例的方式给出，因为根据本详细说明书，在本发明构思的范围内的各种修改和变型对于本领域技术人员而言将变得显而易见。

因此，应当理解，本发明构思不限于所描述的方法的特定步骤或所描述的系统的组成部分，因为此类方法和系统可以改变。还应理解，本文所使用的术语仅是出于描述特定实施方案的目的，而不是限制性的。必须注意的是，如说明书和所附权利要求书中所使用的，冠词“一”、“一个”、“该”和“所述”旨在表示存在一个或多个元件，除非上下文另有明确规定。因此，例如，对“一个单元”或“该单元”的引用可以包括多个设备等等。此外，词语“包括”、“包含”、“含有”和类似措词不排除其它元件或步骤。

附图说明

现在将通过示例并参考所附的示意图更详细地描述本发明，其中：

图1是被监控的场景的示意性视图；

图2至图4是示出在场景中跟踪对象期间的中间结果的示意图；

图5是类似于图1的视图，但是更加示意性的视图，示出了单个场景的多个小轨迹和遮挡；

图6a至图6d是示出了本发明的实施例的多个视图，该实施例用于在多台摄像机上进行跟踪；

图7是示出本发明的实施例的流程图。

具体实施方式

图1以时间压缩的方式示出了由监控摄像机监控的场景。该图表示在一段时间内的由同一对象的多次出现所指示的一连串的事件，下面将对其进行描述。第一个人102从左侧进入场景并且向右侧(在成像的场景中)走去。在一时间点并且在该场景中，该第一个人102被卡车104遮挡，卡车104被停放或在场景中移动。第一个人102被遮挡了一段时间，并且随后出现在卡车104的右侧(如从摄像机看到的那样)。大约在同一时间，或者至少在第一个人102被遮挡之后，第二个人106从卡车104的后面出现(如从摄像机看到的那样)。根据本发明的一个实施例，该场景被简化，但是可以用于介绍本发明。应当理解，图1由几幅图像表示，这些图像作为视频序列由监控摄像机拍摄。

跟踪算法或任何对象检测器将在不同的时间容易地检测到成像场景中的三个孤立的移动对象(如果卡车在场景中移动，则可能是四个)。每个对象都将遵循一条轨迹或小轨迹(由跟踪算法检测到)。要想断定这些对象中的两个实际上是相同的(如果是这样)而第三个对象不是，这将是一个挑战。在某些情况下，时间轴可以被成功使用，因为一个对象不能同时位于两个位置。在其它情况下，只要对象(第一个人102)的运动可以容易地根据该对象在先前捕获的帧中的运动被预测并且遮挡时间是有限的，则可以成功地使用卡尔曼(Kalman)滤波器。对于更长的遮挡时间，或者如果对象在被遮挡时以无法预测的方式运动，则使用卡尔曼滤波器进行重新识别的成功率会很低。总之，由于第二对象(第二个人104)的出现和第一对象(第一个人102)的第二次出现都发生在第一对象被遮挡之后，导致两者都是第一对象的潜在候选人，所以这些方法都不可能成功。而且，第一对象的运动是不容易被预测的。

根据本发明的第一实施例，连续地从每个检测到的运动对象中提取特征向量。可以为监控摄像机拍摄的视频序列中的每个单个图像帧完成此操作，但是特征向量的获取频率也可能低于图像帧的获取频率(即，低于拍摄的视频序列中的每秒的实际帧数(fps))。不同于具有固定频率，该获取可以基于图像的内容，即，仅当图像的内容满足一个或多个标准时才提取特征向量。在一个或多个实施例中，除了其它评估之外，还可以使用神经网络评估特征，诸如除了诸如姿态等对象的更多物理属性之外的步态或运动模式，对被检测对象的特征向量进行评估，使得这样的特征可以被添加到识别过程中。

还应当指出的是，如在本发明的任何实施例中一样，在本实施例中，可以从同一对象的单个视图中提取几个特征向量。举一个简单的例子，可以为一个人的脸部或头部提取一个特征向量，而为整个身体提取另一个特征向量。从这个意义上说，不同特征向量的几个点云可以在相同或不同的向量空间中被并行地逐步组合。为了使后续的比较有意义，比较后的点云应位于相同的向量空间中。

特征向量或外观向量是对象或包含对象的图像的描述符。特征向量可以是语义描述(人、红色衬衫、书包等)，但在本文中，它通常是通过将计算机视觉、机器学习、或神经网络、或其组合的算法应用于包含相关对象的图像选择而提取的数字描述符。在提取特征向量之前可以执行裁剪(或特征选择)过程，以使所评估的结果图像裁剪在最大可能程度上包含感兴趣的对象。该对象可以是一个人，但也可以是一个人的脸，以及任何其它可区分的对象或其一部分。除此之外，特征向量可以包括在时间上解析的信息，而不仅仅包括与物理外观有关的参数。这样，在图1的上下文中，例如通过递归神经网络(RNN)可以考虑人的速度，或者甚至可以考虑人的步态。此外，每个特征向量可以包括诸如与时间戳相关的信息的隐式编码的信息，以及与被分析的对象相关的一般信息，例如当前姿态。因此，可以使用隐式编码的信息过滤和/或选择特定特征向量或一组特征向量。

这样的特征向量的提取实际上并不是本发明的一部分，就本发明而言，特征向量的提取也是如此。特征提取的使用依赖于本发明的目的，并且尽管并非所有特征提取算法都适用于本发明，但对于本领域技术人员而言，特征提取算法的使用应该被认为是简单易懂的。特征向量或外观向量的提取是一个活跃的研究领域，它随着图像处理、神经网络的发展以及可用计算能力的提高而发展。为了本发明的目的，可以利用许多不同的特征向量提取方法。

特征向量通常是多维的，而数值向量可能具有数十个、数百个甚至数千个对应于相同数量的维度的参数。为了方便对以下描述的理解，维度的数量已经被减少到三个。图2示出了直到第一个人102被遮挡并且跟踪算法无法跟踪到该人的时间点为止针对第一个人102提取的特征向量的点云，即，针对人员轨迹的第一部分。在监控视频序列中，该轨迹的第一部分可对应于数千个图像帧，并且可为每帧提取一个特征向量。在其它实施例中，以预定的时间间隔或者为满足某些标准(例如，低于一定水平的运动模糊、高于一定水平的信噪比等)的图像帧提取特征向量。在另外的实施例中，该提取可以由希望从对象的尽可能多的方向或从特别有利的方向评估特征向量的期望控制，一实施例当然可以与任何其它实施例和示例相结合。

由于对相同对象的跟踪，特征向量可以容易地与相同对象相关联，并且它们被顺序地添加到存储器中。一旦对象被遮挡，将特征向量添加到存储器中的操作就结束。存储器可以位于获取视频的摄像机上，也可以位于执行特征提取的设备上，但也可以同样位于另一台服务器或点云中。此外，如果认为这样的方法合适，则可以将特征向量存储在一个以上的位置。特征向量(主要是每个特征向量)将包含时间戳，以便在后续需要时可以将其与特定图像帧相关联。包括被跟踪对象的图像裁剪可被存储以供以后查看，但是除非有神经网络的主动学习的步骤，否则这几乎是不必要的，神经网络的主动学习的步骤不是本发明的一部分。

当试图查找同一对象的较早(或更晚)影像时，摄像机或摄像机的控制器(或客户端或客户端服务器)可以将与特征向量有关的直接请求传输到其它监控摄像机的存储器中。这可以通过访问所有可用数据实现，但是如果已知其它监控摄像机的拓扑(例如位置)，则可以使用这类信息使评估更加有效，例如，首先评估来自附近摄像机的信息。值得注意的是，这与评估什么数据有关，而不是与评估本身有关，因此，尽管在评估大量数据时这是一个需要考虑的重要问题，但它与本发明没有密切的关系。

当出现新对象时，为该新对象启动同样的提取特征向量的过程。在图1中出现的第二对象(在这种情况下为第二个人106)会生成如图3所示的特征向量点云，而在第一对象102第二次出现时，可生成如图4所示的特征向量点云。

当出现新对象时，至少在跟踪情况或重新识别情况下，确定该对象是否曾在相同或其它场景中出现是至关重要的。在本发明的第一实施例中，这是通过比较特征向量点云执行的。图2至图4中夸大了差异和相似性，意味着可以从视觉上确认图2是特征向量点云，它是从与图4所示的云相同的对象中很好地提取的，而导致该图3的特征向量点云的对象很可能不是同一对象的结果。因此，可以确定第一对象102的第二次出现恰好是第二次出现，并且可以将轨迹和对象标识组合为一个，并且通过这样成功地完成轨迹恢复。

在继续进一步的详细实施例之前，应注意的是，可以利用已有的技术完成对数据量的聚合(例如特征向量的点云)的比较。要比较的参数可以是点云的形状、点云的统计特征、点云各部分之间的欧几里得距离、在整个或部分点云所位于的替代流形(manifold)中测量的距离。可以在比较中使用的距离度量的另一个示例是马哈拉诺比斯(Mahalanobis)距离，它既无单位又尺度不变。

在另一个实施例中，在另一个方面使用了点云的记录。在该特定实施例中，当评估和比较点云时，可以将对象被遮挡的时间(遮挡时段)作为参数添加。遮挡时段是对象消失(即检测到遮挡)与对象再次出现(即检测到可能相同的对象)之间的时间。值得注意的是，在应用本发明的过程中，可同时存在几个可能的对象，并且可能有多个候选对象是先前已被跟踪的对象的第二(或第三等等)次出现。在每个特征向量包括时间戳的实施例中，通过将小轨迹的最后一个特征向量的时间戳与另一个小轨迹中的第一个特征向量的时间戳进行比较可简单地解决问题，小轨迹(tracklet)是完整轨迹的片段。返回到遮挡时段的使用，它可具体影响赋予点云中各个点(即特征向量)的权重。在遮挡时段较短的情况下(大约几秒钟或几分之一秒)，与消失和出现时间较近的各个点的权重要比距消失和出现时间较远的各个点的权重更大。另一方面，如果遮挡时段较长，例如几分钟、几小时甚至几天，则由于该参数，赋予各个点的权重可能会变化较少。在本领域中“遮挡”的典型含义是在有限的时间内对象完全或部分消失。在这种情况下，与遮挡有关描述的实施例可以应用于对象的消失时间更长的实施例，例如如果对象在单个场景中进入建筑物，并在稍后阶段(几分钟或甚至是工作日之后)离开建筑物，或在对象从第一台摄像机的视野中消失并出现在第二台(或其它)摄像机中的实施例中。

当在比较中仅使用点云的一部分时，这可以通过几种不同的方式实现，由于专用的数据收集，所有这一切都是可能的。已经给出了使用遮挡时段的示例，并且特别地，本实施例与短的遮挡时段有关，其中，至少假设地，对象在紧接遮挡之前的时间的出现与紧随遮挡之后的出现非常相似。在这样的实施例中，为在较接近遮挡时间提取的特征向量赋予比在更远离遮挡时间提取的特征向量更大的权重是合理的。一些示例包括简单的加权移动平均值(即具有乘数因子的平均值，以便对样本窗口中不同位置的数据赋予不同的权重)或指数加权移动平均值(即应用呈指数下降的加权因子的一阶无限脉冲响应滤波器，每个较旧数据的权重呈指数下降，但从不为零)。这些仅是一些示例，众所周知的权重函数还有其它几种选择，对于特定的情况而言，它们是更可取的。

在另外的实施例中，姿态的信息可以被包括在相应的点云中，从而基于特定姿态在相应的点云的选择之间进行比较。将姿态估计添加到特征向量的提取中可以很容易地实现，并且有几种可用的姿态估计算法。另外，替代方案可以是使用包括指示姿态估计的参数的特征向量。在示例中，与其它视图相比，个体的正面视图(而不是后视图或轮廓视图)具有更高的权重，范围从稍高的权重到对其它视图的完全区分。在其它实施例中，其它视图的评级更高。

值得注意的是，优选的姿态可以变化，并且作为简单的例子，可以考虑个体携带鲜红色的背包的情况，在这种情况下，后视图的特征向量比正面视图更具指示性。这带来了点云记录的进一步的有益效果：很容易评估点云的不同部分，使其与其它部分分开(例如与遮挡时段或姿态有关的示例)。更具体地，本发明使得能够选择点云的特定特征或明确定义的部分。为了进一步详细说明本实施例，并且作为一组实施例中的一个示例，在单个特征向量的组合点云中可存在彼此特别靠近的一组单个特征向量，并且通过分析点云，有可能找到该组并分析该组的特征向量。由于“彼此靠近”可以被解释为是相对的，因此一个示例可以是特征向量的密集度高于点云的其它部分。对于上述的示例，该组可以对应于包括鲜红色的背包的视图，而它也可以等同地对应于包括被证明对于特定个体具有特定特征的特定姿态的视图。当在消失(无论是短期遮挡还是长时间消失)后识别个体时，此信息可以很有用，因为第一次(或第二次等)跟踪可导致识别点云中最有希望的部分。

图5示出了包括移动对象的场景，但是其布局比图1的图示更具有示意性。每个箭头502-510对应于由跟踪算法检测到的对象(未示出)的轨迹，并且局部轨迹502-510有时被称为小轨迹。图5中的每个示意性灌木丛512、514、516对应于对象消失或被遮挡或确实出现的位置。最左边的灌木丛512可以对应于树木或汽车，而其它两个灌木丛514和516可以对应于建筑物的入口。灌木丛512、514、516也可以代表一群人，从而在更长或更短的时间内导致完全或部分遮挡。当然，在其它常见情况下也会发生遮挡，例如当两个人相遇时，他们在摄像机视野中重叠。在图5中总共有7个小轨迹，并且通过使用本发明的方法，将有可能将检测到的对象与小轨迹关联起来，这些小轨迹代表个体从左边进入、个体被灌木丛512暂时遮挡、个体进入灌木丛514以及在离开现场之前个体从灌木丛516出现，无论遮挡是短期还是长期的。在所示的实施例中，这可以对应于都与同一对象相关联的小轨迹502、502'和502”。在跟踪期间，可以以本申请中描述的一种或多种方式应用本发明，其中最有决定性的参数可以是遮挡时段。

在一些设施中存在多台摄像机，并且拍摄图5的场景的摄像机可以被另外的摄像机包围，如通过图6a至图6d的场景中所示的摄像机1至4的视野所示。通过使用本发明，有可能将根据小轨迹502”离开图5的视野的对象与根据小轨迹602b进入摄像机2的视野(图6b中)的对象重新识别为相同的对象。在第一次重新识别之后，然后可以发现相同的对象在图6c(如602c)和图6d(如602d)中重新出现。

为了进一步强调使用特征向量的点云的本发明的优点，可以在图6b、图6c和图6d上停留更长的时间。还考虑所讨论的对象是单个对象，并且摄像机从侧面(略微从上方)提供视野。请看小轨迹602b，如果摄像机从侧面或从稍微升高的位置监控场景，并且个体在每个方向上朝小轨迹的方向转动，则很可能会有该个体的很多正面视图。这意味着与正面视图有关的特征向量将得到很好的表示和丰富。另一方面，图6c的小轨迹602c指示将要获取正面视图和侧视图(如果获取图像的摄像机如关于图6b所描述的那样配置)，再次假设该个体被定向在小轨迹的方向。通过使用本发明，跟踪方法可以例如是增强了代表正面视图的特征向量的重要性，以利于重新识别。一旦执行了重新识别，就可以将从小轨迹602c提取的特征向量添加到关联对象的其余部分。这导致当重新识别图6d中的相同对象时，在比较点云时可以以相应的方式增强侧视图的重要性。这对应于在点云中组合的特征向量中为第一轨迹(例如，小轨迹602c)进行选择，并在点云中为第二轨迹(例如，小轨迹602d)进行相应的选择。

图7示出了根据本发明实施例的方法的流程图。该流程图很容易与图1至图6的描述相关联。简而言之，该方法包括：

检测场景中的第一对象，在第一图像帧序列上跟踪720第一对象，以多个第一特征向量的形式为第一对象提取722特征数据，将多个第一特征向量组合724为特征向量空间中的第一点云，并检测726第一对象的遮挡。该方法继续进行以检测随后出现在场景中的第二对象，在第二图像帧序列上跟踪728第二对象，以多个第二特征向量的形式为第二对象提取730数据，将多个第二特征向量组合732为特征向量空间中的第二点云。在该方法的最后部分中，在点云空间中将第一点云的选择部分与第二点云的至少选择部分进行比较734，并且比较的结果用于推断第一对象和第二对象可否被认为是相同的对象，并且如果是，则第一对象与第二对象相关联738，并且它们各自的小轨迹彼此相关联。如果对象被认为是不相同的，则两个轨迹/对象被保持736为单独的轨迹/对象或小轨迹。

应当理解，本领域技术人员可以以多种方式修改上述实施例，并且仍然使用如以上实施例中所示的本发明的优点。

另外，通过研究附图、公开内容和所附权利要求书，本领域技术人员在实践所要求保护的发明时可以理解和实现所公开的变体的变型。

Claims (15)

1.一种在视频监控场景中跟踪对象的方法，包括：

检测场景中的第一对象，

在第一图像帧序列上跟踪所述第一对象，

以多个第一特征向量的形式为所述第一对象提取数据，

将所述多个第一特征向量组合(724)为特征向量空间中的第一点云，

检测所述第一对象的遮挡，

检测随后出现在场景中的第二对象，

在第二图像帧序列上跟踪所述第二对象，

以多个第二特征向量的形式为所述第二对象提取数据，

将所述多个第二特征向量组合为所述特征向量空间中的第二点云，

在所述点云空间中比较所述第一点云的至少选择部分与所述第二点云的至少选择部分，

使用所述比较的结果来推断所述第一对象和所述第二对象可否被认为是相同的对象，并且如果是，则启用轨迹恢复，在所述轨迹恢复中可以将所述第二对象的对象标识设置为所述第一对象的所述对象标识，或者将所述第一对象的对象标识设置为所述第二对象的所述对象标识。

2.根据权利要求1所述的方法，其中，用于比较的一个或两个选择部分基于遮挡时段，所述遮挡时段即在所述第一对象的遮挡与所述第二对象的出现之间的时间。

3.根据权利要求2所述的方法，其中，将权重的分布应用于所述选择中的每个单独的特征向量也基于所述遮挡时段。

4.根据权利要求3所述的方法，其中，与更长的遮挡时段相比，更短的遮挡时段将更高的权重转移到在更接近所述遮挡时段提取的特征向量。

5.根据权利要求1所述的方法，其中，用于比较的一个或两个选择部分全部地或部分地基于第一和/或第二被跟踪对象的估计姿态。

6.根据权利要求1所述的方法，其中，用于比较的一个或多个选择部分是在从以下的组中选择的参数中进行的，所述组包括：在所述第一对象或第二对象的图像区域中的运动模糊水平、信噪比级别、光照条件、以及被跟踪对象的视角或其组合。

7.根据权利要求1所述的方法，包括在所述比较期间将统计权重应用于所述第一点云和/或所述第二点云中的特征向量，其中所述统计权重全部地或部分地基于第一和/或第二被跟踪对象的估计姿态，以强调特定姿态。

8.根据权利要求1所述的方法，进一步包括：评估所述第一点云和/或所述第二点云，以识别所述点云的特征向量密集度特别高的部分。

9.根据权利要求1所述的方法，其中，在比较所述第一点云与所述第二点云时使用欧几里得距离。

10.根据权利要求1所述的方法，其中，在所述第一点云和所述第二点云的主要部分位于的流形中，将所述第一点云与所述第二点云进行比较。

11.根据权利要求1所述的方法，其中，所述第一点云是使用第一监控摄像机获取的，而所述第二点云是使用第二监控摄像机获取的。

12.一种用于执行如权利要求1所述的方法的设备，其中，所述设备包括：至少一个用于获取场景的视频图像帧的视频拍摄单元；以及被配置为执行所述方法的所述步骤的控制单元。

13.根据权利要求12所述的设备，其中，所述设备是视频监控摄像机。

14.一种系统，包括多个如权利要求12所述的设备，其中，所述控制单元是所述视频监控摄像机中之一的控制单元，或者其中所述控制单元是作为独立设备位于服务器上或远离所述视频监控摄像机的客户端设备上的集中式控制单元。

15.一种非暂时性计算机可读介质，包括指令，所述指令在被计算机执行时使所述计算机执行如权利要求1所述的方法。

Images