CN109934217B - 检测徘徊事件的方法、设备和系统 - Google Patents

Abstract

本发明提供一种检测徘徊事件的方法、设备和系统。本发明涉及监视应用。具体地，本发明涉及检测徘徊事件的方法、设备和系统，其中，具有不同对象ID的对象的徘徊时间将被组合，这些对象彼此相继在被监视的场景内的兴趣区域内消耗时间。

Description

检测徘徊事件的方法、设备和系统

技术领域

本发明涉及监视应用。具体地，本发明涉及检测徘徊事件的方法、设备和系统。

背景技术

升级的安全问题已经导致在房间、建筑物、机场城市等中增加安装诸如监控相机之类的监视装置以用于监视目的。然而，监视所有现场事件或捕捉的视频，是劳力密集的。尽管众所周知人工地监视这些事件将是最有效的且准确的，但这要求来自保安人员的一直的注意力。长时间地保持注意力的问题是公知的。因此，将对捕捉的监视材料的分析自动化将允许保安人员更有效地执行监控任务。

要求高的监视任务之一是检测徘徊事件。对徘徊事件的检测是非常关键的，这是因为徘徊行为常常与有害的活动有关，诸如毒品交易活动、用于抢劫的现场勘查并且还有青少年将他们的时间浪费在公用区域中的不健康的社交问题。

用于检测徘徊事件的系统和方法典型地要求跟踪感兴趣的对象以执行徘徊检测。对徘徊事件的检测的准确度高度地取决于跟踪方法学的执行。

因而有在这种背景下进行改善的需求。

发明内容

鉴于以上所述，因而本发明的目的是克服或至少减轻以上讨论的问题。具体地，目的是提供对于各种徘徊行为和情形来改善对徘徊事件的检测的方法、设备和系统。

根据本发明的第一方面，提供一种用于检测兴趣区域AOI内的徘徊事件的方法，该方法包括以下步骤：

接收与被监视的场景内的检测到的第一对象相对应的第一对象数据，第一对象数据包括第一ID、第一位置数据和第一时间戳；

确定第一位置数据与AOI重叠；

接收与被监视的场景内的检测到的第一对象相对应的第二对象数据，第二对象数据包括第一ID、第二位置数据和第二时间戳；

确定(S514)第二位置数据与AOI重叠；

将第二时间戳和第一时间戳之间的时间差添加到累计时间段；

接收与被监视的场景内的检测到的第二对象相对应的第三对象数据，第三对象数据包括不同于第一ID的第二ID、第三位置数据和第三时间戳，第三时间戳比第二时间戳晚；

确定第三位置数据与AOI重叠；

接收与被监视的场景内的检测到的第二对象相对应的第四对象数据，第四对象数据包括第二ID、第四位置数据和第四时间戳；

确定第四位置数据与AOI重叠；

将第四时间戳和第三时间戳之间的时间差添加到累计时间段；

当累计时间段超过第一阈值时间段时，检测出徘徊事件。

通过“ID”通常意指能够用于将相关联的对象关于其他对象相区分的任何类型的指示。例如，如果对象数据包括尺寸数据，则这样的数据可以用于区分与多个接收到的对象数据相关联的对象。ID的另一个目的是能够在时间上跟踪对象，即，使得能够在时间上将具有不同的时间戳的多个对象数据连接。能够通过整数——例如诸如1、2、3等等的序列号来表示ID。能够通过诸如对象的名称之类的文本来表示ID。ID也可以称作“标识”、“标签”、“标号”、“名称”、“区分特征”，等等。换句话说，ID能够是能够被用于将对象关于其他对象相区分的任何类型的数据。

通过“兴趣区域”(AOI)通常意指其中对象可以被定义为徘徊对象的被监视的场景内的区域的定义。在一些实施例中，AOI是整体监视的场景。在另一个实施例中，通过坐标来定义AOI。在该实施例中，AOI的坐标可以取决于接收到的对象数据的位置数据的坐标。例如，兴趣区域可以是在X、Y和/或Z坐标中定义的区域——如果接收到的对象数据的位置数据是在此类坐标中定义的话。可以通过捕捉被监视的场景的设备(例如，相机、雷达设备等等)的坐标系(即，总体坐标)来定义AOI。也可以在相对于被监视的场景的坐标中定义的AOI(例如，在由视频捕捉设备捕捉的视频中的图像平面中的位置)，诸如在覆盖以及y-坐标中的范围-1至1的场景的视图中，x＝0.3-0.7、y＝0.3-0-7(即，由坐标(0、3；0、3)、(0、3；0、7)、(0、7；0、7)、(0、7；0、3)定义)。在使用雷达数据的实施例中，可以使用角度范围和可选地深度范围来定义AOI。

通过“位置数据”通常意指可以用于确定被监视的场景内的对象的位置的任何类型的数据。位置数据可以例如是空间中的一个点。在其他实施例中，通过关于空间内的对象的有界框的顶点的坐标，或者用于对象的更复杂的多边形结构来定义位置数据。可以在总体坐标系统中定义位置数据(例如，根据雷达设备的数据来定义的对象的实际的物理位置)或者在相对坐标系统中定义位置数据(例如，由视频捕捉设备捕捉的视频中的图像平面中的位置)，如上所述。在使用雷达数据的实施例中，位置数据可以包括对场景中的检测到的对象的角度和深度的指示。

如在本文所使用的，“确定位置数据与AOI重叠”(或如下定义的排除区域)通常意指对象的定义的部分位于AOI内。在AOI是整体监视的场景的实施例中，隐含地执行该步骤，因为对象数据被接收。在AOI是被监视的场景的仅仅一部分的实施例中，将位置数据与AOI的坐标相比较。在位置数据是点的实施例中，定义是点应当位于AOI内，但是对于诸如边界框之类的更复杂的位置数据，可以应用其他规则。在一个实施例中，边界框/多边形内的单个点位于AOI内以，则足够被定义为重叠。在另一个实施例中，整个边界框/多边形可能需要位于AOI内才能被定义为重叠。在又一个实施例中，边界框/多边形区域的1/3应当位于AOI内则被定义为重叠。在又一个实施例中，对象的边界框内的预定义的点(诸如边界框的高度的1/3和宽度的¹/₂)应当位于AOI内以便被定义为重叠。

在现有技术中，典型地基于在AOI内消耗时间段的单独的对象来进行对徘徊事件的检测，其中，“单独的对象”的定义取决于分析捕捉的场景的数据的设备的检测和跟踪能力。然而，关于该方式，可能存在问题。对象的检测通常基于对象的移动。如果对象在一段时间静止不动，则对该对象的跟踪典型地回丢失，并且当对象再次开始移动时，被考虑为新的对象。从徘徊视角，对于该对象的徘徊时间的测量将是错误的，即，在对象静止不动(并且其中跟踪丢失)之前对时段的一个测量以及当对象已经再次开始移动时对时段的一个测量，其中第一测量和第二测量没有被联结在一起。因此，可能错过对该对象的徘徊事件的检测。跟踪算法的固有的功能可以造成错过的徘徊事件的另一种情况是当对象在一段时间是不可见的(例如隐藏在树后面)时。在该情况下，类似于在以上描述的静止不动情况，算法可以引起两个不同的检测到的对象。

而且，仅仅基于单独的对象来检测徘徊事件可能导致一些类型的徘徊行为被错过。例如，如果第一人在AOI中丢掉被盗财产，该被盗财产在片刻之后被第二人捡到，如果第一人或第二人没有存在于AOI内至使徘徊事件被触发的足够时间(该时间段定义在徘徊事件被触发之前允许任何对象在AOI内徘徊多久，在本文被称为第一阈值时间段)，则此类行为可能不引起检测出的徘徊事件。

发明人已经认识到，通过组合在AOI内在彼此相继消耗时间的对象的徘徊时间(即，对象在AOI内消耗的时间段)，可以正确地检测出以上讨论的错过的徘徊行为，这些对象具有不同的对象ID。应当注意到，任何重叠的时间段不被组合，而是仅仅被计数一次。换句话说，(关于第一对象)的时间段3-20，以及(关于第二对象)的时间段15-30引起3-30的徘徊时间段和具有值27的累计时间段。

当组合的徘徊时间(在本文被称为累计时间段)超过触发时间阈值(在本文被称为时间的第一阈值)时，检测出徘徊事件。时间的第一阈值可能是任何适当的时间量，诸如20秒、40秒或分钟。

根据一些实施例，如果第三时间戳和第二时间戳之间的时间差超过第二时间阈值，则方法进一步包括步骤：在将第四时间戳和第三时间戳之间的时间差添加到累计时间段的步骤之前，将累计时间段设置为零。在该实施例中，定义复位时间余量(第二时间阈值)，其定义在累计时间段被复位(被设置到零)之前AOI可以为空多久(不接收具有AOI内的位置数据的对象数据)。可以基于什么类型的行为应当被检测为徘徊来调整第二时间阈值。第二时间阈值可以是3秒、6秒、30秒或任何其它适当的时间量。

根据一些实施例，方法进一步包括测量每个接收到的对象数据(该对象数据具有与AOI的坐标重叠的位置数据)之间的时间，其中，当时间超过第二阈值时，执行将累计时间段设置为零的步骤。在该实施例中，每次接收到具有与AOI的坐标重叠的位置数据的对象数据时，重新启动时钟。时间一达到第二阈值，就将累计时间段设置为零。这可以是有利的，因为第二时间阈值一过去，就可以将示出累计时间段的GUI中的图形的对象(例如进度条)调零，因此向操作者提供徘徊状态的时刻反馈。根据其他实施例，直到接收到接下来的徘徊对象数据(高于在先前接收的徘徊对象数据之后的第二时间阈值)才复位累计时间段，即，仅仅在将新的时间差添加到累计时间段之前复位累计时间段。

根据一些实施例，当已经检测出徘徊事件时，方法进一步包括步骤：继续检测徘徊事件，直到(具有与AOI的坐标重叠的位置数据的)两个随后接收到的对象数据之间的时间超过第二阈值。换句话说，每次接收具有与AOI的坐标重叠的位置数据的对象数据时被重新启动的时钟可被用于定义在所有对象已经离开AOI之后应当继续对徘徊事件的检测多久。因此，当已经检测出徘徊事件时，只要在从先前接收到的对象数据(具有AOI内的位置的)起的第二时间段内接收具有AOI内的位置的任何对象数据，就将继续该检测。通过根据该实施例继续检测徘徊事件，可以提高操作者检测出徘徊行为的机会。

根据一些实施例，方法进一步包括步骤：接收与被监视的场景内的检测到的第二对象相对应的第五对象数据，该第五对象数据包括第二ID、第五位置数据和第五时间戳；确定第五位置数据与AOI的坐标重叠；以及将第五时间戳和第四时间戳之间的时间差添加到累计时间段。

因此，直到达到第一阈值时间段之前，只要检测到在AOI内的第二对象，累计时间段就将被增加。

根据一些实施例，可以在AOI内定义排除区(或排除区域)。存在于该区域中的对象不应当贡献累计时间段。这可以例如是AOI内的门周围的区域，其中人常常离开去抽烟。此类行为可以不是应当被检测出的徘徊行为。排除区可以是预定义的或对于例如操作者可定义的。在该实施例中，方法可以进一步包括步骤：确定第四位置数据进一步与排除区域的坐标重叠，由此不执行将第四时间戳和第三时间戳之间的时间差添加到累计时间段的步骤。

根据一些实施例，方法进一步包括步骤：接收与被监视的场景内的检测到的第二对象相对应的第五对象数据，该第五对象数据包括第二ID、第五位置数据和第五时间戳；确定第五位置数据与AOI的坐标重叠并且不与排除区域的坐标重叠；以及将第五时间戳和第四时间戳之间的时间差添加到累计时间段。因此，对象一旦虽然仍处于AOI内但移动到排除区域的外部，就再次测量时间并且该时间贡献累计时间段。

根据一些实施例，在将与对象数据相关联的对象考虑为徘徊候选人之前执行对接收到的对象数据的过滤。如在本文所使用的，术语“徘徊候选人”通常被理解为意指位于AOI内的(但是可选地不位于排除区内)对象，其在AOI内的时间段被测量并且因此可以贡献累计时间段。

过滤可以是任何类型的过滤。例如，根据一些实施例，接收到的对象数据进一步包括与检测到的对象的尺寸相对应的尺寸数据。在这种情况下，方法进一步包括将第三对象数据和第四对象数据的尺寸数据与阈值尺寸相比较的步骤，其中，仅在如果相应的尺寸数据超过阈值尺寸时执行将第四时间戳和第三时间戳之间的时间差添加到累计时间段的步骤。例如在位置数据定义边界框或多边形的情况下，可以由位置数据隐含地携带尺寸数据。尺寸数据也可以是接收到的对象数据中的单独数据字段。通过该实施例，诸如动物(猫、狗、兔子)、吹到AOI中的叶子或塑料袋之类的对象可以被滤出并且不导致检测出的徘徊事件。

在其他实施例中，接收到的对象数据进一步包括与检测到的对象的类型相对应的对象类型数据。在该情况下，方法进一步包括将第三对象数据和第四对象数据的对象类型数据与预定义的对象类型相比较的步骤，其中，仅仅在如果相应的对象类型数据等于预定义的对象类型时执行将第四时间戳和第三时间戳之间的时间差添加到累计时间段的步骤。对象类型数据可以是整数、列举型别、文本串或任何其它适当的数据字段。举例来说，对象数据可以定义对象是类型“汽车”。徘徊检测系统的管理员可能已经将系统设定为仅仅检测关于类型“人类”的对象的徘徊事件。通过包括对象类型数据并且对这样的数据执行过滤，此类方案可以是可能的。

根据本发明的第二方面，通过被适配为检测徘徊事件的设备来实现以上目的，该设备包括被适配为以下的处理器：

接收与被监视的场景内的检测到的第一对象相对应的第一对象数据，该第一对象数据包括第一ID、第一位置数据和第一时间戳；

确定第一位置数据与AOI重叠；

接收与被监视的场景内的检测到的第一对象相对应的第二对象数据，该第二对象数据包括第一ID、第二位置数据，和第二时间戳；

确定第二位置数据与AOI的坐标重叠；

将第二时间戳和第一时间戳之间的时间差添加到累计时间段；

接收与被监视的场景内的检测到的第二对象相对应的第三对象数据，该第三对象数据包括不同于第一ID的第二ID、第三位置数据和第三时间戳；

确定第三位置数据与AOI的坐标重叠；

接收与被监视的场景内的检测到的第二对象相对应的第四对象数据，该第四对象数据包括第二ID、第四位置数据和第四时间戳；

确定第四位置数据与AOI的坐标重叠；

将第四时间戳和第三时间戳之间的时间差添加到累计时间段；

当累计时间段超过第一阈值时间段时，检测出徘徊事件。

根据本发明的第三方面，通过包括以下的系统来实现以上目的：

第一设备，用于连续地捕捉场景的数据，

第二设备，被适配为接收来自第一设备的捕捉的数据并且检测和跟踪捕捉的数据中的对象，其中，第二设备进一步被适配为提取与捕捉的数据中的被检测和跟踪的对象相对应的对象数据以及所提取的对象数据的对应时间戳，每个对象数据与被检测和跟踪的对象相关联并且包括相关联的对象的ID、相关联的对象的位置数据，和时间戳；以及

根据第二方面的第三设备被适配为从第二设备接收所提取的对象数据。

根据一些实施例，系统另外包括第四设备，被适配为从第三设备接收检测出的徘徊事件，并且生成视觉和/或听觉信号，以使操作者感知徘徊事件。

根据一些实施例，第一设备是来自以下的列表中的一项：视频捕捉设备、雷达设备、红外传感器设备、麦克风阵列、热感相机和飞行时间相机。

可以在单个物理设备中实施第一设备、第二设备、第三设备和第四设备中的任意设备。根据一些实施例，第一设备、第二设备和第三设备被实施在视频捕捉设备中。而且，可以通过视频捕捉设备来实施第四设备。

根据本发明的第四方面，通过包括具有适于当由具有处理能力的设备执行时执行第一方面的方法的指令的计算机可读存储介质的程序产品来实现以上目的。

第二方面、第三方面和第四方面可以大体上具有与第一方面相同的特征和优点。进一步请注意，本发明涉及特征的所有可能组合，除非被另外明确地陈述。

附图的简要说明

通过参考附图(其中将对类似的要素使用相同的附图标记)进行的以下对本发明的优选实施例的说明性的且非限制性的详细描述将更好地理解本发明的以上以及附加的目的、特征和优点，在附图中：

图1示出根据现有技术的徘徊检测，

图2示出根据实施例的用于在兴趣区域内检测徘徊事件的方法，

图3示出根据实施例的用于在包括静止对象的兴趣区域内检测徘徊事件的方法，

图4示出根据实施例的用于在包括排除区域的兴趣区域内检测徘徊事件的方法，

图5示出根据一些实施例的用于检测徘徊事件的系统，

图6示出根据一些实施例的用于检测徘徊事件的方法的流程图。

具体实施方式

现在将在下文参考其中示出本发明的实施例的附图来更全面地描述本发明。将在操作期间对在本文公开的系统和设备进行描述。

基于例如通过相机捕捉的视频流进行的基本徘徊检测是现有技术中已知的。然而，基于单独的对象来执行已知的徘徊检测。在相机视图内检测和跟踪对象，并且将对象位于定义的兴趣区域内的时间段与为徘徊事件的检测指定的预定时间段相比较。

举例来说，图1示出在由相机监视的兴趣场景102的三个快照期间的单独的徘徊检测。在上部中，示出了在时间t_o的场景。在该快照中，第一对象106a和第三对象106c存在于预定义的兴趣区域(AOI)104内，并且第二对象106b位于AOI 104外部。通过边界框108a至108c来限定对象106a至106c，该边界框108a至108c定义它们关于场景102和AOI 104的位置。为了检测徘徊事件，测量对象106a至106c位于AOI 104内的时间段。为此理由，在AOI104中在每个对象106a、106c下面的是所示出的进度条110a、110c，其表示每个对象106a、106c已经在其间存在于AOI 104中的时间段。如通过进度条110a、110c可见，单独测量的对象106a、106c已经位于AOI 104中的时间段正要达到指定为徘徊事件的预定时间段。

在第二快照(图1的中部)中，示出了在时间t₁＞t₀的场景102。在该快照中，第一对象106a已经移动到AOI 104外部。因此，不再测量关于该对象106a的时间，并且第一对象106a的在AOI内的徘徊不引起徘徊事件的检测。第三对象106c被场景102中的静止对象(例如树)隐藏。因此，分析来自捕捉场景的相机的图像的对象检测和跟踪算法将不再能够跟踪对象106c。第二对象106b仍然在AOI 104外部。在该快照期间，不测量时间，因为在AOI 104内没有检测到对象。

在最后的快照中，示出了在时间t₂＞t₁的场景102。在该快照中，第三对象106c再次在场景102中可见并且位于AOI 104中。然而，对于分析场景的图像的检测和跟踪算法，第三对象对于场景是新的对象(因为在时间t₁，或者在t₀至t₂之间，跟踪丢失)。如上所述，在AOI104中在每个对象106b、106c下面的是所示出的进度条110b、110c，其表示每个对象106b、106c已经在其间存在于AOI 104中的时间段。能够看出，与第一快照相比，在第三快照中，测量的时间段较小。

如上所述，关于测量徘徊时间段的该策略，若干问题存在。在许多场合中，将在AOI内在彼此相继消耗时间的对象的徘徊时间组合将是有益的，即，分组徘徊策略或者非特定对象徘徊策略，这些对象具有不同的对象ID。现在将使用图2-6来描述此类徘徊检测策略。

举例来说，图5示出用于徘徊检测的系统。在该示例中，第一设备404(例如相机)连续地捕捉场景102的数据406。第一设备404可以是用于捕捉能够被用于对场景102中的对象进行单独的检测和跟踪的数据的任何适当的设备，诸如视频捕捉设备、雷达设备、红外传感器设备、麦克风阵列、热感相机，或者飞行时间相机。

捕捉的数据406(其格式取决于第一设备404)然后被传送到第二设备408，该第二设备408被适配为从第一设备404接收捕捉的数据406并且在捕捉的数据中检测和跟踪对象106a、106b。可以在第一设备404中或者可以在与第一设备404分开的设备中实施第二设备408。第二设备408被适配为在捕捉的数据406中提取与被检测和跟踪的对象106a、106b相对应的对象数据410以及所提取的对象数据410的对应时间戳。每个对象数据410与被检测和跟踪的对象106a、106b相关联，并且包括相关联的对象106a、106b的ID，相关联的对象106a、106b的位置数据，以及时间戳。第二设备因此基于从第一设备404接收到的捕捉的数据406的类型(例如，图像数据、视频数据、音频数据、雷达数据等等)来实施适当的分析算法。

根据一些实施例，检测到的对象数据410被分组到与检测到的对象的图像帧相对应的对象数据帧中，并且因此类似于捕捉的图像帧(或取决于捕捉场景的数据的设备404，检测样本、快照、音频数据帧等等)将对象数据加时间戳。换句话说，在该实施例中，如果在由第一设备404捕捉的场景102的一个时间点检测到两个或更多对象，则将对应的提取的对象数据分组到向徘徊检测设备(第三设备)412传送的一个数据集中。除了对象ID、位置数据和时间戳之外，此类分组的对象数据可以包括其他信息，诸如：

已经被看见但现在已经消失的对象。

已经是合并的一合并的对象(两个或更多对象合并为一个对象)。

已经是分离的一部分的对象(一个对象分成两个或更多对象)。

在其他实施例中，在场景102的时间点检测到的每个对象引起对象数据410的单独的传输。

可以将被检测和跟踪的对象的另外的信息(之类的尺寸数据、对象类型数据、色彩数据，等等)包括在所提取的对象数据410中。

可以以不同于从第一设备404接收到的捕捉的数据406的采样率的采样率(例如，FPS，每秒帧数)来进行在第二设备408中的对象数据410的提取。换句话说，可以不通过第二设备408分析所有捕捉的数据406。在其他实施例中，由第一设备404和第二设备408输出的数据406、410的FPS可以是相等的，意味着通过第二设备408分析所有捕捉的数据406。

然后连续地向第三设备412传送所提取的对象数据410，该第三设备412适于从接收到的对象数据410中检测徘徊事件414(在下面进一步被描述)。可以在第一设备404中，和/或在第二设备408中实施或可以在与第一设备404分开的设备中实施第三设备412。根据一些实施例，在视频记录设备中实施第一设备404、第二设备408和第三412设备。作为替代，第三设备412可以位于通过网络或类似物连接到第一设备404/第二设备408的外部服务器上。第二设备408和第三设备412两者当然也可以位于服务器(例如，视频管理服务器，VMS)。如在本文所描述的系统和方法的优点因此是实施方式的灵活性可以是大量的。第三设备412包括适于执行在本文描述的用于徘徊事件的检测的方法的一个或多个处理器。例如，第三设备412可以运行包括计算机可读存储介质的计算机程序产品，该计算机可读存储介质具有当由具有处理能力的设备412执行时适于执行方法的指令。

在一些实施例中，将检测出的徘徊事件414传送到第四设备(例如，显示器418)，该第四设备(例如，显示器418)适于从第三设备412接收检测出的徘徊事件414，并且生成视觉和/或听觉信号416，以使操作者感知徘徊事件。第四设备可以同时显示捕捉的数据406，或者捕捉的数据406的一部分，诸如AOI内的数据。第四设备可以进一步显示例如从对象数据410提取的描述数据，诸如场景中的对象的边界框或多边形、对象的ID等等。

在一些实施例中，检测出的徘徊事件可以触发动作，诸如发送消息(电子邮件、SMS)、打电话、或以另外方式向某人警告检测出的徘徊事件。检测出的徘徊事件可以进一步触发动作，诸如以更高的分辨率记录被监视的场景的数据、以更高的分辨率或在单独的数据流中记录徘徊对象的数据、将徘徊对象的图像存储在数据库中等等。

现在将结合图5的用于徘徊检测的系统和图6的流程图、使用图2至图4来描述第三设备412的功能。在下面，并且举例来说，将描述三个方案，其所有都映射到是捕捉的数据406的数量、提取的对象数据410和图5的检测出的徘徊事件414。然而，应当注意，两个方案之间的具有相同的附图标记的例如提取的对象数据的内容可以不同。

应当进一步注意到，在图2至图4的示例中，为了易于描述，在每个时间段期间，仅仅一个对象106存在于AOI 104中。然而，应当注意到，在时间段期间，多个对象106可以存在于AOI 104中。在这些情况下，将仅仅一个时间段添加到累计时间段，如上所述且如本领域技术人员理解的。

举例来说，图2示出感兴趣的场景102的在时间段(t0至t1、t2至t3，和t4至t5，其中t0＜t1＜t2＜t3＜t4＜t5)期间的分组徘徊检测。场景102包括AOI 104。

为了解释用于徘徊检测的方法，让我们假定，对于每个时间段，通过第二设备408来分析来自第一设备404的两个捕捉的数据406(例如，对于第一时间段，一个在t0并且一个在t1)。在下面对于图3至图4进行类似的假定。

对于第一时间段(图2上部)，第二设备从第一设备404接收针对对象而被分析的两个捕捉的数据406a、406b。在该时间段期间，第一对象106a存在于场景102中。在该时间段期间，没有其他对象存在于场景中。对于第一捕捉的数据(在时间t0)，第二设备408提取与被监视的场景102内的检测到的第一对象106a相对应的第一对象数据410a，第一对象数据包括至少第一ID、第一位置数据和第一时间戳t0。对于第二捕捉的数据(在时间t1)，第二设备408提取与被监视的场景102内的检测到的第一对象106a相对应的第二对象数据410b，第一对象数据包括至少第一ID、第二位置数据和第二时间戳t1。这意味着，被安排为检测徘徊事件的第三设备(徘徊检测设备)412已经接收到S508第一对象数据410a和第二对象数据410b。

对于第一对象数据410a，第三设备412首先确定S510第一对象数据的对象是否是徘徊候选人。至少通过确定S514第一位置数据是否与AOI 104重叠来进行这。在图2的示例中，位置数据是第一对象106a的边界框(在该图中被称为108a)，并且AOI 104被定义为覆盖仅仅监视器场景102的数个部分。确定第一位置数据与AOI 104的坐标重叠。如上所述，如果AOI 104覆盖整个监视的场景102，则可以确定所有接收的对象具有与AOI重叠的位置。然而，在图2至图4的示例中，AOI 104被定义为覆盖仅仅被监视的场景102的数个部分。在这些实施例中，接收到的对象数据的位置数据可以描述相关联的对象位于AOI 104外部，或者与AOI 104重叠。因此，使用位置数据和AOI的坐标来执行确定位置数据是否与AOI 104重叠的步骤。

现在返回到图2，因为在该示例中，较早时第三设备没有接收到关于该对象106a的其他对象数据，所以不将时间段添加到累计时间段。如果累计时间段被定义为徘徊检测时钟，则现在启动时钟。

对于第二对象数据410b，第三设备412首先确定S510第二对象数据的对象是否410b是否是关于第一对象数据410a的如上所述的徘徊候选人。确定S514第二位置数据与AOI 104的坐标重叠。

可选地，在每个接收到的对象数据410之间，第三设备412连续地测量确定S510为徘徊候选人数据的每个接收到的对象数据之间的时间，检查S502时间是否超过第二阈值。如果是这种情况的话，将累计时间段设置为零。第二时间阈值确定徘徊检测时钟是否应当被复位，这是因为两个徘徊候选人之间的时间段已经超过第二时间阈值。当没有接收到S506对象数据时、当确定对象不是徘徊候选人S510时，以及在每个徘徊候选人已经如在本文所描述地被处理之后，可以执行检查S502。在其他实施例中，将在第三设备412进行的单独的处理中连续地执行在图6中被称为S502和S504的步骤。在任何情况下，在将时间段添加S518到累计时间段的步骤之前执行该检查。而且，应该注意，如上所述，根据一些实施例，接收到的S508对象数据可以包括多个对象数据，换句话说，在该实施例中，如果在由第一设备捕捉的场景的一个时间点检测到两个或更多对象，则将对应的提取的对象数据分组到向徘徊检测设备(第三设备)412传送的一个数据集中。在这种情况下，根据在本文描述的内容来处理接收到的数据集中的每个对象数据。

在这种情况下，时间段t1-t0不超过第二时间阈值。而是，将时间段t1-t0添加S516到通过图2中的进度条202表示的累计时间段。累计时间段202还没有超过第一阈值时间段(在图2中通过全部进度条被表示)，因此将没有检测出徘徊事件。

在第二时间段(t2至t3，在图2中部被示出)期间，第二设备从第一设备404接收针对对象被分析的两个捕捉的数据406c、406d。在该时间段期间，第二对象106b存在于场景102中。在该时间段期间，没有其他对象存在于场景中。如以上解释的，这意味着第三设备412接收S508第三对象数据410c和第四对象数据410d。然而，对于这些对象数据410c、410d两者，确定S510他们中任何都不表示徘徊对象，这是因为确定S514相应的位置数据不与AOI104的坐标重叠。在该时间段期间，不将时间段添加到累计时间段202。因此，类似地在使用时钟的情况下，将时钟暂停。

在第二时间段(t4至t5，在图2下部被示出)期间，第二设备从第一设备404接收针对对象被分析的两个捕捉的数据406e、406df。在该时间段期间，第二对象106b存在于场景102中。在该时间段期间，没有其他对象存在于场景中。如以上解释的，这意味着第三设备412接收S508第五对象数据410e和第六对象数据410f。

对于第五对象数据410e，第三设备412首先确定S510第五对象数据410e的对象是否是关于第一对象数据410a的如上所述的徘徊候选人。确定第五位置数据与AOI 104的坐标重叠S514。

如上所述，第三设备可以连续地测量具有与AOI的坐标重叠的位置数据的每个接收到的对象数据之间的时间，并且当确定S502测量的时间超过第二阈值时，将累计时间段设置S504为零。换句话说，如果确定第五时间戳t4和第二时间戳t1(其是确定最后的徘徊候选人存在的时间)之间的时间差超过第二时间阈值，则将累计时间段设置为零。

然而，在该示例中，不将累计时间段202设置S504为零。没有时间段将被添加S518到累计时间段202，这是因为第三设备412先前还没有接收到与第二对象106c相关联的并且被确定为表示徘徊对象的对象。使用徘徊检测时钟的类比，现在再次启动时钟。

对于第六对象数据410f，第三设备412确定S510第六对象数据410f的对象是否是关于第一对象数据410a的如上所述的徘徊候选人。确定S514第六位置数据与AOI 104的坐标重叠。

因此将时间段t5-t4(即，第六时间戳和第五时间戳之间的时间差)添加S518到在图2中通过进度条202表示的累计时间段。在第二对象106b待在AOI内时(或如果新的徘徊候选人进入场景102)，以与以上公开相同的方式，累计时间段202将继续增加，直到检测出徘徊事件414。

在图2中，累计时间段202现在确实超过第一阈值时间段(在图2中通过全部进度条202被表示)，因此检测出徘徊事件414。

以这种方式，彼此相继的不同对象(例如人)的徘徊可以使得徘徊事件被检测出来。从安全视角，这可以是有益的，这是因为，徘徊在AOI中的一群人常常指示可疑行为，即便单个对象没有在AOI中停留足够的时间量(仅基于单个对象的徘徊时间检测徘徊事件)。

根据一些实施例，在第一检测之后，可以继续针对至少第二时间阈值来检测徘徊事件。在一些实施例中，可以一直继续检测徘徊数据，直到所有徘徊候选人已经消失之前。换句话说，如果被确定S510为徘徊候选人的新的对象进入场景102，则只要场景102包括徘徊候选人(以及可选地在所有徘徊候选人已经消失之后的附加的第二时间阈值)，徘徊事件就将继续被检测。类似地，只要第二对象106b停留在场景中并且被确定S510为徘徊候选人，则也可以是这种情况。

一旦不再检测出徘徊事件，就将累计时间段设置为零。

图3示出其中单独的徘徊检测不足以检测可疑行为的另一个方案。在该情况下，AOI 202包括静止对象304(例如，树、汽车，或者能够隐藏徘徊候选人的任何其他对象)。用于对象检测和跟踪的算法通常可能不能够跟踪从场景中消失一会儿的对象。当对象再出现时，算法可以将这解释为例如具有新的对象ID的新的对象。从徘徊视角，这可以造成错过的徘徊事件，也如以上解释的。在本文描述的用于徘徊检测的方法可以解决该问题，并且也在该方案中正确地检测徘徊事件，如将在下面解释的。

举例来说，图3示出感兴趣的场景102的在时间段(t0至t1、t2至t3、t4至t5，其中t0＜t1＜t2＜t3＜t4＜t5)期间的分组徘徊检测。场景102包括AOI 104。

类似于图2的情况，第一时间段(在图3的上部中被示出)将引起t1-t0的累计时间段202。

对于第二时间段(图3中部)，累计时间段202将被保留，这是因为AOI内的对象(在图3的上部中被称为106a)被静止对象304隐藏。另一对象306是捕捉的数据406c、406d的一部分，但是对应的对象数据410c、410d不会引起徘徊候选，这是因为在该方案中，当确定S510对象是否是徘徊候选人时，进行进一步的过滤S512(除AOI 104外部的位置数据之外)。在该情况下，对象数据410c、410d包括与检测到的对象306的尺寸相对应的尺寸数据。在该情况下，可以从通过第二设备408确定的检测到的对象的边界框308中提取尺寸数据。在该实施例中，将第三对象数据410c和第四对象数据410d的尺寸数据与阈值尺寸相比较S512。因为确定检测到的对象的尺寸较小，则不执行将第四(t3)时间戳和第三(t2)时间戳之间的时间差添加S518a到累计时间段的步骤。可以执行其他类型的过滤，诸如对对象类型数据(汽车、人类、动物)或与对象数据相关联的对象的其他类型的描述数据(诸如色彩、形状、速度、速度，等等)的过滤。

对于第三时间段(t4至t5，图3下部)，先前隐藏的对象再次可见，并且仍然在AOI104内。然而，如以上解释的，与由第二设备408在第一时间段(t0至t1，图3的上部)提取的对象数据410a、410b相比较，由第二设备408提取的对象数据410e、410f将具有不同对象ID。因此，在图3中，与图3上部的对象相比较，利用不同的参考编号(106b)来引用图3的下部中的对象，这是因为从徘徊视角，对象是不同的(具有不同的ID)。然而，检测到的对象在不同的时间段期间具有不同的ID的事实可以不影响对徘徊事件的检测。因此，对于第三时间段，如关于以上图2所解释的，将把第六(t5)时间戳和第五(t4)时间戳之间的时间差添加S518到累计时间段202，导致检测出S520徘徊事件414。

如在本文定义的在徘徊检测内的另外的概念是排除区域。这是AOI 104内的区域，在其中对象消耗的时间不应当被计数为徘徊。在图4中示出该概念。

在图4中，类似于图2至图3的情况，第一时间段(在图4的上部中被示出)将引起t1-t0的累计时间段202。

在第二时间段(t2至t3，在图4的中部被示出)期间，第二设备从第一设备404接收针对对象被分析的两个捕捉的数据406c、406d。在该时间段期间，第二对象106b存在于场景102中。在该时间段期间，没有其他对象存在于场景中。如以上解释的，这意味着第三设备412接收S508第三对象数据410c和第四对象数据410d。然而，对于这些对象数据410c、410d两者，确定S510他们中的任何都不表示徘徊对象，这是因为确定S516相应的位置数据与排除区302的坐标重叠。在该时间段期间，不将时间段添加到累计时间段202。因此，类似地在使用时钟的情况下，将时钟暂停。

然而，一旦虽然第二对象位于AOI 104内部、但位于排除区302外部，就再次将时间添加S518到以上公开的并且在图4的下部中示出的累计时间段202。根据一些实施例，将(具有排除区302中的位置数据的)最后的对象数据410d和随后的对象数据410e(其中第二对象106b位于排除区302外部、但是仍然在AOI 104内部)之间的时段添加到累计时间段，意味着将把第五410e时间戳和第四410d时间戳之间的时间差(t4-t3)添加到累计时间段。在该实施例中，类似于在以上描述的内容，第六410e时间戳和第五410d时间戳之间的时间差(t5-t4)当然也将被添加到累计时间段202。

根据其他实施例，在该方案中，直到在第六时间戳(t5)之前，不增加累计时间段，意味着，将把第六410f时间戳和第五410e时间戳之间的时间差(t5-t4)添加S518到累计时间段202，而不会添加第五410e时间戳和第四410d时间戳之间的时间差(t4-t3)。

以上主要参考有限数量的示例描述了本发明构思。然而，本领域技术人员容易地理解，以上公开的示例之外的其他示例同等地可能在如所附权利要求所限定的本发明构思的范围内。例如，用于检测徘徊事件的方法可以被不同地可以，但是仍然处于所附权利要求的范围内。根据一个实施例，用于检测AOI内的徘徊事件的方法可以包括步骤：

接收与被监视的场景内的至少一个检测到的对象相对应的对象数据，该对象数据包括至少一个位置数据(每个位置数据与至少一个检测到的对象中的检测到的对象相关联)，和与位置数据相关联的时间戳，基于接收到的对象数据来确定检测到AOI内的至少一个对象的时间点，对于每个确定的时间点，计算与最接近的先前的确定的时间点的时间差，将每个计算的时间差与第二阈值时间相比较，并且在确定计算的时间差小于第二阈值时间时，将计算的时间差添加到累计时间段，当累计时间段超过第一阈值时间段时，检测出徘徊事件。

根据一些实施例，其中，如果计算的时间差超过第二时间阈值，则方法进一步包括将累计时间段设置为零。

根据一些实施例，对象数据另外包括相关联的检测到的对象的ID，其中，每个确定的时间点与至少一个ID相关联，其中，所确定的时间点中的至少两个与不同的至少一个ID相关联。在一些实施例中，与第一确定的时间点相关联的至少一个ID和与第二确定的时间点相关联的至少一个ID是互斥的，第二确定的时间点在第一时间点之后。

在本文定义的任何其他实施例可以被重新表示以适合该不同地定义的方法。

Claims (15)

1.一种用于检测兴趣区域AOI内的徘徊事件的方法，所述方法包括以下步骤：

接收与被监视的场景内的检测到的第一对象相对应的第一对象数据，所述第一对象数据包括第一ID、第一位置数据和第一时间戳；

确定所述第一位置数据与所述AOI重叠；

接收与被监视的场景内的所述检测到的第一对象相对应的第二对象数据，所述第二对象数据包括所述第一ID、第二位置数据和第二时间戳；

确定所述第二位置数据与所述AOI重叠；

将第二时间戳和所述第一时间戳之间的时间差添加到累计时间段；

接收与被监视的场景内的检测到的第二对象相对应的第三对象数据，所述第三对象数据包括不同于所述第一ID的第二ID、第三位置数据和第三时间戳，其中，所述第三时间戳比所述第二时间戳晚；

确定所述第三位置数据与所述AOI重叠；

接收(S508)与被监视的场景内的所述检测到的第二对象相对应的第四对象数据，所述第四对象数据包括所述第二ID、第四位置数据和第四时间戳；

确定所述第四位置数据与所述AOI重叠；

将所述第四时间戳和所述第三时间戳之间的时间差添加到所述累计时间段；

当所述累计时间段超过第一阈值时间段时，检测出徘徊事件。

2.根据权利要求1所述的方法，其中，如果所述第三时间戳和所述第二时间戳之间的时间差超过第二时间阈值，则所述方法进一步包括步骤：

在将所述第四时间戳和所述第三时间戳之间的时间差添加到所述累计时间段的步骤之前，将所述累计时间段设置为零。

3.根据权利要求2所述的方法，进一步包括步骤：

测量每个接收到的对象数据之间的时间，该接收到的对象数据具有与所述AOI重叠的位置数据，其中，当所述时间超过所述第二阈值时，执行将所述累计时间段设置为零的步骤。

4.根据权利要求3所述的方法，进一步包括步骤：

当已经检测出徘徊事件时，继续检测徘徊事件，直到两个随后接收到的对象数据之间的时间超过所述第二阈值，该两个随后接收到的对象数据具有与所述AOI重叠的位置数据。

5.根据权利要求1所述的方法，进一步包括步骤：

接收与被监视的场景内的所述检测到的第二对象相对应的第五对象数据，所述第五对象数据包括所述第二ID、第五位置数据和第五时间戳；

确定所述第五位置数据与所述AOI重叠；并且

将所述第五时间戳和所述第四时间戳之间的时间差添加到所述累计时间段。

6.根据权利要求1所述的方法，进一步包括步骤：

确定所述第四位置数据进一步与排除区域重叠，由此不执行将所述第四时间戳和所述第三时间戳之间的时间差添加到所述累计时间段的步骤。

7.根据权利要求6所述的方法，进一步包括步骤：

接收与被监视的场景内的所述检测到的第二对象相对应的第五对象数据，所述第五对象数据包括所述第二ID、第五位置数据和第五时间戳；

确定所述第五位置数据与所述AOI重叠，并且不与所述排除区域重叠；并且

将所述第五时间戳和所述第四时间戳之间的时间差添加到所述累计时间段。

8.根据权利要求1所述的方法，其中，接收到的对象数据进一步包括与检测到的对象的尺寸相对应的尺寸数据，其中，所述方法进一步包括步骤：

将所述第三对象数据和所述第四对象数据的尺寸数据与阈值尺寸相比较，其中，仅仅在如果相应的尺寸数据超过所述阈值尺寸时，执行将所述第四时间戳和所述第三时间戳之间的时间差添加到所述累计时间段的步骤。

9.根据权利要求1所述的方法，其中，接收到的对象数据进一步包括与检测到的对象的类型相对应的对象类型数据，其中，所述方法进一步包括步骤：

将所述第三对象数据和所述第四对象数据的对象类型数据与预定义的对象类型相比较，其中，仅仅在如果相应的对象类型数据等于所述预定义的对象类型时，执行所述将所述第四时间戳和所述第三时间戳之间的时间差添加到所述累计时间段的步骤。

10.一种被适配为检测徘徊事件的设备，所述设备包括被适配为用于以下步骤的处理器：

接收与被监视的场景内的检测到的第一对象相对应的第一对象数据，所述第一对象数据包括第一ID、第一位置数据和第一时间戳；

确定所述第一位置数据与所述AOI重叠；

接收与被监视的场景内的所述检测到的第一对象相对应的第二对象数据，所述第二对象数据包括所述第一ID、第二位置数据和第二时间戳；

确定所述第二位置数据与所述AOI重叠；

将所述第二时间戳和所述第一时间戳之间的时间差添加到累计时间段；

接收与被监视的场景内的检测到的第二对象相对应的第三对象数据，所述第三对象数据包括不同于所述第一ID的第二ID、第三位置数据和第三时间戳，其中，所述第三时间戳比所述第二时间戳晚；

确定所述第三位置数据与所述AOI重叠；

接收(S508)与被监视的场景内的所述检测到的第二对象相对应的第四对象数据，所述第四对象数据包括所述第二ID、第四位置数据和第四时间戳；

确定所述第四位置数据与所述AOI重叠；

将所述第四时间戳和所述第三时间戳之间的时间差添加到所述累计时间段；

当所述累计时间段超过第一阈值时间段时，检测出徘徊事件。

11.一种被适配为检测徘徊事件的系统，包括：

第一设备，用于连续地捕捉场景的数据，

第二设备，被适配为接收来自所述第一设备的捕捉的数据、并且检测和跟踪捕捉的数据中的对象，其中，所述第二设备进一步被适配为提取与捕捉的数据中的被检测和跟踪的对象相对应的对象数据以及所提取的所述对象数据的对应时间戳，每个对象数据与被检测和跟踪的对象相关联、并且包括相关联的所述对象的ID、相关联的所述对象的位置数据和所述时间戳；以及

根据权利要求10所述的第三设备，被适配为从所述第二设备接收所提取的所述对象数据。

12.根据权利要求11所述的系统，进一步包括第四设备，所述第四设备被适配为从所述第三设备接收检测到的徘徊事件并且生成视觉和/或听觉信号，以使操作者感知所述徘徊事件。

13.根据权利要求11所述的系统，其中，所述第一设备是来自以下的列表中的一项：

视频捕捉设备、雷达设备、红外传感器设备、麦克风阵列、热感相机和飞行时间相机。

14.根据权利要求11所述的系统，其中，所述第一设备、所述第二设备和所述第三设备被实施在视频捕捉设备中。

15.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质上存储有指令，其中所述指令被适配为当由具有处理能力的设备执行时，使所述设备执行根据权利要求1所述的方法。

Images