CN101577006A - 视频监控中的徘徊检测方法和系统 - Google Patents

Abstract

本发明公开了一种视频监控中的徘徊检测方法，包括：对视频监控区域内出现的目标进行基于位置的匹配跟踪，并对所跟踪的目标的存在时间或呈现次数进行记录，将所有存在时间或呈现次数大于对应的第一设定阈值的目标作为候选徘徊目标；对所述候选徘徊目标进行基于直方图的匹配跟踪，并对所跟踪的候选徘徊目标的存在时间或呈现次数进行记录，将所有存在时间或呈现次数大于对应的第二设定阈值的候选徘徊目标作为徘徊目标。此外，本发明还公开了一种视频监控中的徘徊检测系统。本发明所公开的技术方案，能够提高检测结果的准确性。

Description

视频监控中的徘徊检测方法和系统

技术领域

本发明涉及视频检测技术，尤其涉及一种视频监控中的徘徊检测方法和系统。

背景技术

视频监控中的徘徊是指在视频监控系统中，有一个或多个目标来来回回的在某个区域内进行反复运动。徘徊检测是视频监控系统的一个重要的功能，在许多领域有着重要的应用。例如，如果在贵重物品(汽车等)旁边有徘徊目标出现，那么很可能是偷盗者，因此需要检测。此外，在一些敏感区域(比如军事禁区)和不安全的地方(如高压线下面，没有护栏的河边)，也不允许有徘徊目标出现。

现有技术中的徘徊检测主要是：首先对监控场景中的多个目标进行跟踪，记录每个运动目标的轨迹长度，然后，根据目标运动的轨迹长度来简单的判断该目标是否徘徊，即如果某一运动目标的运动轨迹大于一定长度则认为出现了徘徊。

但上述这种方法，当运动目标出现短暂静止时，该目标会被置入背景当中，此时就无法记录目标的轨迹数据，因此这种方法无法处理那些短暂静止后又运动的目标，使得检测结果不够准确。

发明内容

有鉴于此，本发明中一方面提供一种视频监控中的徘徊检测方法，另一方面提供一种视频监控中的徘徊检测系统，以提高检测结果的准确性。

本发明所提供的视频监控中的徘徊检测方法，包括：

对视频监控区域内出现的目标进行基于位置的匹配跟踪，并对所跟踪的目标的存在时间或呈现次数进行记录，将所有存在时间或呈现次数大于对应的第一设定阈值的目标作为候选徘徊目标；

对所述候选徘徊目标进行基于直方图的匹配跟踪，并对所跟踪的候选徘徊目标的存在时间或呈现次数进行记录，将所有存在时间或呈现次数大于对应的第二设定阈值的候选徘徊目标作为徘徊目标。

较佳地，所述对候选徘徊目标进行基于直方图的匹配跟踪，并对所跟踪的候选徘徊目标的存在时间或呈现次数进行记录包括：分别对每个候选徘徊目标，执行如下操作：

获取所述候选徘徊目标的初始位置，并计算所述初始位置对应区域的直方图；

根据所述初始位置对应区域的直方图，在当前图像中搜索所述候选徘徊目标的最优位置；

计算所述最优位置对应区域的直方图；

计算所述初始位置对应区域的直方图与所述最优位置对应区域的直方图的相似度，如果所述相似度大于第三设定阈值，则对所述候选徘徊目标的存在时间或呈现次数进行累加，并更新所述候选徘徊目标的大小和位置。

较佳地，所述根据所述初始位置对应区域的直方图，在当前图像中搜索所述候选徘徊目标的最优位置包括：根据所述初始位置对应区域的直方图，利用均值偏移跟踪算法、或粒子滤波跟踪算法、或卡尔曼滤波跟踪算法在当前图像中搜索所述候选徘徊目标的最优位置。

较佳地，所述根据初始位置对应区域的直方图，利用均值偏移跟踪算法在当前图像中搜索所述候选徘徊目标的最优位置包括：

A、将所述候选徘徊目标的初始位置作为当前搜索位置；

B、计算所述当前搜索位置对应区域的直方图；

C、将所述当前搜索位置对应区域的直方图和所述初始位置对应区域的直方图代入相似度计算公式中，根据均值偏移理论，对所述相似度计算公式进行微分处理，得到候选徘徊目标的预期位置；

D、判断所述当前搜索位置与所述候选徘徊目标的预期位置之间的距离是否小于第四设定阈值，如果是，则将所述候选徘徊目标的预期位置作为候选徘徊目标在当前图像中的最优位置；否则，将所述候选徘徊目标的预期位置作为当前搜索位置，并返回执行步骤B。

较佳地，所述步骤C和步骤D之间，进一步包括：

C1、计算所述候选徘徊目标预期位置对应区域的直方图；

C2、计算所述预期位置对应区域的直方图和所述初始位置对应区域的直方图的相似度，判断所述相似度是否大于所述当前搜索位置对应区域的直方图和所述初始位置对应区域的直方图的相似度，如果是，则执行步骤D；否则，将所述当前搜索位置和所述预期位置的平均值作为所述候选徘徊目标的预期位置，并返回执行步骤C1。

较佳地，所述根据初始位置对应区域的直方图，利用粒子滤波跟踪算法在当前图像中搜索所述候选徘徊目标的最优位置包括：

按照设定的约束条件，抽取符合所述约束条件的粒子点；

对所抽取的每个粒子点，计算所述粒子点对应区域的直方图；计算每个粒子点对应区域的直方图和所述初始位置对应区域的直方图的相似度，得到各粒子点对应的相似度；

根据每个粒子点对应的相似度，确定候选徘徊目标在当前图像中的最优位置。

较佳地，所述根据每个粒子点对应的相似度，确定候选徘徊目标在当前图像中的最优位置包括：将相似度最大的粒子点所对应的位置确定为候选徘徊目标在当前图像中的最优位置；

或者包括：根据每个粒子点对应的相似度，按照相似度大权重大，相似度小权重小的原则，为每个粒子点确定一个权重，将所有粒子点所对应位置的权重平均值确定为候选徘徊目标在当前图像中的最优位置。

较佳地，所述直方图包括：颜色直方图和/或空间位置直方图。

较佳地，所述对视频监控区域内出现的目标进行基于位置的匹配跟踪，并对所跟踪的目标的存在时间或呈现次数进行记录包括：

预先设置跟踪队列，并初始化所述跟踪队列为空；

从视频采集设备采集的当前视频中进行目标检测，检测到一个或一个以上的检测目标；

如果跟踪队列为空，则将检测目标添加到跟踪队列中，形成跟踪目标，并对应每个跟踪目标设置所述跟踪目标的存在时间或呈现次数初始值；如果跟踪队列不为空，则对跟踪队列中的所有跟踪目标，从检测目标中基于相似性度量查找匹配目标，对于在检测目标中存在匹配目标的跟踪目标，利用所述匹配目标更新所述跟踪目标，并对所述跟踪目标的存在时间或呈现次数进行累加；对于在跟踪队列中不存在匹配目标的检测目标，将所述检测目标添加到跟踪队列中，形成跟踪目标，并设置所述跟踪目标的存在时间或呈现次数初始值。

较佳地，对于在跟踪队列中不存在匹配目标的检测目标，所述将检测目标添加到跟踪队列中之前，进一步包括：

判断是否在之后连续M帧视频中的所述检测目标在跟踪队列中均不存在匹配目标，如果是，则执行所述将检测目标添加到跟踪队列中的操作。

较佳地，该方法进一步包括：对于在检测目标中不存在匹配目标的跟踪目标，将所述跟踪目标从跟踪队列中删除；

或者，对于在检测目标中不存在匹配目标的跟踪目标，判断是否在之后连续N帧视频中均不存在匹配目标，如果是，则将所述跟踪目标从跟踪队列中删除。

本发明所提供的视频监控中的徘徊检测系统，包括：

第一检测单元，用于对视频监控区域内出现的目标进行基于位置的匹配跟踪，并对所跟踪的目标的存在时间或呈现次数进行记录，将所有存在时间或呈现次数大于对应的第一设定阈值的目标作为候选徘徊目标；

第二检测单元，用于对所述第一检测单元确定的候选徘徊目标进行基于直方图的匹配跟踪，并对所跟踪的候选徘徊目标的存在时间或呈现次数进行记录，将所有存在时间或呈现次数大于对应的第二设定阈值的候选徘徊目标作为徘徊目标。

较佳地，所述第二检测单元包括：

初始位置直方图计算单元，用于获取所述候选徘徊目标的初始位置，并计算所述初始位置对应区域的直方图；

最优位置搜索单元，用于根据所述初始位置对应区域的直方图，在当前图像中搜索所述候选徘徊目标的最优位置；

最优位置直方图计算单元，用于计算所述最优位置对应区域的直方图；

信息记录及更新单元，用于计算所述初始位置对应区域的直方图与所述最优位置对应区域的直方图的相似度，如果所述相似度大于第三设定阈值，则对所述候选徘徊目标的存在时间或呈现次数进行累加，并更新所述候选徘徊目标的大小和位置；

徘徊目标确定单元，用于将所有存在时间或呈现次数大于对应的第二设定阈值的候选徘徊目标作为徘徊目标。

较佳地，所述最优位置搜索单元包括：

均值偏移跟踪单元，用于根据所述初始位置对应区域的直方图，利用均值偏移跟踪算法在当前图像中搜索所述候选徘徊目标的最优位置；

或，粒子滤波跟踪单元，用于根据所述初始位置对应区域的直方图，利用粒子滤波跟踪算法在当前图像中搜索所述候选徘徊目标的最优位置；

或，卡尔曼滤波跟踪单元，用于根据所述初始位置对应区域的直方图，利用卡尔曼滤波跟踪算法在当前图像中搜索所述候选徘徊目标的最优位置。

较佳地，所述均值偏移跟踪单元包括：

初始搜索位置确定单元，用于在当前图像中进行初始搜索时，将所述候选徘徊目标的初始位置作为当前搜索位置，并将所述当前搜索位置指示给搜索位置直方图计算单元；

搜索位置直方图计算单元，用于计算所述当前搜索位置对应区域的直方图；

预期位置确定单元，用于将所述当前搜索位置对应区域的直方图和所述初始位置对应区域的直方图代入相似度计算公式中，根据均值偏移理论，对所述相似度计算公式进行微分处理，得到候选徘徊目标的预期位置；

目标位置确定单元，用于判断所述当前搜索位置与所述候选徘徊目标的预期位置之间的距离是否小于第四设定阈值，如果是，则将所述候选徘徊目标的预期位置作为候选徘徊目标在当前图像中的最优位置；否则，将所述候选徘徊目标的预期位置作为当前搜索位置，并将所述当前搜索位置指示给搜索位置直方图计算单元。

较佳地，所述均值偏移跟踪单元进一步包括：

预期位置直方图计算单元，用于计算所述候选徘徊目标预期位置对应区域的直方图；

预期位置验证单元，用于计算所述预期位置对应区域的直方图和所述初始位置对应区域的直方图的相似度，判断所述相似度是否大于所述当前搜索位置对应区域的直方图和所述初始位置对应区域的直方图的相似度，如果是，则将所述预期位置输出给目标位置确定单元；否则，将所述当前搜索位置和所述预期位置的平均值作为所述候选徘徊目标的预期位置，并将所述候选徘徊目标的预期位置输出给预期位置直方图计算单元。

较佳地，所述粒子滤波跟踪单元包括：

粒子抽取单元，用于按照设定的约束条件，抽取符合所述约束条件的粒子点；

目标位置确定单元，用于对所抽取的每个粒子点，计算所述粒子点对应区域的直方图；计算每个粒子点对应区域的直方图和所述初始位置对应区域的直方图的相似度，得到各粒子点对应的相似度；将相似度最大的粒子点所对应的位置确定为候选徘徊目标在当前图像中的最优位置；或者，根据每个粒子点对应的相似度，按照相似度大权重大，相似度小权重小的原则，为每个粒子点确定一个权重，将所有粒子点所对应位置的权重平均值确定为候选徘徊目标在当前图像中的最优位置。

较佳地，所述第一检测单元包括：

目标检测单元，用于从视频采集设备采集的当前视频中进行目标检测，检测到一个或一个以上的检测目标；

目标跟踪单元，用于在预设的跟踪队列为空时，将检测目标添加到跟踪队列中，形成跟踪目标，并对应每个跟踪目标设置所述跟踪目标的存在时间或呈现次数初始值；在跟踪队列不为空时，对跟踪队列中的所有跟踪目标，从检测目标中基于相似性度量查找匹配目标，对于在检测目标中存在匹配目标的跟踪目标，利用所述匹配目标更新所述跟踪目标，并对所述跟踪目标的存在时间或呈现次数进行累加；对于在跟踪队列中不存在匹配目标的检测目标，将所述检测目标添加到跟踪队列中，形成跟踪目标，并设置所述跟踪目标的存在时间或呈现次数初始值；

候选徘徊目标确定单元，用于将所有存在时间或呈现次数大于对应的第一设定阈值的目标作为候选徘徊目标。

较佳地，所述目标跟踪单元进一步在跟踪队列中不存在匹配目标的检测目标时，所述将检测目标添加到跟踪队列中之前，判断是否在之后连续M帧视频中的所述检测目标在跟踪队列中均不存在匹配目标，如果是，则执行所述将检测目标添加到跟踪队列中的操作。

较佳地，所述目标跟踪单元进一步对于在检测目标中不存在匹配目标的跟踪目标，将所述跟踪目标从跟踪队列中删除；或者，对于在检测目标中不存在匹配目标的跟踪目标，判断是否在之后连续N帧视频中均不存在匹配目标，如果是，则将所述跟踪目标从跟踪队列中删除。

从上述方案可以看出，本发明中通过对视频监控区域内出现的目标(通常为多目标)进行粗跟踪，即基于位置的匹配跟踪，将所有存在时间或呈现次数大于对应的第一设定阈值的粗跟踪目标作为候选徘徊目标；之后对所述候选徘徊目标进行精跟踪，即基于直方图的匹配跟踪，并将所有存在时间或呈现次数大于对应的第二设定阈值的候选徘徊目标作为徘徊目标。从而一方面避免了使用运动轨迹判断徘徊时，运动物体突然转为静止时的判断失效，提高了检测结果的准确性；另一方面，先粗后精的跟踪匹配方法，能够在缩短跟踪时间、简化跟踪算法的情况下保证跟踪的准确性。

其中，采用均值偏移跟踪算法进行特征匹配时，可以快速的实现复杂特征的匹配，效率较高。

此外，将候选徘徊目标的颜色直方图作为目标的匹配特征，使得即使目标出现一定程度的变化，仍然能够正确的匹配目标；而将候选徘徊目标的空间位置直方图作为目标的匹配特征时，使得即使两个目标相互交互或者碰撞时，仍能准确匹配目标。

最后，本发明实施例中的技术方案容易实现，易于移植到硬件系统中。

附图说明

图1为本发明实施例中视频监控中的徘徊检测方法的示例性流程图；

图2a和图2b为现有技术中运动检测的示意图；

图3为本发明实施例中的视频监控中的徘徊检测系统的示例性结构图；

图4为图3所示系统中第一检测单元的结构示意图；

图5为图3所示系统中第二检测单元的结构示意图；

图6为图5所示第二检测单元中最优位置搜索单元的一个结构示意图；

图7为图5所示第二检测单元中最优位置搜索单元的又一个结构示意图；

图8为图5所示第二检测单元中最优位置搜索单元的又一个结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。

图1为本发明实施例中视频监控中的徘徊检测方法的示例性流程图。如图1所示，该流程包括如下步骤：

步骤101，对视频监控区域内出现的目标进行基于位置的匹配跟踪，并对所跟踪的目标的存在时间或呈现次数进行记录。

本步骤中，可利用视频采集设备采集视频监控区域内的视频，并使用现有技术中各种常用的运动检测方法，如光流法、帧间差分法、背景差分法等检测当前视频内出现的目标，得到当前视频中一个或一个以上的二值化的检测目标。这些检测目标通常是进行连通性分析之后的连通运动区域。如图2a和图2b所示，对图2a所示视频进行运动检测后，可得到如图2b所示的连通区域，即检测目标。

之后，获取连通区域的位置信息，并将所述连通区域的位置信息与所记录的已经存在的所有目标的相关位置信息进行匹配，为每个已经存在的目标找到最优的匹配连通区域，并根据匹配结果，更新已经存在的所有目标的相关信息。

具体实现时，可预先设置跟踪队列，并初始化所述跟踪队列为空。当从当前视频中检测到一个或一个以上的检测目标时，如果跟踪队列为空，则将检测目标添加到跟踪队列中，形成跟踪目标，并对应每个跟踪目标设置所述跟踪目标的存在时间或呈现次数初始值。如果跟踪队列不为空，则对跟踪队列中的所有跟踪目标，从检测目标中基于相似性度量查找匹配目标，对于在检测目标中存在匹配目标的跟踪目标，利用所述匹配目标更新所述跟踪目标，并对所述跟踪目标的存在时间或呈现次数进行累加；对于在跟踪队列中不存在匹配目标的检测目标，将所述检测目标添加到跟踪队列中，形成跟踪目标，并设置所述跟踪目标的存在时间或呈现次数初始值。进一步地，对于在检测目标中不存在匹配目标的跟踪目标，可将所述跟踪目标从跟踪队列中删除；或者，对于在检测目标中不存在匹配目标的跟踪目标，可判断是否在之后连续若干帧(一般5到10帧)视频中均不存在匹配目标，如果是，则将所述跟踪目标从跟踪队列中删除。

其中，对于在跟踪队列中不存在匹配目标的检测目标，所述将检测目标添加到跟踪队列中之前，可进一步包括：判断是否在之后连续若干帧(一般5到10帧)视频中的所述检测目标在跟踪队列中均不存在匹配目标，如果是，则执行所述将检测目标添加到跟踪队列中的操作。

上述过程中，目标的相关信息可采用多种表示方式表示，例如可设置用于描述目标信息的数据结构，负责记录目标的位置、大小以及存在时间或呈现次数等信息。

其中，对跟踪队列中的所有跟踪目标，从检测目标中基于相似性度量查找匹配目标的实现方法可有多种，最简单的方法就是将其定义为检测目标与跟踪目标所在区域的外接矩形的重合程度(也称相似性距离)，如两者无重叠部分，则认为检测目标与跟踪目标相似度为零，如有重叠部分，则检测目标与跟踪目标的相似度定义为重合部分的矩形的长宽之和。显而易见，重叠区域越大，相似度越大。

假设当前视频中检测到的检测目标为{A_i}_i＝1 ^M，已经记录的跟踪目标为{B_j}_j＝1 ^N，则具体匹配过程可以是：分别计算{A_i}_i＝1 ^M与{B_j}_j＝1 ^N之间的相似性距离：d(A_i，B_j)，i＝1，2，…M，j＝1，2，…N。

求出所有的距离中的最大值， $d(A_x,B_y)=\max \left({\left\{d(A_i,B_j)\right\}}_{i=1,...,M}^{j=1,...,N}\right),$ 则A_x和B_y匹配。然后，去除A_x和B_y，在剩余的检测目标和跟踪目标中继续查找最大值，并去除相应的匹配目标，直至没有检测目标或者跟踪目标剩余。

完成上述匹配过程后，需要根据匹配结果更新{B_j}_j＝1 ^N的相关信息，主要考虑三种情况：

1)M＝N且{A_i}_i＝1 ^M和{B_j}_j＝1 ^N都分别匹配上了。这表明所有目标都在监控范围内运动，只需要利用{A_i}_i＝1 ^M的相关信息更新{B_j}_j＝1 ^N的相关信息即可，即主要是替换跟踪目标的位置、大小，并且将目标存在的时间或呈现的次数加1。

2)M≠N且{A_i}_i＝1 ^M中有若干检测目标没有匹配上。这表明有新的物体出现，需要将这些未匹配的运动区域作为新出现的运动目标的位置、大小，添加到跟踪队列中，并将其存在时间或呈现的次数设置为1。

3)M≠N且跟踪队列中有若干跟踪目标没有得到匹配。这表明有运动目标离开了监控范围，需要将这些未匹配的运动目标从跟踪队列中删除。

实际情况下，由于误差和噪声的存在，对于当前没有匹配的检测目标或者跟踪目标，可以先暂时保留其相关信息，并在以后连续几帧(一般5到10帧)图像中进行匹配，如果一直都没有匹配，就认为是新的运动目标出现(情况2)或者现有运动目标离开视野(情况3)。

步骤102，将所有存在时间或呈现次数大于对应的第一设定阈值的目标作为候选徘徊目标。

将跟踪队列中存在时间或呈现次数超过第一设定阈值T1或S1的跟踪目标作为候选的徘徊目标，具体实现时，可将这些跟踪目标保存到另一队列中，并可设置相应地数据结构记录每个候选徘徊目标的位置、大小、候选徘徊目标存在的时间或呈现的次数，以及直方图特征。

步骤103，对所述候选徘徊目标进行基于直方图的匹配跟踪，并对所跟踪的候选徘徊目标的存在时间或呈现次数进行记录。

本步骤中，可对每个候选徘徊目标，分别执行如下所示操作：

A、获取所述候选徘徊目标的初始位置，即候选徘徊目标在前一帧图像中的位置，并计算所述初始位置对应区域(目标在前一帧图像中对应所述初始位置的区域，通常为前一帧图像中以该初始位置为中心点的长为h宽为w的矩形框所包围的区域)的直方图。

B、根据所述初始位置对应区域的直方图，在当前图像中搜索所述候选徘徊目标的最优位置。

C、计算所述最优位置对应区域的直方图。

D、计算所述初始位置对应区域的直方图与所述最优位置对应区域的直方图的相似度，如果所述相似度大于第三设定阈值，则对所述候选徘徊目标的存在时间或呈现次数进行累加，并更新所述候选徘徊目标的大小和位置。

其中，步骤B的具体实现过程可有多种，例如，可根据所述初始位置对应区域的直方图，利用均值偏移跟踪算法、或粒子滤波跟踪算法、或卡尔曼滤波跟踪算法在当前图像中搜索所述候选徘徊目标的最优位置。

下面分别对利用均值偏移跟踪算法和粒子滤波跟踪算法搜索最优位置的情况进行详细描述。

采用均值偏移跟踪算法时，搜索最优位置的过程可包括：

A1、将所述候选徘徊目标的初始位置作为当前搜索位置；

B1、计算所述当前搜索位置对应区域的直方图；

C1、将所述当前搜索位置对应区域的直方图和所述初始位置对应区域的直方图代入相似度计算公式中，根据均值偏移理论，对所述相似度计算公式进行微分处理，得到候选徘徊目标的预期位置；

D1、判断所述当前搜索位置与所述候选徘徊目标的预期位置之间的距离是否小于第四设定阈值，如果是，则将所述候选徘徊目标的预期位置作为候选徘徊目标在当前图像中的最优位置；否则，将所述候选徘徊目标的预期位置作为当前搜索位置，并返回执行步骤B1。

进一步地，步骤C1和步骤D1之间，还可包括如下步骤：

C11、计算所述候选徘徊目标预期位置对应区域的直方图；

C12、计算所述预期位置对应区域的直方图和所述初始位置对应区域的直方图的相似度，判断所述相似度是否大于所述当前搜索位置对应区域的直方图和所述初始位置对应区域的直方图的相似度，如果是，则执行步骤D；否则，将所述当前搜索位置和所述预期位置的平均值作为所述候选徘徊目标的预期位置，并返回执行步骤C11。

采用粒子滤波跟踪算法时，搜索最优位置的过程可包括：

A2、按照设定的约束条件，抽取符合所述约束条件的粒子点；

B2、对所抽取的每个粒子点，计算所述粒子点对应区域的直方图；计算每个粒子点对应区域的直方图和所述初始位置对应区域的直方图的相似度，得到各粒子点对应的相似度；

C2、根据每个粒子点对应的相似度，确定候选徘徊目标在当前图像中的最优位置。例如，可将相似度最大的粒子点所对应的位置确定为候选徘徊目标在当前图像中的最优位置；或者，可根据每个粒子点对应的相似度，按照相似度大权重大，相似度小权重小的原则，为每个粒子点确定一个权重，将所有粒子点所对应位置的权重平均值确定为候选徘徊目标在当前图像中的最优位置。

具体实现时，上述直方图可以只包括颜色直方图，也可以只包括空间位置直方图，或者也可以同时包括颜色直方图和空间位置直方图。其中，空间位置直方图可以避免将相互交互或者碰撞(主要是空间位置上靠得太近了)的两个目标匹配错误。

下面对上述直方图同时包括颜色直方图和空间位置直方图的情况进行相似度计算时的详细描述。

假设对于每个候选徘徊目标，其对应区域的颜色直方图记为{q_u}_u＝1 ^H，空间位置直方图记为{v_u}_u＝1 ^H，则对于每个候选的徘徊目标，其特征表示为：{q_u，v_u}_u＝1 ^H。其中H表示数组中的元素的个数。

假设候选徘徊目标的初始位置为s₀，当前搜索位置为s₁，则候选徘徊目标初始位置对应区域的特征表示为{q_u(s₀)，v_u(s₀)}_u＝1 ^H，当前搜索位置对应区域的特征表示为{q_u(s₁)，v_u(s₁)}_u＝1 ^H，相应地，可定义如下的相似度计算公式：

$\mathrm{\ρ}\left(s_1\right)=\underset{u=1}{\overset{H}{\mathrm{\Σ}}}{e}^{-{\left|\right|v_u\left(s_1\right)-v_u\left(s_0\right)\left|\right|}^2}\sqrt{q\left(a_1\right)q\left(s_0\right)}---\left(1\right)$

其中，空间位置直方图{v_u}_u＝1 ^H的具体构造方法可如下所示：

将目标区域的所有像素点记为{x_i}_{i＝1，2，…N}，一般用一个矩形来表示该目标，设矩形中心点为y，长为h，宽为w，定义一个函数b(□)，对于每个xi，b(xi)表示该像素点的空间位置特征在量化的特征空间中的量化序号u(该序号取值范围是1到H)。

对于任意量化序号u∈{1，2，…，H}，其位置均值v_u计算为：

$v_u=\frac{1}{{\mathrm{\Σ}}_{i=1}^N{\mathrm{\δ}}_{\mathrm{iu}}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\frac{2(x_i-y)}{\sqrt{w^2+h^2}}{\mathrm{\δ}}_{\mathrm{iu}}---\left(2\right)$

其中， ${\mathrm{\δ}}_{\mathrm{iu}}=\left\{\begin{array}{cc}1& \mathrm{if\; b}\left(x_i\right)=u\\ 0& \mathrm{else}\end{array}\right.$

所有量化序号的位置均值就构成了空间位置直方图，记为{v_u}_u＝1 ^H。

步骤104，将所有存在时间或呈现次数大于对应的第二设定阈值的候选徘徊目标作为徘徊目标。

本步骤中，进一步地，可在确定出徘徊目标后进行报警。

以上对本发明实施例中的视频监控中的徘徊检测方法进行了详细描述，下面再对本发明实施例中的视频监控中的徘徊检测系统进行详细描述。

图3为本发明实施例中的视频监控中的徘徊检测系统的示例性结构图，如图3所示，该徘徊检测系统包括：第一检测单元和第二检测单元。

其中，第一检测单元用于对视频监控区域内出现的目标进行基于位置的匹配跟踪，并对所跟踪的目标的存在时间或呈现次数进行记录，将所有存在时间或呈现次数大于对应的第一设定阈值的目标作为候选徘徊目标。

第二检测单元用于对所述第一检测单元确定的候选徘徊目标进行基于直方图的匹配跟踪，并对所跟踪的候选徘徊目标的存在时间或呈现次数进行记录，将所有存在时间或呈现次数大于对应的第二设定阈值的候选徘徊目标作为徘徊目标。

具体实现时，第一检测单元可有多种具体结构形式，图4示出了其中一种，包括：目标检测单元、目标跟踪单元和候选徘徊目标确定单元。

其中，目标检测单元用于从视频采集设备采集的当前视频中进行目标检测，检测到一个或一个以上的检测目标。

目标跟踪单元用于在预设的跟踪队列为空时，将检测目标添加到跟踪队列中，形成跟踪目标，并对应每个跟踪目标设置所述跟踪目标的存在时间或呈现次数初始值；在跟踪队列不为空时，对跟踪队列中的所有跟踪目标，从检测目标中基于相似性度量查找匹配目标，对于在检测目标中存在匹配目标的跟踪目标，利用所述匹配目标更新所述跟踪目标，并对所述跟踪目标的存在时间或呈现次数进行累加；对于在跟踪队列中不存在匹配目标的检测目标，将所述检测目标添加到跟踪队列中，形成跟踪目标，并设置所述跟踪目标的存在时间或呈现次数初始值。进一步地，对于在检测目标中不存在匹配目标的跟踪目标，目标跟踪单元可将所述跟踪目标从跟踪队列中删除；或者，对于在检测目标中不存在匹配目标的跟踪目标，目标跟踪单元可判断是否在之后连续N帧视频中均不存在匹配目标，如果是，则将所述跟踪目标从跟踪队列中删除。

候选徘徊目标确定单元用于将所有存在时间或呈现次数大于对应的第一设定阈值的目标作为候选徘徊目标。

其中，目标跟踪单元可在跟踪队列中不存在匹配目标的检测目标时，所述将检测目标添加到跟踪队列中之前，判断是否在之后连续M帧视频中的所述检测目标在跟踪队列中均不存在匹配目标，如果是，则执行所述将检测目标添加到跟踪队列中的操作。

具体实现时，第二检测单元也可有多种具体结构形式，图5示出了其中一种，包括：初始位置直方图计算单元、最优位置搜索单元、最优位置直方图计算单元、信息记录及更新单元和徘徊目标确定单元。

其中，初始位置直方图计算单元用于获取所述候选徘徊目标的初始位置，并计算所述初始位置对应区域的直方图。

最优位置搜索单元用于根据所述初始位置对应区域的直方图，在当前图像中搜索所述候选徘徊目标的最优位置。

最优位置直方图计算单元用于计算所述最优位置对应区域的直方图。

信息记录及更新单元用于计算所述初始位置对应区域的直方图与所述最优位置对应区域的直方图的相似度，如果所述相似度大于第三设定阈值，则对所述候选徘徊目标的存在时间或呈现次数进行累加，并更新所述候选徘徊目标的大小和位置。

徘徊目标确定单元用于将所有存在时间或呈现次数大于对应的第二设定阈值的候选徘徊目标作为徘徊目标。

其中，最优位置搜索单元在具体实现时，基于不同的实现方法，可包括不同的具体实现单元，例如，可包括(图中未示出)：均值偏移跟踪单元或粒子滤波跟踪单元或卡尔曼滤波跟踪单元。

其中，均值偏移跟踪单元用于根据所述初始位置对应区域的直方图，利用均值偏移跟踪算法在当前图像中搜索所述候选徘徊目标的最优位置。

粒子滤波跟踪单元用于根据所述初始位置对应区域的直方图，利用粒子滤波跟踪算法在当前图像中搜索所述候选徘徊目标的最优位置。

卡尔曼滤波跟踪单元用于根据所述初始位置对应区域的直方图，利用卡尔曼滤波跟踪算法在当前图像中搜索所述候选徘徊目标的最优位置。

上述各跟踪单元在具体实现时也可有多种结构形式，下面以均值偏移跟踪单元为例，对均值偏移跟踪单元的内部结构进行详细描述。图6为均值偏移跟踪单元的一种内部结构示意图。如图6所示，该均值偏移跟踪单元可包括：初始搜索位置确定单元、搜索位置直方图计算单元、预期位置确定单元和目标位置确定单元。

其中，初始搜索位置确定单元用于在当前图像中进行初始搜索时，将所述候选徘徊目标的初始位置作为当前搜索位置，并将所述当前搜索位置指示给搜索位置直方图计算单元。

搜索位置直方图计算单元用于计算所述当前搜索位置对应区域的直方图。

预期位置确定单元用于将所述当前搜索位置对应区域的直方图和所述初始位置对应区域的直方图代入相似度计算公式中，根据均值偏移理论，对所述相似度计算公式进行微分处理，得到候选徘徊目标的预期位置。

目标位置确定单元用于判断所述当前搜索位置与所述候选徘徊目标的预期位置之间的距离是否小于第四设定阈值，如果是，则将所述候选徘徊目标的预期位置作为候选徘徊目标在当前图像中的最优位置；否则，将所述候选徘徊目标的预期位置作为当前搜索位置，并将所述当前搜索位置指示给搜索位置直方图计算单元。

与本发明实施例中徘徊检测方法的实现过程一致，本发明施例中徘徊检测系统的预期位置确定单元和目标位置确定单元之间可如图7所示，进一步包括：预期位置直方图计算单元和预期位置验证单元。

其中，预期位置直方图计算单元用于计算所述候选徘徊目标预期位置对应区域的直方图。

预期位置验证单元用于计算所述预期位置对应区域的直方图和所述初始位置对应区域的直方图的相似度，判断所述相似度是否大于所述当前搜索位置对应区域的直方图和所述初始位置对应区域的直方图的相似度，如果是，则将所述预期位置输出给目标位置确定单元；否则，将所述当前搜索位置和所述预期位置的平均值作为所述候选徘徊目标的预期位置，并将所述候选徘徊目标的预期位置输出给预期位置直方图计算单元。

下面再以粒子滤波跟踪单元为例，对粒子滤波跟踪单元的内部结构进行详细描述。图8为粒子滤波跟踪单元的一种内部结构示意图。如图8所示，该粒子滤波跟踪单元可包括：粒子抽取单元和目标位置确定单元。

其中，粒子抽取单元用于按照设定的约束条件，抽取符合所述约束条件的粒子点。

目标位置确定单元用于对所抽取的每个粒子点，计算所述粒子点对应区域的直方图；计算每个粒子点对应区域的直方图和所述初始位置对应区域的直方图的相似度，得到各粒子点对应的相似度；根据每个粒子点对应的相似度，确定候选徘徊目标在当前图像中的最优位置。例如，可将相似度最大的粒子点所对应的位置确定为候选徘徊目标在当前图像中的最优位置；或者，可根据每个粒子点对应的相似度，按照相似度大权重大，相似度小权重小的原则，为每个粒子点确定一个权重，将所有粒子点所对应位置的权重平均值确定为候选徘徊目标在当前图像中的最优位置。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (20)

1、一种视频监控中的徘徊检测方法，其特征在于，该方法包括：

对视频监控区域内出现的目标进行基于位置的匹配跟踪，并对所跟踪的目标的存在时间或呈现次数进行记录，将所有存在时间或呈现次数大于对应的第一设定阈值的目标作为候选徘徊目标；

对所述候选徘徊目标进行基于直方图的匹配跟踪，并对所跟踪的候选徘徊目标的存在时间或呈现次数进行记录，将所有存在时间或呈现次数大于对应的第二设定阈值的候选徘徊目标作为徘徊目标。

2、如权利要求1所述的方法，其特征在于，所述对候选徘徊目标进行基于直方图的匹配跟踪，并对所跟踪的候选徘徊目标的存在时间或呈现次数进行记录包括：分别对每个候选徘徊目标，执行如下操作：

获取所述候选徘徊目标的初始位置，并计算所述初始位置对应区域的直方图；

根据所述初始位置对应区域的直方图，在当前图像中搜索所述候选徘徊目标的最优位置；

计算所述最优位置对应区域的直方图；

计算所述初始位置对应区域的直方图与所述最优位置对应区域的直方图的相似度，如果所述相似度大于第三设定阈值，则对所述候选徘徊目标的存在时间或呈现次数进行累加，并更新所述候选徘徊目标的大小和位置。

3、如权利要求2所述的方法，其特征在于，所述根据所述初始位置对应区域的直方图，在当前图像中搜索所述候选徘徊目标的最优位置包括：根据所述初始位置对应区域的直方图，利用均值偏移跟踪算法、或粒子滤波跟踪算法、或卡尔曼滤波跟踪算法在当前图像中搜索所述候选徘徊目标的最优位置。

4、如权利要求3所述的方法，其特征在于，所述根据初始位置对应区域的直方图，利用均值偏移跟踪算法在当前图像中搜索所述候选徘徊目标的最优位置包括：

A、将所述候选徘徊目标的初始位置作为当前搜索位置；

B、计算所述当前搜索位置对应区域的直方图；

C、将所述当前搜索位置对应区域的直方图和所述初始位置对应区域的直方图代入相似度计算公式中，根据均值偏移理论，对所述相似度计算公式进行微分处理，得到候选徘徊目标的预期位置；

D、判断所述当前搜索位置与所述候选徘徊目标的预期位置之间的距离是否小于第四设定阈值，如果是，则将所述候选徘徊目标的预期位置作为候选徘徊目标在当前图像中的最优位置；否则，将所述候选徘徊目标的预期位置作为当前搜索位置，并返回执行步骤B。

5、如权利要求4所述的方法，其特征在于，所述步骤C和步骤D之间，进一步包括：

C1、计算所述候选徘徊目标预期位置对应区域的直方图；

C2、计算所述预期位置对应区域的直方图和所述初始位置对应区域的直方图的相似度，判断所述相似度是否大于所述当前搜索位置对应区域的直方图和所述初始位置对应区域的直方图的相似度，如果是，则执行步骤D；否则，将所述当前搜索位置和所述预期位置的平均值作为所述候选徘徊目标的预期位置，并返回执行步骤C1。

6、如权利要求3所述的方法，其特征在于，所述根据初始位置对应区域的直方图，利用粒子滤波跟踪算法在当前图像中搜索所述候选徘徊目标的最优位置包括：

按照设定的约束条件，抽取符合所述约束条件的粒子点；

对所抽取的每个粒子点，计算所述粒子点对应区域的直方图；计算每个粒子点对应区域的直方图和所述初始位置对应区域的直方图的相似度，得到各粒子点对应的相似度；

根据每个粒子点对应的相似度，确定候选徘徊目标在当前图像中的最优位置。

7、如权利要求6所述的方法，其特征在于，所述根据每个粒子点对应的相似度，确定候选徘徊目标在当前图像中的最优位置包括：将相似度最大的粒子点所对应的位置确定为候选徘徊目标在当前图像中的最优位置；

或者包括：根据每个粒子点对应的相似度，按照相似度大权重大，相似度小权重小的原则，为每个粒子点确定一个权重，将所有粒子点所对应位置的权重平均值确定为候选徘徊目标在当前图像中的最优位置。

8、如权利要求2-7中任一项所述的方法，其特征在于，所述直方图包括：颜色直方图和/或空间位置直方图。

9、如权利要求1所述的方法，其特征在于，所述对视频监控区域内出现的目标进行基于位置的匹配跟踪，并对所跟踪的目标的存在时间或呈现次数进行记录包括：

预先设置跟踪队列，并初始化所述跟踪队列为空；

从视频采集设备采集的当前视频中进行目标检测，检测到一个或一个以上的检测目标；

如果跟踪队列为空，则将检测目标添加到跟踪队列中，形成跟踪目标，并对应每个跟踪目标设置所述跟踪目标的存在时间或呈现次数初始值；如果跟踪队列不为空，则对跟踪队列中的所有跟踪目标，从检测目标中基于相似性度量查找匹配目标，对于在检测目标中存在匹配目标的跟踪目标，利用所述匹配目标更新所述跟踪目标，并对所述跟踪目标的存在时间或呈现次数进行累加；对于在跟踪队列中不存在匹配目标的检测目标，将所述检测目标添加到跟踪队列中，形成跟踪目标，并设置所述跟踪目标的存在时间或呈现次数初始值。

10、如权利要求9所述的方法，其特征在于，对于在跟踪队列中不存在匹配目标的检测目标，所述将检测目标添加到跟踪队列中之前，进一步包括：

判断是否在之后连续M帧视频中的所述检测目标在跟踪队列中均不存在匹配目标，如果是，则执行所述将检测目标添加到跟踪队列中的操作。

11、如权利要求9所述的方法，其特征在于，该方法进一步包括：对于在检测目标中不存在匹配目标的跟踪目标，将所述跟踪目标从跟踪队列中删除；

或者，对于在检测目标中不存在匹配目标的跟踪目标，判断是否在之后连续N帧视频中均不存在匹配目标，如果是，则将所述跟踪目标从跟踪队列中删除。

12、视频监控中的徘徊检测系统，其特征在于，该系统包括：

第一检测单元，用于对视频监控区域内出现的目标进行基于位置的匹配跟踪，并对所跟踪的目标的存在时间或呈现次数进行记录，将所有存在时间或呈现次数大于对应的第一设定阈值的目标作为候选徘徊目标；

第二检测单元，用于对所述第一检测单元确定的候选徘徊目标进行基于直方图的匹配跟踪，并对所跟踪的候选徘徊目标的存在时间或呈现次数进行记录，将所有存在时间或呈现次数大于对应的第二设定阈值的候选徘徊目标作为徘徊目标。

13、如权利要求12所述的系统，其特征在于，所述第二检测单元包括：

初始位置直方图计算单元，用于获取所述候选徘徊目标的初始位置，并计算所述初始位置对应区域的直方图；

最优位置搜索单元，用于根据所述初始位置对应区域的直方图，在当前图像中搜索所述候选徘徊目标的最优位置；

最优位置直方图计算单元，用于计算所述最优位置对应区域的直方图；

信息记录及更新单元，用于计算所述初始位置对应区域的直方图与所述最优位置对应区域的直方图的相似度，如果所述相似度大于第三设定阈值，则对所述候选徘徊目标的存在时间或呈现次数进行累加，并更新所述候选徘徊目标的大小和位置；

徘徊目标确定单元，用于将所有存在时间或呈现次数大于对应的第二设定阈值的候选徘徊目标作为徘徊目标。

14、如权利要求13所述的系统，其特征在于，所述最优位置搜索单元包括：

均值偏移跟踪单元，用于根据所述初始位置对应区域的直方图，利用均值偏移跟踪算法在当前图像中搜索所述候选徘徊目标的最优位置；

或，粒子滤波跟踪单元，用于根据所述初始位置对应区域的直方图，利用粒子滤波跟踪算法在当前图像中搜索所述候选徘徊目标的最优位置；

或，卡尔曼滤波跟踪单元，用于根据所述初始位置对应区域的直方图，利用卡尔曼滤波跟踪算法在当前图像中搜索所述候选徘徊目标的最优位置。

15、如权利要求14所述的系统，其特征在于，所述均值偏移跟踪单元包括：

初始搜索位置确定单元，用于在当前图像中进行初始搜索时，将所述候选徘徊目标的初始位置作为当前搜索位置，并将所述当前搜索位置指示给搜索位置直方图计算单元；

搜索位置直方图计算单元，用于计算所述当前搜索位置对应区域的直方图；

预期位置确定单元，用于将所述当前搜索位置对应区域的直方图和所述初始位置对应区域的直方图代入相似度计算公式中，根据均值偏移理论，对所述相似度计算公式进行微分处理，得到候选徘徊目标的预期位置；

目标位置确定单元，用于判断所述当前搜索位置与所述候选徘徊目标的预期位置之间的距离是否小于第四设定阈值，如果是，则将所述候选徘徊目标的预期位置作为候选徘徊目标在当前图像中的最优位置；否则，将所述候选徘徊目标的预期位置作为当前搜索位置，并将所述当前搜索位置指示给搜索位置直方图计算单元。

16、如权利要求15所述的系统，其特征在于，所述均值偏移跟踪单元进一步包括：

预期位置直方图计算单元，用于计算所述候选徘徊目标预期位置对应区域的直方图；

预期位置验证单元，用于计算所述预期位置对应区域的直方图和所述初始位置对应区域的直方图的相似度，判断所述相似度是否大于所述当前搜索位置对应区域的直方图和所述初始位置对应区域的直方图的相似度，如果是，则将所述预期位置输出给目标位置确定单元；否则，将所述当前搜索位置和所述预期位置的平均值作为所述候选徘徊目标的预期位置，并将所述候选徘徊目标的预期位置输出给预期位置直方图计算单元。

17、如权利要求14所述的系统，其特征在于，所述粒子滤波跟踪单元包括：

粒子抽取单元，用于按照设定的约束条件，抽取符合所述约束条件的粒子点；

目标位置确定单元，用于对所抽取的每个粒子点，计算所述粒子点对应区域的直方图；计算每个粒子点对应区域的直方图和所述初始位置对应区域的直方图的相似度，得到各粒子点对应的相似度；将相似度最大的粒子点所对应的位置确定为候选徘徊目标在当前图像中的最优位置；或者，根据每个粒子点对应的相似度，按照相似度大权重大，相似度小权重小的原则，为每个粒子点确定一个权重，将所有粒子点所对应位置的权重平均值确定为候选徘徊目标在当前图像中的最优位置。

18、如权利要求12所述的系统，其特征在于，所述第一检测单元包括：

目标检测单元，用于从视频采集设备采集的当前视频中进行目标检测，检测到一个或一个以上的检测目标；

目标跟踪单元，用于在预设的跟踪队列为空时，将检测目标添加到跟踪队列中，形成跟踪目标，并对应每个跟踪目标设置所述跟踪目标的存在时间或呈现次数初始值；在跟踪队列不为空时，对跟踪队列中的所有跟踪目标，从检测目标中基于相似性度量查找匹配目标，对于在检测目标中存在匹配目标的跟踪目标，利用所述匹配目标更新所述跟踪目标，并对所述跟踪目标的存在时间或呈现次数进行累加；对于在跟踪队列中不存在匹配目标的检测目标，将所述检测目标添加到跟踪队列中，形成跟踪目标，并设置所述跟踪目标的存在时间或呈现次数初始值；

候选徘徊目标确定单元，用于将所有存在时间或呈现次数大于对应的第一设定阈值的目标作为候选徘徊目标。

19、如权利要求18所述的系统，其特征在于，所述目标跟踪单元进一步在跟踪队列中不存在匹配目标的检测目标时，所述将检测目标添加到跟踪队列中之前，判断是否在之后连续M帧视频中的所述检测目标在跟踪队列中均不存在匹配目标，如果是，则执行所述将检测目标添加到跟踪队列中的操作。

20、如权利要求18所述的系统，其特征在于，所述目标跟踪单元进一步对于在检测目标中不存在匹配目标的跟踪目标，将所述跟踪目标从跟踪队列中删除；或者，对于在检测目标中不存在匹配目标的跟踪目标，判断是否在之后连续N帧视频中均不存在匹配目标，如果是，则将所述跟踪目标从跟踪队列中删除。

Images