CN104573613A - 一种基于团块跟踪的视频安全防砸方法及装置 - Google Patents

Abstract

本发明适用于安全监控技术领域，提供了一种基于团块跟踪的视频安全防砸方法及装置。在本发明中，通过将检测到的运动目标聚合成团块，并将所述团块保存至检测序列中，根据所述检测序列更新跟踪序列，包括对跟踪序列进行更新、添加或删除，然后对更新后的跟踪序列所对应的对象进行跟踪，最后判断被跟踪的对象是否进入到警报区域，解决了传统地感线圈只能检测到车的进入，而不能检测行人通行的问题，从而大大提高了道闸保护系统的安全性。

Description

一种基于团块跟踪的视频安全防砸方法及装置

技术领域

本发明属于安全监控技术领域，尤其涉及一种基于团块跟踪的视频安全防砸方法及装置。

背景技术

时至今日，道闸已经被广泛使用在停车场出入口作为车辆出入的有效控制。道闸的使用模式都是“一车一杆，车过杆落”。道闸的闸杆进行关闸的时候会存在闸杆下有车或者行人经过的情况。为了避免车与行人被误伤，提高道闸的安全性，一般都会使用保护装置。

传统的电动道闸防砸车方案是通过在道闸的闸杆的正下方安装地感线圈，当车辆进入该区域会被地感线圈检测，通过道闸控制器停止或抬起闸杆以避免车辆被砸。但是地感线圈无法检测行人，因此容易导致行人被误砸，降低了安全性。

发明内容

本发明的目的在于提供一种将检测与跟踪相结合的基于团块跟踪的视频安全防砸方法和系统，旨在解决现有的传统的电动道闸防砸车方法无法检测行人，容易导致行人被误砸的问题。

本发明是这样实现的，一种基于团块跟踪的视频安全防砸方法，包括以下步骤：

检测运动目标，将所述运动目标聚合成团块，并将所述团块保存至检测序列中；

根据所述检测序列更新跟踪序列，所述跟踪序列初始值为空；

对更新后的跟踪序列所对应的对象进行跟踪；

判断被跟踪的对象是否进入到警报区域。

优选的，所述检测运动目标，将所述运动目标聚合成团块，具体包括以下步骤：

通过当前帧与其相邻的前一帧进行帧差提取运动物体的轮廓；

通过聚类把相邻的轮廓归为一类；

利用计算空间矩把同一类中的小团块连接到一起，并对所述的小团块进行膨胀和腐蚀处理；

利用外接矩形将邻近的类框为一个整体，所述整体即为聚合成的团块。

优选的，所述的根据所述检测序列更新跟踪序列，包括：根据所述检测序列对所述跟踪序列进行更新、添加或删除。

优选的，所述根据所述检测序列对所述跟踪序列进行更新、添加或删除，具体为：将所述跟踪序列的每个对象与所述检测序列的所有团块进行匹配计算，判断所述跟踪序列的每个对象的位置与检测序列的其中一个团块的位置是否有相交，如果有则对相交的跟踪序列的对象与检测序列的团块进行标记，并对标记的跟踪序列的对象进行位置信息更新；如果所述检测序列中有团块与跟踪序列的所有对象都不相交，则将对应的团块添加到跟踪序列中；如果所述跟踪序列中有对象与检测序列的所有团块都不相交，且连续不相交的帧数大于第一阈值，则将所述跟踪序列中的该对象进行删除。

本发明还提供了提供一种基于团块跟踪的视频安全防砸装置，其特征在于，包括：

检测聚合模块、更新模块、跟踪模块、判断模块；

所述检测聚合模块，用于检测运动目标，聚合成团块，并将所述团块保存至检测序列中；

所述更新模块，用于根据所述检测序列更新跟踪序列，所述跟踪序列初始值为空；

所述跟踪模块，用于对更新后的跟踪序列所对应的对象进行跟踪；

所述判断模块，用于判断被跟踪的对象是否进入到警报区域。

优选的，所述的检测聚合模块包括：帧差计算模块、聚类模块、第一连接模块、膨胀腐蚀模块、第二连接模块；

所述帧差计算模块，用于通过当前帧与其相邻的前一帧进行帧差提取运动物体的轮廓；

所述聚类模块，用于通过聚类把相邻的轮廓归为一类；

所述第一连接模块，用于利用计算空间矩把同一类中的小团块连接到一起，并对所述的小团块进行膨胀和腐蚀处理；

所述第二连接模块，用于利用外接矩形将邻近的类框为一个整体，所述整体即为当前帧的团块。

优选的，所述的更新模块包括：匹配计算模块、位置判断模块、更新子模块、添加模块、删除模块；

所述匹配计算模块，用于将所述跟踪序列的每个对象与所述检测序列的所有团块进行匹配计算；

所述位置判断模块，用于判断所述跟踪序列的每个对象的位置与检测序列的其中一个团块的位置是否有相交；

所述更新子模块，用于对相交的跟踪序列的对象与检测序列的团块进行标记，并对标记的跟踪序列的对象进行位置信息更新；

所述添加模块，用于如果所述检测序列中有团块与跟踪序列的所有对象都不相交，则将对应的团块添加到跟踪序列中；

所述删除模块，用于如果所述跟踪序列中有对象与检测序列的所有团块都不相交，且连续不相交的帧数大于第一阈值，则将所述跟踪序列中的该对象进行删除。

在本发明中，通过将检测到的运动目标聚合成团块，并将所述团块保存至检测序列中，根据所述检测序列更新跟踪序列，包括对跟踪序列进行更新、添加或删除，然后对更新后的跟踪序列所对应的对象进行跟踪，判断被跟踪的对象是否进入到警报区域，解决了传统地感线圈只能检测到车的进入，而不能检测行人通行的问题，从而大大提高了道闸保护系统的安全性。

附图说明

图1是本发明实施例提供的基于团块跟踪的防砸系统总体结构框图；

图2是本发明实施例提供的基于团块跟踪的视频安全防砸方法实现流程图；

图3是本发明实施例提供的对更新后的跟踪序列的对象进行尺度不变特征变换SIFT特征点跟踪，利用SIFT特征点跟踪结果对所述更新后的跟踪序列做进一步的更新的实现流程图。

图4本发明实施例提供的基于团块跟踪的视频安全防砸装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了本发明提出的基于团块跟踪的防砸系统总体结构框图，本发明中使用一个安装在道闸底座旁边的摄像机11观察道闸正下方的地面。摄像机11与一个视频分析计算机12连接，把采集到的视频输入计算机进行分析。另外视频分析计算机与道闸控制器13相连，发送视频分析的结果来控制道闸。摄像机安装的角度要倾斜向下，否则会采集过多的环境背景从而影响分析结果。

本发明实际使用的时候需要配合地感14和道闸控制器13等控制道闸15开关的设备一起使用。通过地感检测车辆，通过摄像机检测行人。摄像机一直在检测视频中的移动物体，每个物体通过一个团块来表示，系统会实时跟踪团块。当有车辆停在地感上且刷卡正常，道闸打开。车辆离开地感后，闸杆下落。下落的过程会接收视频分析计算机的信号，一旦有团块进入监控区域，视频分析计算机给道闸控制器发信号，道闸控制器停止道闸下落操作。

为了更加具体地描述视频分析计算机检测跟踪物体，本发明实施例结合附图2对基于团块跟踪的视频安全防砸方法做以下详细的描述：

步骤201、检测运动目标，将所述运动目标聚合成团块，并将所述团块保存至检测序列中。

优选的，由于室外环境复杂，光线变化较大，背景建模技术在实际应用中经常不能完成建模，因此使用相邻两帧进行帧差提取运动物体的轮廓的方法更鲁棒。具体的，检测运动目标，将运动目标聚合成团块包括以下步骤：

步骤a、通过当前帧与其相邻的前一帧进行帧差提取运动物体的轮廓。摄像机采集到的视频首先使用相邻两帧进行帧差提取运动物体的轮廓。假设某一时间段内的视频序列图像为：f₁,f₂,...f_t，设f_k-1(x,y)，f_k(x,y)为视频序列相邻两帧帧图像，其中1≤k≤t，(x,y)为对应帧的坐标。那么连续两帧的帧差可以表示为：d_(k-1,k)(x,y)=|f_k(x,y)-f_k-1(x,y)|。

前景目标和背景目标通过设定阈值区分，阈值的设定需要根据实际使用的环境以及光线随时间的变化而改变。当连续两帧的帧差对应像素点大于等于设定阈值的像素点为前景目标像素点，小于设定阈值的时候为背景目标像素点，前景目标像素点组成的轮廓即为运动物体的轮廓。

步骤b、通过聚类把相邻的轮廓归为一类。帧差方法提取出来的轮廓很多，接着通过聚类把相邻的轮廓归为一类。相邻的，并且两两之间有重合，且重合大于一定的阈值就认为是一类。在本实施例中，阈值设为60%。

步骤c、利用计算空间矩把同一类中的小团块连接到一起，并对所述的小团块进行膨胀和腐蚀处理。

步骤d、利用外接矩形将邻近的类框为一个整体，所述整体即为当前帧的团块。使用一个外接矩形把邻近的类框为一个整体。每个整体就是当前帧的一个团块。根据实际情况，整体可能是一个或者多个，对应的当前帧就会一个或者多个团块。

将检测到的运动目标聚合成团块后，再将团块保存至检测序列中。

步骤202、根据所述检测序列更新跟踪序列，所述跟踪序列初始值为空。

具体的，一开始跟踪序列初始值为空，检测到的运动目标聚合成团块后，将团块保存至检测序列中，然后根据检测序列更新跟踪序列，更新跟踪序列包括对跟踪序列进行更新、添加或删除。所述根据所述检测序列对所述跟踪序列进行更新、添加或删除，具体为：将所述跟踪序列的每个对象与所述检测序列的所有团块进行匹配计算，判断所述跟踪序列的每个对象的位置与检测序列的其中一个团块的位置是否有相交，如果有则对相交的跟踪序列的对象与检测序列的团块进行标记，并对标记的跟踪序列的对象进行位置信息更新；如果所述检测序列中有团块与跟踪序列的所有对象都不相交，则将对应的团块添加到跟踪序列中，即将与所有团块的位置都不相交的检测序列的团块添加到跟踪序列中成为新的跟踪对象；如果所述跟踪序列中有对象与检测序列的所有团块都不相交，且连续不相交的帧数大于第一阈值，则将所述跟踪序列中的该对象进行删除，即将与检测序列的所有团块都不相交的跟踪序列中的对象进行记录，如果连续几帧该对象与检测序列的所有团块都不相交的，比如连续3帧该对象与检测序列的所有团块都不相交则将跟踪序列中的该对象进行删除。

步骤203、对更新后的跟踪序列所对应的对象进行跟踪。

具体的，跟踪序列更新后，对更新后的跟踪序列的所有对象进行跟踪。

步骤204、判断被跟踪的对象是否进入到警报区域。

对更新后的跟踪序列的对象进行跟踪后，会判断被跟踪的对象是否进入到警报区域，如果被跟踪的对象进入警报区域，则判断检测闸杆是否在下落状态，如果是则向闸杆控制器发出信号，从而控制道闸停止下落。

在本发明实施例中，通过将检测到的运动目标聚合成团块，然后将团块保存至检测序列中，根据所述检测序列更新跟踪序列，包括对跟踪序列进行更新、添加或删除，然后对更新后的跟踪序列所对应的对象进行跟踪，判断被跟踪的对象是否进入到警报区域，解决了传统地感线圈只能检测到车的进入，而不能检测行人通行的问题，从而大大提高了道闸保护系统的安全性。

进一步的，为了使跟踪更为精确，本发明实施例对上述更新后的跟踪序列的对象进行尺度不变特征变换SIFT（Scale Invariant Feature Transform）特征点跟踪，利用SIFT特征点跟踪结果对所述更新后的跟踪序列做进一步的更新，从而使得跟踪序列的对象更为准确，具体的本发明实施例结合附图3，对进一步的更新做以下详细描述：

对更新后的跟踪序列的对象进行SIFT特征点跟踪，包括对当前帧更新后的跟踪序列的对象以及前一帧跟踪序列的对象进行SIFT特征点提取和SIFT特征点匹配。

步骤301、提取当前帧跟踪序列的所有对象的SIFT特征点以及前一帧跟踪序列的所有对象的SIFT特征点。所述提取过程包括以下步骤：

a)、获取候选特征点：具体的，首先创建DOG（Difference of Gaussian）金字塔多尺度空间，在DOG空间中，检测局部极值作为特征点，使特征具有良好的独特性和稳定性。中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。通过以上方法获取的特征点称为候选特征点。

b)、精确确定极值点位置：过滤部分位于边缘的特征点，余下的是SIFT特征点。

c)、为每个特征点指定方向参数：利用特征点邻域像素的梯度方向分布特性形成梯度直方图，梯度直方图的范围是0～360°，取每10°一个柱，总共分36个柱进行方向直方图的统计计算，为特征点赋予方向参数。

d)、特征点描述子的生成：首先将坐标轴旋转为特征点的方向，对任意一个特征点，在其所在的尺度空间取以特征点为中心的16×16大小的邻域，再将此邻域均匀地分为4×4个子区域，对每个子区域计算梯度方向直方图(8个方向)。对4×4个子区域的8方向梯度直方图根据位置依次排序，这样就构成了一个4×4×8=128维的向量。最后将特征向量长度归一化，该向量就是SIFT特征点向量。

步骤302、将所述当前帧跟踪序列的所有对象与所述前一帧跟踪序列的所有对象进行SIFT特征点匹配。

步骤303、对当前帧跟踪序列中对应匹配成功的对象进行位置信息更新。

步骤304、对当前帧跟踪序列中未匹配对象的未匹配帧数进行计数，删除当前帧跟踪序列中未匹配帧数大于第二阈值的未匹配对象。

具体的，将所述当前帧跟踪序列的某个对象比如第一对象的SIFT特征点与所述前一帧跟踪序列的某个对象比如第二对象的SIFT特征点进行匹配，包括：当第一对象的SIFT特征点以及第二对象的SIFT特征点生成后，取第一对象的一个SIFT特征点，在第二对象的所有SIFT点中找到欧氏距离最近的两个特征点，在这最近两个点中，如果最近距离与次近距离之间的比值小于设定第三阈值，则认为第一对象的这个特征点与第二对象的欧氏距离最近的特征点匹配。如果第一对象的SIFT特征点与第二对象的SIFT特征点的匹配个数除以第一对象的SIFT特征点总数的值大于预设的第四阈值，则认为第一对象与第二对象匹配。如果匹配不成功，选择前一帧跟踪序列的另外一个对象进行匹配，直到找到匹配的对象。如果遍历结束仍未找到匹配的对象，将未匹配对象的未匹配帧数进行计数加1，并判断未匹配对象的未匹配帧数是否大于第二阈值，如果大于第二阈值则将对应的当前帧跟踪序列中对应的未匹配对象进行删除，比如未匹配对象的未匹配帧数大于10帧，则将当前帧跟踪序列中该对象进行删除。遍历当前帧跟踪序列的所有对象，直到匹配结束。

本实施例中，通过对更新后的跟踪序列的对象进行SIFT特征点跟踪，利用SIFT特征点跟踪结果对所述更新后的跟踪序列做进一步的更新，提高了跟踪的精确性。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。

图4示出了本发明实施例提供的基于团块跟踪的视频安全防砸装置的结构框图，该装置能够实现前述实施例所述的方法。为了便于说明，仅示出了与本实施例相关的部分。该基于团块跟踪的视频安全防砸装置包括：检测聚合模块41、更新模块42、跟踪模块43、判断模块44。

所述检测聚合模块41，用于检测运动目标，将所述运动目标聚合成团块，并将所述团块保存至检测序列中。

所述更新模块42，用于根据所述检测序列更新跟踪序列，所述跟踪序列初始值为空。

所述跟踪模块43，用于对更新后的跟踪序列所对应的对象进行跟踪。

所述判断模块44，用于判断被跟踪的对象是否进入到警报区域。

进一步的，所述检测聚合模块41包括：帧差计算模块411、聚类模块412、第一连接模块413、膨胀腐蚀模块414、第二连接模块415。

所述帧差计算模块411，用于通过当前帧与其相邻的前一帧进行帧差提取运动物体的轮廓。

所述聚类模块412，用于通过聚类把相邻的轮廓归为一类。

所述第一连接模块413，用于利用计算空间矩把同一类中的小团块连接到一起，并对所述的小团块进行膨胀和腐蚀处理。

所述第二连接模块414，用于利用外接矩形将邻近的类框为一个整体，所述整体即为当前帧的团块。

进一步的，所述更新模块42包括：匹配计算模块421、位置判断模块422、更新子模块423、添加模块424、删除模块425。

所述匹配计算模块421，用于将所述跟踪序列的每个对象与所述检测序列的所有团块进行匹配计算。

所述位置判断模块422，用于判断所述跟踪序列的每个对象的位置与检测序列的其中一个团块的位置是否有相交。

所述更新子模块423，用于对相交的跟踪序列的对象与检测序列的团块进行标记，并对标记的跟踪序列的对象进行位置信息更新。

所述添加模块424，用于如果所述检测序列中有团块与跟踪序列的所有对象都不相交，则将对应的团块添加到跟踪序列中。

所述删除模块425，用于如果所述跟踪序列中有对象与检测序列的所有团块都不相交，且连续不相交的帧数大于第一阈值，则将所述跟踪序列中的该对象进行删除。

优选的，该基于团块跟踪的视频安全防砸装置还包括：SIFT特征跟踪模块46，用于对所述更新后的跟踪序列的对象进行尺度不变特征变换SIFT特征点跟踪，利用SIFT特征点跟踪结果对所述更新后的跟踪序列做进一步的更新。

进一步的，所述SIFT特征跟踪模块46还包括：SIFT特征提取模块461，用于提取当前帧跟踪序列的对象的SIFT特征点以及前一帧跟踪序列的对象的SIFT特征点。

SIFT特征匹配模块462，用于将所述当前帧跟踪序列的所有对象与所述前一帧跟踪序列的所有对象进行SIFT特征点匹配。

位置更新模块463，用于对当前帧跟踪序列中对应匹配成功的对象进行位置信息更新。

计数删除模块464，用于对当前帧跟踪序列中未匹配对象的未匹配帧数进行计数，删除当前帧跟踪序列中未匹配帧数大于第二阈值的未匹配对象。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于团块跟踪的视频安全防砸方法，其特征在于，包括以下步骤：

检测运动目标，将所述运动目标聚合成团块，并将所述团块保存至检测序列中；

根据所述检测序列更新跟踪序列，所述跟踪序列初始值为空；

对更新后的跟踪序列所对应的对象进行跟踪；

判断被跟踪的对象是否进入到警报区域。

2.如权利要求1所述的方法，其特征在于，所述检测运动目标，将所述运动目标聚合成团块，具体包括以下步骤：

通过当前帧与其相邻的前一帧进行帧差提取运动物体的轮廓；

通过聚类把相邻的轮廓归为一类；

利用计算空间矩把同一类中的小团块连接到一起，并对所述的小团块进行膨胀和腐蚀处理；

利用外接矩形将邻近的类框为一个整体，所述整体即为聚合成的团块。

3.如权利要求1所述的方法，其特征在于，所述的根据所述检测序列更新跟踪序列，包括：根据所述检测序列对所述跟踪序列进行更新、添加或删除。

4.如权利要求3所述的方法，其特征在于，所述根据所述检测序列对所述跟踪序列进行更新、添加或删除，具体为：

将所述跟踪序列的每个对象与所述检测序列的所有团块进行匹配计算，判断所述跟踪序列的每个对象的位置与检测序列的其中一个团块的位置是否有相交，如果有则对相交的跟踪序列的对象与检测序列的团块进行标记，并对标记的跟踪序列的对象进行位置信息更新；如果所述检测序列中有团块的位置与跟踪序列的所有对象的位置都不相交，则将对应的团块添加到跟踪序列中；如果所述跟踪序列中有对象的位置与检测序列的所有团块的位置都不相交，且连续不相交的帧数大于第一阈值，则将所述跟踪序列中的该对象进行删除。

5.如权利要求1-4任一所述的方法，其特征在于，所述方法还包括：对所述更新后的跟踪序列的对象进行尺度不变特征变换SIFT特征点跟踪，利用SIFT特征点跟踪结果对所述更新后的跟踪序列做进一步的更新。

6.如权利要求5所述的方法，其特征在于，所述的对所述更新后的跟踪序列的对象进行尺度不变特征变换SIFT特征点跟踪，利用SIFT特征点跟踪结果对所述更新后的跟踪序列做进一步的更新，具体为：

提取当前帧跟踪序列的所有对象的SIFT特征点以及前一帧跟踪序列的所有对象的SIFT特征点；

将所述当前帧跟踪序列的所有对象与所述前一帧跟踪序列的所有对象进行SIFT特征点匹配；

对当前帧跟踪序列中对应匹配成功的对象进行位置信息更新；

对当前帧跟踪序列中未匹配对象的未匹配帧数进行计数，删除当前帧跟踪序列中未匹配帧数大于第二阈值的未匹配对象。

7.如权利要求1所述的方法，其特征在于，所述判断被跟踪的对象是否进入到警报区域，之后还包括：

若被跟踪的对象进入警报区域，则判断闸杆是否在下落状态，如果是则向闸杆控制器发出信号。

8.一种基于团块跟踪的视频安全防砸装置，其特征在于，包括：

检测聚合模块、更新模块、跟踪模块、判断模块；

所述检测聚合模块，用于检测运动目标，将所述运动目标聚合成团块，并将所述团块保存至检测序列中；

所述更新模块，用于根据所述检测序列更新跟踪序列，所述跟踪序列初始值为空；

所述跟踪模块，用于对更新后的跟踪序列所对应的对象进行跟踪；

所述判断模块，用于判断被跟踪的对象是否进入到警报区域。

9.如权利要求8所述的装置，其特征在于，所述的检测聚合模块包括：帧差计算模块、聚类模块、第一连接模块、膨胀腐蚀模块、第二连接模块；

所述帧差计算模块，用于通过当前帧与其相邻的前一帧进行帧差提取运动物体的轮廓；

所述聚类模块，用于通过聚类把相邻的轮廓归为一类；

所述第一连接模块，用于利用计算空间矩把同一类中的小团块连接到一起，并对所述的小团块进行膨胀和腐蚀处理；

所述第二连接模块，用于利用外接矩形将邻近的类框为一个整体，所述整体即为当前帧的团块。

10.如权利要求8所述的装置，其特征在于，所述更新模块包括：匹配计算模块、位置判断模块、更新子模块、添加模块、删除模块；

所述匹配计算模块，用于将所述跟踪序列的每个对象与所述检测序列的所有团块进行匹配计算；

所述位置判断模块，用于判断所述跟踪序列的每个对象的位置与检测序列的其中一个团块的位置是否有相交；

所述更新子模块，用于对相交的跟踪序列的对象与检测序列的团块进行标记，并对标记的跟踪序列的对象进行位置信息更新；

所述添加模块，用于如果所述检测序列中有团块与跟踪序列的所有对象都不相交，则将对应的团块添加到跟踪序列中；

所述删除模块，用于如果所述跟踪序列中有对象与检测序列的所有团块都不相交，且连续不相交的帧数大于第一阈值，则将所述跟踪序列中的该对象进行删除。