CN112990058B

CN112990058B - 一种基于轨迹分析的多目标行人徘徊检测方法

Info

Publication number: CN112990058B
Application number: CN202110337734.9A
Authority: CN
Inventors: 马占宇; 张思青; 张春平; 何杨柳; 吴铭
Original assignee: Beijing University of Posts and Telecommunications
Current assignee: Beijing University of Posts and Telecommunications
Priority date: 2021-03-30
Filing date: 2021-03-30
Publication date: 2023-04-07
Anticipated expiration: 2041-03-30
Also published as: CN112990058A

Abstract

一种基于轨迹分析的多目标行人徘徊检测方法，涉及智慧城市建设中的城市监控视频分析领域，解决现有行人徘徊检测方法只能对单个行人目标进行分析，无法对出现监控场景中的多目标进行分析，同时存在丢失跟踪目标，以及存在连续几帧目标中心点位置不准确等问题，本发明方法包括步骤一、采用深度学习算法，对检测数据集进行训练和调参，获得行人检测模型；步骤二、实时获取监控场景的视频；步骤三、多目标跟踪；本发明基于运动轨迹方向角的变化范围来进行的徘徊检测，能保证连续多帧未检测到对应目标，仍然能确信跟踪的是相同目标；能够规避目标中心点位置不准确的微小扰动带来的轨迹分析误差，适用于任何轨迹形状；可以自定义折返次数。

Description

一种基于轨迹分析的多目标行人徘徊检测方法

技术领域

本发明涉及智慧城市建设中的城市监控视频分析领域，具体涉及一种基于轨迹分析的多目标行人徘徊检测方法。

背景技术

行人徘徊检测作为行人异常行为检测的一种，是智慧城市建设智能监控系统中的重要组成部分。其利用视频分析相关技术对特定区域进行监控，当检测到有人在该区域内来回走动时，判断行人是否有徘徊行为，以执行相应的预定程序。

行人徘徊检测目前主要应用于公共场所的安防监控以及商业场所的行为分析领域。随着智能监控系统的推送，行人徘徊检测的应用场景将会逐渐增加，其重要性也会日益提高。现有技术中徘徊检测主要是：首先跟踪监控场景中的单个目标，记录该目标的行进轨迹，随后根据该目标的轨迹长度或存在时间，判断其是否存在徘徊行为。

现有技术中，对于行人徘徊这一行人异常行为，目前大都是针对目标的行进轨迹进行的分析与研究。

现有基于角度的徘徊轨迹检测方法。对于采集到的每一帧图像进行运动目标检测后，确定运动目标初始运动方向与当前运动方向的夹角，根据该夹角判定行人目标是否产生徘徊行为。存在以下缺陷：

一、目前的行人徘徊检测算法只能对单个行人目标进行分析，无法对出现监控场景中的多目标进行分析。

二、目前行人徘徊检测方法根据目标运动轨迹长度或存在时间，判断其是否存在徘徊行为。监控视频中目标短暂消失后又出现，丢失前后两帧之间该目标的关联性，导致之前的运动轨迹和存在时间全部丢失，当前帧目标重新作为新目标进行计算，即无法避免丢失跟踪目标的问题。

三、目前的行人徘徊检测方法，无法规避由于连续几帧目标中心点位置不准确的问题，在连续几帧的微小扰动下，会根据目标行进轨迹反复报警。

四、目前的行人徘徊检测方法，只能够容忍行人单次折返行进，但如，泥土施工路段，工人多次折返行进的情况，当前徘徊检测会频繁产生不必要的报警。

发明内容

本发明为解决现有行人徘徊检测方法只能对单个行人目标进行分析，无法对出现监控场景中的多目标进行分析，同时存在丢失跟踪目标，以及存在连续几帧目标中心点位置不准确等问题，提供了一种基于轨迹分析的多目标行人徘徊检测方法。

一种基于轨迹分析的多目标行人徘徊检测方法，该方法由以下步骤实现：

步骤一、采用深度学习算法，对检测数据集进行训练和调参，获得行人检测模型；

步骤二、实时获取监控场景的视频；

步骤三、多目标跟踪，具体步骤为：

步骤三一、初始化多目标跟踪器；

设定最大丢失次数为max_lost，最大容忍次数为max_patience，最大改变次数为max_change；

设定跟踪目标集为空，目标ID为0；

步骤三二、采用深度学习算法以及根据步骤一获得的行人检测模型，对步骤二获得视频的当前帧进行检测；

步骤三三、判断当前帧是否检测到行人目标，如果否，则将多目标跟踪器中的所有目标丢失次数加1，如果多目标跟踪器中的某目标丢失次数大于最大丢失次数max_lost，则删除该目标，执行步骤三四；如果是，执行步骤三五；

步骤三四、读入下一帧，设为当前帧，进入步骤三二；

步骤三五、当前目标与多目标跟踪器中的所有目标按照中心点距离远近进行匹配；

步骤三六、判断当前目标与多目标跟踪器中的某目标是否匹配成功，如果是，则更新多目标跟踪器中被匹配的目标，执行步骤三七；如果否，初始化该目标，执行步骤三七；

步骤三七、判断是否遍历完当前帧中检测到的所有目标，如果是，则执行步骤三八；如果否，读入当前帧下一个目标，设为当前目标，返回执行步骤三五；

步骤三八、判断多目标跟踪器中是否还有目标未匹配成功，如果是，设置多目标跟踪器中的未匹配成功的目标的丢失次数加1，如果多目标跟踪器中的某目标丢失次数大于最大丢失次数max_lost，则删除该目标；执行步骤三四；如果否，返回执行步骤三四。

本发明的有益效果：

一、本发明所述的检测方法，能保证连续多帧未检测到对应目标，仍然能确信跟踪的是相同目标；能够规避目标中心点位置不准确的微小扰动带来的轨迹分析误差，适用于任何轨迹形状；可以自定义折返次数。

二、本发明所述的检测方法，是基于运动轨迹方向角的变化范围来进行的徘徊检测。具体为：

①本发明适合于任何轨迹形状，比如直线、折返、抛物线型、多边形等任意闭合或不闭合的轨迹形状，并能够正确分析处理抖动的轨迹。@自定义折返次数、微小扰动

②本发明支持多目标跟踪，对同视频中的多个行人目标分别分析其行进轨迹，进行行人徘徊行为报警。

③本发明能保证连续多帧目标未匹配成功，仍然能够不丢失前后帧目标的关联性，正确地跟踪到行人目标；

④本发明采用的yolov5目标检测方法，能在保证准确度的情况下进行多目标目标检测，可以在大面积遮挡的情况下仍然能够检测到目标，且可以有效降低计算量，保证速度。

附图说明

图1为本发明所述的一种基于轨迹分析的多目标行人徘徊检测方法流程图。

图2为本发明所述的一种基于轨迹分析的多目标行人徘徊检测方法中多目标跟踪的流程图。

图3为本发明所述的一种基于轨迹分析的多目标行人徘徊检测方法中初始化多目标跟踪器的流程图。

图4为本发明所述的一种基于轨迹分析的多目标行人徘徊检测方法中删除目标的流程图。

图5为本发明所述的一种基于轨迹分析的多目标行人徘徊检测方法中更新多目标跟踪器的流程图。

图6为本发明所述的一种基于轨迹分析的多目标行人徘徊检测方法中设置不同最大丢失次数max_lost的效果图。

图7为本发明所述的一种基于轨迹分析的多目标行人徘徊检测方法中设置不同最大容忍次数max_patience的效果图。

图8为本发明所述的一种基于轨迹分析的多目标行人徘徊检测方法中设置不同最大改变次数max_change的效果图。

图9为本发明所述的一种基于轨迹分析的多目标行人徘徊检测方法中按照中心点距离远近进行匹配目标的多目标跟踪的效果图。

具体实施方式

结合图1至图9说明本实施方式，一种基于轨迹分析的多目标行人徘徊检测方法；该方法由以下步骤实现：

第一步，采用深度学习算法yolov5，对object365数据集进行训练和调参，得到行人检测模型；

第二步，实时获取监控场景的视频；

第三步，采用yolov5算法，结合行人检测模型，对监控视频进行检测，返回视频帧中检测出的行人目标；

第四步，对行人目标进行多目标跟踪；如图2，具体跟踪过程为：

S1：初始化多目标跟踪器，如图3。

设定阈值：最大丢失次数为max_lost，最大容忍次数为max_patience，最大改变次数为max_change；

初始化跟踪器：跟踪目标集为空，目标ID为0。

S2：采用yolov5算法，结合行人检测模型，对监控视频当前帧进行检测；

S3：判断当前帧是否检测到任何行人目标，如果是，执行步骤S4；如果否，则将多目标跟踪器中的所有目标丢失次数加1，如果丢失次数大于最大丢失次数max_lost，则删除该目标，执行步骤S5。

结合图4说明本实施方式，所述删除目标过程如下：

1、删除该目标中心点、暂停点、初始点；

2、删除该目标丢失次数、忍耐次数、变化次数；

3、在多目标跟踪器中删除该目标。

S4：将当前帧检测到的所有目标与多目标跟踪器中的所有目标按照中心点距离远近进行匹配；执行步骤S6；

S5：读入下一帧，设为当前帧；返回执行步骤S2；

S6：判断当前帧某目标与多目标跟踪器中的某目标是否匹配成功，如果是，则更新多目标跟踪器，执行S7；如果否，则初始化该目标，执行S7；

结合图5说明本实施方式，更新多目标跟踪器的过程如下：

1、设置上一帧目标中心点Last、初始点Init分别为多目标跟踪器中的该目标中心点、初始点，当前帧目标中心点Now为当前帧该目标中心点；

2、设置该目标忍耐次数patience、变化次数change分别为多目标跟踪器中的该目标忍耐次数、变化次数，该目标丢失次数lost为0；

3、将Last和Now、Init和Now分别连接生成射线，若两条射线所成夹角为钝角，则该目标忍耐次数patience加1；否则，该目标忍耐次数patience减1，直至为0；

4、若该目标忍耐次数patience为1，则更新暂停点Sus为Now；

5、若该目标忍耐次数patience大于max_patience，将该目标忍耐次数patience置为0，初始点Init置为Sus，改变次数加1；

6、若该目标变化次数change大于max_change，随即输出行人徘徊警告，将该目标变化次数change置0；

7、设置多目标跟踪器的目标中心点、暂停点、初始点为当前帧目标中心点Now、暂停点Sus、初始点Init；

8、设置多目标跟踪器的忍耐次数、变化次数、丢失次数为该目标忍耐次数patience、变化次数change、丢失次数lost；

所述初始化目标过程如下：

1、初始化该目标ID为多目标跟踪器目标ID；

2、初始化该目标中心点、暂停点、初始点为该目标中心点；

3、初始化该目标丢失次数、忍耐次数、变化次数为0；

4、将该目标加入多目标跟踪器，多目标跟踪器目标ID加1。

S7：判断是否遍历完当前帧中检测到的所有目标，如果是，则执行步骤S8；如果否，读入当前帧下一个目标，设为当前目标，返回执行步骤S4；

S8：判断多目标跟踪器中是否还有目标未匹配成功，如果是，设置多目标跟踪器中的这些目标的丢失次数加1，如果多目标跟踪器中的某目标丢失次数大于最大丢失次数max_lost，则删除该目标；执行步骤S5；如果否，返回执行S5。

结合图6说明本实施方式，其中，图6中的src为同一目标的行进轨迹，图中实心圆点代表该目标中心点在该处存在但未被检测到，空心圆点代表该目标中心点在该处存在且被检测到，有向线段代表同一目标的行进方向。固定最大容忍次数max_patience取值为无穷大、最大改变次数max_change取值为无穷大，图6中0～4分别为最大丢失次数max_Lost取值为0～4时对应的实验效果，若行进轨迹中两空心圆点间存在有向线段则认定前后两个目标中心点为同一目标在前后两帧中的中心点。

结合图7说明本实施方式，设定最大改变次数max_change取值为1、最大丢失次数max_Lost取值为无穷大时，图7中0～5分别为最大容忍次数max_patience取值为0～5时对应的实验效果。若行进轨迹中两空心圆点间存在有向线段则认定前后两个目标中心点为同一目标在前后两帧中的中心点。若认定为目标徘徊，则在被认定为徘徊的目标中心点附近打标签“hung”。

结合图8说明本实施方式，设定最大容忍次数max_patience取值为1、最大丢失次数max_Lost取值为无穷大时，图8中0～5分别为最大容忍次数max_patience取值为0～5时对应的实验效果。若行进轨迹中两空心圆点间存在有向线段则认定前后两个目标中心点为同一目标在前后两帧中的中心点。若认定为目标徘徊，则在被认定为徘徊的目标中心点附近打标签“hung”。

结合图9说明本实施方式，多目标跟踪过程中按照中心点距离远近进行匹配的实验效果。图中的方框代表在该帧中检测到的目标位置，目标附近打标签“person”以及置信概率。图9中的标号1处显示的是三目标匹配的实验结果，标号2处显示的是两目标匹配的实验结果。按照中心点距离远近，匹配结果如图9所示，若相邻两帧之间的两个检测框框间存在有向线段，则认定为同一目标在前后两帧中的矩形框。

本实施方式中，所述object365数据集可以替换为任意包含大量行人检测标注的数据集，如COCO数据集等；深度学习算法yolov5替换成其他目标检测方法，如Faster RCNN等；行人检测任务可替换成其他检测任务，如将行人目标替换为车辆目标，实现对车辆徘徊行为的检测；多目标匹配过程可以替换为任意深度学习跟踪。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种基于轨迹分析的多目标行人徘徊检测方法，其特征是：该方法由以下步骤实现：

步骤二、实时获取监控场景的视频；

步骤三、多目标跟踪，具体步骤为：

步骤三一、初始化多目标跟踪器；

初始化跟踪器：设定跟踪目标集为空，目标ID为0；

步骤三四、读入下一帧，设为当前帧，进入步骤三二；

所述更新多目标跟踪器中被匹配的目标，具体更新过程为：

A、设置当前目标在上一帧中的中心点Last、初始点Init分别为多目标跟踪器中的被匹配的目标中心点、初始点，当前目标在当前帧中的中心点Now为当前目标中心点；

B、设置当前目标忍耐次数patience、变化次数change分别为多目标跟踪器中的被匹配的目标忍耐次数、变化次数，当前目标丢失次数lost为0；

C、将Last和Now、Init和Now分别连接生成射线，判断两条射线所成夹角是否为钝角，如果是，则当前目标忍耐次数patience加1，执行步骤E；如果否，执行步骤D；

步骤D、判断当前目标忍耐次数patience是否大于0，如果是，则当前目标忍耐次数patience减1，执行步骤E；如果否，执行步骤E；

步骤E、判断当前目标忍耐次数patience是否为1，如果是，则更新暂停点Sus为Now，执行步骤F；如果否，执行步骤F；

步骤F、判断当前目标忍耐次数是否patience大于最大容忍次数max_patience，如果是，将当前目标忍耐次数patience置为0，初始点Init置为Sus，改变次数加1；执行步骤G；如果否，执行步骤G；

步骤G、判断当前目标变化次数change是否大于最大改变次数max_change，如果是，输出行人徘徊警告，将当前目标变化次数change设置为0；执行步骤H；如果否，更新完成；

步骤H、设置多目标跟踪器的被匹配的目标中心点、暂停点、初始点为当前目标中心点Now、暂停点Sus、初始点Init；设置多目标跟踪器的被匹配的目标忍耐次数、变化次数、丢失次数为当前目标忍耐次数patience、变化次数change、丢失次数lost，更新完成；

2.根据权利要求1所述的一种基于轨迹分析的多目标行人徘徊检测方法，其特征在于：步骤三二中，删除目标的过程为：

删除该目标中心点、暂停点和初始点；

删除该目标丢失次数、忍耐次数和变化次数；

在多目标跟踪器的跟踪目标集中删除该目标。

3.根据权利要求1所述的一种基于轨迹分析的多目标行人徘徊检测方法，其特征在于：步骤三七中，初始化目标过程为：

一、初始化当前目标ID为多目标跟踪器目标ID；

二、初始化当前目标中心点、暂停点、初始点为当前目标中心点；

三、初始化当前目标丢失次数、忍耐次数、变化次数均为0；

四、将当前目标加入多目标跟踪器的跟踪目标集，多目标跟踪器目标ID加1。