CN110598570A - 一种行人异常行为检测方法、系统、存储介质及计算机设备 - Google Patents

一种行人异常行为检测方法、系统、存储介质及计算机设备 Download PDF

Info

Publication number
CN110598570A
CN110598570A CN201910767559.XA CN201910767559A CN110598570A CN 110598570 A CN110598570 A CN 110598570A CN 201910767559 A CN201910767559 A CN 201910767559A CN 110598570 A CN110598570 A CN 110598570A
Authority
CN
China
Prior art keywords
pedestrian
abnormal
frame
motion trail
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910767559.XA
Other languages
English (en)
Inventor
冯夫健
黄翰
王林
朱浩锋
谭棉
李刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Minzu University
Original Assignee
Guizhou Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Minzu University filed Critical Guizhou Minzu University
Priority to CN201910767559.XA priority Critical patent/CN110598570A/zh
Publication of CN110598570A publication Critical patent/CN110598570A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种行人异常行为检测方法，包括以下步骤：S1，在监控场景内标定特定区域R和预设人流方向NorD；S2，获取所述监控场景的实时视频流，在所述特定区域R中进行每个行人的运动轨迹跟踪；S3，计算所述特定区域R中每个行人运动轨迹的方向矢量，根据所述运动轨迹的方向矢量和预设人流方向NorD进行运动轨迹方向异常判定，将方向异常的运动轨迹对应的行人标定为异常行人。本发明通过预设行人流方向，用简便的算法对行人运行方向自动进行异常判定，能够对行人异常行为的主动判定、自动判定，节约了人力成本，提高的检测速度，起到了更好的检测效果。本发明还包括一种行人异常行为检测系统、存储介质及计算机设备。

Description

一种行人异常行为检测方法、系统、存储介质及计算机设备
技术领域
本发明属于检测领域，具体而言，涉及一种行人异常行为检测方法、系统、存储介质及计算机设备。
背景技术
在某些重要的监控区域(例如劳动改造车间、车站进出口、安防重点管控区域等)，群体运动中会存在一些行人异常行为(违规改变运动方向、违规越界)的安全隐患。现有针对行人异常行为的检测，存在种种问题，比如，视频监控被动记录视频，难以做到实时检测预警的问题；人工监控的方法，人员检测耗费人力物力巨大、存在漏检现象的问题；采取群体行为分析，算法过于复杂，计算量大的问题。
发明内容
本发明所要解决的技术问题是针对现有技术存在的问题，提供一种行人异常行为检测方法、系统、存储介质及计算机设备。
本发明解决上述技术问题的技术方案如下：一种行人异常行为检测方法，包括以下步骤：S1，在监控场景内标定特定区域R和预设人流方向NorD；S2，获取所述监控场景的实时视频流，在所述特定区域R中进行每个行人的运动轨迹跟踪；S3，计算所述特定区域R中每个行人运动轨迹的方向矢量，根据所述运动轨迹的方向矢量和预设人流方向NorD进行运动轨迹方向异常判定，将方向异常的运动轨迹对应的行人标定为异常行人。
本发明的有益效果是：通过标定特定区域，对重点区域进行重点监控，并对特定区域的行人进行运行轨迹跟踪以确定运动轨迹的方向矢量，进而与预设行人流方向进行比对，实现对行人运行方向自动进行异常判定，能够对行人异常行为的主动判定、自动判定，节约了人力成本，提高的检测速度，起到了更好的检测效果。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步地，通过多目标跟踪器将当前帧检测出来的所有Bbox和前一帧检测出来的所有Bbox逐一作两两匹配，匹配到的Bbox为其分配同一个ID，表示其为同一个物体，匹配不上的Bbox，表示其为一个新出现的物体；其中，Bbox是一个4维向量(u,v,w,h)，用于表示一个矩形框；其中(u,v)是矩形中心点坐标，w是矩形框的宽度，h是矩形框的高度，单位为像素；所述矩形框用于标注感兴趣的目标物体在图像中的具体位置。
进一步地，所述S3包括：S3.1，根据如下公式确定行人运动轨迹的方向矢量，其中，表示行人i在第t帧的方向；Pi t表示行人i在第t帧时在二维图像上的位置；Pi t-N表示行人i在第t-N帧时在二维图像上的位置，所述N为小于t的正整数,根据行人速度和监控帧频进行预设；S3.2，将所述行人运动轨迹的方向矢量与所述预设人流方向NorD点乘，当点乘结果大于或等于0时，判定为方向正常，当点乘结果小于0时，判定为方向异常；S3.3，利用第一预设颜色的矩形框对方向异常行人进行标定。
采用上述进一步方案的有益效果是：通过对相邻N帧的行人位置作差，得到行人方向，再与预设人流方向进行点乘，以获得异常判定结果，该算法具有简洁、快捷、易于理解、稳定性好的特点，采用该算法，实现对行人异常方向检测的速度和降低误判率。
进一步地，S4，在所述特定区域R中标定异常预警边界；根据所述异常预警边界对所述异常行人进行异常越界判定，将异常越界的所述异常行人标定为异常越界行人，利用第二预设颜色的矩形框对异常越界行人进行标定。
采用上述进一步方案的有益效果是：通过设定异常预警边界，对行人的异常行为进行进一步判定和处理，进一步提高对行人异常行为的检测和处理效果，以适应不同应用场景的需要。
进一步地，所述异常预警边界为纵坐标为固定值gatey的一条直线；所述S4包括：
根据如下公式进行异常越界判定：
其中，表示异常行人i在t帧上的y坐标，gatey表示异常预警边界的y坐标，表示异常行人i在t-1帧上的y坐标，当f′＝0时判定为未异常越界，f′＝1时表示异常越界。
采用上述进一步方案的有益效果是：该算法具有简洁、快捷、易于理解、稳定性好的特点，采用该算法，实现对行人异常方向检测的速度和降低误判率。
进一步地，还包括：S5，根据出现异常方向到异常越界的视频流中的视频帧数缓存视频流，或者根据预设视频缓存帧数缓存视频流；所述预设视频帧数根据存储空间容量设定；根据缓存的所述视频流对所述异常越界行人的运动轨迹进行回溯，得到所述异常越界行人回溯运动轨迹，并显示所述异常越界行人回溯运动轨迹。
采用上述进一步方案的有益效果是：通过对行人越界之前的运动轨迹进行回溯，更为直观、快捷地以给使用人员反馈更多的检测信息，进一步提高检测的效果。
进一步地，所述S5包括：将检测到异常行人越界的视频帧为单目跟踪器的初始帧，将多目标跟踪器检测到的所述异常行人的Bbox作为单目标跟踪器的初始Bbox；以所述异常行人出现异常方向到异常越界的频流中的视频帧数，或者以所述预设视频缓存帧数为缓存的视频帧数量；利用单目跟踪器检测出所述缓存的视频流中每一帧图像中所述异常行人的Bbox；确定所述缓存的视频流中每一帧图像中所述异常行人的Bbox的中心点，将相邻的所述中心点连起来，得到所述异常越界行人的回溯运动轨迹。
本发明还提供一种行人异常行为检测系统，包括：初始化模块，用于在监控场景内标定特定区域R和预设人流方向NorD；多目标跟踪模块，用于获取所述监控场景的实时视频流，在所述特定区域R中进行每个行人的运动轨迹提取；方向失量计算模块，用于计算所述特定区域R中每个行人运动轨迹的方向矢量；方向异常判定模块，用于根据所述运动轨迹的方向矢量和预设人流方向NorD进行运动轨迹方向异常判定，将方向异常的运动轨迹对应的行人标定为异常行人。
采用上述技术方案的有益效果是：通过预设行人流方向，用简便的算法对行人运行方向自动进行异常判定，能够对行人异常行为的主动判定、自动判定，节约了人力成本，提高的检测速度，起到了更好的检测效果。
本发明还提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使所述计算机执行上述的行人异常行为检测方法。
本发明还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的行人异常行为检测方法。
附图说明
图1示出了根据本发明的实施例提供的一种行人异常行为检测方法流程图；
图2示出了运用本发明的实施例对街区行人运用多目标跟踪算法和运动方向异常判定后的效果图；
图3示出了运用本发明的实施例对街区行人越界后的效果图；
图4示出了运用本发明的实施例对街区对越界行人回溯的效果图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例即实施例中的特征可以相互结合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了根据本发明的实施例提供的一种行人异常行为检测方法流程图。
如图1所示，本实施例中，一种行人异常行为检测方法，包括以下步骤：S1，在监控场景内标定特定区域R和预设人流方向NorD；S2，获取所述监控场景的实时视频流，在所述特定区域R中进行每个行人的运动轨迹跟踪；S3，计算所述特定区域R中每个行人运动轨迹的方向矢量，根据所述运动轨迹的方向矢量和预设人流方向NorD进行运动轨迹方向异常判定，将方向异常的运动轨迹对应的行人标定为异常行人。
所述特定区域R如图2所示。
在图像检测领域，往往关注的并不是整幅图像，而是图像的一部分，如道路的一部分、车站的出入口、监狱的出入口等某特定区域。通过标定特定区域R，以缩小图像检测的范围，可以降低检测算法对资源的消耗，提高运行的速度。
本实施例的预设人流方向NorD，为人流前进的方向，用二维向量表示。
上述实施例中，通过预设人流方向，用简便的算法对行人运行方向自动进行异常判定，能够对行人异常行为的主动判定、自动判定，节约了人力成本，提高的检测速度，起到了更好的检测效果。
可选地，通过多目标跟踪器将当前帧检测出来的所有Bbox和前一帧检测出来的所有Bbox逐一作两两匹配，匹配到的Bbox为其分配同一个ID，表示其为同一个物体，匹配不上的Bbox，表示其为一个新出现的物体；其中，Bbox是一个4维向量(u,v,w,h)，用于表示一个矩形框；其中(u,v)是矩形中心点坐标，w是矩形框的宽度，h是矩形框的高度，单位为像素；所述矩形框用于标注感兴趣的目标物体在图像中的具体位置。
根据检测效果的需要，可以将运动轨迹跟踪的结果用预设的可区分的颜色表示，如图2所示，可用白色矩形框对行人进行标识。
需要说明的是，多目标跟踪算法是本领域常用的算法，任何可实现视频多目标跟踪的算法都可运用于本发明实施例。多目标跟踪算法可以包括以下步骤，第一步：对单帧图像进行多目标检测，得到所有物体的标识块Bbox，标识块Bbox为4维向量(u,v,w,h)，其中(u,v)是矩形中心点坐标，w是矩形框的宽度，h是矩形框的高度。
第二步：对检测出来的所有Bbox进行多目标追踪，即对当前帧检测出来的所有Bbox和前一帧检测出来的所有Bbox逐一作两两匹配(匹配是通过计算每一帧中检测器检测出的物体Bbox中心点与前一帧跟踪器跟踪的物体Bbox中心点之间的马氏距离，距离最小的两个Bbox便完成匹配)，匹配到的Bbox为其分配同一个识别号，表示其为同一个物体，匹配不上的Bbox(对前一帧中跟踪器中的所有Bbox的马氏距离大于一个阈值)便认定其为一个新出现的物体。上述实施例中，采用tracking-by-detection方法实现特定区域中的人群轨迹跟踪，选用Deep-sort作为多目标跟踪器，Yolov3作为目标检测模块。
可选地，所述S3包括：S3.1，根据如下公式确定行人运动轨迹的方向矢量，其中，表示行人i在第t帧的方向；Pi t表示行人i在第t帧时在二维图像上的位置；Pi t-N表示行人i在第t-N帧时在二维图像上的位置；所述N为小于t的正整数,根据行人速度和监控帧频进行预设；S3.2，将所述行人运动轨迹的方向矢量与所述预设人流方向NorD点乘，当点乘结果大于或等于0时，判定为方向正常，当点乘结果小于0时，判定为方向异常；S3.3，利用第一预设颜色的矩形框对方向异常行人进行标定。第一预设颜色的矩形框可以是黄色矩形框。
需要说明的是，N的取值随监控视频的帧频和行人正常步速确定。通常监控视频的帧频为每秒20-40帧，而通常行人步速约为1米/秒左右，如逐帧进行异常方向判定，将产生两帧之间时间过短，而行人未移动的情况。考虑帧频与行人步速的关系，N可以设定为20。
可以理解的是，当判定为方向异常时，可通过利用第一预设颜色的矩形框对方向异常行人进行标定的方式进行提示，也可以采用其它声、光、电的方式进行告警提示。
上述实施例中，通过对相邻N帧的行人位置作差，得到行人方向，再与预设人流方向进行点乘，以获得异常判定结果，通过确定适当的N值，可以减少检测次数，提高检测速度，该算法具有简洁、快捷、易于理解、稳定性好的特点，采用该算法，实现对行人异常方向检测的速度和降低误判率。
可选地，在所述特定区域R中标定异常预警边界；根据所述异常预警边界对所述异常行人进行异常越界判定，将异常越界的所述异常行人标定为异常越界行人，利用第二预设颜色的矩形框对异常越界行人进行标定。第二预设颜色矩形框，可以是红色。
可以理解的是，当判定为异常越界时，可通过利用第二预设颜色的矩形框对异常越界行人进行标定的方式进行提示，也可以采用其它声、光、电的方式进行告警提示。
上述实施例中，通过设定异常预警边界，对行人的异常行为进行进一步判定和处理，进一步提高对行人异常行为的检测和处理效果，以适应不同应用场景的需要。
可选地，所述异常预警边界为纵坐标为固定值gatey的一条直线；异常预警边界如图2所示，所述S4包括：
根据如下公式进行异常越界判定：
其中，表示异常行人i在t帧上的y坐标，gatey表示异常预警边界的y坐标，表示异常行人i在t-1帧上的y坐标，当f′＝0时判定为未异常越界，f′＝1时表示异常越界。
可以理解的是，异常预警边界可以是纵坐标为固定值的一条直线，也可以是横坐标标为固定值的一条直线，或者是二者的结合，为一矩形区域，其实现的越界判定的原理，与本发明实施例类似，在此不做赘述。
上述实施例中，通过比较行人当前坐标与预设预警线在相邻两帧间的位置变动，进行异常越界判定，异常越界判定算法具有简洁、快捷、易于理解、稳定性好的特点，采用该算法，提高对行人异常方向检测的速度和降低误判率。
可选地，还包括：S5，根据出现异常方向到异常越界的视频流中的视频帧数缓存视频流，或者根据预设视频缓存帧数缓存视频流；所述预设视频帧数根据存储空间容量设定；根据缓存的所述视频流对所述异常越界行人的运动轨迹进行回溯，得到所述异常越界行人回溯运动轨迹，并显示所述异常越界行人回溯运动轨迹。
可以理解的是，当根据出现异常方向到异常越界的视频流中的视频帧数进行视频缓存时，需要的存储空间较小，可以进一步节约存储空间。但存在对特定区域R外的越界行人的视频未缓存，从而无法回溯的问题。
根据存储空间的容量预设一定的缓存帧数，是视频监控领域的常用技术手段，该方案对视频进行缓存，不因异常方向判定结果而改变，能够实现对行人运动图像的完整缓存，但对存储空间的占用稍大。
采用上述进一步方案的有益效果是：通过对行人越界之前的运动轨迹进行回溯，更为直观、快捷地以给使用人员反馈更多的检测信息，进一步提高检测的效果。
进一步地，所述S5包括：将检测到异常行人越界的视频帧为单目跟踪器的初始帧，将多目标跟踪器检测到的所述异常行人的Bbox作为单目标跟踪器的初始Bbox；以所述异常行人出现异常方向到异常越界的频流中的视频帧数，或者以所述预设视频缓存帧数为缓存的视频帧数量；利用单目跟踪器检测出所述缓存的视频流中每一帧图像中所述异常行人的Bbox；确定所述缓存的视频流中每一帧图像中所述异常行人的Bbox的中心点，将相邻的所述中心点连起来，得到所述异常越界行人的回溯运动轨迹。
需要说明的是，单目标追踪算法是本领域常用的算法。任何能够实现视频序列单目标追踪的算法均可用于本发明。
可以理解的是，对越界行人在特定区域R内的运动轨迹，因在之前的多目标运动轨迹跟踪中已经获取，可通过直接调用多目标运动轨迹跟踪结果，并对特定区域R外的运动轨迹，采取单目标追踪算法的方式实现，将两种轨迹回溯的方式相结合，可以进一步提高轨迹回溯的速度，减少轨迹回溯的资源消耗。
此外，根据需要，可利用预设可区分颜色，可以是紫色，对回溯运动轨迹进行标识。
在上述实施例中，单目标追踪算法追踪的对像是缓存图像序列，运用该方法可以实现对整幅监控区域内的越界行人的运动轨迹进行回溯，可以得到更为完整的轨迹。
本发明还提供一种行人异常行为检测系统，包括：初始化模块，用于在监控场景内标定特定区域R和预设人流方向NorD；多目标跟踪模块，用于获取所述监控场景的实时视频流，在所述特定区域R中进行每个行人的运动轨迹提取；方向失量计算模块，用于计算所述特定区域R中每个行人运动轨迹的方向矢量；方向异常判定模块，用于根据所述运动轨迹的方向矢量和预设人流方向NorD进行运动轨迹方向异常判定，将方向异常的运动轨迹对应的行人标定为异常行人。
在上述实施例中，通过预设行人流方向，用简便的算法对行人运行方向自动进行异常判定，能够对行人异常行为的主动判定、自动判定，节约了人力成本，提高的检测速度，起到了更好的检测效果。
本发明实施例还提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使所述计算机执行上述的行人异常行为检测方法。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的行人异常行为检测方法。
以下，结合对大街行人运动轨迹进行检测，给出利用本实施例提供的一种行人异常行为检测方法的检测效果示意图。
经多目标跟踪算法和运动方向异常判定后的效果图示意如图2所示，可以看出特定区域内的正常行走行人用白色框标识，目标区域内行人逆向行走的，用第一预设颜色框标识，对未在目标区域内的行人不进行跟踪，可以提高处理的效率。
对越界行人进行检测的效果图如图3所示，可以看出，第二预设颜色框标识的为越界行人，正跨越预警线。
对越界行人进行回溯的效果图如图4所示，可以看出，黑色的曲线为行人的运动轨迹，通过采用单目标跟踪算法对整幅图像进行回溯，可以实现对目标区域外的行人轨迹进行回溯。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种行人异常行为检测方法，其特征在于，包括以下步骤：
S1，在监控场景内标定特定区域R和预设人流方向NorD；
S2，获取所述监控场景的实时视频流，在所述特定区域R中进行每个行人的运动轨迹跟踪；
S3，计算所述特定区域R中每个行人运动轨迹的方向矢量，根据所述运动轨迹的方向矢量和预设人流方向NorD进行运动轨迹方向异常判定，将方向异常的运动轨迹对应的行人标定为异常行人。
2.根据权利要求1所述的一种行人异常行为检测方法，其特征在于，所述S2包括：
通过多目标跟踪器将当前帧检测出来的所有Bbox和前一帧检测出来的所有Bbox逐一作两两匹配，匹配到的Bbox为其分配同一个ID，表示其为同一个物体，匹配不上的Bbox，表示其为一个新出现的物体；
其中，Bbox是一个4维向量(u,v,w,h)，用于表示一个矩形框；其中(u,v)是矩形中心点坐标，w是矩形框的宽度，h是矩形框的高度，单位为像素；所述矩形框用于标注感兴趣的目标物体在图像中的具体位置。
3.根据权利要求1所述的一种行人异常行为检测方法，其特征在于，所述S3包括：
S3.1，根据如下公式确定行人运动轨迹的方向矢量，
其中，表示行人i在第t帧的方向；Pi t表示行人i在第t帧时在二维图像上的位置；Pi t-N表示行人i在第t-N帧时在二维图像上的位置；所述N为小于t的正整数,根据行人速度和监控帧频进行预设；
S3.2，将所述行人运动轨迹的方向矢量与所述预设人流方向NorD点乘，当点乘结果大于或等于0时，判定为方向正常，当点乘结果小于0时，判定为方向异常；
S3.3，利用第一预设颜色的矩形框对方向异常行人进行标定。
4.根据权利要求1至3任一项所述的一种行人异常行为检测方法，其特征在于，还包括：
S4，在所述特定区域R中标定异常预警边界；根据所述异常预警边界对所述异常行人进行异常越界判定，将异常越界的所述异常行人标定为异常越界行人，利用第二预设颜色的矩形框对异常越界行人进行标定。
5.根据权利要求4所述的一种行人异常行为检测方法，其特征在于，所述异常预警边界为纵坐标为固定值gatey的一条直线；所述S4包括：
根据如下公式进行异常越界判定：
其中，表示异常行人i在t帧上的y坐标，gatey表示异常预警边界的y坐标，表示异常行人i在t-1帧上的y坐标，当f′＝0时判定为异常越界，f′＝1时表示未异常越界。
6.根据权利要求5所述的一种行人异常行为检测方法，其特征在于，还包括：
S5，根据出现异常方向到异常越界的视频流中的视频帧数缓存视频流，或者根据预设视频缓存帧数缓存视频流；所述预设视频帧数根据存储空间容量设定；
根据缓存的所述视频流对所述异常越界行人的运动轨迹进行回溯，得到所述异常越界行人回溯运动轨迹，并显示所述异常越界行人回溯运动轨迹。
7.根据权利要求6所述的一种行人异常行为检测方法，其特征在于，所述S5包括：
将检测到异常行人越界的视频帧为单目跟踪器的初始帧，将多目标跟踪器检测到的所述异常行人的Bbox作为单目标跟踪器的初始Bbox；
以所述异常行人出现异常方向到异常越界的频流中的视频帧数，或者以所述预设视频缓存帧数为缓存的视频帧数量；
利用单目跟踪器检测出所述缓存的视频流中每一帧图像中所述异常行人的Bbox；
确定所述缓存的视频流中每一帧图像中所述异常行人的Bbox的中心点，将相邻的所述中心点连起来，得到所述异常越界行人的回溯运动轨迹。
8.一种行人异常行为检测系统，其特征在于，包括：
初始化模块，用于在监控场景内标定特定区域R和预设人流方向NorD；
多目标跟踪模块，用于获取所述监控场景的实时视频流，在所述特定区域R中进行每个行人的运动轨迹提取；
方向失量计算模块，用于计算所述特定区域R中每个行人运动轨迹的方向矢量；
方向异常判定模块，用于根据所述运动轨迹的方向矢量和预设人流方向NorD进行运动轨迹方向异常判定，将方向异常的运动轨迹对应的行人标定为异常行人。
9.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机上运行时，使所述计算机执行根据权利要求1-7任一项所述的行人异常行为检测方法。
10.一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的行人异常行为检测方法。
CN201910767559.XA 2019-08-20 2019-08-20 一种行人异常行为检测方法、系统、存储介质及计算机设备 Pending CN110598570A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910767559.XA CN110598570A (zh) 2019-08-20 2019-08-20 一种行人异常行为检测方法、系统、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910767559.XA CN110598570A (zh) 2019-08-20 2019-08-20 一种行人异常行为检测方法、系统、存储介质及计算机设备

Publications (1)

Publication Number Publication Date
CN110598570A true CN110598570A (zh) 2019-12-20

Family

ID=68855023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910767559.XA Pending CN110598570A (zh) 2019-08-20 2019-08-20 一种行人异常行为检测方法、系统、存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN110598570A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553291A (zh) * 2020-04-30 2020-08-18 北京爱笔科技有限公司 行人轨迹的生成方法、装置、设备及计算机存储介质
CN111680610A (zh) * 2020-06-03 2020-09-18 合肥中科类脑智能技术有限公司 一种施工场景异常监测方法和装置
CN113112528A (zh) * 2021-04-26 2021-07-13 中南财经政法大学 异常行为监控方法、装置、设备及存储介质
CN117079397A (zh) * 2023-09-27 2023-11-17 青海民族大学 一种基于视频监控的野外人兽安全预警方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008191157A (ja) * 2008-02-04 2008-08-21 Toshio Tsukishiro ナビゲーション装置
WO2009039367A1 (en) * 2007-09-21 2009-03-26 Playdata Systems, Inc. Object location and movement detection system and method
CN102324016A (zh) * 2011-05-27 2012-01-18 郝红卫 一种高密度人群流量统计方法
CN103116959A (zh) * 2013-01-25 2013-05-22 上海博超科技有限公司 一种智能视频中异常行为的分析识别方法
CN105678811A (zh) * 2016-02-25 2016-06-15 上海大学 一种基于运动检测的人体异常行为检测方法
CN106652465A (zh) * 2016-11-15 2017-05-10 成都通甲优博科技有限责任公司 一种道路异常驾驶行为的识别方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009039367A1 (en) * 2007-09-21 2009-03-26 Playdata Systems, Inc. Object location and movement detection system and method
JP2008191157A (ja) * 2008-02-04 2008-08-21 Toshio Tsukishiro ナビゲーション装置
CN102324016A (zh) * 2011-05-27 2012-01-18 郝红卫 一种高密度人群流量统计方法
CN103116959A (zh) * 2013-01-25 2013-05-22 上海博超科技有限公司 一种智能视频中异常行为的分析识别方法
CN105678811A (zh) * 2016-02-25 2016-06-15 上海大学 一种基于运动检测的人体异常行为检测方法
CN106652465A (zh) * 2016-11-15 2017-05-10 成都通甲优博科技有限责任公司 一种道路异常驾驶行为的识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YULIYING: "Unity 点乘（Dot）、叉乘（Cross）判断移动方向、朝向等向量问题", pages 1 - 3, Retrieved from the Internet <URL:《https://blog.csdn.net/yuliying/article/details/52319599?locationNum=1&fps=1》> *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553291A (zh) * 2020-04-30 2020-08-18 北京爱笔科技有限公司 行人轨迹的生成方法、装置、设备及计算机存储介质
CN111553291B (zh) * 2020-04-30 2023-10-17 北京爱笔科技有限公司 行人轨迹的生成方法、装置、设备及计算机存储介质
CN111680610A (zh) * 2020-06-03 2020-09-18 合肥中科类脑智能技术有限公司 一种施工场景异常监测方法和装置
CN113112528A (zh) * 2021-04-26 2021-07-13 中南财经政法大学 异常行为监控方法、装置、设备及存储介质
CN117079397A (zh) * 2023-09-27 2023-11-17 青海民族大学 一种基于视频监控的野外人兽安全预警方法
CN117079397B (zh) * 2023-09-27 2024-03-26 青海民族大学 一种基于视频监控的野外人兽安全预警方法

Similar Documents

Publication Publication Date Title
Wen et al. Detection, tracking, and counting meets drones in crowds: A benchmark
CN110598570A (zh) 一种行人异常行为检测方法、系统、存储介质及计算机设备
Fernandez-Sanjurjo et al. Real-time visual detection and tracking system for traffic monitoring
US10185877B2 (en) Systems, processes and devices for occlusion detection for video-based object tracking
US9990546B2 (en) Method and apparatus for determining target region in video frame for target acquisition
US9767570B2 (en) Systems and methods for computer vision background estimation using foreground-aware statistical models
Yun et al. Scene conditional background update for moving object detection in a moving camera
US7822275B2 (en) Method for detecting water regions in video
WO2019031083A1 (en) METHOD AND SYSTEM FOR ACTION DETECTION
US10970823B2 (en) System and method for detecting motion anomalies in video
CN102708571B (zh) 视频中剧烈运动的检测方法及其装置
Fradi et al. Low level crowd analysis using frame-wise normalized feature for people counting
Zhang et al. Robust multi-object tracking via cross-domain contextual information for sports video analysis
KR20120025718A (ko) 이상행위 검출장치 및 방법
KR20130121202A (ko) 영상에서의 객체 추적 방법, 장치 및 이를 컴퓨터 상에서 수행하는 프로그램이 기록된 기록 매체
Zhang et al. Moving vehicles segmentation based on Bayesian framework for Gaussian motion model
CN105046719B (zh) 一种视频监控方法及系统
Lan et al. Real-time automatic obstacle detection method for traffic surveillance in urban traffic
CN107610393A (zh) 一种办公室智能监控系统
CN102760230A (zh) 一种基于多维时域特征的火焰检测方法
CN108961293B (zh) 一种背景减除的方法、装置、设备及存储介质
Hossain et al. Fast-D: When non-smoothing color feature meets moving object detection in real-time
Zhao et al. APPOS: An adaptive partial occlusion segmentation method for multiple vehicles tracking
Zhang et al. Learning target-aware background-suppressed correlation filters with dual regression for real-time UAV tracking
CN109658441B (zh) 基于深度信息的前景检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191220

RJ01 Rejection of invention patent application after publication