CN112434564B - 公交车内异常聚集行为的检测系统 - Google Patents

公交车内异常聚集行为的检测系统 Download PDF

Info

Publication number
CN112434564B
CN112434564B CN202011218705.2A CN202011218705A CN112434564B CN 112434564 B CN112434564 B CN 112434564B CN 202011218705 A CN202011218705 A CN 202011218705A CN 112434564 B CN112434564 B CN 112434564B
Authority
CN
China
Prior art keywords
bus
video
aggregation
module
carriage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011218705.2A
Other languages
English (en)
Other versions
CN112434564A (zh
Inventor
何忠贺
费玉婧楠
王力
王玉泉
刘世达
修伟杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Technology
Original Assignee
North China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Technology filed Critical North China University of Technology
Priority to CN202011218705.2A priority Critical patent/CN112434564B/zh
Publication of CN112434564A publication Critical patent/CN112434564A/zh
Application granted granted Critical
Publication of CN112434564B publication Critical patent/CN112434564B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明涉及公交车内异常聚集行为的检测系统，包括视频采集模块、视频分析模块、异常判断模块和异常报警模块；所述视频采集模块采集公交车内视频数据，并对视频数据预处理，对公交车内部空间进行建模；所述视频分析模块对公交车内视频中的人头进行编码标识；所述异常判断模块计算异常判断指标，并根据异常判断指标计算综合权重,进一步判断是否异常；如果判断异常所述异常报警模块则进行报警；所述视频采集模块与视频分析模块电连接，所述视频分析模块与异常判断模块电连接，所述异常判断模块与异常报警模块电连接。针对公交车内的检测算法缺乏考虑公交车实际背景的问题，它切实考虑公交车内的实际场景，准确地判断异常聚集的行为。

Description

公交车内异常聚集行为的检测系统
技术领域
本发明涉及公交车内异常聚集行为的检测系统。
背景技术
近年来，国家通过大力倡导绿色交通，使得公共出行成为很多市民的首选方式。公交车作为最普遍的绿色出行方式，在便捷的同时也具有客流流动性大、密度高、人群复杂等特点，是群体事件的高发场景。同时，因其相对封闭且没有其他安全监控手段的问题，使得群体事件发生的危险程度更加突出。
在传统研究中，仅重视将监控视频用于司机上下车调度或者对有犯罪行为人的位置跟踪。而乘客的异常行为一直没有得到广泛关注。公交车内由于其群体性影响强的特性，异常聚集行为的检测可预防重大暴力事件、踩踏事件发生。如果及时发现人群中的危险，就能够及时进行突发性群体事件的预警，保障更多人的生命安全。因此，对公交车内异常聚集行为进行检测并预警具有重要的实际意义。
目前公交车内的异常行为检测方面的研究存在一定的局限性。首先，传统处理主要依赖于人力进行后期的追踪和分析,缺乏对监控场景实时分析与识别，不具备对发生的异常事件提供警示的功能；其次，在现有公交车内使用的检测算法并未考虑公交车实际背景，而是大多使用以公共动作数据集训练的算法模型，且没有考虑公交车内部的封闭结构特点，其实际效果并不能得到很好的保证。
综上所述，对公交车内异常聚集行为检测的研究在其实际应用方面，还需要切实的考虑公交车内实际场景进行方法的设计。
发明内容
、发明要解决的技术问题
针对现有技术中公交车内的检测算法缺乏考虑公交车实际背景的技术问题，本发明提供了公交车内异常聚集行为的检测系统，它切实考虑公交车内的实际场景，准确地判断异常聚集的行为。
、技术方案
一种公交车内异常聚集行为的检测系统包括视频采集模块、视频分析模块、异常判断模块和异常报警模块；所述视频采集模块采集公交车内视频数据，并对视频数据预处理，对公交车内部空间进行建模；所述视频分析模块对公交车内视频中的人头进行编码标识；所述异常判断模块计算异常判断指标，并根据异常判断指标计算综合权重,进一步判断是否异常；如果判断异常所述异常报警模块则进行报警；所述视频采集模块与视频分析模块电连接，所述视频分析模块与异常判断模块电连接，所述异常判断模块与异常报警模块电连接。
优选地，所述视频采集模块获取公交车内的视频段，并对获取的视频段进行视频帧图像预处理，将视频帧图像转化为数据集；并对S2中的视频帧图像进行仿射变换处理，对公交车内部结构进行建模，并将公交车内部空间分为车厢前部、尾部、左侧和右侧四个空间；所述视频分析模块运用yolov5-s算法对S2中的数据集进行人头目标检测算法训练，对视频段中的人头进行编码标识；所述异常判断模块设定公交车具有两个运动状态：两站间的行驶状态和到站停靠上下车状态；所述异常判断模块还设定公交车两个运动状态的时间值：公交车处于两站间的行驶状态时间为t1，公交车处于到站停靠上下车状态时间为t2；所述异常判断模块计算处于t1时间的公交车内部不同空间和处于t2时间的公交车内部不同空间的人群平均动能、人群运动方向熵、人群个体间距离势能及个体平均加速度四个运动特性指标；所述异常判断模块根据公交车内部空间的划分以及公交车的运动状态，设定可调整的时间阈值；所述异常判断模块根据所述四个运动特性指标计算综合权重，并进行异常聚集的潜在聚集集合评判；当所述异常判断模块判定有异常聚集的潜在聚集集合时，触发异常报警模块进行语音提示；若S9中的异常聚集的潜在聚集集合的持续时间超过所述可调整的时间阈值，触发异常报警模块亮红灯并进行语音提示，异常报警模块同时上传异常视频段和危险信号至云端平台与交通安全部门进行实时信息传输。
优选地，所述视频采集模块对所述视频帧图像预处理时，采用Mosaic数据增强、随机缩放、随机裁剪、随机排布的方式进行拼接。
优选地，所述人头编码标识包括人头编码ID、位置信息和时间信息，所述位置信息利用yolov5算法得到。
优选地，所述视频采集模块采用红外发射热图成像对公交车空间信息进行建模，并利用3dmax进行车厢的结构建模，并在其中对于座椅等设施的位置进行标定。
优选地，所述公交车内部空间定义为：公交车前门至后门位置处设定为车厢前部，公交车后门至最后一排座位处为车厢尾部，公交车左侧垂直扶手栏杆至左侧窗户为车厢左侧，公交车右侧垂直扶手栏杆至右侧窗户为车厢右侧。
优选地，异常判断模块根据所述设定的时间值，提取当前人头实时位置、时间和人头编码ID的信息数据；计算当前人头实时位置之间的距离；设定人头聚集距离的等级，并设定不同等级的人头聚集距离阈值；根据所述当前人头实时位置之间的距离和所述人头聚集距离阈值，将当前的人头实时位置数据划分为多个人头位置集合；各人头位置集合的位置处于公交车车厢的前部、尾部、左侧和右侧的区域分布；设定人头位置集合的人员聚集数量阈值；筛选各个集合的人员个数大于人员聚集数量阈值的潜在人员聚集集合；根据筛选的潜在人员聚集集合的空间位置信息和时间信息，匹配不同条件情况下的阈值进行进一步的潜在人员聚集集合的筛选；计算筛选的人员聚集集合的人群平均动能、人群运动方向熵、人群中个体间距离势能及个体平均加速度四个运动特性指标的综合权重进行异常聚集的潜在聚集集合评判。
优选地，所述设定的人员聚集数量阈值定义为：当公交车处于两站间的行驶状态时：车厢前部人员聚集数量阈值为5人，车厢后部人员聚集数量阈值为4人，车厢左侧和右侧人员聚集数量阈值各为3人；当公交车处于到站停靠上下车状态时：车厢前部人员聚集数量阈值为8人，车厢后部人员聚集数量阈值为6人，车厢左侧和右侧人员聚集数量阈值各为5人。
优选地，所述人群平均动能为人群运动能量之和与人群数量之比，所述人群运动能量之和通过计算感兴趣区域内的光流能量来表示；所述人群运动方向熵包括光流矢量方向直方图、方向概率分布图以及方向熵，所述人群运动方向熵越大表示人群运动方向的混乱程度越大；所述人群个体间距离势能反映群体两两个体之间的分散程度，若距离势能突增或突减，说明有异常情况发生的可能性；所述个体平均加速度反映人群运动的激烈程度，数值越高，异常性越大。
、有益效果
采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：
本发明提出的公交车内异常聚集行为的检测方法及其装置，它切实考虑公交车内的实际场景，准确地判断异常聚集的行为。
附图说明
图1为本发明的公交车内异常聚集行为的检测方法逻辑流程框图；
图2为本发明的公交车内异常聚集行为的检测系统结构图。
具体实施方式
为进一步了解本发明的内容，结合附图1及实施例对本发明作详细描述。
结合附图1，本发明提出的公交车内异常聚集行为的检测方法包括以下步骤：
S1：在公交车内的多个位置布置拍摄视频的红外摄像头；
S2：利用S1中公交车内的红外摄像头，获取公交车内的视频段，并对获取的视频段进行视频帧图像预处理，将视频帧图像转化为数据集；
S3：对S2中的视频帧图像进行仿射变换处理，对公交车内部结构进行建模，并将公交车内部空间分为车厢前部、尾部、左侧和右侧四个空间；
S4：运用yolov5-s算法对S2中的数据集进行人头目标检测算法训练，对视频段中的人头进行编码标识；
S5：公交车具有两个运动状态，即两站间的行驶状态和到站停靠上下车状态，设定公交车两个运动状态的时间值，设定公交车处于两站间的行驶状态时间为t1，公交车处于到站停靠上下车状态时间为t2；
S6：根据S3、S4和S5的结果，计算处于t1时间的公交车内部不同空间和处于t2时间的公交车内部不同空间的人群平均动能、人群运动方向熵、人群个体间距离势能及个体平均加速度四个运动特性指标；
S7：根据公交车内部空间的划分以及公交车的运动状态，设定可调整的时间阈值；
S8：根据S6中的四个运动特性指标计算综合权重a，并进行异常聚集的潜在聚集集合评判；
S9：当判定有异常聚集的潜在聚集集合时，触发提示信息至公交司机处的信息平台，亮黄灯并进行语音提示，若判定无异常聚集的潜在聚集集合时，继续从S2开始执行；
S10：若S9中的异常聚集的潜在聚集集合的持续时间超过S7设定的可调整的时间阈值，亮红灯并进行语音提示，同时上传异常视频段和危险信号至云端平台与交通安全部门进行实时信息传输。
所述公交车内异常聚集行为的检测方法的检测步骤S3、S4和S5不分时间先后顺序。所述S3中采用红外发射热图成像对公交车空间信息进行建模，并利用3dmax进行车厢的结构建模，并在其中对于座椅等设施的位置进行标定。对于S3中的公交车内部空间定义为：公交车前门至后门位置处设定为车厢前部，公交车后门至最后一排座位处为车厢尾部，公交车左侧垂直扶手栏杆至左侧窗户为车厢左侧，公交车右侧垂直扶手栏杆至右侧窗户为车厢右侧。S3中对视频帧数据进行仿射变换处理，进行人头位置和车厢空间结构的实际距离位置的映射转化。
所述S4中的人头编码标识包括人头编码ID、位置信息和时间信息，所述位置信息利用yolov5-s算法得到。
在算法中设定好异常聚集阈值，对S8中的综合权重a进行异常聚集的潜在聚集集合评判时，判断综合权重a与一场聚集阈值的大小，若判断a大于设定的异常聚集阈值，则判断当前公交车内有异常聚集的潜在聚集；若判断a小于设定的异常聚集阈值，则判断当前公交车内无异常聚集的潜在聚集。
进一步地，将视频摄像头拍摄得到的每一帧图像进行预处理，解决图像因为环境或者拍摄方位角度等原因引起的图像模糊、变形等问题。所述S2中的每一帧图像进行预处理时，采用Mosaic数据增强、随机缩放、随机裁剪、随机排布的方式进行拼接实现对于小目标的精确识别。
进一步地，所述S4中对人头目标检测算法训练，最后训练得到pytorch模型；需要将所述人头目标检测算法嵌入进xavier NX算法板中，所述xavier NX算法板安装在公交车内，将所述pytorch模型部署到xavier NX上需要进行模型转换，转换步骤为：
S41：将pytoch模型转换为ONNX模型；
S42：将S41中的ONNX模型转换为tensorRT模型；
S43：利用C++调用S42中的tensroRT模型；
S44：将S43中的C++嵌入进xavier NX算法板中。
进一步地，对于所述S8中的异常聚集行为判定，具体步骤为：
S81：根据S5设定的时间值，从S4中提取当前人头实时位置、时间和人头编码ID的信息数据；
S82：计算S81中当前人头实时位置之间的距离；
S83：设定人头聚集距离的等级，并设定不同等级的人头聚集距离阈值；
S84：根据S82和S83的值对比，将当前的人头实时位置数据划分为多个人头位置集合；
S85：确定S84中的各人头位置集合的位置处于公交车车厢的前部、尾部、左侧和右侧的区域分布；
S86：设定人头位置集合的人员聚集数量阈值；
S87：筛选S85的各个集合的人员个数大于S86的人员聚集数量阈值的潜在人员聚集集合；
S88：根据S87筛选的潜在人员聚集集合的空间位置信息和时间信息，匹配不同条件情况下的阈值进行进一步的潜在人员聚集集合的筛选；
S89：计算S88中筛选的人员聚集集合的人群平均动能、人群运动方向熵、人群中个体间距离势能及个体平均加速度四个运动特性指标的综合权重进行异常聚集的潜在聚集集合评判。
进一步地，所述S86中设定的人员聚集数量阈值定义为：
当公交车处于两站间的行驶状态时：车厢前部人员聚集数量阈值为5人，车厢后部人员聚集数量阈值为4人，车厢左侧和右侧人员聚集数量阈值各为3人；
当公交车处于到站停靠上下车状态时：车厢前部人员聚集数量阈值为8人，车厢后部人员聚集数量阈值为6人，车厢左侧和右侧人员聚集数量阈值各为5人。
进一步地，所述S6或S89中的人群平均动能为人群运动能量之和与人群数量之比，所述人群运动能量之和通过计算感兴趣区域内的光流能量来表示，人群平均动能反映群体运动速度的快慢程度以及剧烈程度。所述S6或S89中的人群运动方向熵包括光流矢量方向直方图、方向概率分布图以及方向熵，所述人群运动方向熵越大表示人群运动方向的混乱程度越大。在公交车内，当公交车处于两站间的行驶状态时，人群运动方向熵多数处于稳定数值，表示人群处于同方向的移动或者不移动；当公交车处于到站停靠上下车状态时，人群运动方向熵处于浮动的数值，表示人群运动集中向前门和后门处流入或者流出。
所述S6或S89中的人群个体间距离势能反映群体两两个体之间的分散程度，结合yolov5-s算法得到的人头位置信息进行计算。若人群个体间距离势能突增或突减，说明有异常情况发生的可能性。所述S6或S89中个体平均加速度反映人群运动的激烈程度，数值越高，异常性越大。
结合附图2，本发明提出的公交车内异常聚集行为的检测系统，包括视频采集模块、视频分析模块、异常判断模块和异常报警模块，所述视频采集模块与视频分析模块电连接，所述视频分析模块与异常判断模块电连接，所述异常判断模块与异常报警模块电连接。
视频采集模块采集公交车内视频数据，并对视频数据预处理，对公交车内部空间进行建模。视频采集模块获取公交车内的视频段，并对获取的视频段进行视频帧图像预处理，将视频帧图像转化为数据集；并对S2中的视频帧图像进行仿射变换处理，对公交车内部结构进行建模，并将公交车内部空间分为车厢前部、尾部、左侧和右侧四个空间；视频采集模块对视频帧图像预处理时，采用Mosaic数据增强、随机缩放、随机裁剪、随机排布的方式进行拼接。视频采集模块采用红外发射热图成像对公交车空间信息进行建模，并利用3dmax进行车厢的结构建模，并在其中对于座椅等设施的位置进行标定。公交车内部空间定义为：公交车前门至后门位置处设定为车厢前部，公交车后门至最后一排座位处为车厢尾部，公交车左侧垂直扶手栏杆至左侧窗户为车厢左侧，公交车右侧垂直扶手栏杆至右侧窗户为车厢右侧。
视频分析模块对公交车内视频中的人头进行编码标识，视频分析模块运用yolov5-s算法对S2中的数据集进行人头目标检测算法训练，对视频段中的人头进行编码标识；人头编码标识包括人头编码ID、位置信息和时间信息，所述位置信息利用yolov5算法得到；
异常判断模块计算异常判断指标，并根据异常判断指标计算综合权重,进一步判断是否异常；如果判断异常所述异常报警模块则进行报警。异常判断模块设定公交车具有两个运动状态：两站间的行驶状态和到站停靠上下车状态；所述异常判断模块还设定公交车两个运动状态的时间值：公交车处于两站间的行驶状态时间为t1，公交车处于到站停靠上下车状态时间为t2；所述异常判断模块计算处于t1时间的公交车内部不同空间和处于t2时间的公交车内部不同空间的人群平均动能、人群运动方向熵、人群个体间距离势能及个体平均加速度四个运动特性指标；所述异常判断模块根据公交车内部空间的划分以及公交车的运动状态，设定可调整的时间阈值；所述异常判断模块根据所述四个运动特性指标计算综合权重，并进行异常聚集的潜在聚集集合评判；当所述异常判断模块判定有异常聚集的潜在聚集集合时，触发异常报警模块进行语音提示；若S9中的异常聚集的潜在聚集集合的持续时间超过所述可调整的时间阈值，触发异常报警模块亮红灯并进行语音提示，异常报警模块同时上传异常视频段和危险信号至云端平台与交通安全部门进行实时信息传输。
异常判断模块根据所述设定的时间值，提取当前人头实时位置、时间和人头编码ID的信息数据；计算当前人头实时位置之间的距离；设定人头聚集距离的等级，并设定不同等级的人头聚集距离阈值；根据所述当前人头实时位置之间的距离和所述人头聚集距离阈值，将当前的人头实时位置数据划分为多个人头位置集合；各人头位置集合的位置处于公交车车厢的前部、尾部、左侧和右侧的区域分布；设定人头位置集合的人员聚集数量阈值；筛选各个集合的人员个数大于人员聚集数量阈值的潜在人员聚集集合；根据筛选的潜在人员聚集集合的空间位置信息和时间信息，匹配不同条件情况下的阈值进行进一步的潜在人员聚集集合的筛选；计算筛选的人员聚集集合的人群平均动能、人群运动方向熵、人群中个体间距离势能及个体平均加速度四个运动特性指标的综合权重进行异常聚集的潜在聚集集合评判。
设定的人员聚集数量阈值定义为：当公交车处于两站间的行驶状态时：车厢前部人员聚集数量阈值为5人，车厢后部人员聚集数量阈值为4人，车厢左侧和右侧人员聚集数量阈值各为3人；当公交车处于到站停靠上下车状态时：车厢前部人员聚集数量阈值为8人，车厢后部人员聚集数量阈值为6人，车厢左侧和右侧人员聚集数量阈值各为5人。
人群平均动能为人群运动能量之和与人群数量之比，所述人群运动能量之和通过计算感兴趣区域内的光流能量来表示；所述人群运动方向熵包括光流矢量方向直方图、方向概率分布图以及方向熵，所述人群运动方向熵越大表示人群运动方向的混乱程度越大；所述人群个体间距离势能反映群体两两个体之间的分散程度，若距离势能突增或突减，说明有异常情况发生的可能性；所述个体平均加速度反映人群运动的激烈程度，数值越高，异常性越大。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (7)

1.一种公交车内异常聚集行为的检测系统，其特征在于，包括视频采集模块、视频分析模块、异常判断模块和异常报警模块；
所述视频采集模块采集公交车内视频数据，并对视频数据预处理，对公交车内部空间进行建模；
所述视频分析模块对公交车内视频中的人头进行编码标识；
所述异常判断模块计算异常判断指标，并根据异常判断指标计算综合权重,进一步判断是否异常；
如果判断异常所述异常报警模块则进行报警；
所述视频采集模块与视频分析模块电连接，所述视频分析模块与异常判断模块电连接，所述异常判断模块与异常报警模块电连接；
所述视频采集模块获取公交车内的视频段，并对获取的视频段进行视频帧图像预处理，将视频帧图像转化为数据集；并对S2中的视频帧图像进行仿射变换处理，对公交车内部结构进行建模，并将公交车内部空间分为车厢前部、尾部、左侧和右侧四个空间；
所述视频分析模块运用yolov5-s算法对S2中的数据集进行人头目标检测算法训练，对视频段中的人头进行编码标识；
所述异常判断模块设定公交车具有两个运动状态：两站间的行驶状态和到站停靠上下车状态；所述异常判断模块还设定公交车两个运动状态的时间值：公交车处于两站间的行驶状态时间为t1，公交车处于到站停靠上下车状态时间为t2；所述异常判断模块计算处于t1时间的公交车内部不同空间和处于t2时间的公交车内部不同空间的人群平均动能、人群运动方向熵、人群个体间距离势能及个体平均加速度四个运动特性指标；所述异常判断模块根据公交车内部空间的划分以及公交车的运动状态，设定可调整的时间阈值；所述异常判断模块根据所述四个运动特性指标计算综合权重，并进行异常聚集的潜在聚集集合评判；
当所述异常判断模块判定有异常聚集的潜在聚集集合时，触发异常报警模块进行语音提示；若S9中的异常聚集的潜在聚集集合的持续时间超过所述可调整的时间阈值，触发异常报警模块亮红灯并进行语音提示，异常报警模块同时上传异常视频段和危险信号至云端平台与交通安全部门进行实时信息传输；
异常判断模块根据所述设定的时间值，提取当前人头实时位置、时间和人头编码ID的信息数据；计算当前人头实时位置之间的距离；设定人头聚集距离的等级，并设定不同等级的人头聚集距离阈值；根据所述当前人头实时位置之间的距离和所述人头聚集距离阈值，将当前的人头实时位置数据划分为多个人头位置集合；各人头位置集合的位置处于公交车车厢的前部、尾部、左侧和右侧的区域分布；设定人头位置集合的人员聚集数量阈值；筛选各个集合的人员个数大于人员聚集数量阈值的潜在人员聚集集合；根据筛选的潜在人员聚集集合的空间位置信息和时间信息，匹配不同条件情况下的阈值进行进一步的潜在人员聚集集合的筛选；计算筛选的人员聚集集合的人群平均动能、人群运动方向熵、人群中个体间距离势能及个体平均加速度四个运动特性指标的综合权重进行异常聚集的潜在聚集集合评判。
2.根据权利要求1所述的公交车内异常聚集行为的检测系统，其特征在于，所述视频采集模块对所述视频帧图像预处理时，采用Mosaic数据增强、随机缩放、随机裁剪、随机排布的方式进行拼接。
3.根据权利要求1所述的公交车内异常聚集行为的检测系统，其特征在于，所述人头编码标识包括人头编码ID、位置信息和时间信息，所述位置信息利用yolov5-s算法得到。
4.根据权利要求1所述的公交车内异常聚集行为的检测系统，其特征在于，所述视频采集模块采用红外发射热图成像对公交车空间信息进行建模，并利用3dmax进行车厢的结构建模，并在其中对于座椅设施的位置进行标定。
5.根据权利要求1所述的公交车内异常聚集行为的检测系统，其特征在于，所述公交车内部空间定义为：公交车前门至后门位置处设定为车厢前部，公交车后门至最后一排座位处为车厢尾部，公交车左侧垂直扶手栏杆至左侧窗户为车厢左侧，公交车右侧垂直扶手栏杆至右侧窗户为车厢右侧。
6.根据权利要求1所述的公交车内异常聚集行为的检测系统，其特征在于，所述设定的人员聚集数量阈值定义为：
当公交车处于两站间的行驶状态时：车厢前部人员聚集数量阈值为5人，车厢后部人员聚集数量阈值为4人，车厢左侧和右侧人员聚集数量阈值各为3人；
当公交车处于到站停靠上下车状态时：车厢前部人员聚集数量阈值为8人，车厢后部人员聚集数量阈值为6人，车厢左侧和右侧人员聚集数量阈值各为5人。
7.根据权利要求1所述的公交车内异常聚集行为的检测系统，其特征在于，所述人群平均动能为人群运动能量之和与人群数量之比，所述人群运动能量之和通过计算感兴趣区域内的光流能量来表示；
所述人群运动方向熵包括光流矢量方向直方图、方向概率分布图以及方向熵，所述人群运动方向熵越大表示人群运动方向的混乱程度越大；
所述人群个体间距离势能反映群体两两个体之间的分散程度，若距离势能突增或突减，说明有异常情况发生的可能性；
所述个体平均加速度反映人群运动的激烈程度，数值越高，异常性越大。
CN202011218705.2A 2020-11-04 2020-11-04 公交车内异常聚集行为的检测系统 Active CN112434564B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011218705.2A CN112434564B (zh) 2020-11-04 2020-11-04 公交车内异常聚集行为的检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011218705.2A CN112434564B (zh) 2020-11-04 2020-11-04 公交车内异常聚集行为的检测系统

Publications (2)

Publication Number Publication Date
CN112434564A CN112434564A (zh) 2021-03-02
CN112434564B true CN112434564B (zh) 2023-06-27

Family

ID=74695349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011218705.2A Active CN112434564B (zh) 2020-11-04 2020-11-04 公交车内异常聚集行为的检测系统

Country Status (1)

Country Link
CN (1) CN112434564B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065500A (zh) * 2021-04-15 2021-07-02 电子科技大学 面向一类特殊动作的异常行为管控系统
CN113159166A (zh) * 2021-04-19 2021-07-23 国网山东省电力公司威海供电公司 基于边缘计算的嵌入式图像识别检测方法、系统、介质及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10311402A (ja) * 1997-05-07 1998-11-24 Daikin Ind Ltd 無段変速機
CN106846801A (zh) * 2017-02-06 2017-06-13 安徽新华博信息技术股份有限公司 一种基于车辆轨迹的区域徘徊异常行为检测方法
CN108257385A (zh) * 2018-03-19 2018-07-06 北京工业大学 一种基于公共交通的异常事件的甄别方法
CN109919134A (zh) * 2019-03-25 2019-06-21 王奕然 一种基于视觉的运营车辆人员异常行为检测方法
CN110853272A (zh) * 2019-09-29 2020-02-28 五邑大学 公交车安全监测方法、装置、设备及存储介质
WO2020092635A1 (en) * 2018-10-30 2020-05-07 Frazzoli Emilio Redundancy in autonomous vehicles
CN111325872A (zh) * 2020-01-21 2020-06-23 和智信(山东)大数据科技有限公司 基于计算机视觉的司机驾驶异常检测设备及检测方法
CN111753651A (zh) * 2020-05-14 2020-10-09 南京熊猫电子股份有限公司 一种基于车站二维人群密度分析的地铁群体异常行为检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10296794B2 (en) * 2016-12-20 2019-05-21 Jayant Rtti On-demand artificial intelligence and roadway stewardship system
US20180350144A1 (en) * 2018-07-27 2018-12-06 Yogesh Rathod Generating, recording, simulating, displaying and sharing user related real world activities, actions, events, participations, transactions, status, experience, expressions, scenes, sharing, interactions with entities and associated plurality types of data in virtual world

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10311402A (ja) * 1997-05-07 1998-11-24 Daikin Ind Ltd 無段変速機
CN106846801A (zh) * 2017-02-06 2017-06-13 安徽新华博信息技术股份有限公司 一种基于车辆轨迹的区域徘徊异常行为检测方法
CN108257385A (zh) * 2018-03-19 2018-07-06 北京工业大学 一种基于公共交通的异常事件的甄别方法
WO2020092635A1 (en) * 2018-10-30 2020-05-07 Frazzoli Emilio Redundancy in autonomous vehicles
CN109919134A (zh) * 2019-03-25 2019-06-21 王奕然 一种基于视觉的运营车辆人员异常行为检测方法
CN110853272A (zh) * 2019-09-29 2020-02-28 五邑大学 公交车安全监测方法、装置、设备及存储介质
CN111325872A (zh) * 2020-01-21 2020-06-23 和智信(山东)大数据科技有限公司 基于计算机视觉的司机驾驶异常检测设备及检测方法
CN111753651A (zh) * 2020-05-14 2020-10-09 南京熊猫电子股份有限公司 一种基于车站二维人群密度分析的地铁群体异常行为检测方法

Also Published As

Publication number Publication date
CN112434564A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN109670404B (zh) 一种基于混合模型的道路积水图像检测预警方法
CN105809679B (zh) 一种基于视觉分析的山区铁路边坡落石检测方法
Jiansheng Vision-based real-time traffic accident detection
CN112434564B (zh) 公交车内异常聚集行为的检测系统
CN105799740A (zh) 一种基于物联网技术的轨道异物入侵自动检测与预警方法
CN112347906B (zh) 公交车内异常聚集行为的检测方法
CN103366506A (zh) 一种驾驶员行车途中接打手机行为的自动监控装置及方法
CN103456024B (zh) 一种运动目标越线判断方法
CN111046797A (zh) 一种基于人员和车辆行为分析的输油管线警戒方法
CN111523397B (zh) 一种智慧灯杆视觉识别装置、方法及其系统和电子设备
CN106529401A (zh) 一种车辆反跟踪方法、装置及系统
CN106570444A (zh) 基于行为识别的车载智能提醒方法及系统
CN113484858A (zh) 一种入侵检测方法和系统
CN110222596A (zh) 一种基于视觉的驾驶员行为分析防作弊方法
WO2023221425A1 (zh) 一种用于船舶过闸安全检测方法
CN109508659A (zh) 一种用于人行横道的人脸识别系统及方法
CN103152558B (zh) 基于场景识别的入侵检测方法
CN107103101A (zh) 一种建立交通意外高危人群信息库的方法及装置
CN111383248B (zh) 一种行人闯红灯判断方法、装置和电子设备
WO2020063866A1 (en) Traffic monitoring and evidence collection system
CN113706901B (zh) 高速公路隧道入口段事故智慧防控与预警系统
CN113870551B (zh) 一种能够鉴别危险和非危险驾驶行为的路侧监控系统
CN106372566A (zh) 一种基于数字标牌紧急疏散系统及方法
Al Jarouf et al. A hybrid method to detect and verify vehicle crash with haar-like features and svm over the web
CN111932889B (zh) 一种基于车路协同的交通疏导系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant