CN112242058B - 基于交通监控视频的目标异常检测方法、装置及存储介质 - Google Patents

基于交通监控视频的目标异常检测方法、装置及存储介质 Download PDF

Info

Publication number
CN112242058B
CN112242058B CN202010474988.0A CN202010474988A CN112242058B CN 112242058 B CN112242058 B CN 112242058B CN 202010474988 A CN202010474988 A CN 202010474988A CN 112242058 B CN112242058 B CN 112242058B
Authority
CN
China
Prior art keywords
target
suspected
speed
candidate
suspected collision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010474988.0A
Other languages
English (en)
Other versions
CN112242058A (zh
Inventor
黄荣军
孙鹏飞
原诚寅
阮鑫耀
刘清河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing National New Energy Vehicle Technology Innovation Center Co Ltd
Original Assignee
Beijing National New Energy Vehicle Technology Innovation Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing National New Energy Vehicle Technology Innovation Center Co Ltd filed Critical Beijing National New Energy Vehicle Technology Innovation Center Co Ltd
Priority to CN202010474988.0A priority Critical patent/CN112242058B/zh
Publication of CN112242058A publication Critical patent/CN112242058A/zh
Application granted granted Critical
Publication of CN112242058B publication Critical patent/CN112242058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules

Abstract

本发明涉及交通监控视频检测领域,具体涉及一种基于交通监控视频的目标异常检测方法、装置及存储介质,检测消失的运动目标确定候选目标ID;提取候选目标ID出现的最后图像帧中预设区域范围内的运动目标ID为疑似目标ID,通过疑似目标ID与候选目标ID当量线段的距离判定疑似碰撞事件;根据疑似碰撞事件中的疑似碰撞ID及候选目标ID对应的速度参数判定所述疑似碰撞事件是否为交通事故事件;本发明实施例结合交通事故学和计算机视觉技术,建立基于先验知识的规则模型,能够准确、快速的对交通事故进行识别,适用于各类交通参与者和不同的交通流状态;而且本发明实施例逻辑紧凑,运算量小,能够满足实时运行的要求。

Description

基于交通监控视频的目标异常检测方法、装置及存储介质
技术领域
本发明涉及交通监控视频检测领域,具体涉及一种基于交通监控视频的目标异常检测方法、装置及存储介质。
背景技术
随着智能交通系统的快速发展,基于计算机视觉技术和图像处理技术的交通事故检测系统的研究吸引了广泛的注意。造成交通事故发生的原因多种多样,由于车辆类型和事故严重程度的不同,交通事故发生的类型也具有很大差别。在不同的交通环境中,交通事故的发生一定伴随着物体间的碰撞等异常;当交通事故造成交通参与者之间的碰撞时,碰撞物体的行驶速度大小和方向会发生急剧变化;但正常交通情况下,物体改变方向也会发生行驶速度大小和方向的变化,故由于交通事故的严重程度不同,很难区分轻微交通事故和正常改变方向行为。
现在技术中有多种可以实现交通事故检测的方法,主要包括:一种是通过分析车辆运动轨迹判断是否发生交通事故,具体为:首先根据一系列车辆的运动轨迹进行轨迹聚类,将相似的运动行为分作一类;然后给同一类别的运动行为建立统一的行为模型;最后将实时获得的部分轨迹进行异常轨迹检测,若部分轨迹通过检测,可以根据概率得出车辆的驾驶行为;该方法计算量,且实时性及置信度低;另一种是通过监控交通流的异常变化判断是否发生交通事故。具体地,不考虑每一个单独车辆的行驶速度和行驶方向,不考虑车辆类型,也不用考虑运动目标是车辆还是行人,对全局交通流作一个宏观的数据统计,对交通流进行实时监控和分析,从而分析和理解交通事故对交通流的影响;此方法受限于不同的城市不同路段和每天的不同时间段里,交通流的各个基本参数数据都有着很大的差别。上述两种方法都存在各自的局限性,不能同时处理不同类型的交通参与者和交通流状态。
综上所述,由于交通环境的复杂性,目前提出的交通事故检测方法在实际应用中仍然存在交通参与者类型单一、交通流状态受限、系统实时性差等限制。现有技术的交通事故检测方法至少需要解决以下三个问题:一、处理不同的交通参与者;二、处理不同的交通流状态;三、实现实时运行。
发明内容
鉴于现有技术中存在的技术缺陷和技术弊端,本发明实施例提供克服上述问题或者至少部分地解决上述问题的一种基于交通监控视频的目标异常检测方法、装置及存储介质,保证对交通事故快速和精确地检测,且能够实现实时运行。
作为本发明实施例的一个方面,提供了一种基于交通监控视频的目标异常检测方法,所述方法包括:获取交通监控图像序列中运动目标的参数数据;所述参数数据包括目标ID、类别、位置、检测框、帧数;
检测消失的运动目标确定候选目标ID;
提取候选目标ID出现的最后图像帧中预设区域范围内的运动目标ID为疑似目标ID,通过疑似目标ID与候选目标ID当量线段的距离判定疑似碰撞事件;
根据疑似碰撞事件中的疑似碰撞ID及候选目标ID对应的速度参数判定所述疑似碰撞事件是否为交通事故事件。
进一步地,所述“检测消失的运动目标确定候选目标ID”方法包括:
获取由卡尔曼滤波算法得出的与第k图像帧相邻的第k+1图像帧的预测数据;
对比第k+1图像帧的预测数据与第k+1图像帧的参数数据,若参数数据中缺少目标ID,且消失的目标ID未在第k+n图像帧后出现,则将消失的目标ID确定为候选目标ID;和/或
所述“检测消失的运动目标确定候选目标ID”方法还包括:
通过消失的目标对应的检测框面积比值确定候选目标ID;
通过消失的目标在出现的最后图像帧中的位置及行驶方向确定候选目标ID。
进一步地,所述“通过疑似目标ID与候选目标ID当量线段的距离判定疑似碰撞事件”的方法包括:
设定运动目标的位置坐标点和速度方向的直线与候选目标ID对应的运动目标的检测框的交点所确定的线段为当量线段;
计算疑似目标ID与候选目标ID的当量线段之间的线段距离,获得最短线段距离;
当最短线段距离小于预算距离阈值时,判定为疑似碰撞事件,记录与最短线段距离对应的疑似目标ID为疑似碰撞目标ID。
进一步地,所述方法还包括:
遍历预设数量的图像帧,检测所述疑似碰撞目标ID是否出现;
当所述疑似碰撞目标ID出现,判定疑似碰撞目标ID对应的运动目标的位置变化是否不小于预设阈值,若是,则判定为未发生事故,若否,则记录累计数量;
当所述疑似碰撞目标ID未出现,或疑似碰撞目标ID对应的运动目标的检测框的位置变化小于预设阈值的累计数量达到设定阈值时,判定为疑似碰撞事件。
进一步地,所述方法还包括:
设定图像帧的水平方向为X方向,竖直方向为Y方向;
消除图像帧Y方向的畸变。
进一步地,所述“根据疑似碰撞事件中的疑似碰撞ID及候选目标ID对应的速度参数判定所述疑似碰撞事件是否为交通事故事件”的方法包括:
当候选目标ID对应的运动目标的速度大于第一速度阈值,疑似碰撞目标ID对应的运动目标的速度大于第二速度阈值;或疑似碰撞目标ID对应的运动目标的速度大于第一速度阈值,候选目标ID对应的运动目标的消畸变后的速度大于第三速度阈值时,判定为交通事故;
所述第一速度阈值大于第三速度阈值;所述第三速度阈值大于第二速度阈值。
进一步地,所述“根据疑似碰撞事件中的疑似碰撞ID及候选目标ID对应的速度参数判定所述疑似碰撞事件是否为交通事故事件”的方法还包括:
当候选目标ID对应的运动目标的速度不大于第一速度阈值且大于第四速度阈值,疑似碰撞目标ID对应的运动目标的速度大于第五速度阈值;或疑似碰撞目标ID对应的运动目标的速度小于第一速度阈值且大于第四速度阈值,候选目标ID对应的运动目标消畸变后的速度大于第五速度阈值时,则进行静止检测;
当判定疑似碰撞目标ID对应的运动目标处于静止状态时判定为交通事故;
所述第四速度阈值大于第三速度阈值,所述第五速度阈值小于第二速度阈值。
进一步地,所述方法还包括:
按照预设输出规则设定事故筛选机制,根据不同判定条件下输出的交通事故数量设定交通事故的输出规则。
作为本发明实施例的又一方面,提供了一种基于交通监控视频的目标异常检测装置,所述装置包括:
获取模块:用于获取交通监控图像序列中运动目标的参数数据;所述参数数据包括目标ID、类别、位置、检测框、帧数;
候选筛选模块:用于检测消失的运动目标确定候选目标ID;
疑似判定模块:用于提取候选目标ID出现的最后图像帧中预设区域范围内的运动目标ID为疑似目标ID,通过疑似目标ID与候选目标ID当量线段的距离判定疑似碰撞事件;
事故判定模块:用于根据疑似碰撞事件中的疑似碰撞ID及候选目标ID对应的速度参数判定所述疑似碰撞事件是否为交通事故事件。
作为本发明实施例的再一方面,提供了一种存储介质,所述存储介质中存储有如上述任意实施例所述的一种基于交通监控视频的目标异常检测方法。
本发明实施例至少实现了如下技术效果:
本发明实施例提供的基于交通监控视频的目标异常检测方法及装置,结合交通事故学和计算机视觉技术,建立基于先验知识的规则模型,能够准确、快速的对交通事故进行识别,适用于各类交通参与者和不同的交通流状态;而且本发明实施例逻辑紧凑,运算量小,能够满足实时运行的要求。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所记载的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明一实施例的目标异常检测方法流程图;
图2为本发明一实施例的目标异常检测方法具体流程示意图;
图3为本发明一实施例的目标异常检测装置示意图。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果,以下结合实施方式并配合附图予以说明。
附图和以下说明描述了本发明的可选实施方式以教导本领域技术人员如何实施和再现本发明。为了教导本发明技术方案,已简化或省略了一些常规方面。本领域技术人员应该理解源自这些实施方式的变型或替换将落在本发明的保护范围内。本领域技术人员应该理解下述特征能够以各种方式组合以形成本发明的多个变型。由此,本发明并不局限于下述可选实施方式,而仅由权利要求和它们的等同物限定。
在一个实施例中,提供了一种基于交通监控视频的目标异常检测方法,如图1所示,所述方法包括:
S11获取交通监控图像序列中运动目标的参数数据;所述参数数据包括目标ID、类别、位置、检测框、帧数;
S12检测消失的运动目标确定候选目标ID;
S13提取候选目标ID出现的最后图像帧中预设区域范围内的运动目标ID为疑似目标ID,通过疑似目标ID与候选目标ID当量线段的距离判定疑似碰撞事件;
S14根据疑似碰撞事件中的疑似碰撞ID及候选目标ID对应的速度参数判定所述疑似碰撞事件是否为交通事故事件。
在本实施例中,S11中获取的途径包括不同方式,例如可以有某存储数据库或服务器直接获取,也可以由检测跟踪模型的输出数据获得,当交通监控视频经过目标检索跟踪后,会分配给每个运动目标一个目标ID,该目标ID标识为对应物体的唯一标识,在检测和跟踪匹配精度足够的情况下,目标ID并不会无端消失,而发生事故时由于撞击后往往会导致目标的形态发生较大的改变,例如车头变形、车身凹陷、两轮车或三轮车解体等,从而导致检测到的原有物体的ID也发生变化,故在不考虑其他情况的前提下,只需对画面前后帧的参数数据的运动目标ID进行比对,找出是否有ID消失,即可推断出可能出现碰撞的情况。
本实施例检查消失的目标ID,并通过S12对消失目标进行筛选排除,例如可以利用现有的方法去除遮挡、驶离及驶远等其他情况;S13对同一图像帧中相近距离的运动目标的距离通过当量线段之间的距离进行表达,筛选出距离候选目标最近且小于设定距离的疑似碰撞事目标;再通过S14步骤进行速度滤波,到速度超过一定值中即可确定发生交通事故,通过本实施例能够准确的检测出交通事故事件的发生,而且本实施例方法计算量小,实时性,适用性广。
其中,优选地,本交通监控图像序列中的分辨率为1920*1080;优选地,预设区域范围可以是半径为R的圆形,也可以是其他形状,其中R值优选的范围为车长的2.0-3.5倍,车长可以通过对应的检测框宽度获得。所述目标的类别可以包括行人、骑自行车人、骑三轮车人、轿车、运动型实用汽车、客车、货车中的一项或多项;其中:运动型实用汽车指SUV;也可以根据需求对目标类型进行调整。
在一个实施例中,所述S12方法还可以包括:
获取由卡尔曼滤波算法得出的与第k图像帧相邻的第k+1图像帧的预测数据;
对比第k+1图像帧的预测数据与第k+1图像帧的参数数据,若参数数据中缺少目标ID,且消失的目标ID未在第k+n图像帧后出现,则将消失的目标ID确定为候选目标ID;
在本实施例中,消失的运动目标是指在卡尔曼滤波后的消失,即当图像序列中出现第k图像帧后面的第k+1图像帧中某一目标ID消失,而通过卡尔曼滤波算法输出的第k+1图像帧的预测数据中该目标ID仍然是存在的并且以其消失前的运动方向和速度进行移动,直到若干帧后(第k+n图像帧)目标ID仍未在画面中出现,则确定目标ID消失;若有目标ID消失,则记录消失对象的目标ID、类别、消失时的视频帧数、消失时的位置和体积(检测框)。
通过本实施例方法可以过滤遮挡、驶离等情况,当检测跟踪模型为根据卡尔曼滤波算法确定运动目标时,只需直接读取检测跟踪模型的输出文档,即可获得上述信息,运算速度简便、快速;其中,之前的目标检测跟踪模型的方法可以包括:基于YOLOv3网络对图像帧中运动目标进行分类及定位,确定图像帧的图像目标结果;利用卡尔曼滤波算法计算下一时刻的图像帧预测量;评价同一时刻图像帧预测量与图像目标结果的重叠度;通过匈牙利算法实现运动目标的分配,输出图像帧的目标跟踪器。其中,卡尔曼滤波是一种利用线性系统状态方程,通过系统的输入状态向量和输出观测数据,对系统状态进行最优估计的算法;其在测量方差已知的情况下能够从一系列存在测量噪声的数据中,实现系统状态的最优估计。当目标检测跟踪方法建立了基于线性运动模型的卡尔曼预测模型,通过卡尔曼滤波算法对目标跟踪器或图像目标结果进行图像帧下一时刻的状态预测;状态参量包括目标的位置参量、速度参量、加速度参量以及检测框的尺寸参量、尺寸变化参量;将所述状态参量组成状态向量,前一帧和当前帧的目标检测结果组成量测向量,以高斯白噪声为系统噪声和量测噪声,组建卡尔曼滤波方程组,预测状态向量下一时刻图的值为在下一时刻图像帧预测量。
在一个实施例中,所述“检测消失的运动目标确定候选目标ID”方法还包括:
通过消失的目标对应的检测框面积比值确定候选目标ID;
通过消失的目标在出现的最后图像帧中的位置及行驶方向确定候选目标ID。
在本实施例中,进一步对驶离画面和驶远的消失对象进行滤除:其中,根据所得到的消失的目标对应的类别获得所述类别对应的预设检测框比值阈值,再计算消失的目标的检测框比值,判断消失的目标的检测框比值是否小于检测框比值阈值,若是,则为驶远,排除该消失的目标;若否,则输入下一步骤;检测框比值为目标首次出现的画面中检测框的面积与消失时检测框面积的比值,其可以根据不同目标类别进行设定,例如可以设置在2.0-3.5之间。根据所得到的消失的目标在消失前最后图像帧的位置及行驶方向判断是否驶离;具体地,判断消失前一帧物体的位置是否在画面边缘且行驶方向为远离画面行驶,若是,则为驶离画面,排除该消失的目标;若否,则输入下一步骤。若消失对象被判断为以上两种情况,表示是正常情况下的目标ID消失,并未发生事故;若不是,则继续进行下面的过程。
在一个实施例中,所述S13的方法包括:
设定运动目标的位置坐标点和速度方向的直线与候选目标ID对应的运动目标的检测框的交点所确定的线段为当量线段;
计算疑似目标ID与候选目标ID的当量线段之间的线段距离,获得最短线段距离;
当最短线段距离小于预算距离阈值时,判定为疑似碰撞事件,记录与最短线段距离对应的疑似目标ID为疑似碰撞目标ID。
在本实施例中,在明确运动目标的范围的情况,获取范围内的所有目标ID(包括疑似目标及候选目标),其中预设区域范围可以是以候选目标在出现的最后帧中的位置(检测框的中心点)坐标为圆心,以R为半径的圆形区域,也可以是以候选目标在出现的最后帧中的位置坐标为中心点的其他形状区域;对该区域内的每个ID画出表示其位置和速度矢量的当量线段,其中,当量线段为以目标位置中心点和速度方向的直线与消失对象框的交点所确定的线段,计算每个当量线段和候选目标ID的当量线段之间的线段距离,并对比线段距离中的最短线段距离;并记录下最短线段距离的目标对象,将标记该目标对象;然后,判断该最小线段距离是否小于设定的距离阈值,若是,记为疑似碰撞事件,目标对象为疑似碰撞目标;若否,则认为无事故发生。其中距离阈值可以根据候选目标的当量线段来确定,例如设定范围为(0.4-0.6)*候选目标的当量线段长度。
在一个实施例中,所述方法还包括:
遍历预设数量的图像帧,检测所述疑似碰撞目标ID是否出现;
当所述疑似碰撞目标ID出现,判定疑似碰撞目标ID对应的运动目标的位置变化是否不小于预设阈值,若是,则判定为未发生事故,若否,则记录累计数量;
当所述疑似碰撞目标ID未出现,或疑似碰撞目标ID对应的运动目标的检测框的位置变化小于预设阈值的累计数量达到设定阈值时,判定为疑似碰撞事件。
在本实施例中,对疑似碰撞进行了再次的确认,进一步提升了输出结果的准确性;对于疑似碰撞目标进行检查,判断在后视频图像帧中是否出现疑似碰撞目标;若是,通过出现时刻与消失前时刻对应的图像帧中的疑似碰撞目标的位置变化是否有较大的变动,如是,则认为未发生事故;若否,则记录累计数量;若检测结束后,其位置变动小于设定阈值;或者疑似碰撞目标ID一直都未出现,那么就认为是可能发生了事故。
其中,预设数量的图像帧为在消失前一时刻对应视频帧之后预设数量的图像帧;预设数量可以根据路段等不同情况设置,例如设为10-25帧;位置变化是否不小于预设阈值或者说较大的变动可以通过检测框的位置变化确定,例如:检测框位置变化的长度是否大于检测框宽度的设定倍数,例如0.5-1.0倍,优选0.7倍;具体地方案可以是:遍历消失时刻后的11帧图像,当第n帧图像与消失前一时刻图像中目标检测框为位置变化的长度大于检测框宽度的0.7倍时,判定事故未发生,当位置变化的长度小于检测框宽度的0.7倍时,记录累计1次变动较小,当11帧检测结束后,其位置变动均小于宽度的0.7倍,或者小于设定数量(例如3次)小于宽度的0.7倍;或者一直都未出现该ID时,则在确认判定为疑似碰撞事件。
在一个实施例中,所述方法还包括:
设定图像帧的水平方向为X方向,竖直方向为Y方向;
消除图像帧Y方向的畸变。
在摄像头的视野下,畸变画面中的距离和现实场景中的距离是存在较大偏差的,越靠近摄像头,物体就越大,相应的距离就越大,但其实现实生活中物体大小并未发生变化,这就是由于视角原因所造成的畸变。由于画面远处物体较小,检测物体效果不佳,而近处画面中X方向的畸变较小,从而影响到速度的准确性。本实施例通过消除图像帧Y方向的畸变,保证计算速度的准确性;本实施中的去畸变算法可以使用业界通用的算法。
在一个实施例例中,所述S14的方法包括:
当候选目标ID对应的运动目标的速度大于第一速度阈值,疑似碰撞目标ID对应的运动目标的速度大于第二速度阈值;或疑似碰撞目标ID对应的运动目标的速度大于第一速度阈值,候选目标ID对应的运动目标的消畸变后的速度大于第三速度阈值时,判定为交通事故;
所述第一速度阈值大于第三速度阈值;所述第三速度阈值大于第二速度阈值。
本实施例步骤为针对高速进行的速度滤波,由于发生事故的对象,往往具备高速的特征,本实施例对可能发生事故的对象进行速度滤波,滤除较低速度下的可能对象。本实施例直接利用高速来筛选,其中第一速度阈值、第二速度阈值、第三速度阈值可以分别以250-350pixel/s、80-120pixel/s、65-75%第一速度阈值,具体地可以设置为300pixel/s、100pixel/s、210pixel/s。
在本实施例中,所述S14的方法还包括:
当候选目标ID对应的运动目标的速度不大于第一速度阈值且大于第四速度阈值,疑似碰撞目标ID对应的运动目标的速度大于第五速度阈值;或疑似碰撞目标ID对应的运动目标的速度小于第一速度阈值且大于第四速度阈值,候选目标ID对应的运动目标消畸变后的速度大于第五速度阈值时,则进行静止检测;
当判定疑似碰撞目标ID对应的运动目标处于静止状态时判定为交通事故;
所述第四速度阈值大于第三速度阈值,所述第五速度阈值小于第二速度阈值。
在本实施例中的速度滤波是针对速度并不足够高但是碰撞后检测到物体静止不动来筛选。其中第一速度阈值、第二速度阈值、第三速度阈值、第四速度阈值、第五速度阈值可以分别以250-350pixel/s、80-120pixel/s、65-75%第一速度阈值、75-85%第一速度阈值、75-85%第二速度阈值,具体地可以设置为300pixel/s、100pixel/s、210pixel/s、240pixel/s、80pixel/s。
当满足上述条件时,速度滤波步骤判定疑似交通事故,再通过静止检测进一步判断。将本实施例速度滤波后的事故对象作为输入,如果疑似碰撞目标在确定为可能是碰撞后保持静止不动,并在之后若干帧内出现并且一直保持静止,那么就认为是发生事故。
在本实施例中,所述方法还包括:
按照预设输出规则设定事故筛选机制,根据不同判定条件下输出的交通事故数量设定交通事故的输出规则。
在本实施例中,将高速速度滤波和静止检测这两个实施例方法检测出的疑似碰撞事故作为输入。根据上述实施例的判定一个事故只会满足其中一种判定,也可能都不满足,不过这两种方法找出的事故是可以互补的。但是,考虑到两种方法输出的置信度并不相同,例如高速速度滤波方法检测精确,能够准确找出事故对象,而静止检测方法对于该事故检测结果中可能会包括多个对象,为了保证输出结果的准确度,本实施例设置了事故筛选机制,使事故输出数目尽量少而准确。其预设规则可以根据不同环境不同需要进行设定,例如:若两者中有一者为0,则直接全部输出另一者;若均不为0,且两者相加数目不多于6个,则全部输出;如均不为0,且两者相加数目大于6个,只输出高速速度滤波的结果。本实施例方法避免了常规的将两者合并输出,确保最终事故输出结果具有较高的精确度。
在一个实施例中,如附图2所述,具体步骤包括:
S21获取图像序列的参数数据;
S22依次对比相邻图像帧的目标ID;
S23判断目标ID是否消失,若是,则转至24,若否,则转至214;
S24判断目标ID是否驶离画面或驶远,若是,则转至214;若否,则确定疑似目标,转至25;
S25确定候选目标预设区域范围内的疑似目标;
S26计算候选目标与疑似目标当量向量的最短距离;
S27判断最短距离是否小于距离阈值,若是,则确定为疑似碰撞,转至28,若否,则转至214
S28判断后续图像帧中是否包括疑似碰撞目标,若是,则转自S29;若是,则转自S210;
S29判断疑似碰撞目标是否移动超过一定范围,若是,则转自S214;若是,则转自S210;
S210消除图像帧的Y轴畸变;
S211高速速度筛选和/或结合次高速速度筛选与静止检测;
S212事故筛选;
S213输出交通事故对象;
S214无事故输出。
基于同一发明构思,本发明实施例还提供了一种基于交通监控视频的目标异常检测装置,由于本实施一种基于交通监控视频的目标异常检测装置所解决问题的原理与前述实施例的一种基于交通监控视频的目标异常检测方法相似,因此一种基于交通监控视频的目标异常检测装置的实施可以参见前述一种基于交通监控视频的目标异常检测方法的实施例,重复之处不再赘述。
本发明实施例提供了一种基于交通监控视频的目标异常检测装置,如图3所示,所述装置包括:
获取模块11:用于获取交通监控图像序列中运动目标的参数数据;所述参数数据包括目标ID、类别、位置、检测框、帧数;
候选筛选模块12:用于检测消失的运动目标确定候选目标ID;
疑似判定模块13:用于提取候选目标ID出现的最后图像帧中预设区域范围内的运动目标ID为疑似目标ID,通过疑似目标ID与候选目标ID当量线段的距离判定疑似碰撞事件;
事故判定模块14:用于根据疑似碰撞事件中的疑似碰撞ID及候选目标ID对应的速度参数判定所述疑似碰撞事件是否为交通事故事件。
在本实施例中,通过获取模块11、候选筛选模块12、疑似判定模块13及事故判定模块14按照事故发生的逻辑搭建;针对各个模块提出了相应的异常对象的筛选规则。实现快速、准确的检测目标异常,并输出交通事故。
基于同一发明构思,本发明实施例还提供了存储介质,由于本实施存储介质所解决问题的原理与前述实施例的一种基于交通监控视频的目标异常检测方法相似,因此存储介质的实施可以参见前述一种基于交通监控视频的目标异常检测方法的实施例,重复之处不再赘述。
本发明实施例提供了一种存储介质,所述存储介质中存储有如上述任一项实施例所述的一种基于交通监控视频的目标异常检测方法。
本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于交通监控视频的目标异常检测方法,其特征在于,所述方法包括:
获取交通监控图像序列中运动目标的参数数据;所述参数数据包括目标ID、类别、位置、检测框、帧数;
检测消失的运动目标确定候选目标ID;
提取候选目标ID出现的最后图像帧中预设区域范围内的运动目标ID为疑似目标ID,通过疑似目标ID与候选目标ID当量线段的距离判定疑似碰撞事件;
根据疑似碰撞事件中的疑似碰撞目标ID及候选目标ID对应的速度参数判定所述疑似碰撞事件是否为交通事故事件
其中,所述“检测消失的运动目标确定候选目标ID”方法包括:
获取由卡尔曼滤波算法得出的与第k图像帧相邻的第k+1图像帧的预测数据;
对比第k+1图像帧的预测数据与第k+1图像帧的参数数据,若参数数据中缺少目标ID,且消失的目标ID未在第k+n图像帧后出现,则将消失的目标ID确定为候选目标ID;和/或
所述“检测消失的运动目标确定候选目标ID”方法还包括:
通过消失的目标对应的检测框面积比值确定候选目标ID,其中,检测框面积比值为目标首次出现的画面中检测框的面积与消失时检测框面积的比值;
通过消失的目标在出现的最后图像帧中的位置及行驶方向确定候选目标ID;
其中,所述“通过疑似目标ID与候选目标ID当量线段的距离判定疑似碰撞事件”的方法包括:
设定运动目标的位置坐标点和速度方向的直线与候选目标ID对应的运动目标的检测框的交点所确定的线段为当量线段;
计算疑似目标ID与候选目标ID的当量线段之间的线段距离,获得最短线段距离;
当最短线段距离小于预算距离阈值时,判定为疑似碰撞事件,记录与最短线段距离对应的疑似目标ID为疑似碰撞目标ID。
2.如权利要求1所述的目标异常检测方法,其特征在于,所述方法还包括:
遍历预设数量的图像帧,检测所述疑似碰撞目标ID是否出现;
当所述疑似碰撞目标ID出现,判定疑似碰撞目标ID对应的运动目标的位置变化是否不小于预设阈值,若是,则判定为未发生事故,若否,则记录累计数量;
当所述疑似碰撞目标ID未出现,或疑似碰撞目标ID对应的运动目标的检测框的位置变化小于预设阈值的累计数量达到设定阈值时,判定为疑似碰撞事件。
3.如权利要求2所述的目标异常检测方法,其特征在于,所述方法还包括:设定图像帧的水平方向为X方向,竖直方向为Y方向;消除图像帧Y方向的畸变。
4.如权利要求3所述的目标异常检测方法,其特征在于,所述“根据疑似碰撞事件中的疑似碰撞目标ID及候选目标ID对应的速度参数判定所述疑似碰撞事件是否为交通事故事件”的方法包括:
当候选目标ID对应的运动目标的速度大于第一速度阈值,疑似碰撞目标ID对应的运动目标的速度大于第二速度阈值;或疑似碰撞目标ID对应的运动目标的速度大于第一速度阈值,候选目标ID对应的运动目标的消畸变后的速度大于第三速度阈值时,判定为交通事故;
所述第一速度阈值大于第三速度阈值;所述第三速度阈值大于第二速度阈值。
5.如权利要求4所述的目标异常检测方法,其特征在于,所述“根据疑似碰撞事件中的疑似碰撞目标ID及候选目标ID对应的速度参数判定所述疑似碰撞事件是否为交通事故事件”的方法还包括:
当候选目标ID对应的运动目标的速度不大于第一速度阈值且大于第四速度阈值,疑似碰撞目标ID对应的运动目标的速度大于第五速度阈值;或疑似碰撞目标ID对应的运动目标的速度小于第一速度阈值且大于第四速度阈值,候选目标ID对应的运动目标消畸变后的速度大于第五速度阈值时,则进行静止检测;
当判定疑似碰撞目标ID对应的运动目标处于静止状态时判定为交通事故;所述第四速度阈值大于第三速度阈值,所述第五速度阈值小于第二速度阈值。
6.如权利要求5所述的目标异常检测方法,其特征在于,所述方法还包括:按照预设输出规则设定事故筛选机制,根据不同判定条件下输出的交通事故数量设定交通事故的输出规则。
7.一种基于交通监控视频的目标异常检测装置,其特征在于,所述装置基于权利要求1-6任一项检测方法所设置,具体的包括:
获取模块:用于获取交通监控图像序列中运动目标的参数数据;所述参数数据包括目标ID、类别、位置、检测框、帧数;
候选筛选模块:用于检测消失的运动目标确定候选目标ID;
疑似判定模块:用于提取候选目标ID出现的最后图像帧中预设区域范围内的运动目标ID为疑似目标ID,通过疑似目标ID与候选目标ID当量线段的距离判定疑似碰撞事件;
事故判定模块:用于根据疑似碰撞事件中的疑似碰撞目标ID及候选目标ID对应的速度参数判定所述疑似碰撞事件是否为交通事故事件。
8.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一项所述的基于交通监控视频的目标异常检测方法。
CN202010474988.0A 2020-05-29 2020-05-29 基于交通监控视频的目标异常检测方法、装置及存储介质 Active CN112242058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010474988.0A CN112242058B (zh) 2020-05-29 2020-05-29 基于交通监控视频的目标异常检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010474988.0A CN112242058B (zh) 2020-05-29 2020-05-29 基于交通监控视频的目标异常检测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112242058A CN112242058A (zh) 2021-01-19
CN112242058B true CN112242058B (zh) 2022-04-26

Family

ID=74170416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010474988.0A Active CN112242058B (zh) 2020-05-29 2020-05-29 基于交通监控视频的目标异常检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112242058B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114023092B (zh) * 2021-11-11 2023-01-03 东风商用车有限公司 车辆碰撞事件确定方法、系统、设备及可读存储介质
CN113822234B (zh) * 2021-11-22 2022-04-22 成都星宇融科电力电子股份有限公司 基于车载热成像的目标检测预警分析方法、系统及终端
CN114202733A (zh) * 2022-02-18 2022-03-18 青岛海信网络科技股份有限公司 一种基于视频的交通故障检测方法及设备
CN117079219B (zh) * 2023-10-08 2024-01-09 山东车拖车网络科技有限公司 一种应用于拖车业务的车辆运行情况监控方法及设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202268075U (zh) * 2011-09-19 2012-06-06 王国伟 基于rfid的高速公路隧道交通异常事件自动检测系统
US9153077B2 (en) * 2012-11-30 2015-10-06 Intel Corporation Systems and methods for collecting vehicle evidence
CN103226891B (zh) * 2013-03-26 2015-05-06 中山大学 一种基于视频的车辆碰撞事故检测方法及系统
CN104867331B (zh) * 2015-05-06 2017-09-12 南京慧尔视智能科技有限公司 基于微波的交通事件检测方法及装置
US10210759B2 (en) * 2016-06-08 2019-02-19 Robin Hardie Stewart System and method for enabling an interoperable vehicle safety network using wireless communication
CN107293116B (zh) * 2017-06-27 2020-04-14 浙江浩腾电子科技股份有限公司 一种基于视频分析的交通事件检测系统
CN107972662B (zh) * 2017-10-16 2019-12-10 华南理工大学 一种基于深度学习的车辆前向碰撞预警方法

Also Published As

Publication number Publication date
CN112242058A (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN112242058B (zh) 基于交通监控视频的目标异常检测方法、装置及存储介质
Beymer et al. A real-time computer vision system for measuring traffic parameters
McCall et al. Lane change intent analysis using robust operators and sparse bayesian learning
CN112750150B (zh) 基于车辆检测和多目标跟踪的车流量统计方法
Punyavathi et al. Vehicle tracking and detection techniques using IoT
Song et al. Vehicle behavior analysis using target motion trajectories
Chen et al. Conflict analytics through the vehicle safety space in mixed traffic flows using UAV image sequences
CN111429484A (zh) 一种基于交通监控视频的多目标车辆轨迹实时构建方法
CN107886055A (zh) 一种用于车辆运动方向判定的逆行检测方法
CN112241969A (zh) 基于交通监控视频的目标检测跟踪方法、装置及存储介质
Ghahremannezhad et al. Real-time accident detection in traffic surveillance using deep learning
Yu et al. Traffic danger recognition with surveillance cameras without training data
CN112241974A (zh) 交通事故检测方法及处理方法、系统、存储介质
CN109766867A (zh) 车辆运行状态确定方法、装置、计算机设备和存储介质
CN105574502A (zh) 一种自助发卡机违章行为自动检测方法
Chand et al. Computer vision based accident detection for autonomous vehicles
Azimjonov et al. Vision-based vehicle tracking on highway traffic using bounding-box features to extract statistical information
Dhulavvagol et al. Vehical tracking and speed estimation of moving vehicles for traffic surveillance applications
Soh et al. Analysis of road image sequences for vehicle counting
CN112991769A (zh) 基于视频的交通量调查方法和装置
Munajat et al. Vehicle detection and tracking based on corner and lines adjacent detection features
Kanhere Vision-based detection, tracking and classification of vehicles using stable features with automatic camera calibration
CN113361299A (zh) 一种异常停车的检测方法、装置、存储介质及电子设备
Abdagic et al. Counting traffic using optical flow algorithm on video footage of a complex crossroad
CN110782485A (zh) 一种车辆变道检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100176 floor 10, building 1, zone 2, yard 9, Taihe 3rd Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Beijing National New Energy Vehicle Technology Innovation Center Co.,Ltd.

Address before: 100089 1705 100176, block a, building 1, No. 10, Ronghua Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant before: BEIJING NEW ENERGY VEHICLE TECHNOLOGY INNOVATION CENTER Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant