CN114581863A - 车辆危险状态识别方法及系统 - Google Patents

车辆危险状态识别方法及系统 Download PDF

Info

Publication number
CN114581863A
CN114581863A CN202210210846.2A CN202210210846A CN114581863A CN 114581863 A CN114581863 A CN 114581863A CN 202210210846 A CN202210210846 A CN 202210210846A CN 114581863 A CN114581863 A CN 114581863A
Authority
CN
China
Prior art keywords
vehicle
information
smoke
motion
carrying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210210846.2A
Other languages
English (en)
Inventor
何廷全
刘家庆
陆山风
俞山川
王少飞
李宗文
赖增伟
宋浪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Merchants Chongqing Communications Research and Design Institute Co Ltd
Guangxi Xinfazhan Communications Group Co Ltd
Original Assignee
China Merchants Chongqing Communications Research and Design Institute Co Ltd
Guangxi Xinfazhan Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Merchants Chongqing Communications Research and Design Institute Co Ltd, Guangxi Xinfazhan Communications Group Co Ltd filed Critical China Merchants Chongqing Communications Research and Design Institute Co Ltd
Priority to CN202210210846.2A priority Critical patent/CN114581863A/zh
Publication of CN114581863A publication Critical patent/CN114581863A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车辆危险状态识别方法及系统，包括：对车辆进行姿态检测以及轨迹跟踪，得到车辆的位置信息；在车辆所处的车道环境下采集车辆的运动信息；以车辆的位置信息、运动信息以及车辆所处的车道环境为依据，判断车辆的异常驾驶行为；采集车辆图片信息，并对所述图片信息进行前景提取，得到烟雾动态信息；对烟雾动态信息进行烟雾检测，并对检测到的烟雾进行量化处理，得到烟雾浓度信息。还包括：确定车辆行驶状态信息，并通过将车辆行驶状态信息与正常行驶状态信息的最大阈值进行比对，识别车辆的碰撞行为。本发明能够对异常变道、起火、碰撞等在途车辆的危险状态进行精准识别，为公路交通安全预警、管控以及事故应急救援奠定了基础。

Description

车辆危险状态识别方法及系统
技术领域
本发明涉及车辆识别领域，具体涉及一种车辆危险状态识别方法及系统。
背景技术
伴随着物联网技术、人工智能、大数据分析技术的迅速发展，在线交通监测模式已经在各种道路中得到了很好的应用。
目前，由于隐私性等问题的考虑以及车联网、车路协同系统处于发展的起步阶段，现有的车辆危险状态识别方法在现阶段并不能对高速公路上的各种车辆进行准确识别。近年来，尽管利用基于路侧门架的交通感知设备以及监控设备来实现车辆危险状态的识别越来越普遍，但现有的危险状态识别方法依然存在着识别效果差，误识别情况多，识别效率低的问题，也就无法保证识别的可靠性。因此，亟需一种精准识别车辆危险状态的方法及系统。
发明内容
有鉴于此，本发明的目的是克服现有技术中的缺陷，提供车辆危险状态识别方法及系统，能够对异常变道、起火、碰撞等在途车辆的危险状态进行精准识别，为公路交通安全预警、管控以及事故应急救援奠定了基础。
本发明的车辆危险状态识别方法，包括如下步骤：
S1.对车辆进行姿态检测以及轨迹跟踪，得到车辆的位置信息；
S2.在车辆所处的车道环境下采集车辆的运动信息；所述运动信息包括速度以及加速度；
S3.以车辆的位置信息、运动信息以及车辆所处的车道环境为依据，判断车辆的异常驾驶行为；
S4.采集车辆图片信息，并对所述图片信息进行前景提取，得到烟雾动态信息；
S5.对烟雾动态信息进行烟雾检测，并对检测到的烟雾进行量化处理，得到烟雾浓度信息。
进一步，对车辆进行姿态检测以及轨迹跟踪，具体包括：
S11.对车辆的运动状态进行预测，得到车辆运动预测位置；
S12.对车辆的运动状态进行检测，得到车辆运动检测位置；
S13.计算所述预测位置与检测位置之间的马氏距离；
S14.判断所述马氏距离是否小于设定阈值，若是，则车辆的运动状态关联成功，并将所述预测位置作为车辆的位置；若否，则返回重复步骤S11-S14。
进一步，采用实例分割网络模型对车辆的位置信息、运动信息以及车辆所处的车道环境进行分析判断，得到车辆的异常驾驶行为；所述异常驾驶行为包括异常变道以及停车。
进一步，对所述图片信息进行前景提取，得到烟雾动态信息，具体包括：
采用光流法计算图片信息中烟雾的光流轨迹；
将所述光流轨迹与烟雾的边缘轮廓点进行对比分析，得到烟雾的运动区域。
进一步，对检测到的烟雾进行量化处理，得到烟雾浓度信息，具体包括：
对检测到的烟雾进行烟雾重构，得到重构后的烟雾信息；
对重构后的烟雾信息进行色彩特征空间转化处理，得到可量化的烟雾信息；
对可量化的烟雾信息进行量化处理，得到烟雾浓度信息。
进一步，还包括如下步骤：
S6.采集车辆的视频信息，并提取视频信息中的特征信息；
S7.基于所述视频信息进行碰撞区域预测分析，得到碰撞预测区域；
S8.对所述特征信息在时空上进行序列化建模，筛选出车辆行驶状态信息；
S9.判断车辆行驶状态信息对应的数值是否大于正常行驶状态信息的最大阈值，若是，则车辆发生了碰撞，若否，则车辆没有发生碰撞。
进一步，所述特征信息包括车辆坐标点数值、运动方向角、运动速度以及运动加速度；所述行驶状态信息包括速度、加速度以及轨迹突变。
一种车辆危险状态识别系统，包括轨迹跟踪单元、异常驾驶行为检测单元以及烟雾检测单元；
所述轨迹跟踪单元用于对车辆进行姿态检测以及轨迹跟踪，得到车辆的位置信息，并在车辆所处的车道环境下采集车辆的运动信息；
所述异常驾驶行为检测单元用于以车辆的位置信息、运动信息以及车辆所处的车道环境为依据，判断车辆的异常驾驶行为；
所述烟雾检测单元用于采集车辆图片信息，并对所述图片信息进行前景提取，得到烟雾动态信息；对烟雾动态信息进行烟雾检测，并对检测到的烟雾进行量化处理，得到烟雾浓度信息。
进一步，还包括碰撞检测单元；
所述碰撞检测单元用于采集车辆的视频信息，并提取视频信息中的特征信息；基于所述视频信息进行碰撞区域预测分析，得到碰撞预测区域；对所述特征信息在所述碰撞预测区域上进行序列化建模，筛选出车辆行驶状态信息；判断车辆行驶状态信息对应的数值是否大于正常行驶状态信息的最大阈值，若是，则车辆发生了碰撞，若否，则车辆没有发生碰撞。
进一步，所述特征信息包括车辆坐标点数值、运动方向角、运动速度以及运动加速度；所述行驶状态信息包括速度、加速度以及轨迹突变。
本发明的有益效果是：本发明公开的一种车辆危险状态识别方法及系统，通过综合分析车辆的位置、速度、加速度以及车道线的位置来判断车辆当前的驾驶行为，实现异常驾驶行为的检测，通过基于光流法改进的YOLOV5的烟雾区域识别及Marr-Hildreth烟雾运动信息识别，实现车辆着火烟雾检测，并基于八叉树精确划分型值点的碰撞检测算法实现对车辆的碰撞状态进行检测。本发明能够对异常变道、起火、碰撞等在途车辆的危险状态进行精准识别，技术成果提升明显，为高速公路交通安全预警、管控以及事故应急救援奠定了基础，现实意义显著。
附图说明
下面结合附图和实施例对本发明作进一步描述：
图1为本发明的方法流程示意图；
图2为本发明的车辆跟踪算法流程图；
图3为本发明的烟雾检测算法流程图；
图4为本发明的烟雾检测结果示意图；
图5为本发明的碰撞检测算法流程图；
图6为本发明的碰撞检测实例示意图。
具体实施方式
以下结合说明书附图对本发明做出进一步的说明，如图所示：
本发明的车辆危险状态识别方法，包括如下步骤：
S1.对车辆进行姿态检测以及轨迹跟踪，得到车辆的位置信息；
S2.在车辆所处的车道环境下采集车辆的运动信息；所述运动信息包括速度以及加速度；其中，通过相机采集车辆的图像信息，在相机规定的场景里，通过标定后的相机标定出车辆所处环境下的车道线，相机和雷达在标定后，能对车辆的速度、加速度进行检测；
S3.以车辆的位置信息、运动信息以及车辆所处的车道环境为依据，判断车辆的异常驾驶行为；
S4.采集车辆图片信息，并对所述图片信息进行前景提取，得到烟雾动态信息；
S5.对烟雾动态信息进行烟雾检测，并对检测到的烟雾进行量化处理，得到烟雾浓度信息。
本发明能够对异常变道、起火、碰撞等在途车辆的危险状态进行精准识别，技术成果提升明显且现实意义显著。同时，能更好地管理高速公路的车辆运行状态，为高速公路交通安全预警、管控以及事故应急救援奠定了基础。
本实施例中，对于危化品车、客车、货车以及小汽车等各种类型的车辆，可以采用递归的卡尔曼滤波和逐帧的数据关联进行车辆跟踪，如图2所示。也即是，首先基于深度学习的检测网络对车辆进行检测，再利用跟踪预测与数据关联的算法来实现物体追踪。其中，使用卡尔曼滤波原理对检测到的危化品运输车进行跟踪预测；对车辆进行姿态检测以及轨迹跟踪，具体包括：
S11.由于车辆行驶速度比较高，如果直接将上一帧的运动状态与下一帧的运动状态进行匹配，会使匹配结果可性度不高，因此需要对跟踪对象的运动状态进行预测，为此能在下一帧跟踪器车辆匹配中提供可靠的相似性度量依据，并且能为一些由于遮挡、光照等原因引起的车辆外观变化而导致没有识别出来的车辆提供预测的位置。
运用MS3D-Net算法进行车辆检测，得到了当前帧所有检测到的车辆，并记录所有车辆的边界框信息和速度信息，使用车辆运动状态参数来预测下一帧中每个车辆在图像中的位置。
使用8个参数
Figure BDA0003530906020000051
来进行运动状态的描述，其中(u,v)是bounding box的中心坐标，r是长宽比，h表示高度，其余四个变量表示对应的在图像坐标系中的速度信息。通过使用一个基于常量速度模型和线性观测模型的标准kalman滤波器进行车辆运动状态的预测，可以得到预测的结果为(u,v,r,h)；
S12.如果对视频中每一帧图像都进行全局车辆检测，再通过图像特征进行特征匹配，此过程计算用时巨大，资源浪费严重，实时性较差。并且，通过车辆运动状态估计获取动态车辆的状态信息，车辆运动状态估计实际上就是通过前后两帧点云实时获取动态车辆的位置、速度等信息。由于激光雷达传感器的量测数据存在测量噪声，直接使用激光雷达量测数据可能导致决策系统做出错误决策，影响最终系统输出的结果。所以为了从不完全、不精确的观测信息中提取尽可能多的全面地、可靠地信息，保证状态估计的精度，在不确定性动态系统中常用卡尔曼滤波算法进行状态参数的最优估计。
为了通过非线性模型实现动态车辆跟踪，使用扩展卡尔曼滤波(Extended KalmanFilter，EKF)进行状态估计。扩展卡尔曼滤波算法是将非线性函数以泰勒级数的形式表示，只保留一阶项部分，再利用卡尔曼滤波进行状态估计。通过采集目标车辆在若干相邻时刻的图像信息，并对若干车辆图像信息进行特征提取，实现对目标车辆的检测；
对每一个追踪车辆，记录自其上一次检测结果与追踪结果匹配之后的帧数ak，一旦一个车辆的检测结果与追踪结果正确关联之后，就将该参数设置为0。如果ak超过了设置的最大阈值Amax,则认为对该车辆的追踪过程已结束。
对于新目标车辆出现的判断则是：如果某次检测结果中某个目标车辆始终无法与已经存在的追踪器进行关联，那么则认为可能出现了新目标。如果连续的3-5帧中潜在的新的追踪器对目标位置的预测结果都能够与检测结果正确关联，那么则确认是出现了新的运动车辆；如果不能达到该要求，则认为是出现了“虚警”，需要删除该运动车辆；
S13.对已存在的运动车辆运动状态的Kalman预测结果与检测结果之间的马氏距离进行运行信息的关联，得到如下马氏距离
Figure BDA0003530906020000061
Figure BDA0003530906020000062
其中，dj表示第j个检测框的位置，yi表示第i个追踪器对车辆的预测位置，
Figure BDA0003530906020000063
表示检测位置与平均追踪位置之间的协方差矩阵。
S14.马氏距离通过计算检测位置和平均追踪位置之间的标准差将状态测量的不确定性进行了考虑。判断某次关联的马氏距离小于指定的阈值t，若是，则车辆的运动状态关联成功，并将所述预测位置作为车辆的位置；若否，则返回重复步骤S11-S14。
本实施例中，车辆的异常变道行为，在公路上是一种重大的交通隐患。对于此类不规范驾驶行为的监控，提出了异常变道检测方法。在该方法中，利用车辆识别跟踪的结果，对车辆进行姿态检测和轨迹跟踪。在相机规定的场景里，通过标定后的相机标定出对应的车道线，相机和雷达在标定后，能对车辆的速度、加速度进行检测。最后对车辆行为进行逻辑判断，预测车辆异常变道行为。
引入LaneNet模型的分支网络：实例分割网络，所述实例分割网络使用基于one-shot的方法做距离度量学习，将该方法集成在标准的前馈神经网络中，可用于实时处理。该分支网络训练后输出一个车道线像素点距离，基于归属同一车道的像素点距离近，不同车道线像素点距离远的基本思想，利用聚类损失函数聚类得到各条车道线。
采用实例分割网络模型对车辆的位置信息、运动信息以及车辆所处的车道环境进行分析判断，得到车辆的异常驾驶行为；所述异常驾驶行为包括异常变道以及停车。其中，实例分割网络模型不仅能够得到车道线像素，还能将不同的车道线实例区分开。
本实施例中，烟雾产生的环境复杂多变，烟雾特征容易受到周围环境的影响，给单帧图像的识别造成困难。在诸多烟雾特征中，动态特征最为明显，光流法通过分析连续视频帧间的联系可以快速、高效地框定动态区域检测动态特征。同时，通过提取视频中的动态区域，可以有效地减少静态区域的非烟雾图像的识别和错检，从而保证视频烟雾的检测准确和高效。
基于光流改进的YOLOv5的烟雾检测方法包括改进光流算法动态前景提取和YOLOv5网络检测两个部分：第一部分通过改进的光流算法对运动区域图像进行捕捉和分割，去除不符合烟雾动态特征的区域完成第一次筛选；第二部分对于处理好之后的视频帧通过YOLOv5模型对烟雾区域进行二次筛选，检测出视频帧中的烟雾。
对所述图片信息进行前景提取，得到烟雾动态信息，具体包括：
光流算法是一种基于像素点运算的算法，通过估算两帧图像之间变化捕捉运动像素点。光流算法适用的条件：1)亮度恒定，一个像素点随着时间变化其亮度值是恒定不变的；2)小运动，在很小的时间内不会引起运动目标的剧烈变化；3)空间一致性，相邻像素点运动一致。
假定t时刻空间中的一点(x,y)亮度值为I(x,y,t)，那么该点在一小段时间Δt内运动到新的位置(x+Δx,y+Δy)，新的亮度值为I(x+Δx,y+Δy,t+Δt)。由于该点在时间段Δt内其相邻运动像素点互相之间的亮度值不变，即
Figure BDA0003530906020000071
由于亮度恒定I(x,y,t)＝I(x+Δx,y+Δy,t+Δt)且图像运动微小，通过泰勒展开并忽略其二阶无穷小得约束方程式子如下：
IxU+IyV+It＝0
式中：U和V分别为光流沿X轴和Y轴的速度矢量；Ix和Iy分别为像素点(x,y)在t时刻的偏导数。通过光流轨迹和烟雾的边缘轮廓点可以判定烟雾的大致运动区域，从而有效地分离出动态前景以及静态背景。
由于烟雾的动态运动这一重要特征，可以将静态区域划定为非烟雾区域，从而完成烟雾的一次粗筛。将一次筛选框定的动态前景区域输入YOLOv5模型可以完成烟雾的二次筛选。
本实施例中，步骤S5中，运用改进的LiteFlowNet轻量卷积神经网络来估计图像序列的全局光流，提出一种新的Marr–Hildreth方法，将其融合进网络中，从全局流图中区分和消除烟火遮挡区域。
该网络在改进的LiteFlowNet的基础上，通过替换损失函数和去除多尺度的方式进行改进，并经过训练来推断遮挡区域后的近似烟雾光流，保证了室外复杂环境下烟雾检测的准确性。同时，考虑量化烟雾浓度提出一种基于上下文编码网络的烟雾浓度量化评价模块，从统计学角度出发，将不规则的RGB/HSV特征空间转化为特定的定量评价空间，将不规则烟雾运动特征的分布转化为量化的表现形式。如图3所示，首先通过监控摄像头获取烟雾图像，并对图像进行图像预处理，通过前景提取得到动态信息，然后利用Marr–Hildreth探测器检测出烟雾运动信息，经过上下文编码进行遮挡烟雾重构，结合上下文编码信息以及烟雾浓度量化评价模块对检测到的烟雾进行量化处理，得出图像中烟雾的浓度。通过上述方法，可以得到烟雾的检测结果，如图4所示。
本实施例中，车辆的危险状态还包括车辆是否发生碰撞，而车辆一旦发生碰撞，则会严重影响道路的运行安全与运行效率。本发明通过基于八叉树精确划分型值点的碰撞检测算法来实现对车辆的碰撞状态进行识别，如图5所示。具体包括下步骤：
S6.采集车辆的视频信息，并提取视频信息中的特征信息；所述视频信息即为视频流数据信息；通过视频提取信息框架从输入的视频流中提取特征信息；
S7.基于所述视频信息进行碰撞区域预测分析，得到碰撞预测区域；其中，通过八叉树空间算法确定可能出现碰撞的区域；
S8.对所述特征信息在时空上进行序列化建模，筛选出车辆行驶状态信息；其中，通过融入提取得到的特征信息在时空上进行序列化建模，筛选出速度、加速度、历史轨迹以及八叉树包围盒异常序列时段；
S9.判断车辆行驶状态信息对应的数值是否大于正常行驶状态信息的最大阈值，若是，则车辆发生了碰撞，若否，则车辆没有发生碰撞。其中，所述最大阈值可以根据实际工况进行设置，所述特征信息包括车辆坐标点数值、运动方向角、运动速度以及运动加速度；所述行驶状态信息包括速度、加速度以及轨迹突变。通过上述方法来识别车辆的碰撞状态，碰撞检测的实例如图6所示。
本发明还涉及了一种车辆危险状态识别系统，所述系统与上述车辆危险状态识别方法相对应，可理解为是实现上述方法的系统，所述系统包括轨迹跟踪单元、异常驾驶行为检测单元以及烟雾检测单元；具体地：
所述轨迹跟踪单元用于对车辆进行姿态检测以及轨迹跟踪，得到车辆的位置信息，并在车辆所处的车道环境下采集车辆的运动信息；
所述异常驾驶行为检测单元用于以车辆的位置信息、运动信息以及车辆所处的车道环境为依据，判断车辆的异常驾驶行为；
所述烟雾检测单元用于采集车辆图片信息，并对所述图片信息进行前景提取，得到烟雾动态信息；对烟雾动态信息进行烟雾检测，并对检测到的烟雾进行量化处理，得到烟雾浓度信息。
所述车辆危险状态识别系统还包括碰撞检测单元；
所述碰撞检测单元用于采集车辆的视频信息，并提取视频信息中的特征信息；基于所述视频信息进行碰撞区域预测分析，得到碰撞预测区域；对所述特征信息在所述碰撞预测区域上进行序列化建模，筛选出车辆行驶状态信息；判断车辆行驶状态信息对应的数值是否大于正常行驶状态信息的最大阈值，若是，则车辆发生了碰撞，若否，则车辆没有发生碰撞。
本实施例中，所述特征信息包括车辆坐标点数值、运动方向角、运动速度以及运动加速度；所述行驶状态信息包括速度、加速度以及轨迹突变。
需要说明的是，上述车辆危险状态识别系统是基于外场硬件模块以及软件模块来实现的。所述软件包括若干程序段或代码；所述程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。所述外场硬件模块包括枪机抓拍单元、激光雷达、流媒体服务器、工业交换机、频闪补光灯、测试工控机、业务服务器、显卡、视频终端服务器以及PC工作站；其中所述枪机抓拍单元包括若干摄像头；所述枪机抓拍单元能实现正向、反向以及侧向等多个方向或角度的抓拍。所述PC工作站包括主机以及显示器。
通过使用外场硬件模块实现硬件部署框架，所述硬件部署框架包括监控前端、信息中心以及监控室。所述监控前端包括若干个单目相机、配置相应的补光设备、激光雷达与相应的工业以太网交换机相连，通过运营网络将实时数据传输至信息中心的服务平台。信息中心包括服务器及接收由运营网络传输数据的交换机。所述监控室将服务器处理后的结果显示在预警平台。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种车辆危险状态识别方法，其特征在于：包括如下步骤：
S1.对车辆进行姿态检测以及轨迹跟踪，得到车辆的位置信息；
S2.在车辆所处的车道环境下采集车辆的运动信息；所述运动信息包括速度以及加速度；
S3.以车辆的位置信息、运动信息以及车辆所处的车道环境为依据，判断车辆的异常驾驶行为；
S4.采集车辆图片信息，并对所述图片信息进行前景提取，得到烟雾动态信息；
S5.对烟雾动态信息进行烟雾检测，并对检测到的烟雾进行量化处理，得到烟雾浓度信息。
2.根据权利要求1所述的车辆危险状态识别方法，其特征在于：对车辆进行姿态检测以及轨迹跟踪，具体包括：
S11.对车辆的运动状态进行预测，得到车辆运动预测位置；
S12.对车辆的运动状态进行检测，得到车辆运动检测位置；
S13.计算所述预测位置与检测位置之间的马氏距离；
S14.判断所述马氏距离是否小于设定阈值，若是，则车辆的运动状态关联成功，并将所述预测位置作为车辆的位置；若否，则返回重复步骤S11-S14。
3.根据权利要求1所述的车辆危险状态识别方法，其特征在于：采用实例分割网络模型对车辆的位置信息、运动信息以及车辆所处的车道环境进行分析判断，得到车辆的异常驾驶行为；所述异常驾驶行为包括异常变道以及停车。
4.根据权利要求1所述的车辆危险状态识别方法，其特征在于：对所述图片信息进行前景提取，得到烟雾动态信息，具体包括：
采用光流法计算图片信息中烟雾的光流轨迹；
将所述光流轨迹与烟雾的边缘轮廓点进行对比分析，得到烟雾的运动区域。
5.根据权利要求1所述的车辆危险状态识别方法，其特征在于：对检测到的烟雾进行量化处理，得到烟雾浓度信息，具体包括：
对检测到的烟雾进行烟雾重构，得到重构后的烟雾信息；
对重构后的烟雾信息进行色彩特征空间转化处理，得到可量化的烟雾信息；
对可量化的烟雾信息进行量化处理，得到烟雾浓度信息。
6.根据权利要求1所述的车辆危险状态识别方法，其特征在于：还包括如下步骤：
S6.采集车辆的视频信息，并提取视频信息中的特征信息；
S7.基于所述视频信息进行碰撞区域预测分析，得到碰撞预测区域；
S8.对所述特征信息在时空上进行序列化建模，筛选出车辆行驶状态信息；
S9.判断车辆行驶状态信息对应的数值是否大于正常行驶状态信息的最大阈值，若是，则车辆发生了碰撞，若否，则车辆没有发生碰撞。
7.根据权利要求6所述的车辆危险状态识别方法，其特征在于：所述特征信息包括车辆坐标点数值、运动方向角、运动速度以及运动加速度；所述行驶状态信息包括速度、加速度以及轨迹突变。
8.一种车辆危险状态识别系统，其特征在于：包括轨迹跟踪单元、异常驾驶行为检测单元以及烟雾检测单元；
所述轨迹跟踪单元用于对车辆进行姿态检测以及轨迹跟踪，得到车辆的位置信息，并在车辆所处的车道环境下采集车辆的运动信息；
所述异常驾驶行为检测单元用于以车辆的位置信息、运动信息以及车辆所处的车道环境为依据，判断车辆的异常驾驶行为；
所述烟雾检测单元用于采集车辆图片信息，并对所述图片信息进行前景提取，得到烟雾动态信息；对烟雾动态信息进行烟雾检测，并对检测到的烟雾进行量化处理，得到烟雾浓度信息。
9.根据权利要求8所述的车辆危险状态识别系统，其特征在于：还包括碰撞检测单元；
所述碰撞检测单元用于采集车辆的视频信息，并提取视频信息中的特征信息；基于所述视频信息进行碰撞区域预测分析，得到碰撞预测区域；对所述特征信息在所述碰撞预测区域上进行序列化建模，筛选出车辆行驶状态信息；判断车辆行驶状态信息对应的数值是否大于正常行驶状态信息的最大阈值，若是，则车辆发生了碰撞，若否，则车辆没有发生碰撞。
10.根据权利要求9所述的车辆危险状态识别系统，其特征在于：所述特征信息包括车辆坐标点数值、运动方向角、运动速度以及运动加速度；所述行驶状态信息包括速度、加速度以及轨迹突变。
CN202210210846.2A 2022-03-03 2022-03-03 车辆危险状态识别方法及系统 Pending CN114581863A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210210846.2A CN114581863A (zh) 2022-03-03 2022-03-03 车辆危险状态识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210210846.2A CN114581863A (zh) 2022-03-03 2022-03-03 车辆危险状态识别方法及系统

Publications (1)

Publication Number Publication Date
CN114581863A true CN114581863A (zh) 2022-06-03

Family

ID=81773897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210210846.2A Pending CN114581863A (zh) 2022-03-03 2022-03-03 车辆危险状态识别方法及系统

Country Status (1)

Country Link
CN (1) CN114581863A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049993A (zh) * 2022-08-17 2022-09-13 成都考拉悠然科技有限公司 一种基于深度学习的车辆异常停止监测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049993A (zh) * 2022-08-17 2022-09-13 成都考拉悠然科技有限公司 一种基于深度学习的车辆异常停止监测方法

Similar Documents

Publication Publication Date Title
US5554983A (en) Object recognition system and abnormality detection system using image processing
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN111800507A (zh) 一种交通监控方法及交通监控系统
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
CN110602449A (zh) 一种基于视觉的大场景下施工安全智能监控系统方法
CN112800860A (zh) 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统
KR102282800B1 (ko) 라이다와 영상카메라를 이용한 멀티 표적 추적 방법
CN115205796B (zh) 轨道线路异物侵限监测与风险预警方法及系统
CN111460920A (zh) 一种面向机场复杂场景的目标跟踪及分割系统
CN117130010B (zh) 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车
CN114581863A (zh) 车辆危险状态识别方法及系统
CN117456479A (zh) 一种基于光流估计的车辆异常驾驶行为检测方法及装置
Tschürtz et al. System of systems safety analysis and evaluation in ZalaZONE
CN114693722A (zh) 一种车辆行驶行为检测方法、检测装置及检测设备
Malbog et al. PED-AI: pedestrian detection for autonomous vehicles using YOLOv5
Tulgaç et al. Incident detection on junctions using image processing
KR20220120211A (ko) 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템
CN113744304A (zh) 一种目标检测跟踪的方法和装置
Li et al. A video-based algorithm for moving objects detection at signalized intersection
CN117590863B (zh) 一种5g安防救援网联的无人机云边端协同控制系统
Gao et al. Crossing road monitoring system based on adaptive decision for illegal situation
US11592565B2 (en) Flexible multi-channel fusion perception
CN118552885B (zh) 索道入侵事件分析预警方法
CN118447720B (zh) 一种基于视觉的自动驾驶车辆防碰撞方法及系统
Li et al. Automated region-based vehicle conflict detection using computer vision techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination