CN116935281A - 基于雷达和视频的机动车道异常行为在线监测方法及设备 - Google Patents

基于雷达和视频的机动车道异常行为在线监测方法及设备 Download PDF

Info

Publication number
CN116935281A
CN116935281A CN202310937635.3A CN202310937635A CN116935281A CN 116935281 A CN116935281 A CN 116935281A CN 202310937635 A CN202310937635 A CN 202310937635A CN 116935281 A CN116935281 A CN 116935281A
Authority
CN
China
Prior art keywords
motor vehicle
radar
target
video
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310937635.3A
Other languages
English (en)
Inventor
戚家瑞
戚湧
董浪
朱翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202310937635.3A priority Critical patent/CN116935281A/zh
Publication of CN116935281A publication Critical patent/CN116935281A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于雷达和视频的机动车道异常行为在线监测方法及设备，属于交通安全监测技术领域。本发明的方法包括通过雷视复合检测仪设备获取当前场景下的视频数据，在第一帧图片中划分并标注机动车行驶车道ROI区域和非机动车行驶车道ROI区域；基于所述ROI区域对实时获取的雷达数据进行过滤、筛选并预估候选目标区域；对实时获取的视频帧图像中的每个预估的候选目标区域进行识别，对雷达处理后的数据和YOLOv5目标识别的数据进行融合，获取ROI区域内目标检测信息；判断行人或非机动车是否出现在机动车区域，是则发送预警信息至云端服务器。本发明兼具准确度和鲁棒性，实时捕捉进入机动车行驶区域的行人、非机动车并进行预警。

Description

基于雷达和视频的机动车道异常行为在线监测方法及设备
技术领域
本发明属于交通安全监测技术领域，具体涉及一种基于雷达和视频的机动车道异常行为在线监测方法及设备。
背景技术
《中华人民共和国道路交通安全法》第六十七条，行人、非机动车、拖拉机、轮式专用机械车、铰接式客车、全挂拖斗车以及其他设计最高时速低于七十公里的机动车，不得进入高速公路。高速公路上车辆的车速都比较快，驾驶人只要有丝毫的放松就会很难注意到周围静止不动的、相对较小的事物。所以行人、电动自行车、三轮车在高速公路上只要稍不留意就有可能被车辆剐碰，在车速较高的情况下极有可能导致死亡的严重后果。在高速公路上高速行驶的机动车，躲避高速公路上违法进入的行人、电动自行车、三轮车容易引发交通事故，在车速较高的情况下打方向的幅度稍微过大就有可能造成车毁人亡的交通事故。高速公路的车流量比较大，车速比较快，一旦发生事故就会有车辆因躲避不及而连续发生交通事故，造成高速公路大面积拥堵和严重的经济损失。有些行人为图方便、图省事，翻越隔离栏违法上高速候车。客运车辆非法停车载客、非法超员等违法行为，不仅危害违法进入高速公路候车人的安全，也危害了公共交通秩序，为交通事故埋下了隐患。因此需要准确、实时的对行人或非机动车上路(行驶在机动车行驶区域)事件进行检测和识别，从而进行预警。
目前的技术发展现状来看，雷达或视频是当前获取交通信息的常用检测方法，但两者的使用都有一定的局限性。视频检测技术易受天气变化、光照情况、动态背景等环境的影响，检测准确率会降低。单一视频在目标检测阶段通常使用Haar+Adaboost、Hog+SVM、DPM等传统检测算法，以及以R-CNN(Region-CNN)为代表的二阶段检测算法和以YOLO(You OnlyLook Once)为代表的单阶段检测算法，这些检测算法在处理特殊场景，比如黑夜、极端天气等条件时表现不佳。随着人群密度的增加，个体遮挡严重和分辨率的下降，导致受限条件较多且准确率较差，难以做到完全覆盖。
雷达检测技术虽受周围环境影响较小，但可视性不强，对检测到的交通事件无法进行人工复合判断。单一雷达的检测算法，无法检测目标类型、目标颜色、种类等视觉信息，且由于雷达本身的物理特性以及定位角度的限制，雷达所探测出来的目标信息并不是很鲜明和直观，难以准确的对行人或非机动车上路事件进行检测和识别，从而导致无法准确、实时的对进入机动车行驶区域的行人、非机动车进行预警，因此造成严重的生命安全隐患。
综上，现有技术大多采用的单一的方式，即单独使用视频检测或者雷达检测，使用视频检测的方式在检测范围、检测场景方面等皆存在限制，当行人或非机动车在图片中所占的像素大小变小时，视频检测方式将无法准确检测出行人或非机动车，同时，检测精度容易受天气、光影变化等影响。使用雷达检测方式同样也存在精度低等问题，当行人或非机动车的速度较慢时，雷达极易丢失目标。
发明内容
本发明目的是提供一种基于雷达和视频的机动车道异常行为在线监测方法及设备，兼具准确度和鲁棒性，检测范围较广，真正实时捕捉进入机动车行驶区域的行人、非机动车，并进行预警，时刻保障道路交通安全，具有良好的开发和应用前景。
具体地说，一方面，本发明提供了一种基于雷达和视频的机动车道异常行为在线监测方法，包括：
通过架设在交通卡口交通杆上的雷视复合检测仪设备，获取当前场景下的视频数据，保存为帧图片，选定一帧图片作为第一帧图片，在第一帧图片中划分并标注机动车行驶车道区域、行人或非机动车行驶车道区域，即分别确定机动车行驶车道ROI区域、行人或非机动车行驶车道ROI区域；
通过坐标系转换将实时获取的雷达数据投影到像素坐标系，基于所述机动车行驶车道ROI区域、行人或非机动车行驶车道ROI区域，对投影到像素坐标系的雷达数据进行过滤、筛选，只保留在机动车行驶车道ROI区域、行人或非机动车行驶车道ROI区域的目标并预估候选目标区域；
基于YOLOv5对实时获取的视频帧图像中的每个预估的候选目标区域进行识别，获取目标对象的像素坐标系和类别信息，同时基于卡尔曼滤波和匈牙利算法对目标进行跟踪，记录其运动轨迹；
基于最近邻匹配算法对雷达处理后的数据和YOLOv5目标识别的数据进行融合，获取ROI区域内目标的检测信息；
判断行人或非机动车是否出现在机动车区域，如行人或非机动车出现在非机动车区域，发送预警信息至云端服务器。
进一步的，所述在第一帧图片中划分并标注机动车行驶车道区域、行人或非机动车行驶车道区域包括：
在第一帧图片上划分机动车行驶车道区域、行人或非机动车行驶车道区域，得到所述机动车行驶车道区域、行人或非机动车行驶车道区域顶点的像素坐标，并设定颜色掩膜，按行对划分的机动车行驶车道区域、行人或非机动车行驶车道区域进行颜色填充，最后对填充好的机动车行驶车道区域、行人或非机动车行驶车道区域进行编号。
进一步的，所述通过坐标系转换将实时获取的雷达数据投影到像素坐标系采用以下转换公式：
其中，[u，v，1]为像素坐标系中坐标，[X，Y，1]为雷达数据在雷达坐标系中的坐标，(u0，v0)为像素坐标系中中心点坐标，d为像素距离与实际距离的比值。
进一步的，所述基于YOLOv5对实时获取的视频帧图像中的每个预估的候选目标区域进行识别，获取目标对象的像素坐标系和类别信息，同时基于卡尔曼滤波和匈牙利算法对目标进行跟踪，记录其运动轨迹包括：
3-1)基于YOLOv5算法对所述候选目标区域进行识别，获取目标对象的图像坐标以及类别相关信息；
3-2)通过卡尔曼滤波算法计算目标运动状态变化；具体公式如下，
状态方程为
X(k)＝FX(k-1)+BU(k)+W(k)
其中X(k)为状态观测量，FX(k-1)为上一状态的最优结果，BU(k)为状态控制量，即为目标瞬时加速度，W(k)为运动状态噪声，该噪声服从(0，Qk)的高斯分布，
测量方程为
Z(k)＝HX(k)+V(k)
其中Z(k)为测量的状态值，HX(k)为实际状态值，V(k)为测量状态噪声，该噪声服从(0，Rk)的高斯分布；
3-3)计算先验估计值与先验估计协方差；
3-4)将卡尔曼系数作为权重系数，通过调节状态方程噪声方差Q、观测方程噪声方差R改变卡尔曼系数的大小，来调整先验估计值与状态观测量的权重，根据卡尔曼系数对先验估计值与先验估计协方差进行更新，从而得到目标运动状态最优估计值具体计算公式如下：
Pt＝(I-KtHt)Pt-
其中Q状态方程噪声方差，R为观测方程噪声方差，Kt为t时刻卡尔曼系数，F为状态转移矩阵，FT为状态转移矩阵的转置，H为t时刻的观测系数，Pt为t时刻的位移量，Pt-为t时刻位移量先验值，为目标运动状态最优估计值，/>为目标运动状态先验估计值。
进一步的，若传感器准确度较高，则将卡尔曼系数增大，若传感器准确度较差，则将卡尔曼系数减小。
进一步的，所述基于最近邻匹配算法对雷达处理后的数据和YOLOv5目标识别的数据进行融合，获取ROI区域内目标的检测信息包括：
4-1)基于步骤三获取ROI区域内的目标特征信息，同步获取当前时间的雷达帧，该雷达帧信息的所有目标点已完成像素坐标系空间转换，每一个雷达目标经转换后在像素坐标系的形式为(x,y)；
4-2)通过最近邻匹配算法，即通过计算视频目标与雷达目标之间的欧式距离以及结合y轴距离进行匹配、融合，最终得到ROI区域内目标的跟踪ID、类别、速度、距离等信息。
进一步的，所述通过计算视频目标与雷达目标之间的欧式距离以及结合y轴距离进行匹配包括：
定义事件矩阵为每一个雷达目标到每一个视觉目标的像素距离；决策变量为能够匹配取1，无法匹配取0；目标函数为各像素点到目标的距离最短；约束条件为每一个视觉目标只能匹配一个雷达目标，同时每一个雷达目标只能匹配一个视觉目标；当事件达到目标函数且符合约束条件时的决策结果为匹配。
进一步的，所述判断行人或非机动车是否出现在机动车区域包括：
使用射线法判断行人或非机动车是否在机动车行驶区域内部，即选择行人或非机动车的目标检测框中心点作为参与射线法判断点，从该点向任意方向发射一条射线，计算该射线与多边形的交点数，如果交点数为奇数，则该点在多边形内部，否则在多边形外部；如果射线与多边形的顶点重合，将该顶点向外微调一下再使用射线法判断行人或非机动车是否在机动车行驶区域内部。
进一步的，还包括判断行人或非机动车出现在机动车区域时，所述雷视复合检测仪设备进行警示。
另一方面，本发明还提供一种基于雷达和视频的机动车道异常行为在线监测设备，为雷视复合检测仪设备，包括雷达数据获取模块、摄像头模块、通信模块和数据处理模块，
所述雷达数据获取模块获取机动车道和非机动车道的雷达数据，并发送给数据处理模块；
所述摄像头模块获取交通视频数据，并发送给数据处理模块；
所述通信模块将预警信息发送给与服务器，并接收服务器的指令后转发给数据处理模块；
所述数据处理模块，实现上述基于雷达和视频的机动车道异常行为在线监测方法。
再一方面，本发明还提供一种基于雷达和视频的机动车道异常行为在线监测设备，所述设备包括存储器和处理器；所述存储器存储有实现基于雷达和视频的机动车道异常行为在线监测方法的计算机程序，所述处理器执行所述计算机程序，以实现上述方法的步骤。
又一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时实现上述方法的步骤。
本发明的基于雷达和视频的机动车道异常行为在线监测方法及设备的有益效果如下：
本发明的基于雷达和视频的机动车道异常行为在线监测方法及设备，通过获取第一帧图像，划分机动车行驶区域、行人及非机动车可活动区域，每次进行目标检测是只检测该区域内的目标，有助于提升计算速度和检测精度。
本发明的基于雷达和视频的机动车道异常行为在线监测方法及设备，基于深度神经实时处理视频帧，基于事先确定的ROI区域，获取其中的目标特征信息，格式为(ID,category,x,y,w,h),各参数分别为跟踪ID、目标类别、目标在图片检测矩形框的左上角点的x轴、y轴，目标检测框的宽度w和高度h，然后同步获取当前时间的雷达帧，该雷达帧信息的所有目标点已完成图片坐标空间转换，每一个雷达目标经转换后在图中的形式为(x,y)，然后通过最近邻匹配算法，即通过计算视频目标与雷达目标之间的欧式距离以及结合y轴距离进行匹配，进行两者的目标匹配，最终得到ROI区域内目标的跟踪ID、类别、速度、距离等信息,提升了雷达和视频的融合精度，其异常交通行为(即行人或非机动车走机动车道)复合检测率≥90％。
附图说明
图1是本发明实施例的方法流程图。
图2是本发明实施例的雷达坐标系转换至世界坐标系示意图。
图3是本发明实施例的雷达坐标系与世界坐标系的原点重合示意图。
图4是本发明实施例的雷达坐标系与世界坐标系的坐标轴重合示意图。
图5是本发明实施例的摄像头坐标系转换至图像坐标系示意图。
图6是本发明实施例的图像坐标系转换至像素坐标系示意图。
图7是本发明实施例的模拟测试场景测试结果(检测到行人)。
图8是本发明实施例的模拟测试场景测试结果(检测到非机动车)。
具体实施方式
下面结合实施例并参照附图对本发明作进一步详细描述。
实施例1：
本发明的一个实施例，为一种基于雷达和视频的机动车道异常行为在线监测方法。如图1所示，包括以下步骤：
步骤一、通过在交通卡口交通杆上架设的雷视复合检测仪设备，获取当前场景下的视频数据，保存为帧图片，选定一帧图片作为第一帧图片，在第一帧图片中划分并标注机动车行驶车道区域和行人或非机动车行驶车道区域，即分别确定机动车行驶车道ROI区域和行人或非机动车行驶车道ROI区域。
所述雷视复合检测仪设备，包括雷达数据获取模块、摄像头模块、通信模块和数据处理模块。雷达数据获取模块获取机动车道和非机动车道的雷达数据，并发送给数据处理模块；摄像头模块获取交通视频数据，并发送给数据处理模块；通信模块将预警信息发送给与服务器，并接收服务器的指令后转发给数据处理模块；数据处理模块，实现基于雷达和视频的机动车道异常行为在线监测方法。
该步骤具体实现方法如下：1-1)通过在交通卡口交通杆上架设的雷视复合检测仪设备，获取当前场景下的视频数据，并保存为帧图片。
1-2)基于保存的帧图片，选择第一帧图片，在第一帧图片中划分并标注出机动车行驶车道ROI区域、行人或非机动车行驶车道ROI区域，例如分别用不同颜色(例如红色、黄色)表示。
优选的，在划分机动车行驶车道ROI区域和行人或非机动车行驶车道ROI区域时，基于掩膜(mask)方法对划分的ROI进行了颜色标注，并确定区域序号分别为ROI_LEGAL和ROI_ILLEGAL，具体实现方式如下：首选，在视频中选定的帧图片上划分区域，得到机动车行驶车道ROI区域、行人或非机动车行驶车道ROI区域顶点的像素坐标，坐标形式为(xn,yn)并设定颜色掩膜，n为雷达数据的序号，然后，按行对划分的ROI区域进行颜色填充，最后对填充好的区域进行编号。
1-3)实时进行毫米波雷达数据和视频数据采集。
步骤二、通过坐标系转换将实时获取的雷达数据投影到像素坐标系，基于所述机动车行驶车道ROI区域、行人或非机动车行驶车道ROI区域，对投影到像素坐标系的雷达数据进行过滤、筛选，只保留在机动车行驶车道ROI区域、行人或非机动车行驶车道ROI区域的目标并预估候选目标区域。具体包括以下步骤：2-1)通过以下坐标系转换公式将雷达信号点投影到像素坐标系。
其中，[u，v，1]为像素坐标系中坐标，[X，Y，1]为雷达数据在雷达坐标系中的坐标，(u0，v0)为像素坐标系中中心点坐标，d为像素距离与实际距离的比值。
上述坐标转换公式通过以下方式推导得到：将雷达坐标系转换至世界坐标系，世界坐标系转换至摄像头坐标系，摄像头坐标系转换至图像坐标系，图像坐标系转换至像素坐标系。
(1)雷达坐标系转换至世界坐标系
选用摄像头光心作为世界坐标系原点，将雷达坐标系通过坐标系转换计算同步至世界坐标系。
具体过程如图2所示，假设xoy坐标系为雷达坐标系，x’o’y’坐标系为世界坐标系，将P点从雷达坐标系转换至世界坐标系首先需要将两坐标系原点重合，如图3所示。再将坐标系进行旋转，实现x轴y轴与x’轴y’轴的重合，其中旋转角度为theta，具体如图4所示。此时即可得到P点在x’o’y’坐标系中的具体坐标，上述变换步骤可以通过坐标变换矩阵进行表示，具体如下：
(2)世界坐标系转换至摄像头坐标系
世界坐标系转换至摄像头坐标系的基本原理与雷达坐标系转换至世界坐标系基本相同，但是由于摄像头在三位空间中，因此需要同时对z轴进行转换，整个转换公式可以分为旋转矩阵与平移矩阵，具体如下：
旋转矩阵：
平移矩阵：
两者合并后得到转换公式：
其中R为旋转矩阵，t为平移矩阵。
(3)摄像头坐标系转换至图像坐标系
空间中任意一点P与其在图像平面上的投影p之间的关系如图5所示，空间点P与相机光心o的连线为oP，oP与像面的交点p即为空间点P在图像平面上的投影。其中图片中像素的点的计算以相似三角形作为理论基础，世界坐标系的点P到光心的距离和焦距的长度是等比关系，根据焦距f与P点至光心的距离进行等比例换算，具体公式如下：
其中X，Y为像素坐标，x，y，z为世界坐标，f为相机焦距。
(4)图像坐标系转换至像素坐标系
像素坐标系uov是一个二维直角坐标系，反映了相机CCD/CMOS芯片中像素的排列情况，原点o位于图像的左上角，u轴和v轴分别与像面的两边平行，其中像素坐标系中坐标轴的单位是像素个数，如图6所示。
由于像素坐标系不利于坐标变换，因此需要建立xoy坐标系(雷达坐标系)，其中坐标轴的单位通常为毫米，原点是相机光轴与相面的交点。x轴与y轴分别于u轴与v轴平行，故两个坐标系转换需要通过毫米转换像素后平移就可得到，具体转换公式如下：
其中，[u，v，1]为像素坐标系中坐标，[X，Y，1]为雷达数据在雷达坐标系中的坐标，(u0，v0)为像素坐标系中中心点坐标，d为像素距离与实际距离的比值。
2-2)雷达区域目标筛选与过滤
根据机动车行驶车道在图像中的实际位置对雷达数据进行筛选与过滤，最终只保留机动车行驶车道内的雷达数据。然后进行雷达目标点的坐标系转换。
步骤三、基于YOLOv5对实时获取的视频帧图像中的每个预估的候选目标区域进行识别，获取目标对象的像素坐标系和类别信息，格式为(ID，category，x，y，w，h),各参数含义分别为跟踪ID、目标类别、目标在图片检测矩形框的左上角点的x轴坐标、目标在图片检测矩形框的左上角点的y轴坐标、目标检测框的宽度w、目标检测框的高度h。同时基于卡尔曼滤波和匈牙利算法对目标进行跟踪，记录其运动轨迹。具体包括：
3-1)通过YOLOv5进行目标识别。
基于YOLOv5算法对步骤二得到的候选目标区域进行识别，获取目标对象的图像坐标以及类别相关信息。
3-2)通过卡尔曼滤波算法计算目标运动状态变化。
卡尔曼滤波基础状态空间分别由状态方程与测量方程进行表达，其中状态方程描述了目标自身状态变化，而测量方程描述了对目标进行观察的状态变化，具体公式如下：
状态方程：
X(k)＝FX(k-1)+BU(k)+W(k)
其中X(k)为状态观测量，FX(k-1)为上一状态的最优结果，BU(k)为状态控制量，即为目标瞬时加速度，W(k)为运动状态噪声，该噪声服从(0，Qk)的高斯分布。
测量方程：
Z(k)＝HX(k)+V(k)
其中Z(k)为状态的测量值，HX(k)为实际状态值，V(k)为测量状态噪声，该噪声服从(0，Rk)的高斯分布。
3-3)计算先验估计值与先验估计协方差。
在对车辆进行观测时，可以根据匀加速运动公式分别得到x轴位移、y轴位移、x轴速度、y轴速度的状态方程，整合后即可得到先验估计方程，具体如下所示：
其中Pi为位移量，vi为速度量，Δt为时间变动。
同时得到先验估计协方差公式：
Pt＝FPt-1F0+Q
3-4)将卡尔曼系数作为权重系数，通过调节状态方程噪声方差Q、观测方程噪声方差R改变卡尔曼系数的大小，来调整先验估计值与状态观测量的权重，根据卡尔曼系数对先验估计值与先验估计协方差进行更新，从而得到目标运动状态最优估计值具体计算公式如下：
此时H为观测系数，为单位矩阵，因此该公式可以化简为：
Pt＝(I-KtHt)Pt-
其中Q状态方程噪声方差，R为观测方程噪声方差，Kt为t时刻卡尔曼系数，F为状态转移矩阵，FT为状态转移矩阵的转置，H为观测系数，Pt为t时刻的位移量，Pt-为t时刻位移量先验值，为目标运动状态最优估计值，/>为目标运动状态先验估计值。
优选的，若毫米波雷达准确度较高，则观测值更加可信，可将卡尔曼系数增大，若传感器准确度较差，则先验估计值更加可信，可将卡尔曼系数减小。
步骤四、基于最近邻匹配算法对雷达处理后的数据(xn，yn)和YOLOv5目标识别的数据进行融合，获取ROI区域内目标的检测信息。具体包括：
4-1)基于步骤三获取ROI区域内的目标特征信息，同步获取当前时间的雷达帧，该雷达帧信息的所有目标点已完成像素坐标系转换，每一个雷达目标经转换后在像素坐标系的形式为(x,y)。
4-2)通过最近邻匹配算法，即通过计算视频目标与雷达目标之间的欧式距离以及结合y轴距离进行匹配、融合，最终得到ROI区域内目标的跟踪ID、类别、速度、距离等信息。
定义事件矩阵为每一个雷达目标到每一个视觉目标的像素距离；决策变量为能够匹配取1，无法匹配取0；目标函数为各像素点到目标的距离最短；约束条件为每一个视觉目标只能匹配一个雷达目标，同时每一个雷达目标只能匹配一个视觉目标。当事件达到目标函数且符合约束条件时的决策结果为匹配。
事件矩阵：
事件矩阵每一行代表一个雷达检测目标，每一列代表一个视觉检测目标，系数矩阵则为两者之间的像素距离。
决策变量：
决策矩阵由0和1构成，其中0代表雷达检测目标与视频检测目标无法匹配，1代表成功匹配。最终，每一行每一列只能有一组目标完成匹配。
目标函数：
在雷视融合应用中，以雷达目标转换至图像中的像素点到检测目标框中点距离最短为目标函数。
约束条件：
xij＝0 or 1(i，j＝1，2，...，n)
该约束条件通俗来说就是每一个雷达目标只能匹配一个视频检测目标，同样，每一个视频检测目标只能匹配一个雷达目标，同时，只能用1或0表示匹配成功或失败。
步骤五、判断行人或非机动车是否出现在机动车区域，如行人或非机动车出现在非机动车区域，发送预警信息至云端服务器。
根据步骤一机动车行驶区域和步骤四获取的行人或非机动车的目标检测框信息，判断行人或非机动车是否在机动车行驶区域内部，将判断结果信息(包含在预警信息中)发送至云端服务器。
优选的，使用射线法判断行人或非机动车是否在机动车行驶区域内部。即选择行人或非机动车的目标检测框中心点作为参与射线法判断点，从该点向任意方向发射一条射线，计算该射线与多边形的交点数，如果交点数为奇数，则该点在多边形内部，否则在多边形外部。具体实现步骤如下：
首先从该点向任意方向发射一条射线，并记录该射线与多边形的交点数，其次遍历多边形的所有边，计算该射线与每条边的交点，然后如果该射线与某条边相交，则将交点数加1，最后判断交点数的数量，如果交点数为奇数，则该点在多边形内部，否则在多边形外部。
需要注意的是，如果射线与多边形的顶点重合，需要特殊处理，可以将该点向外微调一下再进行判断。
步骤六、云端服务器接收预警信息并控制路侧警示设备对非法进入机动车道的行人或非机动车进行预警。
雷视复合检测设备基于4G物联网卡与云端服务器进行数据交互，并基于mqtt协议将预警信息发送至云端服务器，数据格式采用json，形式如下：
其中，MsgType表示信息类型、ResultNo表示此时刻预警的结果，如ResultNo为True，则将改时刻的所有预警信息EvtInfo发送，每个EvtInfo包括Timestamp，表示时间；Id表示事件序号；Direction表示方向；Lane表示事件发生的车道号；EventType表示事件类型，有行人非法走机动车道和非机动非法走非机动车道两种。
雷视复合检测设备将以上信息打包完成之后，首先与云端服务器建立TCP连接，然后发送CONNECT报文给服务器，服务器收到CONNECT报文后，会根据报文中的信息，决定是否允许客户端连接，如果允许，则发送CONNACK报文给客户端，表示连接建立成功。然后雷视复合检测设备订阅云端服务器指定的主题，雷视复合检测设备发送SUBSCRIBE报文给云端服务器，报文中包含了订阅的主题和QoS等信息。云端服务器收到SUBSCRIBE报文后，会将雷视复合检测设备客户端加入到指定主题的订阅者列表中，并向客户端发送SUBACK报文，表示订阅成功。最后，雷视复合检测设备客户端发布消息给云端服务器，发送PUBLISH报文，报文中包含了发布消息的主题、QoS等信息。云端服务器收到PUBLISH报文后，会将消息转发给订阅了此主题的客户端，如果消息的QoS等级为1或2，服务器还会向客户端发送PUBACK报文，表示消息已经收到。
步骤七、路侧警示模块，用于对上路的行人、非机动车进行警示。具体包括为语音预警器，用于播放警示音对进入机动车行驶区域的行人、非机动车警示提醒。
路侧警示模块受雷视复合检测设备控制，通过usb总线协议进行信息的传输，当监测到行人或非机动非法走机动车道时，路侧警示模块接收到雷视复合检测设备发出的开启指令，然后开启语音播报。
本发明通过模拟测试场景进行测试验证，在帧图片中划分了两个ROI区域，其中黑色框区域为行人或机动车禁行区域、白色框区域为行人(如图7所示)或非机动车(如图8所示)可行驶区域，从测试结果可得，当行人或非机动车进入禁行区时，系统能够进行检测。
本发明的基于雷达和视频的机动车道异常行为在线监测方法及设备，通过获取第一帧图像，划分机动车行驶区域、行人及非机动车可活动区域，每次进行目标检测是只检测该区域内的目标，有助于提升计算速度和检测精度。
本发明的基于雷达和视频的机动车道异常行为在线监测方法及设备，基于深度神经实时处理视频帧，基于事先确定的ROI区域，获取其中的目标特征信息，格式为(ID,category,x,y,w,h),各参数分别为跟踪ID、目标类别、目标在图片检测矩形框的左上角点的x轴、y轴，目标检测框的宽度w和高度h，然后同步获取当前时间的雷达帧，该雷达帧信息的所有目标点已完成图片坐标空间转换，每一个雷达目标经转换后在图中的形式为(x,y)，然后通过最近邻匹配算法，即通过计算视频目标与雷达目标之间的欧式距离以及结合y轴距离进行匹配，进行两者的目标匹配，最终得到ROI区域内目标的跟踪ID、类别、速度、距离等信息,提升了雷达和视频的融合精度，其异常交通行为(即行人或非机动车走机动车道)复合检测率≥90％。
在一些实施例中，上述技术的某些方面可以由执行软件的处理系统的一个或多个处理器来实现。该软件包括存储或以其他方式有形实施在非暂时性计算机可读存储介质上的一个或多个可执行指令集合。软件可以包括指令和某些数据，这些指令和某些数据在由一个或多个处理器执行时操纵一个或多个处理器以执行上述技术的一个或多个方面。非暂时性计算机可读存储介质可以包括例如磁或光盘存储设备，诸如闪存、高速缓存、随机存取存储器(RAM)等的固态存储设备或其他非易失性存储器设备。存储在非临时性计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码或被一个或多个处理器解释或以其他方式执行的其他指令格式。
计算机可读存储介质可以包括在使用期间可由计算机系统访问以向计算机系统提供指令和/或数据的任何存储介质或存储介质的组合。这样的存储介质可以包括但不限于光学介质(例如，光盘(CD)、数字多功能光盘(DVD)、蓝光光盘)、磁介质(例如，软盘、磁带或磁性硬盘驱动器)、易失性存储器(例如，随机存取存储器(RAM)或高速缓存)、非易失性存储器(例如，只读存储器(ROM)或闪存)或基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以嵌入计算系统(例如，系统RAM或ROM)中，固定地附接到计算系统(例如，磁性硬盘驱动器)，可移除地附接到计算系统(例如，光盘或通用基于串行总线(USB)的闪存)，或者经由有线或无线网络(例如，网络可访问存储(NAS))耦合到计算机系统。
虽然本发明已以较佳实施例公开如上，但实施例并不是用来限定本发明的。在不脱离本发明之精神和范围内，所做的任何等效变化或润饰，同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。

Claims (12)

1.一种基于雷达和视频的机动车道异常行为在线监测方法，其特征在于，包括：
通过架设在交通卡口交通杆上的雷视复合检测仪设备，获取当前场景下的视频数据，保存为帧图片，选定一帧图片作为第一帧图片，在第一帧图片中划分并标注机动车行驶车道区域、行人或非机动车行驶车道区域，即分别确定机动车行驶车道ROI区域、行人或非机动车行驶车道ROI区域；
通过坐标系转换将实时获取的雷达数据投影到像素坐标系，基于所述机动车行驶车道ROI区域、行人或非机动车行驶车道ROI区域，对投影到像素坐标系的雷达数据进行过滤、筛选，只保留在机动车行驶车道ROI区域、行人或非机动车行驶车道ROI区域的目标并预估候选目标区域；
基于YOLOv5对实时获取的视频帧图像中的每个预估的候选目标区域进行识别，获取目标对象的像素坐标系和类别信息，同时基于卡尔曼滤波和匈牙利算法对目标进行跟踪，记录其运动轨迹；
基于最近邻匹配算法对雷达处理后的数据和YOLOv5目标识别的数据进行融合，获取ROI区域内目标的检测信息；
判断行人或非机动车是否出现在机动车区域，如行人或非机动车出现在非机动车区域，发送预警信息至云端服务器。
2.根据权利要求1所述的基于雷达和视频的机动车道异常行为在线监测方法，其特征在于，所述在第一帧图片中划分并标注机动车行驶车道区域、行人或非机动车行驶车道区域包括：
在第一帧图片上划分机动车行驶车道区域、行人或非机动车行驶车道区域，得到所述机动车行驶车道区域、行人或非机动车行驶车道区域顶点的像素坐标，并设定颜色掩膜，按行对划分的机动车行驶车道区域、行人或非机动车行驶车道区域进行颜色填充，最后对填充好的机动车行驶车道区域、行人或非机动车行驶车道区域进行编号。
3.根据权利要求1所述的基于雷达和视频的机动车道异常行为在线监测方法，其特征在于，所述通过坐标系转换将实时获取的雷达数据投影到像素坐标系采用以下转换公式：
其中，[u，v，1]为像素坐标系中坐标，[X，Y，1]为雷达数据在雷达坐标系中的坐标，(u0，v0)为像素坐标系中中心点坐标，d为像素距离与实际距离的比值。
4.根据权利要求1所述的基于雷达和视频的机动车道异常行为在线监测方法，其特征在于，所述基于YOLOv5对实时获取的视频帧图像中的每个预估的候选目标区域进行识别，获取目标对象的像素坐标系和类别信息，同时基于卡尔曼滤波和匈牙利算法对目标进行跟踪，记录其运动轨迹包括：
3-1)基于YOLOv5算法对所述候选目标区域进行识别，获取目标对象的图像坐标以及类别相关信息；
3-2)通过卡尔曼滤波算法计算目标运动状态变化；具体公式如下，
状态方程为
X(k)＝FX(k-1)+BU(k)+W(k)
其中X(k)为状态观测量，FX(k-1)为上一状态的最优结果，BU(k)为状态控制量，即为目标瞬时加速度，W(k)为运动状态噪声，该噪声服从(0，Qk)的高斯分布，
测量方程为
Z(k)＝HX(k)+V(k)
其中Z(k)为测量的状态值，HX(k)为实际状态值，V(k)为测量状态噪声，该噪声服从(0，Rk)的高斯分布；
3-3)计算先验估计值与先验估计协方差；
3-4)将卡尔曼系数作为权重系数，通过调节状态方程噪声方差Q、观测方程噪声方差R改变卡尔曼系数的大小，来调整先验估计值与状态观测量的权重，根据卡尔曼系数对先验估计值与先验估计协方差进行更新，从而得到目标运动状态最优估计值具体计算公式如下：
Pt＝(I-KtHt)Pt-
其中Q状态方程噪声方差，R为观测方程噪声方差，Kt为t时刻卡尔曼系数，F为状态转移矩阵，FT为状态转移矩阵的转置，H为t时刻的观测系数，Pt为t时刻的位移量，Pt-为t时刻位移量先验值，为目标运动状态最优估计值，/>为目标运动状态先验估计值。
5.根据权利要求4所述的基于雷达和视频的机动车道异常行为在线监测方法，其特征在于，若传感器准确度较高，则将卡尔曼系数增大，若传感器准确度较差，则将卡尔曼系数减小。
6.根据权利要求1所述的基于雷达和视频的机动车道异常行为在线监测方法，其特征在于，所述基于最近邻匹配算法对雷达处理后的数据和YOLOv5目标识别的数据进行融合，获取ROI区域内目标的检测信息包括：
4-1)基于步骤三获取ROI区域内的目标特征信息，同步获取当前时间的雷达帧，该雷达帧信息的所有目标点已完成像素坐标系空间转换，每一个雷达目标经转换后在像素坐标系的形式为(x,y)；
4-2)通过最近邻匹配算法，即通过计算视频目标与雷达目标之间的欧式距离以及结合y轴距离进行匹配、融合，最终得到ROI区域内目标的跟踪ID、类别、速度、距离等信息。
7.根据权利要求6所述的基于雷达和视频的机动车道异常行为在线监测方法，其特征在于，所述通过计算视频目标与雷达目标之间的欧式距离以及结合y轴距离进行匹配包括：
定义事件矩阵为每一个雷达目标到每一个视觉目标的像素距离；决策变量为能够匹配取1，无法匹配取0；目标函数为各像素点到目标的距离最短；约束条件为每一个视觉目标只能匹配一个雷达目标，同时每一个雷达目标只能匹配一个视觉目标；当事件达到目标函数且符合约束条件时的决策结果为匹配。
8.根据权利要求1所述的基于雷达和视频的机动车道异常行为在线监测方法，其特征在于，所述判断行人或非机动车是否出现在机动车区域包括：
使用射线法判断行人或非机动车是否在机动车行驶区域内部，即选择行人或非机动车的目标检测框中心点作为参与射线法判断点，从该点向任意方向发射一条射线，计算该射线与多边形的交点数，如果交点数为奇数，则该点在多边形内部，否则在多边形外部；如果射线与多边形的顶点重合，将该顶点向外微调一下再使用射线法判断行人或非机动车是否在机动车行驶区域内部。
9.根据权利要求1所述的基于雷达和视频的机动车道异常行为在线监测方法，其特征在于，还包括判断行人或非机动车出现在机动车区域时，所述雷视复合检测仪设备进行警示。
10.一种基于雷达和视频的机动车道异常行为在线监测设备，为雷视复合检测仪设备，包括雷达数据获取模块、摄像头模块、通信模块和数据处理模块，
所述雷达数据获取模块获取机动车道和非机动车道的雷达数据，并发送给数据处理模块；
所述摄像头模块获取交通视频数据，并发送给数据处理模块；
所述通信模块将预警信息发送给与服务器，并接收服务器的指令后转发给数据处理模块；
所述数据处理模块，实现根据权利要求1-9任一所述的基于雷达和视频的机动车道异常行为在线监测方法。
11.一种基于雷达和视频的机动车道异常行为在线监测设备，其特征在于，所述设备包括存储器和处理器；所述存储器存储有实现基于雷达和视频的机动车道异常行为在线监测方法的计算机程序，所述处理器执行所述计算机程序，以实现根据权利要求1-9任一所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述的计算机程序被处理器执行时实现根据权利要求1-9任一所述方法的步骤。
CN202310937635.3A 2023-07-28 2023-07-28 基于雷达和视频的机动车道异常行为在线监测方法及设备 Pending CN116935281A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310937635.3A CN116935281A (zh) 2023-07-28 2023-07-28 基于雷达和视频的机动车道异常行为在线监测方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310937635.3A CN116935281A (zh) 2023-07-28 2023-07-28 基于雷达和视频的机动车道异常行为在线监测方法及设备

Publications (1)

Publication Number Publication Date
CN116935281A true CN116935281A (zh) 2023-10-24

Family

ID=88380416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310937635.3A Pending CN116935281A (zh) 2023-07-28 2023-07-28 基于雷达和视频的机动车道异常行为在线监测方法及设备

Country Status (1)

Country Link
CN (1) CN116935281A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474983A (zh) * 2023-12-27 2024-01-30 广东力创信息技术有限公司 一种基于光视联动的预警方法以及相关装置
CN117671972A (zh) * 2024-02-01 2024-03-08 北京交通发展研究院 一种面向慢行交通系统的车辆速度检测方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474983A (zh) * 2023-12-27 2024-01-30 广东力创信息技术有限公司 一种基于光视联动的预警方法以及相关装置
CN117474983B (zh) * 2023-12-27 2024-03-12 广东力创信息技术有限公司 一种基于光视联动的预警方法以及相关装置
CN117671972A (zh) * 2024-02-01 2024-03-08 北京交通发展研究院 一种面向慢行交通系统的车辆速度检测方法及装置
CN117671972B (zh) * 2024-02-01 2024-05-14 北京交通发展研究院 一种面向慢行交通系统的车辆速度检测方法及装置

Similar Documents

Publication Publication Date Title
EP3418943B1 (en) Object detecting apparatus, object detecting method, and computer-readable medium
CN111695546B (zh) 用于无人车的交通信号灯识别方法和装置
US20190205668A1 (en) Object detecting apparatus, object detecting method, and computer program product
CN116935281A (zh) 基于雷达和视频的机动车道异常行为在线监测方法及设备
KR101891460B1 (ko) 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치
DE112019001657T5 (de) Signalverarbeitungsvorrichtung und signalverarbeitungsverfahren, programm und mobiler körper
JP2019045892A (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
CN109993060B (zh) 深度摄像头的车辆全向障碍物检测方法
NZ249799A (en) Traffic camera monitors vehicle movement and predicts when vehicle will be in position to acquire image
CN110717445B (zh) 一种用于自动驾驶的前车距离跟踪系统与方法
WO2021096629A1 (en) Geometry-aware instance segmentation in stereo image capture processes
US20220120910A1 (en) Information processing system, sensor system, information processing method, and non-transitory computer readable storage medium
US11343485B1 (en) Virtual horizontal stereo camera
CN112215306A (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN111461048B (zh) 基于视觉的停车场可行驶区域检测与局部地图构建方法
US11586843B1 (en) Generating training data for speed bump detection
Poostchi et al. Semantic depth map fusion for moving vehicle detection in aerial video
CN110750153A (zh) 一种无人驾驶车辆的动态虚拟化装置
CN113537047A (zh) 障碍物检测方法、装置、交通工具及存储介质
WO2021005105A1 (en) Imaging systems, devices and methods
CN111833443A (zh) 自主机器应用中的地标位置重建
CN117576652A (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN117372991A (zh) 基于多视角多模态融合的自动驾驶方法及系统
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质
Franke et al. Steps towards an intelligent vision system for driver assistance in urban traffic

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination