CN114898296A - 基于毫米波雷达与视觉融合的公交车道占用检测方法 - Google Patents

基于毫米波雷达与视觉融合的公交车道占用检测方法 Download PDF

Info

Publication number
CN114898296A
CN114898296A CN202210588585.8A CN202210588585A CN114898296A CN 114898296 A CN114898296 A CN 114898296A CN 202210588585 A CN202210588585 A CN 202210588585A CN 114898296 A CN114898296 A CN 114898296A
Authority
CN
China
Prior art keywords
target
radar
coordinate system
bus lane
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210588585.8A
Other languages
English (en)
Inventor
田浩辰
黄玉春
孟小亮
冯苑君
李昊澄
刘易琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210588585.8A priority Critical patent/CN114898296A/zh
Publication of CN114898296A publication Critical patent/CN114898296A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于毫米波雷达与视觉融合的公交车道占用检测方法。包括毫米波雷达系统、摄像头和数据处理系统，所述系统置于交通横杆上。在视频图像帧中通识别公交专用车道线并确定ROI区域，根据速度等条件筛选出探测目标的雷达信号点，通过投影矩阵将雷达目标转换到图像坐标系，并预估候选区域；使用轻量级网络识别交通对象并进行车牌捕捉，卡尔曼滤波和匈牙利算法进行多目标跟踪；通过车牌信息与车辆特征进行交通对象判断，若不为公交车或特殊车辆，则对车辆轨迹和公交车道进行空间叠置分析，记录违章车辆信息。本发明具有检测范围大、检测数量多，算法鲁棒性、准确度均较高，且实时检测、节约成本等优势，具有良好的开发和应用前景。

Description

基于毫米波雷达与视觉融合的公交车道占用检测方法
技术领域
本发明属于智慧交通领域，特别是涉及一种基于毫米波雷达与视觉融合的公交车道占用检测方法。
背景技术
智慧交通定义为：在智能交通的基础上，在交通领域中充分运用物联网、云计算、互联网、人工智能、自动控制、移动互联网等技术，通过高新技术汇集交通信息，对交通管理、交通运输、公众出行等等交通领域全方面以及交通建设管理全过程进行管控支撑，使交通系统在区域、城市甚至更大的时空范围具备感知、互联、分析、预测、控制等能力，以充分保障交通安全、发挥交通基础设施效能、提升交通系统运行效率和管理水平，为通畅的公众出行和可持续的经济发展服务。
随着城市交通建设的快速发展，越来越多的城市建设了地上公共交通专用车道，为居民出行提供了极大的便利。公交车专用车道(或BRT车道)的两侧均为黄色虚线，在部分路口或公交站牌区域会标有“公交车”字样。在公交车专用时段，除极端恶劣天气和修路堵塞等特殊情况，非公交车和特殊任务车辆禁止除跨越黄色网格区域借道右转外的公交专用车道专用情况。
但随着居民汽车保有量的不断增加，社会车辆违法占公交专用车道等违法行为越来越多，严重地影响了公共交通的效率乃至整个交通系统的流畅。
为了促进公共交通的建设发展，违章交通行为的自动化检测已经成为智慧交通的重要研究领域，但其中对公交车道侵占智能检测的研究仍未成熟。
目前检测设备大多采用基于单摄像头的传统图像处理方法，并直接安置于公共交通上。基本策略分为两步：首先，对图像进行灰度化和边缘检测等预处理，通过Hough(霍夫)变换直线检测判断前方车道线位置并确定检测区域；其次，在检测区域内进行车辆识别，判断结果不为公交车则识别车牌号，并进行违规记录。
该方法存在以下主要缺陷：
1、成本较高：需对视频进行全范围实时准确的图像处理，对设备算力和性能要求较高，且需要安装在每一辆公交车上。
2、检测范围小：设备只能检测到公交车正前方短距离内的车辆，在路口转弯处等事故多发区却无法检测到斜前方和周围的车辆。
3、错检率高：单视觉系统缺失图像的深度信息，很容易因为检测车辆的高度、前进角度等因素而导致错检和误判。
4、鲁棒性差：图像检测方法易受到光线、天气、遮挡等干扰的影响，造成检测算法失效；车道线在实际中会出现弯曲，间断等情况，传统的直线检测效果较差。
考虑到激光雷达可以探测到三维信息，但依然容易受到环境条件的约束，且成本高易损坏，平均寿命只有2～3年，并不适用于弥补缺陷。
因此，目前市场上迫切需要一种兼具准确度和鲁棒性，检测范围较大的，低成本的适用于智慧交通实时监控的公交车道占用检测技术。
发明内容
为了解决上述技术问题，本发明提出一种兼具准确度和鲁棒性，检测范围较大的，低成本的适用于智慧交通实时监控的公交车道占用检测技术，真正做到交通违章智能化实时监控，具有良好的开发和应用前景。
本发明所采用的技术方案是一种基于毫米波雷达与视觉融合的公交车道占用检测方法，包括如下步骤：
步骤1，在交通卡口架设毫米波雷达与摄像头，判断是否为公交车车道专用时段，在视频图像帧中提取公交车专用车道线，确定车道之间及附近为ROI区域；
步骤2，筛选出探测目标的雷达信号点，通过世界坐标系和投影矩阵将雷达目标转换到图像坐标系，只保留ROI区域的目标并预估候选目标区域；
步骤3，对图像中的每个候选目标区域，使用轻量级目标检测模型进行交通对象目标识别，获取交通对象边框与特征，并进行车牌捕捉，联合卡尔曼滤波和匈牙利算法进行多目标跟踪，感知ROI区域所有的交通对象，记录运动轨迹；
步骤4，通过车牌信息与车辆特征进行交通对象判断，若不为公交车或允许借道通行的特殊车辆，则进入下一步骤；
步骤5，对车辆运动轨迹和公交车道进行空间叠置分析，若连续多帧中，出现一定数量的图像，发生车辆和公交车道内除了可借道行驶的黄色格网区域以外的大面积重合，则判断为目标车辆发生了公交车道占用行为，记录其违章信息。
进一步的，所述步骤1的具体实现如下；
在交通卡口交通杆上架设毫米波雷达与摄像头，实时获取毫米波和视频信号，若当前时段为地区规定公交专用车道使用时段，则开始进行公交车道占用的检测；
在视频帧中提取公交专用车道线，区分黄色格网区域与其他区域，将同一道路车道线间及平行于车道扩展矩形区域设为感兴趣区域，即ROI区域。
进一步的，采用人工标注或者基于图像处理的自动识别方法在视频帧中提取公交专用车道线，区分黄色格网区域与其他区域。
进一步的，基于图像处理方法识别车道线时，采用基于小波变换和并联多尺度空洞卷积模块的分割网络提取公交专用车道线，具体实现方式如下；
所述分割网络的左侧部分为编码器结构，输入图像首先经过一个Double Conv结构，再使用2×2卷积核对特征图进行最大池化操作，最大池化操作后图像大小变为原来的一半，但是同时特征的通道数增加一倍；其中Double Conv 结构由两个标准的3×3卷积层和一个ReLu激活函数层所组成，在卷积的过程中对图像进行填充，以保证卷积后图像的大小不变；通过最大池化层之后，将对图像进行第一层二维离散小波变换所得到的水平分量、垂直分量和近似分量使用连接的方式与特征图进行结合，共进行了4次离散小波分解，将每次分解得到的结果分别和不同阶段最大池化层得到的特征图进行连接，将多尺度的信息进行特征融合，其中最大池化操作后面都连接一个Double Conv结构；编码器中共含有5个最大池化层，最后一次池化后未连接小波变换的结果，直接得到一定大小的特征图，接下来使用并联级的多尺度空洞卷积模块对一定大小的特征图进行处理，由此获得多尺度特征和全局特征，从而更好的对不同形状结构的车道标记线进行分割；
在解码器阶段，使用3×3大小的卷积核进行反卷积操作进行上采样来逐步恢复特征图的分辨率，并使用跳跃连接结构与编码器中相应的特征进行加和，从而对获得的较低层级的特征进行精细化分割；在经过5次上采样后特征图分辨率恢复到与输入图像相同的大小，最后使用Sigmoid非线性激活函数将最终预测概率范围控制在0和1之间，概率大于等于0.5的像素分类为车道标记标线，小于0.5的分类为背景。
进一步的，所述步骤2的具体实现方式如下；
毫米波雷达通过计算接收信号与发射信号的多普勒频移，来提供探测目标的相对距离R、相对速度V以及方位角α三个数据信息，对雷达目标信号进预处理，滤除空目标信号、无效信号和静止信号；
令摄像头坐标系为Oc-XcYcZc，以摄像头光心为原点，以主光轴为Zc轴，Xc轴指向地面；令雷达坐标系为Or-XrYrZr，以雷达几何中心为原点，Zr轴垂直于发射面，Xr轴指向雷达左侧；三维世界坐标系为Ow-XwYwZw，图像二维平面坐标系为Op-XpYpZp；
雷达信号与雷达坐标系的转换关系如下公式：
Figure BDA0003664132960000041
雷达设备在距离世界坐标系高度为H，I和L分别为Ow与Or在Xr方向和Zr方向的偏移量，雷达坐标系与世界坐标系的转换关系如下公式：
Figure BDA0003664132960000042
R为相机外部参数旋转矩阵，t为相机外部参数平移向量，相机坐标系与世界坐标系的转换关系如下公式：
Figure BDA0003664132960000043
f为摄像头焦距，(dx,dy)为像素的物理尺寸，(Xp0,Yp0)为摄像机主点偏移量；则图像坐标系与相机坐标系和图像坐标系的转换关系如下公式：
Figure BDA0003664132960000044
令P为投影矩阵，则P表示如下：
Figure BDA0003664132960000051
雷达点代表了探测物体的位置和速度信息，通过雷达点可预估探测物体的候选范围；通过先验知识可知，常见交通对象的最大高度为hm，最大宽度为wm，最大长度为lm，雷达点有概率分布于目标的任意位置，因此在世界坐标系中的候选范围应至少为交通对象包围框的2倍；
根据(3)(4)式可知，对雷达信号为(R,α)的探测目标，候选范围在图像坐标系的矩阵坐标如下式所示：
Figure BDA0003664132960000052
其中(Xp1,Yp1)为候选矩阵区域左上角坐标，(Xp2,Yp2)为候选矩阵区域右下角坐标；
保留视频图像帧中候选矩形与ROI区域有交集的目标作为候选目标，候选矩形与ROI区域的交集即为候选目标区域。
进一步的，所述步骤3的具体实现方式如下；
对视频图像帧中候选目标的候选目标区域使用轻量级目标检测模型进行交通对象识别，获取目标边框和特征；
考虑到同一时间可能有多个检测目标处于ROI区域，采用基于 Tracking-by-Detection策略，进行多目标跟踪；对于某一帧在上一步骤中的目标检测结果，首先根据轨迹通过卡尔曼滤波算法预测当前帧中的位置，接着计算各个预测边框与检测边框的交并比距离，作为代价矩阵利用匈牙利算法进行匹配，最后根据先验和后验条件，利用卡尔曼滤波算法更新结果，得到当前帧的最优估计，当跟踪目标驶离ROI区域，则结束跟踪；
在跟踪过程中，持续进行车牌捕捉与识别，直到得到稳定的识别结果。
进一步的，所述步骤4具体为：
对跟踪稳定的交通对象进行车辆类别判断，若其目标检测模型输出的最高类别概率大于阈值PRthres，则目标检测模型识别结果可用；反之，通过车牌查询获得车辆类别；
通过先验知识，获得地区交通法律允许借用公交车道通行的特殊车辆类别；若车辆识别结果不为公交车，则检索是否为特殊车辆；若未查询到结果，则判断为禁止占用公交车道的车辆，并进入下一步骤。
进一步的，所述步骤5具体为：
某个目标跟踪结束后，进行运动轨迹与公交车道区域的空间叠置分析，由于摄像头光轴与目标存在夹角，在图像坐标系下，邻接车道行驶的车辆可能与公交车道发生面积重叠而导致误判，社会车辆允许借用公交车道黄色格网区域正常右转，目标检测模型会在某些帧中存在目标误检；考虑以上问题，采用如下判断方法：
某一帧图像中，车辆边框的面积为S0，与公交车道非黄色网格区域的相交面积为SI，相交比例阈值为Pthres，若在视频连续的N帧图像中，有超过一定百分比的图像中，出现
SI/S0＞Pthres (7)
即可判断为目标车辆发生公交车道占用违章行为；
记录视频、车牌、侵占时长车辆违章信息。
进一步的，所述轻量级目标检测模型为YOLOv5-Lite模型。
本发明的有益效果是：
1.系统鲁棒性与准确度较高。
毫米波雷达与视觉融合克服了单一传感器的劣势，克服特殊和恶劣环境影。
2.普适性高，检测范围大。
毫米波雷达探测范围可达300m，辅助不同架设高度下，远距离对象在视频中的检测和跟踪效果。
3.实时检测，节约设备端成本。
利用雷达检测候选目标与道路分割缩小目标检测范围，同时采用轻量级网络，目标检测模型更轻更快易于部署，对设备端计算性能要求降低。
4.多目标跟踪，检测数量多。
采用卡尔曼滤波与匈牙利算法结合的多目标追踪算法，可以同时检测多个违章交通对象，提高检测效率。
附图说明
图1为本发明的流程框图。
图2为本发明的设备安装和适用场景示意图。
图3为本发明的“基于小波变换和并联多尺度空洞卷积模块的分割网络”框架图。
图4为本发明的“并联多尺度空洞卷积模块”框架图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，本发明提供一种基于毫米波雷达与视觉融合的公交车道占用检测方法，包括如下步骤：
步骤1：在交通卡口架设毫米波雷达与摄像头，判断是否为公交车车道专用时段，在视频图像帧中提取公交车专用车道线，确定车道之间及附近为ROI区域；
所述步骤1具体为：
如图2所示，在交通卡口交通杆上架设毫米波雷达与摄像头，实时获取毫米波和视频信号。
在交通卡口交通杆上架设毫米波雷达与摄像头，实时获取毫米波和视频信号。若当前时段为地区规定公交专用车道使用时段，常见为7:00-22:00，则开始进行下述占用检测方法。
由于设备固定，可采用人工标注或者基于图像处理的自动识别方法在视频帧中提取公交专用车道线，需要区分黄色格网区域与其他区域。
采用图像处理方法识别车道线时，在实际复杂的城市交通场景中，传统图像处理方法难以精准识别和定位，目前深度学习的目标分割算法已经广泛应用于车道线分割，且取得了良好的效果。但在本场景中，摄像头主光轴的架设角度不一；车道标记标线在图像中具有多种不同的形态结构，距离摄像头距离导致同一标线产生极大的面积差异。
针对以上问题，本发明提出了一种“基于小波变换和并联多尺度空洞卷积模块的分割网络”，网络结构如图3所示，下面对网络设计进行具体阐述。
图3中左侧部分为网络的编码器结构，其中Double Conv结构由两个标准的 3×3卷积层和一个ReLu激活函数层所组成，在卷积的过程中对图像进行填充，以保证卷积后图像的大小不变。输入图像首先经过Double Conv结构后，使用2 ×2卷积核对特征图进行最大池化操作，最大池化操作后图像大小变为原来的一半，但是同时特征的通道数增加一倍。通过最大池化层之后，我们将对图像进行第一层二维离散小波变换所得到的水平分量、垂直分量和近似分量使用连接 (Concat)的方式与特征图进行结合。共进行了4次离散小波分解，将每次分解得到的结果分别和不同阶段最大池化层得到的特征图进行连接，将多尺度的信息进行特征融合(Fusion)，其中最大池化操作后面都连接一个Double Conv结构。编码器中共含有5个最大池化层，最后一次池化后未连接小波变换的结果，1024 ×1024大小的输入图像最后会得到32×32大小的特征图。
接下来使用如图4所示的并联级的多尺度空洞卷积模块(Parallel Multi-scaleDilated Convolution，在图中用PMDC表示)对32×32大小的特征图进行处理，来获得的多尺度特征和全局特征从而更好的对不同形状结构的车道标记线进行分割。所述并联级的多尺度空洞卷积模块是由金字塔结构的多尺度空洞卷积构成，输入为32×32大小的特征图，其中最上层包括4个串联的空洞卷积，步长分别为1,2,4,8，相应的感受野大小为31×31，从上到下空洞卷积步长递减，感受野也逐渐减小；第二层包括3个串联的空洞卷积，第三层包括2个串联的空洞卷积，第四层包括1个空洞卷积，最底下一层是全局平均池化。最上层的感受野几乎可以覆盖整个特征图，将金字塔结构每一层的输出进行并行连接，从而可以提取特征图的多尺度信息。实际可以根据需要检测的车道标记线的尺寸大小对空洞卷积步长进行调整。
在解码器阶段，使用3×3大小的卷积核进行反卷积操作进行上采样来逐步恢复特征图的分辨率，并使用跳跃连接结构与编码器中的特征进行加和，以获得较低层级的特征进行精细化分割，上采样和特征融合在图3中使用(Deconv-Fuse 表示)。由于车道标记标线的数据集样本的严重不平衡以及此类数据集的图像数目34稀缺性，在解码器结构中在网络中添加了dropout层以防止过度拟合。在经过5次上采样后特征图分辨率恢复到与输入图像相同的大小，最后使用 Sigmoid非线性激活函数将最终预测概率范围控制在0和1之间，概率大于等于0.5的像素分类为车道标记标线，小于0.5的分类为背景。
该网络结构对车道标记标线分割具有两大优点：
1.小波变换的多尺度分解结果为提取多尺度特征提供了可能，跳跃连接结构和并联多尺度空洞卷积模块进一步将低层和高层特征结合。
2.通过插入离散小波变换结果以保留图像的高频信息和光谱信息，简单的“编码器-解码器”结构和并联多尺度空洞卷积模块中使用加和融合特征来减少参数数目，加快模型训练速度，从而提高车道标记线提取精度。
利用上述网络模型，对图像进行公交车道线检测，将同一道路车道线间及平行于车道50像素扩展矩形区域设为感兴趣区域(ROI)。
步骤2：根据速度等条件筛选出探测目标的雷达信号点，通过世界坐标系和投影矩阵将雷达目标转换到图像坐标系，只保留ROI区域的目标并预估候选区域。
步骤2具体为：
毫米波雷达系统通过计算接收信号与发射信号的多普勒频移，来提供探测目标的相对距离R、相对速度V以及方位角α三个数据信息。对雷达目标信号进预处理，滤除空目标信号、无效信号和静止信号。
令摄像头坐标系为Oc-XcYcZc，以摄像头光心为原点，以主光轴为Zc轴，Xc轴指向地面；令雷达坐标系为Or-XrYrZr，以雷达几何中心为原点，Zr轴垂直于发射面，Xr轴指向雷达左侧。三维世界坐标系为Ow-XwYwZw，图像二维平面坐标系为Op-XpYpZp。
雷达信号与雷达坐标系的转换关系如下公式：
Figure BDA0003664132960000091
雷达设备在距离世界坐标系高度为H，I和L分别为Ow与Or在Xr方向和Zr方向的偏移量，雷达坐标系与世界坐标系的转换关系如下公式：
Figure BDA0003664132960000101
R为相机外部参数旋转矩阵，t为相机外部参数平移向量，相机坐标系与世界坐标系的转换关系如下公式：
Figure BDA0003664132960000102
f为摄像头焦距，(dx,dy)为像素的物理尺寸，(Xp0,Yp0)为摄像机主点偏移量；则图像坐标系与相机坐标系和图像坐标系的转换关系如下公式：
Figure BDA0003664132960000103
令P为投影矩阵，则P表示如下：
Figure BDA0003664132960000104
雷达点代表了探测物体的位置和速度信息，通过雷达点可预估探测物体的候选范围。通过先验知识可知，常见交通对象的最大高度为hm＝4m，最大宽度为 wm＝3m，最大长度为lm＝12m，雷达点有概率分布于目标的任意位置，因此在世界坐标系中的候选范围应至少为交通对象包围框的2倍。
根据(3)(4)式可知，对雷达信号为(R,α)的探测目标，候选范围在图像坐标系的矩阵坐标如下式所示：
Figure BDA0003664132960000111
其中(Xp1,Yp1)为候选矩阵区域左上角坐标，(Xp2,Yp2)为候选矩阵区域右下角坐标。
保留视频图像帧中候选矩形与ROI区域有交集的目标作为候选目标，候选矩形与ROI区域的交集即为候选目标区域。
步骤3：对图像中的每个候选目标区域，使用轻量级目标检测模型进行交通对象目标识别，获取交通对象边框与特征，并进行车牌捕捉。联合卡尔曼滤波和匈牙利算法进行多目标跟踪，感知ROI区域所有的交通对象，记录运动轨迹；
步骤3具体为：
对视频图像帧中每个候选目标的候选框区域使用轻量级YOLOv5-Lite模型进行交通对象识别，获取的其框和特征。
YOLOv5-Lite在YOLOv5基础上进行了一系列消融实验，对head进行通道裁剪，并摘除Focus层和4次slice操作。这使得网络模型在量化精度下降在可接受范围，同时更轻、更快、更易部署，减轻设备性能的需求，实现低延时实时检测。
考虑到同一时间可能有多个检测目标处于ROI区域，采用基于 Tracking-by-Detection策略，进行多目标跟踪(MOT)。
对于某一帧在上一步骤中的目标检测结果，首先根据轨迹通过卡尔曼滤波算法(Kalman filter)预测当前帧中的位置。接着计算各个预测边框与检测边框的交并比(IoU)距离，作为代价矩阵利用匈牙利算法(Hungarian)进行匹配。最后根据先验和后验条件，利用卡尔曼滤波算法更新，得到当前帧的最优估计。
在跟踪过程中，持续对每一帧的最优估计边框，采用轻量级高性能开源中文车牌识别框架HyperLRP-Lite进行识别，直到得到稳定的识别结果。
步骤4：通过车牌信息与车辆特征进行交通对象判断，若不为公交车或允许借道通行的特殊车辆，则进入下一步骤；
步骤4具体为：
对跟踪稳定的交通对象进行车辆类别判断，若其目标检测模型输出的最高类别概率大于阈值PRthres＝95％，则目标检测模型识别结果可信；反之，通过车牌查询获得车辆类别。
通过先验知识，获得地区交通法律允许借用公交车道通行的特殊车辆类别。
一般常见类别如下：
1.符合《校车安全管理条例》规定的校车，且正在运载学生；
2.警车、消防车、救护车、工程救险车等，且正在执行紧急任务；
3.清障施救车辆等，且正在实施施救任务；
若车辆识别结果不为公交车，则检索是否为地区规定的特殊车辆；若未查询到结果，则判断目标为禁止占用公交车道的车辆，并进入下一步骤。
步骤5：对车辆轨迹和公交车道进行空间叠置分析，若连续多帧中，出现出现一定数量的图像，发生车辆和公交车道内除了可借道行驶的黄色格网区域以外的大面积重合，，则判断为目标车辆发生了公交车道占用行为，记录其违章信息。
步骤5具体为：
某个目标的跟踪结束后，进行运动轨迹(因为需要判断连续的多帧图像都有重叠现象，虽然每一帧图像单独看是通过该车辆边框面积进行计算，但是从多帧连续图像的角度看就是运动轨迹)与公交车道区域的空间叠置分析。如图2所示，车辆P3出现了公交车道占用行为；允许车辆P2借用公交车道黄色格网区域正常右转；由于摄像头光轴与目标存在夹角，在图像坐标系下，邻接车道行驶的车辆P1可能与公交车道发生面积重叠而导致误判。目标检测模型会在某些帧中存在目标误检。考虑以上问题，采用如下判断方法：
摄像头视频帧率F fps/s，在某一帧图像中，车辆边框的面积为S0，与公交车道非黄色网格区域的相交面积为SI，相交比例阈值为Pthres＝0.8。若在视频连续的 2/F帧图像中，有超过60％的图像中，出现
SI/S0＞Pthres (7)
即可判断为目标车辆发生公交车道占用违章行为。
记录视频、车牌、侵占时长等车辆违章信息。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种基于毫米波雷达与视觉融合的公交车道占用检测方法，其特征在于，包括如下步骤：
步骤1，在交通卡口架设毫米波雷达与摄像头，判断是否为公交车车道专用时段，在视频图像帧中提取公交车专用车道线，确定车道之间及附近为ROI区域；
步骤2，筛选出探测目标的雷达信号点，通过世界坐标系和投影矩阵将雷达目标转换到图像坐标系，只保留ROI区域的目标并预估候选目标区域；
步骤3，对图像中的每个候选目标区域，使用轻量级目标检测模型进行交通对象目标识别，获取交通对象边框与特征，并进行车牌捕捉，联合卡尔曼滤波和匈牙利算法进行多目标跟踪，感知ROI区域所有的交通对象，记录运动轨迹；
步骤4，通过车牌信息与车辆特征进行交通对象判断，若不为公交车或允许借道通行的特殊车辆，则进入下一步骤；
步骤5，对车辆运动轨迹和公交车道进行空间叠置分析，若连续多帧中，出现一定数量的图像，发生车辆和公交车道内除了可借道行驶的黄色格网区域以外的大面积重合，则判断为目标车辆发生了公交车道占用行为，记录其违章信息。
2.根据权利要求1所述的基于毫米波雷达与视觉融合的公交车道占用检测方法，其特征在于：所述步骤1的具体实现如下；
在交通卡口交通杆上架设毫米波雷达与摄像头，实时获取毫米波和视频信号，若当前时段为地区规定公交专用车道使用时段，则开始进行公交车道占用的检测；
在视频帧中提取公交专用车道线，区分黄色格网区域与其他区域，将同一道路车道线间及平行于车道扩展矩形区域设为感兴趣区域，即ROI区域。
3.根据权利要求2所述的基于毫米波雷达与视觉融合的公交车道占用检测方法，其特征在于：采用人工标注或者基于图像处理的自动识别方法在视频帧中提取公交专用车道线，区分黄色格网区域与其他区域。
4.根据权利要求3所述的基于毫米波雷达与视觉融合的公交车道占用检测方法，其特征在于：基于图像处理方法识别车道线时，采用基于小波变换和并联多尺度空洞卷积模块的分割网络提取公交专用车道线，具体实现方式如下；
所述分割网络的左侧部分为编码器结构，输入图像首先经过一个Double Conv结构，再使用2×2卷积核对特征图进行最大池化操作，最大池化操作后图像大小变为原来的一半，但是同时特征的通道数增加一倍；其中Double Conv结构由两个标准的3×3卷积层和一个ReLu激活函数层所组成，在卷积的过程中对图像进行填充，以保证卷积后图像的大小不变；通过最大池化层之后，将对图像进行第一层二维离散小波变换所得到的水平分量、垂直分量和近似分量使用连接的方式与特征图进行结合，共进行了4次离散小波分解，将每次分解得到的结果分别和不同阶段最大池化层得到的特征图进行连接，将多尺度的信息进行特征融合，其中最大池化操作后面都连接一个Double Conv结构；编码器中共含有5个最大池化层，最后一次池化后未连接小波变换的结果，直接得到一定大小的特征图，接下来使用并联级的多尺度空洞卷积模块对一定大小的特征图进行处理，由此获得多尺度特征和全局特征，从而更好的对不同形状结构的车道标记线进行分割；
在解码器阶段，使用3×3大小的卷积核进行反卷积操作进行上采样来逐步恢复特征图的分辨率，并使用跳跃连接结构与编码器中相应的特征进行加和，从而对获得的较低层级的特征进行精细化分割；在经过5次上采样后特征图分辨率恢复到与输入图像相同的大小，最后使用Sigmoid非线性激活函数将最终预测概率范围控制在0和1之间，概率大于等于0.5的像素分类为车道标记标线，小于0.5的分类为背景。
5.根据权利要求1所述的基于毫米波雷达与视觉融合的公交车道占用检测方法，其特征在于：所述步骤2的具体实现方式如下；
毫米波雷达通过计算接收信号与发射信号的多普勒频移，来提供探测目标的相对距离R、相对速度V以及方位角α三个数据信息，对雷达目标信号进预处理，滤除空目标信号、无效信号和静止信号；
令摄像头坐标系为Oc-XcYcZc，以摄像头光心为原点，以主光轴为Zc轴，Xc轴指向地面；令雷达坐标系为Or-XrYrZr，以雷达几何中心为原点，Zr轴垂直于发射面，Xr轴指向雷达左侧；三维世界坐标系为Ow-XwYwZw，图像二维平面坐标系为Op-XpYpZp；
雷达信号与雷达坐标系的转换关系如下公式：
Figure FDA0003664132950000021
雷达设备在距离世界坐标系高度为H，I和L分别为Ow与Or在Xr方向和Zr方向的偏移量，雷达坐标系与世界坐标系的转换关系如下公式：
Figure FDA0003664132950000031
R为相机外部参数旋转矩阵，t为相机外部参数平移向量，相机坐标系与世界坐标系的转换关系如下公式：
Figure FDA0003664132950000032
f为摄像头焦距，(dx，dy)为像素的物理尺寸，(Xp0，Yp0)为摄像机主点偏移量；则图像坐标系与相机坐标系和图像坐标系的转换关系如下公式：
Figure FDA0003664132950000033
令P为投影矩阵，则P表示如下：
Figure FDA0003664132950000034
雷达点代表了探测物体的位置和速度信息，通过雷达点可预估探测物体的候选范围；通过先验知识可知，常见交通对象的最大高度为hm，最大宽度为wm，最大长度为lm，雷达点有概率分布于目标的任意位置，因此在世界坐标系中的候选范围应至少为交通对象包围框的2倍；
根据(3)(4)式可知，对雷达信号为(R，α)的探测目标，候选范围在图像坐标系的矩阵坐标如下式所示：
Figure FDA0003664132950000041
其中(Xp1，Yp1)为候选矩阵区域左上角坐标，(Xp2，Yp2)为候选矩阵区域右下角坐标；
保留视频图像帧中候选矩形与ROI区域有交集的目标作为候选目标，候选矩形与ROI区域的交集即为候选目标区域。
6.根据权利要求1所述的基于毫米波雷达与视觉融合的公交车道占用检测方法，其特征在于：所述步骤3的具体实现方式如下；
对视频图像帧中候选目标的候选目标区域使用轻量级目标检测模型进行交通对象识别，获取目标边框和特征；
考虑到同一时间可能有多个检测目标处于ROI区域，采用基于Tracking-by-Detection策略，进行多目标跟踪；对于某一帧在上一步骤中的目标检测结果，首先根据轨迹通过卡尔曼滤波算法预测当前帧中的位置，接着计算各个预测边框与检测边框的交并比距离，作为代价矩阵利用匈牙利算法进行匹配，最后根据先验和后验条件，利用卡尔曼滤波算法更新结果，得到当前帧的最优估计，当跟踪目标驶离ROI区域，则结束跟踪；
在跟踪过程中，持续进行车牌捕捉与识别，直到得到稳定的识别结果。
7.根据权利要求1所述的基于毫米波雷达与视觉融合的公交车道占用检测方法，其特征在于：所述步骤4具体为：
对跟踪稳定的交通对象进行车辆类别判断，若其目标检测模型输出的最高类别概率大于阈值PRthres，则目标检测模型识别结果可用；反之，通过车牌查询获得车辆类别；
通过先验知识，获得地区交通法律允许借用公交车道通行的特殊车辆类别；若车辆识别结果不为公交车，则检索是否为特殊车辆；若未查询到结果，则判断为禁止占用公交车道的车辆，并进入下一步骤。
8.根据权利要求1所述的基于毫米波雷达与视觉融合的公交车道占用检测方法，其特征在于：所述步骤5具体为：
某个目标跟踪结束后，进行运动轨迹与公交车道区域的空间叠置分析，由于摄像头光轴与目标存在夹角，在图像坐标系下，邻接车道行驶的车辆可能与公交车道发生面积重叠而导致误判，社会车辆允许借用公交车道黄色格网区域正常右转，目标检测模型会在某些帧中存在目标误检；考虑以上问题，采用如下判断方法：
某一帧图像中，车辆边框的面积为S0，与公交车道非黄色网格区域的相交面积为SI，相交比例阈值为Pthres，若在视频连续的N帧图像中，有超过一定百分比的图像中，出现
SI/S0＞Pthres (7)
即可判断为目标车辆发生公交车道占用违章行为；
记录视频、车牌、侵占时长车辆违章信息。
9.根据权利要求1所述的基于毫米波雷达与视觉融合的公交车道占用检测方法，其特征在于：所述轻量级目标检测模型为YOLOv5-Lite模型。
CN202210588585.8A 2022-05-26 2022-05-26 基于毫米波雷达与视觉融合的公交车道占用检测方法 Pending CN114898296A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210588585.8A CN114898296A (zh) 2022-05-26 2022-05-26 基于毫米波雷达与视觉融合的公交车道占用检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210588585.8A CN114898296A (zh) 2022-05-26 2022-05-26 基于毫米波雷达与视觉融合的公交车道占用检测方法

Publications (1)

Publication Number Publication Date
CN114898296A true CN114898296A (zh) 2022-08-12

Family

ID=82726899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210588585.8A Pending CN114898296A (zh) 2022-05-26 2022-05-26 基于毫米波雷达与视觉融合的公交车道占用检测方法

Country Status (1)

Country Link
CN (1) CN114898296A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115240435A (zh) * 2022-09-21 2022-10-25 广州市德赛西威智慧交通技术有限公司 一种基于ai技术的车辆违章行驶检测方法、装置
CN115542312A (zh) * 2022-11-30 2022-12-30 苏州挚途科技有限公司 多传感器关联方法及装置
CN115908838A (zh) * 2022-12-12 2023-04-04 南京慧尔视智能科技有限公司 基于雷视融合的车辆存在检测方法、装置、设备以及介质
CN116453205A (zh) * 2022-11-22 2023-07-18 深圳市旗扬特种装备技术工程有限公司 一种营运车辆滞站揽客行为识别方法、装置及系统
CN117434531A (zh) * 2023-12-21 2024-01-23 中交第一公路勘察设计研究院有限公司 一种毫米波雷达与摄像机的检测目标特征融合方法及设备
CN117636270A (zh) * 2024-01-23 2024-03-01 南京理工大学 基于单目摄像头的车辆抢道事件识别方法及设备
CN117672007A (zh) * 2024-02-03 2024-03-08 福建省高速公路科技创新研究院有限公司 一种基于雷视融合的道路施工区域安全预警系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115240435A (zh) * 2022-09-21 2022-10-25 广州市德赛西威智慧交通技术有限公司 一种基于ai技术的车辆违章行驶检测方法、装置
CN116453205A (zh) * 2022-11-22 2023-07-18 深圳市旗扬特种装备技术工程有限公司 一种营运车辆滞站揽客行为识别方法、装置及系统
CN115542312A (zh) * 2022-11-30 2022-12-30 苏州挚途科技有限公司 多传感器关联方法及装置
CN115908838A (zh) * 2022-12-12 2023-04-04 南京慧尔视智能科技有限公司 基于雷视融合的车辆存在检测方法、装置、设备以及介质
CN115908838B (zh) * 2022-12-12 2023-11-07 南京慧尔视智能科技有限公司 基于雷视融合的车辆存在检测方法、装置、设备以及介质
CN117434531A (zh) * 2023-12-21 2024-01-23 中交第一公路勘察设计研究院有限公司 一种毫米波雷达与摄像机的检测目标特征融合方法及设备
CN117434531B (zh) * 2023-12-21 2024-03-12 中交第一公路勘察设计研究院有限公司 一种毫米波雷达与摄像机的检测目标特征融合方法及设备
CN117636270A (zh) * 2024-01-23 2024-03-01 南京理工大学 基于单目摄像头的车辆抢道事件识别方法及设备
CN117636270B (zh) * 2024-01-23 2024-04-09 南京理工大学 基于单目摄像头的车辆抢道事件识别方法及设备
CN117672007A (zh) * 2024-02-03 2024-03-08 福建省高速公路科技创新研究院有限公司 一种基于雷视融合的道路施工区域安全预警系统
CN117672007B (zh) * 2024-02-03 2024-04-26 福建省高速公路科技创新研究院有限公司 一种基于雷视融合的道路施工区域安全预警系统

Similar Documents

Publication Publication Date Title
CN114898296A (zh) 基于毫米波雷达与视觉融合的公交车道占用检测方法
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
CN110178167B (zh) 基于摄像机协同接力的路口违章视频识别方法
Wu et al. Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement
US7804980B2 (en) Environment recognition device
CN102682292B (zh) 基于单目视觉的道路边缘检测及粗定位方法
US9064418B2 (en) Vehicle-mounted environment recognition apparatus and vehicle-mounted environment recognition system
CN111461088B (zh) 一种基于图像处理与目标识别的轨道交通避障系统
US20100098297A1 (en) Clear path detection using segmentation-based method
CN105718870A (zh) 自动驾驶中基于前向摄像头的道路标线提取方法
Chiu et al. Automatic Traffic Surveillance System for Vision-Based Vehicle Recognition and Tracking.
CN107705577B (zh) 一种基于车道线标定车辆违章变道的实时检测方法及系统
CN109887276B (zh) 基于前景提取与深度学习融合的夜间交通拥堵检测方法
Wang et al. Road edge detection in all weather and illumination via driving video mining
CN104574993A (zh) 一种道路监控的方法及装置
CN113903008A (zh) 基于深度学习和轨迹跟踪的匝道出口车辆违法识别方法
Janda et al. Road boundary detection for run-off road prevention based on the fusion of video and radar
Cheng et al. Semantic segmentation of road profiles for efficient sensing in autonomous driving
Coronado et al. Detection and classification of road signs for automatic inventory systems using computer vision
CN114155720A (zh) 一种路侧激光雷达的车辆检测和轨迹预测方法
Kanhere et al. Real-time detection and tracking of vehicle base fronts for measuring traffic counts and speeds on highways
Kamenetsky et al. Aerial car detection and urban understanding
Dai et al. A driving assistance system with vision based vehicle detection techniques
CN112537301B (zh) 智能驾驶交通载具的行车参照物选择方法、装置
CN112537302B (zh) 一种无人驾驶交通载具车道保持方法、装置及交通载具

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination