CN112767475A - 一种基于c-v2x、雷达与视觉的智能路侧感知系统 - Google Patents
一种基于c-v2x、雷达与视觉的智能路侧感知系统 Download PDFInfo
- Publication number
- CN112767475A CN112767475A CN202011607167.6A CN202011607167A CN112767475A CN 112767475 A CN112767475 A CN 112767475A CN 202011607167 A CN202011607167 A CN 202011607167A CN 112767475 A CN112767475 A CN 112767475A
- Authority
- CN
- China
- Prior art keywords
- target
- radar
- fusion
- information
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
- G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
- G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
- G01S13/726—Multiple target tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明请求保护一种基于C‑V2X、雷达和视觉的智能路侧感知系统,该系统集成了C‑V2X通信、目标识别、多源信息融合、目标定位、RSU消息转发等模块,针对视觉目标检测和雷达多目标跟踪,设计了一种轻量级目标检测神经网络模型和一种基于无迹卡尔曼滤波的加权邻域数据关联多目标跟踪算法。设计了一种基于信息增益的多源信息融合权重分配方法,针对不同传感器的采集数据不同步问题,设计了一种基于内插外推法的多传感器融合时间同步方法,然后结合C‑V2X通信,通过车路协同数据对融合结果进行修正补偿,设计了一种基于C‑V2X的多源信息融合修正方法。最后结合高精度定位,将融合感知后的目标信息广播给车辆行人,弥补了车载端感知的不足。
Description
技术领域
本发明属于智能交通领域、具体涉及一种基于C-V2X、雷达和视觉的智能路侧感知系统,包括了智能路侧感知模块、C-V2X通信、高精度定位、边缘计算等,设计了一种集成了C-V2X通信、目标识别、多源信息融合、目标定位、RSU消息转发等一体化的智能路侧感知系统。
背景技术
智能交通系统(ITS)中的环境协同感知和多传感器信息融合处理是非常重要的一环,相当于智能车的眼睛和耳朵。其中环境感知部分,由于当前道路上行驶的车辆是智能车和非智能车共存的情况,单单依靠车载感知是远远不够的这就需要路侧感知来弥补车载感知的不足。将路侧端传感器的融合感知结果,通过5G通信技术和C-V2X通信技术等,进行实时共享,实现“人-车-路-云”的真正协同智能。
除此之外,在路侧系统中引入移动边缘计算平台,融合计算、存储、算法、加速以及大数据为一体,大大降低时延,提高数据处理效率。由于移动边缘计算平台靠近道路设施、人、车以及数据源头,提供这样的边缘计算服务平台,能够满足对实时性、数据优化处理、响应快等方面的需求。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种基于C-V2X、雷达与视觉的智能路侧感知系统。本发明的技术方案如下:
一种基于C-V2X、雷达与视觉的智能路侧感知系统,包括智能路侧感知模块、C-V2X路侧单元,智能路侧感知模块用于采集道路上的交通对象信息,C-V2X路侧单元用于进行车路协同通信和辅助高精度定位,其特征在于,还包括:边缘计算服务器,所述边缘计算服务器包括视觉目标检测模块、雷达多目标跟踪模块、多源信息融合模块、目标定位模块及RSU消息转发模块,其中视觉目标检测模块设计了一种基于MobileNet V2和YOLOv3的轻量级目标检测神经网络模型,用于平衡目标检测速度和小目标检测精度;雷达多目标跟踪模块设计了一种基于无迹卡尔曼滤波的加权邻域数据关联多目标跟踪算法,用于对非有效目标进行滤除,降低雷达的虚警率;多源信息融合模块设计了一种基于信息增益的多源信息融合权重分配方法;针对不同传感器的采集数据不同步问题,设计了一种基于内插外推法的多传感器融合时间同步方法,然后结合C-V2X通信,通过车路协同数据对融合结果进行修正补偿,设计了一种基于C-V2X的多源信息融合修正方法;目标定位模块设计了一种基于高精度定位的目标空间转换方法;RSU消息转发模块设计了一种面向通信效率的路侧V2X消息分发方法,最大化效率的分发目标信息。
进一步的,所述视觉目标检测模块中,改进设计了一种轻量级目标检测神经网络模型,以MobileNet V2网络和YOLOv3为基础,引入深度可分离卷积和具有线性瓶颈的倒残差模块构建主干特征提取网络,对得到的特征图进行空间金字塔池化增大高层特征感受野,然后结合FPN(特征金字塔网络)+PAN(金字塔注意力网络)结构,增加一个自底向上的特征金字塔网络,从不同的主干层对不同的检测层进行参数聚合,融合多尺度特征。
进一步的,所述基于无迹卡尔曼滤波的加权邻域数据关联多目标跟踪算法具体包括:对于毫米波雷达跟踪多目标,首先需要利用阈值进行初选:
其中x,y表示目标在横向和纵向上雷达收到的距离,xmin和ymin是横向和纵向上的距离阈值。
T时刻的雷达观测数据为
Yi(t)=[dt,e,vt,e,at,e]
式中dt,e,vt,e,at,e是雷达T时刻所接收到的目标距离,速度,与加速度,T-1时刻的目标航迹Tk(t-1)的预测值Tk(t|t-1)为:
式中t为雷达探测周期,然后将T时刻的雷达观测数据和T-1时刻的目标航迹Tk(t-1)的预测值Tk(t|t-1)进行加权邻域数据关联,若Yi(t)和Tk(t|t-1)相比较小于某一误差范围:
d0、v0、a0分别表示设定的目标距离、速度和加速度的阈值。则说明Yi(t)和Tk(t|t-1)关联成功,Yi(t)为现有目标,Tk(t|t-1)进行状态更新并维持航迹,否则,Yi(t)为新目标,对Yi(t)进行新建航迹并初始化卡尔曼滤波器,然后查找T-2到T-5四个时刻的航迹中是否存在Tk(t-1),如果存在,则保留航迹并进行卡尔曼滤波预测,否则,删除航迹。
进一步的,所述多源信息融合模块设计了一种基于C-V2X车路协同数据的雷达与摄像头信息融合修正方法,利用车路协同数据对雷达摄像头融合结果进行补偿,首先根据摄像头和毫米波雷达的融合输出序列提取出感兴趣的目标集合,然后根据C-V2X通信接收到的协同目标车辆的数量和位置信息,计算两个识别周期内的有效量测之间的距离,根据量测是否互联对下一采样时刻进行外推形成确认区域并再次判断,此过程迭代至第四个扫描周期,如果有三次以上能满足量测互联,就认为目标是匹配的。
进一步的,对于毫米波雷达和摄像头的空间融合,针对相机坐标系中的点P(xs,ys,zs),则它在图像上的坐标(xi,yi)为:
式中f为相机焦距;
在相机坐标系内,图像中的点m与空间中的点M有如下对应关系:
m=PM
其中P矩阵就是相机的内参矩阵,cx与cy表示光心与相机坐标系原点的偏移量,X、Y、Z表示点M的空间坐标。而空间中的点由世界坐标系表示,即世界坐标系与相机坐标系之间的转换,
R、T分别表示相机外参的正交矩阵和相机外参变量,对于像素坐标系和图像坐标系:
可以得到世界坐标系与像素坐标系之间的转换矩阵:
u、v为像素坐标值,u0、v0是像素坐标和图像坐标转换的补偿参数,然后使用Matlab工具箱中的Camera Clibrator工具进行标定求得内参矩阵。
进一步的,对于毫米波雷达与摄像头的空间融合,在三维空间中毫米波雷达的原点与世界坐标系的原点距离为H,则雷达坐标系中的检测到的物体的距离L和相对角度α在世界坐标系中有如下对应关系:
结合上述世界坐标系和像素坐标系的转换关系可以得到雷达坐标系与像素坐标系的转换关系:
进一步的,所述时间同步的具体步骤如下:利用V2X和雷达适配摄像头的方法,当收取到一帧图像时,记录下当前各个目标的时间标签,当下一帧图像到来时,计算他们的时间差,然后利用雷达数据和V2X数据分别计算雷达目标和V2X目标分别在图像上的位置,分别对每一个目标的位置进行推算,得出新的帧时各个目标的位置,从而完成对新的V2X数据帧、雷达数据帧和相机数据帧的时间同步。
进一步的,所述基于C-V2X车路协同数据的雷达与摄像头信息融合修正方法,具体包括:首先根据摄像头和毫米波雷达的融合输出序列提取出感兴趣的目标集合,然后根据C-V2X通信接收到的协同目标车辆的数量和位置信息,计算两个识别周期内的有效量测之间的距离,具体计算方法为:
其中,为观测值与之间的距离矢量,如果和来自同一目标,则服从自由度为2的χ2的概率分布随机变量,其门限值γ通过查表获得,若则两量测互联,根据量测互联的结果对下一采样时刻进行外推形成确认区域并再次判断,此过程迭代至第四个扫描周期,如果有三次以上能满足量测互联,就建立该目标车辆的航迹并把该目标车辆的身份信息作为航迹标识符,否则终止该假设的轨迹。
进一步的,所述基于信息熵增益的的多源信息融合权重分配方法具体为:
对于n个传感器的属性变量x1,x1,…,xn和最终的融合决策变量D,首先求出融合决策变量的原始信息熵H(D):
eD、SS(D)分别为决策变量D的状态和其状态空间(State Space),P表示概率。
然后计算融合决策变量相对于各属性变量的条件信息熵H(D|xi):
再计算融合决策变量相对于各属性变量的信息增益Gain(D,xi):
Gain(D,xi)=H(D)-H(D|xi)
根据上述方法合理的分配不同传感器在融合过程中所占的比重,所占权重越大,则在进行融合时对最后的决策影响越大,然后将融合感知的交通对象目标信息通过C-V2X通信广播给周围的行人车辆,实现路侧端多传感器融合协同感知。
本发明的优点及有益效果如下:
本发明为一种基于C-V2X、视觉和雷达的智能路侧感知系统,该系统集成了C-V2X通信、视觉目标检测、雷达多目标跟踪、多源信息融合、目标定位、RSU消息分发等模块。在视觉目标检测模块中设计了一种轻量级的目标检测神经网络模型,对比现有方法在相同检测精度的情况下拥有更快的目标检测速度和多尺度检测能力,雷达多目标跟踪模块中将卡尔曼滤波和加权邻域数据关联相结合,有效降低雷达虚警率,提高多目标跟踪能力。信息融合模块中提出了一种基于C-V2X车路协同数据的雷达与摄像头信息融合修正方法,利用车路协同数据对雷达摄像头融合结果进行补偿,有效弥补摄像头雷达因遮挡重叠造成的无法探测到交通对象的缺点。同时,为了提高信息融合识别精度,还设计了基于信息增益的多源信息融合权重分配方法。
本发明结合边缘计算技术,高精度定位技术,计算机视觉技术,信息融合技术,针对路侧智能感知识别的实时性和准确率的要求,设计了一种基于C-V2X、视觉和雷达的智能路侧感知系统,实现对道路交通目标的多维度信息采集,能够为车辆防撞预警和交通路口实时调度、交通大数据分析提供更加低成本、高实时性、高准确性的数据。
附图说明
图1是本发明提供优选实施例基于C-V2X、雷达和视觉的智能路侧感知系统结构图;
图2是基于MobileNet V2和YOLOv3的轻量级目标检测网络模型结构图;
图3是毫米波雷达多目标跟踪流程图;
图4是摄像头和雷达数据融合系统结构图;
图5是基于C-V2X车路协同数据的雷达与摄像头信息融合修正流程图;
图6是基于信息熵增益多传感器权重分配算法流程图;
图7是面向通信效率的路侧V2X消息分发示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是:
参见图1所示,本发明设计的基于C-V2X的智能路侧感知系统架构组成包括:智能路侧感知模块(摄像头、雷达、C-V2X)、C-V2X路侧单元(5G、C-V2X、高精度定位)、边缘计算服务器(多源信息融合、目标识别与定位、消息过滤和筛选)、路由装置(连接系统中各部分)。设计了一种集成了C-V2X通信、目标识别、多源信息融合、目标定位、RSU消息转发等一体化的智能路侧感知系统,改进了基于视觉和雷达的路侧车辆检测算法和多目标跟踪方法,设计了一种基于C-V2X的多源信息融合修正方法,基于信息增益的多源信息融合权重分配方法,以及一种面向通行效率的路侧V2X消息分发方法,结合边缘计算平台、高精度定位和C-V2X通信,将融合感知后的目标信息广播给车辆行人,实现对道路的多维度路侧感知。
参见图2所示,对于视觉的目标检测,利用轻量级卷积神经网络MobileNet V2对YOLOv3进行优化,利用深度可分离卷积的思想大大减少网络权值参数的规模,并结合FPN+PAN的结构提高特征提取的能力。图像经过MobileNet V2网络特征提取后,得到的特征图进行空间金字塔池化,对高层特征进行多尺度池化以增加感受野。与YOLOv3不同的是,在输出预测结果之前,在FPN层后面再添加一个自底向上的特征金字塔,FPN层自顶向下传达强语义特征,而特征金字塔则自底向上传达强定位特征,将二者结合到一起,可以从不同的主干层对不同的检测层进行参数聚合,进一步提高特征提取的能力和多尺度检测的能力。
参见图3所示,对于毫米波雷达跟踪多目标,首先需要利用阈值进行初选:
其中x,y表示目标在横向和纵向上雷达收到的距离,xmin和ymin是横向和纵向上的距离阈值。
T时刻的雷达观测数据为
Yi(t)=[dt,e,vt,e,at,e]
式中dt,e,vt,e,at,e是雷达T时刻所接收到的目标距离,速度,与加速度,T-1时刻的目标航迹Tk(t-1)的预测值Tk(t|t-1)为:
式中t为雷达探测周期,然后将T时刻的雷达观测数据和T-1时刻的目标航迹Tk(t-1)的预测值Tk(t|t-1)进行加权邻域数据关联,若Yi(t)和Tk(t|t-1)相比较小于某一误差范围:
则说明Yi(t)和Tk(t|t-1)关联成功,Yi(t)为现有目标,Tk(t|t-1)进行状态更新并维持航迹,否则,Yi(t)为新目标,对Yi(t)进行新建航迹并初始化卡尔曼滤波器,然后查找T-2到T-5四个时刻的航迹中是否存在Tk(t-1),如果存在,则保留航迹并进行卡尔曼滤波预测,否则,删除航迹。
参见图4所示,在进行多源信息融合过程中,首先将图像信息和雷达信息进行融合,摄像头和雷达分别进行目标检测,检测结果发送给融合数据处理模块,然后对摄像头和雷达检测到的有效目标进行空间融合、时间同步,最后再将融合结果输出。雷达和摄像头的空间融合主要涉及坐标系之间的转换,包括毫米波坐标系、图像坐标系、相机坐标系和世界坐标系,相关转换方法及过程已在前文进行叙述。
进一步的,参见图5所示,利用车路协同通信的V2X消息对摄像头雷达的融合结果进行修正,通过C-V2X通信获取协同目标车辆发布的自身状态及身份信息,利用V2X消息对摄像头雷达的融合关联结果进行修正。首先从雷达摄像头数据中提取出感兴趣的目标集合,根据接收到的协同目标车辆的数量和位置信息,计算两个时间周期内的有效量测之间的距离:
为观测值与之间的距离矢量,如果和来自同一目标,则服从自由度为2的χ2的概率分布随机变量,其门限值γ通过查表获得,若则两量测互联,若连续三个时间周期都能满足量测互联,则认为该协同车辆与摄像头雷达观测目标是匹配的。
进一步的,为了获取目标的绝对位置信息,还需进行目标的相对位置转换。以路侧雷达在大地投影点为坐标原点建立坐标系,若感知到的目标的相对位置为:换算为直角坐标系为:其中d为目标到坐标原点的距离,为目标到坐标原点的连线和水平x轴的夹角,若已知坐标原点的绝对位置坐标为(L,B,H),则可由下列公式得到目标的绝对位置坐标(X,Y,Z):
其中,
V=RL/(1-E2*(sinB)2)0.5
RL为地球长轴半径,RS为地球短轴半径。
参见图6所示,在多源信息融合过程中,使用基于信息增益的方法对不同属性来源的数据进行合理分配。对于n个传感器的属性变量x1,x1,…,xn和最终的融合决策变量D,首先求出融合决策变量的原始信息熵H(D):
然后计算融合决策变量相对于各属性变量的条件信息熵H(D|xi):
再计算融合决策变量相对于各属性变量的信息增益Gain(D,xi):
Gain(D,xi)=H(D)-H(D|xi)
根据上述方法合理的分配不同传感器在融合过程中所占的比重,所占权重越大,则在进行融合时对最后的决策影响越大,然后将融合感知的交通对象目标信息通过C-V2X通信广播给周围的行人车辆,实现路侧端多传感器融合协同感知。
进一步的,如图7所示,在路侧终端向车载终端广播通信时,为了解决路侧终端的消息转发效率问题,设计了一种面向通行效率的路侧V2X消息分发方法。每一个路侧设备都有一段通信覆盖范围,路侧设备通过前述多源信息融合和C-V2X协同通信可以获得每个车辆节点的速度和位置,如果车辆节点已经收到过一次路侧消息,则路侧设备在进行交通状态信息处理时,就不使用该节点的交通状况信息。对于还没有收到路侧设备消息的n个车辆节点,其平均行驶速度vn可由下式计算:则车辆离开路侧设备服务范围的最短时间T与未接收到路侧消息的车辆节点平均速度vn和车辆离开路侧设备服务范围的距离d存在以下关系:T越大,代表车辆在路侧设备服务范围的行驶时间越长,即可认为T是在保证所有车辆可接收到路测消息的情况下,广播消息间隔的最大时长,当路侧设备中计时到达该时间间隔后,路侧设备就对其范围内的车辆进行广播通信,可以使消息的分发效率达到最大。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (6)
1.一种基于C-V2X、雷达与视觉的智能路侧感知系统,包括智能路侧感知模块、C-V2X路侧单元,智能路侧感知模块用于采集道路上的交通对象信息,C-V2X路侧单元用于进行车路协同通信和辅助高精度定位,其特征在于,还包括:边缘计算服务器,所述边缘计算服务器包括视觉目标检测模块、雷达多目标跟踪模块、多源信息融合模块、目标定位模块及RSU消息转发模块,其中视觉目标检测模块设计了一种基于MobileNet V2和YOLOv3的轻量级目标检测神经网络模型,用于平衡目标检测速度和小目标检测精度;雷达多目标跟踪模块设计了一种基于无迹卡尔曼滤波的加权邻域数据关联多目标跟踪算法,用于对非有效目标进行滤除,降低雷达的虚警率;多源信息融合模块设计了一种基于信息增益的多源信息融合权重分配方法;针对不同传感器的采集数据不同步问题,设计了一种基于内插外推法的多传感器融合时间同步方法,然后结合C-V2X通信,通过车路协同数据对融合结果进行修正补偿,设计了一种基于C-V2X车路协同数据的雷达与摄像头信息融合修正方法;目标定位模块设计了一种基于高精度定位的目标空间转换方法;RSU消息转发模块设计了一种面向通信效率的路侧V2X消息分发方法,最大化效率的分发目标信息。
2.根据权利要求1所述的一种基于C-V2X、雷达与视觉的智能路侧感知系统,其特征在于,所述视觉目标检测模块中,改进设计了一种轻量级目标检测神经网络模型,以MobileNet V2网络和YOLOv3为基础,引入深度可分离卷积和具有线性瓶颈的倒残差模块构建主干特征提取网络,对得到的特征图进行空间金字塔池化增大高层特征感受野,然后结合FPN(特征金字塔网络)+PAN(金字塔注意力网络)结构,增加一个自底向上的特征金字塔网络,从不同的主干层对不同的检测层进行参数聚合,融合多尺度特征。
3.根据权利要求1所述的一种基于C-V2X、雷达与视觉的智能路侧感知系统,其特征在于,所述雷达多目标跟踪模块中,设计了一种基于无迹卡尔曼滤波的加权邻域数据关联多目标跟踪算法,具体包括:首先对T时刻的雷达观测数据Yi(t)和T-1时刻的目标航迹Tk(t-1)的预测值Tk(t|t-1)进行加权邻域数据关联,如果Yi(t)和Tk(t|t-1)关联成功,则Yi(t)为现有目标,Tk(t|t-1)进行状态更新并维持航迹,否则,Yi(t)为新目标,对Yi(t)进行新建航迹并初始化卡尔曼滤波器;然后查找四个历史周期的航迹中是否存在Tk(t-1),如果存在,则保留航迹并进行卡尔曼滤波跟踪,否则,删除航迹。
4.根据权利要求1所述的一种基于C-V2X、雷达与视觉的智能路侧感知系统,其特征在于,所述多源信息融合模块设计了一种基于C-V2X车路协同数据的雷达与摄像头信息融合修正方法,利用车路协同数据对雷达摄像头融合结果进行补偿,首先根据摄像头和毫米波雷达的融合输出序列提取出感兴趣的目标集合,然后根据C-V2X通信接收到的协同目标车辆的数量和位置信息,计算两个识别周期内的有效量测之间的距离,根据量测是否互联对下一采样时刻进行外推形成确认区域并再次判断,此过程迭代至第四个扫描周期,如果有三次以上能满足量测互联,就认为目标是匹配的。
5.根据权利要求1所述的一种基于C-V2X、雷达与视觉的智能路侧感知系统,其特征在于,所述时间同步的具体步骤如下:利用V2X和雷达适配摄像头的方法,当收取到一帧图像时,记录下当前各个目标的时间标签,当下一帧图像到来时,计算他们的时间差,然后利用雷达数据和V2X数据分别计算雷达目标和V2X目标分别在图像上的位置,分别对每一个目标的位置进行推算,得出新的帧时各个目标的位置,从而完成对新的V2X数据帧、雷达数据帧和相机数据帧的时间同步。
6.根据权利要求1所述的一种基于C-V2X、雷达与视觉的智能路侧感知系统,其特征在于,所述基于信息熵增益的的多源信息融合权重分配方法具体为:
对于n个传感器的属性变量x1,x1,…,xn和最终的融合决策变量D,首先求出融合决策变量的原始信息熵H(D):
eD、SS(D)分别为决策变量D的状态和其状态空间(State Space),P表示概率;
然后计算融合决策变量相对于各属性变量的条件信息熵H(D|xi):
再计算融合决策变量相对于各属性变量的信息增益Gain(D,xi):
Gain(D,xi)=H(D)-H(D|xi)
从而为不同的传感器在融合过程中确定不同的权重配比。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011607167.6A CN112767475B (zh) | 2020-12-30 | 2020-12-30 | 一种基于c-v2x、雷达与视觉的智能路侧感知系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011607167.6A CN112767475B (zh) | 2020-12-30 | 2020-12-30 | 一种基于c-v2x、雷达与视觉的智能路侧感知系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112767475A true CN112767475A (zh) | 2021-05-07 |
CN112767475B CN112767475B (zh) | 2022-10-18 |
Family
ID=75697474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011607167.6A Active CN112767475B (zh) | 2020-12-30 | 2020-12-30 | 一种基于c-v2x、雷达与视觉的智能路侧感知系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112767475B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113689695A (zh) * | 2021-08-11 | 2021-11-23 | 上海智能网联汽车技术中心有限公司 | 路侧感知系统的数据采集、可视化和标定的方法及系统 |
CN113724295A (zh) * | 2021-09-02 | 2021-11-30 | 中南大学 | 基于计算机视觉的无人机追踪系统及方法 |
CN113762195A (zh) * | 2021-09-16 | 2021-12-07 | 复旦大学 | 一种基于路侧rsu的点云语义分割与理解方法 |
CN113823087A (zh) * | 2021-09-09 | 2021-12-21 | 中国信息通信研究院 | 用于分析路侧感知系统rss性能的方法、装置及测试系统 |
CN113820714A (zh) * | 2021-09-07 | 2021-12-21 | 重庆驰知科技有限公司 | 一种基于多传感器融合的尘雾天气道路环境感知系统 |
CN113947141A (zh) * | 2021-10-14 | 2022-01-18 | 清华大学 | 一种城市路口场景的路侧灯塔感知系统 |
CN114296433A (zh) * | 2021-12-29 | 2022-04-08 | 汇鲲化鹏(海南)科技有限公司 | 一种基于视觉感知的智能体多网融合测控系统 |
CN114973663A (zh) * | 2022-05-16 | 2022-08-30 | 浙江机电职业技术学院 | 一种基于边缘计算的智能路侧单元装置 |
CN115144843A (zh) * | 2022-06-28 | 2022-10-04 | 海信集团控股股份有限公司 | 一种物体位置的融合方法及装置 |
CN115410379A (zh) * | 2021-05-28 | 2022-11-29 | 深圳成谷科技有限公司 | 应用于车路协同的匹配关系确定方法、装置及处理设备 |
CN115966095A (zh) * | 2022-12-02 | 2023-04-14 | 云控智行科技有限公司 | 基于车辆的交通数据融合处理方法、装置、设备及介质 |
WO2023207624A1 (zh) * | 2022-04-26 | 2023-11-02 | 阿里云计算有限公司 | 数据处理方法、设备、介质及路侧协同设备、系统 |
CN117315432A (zh) * | 2023-11-30 | 2023-12-29 | 北京航空航天大学 | 一种动态多目标识别的车路多模态传感器数据融合方法 |
CN117495933A (zh) * | 2024-01-02 | 2024-02-02 | 中国科学院长春光学精密机械与物理研究所 | 基于视差修正的光电望远镜外挂镜头图像实时配准方法 |
CN117649777A (zh) * | 2024-01-24 | 2024-03-05 | 苏州万集车联网技术有限公司 | 目标匹配方法、装置和计算机设备 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160223643A1 (en) * | 2015-01-28 | 2016-08-04 | Wenhua Li | Deep Fusion of Polystatic MIMO Radars with The Internet of Vehicles for Interference-free Environmental Perception |
CN107609522A (zh) * | 2017-09-19 | 2018-01-19 | 东华大学 | 一种基于激光雷达和机器视觉的信息融合车辆检测系统 |
CN109816774A (zh) * | 2018-12-31 | 2019-05-28 | 天合光能股份有限公司 | 一种基于无人机的三维重建系统及三维重建方法 |
CN109829386A (zh) * | 2019-01-04 | 2019-05-31 | 清华大学 | 基于多源信息融合的智能车辆可通行区域检测方法 |
CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
CN110568445A (zh) * | 2019-08-30 | 2019-12-13 | 浙江大学 | 一种轻量化卷积神经网络的激光雷达与视觉融合感知方法 |
CN110738121A (zh) * | 2019-09-17 | 2020-01-31 | 北京科技大学 | 一种前方车辆检测方法及检测系统 |
CN111368706A (zh) * | 2020-03-02 | 2020-07-03 | 南京航空航天大学 | 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法 |
CN111554088A (zh) * | 2020-04-13 | 2020-08-18 | 重庆邮电大学 | 一种多功能v2x智能路侧基站系统 |
CN111694010A (zh) * | 2020-05-27 | 2020-09-22 | 东南大学 | 一种基于视觉与激光雷达融合的路侧车辆识别方法 |
CN111862157A (zh) * | 2020-07-20 | 2020-10-30 | 重庆大学 | 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法 |
-
2020
- 2020-12-30 CN CN202011607167.6A patent/CN112767475B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160223643A1 (en) * | 2015-01-28 | 2016-08-04 | Wenhua Li | Deep Fusion of Polystatic MIMO Radars with The Internet of Vehicles for Interference-free Environmental Perception |
CN107609522A (zh) * | 2017-09-19 | 2018-01-19 | 东华大学 | 一种基于激光雷达和机器视觉的信息融合车辆检测系统 |
CN109816774A (zh) * | 2018-12-31 | 2019-05-28 | 天合光能股份有限公司 | 一种基于无人机的三维重建系统及三维重建方法 |
CN109829386A (zh) * | 2019-01-04 | 2019-05-31 | 清华大学 | 基于多源信息融合的智能车辆可通行区域检测方法 |
CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
CN110568445A (zh) * | 2019-08-30 | 2019-12-13 | 浙江大学 | 一种轻量化卷积神经网络的激光雷达与视觉融合感知方法 |
CN110738121A (zh) * | 2019-09-17 | 2020-01-31 | 北京科技大学 | 一种前方车辆检测方法及检测系统 |
CN111368706A (zh) * | 2020-03-02 | 2020-07-03 | 南京航空航天大学 | 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法 |
CN111554088A (zh) * | 2020-04-13 | 2020-08-18 | 重庆邮电大学 | 一种多功能v2x智能路侧基站系统 |
CN111694010A (zh) * | 2020-05-27 | 2020-09-22 | 东南大学 | 一种基于视觉与激光雷达融合的路侧车辆识别方法 |
CN111862157A (zh) * | 2020-07-20 | 2020-10-30 | 重庆大学 | 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法 |
Non-Patent Citations (1)
Title |
---|
燕红文 等: "基于特征金字塔注意力与深度卷积网络的多目标生猪检测", 《农业工程学报》 * |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115410379B (zh) * | 2021-05-28 | 2024-02-13 | 深圳成谷科技有限公司 | 应用于车路协同的匹配关系确定方法、装置及处理设备 |
CN115410379A (zh) * | 2021-05-28 | 2022-11-29 | 深圳成谷科技有限公司 | 应用于车路协同的匹配关系确定方法、装置及处理设备 |
CN113689695A (zh) * | 2021-08-11 | 2021-11-23 | 上海智能网联汽车技术中心有限公司 | 路侧感知系统的数据采集、可视化和标定的方法及系统 |
CN113689695B (zh) * | 2021-08-11 | 2022-07-08 | 上海智能网联汽车技术中心有限公司 | 路侧感知系统的数据采集、可视化和标定的方法及系统 |
CN113724295A (zh) * | 2021-09-02 | 2021-11-30 | 中南大学 | 基于计算机视觉的无人机追踪系统及方法 |
CN113820714A (zh) * | 2021-09-07 | 2021-12-21 | 重庆驰知科技有限公司 | 一种基于多传感器融合的尘雾天气道路环境感知系统 |
CN113820714B (zh) * | 2021-09-07 | 2024-04-12 | 重庆驰知科技有限公司 | 一种基于多传感器融合的尘雾天气道路环境感知系统 |
CN113823087B (zh) * | 2021-09-09 | 2022-10-11 | 中国信息通信研究院 | 用于分析路侧感知系统rss性能的方法、装置及测试系统 |
CN113823087A (zh) * | 2021-09-09 | 2021-12-21 | 中国信息通信研究院 | 用于分析路侧感知系统rss性能的方法、装置及测试系统 |
CN113762195A (zh) * | 2021-09-16 | 2021-12-07 | 复旦大学 | 一种基于路侧rsu的点云语义分割与理解方法 |
CN113947141A (zh) * | 2021-10-14 | 2022-01-18 | 清华大学 | 一种城市路口场景的路侧灯塔感知系统 |
CN114296433A (zh) * | 2021-12-29 | 2022-04-08 | 汇鲲化鹏(海南)科技有限公司 | 一种基于视觉感知的智能体多网融合测控系统 |
WO2023207624A1 (zh) * | 2022-04-26 | 2023-11-02 | 阿里云计算有限公司 | 数据处理方法、设备、介质及路侧协同设备、系统 |
CN114973663B (zh) * | 2022-05-16 | 2023-08-29 | 浙江机电职业技术学院 | 一种基于边缘计算的智能路侧单元装置 |
CN114973663A (zh) * | 2022-05-16 | 2022-08-30 | 浙江机电职业技术学院 | 一种基于边缘计算的智能路侧单元装置 |
CN115144843A (zh) * | 2022-06-28 | 2022-10-04 | 海信集团控股股份有限公司 | 一种物体位置的融合方法及装置 |
CN115966095A (zh) * | 2022-12-02 | 2023-04-14 | 云控智行科技有限公司 | 基于车辆的交通数据融合处理方法、装置、设备及介质 |
CN117315432A (zh) * | 2023-11-30 | 2023-12-29 | 北京航空航天大学 | 一种动态多目标识别的车路多模态传感器数据融合方法 |
CN117315432B (zh) * | 2023-11-30 | 2024-02-13 | 北京航空航天大学 | 一种动态多目标识别的车路多模态传感器数据融合方法 |
CN117495933A (zh) * | 2024-01-02 | 2024-02-02 | 中国科学院长春光学精密机械与物理研究所 | 基于视差修正的光电望远镜外挂镜头图像实时配准方法 |
CN117495933B (zh) * | 2024-01-02 | 2024-03-12 | 中国科学院长春光学精密机械与物理研究所 | 基于视差修正的光电望远镜外挂镜头图像实时配准方法 |
CN117649777A (zh) * | 2024-01-24 | 2024-03-05 | 苏州万集车联网技术有限公司 | 目标匹配方法、装置和计算机设备 |
CN117649777B (zh) * | 2024-01-24 | 2024-04-19 | 苏州万集车联网技术有限公司 | 目标匹配方法、装置和计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112767475B (zh) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112767475B (zh) | 一种基于c-v2x、雷达与视觉的智能路侧感知系统 | |
CN111554088B (zh) | 一种多功能v2x智能路侧基站系统 | |
CN110988912B (zh) | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 | |
CN110658531B (zh) | 一种用于港口自动驾驶车辆的动态目标追踪方法 | |
CN113487759B (zh) | 一种停车巡检方法、装置、移动巡逻设备及巡检系统 | |
CN111461209B (zh) | 一种模型训练装置和方法 | |
CN113965879B (zh) | 多传感器的感知信息融合方法及相关设备 | |
CN112162297B (zh) | 一种剔除激光点云地图中动态障碍伪迹的方法 | |
Wei et al. | Survey of connected automated vehicle perception mode: from autonomy to interaction | |
CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
CN112949782A (zh) | 一种目标检测方法、装置、设备及存储介质 | |
CN113627373A (zh) | 一种基于雷视融合探测的车辆识别方法 | |
Guo et al. | Intelligence-sharing vehicular networks with mobile edge computing and spatiotemporal knowledge transfer | |
CN112906777A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
CN112562330A (zh) | 评估道路运行指数的方法和装置、电子设备、存储介质 | |
CN116258940A (zh) | 一种多尺度特征及自适应权重的小目标检测方法 | |
CN114972941A (zh) | 被遮挡车辆三维检测的决策融合方法、装置及电子设备 | |
CN114545434A (zh) | 一种路侧视角测速方法、系统、电子设备及存储介质 | |
CN114241448A (zh) | 障碍物航向角的获取方法、装置、电子设备及车辆 | |
CN112965076A (zh) | 一种用于机器人的多雷达定位系统及方法 | |
JP2022537557A (ja) | 運転可能な領域情報を決定するための方法及び装置 | |
CN112147635A (zh) | 一种检测系统、方法及装置 | |
Pan et al. | Vision-based Vehicle Forward Collision Warning System Using Optical Flow Algorithm. | |
CN115359332A (zh) | 基于车路协同的数据融合方法、装置、电子设备及系统 | |
CN112883846A (zh) | 一种用于检测车辆前方目标的三维数据采集成像系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |