CN114758504B - 一种基于滤波校正的网联车超速预警方法及系统 - Google Patents
一种基于滤波校正的网联车超速预警方法及系统 Download PDFInfo
- Publication number
- CN114758504B CN114758504B CN202210661541.3A CN202210661541A CN114758504B CN 114758504 B CN114758504 B CN 114758504B CN 202210661541 A CN202210661541 A CN 202210661541A CN 114758504 B CN114758504 B CN 114758504B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- point cloud
- point
- internet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
- G08G1/054—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed photographing overspeeding vehicles
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于滤波校正的网联车超速预警方法及系统,通过对激光雷达和摄像头感知数据中同一目标生成时间偏差进行估计,并利用估计的时间偏差分布,对点云目标位置进行滤波校正,实现多源目标映射对齐,解决由于时间偏差造成的点云和图像融合准确率低的问题。本发明通过标记出参考网联车在连续行驶过程中,分别在点云和图像数据中的中心点坐标,并利用仿射变换矩阵将参考网联车在点云中的中心点映射至图像,利用映射点和在图像中的中心点的距离差,推导出目标的生成时间偏差,并设计一种置信滤波方法重新估计网联车点云目标的最优位置,实现基于点云和图像高精度融合的车辆超速识别预警,为智能网联车安全驾驶提供技术支撑。
Description
技术领域
本发明涉及智能交通技术领域,尤其涉及一种基于滤波校正的网联车超速预警方法及系统。
背景技术
随着智慧交通建设的高速发展,智慧网联车相关技术逐渐发展兴起,网联车是智慧园区建设的重要部分,也是C-V2X(车路协同)技术的主要落地应用。智能网联车的安全驾驶是一个重要课题,涉及到感知、协调、决策、控制等多个方面,准确感知周围环境,控制车辆行驶速度是基本安全驾驶准则。车路协同技术通过路侧感知设备感知车辆行驶速度,进一步控制网联车安全驾驶。过去,通过毫米波雷达监测车辆行驶速度的方式,由于不能准确区分车辆而逐渐被废弃,取而代之的是通过激光雷达和摄像头融合感知的车辆行驶速度监测方法。
目前采用硬件线控触发激光雷达和摄像头的硬件时间同步,由于激光雷达、摄像头传感器曝光机制、目标运动、以太网传输时延、数据编解码等不确定因素造成两个传感器设备采集的数据帧内容并非完全同步,运动目标生成时间存在一定范围内的偏差,造成两者数据融合时同一目标不能完全对齐,由于不能准确关联同一目标,导致基于这两种感知数据融合的车辆超速检测方法检测准确率较低。因此,本发明提出一种通过对激光雷达和摄像头感知数据中同一目标生成时间偏差进行估计,并利用估计的时间偏差分布,对点云目标位置进行滤波校正,提高点云和图像融合对齐准确率,实现基于点云和图像高精度融合的车辆超速识别预警,为基于多传感器融合的网联车安全监控提供可靠的技术支撑。
发明内容
本发明的目的在于针对现有技术的不足,提供一种基于滤波校正的网联车超速预警方法及系统,解决现有的激光雷达和摄像头由于存在时间偏差同一目标不能匹配对齐,造成基于激光雷达和摄像头的多传感器融合的网联车超速预警系统检测准确度较低的问题。本发明通过标记出参考网联车在连续行驶过程中,分别在点云和图像数据中的中心点坐标,并利用仿射变换矩阵将参考网联车在点云中的中心点映射至图像,利用映射点和在图像中的中心点的距离差,推导出目标的生成时间偏差,并根据时间偏差分布重新滤波估计点云网联车目标中心点最优位置,实现基于点云和图像高精度融合。
本发明的目的是通过以下技术方案来实现的:一种基于滤波校正的网联车超速预警方法,该方法包括以下步骤:
步骤一:选定一辆参考网联车,通过数据帧时间同步的激光雷达和摄像头采集若干帧参考网联车在连续行驶过程中的点云和图像数据,并标记出参考网联车在点云和图像数据中的中心点坐标,利用仿射变换矩阵将参考网联车在点云中的中心点映射至图像,测量出图像上的映射点和参考网联车在图像上的中心点坐标的位置偏差,估计出参考网联车目标在点云和图像中的生成时间偏差,并计算时间偏差分布参数;
步骤二:实时获取道路上网联车连续行驶过程中的点云和图像数据,对任一点云帧中检测出的点云网联车目标通过置信滤波方法对点云中心点位置进行滤波校正;具体为:利用检测算法检测出的点云网联车目标的置信度分数和时间偏差分布参数计算置信增益,并基于置信增益重新滤波估计点云网联车目标的最优位置;
步骤三:将滤波校正后的点云网联车目标一一映射至对应的图像帧,计算每一个点云网联车目标的中心点在图像中的映射点坐标和图像中任一网联车目标中心点坐标的距离差,距离差最小且小于阈值的即为其在图像中相应的匹配目标,按此方式完成所有点云和图像中网联车目标的映射匹配对齐;
步骤四:将匹配对齐后的网联车目标在点云和图像中的感知信息融合,以获取网联车的车牌号和瞬时速度,对瞬时速度超过最大限速的网联车车牌号上报至网联车云控平台同时做出超速预警,并远程控制网联车减速至安全车速。
进一步地,步骤一中,采用硬件线控方式控制激光雷达和摄像头数据帧时间同步。
进一步地,步骤一中,假设要估计的点云和图像中参考网联车目标生成时间偏差
为t,标记出的参考网联车在点云中的中心点坐标为、在图像中的中心点坐标为、朝向角为,计算出的瞬时速度为,点云中心点映射至图像上的映射点坐标为,测量出的参考网联车映射至图像上的映射点坐标和参考网联车在图像中的中
心点坐标的位置偏差为;
则可推导出时间偏差t是一个和已知的仿射变换矩阵、点云中心点坐标、朝向角、瞬时速度、位置偏差相关的数值,表示如下:
其中,大写字母A,B分别为:
进一步地,参考网联车的瞬时行驶速度通过参考网联车目标在最近邻前后两帧中的中心点移动距离和帧间隔时间比值计算得出。
进一步地,计算时间偏差分布参数具体过程如下:
(1)利用Kolmogorov-Smirnov检验方法检测时间偏差是否符合正态分布;假设估
计出的时间偏差数据为N组,计算出数据的均值为,方差为,设置检测显著性水平为;
利用Kolmogorov-Smirnov检验方法检测数据不服从正态分布的概率,即P值,若P值小于等
于显著性水平,则时间偏差不符合正态分布,若P值大于显著性水平,则时间偏差符合正态
分布;
(3)若时间偏差不符合正态分布,则按数值大小从小到大对时间偏差数据进行排序,对数值大小处于第二四分位数和第三四分位数的之间的所有数据,计算出中位数和方差。
进一步地,步骤二中,包括以下步骤:
(2)根据时间偏差分布参数计算置信增益,具体为:
进一步地,步骤三中,包括以下步骤:
(1)对任一位置滤波校正后的点云网联车目标,利用仿射变换矩阵,将点云中心点坐标映射至图像;
(2)计算每一个点云网联车目标的中心点在图像中的映射点坐标和图像中任一网联车目标中心点坐标的距离差;
(4)依据步骤(1)-(3),完成所有点云网联车目标和图像网联车目标的映射匹配对齐。
进一步地,步骤四中,基于图像数据利用OCR车牌号识别方法识别网联车目标在图像中的车牌号。
另一方面,本发明还提供了一种基于滤波校正的网联车超速预警系统,该系统包括时间偏差分布参数确定模块、滤波校正模块、匹配对齐模块和感知信息融合模块;
所述时间偏差分布参数确定模块用于选定一辆参考网联车,通过数据帧时间同步的激光雷达和摄像头采集若干帧参考网联车在连续行驶过程中的点云和图像数据,并标记出参考网联车在点云和图像数据中的中心点坐标,利用仿射变换矩阵将参考网联车在点云中的中心点映射至图像,测量出图像上的映射点和参考网联车在图像上的中心点坐标的位置偏差,估计出参考网联车目标在点云和图像中的生成时间偏差,并计算时间偏差分布参数;
所述滤波校正模块用于实时获取道路上网联车连续行驶过程中的点云和图像数据,对任一点云帧中检测出的点云网联车目标通过置信滤波方法对点云中心点位置进行滤波校正;具体为:利用检测算法检测出的点云网联车目标的置信度分数和时间偏差分布参数确定模块得到的时间偏差分布参数计算置信增益,并基于置信增益重新滤波估计点云网联车目标的最优位置;
所述匹配对齐模块用于将滤波校正模块校正后的点云网联车目标一一映射至对应的图像帧,计算每一个点云网联车目标的中心点在图像中的映射点坐标和图像中任一网联车目标中心点坐标的距离差,距离差最小且小于阈值的即为其在图像中相应的匹配目标,按此方式完成所有点云和图像中网联车目标的映射匹配对齐;
所述感知信息融合模块用于将匹配对齐模块匹配对齐后的网联车目标在点云和图像中的感知信息融合,以获取网联车的车牌号和瞬时速度,对瞬时速度超过最大限速的网联车车牌号信息上报至网联车云控平台同时做出超速预警,并远程控制网联车减速至安全车速。
本发明的有益效果是,本发明提出一种基于滤波校正的网联车超速预警方法及系统,采用深度学习的目标检测方法对运动的点云和图像数据中的网联车目标进行检测,通过对连续视频帧中的运动网联车位置进行滤波校正,实现对同一运动目标的融合匹配对齐,显著减少由于时间偏差造成的基于激光雷达和摄像头融合的超速检测方法准确率低的问题。其实现方法简单高效,能有效的运用于基于多传感器融合的网联车超速驾驶的安全监测,为智能网联车安全驾驶管理精准决策提供可靠技术支撑。
附图说明
图1是本发明一种基于滤波校正的网联车超速预警方法流程图。
图2是不同时间偏差下,参考网联车点云检测框映射至图像上的映射框和图像检测框的位置偏差示意图。
图3是位置校正后的点云参考网联车映射至图像的伪3D框示意图。
图4是本发明一种基于滤波校正的网联车超速预警系统结构示意图。
图5是本发明一种基于滤波校正的网联车超速预警装置结构示意图。
具体实施方式
下面根据附图详细说明本发明,本发明的目的和效果将变得更加明白。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明提出了一种基于滤波校正的网联车超速预警方法,用于解决基于激光雷达和摄像头融合的网联车超速预警过程,由于运动目标在点云和图像数据中融合不完全对齐导致的检测准确率低的问题。融合方法为决策级融合方法,即通过分别检测出网联车目标在点云中的位置速度信息和在图像中的车牌号信息,再将两种数据源中的网联车目标进行匹配对齐,融合目标在两种数据源中的信息,以达到利用多源异构数据感知特点进行融合的目的。该方法包括以下步骤:
步骤一:在园区道路网联车速度监测点安装固态激光雷达和摄像头,采用硬件线控方式控制激光雷达和摄像头数据帧时间同步。
上述固态激光雷达的产品型号为大疆览沃AVIA傲览,采用非重复扫描方式,水平FOV为70.4°,竖直FOV为77.2°,一帧点云数据包含4.8万个反射点。摄像头为网络摄像头。两者同向安装在园区网联车速度监测点的竖杆上,通过硬件线控的方式控制摄像头和激光雷达同步曝光,数据采集频率均为10HZ,但是由于两个传感器的曝光机制、目标运动、以太网传输时延、数据编解码等不确定因素造成两个传感器设备采集的数据帧内容并非完全同步,导致运动目标生成时间存在一定范围内的偏差,造成两者数据融合时同一目标不能完全对齐,因此首先需估计出数据帧的时间偏差。
选定一辆参考网联车多次行驶进入固态激光雷达和摄像头的监测点,并标记出参考网联车在连续行驶过程中,分别在点云和图像数据中的中心点坐标,利用仿射变换矩阵将参考网联车在点云数据中的中心点映射至图像,测量出映射点和参考网联车在图像上的中心点坐标的位置偏差,估计出目标生成时间偏差。具体过程如下:
(1)选定一辆参考网联车多次行驶进入监测点,并采集若干帧参考网联车在连续行驶过程中的点云和图像数据,标记出参考网联车在每一帧点云和图像数据中的中心点坐标。
(2)对任一对同步数据帧,测量参考网联车点云中心点映射至图像中的映射点坐标和在图像数据中的中心点坐标的位置偏差,并基于位置偏差,估计出点云和图像数据中的目标生成时间偏差。
假设要估计的目标生成时间偏差为,标记出的参考网联车在点云数据中的中心
点坐标为,在图像数据中的中心点坐标为,朝向角为,计算出的瞬时速度为,点云中心点映射至图像上的映射点坐标为,测量出的参考网联车映射至图像上
的映射点坐标和参考网联车在图像中的中心点坐标的位置偏差为d。
其中为参考网联车的瞬时速度,可通过网联车目标在最近邻前后两帧中的中
心点移动距离和帧间隔时间比值计算得出,为参考网联车发生移动后的位置坐
标,由于网联车为刚性物体,因此其竖坐标即z轴的值的大小不随车辆位置移动而改变。
根据公式(1),(2),(3)可推导出,时间偏差t是一个和已知的仿射变换参数、点云中心点坐标、朝向角、瞬时速度、位置偏差相关的数值,可表示如下:
如图2所示,是点云中参考网联车目标未进行位置校正,不同时间偏差下,参考网联车点云检测框映射至图像上的映射框和参考网联车在图像中检测框的位置偏差,时间偏差较小时映射框和图像中检测框的重叠度较高,时间偏差较大时映射框和图像中检测框的位置偏差较大,几乎无重叠。
假设估计出的时间偏差为N组,利用Kolmogorov-Smirnov检验方法,检测时间偏差是否符合正态分布。若时间偏差符合正态分布,则求出其正态分布表达式,若不符合正态分布,则计算出按数值大小排序后的时间偏差的第二四分位数和第三四分位数之间的数据的中位数和方差。
上述Kolmogorov-Smirnov检验方法常被用于检测某数据分布是否符合某分布,此处是正态分布,通过估计出某数据分布的P值,来确定数据符合正态分布的假设是否成立,若P值大于显著性水平则认为假设成立,否则不成立。具体过程如下:
(1)利用Kolmogorov-Smirnov检验方法检测时间偏差是否符合正太分布。对N组时
间偏差数据,计算出数据的均值为,方差为,设置检测显著性水平为。利用
Kolmogorov-Smirnov检验方法检测该组数据不服从正态分布的概率,即P值,若P值小于等
于显著性水平,则时间偏差不符合正态分布,若P值大于显著性水平,则时间偏差符合正态
分布。其中,N值大于等于100。
(3)若时间偏差不符合正态分布,则按数值大小从小到大对时间偏差数据进行排序,对数值大小处于第二四分位数和第三四分位数的之间的所有数据,计算出中位数和方差。
步骤二:实时获取园区道路上网联车连续行驶过程中的点云和图像数据,并检测出点云网联车目标的中心点、朝向角、置信度分数、瞬时速度,和图像网联车目标的车牌号。
具体的,对点云数据采用基于CenterPoint三维目标检测算法检测出网联车目标中心点、朝向角、置信度分数,并基于网联车目标在最近邻前后两帧中的中心点移动距离和帧间隔时间比值计算网联车的瞬时速度;采用OCR识别方法识别出图像数据中的网联车目标,并识别出网联车的车牌号。
上述三维目标检测算法包括基于图像生成、基于点云生成、基于图像点云融合生
成,此处采用基于CenterPoint网络模型的目标检测算法,仅基于点云生成,将采集的大量
点云数据进行标注,并将标注后的数据分为训练集、验证集、测试集,在训练集上训练后的
模型在测试集上的准确率mAP值高达91%,在点云数据中心50m(单位:米)范围内的目标的检
出率达95%。所述的OCR识别方法检测准确率达99%。所述朝向角值范围为,所述置
信度分数值范围为(0,1)。
基于置信滤波方法对检测出的点云网联车目标中心点位置进行滤波校正。即利用检测算法检测出的网联车目标的置信度分数和时间偏差分布参数计算置信增益,并基于置信增益重新滤波估计网联车目标的最优位置。具体过程如下:
(2)根据时间偏差分布参数计算置信增益,具体为:
步骤三:将滤波校正后的点云网联车目标一一映射至对应的图像帧,计算每一个点云网联车目标的中心点在图像中的映射点坐标和图像中任一网联车目标中心点坐标的距离差,距离差最小且小于阈值的即为其在图像中相应的匹配目标,按此方式完成所有点云和图像中的网联车目标的映射匹配对齐。如图3所示,是位置校正后的点云参考网联车映射至图像的伪3D框示意图。该步骤的具体过程如下:
(1)对任一位置滤波校正后的点云网联车目标,利用仿射变换矩阵,将点云中心点坐标映射至图像。
(2)计算每一个点云网联车目标的中心点在图像中的映射点坐标和图像中任一网联车目标中心点坐标的距离差。
(4)依据步骤(1)-(3),完成所有点云网联车目标和图像网联车目标的映射匹配对齐。
步骤四:将匹配对齐后的网联车目标在点云和图像中的感知信息融合,以获取同一目标网联车的车牌号和瞬时速度信息,将瞬时速度超过最大限速的网联车车牌号信息进行上报至网联车云控平台同时做出超速预警,并远程控制网联车减速至常规车速。最大限速为园区内规定的网联车的最大限速,为30km/h,常规车速为25km/h。
所述网联车云控平台是基于云服务器,提供网联车管理控制功能,包含每辆网联车信息并可以对具体的网联车做出远程控制。
另一方面,如图4所示,本发明还提供了一种基于滤波校正的网联车超速预警系统,该系统包括时间偏差分布参数确定模块、滤波校正模块、匹配对齐模块和感知信息融合模块;
所述时间偏差分布参数确定模块用于选定一辆参考网联车,通过数据帧时间同步的激光雷达和摄像头获取若干帧参考网联车在连续行驶过程中的点云和图像数据中的中心点坐标,利用仿射变换矩阵将参考网联车在点云中的中心点映射至图像,测量出图像上的映射点和参考网联车在图像上的中心点坐标的位置偏差,估计出参考网联车目标在点云和图像中的生成时间偏差,并计算时间偏差分布参数;时间偏差分布参数确定模块的具体实现过程参考本发明提供的一种基于滤波校正的网联车超速预警方法中步骤一的细节描述。
所述滤波校正模块用于实时获取道路上网联车连续行驶过程中的点云和图像数据,对任一点云帧中检测出的点云网联车目标通过置信滤波方法对点云中心点位置进行滤波校正;具体为:利用检测算法检测出的点云网联车目标的置信度分数和时间偏差分布参数确定模块得到的时间偏差分布参数计算置信增益,并基于置信增益重新滤波估计点云网联车目标的最优位置;滤波校正模块的具体实现过程参考本发明提供的一种基于滤波校正的网联车超速预警方法中步骤二的细节描述。
所述匹配对齐模块用于将滤波校正模块校正后的点云网联车目标一一映射至对应的图像帧,计算每一个点云网联车目标的中心点在图像中的映射点坐标和图像中任一网联车目标中心点坐标的距离差,距离差最小且小于阈值的即为其在图像中相应的匹配目标,按此方式完成所有点云和图像中网联车目标的映射匹配对齐;匹配对齐模块的具体实现过程参考本发明提供的一种基于滤波校正的网联车超速预警方法中步骤三的细节描述。
所述感知信息融合模块用于将匹配对齐模块匹配对齐后的网联车目标在点云和图像中的感知信息融合,以获取网联车的车牌号和瞬时速度,对瞬时速度超过最大限速的网联车车牌号信息上报至网联车云控平台同时做出超速预警,并远程控制网联车减速至安全车速。感知信息融合模块的具体实现过程参考本发明提供的一种基于滤波校正的网联车超速预警方法中步骤四的细节描述。
与前述基于滤波校正的网联车超速预警方法的实施例相对应,本发明还提供了基于滤波校正的网联车超速预警装置的实施例。
参见图5,本发明实施例提供的一种基于滤波校正的网联车超速预警装置,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,用于实现上述实施例中的基于滤波校正的网联车超速预警方法。
本发明基于滤波校正的网联车超速预警装置的实施例可以应用在任意具备数据处理能力的设备上,该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图5所示,为本发明基于滤波校正的网联车超速预警装置所在任意具备数据处理能力的设备的一种硬件结构图,除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能,还可以包括其他硬件,对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时,实现上述实施例中的基于滤波校正的网联车超速预警方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元,例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备,例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、SD卡、闪存卡(Flash Card)等。进一步的,所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据,还可以用于暂时地存储已经输出或者将要输出的数据。
上述实施例用来解释说明本发明,而不是对本发明进行限制,在本发明的精神和权利要求的保护范围内,对本发明作出的任何修改和改变,都落入本发明的保护范围。
Claims (6)
1.一种基于滤波校正的网联车超速预警方法,其特征在于,该方法包括以下步骤:
步骤一:选定一辆参考网联车,通过数据帧时间同步的激光雷达和摄像头采集若干帧参考网联车在连续行驶过程中的点云和图像数据,并标记出参考网联车在点云和图像数据中的中心点坐标,利用仿射变换矩阵将参考网联车在点云中的中心点映射至图像,测量出图像上的映射点和参考网联车在图像上的中心点坐标的位置偏差,估计出参考网联车目标在点云和图像中的生成时间偏差,并计算时间偏差分布参数;具体为:
假设要估计的点云和图像中参考网联车目标生成时间偏差为t,标记出的参考网联车在点云中的中心点坐标为、在图像中的中心点坐标为、朝向角为,计算出的瞬时速度为,点云中心点映射至图像上的映射点坐标为,测量出的参考网联车映射至图像上的映射点坐标和参考网联车在图像中的中心点坐标的位置偏差为;
其中,大写字母A,B分别为:
计算时间偏差分布参数具体过程如下:
利用Kolmogorov-Smirnov检验方法检测时间偏差是否符合正态分布;假设估计出的时间偏差数据为N组,计算出数据的均值为,方差为,设置检测显著性水平为;利用Kolmogorov-Smirnov检验方法检测数据不服从正态分布的概率,即P值,若P值小于等于显著性水平,则时间偏差不符合正态分布,若P值大于显著性水平,则时间偏差符合正态分布;
若时间偏差不符合正态分布,则按数值大小从小到大对时间偏差数据进行排序,对数值大小处于第二四分位数和第三四分位数的之间的所有数据,计算出中位数和方差,时间偏差分布参数为中位数和方差;
步骤二:实时获取道路上网联车连续行驶过程中的点云和图像数据,对任一点云帧中检测出的点云网联车目标通过置信滤波方法对点云中心点位置进行滤波校正;具体为:利用检测算法检测出的点云网联车目标的置信度分数和时间偏差分布参数计算置信增益,并基于置信增益重新滤波估计点云网联车目标的最优位置;包括以下步骤:
(2.2)根据时间偏差分布参数计算置信增益,具体为:
(2.3)由于网联车为刚性物体,其位置移动并不会改变其在竖坐标即z轴的值的大小,即基于置信增益滤波重新估计的竖坐标,则重新滤波估计后的网联车目标的最优位置中心点坐标为;步骤三:将滤波校正后的点云网联车目标一一映射至对应的图像帧,计算每一个点云网联车目标的中心点在图像中的映射点坐标和图像中任一网联车目标中心点坐标的距离差,距离差最小且小于阈值的即为其在图像中相应的匹配目标,按此方式完成所有点云和图像中网联车目标的映射匹配对齐;
步骤四:将匹配对齐后的网联车目标在点云和图像中的感知信息融合,以获取网联车的车牌号和瞬时速度,对瞬时速度超过最大限速的网联车车牌号上报至网联车云控平台同时做出超速预警,并远程控制网联车减速至安全车速。
2.根据权利要求1所述的一种基于滤波校正的网联车超速预警方法,其特征在于,步骤一中,采用硬件线控方式控制激光雷达和摄像头数据帧时间同步。
3.根据权利要求1所述的一种基于滤波校正的网联车超速预警方法,其特征在于,参考网联车的瞬时行驶速度通过参考网联车目标在最近邻前后两帧中的中心点移动距离和帧间隔时间比值计算得出。
4.根据权利要求1所述的一种基于滤波校正的网联车超速预警方法,其特征在于,步骤三中,包括以下步骤:
(1)对任一位置滤波校正后的点云网联车目标,利用仿射变换矩阵,将点云中心点坐标映射至图像;
(2)计算每一个点云网联车目标的中心点在图像中的映射点坐标和图像中任一网联车目标中心点坐标的距离差;
(4)依据步骤(1)-(3),完成所有点云网联车目标和图像网联车目标的映射匹配对齐。
5.根据权利要求1所述的一种基于滤波校正的网联车超速预警方法,其特征在于,步骤四中,基于图像数据利用OCR车牌号识别方法识别网联车目标在图像中的车牌号。
6.一种基于滤波校正的网联车超速预警系统,其特征在于,该系统包括时间偏差分布参数确定模块、滤波校正模块、匹配对齐模块和感知信息融合模块;
所述时间偏差分布参数确定模块用于选定一辆参考网联车,通过数据帧时间同步的激光雷达和摄像头采集若干帧参考网联车在连续行驶过程中的点云和图像数据,并标记出参考网联车在点云和图像数据中的中心点坐标,利用仿射变换矩阵将参考网联车在点云中的中心点映射至图像,测量出图像上的映射点和参考网联车在图像上的中心点坐标的位置偏差,估计出参考网联车目标在点云和图像中的生成时间偏差,并计算时间偏差分布参数;具体为:
假设要估计的点云和图像中参考网联车目标生成时间偏差为t,标记出的参考网联车在点云中的中心点坐标为、在图像中的中心点坐标为、朝向角为,计算出的瞬时速度为,点云中心点映射至图像上的映射点坐标为,测量出的参考网联车映射至图像上的映射点坐标和参考网联车在图像中的中心点坐标的位置偏差为;
其中,大写字母A,B分别为:
计算时间偏差分布参数具体过程如下:
利用Kolmogorov-Smirnov检验方法检测时间偏差是否符合正态分布;假设估计出的时间偏差数据为N组,计算出数据的均值为,方差为,设置检测显著性水平为;利用Kolmogorov-Smirnov检验方法检测数据不服从正态分布的概率,即P值,若P值小于等于显著性水平,则时间偏差不符合正态分布,若P值大于显著性水平,则时间偏差符合正态分布;
若时间偏差不符合正态分布,则按数值大小从小到大对时间偏差数据进行排序,对数值大小处于第二四分位数和第三四分位数的之间的所有数据,计算出中位数和方差,时间偏差分布参数为中位数和方差;
所述滤波校正模块用于实时获取道路上网联车连续行驶过程中的点云和图像数据,对任一点云帧中检测出的点云网联车目标通过置信滤波方法对点云中心点位置进行滤波校正;具体为:利用检测算法检测出的点云网联车目标的置信度分数和时间偏差分布参数确定模块得到的时间偏差分布参数计算置信增益,并基于置信增益重新滤波估计点云网联车目标的最优位置;具体如下:
根据时间偏差分布参数计算置信增益,具体为:
所述匹配对齐模块用于将滤波校正模块校正后的点云网联车目标一一映射至对应的图像帧,计算每一个点云网联车目标的中心点在图像中的映射点坐标和图像中任一网联车目标中心点坐标的距离差,距离差最小且小于阈值的即为其在图像中相应的匹配目标,按此方式完成所有点云和图像中网联车目标的映射匹配对齐;
所述感知信息融合模块用于将匹配对齐模块匹配对齐后的网联车目标在点云和图像中的感知信息融合,以获取网联车的车牌号和瞬时速度,对瞬时速度超过最大限速的网联车车牌号信息上报至网联车云控平台同时做出超速预警,并远程控制网联车减速至安全车速。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210661541.3A CN114758504B (zh) | 2022-06-13 | 2022-06-13 | 一种基于滤波校正的网联车超速预警方法及系统 |
PCT/CN2022/116972 WO2023240805A1 (zh) | 2022-06-13 | 2022-09-05 | 一种基于滤波校正的网联车超速预警方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210661541.3A CN114758504B (zh) | 2022-06-13 | 2022-06-13 | 一种基于滤波校正的网联车超速预警方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114758504A CN114758504A (zh) | 2022-07-15 |
CN114758504B true CN114758504B (zh) | 2022-10-21 |
Family
ID=82337228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210661541.3A Active CN114758504B (zh) | 2022-06-13 | 2022-06-13 | 一种基于滤波校正的网联车超速预警方法及系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114758504B (zh) |
WO (1) | WO2023240805A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114758504B (zh) * | 2022-06-13 | 2022-10-21 | 之江实验室 | 一种基于滤波校正的网联车超速预警方法及系统 |
CN114937081B (zh) * | 2022-07-20 | 2022-11-18 | 之江实验室 | 基于独立非均匀增量采样的网联车位置估计方法及装置 |
CN115272493B (zh) * | 2022-09-20 | 2022-12-27 | 之江实验室 | 一种基于连续时序点云叠加的异常目标检测方法及装置 |
CN118124536A (zh) * | 2024-05-06 | 2024-06-04 | 江苏大块头智驾科技有限公司 | 一种无人驾驶车辆制动装置及路侧环境感知系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113112817A (zh) * | 2021-04-13 | 2021-07-13 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于车联网和跟驰行为的隧道车辆定位和预警系统及其方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7395073B2 (en) * | 2003-06-05 | 2008-07-01 | Ntt Docomo Inc. | Method and apparatus for location estimation using region of confidence filtering |
CN105549050B (zh) * | 2015-12-04 | 2017-11-28 | 合肥工业大学 | 一种基于模糊置信度滤波的北斗变形监测定位方法 |
CN106228570B (zh) * | 2016-07-08 | 2019-04-09 | 百度在线网络技术(北京)有限公司 | 一种真值数据确定方法和装置 |
DE102016013028A1 (de) * | 2016-11-02 | 2018-05-03 | Friedrich-Schiller-Universität Jena | Verfahren und Vorrichtung zur genauen Lagebestimmung von pfeilartigen Objekten relativ zu Oberflächen |
CN107564069B (zh) * | 2017-09-04 | 2020-09-29 | 北京京东尚科信息技术有限公司 | 标定参数的确定方法、装置及计算机可读存储介质 |
US10430970B2 (en) * | 2017-12-04 | 2019-10-01 | GM Global Technology Operations LLC | Detection and recalibration for a camera system using lidar data |
CN108932736B (zh) * | 2018-05-30 | 2022-10-11 | 南昌大学 | 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法 |
CN108983248A (zh) * | 2018-06-26 | 2018-12-11 | 长安大学 | 一种基于3d激光雷达及v2x的网联车定位方法 |
CN109147370A (zh) * | 2018-08-31 | 2019-01-04 | 南京锦和佳鑫信息科技有限公司 | 一种智能网联车的高速公路控制系统和特定路径服务方法 |
CN110243358B (zh) * | 2019-04-29 | 2023-01-03 | 武汉理工大学 | 多源融合的无人车室内外定位方法及系统 |
CN110942449B (zh) * | 2019-10-30 | 2023-05-23 | 华南理工大学 | 一种基于激光与视觉融合的车辆检测方法 |
CN110850403B (zh) * | 2019-11-18 | 2022-07-26 | 中国船舶重工集团公司第七0七研究所 | 一种多传感器决策级融合的智能船水面目标感知识别方法 |
CN114078145A (zh) * | 2020-08-19 | 2022-02-22 | 北京万集科技股份有限公司 | 盲区数据处理方法、装置、计算机设备和存储介质 |
CN114076918A (zh) * | 2020-08-20 | 2022-02-22 | 北京万集科技股份有限公司 | 毫米波雷达、激光雷达与相机联合标定方法和装置 |
CN112085801B (zh) * | 2020-09-08 | 2024-03-19 | 清华大学苏州汽车研究院(吴江) | 基于神经网络的三维点云和二维图像融合的校准方法 |
CN113092807B (zh) * | 2021-04-21 | 2024-05-14 | 上海浦江桥隧运营管理有限公司 | 基于多目标跟踪算法的城市高架道路车辆测速方法 |
CN114359181B (zh) * | 2021-12-17 | 2024-01-26 | 上海应用技术大学 | 一种基于图像和点云的智慧交通目标融合检测方法及系统 |
CN114545434A (zh) * | 2022-01-13 | 2022-05-27 | 燕山大学 | 一种路侧视角测速方法、系统、电子设备及存储介质 |
CN114612795A (zh) * | 2022-03-02 | 2022-06-10 | 南京理工大学 | 基于激光雷达点云的路面场景目标识别方法 |
CN114758504B (zh) * | 2022-06-13 | 2022-10-21 | 之江实验室 | 一种基于滤波校正的网联车超速预警方法及系统 |
-
2022
- 2022-06-13 CN CN202210661541.3A patent/CN114758504B/zh active Active
- 2022-09-05 WO PCT/CN2022/116972 patent/WO2023240805A1/zh unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113112817A (zh) * | 2021-04-13 | 2021-07-13 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于车联网和跟驰行为的隧道车辆定位和预警系统及其方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2023240805A1 (zh) | 2023-12-21 |
CN114758504A (zh) | 2022-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114758504B (zh) | 一种基于滤波校正的网联车超速预警方法及系统 | |
CN112734852B (zh) | 一种机器人建图方法、装置及计算设备 | |
US10949684B2 (en) | Vehicle image verification | |
CN112132896B (zh) | 一种轨旁设备状态检测方法及系统 | |
CN110738121A (zh) | 一种前方车辆检测方法及检测系统 | |
CN112149550A (zh) | 一种基于多传感器融合的自动驾驶车辆3d目标检测方法 | |
CN114526745A (zh) | 一种紧耦合激光雷达和惯性里程计的建图方法及系统 | |
CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
CN110197106A (zh) | 物件标示系统及方法 | |
CN115731268A (zh) | 基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法 | |
CN115273034A (zh) | 一种基于车载多传感器融合的交通目标检测与跟踪方法 | |
CN111612818A (zh) | 新型双目视觉多目标跟踪方法及系统 | |
CN116415202A (zh) | 一种多源数据融合方法、系统、电子设备及存储介质 | |
CN117215316B (zh) | 基于协同控制与深度学习的驾驶环境感知的方法和系统 | |
CN114219852A (zh) | 一种用于自动驾驶车辆的多传感器标定方法及装置 | |
CN114119763A (zh) | 一种用于自动驾驶车辆的Lidar标定方法及装置 | |
CN114690230A (zh) | 一种基于视觉惯性slam的自动驾驶车辆导航方法 | |
CN113160299B (zh) | 基于卡尔曼滤波的车辆视频测速方法和计算机可读存储介质 | |
CN115205397A (zh) | 一种基于计算机视觉和位姿估计的车辆时空信息识别方法 | |
CN116958842B (zh) | 基于激光-视觉融合的地下管线的巡检方法及装置 | |
US20230025579A1 (en) | High-definition mapping | |
CN117268424B (zh) | 一种多传感器融合的自动驾驶寻线方法及装置 | |
Tsaregorodtsev et al. | Automated Automotive Radar Calibration with Intelligent Vehicles | |
CN117784797B (zh) | 基于视觉图像和激光雷达的水下智能机器人导航避障方法 | |
RU2775822C1 (ru) | Способы и системы для обработки данных лидарных датчиков |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |