CN115684637B - 基于路侧单目相机标定的高速公路车辆测速方法及设备 - Google Patents

基于路侧单目相机标定的高速公路车辆测速方法及设备 Download PDF

Info

Publication number
CN115684637B
CN115684637B CN202211717058.9A CN202211717058A CN115684637B CN 115684637 B CN115684637 B CN 115684637B CN 202211717058 A CN202211717058 A CN 202211717058A CN 115684637 B CN115684637 B CN 115684637B
Authority
CN
China
Prior art keywords
pixel
road
traffic
target vehicle
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211717058.9A
Other languages
English (en)
Other versions
CN115684637A (zh
Inventor
戚湧
姜孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Traffic Management Research Institute of Ministry of Public Security
Original Assignee
Nanjing University of Science and Technology
Traffic Management Research Institute of Ministry of Public Security
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology, Traffic Management Research Institute of Ministry of Public Security filed Critical Nanjing University of Science and Technology
Priority to CN202211717058.9A priority Critical patent/CN115684637B/zh
Publication of CN115684637A publication Critical patent/CN115684637A/zh
Application granted granted Critical
Publication of CN115684637B publication Critical patent/CN115684637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Traffic Control Systems (AREA)

Abstract

本发明属于道路交通管理技术领域,公开了一种基于路侧单目相机标定的高速公路车辆测速方法及设备。本发明的方法包括:获取路侧单目相机中的交通监控视频;按帧切分成交通背景图片集合,传入已训练好的多目标检测算法得到目标车辆像素位置,通过多目标跟踪算法对每一帧的目标车辆检测结果进行跟踪,获得目标车辆的运动轨迹;根据目标车辆的运动轨迹以及拟合的像素坐标与世界坐标转换比例曲线,计算出目标车辆的实际行驶距离,从而计算出目标车辆的速度。本发明能够提高车辆行驶速度检测的准确度和降低操作复杂性。

Description

基于路侧单目相机标定的高速公路车辆测速方法及设备
技术领域
本发明属于道路交通管理技术领域,具体涉及一种基于路侧单目相机标定的高速公路车辆测速方法及设备。
背景技术
车辆超速慢速行驶现象一直是影响交通安全的重要因素,通常需要对道路行驶车辆进行实时速度检测,一方面是约束车辆的安全规范的行驶,另一方面也为道路交通管控提供信息辅助。
传统车辆速度检测方法主要为地感线圈检测法、雷达检测法、激光检测法等等,技术较为成熟,准确度高,但设备价格昂贵,安装维护不便,且环境因素影响较大,多为固定位置。
近年来随着深度学习和目标检测跟踪算法的崛起,人工智能测速方法有了突飞猛进的发展,降低了测速技术的运维成本、提高了灵活性和准确率,在交通安全领域得到广泛推广和应用。
基于视频的传统目标检测法如帧差法、光流法、背景差分法等存在计算量大、实时性差、易受外界背景影响等缺点,无法满足道路交通实时主精确测速的需求。而基于卷积神经网络的目标检测与跟踪算法则能很好的弥补这些确定,此类方法大多数需要将世界坐标系和图像坐标系进行相互转换,目前基于监控视频的车速检测采用的像素坐标系和世界坐标系转换关系多为简单线性函数和基于相机内外参数标定的方法,前者受透视影响,精度较低,而后者则相对复杂,且易受场景影响,当场景改变时,相机外参需要重新标定,而在道路交通的速度检测应用中,道路场景变化较小,重新标定过程浪费了成本。当前,缺少较合适的相机标定方法和参照物的选定以减少人工操作和提高检测精确度。
发明内容
本发明目的是:针对现有技术的不足,提供一种基于路侧单目相机标定的高速公路车辆测速方法及设备,用于提高车辆行驶速度检测的准确度和降低操作复杂性。
具体地说,本发明是采用以下技术方案实现的。
一方面,本发明提供一种基于路侧单目相机标定的高速公路车辆测速方法,包括:
获取路侧单目相机中的交通监控视频;
将所述交通监控视频按帧切分成交通背景图片集合,传入已训练好的多目标检测算法进行目标车辆检测,得到目标车辆像素位置,所述目标车辆像素位置通过目标车辆的左上角和右下角的像素位置绘制成的矩形检测框来表示;
通过多目标跟踪算法对每一帧的目标车辆检测结果进行跟踪,获得目标车辆的运动轨迹;
根据目标车辆的运动轨迹以及拟合的像素坐标与世界坐标转换比例曲线,计算出目标车辆的实际行驶距离,从而计算出目标车辆的速度。
进一步的,选用目标车辆车头处的边线段中点作为所述目标车辆的像素位置。
进一步的,所述根据目标车辆的运动轨迹以及拟合的像素坐标与世界坐标转换比例曲线,计算出目标车辆的实际行驶距离包括:
将当前点位的相机相对高度和相对垂直角度、相机获取的交通背景图片中沿道路交通方向的像素长度、相机获取的交通背景图片中沿道路交通径向的像素长度分别代入拟合的像素坐标与世界坐标转换比例曲线中,计算得交通背景图片中各像素位置的像素坐标与世界坐标的转换比例值;
根据目标车辆在各视频帧中的像素位置,对目标车辆运动轨迹上各像素位置相应的像素坐标与世界坐标转换比例值求和,得到目标车辆的实际行驶距离。
进一步的,所述已训练好的多目标检测算法通过以下方式训练得到:
通过路侧单目相机收集历史交通监控视频,将视频按帧切分成交通背景图片集合,对每张交通背景图片进行预处理作为训练集,标注出目标车辆的矩形检测框在交通背景图片中的坐标值,传入多目标检测算法进行训练,得到训练好的多目标检测算法。
进一步的,所述拟合的像素坐标与世界坐标转换比例曲线通过以下方式得到:
在获取的交通监控视频中选取若干个路段,实地测量所述路段的车道线长、沿道路交通方向车道线间距、车道线宽和沿道路交通径向车道线间距;
在获取的交通监控视频画面中分别找出上一步骤中选取的路段,计算其在像素坐标系中的像素长度和像素位置,并转换为像素坐标与世界坐标的转换比例曲线;
固定相机的水平角度,分别调整相机的高度和垂直角度并重复上一步骤k次,k为自然数,获得k条沿道路交通方向路段的像素坐标与世界坐标的转换比例曲线,和k条沿道路交通径向路段的像素坐标与世界坐标的转换比例曲线;
将所述k条沿道路交通方向路段的像素坐标与世界坐标的转换比例曲线和k条沿道路交通径向路段的像素坐标与世界坐标的转换比例曲线分别使用非线性函数进行求解并拟合,得到拟合的像素坐标与世界坐标转换比例曲线。
进一步的,所述非线性函数为:
Figure 627880DEST_PATH_IMAGE002
公式3和公式4中,H为相机的相对高度,A为相机的相对垂直角度;ap、bp、cp、dp、ep、av、bv、cv、dv和ev为待求参数;pp i,j(i∈1,2,3…n,j∈1,2,3…k)为第j条沿道路交通方向路段的像素坐标与世界坐标的转换比例曲线上的第i个点的横坐标,n为沿道路交通方向各路段长度的数量;pv i,j(i∈1,2,3…m,j∈1,2,3…k)为第j条沿道路交通径向路段的像素坐标与世界坐标的转换比例曲线上的第i个点的横坐标,m为沿道路交通径向各路段长度的数量。
进一步的,所述相机的相对高度H取实际相机高度,相机的相对垂直角度A取实际相机角度。
另一方面,本发明还提供基于路侧单目相机标定的高速公路车辆测速设备,所述设备包括存储器和处理器;所述存储器存储有实现上述基于路侧单目相机标定的高速公路车辆测速方法的计算机程序,所述处理器执行所述计算机程序。
再一方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述的计算机程序被处理器执行时实现上述基于路侧单目相机标定的高速公路车辆测速方法的步骤。
本发明的基于路侧单目相机标定的高速公路车辆测速方法及设备的有益效果如下:
通过将像素坐标与世界坐标的转换比例曲线拟合成非线性函数,有效的解决了相机近大远小的成像特点影响像素坐标系与世界坐标系相互转换的问题,提高了速度检测的准确度。
通过改变相机的高度和拍摄角度并拟合像素坐标与世界坐标的转换比例曲线,可应用多场景,相较于现有的相机标定法,减少工人的重复标定工作。
通过本发明的基于路侧单目相机标定的高速公路车辆测速方法及设备,对像素坐标与世界坐标的转换比例曲线上曲线段求和,得到目标车辆位移,算法复杂度更低,性能更好。
附图说明
图1是本发明的基于路侧单目相机标定的高速公路车辆测速方法流程图。
图2是本发明实施例的交通场景模拟图像示意图。
图3是本发明的得到像素坐标与世界坐标的转换比例曲线的方法流程图。
图4是本发明实施例根据相机采集的20个路段数据获取的像素坐标与世界坐标转换比例曲线,其中相机水平角度为右偏10°、垂直角度为向下偏30°、高度为9 m。
图5是本发明的拟合的像素坐标与世界坐标转换比例曲线。
具体实施方式
下面结合实施例并参照附图对本发明作进一步详细描述。
实施例1:
本发明的一个实施例,为一种基于路侧单目相机标定的高速公路车辆测速方法。如图1所示,包括以下步骤:
一、获取路侧单目相机中的交通监控视频。
将设置在高速公路路侧的单目相机固定在指定的角度和高度,获取交通监控视频数据。例如将单目相机固定在水平角度为右偏10°,垂直角度为向下偏30°,高度为9 m的地方,对行驶在高速公路上的车辆进行监控,获取该监控下的相机视频中的高速路段交通场景。
二、将所述交通监控视频按帧切分成交通背景图片集合,传入已训练好的多目标检测算法进行目标车辆检测,得到目标车辆像素位置,所述目标车辆像素位置通过目标车辆的左上角和右下角的像素位置绘制成的矩形检测框来表示。
由于车辆在行驶过程中目标车辆的矩形检测框易发生抖动,可选用车头处的边线段中点作为车辆像素位置。
所述训练好的多目标检测算法通过以下方式训练得到,通过路侧单目相机收集历史交通监控视频,将视频按帧切分成图片集合,对每张图片进行预处理作为训练集,标注出目标车辆的矩形检测框在图片中的坐标值,传入多目标检测算法进行训练,得到训练好的多目标检测算法。
三、通过多目标跟踪算法对每一帧的目标车辆检测结果进行跟踪,获得目标车辆的运动轨迹。具体步骤如下:
使用卡尔曼滤波对当前帧的检测结果进行预测,再使用匈牙利算法将预测后的结果和后一帧的目标车辆检测结果进行级联匹配和IOU匹配,得到其每帧中目标车辆的像素位置,从而获得目标车辆的运动轨迹。
四、根据目标车辆的运动轨迹以及拟合的像素坐标与世界坐标转换比例曲线,计算出目标车辆的实际行驶距离S,从而计算出目标车辆的速度V。具体步骤如下:
4-1)将当前点位的相机相对高度H和相对垂直角度A、相机获取的交通背景图片中沿道路交通方向的像素长度、相机获取的交通背景图片中沿道路交通径向的像素长度分别代入拟合的像素坐标与世界坐标转换比例曲线中,计算得交通背景图片中各像素位置的像素坐标与世界坐标的转换比例值。
例如(x,y)为相机获取的交通背景图片中的一点,则其沿交通方向和交通径向的转换比例值大小分别为LP(y,H,A)和LV(x,H,A)。例如交通背景图片的像素长度为1000,则将1-1000这1000个数传入Lp中,得到1000个不同高度处的像素坐标与世界坐标的转换比例值,并将其存储为像素长度-转换比例值表格。
4-2)根据目标车辆在各视频帧中的像素位置,对目标车辆运动轨迹上各像素位置相应的像素坐标与世界坐标转换比例值求和,得到目标车辆的实际行驶距离S,计算出目标车辆的速度V。
设目标车辆运动前后在不同帧中的位置分别为(x1,y1)和(x2,y2),则目标车辆实际行驶距离S参见公式1,通过公式2求出目标车辆的速度V。
Figure 685966DEST_PATH_IMAGE004
公式1中,H为相机的相对高度,A为相机的相对垂直角度。公式2中,S为目标车辆实际行驶距离,fps为视频帧率。
上述拟合的像素坐标与世界坐标转换比例曲线通过以下方式得到:
一、在获取的交通监控视频中选取若干个路段,实地测量所述路段的车道线长、沿道路交通方向车道线间距、车道线宽和沿道路交通径向车道线间距。具体步骤如下:
如图2所示,对于获取的交通场景视频,从贴近相机一侧沿道路交通方向实地测量高速公路上连续的n个路段长度,包括实际车道线长和车道线间距,分别记为lwp i(i∈1,2,3…n);对于获取的交通场景视频,从贴近相机一侧沿道路交通径向实地测量高速公路上连续的m个路段长度,包括实际车道线宽和径向车道线间距,分别记为lwv i(i∈1,2,3…m)。
例如,对于获取的交通场景,从贴近相机一侧沿道路交通方向测量高速公路上实际车道线长和车道线间距,共12处,记为lwp i(i∈1,2,3…12);从贴近相机一侧沿道路交通径向测量高速公路上实地车道线宽和径向车道线间距,共8处,记为lwv i(i∈1,2,3…8)。
二、在获取的交通监控视频画面中分别找出上一步骤中选取的路段,计算其在像素坐标系中的像素长度和像素位置,并转换为像素坐标与世界坐标的转换比例曲线。具体步骤如下:
2-1)在相机获取的交通场景视频画面中分别找出上一步骤中选取的路段,分别计算出各路段在像素坐标系中的像素长度。
例如某路段两端在像素坐标系下的坐标分别为(x1,y1)、(x2,y2),则其像素长度为 ((x1-x2)2+(y1-y2)2)1/2,其中沿道路交通方向的路段在像素坐标系中的像素长度记为lpp i(i∈1,2,3…n),沿道路交通径向的路段在像素坐标系中的像素长度记为lpv i(i∈1,2,3…m)。
2-2)在相机获取的交通场景视频画面中分别找出上一步骤中选取的路段,分别计算出各路段在像素坐标系中的像素位置。
例如某路段两端在像素坐标系下的坐标分别为(x1,y1)、(x2,y2),并且(x2,y2)更靠近路侧相机处,则其像素位置为(a*x1+b*x2,a*y1+b*y2),其中a+b=1,由于近大远小的成像特点,a小于b,例如可取a=0.4,b=0.6。其中将沿道路交通方向路段在像素坐标系中的像素位置记为pp i(i∈1,2,3…n),沿道路交通径向路段在像素坐标系中的像素位置记为pv i(i∈1,2,3…m)。
2-3)分别计算沿道路交通方向和道路交通径向路段实际长度与像素长度的转换比例。
对于贴近相机一侧沿道路交通方向测量到的n个路段实际长度lwp i(i∈1,2,3…n),以及在像素坐标系中相应的像素长度lpp i(i∈1,2,3…n),计算得沿道路交通方向路段实际长度与像素长度的转换比例lwp i/lpp i(i∈1,2,3…n);对于贴近相机一侧沿道路交通径向测量到的m个路段实际长度lwv i(i∈1,2,3…m),以及在像素坐标系中相应的像素长度lpv i(i∈1,2,3…m),计算得沿道路交通径向路段实际长度与像素长度的转换比例lwv i/lpv i(i∈1,2,3…m)。
2-4)根据路段的像素位置、实际长度与像素长度的转换比例,绘制像素坐标与世界坐标转换比例曲线。
对于沿道路交通方向路段,根据其像素位置pp i(i∈1,2,3…n)、实际长度与像素长度的转换比例lwp i/lpp i(i∈1,2,3…n),绘制沿道路交通方向路段的像素坐标与世界坐标转换比例曲线(pp i,lwp i/lpp i)(i∈1,2,3…n),如图4所示。对于沿道路交通径向路段,根据其像素位置pv i(i∈1,2,3…m)、实际长度与像素长度的转换比例lwv i/lpv i(i∈1,2,3…m),绘制沿道路交通径向路段的像素坐标与世界坐标转换比例曲线(pv i,lwv i/lpv i)(i∈1,2,3…m)。
三、固定相机的水平角度,分别调整相机的高度和垂直角度并重复上一步骤k次,k为自然数,获得k条沿道路交通方向路段的像素坐标与世界坐标的转换比例曲线,和k条沿道路交通径向路段的像素坐标与世界坐标的转换比例曲线。
由于路侧相机的拍摄方向一般是正对道路,其水平旋转角度相对固定,且透视产生的影响较小,所以在本发明中固定相机的水平角度,分别调整相机高度和垂直角度,重复上一步骤k次,以获得不同高度和角度下的k条沿道路交通方向路段的像素坐标与世界坐标的转换比例曲线(pp i,j,lwp i,j/lpp i,j)(i∈1,2,3…n,j∈1,2,3…k),记作Lp’,和k条沿道路交通径向路段的像素坐标与世界坐标的转换比例曲线(pv i,j,lwv i,j/lpv i,j)(i∈1,2,3…m,j∈1,2,3…k),记作Lv’。
例如,选择固定相机的水平角度朝道路方向偏10°,只调整相机高度和相机角度,重复选取20个路段并测量其像素位置及像素长度。分别选取相机高度为6 m、9 m和12 m,垂直角度分别为水平向下15°、30°和45°,共9组高度和垂直角度,重复步骤三,共获得9条沿道路交通方向路段的像素坐标与世界坐标的转换比例曲线(pp i,j,lwp i,j/lpp i,j)(i∈1,2,3…12,j∈1,2,3…9),其中i表示不同的路段,j表示不同的相机高度和角度,记作Lp’,和9条沿道路交通径向路段的像素坐标与世界坐标的转换比例曲线(pv i,j,lwv i,j/lpv i,j)(i∈1,2,3…8,j∈1,2,3…9),记作Lv’,其中i表示不同的路段,j表示不同的相机高度和角度。
四、将所述k条沿道路交通方向路段的像素坐标与世界坐标转换比例曲线Lp’和k条沿道路交通径向路段的像素坐标与世界坐标转换比例曲线Lv’分别使用非线性函数进行求解并拟合,得到拟合的像素坐标与世界坐标转换比例曲线LP和LV。具体步骤如下:
将已知相机参数、所述k条沿道路交通方向路段的像素坐标与世界坐标的转换比例曲线Lp’上的值,以及k条沿道路交通径向路段的像素坐标与世界坐标的转换比例曲线Lv’上的值分别代入如公式3和公式4的非线性函数,求解非线性函数,绘制拟合的沿道路交通方向路段的像素坐标与世界坐标转换比例曲线、拟合的沿道路交通径向路段的像素坐标与世界坐标转换比例曲线。
Figure 278753DEST_PATH_IMAGE005
公式3和公式4中,H和A为已知的相机参数;H为相机的相对高度,例如10 m;A为相机的相对垂直角度,例如60゜;H可取实际相机高度,A可取实际相机角度,以避免参数值H和A差异过大导致函数拟合不稳定。ap、bp、cp、dp、ep、av、bv、cv、dv和ev为待求参数。pp i,j(i∈1,2,3…n,j∈1,2,3…k)为第j条沿道路交通方向路段的像素坐标与世界坐标的转换比例曲线上的第i个点的横坐标,n为沿道路交通方向各路段长度的数量。pv i,j(i∈1,2,3…m,j∈1,2,3…k)为第j条沿道路交通径向路段的像素坐标与世界坐标的转换比例曲线上的第i个点的横坐标,m为沿道路交通径向各路段长度的数量。
例如,将各组H和A的值、(pp i,j,lwp i,j/lpp i,j)(i∈1,2,3…n,j∈1,2,3…k)代入公式3中,通过最小二乘法求解公式5,解得ap、bp、cp、dp和ep,从而绘制该组H和A值条件下拟合的沿道路交通方向路段的像素坐标与世界坐标转换比例曲线,如图5所示。将各组H和A的值、(pv i,j,lwv i,j/lpv i,j)(i∈1,2,3…m,j∈1,2,3…k)的值代入公式4中,通过最小二乘法求解公式6,解得av、bv、cv、dv和ev,从而绘制该组H和A的值条件下拟合的沿道路交通径向路段的像素坐标与世界坐标转换比例曲线。
Figure 736279DEST_PATH_IMAGE007
公式5和公式6中,lwp i,j/lpp i,j(i∈1,2,3…n,j∈1,2,3…k)为第j条沿道路交通方向路段的像素坐标与世界坐标的转换比例曲线上的第i个点的纵坐标,n为沿道路交通方向各路段长度的数量,lwv i,j/lpv i,j(i∈1,2,3…m,j∈1,2,3…k)为第j条沿道路交通径向路段的像素坐标与世界坐标的转换比例曲线上的第i个点的纵坐标,m为沿道路交通径向各路段长度的数量。
本发明使用非线性函数进行拟合,提高了检测精度,并且加入相机高度和角度参数,可应用于多场景下,降低重新标定成本。
通过将像素坐标与世界坐标的转换比例曲线拟合成非线性函数,有效的解决了相机近大远小的成像特点影响像素坐标系与世界坐标系相互转换的问题,提高了速度检测的准确度。
通过改变相机的高度和拍摄角度并拟合像素坐标与世界坐标的转换比例曲线,可应用多场景,相较于现有的相机标定法,减少工人的重复标定工作。
通过本发明的基于路侧单目相机标定的高速公路车辆测速方法及设备,对像素坐标与世界坐标的转换比例曲线上曲线段求和,得到目标车辆位移,算法复杂度更低,性能更好。
在一些实施例中,上述技术的某些方面可以由执行软件的处理系统的一个或多个处理器来实现。该软件包括存储或以其他方式有形实施在非暂时性计算机可读存储介质上的一个或多个可执行指令集合。软件可以包括指令和某些数据,这些指令和某些数据在由一个或多个处理器执行时操纵一个或多个处理器以执行上述技术的一个或多个方面。非暂时性计算机可读存储介质可以包括例如磁或光盘存储设备,诸如闪存、高速缓存、随机存取存储器(RAM)等的固态存储设备或其他非易失性存储器设备。存储在非临时性计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码或被一个或多个处理器解释或以其他方式执行的其他指令格式。
计算机可读存储介质可以包括在使用期间可由计算机系统访问以向计算机系统提供指令和/或数据的任何存储介质或存储介质的组合。这样的存储介质可以包括但不限于光学介质(例如,光盘(CD)、数字多功能光盘(DVD)、蓝光光盘)、磁介质(例如,软盘、磁带或磁性硬盘驱动器)、易失性存储器(例如,随机存取存储器(RAM)或高速缓存)、非易失性存储器(例如,只读存储器(ROM)或闪存)或基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以嵌入计算系统(例如,系统RAM或ROM)中,固定地附接到计算系统(例如,磁性硬盘驱动器),可移除地附接到计算系统(例如,光盘或通用基于串行总线(USB)的闪存),或者经由有线或无线网络(例如,网络可访问存储(NAS))耦合到计算机系统。
请注意,并非上述一般性描述中的所有活动或要素都是必需的,特定活动或设备的一部分可能不是必需的,并且除了描述的那些之外可以执行一个或多个进一步的活动或包括的要素。更进一步,活动列出的顺序不必是执行它们的顺序。而且,已经参考具体实施例描述了这些概念。然而,本领域的普通技术人员认识到,在不脱离如下权利要求书中阐述的本公开的范围的情况下,可以进行各种修改和改变。因此,说明书和附图被认为是说明性的而不是限制性的,并且所有这样的修改被包括在本公开的范围内。
上面已经关于具体实施例描述了益处、其他优点和问题的解决方案。然而,可能导致任何益处、优点或解决方案发生或变得更明显的益处、优点、问题的解决方案以及任何特征都不应被解释为任何或其他方面的关键、必需或任何或所有权利要求的基本特征。此外,上面公开的特定实施例仅仅是说明性的,因为所公开的主题可以以受益于这里的教导的本领域技术人员显而易见的不同但等同的方式进行修改和实施。除了在权利要求书中描述的以外,没有意图限制在此示出的构造或设计的细节。因此明显的是,上面公开的特定实施例可以被改变或修改,并且所有这样的变化被认为在所公开的主题的范围内。

Claims (8)

1.一种基于路侧单目相机标定的高速公路车辆测速方法,其特征在于,包括:
获取路侧单目相机中的交通监控视频;
将所述交通监控视频按帧切分成交通背景图片集合,传入已训练好的多目标检测算法进行目标车辆检测,得到目标车辆像素位置,所述目标车辆像素位置通过目标车辆的左上角和右下角的像素位置绘制成的矩形检测框来表示;
通过多目标跟踪算法对每一帧的目标车辆检测结果进行跟踪,获得目标车辆的运动轨迹;
根据目标车辆的运动轨迹以及拟合的像素坐标与世界坐标转换比例曲线,计算出目标车辆的实际行驶距离,从而计算出目标车辆的速度;
所述拟合的像素坐标与世界坐标转换比例曲线通过以下方式得到:
在获取的交通监控视频中选取若干个路段,实地测量所述路段的车道线长、沿道路交通方向车道线间距、车道线宽和沿道路交通径向车道线间距;
在获取的交通监控视频画面中分别找出上一步骤中选取的路段,计算其在像素坐标系中的像素长度和像素位置,根据路段的像素位置、实际长度与像素长度的转换比例,绘制像素坐标与世界坐标转换比例曲线;
固定相机的水平角度,分别调整相机的高度和垂直角度并重复上一步骤k次,k为自然数,获得k条沿道路交通方向路段的像素坐标与世界坐标的转换比例曲线,和k条沿道路交通径向路段的像素坐标与世界坐标的转换比例曲线;
将所述k条沿道路交通方向路段的像素坐标与世界坐标的转换比例曲线和k条沿道路交通径向路段的像素坐标与世界坐标的转换比例曲线分别使用非线性函数进行求解并拟合,得到拟合的像素坐标与世界坐标转换比例曲线。
2.根据权利要求1所述的基于路侧单目相机标定的高速公路车辆测速方法,其特征在于,选用目标车辆车头处的边线段中点作为所述目标车辆的像素位置。
3.根据权利要求1所述的基于路侧单目相机标定的高速公路车辆测速方法,其特征在于,所述根据目标车辆的运动轨迹以及拟合的像素坐标与世界坐标转换比例曲线,计算出目标车辆的实际行驶距离包括:
将当前点位的相机相对高度和相对垂直角度、相机获取的交通背景图片中沿道路交通方向的像素长度、相机获取的交通背景图片中沿道路交通径向的像素长度分别代入拟合的像素坐标与世界坐标转换比例曲线中,计算得交通背景图片中各像素位置的像素坐标与世界坐标的转换比例值;
根据目标车辆在各视频帧中的像素位置,对目标车辆运动轨迹上各像素位置相应的像素坐标与世界坐标转换比例值求和,得到目标车辆的实际行驶距离。
4.根据权利要求1所述的基于路侧单目相机标定的高速公路车辆测速方法,其特征在于,所述已训练好的多目标检测算法通过以下方式训练得到:
通过路侧单目相机收集历史交通监控视频,将视频按帧切分成交通背景图片集合,对每张交通背景图片进行预处理作为训练集,标注出目标车辆的矩形检测框在交通背景图片中的坐标值,传入多目标检测算法进行训练,得到训练好的多目标检测算法。
5.根据权利要求1所述的基于路侧单目相机标定的高速公路车辆测速方法,其特征在于,所述非线性函数为:
Figure QLYQS_1
公式3和公式4中,Lp为拟合的沿道路交通方向路段的像素坐标与世界坐标转换比例曲线,Lv为拟合的沿道路交通径向路段的像素坐标与世界坐标转换比例曲线,H为相机的相对高度,A为相机的相对垂直角度;ap、bp、cp、dp、ep、av、bv、cv、dv和ev为待求参数;pp i,j(i∈1,2,3…n,j∈1,2,3…k)为第j条沿道路交通方向路段的像素坐标与世界坐标的转换比例曲线上的第i个点的横坐标,n为沿道路交通方向各路段长度的数量;pv i,j(i∈1,2,3…m,j∈1,2,3…k)为第j条沿道路交通径向路段的像素坐标与世界坐标的转换比例曲线上的第i个点的横坐标,m为沿道路交通径向各路段长度的数量。
6.根据权利要求5所述的基于路侧单目相机标定的高速公路车辆测速方法,其特征在于,所述相机的相对高度H取实际相机高度,相机的相对垂直角度A取实际相机角度。
7.一种基于路侧单目相机标定的高速公路车辆测速设备,其特征在于,所述设备包括存储器和处理器;所述存储器存储有实现根据权利要求1-6任一所述基于路侧单目相机标定的高速公路车辆测速方法的计算机程序,所述处理器执行所述计算机程序。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述的计算机程序被处理器执行时实现根据权利要求1-6任一所述基于路侧单目相机标定的高速公路车辆测速方法的步骤。
CN202211717058.9A 2022-12-30 2022-12-30 基于路侧单目相机标定的高速公路车辆测速方法及设备 Active CN115684637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211717058.9A CN115684637B (zh) 2022-12-30 2022-12-30 基于路侧单目相机标定的高速公路车辆测速方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211717058.9A CN115684637B (zh) 2022-12-30 2022-12-30 基于路侧单目相机标定的高速公路车辆测速方法及设备

Publications (2)

Publication Number Publication Date
CN115684637A CN115684637A (zh) 2023-02-03
CN115684637B true CN115684637B (zh) 2023-03-17

Family

ID=85057519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211717058.9A Active CN115684637B (zh) 2022-12-30 2022-12-30 基于路侧单目相机标定的高速公路车辆测速方法及设备

Country Status (1)

Country Link
CN (1) CN115684637B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984970B (zh) * 2023-03-13 2023-08-18 浙江宇视科技有限公司 行人身高确定方法、装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005353004A (ja) * 2004-06-14 2005-12-22 Sumitomo Electric Ind Ltd 車両走行計測システム及び車両追跡方法
CN113223300A (zh) * 2021-04-13 2021-08-06 河北科技大学 一种基于车载视频图像的交通事故车速测量方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030484A (ja) * 2002-06-28 2004-01-29 Mitsubishi Heavy Ind Ltd 交通情報提供システム
US8213685B2 (en) * 2007-01-05 2012-07-03 American Traffic Solutions, Inc. Video speed detection system
CN102467821B (zh) * 2010-11-04 2014-03-05 北京汉王智通科技有限公司 基于视频图像的路面距离检测方法及装置
CN102175613B (zh) * 2011-01-26 2012-11-14 南京大学 基于图像亮度特征的ptz视频能见度检测方法
US9582722B2 (en) * 2012-08-31 2017-02-28 Xerox Corporation Video-based vehicle speed estimation from motion vectors in video streams
CN106791700B (zh) * 2017-01-20 2023-05-09 辽宁科技大学 一种企业关键区域人员路径安全监控系统及方法
CN109085570A (zh) * 2018-06-10 2018-12-25 南京理工大学 基于数据融合的车辆检测跟踪算法
CN110827355B (zh) * 2019-11-14 2023-05-09 南京工程学院 一种基于视频图像坐标的移动目标快速定位方法及系统
CN112798811B (zh) * 2020-12-30 2023-07-28 杭州海康威视数字技术股份有限公司 速度测量方法、装置和设备
CN113673438A (zh) * 2021-08-23 2021-11-19 上海商汤临港智能科技有限公司 一种碰撞预警的方法、装置、电子设备及存储介质
CN114332153A (zh) * 2021-12-28 2022-04-12 京东方科技集团股份有限公司 一种车辆速度检测、撞车预警方法及电子设备
CN115375774A (zh) * 2022-08-29 2022-11-22 阿波罗智联(北京)科技有限公司 确定相机外参的方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005353004A (ja) * 2004-06-14 2005-12-22 Sumitomo Electric Ind Ltd 車両走行計測システム及び車両追跡方法
CN113223300A (zh) * 2021-04-13 2021-08-06 河北科技大学 一种基于车载视频图像的交通事故车速测量方法

Also Published As

Publication number Publication date
CN115684637A (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN110610271B (zh) 一种基于长短记忆网络的多重车辆轨迹预测方法
Moers et al. The exid dataset: A real-world trajectory dataset of highly interactive highway scenarios in germany
CN104200657B (zh) 一种基于视频和传感器的交通流量参数采集方法
CN115684637B (zh) 基于路侧单目相机标定的高速公路车辆测速方法及设备
CN111798386B (zh) 一种基于边缘识别与最大序列密度估计的河道流速测量方法
CN112380312B (zh) 基于栅格检测的激光地图更新方法、终端及计算机设备
CN104977584A (zh) 一种对流天气的临近预报方法及系统
CN111222438A (zh) 一种基于深度学习的行人轨迹预测方法和系统
CN112053572A (zh) 基于视频和距离网格标定的车辆测速方法、设备及系统
CN114023062B (zh) 一种基于深度学习和边缘计算的交通流信息监测方法
CN112753038B (zh) 识别车辆变道趋势的方法和装置
Meng et al. Video-based vehicle counting for expressway: A novel approach based on vehicle detection and correlation-matched tracking using image data from ptz cameras
CN113489893A (zh) 实时目标物体追踪定位方法以及实时目标物体追踪定位装置
CN102722894B (zh) 一种基于摄像机自动标定的智能视频监控方法
CN104570764A (zh) 一种机载目标指示系统验证平台
KR100994367B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
CN112711255B (zh) 移动机器人避障方法、控制设备及存储介质
CN110176022A (zh) 一种基于视频检测的隧道全景监控系统及方法
CN117274845A (zh) 一种飞行无人机影像抓取方法、系统、设备及储存介质
Notz et al. Extraction and assessment of naturalistic human driving trajectories from infrastructure camera and radar sensors
CN105631900A (zh) 一种车辆跟踪方法及装置
CN116503818A (zh) 一种多车道车速检测方法及系统
US20220245831A1 (en) Speed estimation systems and methods without camera calibration
Barros et al. Deep speed estimation from synthetic and monocular data
CN112485461A (zh) 基于多视觉标志物的电力巡检机器人速度检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant