CN112308786A - 一种基于摄影测量解算车载视频中目标车辆运动的方法 - Google Patents
一种基于摄影测量解算车载视频中目标车辆运动的方法 Download PDFInfo
- Publication number
- CN112308786A CN112308786A CN201910709217.2A CN201910709217A CN112308786A CN 112308786 A CN112308786 A CN 112308786A CN 201910709217 A CN201910709217 A CN 201910709217A CN 112308786 A CN112308786 A CN 112308786A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- frame
- motion
- image
- reference point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012937 correction Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims description 23
- 230000009466 transformation Effects 0.000 claims description 12
- 230000001133 acceleration Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 3
- 230000004075 alteration Effects 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 238000012935 Averaging Methods 0.000 claims 1
- 239000003550 marker Substances 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 description 7
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000007664 blowing Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于摄影测量解算车载视频中目标车辆运动的方法,包括:逐帧获取每帧视频图像;计算车载视频摄像镜头畸变参数并对每帧图像进行畸变矫正处理;选取地面坐标系中路面上的多个标定点,获取标定点在地面坐标系中的坐标;建立图像平面坐标系,逐帧获取标定点在每帧图像上的图像坐标值,独立求解每帧图像上的DLT系数;选取视频中目标车辆一轮胎接地点为参照点,获取参照点在每帧图像上的坐标值,根据各帧图像的DLT系数依次求解参照点的地面坐标值;将求解的参照点地面坐标值按时间顺序拟合为光滑曲线;针对不同类型的运动轨迹解算车辆相应的运动状态。本发明通过获取参照点的运动轨迹,解算目标车辆的运动状态且解算误差小。
Description
技术领域
本发明涉及一种道路交通安全领域的车辆运动状态解算方法,具体是一种基于近景摄影测量中的二维直接线性变换解法解算车载视频中目标车辆运动的方法。
背景技术
基于视频图像进行车辆行驶速度解算,是道路交通事故司法鉴定领域常见的鉴定项目,但是随着国家有关标准的推进以及人们交通安全意识的不断提升,越来越多的车辆安装具有车载视频行驶记录功能的装置,如行车记录仪等。正由于此,越来越多交通事故车速鉴定中涉及到根据车载视频图像进行车速的计算,基于车载视频的车速鉴定根据车辆对象的不同,又可分为本车速度计算和目标车辆速度计算。本车车速是指:安装该车载视频记录装置的车辆的速度;目标车辆车速是指:车载视频中除本车以外的其他车辆的速度。
GA/T1133-2014《基于视频图像的车辆行驶速度技术鉴定》中只给出了计算本车速度的常用方法,对于计算目标车辆速度的方法只是参照固定视频(指摄像头相对地面固定不动)中车速的计算方法。但是,由于车载视频相对于固定式视频具有很大的不同之处,即摄像镜头通常处于移动状态,这导致鉴定实践中发现在很多情况下,如视频中没有可选取的路面参照物,或者本车和目标车辆存在较大的相对位置变化,选取的车身参照物或虚拟参照物,由于拍摄视角的变化导致参照距离增大或减小,进而导致解算结果误差大或无法解算。所以固定视频中车速的计算方法在一些情况下并不适用于车载视频中车速的计算。本发明运用摄影测量中的直接线性变换解法可以很好地解决该问题。
目前在道路安全领域,车辆速度的计算方法主要存在以下几点问题:1)参照固定视频中车辆速度的计算方法在一些情况下无法用来解算车载视频中目标车辆的速度,且尚无其他有效方法用于计算车载视频中目标车辆速度;2)忽视了车载视频图像普遍存在的较大畸变,存在计算精度差的问题;3)现有技术中“直接线性变换”已被应用于解算车载视频中本车速度或固定视频中目标车辆速度,但尚未能应用于解算车载视频中的目标车辆速度。
中国专利号为201310350137.5的发明专利公布了一种基于车身特征点定位的车速鉴定方法,该发明专利提出利用车身特征点结合帧间插值计算车速的方法,该方法可应用于固定监控视频中目标车辆速度的计算,要求必须存在合适的车身特征点作为参照点,是传统的利用车身特征点计算车速的一种改进方法。相对于固定监控视频图像,车载视频图像中本车与目标车辆通常存在相对运动,相对运动会导致拍摄视角的相对运动,如果仍选取车身特征点作为参照点,那么该相对运动会导致根据参照点确定的参照距离不可避免地出现较大偏差,进而导致车速计算出现较大误差,因此该发明专利在原理和实践上都不适用于计算车载视频中目标车辆行驶状态。
中国专利号为201110231117.7的发明专利公布了一种“基于监控录像的交通事故现场数字化重构方法”,该发明专利提出在监控视频图像上标定控制点,并解算相应的直接线性变换系数,再通过解算观察点的物方空间坐标进而求解车辆的位置坐标,最终计算车辆的行驶轨迹。但该专利提出的方法仅适用于固定的监控视频,并不适用于移动的车载视频图像,或摄像机在旋转过程中拍摄的视频,或固定摄像头由于风吹抖动情况,并且实践中发现车载视频摄像镜头为了达到较大的拍摄广角,往往导致镜头畸变量很大,像点坐标也出现很大的非线性变化,对车速计算结果精度影响很大。因此,该专利提出的方法并不能解决车载视频图像中车速的计算问题。
陈伟等在Proceedings of the 12th International Forum of AutomotiveTraffic Safety,2015:13-19上发表的题为“基于行车记录仪视频的事故场景的车速计算”一文中提出通过事后标定,建立事故视频中的世界坐标与图像像素坐标之间的对应关系,计算与本车相对位置固定的某一参照点地面坐标变化,从而计算本车车速信息,但该方法只能计算本车速度,并不能计算目标车辆速度。杨圣文等在《交通标准化》2014年15期发表的题为“车载监控视频在交通事故车速鉴定中的应用”一文中提出的方法,仍是参照GA/T1133-2014《基于视频图像的车辆行驶速度技术鉴定》中固定视频中车速的计算方法计算本车车速,该方法并无创新,也不能解算车载视频中目标车辆行驶速度。
发明内容
为了解决现有技术中存在的问题及不足,本发明提供了一种基于摄影测量解算车载视频中目标车辆运动的方法,利用近景摄影测量中的二维直接线性变换解法解算目标车辆的行驶速度,该方法对车载视频摄像镜头进行畸变矫正,显著减小了镜头畸变对车辆运动状态解算精度的影响;建立路面坐标系,选取标定点和参照点并对每帧图像中的直接线性变换关系进行独立求解,避免了本车移动和镜头晃动对目标车辆运动状态解算的影响;根据选取参照点的运动轨迹不同,提供了相对应的解算目标车辆的方法。
本发明提供了一种基于摄影测量解算车载视频中目标车辆运动的方法,该方法包括:
步骤S1:标记目标车辆在车载视频中运动的时间段,逐帧获取该时间段内的每帧视频图像;
步骤S2:计算上述车载视频摄像镜头畸变参数,并利用计算结果对所述每帧视频图像进行畸变矫正处理,得到矫正后的每帧图像;
步骤S3:建立地面坐标系,选取矫正后的每帧图像中路面上共有的至少四个特征点作为标定点,且满足任意三个标定点不在同一条直线上,获取所述标定点的坐标值;
步骤S4:建立图像平面坐标系,逐帧获取所述标定点在每帧图像上的图像坐标值,并独立求解每帧图像上的DLT系数;
步骤S5:选取视频中目标车辆某一轮胎接地点或能够代表车辆运动的路面上的某一点为参照点,获取该参照点在每帧图像上的坐标值,再根据各帧图像的DLT系数依次求解该参照点在地面坐标系中的坐标值;并将求解的参照点连续的地面坐标值按时间顺序拟合为地面坐标系中的光滑曲线,该曲线即为所述参照点的运动轨迹;
步骤S6:若所述运动轨迹近似为直线运动,则对该运动轨迹进行积分、微分运算即可得目标车辆的运动轨迹、运动距离、速度、加速度等运动状态参数;
步骤S7:若所述运动轨迹为曲线运动,则应先对该运动轨迹进行运算得到该参照点的运动速度和转弯半径,再测量目标车辆的尺寸信息、各轴载荷情况,确定质心位置进而解算目标车辆质心的运动状态参数。
作为实施例,所述的每帧图像选取于车载视频装置拍摄的视频流,所述每帧图像包括时间信息,根据时间信息可以对每帧图像进行排序,计算所得的车辆运动状态也要与视频中的时间信息对应。
作为优选实施例,获取的每帧车载视频图像中至少包含目标车辆的同一个轮胎接地点,以便作为参照点解算目标车辆行驶状态,轮胎接地点选取距离车载摄像装置最近的或视频画面中最清晰可见的,且周围路面特征点较多的轮胎外侧接地位置中心点。
由于车载摄像镜头注重大广角摄像,因此通常车载镜头的非线性畸变量很大,严重影响利用近景摄影测量对车辆状态进行解算,所以本发明需要对每帧视频图像进行畸变矫正处理;所述畸变矫正处理,其包括:利用棋盘格板对车载摄像镜头进行畸变矫正,为了使矫正结果精确,棋盘格板要求完全覆盖车载视频画面,无论车载摄像镜头为单目或双目或多目镜头,均可利用Matlab软件(数学软件)中的toolbox_calib插件计算镜头畸变参数,再根据计算所得畸变参数,完成上述获取的每帧视频图像的畸变矫正处理,在一些实施例中也可利用PC-Rect(近景摄影测量软件)进行畸变矫正处理。
作为优选的实施例,选取的标定点应满足任意三个不在同一条直线上,当各帧图像中共有的特征点较少时,至少应选取四个特征点作为标定点,建立地面坐标系,测量各标定点坐标,求解DLT系数的近似值;当各帧图像中共有的特征点较多时,可选取多余特征点作为观测值,迭代运算求解DLT系数的精确值。
由于目标车辆处于移动状态,在对所述DLT系数求解时,必须在同一坐标系下对每帧图像的DLT系数进行独立求解,根据求解的每帧图像的DLT系数及对应的参照点在每帧图像上的像素坐标,计算参照点在每帧时刻对应的地面坐标值。
作为优选的实施例,所述的DLT系数利用近景摄影测量中二维直接线性变换解法求解。
在步骤S7中,由于车辆转弯时车体各部分的角速度相同,而线速度与转弯半径有关,所以,在求车辆质心的运动速度之前应先求车辆质心的转弯半径。根据车辆类型、车辆尺寸及车辆各轴载荷情况可确定车辆质心的位置;再根据弧长、弦长及半径三者几何关系求解参照点的转弯半径,公式如下:
X=2Rsin[C/(2R)]
式中,C为圆弧弧长,即运动轨迹长度;X为圆弧弦长,即运动轨迹两端点连线;R为所求半径,即参照点转弯半径;
再根据下列车辆各部运动几何关系确定车辆质心的转弯半径:
(1)参照点为内侧后轮接地点时:
(2)参照点为外侧后轮接地点时:
(3)参照点为内侧前轮接地点时:
(4)参照点为外侧前轮接地点时:
最后根据下式求解车辆质心的速度:
上述各式中,n为大于0的自然数;R1、R2、R3、R4、Rn分别为各参照点转弯半径;R0为车辆质心转弯半径;vn为参照点的速度;v0为车辆质心的速度;l为质心到后轴的距离;b为质心到后内轮的横向垂直距离;L为轴距;B为轮距。
本发明方法通过计算车载视频摄像镜头的畸变参数及对每帧图像进行畸变矫正处理,显著减小了镜头畸变对车辆运动状态解算精度的影响;建立地面坐标系,选取标定点和参照点并对每帧图像中的直接线性变换关系进行独立求解,避免了本车移动和镜头晃动对目标车辆运动状态解算的影响;根据选取参照点的不同,提供了相对应的解算目标车辆运动状态的方法;本发明解决了现有方法在一些情况下无法计算车载视频中目标车辆的运动状态或解算误差较大的问题。
附图说明
下面根据较佳实施例并结合附图所示予以详细叙述本发明,应当理解的是,本发明并不限于以下附图所描述的实施例。
图1是本发明所述方法一实施例流程示意图。
图2是本发明中利用棋盘格板对车载视频记录装置的摄像镜头进行畸变矫正处理一实施例示意图。
图3是本发明所述标定点和参照点的选取一实施例示意图。
图4是一实施例依据本发明方法拟合的参照点运动轨迹。
图5是一实施例依据本发明方法拟合的参照点速度-时间曲线。
图6是一实施例中汽车转向运动几何关系分析图。
具体实施方式
下面将结合附图对本发明的技术方案进行实施举例说明,显然,以下所描述的实施例只是本发明的部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,均属于本发明保护范围内。
本发明通过车载监控或摄像装置来获取有效的目标车辆行驶视频数据,以路面特征点为标定点,以车轮着地点或能代表车辆运动的地面上的点为参照点,结合二维直接线性变换算法,动态地分别解算参照点在相邻两帧图像间的位移,避免了由车辆间的相对运动对计算参照距离产生的误差影响,因此完全适用于车载视频中目标车辆的行驶状态解算。
如图1所示实施例一,一种基于摄影测量解算车载视频中目标车辆运动的方法,其包括以下步骤:
100:标记目标车辆在车载视频中运动的时间段,逐帧获取该时间段内每帧视频图像。
所述的每帧图像选取自车载视频装置拍摄的视频流,所述车载视频的分辨率要足以提供清晰画面。
所述获取的每帧视频图像中至少包含目标车辆的一个轮胎接地点,以便作为参照点解算目标车辆行驶状态,作为优选实施例,所述视频图像具有至少一个相同轮胎的接地点,例如在所有获取的视频图像中都存在左后轮胎接地点。
在一些实施例中,也不排除获取不同的轮胎接地点,依据后续求得的不同的轮胎接地点轨迹图,对解算结果进行均值优化。
200:计算上述车载视频摄像镜头畸变参数,并利用计算结果对上述每帧视频图像逐个进行畸变矫正处理,得到矫正后的每帧图像。
如图2所示,利用棋盘格板对车载摄像镜头进行畸变矫正处理,为了使矫正结果精确,使用时棋盘格板应尽可能完全覆盖整个车载视频画面;而无论车载摄像镜头为单目、双目或多目镜头,均可利用Matlab软件中的toolbox_calib插件进行畸变矫正处理,在一些实施例中,也可利用近景摄影测量软件PC-Rect计算镜头畸变参数,根据计算后摄像镜头畸变参数,对上述获取的每帧图像进行畸变矫正处理。
所述的棋盘格板,为黑白相间的矩阵图,其上按照排列顺序对方格依次编号,在一些实施例中,也可采用圆形畸变矫正板。
300:建立地面坐标系,选取标定点并确定标定点在地面坐标系内的坐标。
其中,所述标定点可以选取每帧图像中路面上至少四个共有的特征点作为标定点,且满足任意三个标定点不在同一条直线上。
所述的标定点,选择距离所述参照点较近的,且在所述每帧图像中存在明显特征的易于识别或辨别的标志点、标志线或标志物位置,例如人行横道线、交通指示线等交通标志或标线,又如道路上的护栏、路障等标志物。
400:建立图像平面坐标系,获取标定点在每帧图像上的图像坐标值,独立求解各帧图像的DLT系数。
所述的DLT系数,根据近景摄影测量中的二维直接线性变换,具体解算关系式为:
上式中,(x,y)为图像平面坐标系坐标,(X,Y,Z)为物方空间坐标系坐标,本发明方法中如果选取的特征点为同一平面上的点,则Z为常数,上式可变换为:
式(1)中,(x,y)为图像平面坐标系坐标,(X,Y)为物方空间某一平面坐标系坐标,l1,l2…l8为DLT系数。
将四个标定点的坐标代入(1)式中,得到:A×ln+B=0(2);
式(2)中:
500:选取参照点,根据各帧图像的DLT系数依次求解该参照点在地面坐标系中的坐标值;并将参照点的坐标值按时间顺序拟合为地面坐标系中的光滑曲线,得出参照点在地面坐标系中的运动轨迹。
所述的参照点,选取距离车载摄像装置最近的或视频画面中最清晰可见的,且周围路面特征点较多的轮胎外侧接地位置中心点,优选的,所述参照点选用同一轮胎接地点。
根据所述参照点不同的运动轨迹求解目标车辆的运动状态,若所述运动轨迹近似直线运动,则进入步骤600,否则进入步骤700。
600:若所述运动轨迹近似为直线运动,则对该运动轨迹进行积分、微分运算即可得目标车辆的行驶距离、速度、加速度等运动状态参数。
700:若所述运动轨迹为曲线运动,则应先对该运动轨迹进行运算得到该参照点的运动距离、速度和转弯半径,再测量目标车辆的尺寸信息、各轴载荷情况,确定质心位置进而解算目标车辆质心的运动状态参数。
所述车辆质心的转弯半径,可以通过以下计算得到:
根据弧长、弦长及半径三者几何关系求解参照点的转弯半径,公式如下:
X=2Rsin[C/(2R)]
式中,C为圆弧弧长,即运动轨迹长度;X为圆弧弦长,即运动轨迹两端点连线;R为所求半径,即参照点转弯半径;
再根据下列车辆各部运动几何关系确定车辆质心的转弯半径:
(1)参照点为内侧后轮接地点时:
(2)参照点为外侧后轮接地点时:
(3)参照点为内侧前轮接地点时:
(4)参照点为外侧前轮接地点时:
在曲线运动轨迹情况下车辆质心的速度为:
上列各式中,n为大于零的自然数;R1、R2、R3、R4、Rn分别为各参照点转弯半径;R0为车辆质心转弯半径;vn为参照点的速度;v0为车辆质心的速度;l为质心到后轴的距离;b为质心到后内轮的横向垂直距离;L为轴距;B为轮距。
如图3所示实施例二,利用本发明方法解算某车载视频图像中目标车辆厢式货车经过人行横道线时的运动状态,具体实施步骤包括:
第一步,标记目标车辆在车载视频中经过人行横道的时间段,按帧连续获取该时间段内每帧视频图像,共获取到26帧图像,从0至25依次编号,此视频帧率为30fps。
第二步,计算上述车载视频摄像镜头畸变参数,并利用计算结果对上述每帧图像逐个进行畸变矫正处理,得到矫正后的每帧图像。
第三步,选取第二步中矫正后的每帧图像中路面上共有的四个特征点作为标定点,且满足任意三个标定点不在同一条直线上,建立地面坐标系,选取人行横道线上的a、b、c、d四个特征点作为地面标定点,在第0帧图像中,经测量四点的地面坐标值分别为a=(1,6)、b=(2,0)、c=(3,0)、d=(4,6)。
所述的a、b、c、d四个特征点选自人行横道线的顶点。
第四步,在第0帧图像上建立图像平面坐标系,利用MATLAB图像处理工具模块逐帧获取四个标定点依次在每帧图像上的图像坐标值(以像素为单位),分别为a=(600,704),b=(840,733),c=(916,724),d=(795,698),根据近景摄影测量中的二维直接线性变换关系式,求解第0帧图像上的DLT系数:
式(1)中,(x,y)为图像平面坐标,(X,Y)为物方空间某一平面坐标,l1,l2..l8为DLT系数;
将四个标定点图像坐标和路面坐标同时带入式(1)中,得:A×ln+B=0(2)。
式(2)中:
解得第0帧图像的DLT系数为l0=[-509,-118,-502,-277,-162,-772,0.406,0.245]T。
第五步,选取视频中目标车辆左后轮胎接地点为参照点,如图3所示,M是目标车辆左后外轮着地点,作为参照点其地面坐标值待求;获取所述参照点M在第0帧图像平面坐标系中的坐标值M=(904,719),根据上述所求DLT系数l0带入式(1)求解该参照点在地面坐标系中的坐标值为M=(3.2,0.6)。
第六步,对编号第1至25帧图像依次分别独立重复第三、四、五步,并得到参照点M在26帧图像中对应的地面坐标值,标注在地面坐标系中并用光滑曲线连接,如图4所示,即为目标车辆上述轮胎接地点的运动轨迹,轨迹各处切线的方向即为轮胎处于该位置时的行驶速度方向。
第七步,图4中所示轮胎运动轨迹并非直线,为近似圆弧曲线运动,通常是车辆处于转弯状态,应先对该运动轨迹进行积分、微分运算,得到该参照点的运动速度曲线,如图5所示,近似匀速运动,速度平均值为21.6km/h;
再根据圆弧曲线运动轨迹的弧长、弦长及半径三者几何关系求解参照点的转弯半径,公式如下:X=2Rsin[C/(2R)];
式中,C为圆弧弧长,即运动轨迹长度;X为圆弧弦长,即运动轨迹两端点连线;R为所求的参照点转弯半径。
根据上式解得参照点转弯半径约为24.7m。
第八步,如附图6所示,由于车辆转弯时车体各部分的角速度相同,而线速度不同,所以,为求车辆质心的运动速度应先求车辆质心的转弯半径。
根据测量所得的该车尺寸及轴荷信息,计算得同该车辆质心距后轴距离约为2.13m,车辆质心基本位于车体左右对称平面上,质心距后轮的横向垂直距离约为1.25m。因此,车辆质心转弯半径可根据下式求解:
式中,R1为参照点转弯半径(内侧后轮接地点);R0为车辆质心转弯半径;l为质心到后轴的距离,约为2.13m;b为质心到后轮的横向垂直距离,约为1.25m。
根据上式解得目标货车质心转弯半径约为26m。
将求得的车辆质心转弯半径代入下式,计算目标车辆质心的运动速度:
式中,v1为参照点的速度;v0为车辆质心速度。
如图6所示,本实施例中参照点选取距离车载摄像装置最近且清晰易辨的目标车辆左后车轮接地点,在目标车辆左后轮接地点周围特征点较少时,也可选取目标车辆的左前车轮接地点,如果参照点选取左前车轮接地点则v3为参照点的速度,R3为参照点对应车轮转弯半径,根据上述公式也可计算相应的质心运动参数。
将各参数带入上式解得质心运动速度为22.7km/h,加速度近似为0,运动状态近似匀速圆周运动。
经核实,上述目标车辆的GPS设备记录的该段实际车速为23km/h,加速度为0,车速计算误差为1.3%;GPS记录的实际运动轨迹计算所得转弯半径为28m,两者误差7%;误差均满足应用精度要求。
在一些实施例中,所述参照点在各帧的地面坐标值利用插值法拟合为光滑的运动轨迹曲线。
本发明所述的参照点,也可选自地面上代表目标车辆运动的点,如在自然光照下车辆的光影。
在一些实施例中对于载货卡车等轮胎数大于4个的车辆,可以根据不同车辆的参数获得相应参照点的转弯半径,进而解算车辆质心的速度,由于不同车辆的参数不同,本发明不再展开说明其解算过程。
在一些实施例中,当各帧图像中共有的特征点大于4个时,选取至少一个特征点作为观测值,迭代运算求解DLT系数的精确值。
在一些实施例中,本发明所述方法还适用于摄像机在旋转运动过程中拍摄的视频和固定摄像头在风吹抖动下拍摄的视频中目标车辆的运动状态解算。
在一些实施例中,本发明方法的第五步骤中,所述参照点可以选取多个目标车辆的轮胎作为参照点,拟合的运动轨迹可以有多条,再对求得的多个车辆质心速度进行均值,进一步提升目标车辆运动状态的测量精度。
在一些实施例中,在标记的时间段内,如果某些帧图像中的参照点采用其他轮胎的接地点,那么最后获取的参照点运动轨迹为多条光滑曲线,则按本发明方法分段计算获取目标车辆的运动状态参数。
最后说明的是,本发明虽然已经描述了技术方案及实施方式,但是对于本领域普通技术人员而言,在本发明的实施方案范围内获取更多的实施方案是可能的,任何对实施方案的任何等同的替换、修改等不构成与本发明实施方案本质区别的,都在本发明权利要求所述的范围之内。
Claims (10)
1.一种基于摄影测量解算车载视频中目标车辆运动的方法,其特征在于,该方法包括:
步骤S1:标记目标车辆在车载视频中运动的时间段,逐帧获取该时间段内的每帧视频图像;
步骤S2:计算上述车载视频摄像镜头畸变参数,并利用计算所得畸变参数对所述每帧视频图像进行畸变矫正处理,得到矫正后的每帧图像;
步骤S3:建立地面坐标系,选取矫正后的每帧图像中路面上共有的至少四个特征点作为标定点,且满足任意三个标定点不在同一条直线上,获取所述标定点在地面坐标系中的坐标值;
步骤S4:建立图像平面坐标系,逐帧获取所述标定点在每帧图像上的图像坐标值,并独立求解每帧图像上的DLT系数;
步骤S5:选取视频中目标车辆某一轮胎接地点或能够代表车辆运动的地面上的点为参照点,获取参照点在每帧图像上的坐标值,再根据各帧图像的DLT系数依次求解参照点在地面坐标系中的坐标值;并将求解的参照点连续的地面坐标值拟合为地面坐标系中的光滑曲线,该曲线即为目标车辆上所述参照点的运动轨迹;
其中,获取的每帧图像还包括时间信息;
若所述运动轨迹近似直线运动,则进入步骤S6,否则进入步骤S7;
步骤S6:若所述运动轨迹近似为直线运动,则对该运动轨迹进行积分、微分运算即可得目标车辆的运动状态参数,所述运动参数包括运动轨迹、运动距离、速度和加速度;
步骤S7:若所述运动轨迹为曲线运动,则先对该运动轨迹进行运算得到该参照点的运动距离、转弯半径和运动速度,再测量目标车辆的尺寸信息、各轴载荷情况确定质心位置,进而解算目标车辆质心的运动状态参数,所述运动参数包括运动轨迹、运动距离、速度和加速度。
2.根据权利要求1所述的方法,其特征在于,所述步骤S2中的畸变矫正处理,其包括:利用棋盘格板计算车载摄像镜头畸变参数,在计算时要求棋盘格板完全覆盖车载视频画面,再利用相机标定软件或程序获取镜头畸变参数,之后根据所得的畸变参数,完成上述获取的每帧视频图像的畸变矫正处理。
3.根据权利要求1所述的方法,其特征在于,所述步骤S5中所述的参照点选择距离车载摄像装置最近或视频画面中最清晰可见的,且周围路面特征点较多的轮胎外侧接地位置中心点。
4.根据权利要求1所述的方法,其特征在于,在对所述DLT系数求解时,在同一坐标系下对每帧图像的DLT系数进行独立求解,再根据求解的每帧图像的DLT系数及对应的参照点在每帧图像上的像素坐标,计算参照点在每帧时刻对应的地面坐标值。
5.根据权利要求1所述的方法,其特征在于,所述的DLT系数利用近景摄影测量中二维直接线性变换解法求解。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述步骤S1中获取的每帧视频图像中至少包含目标车辆的一个轮胎接地点或能够代表车辆运动的地面上的点。
7.根据权利要求6所述的方法,其特征在于,在步骤S7中,由于车辆转弯时车体各部分的角速度相同,而线速度与转弯半径有关,所以在求车辆质心的运动速度之前应先求车辆质心的转弯半径,根据车辆类型、车辆尺寸及车辆各轴载荷情况可确定车辆质心的位置;再根据弧长、弦长及半径三者几何关系求解参照点的转弯半径,公式如下:
X=2Rsin[C/(2R)]
式中,C为圆弧弧长,即运动轨迹长度;X为圆弧弦长,即运动轨迹两端点连线;R为所求半径,即参照点转弯半径;
再根据下列车辆各部运动几何关系确定车辆质心的转弯半径:
(1)参照点为内侧后轮接地点时:
(2)参照点为外侧后轮接地点时:
(3)参照点为内侧前轮接地点时:
(4)参照点为外侧前轮接地点时:
最后根据下式求解车辆质心的速度:
上述各式中,n为大于0的自然数;R1、R2、R3、R4、Rn分别为各参照点转弯半径;R0为车辆质心转弯半径;vn为参照点的速度;v0为车辆质心的速度;l为质心到后轴的距离;b为质心到后内轮的横向垂直距离;L为轴距;B为轮距。
8.根据权利要求7所述的方法,其特征在于,所述参照点同时选取多个轮胎的接地点并获取多个参照点的运动轨迹,通过均值法获取车辆质心的速度。
9.根据权利要求1-5任一项所述的方法,其特征在于,所述标定点选择距离所述参照点较近的,且在每帧图像中存在明显特征的易于识别或辨别的路面标志点、标志线或标志物位置。
10.根据权利要求1-5任一项所述的方法,其特征在于,当各帧图像中共有的特征点大于四个时,选取至少一个特征点作为观测值,迭代运算求解DLT系数的精确值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910709217.2A CN112308786B (zh) | 2019-08-01 | 2019-08-01 | 一种基于摄影测量解算车载视频中目标车辆运动的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910709217.2A CN112308786B (zh) | 2019-08-01 | 2019-08-01 | 一种基于摄影测量解算车载视频中目标车辆运动的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112308786A true CN112308786A (zh) | 2021-02-02 |
CN112308786B CN112308786B (zh) | 2023-04-07 |
Family
ID=74486518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910709217.2A Active CN112308786B (zh) | 2019-08-01 | 2019-08-01 | 一种基于摄影测量解算车载视频中目标车辆运动的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112308786B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113709560A (zh) * | 2021-03-31 | 2021-11-26 | 腾讯科技(深圳)有限公司 | 视频剪辑方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102306284A (zh) * | 2011-08-12 | 2012-01-04 | 上海交通大学 | 基于监控录像的交通事故现场数字化重构方法 |
CN107818685A (zh) * | 2017-10-25 | 2018-03-20 | 司法部司法鉴定科学技术研究所 | 一种基于车载视频获取车辆运动状态的方法 |
CN109683614A (zh) * | 2018-12-25 | 2019-04-26 | 青岛慧拓智能机器有限公司 | 用于无人矿用车辆的车辆路径控制方法及装置 |
-
2019
- 2019-08-01 CN CN201910709217.2A patent/CN112308786B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102306284A (zh) * | 2011-08-12 | 2012-01-04 | 上海交通大学 | 基于监控录像的交通事故现场数字化重构方法 |
CN107818685A (zh) * | 2017-10-25 | 2018-03-20 | 司法部司法鉴定科学技术研究所 | 一种基于车载视频获取车辆运动状态的方法 |
CN109683614A (zh) * | 2018-12-25 | 2019-04-26 | 青岛慧拓智能机器有限公司 | 用于无人矿用车辆的车辆路径控制方法及装置 |
Non-Patent Citations (1)
Title |
---|
陈辉 等: "《DB53/T 806-2016基于视频图像的道路交通事故分析方法》", 10 November 2016, 云南省质量技术监督局 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113709560A (zh) * | 2021-03-31 | 2021-11-26 | 腾讯科技(深圳)有限公司 | 视频剪辑方法、装置、设备及存储介质 |
CN113709560B (zh) * | 2021-03-31 | 2024-01-02 | 腾讯科技(深圳)有限公司 | 视频剪辑方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112308786B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10640041B2 (en) | Method for dynamically calibrating vehicular cameras | |
CN106408611B (zh) | 静态目标的路过式校准 | |
US6812831B2 (en) | Vehicle surroundings monitoring apparatus | |
CN110008893B (zh) | 一种基于车载图像传感器的车辆行驶跑偏自动检测方法 | |
EP2372304B1 (en) | Vehicle position recognition system | |
CN107229908B (zh) | 一种车道线检测方法 | |
DE10246067B4 (de) | Verfahren und Vorrichtung zur Kalibrierung eines Bildsensorsystems in einem Kraftfahrzeug | |
CN111829549B (zh) | 一种基于高精度地图的积雪路面虚拟车道线投影方法 | |
CN106054191A (zh) | 车轮检测和其在物体跟踪以及传感器配准中的应用 | |
US9792683B2 (en) | System, vehicle and method for online calibration of a camera on a vehicle | |
CN111344765B (zh) | 道路地图生成系统以及道路地图生成方法 | |
CN108909625B (zh) | 基于全景环视系统的车底地面显示方法 | |
CN106054174A (zh) | 使用雷达和摄像机用于横越交通应用的融合方法 | |
CN102745198B (zh) | 一种车辆前向轨迹辅助装置 | |
CN107133985A (zh) | 一种基于车道线消逝点的车载摄像机自动标定方法 | |
CN107284455B (zh) | 一种基于图像处理的adas系统 | |
CN102915532A (zh) | 确定车辆视觉系统外部参数的方法以及车辆视觉系统 | |
CN110023951A (zh) | 信息处理设备、成像设备、装置控制系统、信息处理方法和计算机程序产品 | |
EP0710387B1 (en) | Method and apparatus for calibrating three-dimensional space for machine vision applications | |
CN110546456B (zh) | 用于底盘测量的方法和设备 | |
CN202716870U (zh) | 一种车辆前向轨迹辅助装置 | |
EP3364336B1 (en) | A method and apparatus for estimating a range of a moving object | |
CN112308786B (zh) | 一种基于摄影测量解算车载视频中目标车辆运动的方法 | |
CN114841188A (zh) | 一种基于二维码的车辆融合定位方法及装置 | |
JP4020071B2 (ja) | 周囲状況表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |