CN112396557A - 一种基于近景摄影测量解算监控视频中车辆运动的方法 - Google Patents

一种基于近景摄影测量解算监控视频中车辆运动的方法 Download PDF

Info

Publication number
CN112396557A
CN112396557A CN201910709218.7A CN201910709218A CN112396557A CN 112396557 A CN112396557 A CN 112396557A CN 201910709218 A CN201910709218 A CN 201910709218A CN 112396557 A CN112396557 A CN 112396557A
Authority
CN
China
Prior art keywords
frame
motion
image
vehicle
reference point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910709218.7A
Other languages
English (en)
Other versions
CN112396557B (zh
Inventor
冯浩
衡威威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Academy Of Forensic Science
Original Assignee
Academy Of Forensic Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Academy Of Forensic Science filed Critical Academy Of Forensic Science
Priority to CN201910709218.7A priority Critical patent/CN112396557B/zh
Publication of CN112396557A publication Critical patent/CN112396557A/zh
Application granted granted Critical
Publication of CN112396557B publication Critical patent/CN112396557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于近景摄影测量解算监控视频中车辆运动的方法，包括：逐帧获取每帧视频图像；计算固定摄像镜头畸变参数并对每帧图像进行畸变矫正处理；选取地面坐标系中路面上的多个标定点，获取标定点在地面坐标系中的坐标；建立图像平面坐标系，逐帧获取标定点在每帧图像上的图像坐标值，独立求解每帧图像上的DLT系数；选取视频中目标车辆一轮胎接地点为参照点，获取参照点在每帧图像上的坐标值，根据各帧图像的DLT系数依次求解参照点的地面坐标值；将求解的参照点地面坐标值按时间顺序拟合为光滑曲线；针对不同类型的运动轨迹解算车辆相应的运动状态。本发明通过获取参照点的运动轨迹，解算目标车辆的运动状态且解算误差小。

Description

一种基于近景摄影测量解算监控视频中车辆运动的方法
技术领域
本发明涉及一种道路交通安全领域的车辆运动状态解算方法，具体是一种基于近景摄影测量中的二维直接线性变换解法解算监控视频中目标车辆运动的方法。
背景技术
基于视频图像进行车辆行驶速度解算，是道路交通事故司法鉴定领域常见的鉴定项目，随着国家有关标准的推进以及人们交通安全意识的不断提升，越来越多的车辆安装具有车载视频行驶记录功能的装置，如行车记录仪等，但由于多种因素影响，在车速鉴定时更多的还是采用交通监控布网中的固定摄像监控设备。
GA/T1133-2014《基于视频图像的车辆行驶速度技术鉴定》中给出了固定视频(指摄像头相对地面固定不动)计算车辆行驶速度的方法。但是，在某些特殊情况下，采用此方法计算会导致结果误差大或无法解算，例如固定摄像头受风力作用出现抖动、晃动、旋转等移动状态下，所以固定视频中车速的计算方法在上述移动状态下并不适用于车速的计算。
目前在道路安全领域，车辆速度的计算方法主要存在以下几点问题：1)参照固定视频中车辆速度的计算方法无法用来解算固定视频移动状态下的目标车辆速度；2)固定监控设备在移动状态下，会导致镜头与物体的焦距产生变化，焦距的变化引起监控视角的变化，监控视角的变化导致获得的监控画面出现畸变，而忽视了道路固定监控视频图像存在的镜头畸变问题，会存在计算精度差的问题，导致车速鉴定结果出现较大误差。
中国专利号为201310350137.5的发明专利公布了一种基于车身特征点定位的车速鉴定方法，该发明专利提出利用车身特征点结合帧间插值计算车速的方法，该方法可应用于固定监控视频中目标车辆速度的计算，要求必须存在合适的车身特征点作为参照点，是传统的利用车身特征点计算车速的一种改进方法。但是对于固定监控视频图像，如果固定监控视频处于移动状态下，会导致拍摄视角的相对运动，如果仍选取车身特征点作为参照点，那么该相对运动会导致根据参照点确定的参照距离不可避免地出现较大偏差，进而导致车速计算出现较大误差，因此该发明专利在原理和实践上都不适用于计算固定视频移动状态中目标车辆行驶状态。
发明内容
为了解决现有技术中存在的问题及不足，本发明提供了一种基于近景摄影测量解算监控视频中车辆运动的方法，利用近景摄影测量中的二维直接线性变换解法解算目标车辆的行驶速度，该方法对固定视频摄像镜头进行畸变矫正，显著减小了镜头畸变对车辆运动状态解算精度的影响；建立路面坐标系，选取标定点和参照点并对每帧图像中的直接线性变换关系进行独立求解，避免了固定摄像镜头抖动、晃动、旋转等对目标车辆运动状态解算的影响；根据选取参照点的运动轨迹不同，提供了相对应的解算目标车辆的方法。
本发明提供了一种基于近景摄影测量解算监控视频中车辆运动的方法，该方法包括：
步骤S1：在固定摄像镜头移动状态下，标记目标车辆在监控视频中运动的时间段，逐帧获取该时间段内的每帧视频图像；
步骤S2：计算上述固定视频摄像镜头的畸变参数，并利用计算所得畸变参数对所述每帧视频图像进行畸变矫正处理，得到矫正后的每帧图像；
步骤S3：建立地面坐标系，选取矫正后的每帧图像中路面上共有的至少四个特征点作为标定点，且满足任意三个标定点不在同一条直线上，获取所述标定点在地面坐标系中的坐标值；
步骤S4：建立图像平面坐标系，逐帧获取所述标定点在每帧图像上的图像坐标值，并独立求解每帧图像上的DLT系数；
步骤S5：选取视频中目标车辆某一轮胎接地点或能够代表车辆运动的地面上的点为参照点，获取参照点在每帧图像上的坐标值，再根据各帧图像的DLT系数依次求解参照点在地面坐标系中的坐标值；并将求解的参照点连续的地面坐标值拟合为地面坐标系中的光滑曲线，该曲线即为目标车辆上所述参照点的运动轨迹；
其中，获取的每帧图像还包括时间信息；
若所述运动轨迹近似直线运动，则进入步骤S6，否则进入步骤S7；
步骤S6：若所述运动轨迹近似为直线运动，则对该运动轨迹进行积分、微分运算即可得目标车辆的运动状态参数，所述运动参数包括运动轨迹、运动距离、速度和加速度；
步骤S7：若所述运动轨迹为曲线运动，则先对该运动轨迹进行运算得到该参照点的运动距离、转弯半径和运动速度，再测量目标车辆的尺寸信息、各轴载荷情况确定质心位置，进而解算目标车辆质心的运动状态参数，所述运动参数包括运动轨迹、运动距离、速度和加速度。
作为实施例，所述的每帧图像选取于固定视频装置拍摄的视频流，所述每帧图像包括时间信息，根据时间信息可以对每帧图像进行排序，计算所得的车辆运动状态也要与视频中的时间信息对应。
作为优选实施例，获取的每帧视频图像中至少包含目标车辆的同一个轮胎接地点，以便作为参照点解算目标车辆行驶状态，轮胎接地点选取距离固定摄像装置最近的或视频画面中最清晰可见的，且周围路面特征点较多的轮胎外侧接地位置中心点。
由于道路固定监控摄像镜头在移动状态下会有非线性畸变量，影响利用近景摄影测量对车辆状态进行解算的精度，所以本发明需要对每帧视频图像进行畸变矫正处理；所述畸变矫正处理，其包括：利用棋盘格板对固定摄像镜头进行畸变矫正，为了使矫正结果精确，棋盘格板要求完全覆盖固定摄像镜头画面，无论固定摄像镜头为单目或双目或多目镜头，均可利用Matlab软件(数学软件)中的toolbox_calib插件计算镜头畸变参数，再根据计算所得畸变参数，完成上述获取的每帧视频图像的畸变矫正处理，在一些实施例中也可利用PC-Rect(近景摄影测量软件)进行畸变矫正处理。
作为优选的实施例，选取的标定点应满足任意三个不在同一条直线上，当各帧图像中共有的特征点较少时，至少应选取四个特征点作为标定点，建立地面坐标系，测量各标定点坐标，求解DLT系数的近似值；当各帧图像中共有的特征点较多时，可选取多余特征点作为观测值，迭代运算求解DLT系数的精确值。
由于目标车辆处于移动状态，在对所述DLT系数求解时，必须在同一坐标系下对每帧图像的DLT系数进行独立求解，根据求解的每帧图像的DLT系数及对应的参照点在每帧图像上的像素坐标，计算参照点在每帧时刻对应的地面坐标值。
作为优选的实施例，所述的DLT系数利用近景摄影测量中二维直接线性变换解法求解。
在步骤S7中，由于车辆转弯时车体各部分的角速度相同，而线速度与转弯半径有关，所以，在求车辆质心的运动速度之前应先求车辆质心的转弯半径。根据车辆类型、车辆尺寸及车辆各轴载荷情况可确定车辆质心的位置；再根据弧长、弦长及半径三者几何关系求解参照点的转弯半径，公式如下：
X＝2Rsin[C/(2R)]
式中，C为圆弧弧长，即运动轨迹长度；X为圆弧弦长，即运动轨迹两端点连线；R为所求半径，即参照点转弯半径；
再根据下列车辆各部运动几何关系确定车辆质心的转弯半径：
(1)参照点为内侧后轮接地点时：
Figure BDA0002153146140000041
(2)参照点为外侧后轮接地点时：
Figure BDA0002153146140000042
(3)参照点为内侧前轮接地点时：
Figure BDA0002153146140000043
(4)参照点为外侧前轮接地点时：
Figure BDA0002153146140000044
最后根据下式求解车辆质心的速度：
Figure BDA0002153146140000045
上述各式中，n为大于0的自然数；R1、R2、R3、R4、Rn分别为各参照点转弯半径；R0为车辆质心转弯半径；vn为参照点的速度；v0为车辆质心的速度；l为质心到后轴的距离；b为质心到后内轮的横向垂直距离；L为轴距；B为轮距。
本发明方法通过计算固定摄像镜头的畸变参数及对每帧图像进行畸变矫正处理，显著减小了镜头畸变对车辆运动状态解算精度的影响；建立地面坐标系，选取标定点和参照点并对每帧图像中的直接线性变换关系进行独立求解，避免了摄像装置处于抖动、晃动或旋转等移动状态对目标车辆运动状态解算的影响；根据选取参照点的不同，提供了相对应的解算目标车辆运动状态的方法；本发明解决了现有方法在一些情况下无法解算固定视频移动状态下目标车辆的运动状态或解算误差较大的问题。
附图说明
下面根据较佳实施例并结合附图所示予以详细叙述本发明，应当理解的是，本发明并不限于以下附图所描述的实施例。
图1是本发明所述方法一实施例流程示意图。
图2是本发明中利用棋盘格板对监控视频拍摄装置的摄像镜头进行畸变矫正处理一实施例示意图。
图3是本发明所述标定点和参照点的选取一实施例示意图。
图4是一实施例依据本发明方法拟合的参照点运动轨迹。
图5是一实施例依据本发明方法拟合的参照点速度-时间曲线。
图6是一实施例中汽车转向运动几何关系分析图。
具体实施方式
下面将结合附图对本发明的技术方案进行实施举例说明，显然，以下所描述的实施例只是本发明的部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，均属于本发明保护范围之内。
本发明通过固定监控或摄像装置来获取有效的目标车辆行驶视频数据，以路面特征点为标定点，以车轮着地点或能代表车辆运动的地面上的点为参照点，结合二维直接线性变换算法，动态地分别解算参照点在相邻两帧图像间的位移，避免了由于摄像头处于移动状态下对计算参照距离产生的误差影响，因此完全适用于固定视频装置移动状态下目标车辆的行驶状态解算。
如图1所示实施例一，一种基于近景摄影测量解算监控视频中车辆运动的方法，其包括以下步骤：
100：在固定摄像镜头移动状态下，标记目标车辆在监控视频中运动的时间段，逐帧获取该时间段内的每帧视频图像；
所述的每帧图像选取自固定摄像镜头拍摄的视频流，所述固定摄像镜头拍摄视频的分辨率要足以提供清晰画面。
所述获取的每帧视频图像中至少包含目标车辆的一个轮胎接地点，以便作为参照点解算目标车辆行驶状态，作为优选实施例，所述视频图像具有至少一个相同轮胎的接地点，例如在所有获取的视频图像中都存在左后轮胎接地点。
在一些实施例中，也不排除获取不同的轮胎接地点，依据后续求得的不同的轮胎接地点轨迹图，对解算结果进行均值优化。
200：计算上述固定摄像镜头畸变参数，并利用计算结果对上述每帧视频图像逐个进行畸变矫正处理，得到矫正后的每帧图像。
如图2所示，利用棋盘格板对固定摄像镜头进行畸变矫正处理，为了使矫正结果精确，使用时棋盘格板应尽可能完全覆盖整个固定摄像镜头画面；而无论固定摄像镜头为单目、双目或多目镜头，均可利用Matlab软件中的toolbox_calib插件进行畸变矫正处理，在一些实施例中，也可利用近景摄影测量软件PC-Rect计算镜头畸变参数，根据计算后摄像镜头畸变参数，对上述获取的每帧图像进行畸变矫正处理。
所述的棋盘格板，为黑白相间的矩阵图，其上按照排列顺序对方格依次编号，在一些实施例中，也可采用圆形畸变矫正板。
300：建立地面坐标系，选取标定点并确定标定点在地面坐标系内的坐标。
其中，所述标定点可以选取每帧图像中路面上至少四个共有的特征点作为标定点，且满足任意三个标定点不在同一条直线上。
所述的标定点，选择距离所述参照点较近的，且在所述每帧图像中存在明显特征的易于识别或辨别的标志点、标志线或标志物位置，例如人行横道线、交通指示线等交通标志或标线，又如道路上的护栏、路障等标志物。
400：建立图像平面坐标系，获取标定点在每帧图像上的图像坐标值，独立求解各帧图像的DLT系数。
所述的DLT系数，根据近景摄影测量中的二维直接线性变换，具体解算关系式为：
Figure BDA0002153146140000061
上式中，(x，y)为图像平面坐标系坐标，(X，Y，Z)为物方空间坐标系坐标，本发明方法中如果选取的特征点为同一平面上的点，则Z为常数，上式可变换为：
Figure BDA0002153146140000071
式(1)中，(x，y)为图像平面坐标系坐标，(X，Y)为物方空间某一平面坐标系坐标，l1，l2…l8为DLT系数。
将四个标定点的坐标代入(1)式中，得到：A×ln+B＝0 (2)；
式(2)中：
Figure BDA0002153146140000072
ln为DLT系数。
500：选取参照点，根据各帧图像的DLT系数依次求解该参照点在地面坐标系中的坐标值；并将参照点的坐标值按时间顺序拟合为地面坐标系中的光滑曲线，得出参照点在地面坐标系中的运动轨迹。
所述的参照点，选取距离固定摄像装置最近的或视频画面中最清晰可见的，且周围路面特征点较多的轮胎外侧接地位置中心点，优选的，所述参照点选用同一轮胎接地点。
根据所述参照点不同的运动轨迹求解目标车辆的运动状态，若所述运动轨迹近似直线运动，则进入步骤600，否则进入步骤700。
600：若所述运动轨迹近似为直线运动，则对该运动轨迹进行积分、微分运算即可得目标车辆的行驶距离、速度、加速度等运动状态参数。
700：若所述运动轨迹为曲线运动，则应先对该运动轨迹进行运算得到该参照点的运动距离、速度和转弯半径，再测量目标车辆的尺寸信息、各轴载荷情况，确定质心位置进而解算目标车辆质心的运动状态参数。
所述车辆质心的转弯半径，可以通过以下计算得到：
根据弧长、弦长及半径三者几何关系求解参照点的转弯半径，公式如下：
X＝2Rsin[C/(2R)]
式中，C为圆弧弧长，即运动轨迹长度；X为圆弧弦长，即运动轨迹两端点连线；R为所求半径，即参照点转弯半径；
再根据下列车辆各部运动几何关系确定车辆质心的转弯半径：
(1)参照点为内侧后轮接地点时：
Figure BDA0002153146140000081
(2)参照点为外侧后轮接地点时：
Figure BDA0002153146140000082
(3)参照点为内侧前轮接地点时：
Figure BDA0002153146140000083
(4)参照点为外侧前轮接地点时：
Figure BDA0002153146140000084
在曲线运动轨迹情况下车辆质心的速度为：
Figure BDA0002153146140000085
上列各式中，n为大于零的自然数；R1、R2、R3、R4、Rn分别为各参照点转弯半径；R0为车辆质心转弯半径；vn为参照点的速度；v0为车辆质心的速度；l为质心到后轴的距离；b为质心到后内轮的横向垂直距离；L为轴距；B为轮距。
如图3所示实施例二，利用本发明方法解算某固定摄像装置拍摄的监控视频中目标车辆厢式货车经过人行横道线时的运动状态，此时，固定摄像装置由于风力处于抖动状态下，具体实施步骤包括：
第一步，标记目标车辆在监控视频中经过人行横道的时间段，按帧连续获取该时间段内每帧视频图像，共获取到26帧图像，从0至25依次编号，此视频帧率为30fps。
第二步，计算上述固定摄像镜头畸变参数，并利用计算结果对上述每帧图像逐个进行畸变矫正处理，得到矫正后的每帧图像。
第三步，选取第二步中矫正后的每帧图像中路面上共有的四个特征点作为标定点，且满足任意三个标定点不在同一条直线上，建立地面坐标系，选取人行横道线上的a、b、c、d四个特征点作为地面标定点，在第0帧图像中，经测量四点的地面坐标值分别为a＝(1，6)、b＝(2，0)、c＝(3，0)、d＝(4，6)。
所述的a、b、c、d四个特征点选自人行横道线的顶点。
第四步，在第0帧图像上建立图像平面坐标系，利用MATLAB图像处理工具模块逐帧获取四个标定点依次在每帧图像上的图像坐标值(以像素为单位)，分别为a＝(600，704)，b＝(840，733)，c＝(916，724)，d＝(795，698)，根据近景摄影测量中的二维直接线性变换关系式，求解第0帧图像上的DLT系数：
Figure BDA0002153146140000091
式(1)中，(x，y)为图像平面坐标，(X，Y)为物方空间某一平面坐标，l1,l2..l8为DLT系数；
将四个标定点图像坐标和路面坐标同时带入式(1)中，得:A×ln+B＝0(2)。
式(2)中：
Figure BDA0002153146140000092
ln为DLT系数。
解得第0帧图像的DLT系数为l0＝[-509,-118,-502,-277,-162,-772,0.406,0.245]T。
第五步，选取视频中目标车辆左后轮胎接地点为参照点，如图3所示，M是目标车辆左后外轮着地点，作为参照点其地面坐标值待求；获取所述参照点M在第0帧图像平面坐标系中的坐标值M＝(904，719)，根据上述所求DLT系数l0带入式(1)求解该参照点在地面坐标系中的坐标值为M＝(3.2，0.6)。
第六步，对编号第1至25帧图像依次分别独立重复第三、四、五步，并得到参照点M在26帧图像中对应的地面坐标值，标注在地面坐标系中并用光滑曲线顺序连接，如图4所示，即为目标车辆上述轮胎接地点的运动轨迹，轨迹各处切线的方向即为轮胎处于该位置时的行驶速度方向。
第七步，图4中所示轮胎运动轨迹并非直线，为近似圆弧曲线运动，通常是车辆处于转弯状态，应先对该运动轨迹进行积分、微分运算，得到该参照点的运动速度曲线，如图5所示，近似匀速运动，速度平均值为21.6km/h；
再根据圆弧曲线运动轨迹的弧长、弦长及半径三者几何关系求解参照点的转弯半径，公式如下：X＝2Rsin[C/(2R)]；
式中，C为圆弧弧长，即运动轨迹长度；X为圆弧弦长，即运动轨迹两端点连线；R为所求的参照点转弯半径。
根据上式解得参照点转弯半径约为24.7m。
第八步，如附图6所示，由于车辆转弯时车体各部分的角速度相同，而线速度不同，所以，为求车辆质心的运动速度应先求车辆质心的转弯半径。
根据测量所得的该车尺寸及轴荷信息，计算得同该车辆质心距后轴距离约为2.13m，车辆质心基本位于车体左右对称平面上，质心距后轮的横向垂直距离约为1.25m。因此，车辆质心转弯半径可根据下式求解：
Figure BDA0002153146140000101
式中，R1为参照点转弯半径(内侧后轮接地点)；R0为车辆质心转弯半径；l为质心到后轴的距离，约为2.13m；b为质心到后轮的横向垂直距离，约为1.25m。
根据上式解得目标货车质心转弯半径约为26m。
将求得的车辆质心转弯半径代入下式，计算目标车辆质心的运动速度：
Figure BDA0002153146140000102
式中，v1为参照点的速度；v0为车辆质心速度。
如图6所示，本实施例中参照点选取距离固定摄像装置最近且清晰易辨的目标车辆左后车轮接地点，在目标车辆左后轮接地点周围特征点较少时，也可选取目标车辆的左前车轮接地点，如果参照点选取左前车轮接地点则v3为参照点的速度，R3为参照点对应车轮转弯半径，根据上述公式也可计算相应的质心运动参数。
将各参数带入上式解得质心运动速度为22.7km/h，加速度近似为0，运动状态近似匀速圆周运动。
经核实，上述目标车辆的GPS设备记录的该段实际车速为23km/h，加速度为0，车速计算误差为1.3％；GPS记录的实际运动轨迹计算所得转弯半径为28m，两者误差7％；误差均满足应用精度要求。
在一些实施例中，所述参照点在各帧的地面坐标值利用插值法拟合为光滑的运动轨迹曲线。
本发明所述的参照点，也可选自地面上代表目标车辆运动的点，如在自然光照下车辆的光影。
在一些实施例中对于载货卡车等轮胎数大于4个的车辆，可以根据不同车辆的参数获得相应参照点的转弯半径，进而解算车辆质心的速度，由于不同车辆的参数不同，本发明不再展开说明其解算过程。
在一些实施例中，当各帧图像中共有的特征点大于4个时，选取至少一个特征点作为观测值，迭代运算求解DLT系数的精确值。
在一些实施例中，本发明所述方法还适用于摄像机在旋转运动过程中拍摄的视频和移动电子设备拍摄的视频中目标车辆的运动状态解算。
在一些实施例中，本发明方法的第五步骤中，所述参照点可以选取多个目标车辆的轮胎作为参照点，拟合的运动轨迹可以有多条，再对求得的多个车辆质心速度进行均值，进一步提升目标车辆运动状态的测量精度。
在一些实施例中，在标记的时间段内，如果某些帧图像中的参照点采用其他轮胎的接地点，那么最后获取的参照点运动轨迹为多条光滑曲线，则按本发明方法分段计算获取目标车辆的运动状态参数。
最后说明的是，本发明虽然已经描述了技术方案及实施方式，但是对于本领域普通技术人员而言，在本发明的实施方案范围内获取更多的实施方案是可能的，任何对实施方案的任何等同的替换、修改等不构成与本发明实施方案本质区别的，都在本发明权利要求所述的范围之内。

Claims (10)

1.一种基于近景摄影测量解算监控视频中车辆运动的方法，其特征在于，该方法包括：
步骤S1：在固定摄像镜头移动状态下，标记目标车辆在监控视频中运动的时间段，逐帧获取该时间段内的每帧视频图像；
步骤S2：计算上述固定摄像镜头的畸变参数，并利用计算所得畸变参数对所述每帧视频图像进行畸变矫正处理，得到矫正后的每帧图像；
步骤S3：建立地面坐标系，选取矫正后的每帧图像中路面上共有的至少四个特征点作为标定点，且满足任意三个标定点不在同一条直线上，获取所述标定点在地面坐标系中的坐标值；
步骤S4：建立图像平面坐标系，逐帧获取所述标定点在每帧图像上的图像坐标值，并独立求解每帧图像上的DLT系数；
步骤S5：选取视频中目标车辆某一轮胎接地点或能够代表车辆运动的地面上的点为参照点，获取参照点在每帧图像上的坐标值，再根据各帧图像的DLT系数依次求解参照点在地面坐标系中的坐标值；并将求解的参照点连续的地面坐标值拟合为地面坐标系中的光滑曲线，该曲线即为目标车辆上所述参照点的运动轨迹；
其中，获取的每帧图像还包括时间信息；
若所述运动轨迹近似直线运动，则进入步骤S6，否则进入步骤S7；
步骤S6：若所述运动轨迹近似为直线运动，则对该运动轨迹进行积分、微分运算即可得目标车辆的运动状态参数，所述运动参数包括运动轨迹、运动距离、速度和加速度；
步骤S7：若所述运动轨迹为曲线运动，则先对该运动轨迹进行运算得到该参照点的运动距离、转弯半径和运动速度，再测量目标车辆的尺寸信息、各轴载荷情况确定质心位置，进而解算目标车辆质心的运动状态参数，所述运动参数包括运动轨迹、运动距离、速度和加速度。
2.根据权利要求1所述的方法，其特征在于，所述步骤S2中的畸变矫正处理，其包括：利用棋盘格板计算固定摄像镜头畸变参数，在计算时要求棋盘格板完全覆盖固定摄像镜头画面，再利用相机标定软件或程序获取镜头畸变参数，之后根据所得的畸变参数，完成上述获取的每帧视频图像的畸变矫正处理。
3.根据权利要求1所述的方法，其特征在于，所述步骤S5中所述的参照点选择距离固定摄像装置最近或视频画面中最清晰可见的，且周围路面特征点较多的轮胎外侧接地位置中心点。
4.根据权利要求1所述的方法，其特征在于，在对所述DLT系数求解时，在同一坐标系下对每帧图像的DLT系数进行独立求解，再根据求解的每帧图像的DLT系数及对应的参照点在每帧图像上的像素坐标，计算参照点在每帧时刻对应的地面坐标值。
5.根据权利要求1所述的方法，其特征在于，所述的DLT系数利用近景摄影测量中二维直接线性变换解法求解。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述步骤S1中获取的每帧视频图像中至少包含目标车辆的一个轮胎接地点或能够代表车辆运动的地面上的点。
7.根据权利要求6所述的方法，其特征在于，在步骤S7中，由于车辆转弯时车体各部分的角速度相同，而线速度与转弯半径有关，所以在求车辆质心的运动速度之前应先求车辆质心的转弯半径，根据车辆类型、车辆尺寸及车辆各轴载荷情况可确定车辆质心的位置；再根据弧长、弦长及半径三者几何关系求解参照点的转弯半径，公式如下：
X＝2Rsin[C/(2R)]
式中，C为圆弧弧长，即运动轨迹长度；X为圆弧弦长，即运动轨迹两端点连线；R为所求半径，即参照点转弯半径；
再根据下列车辆各部运动几何关系确定车辆质心的转弯半径：
(1)参照点为内侧后轮接地点时：
Figure FDA0002153146130000021
(2)参照点为外侧后轮接地点时：
Figure FDA0002153146130000022
(3)参照点为内侧前轮接地点时：
Figure FDA0002153146130000023
(4)参照点为外侧前轮接地点时：
Figure FDA0002153146130000024
最后根据下式求解车辆质心的速度：
Figure FDA0002153146130000031
上述各式中，n为大于0的自然数；R1、R2、R3、R4、Rn分别为各参照点转弯半径；R0为车辆质心转弯半径；vn为参照点的速度；v0为车辆质心的速度；l为质心到后轴的距离；b为质心到后内轮的横向垂直距离；L为轴距；B为轮距。
8.根据权利要求7所述的方法，其特征在于，所述参照点同时选取多个轮胎的接地点并获取多个参照点的运动轨迹，通过均值法获取车辆质心的速度。
9.根据权利要求1-5任一项所述的方法，其特征在于，所述标定点选择距离所述参照点较近的，且在每帧图像中存在明显特征的易于识别或辨别的路面标志点、标志线或标志物位置。
10.根据权利要求6所述的方法，其特征在于，当各帧图像中共有的特征点大于四个时，选取至少一个特征点作为观测值，迭代运算求解DLT系数的精确值。
CN201910709218.7A 2019-08-01 2019-08-01 一种基于近景摄影测量解算监控视频中车辆运动的方法 Active CN112396557B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910709218.7A CN112396557B (zh) 2019-08-01 2019-08-01 一种基于近景摄影测量解算监控视频中车辆运动的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910709218.7A CN112396557B (zh) 2019-08-01 2019-08-01 一种基于近景摄影测量解算监控视频中车辆运动的方法

Publications (2)

Publication Number Publication Date
CN112396557A true CN112396557A (zh) 2021-02-23
CN112396557B CN112396557B (zh) 2023-06-06

Family

ID=74601223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910709218.7A Active CN112396557B (zh) 2019-08-01 2019-08-01 一种基于近景摄影测量解算监控视频中车辆运动的方法

Country Status (1)

Country Link
CN (1) CN112396557B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085685A (ja) * 2001-09-10 2003-03-20 I Transport Lab Co Ltd 複数のビデオカメラを用いた車両走行軌跡観測装置及び方法
CN102306284A (zh) * 2011-08-12 2012-01-04 上海交通大学 基于监控录像的交通事故现场数字化重构方法
CN106991414A (zh) * 2017-05-17 2017-07-28 司法部司法鉴定科学技术研究所 一种基于视频图像获取车辆运动状态的方法
CN107818685A (zh) * 2017-10-25 2018-03-20 司法部司法鉴定科学技术研究所 一种基于车载视频获取车辆运动状态的方法
CN109683614A (zh) * 2018-12-25 2019-04-26 青岛慧拓智能机器有限公司 用于无人矿用车辆的车辆路径控制方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085685A (ja) * 2001-09-10 2003-03-20 I Transport Lab Co Ltd 複数のビデオカメラを用いた車両走行軌跡観測装置及び方法
CN102306284A (zh) * 2011-08-12 2012-01-04 上海交通大学 基于监控录像的交通事故现场数字化重构方法
CN106991414A (zh) * 2017-05-17 2017-07-28 司法部司法鉴定科学技术研究所 一种基于视频图像获取车辆运动状态的方法
CN107818685A (zh) * 2017-10-25 2018-03-20 司法部司法鉴定科学技术研究所 一种基于车载视频获取车辆运动状态的方法
CN109683614A (zh) * 2018-12-25 2019-04-26 青岛慧拓智能机器有限公司 用于无人矿用车辆的车辆路径控制方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
冯浩等: "基于一维直接线性变换的视频中车辆运动状态重建", 《中国公路学报》 *
陈辉 等 云南省质量技术监督局: "《DB53/T806-2016基于视频图像的道路交通事故分析方法》", 10 November 2016 *

Also Published As

Publication number Publication date
CN112396557B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN106408611B (zh) 静态目标的路过式校准
CN109064495B (zh) 一种基于Faster R-CNN与视频技术的桥面车辆时空信息获取方法
CN110008893B (zh) 一种基于车载图像传感器的车辆行驶跑偏自动检测方法
US6812831B2 (en) Vehicle surroundings monitoring apparatus
US8369577B2 (en) Vehicle position recognition system
CN101776438B (zh) 道路标线测量装置及其测量方法
CN106054191A (zh) 车轮检测和其在物体跟踪以及传感器配准中的应用
US20140043473A1 (en) Method and system for dynamically calibrating vehicular cameras
US9792683B2 (en) System, vehicle and method for online calibration of a camera on a vehicle
CN111829549B (zh) 一种基于高精度地图的积雪路面虚拟车道线投影方法
CN106054174A (zh) 使用雷达和摄像机用于横越交通应用的融合方法
CN101789123B (zh) 一种创建基于单目机器视觉距离图的方法
CN111344765B (zh) 道路地图生成系统以及道路地图生成方法
CN111582079A (zh) 基于计算机视觉的车道定位方法及装置
CN108909625B (zh) 基于全景环视系统的车底地面显示方法
CN107133985A (zh) 一种基于车道线消逝点的车载摄像机自动标定方法
CN102915532A (zh) 确定车辆视觉系统外部参数的方法以及车辆视觉系统
CN107284455B (zh) 一种基于图像处理的adas系统
EP0710387B1 (en) Method and apparatus for calibrating three-dimensional space for machine vision applications
CN110546456B (zh) 用于底盘测量的方法和设备
EP3364336B1 (en) A method and apparatus for estimating a range of a moving object
CN103204104A (zh) 一种车辆全视角驾驶监控系统及方法
CN113989766A (zh) 道路边缘检测方法、应用于车辆的道路边缘检测设备
CN112308786B (zh) 一种基于摄影测量解算车载视频中目标车辆运动的方法
CN114841188A (zh) 一种基于二维码的车辆融合定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant