CN113223086A - 适用低质量监控视频的车辆运行状态的重建方法和系统 - Google Patents

Abstract

本发明提供了一种适用低质量监控视频的车辆运行状态的重建方法和系统。重建方法包括：获取监控视频，选定初始图像；在初始图像中选取场景控制点，建立物方空间坐标系并获得控制点像方坐标和控制点物方坐标；解算相机位姿坐标，求解变换系数矩阵；选取车辆特征点，逐帧标定获取车辆特征点的虚拟坐标集合；获取车辆特征点的等高位空间节点坐标集合；以及构建车辆的位移—时间曲线。本发明的一种适用低质量监控视频的车辆运行状态的重建方法和系统可以不受视频质量和应用场景的限制而准确高效的还原车辆运行状态，提高车辆运行状态重建的可靠性和通用性。

Description

适用低质量监控视频的车辆运行状态的重建方法和系统

技术领域

本发明主要涉及道路交通事故司法鉴定领域，尤其涉及一种适用低质量监控视频的车辆运行状态的重建方法和系统。

背景技术

近年来，交通和安防视频监控设备的广泛使用为各类案件的取证及侦破提供了重要线索，道路(尤其是城区道路)的监控录像作为交通事故鉴定工作中重要的信息载体，不仅可以直观地还原道路交通事故过程，也为定量开展车辆运行状态重建提供新的途径。

另一方面，以近景摄影测量和三维激光扫描为代表的新型事故现场勘查手段的应用也使得车辆运动状态重建的场景资料更为丰富，如何更为有效地开展事故过程的重建是事故再现领域面临的一项瓶颈问题。

行业内目前普遍利用已知长度的环境/车身外廓特征，通过在视频画面上逐帧对准特征参照进行车辆运行速度的求解，但该方法仅仅能够获取车辆运行区间的平均速度，难以解析车辆运行过程全貌。

另一方面，现有技术也发展了基于直接线性变换的平面几何解析手段以获取车辆运行的状态信息。但该方法需要标定视频画面中车辆与道路平面的接触位置(即为车轮接地点)，在高质量视频中，技术人员尚可以较为准确的定位车轮接地点，但是当视频质量较差(阴雨天气、夜间或者视频分辨率有限)，车轮接地点的定位误差较大(甚至不可见)，且难以进行有效的识别跟踪，从而使得计算精度和效率难以保证。

由此，行业内尚缺少一种针对低质量监控视频条件下开展车辆运行状态分析、重建的有效方法。

发明内容

本发明要解决的技术问题是提供一种适用低质量监控视频的车辆运行状态的重建方法和系统，可以不受视频质量和应用场景的限制而准确高效的还原车辆运行状态，提高车辆运行状态重建的可靠性和通用性。

为解决上述技术问题，本发明提供了一种适用低质量监控视频的车辆运行状态的重建方法，包括如下的步骤：获取监控视频，对所述监控视频中包含车辆运行过程的视频时段进行逐帧提取，以获得图像帧序列及其对应的时间戳信息，并从所述图像帧序列中选定初始图像；在所述初始图像中选取不少于5个的多个场景控制点，以所述多个场景控制点中位于道路平面的路面控制点为基准建立物方空间坐标系，并获取所述场景控制点在所述初始图像的像平面中的控制点像方坐标以及在所述物方空间坐标系中的控制点物方坐标；根据所述多个场景控制点的控制点像方坐标和控制点物方坐标解算所述监控视频的摄录相机的投影中心在所述物方空间坐标系中的相机位姿坐标，并根据所述路面控制点的控制点像方坐标和控制点物方坐标解算所述道路平面与所述像平面的二维直接线性变换关系的变换系数矩阵；在所述初始图像中选取位于车辆上的可清晰辨识的车辆特征点，根据在所述图像帧序列中的所述初始图像及其之后的多幅图像的像平面中所述车辆特征点的特征点像方坐标、以及所述变换系数矩阵解算所述车辆特征点投射在所述道路平面中的虚拟坐标集合；根据所述相机位姿坐标和所述虚拟坐标集合构建透视成像虚拟线束集合，并利用空间三角测量在所述车辆特征点的离地高度平面对所述虚拟线束集合进行裁剪，以获取所述车辆特征点在所述离地高度平面的等高位空间节点坐标集合；以及对所述等高位空间节点坐标集合进行拟合以获取车辆的轨迹曲线，将所述轨迹曲线的积分作为位移参数、所述时间戳信息作为时间参数构建所述车辆的位移—时间曲线。

在本发明的一实施例中，在所述初始图像中选取不少于5个的多个场景控制点时，还包括根据所述监控视频的质量和实际场景条件判定选取的所述多个场景控制点的数量和分布是否满足的需求，若不满足则在所述监控视频的摄录路段放置控制点拾取工具，并获取包含所述控制点拾取工具的控制点重拾视频，在所述控制点重拾视频中选取位于所述控制点拾取工具上的重拾控制点，并将所述重拾控制点作为所述场景控制点以建立所述物方空间坐标系。

在本发明的一实施例中，所述多个场景控制点除包括所述路面控制点外，还包括与所述道路平面异面的异面控制点，其中，所述路面控制点至少为4个且其中的任意3个不共线。

在本发明的一实施例中，当所述路面控制点的个数大于4时，解算所述变换系数矩阵还包括采用平差算法解算所述变换系数矩阵的最优值。

在本发明的一实施例中，解算所述相机位姿坐标包括采用透视N点问题算法，对包括相机焦距以及描述刚体变换的旋转矩阵和平移矩阵在内的所述摄录相机的成像参数进行估计，其中，所述刚体变换为所述摄录相机的相机空间坐标系与所述物方空间坐标系之间的坐标转换关系。

在本发明的一实施例中，在解算所述相机位姿坐标时，还包括利用所述成像参数构造虚拟相机，计算所述多个场景控制点的控制点物方坐标在所述虚拟相机下的重投影误差，并对所述重投影误差进行排序以剔除误差值大于阈值的场景控制点，从而确定更新后的场景控制点空间坐标并重新解算所述相机位姿坐标。

在本发明的一实施例中，所述车辆特征点包括车轮轮心、车身拐角点、车辆的尾灯和/或前照灯，且当所述监控视频为在夜间或光线不足条件下摄录时，选取所述车辆的尾灯或所述前照灯作为所述车辆特征点。

在本发明的一实施例中，所述空间三角测量包括建立由所述相机位姿坐标(X_C,Y_C,Z_C)、所述相机位姿坐标在道路平面的正投影坐标(X_C,Y_C,0)以及所述车辆特征点的虚拟坐标(X_V,Y_V,0)构成的空间三角形，利用相似三角形原理求解所述等高位空间节点坐标(X_T,Y_T,Z_T)为：

其中，Z为所述车辆特征点的离地高度。

为了解决以上的技术问题，本发明还提供了一种适用低质量监控视频的车辆运行状态的重建系统，包括以下模块：监控视频处理模块，配置为获取监控视频，对所述监控视频中包含车辆运行过程的视频时段进行逐帧提取，以获得图像帧序列及其对应的时间戳信息，并从所述图像帧序列中选定初始图像；标定点拾取模块，配置为在所述初始图像中选取不少于5个的多个场景控制点，以所述多个场景控制点中位于道路平面的路面控制点为基准建立物方空间坐标系，并获取所述场景控制点在所述初始图像的像平面中的控制点像方坐标以及在所述物方空间坐标系中的控制点物方坐标；场景参数解算模块，根据所述多个场景控制点的控制点像方坐标和控制点物方坐标解算所述监控视频的摄录相机的投影中心在所述物方空间坐标系中的相机位姿坐标，并根据所述路面控制点的控制点像方坐标和控制点物方坐标解算所述道路平面与所述像平面的二维直接线性变换关系的变换系数矩阵；以及运行状态重建模块，配置为在所述初始图像中选取位于车辆上的可清晰辨识的车辆特征点，根据在所述图像帧序列中的所述初始图像及其之后的多幅图像的像平面中所述车辆特征点的特征点像方坐标、以及所述变换系数矩阵解算所述车辆特征点投射在所述道路平面中的虚拟坐标集合；根据所述相机位姿坐标和所述虚拟坐标集合构建透视成像虚拟线束集合，并利用空间三角测量在所述车辆特征点的离地高度平面对所述虚拟线束集合进行裁剪，以获取所述车辆特征点在所述离地高度平面的等高位空间节点坐标集合；以及对所述等高位空间节点坐标集合进行拟合以获取车辆的轨迹曲线，将所述轨迹曲线的积分作为位移参数、所述时间戳信息作为时间参数构建所述车辆的位移—时间曲线。

在本发明的一实施例中，当所述多个场景控制点的数量和分布不满足场景需求时，所述标定点拾取模块还配置为获取包含控制点拾取工具的控制点重拾视频，在所述控制点重拾视频中选取位于所述控制点拾取工具上的重拾控制点，并将所述重拾控制点作为所述场景控制点建立所述物方空间坐标系。

在本发明的一实施例中，所述控制点拾取工具包括支撑杆和位于所述支撑杆两端的第一橡胶圈和第二橡胶圈，所述第一橡胶圈和第二橡胶圈上配置有反光带，所述标定点拾取模块配置为选取所述反光带的位置为所述重拾控制点。

在本发明的一实施例中，所述支撑杆为可伸缩套杆，所述控制点拾取工具还包括多个条形连杆、多个支撑脚以及锁止器，所述多个条形连杆分别连接所述可伸缩套杆和多个支撑脚，所述第一橡胶圈和第二橡胶圈分别位于所述可伸缩套杆的顶端和底端，其中，所述可伸缩套杆适于在其延伸的方向上改变长度，所述锁止器用于保持所述可伸缩套管在一长度保持不变。

本发明的另一方面还提出了一种适用低质量监控视频的车辆运行状态的重建系统，包括：存储器，用于存储可由处理器执行的指令；以及处理器，用于执行所述指令以实现上述适用低质量监控视频的车辆运行状态的重建的方法。

本发明的另一方面还提出了一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现上述适用低质量监控视频的车辆运行状态的重建的方法。

与现有技术相比，本发明具有以下优点：

本发明与现有基于监控视频开展车辆运行状态重建的方法相比，在道路平面解析的基础上，引入摄像机空间位姿，将事故场景从二维平面拓展向三维空间，实现了事故过程全视角可视化，可以全方位、多角度还原事故车辆运行过程；

本发明中车辆特征点的选取更加灵活和多样，不仅仅局限于车轮接地点，由此可以充分利用车身结构标识等空间信息，同时有效解决逆光、夜间环境以及视频质量有限等现实情形下的特征标定困难的问题，可以极大扩展监控视频的应用范围；以及

本发明充分利用车辆物理结构特性，实现了特征点位置的自动检测、跟踪，特征点标定准确、高效，有效地解决了传统特征点人工标定误差不可控甚至计算结果不可信等问题，实现了车辆运行状态重建的可重复性以及高可靠性。

附图说明

包括附图是为提供对本申请进一步的理解，它们被收录并构成本申请的一部分，附图示出了本申请的实施例，并与本说明书一起起到解释本发明原理的作用。附图中：

图1是本发明一实施例的一种适用低质量监控视频的车辆运行状态的重建方法的流程示意图；

图2是本发明一实施例的一种适用低质量监控视频的车辆运行状态的重建方法中坐标系建立和参数解算的原理示意图；

图3是本发明一实施例的一种适用低质量监控视频的车辆运行状态的重建方法中场景控制点和车辆特征点的标定示意图；

图4是本发明一实施例的一种适用低质量监控视频的车辆运行状态的重建系统的系统框图；

图5是本发明一实施例的一种适用低质量监控视频的车辆运行状态的重建系统中控制点拾取工具的结构示意图；以及

图6是本发明另外一实施例的一种适用低质量监控视频的车辆运行状态的重建系统的系统框图。

具体实施方式

为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

尽管本申请中所使用的术语是从公知公用的术语中选择的，但是本申请说明书中所提及的一些术语可能是申请人按他或她的判断来选择的，其详细含义在本文的描述的相关部分中说明。此外，要求不仅仅通过所使用的实际术语，而是还要通过每个术语所蕴含的意义来理解本申请。

本发明的一实施例提出一种适用低质量监控视频的车辆运行状态的重建方法，可以不受视频质量和应用场景的限制而准确高效的还原车辆运行状态，提高车辆运行状态重建的可靠性和通用性。

如图1所示，本发明的一种适用低质量监控视频的车辆运行状态的重建方法10包括如下的步骤。

步骤11为获取监控视频，选定初始图像。具体来说，此步骤是对监控视频中包含车辆运行过程的视频时段进行逐帧提取，以获得图像帧序列及其对应的时间戳信息，并从图像帧序列中选定初始图像。

具体的，在本发明的一些实施例中，监控视频的播放界面借助MFC图形窗口，将视频文件定义为OpenCV视觉库中的VideoCapture类，通过关联视频文件路径与VideoCapture类下的open函数从而实现视频文件的播放。

上述对于视频时段逐帧提取从而获得图像帧序列及时间戳信息，是指对上述有效的视频时段进行逐帧、无遗漏的抓取操作，同时提取视频流中叠加的时间戳信息并建立对应视频帧与时间戳的唯一索引关系，其中，时间戳的精度可以是毫秒级。

示例性的，视频帧的抓取使用FFmpeg开源多媒体处理文件中的av_read_frame函数，视频帧时间戳信息具体的计算方式如下：

frame_time＝1000*avpacket-＞pts*time_base

其中：avpacket为视频结构体，pts为视频帧对应的时间戳，time_base为视频时间刻度。

进一步参考图1所示，步骤12为在初始图像中选取场景控制点，建立物方空间坐标系并获得控制点像方坐标和控制点物方坐标。具体的，在如图1所示的实施例中，选取不少于5个的多个场景控制点，以场景控制点中位于道路平面的路面控制点为基准建立物方空间坐标系，并获取场景控制点在初始图像的像平面中的控制点像方坐标以及在物方空间坐标系中的控制点物方坐标。

示例性的，如图2所示，是采用如图1所示的重建方法10进行坐标系建立和参数解算的原理示意图。关于参数解算的部分将在后面的说明书中做详细介绍，这里简要说明建立坐标系的原理。首先，在图2中示出了5个位于道路平面的场景控制点—也即路面控制点P1～P5。在建立物方空间坐标系时，是根据其中一个路面控制点P1所在位置为原点O建立物方空间坐标系O_XYZ。其中，Z轴垂直于道路平面向上，X轴根据路面控制点P1和P2之间的连线而获得，且Y轴垂直于X轴和Z轴，该物方空间坐标系单位为厘米，符合左手坐标系设定。可以理解的是，本发明根据如图1所示的步骤12建立物方空间坐标系不以上述描述的建立坐标系的方式为限。

优选地，多个场景控制点包括位于道路平面的路面控制点和与道路平面异面的异面控制点，其中，路面控制点至少为4个且其中的任意3个不共线。例如，在如图2所示的标定场景控制点的方式中，路面控制点P1～P5中的任意3个不共线。

具体的，如图3所示，是采用如图1所示的重建方法10对于一段监控视频中的一帧图像(或可以为步骤11中确定的初始图像)的场景控制点和车辆特征点进行标定的示意图，其中，关于车辆特征点的标定将在后面的说明书中详细介绍。根据图3，在视频图像中可以选取路面标线端点等位置作为道路平面上的路面控制点(在图3中为pt1～pt8)，另一方面也会在与道路平面异面的空间中选取一些可识别的位置作为异面控制点(在图3中为pt9～pt16)。

在本发明的一些实施例中，在初始图像中选取不少于5个的多个场景控制点时，还包括根据视频质量和场景条件判定多个场景控制点的数量和分布是否满足场景参数的解算需求，若不满足则在监控视频的摄录路段放置控制点拾取工具，并获取包含控制点拾取工具的控制点重拾视频，在控制点重拾视频中选取控制点拾取工具中的重拾控制点，并将重拾控制点作为场景控制点建立物方空间坐标系。关于控制点拾取工具的其他细节将在下文参考图5做详细介绍。

进一步参考图1所示，步骤13为解算相机位姿坐标，求解变换系数矩阵。具体来说，在此步骤中，根据多个场景控制点的控制点像方坐标与控制点物方坐标解算监控视频的摄录相机的投影中心在物方空间坐标系中的相机位姿坐标，并根据路面控制点在像平面中的像方坐标与在物方空间坐标系中的物方坐标解算道路平面与像平面的二维直接线性变换关系的变换系数矩阵。

示例性的，在本发明的一些实施例中，解算相机位姿坐标包括采用透视N点问题算法，借助SolvePnP函数所包含的SOLVEPNP_UPNP模式对包括相机焦距以及描述刚体变换的旋转矩阵和平移矩阵在内的摄录相机的成像参数进行估计，其中，刚体变换为摄录相机的相机空间坐标系与物方空间坐标系之间的坐标转换关系。

具体的，上述相机位姿坐标的解算是指根据场景控制点对应关系估计监控视频的摄录相机在上述步骤12中所建立的物方空间坐标系中的空间位置。相机空间位姿的解算用以还原相机在场景中的位置、朝向信息，主要解决的参数包含相机成像模型等效焦距f、相机旋转矩阵R以及相机平移矩阵T。相机空间位姿解算流程主要包含UPnP问题建模、控制点等效线性组合、穷举线性化与再线性化以及相机位姿解算结果寻优等四个步骤。

更具体地，上述相机成像模型是在针孔模型的基础上进行合理的假设而得，相机内参数主要包含相机焦距f、尺度因子、坐标轴不垂直度、成像中心以及成像畸变系数等参数。现代相机制造工艺中尺度因子、坐标轴不垂直度以及成像中心参数均十分接近理想数值，加之道路监控相机的焦距和视场普遍较大，成像畸变往往可以忽略不计，因此摄像机内参数矩阵可近似表达为：

其中：f为相机等效焦距，W、H分别为成像图片(可以是根据步骤11确定的初始图像及其之后的多个图像)的像素宽度和高度。

上述UPnP问题建模是指对透视成像过程的参数化描述，已知场景控制点的控制点像方坐标和控制点物方坐标的点对以及相机成像模型，则UPnP问题可以描述为在保证场景控制点重投影误差最小的前提下求取等效焦距、旋转和平移矩阵的问题，参数化方程可以表示为：

其中：n为上述场景控制点的点对数量，u_i为场景控制点在像平面中的像方坐标，

为根据透视成像规律计算的场景控制点在像平面中的理想像方坐标，其在齐次坐标中的表达式如下：

其中：k_i为尺度因子，

为场景控制点在物方空间坐标系下的坐标。

进一步的，场景控制点等效线性组合是指将场景控制点以4个虚拟场景控制点的线性组合等效，4个虚拟场景控制点分别选取为场景控制点的重心以及三个主方向坐标，其在齐次坐标下的线性组合如下，

为虚拟场景控制点，a_ij为权重：

进一步的，穷举线性化与再线性化主要用于未知数矩阵的零空间特征值求解，根据所求零空间维度的不同采用线性化、穷举线性化以及穷举线性化和再线性化的求解方法，以图3为例得到的此监控视频摄录相机的成像参数(包含相机焦距和旋转、平移矩阵)为：

f＝2453.338,R＝[-98.5386,10.9147,3.18497],t＝[-21.7476,-24.8908,3.45144]

除此之外，在本发明的一些实施例中，在解算相机位姿坐标时，还包括利用成像参数构造虚拟相机，计算多个场景控制点的控制点物方坐标在虚拟相机下的重投影误差，并对重投影误差进行排序以剔除误差值大于阈值的场景控制点，从而获取更新后的场景控制点空间坐标并重新解算相机位姿坐标。

具体来说，相机位姿解算结果寻优通过对求取的相机焦距、旋转以及平移矩阵进行透视成像，对场景控制点经由透视成像后明显偏离实际像方坐标的特征进行剔除，从而提升相机位姿解算的准确性，具体的方案如下：

已知场景控制点组合求取的相机成像参数，结合相机透视成像原理，场景控制点的重投影误差可以表示为：

其中：

表示第i个场景控制点在u方向上的理想坐标，

表示第i个场景控制点在v方向上的理想坐标，uⁱ为场景控制点的像方坐标。

对场景控制点的重投影误差进行排序，剔除误差大于2倍于平均误差的场景控制点，并对剔除后的场景控制点的集合重新利用SolvePnP函数求解，得到更新后的相机位姿解算结果。

比对循环计算三次后的位姿解算结果，将平均重投影误差最小的解算结果作为最优的相机位姿状态。

示例性的，以图3所示标定的场景控制点pt1～pt16为例，由于本方法主要关注相机在物方空间坐标系下的位置信息，因此这里仅对平移矩阵的优化过程进行说明，初始解算的相机位姿坐标为C₁＝[-21.7476,-24.8908,3.45144]，控制点平均误差为6.25pixel，剔除控制点pt8和pt16后，第二次循环求解的相机位姿坐标为C₂＝[-21.6485,-24.6538,3.3349]，控制点平均误差为4.07pixel，进一步剔除控制点pt1和pt7后，第三次循环求解的相机位姿坐标为C₃＝[-21.625,-24.4747,3.28603]，控制点平均误差为3.08pixel。因此最终优化得到的相机位姿坐标为C₃。

另一方面，在步骤13中解算变换系数矩阵时，主要包含变换系数矩阵求解以及平面映射关系建立两个步骤。

变换系数矩阵求解根据选取的场景控制点中路面控制点的数量不同，包含变换系数矩阵线性求解和最小二乘法求解两种方式。

二维直接线性变换的原理可表示为：

其中：x、y为路面控制点像方坐标值，X、Y为路面控制点空间坐标值，l₁、l₂、l₃、l₄、l₅、l₆、l₇、l₈为二维直接线性变换的变换系数矩阵，转换为方程组形式即为：

上述变换系数矩阵线性求解是路面控制点为四个的情况下，此时8个未知数对应8个方程，二维直接线性变换的变换系数矩阵可线性求解，其变换系数矩阵的唯一解为：

x＝A^-1b

进一步的，在本发明的一些实施例中，当路面控制点的个数大于4时(如图3所示路面控制点pt1～pt8的个数为8个)，解算变换系数矩阵包括采用平差算法解算变换系数矩阵的最优值。

具体来说，上述变换系数矩阵的最小二乘求解(即采用平差算法解算变换系数矩阵)是指路面控制点大于4个的情况下，此时问题即转化为超定方程组的最优解问题，其变换系数矩阵最小二乘求解的约束条件为满足下式：

此时，变换系数矩阵的最小二乘解为：

x＝(A^TA)^-1A^Tb

具体地，平面映射关系建立是指通过求解的二维直接线性变换的变换系数矩阵建立任意图像平面像方坐标与道路平面物方位置之间的对应关系。示例性的，根据如图3所示的由路面控制点pt1～pt8计算得到的变换系数矩阵如下：

上述相机位姿坐标与道路平面-像平面映射关系构成了监控视频摄录路段的场景参数信息，进而可以实现三维场景的重构。具体来说，三维场景通过VTK图形可视化工具包创建，利用vtkCamera相机类实现相机位置、观察方向、以及视角等参数的设置，通过鼠标或键盘外部事件回调vtkCamera相机类从而实现交通事故现场三维场景的漫游，进而实现事故场景全方位、多角度的还原。

继续参考图1所示，步骤14为在初始图像中选取车辆特征点，获取车辆特征点的虚拟坐标集合。在步骤11中确定的初始图像中选取可清晰辨识的车辆特征点，根据在图像帧序列中的初始图像及其之后的多幅图像的像平面中车辆特征点的像方坐标、以及变换系数矩阵矩解算车辆特征点在道路平面中的虚拟坐标集合。

特别地，车辆特征点包括车轮轮心或车身拐角点等位置，尤其是当监控视频为夜间或光线不足条件下摄录时，车辆特征点还可以特别的选取车辆的尾灯或前照灯等。以图3为例，根据该监控视频的实际情况，选取车辆一侧的尾灯所在位置A为车辆特征点，从而可以在初始图像以及其之后的多个图像中对该车辆特征点A进行识别、追踪。例如，若图3为一段监控视频中选取的初始图像，则在该初始图像及其之后的多个图像中连续追踪到车辆特征点A的追踪路径为X，在此基础上，便可以根据后面的步骤对车辆的运行状态进行还原重建。

具体来说，对车辆特征点的跟踪是指充分利用车身结构特性，对视频画面中目标车辆上的可辨识度高的特征点进行识别和跟踪。

与传统方案限制车辆特征点必须为车轮接地点不同，本发明车辆特征点的选取不再局限于车辆与道路平面的接触位置，而可以是位于任意已知高度且易于辨识的车身特征所在位置。这在充分利用车辆结构信息的基础上，还解决了现有技术中标定车轮接地点存在的一些问题。首先，车轮与地面接触部位的线特性而非点特性使得特征点标定困难，且易受光照、成像方位等因素的干扰。进一步的，车轮接地点人工标定的效率低下，容易引入主观误差，且计算精度难以保证，计算结果可重复性差。

下面以车辆轮心和尾灯特征为例，简单说明步骤14中车辆特征点跟踪的算法流程。

首先，针对车辆轮心特征，其特征识别建立在车轮/轮毂准确识别的基础之上。首先对视频帧进行边缘提取操作获取视频帧二值图像，运用OpenCV计算机视觉库中的HoughCircle函数进行车轮/轮毂等圆形特征的提取，进而确定其圆心位置。以图2为例，T1表示车辆特征点为车辆前轮轮心，V1表示车辆特征点T1投射到地面的虚拟坐标位置。

而另一方面针对车辆尾灯特征，其特征识别主要针对夜间等光照不良条件下车辆特征点的识别与跟踪。首先对视频帧进行颜色模型的转换，采用OpenCV计算机视觉库中的cvtColor函数将RGB空间转换为HSV空间，通过设置色相、饱和度和亮度区间进行车辆尾灯特征的分割，进而确定尾灯位置。相似的，以图2为例，T2表示车辆特征点为车辆尾灯，V2表示车辆特征点T2投射到地面的虚拟坐标位置。

以图3为例，目标车辆尾灯所在位置A在视频画面内每间隔5帧的像素位置序列经识别、跟踪，提取为：

V_p:{(289,814),(650,764),(974,713),(1286,663),(1514,623),(1722,584),(1871,557)}

进一步的，上述虚拟坐标集合是包括初始图像在内的多个图像中的车辆特征点经解算在道路平面中的虚拟坐标的集合。这里的虚拟坐标的位置解算是针对车辆特征点不接地问题(如图3所示的不位于道路平面的车辆特征点A)。在空间中车辆特征点经由透视成像，其空间信息被压缩至二维平面，因此图像平面任一点在道路平面均有一对应的虚拟位置点，通过车辆特征点在图像中的像方坐标及变换系数矩阵的计算结果实则对应车辆特征点在道路平面上的虚拟坐标。

继续参考图1所示，步骤15为获取车辆特征点的等高位空间节点坐标集合。根据相机位姿坐标和虚拟坐标集合构建透视成像虚拟线束集合，并利用空间三角测量在车辆特征点的离地高度平面对虚拟线束集合进行裁剪，以获取车辆特征点在离地高度平面的等高位空间节点坐标集合。

具体来说，在本发明的一些实施例中，虚拟线束集合为相机位姿坐标与虚拟坐标在三维场景中连线的集合。空间三角测量包括建立由相机位姿坐标、相机位姿坐标在道路平面的正投影坐标以及车辆特征点的虚拟坐标构成的空间三角形，以利用三角测量原理求解等高位空间节点坐标。

三角测量是指运用相似三角形原理在已知相机位姿坐标(X_C,Y_C,Z_C)、相机位姿坐标在道路平面的正投影坐标(X_C,Y_C,0)以及车辆特征点的虚拟坐标(X_V,Y_V,0)条件下计算车辆特征点空间位置(X_T,Y_T,Z_T)的过程，则根据三角测量原理车辆特征点的空间位置坐标可表示为：

虚拟线束集合等高面裁剪的目的是实现车辆运行轨迹的重建，通过三角测量获取的车辆特征点空间坐标序列，进而在与道路平面等高的某一平面内实现车辆特征点真实空间位置的重现，最终得到一系列离散的车辆特征点空间位置

仍以图3所示的实施例为例，已知相机的空间坐标为C₃＝[-21.625,-24.4747,3.28603]，实车量取车辆尾灯离地的高度为0.84m，下面以该监控视频中车辆尾灯在如图3所示的初始图像中的像素位置A(289,814)为例，计算其在事故空间中的真实位置。

根据车辆尾灯的像素位置结合路面-像面变换系数矩阵paraDLT可以计算尾灯像素位置A在路面投影的虚拟坐标，经解算为P_v1＝[-23.325983,-11.691766,0]，联立相机位姿坐标即可构成空间线束和相似三角形对，将已知的参数代入上述的车辆特征点空间位置坐标计算公式可以得到车辆特征点在空间中的三维坐标为：

P_T1＝[-22.8912,-14.9594,0.84]

车辆运行状态重建是指在获取一系列车辆特征点空间位置坐标的前提下，通过数据拟合、分析、处理获取的车辆具体运行状态信息的过程。在获得等高位空间节点坐标集合时，参照上述的车辆特征点空间位置解算方法，则车辆特征点空间位置序列可表示如下。

P_Tn(X_Tn,Y_Tn,Z)其中：n＝1,2,...,P_num

仍然以图3中车辆尾灯像素位置A的序列为例，经计算后对应的三维空间坐标如下：

P_Tn:{(-22.8912,-14.9594,0.84),(-21.2304,-14.4015,0.84),

(-19.5237,-13.6897,0.84),(-17.6304,-12.8785,0.84),

(-16.0165,-12.0986,0.84),(-14.3098,-11.2066,0.84),

(-12.9573,-10.5255,0.84)}

最后，如图1所示的步骤16为构建车辆的位移—时间曲线。对步骤15中获取的等高位空间节点坐标集合进行拟合以获取车辆的轨迹曲线，将轨迹曲线的积分作为位移参数，并将在步骤11中获得的时间戳信息作为时间参数以构建车辆的位移—时间曲线。

具体来说，以图3为例，对车辆尾灯位置A在三维空间中的坐标序列进行拟合得到的直线方程为：

则车辆特征点空间轨迹信息可表示为：

则车辆特征点运行位移信息可表示为：

则车辆特征点运行速度信息可表示为：

V_(t)＝S'(t)

则车辆特征点运行加速度信息可表示为：

a_(t)＝S”(t)

由此便完成了车辆的运行状态重建。上述参照图1～3所述的重建方法尤其适用于低质量视频中普遍存在的无法准确定位车轮接地点的情况，通过选取在低质量视频中更易识别的位于车身上的车辆特征点，并通过相机位姿坐标、变换系数矩阵等关键信息的解算，从而完成了车辆运行状态的重建。

本发明的另一方面还提出了一种适用低质量监控视频的车辆运行状态的重建系统，可以不受视频质量和应用场景的限制而准确高效的还原车辆运行状态，提高车辆运行状态重建的可靠性和通用性。

如图4所示，本发明一实施例的一种适用低质量监控视频的车辆运行状态的重建系统40包括以下模块。

监控视频处理模块41，配置为获取监控视频，对监控视频中包含车辆运行过程的视频时段进行逐帧提取，以获得图像帧序列及其对应的时间戳信息，并从图像帧序列中选定初始图像。

标定点拾取模块42，配置为在初始图像中选取不少于5个的多个场景控制点，以场景控制点中位于道路平面的路面控制点为基准建立物方空间坐标系，并获取场景控制点在初始图像的像平面中的控制点像方坐标以及在物方空间坐标系中的控制点物方坐标.

场景参数解算模块43，配置为根据多个场景控制点的控制点像方坐标与控制点物方坐标解算监控视频的摄录相机的投影中心在物方空间坐标系中的相机位姿坐标，并根据路面控制点在像平面中的像方坐标与在物方空间坐标系中的物方坐标解算道路平面与像平面的二维直接线性变换关系的变换系数矩阵。

运行状态重建模块44，配置为在初始图像中选取可清晰辨识的车辆特征点，根据在图像帧序列中的初始图像及其之后的多幅图像的像平面中车辆特征点的像方坐标、以及变换系数矩阵解算车辆特征点在道路平面中的虚拟坐标集合；根据相机位姿坐标和虚拟坐标集合构建透视成像虚拟线束集合，并利用空间三角测量在车辆特征点的离地高度平面对虚拟线束集合进行裁剪，以获取车辆特征点在离地高度平面的等高位空间节点坐标集合；以及对等高位空间节点坐标集合进行拟合以获取车辆的轨迹曲线，将轨迹曲线的积分作为位移参数、时间戳信息作为时间参数以构建车辆的位移—时间曲线。

在本发明的一些实施例中，标定点拾取模块42还包括控制点拾取工具，当多个场景控制点的数量和分布不满足需求时，标定点拾取模块还配置为获取包含控制点拾取工具的控制点重拾视频，在控制点重拾视频中选取控制点拾取工具中的重拾控制点，并将重拾控制点作为场景控制点建立物方空间坐标系。

示例性的，适用于标定点拾取模块42的控制点拾取工具的结构如图5所示。在图5中，控制点拾取工具50包括支撑杆51和位于支撑杆51两端的第一橡胶圈55和第二橡胶圈54，第一橡胶圈55和第二橡胶圈54上均配置有反光带(如图5中的阴影部分)。如图4所示的标定点拾取模块42配置为选取反光带的位置为重拾控制点。

更具体的，在图5所示的实施例中，控制点拾取工具50的支撑杆51为一个可伸缩套杆。控制点拾取工具50还包括多个条形连杆52、多个支撑脚53以及锁止器56，其中多个支撑脚54的底部也设有多个防滑垫530。多个条形连杆52分别连接可伸缩套杆51和多个支撑脚53，第一橡胶圈55和第二橡胶圈54分别位于可伸缩套杆51的顶端和底端。其中，可伸缩套杆51适于在其延伸的方向上改变长度，锁止器56用于保持可伸缩套管51在一长度保持不变。

在图5中，可伸缩套杆51上具有刻度57，可以方便的读出第一橡胶圈55离地面的高度，以便于直接获取位于第一橡胶圈55处的重拾控制点的坐标和位置。在本发明的一些实施例中，根据监控视频的质量和实际的场景不同，可以在监控视频的摄录路段放置多个如图5所示的控制点拾取工具，以利用重拾点拾取工具获得更多的重拾控制点，便于参数的解算。

本发明的另一方面还提供了适用低质量监控视频的车辆运行状态的重建系统，包括：存储器，用于存储可由处理器执行的指令；以及处理器，用于执行指令以实现上述的适用低质量监控视频的车辆运行状态的重建方法。

如图6所示，是本发明一实施例的一种适用低质量监控视频的车辆运行状态的重建系统60的系统框架图。适用低质量监控视频的车辆运行状态的重建系统60可包括内部通信总线61、处理器(Processor)62、只读存储器(ROM)63、随机存取存储器(RAM)64、以及通信端口65。当应用在个人计算机上时，适用低质量监控视频的车辆运行状态的重建系统60还可以包括硬盘66。

内部通信总线61可以实现适用低质量监控视频的车辆运行状态的重建系统60组件间的数据通信。处理器62可以进行判断和发出提示。在一些实施例中，处理器62可以由一个或多个处理器组成。通信端口65可以实现适用低质量监控视频的车辆运行状态的重建系统60与外部的数据通信。在一些实施例中，适用低质量监控视频的车辆运行状态的重建系统60可以通过通信端口65从网络发送和接受信息以及数据。

适用低质量监控视频的车辆运行状态的重建系统60还可以包括不同形式的程序储存单元以及数据储存单元，例如硬盘66，只读存储器(ROM)63和随机存取存储器(RAM)64，能够存储计算机处理和/或通信使用的各种数据文件，以及处理器62所执行的可能的程序指令。处理器执行这些指令以实现方法的主要部分。处理器处理的结果通过通信端口传给用户设备，在用户界面上显示。

本发明的另一方面还提出了一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现上述的适用低质量监控视频的车辆运行状态的重建方法。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述发明披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

本申请的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。处理器可以是一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DAPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器或者其组合。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。例如，计算机可读介质可包括，但不限于，磁性存储设备(例如，硬盘、软盘、磁带……)、光盘(例如，压缩盘CD、数字多功能盘DVD……)、智能卡以及闪存设备(例如，卡、棒、键驱动器……)。

计算机可读介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

虽然本申请已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本申请，在没有脱离本申请精神的情况下还可作出各种等效的变化或替换，因此，只要在本申请的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims (14)

1.一种适用低质量监控视频的车辆运行状态的重建方法，其特征在于，包括如下的步骤：

获取监控视频，对所述监控视频中包含车辆运行过程的视频时段进行逐帧提取，以获得图像帧序列及其对应的时间戳信息，并从所述图像帧序列中选定初始图像；

在所述初始图像中选取不少于5个的多个场景控制点，以所述多个场景控制点中位于道路平面的路面控制点为基准建立物方空间坐标系，并获取所述场景控制点在所述初始图像的像平面中的控制点像方坐标以及在所述物方空间坐标系中的控制点物方坐标；

根据所述多个场景控制点的控制点像方坐标和控制点物方坐标解算所述监控视频的摄录相机的投影中心在所述物方空间坐标系中的相机位姿坐标，并根据所述路面控制点的控制点像方坐标和控制点物方坐标解算所述道路平面与所述像平面的二维直接线性变换关系的变换系数矩阵；

在所述初始图像中选取位于车辆上的可清晰辨识的车辆特征点，根据在所述图像帧序列中的所述初始图像及其之后的多幅图像的像平面中所述车辆特征点的特征点像方坐标、以及所述变换系数矩阵解算所述车辆特征点投射在所述道路平面中的虚拟坐标集合；

根据所述相机位姿坐标和所述虚拟坐标集合构建透视成像虚拟线束集合，并利用空间三角测量在所述车辆特征点的离地高度平面对所述虚拟线束集合进行裁剪，以获取所述车辆特征点在所述离地高度平面的等高位空间节点坐标集合；以及

对所述等高位空间节点坐标集合进行拟合以获取车辆的轨迹曲线，将所述轨迹曲线的积分作为位移参数、所述时间戳信息作为时间参数构建所述车辆的位移—时间曲线。

2.如权利要求1所述的方法，其特征在于，在所述初始图像中选取不少于5个的多个场景控制点时，还包括根据所述监控视频的质量和实际场景条件判定选取的所述多个场景控制点的数量和分布是否满足需求，若不满足则在所述监控视频的摄录路段放置控制点拾取工具，并获取包含所述控制点拾取工具的控制点重拾视频，在所述控制点重拾视频中选取位于所述控制点拾取工具上的重拾控制点，并将所述重拾控制点作为所述场景控制点以建立所述物方空间坐标系。

3.如权利要求1所述的方法，其特征在于，所述多个场景控制点除包括所述路面控制点外，还包括与所述道路平面异面的异面控制点，其中，所述路面控制点至少为4个且其中的任意3个不共线。

4.如权利要求1所述的方法，其特征在于，当所述路面控制点的个数大于4时，解算所述变换系数矩阵还包括采用平差算法解算所述变换系数矩阵的最优值。

5.如权利要求1所述的方法，其特征在于，解算所述相机位姿坐标包括采用透视N点问题算法，对包括相机焦距以及描述刚体变换的旋转矩阵和平移矩阵在内的所述摄录相机的成像参数进行估计，其中，所述刚体变换为所述摄录相机的相机空间坐标系与所述物方空间坐标系之间的坐标转换关系。

6.如权利要求5所述的方法，其特征在于，在解算所述相机位姿坐标时，还包括利用所述成像参数构造虚拟相机，计算所述多个场景控制点的控制点物方坐标在所述虚拟相机下的重投影误差，并对所述重投影误差进行排序以剔除误差值大于阈值的场景控制点，从而确定更新后的场景控制点空间坐标并重新解算所述相机位姿坐标。

7.如权利要求1所述的方法，其特征在于，所述车辆特征点包括车轮轮心、车身拐角点、车辆的尾灯和/或前照灯，且当所述监控视频为在夜间或光线不足条件下摄录时，选取所述车辆的尾灯或所述前照灯作为所述车辆特征点。

8.如权利要求1所述的方法，其特征在于，所述空间三角测量包括建立由所述相机位姿坐标(X_C,Y_C,Z_C)、所述相机位姿坐标在道路平面的正投影坐标(X_C,Y_C,0)以及所述车辆特征点的虚拟坐标(X_V,Y_V,0)构成的空间三角形，利用相似三角形原理求解所述等高位空间节点坐标(X_T,Y_T,Z_T)为：

其中，Z为所述车辆特征点的离地高度。

9.一种适用低质量监控视频的车辆运行状态的重建系统，其特征在于，包括以下模块：

监控视频处理模块，配置为获取监控视频，对所述监控视频中包含车辆运行过程的视频时段进行逐帧提取，以获得图像帧序列及其对应的时间戳信息，并从所述图像帧序列中选定初始图像；

标定点拾取模块，配置为在所述初始图像中选取不少于5个的多个场景控制点，以所述多个场景控制点中位于道路平面的路面控制点为基准建立物方空间坐标系，并获取所述场景控制点在所述初始图像的像平面中的控制点像方坐标以及在所述物方空间坐标系中的控制点物方坐标；

场景参数解算模块，根据所述多个场景控制点的控制点像方坐标和控制点物方坐标解算所述监控视频的摄录相机的投影中心在所述物方空间坐标系中的相机位姿坐标，并根据所述路面控制点的控制点像方坐标和控制点物方坐标解算所述道路平面与所述像平面的二维直接线性变换关系的变换系数矩阵；以及

运行状态重建模块，配置为在所述初始图像中选取位于车辆上的可清晰辨识的车辆特征点，根据在所述图像帧序列中的所述初始图像及其之后的多幅图像的像平面中所述车辆特征点的特征点像方坐标、以及所述变换系数矩阵解算所述车辆特征点投射在所述道路平面中的虚拟坐标集合；根据所述相机位姿坐标和所述虚拟坐标集合构建透视成像虚拟线束集合，并利用空间三角测量在所述车辆特征点的离地高度平面对所述虚拟线束集合进行裁剪，以获取所述车辆特征点在所述离地高度平面的等高位空间节点坐标集合；以及对所述等高位空间节点坐标集合进行拟合以获取车辆的轨迹曲线，将所述轨迹曲线的积分作为位移参数、所述时间戳信息作为时间参数构建所述车辆的位移—时间曲线。

10.如权利要求9所述的系统，其特征在于，当所述多个场景控制点的数量和分布不满足需求时，所述标定点拾取模块还配置为获取包含控制点拾取工具的控制点重拾视频，在所述控制点重拾视频中选取位于所述控制点拾取工具上的重拾控制点，并将所述重拾控制点作为所述场景控制点建立所述物方空间坐标系。

11.如权利要求10所述的系统，其特征在于，所述控制点拾取工具包括支撑杆和位于所述支撑杆两端的第一橡胶圈和第二橡胶圈，所述第一橡胶圈和第二橡胶圈上配置有反光带，所述标定点拾取模块配置为选取所述反光带的位置为所述重拾控制点。

12.如权利要求11所述的系统，其特征在于，所述支撑杆为可伸缩套杆，所述控制点拾取工具还包括多个条形连杆、多个支撑脚以及锁止器，所述多个条形连杆分别连接所述可伸缩套杆和多个支撑脚，所述第一橡胶圈和第二橡胶圈分别位于所述可伸缩套杆的顶端和底端，其中，所述可伸缩套杆适于在其延伸的方向上改变长度，所述锁止器用于保持所述可伸缩套管在一长度保持不变。

13.一种适用低质量监控视频的车辆运行状态的重建系统，包括：

存储器，用于存储可由处理器执行的指令；以及

处理器，用于执行所述指令以实现如权利要求1-8任一项所述的方法。

14.一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如权利要求1-8任一项所述的方法。

Images