CN107705331B - 一种基于多视点摄像机的车辆视频测速方法 - Google Patents

Abstract

本发明提出了一种基于多视点摄像机的车辆视频测速方法，用以解决单摄像机测量距离的不稳定导致车速检测的误差较大的问题，其步骤包括多台摄像机的标定；图像坐标与世界坐标的配准；根据多视点对车辆目标进行定位；根据定位数据测量车辆的运动距离及运动速度。本发明通过多台摄像机标定、监控画面采集、基于统计学习的方法对目标进行精确定位和车速计算实现视频测速，提高视频采集数据中目标车辆定位的准确性，且用于避免和减少单摄像机目标检测中的漏检问题，图像坐标与世界坐标的映射计算的计算量不大，可实现视频监控的实时检测并作出提醒。本发明测量精度高，适用范围广并且能避免单摄像机检测不完整的情形，以及应对恶劣环境。

Description

一种基于多视点摄像机的车辆视频测速方法

技术领域

本发明涉及车辆测速的技术领域，尤其涉及一种基于多视点摄像机的车辆视频测速方法。

背景技术

人们生活节奏的加快使得汽车大面积普及，也促使交通行业的飞速发展。车辆的普及使得交通的自动化管理和安全管理成为一个紧迫、亟待解决的问题。为了解决道路交通面临的诸多问题，智能交通系统脱颖而出。我国的智能交通系统应用于公路交通、城市道路交通和城市公交信息化。

智能交通系统中的车辆测速对于交通安全至关重要，目前的车辆测速方法主要包含线圈测速、激光测速、雷达测速、视频测速等。其中，视频测速方法主要是从视频序列中两帧图像的位置匹配关系得到目标的运动位移从而获取车辆的车速。

目前，常用的视频测速方法主要是基于单摄像机的，通过对驶入监控区域的车辆进行信息的采集，手动或自动识别目标点的运动位移，从而计算车速，造成很大的不准确性。

发明内容

针对现有视频测速方法中单摄像机测量距离的不稳定性，导致车速检测的误差较大的技术问题，本发明提出一种基于多视点摄像机的车辆视频测速方法，采用多台摄像机对车辆的运行速度进行测量，大大提高了测量精度。

为了达到上述目的，本发明的技术方案是这样实现的：一种基于多视点摄像机的车辆视频测速方法，其步骤如下：

步骤一、调整多台摄像机之间采集数据的角度，摄像机正对监控路段并且两两摄像机之间存在的盲区最少，同时对各个摄像机的内外参数经相机标定予以保存；

步骤二、对摄像机进行标定，将各个摄像机的内外参数予以保存，根据多台摄像机之间的标定参数建立基于现实场景的图像坐标与世界坐标；

步骤三、各个摄像机对视频采集区域进行检测，确定车辆的车牌、车标或车灯作为检测目标；

步骤四、确定检测目标后，各个摄像机对检测目标进行实时路线监控，根据多台摄像机之间的平移向量T和旋转向量V计算不同帧中检测目标在世界坐标系中的三个坐标，计算目标车辆的运行距离ΔS；

步骤五、根据视频帧的时间间隔Δt计算目标车辆的瞬时车速或平均车速速

步骤六、根据步骤五中获取的两两摄像机之间的车速数据，对其进行对比，若误差超过阈值H，则舍弃该组数据，求取其他组数据之间的平均值，作为目标车辆的车速。

所述摄像机的架设采用横梁式安装，各个摄像机均匀安装在同一横梁上；相邻摄像机的距离相同，两侧摄像机与监测道路的汇聚点之间的角度值相同。

所述摄像机采集视频的数据中出现同时几辆车进入画面，则以画面最左侧的车辆为目标车辆，稍后再按从左到右的顺序计算其他车辆；所述检测目标从车牌检测开始，利用基于统计学习的方法进行车牌检测，以车牌为目标点，确定车辆在三维空间中的位置；若出现未检测到车牌或车牌检测显示不全则视为车牌处于遮挡状态，然后对车标进行检测，最后检测车灯作为检测目标；检测目标过程中，将车牌作为首要检测目标，将车标检测作为辅助，将两次测量数据做平均化处理。

在双视点摄像机系统中，平移向量T和旋转向量V的计算方法为：采用相对外参表示左右摄像机的位置关系，左右摄像机的Z轴方向与各自光轴方向重合，以左摄像机为坐标原点建立世界坐标系，坐标系则与左摄像机重合，左右摄像机之间的相对外参平移向量T和旋转向量V分别为：

其中，T中的l,m,n右摄像机原点在左摄像机内的坐标；V中的α,β,γ分别为x,y,z轴各自轴向角的旋转角度。

所述计算目标车辆的运行距离ΔS的方法：由双目摄像机汇聚点定位方法可知，基线长度B和光轴夹角ε分别为：

ε＝β；以左摄像机为坐标原点建立世界坐标系，目标车辆的检测目标的三维空间坐标分别为：x坐标为：

y坐标为：

z坐标：

其中，a表示目标点与左摄像机光轴汇聚点关于左摄像机的夹角；b表示目标点与右摄像机光轴汇聚点关于右摄像机的夹角；c表示左右摄像机关于目标点的夹角，l表示左右摄像机之间的水平方向距离；n表示左右摄像机之间的垂直方向距离；g表示在图像坐标系中，目标点在图像中的对应点lcp与图像主点lpp在Y方向上的距离，即像素差值；h表示摄像机光轴起点到光轴与图像平面交点的距离；

根据获取的三维空间坐标，可以获取车辆行驶的距离ΔS：

其中，下标1和2分别表示检测的前一帧和后一帧。

根据帧率和需要检测帧之间的帧差，获得所需的时间差Δt：

其中，N和M分别表示运动目标速度检测所需的帧数和视频采集单元的视频帧率；

根据目标车辆的运动距离与运动时间的关系，计算出运动车辆的车速

在三视点摄像机系统下利用双视点摄像机系统得到左右两侧摄像机对检测车辆的速度为V₁，左右摄像机分别与中间摄像机组成双视点摄像机系统，分别检测得到的车辆速度为V₂和V₃，对其得到的数据求取平均值，得到最终的车辆速度为：

在取平均值之前，对三组数据之间的误差进行比对，若误差大于阈值，则应舍弃误差较大的那个速度，取另外两组数据之间的平均值。

本发明的有益效果：通过多台摄像机标定、监控画面采集、基于统计学习的方法对目标进行精确定位和车速计算等过程实现视频测速；对于单车道而言，采用双视点摄像机进行定位与测距；而对于多车道而言，可采用多台摄像机，利用摄像机两两之间的检测数据进行比对与校准，增加车速检测的准确性；利用多视点提高视频采集数据中目标车辆定位的准确性，而且用于避免和减少单摄像机目标检测中的漏检问题，而且图像坐标与世界坐标的映射计算的计算量不大，可实现视频监控的实时检测并作出提醒。本发明测量精度高，适用范围广并且能避免单摄像机检测不完整的情形，以及应对恶劣环境。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的摄像机安装的示意图。

图2为本发明三视点拍摄位置的示意图。

图3为本发明目标点的深度计算模型。

图4为本发明目标点的图像坐标系与世界坐标系的映射模型。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于多视点摄像机的车辆视频测速方法，通过多台摄像机标定、视频画面运动区域提取、目标车辆识别、目标车辆的定位和车速计算等过程实现视频测速；采用多台摄像机对目标车辆进行精确的三维坐标还原，进而实现视频画面中的实时车速计算。

步骤一、调整多台摄像机之间采集数据的角度，摄像机正对监控路段并且两两摄像机之间存在的盲区最少，同时对各个摄像机的内外参数经相机标定予以保存。

如图1所示，是车辆视频测速方法的安装示意图，根据安装示意图调整多台摄像机之间的位置关系，使监控路段完整地处于视频采集单元的视场范围内，即覆盖道路的主监控区域，并注意调整多台摄像机两两之间的位置关系使其存在的盲区最少。在必要条件下可增加摄像机的个数，确保满足整个场景监控的要求。在本发明实施例中，摄像机的架设采用横梁式安装，各个摄像机均匀安装在横梁上。横梁式架设方法相比单杆式安装，可以避免由于恶劣天气等引起的扰动，相对来说横梁式更稳固，有利于保持标定参数的长期一致性，从而避免摄像机扰动带来的误差。

如图2所示，三台摄像机的安装实施例，三台摄像机设置在同一直线上，且它们之间的位置在距离上的关系为：

并确保摄像机的汇聚点之间的角度值φ相同。

步骤二、对摄像机进行标定，将各个摄像机的内外参数予以保存，根据多台摄像机之间的标定参数建立基于现实场景的图像坐标系与世界坐标系。

根据摄像机标定参数建立图像坐标系与世界坐标系之间的映射关系。由于本发明针对多车道以及复杂环境设计，故以根据两两摄像机之间的坐标转换关系，得到目标点在不同条件下的运动位移，从而比较获取最准确的车速检测数据。

步骤三、各个摄像机对视频采集区域进行检测，确定车辆的车牌、车标或车灯作为检测目标。

对安装好的摄像机进行视频采集，为测量车速问题，对采集到的视频素材进行车辆检测。对于多车道、多目标的情况，采用从左到右的先后顺序进行车辆目标的检测，相比于传统的方法不容易造成目标的识别混乱。摄像机视频采集数据中出现同时几辆车进入画面，则以画面最左侧的车辆为目标车辆，稍后再按从左到右的顺序计算其他车辆；所述检测目标从车牌检测开始，若出现未检测到车牌或车牌检测显示不全则视为车牌处于遮挡状态，然后对车标进行检测，最后检测车灯作为检测目标。

当检测到有车辆驶入监控区域时，对进入监控区域的目标作出判断，若同时进入监控区域两个或多个目标车辆，为防止测速识别目标出现错误，从最左侧道路的车辆开始检测。识别到目标车辆之后，对其利用基于统计学习的方法进行车牌检测，以车牌为目标点，确定车辆在三维空间中的位置。若车牌出现遮挡、不清晰等现象，则对车标进行检测；若车标也不能被检测，则利用车灯进行检测，以确保目标点的准确性。在实际检测中，可以以车牌检测为主，以车标检测为辅，用两个特征点为目标确保车速检测的准确性。若两个特征点检测的数据有较大差异，则增加车灯检测数据，进而删除误差较大的那组数据，确保整体数据的准确性。检测目标过程中，将车牌作为首要检测目标，将车标检测作为辅助，将两次测量数据做平均化处理。

步骤四、确定检测目标后，各个摄像机对检测目标进行实时路线监控，根据多台摄像机之间的平移向量T和旋转向量V计算不同帧中检测目标在世界坐标系中的三个坐标，计算目标车辆的运行距离ΔS。

在确定车辆检测目标点以后，需要计算目标点在世界坐标系中的位置。在三视点摄像机系统下，获取两两之间的数据结果，取其平均值为最终结果，确保数据的误差最小，因此在这里，以C1和C3双视点摄像机为例获取一组数据的速度测量结果，如图3所示。在双视点摄像机系统中，可以采用相对外参表示左右摄像机的位置关系，左右摄像机的Z轴方向与各自光轴方向重合，世界坐标系则与左摄像机重合，左右摄像机之间的相对外参平移向量T和旋转向量V分别为：

其中，T中的l,m,n右摄像机原点在左摄像机内的坐标；V中的α,β,γ分别为x,y,z轴各自轴向角的旋转角度，旋转角度符合右手定则。

由双目摄像机汇聚点定位方法可知，基线长度B和光轴夹角ε分别为：

ε＝β (4)

基线长度B是两摄像机之间的距离，光轴夹角ε是两摄像机的中心之间的夹角。

图像坐标系有两种：uov坐标系和xoy坐标系。基于像素的坐标系都是uov坐标系，其坐标原点位于图像平面左上角顶点。xoy坐标系的坐标原点位于图像中心，原点右边为x轴正值、左边为负值。所以，仿照着xoy坐标系的正负性定义，规定：目标点位于主点左边时，其值为负；目标点位于主点右边时，其值为正。以左摄像机为坐标原点建立坐标系，若目标点位于图3中的四个目标区域，即区域1到区域4，则可以计算得到区域中目标点的目标夹角c：

区域1：

区域2：

区域3：

区域4：

如图3所示，若待测目标点P位于区域1中，角a为负值，目标点的世界坐标为(x,y,z)，则：

在三角形PAC3中，有：

将式(9)带入式(10)可知：

化简得：

将式(5)可知：

c-a＝ε-b

因此，可测得目标点在区域1内的深度计算公式为：

同理可证，若目标点位于区域2、3、4内，深度计算公式(11)仍然有效。根据x坐标与z坐标在图3中的关系可推出：

根据图像平面与摄像机光轴之间的交点lpp与目标点在图像平面的坐标点lcp如图4所示，可知y坐标与z坐标之间的三角关系，从而可推断出目标点的y坐标为：

其中，a表示目标点与左摄像机光轴汇聚点关于左摄像机的夹角∠PC1O；b表示目标点与右摄像机光轴汇聚点关于右摄像机的夹角∠PC3O；c表示左右摄像机关于目标点的夹角∠C1PC3；l表示左右摄像机之间的水平距离；n表示左右摄像机之间的垂直距离；g表示在图像坐标系中，目标点在图像中的对应点lcp与图像主点lpp在Y方向上的距离，即像素差值；h表示摄像机光轴起点到光轴与图像平面交点的距离。

根据式(11)、(12)、(13)可知目标点在各双视点摄像机下的三维空间坐标，这样可以简化目标车辆在视频测速中行驶距离的计算。

由上述坐标计算方法得出的三维空间坐标可以解决车辆在行驶过程中急速转弯等非直线运动的距离计算。对于车辆的直线行驶，可以采取多帧之间的平均速度计算，而对于车辆的紧急转弯、超车等形成的弯道行驶，可以采用连续两帧之间的瞬时车速计算。根据获取的三维空间坐标，可以获取车辆行驶的距离ΔS：

其中，下标1和2分别表示需要检测的前一帧和后一帧。

上述距离计算公式(14)可以抵消一部分相机参数误差造成的一致偏移量，是个相对距离，即使由于环境变换致使摄像机发生变化对车辆的距离计算影响也相对较小，并且该计算方法简单、速度快、稳定性也较高。

步骤五、根据视频帧的时间间隔Δt计算目标车辆的瞬时车速或平均车速速

根据帧率和需要检测帧之间的帧差，可以获得所需的时间差Δt：

其中，N和M分别表示运动目标速度检所需的帧数和视频采集单元的视频帧率。

根据目标车辆的运动距离与运动时间的关系，计算出运动车辆的车速V₁：

步骤六、根据步骤五中获取的两两摄像机之间的车速数据，对其进行对比，若误差超过阈值H，则舍弃该组数据，求取其他组数据之间的平均值，作为目标车辆的车速。

根据对图2中C1和C3摄像机对检测车辆速度V₁的计算可同理得到C1和C2、C2和C3之间检测得到的车辆速度V₂和V₃，我们对其得到的数据求取平均值，得到最终的车辆速度，相比于单一或双目摄像机的检测，该数据具有较高的准确度。车辆的最终车速为：

在取平均值之前，需要对三组数据之间的误差进行比对，若误差大于阈值H，则应舍弃误差较大的那个速度V，进而取另外两组数据之间的平均值，从而确保数据的准确性。

本发明利用多台摄像机对监控路段进行数据采集，通过对通过监控区域的车辆进行目标检测获取车辆的三维空间坐标，从而计算出目标车辆的实时车速或平均车速。本发明相对于单摄像机的目标定位更加精确，多摄像机可以避免目标车辆因天气等原因造成的单一摄像机可能无法检测到的问题。

本发明通过多台摄像机标定建立真实场景的世界坐标系，通过视频采集单元的帧率判定目标车辆的运行时间Δt，通过对目标车辆的定位求取三维空间的坐标，从而获得目标车辆的实际运行距离ΔS，进而计算出目标车辆的瞬时速度或平均速度V，根据超速检测的阈值，判断车辆是否有超速现象，提出警示作用，同时保存目标车辆从进入监控区域到离开监控区域的视频图像。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于多视点摄像机的车辆视频测速方法，其特征在于，其步骤如下：

步骤一、调整多台摄像机之间采集数据的角度，摄像机正对监控路段并且两两摄像机之间存在的盲区最少，同时对各个摄像机的内外参数经相机标定予以保存；

步骤二、对摄像机进行标定，将各个摄像机的内外参数予以保存，根据多台摄像机之间的标定参数建立基于现实场景的图像坐标与世界坐标；

步骤三、各个摄像机对视频采集区域进行检测，确定车辆的车牌、车标或车灯作为检测目标；

步骤四、确定检测目标后，各个摄像机对检测目标进行实时路线监控，根据多台摄像机之间的平移向量T和旋转向量V计算不同帧中检测目标在世界坐标系中的三个坐标，计算目标车辆的运行距离ΔS；

步骤五、根据视频帧的时间间隔Δt计算目标车辆的瞬时车速或平均车速：

步骤六、根据步骤五中获取的两两摄像机之间的车速数据，对其进行对比，若误差超过阈值H，则舍弃该组车速数据，求取其他组车速数据之间的平均值，作为目标车辆的车速；

所述摄像机的架设采用横梁式安装，各个摄像机均匀安装在同一横梁上；相邻摄像机的距离相同，两侧摄像机与监测道路的汇聚点之间的角度值相同；

所述摄像机采集视频的数据中出现同时几辆车进入画面，则以画面最左侧的车辆为目标车辆，稍后再按从左到右的顺序计算其他车辆；所述检测目标从车牌检测开始，利用基于统计学习的方法进行车牌检测，以车牌为目标点，确定车辆在三维空间中的位置；若出现未检测到车牌或车牌检测显示不全则视为车牌处于遮挡状态，然后对车标进行检测，最后检测车灯作为检测目标；检测目标过程中，将车牌作为首要检测目标，将车标检测作为辅助，将两次测量数据做平均化处理；

根据帧率和需要检测帧之间的帧差，获得所需的时间差Δt：

其中，N和M分别表示运动目标速度检测所需的帧数和视频采集单元的视频帧率；

根据目标车辆的运动距离与运动时间的关系，计算出运动车辆的车速

在三视点摄像机系统下利用双视点摄像机系统得到左右两侧摄像机对检测车辆的速度为V₁，左右摄像机分别与中间摄像机组成双视点摄像机系统，分别检测得到的车辆速度为V₂和V₃，对其得到的数据求取平均值，得到最终的车辆速度为：

在取平均值之前，对三组数据之间的误差进行比对，若误差大于阈值，则应舍弃误差较大的那个速度，取另外两组数据之间的平均值。

2.根据权利要求1所述的基于多视点摄像机的车辆视频测速方法，其特征在于，在双视点摄像机系统中，平移向量T和旋转向量V的计算方法为：采用相对外参表示左右摄像机的位置关系，左右摄像机的Z轴方向与各自光轴方向重合，以左摄像机为坐标原点建立世界坐标系，世界坐标系则与左摄像机重合，左右摄像机之间的相对外参平移向量T和旋转向量V分别为：

其中，T中的l,m,n分别为右摄像机原点在左摄像机内x,y,z轴的坐标；V中的α,β,γ分别为x,y,z轴各自轴向角的旋转角度。

3.根据权利要求2所述的基于多视点摄像机的车辆视频测速方法，其特征在于，所述计算目标车辆的运行距离ΔS的方法：由双目摄像机汇聚点定位方法可知，基线长度B和光轴夹角ε分别为：

ε＝β；以左摄像机为坐标原点建立世界坐标系，目标车辆的检测目标的三维空间坐标分别为：x坐标为：

y坐标为：

z坐标：

其中，a表示目标点与左摄像机光轴汇聚点关于左摄像机的夹角；b表示目标点与右摄像机光轴汇聚点关于右摄像机的夹角；l表示左右摄像机之间的水平方向距离；n表示左右摄像机之间的垂直方向距离；g表示在图像坐标系中，目标点在图像中的对应点lcp与图像主点lpp在Y方向上的距离，即像素差值；h表示摄像机光轴起点到光轴与图像平面交点的距离；

根据获取的三维空间坐标，可以获取车辆行驶的距离ΔS：

其中，(x₁，y₁，z₁)表示检测目标的前一帧的坐标，(x₂，y₂，z₂)表示检测目标的后一帧的坐标。

Images