CN111477013B - 一种基于地图影像的车辆测量方法 - Google Patents

Abstract

本发明公开了一种基于地图影像的车辆测量方法，包括：连接摄像机，根据视频图像的地点信息在地图影像上确定相应区域，结合总结的标定物选择经验选定标定物；分别选定标定物在视频场景和地图影像中的特征点，并自适应修正变换矩阵；根据计算的距离和测距工具测出的距离校正地图影像比例尺；通过改进的YOLO算法和视频抖动处理算法检测和追踪车辆，修正车辆的实时位置和车速；最后保存车辆特征、车速和实时位置，上传后台服务器。通过摄像机结合地图影像，在标定时无需特殊标定物即可完成摄像机标定，简单快捷，无需损耗多余的人力和物力，通过结合改进的YOLO算法和视频抖动处理算法降低误判率，更准确地测量车辆信息。

Description

一种基于地图影像的车辆测量方法

技术领域

本发明属于图像处理技术领域，涉及一种基于地图影像的车辆测量方法。

背景技术

视频监控作为全天候的可靠监控越来越多的被社会所认可，它可以为用户提供更加精确的安全威胁的特征，降低误报和漏报现象的发生概率，使安全部门有足够的时间为潜在的威胁做好准备工作。

目前测量速度的方法主要包括基于地感线圈的方法和基于摄像机标定的方法。地感线圈检测具有价格低、检测速度快等优点，但其对道路损坏大，前期工程量大、影响交通；传统的摄像机标定往往通过人为获取场景不同角度拍摄的多幅图片，对于一些遥远、人手不足的地方就不适用了，另外一些改进的摄像机标定则利用一些特殊的交通标志线和特殊建筑物构成的图形进行摄像机标定，但是一旦视频不存在这些特殊标线和图形，则无法使用该方法。

发明内容

本发明目的是：提供一种基于地图影像的车辆测量方法，包含标定物选择经验和比例尺校正方法，可以更快地简历视频与地图影像的变换关系。

本发明的技术方案是：一种基于地图影像的车辆测量方法，包括：

步骤1，连接摄像机，读取一帧视频图像图片，根据视频的地点信息在地图影像上确定相应区域，结合总结的标定物选择方法选定标定物；

步骤2，根据选定的标定物，分别在视频场景和地图影像中选取特征点，采用随机采样一致算法获得变换矩阵，自适应在特征点周围预定范围搜索完成所述变换矩阵的修正；

步骤3，在地图影像中选取两点，根据地图影像比例尺和变换矩阵计算两点之间的距离，使用测距工具测出距离，将两个距离之间的误差与距离误差阈值比较来校正地图影像的比例尺；

步骤42，绘制检测区域，依次读取每帧视频图像，通过基于改进的YOLO 算法检测车辆，同时对检测和追踪过程进行视频防抖动处理；

步骤53，根据检测和追踪的车辆信息确定测量车辆的实时位置和车速中的至少一种信息；

步骤64，保存获取的车辆特征、车速和实时位置中的至少一种信息，上传后台服务器。

其进一步的技术方案是：所述步骤1

中的所述根据视频的地点信息在地图影像上确定相应区域，包括：

根据视频名称或视频的GPS信息在谷歌地图上选取与视频场景相应的区域；

通过街景验证选取区域的正确性，或者，切换卫星地图，识别车道信息和两侧绿化建筑信息，对相似场景进行甄别；

确定一致后，截取验证后的选取区域，地图影像的比例尺为R。

其进一步的技术方案是：所述标定物分为三类：

第一类标定物包括车道分界线、人行道、导向箭头、导流线、网状线、港湾式停靠站中的至少一种道路交通标线；

第二类标定物包括绿化隔离带、路灯、窖井盖、悬臂立柱、指示路牌中的至少一种具有预定形状的物体；

第三类标定物包括道路两侧建筑、广告牌中的至少一种大型固定建筑物。

其进一步的技术方案是：步骤1中的所述结合总结的标定物选择经验方法选定标定物，包括：

直道场景的首选标定物为车道分界线、导向箭头和公交专用道；

路口场景的首选标定物为人行道、导向箭头、导流线和中心圈；

环岛场景的首选标定物为车道分界线和导流线；

乡村道路结合第二类标定物和第三类标定物，首选标定物为绿化带、路灯、建筑物；

干线、快速路、高速进出口的首选标定物为道路出入口标定线、导向箭头；

高空场景的首选标定物为路灯、车道线、建筑物。

其进一步的技术方案是：所述步骤4包括：

绘制检测区域，依次读取每帧视频，采用改进的LOYO算法检测车辆；提取车辆外接矩形、面积、中心点、车型及概率特征，筛选目标车辆，所述目标车辆的面积大于面积阈值，所述目标车辆被识别为具体车型的概率大于概率阈值，当算法出现同一个目标识别为两种不同的车型目标时，保留概率较大的车型目标；

将首次检测结果作为追踪目标，当车型目标的中心点与追踪目标的中心点的差值不超过中心点差值阈值并且车型目标的面积与追踪目标的面积的差值不超过面积差值阈值时，确定追踪成功；若追踪目标有多个检测目标匹配，则选择与追踪目标中心点距离差最小的检测目标来追踪。

其进一步的技术方案是：所述步骤4还包括：

将追踪失败次数初始化为0，追踪失败 则自动增加1，若累计追踪失败次数大于失败次数阈值，则确定对应车辆已驶出摄像头拍摄范围，不再追踪。

其进一步的技术方案是：所述步骤5中的所述根据检测和追踪的车辆信息确定测量车辆的实时位置和车速中的至少一种信息，包括：

根据变换矩阵，将视频场景中的车辆中心点变换为地图影像上的坐标，并保存在实时位置向量中；当实时位置向量中值的偏差超过预定阈值时，使用存在偏差的值的前后两个数据的平均值代替；

间隔预定帧数，根据实时位置向量和视频帧率计算车速。

本发明的优点是：

通过摄像机结合地图影像，在标定时无需特殊标定物即可完成摄像机标定，简单快捷，无需损耗多余的人力和物力，使用基于改进的YOLO算法和视频抖动处理算法降低车型的误判率，更准确地测量车辆信息。

在检测和追踪过程中增加对摄像机抖动问题的处理，较好的排除了摄像头、天气等外部环境的影响，提高算法的鲁棒性，将测量的车辆的特征、实时位置和速度等相关视频上传后台服务器，方便后续开发。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1是本申请提供的一种基于地图影像的车辆测量方法的流程图；

图2是本申请提供的另一种基于地图影像的车辆测量方法的流程图；

图3是本申请提供的车辆测量的流程图。

具体实施方式

实施例：本申请提供了一种基于地图影像的车辆测量方法，结合参考图1至图3，该方法利用地图影像对视频标定，总结了一套基于地图影像的标定方法，包含标定物的选择经验和比例尺校正方法，可以更快地简历视频场景与地图影像的变换关系，可以包括以下步骤：

步骤1，连接摄像机，读取视频图像，根据视频的地点信息在地图影像上确定相应区域，结合总结的标定物选择方法选定标定物。

可选的，步骤1中的根据视频的地点信息在地图影像上确定相应区域，可以包括：

根据视频名称或视频的GPS信息在地图上选取与视频场景相应的区域；通过街景验证选取区域的正确性，或者，切换卫星地图，比如谷歌卫星地图，识别车道信息和两侧绿化建筑信息，对相似场景进行甄别；确定一致后，截取验证后的选取区域，地图影像的比例尺为R。

当视频拍摄视野远时，可以选择较小的比例尺；当视频拍摄视野近时，可以选择较大的比例尺。

其中，标定物分为三类：

第一类标定物包括车道分界线、人行道、导向箭头、导流线、网状线、港湾式停靠站中的至少一种道路交通标线，这类标志明显清晰，容易识别；

第二类标定物包括绿化隔离带、路灯、窖井盖、悬臂立柱、指示路牌中的至少一种具有预定形状的物体，绿化隔离利用植被组成长方形、菱形、弧形等特殊形状，很好辨认；

第三类标定物包括道路两侧建筑、广告牌中的至少一种大型固定建筑物，建筑物和广告牌的屋顶和墙体颜色和形状都较好辨认，比如学校、酒店、居民楼、工厂等。

关于各种场景及其标定物的选择请参见表1：

表1

如表1所示，根据经验总结出标定物选择方法，直道场景的首选标定物为车道分界线、导向箭头和公交专用道；路口场景的首选标定物为人行道、导向箭头、导流线和中心圈；环岛场景的首选标定物为车道分界线和导流线；乡村道路的交通标线少甚至没有，需要结合第二类标定物和第三类标定物，首选标定物为绿化带、路灯、建筑物；干线、快速路、高速进出口的首选标定物为道路出入口标定线、导向箭头；高空场景的首选标定物为路灯、车道线、建筑物。若对应场景的地图区域不清晰，则选择第二类标定物和第三类标定物，首选标定物为隔离带和路灯。

步骤2，根据选定的标定物，分别在视频场景和地图影像中选取特征点，采用随机采样一致算法获得变换矩阵，自适应在特征点周围预定范围搜索完成变换矩阵的修正。

变换矩阵经过修正后满足变换前后的特征点误差小于误差阈值。

示例性的，根据选定的标定物，分别在视频场景和地图影像中选择l组特征点{Q_l(x_l，y_l)，P_l(a_l，b_l)|l∈[4，16)}，Q_l(x_l，y_l)是地图影像中的特征点，P_l(a_l，b_l) 是视频场景中的特征点，则有：

然后采用随机采样一致算法(英文：Random Sample Consensus，简称： RANSAC)获得{h_cd|c＝1，2，3；d＝1，2，3}，则变换后在地图中的位置Q′_l(x′_l，y′_l)为：

所有的Q′_l(x′_l，y′_l)需满足：

max(abs(x_l-x′_l)，abs(y_l-y′_l))＜S₁ (3)

其中，S₁为误差阈值，如果某组特征点不满足，则在该组特征点位置周围继续搜索，重复上述操作直至满足为止。

步骤3，在地图影像中选取两点，根据地图影像的比例尺和变换矩阵计算两点之间的距离，使用测距工具测出距离，将两个距离之间的误差与距离误差阈值比较来校正地图影像的比例尺。

示例性的，在地图影像中新选两点(x₁，y₁)和(x₂，y₂)，使用测距工具测出距离L₂，根据比例尺得出两点间的距离L₁，L₁和L₂之间的误差应保持在0.1米内，满足式(4)：

步骤4，绘制检测区域，依次读取每帧视频图像，通过基于改进的YOLO 算法和阈值判断来检测车辆，同时对检测和追踪过程进行视频防抖动处理。

可选的，步骤4包括：

绘制检测区域，依次读取每帧视频，采用改进的LOYO算法检测车辆 {blob_i|i＝1，2，…，N}；改进的LOYO算法增加了阈值判断，提取车辆外接矩形rc_i、面积area_i、中心点center_i、车型type_i及概率prob_i特征，筛选出目标车辆，目标车辆的面积大于面积阈值A₁，目标车辆的被识别为具体车型的概率大于概率阈值Pr₁，当算法出现同一个目标识别为两种不同的车型目标

和

时，所属车型概率为

和

保留概率较大的车型目标：

通过视频抖动处理算法检测和追踪车辆，将首次检测结果作为追踪目标 {track_j|j＝1，2，…，M}，当车型目标blob_i的中心点center_i与追踪目标track_j的中心点center_j的差值不超过中心点差值阈值T_center并且车型目标blob_i的面积area_i与追踪目标track_j的面积area_j的差值不超过面积差值阈值T_area时，确定追踪track_j成功；若追踪目标track_j有多个检测目标匹配，则选择与追踪目标track_j中心点距离差最小的检测目标来追踪track_j。

结合参考图3，将追踪失败次数初始化为0，追踪失败 则自动增加1，若累计追踪失败次数大于失败次数阈值T_inactive，则认为对应车辆已驶出摄像头拍摄范围，不再追踪。

步骤5，根据检测和追踪的车辆信息确定车辆的实时位置和车速中的至少一种信息。

可选的，结合参考图3，步骤5包括：

根据变换矩阵，即根据式(2)，将视频场景中的车辆中心点center_j(x，y)变换为地图影像上的坐标center′_j(x′，y′)，并保存在实时位置向量pos_j(x′_k，y′_k)中；由于视频可能出现抖动等意外情况，因此当实时位置向量pos_j(x′_k，y′_k)中值的偏差超过预定阈值时，使用存在偏差的值的前后两个数据的平均值代替；间隔预定帧数(T帧)，根据实时位置向量和视频帧率计算车速，则第k帧时的车速speed_k为：

其中F是视频的帧率。

步骤6，保存获取的车辆特征、车速和实时位置中的至少一种信息，上传后台服务器。

本申请提出了一种基于地图的测量车辆的方法，首先提供了一套基于地图影像的摄像机标定方法，简单方便，成本低，更具普遍性，然后使用改进的YOLO检测算法，可以更快速的检测出车辆，解决同一目标多类型检测的问题，在追踪和测量车辆模块中，增加了摄像机抖动问题的处理，可滤去约30％因外部环境而造成的误检，保存的数据和视频信息可用于后续开发。

综上所述，本申请提供的基于地图影像的车辆测量方法，通过摄像机结合地图影像，在标定时无需特殊标定物即可完成摄像机标定，简单快捷，无需损耗多余的人力和物力，使用改进的YOLO算法和视频抖动处理算法降低误判率，更准确地测量车辆信息。

另外，在检测和追踪过程中增加对摄像机抖动问题的处理，较好的排除了摄像头、天气等外部环境的影响，提高算法的鲁棒性，将测量的车辆的特征、实时位置和速度等相关视频上传后台服务器，方便后续开发。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含所指示的技术特征的数量。由此，限定的“第一”、“第二”的特征可以明示或隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或者两个以上。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器、磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (6)

1.一种基于地图影像的车辆测量方法，其特征在于，包括：

步骤1，连接摄像机，读取视频图像，根据视频的地点信息在地图影像上确定相应区域，结合总结的标定物选择方法选定标定物；

步骤2，根据选定的标定物，分别在视频场景和地图影像中选取特征点，采用随机采样一致算法获得变换矩阵，自适应在特征点周围预定范围搜索完成所述变换矩阵的修正；

步骤3，在地图影像中选取两点，根据地图影像的比例尺和变换矩阵计算两点之间的距离，使用测距工具测出距离，将两个距离之间的误差与距离误差阈值比较来校正地图影像的比例尺；

步骤4，绘制检测区域，依次读取每帧视频图像，通过基于改进的YOLO算法检测车辆，同时对检测和追踪过程进行视频防抖动处理；

步骤5，根据检测和追踪的车辆信息确定车辆的实时位置和车速中的至少一种信息；

步骤6，保存获取的车辆特征、车速和实时位置中的至少一种信息，上传后台服务器；

其中，步骤4中的所述绘制检测区域，依次读取每帧视频图像，通过基于改进的YOLO算法检测车辆，同时对检测和追踪过程进行视频防抖动处理，包括：

绘制检测区域，依次读取每帧视频，采用改进的YOLO算法检测车辆；提取车辆外接矩形、面积、中心点、车型及概率特征，筛选目标车辆，所述目标车辆的面积大于面积阈值，所述目标车辆被识别为具体车型的概率大于概率阈值，当算法出现同一个目标识别为两种不同的车型目标时，保留概率较大的车型目标；

将首次检测结果作为追踪目标，当车型目标的中心点与追踪目标的中心点的差值不超过中心点差值阈值并且车型目标的面积与追踪目标的面积的差值不超过面积差值阈值时，确定追踪成功；若追踪目标有多个检测目标匹配，则选择与追踪目标中心点距离差最小的检测目标来追踪。

2.根据权利要求1所述的基于地图影像的车辆测量方法，其特征在于，步骤1中的所述根据视频的地点信息在地图影像上确定相应区域，包括：

根据视频名称或视频的GPS信息在地图上选取与视频场景相应的区域；

通过街景验证选取区域的正确性，或者，切换卫星地图，识别车道信息和两侧绿化建筑信息，对相似场景进行甄别；

确定一致后，截取验证后的选取区域，地图影像的比例尺为R。

3.根据权利要求2所述的基于地图影像的车辆测量方法，其特征在于，所述标定物分为三类：

第一类标定物包括车道分界线、人行道、导向箭头、导流线、网状线、港湾式停靠站中的至少一种道路交通标线；

第二类标定物包括绿化隔离带、路灯、窖井盖、悬臂立柱、指示路牌中的至少一种具有预定形状的物体；

第三类标定物包括道路两侧建筑、广告牌中的至少一种大型固定建筑物。

4.根据权利要求3所述的基于地图影像的车辆测量方法，其特征在于，步骤1中的所述结合总结的标定物选择经验方法选定标定物，包括：

直道场景的首选标定物为车道分界线、导向箭头和公交专用道；

路口场景的首选标定物为人行道、导向箭头、导流线和中心圈；

环岛场景的首选标定物为车道分界线和导流线；

乡村道路结合第二类标定物和第三类标定物，首选标定物为绿化隔离带、路灯、大型固定建筑物；

干线、快速路、高速进出口的首选标定物为道路出入口标定线、导向箭头；

高空场景的首选标定物为路灯、车道分界线、大型固定建筑物。

5.根据权利要求1所述的基于地图影像的车辆测量方法，其特征在于，所述步骤4还包括：

将追踪失败次数初始化为0，追踪失败 则自动增加1，若累计追踪失败次数大于失败次数阈值，则确定对应车辆已驶出摄像头拍摄范围，不再追踪。

6.根据权利要求5所述的基于地图影像的车辆测量方法，其特征在于，步骤5中的所述根据检测和追踪的车辆信息确定测量车辆的实时位置和车速中的至少一种信息，包括：

根据变换矩阵，将视频场景中的车辆中心点变换为地图影像上的坐标，并保存在实时位置向量中；当实时位置向量中值的偏差超过预定阈值时，使用存在偏差的值的前后两个数据的平均值代替；

间隔预定帧数，根据实时位置向量和视频帧率计算车速。

Images