CN103925927B - 一种基于车载视频的交通标识定位方法 - Google Patents

Abstract

一种基于车载视频的交通标识定位方法，属于智能交通领域的交通信息收集技术，通过连续视频图像解算出交通标识的多个动态观察距离，结合车载GPS轨迹，来精确估计交通标识的地理坐标，以实现在连续交通标识识别的同时精确定位其地理位置。主要包括图像帧获取位置确定、交通标识区域畸变校正、交通标识精确定位、标识区域大小计算、交通标识视距估算、基于GPS轨迹的路径位置估算、加权位置判断等步骤。本发明通过车载视频设备记录的视频图像和同时记录的GPS位置，在连续识别出交通标识的前提下，对该交通标识进行自动的精确定位，避免人为估计造成的不准确，同时提高工作效率。

Description

一种基于车载视频的交通标识定位方法

技术领域

本发明涉及一种基于车载视频的交通标识定位方法，属于智能交通领域的交通标识信息收集技术。

背景技术

当前车载导航中使用的交通路线图、交通标识一般是通过车载摄像机通过实地跑车进行摄像，后期通过整理视频资料获得。

起初，交通标识是通过人为发现和标记完成的。随着图像处理与识别技术的发展，交通标识识别实现了部分自动或半自动化，相关的技术发明包括西门子共同研究公司.交通标志检测方法.中国发明专利，CN101023436A，2007-08-22、江苏物联网研究发展中心.基于视频的交通信息采集方法.中国发明专利，CN102768804A，2012-12-07、重庆邮电大学.基于GPU实现PSO-SVM对道路标志的识别方法.中国发明专利，CN102999756A，2013-03-27等，在如上技术中已经能够对连续视频的交通标识进行实时的识别，并能大概确定交通标识在图像中的位置区域。

而交通标识的实际地理位置并不能直接获得。因为摄像机镜头朝向行车前方，在获得交通标识时，车上GPS收集的位置信息与交通标识本身的位置并不一致，一般的做法通过操作员的估计或借助交通标识所在的地面对应位置获得其位置信息，不直观、误差也大。

根据摄影测量的原理，利用对同一点的两次观察，结合相机的成像参数进行前方交会，可以解算出非接触点的空间位置。检索发现“一种基于球面全景视频的交通标志定位方法”，CN103345630A,2013-10-09，该方法利用立体成像原理进行空间位置解算，它是通过两次全景观察，根据标识中心点位置的方位角来进行前方交会解算的，这必然受到车载全景相机的姿态的影响，在没有精确姿态测量的条件下会产生较大误差，另外由于两个全景影像之间的成像时的差异较大，增加了交通标识匹配的难度。

发明内容

本发明要解决的问题为：克服现有技术的不足，提供一种基于车载视频的交通标识定位方法，通过车载视频设备记录的视频图像和同时记录的GPS位置，在连续识别出交通标识的前提下，对该交通标识进行自动的精确定位，避免人为估计造成的不准确，同时提高了工作效率。

本发明解决其技术问题所采用的技术方案如下：一种基于车载视频的交通标识定位方法，实现步骤如下：

第一步，图像帧获取位置确定

去除初始视频帧序列中具有相同GPS坐标位置的视频帧，得到一个位置变动的视频帧序列{F_i|i=1,2,...,N}，对应的位置点序列记为{P_i|i=1,2,...,N}，对应的GPS序列记为{Lo_i,La_i|i=1,2,...,N}，Lo_i和La_i分别是经度和纬度坐标;设汽车在两个记录GPS坐标位置之间的行进路线为直线，根据间隔的帧数平均分配距离，插值计算出每一帧对应的GPS坐标；

第二步，交通标识区域畸变校正

进行摄像机的标定，得出相机的几何模型即求解其变换矩阵；再根据标定得到的变换矩阵对第一步得到的视频帧序列进行畸变校正，得到校正视频帧序列；

第三步，交通标识精确定位

对第二步中得到的校正视频帧序列，进行标识的检测定位，得到一个粗略的位置，再采用交通标识精确定位方法，确定交通标识的外接四边形，得到精确定位到图像中的交通标识；

第四步，标识区域大小计算

精确定位到图像中的交通标识后，根据确定的外接四边形对目标进行大小估计；再根据两帧F_i和F_i+k中目标的面积比例，估算目标尺度变化比例r_ik，其中i，k表示基于第i和第i+k帧计算；

第五步，交通标识视距估算

设两个视频帧F_i和F_i+k对应的GPS坐标位置分别为P_i:(Lo_i,La_i)和P_i+k:(Lo_i+k,La_i+k)，计算P_i和P_i+k之间的距离记为d（i,i+k）；利用d（i,i+k）和上一步的结果r_ik，并根据相机成像原理，计算出拍摄位置距交通标识所在位置的距离即视距u_ik；

第六步，基于GPS轨迹的路径位置估算

根据车辆行进轨迹与交通标识的位置关系并利用视距u_ik估算交通标识的位置SP_ik；

第七步，多次观测结果加权

对连续观察到的交通标识进行以上的位置估算，最后对所有估算的位置SP_ik进行加权计算，得到交通标识的地理位置SP。

所述第三步中交通标识精确定位方法实现如下：

（1）在学习阶段，提出融合多种颜色通道的、鲁棒的底层颜色特征；对于每一种颜色的交通标识，分别定义其主导颜色；通过学习，得到该标识主导颜色特征的表达集合即主导颜色词典，并获得其判定阈值Cth；

（2）判断阶段，针对得到的标识的粗略位置，抽取图像像素的底层颜色特征，寻找其在主导颜色特征集合中的k近邻的距离之和，当距离和小于一个阈值Cth则认为像素具有交通标识的主导颜色；

（3）以上判定结果得到一个与搜索框同大小的模板，模板中1表示搜索框中像素为主导颜色，0表示其他颜色，去除其中离散的像素点，再计算出交通标识的外接四边形，得到精确定位到图像中的交通标识。

所述第五步中交通标识视距估算过程是：

（1）设两个视频帧F_i和F_i+k对应的GPS坐标位置分别为P_i:(Lo_i,La_i)和P_i+k:(Lo_i+k,La_i+k)，计算P_i和P_i+k之间的欧式距离为d（i,i+k），k是大于等于1的整数；

（2）在采用的拍摄条件下，相机成像时象距不变，第i次观测交通标识时成像大小为S（i），第i+k次观测交通标识时距离为u（i+k），成像大小为s（i+k），设其中i，k表示基于第i和第i+k帧计算，根据相机成像原理，有如下关系：

$u(i+k)=\frac{d(i,i+k)r_{\mathrm{ik}}}{r_{\mathrm{ik}}-1};$

（3）利用第四步的结果r_ik和以上结果d（i,i+k），根据以上关系式，计算出拍摄位置距交通标识所在位置的距离即视距u_ik（即u（i+k））。

所述第六步中基于GPS轨迹的交通标识位置估算具体过程是：

（1）对于交通标识不在车的行进轨迹上的情况，根据含有交通标识的视频帧序列的前一部分对应的GPS轨迹点{Lo_i,La_i|i=1,2,...,N}，拟合出一条直线，该直线是估计出的行进路线，记为L，N是用于估计位置的点数；交通标识的位置与观测位置的连线与L的夹角序列为{θ_i|i=1,2,...,N}，通过几何计算的方法求出交通标识位置，得出关系：

$\left\{\begin{array}{c}{u}_1\cos {\mathrm{\θ}}_1-u_2\cos {\mathrm{\θ}}_2=d\left(\mathrm{1,2}\right)\\ u_1\sin {\mathrm{\θ}}_1=u_2\sin {\mathrm{\θ}}_2\end{array}\right.$

u₁和u₂为第五步在点1和点2获得的两个视距值u_1k和u_2k，d计算得到，求解上面方程组，得到θ，则计算出交通标识的位置SP_ik；SP_ik记为{SP_ik:(Lo_ik,La_ik)|i=1,2,...,N;k=1,2,...,K}，是指采用第i和i+k帧计算出的交通标识位置，K取值较小，例如K=5，N是用于交通标识估计的视频帧数。

（2）对于交通标识在车的行进轨迹上的情况，根据车行进的GPS轨迹和第五步获得的视距值u_ik计算出交通标识的位置SP_ik。

所述第七步中多次观测计算结果中的加权过程是：

（1）对连续观察到的交通标识做以上位置估算，得到其估算位置SP_ik的序列；

（2）对每个视频帧计算得到的交通标识位置SP_ik，去除偏离较大的点，即奇异点的去除；

（3）计算当前帧权重w_ik，其中s_i和s_i+k分别表示第i和i+k次观测时交通标识的大小，h_i和h_i+k分别表示第i和i+k次观测时交通标识的竖直方向的高度，权重定义如下：

w_ik=1-abs(s_i/s_i+k-h_i/h_i+k)

$w_i=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_{\mathrm{ik}}$

（4）最后，加权计算交通标识的地理位置SP，包括经度、纬度坐标：

${\mathrm{SP}}_i=\frac{\underset{k=1}{\overset{K}{\mathrm{\Σ}}}(w_{\mathrm{ik}}\·{\mathrm{SP}}_{\mathrm{ik}})}{\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_{\mathrm{ik}}}$

$\mathrm{SP}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(w_i\·{\mathrm{SP}}_i)}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i}.$

本发明与现有技术相比的积极效果为：

（1）本发明中交通标识的位置计算与交通标识的识别同步进行，实现了自动化，可以提高生产效率；

（2）本发明的视频帧中，采用基于颜色特征的交通标识精确勾画，实现较精确的估计交通标识在视频帧图像中的面积大小；

（3）本发明根据视频帧序列中交通标识的水平与竖直方向变化趋势，判断车辆行进（摄像机移动）方向是否变化，采用了两种不同的方法估算交通标识位置，实现对车辆转弯、掉头等情况下拍摄到的交通标识的定位；

（4）本发明采用了连续多次的位置估计加权，其定位位置更精确。

附图说明

图1为本发明实现流程图；

图2为视频中交通标识变化的例子：上半部分为三角形的交通标识，其中A区域表示黑边，B区域表示黑色图案，C区域表示黄底；下半部分为圆形的交通标识，其中A区域表示红边，B区域表示黑色图案，C区域表示白底。

图3为摄像机实际采集到的几种交通标识示例：第一二行为圆形的交通标识，其中A区域表示红边，B区域表示黑色图案，C区域表示白底；第三四行为三角形图案的交通标识，其中A区域表示黑边，B区域表示黑色图案，C区域表示黄底；第五六行为矩形的图案的交通标识，其中A区域表示白边，B区域表示白色图案，C区域表示蓝底；第七八行为矩形的图案的交通标识，其中A区域表示白边，B区域表示白色图案，C区域表示绿底；

图4为交通标识主导颜色训练图像示例：左图为圆形图案的交通标识图像，其中A区域表示红边，B区域表示黑色图案，C区域表示白底；右图为人工标记的主导颜色区域；

图5为交通标识位置计算示意图：交通标识不在车行进轨迹上的情况；

图6为交通标识位置计算示意图：交通标识在车行进轨迹上的情况。

具体实施方式

下面结合附图及实施例对本发明进行详细说明。

在叙述本发明前，对相关原理与实现条件进行说明。

成像条件：车载相机拍摄时，不变焦、不调焦，采用大景深的长焦段成像，这也是车载摄像机的正常工作模式，已知视频帧对应的车所在位置的GPS轨迹坐标。

输入条件：已经根据序列帧图像识别出交通标识的图像位置区域和类型（类型识别到大类即可，不识别到具体的交通标识），建立了前后帧之间的交通标识关系（即得到同一交通标识在视频帧中的位置）。对于一个交通标识，从检测到满足设置阈值的大小的视频帧开始，到标识消失前的最后一帧组成一个初始视频图像帧序列{OF_i|i=1,2,...,M}。实际中，可根据交通标识的类型，设置大小的上限和下限（即最大和最小），去除较可能引入较大误差的视频帧。图2给出了两个视频中交通标识变化的例子。

在以上条件下，相机成像时象距不变，标识大小为s，第i次观测交通标识时距离为u（i），成像大小为s（i），象距为v，则有如下关系：

$\frac{s\left(i\right)}{v}=\frac{s}{u\left(i\right)}---\left(1\right)$

即：

s(i)·u(i)=v·s=定值 （2）

所以：

s(i)·u(i)=s(i+k)·u(i+k) （3）

其中，第i+k次观测交通标识时距离为u（i+k），成像大小为s（i+k），k是大于等于1的整数。在成像间隔很短、目标在车的前方的情况下，两次成像之间相机的位移为车的位移，记为d（i,i+k）。在车的行进中，第i+k次观测交通标识时距离目标更近，即物距u（i+k）较u（i）小，相差车的位移，有u（i+k）=u（i）-d（i,i+k），公式（3）可写为：

$\frac{s(i+k)}{s\left(i\right)}=\frac{u\left(i\right)}{u\left(i\right)-d(i,i+k)}---\left(4\right)$

设其中i，k表示基于第i和第i+k帧计算，则有：

$u(i,k)=\frac{d(i,i+k)r_{\mathrm{ik}}}{r_{\mathrm{ik}}-1}---\left(5\right)$

从上面推导可知，当车沿直线前进、标识在车正前方的情况下，已知两帧图像之间的相机位移和对应图像中目标的大小之比，即可根据公式（5）计算出相机与目标的空间距离。

但是，实际行车轨迹不可能是直线，不可能保证交通标识在摄像机前方。前进过程中摄像机的视角随车在变化，视频帧中的交通标识大小也在随视角变化而变化。当两帧之间的距离足够小时，可近似认为公式（5）成立，但普通的GPS定位精度十分有限，通常所用的GPS定位的打点频率不高（通常10米左右一个点），因此，d的值可能存在很大的误差，导致计算不正确。另外，在车行驶路线发生转弯的情况时，两帧之间的交通标识的面积可能由于时间变化发生突变，致使标识定位错误。

由于道路的高度基本在一定范围内不会有较大的改变，即使有桥存在，桥的坡度也较小，因此，视频帧中交通标识的竖直方向大小变化较小。观察大量实际采集得到的视频，视频帧中交通标识的竖直方向大小变化较小，不易受视角变化的影响；而水平方向变化非常大，水平放向的变化可以体现出摄像机视角的变化。公式（4）中的可以由代替，其中h（i）和h（i+k）分别表示第i和i+k次观测时交通标识的竖直方向的高度，则有：

$\frac{h(i+k)}{h\left(i\right)}=\frac{u\left(i\right)}{u\left(i\right)-d(i,i+k)}---\left(6\right)$

设其中i，k表示基于第i和第i+k帧计算，则有：

$u(i,k)=\frac{d(i,i+k)e_{\mathrm{ik}}}{e_{\mathrm{ik}}-1}---\left(7\right)$

实际计算中，使用的两个观测点之间的欧式距离计算d，没有考虑观测点与交通标识所在位置之间的相对关系，假设三者在一条直线上，因此存在一定的误差。当摄像机与交通标识之间的距离（物距）较大时，纵向偏移远远小于横向偏移，这一误差可以忽略。因此，使用从较远处拍摄到的视频帧来估计交通标识位置更精确。

如图1所示，本发明具体实现如下：

1.图像帧获取位置确定

普通的车载导航仪记录GPS坐标有一定的间隔，例如间隔一个固定时间记录一次，这个间隔时间通常远大于视频帧的间隔（例如1/29秒），并不是每一个视频帧都对应一个实际采集的经纬度坐标位置。因此，首先根据导航仪与视频记录的开始时间来插值每一帧的地理位置。假设汽车在两个记录GPS坐标位置之间的行进路线为直线，根据间隔的帧数平均分配距离，插值计算出每一帧对应的GPS坐标。

可用于物距计算的连续两个视频帧必须对应不同的GPS坐标位置，因此需要去除初始视频帧序列{OF_i|i=1,2,...,M}中具有相同GPS坐标位置的视频帧，得到一个位置变动的视频帧序列，记作{F_i|i=1,2,...,N}，对应的位置点序列记为{P_i|i=1,2,...,N}，对应的GPS序列记为{Lo_i,La_i|i=1,2,...,N}，Lo_i和La_i分别是经度和纬度坐标。

2.标识区域畸变校正

在机器视觉、图像测量、摄影测量、三维重建等应用中，为校正镜头畸变、确定物理尺寸和像素间的换算关系、以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立相机成像的几何模型。为得到交通标识的无畸变图像，首先需要进行摄像机标定，求解其变换矩阵，从而实现标识区域的畸变校正。相机标定主要分为传统相机标定法、主动视觉相机标定法、相机自标定法等。不同的标定方法各有利弊，实际应用通常根据具体情况和标定精度要求选择。这里，考虑操作方便性和稳定性，采用传统相机标定法进行摄像机的标定，即通过拍摄带有固定间距图案阵列平板（标定模板选用国际象棋盘图案）、经过标定算法的计算，可以得出相机的几何模型，从而得到高精度的测量和重建结果。根据实际情况需求，可以选择使用其他的摄像机标定方法。摄像机标定完成后，则可根据标定得到的变换矩阵对视频帧进行畸变校正。

3.交通标识精确定位

在交通标识检测定位结果上，为了精确计算交通标识在图像中的大小，需要进一步进行精确定位，即尽量精确的确定交通标识的外接四变形。无遮挡情况下，圆形标识成像为椭圆形，三角形标识成像也是三角形，矩形标识成像为平行四边形。为图像操作方便，定位到外接交通标识的矩形窗即可。对于一个交通标识，在摄像机视角变化不大的情况下，其外接矩形的大小比例与交通标识的大小比例基本相同。

一般的交通标识都包含两种以上的颜色，两种颜色的对比度较大，其中一种较为醒目，以得到人的注意。因此，使用交通标识的颜色这一重要特征进行精确定位。由于户外拍摄受到天气、光照、遮挡、拍摄距离等问题的影响很大，同一个交通标识牌会呈现出不同的颜色，同一类的交通标识牌颜色也可能不同，这就导致交通标识在视频中的颜色变化非常大，图3给出了一些示例。简单的设定阈值判断颜色的方法不适用，需要提取鲁棒的颜色特征。

把交通标识中较为醒目的颜色定义为主导颜色，例如红色、黄色、蓝色、绿色等。可以不考虑主导颜色以外的边框的颜色，把主导颜色的外边缘作为交通标识的边缘。因此，交通标识的精确定位问题就转化为找到交通标识主导颜色的问题。对于不同的主导颜色，分别进行样本收集、标记，组成训练样本库，样本库中应尽可能多的包含不同环境下的交通标识。训练数据库由在多种环境下实际拍摄的交通标识视频帧组成，每一帧中都标记出交通标识的主导颜色像素，图4给出了一个例子。

仅在一个颜色空间内，以RGB颜色空间为例，用一个字节表示一个颜色通道，就有16,800,000种颜色。在这么多种颜色的空间内，很难判断两个对象的颜色是否一样。使用单个颜色空间，非常容易受到光照变化等因素的影响。因此，提出使用多个颜色空间和主导颜色方法进行鲁棒的颜色特征抽取。一幅彩色图像中的像素在RGB、HSI和lαβ三个颜色空间的值串联起来作为颜色特征，即9维特征向量[r,g,b,h,s,i,l,α,β]其中r、g、b、h、s、i、l、α、β是分别把每个通道采用最大-最小值法归一化到相同的数量级得到的。RGB颜色空间向HIS颜色空间的转换是由一个基于笛卡尔直角坐标系的单位立方体向基于圆柱极坐标的双锥体的转换。H是色度、S是饱和度、I是亮度，W表示颜色空间中颜色向量与红轴的夹角。从RGB颜色空间到HSI颜色空间的转换公式如下：

$\left\{\begin{array}{c}W,\mathrm{ifB}\≤G\\ 2\mathrm{\π}-W,\mathrm{ifB}>G\end{array}\right.$

$W=\arccos \frac{2R-G-B}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}}$

$S=-\frac{3*\min (R,G,B)}{R+G+B}$

$I=\frac{R+G+B}{3}$

从RGB颜色空间到lαβ颜色空间的转换公式如下：

$\left(\begin{array}{c}L\\ M\\ S\end{array}\right)=\left(\begin{array}{ccc}0.3811& 0.5783& 0.0402\\ 0.0606& 0.3804& 0.0453\\ 0.0241& 0.1228& 0.8444\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)$

$\left(\begin{array}{c}l\\ \mathrm{\α}\\ \mathrm{\β}\end{array}\right)=\left(\begin{array}{ccc}\frac{1}{\sqrt{3}}& 0& 0\\ 0& \frac{1}{\sqrt{3}}& 0\\ 0& 0& \frac{1}{\sqrt{3}}\end{array}\right)\left(\begin{array}{ccc}1& 1& 1\\ 1& 1& -2\\ 1& -1& 0\end{array}\right)\left(\begin{array}{c}\log L\\ \log M\\ \log S\end{array}\right)$

lαβ颜色空间是圆锥颜色空间LMS的一种变换，因此先把RGB颜色空间先转换为LMS颜色空间，再转换为lαβ颜色空间。其中，LMS分别表示（人眼中三种接收器敏感的）长、中、短三种波长，l是无色通道，α和β分别是“黄-蓝”和“红-绿”对立颜色通道。

训练阶段主要是实现主导颜色词典的学习，并确定用于判断是否为主导颜色的阈值Cth。实际使用中对每一种交通标识分别处理，分别得到一个主导颜色词典，这里对一种交通标识的处理进行说明。主导颜色词典学习步骤：首先，对训练视频帧中的主导颜色的像素提取鲁棒的颜色特征，组成主导颜色特征池。然后，采用K-means方法，聚类得到C个聚类中心，这C歌聚类中心集合组成主导颜色词典，用于代表一种主导颜色，C的取值可以是1000、2000等。主导颜色判断阈值Cth学习阶段：对训练频帧中的主导颜色像素提取鲁棒的颜色特征，寻找主导颜色词典中的与之最相似的k个单词（欧式距离最近），计算提取的颜色特征与这k个单词的距离之和，记为sum。则得一系列的sum值，计算sum值的分布累计直方图，选取90%（这一阈值可以根据实际视频质量和人工标记精度调整）的像素小于的sum值作为阈值C_th。这样做是认为90%的人工标记主导颜色像素是准确的，因为人工标记很难做到完全精确，特别是对主导颜色与非主导颜色交错存在的区域、存在噪声的区域。

使用阶段，对于待精确定位交通标识，已经定位到一个粗略的位置，该位置覆盖了交通标识目标大部分区域，其结果可能比目标大也可能比目标小，定位以矩形的左上角图上坐标和矩形的长宽（占多少个像素）给定。要实现精确定位，主要包含以下几个步骤：（1）选定精确定位中考虑的窗口大小，即根据粗定位的坐标位置和大小确定一个稍大的包含定位矩形的窗口。设粗定位结果为(x,y,dx,dy)，其中x,y分别为矩形左上角竖直方向和水平方向图上坐标，dx,dy分别为矩形的竖直方向高和水平方向长。则精确定位的搜索窗口定为（x-dx/b,y-dy/b,dx+2dx/b,dy+2dy/b），其中b为提前设定的值，控制矩形扩大的比例，例如选b=3。当搜索矩形的边界超出视频帧边界时，按照视频帧边界的部分作为矩形边界。（2）在搜索窗口内，对每一个像素提取鲁棒的颜色特征，寻找主导颜色词典中的与之最相似的k个单词（欧式距离最近），计算提取的颜色特征与这k个单词的距离之和，记为sum。如果sum小于阈值C_th（训练阶段学习确定），该像素的颜色是交通标识的主导颜色，表示为1；否则，该像素的颜色不是交通标识的主导颜色，表示为0。这样，则得到一个与搜索框同大小的模板，模板中1表示搜索框中像素为主导颜色。对该模板进行形态学闭处理和开处理，目的在于去除离散于整体之外的奇异点。（3）进一步优化定位，目的在于去除一些粗定位结果仅包含了交通标识的较少部分的情况（实际实现中，该种情况发生的概率较高）。如果搜索窗内th%（阈值th需要根据不同的形状的交通标识设定）以上的像素属于主导颜色时，可能的原因有两种：一是搜索窗口精确落在一个矩形标志的外边缘上，二是搜索窗口仅包含了一个标志的部分区域。因此，提出扩大搜索窗口为初始的2倍大，重复上面的步骤（2）、（3）、（4），直到满足搜索窗内主导颜色比例低于阈值，向下进行。（4）选取模板中为1的区域的上、下、左、右方向的最外侧点，分别记为A、B、C、D，通过A点和C点分别作两条水平直线，通过B点和D点分别作两条垂直直线，这四条直线组成的区域即为交通标识的外接四边形。

4.交通标识区域的大小计算

精确定位到图像中的交通标识后，即可根据确定的外接矩形进行大小估计，计算不同帧的大小比例。在进行距离解算时需要知道交通标识成像的面积比例或者竖直方向长度比例，为了更精确估算成像目标的大小，在计算时，同时计算交通标识的面积比例、竖直方向长度比例以及水平方向长度比例，得到面积比例序列、竖直方向长度比例序列、水平方向比例序列。根据两帧F_i和F_i+k之间水平与垂直方向的相对变化，可以估算两帧之间的目标相对旋转角度，根据该旋转角度对相应的面积进行校正，使其中一帧中的目标面积投影到另一帧方向的平面中，再根据校正后的两帧目标的面积比例估算目标尺度变化比例r_ik（尺度比例是面积比例的平方根），其中i，k表示基于第i和第i+k帧计算。

5.交通标识视距估算

两个视频帧F_i和F_i+k对应的GPS坐标位置分别为P_i:(Lo_i,La_i)和P_i+k:(Lo_i+k,La_i+k)，计算两帧图像成像时的位移。通常，根据地球上两个点的经纬度坐标计算它们之间的距离需要计算球面距离，同时需要考虑高度因素，计算较为复杂。这里，计算的是一个很小的范围的距离，可以近似看作为一个平面，不需要计算球面距离，高度因素影响也可忽略，因此可使用欧式距离近似计算。P_i和P_i+k之间的距离记为根据公式（5）或者（7）可计算u_ik（即式中的u（i+k）），其中i，k表示基于第i和第i+k帧计算。

6.基于GPS轨迹的交通标识位置估算

经过上一步计算，得到包含交通标识的每一个视频帧拍摄位置距离交通标识所在位置的距离u，下一步是根据u估算交通标识的位置。对于摄像机采集到的交通标识在视频中的消失分为两种情况：一是车不经过交通标志所在位置的路，而是发生了转弯，标识从侧面消失，即交通标识不在车的行进轨迹上；二是车经过交通标志所在位置的路，车靠近标识一定程度时，标识向上方或者后方消失，即交通标识在车的行进轨迹上。

对于交通标识不在车的行进轨迹上的情况，GPS轨迹不能直接用于标识位置的确定。使用含有交通标识的视频帧序列的前一部分对应的GPS轨迹点估计交通标志的位置，例如前三分之一帧的位置等。根据{Lo_i,La_i|i=1,2,...,N}（N是用于估计位置的点数）拟合出一条直线（见图5中水平虚线），该直线是估计出的行进路线，记为L。交通标识的位置与观测位置的连线与L的夹角序列为{θ_i|i=1,2,...,N}。如果θ_i序列发生突变（abs(θ_i+k-θ_i)>th，th为设定的阈值），说明车行进中发生了转弯、掉头等，交通标识很可能不在车的行进轨迹上，而是在估计出的L上前方的某一点，可以通过几何计算的方法求出交通标识位置。如图5所示，不难得出关系：

$\left\{\begin{array}{c}{u}_1\cos {\mathrm{\θ}}_1-u_2\cos {\mathrm{\θ}}_2=d\left(\mathrm{1,2}\right)\\ u_1\sin {\mathrm{\θ}}_1=u_2\sin {\mathrm{\θ}}_2\end{array}\right.$

u已经估算出，d可计算得到，求解上面方程组，得到θ，则可得出交通标识的位置。

如果θ_i序列没有发生突变，说明车行进中没有转弯、掉头等，交通标识在车的行进轨迹上。此时，可根据车行进的GPS轨迹和u估算出交通标识的位置。根据成像位置、成像位置与交通标识的距离生成一个圆，一般该圆与轨迹曲线相交于两点，其中前向交点即为交通标识的地理位置点如图6所示。

根据不同情况，采用上面两种方法可估算出交通标识的位置，采用GPS坐标点相同的经度纬度表示，记为{SP_ik:(Lo_ik,La_ik)|i=1,2,...,N;k=1,2,...,K}。SP_ik是采用第i和i+k帧计算出的交通标识位置，K取值较小，例如K=5，n是用于交通标识估计的视频帧数。

7.多次观测结果加权

实际上，交通标识的定位、GPS坐标点、距离计算都存在一定的误差，根据不同视频帧计算估计的位置会有一定的偏差，因此，需要根据不同的视频帧计算，最后统计预测分布情况确定交通标识的位置。

对连续观察到的交通标识做相同的位置估算，最后对所有估算的位置进行综合分析。首先，根据每个视频帧计算得到的交通标识位置，去除偏离较大的点，即奇异点的去除。然后，根据交通标识在视频中的大小及位置变化，判断摄像机视角是否满足方法假设，计算当前帧权重w_ik，

w_ik=1-abs(s_i/s_i+k-h_i/h_i+k)

$w_i=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_{\mathrm{ik}}.$

最后，加权计算交通标识的地理位置（经度、纬度坐标），

${\mathrm{SP}}_i=\frac{\underset{k=1}{\overset{K}{\mathrm{\Σ}}}(w_{\mathrm{ik}}\·{\mathrm{SP}}_{\mathrm{ik}})}{\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_{\mathrm{ik}}}$

$\mathrm{SP}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(w_i\·{\mathrm{SP}}_i)}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i}$

本发明未详细阐述部分属于本领域公知技术。

显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无法对所有的实施方式予以穷举。凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (4)

1.一种基于车载视频的交通标识定位方法，其特征在于实现步骤如下：

第一步，图像帧获取位置确定

去除初始视频帧序列中具有相同GPS坐标位置的视频帧，得到一个位置变动的视频帧序列{F_i|i＝1,2,...,N}，对应的位置点序列记为{P_i|i＝1,2,...,N}，对应的GPS序列记为{Lo_i,La_i|i＝1,2,...,N}，Lo_i和La_i分别是经度和纬度坐标；设汽车在两个记录GPS坐标位置之间的行进路线为直线，根据间隔的帧数平均分配距离，插值计算出每一帧对应的GPS坐标；N是用于交通标识估计的视频帧数；

第二步，交通标识区域畸变校正

进行摄像机的标定，得出相机的几何模型即求解其变换矩阵；再根据标定得到的变换矩阵对第一步得到的视频帧序列进行畸变校正，得到校正视频帧序列；

第三步，交通标识精确定位

对第二步中得到的校正视频帧序列，进行标识的检测定位，得到一个粗略的位置，再采用交通标识精确定位方法，确定交通标识的外接四边形，得到精确定位到图像中的交通标识；

第四步，标识区域大小计算

精确定位到图像中的交通标识后，根据确定的外接四边形对目标进行大小估计；再根据两帧F_i和F_i+k中目标的面积比例，估算目标尺度变化比例r_ik，其中i，k表示基于第i和第i+k帧计算；

第五步，交通标识视距估算

设两个视频帧F_i和F_i+k对应的GPS坐标位置分别为P_i:(Lo_i,La_i)和P_i+k:(Lo_i+k,La_i+k)，计算P_i和P_i+k之间的距离记为d(i,i+k)；利用d(i,i+k)和上一步的结果r_ik，并根据相机成像原理，计算出拍摄位置距交通标识所在位置的距离即视距u_ik；

第六步，基于GPS轨迹的交通标识的位置估算

根据车辆行进轨迹与交通标识的位置关系并利用视距u_ik估算交通标识的位置SP_ik；

第七步，多次观测结果加权

对连续观察到的交通标识进行以上的位置估算，最后对所有估算的位置SP_ik进行加权计算，得到交通标识的地理位置SP；

所述第三步中交通标识精确定位方法实现如下：

(1)在学习阶段，提出融合多种颜色通道的、鲁棒的底层颜色特征；对于每一种颜色的交通标识，分别定义其主导颜色；通过学习，得到该标识主导颜色特征的表达集合即主导颜色词典，并获得其判定阈值Cth；

(2)判断阶段，针对得到的标识的粗略位置，抽取图像像素的底层颜色特征，寻找其在主导颜色特征集合中的k近邻的距离之和，当距离和小于一个阈值Cth则认为像素具有交通标识的主导颜色；

(3)以上判定结果得到一个与搜索框同大小的模板，模板中1表示搜索框中像素为主导颜色，0表示其他颜色，去除其中离散的像素点，再计算出交通标识的外接四边形，得到精确定位到图像中的交通标识。

2.根据权利要求1所述的基于车载视频的交通标识定位方法，其特征在于：所述第五步中交通标识视距估算过程是：

(1)设两个视频帧F_i和F_i+k对应的GPS坐标位置分别为P_i:(Lo_i,La_i)和P_i+k:(Lo_i+k,La_i+k)，计算P_i和P_i+k之间的欧式距离为d(i,i+k)，k是大于等于1的整数；

(2)在采用的拍摄条件下，相机成像时象距不变，第i次观测交通标识时成像大小为s(i)，第i+k次观测交通标识时距离为u(i+k)，成像大小为s(i+k)，设其中i，k表示基于第i和第i+k帧计算，根据相机成像原理，有如下关系：

$u(i+k)=\frac{d(i,i+k)r_{ik}}{r_{ik}-1};$

(3)利用第四步的结果r_ik和以上结果d(i,i+k)，根据以上关系式，计算出拍摄位置距交通标识所在位置的距离即视距u_ik，即u(i+k)。

3.根据权利要求1所述的基于车载视频的交通标识定位方法，其特征在于：所述第六步中基于GPS轨迹的交通标识的位置估算具体过程是：

(1)对于交通标识不在车的行进轨迹上的情况，根据含有交通标识的视频帧序列的前一部分对应的GPS序列{Lo_i,La_i|i＝1,2,...,N}，拟合出一条直线，该直线是估计出的行进路线，记为L，交通标识的位置与观测位置的连线与L的夹角序列为{θ_i|i＝1,2,...,N}，通过几何计算的方法求出交通标识位置，得出关系：

$\left\{\begin{array}{c}{u}_{1}cos{\mathrm{\θ}}_1-u_{2}cos{\mathrm{\θ}}_2=d(1,2)\\ u_1\sin {\mathrm{\θ}}_1=u_{2}sin{\mathrm{\θ}}_2\end{array}\right.$

u₁和u₂为第五步在点1和点2获得的两个视距值u_1k和u_2k，d计算得到，求解上面方程组，得到θ，则计算出交通标识的位置SP_ik；SP_ik记为{SP_ik:(Lo_ik,La_ik)|i＝1,2,...,N；k＝1,2,...,K}，SP_ik是指采用第i和i+k帧计算出的交通标识位置，N是用于交通标识估计的视频帧数，K是计算时选择的一个最大帧间距，且K<N；

(2)对于交通标识在车的行进轨迹上的情况，根据车行进的GPS轨迹和第五步获得的视距值u_ik计算出交通标识的位置SP_ik。

4.根据权利要求1所述的基于车载视频的交通标识定位方法，其特征在于：所述第七步中多次观测计算结果中的加权过程是：

(1)对连续观察到的交通标识做以上位置估算，得到其估算位置SP_ik的序列；

(2)对每个视频帧计算得到的交通标识位置SP_ik，去除偏离较大的点，即奇异点的去除；

(3)计算当前帧权重w_ik，其中s_i和s_i+k分别表示第i和i+k次观测时交通标识的大小，h_i和h_i+k分别表示第i和i+k次观测时交通标识的竖直方向的高度，权重定义如下：

w_ik＝1-abs(s_i/s_i+k-h_i/h_i+k)

$w_i=\underset{k=1}{\overset{K}{\&Sigma;}}{w}_{ik}$

(4)最后，加权计算交通标识的地理位置SP，包括经度、纬度坐标：

${\mathrm{SP}}_i=\frac{\underset{k=1}{\overset{K}{\&Sigma;}}(w_{ik}\&CenterDot;{\mathrm{SP}}_{ik})}{\underset{k=1}{\overset{K}{\&Sigma;}}{w}_{ik}}$

$SP=\frac{\underset{i=1}{\overset{N}{\&Sigma;}}(w_i\&CenterDot;{\mathrm{SP}}_i)}{\underset{i=1}{\overset{N}{\&Sigma;}}{w}_i}$

k是大于等于1的整数。