发明内容:
为了克服现有的交通信息采集技术中的不足,本发明通过应用一台架设在高建筑物的摄像机对道路进行摄像得到道路运行状态视频,然后基于视频图像处理技术的对图像进行处理从而采集全面准确连续的交通信息参数。该系统不仅可以全面的采集断面交通信息,同时可全面的采集路段上任意时间状态下全面的交通信息参数。
本发明专利所采用的技术方案如下:
1.用固定摄像的方法得到车辆路段运行的视频信息
摄像的选择一般在高的建筑物上正对道路进行摄像拍摄画面如图1所示模型的建立及参数要求
a)摄像机的要求:拍摄的摄像机一般要求是平面镜头,本研究发现分辨率要求在240*320及以上但是分辨率并不是越高越好,分辨率越高运算量越大,所以本文建议分辨率的选择在240×320和480×640之间。
b)本文对于车辆的跟踪识别研究发现最小帧速率应该选择要大于等于10帧每秒。
c)固定拍摄的区域图像1像素点所代表的实际距离要大于等于0.1m。
d)摄像机用三角架进行固定必须稳固,减少风对摄像机的晃动的影响。
e)纵向角度和横向角度的要求:纵向角度α≥11°,横向角β≥67°如图2
2.通过背景更新模型对道路背景进行建模,得到初始的图像数据。
采集的视频通过opencv对道路背景进行建模应用背景更新模型得到原始图像得到原始图像如图3、背景图像如图4和前景图像如图5。从而得到初始的图像数据。
3.连通区域集合分割与合并的方法,其过程在于对车辆阴影联合模连通区域应用一种结合它的形态特征和像素点灰度特征的方法,即先对车辆阴影联合轮廓简化成关键点(六个或七个)然后对这个多边形进行简化分割初次判断车辆信息;对第一次判断不是车辆信息的部分进行带状滤波处理进行二次判断,对二次判断带状滤波后仍有车辆连通信息的部分进行判断连通区域是否进行加法运算得到完整的车辆信息。
具体操作如下:
(1)提出本模型车辆阴影的八种实际情况如图6,对前景图像中连通区域的轮廓用Douglas-Peucker法(道格拉斯——普克法)进行轮廓简化然后按照一定规则选取轮廓六点模型和七点模型从而得到如图7,其中红线以外的部分是车辆阴影部分。
(2)我们利用图5中偏右部分的大客车及其阴影部分的实际情况进行举例说明,它所对应的模型是图7(c)的情况。首先用Douglas-Peucker法对大客车及其阴影轮廓进行简化得到图8,在图8简化的轮廓中去找对于模型对应模型图7(c)的六个顶点V=[V1,V2,...,V6]。首先先找关键点,左下角的点V1,右下角的点V2,右上角V4,左上角V5,用式子表达如(1)——(4):
其中k为一可调参数可根据实际情况进行调节例如k=2,得到如图9,V3为V2和V4之间的一个点,V6为V1和V5之间的一个点,使得V=[V1,V2,...,V6]这六个顶点所围成的面积和图8所有顶点所围成的面积相差最小。从而确定V=[V1,V2,...,V6]得到如图10。同理可以得到七个顶点的简化方法。选择简化成六边形还是简化成七边形取决于实际的阴影情况,而这一情况可以根据一天当中各个时间段内阴影的情况而定总共八种影子模型,根据实际情况可设定各个时段为哪种模型,从而使程序根据时间信息自动处理。
(3)过V3像素点做向量V3V7=aV2V1(a为正常数)即V7像素点为向量V3V7与V1V6向量的交点连同区域PV是图10图像数据矩阵像素点的集合,PV1={x|x∈连通六边形V1V2V3V7};PV2={x|x∈连通六边形V3V4V5V7}。
(4)将集合PV2对应映射到图3相应位置的灰度像素点中相应位置定义为PV2′,对PV2′部分利用灰度值进行带状滤波即当b<PV2′(i,j)<c时PV2′(i,j)=0;否则PV2′(i,j)=1。令PV2=PV2′。b,c为两个可调参数,可根据实际情况进行调节例如b=30,c=200,这样选择的原因在于,车辆阴影部分的灰度值t一般在30<t<200范围内,故滤掉的绝大部分是影子的像素点。
(5)PV=PV1+PV2,对连通块PV部分的各个连通块进行外接矩形操作。大客车部分上部如果只有一个连通区域则操作结束,但对于图5中大客车上面部分进行操作却得到了图11的效果一辆车被分成了两个连通区域。出现图11这种情况则要进行进一步操作。
(6)如图12所示B1与B2的主要有以上四种位置关系,B1连通块在像素点坐标系中的形心坐标为O1(x1,y1),四个顶点坐标A,B,C,D分别为:(x11,y11),(x12,y12),(x13,y13),(x14,y14);B2连通块的像素点坐标系中的形心坐标O2(x2,y2),四个顶点坐标为E,F,G,K分别为:(x21,y21),(x22,y22),(x23,y23),(x24,y24)。θ为O1O2向量与x向量的夹角。B1和B2的位置关系可以通过θ角的大小分为4个情况,如图13。
L代表连通块B1和B2几何形心的距离。图13中a,b两种情况连通块之间的距离大于l
1则两个连通块不进行合并运算说明两个连通块是属于两辆不同的车辆的部分。图13中c,d两种情况连通块之间的距离大于l
2则两个连通块不进行合并运算说明两个连通块是属于两辆不同的车辆的部分。
(i)θ角度属于a那种情况且L≤l
1时(l
1一般取值为车辆像素长度的一半),定义连通块加法运算
其中WAFGD为以A,F,G,D为边界的最小外接矩形。
(ii)θ角度属于b那种情况且L≤l
1时(l
1一般取值为车辆像素长度的一半),
其中EBCK为以E,B,C,K为边界的最小外接矩形。
(iii)θ角度属于c那种情况且L≤l
2时(l
2一般取值为车辆像素宽度的一半),
其中ABGK为以A,B,G,K为边界的最小外接矩形。
(iiii)θ角度属于d那种情况且L≤l
2时(l
2一般取值为车辆像素宽度的一半),
其中EFCD为以E,F,C,D为边界的最小外接矩形。
(iiiii)如果PV2中连通区块多于两个,就按连通块的大小进行排列,根据位置关系判断连通块哪些是属于一辆车的哪些属于不通车辆的然后按照连通块的大小进行连通加法运算。如果想减少计算的复杂度可以把比较小的连通块按像素点数目进行过滤,设定阈值把小的连通区域过滤掉。
图11经过(6)步处理得到图14。
4.在上一步对图像进行处理的基础上针对0-1图像数据提出一种位置追踪的算法来追踪识别不同的车辆的运行信息。
(1)首先标定车道如图15所示图15(a)是所拍摄的路面情况,图15(b)是标定的1车道,图15(c)是标定的2车道,图15(d)是标定3道。
(2)我们以各个车道为研究对象,对车道上车辆的信息进行研究。如图16所示标定的车道上,图16(a)和图16(b)是连续两帧车辆移动的信息,车辆是由左向右移动的。图16(a)中L(l1,l2)是图中车辆左边界的中点坐标,M(m1,m2)是图中车辆的几何中心坐标,N(n1,n2)是图中车辆右边界的中点坐标。图16(b)中L(l1′,l2′)是图中车辆左边界的中点坐标,M(m1′,m2′)是图中车辆右边界的中点坐标,N(n1′,n2′) 是图中车辆右边界的中点坐标。车的几何中心留在哪个车道车辆就属于哪个车道。
(3)判断图16(a)里的像素横坐标l1>1时开始记录车辆信息包括面积s、长度1、宽度q、LMN三点的坐标的信息,图16(a)M点的像素纵坐标m1向前k个像素点距离区域内如果对应的图16(b)中的m1′满足m1′>=m1且m1′<=m1+k,则认为图16(a)和图16(b)中的车是同一辆车的信息,其中k值的确定举例进行说明比如标定的实际一像素点代表的距离为0.1m而k取15时代表一辆车在一帧的时间里移动了1.5m,而一秒钟如果是25帧的话则车辆的速度就是135km每小时,而在城市道路中车辆达不到这个速度因此k为15符合城市道路的标准,而对于高速公路来说,k的取值要适当的大一些比如20。
(4)如果在m1′>=m1且m1′<=m1+k范围内有两辆车的信息则按照他们之间的相似程度进行判断,从面积,长度,宽度这些指标进行判断,相似度函数γ=1-0.2×s-0.4×l-0.4×q进行判断(相似度函数中的系数是通过大量的统计得来的),图16(a)中车辆和图16(b)中相似度最高的为同一辆车。
(5)追踪搜索直到l1<352(352为摄像机最大分辨率282×352最大的横坐标)。表1给出了追踪一车辆的完整的信息。
5.应用经过修正的窗口权重回归理论对上一步追踪出来的车辆信息建模计算得到车辆在路段上连续的速度与加速度信息,从而得出每辆车在各个车道上完整的时间-空间坐标轨迹。
移动窗口权重回归理论的介绍:
令x(t),t=1,...,T表示一辆车随时间序列t变化的位移;用t0周围临近的点估算去求的t0位置的时间位移轨迹;令n表示用于求估算t0位置的时间位移的周围点的个数即窗口的大小。
在t0附近的车辆轨迹的函数设定为一个关于时间的函数:
(·)-----以t
0为中心n个点的窗口局部多项式拟合函数在t时刻的位移。
-------在t
0周围的多项式拟合函数的参数向量
-------服从正态分布的误差项。
Z(t)-----在观测时间t时刻的一组相对独立的参数变量,即时间自变量的多项式形式,
Z(t)=[1 t t2 t3...tM]。
M----拟合多项式的最高次数。
提出一种最小二乘模型算法去求的t
0点拟合多项式
当中的
向量
其中
----拟合以t
0为中心的轨迹函数所需的N维观测位置向量。
------一个N×N的对角矩阵,矩阵中的元素代表各个位移观测值用于局部拟合所占的权重。
总而言之局部回归的应用需要选取三个基础元素:
(1)通过选择 函数形式来定义函数,该形式决定局部拟合曲线的形状。
(2)窗口尺寸,决定的用于拟合每一测量值的邻近点数。
(3)在局部回归窗口内为每个点分配权重。
矩阵中对角位置上的元素代表t0点周围的各个点的权重,计算的方法是利用那个三次立方权重函数
w(t0,t)=(1-u(t0,t)3)3
w(t
0,t)------代表在计算拟合t
0这点的拟合多项式
时t所分配的权重。这个取决于标准化的时间差。
u(t0,t)------代表t0与t的时间差的归一化测量。
d------表示n个点的窗口中离t0最远的那个时间点t的距离。
举例说明:在t0周围各有五个点的各个点所占权重(窗口为n=11个点)。如图16所示,11个点所占权重分别为:0.0747761194622263,0.348473301834070,0.669921875000000,0.892953309962912,0.986175312293604,1,0.986175312293604,0.892953309962912。0.669921875000000,0.348473301834070,0.0747761194622264。
根据M和n的不同取值修正移动窗口权重回归模型,窗口的大小n与回归次数的大小M选择会影响回归的多项式函数的精确度,因此需要对最小二乘模型即(1)式子进行修正。通过应用最小二乘模型移动窗口权重回归模型算法得到的不同窗口不同回归次数统计得到算法得到的速度
和观测的单点数据得到的像素值
发现
我们根据速度的差值对
进行修正得到
推导过程如下:
从而得到修正的移动窗口权重回归模型:
令
整理后得到
即
故
其中
从而求得
从而得到位移函数
得到得到t
0点及其周围点的连续,通过位移函数的一阶导数得到t
0及其周围连续时间点的速度,通过位移函数的一阶导数得到t
0及其周围连续时间点的加速度速度。举例说明比如时刻t
1=1s,t
2=2s,t
3=3s,t
4=4s,t
5=5s,t
6=6s,t
7=7s,t
8=8s它们对应的位移分别为s
1=2m,s
2=4m,s
3=6m,s
4=8m,s
5=10m,s
6=12m,s
7=14m,s
8=16m,我们用n=7的窗口进行移动窗口权重回归,我们算t
4点的
就是用t
1,t
2,t
3,t
4,t
5,t
6,t
7这七个时刻的时间位移信息去算
用
去求的
得到
也就得到时间区间[3.5s,4.5s]这个时间段内的车辆的连续时间-轨迹信息,从而得到这个时间段的车辆的速度,加速度,位移信息。通过算t
5点的
就是用t
2,t
3,t
4,t
5,t
6,t
7,t
8这七个时刻的时间-位移信息去算
得到(4.5s,5.5s]这个时间段内的车辆的连续时间-轨迹信息,从而得到这个时间段的车辆的速度,加速度,位移信息。以此类推就可以移动计算得到连续时段内车辆的瞬时交通信息参数。
从而位置追踪算法所得到的车辆的离散的时间-位移信息经过修正的移动窗口权重回归算法得到连续时间的时间-位移信息。从而得到到连续全面的交通信息参数。
表2为表1数据进行7个点的窗口六次回归运算得到的单个车辆的信息。
6.最终,采集到到所拍摄路段上各个车辆的单独信息通过这个信息可以全面准确的交通信息(各个车辆时间-空间轨迹、瞬时车辆速度、瞬时车辆加速度、车型、时间占有率、车流量、车流向、车间距、通过时间、交通流密度)。