CN100419813C - 基于全方位视觉传感器的道路监控装置 - Google Patents

Abstract

一种基于全方位视觉传感器的道路监控装置，包括微处理器、用于监视道路情况的监控传感器，监控传感器为全方位视觉传感器，通过视觉传感器对道路中行驶的车辆进行监视，将摄取的连续全方位图像输入计算机，通过图像预处理、色彩空间转化、车辆检测、车速检测和背景刷新等算法达到对道路上的车速进行测量和车流量的统计。全方位视觉传感器能把一个半球视野中的信息压缩成一幅图像，信息量更大；获取一个场景图像时，在场景中的安放位置更加自由；监视环境时不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。本发明提供一种安装位置自由、算法简单、实时性强的基于全方位视觉传感器的道路监控装置。

Description

基于全方位视觉传感器的道路监控装置

(一)技术领域

本发明涉及一种基于全方位视觉传感器的道路监控装置。

(二)背景技术

车辆超速行驶是引发交通事故的重要因素。传统的超速检测是由执法人员在公路上用测速仪检测过往车辆。采用这种工作方式的缺点是占用大量警力、执法人员容易疲劳、不能全天候工作、无法提供有力证据。以牌照识别技术为基础的超速违章处罚系统可以自动地检测超速车辆，并在道路出口或关卡对超速车辆进行布控、拦截。这种方式可以全天候工作，能及时提供车辆超速时间、地点、照片、车速等数据作为证据。

目前检测超速车辆的技术主要有下面三个手段：一、移动式测速方法；二、固定式测速方法；三、两个站点间距离时间平均测速方法。

一、移动式测速方法，移动式测速方法是将测速仪放在警车内，警车在路上巡逻时测速仪对准被测车辆进行测速，根据车辆在高速公路行驶速度的有关规定，在系统预先设定各种车型正常的行驶速度(考虑到误差问题可适当放松限速范围)，当测量到车辆超速时抓拍系统就自动抓拍或录像。这种方式的优点主要有：1、违章超速行驶的车辆在高速公路出口交费时可当场被处罚，提高了公安部门的执法效率。2、由于有图片和数字证据，提高了执法的公平性和公证性。但同时也存在缺点：1、由于在测速时牵涉到警车和被测车辆的相对速度问题，在技术处理上相对繁琐。2、由于司机受教育的程度不同，文化素质参差不齐，部分司机见到前方有警车巡逻就会减速驾驶，但没有警车巡逻的路段又会违章超速，不能从根本上制止司机超速驾驶。3、不能做到全天候全路段测速。4、上路测速增加了公安部门的警力和物力。

二、固定式测速方法，固定式测速方法是在高速公路被监测点的中央分隔带或路旁安装视频摄像机，路面埋设两组地感线圈，线圈之间保持一定的距离，当车辆通过两组线圈的距离时系统会自动计时，然后根据公式速度＝距离/时间计算出车辆通过两组线圈时的行驶速度，当然两组地感线圈的距离是可知的，当检测到的车辆速度超过预先设定的行驶速度时(各种车型速度的设置与移动式的一样)，摄像机就自动抓拍。然后把超速行驶车辆的信息通过传输手段送到计算机终端进行处理和打印。它的优点：1、由于系统固定安装在路上，节省了上路巡逻的人力和物力。2、同样有抓拍图片作为证据，提高了执法的公平性和公正性。3、可进行全天候测速。主要缺点是当地感线圈故障时，需要封道挖开路面维修，增加了维修人员的危险性，目前由于超载运输情况比较严重，每隔一年就要对地感线圈进行维护，这样不但增加了维护成本，同时给已经非常繁忙道路交通情况增加了压力，造成的维护成本非常之大。

三、两个站点间距离时间平均测速方法，与目前的收费系统连动，利用现有的抓拍图片和各车辆出入口的信息来测量车辆是否超速，实现信息共享，资源综合利用。测速方法如下：建立一个测量车辆超速系统，把数据处理室服务器内每辆车的入口站名、入口时间、出口站名、出口时间、车辆图片(车牌)、车型等信息连接到测速系统，由于高速公路是全封闭管理，每个出入口之间的距离是可知的，根据公式速度＝距离/时间(时间为车辆在高速公路的出口时间与入口时间之差)，测速系统可自动计算出每辆车在高速公路行驶期间的平均速度，当该速度超过系统预先设定的该车型正常行驶速度时，则说明该车在高速公路行驶期间有超速现象。例如某小车从甲站进入高速公路，在乙站出口，按系统的设定小车从甲站到乙站的最少行驶时间应该是2小时，但该小车在甲乙站之间行驶只用了1.5小时，根据公式速度＝距离/时间计算，该小车是超速行驶。测速系统把所有超速车辆的资料保存到指定的计算机终端，没有超速的车辆资料在系统的服务器中暂时保存一定时间后可自动清除，暂时保存的时间可根据管理上的需要和服务器的容量来定(比如一个星期或更长时间)。

近年来国外Michalopoulos P G等人研究出了一种新的检测方法——视频检测，应用到交通流量的检测和交通控制上，获得了很大的成功。它是一种基于视频图像的检测技术，是一种结合数字视频图像和人工模式识别的技术。与传统的检测器相比，视频检测器具有明显的优势，主要体现在：

(1)具有完备的检测手段，能够检测出绝大多数的交通流数据，其中包括交通流量、车辆速度以及占有率等，还能够实现交通事故的自动检测。

(2)具有大区域检测的特点，有利于交通的管理和控制。

(3)使用安装无需接触公路实体，且维护方便。

还存在的缺点：(1)、视频摄像头的安装精度要求高；(2)、检测和跟踪运动物体过程复杂、算法复杂；(3)、因为视频处理的速度较慢，实时性差。

(三)发明内容

为了克服已有的道路监控视频装置安装精度要求高、算法复杂、实时性差的不足，本发明提供一种安装位置自由、算法简单、实时性强的基于全方位视觉传感器的道路监控装置。

本发明解决其技术问题所采用的技术方案是：

一种基于全方位视觉传感器的道路监控装置，所述的道路监控装置包括微处理器、用于监视道路情况的监控传感器，所述的微处理器包括：图像数据读取模块，用于读取从全方位视觉传感器传过来的视频图像信息；图像数据文件存储模块，用于将读取的视频图像信息通过文件方式保存在存储单元中；现场实时播放模块，用于将读取的视频图像实时播放；网络传输模块，用于将读取的视频图形信息通过通信模块传输到网络；所述的监控传感器是全方位视觉传感器，所述的全方位视觉传感器包括用以反射监控领域中物体的外凸折反射镜面、用以防止光折射和光饱和的黑色圆锥体、透明圆柱体、摄像头，所述的外凸折反射镜面位于透明圆柱体的上方，外凸折反射镜面朝下，黑色圆锥体固定在折反射镜面外凸部的中心，摄像头对着外凸反射镜面朝上，所述的摄像头位于外凸反射镜面的虚焦点位置；

所述的微处理器还包括：

传感器标定模块，用于建立一种空间的道路图像与所获得的视频图像的对应关系，在水平方向实物图像坐标与图像左边呈线性关系；

虚拟检测线设定模块，用于建立若干条虚拟检测线，通过所述空间的道路图像与所获得的视频图像的对应关系可以对应成在实际道路上的虚拟检测线；

图像展开处理模块，用于将读取的圆形视频图像展开为全景柱状图；

色彩空间转化模块，用于将交通图像RGB色彩空间转换到YUV颜色空间；

车辆判断模块，用于通过统计虚拟检测线区域内的灰度变化情况来确定目标车辆进入或离开虚拟检测线；

基于YUV颜色模型的车辆判断模块，用于利用YUV颜色空间特征，将前后关联帧中的色彩值进行比较来进行识别出车辆信息：

将虚拟检测线分成均匀的N段，每段长度与最小车辆的几何尺度有关，设最小车辆长度为Car_wmin，分段数为S_num，虚拟检测线总长度M，最小检测基元大小可以由式(23)、(24)表示；

$\mathrm{BL}=\frac{{\mathrm{Car}}_{w\min }}{S_{\mathrm{num}}}---\left(23\right)$

$N=\frac{M}{\mathrm{BL}}---\left(24\right)$

对于每一个均匀分割的N段中的一个子段利用式(25)来进行判断，

$\mathrm{PS}=\underset{t=0}{\overset{N}{\mathrm{\Σ}}}\mathrm{DS}\left(i\right)$

式中T2为区别车辆信号和背景信号分量

变化的阈值；SD为帧差累积平均值，计算公式如下(26)，

$\mathrm{SD}=\frac{\underset{i=0}{\overset{i=n-1}{\mathrm{\Σ}}}{{|I}_c\left(i\right)-I_B\left(i\right)|}^2}{n}---\left(26\right)$

式中I_c(i)为当前帧第i个像素点颜色值，而I_B(i)为背景帧第i个像素所对应的颜色值；

如果PS＞Car_wmin/2，判断车辆存在，否则判断车辆不存在；

车速检测模块，用于根据车辆检测的前后关联帧中的一系列数值通过最小二乘法计算车辆速度，根据标定关系转化为实际道路上的车辆速度：

假设车辆行驶在监视范围内是匀速的，用式(28)表示车辆的运动距离与时间的关系，

l_i＝α+βt_i+ε_i    (28)

上式中，被监视车辆移动轨迹检测值l_i表示i帧图像与(i+1)帧图像之间车辆所移动的距离，t_i表示i帧图像与(i+1)帧图像之间车辆移动距离所花费的时间，i为自然数；

采用最小二乘法计算式(28)中的未知参数(α，β)的估计值

使公式(29)取值为最小：

$\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(l_i-\widehat{\mathrm{\α}}-\widehat{\mathrm{\β}}{t}_i)}^2=\underset{\mathrm{\α},\mathrm{\β}}{\min }\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(l_i-\mathrm{\α}-{\mathrm{\βt}}_i)}^2---\left(29\right)$

利用偏微分方法求解估计值

为车辆车速估计值，如式(30)表示；

$\widehat{\mathrm{\β}}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(t_i-\stackrel{\‾}{t})(l_i-\stackrel{\‾}{l})}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(t_i-\stackrel{\‾}{t})}---\left(30\right)$

上式中，t，l分别为时间与距离的均值。

进一步，所述的车辆判断模块，用以设定道路路面呈黑灰白之间其像素灰度Gb的分布均匀，道路上行驶的车辆构成的像素灰度Gv与背景路面的像素灰度Gb有一个差值，预设一个灰度阈值TH，Gv＜TH＜Gb，并设置虚拟检测线区域内的Gv到TH之间像素个数的临界值NTH，并统计虚拟检测线区域内的Gv到TH之间像素个数：

如统计的个数小于临界值NTH，判断没有车辆通过虚拟检测线区域；

如统计的个数增大到临界值NTH，判断车辆进入虚拟检测线区域；

如统计的个数减小到临界值NTH，判断车辆离开虚拟检测线区域。

再进一步，所述的微处理器还包括背景刷新模块，用于根据车辆检测的结果和选定的背景刷新策略进行背景更新，以适应道路场景的动态变化，在YUV颜色模型中，先要确定初始背景，初始背景的各分量值的计算式为(31)：

$I_0=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{I}_k{\left(x\right)}_{\mathrm{color}},\mathrm{color}=Y,U,V---\left(31\right)$

上式中，N为经验值，I_k(x)_color(color＝Y，U，V)表示第K帧图像中x处的Y，U，V颜色分量值；

判断是否是前景像素的条件为：

其中，U_T、V_T、Y_T为Y、U、V各分量的门限值；

当满足上述条件时，x处的像素为前景像素，否则为背景像素；

背景刷新的计算式为(32)：

上式中，B_t(x)表示t时刻背景的Y、U、V分量值，I_t+Δt(x)表示t+Δt时刻背景的Y、U、V分量值，α为小于1的系数。

更进一步，所述的微处理器还包括车速跟踪模块，用于基于YUV颜色模型的帧间像素差统计值作为模式特征指标：

判断每个像素上是否有车辆通过的准则用式(26)来进行判断：

其中   Y′＝255Y/Y_B

上式中，Y_B为背景的平均亮度分量值，Y、U、V为像素色彩值，Y_T、U_T、V_T为阈值；

当式(26)判断为有车辆通过时，开始跟踪车速检测特征点，接着沿车速检测线的辅助检测端到主检测线，逐一比较各个像素值，比较准则用公式(27)给出；

|f_t(x)-g(x)|＞T    (27)

上式中，x₀≤x≤x₀+M M为比较窗口，x为车速检测线上的点，f_t(x)为该比较窗口中的所有像素的当前色彩值，g(x)为该比较窗口中的所有像素的背景色彩值，T表示阈值；

如果(27)成立，开辟一个内存来记录该区域所有像素的颜色，当下一帧到来时，重新完成上述的跟踪计算一次，然后将上次记录在内存中的区域色彩值与这一帧找到的色彩值进行比较，如果满足公式(27)就认为车速跟踪成功，继续跟踪直到车辆已被确定离去为止，并记录车辆轨迹。

所述的图像展开处理模块，用于根据圆形全方位图像上的一个点(x^*，y^*)和矩形全景图上的一个点(x^**，y^**)的对应关系，建立(x^*，y^*)与(x^**，y^**)的映射矩阵，通过M映射矩阵建立关系式(21)：

P^**(x^**，y^**)←M×P^*(x^*，y^*)(21)

上式中，P^*(x^*，y^*)为成像平面上的每个像素矩阵，P^**(x^**，y^**)为全方位图像上每个点对应的矩阵，M为映射矩阵。

所述的色彩空间转化模块，从RGB色彩空间转换到YUV颜色空间的关系式为式(22)：

Y＝0.301*R+0.586*G+0.113*B

U＝-0.301*R-0.586*G+0.887*B    (22)

V＝0.699*R-0.586*G-0.113*B

上式中，Y代表YUV颜色模型的亮度，U、V是YUV颜色模型的两个彩色分量，表示色差；R表示RGB色彩空间的红色；G表示RGB色彩空间的绿色；B表示RGB色彩空间的蓝色。

本发明的工作原理是：ODVS摄像装置的光学部分的制造技术方案，ODVS摄像装置主要由垂直向下的折反射镜和面向上的摄像头所构成。具体构成是由聚光透镜以及CCD构成的摄像单元固定在由透明树脂或者玻璃制的圆筒体的下部，圆筒体的上部固定有一个向下的大曲率的折反射镜，在折反射镜和聚光透镜之间有一根直径逐渐变小的圆锥状体，该圆锥状体固定在折反射镜的中部，圆锥状体的目的是为了防止过剩的光射入而导致在圆筒体内部的光饱和现象。图2是表示本发明的全方位成像装置的光学系统的原理图。

折反射全景成像系统能用针孔成像模型进行成像分析，但要获得透视全景图像必须对采集的实景图像逆投影，因而计算量大，特别是用在对高速行驶的车辆进行监控，必须满足实时性的要求。一般作为测速、车流量监视功能的全方位视觉装置是用来把握整个全局道路折反射情况；对于违规车辆的自动抓拍取证以及车牌识别需要用另一台摄像设备来完成，该摄像设备负责某个局部违规部分图像的获取。

场景中物点的水平坐标与相应像点的坐标成线性关系就能确保水平场景无畸变，作为测速、车流量监视功能的全方位视觉装置安装在离路面高度3米之处，监视着道路水平方向上的车况，因此在设计全方位视觉装置的折反射镜面时要保证在水平方向上的不变形。

设计中首先选用CCD(CMOS)器件和成像透镜构成摄像头，在对摄像头内部参数标定的基础上初步估算系统外形尺寸，然后根据高度方向的视场确定反射镜面形参数。

如图1所示，摄像头的投影中心C在道路水平场景上方距离水平场景h处，反射镜的顶点在投影中心上方，距离投影中心zo处。本发明中以摄像头投影中心为坐标原点建立坐标系，反射镜的面形用z(X)函数表示。在像平面内距离像中心点ρ的像素q接受了来自水平场景O点(距离Z轴d)，在反射镜M点反射的光线。水平场景无畸变要求场景物点的水平坐标与相应像点的坐标成线性关系；

d(ρ)＝αρ(1)

式(1)中ρ是与反射镜的面形中心点的距离，α为成像系统的放大率。

设反射镜在M点的法线与Z轴的夹角为γ，入射光线与Z轴的夹角为Φ，反射光线与Z轴的夹角为θ。则

$\mathrm{tg}\left(x\right)=\frac{d\left(x\right)-x}{z\left(x\right)-h}---\left(2\right)$

$\mathrm{tg\γ}=\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}---\left(3\right)$

$\mathrm{tg}\left(2\mathrm{\γ}\right)=\frac{2\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}}{1-\frac{d^{2}z\left(x\right)}{{\mathrm{dx}}^2}}---\left(4\right)$

$\mathrm{tg\θ}=\frac{\mathrm{\ρ}}{f}=\frac{x}{z\left(x\right)}---\left(5\right)$

由反射定律

2γ＝φ-θ

∴ $\mathrm{tg}\left(2\mathrm{\γ}\right)=\mathrm{tg}(\mathrm{\φ}-\mathrm{\θ})=\frac{\mathrm{tg\φ}-\mathrm{tg\θ}}{1+\mathrm{tg\φtg\θ}}---\left(6\right)$

由式(2)、(4)、(5)和(6)得到微分方程(7)

$\frac{d^{2}z\left(x\right)}{{\mathrm{dx}}^2}+2k\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}-1=0---\left(7\right)$

式中； $k=\frac{z\left(x\right)[z\left(x\right)-h]+x[d\left(x\right)-x]}{z\left(x\right)[d\left(x\right)-x]+x[z\left(x\right)-h]}---\left(8\right)$

由式(7)得到微分方程(9)

$\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}+k-\sqrt{k^2+1}=0---\left(9\right)$

由式(1)、(5)得到式(10)

$d\left(x\right)=\frac{\mathrm{afx}}{z\left(x\right)}---\left(10\right)$

由式(8)、(9)、(10)和初始条件，解微分方程可以得到反射镜面形的数字解。系统外形尺寸主要指反射镜离摄像头的距离Ho和反射镜的口径D。折反射全景系统设计时根据应用要求选择合适的摄像头，标定出R_min，透镜的焦距f确定反射镜离摄像头的距离Ho，由(1)式计算出反射镜的口径Do。

系统参数的确定：

根据应用所要求的高度方向的视场确定系统参数af。由式(1)、(2)和(5)得到式(11)，这里作了一些简化，将z(x)≈z₀，主要考虑对于镜面的高度变化相对于镜面与摄像头的位置变化比较小；

$\mathrm{tg\φ}=\frac{(\mathrm{af}-z_0)\frac{\mathrm{\ρ}}{f}}{z_0-h}---\left(11\right)$

在像平面以像中心点为圆心的最大圆周处 $\mathrm{\ρ}=R_{\min }\→{\mathrm{\ω}}_{\max }=\frac{R_{\min }}{f}$

对应的视场为φ_max。则可以得到式(12)；

$\frac{\mathrm{\ρ}}{f}=\frac{(z_0-h)\mathrm{tg}{\mathrm{\φ}}_{\max }}{{\mathrm{\ω}}_{\max }}+z_0---\left(12\right)$

成像模拟采用与实际光线相反的方向进行。设光源在摄像头投影中心，在像平面内等间距的选取像素点，通过这些像素点的光线，经反射镜反射后与水平面相交，若交点是等间距的，则说明反射镜具有水平场景无畸变的性质。成像模拟一方面可以评价反射镜的成像性质，另一方面可以准确地计算出反射镜的口径和厚度。

进一步说明本发明在实施过程中涉及到标定与识别这2个关键问题：

(1)如何标定全方位视觉传感器的成像平面内的像素距离与实际三维空间距离的对应关系。因为全方位视觉摄像机成像平面是二维的，以像素为计量单位，在成像平面上，观察到车辆通过标定的一段距离时，只能知道其像素距离；而实际车辆通过的距离是未知的，只有找到两者的对应关系，才能根据车辆在图像中移动的距离计算出车辆实际的移动距离。

(2)全方位视觉摄像机视场内通行车辆的识别算法。当车辆经过虚拟检测线时，系统应该如何去辨识并记录车辆通过的时间。

全方位视觉摄像机视场距离的标定涉及成像几何的理论，将客观世界的三维场景投射到摄像机的二维象平面，需要建立摄像机的模型来描述。通过确定摄像机的物理参数和方位参数，才能把象平面的度量确定下来，从而计算车辆通过的实际距离。

成像变换涉及不同坐标系之间的变换。在摄像机的成像系统中，涉及到的有以下4个坐标系；(1)现实世界坐标系XYZ；(2)以摄像机为中心制定的坐标系x^y^z^：(3)像平面坐标系，在摄像机内所形成的像平面坐标系x^*y^*o^*；(4)计算机图像坐标系，计算机内部数字图像所用的坐标系MN，以像素为单位。

根据以上几个坐标系不同的转换关系，就可以得到所需要的全方位摄像机成像模型，换算出二维图像到三维场景的对应关系。本发明中采用折反射全方位成像系统的近似透视成像分析方法将摄像机内所形成的像平面坐标二维图像换算到三维场景的对应关系，图3为一般的透视成像模型，d为物高，ρ为像高，t为物距，F为像距(等效焦距)。可以得到式(13)

$d=\frac{t}{F}\mathrm{\ρ}---\left(13\right)$

在上述水平场景无的折反射全方位成像系统的设计时，要求场景物点的水平坐标与相应像点的坐标成线性关系，如式(1)表示；比较式(13)，(1)，可以看出水平场景无变形的折反射全方位成像系统对水平场景的成像为透视成像。因此就水平场景成像而言，可以将水平场景无变形的折反射全方位成像系统视为透视相机，α为成像系统的放大率。设该虚拟透视相机的投影中心为C点(见附图3)，其等效焦距为F。比较式(13)，(1)式可以得到式(14)；

$\mathrm{\α}=\frac{t}{F};t=h---\left(14\right)$

由式(12)、(14)得到式(15)

$F=\frac{\mathrm{fh}{\mathrm{\ω}}_{\max }}{(z_0-h)\mathrm{tg}{\mathrm{\φ}}_{\max }+z_0{\mathrm{\ω}}_{\max 0}}---\left(15\right)$

根据上述全方位摄像机成像模型进行系统成像模拟，由摄像头投影中心发出的经过像素平面内等间距像素点的光线族反射后，在距离投影中心3m的水平道路面上的交点基本上是等间距的，如附图4所示。因此根据上述设计原理本专利中将道路水平面的坐标与相应全方位像点的坐标之间的关系简化为线性关系，也就是说通过反射镜面的设计将现实世界坐标系XYZ到像平面坐标系的转化可以用放大率α为比例的线形关系。下面是从像平面坐标系到计算机内部数字图像所用的坐标系的转化，计算机中使用的图像坐标单位是存储器中离散像素的个数，所以对实际像平面的坐标还需取整转换才能映射到计算机的成像平面，其变换表达式为由式(16)给出；

$M=O_m-\frac{x^{*}}{S_x};$ $N=O_n-\frac{y^{*}}{S_y};---\left(16\right)$

式中：O_m、O_n分别为象平面的原点在计算机图像平面上所映射的点像素所在的行数和列数；S_x、S_y分别为在x和y方向上的尺度因子。S_x、S_y的确定是通过在摄像头与反射镜面之间距离Z处放置标定板，对摄像机进行标定得到S_x、S_y的数值，单位是(pixel)；O_m、O_n。的确定是根据所选择的摄像头分辨率像素，单位是(pixel)。

进一步，根据图6来说明360°全方位进行摄像的原理，空间上的一个点A(x1，y1，z1)(图中用五角星表示)经折反射1镜面反射到透镜4上对应有一个投影点P1(x^*1，y^*1)，通过透镜4的光线变成平行光投射到CCD摄像单元5，微处理器6通过视频接口读入该环状图像，采用软件对该环状图像进行展开得到全方位的图像并显示在显示单元7上或者通过视频服务器发布在网页上。

进一步，在展开方法上本专利中采用了一种快速的近似展开算法，能够将时间消耗和对各种参数的要求降到最小，同时尽可能的保持有用的信息。考虑到后面几个步骤的算法中，β分量即方位角度的信息是最需要的；而在竖直方向上，发生一些形变对结果几乎没有什么影响，这种展开的快速近似算法，如图6所示。图6中，B)图是圆形全方位成像图像，其中内径为r，外径为R，内外径之间的是图像的有效区域。现将其展开成右边的矩形全景图C)，展开规则有三条，

(1)X^*轴为起始位置，按逆时针方式展开；

(2)左图中X^*轴与内径r的交点O，对应到右图中左下角的原点O(0，0)；

(3)展开后的右图的宽度等于左图中虚线所示的圆的周长。其中虚线圆为左图内外径的同心圆，且其半径r1＝(r+R)/2。

设圆形图图6B)的圆心O^*坐标(x^*0，y^*0)，展开的矩形图左下角原点坐标O^**(0，0)，矩形图C)中任意一点P^**＝(x^**，y^**)所对应的点在圆形图中的坐标为(x^*，y^*).下面我们需要求的是(x^*，y^*)和(x^**，y^**)的对应关系。根据几何关系可以得到如下公式：

β＝tan^-1(y^*/x^*)(17)

r1＝(r+R)/2(18)

令虚线圆的半径r1＝(r+R)/2，目的是为了让展开后的图看起来形变均匀一些。

x^*＝y^*/(tan(2x^**/(R+r)))(19)

y^*＝(y^**+r)cosβ        (20)

从式(19)、(20)可以得到圆形全方位图像上的一个点(x^*，y^*)和矩形全景图上的一个点(x^**，y^**)的对应关系。该方法实质上是做了一个图像插值的过程。展开后，虚线上方的图像是横向压缩过的，虚线下方的图像是横向拉伸过的，而在虚线本身上的点则保持不变。

为了满足实时计算需要同样可根据圆形全方位图像上的一个点(x^*，y^*)和矩形全景图上的一个点(x^**，y^**)的对应关系，建立(x^*，y^*)与(x^**，y^**)的映射矩阵。由于这种一一对应关系，通过映射矩阵方法能把转变成不变形的全景图像。通过M映射矩阵可以建立起式(21)关系。

P^**(x^**，y^**)←M×P^*(x^*，y^*)(21)

根据式(21)，对于成像平面上的每个像素P^*(x^*，y^*)在全方位图像上有一个点P^**(x^**，y^**)对应，建立了M映射矩阵后，实时图像处理的任务可以得到简化。在成像平面上得到的变形的全方位图像完成查表运算，生成不变形的全方位图像显示到显示器7上或者保存在存储单元8中或者通过Web服务发布给道路监管部门的管理系统或者提供道路交通流量信息服务。

全方位视觉传感器ODVS(OmniDirectional Vision Sensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。这种ODVS摄像机主要由一个CCD摄像机和正对着摄像头的一个反光镜组成。反光镜面将水平方向一周的图像反射给CCD摄像机成像，这样，就可以在一幅图像中获取水平方向360°的环境信息。这种全方位摄像机有着非常突出的优点，特别在对全景实时处理要求下，是一种快速、可靠的视觉信息采集途径。但另一方面，这种图像获取模式同时也决定了得到的全方位图像必然存在着一定程度上的压缩和形变，这就影响了它对远距离物体的观察精度。

这种ODVS摄像机可以在全方位拍摄到半球视野中的所有情况。能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。同时，由于全方位视觉是一种典型的机器视觉，是人不可能具备的。摄像机采集图像的原理和人眼观察物体的原理不一样，使得全方位图像与人眼看到的图像差别也很大，即使按照柱面展开，其形变还是存在的。因此如何通过全方位光学成像技术、计算机图象处理技术和网络技术通信技术为智能交通管理领域提供一种快速、可靠的车流视觉信息采集途径，并根据ODVS摄像机得到的实时全方位图像，通过计算判断运行中的车辆是否违章，同时也能获取实时的车流信息。

本发明的有益效果主要表现在：1、全方位视觉传感器的安装位置自由，监视环境不用瞄准目标；2、算法简单；3、实时性强，能够快速可靠的采集视觉信息。

(四)附图说明

图1是全方位视觉光学原理图。

图2是道路监控装置的结构原理图。

图3是全方位视觉装置与一般的透视成像模型等价的透视投影成像模型示意图。

图4是全方位视觉装置在水平方向上图像无形变模拟示意图。

图5是全方位视觉装置在水平方向上，道路监控虚拟检测触发区域以及车道分割示意图。

图6是将一个在反射镜面上的圆形经全方位图像转变成计算机显示的全景柱形图像的示意图。

图7是全方位视觉装置中计算车辆行驶速度和计算车流量的流程图。

(五)具体实施方式

下面结合附图对本发明作进一步描述。

参照图1、图2、图3、图4、图5、图6、图7，一种基于全方位视觉传感器的道路监控装置，所述的道路监控装置包括微处理器6、用于监视道路情况的监控传感器13，所述的微处理器6包括：图像数据读取模块16，用于读取从全方位视觉传感器传过来的视频图像信息；图像数据文件存储模块18，用于将读取的视频图像信息通过文件方式保存在存储单元中；现场实时播放模块20，用于将读取的视频图像实时播放；网络传输模块22，用于将读取的视频图形信息通过通信模块传输到网络；所述的监控传感器13是全方位视觉传感器，所述的全方位视觉传感器13包括用以反射监控领域中物体的外凸折反射镜面1、用以防止光折射和光饱和的黑色圆锥体2、透明圆柱体3、摄像装置5的摄像头4，所述的外凸折反射镜面1位于透明圆柱体3的上方，外凸折反射镜面1朝下，黑色圆锥体2固定在折反射镜面1外凸部的中心，摄像头4对着外凸反射镜面朝上，所述的摄像头4位于外凸反射镜面1的虚焦点位置；

所述的微处理器6还包括：传感器标定模块17，用于建立一种空间的道路图像与所获得的视频图像的对应关系，在水平方向实物图像坐标与图像左边呈线性关系；虚拟检测线设定模块23，用于建立若干条虚拟检测线，通过所述空间的道路图像与所获得的视频图像的对应关系可以对应成在实际道路上的虚拟检测线；图像展开处理模块19，用于将读取的圆形视频图像展开为全景柱状图；色彩空间转化模块25，用于将交通图像RGB色彩空间转换到YUV颜色空间；车辆判断模块29，用于通过统计虚拟检测线区域内的灰度变化情况来确定目标车辆进入或离开虚拟检测线；基于YUV颜色模型的车辆判断模块，用于利用YUV颜色空间特征，将前后关联帧中的色彩值进行比较来进行识别出车辆信息：

将虚拟检测线分成均匀的N段，每段长度与最小车辆的几何尺度有关，设最小车辆长度为Car_wmin，分段数为S_num，虚拟检测线总长度M，最小检测基元大小可以由式(23)、(24)表示：

$\mathrm{BL}=\frac{{\mathrm{Car}}_{w\min }}{S_{\mathrm{num}}}---\left(23\right)$

$N=\frac{M}{\mathrm{BL}}---\left(24\right)$

对于每一个均匀分割的N段中的一个子段利用式(25)来进行判断，

$\mathrm{PS}=\underset{t=0}{\overset{N}{\mathrm{\Σ}}}\mathrm{DS}\left(i\right)$

式中T2为区别车辆信号和背景信号分量变化的阈值；SD为帧差累积平均值，计算公式如下(26)，

$\mathrm{SD}=\frac{\underset{i=0}{\overset{i=n-1}{\mathrm{\Σ}}}{|I_c\left(i\right)-I_B\left(i\right)|}^2}{n}---\left(26\right)$

式中I_c(i)为当前帧第i个像素点颜色值，而I_B(i)为背景帧第i个像素所对应的颜色值；

如果PS＞Car_wmin/2，判断车辆存在，否则判断车辆不存在；

车速检测模块32，用于根据车辆检测的前后关联帧中的一系列数值通过最小二乘法计算车辆速度，根据标定关系转化为实际道路上的车辆速度：

假设车辆行驶在监视范围内是匀速的，用式(28)表示车辆的运动距离与时间的关系，

l_i＝α+βt_i+ε_i    (28)

上式中，被监视车辆移动轨迹检测值l_i表示i帧图像与(i+1)帧图像之间车辆所移动的距离，t_i表示i帧图像与(i+1)帧图像之间车辆移动距离所花费的时间，i为自然数；

采用最小二乘法计算式(28)中的未知参数(α，β)的估计值

使公式(29)取值为最小：

$\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(l_i-\widehat{\mathrm{\α}}-\widehat{\mathrm{\β}}{t}_i)}^2=\underset{\mathrm{\α},\mathrm{\β}}{\min }\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(l_i-\mathrm{\α}-\mathrm{\β}{t}_i)}^2---\left(29\right)$

利用偏微分方法求解估计值

为车辆车速估计值，如式(30)表示；

$\widehat{\mathrm{\β}}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(t_i-\stackrel{\‾}{t})(l_i-\stackrel{\‾}{l})}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(t_i-\stackrel{\‾}{t})}---\left(30\right)$

上式中，t，l分别为时间与距离的均值。

本实施例中全方位视觉装置安装在离路面高度3米之处，监视着道路水平方向上的车况，因此在设计全方位视觉装置的折反射镜面时要保证在水平方向上的不变形，如图1所示，摄像头的投影中心C在道路水平场景上方距离水平场景h处，反射镜的顶点在投影中心上方，距离投影中心zo处。以摄像头投影中心为坐标原点建立坐标系，反射镜的面形用z(X)函数表示。在像平面内距离像中心点ρ的像素q接受了来自水平场景O点(距离Z轴d)，在反射镜M点反射的光线。水平场景无畸变要求场景物点的水平坐标与相应像点的坐标成线性关系；

d(ρ)＝αρ(1)

式(1)中ρ是与反射镜的面形中心点的距离，α为成像系统的放大率。

结合图1并参照图2，本发明的全方位视觉功能的配件的结构为：折反射面镜1、黑色圆锥体2、透明外罩圆柱体3、底座9所组成，所述的折反射面镜1位于圆柱体3的上端，且反射镜面的凸面伸入圆柱体内向下；所述的黑色圆锥体2固定在折反射面镜1的凸面的中心部；所述的折反射面镜1、黑色圆锥体2、圆柱体3、底座9的旋转轴在同一中心轴线上；所述的数码摄像头5位于圆柱体2内的下方；所述的底座9上开有与所述的圆柱体2的壁厚相同的圆槽；所述的底座9上设有一个与数码摄像装置5的镜头4一样大小的孔，所述的底座9的下部配置有嵌入式硬件和软件系统6。

结合图1并参照图7，本发明所述的全方位摄像时数码摄像装置13通过USB接口14连接到车辆监控装置的微处理器15中，所述的微处理器15经图像数据读入模块16读入图像数据并进行图像预处理，在初始化时为了得到无车辆时的初始环境图像，需要将该图像存入图像数据存储模块18中以便后面的图像识别及处理，同时为了识别车辆运动，需要对空间坐标进行标定得到全方位图像系统的9个基本参数进行图像识别及处理，对于这个处理在本发明中的传感器标定、虚拟检测线设定模块17中进行，这是一个用户与系统进行对话的模块，使用者可以根据实际情况通过对话窗口进行全方位图像系统参数以及虚拟检测线的设定。

全方位视觉摄像机视场距离的标定涉及成像几何的理论，将客观世界的三维场景投射到摄像机的二维象平面，成像变换涉及不同坐标系之间的变换。在摄像机的成像系统中，涉及到的有以下4个坐标系；(1)现实世界坐标系XYZ；(2)以摄像机为中心制定的坐标系x^y^z^；(3)像平面坐标系，在摄像机内所形成的像平面坐标系x^*y^*o^*；(4)计算机图像坐标系，计算机内部数字图像所用的坐标系MN，以像素为单位。

根据以上几个坐标系不同的转换关系，就可以得到所需要的全方位摄像机成像模型，换算出二维图像到三维场景的对应关系。本发明中采用折反射全方位成像系统的近似透视成像分析方法将摄像机内所形成的像平面坐标二维图像换算到三维场景的对应关系，图3为一般的透视成像模型，d为物高，ρ为像高，t为物距，F为像距(等效焦距)。可以得到式(13)

$d=\frac{t}{F}\mathrm{\ρ}---\left(13\right)$

在上述水平场景无的折反射全方位成像系统的设计时，要求场景物点的水平坐标与相应像点的坐标成线性关系，如式(1)表示；比较式(13)，(1)，可以看出水平场景无变形的折反射全方位成像系统对水平场景的成像为透视成像。因此就水平场景成像而言，可以将水平场景无变形的折反射全方位成像系统视为透视相机，α为成像系统的放大率。设该虚拟透视相机的投影中心为C点(见附图3)，其等效焦距为F。比较式(13)，(1)式可以得到式(14)；

$\mathrm{\α}=\frac{t}{F};t=h---\left(14\right)$

由式(12)、(14)得到式(15)

$F=\frac{{\mathrm{fh\ω}}_{\max }}{(z_0-h){\mathrm{tg\φ}}_{\max }+z_0{\mathrm{\ω}}_{\max 0}}---\left(15\right)$

根据上述全方位摄像机成像模型进行系统成像模拟，由摄像头投影中心发出的经过像素平面内等间距像素点的光线族反射后，在距离投影中心3m的水平道路面上的交点基本上是等间距的，如附图4所示。因此根据上述设计原理本专利中将道路水平面的坐标与相应全方位像点的坐标之间的关系简化为线性关系，也就是说通过反射镜面的设计将现实世界坐标系XYZ到像平面坐标系的转化可以用放大率α为比例的线形关系。下面是从像平面坐标系到计算机内部数字图像所用的坐标系的转化，计算机中使用的图像坐标单位是存储器中离散像素的个数，所以对实际像平面的坐标还需取整转换才能映射到计算机的成像平面，其变换表达式为由式(16)给出；

$M=O_m-\frac{x^{*}}{S_x};$ $N=O_n-\frac{y^{*}}{S_y};---\left(16\right)$

式中：O_m、O_n分别为象平面的原点在计算机图像平面上所映射的点像素所在的行数和列数；S_x、S_y分别为在x和y方向上的尺度因子。S_x、S_y的确定是通过在摄像头与反射镜面之间距离Z处放置标定板，对摄像机进行标定得到S_x、S_y的数值，单位是(pixel)；O_m、O_n。的确定是根据所选择的摄像头分辨率像素，单位是(pixel)。

进一步，在所述的车速的测量和车流量的统计首先要对摄像机视场内的通行车辆进行识别，车辆通过视场时，本发明中采用事先预置的虚拟检测触发器，就启动系统开始记录个数和车辆通过的时刻，然后计算通行车辆的速度。所述的虚拟检测触发器可以通过在计算机的内存中通过设置几条线的方式来实现，在传感器标定、虚拟检测线设定模块17中进行，图5表示的是全方位视觉装置安装在道路中间绿化带离地面高度3m的情况，共监视两边6条车道上所通过的车辆，由于本发明中采用了水平方向无变形设计，因此可以从现实道路情况来进行分析。图5中三条竖着的虚线为虚拟检测线。

进一步，根据用户的需要可以控制是否要进行图像展开，所述的图像展开处理计算是在图像展开处理模块19中进行的，该模块的作用是将一幅幅圆形全方位图展开成相对应矩形柱状全景图，展开后的图形具有容易计算、变形小等优点。根据圆形全方位图像上的一个点(x^*，y^*)和矩形柱状全景图上的一个点(x^**，y^**)的对应关系，建立(x^*，y^*)与(x^**，y^**)的映射矩阵。由于这种一一对应关系，通过映射矩阵方法能把转变成不变形的全景图像。通过M映射矩阵可以建立起式(21)关系。

P^**(x^**，y^**)←M×P^*(x^*，y^*)(21)

根据式(21)，对于成像平面上的每个像素P^*(x^*，y^*)在全方位图像上有一个点P^**(x^**，y^**)对应，建立了M映射矩阵后，实时图像处理的任务可以得到简化。每次在成像平面上得到的变形的全方位图像完成查表运算，生成不变形的全方位图像；生成后的不变形的全方位图像发送给实时播放模块20送到显示器21上显示；如果用户需要知道现场实时情况可以通过网络传输模块22得到现场全方位图像。

在车辆检测、车速检测处理中，主要由虚拟检测线设定模块23、色彩空间转化模块25、基于灰度直方图的车辆判断模块29、基于YUV颜色模型的车辆判断模块28、背景刷新处理模块30、阴影检测处理模块31、车速检测模块32和启动车辆超速处理模块34等构成；

所述的虚拟检测触发器动作检测模块主要利用道路路面的呈黑灰白之间其像素灰度Gb的分布是均匀的，而在道路上行驶的车辆由于光照和车辆外壳制造材料等原因，构成车辆的像素灰度Gv与背景路面的像素灰度Gb有一个差值，当车辆进入到虚拟检测线区域内的像素灰度分布会发生变化，能使得灰度分布范围扩大，这时虚拟检测触发器动作表明有车进入虚拟检测线区域内；

所述的色彩空间转化模块主要完成交通图像RGB色彩空间到YUV颜色空间的转化，为车辆检测和背景提取做准备工作，YUV颜色模型是一种常用的颜色模型，其基本特征是将亮度信号与颜色信号分离，Y代表亮度，U、V是两个彩色分量，表示色差，一般是蓝，红色的相对值，由于人眼对亮度的变化比对颜色的变化敏感，因此，YUV颜色模型中Y分量的值所占带宽大于等于彩色分量所占带宽YUV与RGB模型之间的线形关系如公式(22)给出，

Y＝0.301*R+0.586*G+0.113*B

U＝-0.301*R-0.586*G+0.887*B    (22)

V＝0.699*R-0.586*G-0.113*B

所述的基于灰度直方图的车辆判断模块是通过统计虚拟检测线区域内的灰度变化情况来确定目标车辆进入或离开虚拟检测线和计算其通过的时间来达到测量目的的，所述的像素灰度直方图的灰度值分布在没有车辆通过和有车辆会发生明显的变化。图像的灰度直方图是对图像的所有像素的灰度分布按灰度值的大小显示其出现频度的一种统计图，本发明中使用二维坐标系表示灰度直方图，横坐标表示图像的灰度级别，纵坐标表示某一灰度级上的像素个数。通过比较灰度变化规律可以得到如下检测车速的方法：具体做法是首先设置一个灰度阈值TH，这个阈值位于Gb与Gv之间，通过统计从Gv到TH间的像素个数N的变化，就可以检测运动目标是否通过虚拟检测线。当没有车辆通过时，虚拟检测线区域内的像素灰度分布集中，从Gv到TH间的像素个数较少，N值很小；当有车辆通过虚拟检测线时，运动目标的灰度大部分分布在Gv到TH间，虚拟检测线区域内的像素分布范围扩大，从Gv到TH间的像素个数增多，N值会增大到一个预先设定的值NTH(虚拟检测线内的像素个数×50％)，从而判定车辆是否通过虚拟检测线。同理，当N值减小到NTH时，就可以判定车辆已经通过了虚拟检测线；

所述的基于YUV颜色模型的车辆判断模块是通过颜色特征来进行识别车辆，因为车辆是一个较大形体的目标，虚拟检测线上只有出现连续的超过一定数量的像素点变化时，才能判定有车压线。为了与车辆形体大小产生关系，本发明中引入了最小车长的概念。最小车长是指最小长度车辆在视窗的虚拟检测线附近，所展现的像素点长度。为提高系统的可靠性可以采用如下判断方法：如果检测到至少有最小车长的1/N长度的连续像素群，则判定其为车辆压线(其中N不能太大也不能太小，这里取N＝8)。为了达到上述的目的，将最小车长的1/N作为分段宽度，将虚拟检测线分成长度均等的若干段。一旦发现虚拟检测线上至少有一段被检测出有运动物体，即认为有车存在。

进一步，将虚拟检测线分成均匀的N段，每段长度与最小车辆的几何尺度有关，例如最小车辆长度为Car_wmin，分段数为S_num，而虚拟检测线总长度M，附图5中总长度M＝d1+d2。则最小检测基元大小可以由式(23)、(24)表示；

$\mathrm{BL}=\frac{{\mathrm{Car}}_{w\min }}{S_{\mathrm{num}}}---\left(23\right)$

$N=\frac{M}{\mathrm{BL}}---\left(24\right)$

对于每一个均匀分割的N段中的一个子段利用式(25)来进行判断，

$\mathrm{PS}=\underset{t=0}{\overset{N}{\mathrm{\Σ}}}\mathrm{DS}\left(i\right)$

进一步，为了避免错误记数，将通过判断虚拟检测线上运动像素的总数是否超过最小车宽的一半来决定是否有车辆存在，即：如果PS＞Car_wmin，判断车辆存在，否则车辆不存在。

本发明提出如下基于YUV颜色模型的帧间像素差统计值作为模式特征指标：

判断每个像素上是否有车辆通过的准则用式(26)来进行判断

其中 $Y^{\′}=\frac{255Y}{Y_B}$

Y_B为背景的平均亮度分量值，Y、U、V为像素色彩值。Y_T、U_T、V_T为阈值。

将上述车速检测线与车辆边缘交接处作为车速检测的特征点，通过对该特征点的跟踪，可以检测到该点的移动轨迹，通过移动轨迹可以计算出车辆的行驶速度，当式(26)判断为有车辆通过时，开始跟踪车速检测特征点，接着沿车速检测线的辅助检测端到主检测线，逐一比较各个像素值，比较准则用公式(27)给出；

|f_t(x)-g(x)|＞T    (27)

式(27)中，x₀≤x≤x₀+M M为比较窗口，x为车速检测线上的点，f_t(x)为该比较窗口中的所有像素的当前色彩值，g(x)为该比较窗口中的所有像素的背景色彩值，如果它们两者之间的差大于T，开辟一个内存来记录该区域所有像素的颜色。

当下一帧到来时，重新完成上述的跟踪计算一次，然后将上次记录在内存中的区域色彩值与这一帧找到的色彩值进行比较，如果满足公式(28)就认为车速跟踪成功，继续跟踪直到车辆已被确定离去为止。当车速检测线首次检测到车辆边缘时，记录车辆边缘当前位置，在后面检测到车辆出现时，可根据车辆预测与实际检测位置进行比较，超过一定阈值认为是跟踪失败，取消跟踪；如成功的话利用该车车辆轨迹记录，运用最小二乘法计算车辆速度。

所述的背景刷新模块主要根据车辆检测的结果和选定的背景刷新策略进行背景的更新，以适应道路场景的动态变化。如上面所述，本发明中采用了YUV颜色模型，因此背景刷新的是以YUV颜色模型来进行的，首先要确定初始背景，用公式(31)来得到初始背景的各分量值；

$I_0=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{I}_k{\left(x\right)}_{\mathrm{color}},\mathrm{color}=Y,U,V---\left(31\right)$

式(31)中，N为经验值，I_k(x)_color(color＝Y，U，V)表示第K帧图像中x处的Y，U，V颜色分量值。接着用公式(32)进行背景刷新；

式(32)中，B_t(x)表示t时刻背景的Y、U、V分量值，I_t+Δt(x)表示t+Δt时刻背景的Y、U、V分量值，α为小于1的系数，根据实验将该值取在0.1范围左右比较好，在式(32)中还需要判断是否是前景像素，本发明中采用如下的判断标准：

当满足

其中，U_T、V_T、Y_T为Y、U、V各分量的门限值。

所述的阴影判断算法，由于在YUV色彩空间进行判断，有阴影交通背景同无阴影背景相比，Y分量有较大的变化，而表征颜色信息U、V分量变化很小，因此可以把对阴影的考虑集中到Y分量中。具体做法是首先确定一个道路背景的标准光照强度值，作为标准基准值。以后，每刷新一次背景都计算出道路的平均亮度值，然后用该值和标准基准值相比较来确定目前的路面的相对光照强度；最后根据该相对值以及一个的预定的换算比例(经验值)，算出当前道路背景与阴影的反差值，利用这个反差值最后就确定阴影的亮度范围，进行阴影判断。在Y分量比较大的情况下(晴天时)可采用计算机系统时间的辅助判断方法，从季节阳光光照的规律也可以进一步确认是否是相邻车道上行驶车辆所产生的阴影，从而能提高车辆判断的可靠性。

所述的车速检测模块是利用了最小二乘法计算车辆速度，根据上述所得到车辆轨迹记录用一个线形方程将其拟合，然后用斜率表示实际车辆速度，前提是假设车辆行驶在监视范围内是匀速的，可以用式(28)表示车辆的运动距离与时间的关系，

l_i＝α+βt_i+ε_i(28)

式中，被监视车辆移动轨迹检测值l_i表示i一帧图像与(i+1)一帧图像之间车辆所移动的距离，t_i表示i一帧图像与(i+1)一帧图像之间车辆移动距离所花费的时间，i＝1，2，3，…，n，本发明中采用最小二乘法来求式(28)中的未知参数(α，β)的估计值，使公式(29)取值为最小；

$\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(l_i-\widehat{\mathrm{\α}}-\widehat{\mathrm{\β}}{t}_i)}^2=\underset{\mathrm{\α},\mathrm{\β}}{\min }\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(l_i-\mathrm{\α}-\mathrm{\β}{t}_i)}^2---\left(29\right)$

然后利用偏微分方法求解估计值

值就是本发明要得到的车辆车速估计值，用公式(30)表示；

$\widehat{\mathrm{\β}}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(t_i-\stackrel{\‾}{t})(l_i-\stackrel{\‾}{l})}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(t_i-\stackrel{\‾}{t})}---\left(30\right)$

式(30)中t，l分别为时间与距离的均值。一般来说检测距离越长所估算的速度值

越接近实际车辆速度值。将所估算得到的速度值

根据标定关系转化为实际道路上的车辆速度。

所述的启动车辆超速处理模块是根据上述车速检测模块捕捉到有违规车辆时，启动一个事件线程将违规车辆的空间位置通过输出接口发送给另一台摄像机，该摄像机对着该违规车辆的后背部进行抓拍，以便对该车辆的牌照进行识别，同时将全方位摄像装置捕捉到违规车辆的轨迹、时间信息保存起来，以便通过网络发送给交警管理部门。

实施例2

本实施例所述的道路监控装置根据室外使用的需要，考虑环境条件问题，比如日晒雨淋、飞扬的粉尘容易吸附在外罩上而使得传入光线受到影响，因此本发明中对室外用(下固定式道路监控装置的上部加了一个防雨遮阳帽，将防雨遮阳帽用螺钉固定在外罩上，另外外罩采用有机玻璃材料压注而成，底座采用铝合金材料压注而成，同时为了便于清洁和维护，室外用(下固定式)道路监控装置的装卸要方便，整个道路监控装置固定在一个悬臂上，悬臂可以固定在道路上的电线杆或者高层建筑物的墙面上。

进一步，所述的微处理器6采用嵌入式处理器，本发明中采用EmbeddedLinux+Embedded linux这样组合的软件平台，实验中采用了基于三星公司的ARM9处理器S3C2410X板子，该板子上整合了MIZI公司所公布的免费嵌入式Arm-Linux操作系统，本发明将Wonka(Embedded JVM)移植到了嵌入式linux中，Wonka本身已经带有对串口、输入设备的等驱动支持。选择Java或者C语言来作为具有测速、车流量监视功能的全方位视觉装置的软件开发语言，如要将Java程序运行在嵌入式linux上需要有嵌入式Java虚拟机(Embedded JVM)的支持，本发明中使用了自己移植成功的免费Java虚拟机。

上述的实施例1和实施例2所产生的发明效果是通过全方位的计算机视觉传感器使得道路车辆监控的范围更宽广，提供了一种全新的、维护成本低、维护方便、判断更可靠的、可视化的道路监控、车流视觉信息采集途径方法与装置。

Claims (6)

1. 一种基于全方位视觉传感器的道路监控装置，所述的道路监控装置包括微处理器、用于监视道路情况的监控传感器，所述的微处理器包括：

图像数据读取模块，用于读取从全方位视觉传感器传过来的视频图像信息；

图像数据文件存储模块，用于将读取的视频图像信息通过文件方式保存在存储单元中；

现场实时播放模块，用于将读取的视频图像实时播放；

网络传输模块，用于将读取的视频图形信息通过通信模块传输到网络；

其特征在于：所述的监控传感器是全方位视觉传感器，所述的全方位视觉传感器包括用以反射监控领域中物体的外凸折反射镜面、用以防止光折射和光饱和的黑色圆锥体、透明圆柱体、摄像头，所述的外凸折反射镜面位于透明圆柱体的上方，外凸折反射镜面朝下，黑色圆锥体固定在折反射镜面外凸部的中心，摄像头对着外凸反射镜面朝上，所述的摄像头位于外凸反射镜面的虚焦点位置；

所述的微处理器还包括：

传感器标定模块，用于建立一种空间的道路图像与所获得的视频图像的对应关系，在水平方向实物图像坐标与图像坐标呈线性关系；

虚拟检测线设定模块，用于建立若干条虚拟检测线，通过所述空间的道路图像与所获得的视频图像的对应关系可以对应成在实际道路上的虚拟检测线；

图像展开处理模块，用于将读取的圆形视频图像展开为全景柱状图；

色彩空间转化模块，用于将交通图像RGB色彩空间转换到YUV颜色空间；

车辆判断模块，用于通过统计虚拟检测线区域内的灰度变化情况来确定目标车辆进入或离开虚拟检测线；

基于YUV颜色模型的车辆判断模块，用于利用YUV颜色空间特征，将前后关联帧中的色彩值进行比较来进行识别出车辆信息：

将虚拟检测线分成均匀的N段，每段长度与最小车辆的几何尺度有关，设最小车辆长度为Car_wmin，分段数为S_num，虚拟检测线总长度M，最小检测基元大小可以由式(23)、(24)表示；

$\mathrm{BL}=\frac{{\mathrm{Car}}_{w\min }}{S_{\mathrm{num}}}---\left(23\right)$

$N=\frac{M}{\mathrm{BL}}---\left(24\right)$

对于每一个均匀分割的N段中的一个子段利用式(25)来进行判断，

$\mathrm{PS}=\underset{i=0}{\overset{N}{\mathrm{\Σ}}}\mathrm{DS}\left(i\right)$

式中T2为区别车辆信号和背景信号分量变化的阈值；SD为帧差累积平均值，计算公式如下(26)：

$\mathrm{SD}=\frac{\underset{i=0}{\overset{i=n-1}{\mathrm{\Σ}}}{|I_c\left(i\right)-I_B\left(i\right)|}^2}{n}---\left(26\right)$

式中I_c(i)为当前帧第i个像素点颜色值，而I_B(i)为背景帧第i个像素所对应的颜色值；

如果PS＞Car_wmin/2，判断车辆存在，否则判断车辆不存在；

车速检测模块，用于根据车辆检测的前后关联帧中的一系列数值通过最小二乘法计算车辆速度，根据标定关系转化为实际道路上的车辆速度：

假设车辆行驶在监视范围内是匀速的，用式(28)表示车辆的运动距离与时间的关系，

l_i＝α+βt_i+ε_i(28)

上式中，被监视车辆移动轨迹检测值l_i表示i帧图像与(i+1)帧图像之间车辆所移动的距离，t_i表示i帧图像与(i+1)帧图像之间车辆移动距离所花费的时间，i为自然数；

采用最小二乘法计算式(28)中的未知参数(α，β)的估计值

使公式(29)取值为最小：

$\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(l_i-\widehat{\mathrm{\α}}-\widehat{\mathrm{\β}}{t}_i)}^2=\underset{\mathrm{\α},\mathrm{\β}}{\min }\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(l_i-\mathrm{\α}-{\mathrm{\βt}}_i)}^2---\left(29\right)$

利用偏微分方法求解估计值

为车辆车速估计值，如式(30)表示；

$\widehat{\mathrm{\β}}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(t_i-\stackrel{\‾}{t})(l_i-\stackrel{\‾}{l})}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(t_i-\stackrel{\‾}{t})}---\left(30\right)$

上式中，t，l分别为时间与距离的均值。

2. 如权利要求1所述的基于全方位视觉传感器的道路监控装置，其特征在于：所述的车辆判断模块，用以设定道路路面呈黑灰白之间其像素灰度Gb的分布均匀，道路上行驶的车辆构成的像素灰度Gv与背景路面的像素灰度Gb有一个差值，预设一个灰度阈值TH，Gv＜TH＜Gb，并设置虚拟检测线区域内的Gv到TH之间像素个数的临界值NTH，并统计虚拟检测线区域内的Gv到TH之间像素个数：

如统计的个数小于临界值NTH，判断没有车辆通过虚拟检测线区域；

如统计的个数增大到临界值NTH，判断车辆进入虚拟检测线区域；

如统计的个数减小到临界值NTH，判断车辆离开虚拟检测线区域。

3. 如权利要求1所述的基于全方位视觉传感器的道路监控装置，其特征在于：所述的微处理器还包括背景刷新模块，用于根据车辆检测的结果和选定的背景刷新策略进行背景更新，以适应道路场景的动态变化，在YUV颜色模型中，先要确定初始背景，初始背景的各分量值的计算式为(31)：

$I_0=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{I}_k{\left(x\right)}_{\mathrm{color}},\mathrm{color}=Y,U,V---\left(31\right)$

上式中，N为经验值，I_k(x)_color(color＝Y，U，V)表示第K帧图像中x处的Y，U，V颜色分量值；

判断是否是前景像素的条件为：

其中，U_T、V_T、Y_T为Y、U、V各分量的门限值；

当满足上述条件时，x处的像素为前景像素，否则为背景像素；

背景刷新的计算式为(32)：

上式中，B_t(x)表示t时刻背景的Y、U、V分量值，I_t+Δt(x)表示t+Δt时刻背景的Y、U、V分量值，α为小于1的系数。

4. 如权利要求1所述的基于全方位视觉传感器的道路监控装置，其特征在于：所述的微处理器还包括车速跟踪模块，用于基于YUV颜色模型的帧间像素差统计值作为模式特征指标：

判断每个像素上是否有车辆通过的准则用式(26)来进行判断：

Y′＝255Y/Y_B

其中

上式中，Y_B为背景的平均亮度分量值，Y、U、V为像素色彩值，Y_T、U_T、V_T为阈值；

当式(26)判断为有车辆通过时，开始跟踪车速检测特征点，接着沿车速检测线的辅助检测端到主检测线，逐一比较各个像素值，比较准则用公式(27)给出；

|f_t(x)-g(x)|＞T    (27)

上式中，x₀≤x≤x₀+M M为比较窗口，x为车速检测线上的点，f_t(x)为该比较窗口中的所有像素的当前色彩值，g(x)为该比较窗口中的所有像素的背景色彩值，T表示阈值；

如果(27)成立，开辟一个内存来记录该区域所有像素的颜色，当下一帧到来时，重新完成上述的跟踪计算一次，然后将上次记录在内存中的区域色彩值与这一帧找到的色彩值进行比较，如果满足公式(27)就认为车速跟踪成功，继续跟踪直到车辆已被确定离去为止，并记录车辆轨迹。

5. 如权利要求1-4之一所述的基于全方位视觉传感器的道路监控装置，其特征在于：所述的图像展开处理模块，用于根据圆形全方位图像上的一个点(x^*，y^*)和矩形全景图上的一个点(x^**，y^**)的对应关系，建立(x^*，y^*)与(x^**，y^**)的映射矩阵，通过M映射矩阵建立关系式(21)：

P^**(x^**，y^**)←M×P^*(x^*，y^*)(21)

上式中，P^*(x^*，y^*)为成像平面上的每个像素矩阵，P^**(x^**，y^**)为全方位图像上每个点对应的矩阵，M为映射矩阵。

6. 如权利要求1-4之一所述的基于全方位视觉传感器的道路监控装置，其特征在于：所述的色彩空间转化模块，从RGB色彩空间转换到YUV空间的关系式为式(22)：

Y＝0.301*R+0.586*G+0.113*B

U＝-0.301*R-0.586*G+0.887*B    (22)

V＝0.699*R-0.586*G-0.113*B

上式中，Y代表YUV颜色模型的亮度，U、V是YUV颜色模型的两个彩色分量，表示色差；R表示RGB色彩空间的红色；G表示RGB色彩空间的绿色；B表示RGB色彩空间的蓝色。

Images