CN1912950A - 基于全方位视觉传感器的违章车辆监控装置 - Google Patents

Abstract

一种基于全方位视觉传感器的违章车辆监控装置，属于车辆违章监控装置领域，包括微处理器、用于监视道路情况的监控传感器以及交通信号灯，所述监控传感器连接微处理器，所述的微处理器包括：图像数据读取模块，图像数据文件存储模块，监控传感器是全方位视觉传感器，微处理器还包括：传感器标定模块，虚拟检测线设定模块，车道通行方向设定模块，交通信号灯状态检测区域设定模块，图像展开处理模块，色彩空间转化模块，自适应背景消减处理模块，连通区域标识模块，运动车辆跟踪模块，车辆违章判断模块，该模块包括：具有车道行驶方向的道路违章判断单元和无车道行驶方向的道路违章判断单元。本发明减少成本、监控灵活、实时性好、准确性高。

Description

基于全方位视觉传感器的违章车辆监控装置

(一)技术领域

本发明涉及一种违章车辆监控装置，将信息技术、图像处理技术、电子传感器技术、自动控制技术、数据通信技术、计算机网络技术、人工智能技术等有效的综合运用于交通违章管理，加强了车辆、道路、使用者间的关系，从而实现交通管理的智能化。

(二)背景技术

随着经济的飞速发展，车辆数量的急剧增加，产生了日益严重的交通问题，如交通环境恶化、交通事故频繁、交通拥挤阻塞等，特别是在北京、上海等中大型城市交通情况呈现恶化趋势，每年我国的交通事故的死亡人数基本上处在10万人左右水平，连续几年居世界首位。在中国，交通事故每死3个人，有2个是由于违章驾驶。我国多年的交通事故统计资料显示，交通事故的主要加害者是机动车驾驶员，而行人、乘车人和骑自行车的人是交通事故中的三大受害群体，死亡人数中的四分之三是行人、乘车人和骑自行车的人。

许多统计资料表明，极大多数的严重的交通事故发生在十字路口，而其中的极大多数又是由于机动车驾驶员违章或闯红灯造成的。目前我国的中大城市的交通管理中已经普遍使用摄像机来监视交通的违章，由于缺乏图像处理技术和人工智能技术的支持，还需要大量的人力来进行实时的观测，从而对异常路面情况做出实时的反映，这种处理方法需要大量的人力投入，同时对监视人员又要求有较高的素质和注意力。采用这种工作方式的缺点是占用大量警力、执法人员容易疲劳、不能全天候工作、无法提供有力证据。

我国的现行交通规则是国务院在1988年3月9日发布的，规则中对路口车辆、行人的通行有明确的规定。在规则的第二章第十条中规定：(1)绿灯亮时，准许车辆、行人通行，但转弯的车辆不准妨碍直行的车辆和被放行的行人通行；(2)黄灯亮时，不准车辆行人通行，但已越过停止线的车辆和已进入人行横道的行人，可以继续通行；(3)红灯亮时，不准车辆、行人通行；(4)绿色箭头灯亮时，准许车辆按箭头所示方向通行；(5)黄灯闪烁时，车辆、行人须在确保安全的原则下通行。右转弯的车辆和T形路口右边无横道的直行车辆，遇到前款(2)，(3)条规定时，在不妨碍被放行的车辆和行人通行的情况下，可以通行。

我国现行的交通法规在信号灯与车辆行驶状况的关系方面可以用表1来归纳；

红灯	黄灯	绿灯	车辆状况
				亮	灭	灭	停止
亮	亮	灭	准备行进
				灭	亮	灭	准备停止
灭	灭	亮	行进

表1  信号灯与车辆行驶状况的关系

以前为了阻止闯红灯这一违反交通法规并且给人们生活带来威胁的现象，只能利用交通警察的执勤来起到监督与管理的作用；现在由于交通部门的重视，国内外已经将图像、照相机、传感器等高新技术应用于交通路口，这些努力导致称为红灯摄像机(RLC)的一类系统产生，它常与交通灯控制电路以及埋在路面下的感应线圈监测器一起工作。

闯红灯检测技术始于20世纪80年代末，1994年以来，美国、法国等工业发达国家相继研制成功闯红灯系统。法国研制的闯红灯监视系统采用闪光照相的方式，美国旧金山等地使用的是地磁线圈结合CCD采集方式。我国在1996年引进照相方式的闯红灯监视系统，北京市交通科研所等单位研制了黑白型红灯监视系统。1997年深圳格林威交通科技有限公司研制了基于地磁线圈检测的CCD彩色闯红灯监视系统，西北工业大学则研制了基于视频检测的彩色CCD闯红灯监视系统。目前基于图像处理技术的闯红灯智能检测方法主要有两种：(1)感应线圈监测器结合照相或摄像的闯红灯检测方法；(2)完全的基于视频技术的检测方法。

在交通路口的车辆违章方面的使用上，虽然许多地方和科研机构也有这方面的设想，但是至今还没有将自动检测与识别技术应用于路口的实际应用，只是对可能使用的方法进行了阐述。在发达城市的交通路口，通常采用的是摄像头-传感线圈的工作模式，将线圈埋于地表下，通过震动传感、热传感等技术控制摄像头拍摄违章画面。这种方式有如下几个显著的缺点：(1)系统的成本高。因为每当增加一个新的监视点，就必须投入一次人力、物力和财力在交通路口埋设传感线圈；(2)待监控的路口不灵活。因为只能在已经埋好线圈的路口进行监视；(3)系统的维护不方便，因为感应线圈如果损坏，需要重新埋藏、安放；(4)影响交通的正常运行，因为在埋藏感应线圈的时候，需要阻断路面的交通。

信号灯的状态是判断车辆是否违章的依据。在监视违章车辆时，信号灯的状态有时可以通过接入控制线得到。但是，在有些地方交通灯的控制线不能轻易地接入监视系统，人们也希望能够通过图像处理的方法，得到信号灯的状态信息，这样可以提高系统的智能性和灵活性。

另一方面，路口上的白色粗线是用来提醒驾驶员和行人，如果信号灯的状态是红灯时，车辆或者行人越过该白色粗线(停止线)就被认为是闯红灯。在图像处理中，为了识别车辆是否超越停止线，就需要确定停止线的位置。而且识别信号灯的状态与识别车辆是否超越停止线必须是同时进行的。

但是，在道路上从视觉角度来看，信号灯的状态与停止线的最佳视角是行车方向上，这对用一个摄像机同时要获得信号灯的状态与停止线附近的图像信息几乎不可能，虽然可以采用两个摄像头，一个用于检测信号灯的状态，另一个用于检测停止线附近的车辆与行人的状态。这种方式虽然是可行的，但是会增加成本和系统的复杂程度，影响检测的实时性。如果是在一个十字路口要检测四个方向上违章则需要8个摄像装置。

(三)发明内容

为了克服已有的违章车辆监控装置的成本高、监控不灵活、实时性差、准确性低的不足，本发明提供一种减少成本、监控灵活、实时性好、准确性高的基于全方位视觉传感器的违章车辆监控装置。

本发明解决其技术问题所采用的技术方案是：

一种基于全方位视觉传感器的违章车辆监控装置，包括微处理器、用于监视道路情况的监控传感器以及交通信号灯，所述监控传感器连接微处理器，所述的微处理器包括：

图像数据读取模块，用于读取从全方位视觉传感器传过来的视频图像信息；

图像数据文件存储模块，用于将读取的视频图像信息通过文件方式保存在存储单元中；

所述的监控传感器是全方位视觉传感器，所述的全方位视觉传感器包括用以反射监控领域中物体的外凸折反射镜面、用以防止光折射和光饱和的黑色圆锥体、透明圆柱体、二次反射平面镜面和摄像头，所述的外凸折反射镜面位于透明圆柱体的上方，外凸折反射镜面朝下，黑色圆锥体固定在二次反射平面镜面的中心，摄像头对着二次反射平面镜面朝下，所述的二次反射平面镜面位于外凸反射镜面的虚焦点位置，所述的摄像头位于外凸反射镜面的实焦点位置；所述的微处理器还包括：

传感器标定模块，用于建立空间的道路图像与所获得的视频图像的对应关系，在水平方向实物图像坐标与图像呈线性关系；

虚拟检测线设定模块，用于依照道路平面的停止线，建立与停止线对应的虚拟检测线；

车道通行方向设定模块，用于设定道路的各车道上允许车辆运行的方向，该通行方向与实际路口车道情况相一致，且与上述交通信号灯的设定相匹配；

交通信号灯状态检测区域设定模块，用于设定各交通信号灯的图像检测区域，并设定各个信号灯与道路车道的匹配关系；

图像展开处理模块，用于将读取的圆形视频图像展开为四个道路方向柱状图；

色彩空间转化模块，用于将交通图像的RGB色彩空间转换到YUV空间；

自适应背景消减处理模块，用于提取出前景目标对象，在自适应背景消减处理模块中，采用混合高斯分布模型的自适应背景消除算法，使用混合高斯分布模型来表征图像帧中每一个像素点的特征；当获得新的图像帧时，更新混合高斯分布模型；在每一个时间段上选择混合高斯分布模型的子集来表征当前的背景；如果当前图像的像素点与混合高斯分布模型相匹配，则判定该点为背景点，否则判定该点为前景点，得到前景目标图像；

连通区域标识模块，用于标识出各个前景目标的连通区域，计算运动目标信息：目标大小、位置坐标、质心坐标；

运动车辆跟踪模块，用于记录每帧图像获得的各个运动目标的外围矩形和运动信息，将同一车辆在不同的帧中进行相互关联，跟踪了解车辆在每一帧的行驶状况；

车辆违章判断模块，该模块包括：

具有车道行驶方向的道路违章判断单元，用于根据虚拟车道上检测是否有车辆变道行驶，如果变道行驶，判定为违章行驶；如车道上当设定方向行驶的红灯亮时，如果发现车辆正在进入停止虚拟线或者处在停止虚拟线位置上，判定为违章行驶；当车道上设定方向行驶的黄灯亮时，如果发现有车辆正在进入停止虚拟线，判定为违章行驶；

无车道行驶方向的道路违章判断单元，用于设定方向的红灯亮时，发现有车辆正在进入停止虚拟线或者处在停止虚拟线位置上，设定该车辆为越线状态，并继续跟踪，如果跟踪发现设定了越线状态的车辆并没有向右转弯，判定为违章行驶。

进一步，所述的违章车辆监控装置还包括快球装置，所述的微处理器还包括：快球移动与抓拍模块，用于在判断为违章行驶后，将该车辆的空间位置传递给快球，启动快球以最佳位置、最佳焦距拍摄违章车辆。

或者是：在所述的快球移动与抓拍模块中，对于同一时间多辆车辆违章驾驶时，读取运动车辆跟踪模块中跟踪到的当前违章车辆的空间位置(x_i，y_i，z_i)，如果发现另外车辆也有违章时，求其他车辆与当前违章车辆的距离，控制快球以最近的距离去移动抓拍。

再进一步，在所述的快球移动与抓拍模块中，对于同一时间多辆车辆违章驾驶时，读取运动车辆跟踪模块中跟踪到的当前违章车辆的时间，控制快球以违章时间的先后顺序去移动抓拍。

更进一步，所述的微处理器还包括车速识别模块，用于根据车辆检测的前后关联帧中的数值通过最小二乘法计算车辆速度，并根据标定关系转化为实际道路上的车辆速度：

假设车辆行驶在监视范围内是匀速的，用式(4)表示车辆的运动距离与时间的关系，

l_i＝α+βt_i+ε_i                   (4)

上式中，被监视车辆移动轨迹检测值l_i表示i帧图像与(i+1)帧图像之间车辆所移动的距离，t_i表示i帧图像与(i+1)帧图像之间车辆移动距离所花费的时间，i为自然数；

采用最小二乘法计算式(4)中的未知参数(α，β)的估计值

使公式(5)取值为最小：

$\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(l_i-\widehat{\mathrm{\α}}-{\widehat{\mathrm{\β}}t}_i)}^2=\underset{\mathrm{\α},\mathrm{\β}}{\min }\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(l_i-{\mathrm{\α}-\mathrm{\βt}}_i)}^2---\left(5\right)$

利用偏微分方法求解估计值

为车辆车速估计值，如式(6)表示；

$\widehat{\mathrm{\β}}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(t_i-\stackrel{-}{t})(l_i-\stackrel{\‾}{l})}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(t_i-\stackrel{\‾}{t})}---\left(6\right)$

上式中， t， l分别为时间与距离的均值。

所述的车辆违章判断模块还包括：车辆越线判断单元，用于设定道路路面呈黑灰白之间其像素灰度Gb的基本分布均匀，道路上行驶的车辆构成的像素灰度Gv与背景路面的像素灰度Gb有一个差值，预设一个灰度阈值TH，Gv＜TH＜Gb，并设置检测虚拟线区域内的Gv到TH之间像素个数的临界值NTH，并统计检测虚拟线区域内的Gv到TH之间像素个数：

如统计的个数小于临界值NTH，判断没有车辆通过检测线区域；

如统计的个数增大到临界值NTH，判断车辆进入检测线区域；

如统计的个数减小到临界值NTH，判断车辆离开检测线区域。

车辆越线确认单元，用于根据上述判断为进入虚拟检测线区域后，再根据车辆跟踪模块的结果，判断被跟踪的车辆是否进入了检测虚拟线区域内，如果进入，便确认为超越停止线。

所述的微处理器还包括：

交通信号灯状态检测模块，用于将RGB用式(1)表示，其中r，g，b称为色度坐标，由于r+g+b＝1的关系成立，

$r=\frac{2R}{B+G},g=\frac{2G}{R+B},b=\frac{2B}{R+G}---\left(1\right)$

根据公式(1)计算，如红色色度分量r远远大于1，判定信号灯为红灯；如绿色色度分量r远远大于1，判定信号灯为绿灯；

单个基色具有8位256个数量级的图像，Y＝255-B，得到Y基色平面，用式(2)表示，根据式(2)：

$y=\frac{2(255-B)}{255-G+255-R}---\left(2\right)$

如y远远大于1，判定为黄灯。

所述的自适应背景消减处理模块包括：

自适应背景消减单元，用于对图像的YCrCb颜色空间中的亮度值Y进行检测，自适应混合高斯模型对每个图像点采用多个高斯模型的混合表示，设用来描述每个点颜色分布的高斯分布共有K个，分别标记为：

η(Y_t，μ_t，i，∑_t，i)，i＝1，2，3…，k，其中下标t表示时间；

各高斯分布分别具有不同的权值和优先级，再将K个背景模型按照优先级从高到低的次序排序，取定适当的背景模型权值和阈值，在检测前景点时，按照优先级次序将Y_t与各高斯分布模型逐一匹配，若匹配，则判定该点可能为背景点，否则为前景点；若某个高斯分布与Y_t匹配，则对该高斯分布的权值和高斯参数按设定的更新率进行更新；

阴影抑制单元，用于抑制运动对象之间的遮挡和光照所造成的阴影，在彩色模型空间中，任何颜色采用YCrCb表示，阴影和道路的区别在于颜色分量CrCb相近，亮度分量Y较小，先学习道路的颜色分量CrCb和亮度分量Y，当碰到前景点时，先判断该点的颜色分量CrCb是否和道路相近，亮度分量Y是否比道路低，判断公式由式(3)给出；

$\left\{\begin{array}{c}0,\mathrm{if}(\mathrm{abs}(\mathrm{Cr}-\mathrm{RoadCr})>\mathrm{threshold}||\mathrm{abs}(\mathrm{Cb}-\mathrm{RoadCb})>\mathrm{threshold})\\ 1,\mathrm{else}\end{array}\right.---\left(3\right)$

上式中，标记0的点属于阴影，标记1的点属于前景点。

所述的图像展开处理模块，用于根据圆形全方位图像上的一个点(x^*，y^*)和矩形全景图上的一个点(x^**，y^**)的对应关系，建立(x^*，y^*)与(x^**，y^**)的映射矩阵，通过M映射矩阵建立关系式(7)：

P^**(x^**，y^**)← M× P^*(x^*，y^*)                (7)

上式中，P^*(x^*，y^*)为成像平面上的每个像素矩阵，P^**(x^**，y^**)为全方位图像上每个点对应的矩阵，M为映射矩阵。

所述的色彩空间转化模块，从RGB色彩空间转换到YUV空间的关系式为式(8)：

Y＝0.301*R+0.586*G+0.113*B

U＝-0.301*R-0.586*G+0.887*B       (8)

V＝0.699*R-0.586*G-0.113*B

上式中，Y代表YUV颜色模型的亮度，U、V是YUV颜色模型的两个彩色分量，表示色差；R表示RGB色彩空间的红色；G表示RGB色彩空间的绿色；B表示RGB色彩空间的蓝色。

本发明的工作原理是：全方位视觉传感器ODVS(OmniDirectional VisionSensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。这种ODVS摄像机主要由一个CCD摄像机和正对着摄像头的一个反光镜组成。反光镜面将水平方向一周的图像反射给CCD摄像机成像，这样，就可以在一幅图像中获取水平方向360°的环境信息。这种全方位摄像机有着非常突出的优点，特别在对全景实时处理要求下，是一种快速、可靠的视觉信息采集途径。

因此如何通过全方位光学成像技术、计算机图象处理技术和网络技术通信技术为智能交通管理领域提供一种快速、可靠的道路视觉信息采集途径，并根据ODVS摄像机得到的道路实时全方位图像，根据现行交通规则通过计算判断车辆或者行人是否违章，同时也能获取实时的通过路口车流信息，另外与快球的配合可以获取违章车辆的具体信息，比如违章车辆的车牌号等。因此作为一种基于全方位视频图像的检测技术，是一种结合数字视频图像和人工模式识别的技术。它与传统的检测器相比，全方位视频检测器具有明显的优势，主要体现在：

(1)具有大区域检测的特点，在一个十字路口只要安装一个全方位视觉装置就能实现对路口的交通管理和控制。

(2)使用安装无需接触公路实体，且维护方便。

(3)具有完备的检测手段，除了能够检测出路口交通的违章车辆与行人之外，还能够检测出绝大多数的交通流数据，其中包括交通流量、车辆速度以及占有率等，甚至还能够实现交通事故的自动检测。

本发明的一种基于全方位视觉传感器的违章车辆监控方法与装置用于无人职守的交通路口，装置能自动对交通路口的情况进行监控，对车辆的行驶状况进行跟踪监视，自动记录违反交通规则的车辆；发明中关键要解决的问题是实现能够正确、快速检测和识别视频序列中闯红灯的运动车辆，这样可以将所获得的视频信息用于法律裁决，同时也可以用于交通信号控制器来控制交通的流量。

ODVS摄像装置的光学部分的制造技术方案，ODVS摄像装置主要由垂直向下的折反射镜和面向上的摄像头所构成。具体构成是由聚光透镜以及CCD构成的摄像单元固定在由透明树脂或者玻璃制的圆筒体的下部，圆筒体的上部固定有一个向下的大曲率的折反射镜，在折反射镜和聚光透镜之间有一根直径逐渐变小的圆锥状体，该圆锥状体固定在折反射镜的中部，圆锥状体的目的是为了防止过剩的光射入而导致在圆筒体内部的光饱和现象。图2是表示本发明的全方位成像装置的光学系统的原理图。

折反射全景成像系统能用针孔成像模型进行成像分析，但要获得透视全景图像必须对采集的实景图像逆投影，因而计算量大，特别是用在对路口的车辆进行监控，必须满足实时性的要求。一般作为测速、车流量、违章监视功能的全方位视觉装置是用来把握整个全局道路折反射情况；对于违规车辆的自动抓拍取证以及车牌识别需要用另一台能控制在空间移动的并能调焦的摄像设备来完成，该摄像设备负责某个局部违规部分图像的获取。

场景中物点的水平坐标与相应像点的坐标成线性关系就能确保水平场景无畸变，作为违章检测的全方位视觉装置安装在离路面高度4.5米左右之处，监视着道路水平方向上的车况，因此在设计全方位视觉装置的折反射镜面时要保证在水平方向上的不变形。

设计中首先选用CCD(CMOS)器件和成像透镜构成摄像头，在对摄像头内部参数标定的基础上初步估算系统外形尺寸，然后根据高度方向的视场确定反射镜面形参数。

如图1所示，摄像头的投影中心C在道路水平场景上方距离水平场景h处，反射镜的顶点在投影中心上方，距离投影中心zo处。本发明中以摄像头投影中心为坐标原点建立坐标系，反射镜的面形用z(X)函数表示。在像平面内距离像中心点ρ的像素q接受了来自水平场景O点(距离Z轴d)，在反射镜M点反射的光线。水平场景无畸变要求场景物点的水平坐标与相应像点的坐标成线性关系；

d(ρ)＝αρ                                (9)

式(9)中ρ是与反射镜的面形中心点的距离，α为成像系统的放大率。

设反射镜在M点的法线与Z轴的夹角为γ，入射光线与Z轴的夹角为Φ，反射光线与Z轴的夹角为θ。则

$\mathrm{tg}\left(x\right)=\frac{d\left(x\right)-x}{z\left(x\right)-h}---\left(10\right)$

$\mathrm{tg\γ}=\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}---\left(11\right)$

$\mathrm{tg}\left(2\mathrm{\γ}\right)=\frac{2\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}}{1-\frac{d^{2}z\left(x\right)}{{\mathrm{dx}}^2}}---\left(12\right)$

由反射定律

2γ＝φ-θ

∴ $\mathrm{tg}\left(2\mathrm{\γ}\right)=\mathrm{tg}(\mathrm{\φ}-\mathrm{\θ})=\frac{\mathrm{tg\φ}-\mathrm{tg\θ}}{1+\mathrm{tg\φtg\θ}}---\left(14\right)$

由式(10)、(12)、(13)和(14)得到微分方程(15)

$\frac{d^{2}z\left(x\right)}{{\mathrm{dx}}^2}+2k\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}-1=0---\left(15\right)$

式中； $k=\frac{z\left(x\right)[z\left(x\right)-h]+x[d\left(x\right)-x]}{z\left(x\right)[d\left(x\right)-x]+x[z\left(x\right)-h]}---\left(16\right)$

由式(16)得到微分方程(17)

$\frac{\mathrm{dz}\left(x\right)}{\mathrm{dx}}+k-\sqrt{k^2+1}=0---\left(17\right)$

由式(9)、(13)得到式(18)

$d\left(x\right)=\frac{\mathrm{afx}}{z\left(x\right)}---\left(18\right)$

由式(16)、(17)、(18)和初始条件，解微分方程可以得到反射镜面形的数字解。系统外形尺寸主要指反射镜离摄像头的距离Ho和反射镜的口径D。折反射全景系统设计时根据应用要求选择合适的摄像头，标定出R_min，透镜的焦距f确定反射镜离摄像头的距离Ho，由(9)式计算出反射镜的口径Do。

系统参数的确定：

根据应用所要求的高度方向的视场确定系统参数af。由式(9)、(10)和(13)得到式(18)，这里作了一些简化，将z(x)≈z₀，主要考虑对于镜面的高度变化相对于镜面与摄像头的位置变化比较小；

$\mathrm{tg\φ}=\frac{(\mathrm{af}-z_0)\frac{\mathrm{\ρ}}{f}}{z_0-h}---\left(19\right)$

在像平面以像中心点为圆心的最大圆周处 $\mathrm{\ρ}=R_{\min }\→{\mathrm{\ω}}_{\max }=\frac{R_{\min }}{f}$

对应的视场为φ_max。则可以得到式(20)；

$\frac{\mathrm{\ρ}}{f}=\frac{(z_0-h)\mathrm{tg}{\mathrm{\φ}}_{\max }}{{\mathrm{\ω}}_{\max }}+z_0---\left(20\right)$

成像模拟采用与实际光线相反的方向进行。设光源在摄像头投影中心，在像平面内等间距的选取像素点，通过这些像素点的光线，经反射镜反射后与水平面相交，若交点是等间距的，则说明反射镜具有水平场景无畸变的性质。成像模拟一方面可以评价反射镜的成像性质，另一方面可以准确地计算出反射镜的口径和厚度。

进一步说明本发明在实施过程中涉及到标定问题：

如何标定全方位视觉传感器的成像平面内的像素距离与实际三维空间距离的对应关系。因为全方位视觉摄像机成像平面是二维的，以像素为计量单位，在成像平面上，观察到车辆通过标定的一段距离时，只能知道其像素距离；而实际车辆通过的距离是未知的，只有找到两者的对应关系，才能根据车辆在图像中移动的距离计算出车辆实际的移动距离。

全方位视觉摄像机视场距离的标定涉及成像几何的理论，将客观世界的三维场景投射到摄像机的二维象平面，需要建立摄像机的模型来描述。通过确定摄像机的物理参数和方位参数，才能把象平面的度量确定下来，从而计算车辆通过的实际距离。

成像变换涉及不同坐标系之间的变换。在摄像机的成像系统中，涉及到的有以下4个坐标系；(1)现实世界坐标系XYZ；(2)以摄像机为中心制定的坐标系x^y^z^；(3)像平面坐标系，在摄像机内所形成的像平面坐标系x^*y^*o^*；(4)计算机图像坐标系，计算机内部数字图像所用的坐标系MN，以像素为单位。

根据以上几个坐标系不同的转换关系，就可以得到所需要的全方位摄像机成像模型，换算出二维图像到三维场景的对应关系。本发明中采用折反射全方位成像系统的近似透视成像分析方法将摄像机内所形成的像平面坐标二维图像换算到三维场景的对应关系，图3为一般的透视成像模型，d为物高，ρ为像高，t为物距，F为像距(等效焦距)。可以得到式(21)

$d=\frac{t}{F}\mathrm{\ρ}---\left(21\right)$

在上述水平场景无的折反射全方位成像系统的设计时，要求场景物点的水平坐标与相应像点的坐标成线性关系，如式(9)表示；比较式(21)，(9)，可以看出水平场景无变形的折反射全方位成像系统对水平场景的成像为透视成像。因此就水平场景成像而言，可以将水平场景无变形的折反射全方位成像系统视为透视相机，α为成像系统的放大率。设该虚拟透视相机的投影中心为C点(见附图3)，其等效焦距为F。比较式(21)，(9)式可以得到式(22)；

$\mathrm{\α}=\frac{t}{F};$ t＝h              (22)

由式(20)、(22)得到式(23)

$F=\frac{{\mathrm{fh\ω}}_{\max }}{(z_0-h)\mathrm{tg}{\mathrm{\φ}}_{\max }+z_0{\mathrm{\ω}}_{\max 0}}---\left(23\right)$

根据上述全方位摄像机成像模型进行系统成像模拟，由摄像头投影中心发出的经过像素平面内等间距像素点的光线族反射后，在距离投影中心4.5m的水平道路面上的交点基本上是等间距的，如附图4所示。因此根据上述设计原理本专利中将道路水平面的坐标与相应全方位像点的坐标之间的关系简化为线性关系，也就是说通过反射镜面的设计将现实世界坐标系XYZ到像平面坐标系的转化可以用放大率α为比例的线形关系。下面是从像平面坐标系到计算机内部数字图像所用的坐标系的转化，计算机中使用的图像坐标单位是存储器中离散像素的个数，所以对实际像平面的坐标还需取整转换才能映射到计算机的成像平面，其变换表达式为由式(24)给出；

$M=O_m-\frac{x^{*}}{S_x};N=O_n-\frac{y^{*}}{S_y}---\left(24\right)$

式中：O_m、O_n分别为象平面的原点在计算机图像平面上所映射的点像素所在的行数和列数；S_x、S_y分别为在x和y方向上的尺度因子。S_x、S_y的确定是通过在摄像头与反射镜面之间距离Z处放置标定板，对摄像机进行标定得到S_x、S_y的数值，单位是(pixel)；O_m、O_n。的确定是根据所选择的摄像头分辨率像素，单位是(pixel)。

由于安装在道路上的全方位视觉传感器的摄像单元的引线是从全方位视觉装置的上部引出的，为了要达到这个目的，需要增加一个平面反射镜面4，如图2所示；由于增加了一个平面反射镜面4，要求从曲线面镜折射来到达平面反射镜面的光线基本上能成为一种近似平行光。

所述的平面反射镜面4的位置安置在全方位视觉装置的成像平面位置上，镜头1与感光器件10移动到曲线面镜2的后面(非折射凹面面)，曲线面镜2的凹面部分设计成可以安放镜头1与感光器件10，曲线面镜2的中心部位留有一个圆孔，使得从平面反射镜面反射过来的物景能顺利地进入安置在曲线面镜的凹面部分的镜头1与感光器件10，所述的曲线面镜2、平面反射镜面4、圆锥体3、镜头1以及感光器件10的中心位置在同一中心轴线上；其中心定位的关系可以通过上下固定座来保证，而最佳成像距离是通过透光外罩5与上下固定座的配合来保证的；

所述的透光外罩5的设计是将其设计成上大下小的圆台形状，通过这种设计使得透光外罩5上不易积上灰尘而影响透光度，同时在透光外罩5上涂上透明涂层以防止灰尘黏附在透光外罩5的外壁；考虑到全方位视觉装置使用在室外的情况，为了达到防水、防潮气、防灰尘目的，透光外罩与上下固定座的结合处须加入密封，在本发明中是采用将橡胶密封圈安置在透光外罩与上下固定座的结合处然后用螺钉进行固定。

进一步，根据图2来说明360°全方位进行摄像的原理，空间上的一个点A(x1，y1，z1)(图中用五角星表示)经折反射曲线面镜2的镜面反射到平面发射镜面4，在平面发射镜面4上对应有一个投影点P1(x^*1，y^*1)，通过镜头1的光线变成平行光投射到感光器件10，微处理器6通过视频接口读入该环状图像，采用软件对该环状图像进行展开得到全方位的图像并显示在显示单元7上或者通过视频服务器发布在网页上。

进一步，在展开方法上本专利中采用了一种快速的近似展开算法，能够将时间消耗和对各种参数的要求降到最小，同时尽可能的保持有用的信息。考虑到后面几个步骤的算法中，β分量即方位角度的信息是最需要的；而在竖直方向上，发生一些形变对结果几乎没有什么影响，这种展开的快速近似算法，如图6所示。图6中，B)图是圆形全方位成像图像，其中内径为r，外径为R，内外径之间的是图像的有效区域。现将其展开成右边的矩形全景图C)，展开规则有三条，

(1)X^*轴为起始位置，按逆时针方式展开；

(2)左图中X^*轴与内径r的交点O，对应到右图中左下角的原点O(0，0)；

(3)展开后的右图的宽度等于左图中虚线所示的圆的周长。其中虚线圆为左图内外径的同心圆，且其半径r1＝(r+R)/2。

设圆形图图6 B)的圆心O^*坐标(x^*0，y^*0)，展开的矩形图左下角原点坐标O^**(0，0)，矩形图C)中任意一点P^**＝(x^**，y^**)所对应的点在圆形图中的坐标为(x^*，y^*)。下面我们需要求的是(x^*，y^*)和(x^**，y^**)的对应关系。根据几何关系可以得到如下公式：

β＝tan^-1(y^*/x^*)                     (25)

r1＝(r+R)/2                          (26)

令虚线圆的半径r1＝(r+R)/2，目的是为了让展开后的图看起来形变均匀一些。

x^*＝y^*/(tan(2x^**/(R+r)))             (27)

y^*＝(y^**+r)cosβ                     (28)

从式(27)、(28)可以得到圆形全方位图像上的一个点(x^*，y^*)和矩形全景图上的一个点(x^**，y^**)的对应关系。该方法实质上是做了一个图像插值的过程。展开后，虚线上方的图像是横向压缩过的，虚线下方的图像是横向拉伸过的，而在虚线本身上的点则保持不变。

为了满足实时计算需要同样可根据圆形全方位图像上的一个点(x^*，y^*)和矩形全景图上的一个点(x^**，y^**)的对应关系，建立(x^*，y^*)与(x^**，y^**)的映射矩阵。由于这种一一对应关系，通过映射矩阵方法能把转变成不变形的全景图像。通过M映射矩阵可以建立起式(29)关系。

P^**(x^**，y^**)← M× P^*(x^*，y^*)            (29)

根据式(29)，对于成像平面上的每个像素P^*(x^*，y^*)在全方位图像上有一个点P^**(x^**，y^**)对应，建立了M映射矩阵后，实时图像处理的任务可以得到简化。在成像平面上得到的变形的全方位图像完成查表运算，生成不变形的全方位图像显示到显示器7上或者保存在存储单元8中或者通过Web服务发布给道路监管部门的管理系统或者提供道路交通流量信息服务。

全方位视觉传感器ODVS(OmniDirectional Vision Sensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。这种ODVS摄像机主要由一个CCD摄像机和正对着摄像头的一个反光镜组成。反光镜面将水平方向一周的图像反射给CCD摄像机成像，这样，就可以在一幅图像中获取水平方向360°的环境信息。这种全方位摄像机有着非常突出的优点，特别在对全景实时处理要求下，是一种快速、可靠的视觉信息采集途径。但另一方面，这种图像获取模式同时也决定了得到的全方位图像必然存在着一定程度上的压缩和形变，这就影响了它对远距离物体的观察精度。

这种ODVS摄像机可以在全方位拍摄到半球视野中的所有情况。能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。同时，由于全方位视觉是一种典型的机器视觉，是人不可能具备的。摄像机采集图像的原理和人眼观察物体的原理不一样，使得全方位图像与人眼看到的图像差别也很大，即使按照柱面展开，其形变还是存在的。因此如何通过全方位光学成像技术、计算机图像处理技术和网络技术通信技术为智能交通管理领域提供一种快速、可靠的车流视觉信息采集途径，并根据ODVS摄像机得到的实时全方位图像，通过计算判断运行中的车辆是否违章，同时也能获取实时的车流信息。

本发明的有益效果主要表现在：1、全方位视觉传感器的安装位置自由，监视环境不用瞄准目标；2、违章检测算法简单，性能价格比高；3、实时性强，能够快速可靠的采集视觉信息；4、准确性高。

(四)附图说明

图1是全方位视觉光学原理图。

图2是违章车辆监控装置的结构原理图。

图3是全方位视觉装置与一般的透视成像模型等价的透视投影成像模型示意图。

图4是全方位视觉装置在水平方向上图像无形变模拟示意图。

图5是用全方位视觉装置监测违章车辆，信号灯状态、虚拟检测触发区域以及车道分割示意图。

图6是将一个在反射镜面上的圆形经全方位图像转变成计算机显示的全景柱形图像的示意图。

图7是全方位视觉装置中计算车辆违章的流程图。

(五)具体实施方式

下面结合附图对本发明作进一步描述。

参照图1、图2、图3、图4、图5、图6、图7，一种基于全方位视觉传感器的违章车辆监控装置，包括微处理器6、用于监视道路情况的监控传感器29以及交通信号灯，所述监控传感器29连接微处理器6，所述的微处理器6包括：

图像数据读取模块12，用于读取从全方位视觉传感器传过来的视频图像信息；

图像数据文件存储模块14，用于将读取的视频图像信息通过文件方式保存在存储单元中；

现场实时播放模块19，用于将读取的视频图像实时播放；

网络传输模块18，用于将读取的视频图形信息通过通信模块传输到网络；

所述的监控传感器29是全方位视觉传感器，所述的全方位视觉传感器包括用以反射监控领域中物体的外凸折反射镜面、用以防止光折射和光饱和的黑色圆锥体、透明圆柱体、二次反射平面镜面和摄像头，所述的外凸折反射镜面位于透明圆柱体的上方，外凸折反射镜面朝下，黑色圆锥体固定在二次反射平面镜面的中心，摄像头对着二次反射平面镜面朝下，所述的二次反射平面镜面位于外凸反射镜面的虚焦点位置，所述的摄像头位于外凸反射镜面的实焦点位置；

所述的微处理器6还包括系统初始化模块13，初始化处理包括：传感器标定模块，用于建立空间的道路图像与所获得的视频图像的对应关系，在水平方向实物图像坐标与图像呈线性关系；虚拟检测线设定模块，用于依照道路平面的停止线，建立与停止线对应的虚拟检测线；车道通行方向设定模块，用于设定道路的各车道上允许车辆运行的方向，该通行方向与实际路口车道情况相一致，且与上述交通信号灯的设定相匹配；交通信号灯状态检测区域设定模块，用于设定各交通信号灯的图像检测区域，并设定各个信号灯与道路车道的匹配关系；

图像展开处理模块34，用于将读取的圆形视频图像展开为四个道路方向柱状图；

色彩空间转化模块20，用于将交通图像的RGB色彩空间转换到YUV空间；

自适应背景消减处理模块21，用于提取出前景目标对象，在自适应背景消减处理模块中，采用混合高斯分布模型的自适应背景消除算法，使用混合高斯分布模型来表征图像帧中每一个像素点的特征；当获得新的图像帧时，更新混合高斯分布模型；在每一个时间段上选择混合高斯分布模型的子集来表征当前的背景；如果当前图像的像素点与混合高斯分布模型相匹配，则判定该点为背景点，否则判定该点为前景点，得到前景目标图像；

连通区域标识模块，用于标识出各个前景目标的连通区域，计算运动目标信息：目标大小、位置坐标、质心坐标；

运动车辆跟踪模块22，用于记录每帧图像获得的各个运动目标的外围矩形和运动信息，将同一车辆在不同的帧中进行相互关联，跟踪了解车辆在每一帧的行驶状况；

车辆违章判断模块，该模块包括：

具有车道行驶方向的道路违章判断单元，用于根据虚拟车道上检测是否有车辆变道行驶，如果变道行驶，判定为违章行驶；如车道上当设定方向行驶的红灯亮时，如果发现车辆正在进入停止虚拟线或者处在停止虚拟线位置上，判定为违章行驶；当车道上设定方向行驶的黄灯亮时，如果发现有车辆正在进入停止虚拟线，判定为违章行驶；

无车道行驶方向的道路违章判断单元，用于设定方向的红灯亮时，发现有车辆正在进入停止虚拟线或者处在停止虚拟线位置上，设定该车辆为越线状态，并继续跟踪，如果跟踪发现设定了越线状态的车辆并没有向右转弯，判定为违章行驶。

微处理器6，如图7所示，其中还包括：系统初始化模块13，用于定制路口的道路基本信息以及信号灯的区域信息；图像展开处理模块34，用于将读取的圆形视频图像展开为全景柱状图、或2分全景柱状图，或4分全景柱状图；色彩空间转化模块20，用于将交通图像RGB色彩空间转换到YUV空间；自适应背景消减处理模块21，用于在道路上提取出车辆的图像信息；运动车辆跟踪模块22，用于跟踪车辆的运动轨迹；信号灯状态检测模块23，用于检测路口上所有信号灯的状态，根据信号灯的状态，选择要检测的车道，特别是检测红灯，其次是黄灯；是否超越停止线判断模块25，用于判断在某车道已经进入黄灯和红灯状态时，是否还有车辆进入虚拟检测线(即超过停止线)；车速检测处理模块26，用于检测在经过路口时的车辆是否超速；快球移动与抓拍模块27，用于对违章车辆进行抓拍车辆的图像，以便能识别出其车牌号码；违章车辆的车号识别模块28，根据上述抓拍得到的车辆图像，找到其车牌号码的位置，提取车牌号码，进行车牌识别，以便能自动进行违章处理；

所述的系统初始化模块13中还包括了传感器标定模块、虚拟检测线设定模块、交通信号灯检测区域设定模块、车辆通行方向设定模块，这些模块都是在系统初始化时使用的，因此在本专利中将这4个模块归纳在系统初始化模块13中；

所述的车道通行方向设定模块，用于设定在多车道上允许车辆运行的方向，在一些城市中对多车道上明确规定了左行、直行、右行车道，车道通行方向设定必须与实际路口车道情况相一致，同时也必须与上述交通信号灯状态检测区域设定模块对交通灯的设定相匹配；

所述的图像展开处理模块，可以有两种展开方法可以选择，一种是快速的近似展开算法，另一种是映射矩阵法；所述的映射矩阵法，为了要用硬件实现(DSP)或者满足实时计算需要，可以根据圆形全方位图像上的一个点(x^*，y^*)和矩形全景图上的一个点(x^**，y^**)的对应关系，建立(x^*，y^*)与(x^**，y^**)的映射矩阵。由于这种一一对应关系，通过映射矩阵方法能把转变成不变形的全景图像。通过M映射矩阵可以建立起式(29)关系。

P^**(x^**，y^**)← M× P^*(x^*，y^*)            (29)

根据式(29)，对于成像平面上的每个像素P^*(x^*，y^*)在全方位图像上有一个点P^**(x^**，y^**)对应，建立了M映射矩阵后，实时图像处理的任务可以得到简化。在成像平面上得到的变形的全方位图像完成查表运算，生成不变形的全方位图像；关于展开为全景柱状图、或2分全景柱状图，或4分全景柱状图通过控制输出像素的位置来实现；

所述的色彩空间转化模块20，从RGB色彩空间转换到YUV空间的关系式为式(8)：

Y＝0.301*R+0.586*G+0.113*B

U＝-0.301*R-0.586*G+0.887*B        (8)

V＝0.699*R-0.586*G-0.113*B

上式中，Y代表YUV颜色模型的亮度，U、V是YUV颜色模型的两个彩色分量，表示色差；R表示RGB色彩空间的红色；G表示RGB色彩空间的绿色；B表示RGB色彩空间的蓝色；

自适应背景消减处理模块21，用于提取出前景目标对象，在自适应背景消减处理模块中，还包括了自适应背景消减、阴影抑制和连通区域标识三个子步骤，其处理顺序如图4所示；

自适应背景消减，在自适应背景消减处理中采用了混合高斯分布模型的自适应背景消除算法，使用混合高斯分布模型来表征图像帧中每一个像素点的特征；当获得新的图像帧时，更新混合高斯分布模型；在每一个时间段上选择混合高斯分布模型的子集来表征当前的背景；如果当前图像的像素点与混合高斯分布模型相匹配，则判定该点为背景点，否则判定该点为前景点；

具体实现时，对图像的YCrCb颜色空间中的亮度值Y进行检测。自适应混合高斯模型对每个图像点采用了多个高斯模型的混合表示，设用来描述每个点颜色分布的高斯分布共有K个，分别标记为

η(Y_t，μ_t，i，∑_t，i)，i＝1，2，3…，k，其中下标t表示时间

各高斯分布分别具有不同的权值和优先级，再将K个背景模型按照优先级从高到低的次序排序，取定适当的背景模型权值和阈值。在检测前景点时，按照优先级次序将Y_t与各高斯分布模型逐一匹配。若匹配，则判定该点可能为背景点，否则为前景点。若某个高斯分布与Y_t匹配，则对该高斯分布的权值和高斯参数按一定的更新率进行更新。

阴影抑制模块，用于抑制运动对象之间的遮挡和光照所造成的阴影，由于通过背景消减所得到的前景目标区域中含有很大一部分阴影区域，为运动对象的正确分割和提取会造成严重的影响。在彩色模型空间中，任何颜色都可由YCrCb表示。阴影和道路的区别在于颜色分量CrCb相同(相近)，亮度分量Y较小。因此可以先学习道路的颜色分量CrCb和亮度分量Y，当碰到前景点时，先判断该点的颜色分量CrCb是否和道路相近，亮度分量Y是否比道路低。判断公式由式(3)给出；

$\left\{\begin{array}{c}0,\mathrm{if}(\mathrm{abs}(\mathrm{Cr}-\mathrm{RoadCr})>\mathrm{threshold}||\mathrm{abs}(\mathrm{Cb}-\mathrm{RoadCb})>\mathrm{threshold})\\ 1,\mathrm{else}\end{array}\right.---\left(3\right)$

式中标记0的点属于阴影，标记1的点属于前景。

连通区域标识模块，通过标识出各个前景目标的连通区域能为下一步目标跟踪做好准备，通过标识连通区域，可以为系统提供了各个需要跟踪的运动目标信息(目标大小、位置坐标、质心坐标等等)，来实现自动目标跟踪。本发明中采用的是八连通区域提取算法，按照一定的标号规则扫描图像，得到一定数量的连通区域；

运动车辆跟踪模块22，用于准确识别车辆的运动信息，由于上述的自适应混合高斯模型经过膨胀和消除孤立点的方法处理后，基本上每帧都可以获得各个运动目标的外围矩形和运动信息。换句话说，就是任意时刻CamShift都可以根据这些给定的目标信息进行追踪，然后将同一车辆在不同的帧中进行相互关联，这里对每一辆车的行驶路线进行估计与跟踪，通过跟踪了解车辆在每一帧的行驶状况，然后与交通规则与交通信号灯的状态信息相结合，来判断车辆是否违章，车辆跟踪模块中结合了动态图像处理和CamShift算法，处理步骤如下；

Step 1：从自适应背景消减处理模块中得到各个运动目标的运动信息，生成运动目标对象及运动目标对象链表.

Step 2：将当前运动目标对象链表与已跟踪的运动目标链表做匹配。如果不存在新的运动目标，则跳到步骤7.

Step 3：比较新运动目标的位置和检测区域中心位置。如果该目标不出现在检测区域中心位置则跳到步骤6.

Step 4：计算检测目标当前的色彩概率分布图.

Step 5：更新运动目标的色彩概率分布图.

Step 6：进行Camshift跟踪计算，根据计算结果在图像上绘制跟踪目标框图.

Step 7：读取一幅图像，转到Step 1。

交通信号灯状态检测模块23，用于检测交通灯的状态，目前道路上的交通灯有许多表达方式，但最基本的是红灯、黄灯和绿灯，如果不考虑光的亮度，只需要关心色度，那么只要知道RGB色彩空间的相对值就可以，因此可以将RGB用式(1)表示，其中r，g，b称为色度坐标，由于r+g+b＝1的关系成立，因此只有两个色度坐标是独立的，也就是说明该色度空间是二维的。

$r=\frac{2R}{B+G},g=\frac{2G}{R+B},b=\frac{2B}{R+G}---\left(1\right)$

当信号灯的红灯亮时，在RGB色彩空间的图像中，红色分量要远远大于绿色和蓝色分量，根据公式(1)，红色色度分量r也应该远远大于1；同理，当信号灯的绿灯亮时，绿色分量要远远大于红色和蓝色，绿色色度g分量也应该远远大于1；当信号灯的黄灯亮时，由于黄色(Y)是蓝色(B)的补色，对于单个基色具有8位256个数量级的图像来说，Y＝255-B，因此可以得到Y基色平面，用式(2)表示，根据式(2)y分量也应该远远大于1。

$y=\frac{2(255-B)}{255-G+255-R}---\left(2\right)$

本实施例中将信号灯的状态信息中包含着车道信息，也就是说，信号灯是与车道成一一对应关系，根据模块24来判断；

是否超越停止线判断模块25，由于路口的信号灯是与车道成一一对应关系，那么在判断车辆是否违章时，只要关心在黄灯和红灯情况下车辆在停止虚拟线上的检测，检测的方法可以使用以下两种方法中的一种方法，如果计算机的运算速度许可的话，一种方法可以作为主检测，另一种方法用于确认；这两种方法是：1)基于像素灰度的判断方法；2)基于跟踪目标的判断方法；

所述的基于像素灰度的判断方法，由于道路路面呈黑灰白之间其像素灰度Gb的基本分布均匀，道路上行驶的车辆构成的像素灰度Gv与背景路面的像素灰度Gb有一个差值，预设一个灰度阈值TH，Gv＜TH＜Gb，并设置检测虚拟线区域内的Gv到TH之间像素个数的临界值NTH，并统计检测虚拟线区域内的Gv到TH之间像素个数：

如统计的个数小于临界值NTH，判断没有车辆通过检测线区域；

如统计的个数增大到临界值NTH，判断车辆进入检测线区域；

如统计的个数减小到临界值NTH，判断车辆离开检测线区域。

这种方法计算量小，因此实时性好，但是会产生漏判和误判的可能性；

所述的基于跟踪目标的判断方法，是根据上述运动车辆跟踪模块中对车辆跟踪的结果，判断被跟踪的车辆是否进入了检测虚拟线区域内，如果被跟踪车辆的外接框的一部分进入了检测虚拟线区域内，便判定为超越停止线；

车辆违章判断模块，用于检测车辆是否有违章，这里基本上可以分为两种基本情况；一种情况是有明确有车道交通灯的道路，另一种情况是有没有明确车道交通灯而只有一个交通灯(红黄绿)的道路。

第一种情况是针对有明确规定车道行驶方向的道路，首先可以根据虚拟车道上检测是否有车辆变道行驶，如果有在直行道上的车辆发生右转或者左转都判定为违章行驶，这种情况与信号灯的状况无关；其次是与信号灯有关的违章行驶，这种情况是要根据信号灯的状况、虚拟车道以及停止虚拟线上的检测情况来做判断，一般情况下对于每个行驶方向每个车道都有相对应的信号灯，且每个行驶方向也都有相对应的停止线，因此可以依据我国现行的交通法规来进行判断，在某个车道上当某个方向行驶的红灯亮时，如果发现有车辆正在进入停止虚拟线或者处在停止虚拟线位置上便认为是闯红灯，作为违章；当某个车道上当某个方向行驶的黄灯亮时，如果发现有车辆正在进入停止虚拟线作为违章；

第二种情况是有没有明确车道交通灯而只有一个交通灯(红黄绿)的道路，这种情况的判断要比第一种情况复杂一些，这是因为根据我国现行的交通法规即使在红灯的情况下靠近路右边的车辆是允许右转弯的，也就是说，并不是在红灯的情况下所有超越停止虚拟线位置的车辆都是违章的，要区分是否有违章还要看后面车辆跟踪的结果；具体做法是发现有车辆正在进入停止虚拟线或者处在停止虚拟线位置上便设定该车辆越线状态，然后继续跟踪，如果跟踪发现设定了越线状态的车辆并没有向右转弯，那么就作为违章；

车速检测处理模块，用于根据车辆检测的前后关联帧中的一系列数值通过最小二乘法计算车辆速度，根据标定关系转化为实际道路上的车辆速度：

假设车辆行驶在监视范围内是匀速的，用式(4)表示车辆的运动距离与时间的关系，

l_i＝α+βt_i+ε_i               (4)

上式中，被监视车辆移动轨迹检测值l_i表示i帧图像与(i+1)帧图像之间车辆所移动的距离，t_i表示i帧图像与(i+1)帧图像之间车辆移动距离所花费的时间，i为自然数；

采用最小二乘法计算式(4)中的未知参数(α，β)的估计值

使公式(5)取值为最小：

$\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(l_i-\widehat{\mathrm{\α}}-{\widehat{\mathrm{\β}}t}_i)}^2=\underset{\mathrm{\α},\mathrm{\β}}{\min }\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(l_i-\mathrm{\α}-{\mathrm{\βt}}_i)}^2---\left(5\right)$

利用偏微分方法求解估计值 为车辆车速估计值，如式(6)表示；

$\widehat{\mathrm{\β}}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(t_i-\stackrel{\‾}{t})(l_i-\stackrel{\‾}{l})}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(t_i-\stackrel{\‾}{t})}---\left(6\right)$

上式中， t， l分别为时间与距离的均值。

如果车速估计值 大于我国现行交通法规中规定的允许车速，那么就判定为违章超速；

快球移动与抓拍模块27，根据上述判断是违章车辆，将该车辆的空间位置迅速的传递给快球，使快球能以最佳位置、最佳焦距拍摄违章车辆，对于同时有多辆车辆违章的情况，快球的移动策略是最近移动法也可以采用时间序列法；

最近移动法是指车辆的空间位置相隔最近的移动策略，在运动车辆跟踪模块中跟踪到的违章车辆都会给出一个相对全方位视觉传感器的空间位置(x_i，y_i，z_i)，如果有也发现另外两辆车辆有违章时，比如其空间位置分别是(x_j，y_j，z_j)和(x_k，y_k，z_k)，那么就要求出(x_i，y_i，z_i)与(x_j，y_j，z_j)，(x_i，y_i，z_i)与(x_k，y_k，z_k)的距离，指示快球以最近的距离去移动抓拍；

时间序列法指车辆的违章时间相隔最近的移动策略，在运动车辆跟踪模块中跟踪到的违章车辆都会给出一个系统时间，根据该时间的前后指示快球以发生时间先后顺序去移动抓拍；

违章车辆的车号识别模块28，用于识别违章车辆的车号，以便自动进行违章处理；根据上述快球移动与抓拍模块指示快球抓拍到的违章车辆图像信息，进一步获取车辆前部或者后部的车牌上的号码，得到了车牌号码的图像信息后进行对车牌号码的文字识别；

本实施例中全方位视觉装置安装在离路面高度4.5米左右之处，监视着路口水平方向上的车况，因此在设计全方位视觉装置的折反射镜面时要保证在水平方向上的不变形。

结合图1并参照图2，本发明的全方位视觉功能的配件的结构为：镜头1、外凸折反射镜面2、黑色圆锥体3、平面反射镜面4、透明圆柱体5、摄像单元10等组成，外凸折反射镜面2位于透明圆柱体5的上方，外凸折反射镜面1朝下，外凸折反射镜面2的中心部有一个小孔，小孔的孔径大小与镜头1的大小相吻合，镜头1和摄像单元10安置在外凸折反射镜面1的后面，在外凸折反射镜面2的对面还有一个平面反射镜4，通过平面反射镜4形成两次折反射，黑色圆锥体3固定在平面反射镜4的中心，平面反射镜4位于外凸反射镜面2的虚焦点位置；所述的摄像单元10连接嵌入式硬件和软件系统6。

结合图1并参照图5和图7，本发明所述的全方位视觉传感器29通过USB接口11连接到违章车辆监控装置的微处理器6中，微处理器6经图像数据读入模块12读入图像数据并进行图像预处理，在系统初始化时为了得到路口的初始环境图像以及交通灯的配置区域信息，需要将该图像存入图像数据存储模块14中，在违章车辆监控装置使用前的路口交通环境定制是为了后面的智能判断作准备的，路口的交通环境定制包括虚拟检测线的定制、交通信号灯检测区域的定制以及车辆通行方向定制，这是一个用户与系统进行对话的人机界面，使用者可以根据实际情况通过对话窗口进行全方位图像系统参数以及路口交通情况的定制，这些定制是在路口的初始环境图像上进行的，通过网络传输模块14得到路口的初始环境图像，如图5所示，然后通过定制软件中的图形工具，定制虚拟检测线框，线框的长度以及角度能调整但宽度不能调整；交通信号灯检测区域的定制，同样也是根据实际得到的路口的初始环境图像上的交通灯情况进行定制，如果在行进方向上只有一个交通灯的话，那么就要将交通信号灯检测区域的线框覆盖整个实际图像上的交通灯区域，一般这个线框是矩形；如果在行进方向上有多个交通灯的话，那么就要将车道与交通灯匹配起来，即一个车道对应一个交通灯，对于图5的情况就要定制8个交通信号灯的检测区域；车辆通行方向定制也是通过图形化工具也定制的，根据路口的初始环境图像上的路道车辆行使方向，拖放图形中的方向箭头到车道上便完成了定制工作；然后软件根据图形化定制的结果，存放在一个能表达该结果的属性文件中；

折反射全景成像系统能用针孔成像模型进行成像分析，但要获得透视全景图像必须对采集的实景图像逆投影，因而计算量大，特别是用在对路口的车辆进行监控，必须满足实时性的要求。一般作为测速、车流量、违章监视功能的全方位视觉装置是用来把握整个全局道路折反射情况；对于违规车辆的自动抓拍取证以及车牌识别需要用另一台能控制在空间移动的并能调焦的摄像设备来完成，该摄像设备负责某个局部违规部分图像的获取。

场景中物点的水平坐标与相应像点的坐标成线性关系就能确保水平场景无畸变，作为违章检测的全方位视觉装置安装在离路面高度4.5米左右之处，监视着道路水平方向上的车况，因此在设计全方位视觉装置的折反射镜面时要保证在水平方向上的不变形。

如果能将全方位视觉传感器捕捉到违章车辆的过程轨迹、时间信息等包括带有车牌号码的车辆视频信息保存起来，然后通过网络发送给交警管理部门进行车辆违章处理，这样就能达到智能化与自动处理违章的效果。

实施例2

本实施例的违章车辆监控装置根据室外使用的需要，考虑环境条件问题，比如日晒雨淋、飞扬的粉尘容易吸附在外罩上而使得传入光线受到影响，违章车辆监控装置的上部加了一个防雨遮阳帽，将防雨遮阳帽用螺钉固定在外罩上，另外外罩采用有机玻璃材料压注而成，透明外罩上涂上透明涂层。

进一步，所述的微处理器6采用嵌入式处理器，本发明中采用EmbeddedLinux+Embedded linux这样组合的软件平台，实验中采用了基于三星公司的ARM9处理器S3C2410X板子，该板子上整合了MIZI公司所公布的免费嵌入式Arm-Linux操作系统，本发明将Wonka(Embedded JVM)移植到了嵌入式linux中，Wonka本身已经带有对串口、输入设备的等驱动支持。选择Java或者C语言来作为违章车辆监控装置的软件开发语言，如要将Java程序运行在嵌入式linux上需要有嵌入式Java虚拟机(Embedded JVM)的支持，本发明中使用了自己移植成功的免费Java虚拟机。

上述的实施例1和实施例2所产生的发明效果是通过全方位的计算机视觉传感器使得道路车辆监控的范围更宽广，提供了一种全新的、维护成本低、维护方便、判断更可靠的、可视化的违章车辆监控、车流视觉信息采集途径方法与装置。

Claims (8)

1、一种基于全方位视觉传感器的违章车辆监控装置，包括微处理器、用于监视道路情况的监控传感器以及交通信号灯，所述监控传感器连接微处理器，所述的微处理器包括：

图像数据读取模块，用于读取从全方位视觉传感器传过来的视频图像信息；

图像数据文件存储模块，用于将读取的视频图像信息通过文件方式保存在存储单元中；

其特征在于：所述的监控传感器是全方位视觉传感器，所述的全方位视觉传感器包括用以反射监控领域中物体的外凸折反射镜面、用以防止光折射和光饱和的黑色圆锥体、透明圆柱体、二次反射平面镜面和摄像头，所述的外凸折反射镜面位于透明圆柱体的上方，外凸折反射镜面朝下，黑色圆锥体固定在二次反射平面镜面的中心，摄像头对着二次反射平面镜面朝下，所述的二次反射平面镜面位于外凸反射镜面的虚焦点位置，所述的摄像头位于外凸反射镜面的实焦点位置；所述的微处理器还包括：

传感器标定模块，用于建立空间的道路图像与所获得的视频图像的对应关系，在水平方向实物图像坐标与图像呈线性关系；

虚拟检测线设定模块，用于依照道路平面的停止线，建立与停止线对应的虚拟检测线；

车道通行方向设定模块，用于设定道路的各车道上允许车辆运行的方向，该通行方向与实际路口车道情况相一致，且与上述交通信号灯的设定相匹配；

交通信号灯状态检测区域设定模块，用于设定各交通信号灯的图像检测区域，并设定各个信号灯与道路车道的匹配关系；

图像展开处理模块，用于将读取的圆形视频图像展开为四个道路方向柱状图；

色彩空间转化模块，用于将交通图像的RGB色彩空间转换到YUV空间；

自适应背景消减处理模块，用于提取出前景目标对象，在自适应背景消减处理模块中，采用混合高斯分布模型的自适应背景消除算法，使用混合高斯分布模型来表征图像帧中每一个像素点的特征；当获得新的图像帧时，更新混合高斯分布模型；在每一个时间段上选择混合高斯分布模型的子集来表征当前的背景；如果当前图像的像素点与混合高斯分布模型相匹配，则判定该点为背景点，否则判定该点为前景点，得到前景目标图像；

连通区域标识模块，用于标识出各个前景目标的连通区域，计算运动目标信息：目标大小、位置坐标、质心坐标；

运动车辆跟踪模块，用于记录每帧图像获得的各个运动目标的外围矩形和运动信息，将同一车辆在不同的帧中进行相互关联，跟踪了解车辆在每一帧的行驶状况；

车辆违章判断模块，该模块包括：

具有车道行驶方向的道路违章判断单元，用于根据虚拟车道上检测是否有车辆变道行驶，如果变道行驶，判定为违章行驶；如车道上当设定方向行驶的红灯亮时，如果发现车辆正在进入停止虚拟线或者处在停止虚拟线位置上，判定为违章行驶；当车道上设定方向行驶的黄灯亮时，如果发现有车辆正在进入停止虚拟线，判定为违章行驶；

无车道行驶方向的道路违章判断单元，用于设定方向的红灯亮时，发现有车辆正在进入停止虚拟线或者处在停止虚拟线位置上，设定该车辆为越线状态.并继续跟踪，如果跟踪发现设定了越线状态的车辆并没有向右转弯，判定为违章行驶。

2、如权利要求1所述的基于全方位视觉传感器的违章车辆监控装置，其特征在于：所述的违章车辆监控装置还包括快球装置，所述的微处理器还包括：快球移动与抓拍模块，用于在判断为违章行驶后，将该车辆的空间位置传递给快球，启动快球以最佳位置、最佳焦距拍摄违章车辆。

3、如权利要求2所述的基于全方位视觉传感器的违章车辆监控装置，其特征在于：在所述的快球移动与抓拍模块中，对于同一时间多辆车辆违章驾驶时，读取运动车辆跟踪模块中跟踪到的当前违章车辆的空间位置(x_i，y_i，z_i)，如果发现另外车辆也有违章时，求其他车辆与当前违章车辆的距离，控制快球以最近的距离去移动抓拍。

4、如权利要求2所述的基于全方位视觉传感器的违章车辆监控装置，其特征在于：在所述的快球移动与抓拍模块中，对于同一时间多辆车辆违章驾驶时，读取运动车辆跟踪模块中跟踪到的当前违章车辆的时间，控制快球以违章时间的先后顺序去移动抓拍。

5、如权利要求1所述的基于全方位视觉传感器的违章车辆监控装置，其特征在于：所述的微处理器还包括车速识别模块，用于根据车辆检测的前后关联帧中的数值通过最小二乘法计算车辆速度，并根据标定关系转化为实际道路上的车辆速度：

假设车辆行驶在监视范围内是匀速的，用式(4)表示车辆的运动距离与时间的关系，

l_i＝α+βt_i+ε_i                    (4)

上式中，被监视车辆移动轨迹检测值l_i表示i帧图像与(i+1)帧图像之间车辆所移动的距离，t_i表示i帧图像与(i+1)帧图像之间车辆移动距离所花费的时间，i为自然数；

采用最小二乘法计算式(4)中的未知参数(α，β)的估计值 使公式(5)取值为最小：

$\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(l_i-\widehat{\mathrm{\α}}-{\widehat{\mathrm{\β}}t}_i)}^2=\underset{\mathrm{\α},\mathrm{\β}}{\min }\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(l_i-\mathrm{\α}-\mathrm{\β}{t}_i)}^2---\left(5\right)$

利用偏微分方法求解估计值 为车辆车速估计值，如式(6)表示；

$\widehat{\mathrm{\β}}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(t_i-\stackrel{\‾}{t})(l_i-\stackrel{\‾}{l})}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(t_i-\stackrel{\‾}{t})}$ (6)上式中， 分别为时间与距离的均值。

6、如权利要求1所述的基于全方位视觉传感器的违章车辆监控装置，其特征在于：所述的车辆违章判断模块还包括：

车辆越线判断单元，用于设定道路路面呈黑灰白之间其像素灰度Gb的基本分布均匀，道路上行驶的车辆构成的像素灰度Gv与背景路面的像素灰度Gb有一个差值，预设一个灰度阈值TH，Gv＜TH＜Gb，并设置检测虚拟线区域内的Gv到TH之间像素个数的临界值NTH，并统计检测虚拟线区域内的Gv到TH之间像素个数：

如统计的个数小于临界值NTH，判断没有车辆通过检测线区域；

如统计的个数增大到临界值NTH，判断车辆进入检测线区域；

如统计的个数减小到临界值NTH，判断车辆离开检测线区域。车辆越线确认单元，用于根据上述判断为进入虚拟检测线区域后，再根据车辆跟踪模块的结果，判断被跟踪的车辆是否进入了检测虚拟线区域内，如果进入，便确认为超越停止线。

7、如权利要求1所述的基于全方位视觉传感器的违章车辆监控装置，其特征在于：所述的微处理器还包括：

交通信号灯状态检测模块，用于将RGB用式(1)表示，其中r，g，b称为色度坐标，由于r+g+b＝1的关系成立，

$r=\frac{2R}{B+G},g=\frac{2G}{R+B},b=\frac{2B}{R+G}---\left(1\right)$

根据公式(1)计算，如红色色度分量r远远大于1，判定信号灯为红灯；如绿色色度分量r远远大于1，判定信号灯为绿灯；

单个基色具有8位256个数量级的图像，Y＝255-B，得到Y基色平面，用式(2)表示，根据式(2)：

$y=\frac{2(255-B)}{255-G+255-R}---\left(2\right)$

如y远远大于1，判定为黄灯。

8、如权利要求1-7之一所述的基于全方位视觉传感器的违章车辆监控装置，其特征在于：所述的自适应背景消减处理模块包括：

自适应背景消减单元，用于对图像的YCrCb颜色空间中的亮度值Y进行检测，自适应混合高斯模型对每个图像点采用多个高斯模型的混合表示，设用来描述每个点颜色分布的高斯分布共有K个，分别标记为：

η(Y_t，μ_t，i，∑_t，i)，i＝1，2，3…，k，其中下标t表示时间；

各高斯分布分别具有不同的权值和优先级，再将K个背景模型按照优先级从高到低的次序排序，取定适当的背景模型权值和阈值，在检测前景点时，按照优先级次序将Y_t与各高斯分布模型逐一匹配，若匹配，则判定该点可能为背景点，否则为前景点；若某个高斯分布与Y_t匹配，则对该高斯分布的权值和高斯参数按设定的更新率进行更新；

阴影抑制单元，用于抑制运动对象之间的遮挡和光照所造成的阴影，在彩色模型空间中，任何颜色采用YCrCb表示，阴影和道路的区别在于颜色分量CrCb相近，亮度分量Y较小，先学习道路的颜色分量CrCb和亮度分量Y，当碰到前景点时，先判断该点的颜色分量CrCb是否和道路相近，亮度分量Y是否比道路低，判断公式由式(3)给出；

$\left\{\begin{array}{c}0,\mathrm{if}(\mathrm{abs}(\mathrm{Cr}-\mathrm{RosdCr})>\mathrm{threshold}||\mathrm{abs}(\mathrm{Cb}-\mathrm{RoadCb})>\mathrm{threshld})\\ 1,\mathrm{else}\end{array}\right.----\left(3\right)$

上式中，标记0的点属于阴影，标记1的点属于前景点。

Images