CN1272666A

CN1272666A - 基于图象序列分析的驾驶员桩考过程自动测试系统

Info

Publication number: CN1272666A
Application number: CN 00109133
Authority: CN
Inventors: 李宛洲; 陈江
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2000-06-09
Filing date: 2000-06-09
Publication date: 2000-11-08
Anticipated expiration: 2020-06-09
Also published as: CN1094223C

Abstract

本发明属于计算机与数字图象处理领域。本系统包括:龙门架单元,多个桩杆考试用桩杆;摄象机;LED大屏幕显示器和喇叭;多组红外线接收/发射传感器单元;计算机图象处理单元,无线传送发动机熄火测量单元及开关量采集单元。本发明通过对摄象机拍摄的图象序列进行实时数字图象分析来识别车辆运动轨迹,可完全代替人工监考,可提高考试结果的准确性、客观性,与同类产品相比具有更高的灵活性、可靠性与实用性。

Description

基于图象序列分析的驾驶员桩考过程自动测试系统

本发明属于计算机技术与数字图象处理技术领域。特别涉及驾驶员桩考过程自动测试系统设计。

学习驾驶机动车辆的人员必须进行场地桩考科目训练。传统桩考训练中桩杆为木制，插在一个圆盘底座上，考试前摆放到考试场地。考试时考官坐在场地前方控制室中观察车辆的行驶过程，通过目测和经验判断车辆是否有出线、碰擦桩杆、移库不入、中途停车、熄火以及是否按照规定路线行驶等，当待考车辆较多时，为了加快考试速度，在一个场地上一般有三辆车同时进行考试。这样做存在以下几个缺点：

(1)桩杆人工随机摆放的位置不准确，导致车库尺寸有误差。

(2)目测车身出线的误差。由于车库范围并没有实际的线标出，只能通过桩杆位置判断车库边线，而考官离车库距离有十几米，并且与车库边线不处在一条直线上，所以对于车身越线的判断都是目测加上估计，而对于贴库和移库过程中的车尾出线更是估计的成分大，这样的判断经常是不准确的，尤其是出线不明显时，经常引起争议。

(3)发动机熄火判断完全是目测，由于考官处于室内，考试场地又比较嘈杂，发动机点火时的声音考官是不可能听到的。学员在发动机熄火后2、3秒钟之内重新点火成功，考官很可能就会判断不出发动机已经熄火。

(4)无法兼顾所有考试车辆，造成漏判。

(5)各考官对考试大纲的标准掌握的尺度会不一致。

目前在桩考过程中已经开始使用计算机桩考系统，改变了驾驶员场地考试过程中桩考科目一直是考官在场地上目视考试，避免上述受考官观察角度等主、客观因素的限制，造成判断不够及时准确的缺点，可规范场地考试标准减少争议的产生。

在此类产品中，南京多伦精密系统(远东)有限公司产品主要特点是：

(1)在考试车上加装一套机械伺服机构，一旦学员违规立即刹车。

(2)在考试车上安装一套无线系统传递控制信号及检测信号到机房。

(3)在传动轴上装一套传感器，通过检测传动轴正转、反转、及转速来判别车辆前进、后退及停止状态。

(4)在发动机扇叶前安装传感器，以测量冷却扇叶的运转来判别是否熄火。

(5)在场地上通过6-8对红外传感器标定库房边界，开关信号通过预埋电缆接至机房。

(6)在场地上用前后两个龙门架，吊簧悬挂6根桩杆，桩杆底部装入霍尔型接近开关，地面埋入永久磁钢，考车撞开标杆时，磁路的变化控制开关信号通知主机。

南京产品设计比较成熟，系统运转可靠。系统设计的两个关键技术：车辆行驶路线与运动状态判别；发动机熄火判别都需要专用装置改造车辆，在车上安装各类传感器及机械执行机构。产生的弊病是学员平时熟悉的训练用车不能使用，影响考试成绩(绝大部份学员非常依赖熟悉的车辆)：另外，车辆行驶路线不能直接测量，通过间接换算模拟得到，对于路线的判断并不准确。而熄火判别也存在一定问题。

北京某公司生产的此类产品与南京产品相比，其特点是：

(1)在考试车顶上通过吸盘，牵扯一套机械伺服机构传递车辆位置信息到机房，检测车辆前进、后退及停止状态。

(2)点火钥匙上装一传感器监视点火动作，通过重新点火启动过程判别发动机熄火。

(3)在场地上通过6-8对红外传感器标定库房边界。

(4)在场地上用前后两个龙门架，吊簧悬挂6根桩杆，桩杆底部装入霍尔型接近开关，地面埋入永久磁钢，考车撞开标杆时，磁路的变化控制开关信号通知主机。北京产品在龙门架上加装一套机械伺服机构，可以根据考试车型移动龙门架设置车库大小。

北京产品设计上取消了专用考试车辆，在车上没有专用机械执行机构适合学员使用。车辆行驶路线通过考试车顶上的吸盘牵扯一套机械伺服机构检测车辆位置信息，而且考试场地可以根据车型设置。实践中反映出来的最大问题是考试时间太慢，仍然使用机械结构测量行车路线，技术含量低，维修复杂。

本发明的目的是为克服已有技术的不足之处，提出一种基于图象序列分析的驾驶员桩考过程自动测试系统，以计算机技术与数字图象处理技术相结合，通过对摄象机拍摄的图象序列进行实时数字图象分析来识别车辆运动轨迹，可完全代替人工监考，可提高考试结果的准确性、客观性，与同类产品相比具有更高的灵活性、可靠性与实用性。

本发明提出的一种驾驶员桩考过程自动测试系统，其特征在于包括以下儿部分：

(1)考试场地上的起标识车库尺寸作用的龙门架单元，它是由三角横梁与支撑架组成的两副以上的龙门架；

(2)通过吊簧悬挂在该龙门架横梁上的多个桩杆考试用桩杆，它由杆体、连结镙栓、上下调装置及安装在杆体上的霍尔开关组成；

(3)安装在考试场地上的摄象机支架及固定在支架上的摄象机；

(4)安装在考试场地上用来提示考试信息的LED大屏幕显示器和喇叭；

(5)设置在考试场地上的用来标识车库边界的多组红外线接收/发射传感器单元；

(6)与该摄象机相连设置在机房内的计算机图象处理单元，它由计算机设备安装在图象采集卡、以及存储在该计算机存储单元中的图象处理程序软件组成；

(7)由发射、接收两部分组成的无线传送发动机熄火测量单元，其中，发射部分由电磁传感器及与之相连的信号整形电路、无线电发射机组成，它吸附在考车顶上；接收单元由无线电接收机及与之相连的信号条理电路组成，安装在机房上；

(8)开关量采集单元，置于机房内由开关量采集卡、转接器、电源所组成，所采集的场地上所有的开关量信号由埋地电缆接入该采集单元。

本发明提出的一种采用如上所述的驾驶员桩考过程自动测试系统的自动测试方法，其特征在于，以数字图象处理与模式识别方法相结合，无机械接触的用计算机自动判别驾驶员是否按考试大纲规定的路线行驶与操作；

所说的数字图象处理方法具体包括以下步骤：

(1)采用摄像头及图象采集卡获取车辆的图象信息；

(2)再用图象差分、图象二值化、边缘腐蚀与平滑滤波来消除图象信息的噪声干扰；

(3)最后用重心坐标描述车辆运动轨迹、进而通过方向编码得到数字化运动参数；

所说的模式识别方法具体包括：采用所说的数字图象处理方法进行停车判别：运动中的折反点判别；折反方向与路线结合红外线传感器信号判别运动路线是否按规定完成二进二下后进入乙库的判别方法；

所说的用计算机自动判别驾驶员是否按考试大纲规定的路线行驶与操作具体包括：利用存储在计算机中的基于图象序列分析的车辆桩考自动测量系统软件对在桩考过程中出现的各种情况实时测量并及时准确的通过LED大屏幕显示器和喇叭提示考试信息。

本发明所说的图象差分方法可为用两帧图像的灰度差提取运动目标信息；对于图像序列中固定不动部分其灰度差值为零，而运动部分则呈现出一定的灰度差，因此差分图像只具有运动部分的信息；具体可包括以下三种方式：

(1)用图像序列中每一帧与一个静止的参考帧作图像差分；

(2)用图像序列中相邻两帧进行差分，然后二值化该灰度差分图像来提取运动信息；

(3)用三帧图像计算出两个差分图像，然后再对这两个差分图像进行二次差分。

本发明所说的图象二值化可采用快速固定阈值法进行分割，根据实验选择二值化阈值T，灰度值超过该阈值以上的像素全部置为目标区域的255灰度值，在阈值以下的全部象素的灰度值置为背景区域的零。

本发明所说的边缘腐蚀方法可为：每帧图象的背景由于光线方向及照度的变化产生散粒噪声，利用它在图像中所占的面积比车辆所占的面积小很多的特点，通过边缘腐蚀消除这些散粒噪声的像素；根据其它物体图像的大小及分布情况，进行一维或二维腐蚀消除任意个像素的宽度；所说的平滑滤波方法为：每帧图像重心坐标所构成的序列是车辆运动轨迹，由于现场各种干扰造成计算出的运动轨迹有细节突变，必须对运动轨迹进行平滑滤波，即根据前后4个样本点加权后的均值递推得到当前(x，y)坐标。

本发明所说的车辆运动轨迹的方向编码可采用图象象素与Kirsch边缘算子的8个卷积核做卷积，可以得到每个核对特定边缘方向的最大响应，所有8个方向中的最大值做为边缘幅度图像的输出，最大响应核的序号构成了边缘方向编码，所说的重心运动轨迹用8自由度编码得方向变化轨迹。

本发明所说的停车模式判别方法可为：在限定一域值内将相邻两帧图像差分后二值化，看是否有灰度改变的像素，若没有则间隔4帧后再做差分，如果还是没有变化的像素则可以判定车辆停止。

本发明所说的行车路线的折返点判别方法可包括：

(1)当车辆进入车库的库底后，从库底向上运动时(车辆前进)，记录重心y值的最大值y_max；

(2)计算出每一帧图像的车辆重心之后，都将y值与y_max值比较，如果y≥y_max，则令y_max＝y，如果y＜y_max，则看y_max减y的差值Δy是否大于预先设定好的阈值T_h，如果Δy≤T_h，认为车辆还没有折返，如果Δy＞T_h，则认为车辆已经折返，开始向库底运动(车辆倒车)；反之亦然：

(3)当车辆达到库顶后，从库顶向下运动时(车辆倒车)，通过记录最小的y_min，如果y□y_min，则令y_min＝y，如果y＞y_min，则看y减y_min的差值Δy是否大于预先设定好的阈值T_h，如果Δy≤T_h，认为车辆还没有从库底折返，如果Δy＞T_h，则认为车辆已经从库底折返，开始向库顶运动(车辆前进)。

本发明所说的完成二进二下后进入乙库的判别方法可为：由路线折反点再结合车辆当前所处的车库位置，可以分析出当前车辆贴库操作是否符合二上二下的标准：

(1)车辆已经进入甲库；

(2)车辆向库顶方向前进，检测到一个折反点(一上)；

(3)车辆向库底方向倒车，检测到一个折反点(一下)；

(4)车辆向库顶方向前进，检测到一个折反点(二上)；

(5)车辆向库底方向倒车，检测到一个折反点(二下)；

(6)此时如果车辆已经在乙库，贴库完成。如果车辆压住了甲乙库中线(挡住中间的红外线)，则贴库失败。

本发明的特点及效果：

(1)本发明是以红外传感器探测车身出线，以磁感应传感器检测碰擦桩杆，以电磁传感器检测发动机引擎工作状态，以CCD摄像机将车辆运动图像传送到计算机，通过图像处理检测车辆中途停车和行驶路线是否符合大纲要求。通过摄象机拍摄的车辆运动图象处理自动跟踪测量桩考过程，红外传感器、龙门架和桩杆辅助系统标定车库边界，点火信号检测使用感应发动机点火信号的电磁传感器全程自动测量发动机工作状态。

(2)所有测试科目无须改装车辆。

(3)实时测量，无须准备时间，考试过程完全由被考车辆运行时间决定。

(4)本系统在桩考过程中出现的种种各种情况(如，不按规定路线、顺序行驶，碰擦桩杆，移库不入，车身出线，中途停车两次，熄火等)时能及时准确的通过计算机监测指示：

(5)实现了在野外环境各种天气条件下自动跟踪并识别车辆桩考运动轨迹模式，重点解决了大风、阳光、云层、雨雪等背景干扰下运动车辆差分图象处理及重心提取，进而通过空间平滑滤波去除噪声后，根据设置的8自由度模板匹配目标运动轨迹，实现车辆运动模式的自动识别。

附图简要说明：

图1是本发明的考试单库场地的实施例结构示意图。

图2是本实施例系统电路总体结构框图。

图3是本实施例场地上红外传感器、桩杆上霍尔传感器分布位置示意图。

图4a是本实施例场地与摄像机位置关系示意图之一。

图4b是本实施例场地与摄像机位置关系示意图之二。

图5是本实施例熄火检测单元结构框图。

图6是本实施例发射单元电路原理图。

图7是本实施例接收单元逻辑结构。

图8是本实施例信号调理电路原理。

图9是本实施例开关量传感器信号连接关系。

图10是本实施例图象获取过程。

图11是本实施例采集卡逻辑结构。

图12(a)是本实施例固定参考帧图象。

图12(b)是本实施例运动序列中的一帧图象。

图12(c)是(b)与(a)的差分图象。

图12(d)是对(c)在选定域值下做二值化的图象。

图12(e)是由(d)做边缘腐蚀得到的图象。

图13是图12(c)的直方图。

图14是本实施例测量重心运动方向的8自由度编码模板示意图。

图15(a)是本实施例测量到的原始重心轨迹。

图15(b)是本实施例滤波后重心轨迹。

图15(c)是本实施例用方向码表示的数字化重心轨迹。

图16是本实施例行车折反点判别程序流程。

图17是本实施例系统调整部分和考试部分两块程序流程。

图18是本实施例车辆行进3D模型图中的一帧，用来分析行车路线中可能发生问题。

图19是本实施例考试线程程序流程图。

图20是本实施例系统调整功能的运行画面。

图21是本实施例系统测量运行画面，红色曲线是实时跟踪测量的车辆运动轨迹。

图22(a)是本实施例标准行车路线。

图22(b)是本实施例跟踪记录的车辆运动轨迹模式。

本发明设计出一种基于图象序列分析的驾驶员桩考过程自动测试系统的实施例，结合各附图详细说明如下：

本实施例的驾驶员桩考过程自动测试系统由以下几部份组成：

(1)考试场地上的龙门架单元，它通过吊簧悬挂桩杆，起到标识车库尺寸的作用。单库2副而套库是3副。龙门架由三角横梁与支撑架组成，高度3.4米，宽度9米(全长)，跨度为8.5米，由钢管焊接而成；支撑架是两根立柱，立柱和三角梁由镙栓紧固件连接在一起。桩杆的悬挂支架也由镙栓紧固件连接在横梁上。

(2)考试用桩杆。由杆体、连结镙栓、上下调装置及霍尔开关组成，杆体为铝合金管所制。霍尔开关安装在桩杆底部，用上下调节装置调节霍尔开关与埋在地面上的磁钢之间的间隙。单库6副而套库是11副。

(3)考试场地上的红外线接收/发射传感器单元，用来标识车库边界。单库5组而套库是8组。

(4)摄象机支架与摄象机。

(5)户外LED大屏幕显示器和喇叭，用来提示考试信息。

(6)计算机图象处理单元。由图象采集卡、计算机设备、开发的程序软件组成。

(7)无线传送发动机熄火检测单元。其中，发射单元吸附在车顶，由电磁传感器、信号整形电路、无线电发射机组成。接收单元安装在机房，由无线电接收机、信号条理电路组成。

(8)开关量采集单元。场地上所有的开关量信号由埋地电缆接入位于机房的开关量采集单元，单元由开关量采集卡、转接器、电源组成。

图1是一种单型号车库场地实施例示意图。为了标识场地共使用了二副龙门架101，6根桩杆102构成两个车库，107是甲库，108是乙库。5套红外线传感器中，发射是103a、接收是103b，它们分别设置在场地的前后左右，场地前部设置车道104，而位于场地后部的摄象机105则用于拍摄车辆运动画面，车道的一侧设有机房106。图中，桩杆102悬挂在龙门架上，当学员碰撞桩杆时，桩杆上的霍尔传感器会通知计算机，由程序检测出来。两横三竖的5对红外传感器标定两个车库边界和中线，车辆运动中如果越界，则红外线被遮断而通知程序处理。

图2是本实施例系统电路总体结构，包括：CCD摄像监测单元，红外传感器单元，霍尔传感器单元，熄火检测单元，信号调理电路，计算机图象处理系统，大屏幕显示器，喇叭，打印机。其中，红外传感器检测是否有物体越过边线，霍尔传感器检测是否有物体碰撞桩杆，熄火检测检测单元中的传感器监视发动机是否熄火，而计算机自动跟踪摄象机拍摄画面中车辆的运动轨迹，并识别是否符合考试大纲要求。上述三个单元的输出端与信号调理电路的输入端相连，因为三个单元的传感器信号都是开关量，需要接口电路转换成TTL电平，而熄火检测信号还需要信号整形处理。信号调理电路与传感器进线放在一接线箱内。

摄像机采集的图象信号是直接连接到计算机内的图象采集卡。

计算机通过图象处理程序软件把测量结果输出到户外大屏幕显示器，显示合格、不合格信息，考试不合格时同时显示出错的6种情况：碰撞桩杆；不按规定路线、顺序行驶；移库不入；车身出线；中途停车两次；熄火。

图3是本实施例场地上红外传感器、桩杆上霍尔传感器分布位置示意。它们按场地尺寸分布，用来标识车库边界，图3场地上标记的罗马数字I、II、III、IV、V、VI、VII、VIII是各个红外传感器组编号，而场地上标记的阿拉伯数字1～11是桩杆编码。这是双型号车辆套库的情况，如果是单型号小车库，则传感器II、III、IV，桩杆1、2、4、5、6被忽略：如果是单型号大车库，则传感器VI、VII、VIII，桩杆7、8、9、10、11被忽略。

本实施例的两个车库宽为2.65m长为12.1m，车道宽为9.075m，摄像机支架距车库一端5m，高5m，如图4所示，图中的109为测试车辆。

本实施例的各电路组成部分的具体结构详细说明如下；

一.CCD摄像监测单元

摄像机在固定位置对场地进行拍摄，因为平台固定，所以摄像头视角必须覆盖整个场地。考试车辆108中车型最大的是北京1041(宽1.95m，长6m)，考虑到被测车辆高度，估算水平视角时不将三角架高度计算在内，则有：，此时拍摄最远范围是27.75米。如图4a，垂直视角是：，如图4b。镜头与CCD芯片成像尺寸相同，选用1/2”摄像机则镜头也为1/2”，成象为6.5×4.8mm²。镜头焦距决定视角大小，用6毫米焦距，由透镜成像公式及相似三角形可计算出镜头水平视角为，垂直视角为，均符合计算要求。选用AVENIR的SG0614CSE型6.0mm F1.4自动光圈镜头以适应野外环境下光照条件的变化，而摄像机必须有高分辨率才能检测出车辆微小运动。车辆在摄像机视野最远端纵向移动1米距离时，摄像机垂直视角变化量是

，而摄像机垂直视角为43.6°，即是垂直视角的

，用MINTRON的MTV-1881EX型600线黑白CCD摄像机，则车辆在最远端纵向移动1米时图象有4个像素的变化量。

本实施例系统设计的摄象机位置及角度关系，是根据桩考训练标准场地尺寸要求，既保证全场地均在摄象机画面之内，又要有尽可能大的图象边缘分辨率。

二.熄火检测单元

本实施熄火检测单元结构如图5所示。其发射部分装在考试车辆上，电磁传感器获取的发动机点火信号经整形调制处理，调制后通过无线电发射机发射；接收处理部分安装在机房，接收到的无线电信号后经过解调、输出隔离、传送到信号调理电路。

(1)发射单元工作原理

本实施例的发射部分电路原理如图6所示。汽车途中熄火测量是通过对发动机工作电脉冲检测来实现的。电磁传感器夹在汽车发动机点火线圈高压侧的任意一个汽缸分电器电缆上，探头拾取的工作脉冲电流经LM121放大器放大后只有正脉冲被整形输出去触发单稳74221，这是一个不可重触发单稳，设计脉宽330mS。因为4缸发动机点火信号周期是，转数N取值在400～5000，所以工作时发动机点火信号周期在600mS～48mS。另一方面，为防止现场干扰必须使用PT2262无线编码电路，其编码序列动作频率在数Hz，因此不能将发动机点火信号直接应用，而是通过74221单稳限频，转数低时跟随点火信号频率动作，转数高时被限制在3Hz左右动作。发射部件吸附在汽车顶部，不用改装汽车且操作方便。

(2)接收部分工作原理

本实施例的接收电路逻辑结构如图7所示。其中，TWH9238接收机与PT2262发射机配对使用，接收发动机点火工作信号，经信号调理电路整形、计数后，计数值通过信号转接板ACLD-880与插入计算机PCI插槽的ACLD-7130信号隔离接口板相连的数据总线被程序读入到计算机进行处理。

三.信号调理电路

图8是信号调理电路原理。在启动状态线跳低后，闸门信号的正半周与门放开，点火信号进入计数器，闸门信号的下跳沿关闭与门停止计数。因此，在程序指定时间段内可以测量到发动机点火信号工作频率，如果计数值为零，可以断定发动机处于熄火状态。

四.霍尔传感器单元

图9是开关量传感器信号连接关系。来自场地上的所有开关量传感器信号也通过信号转接板ACLD-880与插入计算机PCI插槽的ACLD-7130信号隔离接口板相连的数据总线被程序读入到计算机进行处理的。

五.数据采集卡

为了将各种信号采集到计算机中进行处理，必须使用一块数据采集卡。因为套库具有8路红外线信号、11路磁感应开关信号和1路熄火检测，而熄火检测至少使用5位信号(1位输出、4位输入)，一共23位输入，1位输出。本实施例选用能插入计算机PCI插槽的ACL-7130 32通道隔离数字I/O卡，由台湾研祥公司生产。同时在接线箱采用研祥公司的ACLD-880接口板与计算机机箱内的ACL-7130板连接用于信号的输入输出，如图9所示。

本实施例的图像处理方法详细说明如下：

野外环境下运用图像处理和模式识别的方法判断车辆行驶状态的难点是野外天气条件的变化，诸如雨、雪、风、云、日照强度、阳光照射角度等都会影响摄取到的图像质量。当光线强度降低时会引起图像整体亮度降低，对比度变差；当摄像机镜头粘上灰尘或在雨雪天气中，图像清晰度会下降，景物边缘会变得模糊；在冬季大风天气中摄像机支架会发生颤动，造成图像序列中背景的颤动。这些因素都对图像分析造成困难。另外，图像序列处理速度必须大于4帧/秒才不会丢失车辆运动状态信息(车速低于10km/h)。因此，动目标处理方法在速度和精度两方面必须都达到要求才能使系统具有实用价值。本系统对各种算法进行了大量试验，提出的实际算法直接在PC机上就可以满足处理速度与精度的要求。

本实施例的具体的图象处理方法包括：图像获取方法；野外环境下各种天气条件造成的场地背景干扰去除法；用8自由度编码将车辆重心位置变化的方向作成数字化轨迹描述的方法；停车判别的算法；车辆由前进转为后退和由后退转为前进的行车路线的拐点判别方法；通过对红外信号遮挡的变化和重心轨迹综合分析判断行车路线是否符合考试大纲要求的方法，以下进行一一说明。

六.图像获取

摄象机的视频信号通过图象采集板送入计算机。摄像头拍摄的图像是标准PAL制式视频，信号通过75欧同轴电缆传送到视频采集卡。采集卡根据程序控制，将视频信号转换为512*512*24bit图像存放在计算机内存，即内存中图像是24bit真彩色，每个像素由R、G、B三原色组成。为便于处理和减少存储空间，本实施例将真彩色图像变为256级灰度图像。为此，任取三原色中的一个原色作为相应像素的灰度值。

图10是图象获取过程，图11是采集卡逻辑结构，为大恒公司的DH-VRT-CG200/1型24位真彩色单路图像采集卡。通过摄象机与图象卡的连接，程序能读入拍摄的场地画面数字图象，为下一步图象处理提供了基本数据。

二.动目标识别

图像序列分析的目的是检测运动信息、识别与跟踪运动目标、估计运动参数。当图像帧之间间隔较短时，假设景物中各部分在图像上的灰度基本不变。设t₁时刻图像为g₁(x，y)，t₂时刻图像为g₂(x，y)，若此期间目标平移(Δx，Δy)，根据假定有g₂(x，y)＝g₁(x-Δx，y-Δy)，用图像差分由两帧相邻图像的灰度差提取运动目标信息。对于图像序列中固定不动部分其灰度差值为零，而运动部分则呈现出一定的灰度差，因此差分图像只具有运动部分的信息。

图象差分有两类：一类使用图像序列中每一帧g₁(x，y)与一个静止的参考帧g_R(x，y)(不存在任何运动的物体)作图像差分g₁(x，y)＝g_R(x-Δx₁，y-Δy₁)。但是野外坏境随时都在变化(如夏天云层运动造成瞬间背景灰度变化，冬春季场地上的瞬时切变强风使摄象机颤动、场地上其它运动物体的阴影变化等)，因此，这种方法计算出的(Δx₁，Δy₁)与实际值有一定偏差。在本实施例系统中经过试验对比，在提取运动轨迹时采用这种方法。

另一类是用图像序列中相邻两帧进行差分，然后二值化该灰度差分图像来提取运动信息。这种方法的问题是车辆缓慢运动时两帧间车辆的重叠部分不能检测出来；其次是检测出的动目标比真实物体大。但是这种方法对于目标的微小运动反应要比前一种方法灵敏，本实施例将它用于检测车辆运动是否停止。为了解决相邻帧差分存在的问题，可以利用三帧图像计算出两个差分图像，然后再对这两个差分图像进行二次差分，最后得到图像为原来三帧图像的Laplacian图。当运动物体的形状和运动向量在几帧图像中变化不太大时用二次差分(Laplacian)图像就能更好的抽出运动物体。这种方法对于目标的微小运动的反应比两帧相减更加灵敏，但其计算量是两帧相减的三倍，占用空间是两帧相减的两倍。

附图的图12(a)是固定参考帧图象，场地背景右上角为起步车辆。图12(b)运动序列中的图象，此时车辆行进到场地甲库位置。图12(c)是与固定帧的差分图象，图12(d)是选定域值的二值化图象，动目标被清楚的表达出来，图12(e)是进而由图12(d)做边缘腐蚀得到的，起到将一些干扰点去除的效果。

三.固定参考帧(背景图)的选取

由于考试场地是野外环境，天气环境不断地改变造成背景不断的变化，其中最主要的变化因素是太阳位置改变导致的阴影变化。为了将自然环境变化的影响减小到最低限度，在每次考试之前要重新选取新的固定参考帧，在整个考试过程的几分钟之内，阴影变化很小不会造成影响。以每次考试开始后采集到的第一帧图像作为固定参考帧。在第一帧图像中车辆处于图像右上角，正好被龙门架横梁挡住，所占图像面积很小，与没有车辆图像相比差别不大，实际系统验证将其作为固定参考帧是可行的。

四.图像二值化

图像差分之后背景部分灰度值应全为零，但实际测量的图像序列中，背景不可能严格的保持不变，受各种因素的影响，序列中每帧图像的背景会有微小变化，反映为相同位置像素灰度值有小幅度变化，其幅度明显地比由于背景被车辆遮盖而引起的灰度变化要小。图12c差分图像经过直方图均衡化后得到图13，从中可以看出在背景上车辆周围有亮区和大量的条纹，这是由干扰产生的。为了消除这种小幅度的灰度变化，需要对图像进行二值化，将车辆和背景分割开。分析差分图像的直方图可以看出，目标与背景没有明显的界限，我们采用快速固定阈值法进行分割，选择的阈值T是经过不断的测试、调整而得到的。

附图的图12(c)做直方图均衡化得到图13，水平轴是像素灰度值，垂直轴是某一灰度值的像素个数，显然，灰度值在128附近的像素比较少，是运动目标的像素：大部分像素的灰度值是70以下，应该是背景部份的像素。由此我们可以选择二值化域值，灰度值超过该域值以上像素全部置为目标区域的255灰度值，在域值以下的置为背景区域的全零。

五.边缘腐蚀

在测量过程中场地边缘的人会被拍摄到画面上，他的移动会对车辆重心计算和运动轨迹判别造成影响。同时，场地中标杆影子会随着时间的变化而移动，虽然变化角度不大，但如不处理也会造成误差。这些物体的共同特点是在图像中所占的面积都要比车辆所占的面积小很多，所以可以用边缘腐蚀的方法消除。一般的边缘腐蚀方法一次只能将宽度减少2个像素，要将这些小物体消除掉需要经过多次的腐蚀。当物体在某一方向如纵轴上的尺度比较大，而在横轴上尺度很小时，只要在水平方向上进行一维腐蚀就可以消除小物体，而且一次可以将物体腐蚀掉任意个像素的宽度，这样可以大幅度减少处理时间。

附图的图12(e)就是对二值化的图12(d)再进行腐蚀处理的效果，它去除了边缘毛刺噪声。

六.重心计算与运动轨迹平滑滤波

重心坐标，零阶矩

，一阶矩

。二值化图象其背景灰度值都为零而目标子图灰度值都为1，则零阶矩由像素灰度值的和变为像素和，即区域面积。一阶矩由横、纵坐标分别相加得到。每帧图像重心坐标所构成的序列是车辆运动轨迹。由于现场各种干扰造成计算出的运动轨迹有细节突变，不经处理直接做模式匹配会得出错误的结果，故对运动轨迹进行如下的平滑滤波：

用( x， y)代替( i， j)得平滑后轨迹，原轨迹形状及变化趋势不变，但消除了突变扰动。

车辆运动模式识别

以桩考训练标准行车路线对车辆运动特征参数识别与模式匹配方法如下：

方向模板与行车轨迹分析

用图象象素与Kirsch边缘算子的8个卷积核做卷积，可以得到每个核对特定边缘方向的最大响应，所有8个方向中的最大值做为边缘幅度图像的输出，最大响应核的序号构成了边缘方向编码。同样，重心运动轨迹用8自由度编码得方向变化轨迹，编码模板见图14所示。车辆贴库时轨迹是向左倒车，然后逐渐向下转向，当车进入乙库后就变为向下倒车，最后停在乙库库底，描述是5→6→7→0；移库时轨迹是一上到库顶停车，一下到库底停车，二上到库顶停车，二下到库底停车，描述是3→0→7→0→3→0→7→0：出库和倒库时的轨迹是先向上行驶，因为要穿过乙库出库，所以轨迹要向左上拐，出库后车向左拐停车，然后倒车向右，逐渐向下转向，进入甲库后变为向下到车，直到从甲库库底出库为止，描述是3→4→5→0(出库)→1→8→7。由于摄影机不在目标正上方，且车辆阴影造成重心偏差，所以计算的轨迹方向有小偏差，但趋势不变。

图14是重心运动方向8自由度编码模板，图15(a)是测量到的原始重心轨迹，图15(b)是滤波后重心轨迹，图15(c)则是用方向码表示的重心轨迹。明显可见，方向编码的重心轨迹完全匹配于车辆实际运动模式。

停车模式判别

移动中由倒退变为前进或出前进变为后退时的停车与行驶中的中途停车区别是前者停车前后运动方向相反，后者停车前后运动方向相同。车辆停止时重心位置保持不变，但速度极慢或转向时，图像处理得到的重心位置也可能不变，因此重心位置不变只是车辆停止的必要条件。为此，将相邻两帧图像差分后二值化，看是否有灰度改变的像素，若没有则间隔4帧后再做差分，如果还是没有变化的像素则可以判定车辆停止。为避免刹车造成的车身颤动影响(颤动引起像素变化可能很大，超过车辆远处行驶时的像素变化)，应限定一域值以区分是颤动还是拐点。行车路线的折返点判别

车辆由前进转为后退和由后退转为前进的过程定义为行车路线的折返。我们不能简单的依靠停车前后行驶方向的不同来判断行车路线的折返点。这是因为考试时学员一般都是用刹车来停车的，然后换档、起步。当刹车比较急时会造成车身的颤动。当车辆离摄像机比较近时，这种颤动引起的像素变化可能会很大，这样就会引起误判。如少记一次折返和错判方向等。为了解决这个问题，我们用一种新的方法来判断车辆的转向。

经过分析可知：当车身颤抖时其重心是在一个较小的范围内来回变化，其数值范围在2～3，最后它会稳定在其中的一点；而当车辆折返以后，它的重心是持续向相反方向变化，很快就会越过2～3这个范围。根据这个特点就可以采取以下的方法来判断车辆的折返。由于主要关心的是车辆在车库中重心的变化，此时车辆的重心变化基本上是在y方向上的，x方向上的变化很小，对于判断的结果不会产生影响。

当车辆进入车库的库底后，从库底向上运动时(车辆前进)，记录重心y值的最大值y_max，计算出每一帧图像的车辆重心之后，都将y值与y_max值比较，如果y≥y_max，则令y_max＝y，如果y＜y_max，则看y_max减y的差值Δy是否大于预先设定好的阈值T_h，如果Δy≤T_h，认为车辆还没有折返，如果Δy＞T_h，则认为车辆已经折返，开始向库底运动(车辆倒车)；反之亦然：当车辆达到库顶后，从库顶向下运动时(车辆倒车)，通过记录最小的y_min，如果y□y_min，则令y_min＝y，如果y＞y_min，则看y减y_min的差值Δy是否大于预先设定好的阈值T_h，如果Δy≤T_h，认为车辆还没有从库底折返，如果Δy＞T_h，则认为车辆已经从库底折返，开始向库顶运动(车辆前进)。

行车折反点判别程序流程见图16所示。

行车路线的判别

在本系统中，对红外线信号遮挡的变化和经图像处理得到的重心轨迹进行综合分析，就可以判断出车辆行驶路线是否符合考试大纲的要求。根据车辆对5条红外线信号遮挡情况的变化可以得到车辆行驶的大部分路线，而重心轨迹则主要用来判断车辆的中途停车和在移库过程中的两上两下，这是因为车辆中途停车不会使红外线变化，以及当车辆进入车库后(由红外线的遮挡变化可以判断出)，只有在移库过程中会遮挡住中间的红外线，这时候仅根据红外线的情况无法得到车辆具体的位置和移动信息。

用3DS MAX软件建立车辆、考试场地以及运动路线的3D模型进行模拟分析，从摄象机的视角拍摄场地，车辆在考试期间按照规定路线行驶对于红外线的遮挡是这样的：

(1)开始考试时，车辆没有遮住红外线；

(2)车辆贴库，开始先遮住右边的红外线；继续倒车，车身同时挡住右边和中间的红外线；然后是只挡住中间的红外线；车尾进入车库，同时挡住中间和车库前面的红外线；然后是只挡住前面的红外线；

(3)车辆完全进入车库后，没有红外线被遮挡；

(4)车辆在移库的过程中，要在车库中两上两下，这时会挡住中间的红外线；

(5)移库结束后，没有红外线被遮挡。

(6)车辆出库，先挡住中间的红外线；车头出库，同时挡住了中间和车库前面的红外线；然后是同时挡住左边、中间和车库前面的红外线；然后挡住左边和车库前面的红外线；车尾出库后，只挡住左边的红外线；

(7)出库至车道上车停住后，没有红外线被遮挡。

(8)车辆从车道向车库(乙)倒库过程中，遮挡红外线的情况与贴库时是对称的，只不过是由右边变为左边；

(9)考试结束后，车尾出乙库时会遮住车库后面的红外线，整个过程结束。

根据上述分析，得到按大纲规定的标准行驶路线行驶的车辆在整个过程中对红外线信号遮挡变化情况，即红外传感器逻辑真值表。据此，可以在考试程序中判断车辆所处的路线阶段和一些路线错误。

表1是大车库红外信号标准变化状态。罗马数字是红外传感器编号(参见附图的图3)，按大纲规定路线行驶时，在阶段一遮挡顺序是II号、V号，车尾进库后II号恢复而I号被遮挡。阶段二是车辆逐渐进入甲库，遮挡顺序是II号、V号，车尾进库后V号恢复而I号被遮挡。依次类推，可以得到各阶段的红外传感器信号状态变化真值表。考试过程中如果不按规定行驶，根据当前重心轨迹位置，结合红外传感器信号状态，可以判断各种类型的错误。

由路线折反点再结合车辆当前所处的车库位置，可以分析出当前车辆贴库操作是否符合二上二下的标准。

由停车与折反点组合可以判断车辆是否中途停车。具体软件流程见后节叙述。附图的图18是3D模型图，我们用它来分析行车路线中可能发生的问题：

(1)这是从场地后方摄象机安装位置看到的视角。

(2)初始时车辆从画面右上角进入，按照车道以倒车方式先左然后向下行进。

(3)场地上的轨迹是标准行驶路线。

(4)场地上的细线是红外传感器射线。

(5)场地上的四角及中间的是桩杆。

(6)因为仿真是动态过程，图18只是其中一个抓拍。系统使用的图象序列分析流程图与程序。

软件系统分为两个部分：系统调整和考试过程。系统调整是辅助功能部分，表1红外传感器逻辑状态真值表

表中：设遮住红外线为1，反之为0；表中灰色底纹的单元格表示遮挡情况发生变化的红外线。用它可以检测红外线的通断、磁感应开关的离合、摄像机的视角、以及熄火检测的无线电信号。这部分功能在以下两个方面使用：一是在设备安装时，需要调整摄像机和校直红外线，根据软件观察各个信号情况帮助调整；二是在考试开始之前，要保证所有的设备运转正常，红外线全部对准，桩杆全部回位，熄火检测信号接收正常。

考试过程是主要功能部分，它对整个桩考过程进行检测、判断，给出错误提示和考试成绩，打印成绩卡片。

流程图

软件系统结构见附图的图17，它分成系统调整部分和考试部分两块动作程序流程。考试线程程序流程如图19所示，它完全是根据前述的图象处理步骤进行程序设计的。图19(a)表达的图象处理过程如下：

启动程序后(在计算机屏幕上双击图标)，首先采集一幅图象进入计算机内存成为一幅灰度图象，程序进行数字差分形成差分图象，有灰度值的区域就是运动目标物体，其它固定背景物体被相减为零灰度值。因为只需要计算运动物体的重心，把运动物体的区域全部用1表示后，能将某点像素的灰度值与其坐标的乘积运算简化为相加运算，提高处理速度，所以程序对图象做二值化处理。这时，用一个固定灰度域值作为分割目标区域与背景区域的边界，小于这一域值的认为是背景像素，全部置为零；大于这一域值的认为是目标像素，全部置为1。但是，因为环境光线变化噪声的影响，运动车辆周围有一些较强灰度值的像素存在，造成用域值分选后在物体周围有一些零星为1的像素存在(散粒噪声)，为此，程序通过边缘腐蚀去除这些噪声。

画面处理干净后，程序用重心公式可以计算出当前运动物体所处的重心坐标，还是因为环境的干扰存在，每次计算出的重心坐标会有扰动，需要进行平滑滤波处理，得到物体运动趋势轨迹坐标，用当前重心坐标的(x，y)值与前次计算的(x，y)值做比较运算求得物体运动方向，由前述的8个自由度方向模板进运动行方向匹配，将最接近的一个自由度方向作为当前物体运动方向，由该方向的数字编码得到当前物体运动方向编码，如向右运动是1；右上是2；向前运动是3；向左上是4：向左是5；左后是6；后向运动是7；右后则是8；零表示停止。

每次计算得到的物体运动方向编码形成了物体运动数字化轨迹，非常便于程序下一步的运动模式处理。

运动模式处理分解为如下几点：

(1)全程不能停车2次。

(2)只有在车库中才允许车辆折反。

(3)没有折反点以前不允许车辆越过中线。

(4)全程不能超出边界(根据红外线信号指示)。

(5)全程不能碰撞桩杆(根据霍尔传感器信号)。

(6)全程不能熄火(根据熄火检测信号)。

(7)二上二下的4次折反后，车辆必须移库到乙库而不能停留在甲库、不能压住中线。

(8)车辆移库到乙库后，越中线进入甲库，再穿出甲库前行到车道顶点。

(9)由车道顶点倒库进乙库结束考试。程序

根据前述的图象处理原理及运动模式识别方法，用VC++程序语言在WIN95/98环境下开发了一套基于图象序列分析的车辆桩考自动测量系统软件，程序直接安装在WIN95/98环境下。

附图的图20是系统调整功能的运行画面，图21是系统测量运行画面，红色曲线是实时跟踪测量的车辆运动轨迹。

发明效果

以设计开发车辆桩考科目计算机图象处理识别系统为目的，，本发明提出的基于图像序列分析的野外环境下车辆运动模式识别方法，实现了在野外环境各种天气条件下自动跟踪并识别车辆桩考运动轨迹模式，重点解决了大风、阳光、云层、雨雪等背景干扰下运动车辆差分图象处理及重心提取，进而通过空间平滑滤波去除噪声后，根据设置的8自由度模板匹配目标运动轨迹，实现车辆运动模式的自动识别。通过冬季3个月近2000次北京1041、121和捷达三种车型实验，取得了满意效果。

图22是实际测量结果与公安部桩考科目标准路线的比较，可以看出，与图22(a)标准行车路线相比，图22(b)表明系统准确的跟踪记录了车辆运动轨迹模式。

系统测试方法

传感器系统测试

(1)启动计算机系统；

(2)在WIN95/98界面下启动系统软件，选择进入系统调整功能界面；

(3)在测试对象选择红外及桩杆检测系统，此时可以根据软件系统提示看见各红外传感器工作状态及桩杆信号状态；

(4)在测试对象选择框中选择CCD摄像监测系统，此时出现考试场地画面，可以检查CCD摄象机是否正常工作；

系统工作性能测试

(1)启动计算机系统；

(2)在WIN95/98界面下启动系统软件，选择进入系统测量功能界面；

(3)输入学员姓名、准考证号码，选择车库类型；

(4)点击“开始”按钮，系统开始工作，从摄象机画面可以监视场地上车辆运行状态；

(5)任何时候如果车辆碰杆，系统立刻提示出错，同时停止测试，给出考试成绩不合格信息；

(6)任何时候如果压线(红外线)，系统立刻提示出错，同时停止测试，给出考试成绩不合格信息；

(7)如果移库时二上二下后仍在甲库(包括车辆的一部分在甲库)，系统立刻提示出错，同时停止测试，给出考试成绩不合格信息；

(8)如果中途停车达到2次，系统立刻提示出错，同时停止测试，给出考试成绩不合格信息；

(9)任何时候如果车辆熄火，系统立刻提示出错，同时停止测试，给出考试成绩不合格信息；

(10)如果上述错误都没有发生，则倒车入乙库后，系统立刻提示考试完成，给出考试成绩合格信息，同时系统自动复位(驾驶员把车开出车库到起点)；

(11)在步骤3处重复。

Claims

1、一种驾驶员桩考过程自动测试系统，其特征在于包括以下几部分：

2.一种采用如权利要求1所说的驾驶员桩考过程自动测试系统的自动测试方法，其特征在于，以数字图象处理与模式识别方法相结合，无机械接触的用计算机自动判别驾驶员是否按考试大纲规定的路线行驶与操作；

所说的数字图象处理方法具体包括以下步骤：

1)采用摄像头及图象采集卡获取车辆的图象信息；

2)再用图象差分、图象二值化、边缘腐蚀与平滑滤波来消除图象信息的噪声干扰；

3)最后用重心坐标描述车辆运动轨迹、进而通过方向编码得到数字化运动参数；

所说的模式识别方法具体包括：采用所说的数字图象处理方法进行停车判别；运动中的折反点判别；折反方向与路线结合红外线传感器信号判别运动路线是否按规定完成二进二下后进入乙库的判别方法；

3.如权利要求2所说的自动测试方法，其特征在于，所说的图象差分方法为用两帧图像的灰度差提取运动目标信息；对于图像序列中固定不动部分其灰度差值为零，而运动部分则呈现出一定的灰度差，因此差分图像只具有运动部分的信息；具体包括以下三种方式：

(1)用图像序列中每一帧与一个静止的参考帧作图像差分；

4.如权利要求2所说的自动测试方法，其特征在于，所说的图象二值化采用快速固定阈值法进行分割，根据实验选择二值化阈值T，灰度值超过该阈值以上的像素全部置为目标区域的255灰度值，在阈值以下的全部象素的灰度值置为背景区域的零。

5.如权利要求2所说的自动测试方法，其特征在于，所说的边缘腐蚀方法为：每帧图象的背景由于光线方向及照度的变化产生散粒噪声，利用它在图像中所占的面积比车辆所占的面积小很多的特点，通过边缘腐蚀消除这些散粒噪声的像素；根据其它物体图像的大小及分布情况，进行一维或二维腐蚀消除任意个像素的宽度；所说的平滑滤波方法为：每帧图像重心坐标所构成的序列是车辆运动轨迹，由于现场各种干扰造成计算出的运动轨迹有细节突变，必须对运动轨迹进行平滑滤波，即根据前后4个样本点加权后的均值递推得到当前坐标。

6.如权利要求2所说的自动测试方法，其特征在于，所说的车辆运动轨迹的方向编码采用图象象素与Kirsch边缘算子的8个卷积核做卷积，可以得到每个核对特定边缘方向的最大响应，所有8个方向中的最大值做为边缘幅度图像的输出，最大响应核的序号构成了边缘方向编码，所说的重心运动轨迹用8自由度编码得方向变化轨迹。

7.如权利要求2所说的自动测试方法，其特征在于，所说的停车模式判别方法为：在限定一域值内将相邻两帧图像差分后二值化，看是否有灰度改变的像素，若没有则间隔4帧后再做差分，如果还是没有变化的像素则可以判定车辆停止。

8.如权利要求2所说的自动测试方法，其特征在于，所说的行车路线的折返点判别方法包括：

1)当车辆进入车库的库底后，从库底向上运动时(车辆前进)，记录重心y值的最大值y_max；

2)计算出每一帧图像的车辆重心之后，都将y值与y_max值比较，如果y≥y_max，则令y_max＝y，如果y＜y_max，则看y_max减y的差值Δy是否大于预先设定好的阈值T_h，如果Δy≤T_h，认为车辆还没有折返，如果Δy＞T_h，则认为车辆已经折返，开始向库底运动(车辆倒车)；反之亦然：

3)当车辆达到库顶后，从库顶向下运动时(车辆倒车)，通过记录最小的y_min，如果y□y_min，则令y_min＝y，如果y＞y_min，则看y减y_min的差值Δy是否大于预先设定好的阈值T_h，如果Δy≤T_h，认为车辆还没有从库底折返，如果Δy＞T_h，则认为车辆已经从库底折返，开始向库顶运动。

9.如权利要求2所说的自动测试方法，其特征在于，所说的完成二进二下后进入乙库的判别方法为，由路线折反点再结合车辆当前所处的车库位置，可以分析出当前车辆贴库操作是否符合二上二下的标准：

(1)车辆已经进入甲库；

(2)车辆向库顶方向前进，检测到一个折反点；

(3)车辆向库底方向倒车，检测到一个折反点；

(4)车辆向库顶方向前进，检测到一个折反点；

(5)车辆向库底方向倒车，检测到一个折反点；

(6)此时如果车辆已经在乙库，贴库完成。如果车辆压住了甲乙库中线，则贴库失败。