背景技术
在交通控制系统中,使用线圈检测器来生成道路或十字路口的交通信息。
在线圈检测器中,把导电线圈安装在地表之下,电流在线圈中流动,当车辆经过地表时,通过电磁感应现象探测到车辆的存在。相应的,在一条交通车道中,地表下分离地安装两个线圈,通过计算两个线圈之间的检测时间差,从而计算出车辆速度;通过计算每一线圈占用的时间的代表值(即平均值),得到占用时间;根据计算出的速度和占用时间,计算车辆的队列长度。
使用线圈检测器计算车辆队列长度的方法提供高度可靠的关于交通容量、占用率和速度的信息。然而,由于线圈安装于地表之下,它破坏了道路表面,当地表条件恶化时,线圈可能被切断。而且,修复切断的线圈可能造成交通堵塞。另外,最近对于有关十字路口车辆队列长度的信息的需求正在增加,且要求这种信息不是基于传统的统计控制,而是在每一十字路口通过信号控制的实时交通信息。
然而,由于必须在地表下面安装若干线圈(回路线圈),所以要通过使用线圈检测器而得到预定区域内的交通信息(如车辆队列长度)所需的建造工作是困难的。因此,为了避免安装建造回路线圈的困难,仅在道路(道路表面)的若干位置安装回路线圈,来计算车辆队列长度。这样,由于队列长度是利用每一点安装的回路线圈的位置信息估算的,队列长度的准确度大为降低。
同时,为了提取交通信息,如通行量、速度、占用率、车辆队列长度等,已经开发了一种使用图像的技术,并将其应用于现场。更具体地,在交通相关领域中,为了提供交通信息,在主要道路和十字路口安装CCTV(闭路电视)或CCD(电荷耦合设备)摄像机。同时,已经出现了作为ITS(智能交通系统)的ATMS(高级交通管理系统)。
在ATMS中,为了优化交通流,利用各种交通信息检测技术,实时检测通行量变化,并识别道路上的各种无法预料的情况。依照这些,ATMS可以摸索控制方法,如交通信号灯开/关时间控制、道路容量考虑以及交通流控制。
同时,为了弥补传统交通信息采集传感器中线圈检测器的缺点,关于使用图像的交通信息采集传感器的研究正在活跃地进行中,它被看作下一代交通信息采集传感器之一。
另外,关于十字路口车辆队列长度的测量方法的研究也在进行中,目的是用于交通信号灯开/关时间控制,即信号控制。以下参照图1说明传统的测量车辆队列长度的方法。
图1说明了现有技术中,用于测量车辆队列长度的方法及测量结果中误差的发生。
如图1,将摄像机100安装在十字路口附近的建筑或交通信号灯的支撑柱上,使其具有预定的高度,以得到驶入十字路口的车辆的前部图像。
在现有的使用图像测量车辆队列线的方法中,使用图像处理技术来将车辆与道路表面或附加噪声区分开。现有的方法可分为两种:一种方法通过从摄像机获得的图像中提取车辆轮廓成分而检测车辆;另一种方法设置、存储低空气污染条件下无车辆道路的参考图像,将存储的参考图像与当前得到的图像比较,从而检测路面车辆。
但是,如图1所示,在现有方法中面对车辆的前表面安装摄像机镜头。更具体地说,因为摄像机对车辆前部拍照,由于摄像机和车辆之间的角度以及车辆高度,可能出现隐蔽区域,于是有可能在车辆队列长度的真实值和通过拍照并计算得到的测量值之间出现相应的误差。
为解决上面提到的问题,可以在拍照得到的图像的基础上测量出车辆的准确高度及其与摄像机的精确距离,然后补偿误差。但是,由于误差可能持续存在,甚至可能存在于根据照片图像测得的车辆高度中,所以从根本上不可能测量到准确的车辆队列长度。
另外,为了补偿测量队列长度的误差,不可能不计算每一车辆的高度而使用一个任意的估计值或统计值,但是,可能因测量车辆队列长度时的补偿而引起误差。更具体地,在现有技术中通过对车辆前部拍照而测量车辆队列长度,车辆高度越高,或者车辆与摄像机间距越大,误差也将越大,且误差几何地增长。
同时,在车辆前面测量队列长度,不仅会产生上面提到的几何误差,而且会接下来产生测量误差。
在现有技术中已经提出了两种图像处理方法。第一种方法通过提取车辆的特征作为(垂直、水平和对角)边界元素或者利用这些特征提取车辆轮廓,从而检测车辆。第二种方法对空的道路进行拍照并将图像存储作为参考图像,将参考图像与新得到的图像比较,当差异超过一个预定的阈值时,认为路上有车辆。但是,在第一种图像处理方法中,必须确定车辆的特征值和阈值作为预处理。在第二种图像处理方法中,因为需要随时间更新存储的参考图像,所以为了使用更新的参考值来检测车辆,必须有调整阈值的方法。
但是,在上述的两种图像处理方法中,在不同路况下都可能有需要适当的阈值微调的情况。在这里,如果阈值调整错误,精确度会急剧降低。例如,存在车辆被误判为不存在,或者反过来将不存在车辆误判为存在。
另外,在使用参考图像,即背景图像时,若背景图像的更新错误,则车辆的存在可能在输出中被误判,而且为了得到好的背景图像,需要相应的具体调整。然而,因为实际中许多车辆行驶于路上,不容易得到没有车辆的道路图像。如果更新参考图像一直失败,由于不能满足参考图像的更新水平,更新时间将被延迟。相应的,当参考图像由于突发的大气现象(天气和亮度等)改变而没有正常更新时,可能在判断车辆是否存在时发生错误,相应的队列长度的测量误差也增加。
下面参考图2介绍图像处理方法中的测量误差。
图2A和2B显示了由图1中的摄像机拍摄的夜间道路图像及其轮廓图像。
如图2所示,在现有技术中,对着车辆前部的方向拍摄道路,在夜间拍摄的图像(图2)中,在一个远离摄像机的圆形区域(2A-1)中,由于前灯的直射光及反射光,产生了光线模糊的现象,车辆轮廓无法显示,整个车辆图像被光覆盖,从而产生了无法测量队列长度的区域。
另外,在夜间的路上,由于光线条件剧烈改变,车辆轮廓的清晰度以每秒30幅图像(称为帧)的速度变化,很难将车身反射的光与道路反射的光区分开,如图2A所示,即使在未发生光线模糊现象的靠近摄像机的区域(2A-2)中,车辆前灯清楚地显示,然而车辆外侧模糊,只有当周围的光反射到车辆上时,才可以生成轮廓可识别区域。
因此,如图2B所示,在夜间拍摄的图像中,因为存在不能正确提取车辆轮廓的区域,车辆队列长度的可测区域减少,从而无法测量在道路上的最后一辆车。因此,根本无法测量到准确的车辆队列长度。
具体实施方式
下面将参考附图3~9详细描述用于测量车辆队列长度的装置和方法,其把摄像机安装为与路上车辆行进方向相同的方向,并从车辆后面获取道路图像,从而可以准确地测量车辆队列长度。
图3是本发明的用于测量车辆队列长度的装置的框图。
如图3所示,本发明的用于测量车辆队列长度的装置包括:摄像机310,用于从道路上车辆的后侧得到道路图像,并通过同轴电缆传送(输出)对应于拍摄的道路图像的模拟图像信号;图像抓取器320,用于将从摄像机320接收到的模拟图像信号转换为每秒30幅(帧)的数字图像信号;以及控制单元330,用于将图像抓取器320中转换的数字图像一帧帧地存储在存储器(未显示)中,并根据存储的图像计算车辆队列长度。在这里,本发明除了使用摄像机310,还可以使用多种方法来拍摄各种运动图片或静止图像;还可以使用多种图像转换器代替图像抓取器320,将模拟图像信号转换为数字图像信号。
下面详细介绍控制单元330的结构。
控制单元330包括:预处理单元331,它通过执行高斯滤波而对图像抓取器320中转换的数字图像(帧数据)在水平轴(X轴)和垂直轴(Y轴)方向除噪,并输出除噪后的图像;特征位置提取单元,用于在水平轴(X轴)和垂直轴(Y轴)上,从预处理单元331输出的图像中分别提取差异图像,并通过窗口单元提取特征(作为跟踪的对象),如垂直线、水平线、边缘等;特征跟踪单元333,用于将特征提取单元332提取的特征位置设置为参考模板,预测从存储于存储器中的下一帧(预定时间后输入的图像)中提取的特征位置,将预测的位置部分确定为搜索区域,计算所确定的搜索区域和通过窗口单元得到的参考模板之间的相关系数,对所计算的相关系数值中具有最大相关系数值的窗口(即包含相同图像的窗口)进行模板匹配,并选择匹配的窗口作为新特征;和队列长度测量单元334,通过分析从特征搜索单元333选择的特征之间的位置关系,从而检查成组的特征,当选择的特征构成组时,将特征识别为车辆,当预定的多个帧中被认作是车辆的特征的位置轨迹中没有不小于一个预定大小的运动时,将构成组的特征识别为静止车辆,计算静止车辆的特征在水平和垂直轴(X轴、Y轴)上的最大和最小位置,计算最大和最小位置的中心标记与车道的停车线之间的距离;并输出计算出的距离值作为车辆队列长度值。
在这里,特征提取单元332提取的特征包括车辆的垂直线、水平线和边缘元素,如对角线等。在多个具有多个特征的组中(每一组代表一静止车辆),队列长度测量单元334计算道路上每一车道中最后一组(静止车辆)与停车线之间的距离。另外,静止车辆是指最后的静止车辆,即道路上距停车线最远的车辆。因此,最后的静止车辆(距摄像机最近的车辆)与道路停车线之间的距离就是车辆队列长度。
下面详细介绍用于测量车辆队列长度的装置的操作。首先,参考图4详细叙述作为图像获取装置的摄像机310。
图4说明了用于测量车辆队列长度的摄像机的拍摄方向。
如图4所示,本发明的摄像机310安装在路边的装备310-1的一个预定高度上,拍摄方向与车辆行进方向相同,从而具有一个适于测量车辆队列长度的FOV(视场)。更具体的,摄像机310安装在通过道路的车辆的后侧。在这里,如图4所示,当安装了摄像机310并拍摄道路时,拍摄的道路图像显示车辆及车顶的后部。因此,将本发明中使用摄像机310拍摄车辆后部与现有技术中拍摄车辆前部相比,本发明的用于测量车辆队列长度的装置和方法至少具有以下四个优点:
1.可以得到道路上车辆的后部图像,并从得到的图像中容易地测量道路上最后一辆车,不必考虑或补偿车顶高度。
2.在获取道路上车辆的后部图像时,所获取的图像的测量值与队列长度的真实值之间有根本性的误差。但是由于误差对应于车辆轮胎的尺寸,因此远小于现有技术中对应于车辆高度的误差。
3.车辆队列长度越长,最后一辆车距十字路口的停车线越远,最后一辆车与摄像机310之间的距离越小,图像分辨率提高。因此提高了测量值的准确度。
4.在拍摄夜间道路车辆时,通过拍摄后部的尾灯或停止灯,而不是拍摄前部的前灯,可以防止模糊现象,通过从噪声中辨别车辆,可以准确测量车辆队列长度。
为了具有这些优点,摄像机310在车辆后侧拍摄道路图像,对应于所得到的图像的模拟图像信号被传送到图像抓取器320。在这里,参考图5A~5D介绍摄像机310在白天和夜晚拍摄的图像。
图5A~5D显示了本发明的实施例在白天和晚上拍摄的道路图像以及得到的图像的轮廓。更具体的,图5A和5C显示了摄像机310得到的白天和夜间图像。另外,图5B和5D显示了图像抓取器320从摄像机310拍摄的白天和夜间图像中提取的车辆轮廓图像。
图像抓取器320将摄像机310输出的模拟图像信号转换为数字图像信号,以执行图像处理。转换后的数字图像信号以帧为单位存储于存储器中。在这里,图像抓取器320转换的图像是图像帧,其中每一像素具有介于0~255之间的黑白灰度值,它们存储于控制单元330的存储器(未显示)中,且存储的图像帧以每秒30帧的速度更新。
然后,控制单元330通过实时地对图像帧进行图像处理,计算车辆队列长度。在这里,计算车辆队列长度的处理过程顺次在预处理单元331、特征提取单元332、特征跟踪单元333和队列长度测量单元334中执行,下面详细介绍。
首先,预处理单元331通过对从图像抓取器320接收的数字图像的原始图像在水平轴(X轴)进行高斯滤波,并对经高斯滤波的图像在垂直轴(Y轴)进行高斯滤波,从而除去从图像抓取器320接收的图像的噪声元素,然后将除噪后的图像传送至特征提取单元332。在这里,从图像抓取器320接收的图像通过高斯滤波器(未显示)滤波,在选择施加于每一像素的权重时,使用高斯分布(正态分布)的权重。更详细的,通过高斯滤波器,除去从预处理单元331接收道的图像的微小噪声元素。
接下来,参考图6A和6B介绍摄像机310拍摄的原始图像,以及通过在水平和垂直轴使用高斯滤波器对原始图像滤波除噪而得到的图像。
图6A显示了图5A的圈中的原始图像,图6B显示了图5A的圈中的除噪后的图像。更具体的,图6A显示了原始拍摄的图像,图6B显示了通过对原始拍摄的图像进行高斯滤波而得到的图像,即已除噪的图像。
然后,特征提取单元332通过一个具有权重的滤波器(未显示)从接收自预处理单元331的图像中提取两个空间差异图像(Gx,Gy),以从接收自预处理单元331的图像(已除噪的图像)中提取车辆特征。
图7A~7D显示了从除噪后的图像中提取的差异图像(Gx,Gy)。
如图7A所示,特征提取单元332在水平方向上对除噪后的图像进行滤波处理,从而得到水平方向上的空间差异图像(Gx),如图7B所示。另外,如图7C所示,特征提取单元332在水平轴上对除噪后的图像进行滤波处理,从而得到垂直方向上的空间差异图像(Gy)。
另外,特征提取单元332通过具有一定尺寸的窗口单元,从水平和垂直轴上得到的空间差异图像(Gx,Gy)中提取特征,作为要跟踪的对象。更具体的,一个特征有一定的窗口尺寸。这里,对应于窗口特征的特征值可以由下面的公式1计算。
公式1
其中,Sum_gxx是Gx图像中的一个窗口内所有像素的平方和,Sum_gyy是Gy图像中的一个窗口内所有像素的平方和,Sum_gxy是Gx图像中的一个窗口内的像素乘以Gy图像中相同位置的窗口内的像素所得乘积的总和,w是窗口的尺寸。另外,为了从原始图像中提取特征,使用卷积函数,卷积函数是具有预定值的像素集,也可称为“核”。另外,Gx是通过“核”得到原始图像所有像素的水平方向边的图像,Gy是通过“核”得到原始图像所有像素的垂直方向边的图像。
下面,参考附图8介绍预定的窗口尺寸和移动单元。
图8说明了特征跟踪中的窗口尺寸和移动单元的一个示例。更具体的,在通过窗口单元计算对应于特征的预定值时,窗口上/下、左/右移动。更具体的,窗口逐像素地从最左移动到最右,当它达到最右时,窗口移动到最左边的向下一个像素,并再次向右移动。
因此,特征提取单元332通过公式1,利用窗口单元计算特征值(WFV),并通过下面的过程计算作为跟踪对象的特征值。
首先,特征提取单元332比较特征值(WFV)是否大于一个阈值(WFVth)。为了检测特征,阈值(WFVth)设置得尽量低,尽管在多云或天色暗下来时它显得模糊。
当特征值(WFV)大于阈值(WFVth)时,特征提取单元332以从大到小的顺序排列大于阈值(WFVth)的特征值(WFV)。
另外,特征提取单元332将顺序排列的特征值(WFV)与预先选择的特征值进行比较以检查相似性,选择预定数目的窗口互不一致的特征值并把选择的特征值传送到特征跟踪单元333。这里,根据环境的变化,通过排列大于阈值(WFVth)的特征值并选择预定数目的特征值,可以选择对应于特征(包括垂直线、水平线和边缘部分)的特征值。其中,对应于特征值的特征是跟踪对象。
特征跟踪单元333设置特征位置作为参考模板,预测当前帧中的特征位置,并将预测的特征位置确定为搜索区域。
然后,特征跟踪单元333利用窗口单元,通过将确定的搜索区域与参考模板进行模板匹配,跟踪特征值。更具体的,特征跟踪单元333以提取的特征的位置为基础,设置一个搜索区域,并将不小于一个预定阈值的特征值确定为车辆。下面顺序介绍一种用于跟踪特征的方法。
第一步,设置参考模板。更具体的,将特征提取单元332选择的特征,即包括若干像素的窗口的图像,设置为参考模板。这里,接收自预处理单元331的图像被用作参考模板图像。选择的特征的参考模板单元是与选择特征时的单元相同的窗口。
然后在第二步中确定搜索区域。首先,使用参考搜索区域确定搜索区域。然后,通过计算当前位置和先前位置之间的运动矢量,在下一帧中预测特征提取单元332中选择的特征的位置,并将一个包括被预测的特征的预定区域确定为搜索区域。
最后,在第三步中完成模板匹配步骤。更具体的,计算参考模板窗口与搜索区域中窗口的相关系数。这里,计算的相关系数值在-1~1的范围内,相关系数值越接近1,窗口中存在的图像互相越相似。更具体的,当相关系数值为1时,窗口中存在的图像是相同的(当图像相同,没有任何运动时,被确定为静止车辆)。相关系数值(γ)由下面的公式2计算得到。
-1≤γ≤+1
公式2
其中,γ是相关系数,Xk是参考模板中各像素的灰度值,
X是Xk的平均值,Yk是搜索区域中的窗口内各像素的灰度值,
Y是Yk的平均值。这里,当它们互相一致时,公式2计算得到的值是+1。当Xk和Yk的绝对值相等而符号相反时,等式2计算得到的值是-1。其他情况下,等式2计算得到的值在-1~+1的范围内。
因此,在搜索区域内,特征跟踪单元333利用窗口单元在每一位置计算参考模板与搜索区域的相关系数,在预定的窗口中选择具有不小于一个阈值的最大相关系数(γ)的窗口,作为新的通过模板匹配得到的特征,并将选择的特征输出到队列长度测量单元334。
同时,在第三步中,当搜索区域中不存在具有不小于预定阈值的相关系数(γ)的窗口时,跟踪失败,因此跟踪停止。相反,当存在满足条件的窗口时,跟踪成功,重复执行第一步和第二步来跟踪下一帧。
下面,详细介绍队列长度测量单元334的操作。
通过检查特征跟踪单元333成功跟踪的特征的分组,队列长度测量单元334执行确定车辆的步骤;通过从确定的车辆中提取跟踪信息,执行判断车辆处于移动状态还是停止状态的步骤;并测量确定为停止状态的车辆的队列长度。下面顺序详细介绍队列长度测量方法。
首先,队列长度测量单元334分析被成功跟踪的特征的位置关系,识别出分离间距不小于一个预定值的特征,作为属于另一车辆的特征,并构成一个新的组。这里,一个组(包括预定的特征)代表一辆车。
然后,队列长度测量单元334分析所有特征的位置,并将特征分为预定的组(一个组代表一辆车),这里,只有包含不少于预定数目的特征的组被识别为一辆车。更具体的,当车辆通过分组检测被确定时,若干特征同属于一辆车。
队列长度测量单元334在每一帧计算若干特征的中心并记录。如果在预定数目的连续帧中,记录的特征的中心位置轨迹小于预定尺寸,即没有移动,则将记录的特征的组确定为停止于道路上的车辆。
另外,在确定为停止的车辆中,队列长度测量单元334在水平轴(X轴)和垂直轴(Y轴)上,计算属于最后的停止车辆的特征(组)的一个最大位置和一个最小位置;在计算的最大和最小位置值的基础上计算一个外切矩形(代表一辆车);并计算从外切矩形的中心到每一车道的停车线(或参考位置)的距离。
图9显示了一个外切矩形的中心标记与一条相关车道的停车线之间的距离。更具体的,外切矩形的中心标记到相关车道的停车线的距离代表队列长度。
如上所述,本发明通过安装一台摄像机从后部拍摄车辆队列长度,可以解决现有技术中准确度降低的问题。现有技术拍摄车辆前部图像,几何隐蔽现象引起的误差、夜间车辆前灯引起的模糊现象以及车辆后部的模糊轮廓都导致准确度降低。更具体的,在本发明中,通过把摄像机安装为拍摄方向与车辆移动方向相同,可以减少测量道路上最后一辆车所引起的几何误差,消除夜间前灯或反射光漫射引起的影响,从而可以提高队列长度测量值的准确度。
另外,通过安装摄像机从后部拍摄车辆队列长度,可以减小车辆队列长度的测量误差。
另外,本发明可以与道路环境无关地跟踪特征,从而精确地测量队列长度。更具体的,本发明中基于车辆特征,实时地确定道路上车辆是停止还是移动,从而可以提高测量队列长度的速度。
另外,本发明基于车辆特征,实时地确定道路上车辆是否停止,并测量车俩队列长度,不必根据环境变化或背景更新来调整阈值,因此可以精确地调整车辆队列长度。