CN1573797A - 用于在图像处理中改善对象识别和/或再识别的方法和装置 - Google Patents

用于在图像处理中改善对象识别和/或再识别的方法和装置 Download PDF

Info

Publication number
CN1573797A
CN1573797A CNA2004100597409A CN200410059740A CN1573797A CN 1573797 A CN1573797 A CN 1573797A CN A2004100597409 A CNA2004100597409 A CN A2004100597409A CN 200410059740 A CN200410059740 A CN 200410059740A CN 1573797 A CN1573797 A CN 1573797A
Authority
CN
China
Prior art keywords
traffic
camera
information
vehicle
running time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004100597409A
Other languages
English (en)
Other versions
CN100349176C (zh
Inventor
理查德·韦斯勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsches Zentrum fuer Luft und Raumfahrt eV
Original Assignee
Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsches Zentrum fuer Luft und Raumfahrt eV filed Critical Deutsches Zentrum fuer Luft und Raumfahrt eV
Publication of CN1573797A publication Critical patent/CN1573797A/zh
Application granted granted Critical
Publication of CN100349176C publication Critical patent/CN100349176C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

用于在图像处理中改善对象识别和再识别的方法和装置,借助于至少一个照相机-计算机系统,该系统包括至少一个照相机和至少一个计算单元,其中用照相机-计算机系统获取对象的一个表面的至少一个成像,并计算出至少一个相应的传感器像素值,确定通过表面反射到照相机(10)中的至少一个区域(31),通过计算单元计算出区域(31)的至少一个传感器像素值,计算出一个至少与区域(31)的至少一个传感器像素值相关的反射分量,并且用这个反射分量来校正所述表面的传感器像素值。

Description

用于在图像处理中改善 对象识别和/或再识别的方法和装置
技术领域
本发明涉及一种用于在图像处理中改善对象识别和/或再识别的方法和装置。
背景技术
图像处理中的对象识别和/或再识别例如在交通监控、地区安全监控和/或借助于照片进行图形学地域识别中是必需的。出于对成本的考虑,用于监控的照相机的数量应该很少。通过对对象的再识别可以减少用在地区交通监控中的照相机的数量。当对象离开了一个照相机的摄像范围,然后在远一点的,例如在下一个路口的照相机的摄像范围内出现并且被重新识别后,就能够计算出行驶时间,并且估计出在这段无监控地带内的交通情况。
在交通监控中能借助识别和/或再识别得到不知名的路线信息,通过这些信息可以获得一些重要的交通参数。例如交通仿真和/或自动交通疏导系统就需要用到这些信息。其中这些信息的质量取决于识别和/或再识别的成功率。
通过用特征(Kennzeichen)对车辆进行再识别在交通中是特别值得考虑的。对一个路口的所有车道进行特征识别需要大量的照相机,这里价格因素就体现出来了。然而特征识别用在一些特定的地方例如养路费计费中却很有意义的,而用在大面积交通观测中意义却不大。
对于交通观察,例如由“Untersuchungen zu einer systematischenLeistungssteigerung in der modellbasierten Bildforgenauswertung(对基于模型的图像跟随评估中系统性提高效率的研究)”(H.Leuck,“Berichte aus der Informatik”,Shaker出版社,亚琛,2001年)已知关于对象类型和位置的假设,其中提到了通过合适的方法对单一的假设进行分析。此外,还已知对从不同的时间和不同的地点提取出的对象的对象特征进行比较,从而能对对象进行再识别。(R.Woesler,“Fast extraction of traffic data and reidentification of vehicles fromvideo data(从图像数据快速提取交通数据以及对车辆进行再识别)”,IEEE第6届智能交通系统国际会议,上海,中国,会议纪录,IEEE目录号:03TH8708C,ISBN 0-7803-8126-2,2003年)。其中获取其他的特征,如照相机像素值,用于提高对象假设中对象的再识别成功率。这些特征的获取例如借助于彩色矩阵照相机来实现。但是,识别和/或再识别的成功率还不是最理想的。
发明内容
因此,本发明基于这个技术问题提供了一种方法和装置,用来改善对对象的识别和/或再识别。
通过具有权利要求1和34中所述特征的主题可以将该问题解决。从属权利要求给出了本发明具有优点的实施例。
为了改进对对象的识别和/或再识别,这些被识别的对象例如为车辆、拖车、骑车人、行人、建筑物等等,在对象的至少一个表面上用至少一个照相机-计算机系统获取照相传感器像素值,并且用一个反射分量来校正所获取的传感器像素值。为了确定这个反射分量,要确定通过所述表面反射到照相机中的至少一个区域,并且要获取该区域的至少一个传感器像素值。反射分量依据这个或这些传感器像素值获得。在通常条件下,直接提供的传感器像素值一般与传感器像素值之间具有很大的偏差。因为对象,特别是车辆的表面被喷了漆,部分位置具有强烈的反射。通过考虑被反射的区域的传感器像素值,可以对由表面反光产生的表面的传感器像素值的测量误差进行近似的校正。当不存在由误差引起的反射时,则校正后的值应该和这个区域的相应部分的值很接近。借助于校正过的传感器像素值可以表述对象假设,并且可提高基于另外一个视角等的对象的再识别成功率。
其中用一些数值来表示传感器像素值,这些数值和传感器像素输出值相对应,这些值例如可以通过黑白照相机和/或彩色矩阵照相机和/或红外线照相机(IR照相机)来确定。可以考虑将数据按RGB数据也可以按RGB值和/或通过色彩数据值的另一种表示方式进行进一步处理,这些色彩数据值可以通过例如将RGB值进行转换来计算出来。
在另一个优选的实施方式中,至少一个平均的传感器像素值作为对象的和/或被反射区域的传感器像素值,其中至少要对表面和/或区域的映像的一部分范围进行平均。在极少的情况下,对象和/或被反射区域的表面可能会在某些位置具有不利于确定传感器像素值的特性。其原因例如可能是由于车道标记、表面的局部强烈污染、水坑和/或被反射区域上的结冰点。对于位于被反射区域内的车道标记,可以对整个区域进行平均。可选地,可以将反射区域选择为车辆的另外一个位置,例如车辆的侧面,这样在反射区域内就不会出现车道标记等。
例如车辆的不同表面的传感器像素值通常具有不同的反射分量。因此载客车辆的车顶大多数情况下反射的是明亮的天空,但如果例如选择载客车辆的侧面的值,这个侧面和车道平面几乎接近直角并且通常不会反射天空,那么得出的结果就会截然不同。如果没有关于天空的传感器像素值,那么对于车辆的再识别来说提取侧面颜色就有着非常重要的意义。当除了提取侧面颜色数据之外还提取车顶颜色数据时,或者仅提取车顶颜色数据时,安装一个垂直偏振滤光器是很有意义的。在这里“垂直”意味着滤光器被平行安装在对象的前面,无法通过滤光器的光线的偏振方向是水平的。垂直偏振滤光器减少了由车顶反射的明亮的天空光线,因为被车顶反射的光通常都是那些有水平方向偏振的光线,特别是在布鲁斯特角附近。因此通过垂直偏振滤光器可以更好地提取适合的车顶像素值,因为被反射的天空光线大多被滤光器挡住了。并且,在初步的近似时没有获取相应的天空像素值,而只要在最佳情况下附带地提取到了天空的像素值,特别是通常通过车顶被反射到照相机中的区域的像素值,在考虑这些值的情况下还能得到更精确的近似,在这种情况下还可以使用一种附加的算法来校正剩下的反射分量。其中人们还会分别考虑到天空光线通常已知的优选偏振方向以及偏振角度,这很大程度上与太阳的位置相关。此外,如果必要的话,可以将天空颜色数据值和太阳位置以及视角综合起来考虑,这样一般能更好地估计出光线通常相应的偏振角度,例如蓝色的天空的偏振角度就和灰色多云的天空的偏振角度不一样。
优选地,选择表面的中间位置来提取传感器像素值,因为边缘范围内的传感器像素值经常由于对象的外形条件和/或其它因素(如靠近地面的对象就会比较脏)的影响而产生严重的错误。
在某些情况下,其它部分区域也是有意义的。在交通密度很大和/或照相机视角不合适的情况下,例如道路被表面的一部分反射进照相机内的某个区域没有直接在传感器上成像,而是被另外一个对象挡住了。在这种情况下可以考虑转换到其它的表面上去。另外,在选择侧面的情况下,传感器像素值可以从位于下面较远一点的表面部分提取。侧面通常是略有一点凸的曲面,这样位于深处的部分区域就能将道路上经常会被其他假设的对象挡住的部分反射到照相机中。如果是这种情况,那么色彩数据取样就可以实现了。如果在对象上偶尔看不到合适的表面,那么这个对象会在再识别的评估阶段同样被忽略。通常被再识别的对象的一定百分比就足够用来计算两个路口之间的行驶时间了。在另外一个优选的实施方式中,反射分量被用来校正表面或部分区域的测得的传感器像素值,计算时至少要考虑至少一个视角,在该视角下对象上的反射区域,更确切地说,是表面或表面的一部分区域上的反射区域被照相机获取。此外,最好考虑到太阳位置来获取反射区域。
在另外一个实施方式中,考虑到反射分量的对象表面特性。在通常的污损程度和/或色彩关联性下,例如通常会考虑到通常的车身的漆的反射特性。为了获得通常的污损程度例如可以考虑所获取的气候条件。
在很多情况下,照相机不会直接拍摄到从天空光线。这种情况下可以用一个附加的照相机来获得天空像素值。最好用一面镜子来代替附加的照相机,镜子可以被固定设置在照相机的前面,并将天空光线反射到那些对于其余的图像处理不需要的照相机成像区域内。这面镜子最好是曲面的,这样可以将大部分天空反射到传感器的部分区域内。然后以近似的方式将天空像素数据值校正为使镜子成像的区域内的相应像素值,并且可以用来校正车顶的传感器像素值。此外天空像素数据还可以用于估计被监控区域的照明度。
通过比较不同参数的总体加权偏差,在没有超出一个阀值时,只要对象在预计行驶时间的时间间隔内,那么可以对同样的对象使用当前的假设。可以通过解析方式或通过数字交通仿真对行驶时间进行估计,其中当速度低于阀值速度时行驶时间间隔可以选的很大,以至能把堵车时的行驶时间也包括在内,以在堵车时对车辆进行再识别。为了获得不同参数的总体加权偏差,最好可考虑一个由经验得出的参数标准偏差函数的估计值(例如可以通过训练方法来获得),同样还可以考虑用于再识别的单个参数的估计出的关联性——例如亮度偏差的关联性就小于色调偏差的关联性。当具有最小偏差的对象所拥有的偏差值比具有第二小的偏差值的对象小,达到另外一个阈值时,那么就能确定最终的对同样对象的假设。
此外,可以在这个方法中整合其他数据,用来对车辆进行识别,例如从感应回路获得的在时间上高度离散的数据,这些数据会被适当地转换,并在计算总体加权偏差时考虑每两个对象的转换后的数据的加权偏差,作为其他的参数。这样就将例如看上去很相似、但感应回路数据有很大差别的目标正确地区分开了。以类似的方法,可以从车辆上的,例如公共车辆上的照相机中提取出数据,而且用雷达检测器和激光检测器、超声波传感器来整合XFCD数据、空气兼容或全兼容的交通数据。
此外,还可以寻找目前出现的最合适的对象,看有没有更合适的对象存在或可供选择,在后一种情况下在做出最终假设时予以考虑。
如果人们只对高的再识别成功率感兴趣,而对获得路线信息毫无兴趣,并且如果在观测路段内车辆的变道率很低的话,通过忽略车辆变道,就可以提高再识别的成功率。特别是在照相机之间间距很小的情况下,车辆变道就几乎没有了。例如在两个车道的情况下,如果人们分别只比较同一个车道上的对象,要比较的对象的数量就减半了。通过减少要比较的相似对象能提高最终再识别假设的数量。
对于不同的照相机间距来说,优化用于对再识别的参数,如阈值,在时间和成本上都很紧张,因为对很多不同的间距必须要提高图像记录。人们可以对此可以部分地加以解决,通过提高用于照相机间距的数据,然后模拟其它间距情况(最好是更大的间距),对于对象来说,使用上行方向上的照相机来获取通过模拟或数字的交通仿真在实际照相机间距上以及在第二个虚拟的、希望得到的间距上驶过的行驶时间的估计,然后根据估计出的行驶时间差对上行照相机获得的对象进行虚拟的位移。如果人们用这种方式来模拟例如一个很大的间距的话,在通常情况下更多的对象会位于估计出的行驶时间间隔内,这会在确定再识别假设时被考虑。如果人们用实际的照相机间距进行处理并保存,保存了什么车辆对应着什么数据,那么还能得到更接近真实的结果,因为这样可以用上行方向上的照相机实现对对象的交通仿真,并在上行方向上的虚拟照相机处还获得了由上行方向上的真实照相机获得的数据,然后进行再识别。
可以通过对在时间上相邻提取的行驶时间取平均值来计算出与时间相关的通常行驶时间的估计值,其中在带有误差的再识别系统中最好不考虑很少出现的异常值。这种行驶时间也可以直接通过对象识别和跟踪计算出来,不需要对例如仅由一个照相机获得的区域进行再识别。
另外人们对对象序列和/或车队进行再识别,则可以提高再识别的成功率。在绿灯阶段开始通常会出现一个车队,在上行方向上行驶时,即向着道路远方延伸的方向,车队的行驶时间可以被获取。在对象序列的情况下,例如5辆先后衔接的被检测车辆,如果假设车队的顺序不会改变,那么就能在上行方向上的监控范围内重新找到车队的顺序。根据对所考虑的对象序列的行驶时间间隔进行估计,可以计算出该对象序列中单个对象的参数值的总体误差量,首先假设队列的顺序不变,然后假设对象少了一个或多了一个,其中人们分别仅比较同一数目的目标,并且可选地,确定队列顺序是否发生了简单的调换,等等。如果误差量最小的对象序列(其中所考虑的参数的数目达到该误差量)的误差量小于一个阈值,并且相对于误差量第二小的序列的绝对差小于另外一个阈值,则将这个误差量最小的对象序列定义为最终的再识别对象序列的假设。在比较对象序列时,由于根据上文所述要进行比较的校正后的传感器像素值,例如HSV值的质量提高了,可以对对象进行更好的再识别。
最终这些获得的交通信息可以用来优化交通控制。
利用录像检测器通常情况下首先可以在信号灯(LAS)前面的一段确定的区域中获得可靠的交通数据。这些信息能改善绿灯和红灯之间的切换,这样能减少每次通行时车辆在交通灯前面的等待时间。考虑到成本因素,为了要减少照相机的数量,通常只在交通灯前面的一个有限的区域内实现可靠的交通数据提取。
如果人们在交通灯控制中每次通行使用最大的排队时间长度的话,那么在交通繁忙时最大的排队时间长度往往超过照相机能可靠拍摄的范围。有意义的是,代替用录像检测器得到的、用于时间间隔控制的时间间隔,或者代替可获得的最大排队时间长度,而是考虑每次交通灯通行在时间上经过平均的排队时间长度,或者设定红灯亮了以后的一段确定的时间,或者到红灯开始时探测到的车辆密度,以实现对交通灯的控制。此外在两条交叉的道路上出现交通拥堵的状况下,如果测出的最大排队时间长度始终包含了由照相机分析的所有范围,或者时间间隔很短,那么还可以改进对交通灯的控制,例如在道路上如果红灯开始的时候车辆密度较大,下面就可以设置较长的绿灯时间,直到设置到最大的绿灯/红灯比例。为此在考虑要行驶的道路的累计排队时间长度的同时,可以考虑由经验得出的或者估计出的在通常情况下的转弯概率,这样拥有更多累计排队时间长度的道路将会获得更多的绿灯时间。对于那些由导航服务设计出路线的车辆来说,经过使用交通控制的用户的同意,能考虑出精确的路线而不是简单的转弯概率。
此外,还能实现交通网控制和/或交通灯控制的改善,通过综合考虑所获得的交通灯前的单个车辆的距离、速度和加速度等信息来实现。由此能够计算出车辆到达停车线时的时间的估计,这样同时能计算出一个更好的绿灯时间,以减少平均行驶时间,通过特别是延长一小段时间的绿灯时间,使车辆可以通行,而且它们通过了以后就有很长的时间间隔。如果在交通灯前面的区域内没有车辆,则减少一定的绿灯时间。通常情况下借助于数据,并通过在缺少的数据的区域内补充适当的虚拟数据,可以缩短在交通网内的平均行驶时间,交通仿真会根据不同的虚拟绿灯时间来进行模拟,直到找到能实现最短平均行驶时间的时间范围。开始时可以实现每两个监控区域之间用平均密度的平均值(如果有的话)以及平均流量的平均值(如果有的话)来补充,其中在最近的监控地点处的过多或者不足的车辆会被除去或者添加,紧接着可以根据模拟用得到的数值来补充。如果只有平均密度或平均流量或平均速度,则可以借助于交通的基本图表,这些图表最好与交通灯控制量,如时间偏差量,相关使用,它们分别确定所缺少的量。除此之外,在观测点上能够用交通仿真对相应的相邻区域进行向前和向后一段特定时间段的模拟,这样交通能更好地被反映到系统中。对于那些使用导航服务来确定路线的车辆来说,(基于任意技术的导航服务系统都是已知的),相应的路线可以在模拟时加以考虑;对于其它的车辆,在交通仿真中可以考虑根据经验得出的或者估计出的路线上的通常转弯率,和/或借助合成的人口数以及相应的目的地还有路线选择。在选择一个特定的绿灯时间分布时,除了标准之外最好使用尽可能少的平均行驶时间,这样避免了特别长的行驶时间,特别是通过少量的被检测车辆,它们在交通灯之前位于小路上,或者和很多车停在大路的十字路口,它们不希望有特别长的红灯时间。在一个车辆检测不可靠的对象识别系统中,通常会使用一个红灯时间的上限,这样没有被检测的、等待的车辆就不会有一个非常长的行驶时间。交通仿真会进行模拟直到一个最大的时间范围,然后选择适当的交通控制信号,这样一直进行直到最近一次交通仿真期间内实现特定的最大时间周期。
借助于车辆再识别计算出的行驶时间可以用在交通基本图表中,和/或帮助进行交通仿真,以产生关于不受监控的区域内的车辆数量的信息,并且得出车辆的密度。通过预先提高车辆密度大的车道或道路上的绿灯时间,可以进一步改进对交通灯的控制。交通信息,如车辆和/或行驶时间,除了交通灯控制外还能用于控制信息信号设备,例如正确速度信号设备、报警信号设备、电子控制牌、停车位显示器或者变道指示器。这些指示信息还可以直接传送到XFCD车辆和/或便携式系统上,如带有GPS的PDA设备等。当交通流出现在交通基础图表上的拥堵区域内的时候,最好降低正确速度以避免出现塞车。当检测到交通堵塞的时候,通过告知信息并进行显示,在区域内向上行方向提醒发生了堵塞。XFCD车辆除了能够得知检测到的堵车状况的结束和开始,堵塞中车辆还能得知直到交通阻塞结束时的预计时间。希望使用存车换乘系统(Park-and-Ride-System)的XFCD车辆的信息能够告知系统预计的到达时间和目的地。系统能够根据到来的信息量适当选择公共运输工具的出发时间。当根据这些信息还可以再多带上一个乘客时,最好不要总是按照调度计划发车,而是晚一些发车。该系统能够在它这一方将当前的计划出发时间通知给XFCD车辆中的乘客。这种方式同样可以在公共运输工具的乘客和带有相应便携式系统,如带有GPS的PDA设备的人员之间实现。
可以为数据库和动态路由服务提供交通信息和行驶时间信息,这样使用这种服务的用户能够获得更好的实时路线推荐,最好能提供预计具有最少行驶时间的路线。
路由软件可以包含在一个或者多个中心和/或在车辆内部。在后一种情况下行驶时间信息和/或其它信息也可以直接由本地的再识别系统发送到装有相应接收装置车辆上。这些车辆将信息传送到其它交通控制系统和/或公路网上的相邻车辆上,因此这些路由服务即使没有中心也能工作。
能够表示行驶时间的单个对象,例如FCD或者XFCD车辆或者带有相应便携设备,如带有GPS的PDA等的人员,其行驶时间信息能够从这些对象和/或从中央路由服务发送给使用这些信息的本地和/或中心交通灯控制系统,以能够实现交通灯控制的改善,和/或作为那些用于车辆识别的、可视的和/或用感应回路得到的数据的补充,发送给没有提供可视的和/或用感应回路得到的数据的交通灯。在这种情况下,本地道路网控制能够特别将当地显著增加的行驶时间转发给那些道路上存在的交通网控制设备,如交通灯,这样可以通过减少绿灯时间来减少进入堵车路段的车流量。
例如XFCD的信息包含对天气等的推断,例如视野、道路结冰或者强降雨,这些信息可以被传送到交通控制系统/路由系统中,并且(或者从那里)被传送到车辆识别软件。这些信息能够被考虑用来改善对识别和再识别算法中参数的选择,从而进一步改善输出结果。
借助于实时行驶时间信息可以进行动态的重新路由,例如在故障情况下在一个路段上行驶时间会突然急剧增加,这样其它的用户就能重新计算出最佳路线来绕开这段路段,这是很有意义的。并且可以告知用户,和/或直接在选择路线时加以考虑。
在使用丢弃负荷策略(Lastabwurfstrategie)的交通控制中可以考虑行驶时间信息。利用了在一个路段上所得到的突然急剧增加的行驶时间,以控制周边区域内的交通灯,使得进入这个路段或进入将要行驶的路段上的车流量会下降,和/或就近绕路到较大的、绿灯时间延长了的道路上。用交通仿真能够计算出不同交通灯控制方式下的与时间相关的交通状况,并且选出最合适的交通灯控制方式。
通过交通仿真,交通信息和行驶时间信息例如可以用在通道控制(Korridorsteuerung)中,例如在一个城市的两点间可以设成一路绿灯。这可以使用路由服务和/或交通数据库的信息来实现,根据车流量优先选择行驶方向。一路绿灯改善了当时的交通密度和/或有特殊行驶权的车辆,和/或减轻路段上太高的行驶时间所带来的交通负荷。
所提到的交通控制信息能够用于改善动态的重新路由。用计划好的交通控制进行交通仿真能够考虑并计算在上行方向以特定的速度移动的堵塞情况,以及在一段时间以后其他路段是不是也会出现堵塞。当动态重新路由的用户在将来的某个时刻根据首先计算出的线路驶到在相应发生拥堵的路段时,能够实现重新路由,并避免出现这种情况。
对于一个车队来说,例如对一个旅游团来说,在动态重新路时可以考虑到尽可能不要将这个车队分开或者不要再分开超过一定的间距。使用基于位置的服务可以确定剩下的车辆的各自位置,并且对这个车队中的每辆车进行相应的重新路线选择。
交通控制系统,如交通灯控制系统,能够向具有相应接收装置的车辆发送信息,例如向一个等待中的车辆发送还需要在红灯前等待多久、塞车、故障情况、关于目的地的信息、空的停车位和/或广告,车辆还可以通过无线电来预订停车位/付钱,和/或购买货物/服务项目,这些等到达目的地的时候已经可以取走/使用了。
有特殊行驶权的车辆,例如投入使用的救护车,能够向交通灯控制系统发送信息,它驶近一个交通灯,并且告知交通灯控制系统它的目的地以及预计行驶的路线。这样交通灯控制系统就可以利用这些信息使所希望的街道专门为这辆车空下来,这样提高了交通的安全性并且减少了车辆的行驶时间。在已知的所希望的路线上通过交通仿真可以得出不同情形下让车辆获得最少行驶时间的合适的控制方式。
通过道路上的所有电子信息系统和XFCD车辆上的信息,能够集中地将交通控制和交通灯控制还有速度限制信号设备一起使用,最好采用有助于得到结果的交通仿真。在上行方向上发现拥堵的区域内,可以通过相应减少绿灯时间和减少通行速度以及增加疏导道路上的绿灯时间和增加在疏导道路上的通行速度来缓解交通阻塞。
借助于所述的随机模拟形式的交通仿真能够事先模拟出在一个路段上会不会有堵车。因为在交通中从某种程度来说驾驶员对意外情况的正确反应是至关重要的,所以通常情况下不会通过一次模拟就能估计出堵车概率。与之不同的是,可以使用一种蒙特-卡洛模拟,通过多次进行随机的交通仿真估计出堵车概率,并且这些信息被用于改善对信号系统的控制。
此后,如果用户同意,由导航系统的用户选择一条路线,可以总是自动地(或者在其它的情况下用户可以区分各种情况)将路线传送到交通控制系统/路由系统。后一种系统能够在交通仿真中考虑这些线路,以实现改进了的交通预测和交通控制/路由/重新路由。
通过车辆重新识别得到的行驶时间信息和/或通过交通仿真得出的行驶时间信息能够用在电子计费系统中。这样能计算出使用该路段的实际价格,优选为行驶时间越长的话使用该路段的费用就越贵。
基于上述交通数据的路由系统可以通过以下的方式进行扩展,在意外和/或紧急情况下,任何需要的信息会被事故受难者或者急救车上的救护人员通过无线电向路由服务和/或其它的XFCD车辆发送,在什么地点需要什么。如果附近的XFCD车辆上有需要的东西或者能够提供帮助的人员,就可以实施救助。车队可以告知路由服务和/或其它的XFCD车辆它的长度、最大速度、行驶路线以及如果人们不绕道的话,会在它们后面等多久等等。如果车队把这些信息告诉了路由服务,那么就能将这些信息和剩下的行驶时间信息一起整合进交通仿真中,并且在动态路由和重新路由时自动对这些信息加以考虑。特种车辆可以将它的信息传送给路由服务和/或XFCD车辆,如它的位置、目的地/线路、行驶多快,以及它允许哪条道路上行驶、速度、长度、宽度、高度、载荷类型和数量、以及有几个轴,这些轴都在什么位置等等。这些信息被发送给路由服务和/或XFCD车辆。同样,XFCD车辆可以将时间上不变的和/或随时间改变的车辆特征以及驾驶员特征(反应快的驾驶员/反应慢的驾驶员)通知给路由服务。这些信息在交通模仿中例如可以被路由服务考虑到,由此可以进行更好的交通预测和路线选择。例如可以通过排除掉那些根据预先计划的路线将要和特种车辆在某一时间点在同一路段相交的路线,为XFCD车辆选择更好的路线,这可以由系统自动完成。装有不同原材料的不同建筑车辆等以及参加建筑施工的人员能够通过无线电或者通过基于位置的服务或者通过中心自动了解到它们目前的方位以及根据路线计划它们什么时候能够到达目的地这些信息。如果比预定计划早到或者晚到目的地,该情况会自动通知,随后所需的车辆就相应地早些或晚些出发,并且最终在行驶过程中将委托的任务完成。这样能够减少工作的时间,同时节省开支。在公共交通工具组成的车队中,例如在公交车队中,一辆车能够得知其它的车,特别是那些和它相邻的车的位置。因此如果车队中的两辆车相互紧挨着,可以实现当第一辆经过车站以后,第二辆马上又来了。这样也能够提高车辆的时间间隔,特别是在第一辆车迟到了以后,这样做是很有意义的。因为当第一辆车接走了车站上的乘客,迟到的状况就更严重了,那么第二辆就会和第一辆驶来的时间更近,因为车站上已经没有乘客了,必要时可以直接开过去。这种不接乘客的方法对减少乘客的平均等候时间来说是很有意义的。当公共车辆上带有安装了GPS的PDA的人员想换车的时候,可以通过带有GPS的PDA通知车站上和/或公共车辆上的一个系统,它能通知相邻的公共车辆,让相邻的公共车辆在必要时等一下这个要换车的乘客。当公共汽车线路上的道路出现意外和封锁的时候,能够通过路由服务将一个较快的躲避路线告知公共汽车。如果在发生意外附近由于意外有车站不能到达,那么在那里会有一个电子指示,说明那个站由于故障的原因无法到达,并指明下一个站的位置。在大型展览会和灾难管理中可以将信息通知给路由服务,如地点、时间、就目前所知还要持续多久等等。这样在线路选择的时候为不参加的人会留出一块空间和时间的区域,这样能获得更好更快的线路。对于那些参展的人来说,通过装有GPS的PDA或其它相似设备可以获得借助于基于例如可见光和/或红外线照相机的监控系统发送信息,包括展览会内的人员密度,根据这些信息人们就不会再朝着已经有很多人的展览会的区域运动了,并且当人员密度超过了一定标准之后,可以给出预计密度较低的分流方向和路线。如果一群人被拆散了,而人们没有能力或者不愿意告知自己的位置,那么借助基于位置的服务和/或利用带有GPS或其它相似设备的PDA就可以分别指示给其他人自己的位置。
这种用于交通控制的方法及装置也能基于由其它方法获得的交通数据来实现。
附图说明
本发明将根据下面的优选实施例进行更详细的说明。如图所示:
图1示出了交通情况的图示,其中车道的一部分区域通过对象被反射到照相机中,它的传感器像素值能够直接被照相机-计算机系统所获取,
图2也示出了交通情况的图示,其中车道的一部分区域通过对象被反射进了照相机,它的传感器像素值不能直接被照相机-计算机系统说获取。
具体实施方式
图1示出了一个照相机-计算机系统1,通过这个系统获取了对象2,其中对象2是一个小客车,位于车道3上。照相机-计算机系统1在这里单独使用或者和其他的照相机-计算机系统结合使用,以监控一条道路、一个十字路口或者一个较大区域上的车辆运行情况。
照相机-计算机系统1包括照相机10和一个计算单元11,通过这个计算单元来处理照相机10的数据。照相机10和计算单元11可以被设计为一个整体,或者设计为不同的单元,被安置在不同的位置,使用无线方式或者其它合适的方式来传输数据。可以用多个照相机相结合来替代照相机10向计算单元11发送数据,例如彩色矩阵照相机或者红外照相机。红外照相机在雾天或者夜晚特别具有优点。照相机10被安置到合适的位置,例如在房子的墙上、在十字路口或者在电线杆上。照相机10的安置高度最好在至少约8米高的位置,并且与垂直线有一个角度a,这个角度小于80度,最好更小。通过一个小的夹角a可以减少或避免由照相机10观察的对象相对于对面的平行遮挡的问题。
为了进行监控,当对象进入被监控的道路和/或被监控的路口时,必须能够识别出该对象。附带地,所获取的对象还会由照相机-计算机系统1进行分类和/或用其它合适的方法去处理,这样被分类的对象数据可以被传送到一个或多个相邻的照相机-计算机系统,然后用于快速的再识别。对象的再识别,特别是没有获取特征的再识别,允许进行匿名的交通观测。为了对对象进行再识别,要检验不同的、与一个对象相对应的属性。可以考虑的特征例如为宽度尺寸、长度尺寸、由感应线圈获得的、用于车辆识别的时间上高度离散的数据,以及颜色数据值。由所提取的测量数据,以及例如由对象被探测的角度,可以为对象建立一个3D连线模型(Drahtgittermodell),即可以得到车辆的原型。为了将一个对象假设与一个对象或者另一个对象假设进行比较,可以建立至少一个误差函数,它考虑到了至少一个属性。如果这个误差函数超出了一个预定的阀值(这个阀值特别与所考虑的参数数量有关),那么这个假设就不能被接受,这关系到对象本身。对该阀值的近似得到了一个对象假设不可靠的标准。为了将一个对象假设与其他对象进行比较,可以允许很多的对象,其数目根据它们在两个地点之间通常的行驶时间来考虑。最好仅比较在道路上先后相接的位置上的对象假设。
对于某些情况来说,例如不能分辨两个非常相似的、时间间隔很短并且行驶路线相同的车辆,但在下一个路口就会再识别出对象数量,可以得到它们行驶时间的平均值,因为这和它们是否改变行驶顺序无关。如果人们还要想得到关于它们行驶路线的估计,那么就可以简单的认为这两辆车没有改变它们的行驶顺序,因为这在通常情况下是不会改变的。
在一个优选的获得对象数据的方法中,在使用经过点的情况下首先获得出车道表面的近似成像,其中经过点例如可以通过使用GPS数据或者其它相应的数据来确定。通过已知的方法由行车道表面的成像首先获得一个对象2或者多个对象的第一个近似成像。对于对象的原型,例如特定的小货车类型,或者运货车类型等等,最好在照相机-计算机系统中建立模型。这种模型例如是3D的连线模型。
根据所获得的对象2的成像,会选出至少一个合适的模型,并且和从成像中提取出来的特征值相匹配。参见“Untersuchung zu einersystematischen Leistungssteigerung in der modellbasiertenBieldfolgenauswertung(对基于模型的图像跟随评估中系统性提高效率的研究)”(Shaker出版社,亚琛,2001年),同时也可以考虑用其它的假设来确定对象2。
用于对象2分类的属性或特征是其传感器像素值。其它的特征例如可以是它的位置向量、速度向量、加速度向量、车辆原型、尺寸大小、车道和方向、时间点等等。
传感器像素值通常都是以RGB值的形式来获得的。其中RGB值以近似的方式和光线的强度谱l(f)有关,其中所考虑的频率f是在时间整合窗内,也就是照射时间之内,可以用下面的公式描述。
R=R(l(f)),G=G(l(f)),B=B(l(f))
为了具有更好的可读性,像素号的索引和时间点被删掉。
强度谱l(f)具有标准偏差,这是由于不同的原因引起的,例如图片随机出现在照相机10的传感器前。一个像素上的强度分布同时也是该位置的一个函数。如果传感器像素值在多个像素上是恒定的话,那么这种影响可以被忽略。在成像的片断中传感器像素值将会被考虑,因此这个部分就像上面描述的一样非常适合被选择,它可以是车辆表面的中间部位,例如车顶表面。许多因素能导致偏差,例如雾、雨、对象上的水滴、对象蒙了水汽、结霜、弯曲、光圈直径、各种像差等等,这些在初步近似中都可以被忽略。另一种可选的做法是识别这些因素,报告给系统并考虑这些因素。对象2的传感器像素值最好在侧面21上获得。附带地或者可选地,还可以在车顶22上获得传感器像素值。
根据对目标2的假设,例如在使用3D连线模型的情况下,对于照相机图像中至少一个侧面21和/或顶面22的成像区域的假设能够成立,以及对于侧面21下方的中间区域的假设也能成立。
优选地,从表面中间附近选出来的区域的值和经过平均的传感器像素值是相关的。传感器像素值也取决于这个表面的反射分量有多高。反射分量以接受的投影角度b增加,其中这个投影角度b被定义为90度减去一个角度,所减去的这个角度由从表面21或22的中间至照相机10的一个3D向量12、以及一个垂直于表面并从对象向外伸出的3D向量所围成。
在图1所示的例子中,车道3的一个区域31被侧面21反射到照相机10中。为了考虑这个反射分量,确定区域31的成像的假设的位置,并获得所属的传感器像素值。在所获取的侧面21的传感器像素值中通常所预期的反射分量会从被反射区域31的传感器像素值中导出。接下来由此获得校正在反射分量附近的侧面21的传感器像素值。
在车顶表面的情况下,如上所述,会采用相应的天空区域的假设的传感器参数。
根据本发明,使用一个函数l_ges(f)来反映车辆表面的一个区域的假设,该函数表示传感器上的总的强度,它被分为两个函数部分,包括一个镜面反射分量的函数I_refl(f),其中近似地认为入射角和出射角相等,还有一部分是函数I_O(f),表示不包含反射分量的从对象2出来的光线:
I_ges(f)=Abb(I_ref(f),I_O(f))
在经典的非相干的单色光源中,在不均匀的空间时间间距上,中间区域的强度以近似的方式被相加。近似表示为:
I_ges(f)=I_ref(f)+I_O(f)
为了减少近似误差,通常还附带地考虑使用一个偏振分布。这样在近似情况下,通常已知的天空光线的偏振方向以及其偏振度尤其与太阳的位置有关。从小客车表面21或22反射的光线的已知的优选偏振,以及(如果使用的话)偏振滤光器的作用将会被加以考虑。
强度谱I_refl(f)和I_O(f)可以通过合适的近似函数I_refl_N(f,a1,..aM)和I_O_N(f,b1,...bM)在所考虑的频率范围内加以描述。后面附加的“N”表示上文中所述的近似函数。对于RGB数据来说例如可以选择M=3,即aM=a3和bM=b3。例如可以使用高斯函数作为近似函数,它通过三个参数例如高a1,b1,宽a2,b2以及中值a3,b3来描述。例如不是使用一个高斯函数,而是使用两个具有相同高度和宽度的高斯函数的和,结果还可以进一步优化,它们的最大偏差可能是标准偏差的四倍。当出现R和B的值很大而G的值很小的特殊情况时,通过这种函数能更好地对分布进行逼近。参数的最优选择并非总是唯一的。可以确定的是,从少量可能的结果中选出哪些参数,分别用于哪些RGB范围内。可选地,例如可以确定,复杂的或者合适的其他函数只有在R>G<B的情况下才能被使用。
因此得出:
I_ges_N(f,a1,a2,a3,b1,b2,b3)=Abb(I_refl_N(f,a1,a2,a3),I_O_N(f,b1,b2,b3))
或者近似表示为:
I_ges_N(f,a1,a2,a3,b1,b2,b3)=I_refl_N(f,a1,a2,a3)+I_O_N(f,b1,b2,b3)
对于被反射的区域31有RGB值R_rB,G_rB,B_rB,这样近似函数I_refl_N(f,a1,...aM)中的参数值a1,...aM可以被近似地确定。
由于反射的缘故首先需要获得颜色数据值R_rB,G_rB,B_rB发生的改变。最好要知道关于给定的视角的通常的反射分量,和/或确定常用的漆,以及通常的污损程度等等。上述考虑以近似的方式通过成像Ref来实现。
Ref(I_refl_N(f,a1,a2,a3))=I_refl_N(f,a1,a2,a3)/Refl,
其中Refl至少和投影角度b有关,在投影角度下被分析的区域31的被反射的成像或者其中一部分通过照相机10在对象2的侧面21上被获取,就像预期的一样。
此外,可以通过计算机图形模型来考虑被反射区域的传感器像素值的方向关联性。
在成像Ref中,可以使垂直方向上的一个表面21或者两个水平方向上的表面22略微凸起,这样使比所绘出的区域31大的区域通过该表面反射到照相机10中。此外,还可以通过Refl考虑使不同的频率以不同的强度来反射。
此外,在考虑通常的漆的平均反射公式时,还可进一步考虑反射与光线偏振的关联性。此外还可以对通常的微结构进行平均。
还应该反射特性与所获得的天气状况的匹配,例如在秋天或者在下雪天,应考虑被检测的目标具有强烈的污损,例如通过相应的前提因素实现近似的匹配。
在获取颜色数据值的反射分量时,最好平面内被反射的区域31是一条干的道路。这种区域一般只有很少的反射分量,这样它的颜色数据值就比较不容易出错。通常来说只有在结冰和/或非常湿滑以及有水坑的情况下对道路的反射分量作用才值得考虑。
这里涉及到这些比较而言起从属作用的特殊天气情况。在初步近似中它们能够被忽略或者通过已知的技术系统来识别,并且在必要的情况下不用计算反射分量。其他的现象,例如大气折射,通常情况下在照相机的视角并非过于平坦时是可以被忽略的。
确定近似函数I_refl_N中的参数最好是借助于已知的方法来确定所观察的区域内的误差函数的全局最小值或者至少一个合适的本地最小值。误差函数的一个例子为:
Ea(a1,a2,a3)=
[R_rB-R(Ref(I_refl_N(f,a1,a2,a3)))]2+
[G_rB-G(Ref(I_refl_N(f,a1,a2,a3)))]2+
[B_rB-B(Ref(I_refl_N(f,a1,a2,a3)))]2
在确定最小值时,需要考虑参数的约束条件,例如高斯函数的非负值。当成像R,G,B比公式的结果还能更好地近似时,那就可以直接使用了。在其他情况下,值R(...),G(...),B(...)例如可以在计算与Ref(I_refl_N)相关的函数式之后,由事先存储好的用来计算R,G,B的辅助函数以近似方法计算出来,其中例如用到内插算法。为了寻找全局最小值或者一个尽可能小的Ea值,例如可以用梯度下降法。这能够得出a1,a2和a3的数值。
对于未知的强度谱I_ges(f),在使用已有的RGB值R_ges,G_ges,B_ges时还要将函数I_O_N(f)中没有确定的参数b1,...b3以近似的方法计算出来。例如可以通过使用梯度下降法计算出误差函数,或者用迭代方法来计算。下面是一个适当的误差函数的例子:
Eb(b1,b2,b3)=
[R_ges-R(Abb(I_O_N(f,b1,b2,b3),I_refl_N(f)))]2+
[G_ges-G(Abb(I_O_N(f,b1,b2,b3),I_refl_N(f)))]2+
[B_ges-B(Abb(I_O_N(f,b1,b2,b3),I_refl_N(f)))]2
或者近似地I_ges_N(f)=I_O_N(f)+I_refl_N(f)
Eb(b1,b2,b3)=
[R_ges-R(I_O_N(f,b1,b2,b3)+I_refl_N(f))]2+
[G_ges-G(I_O_N(f,b1,b2,b3)+I_refl_N(f))]2+
[B_ges-B(I_O_N(f,b1,b2,b3)+I_refl_N(f))]2
再来看参数的边界条件,例如高斯函数的非负值等等,通过这种最小化的方法能得到b1,b2和b3的值。
这些计算出的参数值a1,...a3,b1,...b3能够用于在其它的时间和其它的地点对对象进行再识别,通过比较提取出的参数值以及进一步提取的对象特征来进行再识别。在这种比较中,值a1,a2,a3可以在初步近似中不加考虑地保留下来。参数b1,b2,b3对各个表面的颜色的信息进行编码。除了b1,b2和b3之外,还可以使用可由此计算出来的相应的经过近似的RGB值R(I_O_N),G(I_ON),和B(I_O_N),或者使用其它的颜色范围值,如HSV(色调饱和度值)。特别在使用高斯函数的时候可以考虑:在很少的情况下,所得到的I_O_N的高斯函数值可能为零,并且R(I_refl_N)>R_ges,G(I_refl_N)>G_ges,并且B(I_refl_N)>B_ges。这种情况通常都出现在表面的污损度很高的时候,因为正常情况下反射分量都会低于一般值。颜色数据值将被标示为不确定,并且假设也会被认为反射的表面太少。在这种情况下反射分量I_refl_N可以使用一个小的值,例如将函数乘以一个比1小的值,这样R(正的前提因素I_refl_N)<=R_ges,G(I_refl_N)<=G_ges,并且B(I_refl_N)<=B_ges,其中可以选择R(I_refl_N)=R_ges或G(I_refl_N)=G_ges或B(I_refl_N)=B_ges。这样I_O_N和R(I_O_N),G(I_O_N),B(I_O_N)在通常情况下都会是正值。例如在颜色范围HSV中灰度值H(hue)可以用来估计色调。
在特殊的情况下,例如在用线性矩阵传感器来构成照相机10的时候,和/或忽略某些特定的效果时,上述的方法很明显地使计算简化。
一种优选的用于简化计算的可能性是将照相机10设计成不同的传感器以近似的方式对不同的频带敏感。
这种方法可用于较多和较少数的频段。例如附带地采用红外线频段。在这种情况下每个函数的参数M的数量例如可以选择4个,这意味着可以使用更复杂的函数。在道路交通中,在用一个足够高的照相机进行监控,并具有足够陡的视角的情况下,对象2通常是可以独立地观测到的。如果这种视角不够的话,可以考虑使用图2中作为例子所示出的情形。图中示出了两个对象2,2’的交通状况。对于同样的单元使用了同样的附图标记。此外车道上的区域31部分地被对象2的侧面21反射到照相机10中。但这个区域31对于照相机10是不可见的,因为它被另一个对象2’挡住了。在这种情况下,区域31的传感器像素值就不能直接从成像计算出来。特别在这种情况下用车顶的表面作为获得传感器像素数据的区域就很有意义了。
然而,同样在某些情况下侧面还是能够使用的,即当区域31的假设在区域21的假设之上反射到照相机,这样就可以实现反射分量的校正,通过利用区域31在时间上相邻的成像中获得的传感器像素值,同时考虑到在给定情况下的阴影运动。可以用已知的办法来检测阴影区,参见“Untersuchung zu einer systematischen Leistungssteigerungin der modellbasierten Bieldfolgenauswertung(对基于模型的图像跟随评估中系统性提高效率的研究)”(H.Leuck,Berichte aus derInformatik,Shaker出版社,亚琛,2001年)。
车道上反射区域离车辆越近,那么该反射区域被其它车辆遮挡的概率就越小。距离车辆较近的道路区域通常会反射到侧面21的下部。在这种情况下,侧面21的被观测的部分会被限制为下部区域,或者使用车顶表面22。在使用车顶表面的时候,要考虑到车前部可能会有天窗。对于车顶假设的相应区域要提取传感器像素值时要考虑车顶一般会轻度的向外凸。
一个表面上平均的传感器像素值的质量会随着受测面积的减小而略有下降。受测面积过小在极少数的情况下可能会导致由于侧面上的装饰图案所引起的错误。这只有在被测区域很小,以至于其值具有明显错误的时候才值得考虑,由照相机-计算机系统1产生一个相应的信号,并且这些数据在后面的再识别计算中被分配了相应较小的可信度值。这些数据在再识别中具有较小的分量,最好采用其它的参数,如车辆的长度。
此外,如果反射区域31的一个目标区域部分地被其它的对象假设所遮挡的话,那么这个目标区域可以被空出来。
当投影角度b很小的时候,对于一个侧面21来说成像面积太小,和/或由于投影角度太小而具有极高的反射分量,这样其它的表面例如车顶22,将会用来计算颜色数据值。在接近水平的表面上,可以在照相机的视角很低的情况下映射出树木、房屋等。它们的色彩数据值同样能以近似方式求平均来获得。

Claims (66)

1用于在图像处理中改善对象的识别和/或再识别的方法,借助于至少一个照相机-计算机系统来实现,该系统由至少一个照相机和至少一个计算单元构成,其中通过照相机-计算机系统获得对象的一个表面的至少一个成像,以及至少一个相应的照相机传感器像素值,其特征在于,
-确定通过所述表面反射到照相机(10)中的至少一个区域(31),
-通过计算单元(11)计算出区域(31)的至少一个传感器像素值,
-计算出一个至少与区域(31)的至少一个传感器像素值相关的反射分量,并且用这个反射分量来校正所述表面的传感器像素值。
2如权利要求1所述的方法,其特征在于,传感器像素值是一个对应于传感器的值的数量,所述传感器以近似的方式对于不同的频带敏感。
3如权利要求1或2所述的方法,其特征在于,形成至少一个经过平均的传感器像素值,作为对象(2)和/或区域(31)的传感器像素值,其中至少对所述表面和/或区域(31)的成像的一个部分区域上的传感器像素值进行平均。
4如权利要求3所述的方法,其特征在于,所述表面的这个部分区域位于中间位置。
5如前面的权利要求中任意一项所述的方法,其特征在于,选择侧面(21)和/或车顶表面(22)和/或对象顶部的前面部分和/或后面部分作为所述的表面。
6如前面的权利要求中任意一项所述的方法,其特征在于,在选择所述表面部分和/或在计算反射分量时至少要考虑至少一个视角,在这个视角下,根据照相机(10)的视角和/或根据太阳的位置和/或所获取的天气条件,对象(2)上的反射区域(31)由照相机(10)所获取。
7如前面的权利要求中任意一项所述的方法,其特征在于,对象(2)的表面特性在反射分量中加以考虑。
8如前面的权利要求中任意一项所述的方法,其特征在于,在照相机(10)前面设置了一面镜子,所述镜子将天空的至少一部分反射到照相机传感器的一个区域上,这个区域对于获取车辆数据是不需要的。
9如前面的权利要求中任意一项所述的方法,其特征在于,对象的识别方法应用在交通监控和/或交通仿真、信号设备控制和/或路线计划服务中。
10如前面的权利要求中任意一项所述的方法,其特征在于,在再识别对象时所需的最初的对行驶时间和行驶时间间隔的估计以数字方式、借助于交通仿真来实现,其中在阈值速度之内行驶时间被选择得很大,使得包含了如对应于交通堵塞的行驶时间,这样即使在交通堵塞的情况下也可以对车辆进行很好的识别。
11如前面的权利要求中任意一项所述的方法,其特征在于,通过对所提取的在时间上相邻的几个行驶时间求平均,来计算出通常情况下与时间相关的行驶时间的估计值。
12如前面的权利要求中任意一项所述的方法,其特征在于,为了计算出用于进行车辆识别的对象的不同参数的总体加权偏差,考虑所述参数的经验标准偏差的基于经验得到的函数估计,以及用于再识别的各个参数的基于经验估计出的关联性。
13如前面的权利要求中任意一项所述的方法,其特征在于,对用于再识别的参数的优化,如阈值的优化,对于照相机的不同间距以下列方式被简化:通过提出用于照相机间距的数据,然后模拟不同照相机间距的情况,并且对于实际的照相机间距和另一个虚拟的、所希望的间距,人们对于对象用设置在上行方向上的照相机,以模拟或数字的方式,利用交通仿真来实现最初的行驶时间估计,在此之后,根据所估计出的行驶时间的差,将在上行方向上的照相机所获取的对象进行虚拟的平移。
14如前面的权利要求中任意一项所述的方法,其特征在于,在对对象序列的再识别中获取如对象的颜色数据这样的数据。
15如前面的权利要求中任意一项所述的方法,其特征在于,代替用于时间间隙控制的、可以通过录像检测器计算出的时间间隙,或者代替可以计算出的最大排队时间长度,考虑每次交通灯通行时在时间上平均的排队时间长度或者红灯开始后的一段确定的时间段,或者红灯开始时检测到的车辆密度,以实现交通灯控制。
16如前面的权利要求中任意一项所述的方法,其特征在于,通过同时考虑交通灯前所获得的各个车辆的间距信息、速度信息和加速度信息,实现了进一步改进的交通网控制和/或交通灯控制。
17如前面的权利要求中任意一项所述的方法,其特征在于,借助于交通基本图表和/或通过交通仿真,利用由车辆再识别计算出的行驶时间,得到在未监控的区域内的车辆数目以及车辆密度的信息。
18如前面的权利要求中任意一项所述的方法,其特征在于,提供了交通信息和行驶时间信息数据库以及动态路由服务。
19如前面的权利要求中任意一项所述的方法,其特征在于,路由软件包含在一个或多个中心内和/或包含在车辆中。
20如前面的权利要求中任意一项所述的方法,其特征在于,描述行驶时间的各个对象的行驶时间信息可以从这些对象和/或中心路由服务传送到本地和/或中心交通灯控制系统中。
21如前面的权利要求中任意一项所述的方法,其特征在于,包含有对天气的推断的信息被传送给交通控制系统/路由系统,并且-或者从那里-被传送给车辆识别软件。
22如前面的权利要求中任意一项所述的方法,其特征在于,借助于实时的行驶时间信息来进行动态的重新路由。
23如前面的权利要求中任意一项所述的方法,其特征在于,考虑包含有丢弃负荷策略的交通控制中的行驶时间信息。
24如前面的权利要求中任意一项所述的方法,其特征在于,将带有交通仿真的交通信息和行驶时间信息用于城市两个地点之间的通道控制。
25如前面的权利要求中任意一项所述的方法,其特征在于,使用所述的交通控制信息来改善动态重新路由。
26如前面的权利要求中任意一项所述的方法,其特征在于,在对一组车辆进行动态重新路由时,考虑车队应尽可能地不被分开,或者不能被分开超过一个特定的距离。
27如前面的权利要求中任意一项所述的方法,其特征在于,交通控制系统,如交通灯控制系统,可以通过无线电向那些装有相应接收装置的车辆传送信息,这些信息为红灯的剩余时间、堵车、故障、目的地信息、空的停车位和/或广告,并且车辆还可以通过无线电预定车位/付费和/或购买货物/服务。
28如前面的权利要求中任意一项所述的方法,其特征在于,当拥有特殊行驶权的车辆驶近交通灯的时候,这些车辆向交通灯控制系统发送信息,说明它们的目的地以及可能采用的路线。
29如前面的权利要求中任意一项所述的方法,其特征在于,道路上的电子信息系统和XFCD车辆上的信息与交通灯控制和速度限制信号设备共同实现了集中的交通控制。
30如前面的权利要求中任意一项所述的方法,其特征在于,借助于根据权利要求16所述的交通仿真,事先通过随机模拟来对交通进行仿真,尤其是模拟在一个路段上是否可能出现堵车。
31如前面的权利要求中一项所述的方法,其特征在于,在由导航系统的用户选择了一条路线之后,这条路线会被传送到交通控制系统/路由系统。
32如前面的权利要求中任意一项所述的方法,其特征在于,通过车辆再识别所计算出的行驶时间信息和/或通过交通仿真预测的行驶时间信息被提供给电子养路费计费系统。
33如前面的权利要求中任意一项所述的方法,其特征在于,基于所述交通数据的路由系统通过以下方式得以扩展:在意外和/或紧急情况通过无线电向路由服务和/或其它的XFCD车辆通知在何处出现了何种需求或者考虑特殊车辆的数据。
34用于在图像处理中改善对象的识别和/或再识别的装置,包括至少一个照相机-计算机系统,该系统由至少一个照相机和至少一个计算单元构成,其中可以用照相机-计算机系统获取对象的一个表面的至少一个成像,并且可以计算出至少一个相应的颜色数据值,其特征在于
-通过所述表面反射到照相机(10)中的至少一个区域(31)可通过计算单元(11)来确定,
-区域(31)的至少一个传感器像素值可通过计算单元(11)计算出来,
-计算出一个至少与区域(31)的至少一个传感器像素值相关的反射分量,并且用这个反射分量来校正所述表面的传感器像素值。
35如权利要求34所述的装置,其特征在于,传感器像素值是一个对应于传感器的值的数量,所述传感器以近似的方式对于不同的频带敏感。
36如权利要求34或35所述的装置,其特征在于,形成至少一个平均传感器像素值,作为对象(2)和/或区域(31)的传感器像素值,其中至少对所述表面和/或区域(31)的成像的一个部分区域上的传感器像素值进行平均。
37如权利要求36所述的装置,其特征在于,所述表面的这个部分区域位于中间位置。
38如权利要求34至37其中一项所述的装置,其特征在于,选择侧面(21)和/或车顶表面(22)和/或对象顶部的前面部分和/或后面部分作为所述的表面。
39如权利要求34至38其中一项所述的装置,其特征在于,在选择所述表面部分和/或在计算反射分量时至少要考虑至少一个视角,在这个视角下,根据照相机(10)的视角和/或根据太阳的位置和/或所获取的天气条件,对象(2)上的反射区域(31)由照相机(10)所获取。
40如权利要求34至39其中一项所述的装置,其特征在于,对象(2)的表面特性在反射分量中加以考虑。
41如权利要求34至40其中一项所述的装置,其特征在于,照相机(10)放置有一面镜子,所述镜子将天空的至少一部分成像到照相机传感器的一个区域上,这个区域对于获取车辆数据是不需要的。
42如权利要求34至41其中一项所述的装置,其特征在于,该装置是用于交通监控的装置的组成部分,和/或交通仿真、信号设备控制和/或路线计划服务的组成部分。
43如权利要求34至42其中一项所述的装置,其特征在于,再识别对象时所需的最初的对行驶时间和行驶时间间隔的估计以数字方式、借助于交通仿真来实现,其中在阈值速度之内行驶时间被选择得很大,使得包含了如对应于交通堵塞的行驶时间,这样即使在交通堵塞的情况下也可以对车辆进行很好的识别。
44如权利要求34至43其中一项所述的装置,其特征在于,通过对所提取的在时间上相邻的几个行驶时间求平均,来计算出通常情况下与时间相关的行驶时间的估计值。
45如权利要求34至44其中一项所述的装置,其特征在于,为了计算出用于进行车辆识别的对象的不同参数的总体加权偏差,考虑所述参数的经验标准偏差的基于经验得到的函数估计,以及用于再识别的各个参数的基于经验估计出的关联性。
46如权利要求34至45其中一项所述的装置,其特征在于,对用于再识别的参数的优化,如阈值的优化,对于照相机的不同间距以下列方式被简化:通过提出用于照相机间距的数据,然后模拟不同照相机间距的情况,并且对于实际的照相机间距和另一个虚拟的、所希望的间距,人们对于对象用设置在上行方向上的照相机,以模拟或数字的方式,利用交通仿真来实现最初的行驶时间估计,在此之后,根据所估计出的行驶时间的差,将在上行方向上的照相机所获取的对象进行虚拟的平移。
47如权利要求34至46其中一项所述的装置,其特征在于,在对对象序列的再识别中获取如对象的颜色数据这样的数据。
48如权利要求34至47其中一项所述的装置,其特征在于,代替用于时间间隙控制的、可以通过录像检测器计算出得时间间隙,或者代替可以计算出的最大排队时间长度,考虑每次交通灯通行时在时间上平均的排队时间长度或者红灯开始后的一段确定的时间段,或者红灯开始时检测到的车辆密度,以实现交通灯控制。
49如权利要求34至48其中一项所述的装置,其特征在于,通过同时考虑交通灯前所获得的各个车辆的间距信息、速度信息和加速度信息,实现了进一步改进的交通网控制和/或交通灯控制。
50如权利要求34至49其中一项所述的装置,其特征在于,借助于交通基本图表和/或通过交通仿真,利用由车辆再识别计算出的行驶时间,得到在未监控的区域内的车辆数目以及车辆密度的信息。
51如权利要求34至50其中一项所述的装置,其特征在于,提供了交通信息和行驶时间信息数据库以及动态路由服务。
52如权利要求34至51其中一项所述的装置,其特征在于,路由软件包含在一个或多个中心内和/或包含在车辆中。
53如权利要求34至52其中一项所述的装置,其特征在于,描述行驶时间的各个对象的行驶时间信息可以从这些对象和/或中心路由服务传送到本地和/或中心交通灯控制系统中。
54如权利要求34至53其中一项所述的装置,其特征在于,包含有对天气的推断的信息被传送给交通控制系统/路由系统,并且-或者从那里-被传送给车辆识别软件。
55如权利要求34至54其中一项所述的装置,其特征在于,借助于实时的行驶时间信息来进行动态的重新路由。
56如权利要求34至55其中一项所述的装置,其特征在于,考虑包含有丢弃负荷策略的交通控制中的行驶时间信息。
57如权利要求34至56其中一项所述的装置,其特征在于,将带有交通仿真的交通信息和行驶时间信息用于城市两个地点之间的通道控制。
58如权利要求34至57其中一项所述的装置,其特征在于,使用所述的交通控制信息来改善动态重新路由。
59如权利要求34至58其中一项所述的装置,其特征在于,在对一组车辆进行动态重新路由时,考虑车队应尽可能地不被分开,或者不能被分开超过一个特定的距离。
60如权利要求34至59其中一项所述的装置,其特征在于,交通控制系统,如交通灯控制系统,可以通过无线电向那些装有相应接收装置的车辆传送信息,这些信息为红灯的剩余时间、堵车、故障、目的地信息、空的停车位和/或广告,并且车辆还可以通过无线电预定车位/付费和/或购买货物/服务。
61如权利要求34至61其中一项所述的装置,其特征在于,当拥有特殊行驶权的车辆驶近交通灯的时候,这些车辆向交通灯控制系统发送信息,说明它们的目的地以及可能采用的路线。
62如权利要求34至61其中一项所述的装置,其特征在于,道路上的电子信息系统和XFCD车辆上的信息与交通灯控制和速度限制信号设备共同实现了集中的交通控制。
63如权利要求34至62其中一项所述的装置,其特征在于,借助于根据权利要求49所述的交通仿真,事先通过随机模拟来对交通进行仿真,尤其是模拟在一个路段上是否可能出现堵车,以采取预防措施。
64如权利要求34至63其中一项所述的装置,其特征在于,在由导航系统的用户选择了一条路线之后,这条路线会被传送到交通控制系统/路由系统。
65如权利要求34至64其中一项所述的装置,其特征在于,通过车辆再识别所计算出的行驶时间信息和/或通过交通仿真预测的行驶时间信息被提供给电子养路费计费系统。
66如权利要求34至65其中一项所述的装置,其特征在于,基于所述交通数据的路由系统通过以下方式得以扩展:在意外和/或紧急情况通过无线电向路由服务和/或其它的XFCD车辆通知在何处出现了何种需求或者考虑特殊车辆的数据。
CNB2004100597409A 2003-06-20 2004-06-18 用于在图像处理中改善对象识别和/或再识别的方法和装置 Expired - Fee Related CN100349176C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10328814A DE10328814B3 (de) 2003-06-20 2003-06-20 Verfahren und Vorrichtung zur Verbesserung der Erkennung und/oder Wiedererkennung von Objekten in der Bildverarbeitung
DE10328814.7 2003-06-20

Publications (2)

Publication Number Publication Date
CN1573797A true CN1573797A (zh) 2005-02-02
CN100349176C CN100349176C (zh) 2007-11-14

Family

ID=33394999

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100597409A Expired - Fee Related CN100349176C (zh) 2003-06-20 2004-06-18 用于在图像处理中改善对象识别和/或再识别的方法和装置

Country Status (4)

Country Link
EP (1) EP1489552B1 (zh)
CN (1) CN100349176C (zh)
AT (1) ATE361503T1 (zh)
DE (2) DE10328814B3 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882405A (zh) * 2009-04-02 2010-11-10 通用汽车环球科技运作公司 向量投射显示器的扫描循环优化
WO2013182032A1 (zh) * 2012-06-06 2013-12-12 腾讯科技(深圳)有限公司 一种公交线路与道路网络的匹配方法和装置
CN106504561A (zh) * 2015-09-03 2017-03-15 罗伯特·博世有限公司 用于识别停车区域上的对象的方法
CN107886918A (zh) * 2017-11-11 2018-04-06 安徽质在智能科技有限公司 一种视频图像实时修正方法
CN110929691A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种冰层检测方法、装置、设备及可读存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005053461B4 (de) * 2005-11-04 2007-10-18 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Verkehrssteuerung
FR2902548B1 (fr) * 2006-06-14 2008-12-26 Guillaume Poizat Procede de tracabilite des produits sans ajout ni modification de la matiere en utilisant une signature numerique obtenue a partir d'une ou plusieurs caracteristiques intrinseques du produit
DE102006000509B4 (de) * 2006-12-07 2008-11-13 Signalbau Huber Gmbh Unfallbezogene Steuerung einer Verkehrssignalanlage
DE102009033431B4 (de) * 2009-07-15 2011-05-12 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur dynamischen Steuerung einer Signalanlage
US9449258B1 (en) 2015-07-02 2016-09-20 Agt International Gmbh Multi-camera vehicle identification system
CN113129591B (zh) * 2021-04-13 2022-07-08 江苏智通交通科技有限公司 一种基于深度学习目标检测的交通信号灯故障检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2644844B2 (ja) * 1988-09-20 1997-08-25 株式会社日立製作所 分散型画像認識システム
US5161107A (en) * 1990-10-25 1992-11-03 Mestech Creation Corporation Traffic surveillance system
WO1997016807A1 (en) * 1995-10-31 1997-05-09 Sarnoff Corporation Method and apparatus for image-based object detection and tracking
DE69622379T2 (de) * 1996-05-30 2003-02-13 Agfa Gevaert Nv Erkennung und Korrektur von spiegelnden Reflexionen in der digitalen Bilderfassung
DE19932296B4 (de) * 1999-07-10 2010-03-11 Volkswagen Ag Verfahren und Vorrichtung zur veränderten Darstellung eines Kamerabildes
CN1133138C (zh) * 2000-03-08 2003-12-31 湖南天翼信息技术有限公司 交通视频图像自动处理系统
JP2002024830A (ja) * 2000-07-05 2002-01-25 Nec Corp 画像照合装置、方法及びコンピュータ読み取り可能な記憶媒体

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882405A (zh) * 2009-04-02 2010-11-10 通用汽车环球科技运作公司 向量投射显示器的扫描循环优化
CN101882405B (zh) * 2009-04-02 2012-09-05 通用汽车环球科技运作公司 向量投射显示器的扫描循环方法及系统
WO2013182032A1 (zh) * 2012-06-06 2013-12-12 腾讯科技(深圳)有限公司 一种公交线路与道路网络的匹配方法和装置
US9212917B2 (en) 2012-06-06 2015-12-15 Tencent Technology (Shenzhen) Company Limited Method and device for matching public transportation route with road network
CN106504561A (zh) * 2015-09-03 2017-03-15 罗伯特·博世有限公司 用于识别停车区域上的对象的方法
CN106504561B (zh) * 2015-09-03 2021-07-27 罗伯特·博世有限公司 用于识别停车区域上的对象的方法
CN107886918A (zh) * 2017-11-11 2018-04-06 安徽质在智能科技有限公司 一种视频图像实时修正方法
CN107886918B (zh) * 2017-11-11 2020-04-28 上海本趣网络科技有限公司 一种视频图像实时修正方法
CN110929691A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种冰层检测方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
EP1489552A1 (de) 2004-12-22
ATE361503T1 (de) 2007-05-15
DE502004003659D1 (de) 2007-06-14
EP1489552B1 (de) 2007-05-02
DE10328814B3 (de) 2004-12-09
CN100349176C (zh) 2007-11-14

Similar Documents

Publication Publication Date Title
US11685360B2 (en) Planning for unknown objects by an autonomous vehicle
US11400925B2 (en) Planning for unknown objects by an autonomous vehicle
US7804980B2 (en) Environment recognition device
CN109641589B (zh) 用于自主车辆的路线规划
CN105496740B (zh) 一种智能导盲装置及安装有该装置的导盲杖
CN105686935B (zh) 一种智能导盲方法
US20190176684A1 (en) Location Based Vehicle Headlight Control
US20180301031A1 (en) A method and system for automatically detecting and mapping points-of-interest and real-time navigation using the same
JP4631750B2 (ja) 画像処理システム
US11521487B2 (en) System and method to generate traffic congestion estimation data for calculation of traffic condition in a region
US20170356748A1 (en) Route Planning for an Autonomous Vehicle
CN112437501B (zh) 一种基于交通语义和博弈论的多传感器超视距自组网方法
CN111081047A (zh) 一种基于光电图像处理的精准智能停车管理方法及管理系统
CN109559528A (zh) 一种基于3d激光雷达的自感知交互式交通信号控制装置
CN108743266A (zh) 一种盲人智能导航避障出行辅助方法及系统
US11615551B2 (en) Assessing visibility of a target object with autonomous vehicle fleet
CN100349176C (zh) 用于在图像处理中改善对象识别和/或再识别的方法和装置
CN104915628B (zh) 基于车载相机的场景建模进行运动行人预测的方法和装置
CN116601681A (zh) 基于3d地图的相关输入通过优先处理感兴趣物体估计摄像机的自动曝光值
CN108743265A (zh) 一种用于公共交通道路的导盲方法及系统
CN116778748A (zh) 基于深度学习的车辆转弯盲区智能预警方法
CN113748448B (zh) 基于车辆的虚拟停止线和让行线检测
US11397439B1 (en) System for tuning parameters of a thermal sensor to improve object detection
CN109031262B (zh) 一种定位寻车系统及其方法
US11392134B1 (en) System for tuning parameters of a thermal sensor based on a region of interest

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20071114

Termination date: 20100618