CN105021573A - 用于基于跟踪的视距估计的方法和设备 - Google Patents

用于基于跟踪的视距估计的方法和设备 Download PDF

Info

Publication number
CN105021573A
CN105021573A CN201510220626.8A CN201510220626A CN105021573A CN 105021573 A CN105021573 A CN 105021573A CN 201510220626 A CN201510220626 A CN 201510220626A CN 105021573 A CN105021573 A CN 105021573A
Authority
CN
China
Prior art keywords
optical density
moment
image
spacing
extinction coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510220626.8A
Other languages
English (en)
Inventor
J·马提尼
U·施托普尔
S·勒诺
S·韦伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN105021573A publication Critical patent/CN105021573A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/49Scattering, i.e. diffuse reflection within a body or fluid
    • G01N21/53Scattering, i.e. diffuse reflection within a body or fluid within a flowing fluid, e.g. smoke
    • G01N21/538Scattering, i.e. diffuse reflection within a body or fluid within a flowing fluid, e.g. smoke for determining atmospheric attenuation and visibility
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Abstract

本发明涉及一种用于车辆(102)的用于基于跟踪的视距估计的方法,其中所述方法包括跟踪(220)在第一时刻所检测的第一图像中和在第二时刻所检测的第二图像中的对象(434)的步骤、求取(222)在所述第一时刻时所述对象(434)的第一对象光密度(L1)和与所述对象(434)的第一间距(d1)以及求取在所述第二时刻时所述对象(434)的第二对象光密度(L2)和与所述对象(434)的第二间距(d2)的步骤以及在使用所述第一对象光密度(L1)、所述第二对象光密度(L2)、所述第一间距(d1)和所述第二间距(d2)的情况下确定(224)大气消光系数(K)的步骤,其中所述大气消光系数(K)与视距(dmet)存在直接关联。

Description

用于基于跟踪的视距估计的方法和设备
技术领域
本发明涉及一种例如用于车辆的用于基于跟踪的视距估计的方法、一种用于基于跟踪的视距估计的相应的设备以及一种相应的计算机程序。
背景技术
通过传感器和系统的迅速的进一步开发能够实现车辆周围环境的越来越精确的检测。因此,不同的驾驶员辅助系统可以在其驾驶任务中支持人类驾驶员和/或完全接管任务的部分。在此,主动的和被动的不同传感器借助不同的电磁频谱范围工作。在此,根据频谱范围,由于天气现象(雨、雾……)可能出现较强烈或者较不强烈的衰减效应和散射效应。对于摄像机而言(大约在可见光的范围中的频谱范围),特别是雾可能通过这种方式导致视线限制。
专利文献EP 1303768 B1公开了一种用于视距确定的方法。为了确定机动车中的尤其驾驶员的视距,从测量设备的至少两个离对象不同远的测量位置出发测量对比度,并且根据测量位置与对象的距离差将所测量的对比度值的比例换算成视距。
发明内容
由此借助在此所提出的方案,提出根据主权利要求的用于车辆的用于基于跟踪的视距估计的方法、使用所述方法的用于车辆的用于基于跟踪的视距估计的设备以及相应的计算机程序。由相应的从属权利要求和随后的说明得出有利的构型。
对于车辆中的一些系统而言,当前视距的了解是有利的。由对象在多个离图像拍摄器不同远的测量位置处的对象光密度可以求取具有与视距的关联的特征参量。在此,可以从图像检测系统或者图像检测装置的图像获得对象光密度。在所提出的方法的变型方案中,可以改变或者组合所研究的对象的数量、所分析处理的图像的数量或者所基于的数学模型,以便更稳健地构型所述方法。
提出用于基于跟踪的视距估计的方法,其中所述方法具有以下步骤:
跟踪在第一时刻所检测的第一图像中和在至少一个在第二时刻所检测的第二图像中所成像的对象;
求取在第一时刻时所述对象的第一对象光密度和与所述对象的第一间距以及求取在第二时刻时所述对象的第二对象光密度和与所述对象的第二间距;
在使用第一对象光密度、第二对象光密度、第一间距和第二间距的情况下确定大气消光系数,其中大气消光系数与视距存在直接关联。
视距可以涉及在图像检测装置的周围环境中占主导的视距。对象可以位于周围环境中。图像可以理解为所述周围环境的借助图像检测装置获得的成像。在此,可以在图像的区域中成像所述对象。所述图像可以具有不同的强度数据。对象光密度可以理解为对象的强度数据。对象光密度可以取决于对象光和所散射进来的周围环境光。对象的跟踪可以理解为对象的同一对象成像在多个摄像机图像中的识别和标记或者提取。摄像机图像可以理解为图像检测装置的图像。可以由第一图像检测装置检测第一图像并且可以由第二图像检测装置检测第二图像。第一时刻可以不同于第二时刻。尤其当第一时刻相应于第二时刻时,则与对象的第一间距可以不同于与对象的第二间距。
用于基于跟踪的视距估计的方法可以用于车辆或者在车辆中使用。用于基于跟踪的视距估计的方法可以不取决于车辆地用于例如在周围环境中运动的移动摄像机。因此,在使用智能手机的情况下例如可以由行人使用所述方法。也可以借助构造用于从不同的距离拍摄对象的多个摄像机或者图像检测装置使用所述方法。尤其可以在尽可能近地彼此相邻的时刻检测对象。替代地,在对象从旁经过的情况下可以借助静止的图像检测装置使用所述用于基于跟踪的视距估计的所述方法。
为了描述雾密度,可以考虑由散射系数Ks[1/m]和吸收系数Ka[1/m]组成的消光系数K=Ka+Ks[1/m]。消光系数例如可以通过气象学的视距dmet[m]的定义直接与人类的察觉能力联系:
d met = - log ( 0.05 ) K - - - ( 1 )
得到气象学的视距作为还能够以其原有的对比度的5%察觉对象的距离。
出于不同的原因感兴趣的是,可以估计消光系数K。因此,当驾驶员以与视距不匹配的速度行驶时,可以警告驾驶员。甚至可以根据视距自动匹配速度。此外,雾密度是用于在由于雾强烈衰减的频谱范围中工作的传感器和系统(例如摄像机、激光雷达)的感兴趣的参量。这些传感器以及人类在其气象学的有效距离以上不再能够作出可靠的陈述。因此,例如在视距50m时不意味着,当在前方75米内没有探测到对象时没有对象位于那里。不同的算法参数可以匹配能见度条件。另一个应用可以是雾前照灯的控制,在雾的情况下为了更高的舒适度可以接通所述雾前照灯,或者可以是后雾灯的控制,根据法律规定、如StVo(道路交通规则,Strassenverkehrsordnung)或者为了提高安全性,在视距50m以下必须或者应当接通后雾灯。
在此提出一种系统,其可以尤其在日光时特别快速地或者实时地从摄像机的强度数据和距离数据估计消光系数K。
在确定的步骤中,可以在使用一维公式的情况下确定消光系数K。可以在使用用于通过大气气溶胶的光传输的模型的情况下确定消光系数K。有利地,一维公式和补充地或替代地水平视线的模型能够实现消光系数K的快速确定。可以将所述水平视线的模型表达为一维公式。
在确定的步骤中,可以在使用估计方法的情况下由所述一维公式确定消光系数K。因此,可以近似地且非常快速地确定消光系数K。估计方法可以迭代地实施并且在每一次迭代时使所确定的消光系数K趋近于目标泛函的临界消光系数K。有利地,可以实施至少三次迭代。有利地,小于5次迭代足以使所确定的消光系数K在有利的公差范围内趋近于目标泛函的临界消光系数K。临界消光系数K可以不同于周围环境的“真正的”消光系数K,其中临界消光系数K当然作为目标泛函的最小值可以是尽可能好的估计。
在确定的步骤中,可以在使用迭代的牛顿方法的情况下确定消光系数K。有利地,使用平常的方法来确定消光系数K。因此,可以实现消光系数K的实时确定。
在检测的步骤中,可以在第一时刻检测第一图像并且在跟随第一时刻的第二时刻检测第二图像。可以在使用图像检测装置的情况下检测图像。图像可以示出来自图像检测装置的周围环境的物体作为对象,其中所述间距代表图像检测装置与物体之间的距离。所述物体在第一时刻可以位于相对于车辆的第一测量位置处。所述物体在第二时刻可以位于相对于车辆的第二测量位置处。与第一时刻的第一测量位置相比,第二测量位置可以具有与车辆或者图像检测装置的更小间距。
在检测的步骤中,可以在第一时刻检测第一图像并且在第二时刻检测第二图像,其中在检测的步骤中,可以在使用多个图像检测装置的情况下检测图像。在此,所述间距可以代表相应的图像检测装置与物体之间的距离。
在跟踪的步骤中,可以跟踪至少一个另外的对象。在此,在求取的步骤中可以确定在第一时刻所述另一个对象的另一个第一对象光密度和与所述至少一个另外的对象的另一个第一间距以及确定在第二时刻所述另一个对象的另一个第二对象光密度和与所述至少一个另外的对象的另一个第二间距。在确定的步骤中,可以在使用另一个第一对象光密度、另一个第二对象光密度、另一个第一间距和另一个第二间距的情况下确定大气消光系数K。由此,可以使所述方法变得更稳健。可以将所述方法有利地扩展到多个对象上。
在跟踪的步骤中,至少在第三时刻所检测的第三图像中跟踪所述对象。在求取的步骤中,可以求取在第三时刻时对象的第三对象光密度和与对象的第三间距。在确定的步骤中,可以在使用第三对象光密度和第三间距的情况下确定大气消光系数K。
尤其可以在连续的多个图像中跟踪对象。随后,在求取的步骤中可以求取在多个相应的时刻时对象的多个对象光密度和与对象的多个相应所分配的间距。这意味着,多个图像中的每个图像可以每个对象求取一个对象光密度和一个所分配的间距并且作为值对提供给确定的步骤。也可以给每一个值对分配检测了图像时刻。“多个”例如可以理解为10和100之间的数量。可能有利的是,使用至少50个连续的图像,其中跟踪并且借助求取和确定的步骤分析至少一个对象。可分配给值对的时刻可以分布在受限制的、不过大的时间段上。所述时间段可以包括数秒或者小于一秒。因此,所述时间段例如可以为0.5秒、1秒、2秒或者5秒。同时,可以通过多个摄像机或者图像检测装置在相同的时刻从不同的距离观察对象。所述跟踪可以由相对于彼此记录的或者与发现相关联的对象点组成或者包括它们。因此,可以实现具有稳健结果的稳健方法。
在此所提出的方案还实现一种设备,其构造用于在相应的装置中实施、控制或者实现在此所提出的方法的一种变型方案的步骤。通过本发明的以设备形式的所述实施变型方案也可以快速且有效地解决本发明所基于的任务。
在此,设备可以理解为处理传感器信号并且据此输出控制信号和/或数据信号的电设备。所述设备可以具有可能按照硬件方式和/或按照软件方式构造的接口。当按照硬件方式构造时,所述接口例如可以是所谓的系统ASIC的一部分,其包含所述设备的不同功能。然而,所述接口也可能是单独的集成电路或者至少部分地由分立的组件组成。当按照软件方式构造时,所述接口可以是例如在微控制器上与其他软件模框并存的软件模框。
计算机程序产品或者计算机程序也是有利的,其具有程序代码,其可以存储在机器可读的载体或者存储介质——例如半导体存储器、硬盘存储器或光学存储器上并且用于尤其当在计算机或设备上实施所述程序产品或程序时实施、实现和/或控制根据以上所述的实施方式中任一种所述的方法的步骤。
附图说明
以下根据附图示例性地进一步阐述在此所提出的方案。附图示出:
图1根据本发明的一个实施例示出用于车辆的用于基于跟踪的视距估计的设备的框图;
图2根据本发明的一个实施例示出用于基于跟踪的视距估计的方法的流程图;
图3根据本发明的一个实施例示出气象学视距的示意图;
图4根据本发明的一个实施例示出对象光与所散射进来的周围环境光的关系的示意图;
图5根据本发明的一个实施例示出在间距上描绘的所测量的光密度的示图;
图6根据本发明的一个实施例示出对象在不同距离上的示意图;
图7根据本发明的一个实施例示出信号变化的框图。
在本发明的有利的实施例的以下描述中,对于在不同附图中所示出的且相似作用的元素使用相同或相似的参考标记,其中放弃这些元素的重复描述。
具体实施方式
图1根据本发明的一个实施例示出用于车辆102的用于基于跟踪的视距估计的设备100的框图。设备100包括用于跟踪对象在第一时刻所检测的第一图像106中并且在第二时刻所检测的第二图像108中的成像的跟踪装置104、用于求取在第一时刻时对象的第一对象光密度L1和与对象的第一间距d1以及用于求取在第二时刻时对象的第二对象光密度L2和与对象的第二间距d2的求取装置110以及用于在使用第一对象光密度L1、第二对象光密度L2、第一间距d1和第二间距d2的情况下确定大气消光系数K的确定装置112,其中所述大气消光系数K与视距dmet存在直接关联。在公式(1)中示出大气消光系数K和视距dmet之间的关系。在此,第一时刻在时间上处于第二时刻之前。
此外,在图1中所示出的实施例中,设备100具有用于在第一时刻检测第一图像106并且在跟随所述第一时刻的第二时刻检测第二图像108的接口114。在使用图像检测装置116的情况下检测图像106、108。图像106、108示出对象、例如来自图像检测装置116的周围环境的物体,其中间距d1、d2分别代表图像检测装置116与所述物体之间的距离。
图2根据本发明的一个实施例示出用于基于跟踪的视距估计的方法的流程图。所述方法包括对象的跟踪的步骤220、大气消光系数K的求取的步骤222和确定的步骤224。在跟踪的步骤220中,跟踪对象在第一时刻所检测的第一图像中和在第二时刻所检测的第二图像中的成像。因此,识别对象并且求取对象的成像在图像中的位置和延伸,以便可以在随后的步骤中进一步研究相应于对象的成像的区域。在求取的步骤222中,对于对象求取对象光密度和间距值并且将其提供为值对。因此,例如在使用相应的图像的情况下,在第一时刻所拍摄的图像中求取对象的第一对象光密度并且在第二时刻所拍摄的第二图像中求取对象的第二对象光密度。根据实施例,由图像、由图像检测装置或者另一传感器的其他数据求取对象与图像检测装置之间的可分配的第一间距或者第二间距。在确定的步骤224中,在使用第一对象光密度、第二对象光密度、第一间距和第二间距的情况下确定大气消光系数K,其中所述大气消光系数与视距存在直接关联。在公式(1)中示出大气消光系数K与视距dmet之间的关系。
在一个实施例中,在确定的步骤224中,在使用一维公式和补充地或替代地水平视线的模型的情况下确定消光系数K。
在一个实施例中,在确定的步骤224中,在使用估计方法的情况下由一维公式确定消光系数K。
在一个实施例中,在确定的步骤224中,在使用迭代的牛顿方法的情况下确定消光系数。
在一个实施例中,所述方法包括可选的在第一时刻检测第一图像并且在跟随第一时刻的第二时刻检测第二图像的步骤。在检测的步骤中,在使用图像检测装置的情况下检测图像,其中所述图像示出来自图像检测装置的周围环境的物体作为对象,其中所述间距代表图像检测装置与物体之间的距离。
在一个实施例中,在跟踪的步骤220中,跟踪至少一个另外的对象。然后,在求取的步骤222中,求取在第一时刻时所述另一个对象的另一个第一对象光密度和与所述至少一个另外的对象的另一个第一间距以及求取在第二时刻时所述另一个对象的另一个第二对象光密度和与所述至少一个另外的对象的另一个第二间距。在确定的步骤224中,在使用所述另一个第一对象光密度、所述另一个第二对象光密度、所述另一个第一间距和所述另一个第二间距的情况下确定大气消光系数。
在一个实施例中,在跟踪的步骤220中,跟踪对象至少在第三时刻所检测的第三图像中的成像,其中在求取的步骤222中求取在第三时刻时对象的第三对象光密度和与对象的第三间距,其中在确定的步骤224中在使用第三对象光密度和第三间距的情况下确定大气消光系数。
在一个实施例中,在确定的步骤224中包含其他的周围环境信息(例如周围环境亮度、对象了解……)。此外,所述其他的环境信息可以由图像和/或由其他传感器和/或前后关系(Kontext)获得。
图3根据本发明的一个实施例示出气象学视距dmet的示意图。由仍可以其原始对比度的5%觉察对象的距离得到气象学视距dmet。因此,图3在五个相互相邻布置的视图中示出车辆的剪影,其中所述对比度从具有表示为100%的原始对比度变化到具有表示为2%的对比度。在它们中间示出具有50%、20%和5%的剪影。觉察阈值在对比度5%时经过
图4根据本发明的一个实施例示出对象光430和所散射进来的周围环境光432的关系的示意图。对象光430在从对象434、例如物体到观察者436的路径上减弱并且通过所散射进来的周围环境光432增加。
在此所描述的方案基于在摄像机的两个或多个帧或者图像上对象、表面的部分或者点的跟踪。如果所跟踪的实体(在此以参考标记434表征)在其距离方面相对于摄像机运动,则由于雾发生光密度或者对象光密度的变化。在此,光密度不仅仅指典型的光度测量的光密度。在此,该术语应当表示辐射密度的任意的(但是在实施的过程中固定的)频谱加权。在此,光密度尤其也可以表示根据摄像机成像器或者图像检测装置的单个像素的灵敏度曲线的频谱加权。更准确地说,例如通过水平视线的Koschmieder模型描述光密度和对象距离之间的所述关系:
L=e-KdL0+(1-e-Kd)Lair  (2)
其中,参数L0和Lair代表对象的光密度以及周围环境光,而d[m]表示对象和观察者之间的距离。L为在观察者处所觉察的对象光,所述对象光根据公式(2)由所衰减的对象光L0和所散射进来的周围环境光Lair组成。
根据一个实施例,当在雾时在从旁经过时由前方摄像机跟踪道路标牌,在靠近标牌时因为更少的周围环境光散射进光学路径中并且由对象反射的光比周围环境光更弱,所以光密度(所感觉的亮度)减小。因此,在跟踪时得到减小的光密度的曲线。如果同时测量与所跟踪的对象的距离,则也可以在距离上描绘光密度曲线。例如可以通过在单目摄像机的情况下“从运动信息中恢复三维场景结构(Structure from Motion)”、通过立体影像或者通过其它传感器、例如激光雷达来测量并且确定与所跟踪的对象的距离或者间距。在图5中示出光密度曲线关于距离或者间距的示例。
在此,也可以平滑、内插以及外插所述距离,以便也在跟踪的范围中得到距离,其中距离估计是困难的或者不可能的,但是已经可以跟踪所述对象。在此,可以包含关于在拍摄时刻(例如由ESP、GPS、自身运动估计……)之间所经过的路径的信息。
图5根据本发明的一个实施例示出在间距上所描绘的所测量的光密度的示图。在笛卡尔坐标系中,在横坐标上描绘间距d并且在纵坐标上描绘对象的光密度L。实际的测量点记录为点,即在间距上描绘所跟踪的对象的所测量的光密度。作为实线,所修整的模型曲线相应地表示水平视线的Koschmieder模型,相应于公式(2)。
图6根据本发明的一个实施例示出对象434在不同距离上的示意图。在不同的距离上检测对象的光密度。在此,例如可以将在图像中所示出的对象理解为真实物体的成像。以L表示光密度,以d表示间距或者距离。在此,索引表示时刻,因此L1代表第一时刻的光密度,L2代表第二时刻的光密度。在此,给每一个时刻分配一个图像。
因此,对于一个对象得到值对(L1;d1),...,(LN;dN),其中N是帧或者图像的数量,在所述帧或者图像中可以跟踪对象。为了能够通过相应于公式(2)的Koschmieder模型(或者其它模型)推断出所基于的消光系数K,建议所述值对尽可能好地相应于预给定的模型;对于Koschmieder:
L 1 = e - K d 1 L 0 + ( 1 - e - K d 1 ) L air . . . L N = e - K d N L 0 + ( 1 - e - K d N ) L air - - - ( 3 )
因为对于N>3而言在有噪声的实际数据上通常不能精确地求解公式系统(3),所以如此估计参数(K;L0;Lair),使得在最小的误差平方的意义上尽可能好地满足公式(3):
Σ n = 1 N ( [ e - K d n L 0 + ( 1 - e - K d n ) L air ] - L n ) 2 → min - - - ( 4 )
通过这种方式,可以由图像序列估计消光系数K,尤其也可以估计气象学视距dmet
图7根据本发明的一个实施例示出信号变化的框图。在第一框740中,读入或者检测待处理的信号,在第二框742中处理待处理的信号并且在第三框744中提供视距信号dmet或者消光系数信号K。框742包括两个部分框746、748。
在框740中,读入或者检测用于一个或多个对象的值对(L1;d1),...,(LN;dN)。在框742的第一部分框746中,实施用于估计消光系数K的模型拟合(Modell-Fit),其中框742的第二部分框748为此提供适合的措施。
第一部分框746代表以下系统:其通过模型使用关于所跟踪的对象光密度和距离的测量数据来估计大气消光系数K或者其它的雾特性。
第二部分框748代表以下系统:其为了使具体的Koschmieder模型泛函(其可用于第一部分框746)最小化使用随后描述的方法并且因此变得有实时能力。
第一部分框746中的普遍方案的优点是,所述方案通过其与到目前为止存在的方法不相关的新颖性可以估计消光系数K或者视距dmet并且因此可以单独地或者(为了保险)组合地使用。所述方案不依赖于道路交通场景并且原则上可以在估计光密度和所属的距离的每一种系统中使用。
另一个优点是在存在的系统中容易的可集成性。因此,在没有附加耗费的情况下可以使用所跟踪的任意对象、道路标牌、所跟踪的河流等等来进行视距估计。第一部分框746中的原本非常昂贵的估计(最小化成复杂泛函的≥3个参数)通过第二部分框748变得非常成本有利。
以下进一步描述第一部分框746。给定M≥1个对象的对象光密度(或者对象光密度的近似线性的表达)和所属的距离其中Nm=对象跟踪m的长度,对于所有的m∈{1,...,M}。在所述数据上进行消光系数K的基于模型的估计。对于公式(2)的Koschmieder模型意味着,尽可能好地以模型参数中求解以下公式系统:
在此意义上使泛函最小化。
因为每一个对象具有其自身固有的光密度L0,所以每个对象加入一个附加参数,总共得到M+2个参数。
替代地,所述模型也可以非常简单,大概“朝我自身运动的对象变得更黑,这说明雾”。在所述观察上也可以构造经训练的雾识别算法或者具体确定经训练的视距的机器学习算法。
在一个实施例中,可以将测量不可靠性考虑到所述泛函中并且因此考虑到参数估计中。对于在测量中表达为标准方差的测量不可靠性而言,在所基于的正态分布的随机过程中得到以下最大似然目标泛函:
以下进一步描述第二部分框748。为了能够使泛函最小化,借助传统的方法(梯度下降法、牛顿方法、Levenberg-Marquardt方法……)需要非常大的耗费(与对象的数量M和对象跟踪的长度Nm相关)。所述最小化可能仅仅困难地集成在实时系统中并且在那里会要求许多资源。在所述实施例中描述以下系统:其替代泛函的最小化进行一维公式f(K)=0的与此等效的求解。根据用于一维公式f(K)=0的计算的耗费,这是成本有利得多的问题。为了求解f(K)=0,例如可以使用迭代的牛顿方法K:=K-f(K)/f'(K)。对于以下所提出的一维公式f而言,为了足够精确在所模拟的数据记录的所有形式上以开始值K:=0少的(更准确地说,3次)迭代足够。可以如下计算满足所要求的特性的一维公式f:
f ( K ) = L air 2 ( S eed - S ed ) + L air ( Σ m = 1 M L 0 m S ed m - 2 Σ m = 1 M L 0 m S eed m + S Led ) + Σ m = 1 M L 0 m L 0 m S eed m - Σ m = 1 M L 0 m S Led m - - - ( 8 )
其中,
∀ j ∈ { 1 , . . . , M } : L 0 j = S L e j + L air ( S ee j - S e j ) S ee j - - - ( 9 )
并且
L air = S L - Σ m = 1 M S e m S Le m S ee m S 1 - Σ m = 1 M S e m S e m S ee m - - - ( 10 )
以及使用缩略的写法:
S 1 j : = Σ n = 1 N j 1
S e j : = Σ n = 1 N j e - K d n j
S ee j : = Σ n = 1 N j e - K d n j e - K d n j
S L j : = Σ n = 1 N j L n j
S Le L : = Σ n = 1 N j L n j e - K d n j
S ed j : = Σ n = 1 N j d n j e - K d n j
S eed j : = Σ n = 1 N j d n j e - K d n j e - K d n j
S * = Σ m = 1 M S * m - - - ( 11 )
此外,可以平常地确定一维公式f根据消光系数K的推导(对于牛顿方法需要)。
因为仅仅通过摄像机的精确的辐射校准或者光度校准能够实现由图像强度确定光密度,所以在此光密度L也可以表示光密度的(大约)线性的表达,即L=α·光密度+β。
在此,饱和效应和量化效应以及线性的摄像机模型中的其它的不准确性也不是问题。一方面,光密度的线性变换的表达对于借助以上所描述的方法来估计消光系数K不是问题。而另一方面,通过量化并且类似通过误差平方的估计引起的相对小的不准确性不导致结果的根本性歪曲。此外,可以确定饱和度并且可以在消光系数估计或者K估计时忽略饱和测量的光密度。
其他的实施变型方案:为了改善消光系数K借助模型的估计,通过其他的测量来限制其它模型参数可能是有意义的。这例如可以通过参数的确定(然后不再共同估计)、对参数的限制(仅仅在所述限制内精确地估计)或者通过附加的惩罚项(惩罚参数与预给定项的偏差)来实现。
例如,也可以在根据公式(2)的模型中独立地由图像估计用于周围环境光Lair的光密度的参数(对于周围环境光Lair的光密度而言,观察并且例如求平均可视的地平线的光密度是有意义的)。现在,可以在确定周围环境光Lair的光密度的情况下或者以周围环境光Lair的受限制的光密度使泛函F最小化。如果已知周围环境光的光密度的估计或者短的Lair估计的不可靠性,则也可以将已加权的惩罚项添加到泛函F,例如对于所估计的和λ,其描述所述估计的可靠性:
在这种变型方案中,也可以如此发现使得如果可以如此发现其它参数使得在所述参数选择中最小化,则恰好
在此,在第二部分框748中所实施的步骤对于在实时系统中(A)的实现(=使F最小化)显得有利。
所描述的和在附图中所示出的实施例仅仅示例性地选择。不同的实施例可以完全地或者在单个的特征方面相互组合。也可以通过另一个实施例的特征来补充实施例。
此外,在此所提出的方法步骤可以反复以及以不同于所描述的顺序的顺序实施。
如果实施例在第一特征和第二特征之间包括“和/或”关系,则这样理解:所述实施例根据一种实施方式不仅具有第一特征而且具有第二特征而根据另一种实施方式或者仅仅具有第一特征或者仅仅具有第二特征。

Claims (10)

1.一种用于基于跟踪的视距估计(102)的方法,其中,所述方法具有以下步骤:
跟踪(220)在第一时刻所检测的第一图像中和在至少一个在第二时刻所检测的第二图像中所成像的对象(434);
求取(222)在所述第一时刻时所述对象(434)的第一对象光密度(L1)和与所述对象(434)的第一间距(d1)以及求取在所述第二时刻时所述对象(434)的第二对象光密度(L2)和与所述对象(434)的第二间距(d2);
在使用所述第一对象光密度(L1)、所述第二对象光密度(L2)、所述第一间距(d1)和所述第二间距(d2)的情况下确定(224)大气消光系数(K),其中,所述大气消光系数(K)与视距(dmet)存在直接关联。
2.根据权利要求1所述的方法,其中,在所述确定的步骤(224)中,在使用一维公式和/或用于通过大气气溶胶进行光传输的模型的情况下确定所述消光系数(K)。
3.根据权利要求2所述的方法,其中,在所述确定的步骤(224)中,在使用估计方法的情况下由一维公式确定所述消光系数(K)。
4.根据以上权利要求中任一项所述的方法,其中,在所述确定的步骤(224)中,在使用迭代的牛顿方法的情况下确定所述消光系数(K)。
5.根据以上权利要求中任一项所述的方法,所述方法具有在所述第一时刻检测第一图像并且在跟随所述第一时刻的所述第二时刻检测第二图像的步骤,其中,在所述检测的步骤中,在使用一个图像检测装置(116)或者多个图像检测装置(116)的情况下检测所述图像,其中,所述图像示出来自所述图像检测装置(116)的周围环境的物体作为对象(434),其中,所述间距(d)代表相应的图像检测装置(116)与所述物体之间的距离。
6.根据以上权利要求中任一项所述的方法,其中,在所述跟踪的步骤(220)中,跟踪至少一个另外的对象,其中,在所述求取的步骤(222)中,求取在所述第一时刻时所述另一个对象的另一个第一对象光密度和与所述至少一个另外的对象的另一个第一间距以及求取在所述第二时刻时所述另一个对象的另一个第二对象光密度和与所述至少一个另外的对象的另一个第二间距,其中,在所述确定的步骤(224)中,在使用所述另一个第一对象光密度、所述另一个第二对象光密度、所述另一个第一间距和所述另一个第二间距的情况下确定所述大气消光系数(K)。
7.根据以上权利要求中任一项所述的方法,其中,在所述跟踪的步骤(220)中,至少在第三时刻所检测的第三图像中跟踪所述对象,其中,在所述求取的步骤(222)中,求取在所述第三时刻时所述对象的第三对象光密度(L3)和与所述对象的第三间距(d3),其中,在所述确定的步骤(224)中,在使用所述第三对象光密度(L3)和所述第三间距(d3)的情况下确定所述大气消光系数(K)。
8.一种设备(100),所述设备构造用于实施根据以上权利要求中任一项所述的方法的所有步骤。
9.一种计算机程序,所述计算机程序设置用于实施根据以上权利要求中任一项所述的方法的所有步骤。
10.一种机器可读的存储介质,其具有存储在其上的根据权利要求9所述的计算机程序。
CN201510220626.8A 2014-05-02 2015-05-04 用于基于跟踪的视距估计的方法和设备 Pending CN105021573A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014208272.2 2014-05-02
DE102014208272.2A DE102014208272A1 (de) 2014-05-02 2014-05-02 Verfahren und Vorrichtung zur Tracking-basierten Sichtweitenschätzung

Publications (1)

Publication Number Publication Date
CN105021573A true CN105021573A (zh) 2015-11-04

Family

ID=54326053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510220626.8A Pending CN105021573A (zh) 2014-05-02 2015-05-04 用于基于跟踪的视距估计的方法和设备

Country Status (3)

Country Link
US (1) US9727792B2 (zh)
CN (1) CN105021573A (zh)
DE (1) DE102014208272A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT201800005817A1 (it) * 2018-05-29 2019-11-29 Dispositivo e metodo per misurazioni di visibilita'
DE102018126497A1 (de) 2018-10-24 2020-04-30 Valeo Schalter Und Sensoren Gmbh Verfahren zur Überprüfung einer Reichweite einer optischen Detektionsvorrichtung und optische Detektionsvorrichtung
US11772656B2 (en) 2020-07-08 2023-10-03 Ford Global Technologies, Llc Enhanced vehicle operation
DE102020005343A1 (de) 2020-08-31 2022-03-03 Daimler Ag Verfahren zur Objektverfolgung von mindestens einem Objekt, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Objektverfolgungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Objektverfolgungsvorrichtung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003069275A1 (fr) * 2002-02-14 2003-08-21 Laboratoire Central Des Ponts Et Chaussees Procede de determination de la distance de visibilite et procede de determination de la presence d'un brouillard
CN101526475A (zh) * 2009-04-10 2009-09-09 南京信息工程大学 透射式能见度测量装置及测量方法
CN101936900A (zh) * 2010-06-12 2011-01-05 北京中科卓视科技有限责任公司 一种基于视频的能见度检测系统
CN101995394A (zh) * 2009-08-11 2011-03-30 中国科学院西安光学精密机械研究所 雾区能见度检测方法及其设备
CN102253013A (zh) * 2011-04-29 2011-11-23 陈伟 一种应用于交通领域的透射法能见度检测装置及其检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10034461A1 (de) * 2000-07-15 2002-01-31 Bosch Gmbh Robert Verfahren zur Sichtweitenbestimmung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003069275A1 (fr) * 2002-02-14 2003-08-21 Laboratoire Central Des Ponts Et Chaussees Procede de determination de la distance de visibilite et procede de determination de la presence d'un brouillard
CN101526475A (zh) * 2009-04-10 2009-09-09 南京信息工程大学 透射式能见度测量装置及测量方法
CN101995394A (zh) * 2009-08-11 2011-03-30 中国科学院西安光学精密机械研究所 雾区能见度检测方法及其设备
CN101936900A (zh) * 2010-06-12 2011-01-05 北京中科卓视科技有限责任公司 一种基于视频的能见度检测系统
CN102253013A (zh) * 2011-04-29 2011-11-23 陈伟 一种应用于交通领域的透射法能见度检测装置及其检测方法

Also Published As

Publication number Publication date
US9727792B2 (en) 2017-08-08
DE102014208272A1 (de) 2015-11-05
US20150317524A1 (en) 2015-11-05

Similar Documents

Publication Publication Date Title
CN105049784A (zh) 用于基于图像的视距估计的方法和设备
CN104715473B (zh) 用于对自动车辆车载的摄像机的位置进行角度校准的方法
Hautière et al. Real-time disparity contrast combination for onboard estimation of the visibility distance
KR101411668B1 (ko) 교정 장치, 거리 측정 시스템, 교정 방법, 및 교정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
US5249128A (en) System and method for determining the distance to an energy emitting object
US8401715B2 (en) Vehicle periphery monitoring device
Borges et al. Practical infrared visual odometry
US20120008866A1 (en) Method and device for detecting an interfering object in a camera image
EP2963634B1 (en) Stereo camera device
US20180293450A1 (en) Object detection apparatus
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US10832428B2 (en) Method and apparatus for estimating a range of a moving object
US20230236038A1 (en) Position estimation method, position estimation device, and position estimation program
CN105021573A (zh) 用于基于跟踪的视距估计的方法和设备
JP2008282386A (ja) 物体検出装置、物体検出方法及び物体検出プログラム
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
CN114248778A (zh) 移动设备的定位方法和定位装置
KR102100047B1 (ko) 차선 끝점 검출 알고리즘을 이용한 차량 위치 인식 시스템 및 상기 차선 끝점 검출 알고리즘의 성능을 평가하는 방법
US20230108779A1 (en) Road deterioration diagnostic device, road deterioration diagnostic system, roaddeterioration diagnostic method, and recording medium
Christiansen et al. Monocular vehicle distance sensor using HOG and Kalman tracking
KR100751096B1 (ko) 광흐름을 이용한 속도 측정 장치 및 그 방법
Bravo et al. Outdoor vacant parking space detector for improving mobility in smart cities
US20220309776A1 (en) Method and system for determining ground level using an artificial neural network
JP6593995B2 (ja) 空港監視装置
Gabb et al. Probabilistic inference of visibility conditions by means of sensor fusion

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151104

WD01 Invention patent application deemed withdrawn after publication