CN105793909A - 用于借助车辆周围环境的通过摄像机采集的两个图像产生警告的方法和设备 - Google Patents

用于借助车辆周围环境的通过摄像机采集的两个图像产生警告的方法和设备 Download PDF

Info

Publication number
CN105793909A
CN105793909A CN201480065571.1A CN201480065571A CN105793909A CN 105793909 A CN105793909 A CN 105793909A CN 201480065571 A CN201480065571 A CN 201480065571A CN 105793909 A CN105793909 A CN 105793909A
Authority
CN
China
Prior art keywords
video camera
vehicle
image
warning
positional information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480065571.1A
Other languages
English (en)
Other versions
CN105793909B (zh
Inventor
L·韦帕
M·黑尔姆勒
J·D·埃斯帕扎加西亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN105793909A publication Critical patent/CN105793909A/zh
Application granted granted Critical
Publication of CN105793909B publication Critical patent/CN105793909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及用于在产生警告的设备和方法。在此,通过第一摄像机(1R)从第一摄像机视角采集车辆(10)的车辆周围环境的第一图像,通过第二摄像机(1L)采集从第二摄像机视角所述车辆(10)的车辆周围环境的第二图像。在此,所述第一摄像机(1R)和所述第二摄像机(1L)是两个分离的、布置在所述车辆(10)的外部位置处的摄像机,它们在所述车辆(10)的纵向方向(L)上或横向方向(Q)上彼此间隔开地布置。所述第一和第二图像在第一相交区域(6,6ˊ)中相交。在所述第一相交区域(6、6ˊ)中基于所述第一和所述第二摄像机(1R,1L)的图像确定位置信息,所述位置信息是所述对象相对于所述车辆(10)的位置或所述对象相对于所述车辆的预期位置。如果所述位置信息位于预给定的相对于所述车辆(10)的警告区域中,则输出警告。

Description

用于借助车辆周围环境的通过摄像机采集的两个图像产生警告的方法和设备
技术领域
本发明涉及用于借助车辆周围环境的通过摄像机采集的两个图像产生警告的方法和设备。
背景技术
驾驶辅助系统用于支持机动车的驾驶员。所述支持可以通过不同的方式实现。因此,例如通常向驾驶员显示车辆附近环境的、此外没有位于驾驶员的视域中的周围环境,以便避免碰撞。此外,已知使驾驶员降低一些控制主动性以便对于驾驶员而言提高用户友好度的驾驶辅助系统。同样可以监视驾驶员的控制主动性并且实现在危险的驾驶状况中通过驾驶辅助系统的干预。此外,已知允许车辆在没有驾驶员的情况下的自主行驶的驾驶辅助系统。
基于摄像机的、能够采集与其他车辆或其他对象的间距的驾驶辅助系统利用立体摄像机对,该立体摄像机对通常安置在风挡玻璃后方或行李室盖中。在此,一个立体摄像机包括两个具有相同光学特性的摄像机。所述摄像机如此彼此定向,使得它们具有相互平行地定向的光学轴线和非常窄的视域。这能够实现大的远视,其中,然而仅仅覆盖小的视域。由于多个影响因素,不再作为立体摄像机对安装在一个唯一的车辆中,由此限制其应用可能性。
在现代的车辆中,使用另一种多摄像机系统,其由多于两个摄像机、通常多于四个摄像机构造。在此,所使用的摄像机具有大的张角、通常180°或更大。在该多摄像机系统中,借助多个广角摄像机采集车辆环境。在此,应当通过广角摄像机的相互配合采集尽可能更大的视域。因为在所述系统中在车辆的前部区域中存在一个摄像机并且在尾部区域中存在一个摄像机,所以得到用于借助摄像机(单目摄像机)来估计距离的方法。这些方法包括例如光流的分解、分类器等的手段。借助这些方法可以在具有窄的视域的摄像机中实现好的结果。
由EP1030188A1已知用于实时状况显示的设备。在该设备中由布置在车辆上的摄像机的视频流产生立体图像。如果识别出确定的事件,则可以输出警告消息。
发明内容
根据本发明的具有权利要求1的特征的用于产生警告的设备包括用于从第一摄像机视角采集车辆的车辆周围环境的第一图像的第一摄像机、用于从第二摄像机视角采集车辆的车辆周围环境的第二图像的第二摄像机并且包括警告单元,其中,第一和第二图像在第一相交区域中相交,所述第一相交区域示出车辆周围环境的第一区域,所述警告单元设置用于如果位置信息位于预给定的相对于车辆的警告区域中则输出警告,所述位置信息是对象相对于车辆的位置或对象相对于车辆的预期位置。在此,第一摄像机和第二摄像机是分离的、布置在车辆的外部位置处的摄像机,它们在车辆的纵向方向上或横向方向上彼此间隔开地布置。此外设有分析处理单元,所述分析处理单元设置用于在第一相交区域中基于第一和第二摄像机的图像来确定位置信息并且将所述位置信息转发给警告单元。在此,车辆的外部位置是车辆上的、在对车辆俯视时位于车辆的边缘处的位置。特别地,在第一相交区域中基于第一和第二摄像机立体地确定所述位置信息。
根据本发明的具有权利要求11的特征的用于产生警告的方法包括通过第一摄像机从第一摄像机视角采集车辆的车辆周围环境的第一图像的步骤,通过第二摄像机从第二摄像机视角采集车辆的车辆周围环境的第二图像的步骤。在此,第一摄像机和第二摄像机是两个分离的、布置在车辆的外部位置处的摄像机,它们在车辆的纵向方向上或横向方向上彼此间隔开地布置,其中,第一和第二图像在第一相交区域中相交,所述相交区域示出车辆周围环境的区域。此外,所述方法包括在第一相交区域中基于第一和第二摄像机的图像确定位置信息的步骤,所述位置信息是对象相对于车辆的位置或对象相对于车辆的预期位置,并且包括如果所述位置信息位于相对于车辆的预给定的警告区域中则输出警告的步骤。
根据本发明的设备和根据本发明的方法是有利的,因为它们能够基于关于车辆环境的非常准确的信息尤其在对象相对于车辆的大间距的情况下实现可靠警告。此外,相对于传统的立体摄像机系统,可以放弃分类器的使用。根据本发明的方法尤其是有利的,因为其可以在没有使用附加硬件的情况下由现存的环视系统执行。因此,本方法可以在没有大的耗费的情况下集成到已经存在的车辆中并且尤其可以借助单目摄像机执行。
从属权利要求示出本发明的优选扩展方案。
特别地,所述第一和所述第二摄像机布置在一个共同的、平行于所述车辆的纵向方向或横向方向的线上。因此,最小化第一图像相对于第二图像的失真并且因此最小化位置信息确定中的计算耗费。
有利的是,第一和第二摄像机以彼此最大的间距布置在车辆上。因此,提高位置信息的准确性。
此外,有利的是,至少一个用于从第三摄像机视角采集车辆的车辆周围环境的第三图像的第三摄像机布置在车辆上,其中,第三摄像机设置为分离的摄像机。在此,第一图像、第二图像和第三图像在第二相交区域中相交。在此,分析处理单元还设置用于在第二相交区域中基于第一图像、第二图像和第三图像确定位置信息。通过这种方式实现位置信息的精确度和稳定性的改善,因为它们因此基于至少三个图像。特别地,由第一和第二摄像机的图像的组合、第一和第三摄像机的图像的组合以及第二和第三摄像机的图像的组合来确定对于第二相交区域的位置信息,以便被合并成平均值。在位置信息确定中的三角测量优选基于具有多个基础(Basen)的三角计算。在此,一个基础是两个摄像机的路程,所述两个摄像机的图像用于三角测量。优选地,第三摄像机与第一和第二摄像机的间距是最大可能的间距,该间距由车辆的尺寸向上限制。
特别地,所述设备还包括分析处理单元,所述分析处理单元设置用于识别当前的行驶状况并且当出现预给定的行驶状况时选择至少一个第三摄像机。已知的是,立体图像的分析处理需要高的计算能力。借助立体图像所基于的摄像机图像的数目倍增了所需的计算能力,由此然而位置信息的准确性增大。通过根据当前的行驶状况选择一个或多个第三摄像机来使系统与当前的行驶状况匹配。或者最小化所需的计算能力或者最大化准确度。
有利的是,第一和第二摄像机布置在车辆的各一个外后视镜中或各一个外后视镜上,因为车辆上的这些点通常能够在横向方向上实现第一和第二摄像机的最大间距。此外,通过车辆的一侧上的所述位置能够实现大的相交区域,因为实现最小的通过车辆车身引起的遮盖。因此,在车辆环境中的特别大的区域中确定位置信息。
同样有利的是,所述第一摄像机具有第一光学轴线并且所述第二摄像机具有第二光学轴线,其中,所述第一和所述第二光学轴线指向不同的方向,并且所述分析处理单元设置用于通过第一虚拟光学轴线限定所述第一摄像机的第一虚拟摄像机视角,所述第一虚拟光学轴线在其位置方面与所述第一光学轴线不同,并且通过第二虚拟光学轴线限定所述第二摄像机的第二虚拟摄像机视角,所述第二虚拟光学轴线在其位置方面与所述第二光学轴线不同。在此,分析处理单元还设置用于在所述第一虚拟摄像机视角中由所述第一图像计算所述第一相交区域的第一虚拟图像并且在所述第二虚拟摄像机视角中由所述第二图像计算所述第一相交区域的第二虚拟图像。在此,分析处理单元还设置用于实施对应分析,以便建立对象在所产生的第一虚拟图像中与在所产生的第二虚拟图像中之间的关系、尤其空间关系,其中,在所述第一相交区域中基于所述对应分析、所产生的第一虚拟图像和所产生的第二虚拟图像以及所述第一摄像机相对于所述第二摄像机的位置来确定所述位置信息。通过这些方法步骤特别可靠地求取位置信息。尤其在不同地定向的光学轴线(这能够实现摄像机的特别有利且灵活的布置)的情况下,通过所述分析处理单元能够在最小计算耗费的情况下实现位置信息的确定。
特别地,所述分析处理单元设置用于将所述位置信息以其他对象位置采集装置的结果来补充或与其组合。因此,在一些区域中验证或精确化位置信息。在相应布置的对象位置采集装置中,如此扩展位置信息,使得所述位置信息也包括对象在相交区域之外的当前位置。
此外有利的是,所述分析处理单元设置用于由所述对象的所求取的位置的序列来计算所述对象相对于所述车辆的相对速度并且尤其借助所述相对速度推导所述对象的预期位置。特别地,通过这种方式,如果可以预料到对象与车辆之间的碰撞,则输出警告。如果相对速度表明对象远离车辆,则优选抑制警告。因此,避免驾驶员的所不需要的警告。能够实现危险状况的更准确的估计。因此,例如可以求取接近的对象是否与车辆碰撞或者在所述车辆旁运动经过。
此外有利的是,所述警告是追尾警告,其中,所述预给定的警告区域位于所述车辆后方或前方。因此,能够实现追尾事故的警告,由此能够避免追尾事故。同样,可以激活其他安全系统,例如紧急制动辅助装置。在此,碰撞警告可以是警告提防车辆追尾位于车辆前方的对象的警告或者是警告提防即将发生的、对象追尾车辆的警告。
同样有利的是,所述警告是死角警告,其中,所述预给定的警告区域位于所述车辆的死角中。所述死角是车辆旁的、由车辆驾驶员不能通过外后视镜看到的并且没有位于其前部视域中的区域。通过所述警告可以避免事故。
同时有利的是,所述警告是侧面碰撞警告,其中,所述预给定的警告区域位于所述车辆侧旁。通过所述警告可以避免事故。有利的是,通过所述警告也激活安全系统、例如侧安全气囊。
此外有利的是,将用于借助第一摄像机和具有第二光学轴线的第二摄像机至少部分光学采集车辆的车辆环境的系统用于实施根据本发明的方法,所述第一摄像机用于从第一摄像机视角采集车辆辆周围环境的第一图像,所述第二摄像机用于从第二摄像机视角采集车辆周围环境的第二图像。在此,所述第一摄像机和所述第二摄像机是两个分离的、布置在所述车辆的外部位置处的摄像机,它们在所述车辆的纵向方向上或横向方向上彼此间隔开地布置,其中,所述第一和所述第二图像在第一相交区域中相交,所述相交区域示出车辆周围环境的区域。因此,产生以警告功能扩展已经存在的车辆系统的可能性,所述警告功能基于否则未被利用的测量数据并且因此可以在否则不能被识别的状况中输出警告消息。
特别地,至少第一和第二摄像机是广角摄像机。由此,扩展第一和/或第二相交区域并且可以更可靠地采集对象。此外,可以降低所需的摄像机的数目。
特别地,在第一相交区域中成像位于车辆的相对置的侧上的两个车辆周围环境区域。因此,降低对于车辆周围环境区域的采集感兴趣地需要的摄像机的数目并且因此实现成本节省。
此外有利的是,第一摄像机、第二摄像机和第三摄像机布置在一个共同的、平行于车辆的横向方向或平行于车辆的纵向方向定向的线上。因此,最小化第一图像相对于第二图像和第三图像的失真并且因此最小化位置信息确定中的计算耗费。
附图说明
以下,参照附图详细描述本发明的实施例。附图示出:
图1:具有根据一种实施方式的用于产生警告的设备的车辆的示意性视图;
图2:根据一种实施方式的用于产生警告的设备的示意性视图;
图3:具有根据一种实施方式的用于产生警告的设备的车辆在一个示例性的交通状况中的示意性视图;
图4:根据一种实施方式的方法的流程图。
具体实施方式
根据本发明的方法优选通过驾驶辅助系统来实施,所述驾驶辅助系统借助多个摄像机1R、1L、1H、1F采集并且显示围绕车辆10周围的环视(Rundumblick)。在此,从以下受益:由所述摄像机1R、1L、1H、1F采集的图像具有显著的相交区域,在所述相交区域中从不同摄像机视角示出车辆旁的区域。
在图1中示出具有根据一种实施方式的用于产生警告的设备的车辆10。
在车辆10的右外后视镜7中并且因此在车辆10的外部位置处安置第一摄像机1R。第一摄像机1R是广角摄像机。第一摄像机1R具有第一光学轴线2R,所述第一光学轴线平行于行车道表面20地并且相对于车辆10的纵向方向L向右成直角地定向。所述第一光学轴线2R是第一摄像机1R的透镜的光学轴线并且因此位于由第一摄像机1R采集的第一图像的中心。所述第一摄像机1R具有200°的采集角α1R。这意味着,如果对象位于第一摄像机1R的透镜前方的可视区域中,所述可视区域从第一摄像机1R出发观看位于朝任一方向不大于100°地与第一摄像机1R的第一光学轴线2R偏差的视线方向上,则该对象通过第一摄像机1R采集。
在车辆10的左外后视镜8中并且因此在车辆10的外部位置处安置第二摄像机1L。第二摄像机1L是广角摄像机。第二摄像机1L具有第二光学轴线2L,所述第二光学轴线平行于行车道表面20并且以相对于车辆10的纵向方向L向左的直角定向。所述第二光学轴线2L是第二摄像机1L的透镜的光学轴线并且因此位于由第二摄像机1L采集的第二图像的中心。所述第二摄像机1L具有200°的采集角α1L。这意味着,如果对象位于第二摄像机1L的透镜前方的可视区域中,所述可视区域从第二摄像机1L出发观看位于朝任一方向不大于100°地与第二摄像机1L的第二光学轴线2L偏差的视线方向上,则该对象通过第二摄像机1L识别。
在车辆10的尾部区域中,在尾部玻璃后方安置有第三摄像机1H。第三摄像机1H是广角摄像机。所述第三摄像机1H具有第三光学轴线2H,所述第三光学轴线平行于行车道表面20并且沿着车辆10的纵向方向L向后定向。所述第三光学轴线2H是第三摄像机1H的透镜的光学轴线并且因此位于由第三摄像机1H采集的第三图像的中心。所述第三摄像机1H具有200°的采集角α1H。这意味着,如果对象位于第三摄像机1H的透镜前方的可视区域中,所述可视区域从第三摄像机1H出发观看位于朝任一方向不大于100°地与第三摄像机1H的第三光学轴线2H偏差的视线方向上,则该对象通过第三摄像机1H识别。
在车辆10的车辆前部安置第四摄像机1F。第四摄像机1F是广角摄像机。所述第四摄像机1F具有第四光学轴线2F,所述第四光学轴线平行于行车道表面20并且沿着车辆10的纵向方向L向前定向。所述第四光学轴线2F是第四摄像机1F的透镜的光学轴线并且因此位于由第四摄像机1F采集的前方图像的中心。所述第四摄像机1F具有200°的第一采集角α1F。这意味着,如果对象位于第四摄像机1F的透镜前方的可视区域中,所述可视区域从第四摄像机1L出发观看位于朝任一方向不大于100°地与第二附加摄像机1F的第四光学轴线2F偏差的视线方向上,则该对象通过第四摄像机1F采集。
对象可以涉及物体、例如车辆或者涉及人。先前所描述的广角摄像机的光学透镜也称作鱼眼透镜。
第一摄像机1R、第二摄像机1L、第三摄像机1H和第四摄像机1F是分离的摄像机。这意味着,每一个所述摄像机是与其他摄像机无关的组件。第一和第二摄像机1R、1L在车辆的横向方向Q上彼此间隔开地布置并且在此布置在平行于横向方向Q定向的一个共同的线40上。在此,在考虑在平行于横向方向Q定向的线40上的所述布置的情况下,第一摄像机1R和第二摄像机1L具有彼此的最大间距A,所述最大间距相应于车辆10的最大宽度。在此,可以发生由安装决定的与最大车辆宽度的偏差,所述偏差例如可能通过壳体部件引起或者通过以下引起:第一和第二摄像机1R、1L的视域不应通过车辆10的其他元件遮盖。
第一和第二摄像机1R、1L采集第一相交区域6、6',所述第一相交区域由位于车辆10前方的前方相交区域6'和位于车辆后方的后方相交区域6构成。第一摄像机1R、第二摄像机1L和第三摄像机1H采集第二相交区域,所述第二相交区域相应于后方相交区域6。第一摄像机1R、第二摄像机1L和第四摄像机1F采集相应于前方相交区域6'的第二相交区域。
在此处没有描述的其他实施方式中,摄像机1L、1R、1H、1F的采集角α1R、α1L、α1H、α1F可能与先前所描述的采集角α1R、α1L、α1H、α1F偏差。因此,例如180°的采集角是有利的。摄像机1L、1R、1H、1F尤其具有不同的采集角α1R、α1L、α1H、α1F。同样可能的是,第一摄像机1R的第一光学轴线和第二摄像机1L的第二光学轴线以大于或小于90°的角反向于车辆10的纵向方向地设置。因此,可以在车辆10前方或后方增大或缩小第一相交区域6、6',或者提供第一相交区域6、6'。
在此处所描述的实施方式中,第一摄像机1R、第二摄像机1L、第三摄像机1H和第四摄像机1F的光学轴线平行于行车道表面20定向。然而,在其他实施方式中,这些光学轴线也能够以另一角相对于行车道表面20定向。
如由图2看出的那样,根据一种实施方式的用于产生警告的设备还具有分析处理单元11。所述分析处理单元11如此与第一摄像机1R并且与第二摄像机1L耦合,使得第一和第二图像从第一摄像机1R和第二摄像机1L传输到分析处理单元11上。所述分析处理单元11设置用于在第一相交区域6、6'中基于第一摄像机1R的和第二摄像机1L的图像确定以下位置信息并且将其转发给警告单元12:所述位置信息为对象相对于车辆10的位置或对象相对于所述车辆的预期位置。对象的在第一相交区域6、6'中的位置信息基于第一和第二摄像机1L、1R来确定。为此,进行第一和第二图像的立体分析处理。在此,在所述实施方式中,在第二图像中给在第一图像中示出的每一个像点分配一个对应像点,所述对应像点成像车辆周围环境的同一点。在此,当对象位于第一相交区域6、6'中时,所述像点尤其可以通过所述对象来限定。根据所基于的摄像机参数、例如像素大小,可以给每一个像点分配一个相对于第一摄像机1R的方向和一个相对于第二摄像机1L的方向。因为已知第一摄像机1R和第二摄像机1L之间的间距A以及已知第一和第二摄像机1R、1L在车辆10上的布置,所以所述像点相对于车辆10的并且因此对象的相对于车辆10的位置可以借助三角测量来求取。对象相对于车辆10的所述位置作为位置信息转发给警告单元12。
当借助第三摄像机1H或第四摄像机1F进行具有多个起始点(Ausgangspunkten)的三角测量时,提高确定位置信息时的精确度。在图3中示出对此的示例。第二车辆30通过第一摄像机1R、第二摄像机1L和第三摄像机1H采集。尤其在具有多于四个广角摄像机的系统中,可以甚至通过多于三个摄像机示出一个区域。
在所述实施方式中,用于产生警告的设备包括选择单元13,所述选择单元设置用于识别当前的行驶状况并且当出现预给定的行驶状况时选择第三摄像机1H或第四摄像机1F。因此,仅仅当出现预给定的行驶状况时,才利用第三和/或第四图像来确定位置信息。为此,选择单元13连接在第三和第四摄像机1H、1F和分析处理单元11之间。仅仅当出现预给定的行驶状况时,第三和第四图像才提供给分析处理单元11。可选地,选择单元13由分析处理单元11包括。为了识别当前的行驶状况,优选位于车辆10上的所有传感器的传感器数据可以通过选择单元13利用。对于行驶状况的示例例如是泊车过程或驶出车位过程、制动过程或紧急制动、车辆的加速、转向过程等。紧急制动例如可以根据制动踏板上的传感器的信息来实现。
在紧急制动状况中,例如选择第四摄像机1F。因为在所述情形中通过第一摄像机1R、第二摄像机1F和第四摄像机1F采集前方相交区域6',所以当对象在前方相交区域中可见时实现位置信息的精确确定。因为在所述情形中仅仅通过第一摄像机1R和第二摄像机1F采集后方相交区域6,所以如果对象在后方相交区域中可见则对于对象进行位置信息的较不准确的但较不计算密集的确定。第三摄像机1H或第四摄像机1F的选择同样可以是与车辆的行驶方向相关的。
替代地,可以随时分析处理所有摄像机的图像。
如果在后方相交区域中基于第一图像、第二图像和第三图像实现位置信息的确定,则由所述图像中的各两个求取关于一个对象的多个临时位置信息。这相应于位置信息的由第一和第二图像的先前所描述的确定地实现。最终的位置信息通过平均值构成。当在前方相交区域中基于第一图像、第二图像和第四图像实现位置信息的确定时,同样适用。
可选地,所述位置信息包括对象相对于车辆10的预期位置。在所述情形中,由分析处理单元11基于对象的多个位置的时间序列求取对象相对于车辆10的运动向量和/或相对速度。对象的预期位置借助对象相对于车辆10的运动向量和/或相对速度来推导。
同样可选地,分析处理单元11设置用于将所述位置信息以其他对象位置采集装置的结果来补充或与其组合。因此,例如可以通过超声间距传感器、如其在泊车辅助系统中所使用的那样来验证所述间距信息,一旦对象位于其作用距离中。因此,也可以在第一相交区域6、6'之外的区域中确定关于对象的位置信息。
根据所述实施方式的用于产生警告的设备还包括警告单元12。警告单元12设置用于如果由分析处理单元11得出的位置信息位于相对于车辆10的预给定的警告区域中则输出警告。所述警告区域是车辆10的环境中的预限定的区域。在本发明的在此所描述的实施方式中限定多个警告区域。可以在惯常的交通流中、例如在对象主动接近车辆10时或者在调车状况(例如泊车过程)中实现警告,即例如在车辆10主动接近对象时。
第一警告区域限定在车辆10后方。所述警告区域与车辆10的尾部连接并且向后远离车辆10地在一给定的延展上延伸。所述第一警告区域的延展或者可以固定地选择,或者随着车辆10的行驶速度变化。如果对象出现在所述第一警告区域中,则输出尾部追尾警告。在此,当对象位于第一警告区域中但是对象的相对速度可以推断出对象与车辆10远离时,可以抑制警告。
第二警告区域限定在车辆10前方。所述警告区域与车辆10的前部连接并且向前远离车辆10地在一给定的延展上延伸。所述第二警告区域的延展或者可以固定地选择,或者随着车辆10的行驶速度变化。如果对象出现在所述第一警告区域中,则输出前部追尾警告。在此,当对象位于第二警告区域中但是对象的相对速度推断出与车辆10远离时,可以抑制警告。
第三警告区域分别限定在车辆10的死角中。所述死角是车辆10旁的、由车辆驾驶员不能通过外后视镜看到的并且没有位于其前部视域中的区域。如果对象出现在所述第三警告区域中,则输出死角警告。
第四警告区域限定在车辆10两侧旁。所述警告区域与车辆10的相应侧连接并且向侧方远离车辆10地在一给定的延展上延伸。如果对象出现在所述第四警告区域中,则输出侧面碰撞警告。在此,当对象位于第四警告区域中但是对象的相对速度可以推断出与车辆10远离时,可以抑制警告。所述第四警告区域也可以尤其以与第三警告区域组合地使用,以便输出以防进行超车的其他车辆的警告。
根据所述实施方式的警告单元12还包括用于如果对象相对于车辆10的位置或对象相对于车辆10的预期位置位于预给定的警告区域中则输出警告的发信号装置。在此,所述发信号装置可以是适于警告车辆10的驾驶员的光学设备或声学设备、例如扬声器、灯或者显示器。所述发信号装置同样可以是能够将电信号转发给位于车辆10中的另一设备上的装置。因此,例如可以激活安全系统、例如安全气囊或紧急制动辅助。
图4以一种实施方式示出根据本发明的方法的流程图。所述方法通过驾驶辅助系统实施,所述驾驶辅助系统的摄像机相应于先前所描述的设备地布置。当驾驶辅助系统运行并且持续重复直至满足中断条件或者所述设备没有运行时,开始所述方法。中断条件例如可以通过用户输入来给定。
在第一方法步骤S1中,通过第一摄像机1R从第一摄像机视角采集车辆10的车辆周围环境的第一图像,通过第二摄像机1L从第二摄像机视角采集所述车辆周围环境的第二图像,通过第三摄像机1H从第三摄像机视角采集所述车辆周围环境的第三图像并且通过第四摄像机1H从第四摄像机视角采集车辆周围环境的第四图像。同时采集第一、第二、第三和第四图像,由此这些图像在同一时刻示出车辆周围环境的区段。由此,可以最小化通过对象运动引起的误差。
在跟随第一方法步骤S1的第二方法步骤S2中,在后方相交区域6中基于第一摄像机1R、第二摄像机1L和第三摄像机1H的图像确定位置信息,所述位置信息是对象相对于车辆10的位置或对象相对于车辆的预期位置。此外,在前方相交区域6'中基于第一摄像机1R、第二摄像机1L和第四摄像机1F的图像确定位置信息。
在第二方法步骤S2中的、位置信息的确定例如可以相应于先前所描述的设备实现。此外,在第二方法步骤S2中的、位置信息的确定也包括第一、第二、第三和第四摄像机1R、1L、1F、1H的、具有一个共同相交区域的图像的所有可能组合的分析处理。例如,左后相交区域3通过第二摄像机的第二图像和第三摄像机1H的第三图像成像。相应地,当对象位于左后相交区域3中时,由第二和第三图像确定对象相对于车辆10的位置信息。
在跟随第二方法步骤S2的第三方法步骤S3中,如果位置信息位于相对于车辆10的预给定的警告区域中则输出警告。
在实施第三方法步骤S3之后,所述方法分支回到第一方法步骤S1。实施所述方法,直至中断条件被给出。所述中断条件可以是用户输入或者通过驾驶辅助系统的停用来给出。
在本发明的所有实施方式中,尤其当摄像机1R、1L、1H、1F是具有不同地定向的光学轴线2R、2L、2H、2F的广角摄像机时,当在第二方法步骤S2中在确定位置信息之前实施以下可选的方法步骤时是有利的。所述可选的方法步骤借助第一和第二摄像机1R、1L的图像来描述,但被应用在具有一个共同相交区域的任意图像的组合中。
在第一可选的方法步骤中,通过第一虚拟光学轴线4限定第一摄像机1R的第一虚拟摄像机视角,所述第一虚拟光学轴线在其位置方面与第一光学轴线2R不同,并且通过第二虚拟光学轴线5限定第二摄像机1L的第二虚拟摄像机视角,所述第二虚拟光学轴线在其位置方面与第二光学轴线2L不同。第一虚拟光学轴线4通过第一光学轴线2R围绕第一摄像机1R的光学中心的虚拟旋转产生。第二虚拟光学轴线5通过第二光学轴线2R围绕第二摄像机1L的光学中心的虚拟旋转产生。在此,如此实现所述虚拟旋转,使得第一虚拟光学轴线4和第二虚拟光学轴线5相互平行地布置。
在跟随第一可选的方法步骤的第二可选的方法步骤中,在第一虚拟摄像机视角中由第一图像计算第一相交区域6、6'的第一虚拟图像。在此,矫正通过第一图像示出的第一相交区域6、6'。在此,所述矫正包括通过广角透镜的光学特性引起的失真的校正。所述矫正例如可以通过坐标变换实现,所述坐标变换基于第一摄像机1R的先前校准。此外,在第二虚拟摄像机视角中由第二图像计算第一相交区域的第二虚拟图像。在此,矫正通过第二图像再现的第一相交区域6、6'。在此,所述矫正包括通过广角透镜的光学特性引起的失真的校正。所述矫正例如可以通过坐标变换实现,所述坐标变换基于第二摄像机1L的先前校准。
当在此也实现虚拟图像的对极(epipolar)矫正。在此,已经由不同的虚拟摄像机视角计算出的虚拟图像被成像到一个共同的平面上并且在其大小和取向方面相同地定向。在所述对极矫正之后,两个虚拟图像的各个像素行相同地定向,从而彼此相应的对象点位于一个水平线上。
作为第二可选的方法步骤的结果,存在经对极矫正的虚拟图像,它们由不同的虚拟摄像机视角示出第二相交区域。
在第三可选的方法步骤的范畴内,使所述虚拟图像彼此相关联。进行对应分析的实施,以便建立对象在所产生的第一虚拟图像中与在所产生的第二虚拟图像中之间的关系、尤其空间关系。
因为第一摄像机1R和第二摄像机1L布置在车辆10的外部区域中,所以它们遭受干扰影响,例如温度波动或振动。由此,通过摄像机拍摄的图像可能具有额外的失真,所述失真使完美的对极矫正不可能并且由此使对应分析变得困难。为了使对应分析的实施变得容易,优选使用用于对应分析的算法,所述算法对于对应的对象具有已扩展的搜索半径。所述算法(在其中例如考虑光流)能够实现彼此相应的对象点不必必然位于一个水平线上而在彼此垂直偏差的情况下可以被发现。
在跟随第三可选的方法步骤的第二方法步骤S2中,在第一相交区域中基于对应分析、所产生的第一虚拟图像和所产生的第二虚拟图像以及第一摄像机1R相对于第二摄像机1L的位置来确定位置信息。对于第一虚拟图像中的每一个点,由对应分析已知在第二虚拟图像中的所属的对象点。根据所基于的摄像机参数——例如像素大小可以给每一个对象点分配一个相对于第一摄像机1R的方向并且分配一个相对于第二摄像机1L的方向。因为已知第一摄像机1R和第二摄像机1L之间的间距A以及已知第一和第二摄像机1R、1L在车辆10上的布置,所以对象点相对于车辆10的并且因此对象相对于车辆10的位置或间距可以借助三角测量来求取。
在本发明的另一实施方式中,第一摄像机1R布置在车辆10的尾部处而第二摄像机1L布置在车辆的前部处,其中,第一摄像机1R的光学轴线2R在车辆10的纵向方向L上向后定向并且第二摄像机1L的光学轴线2L在车辆10的纵向方向上向前定向。

Claims (12)

1.一种用于产生警告的设备,所述设备包括:
第一摄像机(1R),其用于从第一摄像机视角采集车辆(10)的车辆周围环境的第一图像,
第二摄像机(1L),其用于从第二摄像机视角采集所述车辆(10)的车辆周围环境的第二图像,
其中,所述第一和第二图像在第一相交区域(6,6')中相交,
警告单元(12),其设置用于如果位置信息位于预给定的相对于所述车辆(10)的警告区域中则输出警告,所述位置信息是对象相对于所述车辆(10)的位置或对象相对于所述车辆的预期位置,
其特征在于,
所述第一摄像机(1R)和所述第二摄像机(1L)是分离的、布置在所述车辆(10)的外部位置处的摄像机,它们在所述车辆(10)的纵向方向上或横向方向上彼此间隔开地布置,
设有分析处理单元(11),其设置用于在所述第一相交区域中基于所述第一和所述第二摄像机(1L,1R)的图像来确定所述位置信息并且将所述位置信息转发给所述警告单元。
2.根据以上权利要求中任一项所述的设备,其特征在于,所述第一和所述第二摄像机(1L,1R)布置在一个共同的、平行于所述车辆(10)的纵向方向(L)或横向方向(Q)的线(40,41)上。
3.根据权利要求2所述的设备,其特征在于,所述第一和所述第二摄像机(1L,1R)具有彼此最大间距。
4.根据以上权利要求中任一项所述的设备,其特征在于,所述设备还包括至少一个第三摄像机(1H,1F),所述至少一个第三摄像机用于从第三摄像机视角采集所述车辆(10)的车辆周围环境的第三图像,
其中,所述第三摄像机(1H,1F)设置为分离的摄像机,
其中,所述第一图像、所述第二图像和所述第三图像在第二相交区域中相交,
其中,所述分析处理单元(11)还设置用于在所述第二相交区域中基于所述第一图像、所述第二图像和所述第三图像确定所述位置信息。
5.根据权利要求4所述的设备,其特征在于,所述设备还包括分析处理单元(13),所述分析处理单元设置用于识别当前的行驶状况并且当出现预给定的行驶状况时选择至少一个第三摄像机(1H,1F)。
6.根据以上权利要求中任一项所述的设备,其特征在于,所述第一和所述第二摄像机(1R,1L)布置在所述车辆(10)的各一个外后视镜(7,8)中。
7.根据以上权利要求中任一项所述的设备,其特征在于,所述第一摄像机(1R)具有第一光学轴线(2R)并且所述第二摄像机(1L)具有第二光学轴线(2L),其中,所述第一和所述第二光学轴线(2R,2L)指向不同的方向,并且所述分析处理单元设置用于:
通过第一虚拟光学轴线(4)限定所述第一摄像机(1R)的第一虚拟摄像机视角,所述第一虚拟光学轴线在其位置方面与所述第一光学轴线(2R)不同,并且通过第二虚拟光学轴线(5)限定所述第二摄像机(1L)的第二虚拟摄像机视角,所述第二虚拟光学轴线在其位置方面与所述第二光学轴线(2L)不同;
在所述第一虚拟摄像机视角中由所述第一图像计算所述第一相交区域(6,6')的第一虚拟图像并且在所述第二虚拟摄像机视角中由所述第二图像计算所述第一相交区域(6,6')的第二虚拟图像;
实施对应分析,以便建立对象在所产生的第一虚拟图像中与在所产生的第二虚拟图像中之间的关系、尤其空间关系;
其中,在所述第一相交区域(6,6')中基于所述对应分析、所产生的第一虚拟图像和所产生的第二虚拟图像以及所述第一摄像机(1R)相对于所述第二摄像机(1L)的位置来确定所述位置信息。
8.根据以上权利要求中任一项所述的设备,其特征在于,所述分析处理单元设置用于将所确定的位置信息以其他对象位置采集装置的结果来补充或与其组合。
9.根据以上权利要求中任一项所述的设备,其特征在于,所述分析处理单元(11)设置用于由所述对象的所求取的位置的序列来计算所述对象相对于所述车辆(10)的相对速度并且尤其借助所述相对速度推导所述对象的预期位置。
10.根据以上权利要求中任一项所述的设备,其特征在于,
所述警告是追尾警告,其中,所述预给定的警告区域位于所述车辆(10)后方或前方,和/或,
所述警告是死角警告,其中,所述预给定的警告区域位于所述车辆(10)的死角中,和/或,
所述警告是侧面碰撞警告,其中,所述预给定的警告区域位于所述车辆(10)侧旁。
11.一种用于产生警告的方法,所述方法包括以下步骤:
通过第一摄像机(1R)从第一摄像机视角采集车辆(10)的车辆周围环境的第一图像,
通过第二摄像机(1L)从第二摄像机视角采集所述车辆(10)的车辆周围环境的第二图像,
其中,所述第一摄像机(1R)和所述第二摄像机(1L)是两个分离的、布置在所述车辆(10)的外部位置处的摄像机,它们在所述车辆(10)的纵向方向(L)上或横向方向(Q)上彼此间隔开地布置,
其中,所述第一和所述第二图像在第一相交区域(6,6')中相交,
在所述第一相交区域(6、6')中基于所述第一和所述第二摄像机(1R,1L)的图像确定位置信息,所述位置信息是所述对象相对于所述车辆(10)的位置或所述对象相对于所述车辆的预期位置,并且
如果所述位置信息位于预给定的相对于所述车辆(10)的警告区域中,则输出警告。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括以下步骤:
通过至少一个第三摄像机(1H,1F)从第三摄像机视角采集所述车辆(10)的车辆周围环境的第三图像,
其中,所述第三摄像机(1H,1F)设置为分离的摄像机,
其中,所述第一图像、所述第二图像和所述第三图像在第二相交区域中相交,
其中,在确定所述位置信息时还实现在所述第二相交区域中基于所述第一图像、所述第二图像和所述第三图像确定所述位置信息。
CN201480065571.1A 2013-12-05 2014-10-10 用于借助车辆周围环境的通过摄像机采集的两个图像产生警告的方法和设备 Active CN105793909B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102013224954.3 2013-12-05
DE102013224954.3A DE102013224954A1 (de) 2013-12-05 2013-12-05 Verfahren und Vorrichtung zum Erzeugen einer Warnung mittels zweier durch Kameras erfasster Bilder einer Fahrzeugumgebung
PCT/EP2014/071721 WO2015082105A1 (de) 2013-12-05 2014-10-10 Verfahren und vorrichtung zum erzeugen einer warnung mittels zweier durch kameras erfasster bilder einer fahrzeugumgebung

Publications (2)

Publication Number Publication Date
CN105793909A true CN105793909A (zh) 2016-07-20
CN105793909B CN105793909B (zh) 2018-12-11

Family

ID=51690382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480065571.1A Active CN105793909B (zh) 2013-12-05 2014-10-10 用于借助车辆周围环境的通过摄像机采集的两个图像产生警告的方法和设备

Country Status (4)

Country Link
EP (1) EP3078015B1 (zh)
CN (1) CN105793909B (zh)
DE (1) DE102013224954A1 (zh)
WO (1) WO2015082105A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106080381A (zh) * 2016-07-22 2016-11-09 纳瓦电子(上海)有限公司 一种基于图像识别检测的汽车防追尾的预警系统
CN109789831A (zh) * 2016-09-14 2019-05-21 罗伯特·博世有限公司 用于提供车辆的车辆周围环境的后视镜视图的方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9720413B1 (en) * 2015-12-21 2017-08-01 Gopro, Inc. Systems and methods for providing flight control for an unmanned aerial vehicle based on opposing fields of view with overlap
DE102016116963A1 (de) 2016-09-09 2018-03-15 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Vorrichtung zum Warnen eines Fahrzeugführers eines Fahrzeugs vor einem Objekt sowie Fahrzeug mit einer solchen Vorrichtung
DE102020108898A1 (de) 2020-03-31 2021-09-30 Valeo Schalter Und Sensoren Gmbh Verfahren zum betreiben einer fahrzeugkameravorrichtung, fahrzeugkameravorrichtung und fahrzeug
DE102022204547A1 (de) 2022-05-10 2023-11-16 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Erfassen eines Umfelds eines Kamerasystems und zugehöriger Vorrichtung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070291130A1 (en) * 2006-06-19 2007-12-20 Oshkosh Truck Corporation Vision system for an autonomous vehicle
CN101474981A (zh) * 2007-11-23 2009-07-08 威若考普专利责任有限公司 换道控制系统
CN102427982A (zh) * 2009-05-19 2012-04-25 株式会社伊美吉内柯斯特 利用车辆周边影像的车线脱离检测方法及装置
CN102632839A (zh) * 2011-02-15 2012-08-15 汽车零部件研究及发展中心有限公司 一种基于后视图像认知的车载盲区预警系统及方法
CN103098112A (zh) * 2011-06-07 2013-05-08 株式会社小松制作所 作业车辆的周边监视装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6396535B1 (en) 1999-02-16 2002-05-28 Mitsubishi Electric Research Laboratories, Inc. Situation awareness system
EP1696669B1 (en) * 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
DE102011080702B3 (de) * 2011-08-09 2012-12-13 3Vi Gmbh Objekterfassungsvorrichtung für ein Fahrzeug, Fahrzeug mit einer derartigen Objekterfassungsvorrichtung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070291130A1 (en) * 2006-06-19 2007-12-20 Oshkosh Truck Corporation Vision system for an autonomous vehicle
CN101474981A (zh) * 2007-11-23 2009-07-08 威若考普专利责任有限公司 换道控制系统
CN102427982A (zh) * 2009-05-19 2012-04-25 株式会社伊美吉内柯斯特 利用车辆周边影像的车线脱离检测方法及装置
CN102632839A (zh) * 2011-02-15 2012-08-15 汽车零部件研究及发展中心有限公司 一种基于后视图像认知的车载盲区预警系统及方法
CN103098112A (zh) * 2011-06-07 2013-05-08 株式会社小松制作所 作业车辆的周边监视装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106080381A (zh) * 2016-07-22 2016-11-09 纳瓦电子(上海)有限公司 一种基于图像识别检测的汽车防追尾的预警系统
CN109789831A (zh) * 2016-09-14 2019-05-21 罗伯特·博世有限公司 用于提供车辆的车辆周围环境的后视镜视图的方法

Also Published As

Publication number Publication date
DE102013224954A1 (de) 2015-06-11
EP3078015A1 (de) 2016-10-12
WO2015082105A1 (de) 2015-06-11
EP3078015B1 (de) 2017-12-13
CN105793909B (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
JP6806156B2 (ja) 周辺監視装置
JP7010221B2 (ja) 画像生成装置、画像生成方法、及び、プログラム
US10163016B2 (en) Parking space detection method and device
US7710246B2 (en) Vehicle driving assist system
CN105793909A (zh) 用于借助车辆周围环境的通过摄像机采集的两个图像产生警告的方法和设备
US8199975B2 (en) System and method for side vision detection of obstacles for vehicles
KR101579100B1 (ko) 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
JP5421072B2 (ja) 接近物体検知システム
US10179608B2 (en) Parking assist device
CN107627959B (zh) 机动车的全景视频监测方法及系统
WO2016002163A1 (ja) 画像表示装置、画像表示方法
US20020186298A1 (en) Vehicle surroundings monitoring apparatus
US20190163988A1 (en) Periphery monitoring device
JP2004056763A (ja) 監視装置、監視方法および監視用プログラム
KR20150141805A (ko) 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
JP2018144526A (ja) 周辺監視装置
WO2019093176A1 (ja) 周辺監視装置
CN112052716B (zh) 识别装置、识别方法及存储介质
JP2013168063A (ja) 画像処理装置、画像表示システム及び画像処理方法
KR20060021922A (ko) 두 개의 카메라를 이용한 장애물 감지 기술 및 장치
WO2019053922A1 (ja) 画像処理装置
US20200134336A1 (en) Apparatus for determining visual confirmation target
JP2021154889A (ja) 車両用表示装置
JP5040851B2 (ja) 脇見運転判定装置
CN111043977B (zh) 用于确定第一车辆相对于第二车辆的相对参数的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant