CN103534729A - 用于确定车辆的自身运动的方法和系统 - Google Patents

用于确定车辆的自身运动的方法和系统 Download PDF

Info

Publication number
CN103534729A
CN103534729A CN201180067404.7A CN201180067404A CN103534729A CN 103534729 A CN103534729 A CN 103534729A CN 201180067404 A CN201180067404 A CN 201180067404A CN 103534729 A CN103534729 A CN 103534729A
Authority
CN
China
Prior art keywords
vehicle
displacement
data
periphery
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201180067404.7A
Other languages
English (en)
Inventor
T·黑格尔
S·西蒙
M·黑尔姆勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN103534729A publication Critical patent/CN103534729A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/004—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
    • B60Q9/005—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种用于确定车辆(100)的自身运动的方法，在驾驶员辅助系统(102)中、尤其是在泊车辅助系统中实施所述方法。根据本发明的方法包括以下步骤：通过车辆摄像机(110)摄取车辆周围环境的、在时间上彼此相继的图像的序列；基于所述图像序列确定关于所述车辆周围环境中的对象(106、108)的至少一个运动流；并且基于所述至少一个运动流确定所述车辆(100)的所述自身运动。

Description

用于确定车辆的自身运动的方法和系统
技术领域
本发明涉及一种用于确定车辆的自身运动的方法，在驾驶员辅助系统中、尤其是在泊车辅助系统中实施所述方法。
背景技术
驾驶员辅助系统用于在确定的驾驶状况中支持驾驶员。驾驶员辅助系统可以包括例如ABS(防抱死制动系统)、ESP(电子稳定程序)、间距调节速度控制器(“Adaptive Cruise Control(自适应巡航导航控制)”，ACC)、和/或用于辅助的泊车或者驶出泊车位的泊车辅助。
对于这些驾驶辅助子系统中的至少一些来说，还需要车辆自身运动的确定；例如在用于进行碰撞警告的系统中，所述用于进行碰撞警告的系统基于在继续当前的车辆运动的情况下是否会发生碰撞的预测。泊车辅助需要关于当前实际的车辆位置相对于例如限界泊车位的对象的信息，用于计算、监视和必要时匹配轨迹。因此，通常不仅包括进行碰撞警告而且包括轨迹计算的车库辅助系统同样需要关于自身运动的数据，由所述数据例如也可以计算车辆的当前位置。
通常已知，基于传感器确定车辆自身运动，这些传感器与周围环境无关地测量车辆状态。例如车轮传感器、发动机传感器、或制动系统传感器提供关于车辆速度的信息，转向传感器提供关于当前转向角的信息。此外还已知，例如基于GPS(“Global Positioning System(全球定位系统)”)收集当前的车辆位置。关于车辆的转弯行驶的数据例如可以基于陀螺仪收集。
在DE102008036009A1中描述了一种用于保护车辆防止在泊车和调车区域中碰撞的方法。为此，超声波传感器检测关于车辆的周围环境的信息。从关于车辆速度和关于当前的转向角的其他数据中，将在车辆固定的坐标系中测量的超声波传感器信息变换为空间固定的坐标系，由此产生空间固定的周围环境地图。然后由所述周围环境地图和车辆自身运动计算车辆与位于车辆的周围环境中的对象的碰撞概率。
由DE602004012962T2已知一种用于由相对于道路运动的车辆实时障碍识别的方法。基于视频摄像机的图像计算点的运动流，所述点的运动流的被投影的运动由摄像机检测。属于潜在的不随道路平面一起运动的障碍物的点通过光流方法确定。所述基于摄像机的障碍物识别方法可以与其他系统——例如超声波障碍物识别系统组合，以便获得更高的精确度和/或更可靠的方法。
上述用于防碰撞保护或者障碍物识别的方法或者不是很准确或者复杂。然而，如果例如泊车辅助的复杂性出于成本原因受限制，则仅仅能如此实现它，使得例如在计算泊车轨迹时或者为了进行碰撞警告而提供相对较大的安全间距。然而，这在辅助泊车时或者在看不到全貌的周围环境的情况下——例如在车库中导航时限制了相应的系统的使用价值。
发明内容
根据本发明，提出一种用于确定车辆的自身运动的方法，所述方法包括以下步骤：通过车辆摄像机摄取车辆周围环境的、在时间上彼此相继的图像的序列；确定关于车辆周围环境中的对象的至少一个运动流；并且基于所述至少一个运动流确定车辆的自身运动。
所述车辆摄像机例如可以涉及倒车摄像机，其例如在泊车或者驶出泊车位的情况下倒车时摄取后方的车辆周围环境的图像。
其运动流被确定的对象可以涉及车辆周围环境中的静止的对象，例如涉及其他车辆、泊车位边界等等。为确定运动流，最后需要结构的表面，因此所述对象同样也可以涉及道路或者行车道、泊车位的位于摄像机视野中的表面或者其他的地表面，只要在此可测量运动流。
为了确定车辆的自身运动，此外可以使用测量当前的速度和/或当前的转向角的车辆传感器的数据。附加地或替代地，为了确定车辆的自身运动，可以使用车辆的测量与车辆周围环境中的对象的间距的超声波传感器的数据。关于车辆的当前的位置或者运动的其他数据，例如可以从GPS系统、陀螺仪或者其他的位置或者运动敏感的探测器得到。
在根据本发明的方法的确定的实施方式中，由至少一个所确定的运动流(其可以涉及车辆相对于某个障碍物——例如相对于某个限界泊车位的对象——的运动)计算“到碰撞的时间”(“Time-To-Contact：到接触的时间”、“Time-To-Crash：到碰撞的时间”、TTC)，所述“到碰撞的时间”被采用到自身运动的确定中。可以与光流计算关联地比计算车辆的运动或者位置更直接并且更简单地计算TTC，使得能够相应简化车辆的自身运动确定。附加地或替代地，TTC也可以用于碰撞警告的确定。
此外，根据本发明的方法的实施方式可以包括：基于至少一个所确定的运动流和至少一个另外的所确定的运动流和/或一些另外的传感器数据——例如超声波数据、车轮状态数据或者转向数据探测车辆周围环境中的对象的自身运动。这能够实现非静止的对象——例如横穿泊车位的行人、运动的限界泊车位的车辆等的识别。由此能够相应地改进碰撞警告系统的可靠性。
此外，根据本发明，提出一种在车辆的泊车辅助系统中的、用于连续地计算、检查和/或匹配泊车轨迹的方法。在此，如先前概述的那样确定车辆的自身运动。
此外，再次提出一种在车辆的驾驶员辅助系统中的、用于碰撞警告的方法，其中，如先前概述的那样确定车辆的自身运动。
此外，根据本发明提出一种计算机程序，用于当在可编程的计算机装置上执行计算机程序时实施在此描述的方法之一。计算机装置例如可以涉及车辆中用于实现驾驶员辅助系统的模块或驾驶员辅助系统的子系统。计算机程序可以存储在机器可读的存储介质上，例如永久性存储介质或可重复写的存储介质上或分配给计算机装置或在可拆卸的CD-ROM、DVD或USB棒上。附加地或替代地，可以在计算机装置——例如服务器上提供计算机程序用于例如通过数据网络——如互联网或通信连接——例如电话线路或无线连接进行下载。
此外，根据本发明提出一种驾驶员辅助系统，所述驾驶员辅助系统被构造用于车辆的自身运动的确定。所述系统包括以下部件：车辆摄像机，用于摄取车辆周围环境的、在时间上彼此相继的图像的序列；用于基于所述图像序列确定关于车辆周围环境中的对象的至少一个运动流的部件；以及用于基于所述至少一个光流确定车辆的自身运动的部件。
此外，本发明基于这样的思想：以简单的方式改进车辆的自身运动的计算，其方式是，将车辆摄像机的数据——例如倒车摄像机的数据用于自身运动的确定。在迄今已知的系统中，车辆摄像机的图像仅仅用于障碍物识别，而不用于确定车辆自身运动；相反地，车辆自身运动基于与周围环境无关的传感器——如车轮状态传感器和转向角传感器确定，或通过GPS、陀螺仪等确定。
本发明导致泊车辅助、碰撞警告系统等的准确性的提高，而不过度提高其复杂性。在确定自身运动时更好的准确性例如在计算、监视和匹配泊车轨迹/驶出泊车位的轨迹时是有益的，用于在自动引导的情况下实现“平缓的”泊车，用于碰撞警告等。所述优点部分地通过以下方式实现：基于确定自身运动时更好的准确性，在狭窄的周围环境如车库中等泊车或者驶出泊车位、进行导航时沿着行驶路径或者轨迹需要与对象或者潜在的障碍物的较小的安全间距。
车辆自身运动的更准确的确定能够实现：例如在泊车时沿着预先计算的轨迹更好地引导车辆。因此，例如能够更早地或者更好地识别车辆在横向方向上的偏转并且例如能够引起反向转向。
本发明还提供以下可能性：附加地或替代地，改进用于对车辆周围环境中的对象的间距估计的方法，所述方法例如基于超声波系统。与在摄像机图像序列中运动流(光流)的确定的组合能够实现更准确或者更稳健(robust)的间距估计。这例如在同时使用倒车摄像机和超声波传感器用于泊车辅助的情况下适用。本发明还可以例如在预碰撞应用的范畴内用于相对速度确定。在此，例如可以通过由超声波数据和视频数据确定的间距数据和/或相对速度数据的组合来更可靠和更准确地预见即将发生的碰撞。
在已经存在车辆摄像机的情况下，原则上不需要附加的硬件部件用于实现本发明。如果运动流和/或光流计算方法在现有的实现中已经用于障碍物识别，则相应的计算模块可以再次用于自身运动计算，这缩小了实现成本。
附图说明
现在根据附图更详细地描述本发明的其他的方面和优点。在此示出：
图1示出在示例性的泊车状况中的、配备有根据本发明的驾驶员辅助系统的车辆；
图2示出图1中的驾驶员辅助系统的功能部件的示意图；以及
图3以流程图的形式示出图2中的驾驶员辅助系统的工作方式。
具体实施方式
图1以示意性的方式说明在示例性的泊车状况中的、配备有根据本发明的驾驶员辅助系统102的车辆100，其中，车辆100要向后泊车进入限界泊车位的对象106和108之间的泊车位104，所述限界泊车位的对象例如可以涉及停泊的车辆。驾驶员辅助系统102具有一个实现为倒车摄像机的摄像机110以及一组超声波传感器112。所有传感器110、112都通过一个(未进一步示出的)车辆网络与一个中央处理部件114连接，所述中央处理部件实现为ECU(“Electronic Control Unit：电子控制单元”)。
车辆100首先沿着路径120运动经过泊车位104，其中，所述泊车位通过驾驶员辅助系统102的另外的(未图示的)传感器测量。驾驶员做出泊车的决定，紧接着车辆在停止点S1停止。从所述停止点起，泊车辅助(驾驶员辅助系统102的一个子系统)部分自动或者全自动地接管进一步的泊车。将车辆100沿着由泊车辅助计算的轨迹122向后引导直至停止点S2，然后将其沿着计算的轨迹124向前牵引(gezogen)直到另一个(未表示的)停止点，然后将其向后通过轨迹126引导进入泊车位104中。
在常规的驾驶辅助的情况下，在检测障碍物的尺寸、确定车辆的自身运动的以及当前位置时的不准确性要求相对较大的容差，也就是说在计算如在图1中概略绘制的那样的轨迹时必须保持与障碍物——如对象106、106的较大的安全间距，以便能够安全地避免危险的接近。
作为示例，在图1中绘出在停止点S2和对象106之间的安全间距130，所述安全距离在常规的系统中位于例如10厘米(cm)或更大的数量级内，例如位于20cm处，尽管更小的、低于10cm——例如5cm或甚至仅仅1cm至2cm是值得期望的以便能够使用例如狭窄的泊车位，不管狭小的操纵空间仍能够泊车进入泊车位中等。
确定车辆的自身运动和/或当前位置时的不准确性还导致，在沿着预先计算的轨迹引导车辆时发生偏离。在必要时需要的修正的情况下，必须再次考虑所提到的不准确性。作为示例，在图1中对于作为虚线138的轨迹126，表示实际的直到到达最终的停止点S46的车辆运动的理想的变化过程。借助参考标记132、134和136示出用于不同的实际的运动过程的示例，所述不同的实际的运动过程或多或少显著地与理想的轨迹126/138偏离。至少在轨迹132和136的情况下必须及时地实现反向控制，以便避免与对象106或者108的碰撞。出于清晰度原因，在此仅仅讨论轨迹126，然而所述实施按意义同样适用于轨迹122和124。
以有利的方式使在确定车辆的自身运动或者当前位置时的不准确性最小化，以便及时拦阻沿着如通过箭头132和136所示的轨迹的运行。在本发明的在此描述的实施例中，通过以下方式实现自身运动的准确确定：将现有的倒车摄像机110的数据与现有的超声波传感器112的另外的数据以及另外的(同样出于其他原因已经存在的)、用于测量车辆100的运动的传感器的数据组合。通过这种方式，能够在无附加的硬件部件的情况下提高检查的和使实际的车辆运动匹配轨迹126/138时的准确性，其中，最大的偏离如此小，如例如通过轨迹134示例性表示的那样。
图2示意性地说明驾驶员辅助系统102的功能部件，其共同作用能够实现：根据本发明更好地确定车辆100的自身运动。车辆100的被实现为总线系统的车辆网络202连接到倒车摄像机110、超声波传感器112以及ECU114(这些元件已经在图1中示出)上。此外，至少一个传感器机构204连接到总线202上，其中，传感器机构204例如可以包括以下：用于与周围环境无关地确定车辆速度的一个车轮传感器或多个这种传感器；用于确定转向角的转向传感器；用于确定车辆的转动运动的陀螺仪；和GPS传感器等。
ECU114包括：用于确定图像序列中的运动流的运动流部件210；用于基于在部件210中确定的运动流确定车辆100的自身运动的自身运动部件212；用于计算、检查和/或匹配如在图1中所示的轨迹122-126那样的轨迹的轨迹部件214；用于计算与由超声波传感器机构112探测的对象的间距和方向的超声波部件216；以及用于处理传感器机构204的数据的传感器部件218。
下面根据图3中的流程图300更详细地解释驾驶员辅助系统102的在图2中所示的部件的工作方式。如所述的，在图2中所示的部件共同作用，以便确定车辆100在泊车进入泊车位期间的自身运动(302)。在步骤304中，倒车摄像机110摄取车辆100的后方的周围环境的、在时间上彼此相继的图像的序列。在实践中，倒车摄像机110在沿着轨迹122-128的整个泊车过程期间是活动的并且向ECU114提供连续的图像流。ECU114的部件210以相应的方式控制倒车摄像机110，并且将由摄像机110提供的图像序列在中间存储器224中，用于进一步处理。
与此并行地，超声波传感器112也测量后方的车辆周围环境区域并且通过总线202向所分配的处理部件216提供相应的数据。此外，传感器机构204也连续地向所分配的处理部件208提供关于例如车辆100的速度和转向角的当前数据。
在步骤306中，处理部件212从包括多个存储在存储器区域224中的、在时间上彼此相继的图像的图像序列中确定至少一个在后方的车辆周围环境中辨识的对象的运动流(“Motion Flow”)。出于所述目的，存储器区域224例如可以被实现为循环存储器，其中，倒车摄像机110的确定数目的图像被中间存储一过去的时间段，并且相应地通过新的图像覆盖。从图像序列中例如根据光流方法确定代表对象的点的运动流对于专业人员是公知的，因此在此不对其进一步讨论。
在图1的示例场景中，尤其是对象106和108位于摄像机110的视野中。因此，处理部件212从存储的图像中辨识对象106和108并且分别确定其运动流。因为倒车摄像机110固定地(或者至少以当前已知的位置和定向)固定在车辆100上，所以部件212在车辆固定的坐标系中计算对象106和108的运动流。
除在ECU部件212中对由摄像机110提供的光学的或者红外的数据的处理之外，ECU114借助其部件216处理后方的车辆周围环境的由超声波传感器机构112提供的表示。由这些数据例如能够确定与对象106、108的当前的间距和方向。这些数据同样涉及车辆固定的坐标系，也就是说基于超声波数据能够在车辆固定的坐标系中确定用于对象106和108的运动的独立的值。传感器机构204对于车辆100的周围环境不敏感；部件218处理相应的传感器数据并且提供关于当前的车辆运动的与周围环境无关的信息。
在步骤308中，计算部件214接收部件212、216和218的处理数据，也就是说，从部件212接收具体基于摄像机的、关于对象106和108相对于车辆100的虚假运动的数据，从部件216接收相应的基于超声波的数据，并且从部件218接收关于车辆100的自身运动的、根据例如车轮速度和转向角的数据。部件214根据这些数据求取用于车辆100的自身运动(“Ego-Motion”)的估计。例如部件214可以实施数据融合，在所述数据融合的过程中，基于对象106、108的由摄像机数据求取的运动流修正车辆100的由传感器机构204与周围环境无关地确定的自身运动。
例如能够关于对象106和108的侧向运动修正所求取的自身运动，基于摄像机数据、在通过光流方法处理之后能够非常准确地测量所述对象的侧向运动。因此，例如车辆的轻微的偏转可以作为与预先计算的轨迹的偏离提前检测(参照进一步在下面相应的示例性的讨论)。
除在传感器机构204的传感器数据和摄像机110的摄像机数据之外，超声波传感器机构112的超声波数据也可以用于修正或者更准确地确定车辆100的自身运动。例如与对象106、108的间距和方向分别既由超声波数据又由摄像机数据确定，然后以合适的方式合并。然后可以由所述间距值和/或方向值的变化过程实现基于与周围环境无关的传感器和/或摄像机求取的自身运动的修正，例如在假定是静止的周围环境对象的情况下。
附加地或者替代地，车辆100的自身运动也可以基于车道表面或者地表面的——例如停车场104的运动流的确定来进行。如果将地表面作为运动流计算的基础，则尤其可以假设，地表面是静止的，也就是说车辆100的自身运动能够被可靠地确定。作为另一种可能性，基于例如基于摄像机110的数据以及传感器机构204的与所述摄像机的数据无关的数据对车辆100的自身运动的估计，也可以确定对象106和108的运动。所述对象的运动例如由对象的所预期的位置和所预期的、如由车辆100的自身运动基于传感器机构204得出的间距与对象的基于摄像机求取的运动流相比之间的系统性的差异得出。
计算部件214可以准连续地工作并且例如以100毫秒的有规律的间隔使用部件210、216和218的有关0.1秒、0.3秒、0.5秒或者1.0秒的过去的时间段的处理数据(尤其是基于摄像机110的中间存储一相应的持续时间的图像求取的自身运动)。
在步骤310中，计算部件214向驾驶员辅助系统102的一个或多个另外的部件提供车辆100的(当前的)自身运动的所计算的值。作为示例，在图2中绘出轨迹计算部件220和碰撞警告部件222。部件220例如另外根据可供使用的自身运动监视车辆100在泊车进入泊车位104时实际以何种程度遵循预先计算的轨迹122-126。基于车辆100的基于摄像机求取的自身运动，部件220例如能够确定，是否必须进行反向转向。
如果所计算的泊车轨迹例如是在图1中用虚线表示的理想的泊车轨迹138，则车辆100沿着所述轨迹的泊车意味着在倒车摄像机110的视野中对象106和108的确定的虚假的运动。尤其是对象106和108以确定的方式向旁边从摄像机的视野中向外运动，其中，在接近停止点S4时与对象106和108的每一个的间距保持恒定。如果车辆由于不准确性在转向(偏转)中实际例如在轨迹132上运动，则对象108未以预期的方式从倒车摄像机110的视野中向外运动和/或与对象108的间距——如由在部件212中的光流计算所计算的那样——将缩小，而同时对象106逐渐从倒车摄像机110的视野中向外运动并且间距增加。由所述描述可以看出，预先计算的轨迹与实际的轨迹的比较能够通过考虑对象106、108的基于摄像机求取的运动流而得到改进。
为了从所求取的或者实际的轨迹132返回到达理想的轨迹138的附近，部件220启动相应的反向转向。因此，整体上出现仅仅一个小的从理想的预先计算的轨迹138的偏离。
此外，对于所求取的或者实际的轨迹132，部件222基于更好的自身运动估计以及(例如基于摄像机和/或超声波求取的)与潜在的障碍物106、108的间距计算碰撞的概率并且必要时生成相应的碰撞警告，所述碰撞警告或者能够向驾驶员输出，或者能够导致自动制动。
图3中所示的流程300例如在泊车进入泊车位104期间循环，以致步骤312分支返回步骤304。
虽然在此所示的实施例中分析处理超声波数据、摄像机数据和与周围环境无关的传感器数据，但是车辆自身运动在较简单的系统中例如也能够仅仅基于摄像机实现，或能够在不考虑超声波数据的情况下仅仅基于摄像机并且基于与周围环境无关的数据实现。虽然在先前描述的示例中与周围环境无关地基于车辆速度和转向角确定车辆运动和车辆位置，但是附加的或者其他的传感器机构同样能够提供与周围环境无关的数据，例如能够使用GPS传感器和/或陀螺仪。
如上所述，一个基于摄像机的和/或基于超声波的、以车辆固定的坐标系为基础的周围环境地图能够变换为一个空间固定的周围环境地图，在所述空间固定的周围环境地图中能够表示车辆的自身运动。反之，同样可以考虑，保留车辆固定的周围环境地图并且相应考虑与周围环境无关的传感器机构的数据。
由例如在光流计算的范畴内的运动流确定能够相对较简单地推导出碰撞时间TTC。所述碰撞时间能够直接从摄像机数据的处理出来(或者在通过超声波传感器机构的附加的数据或者另外的传感器数据修正车辆固定的/空间固定的周围环境地图或者车辆的自身运动之后)向碰撞警告系统输出。
本发明不限于在此描述的实施例和其中强调的方面；相反地，在通过所附权利要求说明的范围内能够实现大量变化，所述大量变化处于专业人员处理的范畴内。

Claims (10)

1.一种用于确定车辆(100)的自身运动的方法，所述方法包括以下步骤：
通过车辆摄像机(110)摄取(304)车辆周围环境的、在时间上彼此相继的图像的序列；
基于所述图像序列确定(306)关于所述车辆周围环境中的对象(106、108)的至少一个运动流；和
基于所述至少一个运动流确定(308)所述车辆的所述自身运动。
2.根据权利要求1所述的方法，其中，
所述车辆摄像机是摄取后方的车辆周围环境的图像的倒车摄像机(110)。
3.根据权利要求1或2所述的方法，其中，
为了确定所述车辆(100)的所述自身运动，此外使用测量当前的速度和/或当前的转向角的车辆传感器(204)的数据。
4.根据以上权利要求中任一项所述的方法，其中，
为了确定所述车辆(100)的所述自身运动，此外使用所述车辆(110)的测量与所述车辆周围环境中的对象(106、108)的间距的超声波传感器(112)的数据。
5.根据以上权利要求中任一项所述的方法，其中，
由所述至少一个运动流计算到碰撞的时间，所述到碰撞的时间被采用到所述自身运动的确定和/或碰撞警告的确定中。
6.根据以上权利要求中任一项所述的方法，其中，
基于至少一个所确定的运动流和至少一个另外的所确定的运动流和/或另外的传感器数据探测所述车辆周围环境中的对象的自身运动。
7.一种在车辆(100)的泊车辅助系统(102)中用于连续计算、检查和/或匹配泊车轨迹(122-126)的方法，其中，根据以上权利要求中任一项确定所述车辆(100)的自身运动。
8.一种用于在车辆(100)的驾驶员辅助系统(102)中进行碰撞警告的方法，其中，根据权利要求1至6中任一项确定所述车辆(100)的自身运动。
9.一种计算机程序，其用于当在可编程的计算机装置上执行所述计算机程序时实施根据以上权利要求中任一项所述的方法。
10.一种驾驶员辅助系统(102)，所述驾驶员辅助系统被构造用于确定车辆(100)的自身运动，所述驾驶员辅助系统具有以下部件：
用于摄取车辆周围环境的、在时间上彼此相继的图像的序列的车辆摄像机(110)，；
用于基于所述图像序列确定关于所述车辆周围环境中的对象(106、108)的至少一个运动流的部件(212)；和
用于基于所述至少一个光流确定所述车辆的所述自身运动的部件(214)。
CN201180067404.7A 2010-12-15 2011-12-06 用于确定车辆的自身运动的方法和系统 Pending CN103534729A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102010063133A DE102010063133A1 (de) 2010-12-15 2010-12-15 Verfahren und System zur Bestimmung einer Eigenbewegung eines Fahrzeugs
DE102010063133.7 2010-12-15
PCT/EP2011/071961 WO2012080044A1 (de) 2010-12-15 2011-12-06 Verfahren und system zur bestimmung einer eigenbewegung eines fahrzeugs

Publications (1)

Publication Number Publication Date
CN103534729A true CN103534729A (zh) 2014-01-22

Family

ID=45418637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180067404.7A Pending CN103534729A (zh) 2010-12-15 2011-12-06 用于确定车辆的自身运动的方法和系统

Country Status (6)

Country Link
US (1) US9789816B2 (zh)
EP (1) EP2652706B1 (zh)
JP (1) JP6005055B2 (zh)
CN (1) CN103534729A (zh)
DE (1) DE102010063133A1 (zh)
WO (1) WO2012080044A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279767A (zh) * 2014-12-26 2016-01-27 天津光电高斯通信工程技术股份有限公司 火车到站状态的识别方法
CN105432074A (zh) * 2013-01-29 2016-03-23 罗伯特·博世有限公司 用于车辆的摄像机系统、用于控制用于车辆的车辆摄像机的图像的图像区域的方法和设备
CN106864454A (zh) * 2015-11-06 2017-06-20 福特全球技术公司 用于辅助机动车辆的操纵过程的方法和装置
CN107792177A (zh) * 2016-08-31 2018-03-13 爱信精机株式会社 停车支援装置
CN108454512A (zh) * 2017-02-20 2018-08-28 奥迪股份公司 避开车辆车轮周围异物的装置、方法及车辆
CN108885253A (zh) * 2016-03-21 2018-11-23 康蒂-特米克微电子有限公司 评估机动车辆自身运动的装置和方法
CN109426807A (zh) * 2017-08-22 2019-03-05 罗伯特·博世有限公司 用于估计车辆的自身运动的方法和设备
CN111406384A (zh) * 2017-09-26 2020-07-10 罗伯特·博世有限公司 为用于可高度自动化驾驶的车辆的控制设备分配数据流的分配设备和方法
CN112261352A (zh) * 2019-07-04 2021-01-22 先进光电科技股份有限公司 行动载具辅助系统及其停车控制方法

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9274525B1 (en) * 2012-09-28 2016-03-01 Google Inc. Detecting sensor degradation by actively controlling an autonomous vehicle
DE102013100040A1 (de) * 2013-01-03 2014-07-03 E-Lead Electronic Co., Ltd. Führungsverfahren einer Rückwärtsparkhilfe
AT514588B1 (de) * 2013-08-29 2015-02-15 Tech Universität Wien Verfahren zur Steuerung eines Fahrzeuges
KR101906952B1 (ko) * 2013-11-08 2018-10-11 한화지상방산 주식회사 무인 주행 차량의 최적 주차 경로를 생성하는 방법, 및 이 방법을 채용한 무인 주행 차량
DE102014111122A1 (de) * 2014-08-05 2016-02-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum zumindest semi-autonomen Manövrieren eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
KR101618501B1 (ko) 2015-02-04 2016-05-09 한국기술교육대학교 산학협력단 자차량의 에고 모션 추정방법
DE102015001638A1 (de) * 2015-02-07 2016-08-11 Hella Kgaa Hueck & Co. Verfahren zum zumindest teilweise selbstständigen Steuern eines Kraftfahrzeuges
US11167755B2 (en) 2015-02-07 2021-11-09 Hella Kgaa Hueck & Co. Method for at least partially automatically controlling a motor vehicle
DE102015202230A1 (de) 2015-02-09 2016-08-11 Conti Temic Microelectronic Gmbh Fusionierte Eigenbewegungsberechnung für ein Fahrzeug
EP3885217A1 (en) * 2015-02-10 2021-09-29 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
DE102015209190A1 (de) * 2015-05-20 2016-11-24 Volkswagen Aktiengesellschaft Verfahren zur nutzerdefinierten Bereitstellung eines Fahrzeugs
US10214206B2 (en) * 2015-07-13 2019-02-26 Magna Electronics Inc. Parking assist system for vehicle
DE102015220640A1 (de) * 2015-10-22 2017-04-27 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verringern eines Kollisionsrisikos einer Kollision eines Kraftfahrzeugs mit einem Objekt
DE102015221920A1 (de) * 2015-11-09 2017-05-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Computerprogrammprodukt, Vorrichtung, und Fahrzeug umfassend die Vorrichtung zum Steuern einer Trajektorienplanung eines Egofahrzeugs
US10919574B2 (en) * 2015-11-10 2021-02-16 Hyundai Motor Company Automatic parking system and automatic parking method
JP2017088112A (ja) * 2015-11-17 2017-05-25 三菱電機株式会社 車両用操舵制御装置
DE102016100993A1 (de) * 2016-01-21 2017-07-27 Valeo Schalter Und Sensoren Gmbh Verfahren zum Ausparken eines Kraftfahrzeugs aus einer Parklücke mit zumindest semiautonomen Manövrieren des Kraftfahrzeugs bis zu einer Endposition, Fahrerassistenzsystem sowie Kraftfahrzeug
EP3414641B1 (en) * 2016-02-10 2023-05-24 HRL Laboratories, LLC System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation
US10318826B2 (en) * 2016-10-07 2019-06-11 Ford Global Technologies, Llc Rear obstacle detection and distance estimation
US10068140B2 (en) * 2016-12-02 2018-09-04 Bayerische Motoren Werke Aktiengesellschaft System and method for estimating vehicular motion based on monocular video data
DE102017207483A1 (de) * 2016-12-15 2018-06-21 Continental Teves Ag & Co. Ohg Steuervorrichtung für ein fahrzeug, bremsensteuergerät und verfahren zur steuerung eines fahrzeugs
DE102017107701A1 (de) 2017-04-10 2018-10-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum ferngesteuerten Manövrieren eines Kraftfahrzeugs auf einer Parkfläche, Infrastrukturvorrichtung für eine Parkfläche sowie Parkflächenkommunikationssystem
DE102017111004A1 (de) * 2017-05-19 2018-11-22 Wabco Europe Bvba Verfahren und Steuereinrichtung zur autonomen Notbremsung eines Eigenfahrzeugs
GB201712004D0 (en) * 2017-07-26 2017-09-06 Jaguar Land Rover Ltd Proximity sensing systems and their control
DE102017219119A1 (de) 2017-10-25 2019-04-25 Volkswagen Aktiengesellschaft Verfahren zur Formerkennung eines Objekts in einem Außenbereich eines Kraftfahrzeugs sowie Kraftfahrzeug
CN110626259A (zh) * 2018-06-21 2019-12-31 鸿富锦精密电子(天津)有限公司 三角警示架及其撞击预警方法
US20200031312A1 (en) * 2018-07-24 2020-01-30 Nxp B.V. Methods and apparatuses involving vehicle tow-away detection
US11699207B2 (en) 2018-08-20 2023-07-11 Waymo Llc Camera assessment techniques for autonomous vehicles
US11227409B1 (en) 2018-08-20 2022-01-18 Waymo Llc Camera assessment techniques for autonomous vehicles
DE102018127059A1 (de) * 2018-10-30 2020-04-30 Daimler Ag Verfahren zur Überprüfung mindestens eines Umfelderfassungssensors eines Fahrzeugs
US20190126922A1 (en) * 2018-12-27 2019-05-02 Intel Corporation Method and apparatus to determine a trajectory of motion in a predetermined region
DE102019102923B4 (de) * 2019-02-06 2022-12-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug
JP2022098113A (ja) * 2020-12-21 2022-07-01 フォルシアクラリオン・エレクトロニクス株式会社 駐車支援装置及び駐車支援方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101048673A (zh) * 2004-09-30 2007-10-03 罗伯特·博世有限公司 识别面临的碰撞的方法和装置
CN101270983A (zh) * 2007-03-21 2008-09-24 福特环球技术公司 车辆操纵辅助装置
CN101327796A (zh) * 2007-06-05 2008-12-24 通用汽车环球科技运作公司 用于避免后路口交通碰撞的方法和设备
US20090143986A1 (en) * 2004-04-08 2009-06-04 Mobileye Technologies Ltd Collision Warning System
US20090326774A1 (en) * 2008-06-26 2009-12-31 Gm Global Technology Operations, Inc. Mechanical time dilation algorithm for collision avoidance system
US20100045449A1 (en) * 2006-06-12 2010-02-25 Fridtjof Stein Method for detecting a traffic space

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6704621B1 (en) * 1999-11-26 2004-03-09 Gideon P. Stein System and method for estimating ego-motion of a moving vehicle using successive images recorded along the vehicle's path of motion
US7113867B1 (en) * 2000-11-26 2006-09-26 Mobileye Technologies Limited System and method for detecting obstacles to vehicle motion and determining time to contact therewith using sequences of images
US7446798B2 (en) 2003-02-05 2008-11-04 Siemens Corporate Research, Inc. Real-time obstacle detection with a calibrated camera and known ego-motion
DE10307607A1 (de) * 2003-02-22 2004-09-09 Daimlerchrysler Ag Verteiltes Bildverarbeitungssystem für Kraftfahrzeuge
JP4052650B2 (ja) * 2004-01-23 2008-02-27 株式会社東芝 障害物検出装置、方法及びプログラム
JP4081548B2 (ja) 2004-02-02 2008-04-30 独立行政法人産業技術総合研究所 運転支援システム
DE102005000651A1 (de) * 2005-01-04 2006-07-13 Robert Bosch Gmbh Verfahren zur Bestimmung der Eigenbewegung eines Fahrzeugs
US7899211B2 (en) * 2005-12-07 2011-03-01 Nissan Motor Co., Ltd. Object detecting system and object detecting method
JP2007176324A (ja) * 2005-12-28 2007-07-12 Aisin Seiki Co Ltd 駐車支援装置
US8164628B2 (en) * 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
DE102007022524A1 (de) 2007-05-14 2008-11-20 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug
JP4337929B2 (ja) * 2007-12-25 2009-09-30 トヨタ自動車株式会社 移動状態推定装置
US9176006B2 (en) * 2008-01-15 2015-11-03 Mobileye Vision Technologies Ltd. Detection and classification of light sources using a diffraction grating
KR101188588B1 (ko) 2008-03-27 2012-10-08 주식회사 만도 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
DE102008036009B4 (de) 2008-03-28 2018-03-22 Volkswagen Ag Verfahren zum Kollisionsschutz eines Kraftfahrzeugs und Parkhausassistent
JP4453775B2 (ja) * 2008-06-27 2010-04-21 トヨタ自動車株式会社 物体検出装置
DE102008058279A1 (de) 2008-11-20 2010-05-27 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zur Kompensation eines Rollwinkels
WO2010129907A2 (en) * 2009-05-08 2010-11-11 Scientific Systems Company Inc. Method and system for visual collision detection and estimation
US8633810B2 (en) * 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
US9179072B2 (en) * 2010-10-31 2015-11-03 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
US9233659B2 (en) * 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090143986A1 (en) * 2004-04-08 2009-06-04 Mobileye Technologies Ltd Collision Warning System
CN101048673A (zh) * 2004-09-30 2007-10-03 罗伯特·博世有限公司 识别面临的碰撞的方法和装置
US20100045449A1 (en) * 2006-06-12 2010-02-25 Fridtjof Stein Method for detecting a traffic space
CN101270983A (zh) * 2007-03-21 2008-09-24 福特环球技术公司 车辆操纵辅助装置
CN101327796A (zh) * 2007-06-05 2008-12-24 通用汽车环球科技运作公司 用于避免后路口交通碰撞的方法和设备
US20090326774A1 (en) * 2008-06-26 2009-12-31 Gm Global Technology Operations, Inc. Mechanical time dilation algorithm for collision avoidance system

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105432074B (zh) * 2013-01-29 2020-05-26 罗伯特·博世有限公司 用于车辆的摄像机系统、用于控制用于车辆的车辆摄像机的图像的图像区域的方法和设备
CN105432074A (zh) * 2013-01-29 2016-03-23 罗伯特·博世有限公司 用于车辆的摄像机系统、用于控制用于车辆的车辆摄像机的图像的图像区域的方法和设备
CN105279767A (zh) * 2014-12-26 2016-01-27 天津光电高斯通信工程技术股份有限公司 火车到站状态的识别方法
CN105279767B (zh) * 2014-12-26 2019-01-18 天津光电高斯通信工程技术股份有限公司 火车到站状态的识别方法
CN106864454A (zh) * 2015-11-06 2017-06-20 福特全球技术公司 用于辅助机动车辆的操纵过程的方法和装置
CN106864454B (zh) * 2015-11-06 2021-11-26 福特全球技术公司 用于辅助机动车辆的操纵过程的方法和装置
CN108885253A (zh) * 2016-03-21 2018-11-23 康蒂-特米克微电子有限公司 评估机动车辆自身运动的装置和方法
CN107792177A (zh) * 2016-08-31 2018-03-13 爱信精机株式会社 停车支援装置
CN108454512A (zh) * 2017-02-20 2018-08-28 奥迪股份公司 避开车辆车轮周围异物的装置、方法及车辆
CN109426807A (zh) * 2017-08-22 2019-03-05 罗伯特·博世有限公司 用于估计车辆的自身运动的方法和设备
CN111406384A (zh) * 2017-09-26 2020-07-10 罗伯特·博世有限公司 为用于可高度自动化驾驶的车辆的控制设备分配数据流的分配设备和方法
CN111406384B (zh) * 2017-09-26 2022-10-18 罗伯特·博世有限公司 为用于可高度自动化驾驶的车辆的控制设备分配数据流的分配设备和方法
CN112261352A (zh) * 2019-07-04 2021-01-22 先进光电科技股份有限公司 行动载具辅助系统及其停车控制方法
CN112261352B (zh) * 2019-07-04 2023-08-11 先进光电科技股份有限公司 行动载具辅助系统及其停车控制方法

Also Published As

Publication number Publication date
US9789816B2 (en) 2017-10-17
JP2014501401A (ja) 2014-01-20
US20130335553A1 (en) 2013-12-19
JP6005055B2 (ja) 2016-10-12
EP2652706A1 (de) 2013-10-23
DE102010063133A1 (de) 2012-06-21
WO2012080044A1 (de) 2012-06-21
EP2652706B1 (de) 2018-07-11

Similar Documents

Publication Publication Date Title
CN103534729A (zh) 用于确定车辆的自身运动的方法和系统
CN109927719B (zh) 一种基于障碍物轨迹预测的辅助驾驶方法和系统
US11708077B2 (en) Systems and methods for navigating a vehicle among encroaching vehicles
CN109195860B (zh) 自动驾驶车辆的车道路缘辅助离道检查和车道保持系统
EP3492871B1 (en) Self-position estimation method and self-position estimation apparatus
EP3403216B1 (en) Systems and methods for augmenting upright object detection
Fletcher et al. Driver assistance systems based on vision in and out of vehicles
CN102019928B (zh) 用于补偿未识别的路程的方法
US11874660B2 (en) Redundant lateral velocity determination and use in secondary vehicle control systems
EP3146506A2 (en) Systems and methods for braking a vehicle based on a detected object
KR102210142B1 (ko) 비보호 회전을 위한 조기 물체 검출
JP7227072B2 (ja) 車両制御装置
JP2004531424A (ja) 車用の感知装置
BR112017026089B1 (pt) Dispositivo de controle de veículo e método de controle de veículo
CN103373349A (zh) 自动泊车辅助系统的障碍物避碰装置及方法
CN107010057A (zh) 用于找到车辆的躲闪轨迹的方法
JP7401978B2 (ja) 交差点発進判定装置
CN112537295A (zh) 驾驶辅助装置
JP2002228734A (ja) 周囲物体認識装置
CN111989727A (zh) 车辆行驶辅助方法及车辆行驶辅助装置
RU2762150C1 (ru) Способ прогнозирования поведения транспортного средства и устройство прогнозирования поведения транспортного средства
CN115777121A (zh) 驾驶辅助装置
US10775804B1 (en) Optical array sensor for use with autonomous vehicle control systems
CN114093023A (zh) 移动体妨碍检测装置、系统、方法及存储介质
WO2024018682A1 (ja) 車両制御装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20140122

RJ01 Rejection of invention patent application after publication