DE102009038906A1 - Verfahren und Vorrichtung zur Früherkennung einer Kollision eines Fahrzeuges - Google Patents

Verfahren und Vorrichtung zur Früherkennung einer Kollision eines Fahrzeuges Download PDF

Info

Publication number
DE102009038906A1
DE102009038906A1 DE102009038906A DE102009038906A DE102009038906A1 DE 102009038906 A1 DE102009038906 A1 DE 102009038906A1 DE 102009038906 A DE102009038906 A DE 102009038906A DE 102009038906 A DE102009038906 A DE 102009038906A DE 102009038906 A1 DE102009038906 A1 DE 102009038906A1
Authority
DE
Germany
Prior art keywords
collision
vehicle
camera
flow vectors
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102009038906A
Other languages
English (en)
Inventor
Stefan Dipl.-Inform. Hahn
Fridtjof Dr.rer.nat. Stein
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102009038906A priority Critical patent/DE102009038906A1/de
Publication of DE102009038906A1 publication Critical patent/DE102009038906A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Früherkennung einer Kollision eines Fahrzeuges (1) mit einem Kollisionsobjekt (4). Dabei werden mit einer Kamera (3.1, 3.2) Bildsequenzen einer Umgebung des Fahrzeuges (1) aufgenommen und aus diesen Bildsequenzen Flussvektoren $I1 eines optischen Flusses ermittelt. Daraus wird eine Kollisionszeit (T,T) ermittelt, die eine Zeit bis zu einer Kollision des Fahrzeuges (1) mit einem Kollisionsobjekt (4) angibt. Dabei werden Flussvektoren $I2 verschiedener Bildpunkte (P'(t)) paarweise ausgewertet.

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Früherkennung einer Kollision eines Fahrzeuges mit einem Kollisionsobjekt.
  • Aus der DE 10 2004 046 101 A1 ist ein Verfahren zur Früherkennung von Kraftfahrzeugskollisionen bekannt, wobei mit einem Kamerasystem die Umgebung mit möglichen Kollisionsobjekten eines Kraftfahrzeugs erfasst wird. Es werden Bildsequenzen erzeugt, wobei durch Auswertung der Bildsequenzen eine Kollisionszeit für mögliche Kollisionsobjekte und das Kraftfahrzeug ermittelt wird. Auf Basis der ermittelten Kollisionszeit wird eine Kollisionsgefährdung abgeschätzt und bei Überschreiten einer vorgegebenen Kollisionsgefährdung werden Kollisionsfolgen vermindernde Maßnahmen eingeleitet. Ferner ist aus der DE 10 2004 046 101 A1 eine Sicherheitsvorrichtung für Kraftfahrzeuge bekannt, die ein Kamerasystem zur Erfassung der Umgebung eines Kraftfahrzeugs und ein Auswertesystem umfasst. Das Auswertesystem ist programmtechnisch zur Ermittlung der Kollisionszeit zwischen einem sich in der Umgebung bewegenden Objekt und dem Kraftfahrzeug und zur Erzeugung von Befehlen zur Einleitung von Kollisionsfolgen vermindernden Maßnahmen ausgestaltet.
  • Der Erfindung liegt die Aufgabe zu Grunde, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur Früherkennung einer Kollision eines Fahrzeuges mit einem Kollisionsobjekt anzugeben.
  • Die Aufgabe wird erfindungsgemäß hinsichtlich des Verfahrens durch die in Anspruch 1 angegebenen Merkmale und hinsichtlich der Vorrichtung durch die in Anspruch 5 angegebenen Merkmale gelöst.
  • Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
  • Bei dem erfindungsgemäßen Verfahren zur Früherkennung einer Kollision eines Fahrzeuges mit einem Kollisionsobjekt werden mit einer Kamera Bildsequenzen einer Umgebung des Fahrzeuges aufgenommen und aus diesen Bildsequenzen Flussvektoren eines optischen Flusses ermittelt. Aus den Flussvektoren wird eine Kollisionszeit, die eine Zeit bis zu einer Kollision des Fahrzeuges mit einem Kollisionsobjekt angibt, ermittelt, wobei die Flussvektoren verschiedener Bildpunkte paarweise ausgewertet werden.
  • Gegenüber der aus dem Stand der Technik bekannten Auswertung von Flussvektoren zur Früherkennung einer drohenden Kollision werden die Flussvektoren erfindungsgemäß paarweise ausgewertet. Dadurch lässt sich allein anhand der ermittelten Flussvektoren in unten näher beschriebener Weise beurteilen, ob ein Kollisionsobjekt tatsächlich mit dem Fahrzeug zusammenstoßen wird oder nicht, da sich durch die paarweise Auswertung der Flussvektoren nicht nur abschätzen lässt, wann ein Kollisionsobjekt eine Ebene erreicht, in der eine Fahrzeugaußenfläche liegt, sondern auch, ob dieses Kollisionsobjekt diese Ebene tatsächlich am Ort des Fahrzeuges erreichen und folglich mit dem Fahrzeug kollidieren wird. Dies hat den Vorteil, dass eine Kollisionsgefahr zuverlässiger anhand der Auswertung der Flussvektoren erkannt werden kann als mittels der aus dem Stand der Technik bekannten Auswertung von Flussvektoren.
  • Entsprechend umfasst die erfindungsgemäße Vorrichtung für ein Fahrzeug zur Früherkennung einer Kollision des Fahrzeuges mit einem Kollisionsobjekt eine am Fahrzeug anordbare Kamera zur Erfassung einer Umgebung des Fahrzeuges und eine Auswerteeinheit zur Ermittelung von Flussvektoren eines optischen Flusses aus mittels der Kamera aufgenommenen Bildsequenzen und zur Ermittelung einer Kollisionszeit anhand der ermittelten Flussvektoren, wobei mittels der Auswerteeinheit Flussvektoren verschiedener Bildpunkte paarweise auswertbar sind.
  • Weitere Vorteile, Merkmale und Einzelheiten der Erfindung werden im Folgenden anhand von Ausführungsbeispielen unter Bezugnahme auf Zeichnungen beschrieben.
  • Dabei zeigen:
  • 1 eine Draufsicht auf ein Fahrzeug mit an Außenspiegeln angeordneten Kameras und ein sich dem Fahrzeug seitlich näherndes Kollisionsobjekt, und
  • 2 eine Prinzipskizze zur Auswertung von Bildsequenzen zur Früherkennung einer Kollision eines Fahrzeuges mit einem Kollisionsobjekt.
  • 1 zeigt eine Draufsicht auf ein Fahrzeug 1, an dessen Außenspiegeln 2 je eine Kamera 3.1, 3.2 angeordnet ist und dem sich seitlich ein Kollisionsobjekt 4 nähert.
  • Die Kameras 3.1, 3.2 bilden zusammen mit einer im Fahrzeug 1 angeordneten Auswerteeinheit 5 eine erfindungsgemäße Vorrichtung zur Früherkennung einer Kollision des Fahrzeuges 1 mit einem Kollisionsobjekt 1. Dabei erfassen die Kameras 3.1, 3.2 jeweils eine seitliche Umgebung des Fahrzeuges 1 auf der Seite des zugehörigen Außenspiegels 2 und sind als Videokameras ausgebildet, so dass mit ihnen Bildsequenzen der jeweiligen seitlichen Umgebung des Fahrzeuges 1 aufgenommen werden können. Ferner sind die Kameras 3.1, 3.2 mit der Auswerteeinheit 5 verbunden, mittels derer in unten näher beschriebener Weise von den Kameras 3.1, 3.2 aufgenommene Bildsequenzen zur Früherkennung einer Kollision des Fahrzeuges 1 mit einem Kollisionsobjekt 1 auswertbar sind.
  • Die Bewegung des Kollisionsobjektes 4 relativ zu dem Fahrzeug 1 wird im Folgenden in einem mit dem Fahrzeug 1 mitbewegten kartesischen Koordinatensystem (x, y, z) beschrieben, dessen x-Achse parallel zu einer Längsachse des Fahrzeuges 1 ausgerichtet ist und dessen y-Achse parallel zu einer Querachse des Fahrzeuges 1 ausgerichtet ist. Das Kollisionsobjekt 4 bewegt sich in diesem Koordinatensystem mit einer Momentangeschwindigkeit, deren y-Komponente im dargestellten Beispiel negativ ist. Der Betrag dieser y-Komponente wird mit ν bezeichnet.
  • 2 zeigt eine Prinzipskizze zur Auswertung von mittels einer ersten Kamera 3.1 aufgenommenen Bildsequenzen zur Früherkennung einer Kollision des Fahrzeuges 1 mit dem Kollisionsobjekt 4 mittels der Auswerteeinheit 5, wobei diese Prinzipskizze der in 1 dargestellten Situation entspricht. Der Koordinatenursprung P des mitbewegten kartesischen Koordinatensystems (x, y, z) ist in einen Punkt innerhalb der ersten Kamera 3.1 gelegt, in dem sich von zwei verschiedenen Objektpunkten P1, P2 mit gleichen y-Koordinaten auf dem Kollisionsobjekt 4 ausgehende Lichtstrahlen kreuzen. Die beiden Objektpunkte P1, P2 werden von der ersten Kamera 3.1 zu einem ersten Zeitpunkt t1 = 0 auf Bildpunkte P'1(0) und P'2(0) in einer Bildebene B der ersten Kamera 3.1 abgebildet. Die x-Koordinaten der Objektpunkte P1, P2 sind jeweils mit h1 und h2 bezeichnet, die x-Koordinaten der Bildpunkte P'1(0) und P'2(0) mit h'1(0) und h'2(0), der Abstand der Bildebene B zum Koordinatenursprung P mit a, ein Abstand des Kollisionsobjektes 4 zur ersten Kamera 3.1 bzw. zum Koordinatenursprung P zum Zeitpunkt t1 = 0 mit d(0).
  • Zu einem zweiten Zeitpunkt t2 = Δt, der nach einem kleinen Zeitintervall Δt auf den ersten Zeitpunkt t1 = 0 folgt, hat sich das Kollisionsobjekt 4 in die negative y-Richtung auf das Fahrzeug 1 zu bewegt, wobei der Einfachheit halber angenommen wurde, dass es sich dabei relativ zum Fahrzeug 1 nicht in der x-Richtung bewegt hat, so dass die x-Koordinaten h1 und h2 der Objektpunkte P1, P2 sich nicht ändern. Durch die Bewegung des Kollisionsobjektes 4 in y-Richtung haben sich jedoch die Bildpunkte der Objektpunkte P1, P2 in der Bildebene B zu P'1(Δt) und P'2(Δt) und deren x-Koordinaten zu h'1(Δt) und h'2(Δt) geändert und der Abstand des Kollisionsobjektes 4 zur ersten Kamera 3.1 bzw. zum Koordinatenursprung P hat sich zu d(Δt) verringert.
  • Dabei werden zu denselben Objektpunkten P1, P2 gehörende Bildpunkte P'1(0), P'2(0) und P'1(Δt), P'2(Δt) verschiedener Kamerabilder durch aus dem Stand der Technik bekannte Verfahren, die hier nicht näher beschrieben werden, identifiziert, beispielsweise mittels einer pixelweisen Analyse von Grau- oder Farbwerten.
  • Bezeichnet man wie in 1 die Differenz der x-Koordinaten der Objektpunkte P1, P2 mit h = h1 – h2, die Differenz der x-Koordinaten der Bildpunkte P'2(0) und P'1(0) mit h'(0) = h'2(0) – h'1(0) und die Differenz der x-Koordinaten der Bildpunkte P'2(Δt) und P'1(Δt) mit h'(Δt) = h'2(Δt) – h'1(Δt), so gelten gemäß dem Strahlensatz folgende Beziehungen:
    Figure 00040001
    und
    Figure 00050001
  • Division von Gleichung [1] durch Gleichung [2] ergibt
    Figure 00050002
  • Für ein kleines Zeitintervall Δt gelten in guter Näherung (Taylorentwicklung): d(Δt) ≈ d(0) – ν(0)Δt [4] und h'(Δt) ≈ h'(0) + h'(0)Δt, [5] wobei ν(0) den Betrag der y-Komponente der Momentangeschwindigkeit des Kollisionsobjektes 4 zum Zeitpunkt t1 = 0 und ḣ'(0) die erste Ableitung von h'(t) nach der Zeit t zu demselben Zeitpunkt bezeichnen. Setzt man Gleichung [4] auf der linken Seite von Gleichung [3] ein, so erhält man
    Figure 00050003
  • Durch Einsetzen von Gleichung [5] auf der rechten Seite von Gleichung [3] erhält man
    Figure 00050004
  • Die Gleichungen [3], [6] und [7] liefern
    Figure 00050005
  • Das in Gleichung [8] auftretende Verhältnis d(0)/ν(0) ist eine Kollisionszeit T12, zu der das Kollisionsobjekt 4 die Ebene y = 0, d. h. die xz-Ebene, in welcher der Koordinatenursprung P liegt, erreichen würde, wenn sich das Kollisionsobjekt 4 nach dem Zeitpunkt t1 = 0 gleichförmig mit dem Geschwindigkeitsbetrag ν(0) in die negative y-Richtung bewegen würde. Da, wie unten näher erläutert wird, insbesondere kleine Kollisionszeiten T12 von Interesse sind und sich der Geschwindigkeitsbetrag ν(0) während kleiner Zeiten in der Regel nicht wesentlich ändert, ist das Verhältnis d(0)/ν(0) zum Zeitpunkt t1 = 0 somit ein gutes Maß für eine Zeit bis zu einer Kollision des Fahrzeuges 1 mit dem Kollisionsobjekt 4, da der gewählte Koordinatenursprung P an einem Außenspiegel 2 des Fahrzeuges 1 liegt. Gleichung [8] liefert damit als guten Schätzwert für eine Kollisionszeit T12 das Verhältnis von h'(0) und ḣ'(0):
    Figure 00060001
  • Wenn die Objektpunkte P1, P2 in dem mitbewegten kartesischen Koordinatensystem (x, y, z) jeweils wenigstens näherungsweise die z-Koordinate z = 0 haben und innerhalb des Zeitintervalls Δt beibehalten (d. h. sich auf gleicher Höhe wie die erste Kamera 3.1 befinden), so ist h'(0) der Abstand der Bildpunkte P'1(0) und P'2(0) in der Bildebene B zum Zeitpunkt t1 = 0 und ḣ'(0) ist der Betrag der Differenz der Flussvektoren dieser Bildpunkte zu diesem Zeitpunkt in der in 2 dargestellten Situation. Gleichung [9] besagt dann, dass die Kollisionszeit T12 als Verhältnis des Abstandes der Bildpunkte P'1(0) und P'2(0) in der Bildebene B zum Zeitpunkt t1 = 0 und des Betrages der Differenz der zugehörigen Flussvektoren zu diesem Zeitpunkt abgeschätzt werden kann. Dem Fachmann erschließt sich durch eine entsprechende Verallgemeinerung dieses Spezialfalles leicht, dass sich dieses Ergebnis erfindungsgemäß folgendermaßen auf allgemeine Relativbewegungen des Fahrzeuges 1 und des Kollisionsobjektes 4 und allgemeine Lagen zweier Objektpunkte Pi und Pj verallgemeinern lässt: die Kollisionszeit Tij wird abgeschätzt als das Verhältnis des Abstandes |P →'i(t) – P →'j(t)| der zugehörigen Bildpunkte P'i(t) und P'j(t) der beiden Objektpunkte Pi, Pj zu einer Zeit t in einem von einer Kamera 3.1, 3.2 aufgenommenen Kamerabild zu dem Betrag
    Figure 00060002
    der Differenz zugehöriger Flussvektoren
    Figure 00060003
    und
    Figure 00060004
    wobei P →'i(t) und P →'j(t) Ortsvektoren der Bildpunkte P'i(t) und P'j(t) in diesem Kamerabild und die Flussvektoren
    Figure 00060005
    und
    Figure 00060006
    deren erste Ableitungen nach der Zeit bezeichnen:
    Figure 00060007
  • Vorzugsweise wird nicht nur für ein Paar P'1(t), P'2(t) von Bildpunkten und zu einer Zeit t, sondern für eine Anzahl von Paaren von Bildpunkten P'i(t), P'j(t) und zu verschiedenen Zeiten t jeweils eine Kollisionszeit Tij ermittelt. Dadurch können Paare von Bildpunkten P'i(t), P'j(t) erkannt werden, die tatsächlich zu Objektpunkten Pi, Pj auf einem sich nähernden Kollisionsobjekt 4 gehören und nicht zu anderen Objekten in den von den Kameras 3.1, 3.2 erfassten Umgebungen des Fahrzeuges 1. Aus denjenigen ermittelten Kollisionszeiten Tij, die dabei einem Kollisionsobjekt 4 zugeordnet werden, wird durch eine Mittelung eine gemittelte Kollisionszeit T ermittelt. Die Mittelung hat den Vorteil, dass dadurch die Auswirkung von Fehlern bei der Bildauswertung und Zuordnung von Bildpunkten P'i(t) und P'j(t) zu dem Kollisionsobjekt 4 reduziert wird.
  • In einer alternativen Ausführung des Verfahrens wird vor der paarweisen Auswertung von Bildpunkten P'i(t), P'j(t) eine Objekterkennung durchgeführt und nach der Objekterkennung werden nur Flussvektoren
    Figure 00070001
    und
    Figure 00070002
    von Bildpunkten P'i(t), P'j(t) ausgewertet, die bei der Objekterkennung einem Kollisionsobjekt 4 zugeordnet werden. Dadurch wird vorteilhaft die Anzahl auszuwertender Bildpunkte P'i(t), P'j(t) und dadurch der Rechenaufwand reduziert sowie die Auswertungsgeschwindigkeit erhöht.
  • In einer Weitergestaltung des Verfahrens wird vor der Bildauswertung erforderlichenfalls eine Entzerrung der von den Kameras 3.1, 3.2 aufgenommenen Kamerabilder durchgeführt. Dadurch werden vorteilhaft Bildverzerrungen korrigiert, die die Bestimmung der Kollisionszeiten Tij und T verfälschen können.
  • Eine Ausgestaltung des Verfahrens sieht ferner vor, dass für jedes Paar ausgewerteter Flussvektoren
    Figure 00070003
    ein Winkel zwischen den beiden Flussvektoren
    Figure 00070004
    und
    Figure 00070005
    ermittelt wird und aus den ermittelten Winkeln ein Kriterium dafür gebildet wird, ob eine Kollision des Fahrzeuges 1 mit einem Kollisionsobjekt 4 droht. Ein geeignetes derartiges Kriterium ist insbesondere, dass eine vorgebbare Mindestanzahl von ermittelten Winkeln einen vorgebbaren Mindestwinkel überschreitet, der nahe bei 180 Grad liegt. Aus den ermittelten Kollisionszeiten Tij, T allein Isst sich nämlich nur abschätzen, wann das Kollisionsobjekt 4 die xz-Ebene erreicht, in der eine Kamera 3.1, 3.2 liegt, nicht jedoch, wo es diese Ebene erreicht. Somit lässt sich den Kollisionszeiten Tij, T allein nicht entnehmen, ob ein erkanntes Kollisionsobjekt 4 tatsächlich mit dem Fahrzeug 1 kollidieren würde. Letzteres lässt sich jedoch mittels des oben genannten Kriteriums erkennen.
  • Dieses Kriterium nutzt aus, dass ein Kollisionsobjekt 4, das beispielsweise mit der ersten Kamera 3.1 kollidieren wird, Paare von Objektpunkten Pi, Pj aufweist, deren Flussvektoren
    Figure 00080001
    und
    Figure 00080002
    bei Annäherung an das Fahrzeug 1 einen Winkel von annähernd 180 Grad bilden. Derartige Objektpunkte Pi, Pj sind insbesondere solche, die auf verschiedenen Seiten einer durch die erste Kamera 3.1 verlaufenden yz-Ebene liegen, wie beispielsweise die Objektpunkte P1, P2 in 2. Kollisionsobjekte 4, die nicht mit der ersten Kamera 3.1 kollidieren, weisen dagegen keine derartigen Objektpunkte Pi, Pj auf. Entsprechendes gilt für die zweite Kamera 3.2.
  • Daher ermöglicht die erfindungsgemäße paarweise Auswertung von Bildpunkten P'i(t), P'j(t) nicht nur die Ermittelung von Kollisionszeiten Tij, T, sondern zusätzlich eine Unterscheidung von Kollisionsobjekten 4, die voraussichtlich mit dem Fahrzeug 1 kollidieren werden, und anderen Objekten, die voraussichtlich nicht mit dem Fahrzeug 1 kollidieren werden. Dies verbessert vorteilhaft qualitativ die Früherkennung von Kollisionen des Fahrzeuges 1.
  • Wenn mittels des Verfahrens eine drohende Kollision ermittelt wird, dann wird mittels der Auswerteeinheit 5 vorzugsweise ein Warnsignal und/oder ein Auslösesignal für wenigstens ein Sicherheitssystem des Fahrzeuges 1, beispielsweise für ein Rückhaltemittel wie einen Airbag oder Gurtstraffer, erzeugt, sobald eine ermittelte Kollisionszeit Tij, T einen vorgebbaren Schwellenwert, beispielsweise 200 ms, unterschreitet. Daher ist eine genaue Bestimmung der Kollisionszeiten Tij, T vor allem für kleine Kollisionszeiten Tij, T wichtig, was die zu den Gleichungen [9] und [10] führenden Näherungen rechtfertigt.
  • Bei Fahrzeugen 1, die mit einem Fahrerassistenzsystem ausgestattet sind, das eine oder mehrere Kameras 3.1, 3.2 zur Erfassung einer Fahrzeugumgebung aufweist, beispielsweise bei Fahrzeugen 1 mit einer kamerabasierten Einparkhilfe, können vorteilhaft Kameras 3.1, 3.2 dieses Fahrerassistenzsystems für die erfindungsgemäße Vorrichtung zur Früherkennung einer Kollision und zur Durchführung des entsprechenden erfindungsgemäßen Verfahrens eingesetzt werden, sofern sie dafür geeignet sind.
  • Dem Fachmann ist ohne Weiteres einsichtig, dass die Kameras 3.1, 3.2 nicht notwendigerweise wie in den oben beschriebenen Ausführungsbeispielen an Außenspiegeln 2 des Fahrzeuges 1 angeordnet sein brauchen, sondern alternativ oder zusätzlich Kameras 3.1, 3.2 auch an anderen zweckmäßigen Orten des Fahrzeuges 1 angeordnet werden können. Kameras 3.1, 3.2, die seitliche Umgebungen des Fahrzeuges 1 erfassen, sind jedoch besonders bevorzugt, da infolge fehlender Knautschzonen an den Fahrzeugseiten seitliche Kollisionen von Fahrzeugen mit Kollisionsobjekten 4 regelmäßig zu deutlich schwerwiegenderen Verletzungen von Fahrzeuginsassen führen als Kollisionen an einer Front- oder Heckseite von Fahrzeugen.
  • Bezugszeichenliste
    • 1 Fahrzeug
    • 2 Außenspiegel
    • 3.1 erste Kamera
    • 3.2 zweite Kamera
    • 4 Kollisionsobjekt
    • 5 Auswerteeinheit
    • (x, y, z) mitbewegtes kartesisches Koordinatensystem
    • Pi Objektpunkt
    • P Koordinatenursprung
    • ν Geschwindigkeitsbetrag
    • t Zeit
    • t1 erster Zeitpunkt
    • t2 zweiter Zeitpunkt
    • Δt Zeitintervall
    • ν(0) Geschwindigkeitsbetrag zum Zeitpunkt t1 = 0
    • P'i(t) Bildpunkt zur Zeit t
    • B Bildebene
    • a Abstand der Bildebene zum Koordinatenursprung
    • hi x-Koordinate eines Objektpunktes
    • h'i(t) x-Koordinate eines Bildpunktes zur Zeit t
    • h Differenz der x-Koordinaten zweier Objektpunkte
    • h'(t) Differenz der x-Koordinaten zweier Bildpunkte zur Zeit t
    • d(t) Abstand eines Kollisionsobjektes zur ersten Kamera
    • ḣ'(0) erste Ableitung von h'(t) nach der Zeit zum Zeitpunkt t1 = 0
    • Tij Kollisionszeit
    • T gemittelte Kollisionszeit
    • P →'i(t) Ortsvektor eines Bildpunktes
    • Figure 00110001
      Flussvektor eines Bildpunktes
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102004046101 A1 [0002, 0002]

Claims (5)

  1. Verfahren zur Früherkennung einer Kollision eines Fahrzeuges (1) mit einem Kollisionsobjekt (4), bei dem mit einer Kamera (3.1, 3.2) Bildsequenzen einer Umgebung des Fahrzeuges (1) aufgenommen werden und aus diesen Bildsequenzen Flussvektoren (
    Figure 00120001
    ) eines optischen Flusses und daraus eine Kollisionszeit (Tij, T), die eine Zeit bis zu einer Kollision des Fahrzeuges (1) mit einem Kollisionsobjekt (4) angibt, ermittelt werden, dadurch gekennzeichnet, dass Flussvektoren (
    Figure 00120002
    ) verschiedener Bildpunkte (P'i(t)) paarweise ausgewertet werden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für jedes ausgewertete Paar von Flussvektoren (
    Figure 00120003
    ) ein Abstand der zugehörigen Bildpunkte (P'i(t)) in einem Kamerabild der Kamera (3.1, 3.2) durch den Betrag der Differenz der beiden Flussvektoren (
    Figure 00120004
    ) bezogen auf dieses Kamerabild geteilt wird.
  3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass vor der paarweisen Auswertung von Flussvektoren (
    Figure 00120005
    ) eine Objekterkennung durchgeführt wird und nur Flussvektoren (
    Figure 00120006
    ) von Bildpunkten (P'i(t)) ausgewertet werden, die einem Kollisionsobjekt (4) zugeordnet werden.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für jedes Paar ausgewerteter Flussvektoren (
    Figure 00130001
    ein Winkel zwischen den beiden Flussvektoren (
    Figure 00130002
    ) ermittelt wird und aus den ermittelten Winkeln ein Kriterium dafür gebildet wird, ob eine Kollision des Fahrzeuges (1) mit einem Kollisionsobjekt (4) droht.
  5. Vorrichtung für ein Fahrzeug (1) zur Früherkennung einer Kollision des Fahrzeuges (1) mit einem Kollisionsobjekt (4), mit einer am Fahrzeug (1) anordbaren Kamera (3.1, 3.2) zur Erfassung einer Umgebung des Fahrzeuges (1) und mit einer Auswerteeinheit (5) zur Ermittelung von Flussvektoren (
    Figure 00130003
    ) eines optischen Flusses aus mittels der Kamera (3.1, 3.2) aufgenommenen Bildsequenzen und zur Ermittelung einer Kollisionszeit (Tij, T), die eine Zeit bis zu einer Kollision des Fahrzeuges (1) mit einem Kollisionsobjekt (4) angibt, anhand der ermittelten Flussvektoren (
    Figure 00130004
    ), dadurch gekennzeichnet, dass mittels der Auswerteeinheit (5) Flussvektoren (
    Figure 00130005
    ) verschiedener Bildpunkte (P'i(t)) paarweise auswertbar sind.
DE102009038906A 2009-08-26 2009-08-26 Verfahren und Vorrichtung zur Früherkennung einer Kollision eines Fahrzeuges Withdrawn DE102009038906A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102009038906A DE102009038906A1 (de) 2009-08-26 2009-08-26 Verfahren und Vorrichtung zur Früherkennung einer Kollision eines Fahrzeuges

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102009038906A DE102009038906A1 (de) 2009-08-26 2009-08-26 Verfahren und Vorrichtung zur Früherkennung einer Kollision eines Fahrzeuges

Publications (1)

Publication Number Publication Date
DE102009038906A1 true DE102009038906A1 (de) 2011-03-03

Family

ID=43525025

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009038906A Withdrawn DE102009038906A1 (de) 2009-08-26 2009-08-26 Verfahren und Vorrichtung zur Früherkennung einer Kollision eines Fahrzeuges

Country Status (1)

Country Link
DE (1) DE102009038906A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2578464A1 (de) * 2011-10-06 2013-04-10 Honda Research Institute Europe GmbH Warnsystem auf Videobasis für ein Fahrzeug
DE102011118658A1 (de) * 2011-11-15 2013-05-16 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Steuerung eines Schutzsystems in einem Fahrzeug
US11027684B2 (en) 2015-01-27 2021-06-08 Semiconductor Energy Laboratory Co., Ltd. Occupant protection device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004046101A1 (de) 2004-09-23 2006-09-21 Daimlerchrysler Ag Verfahren, Sicherheitsvorrichtung und Verwendung der Sicherheitsvorrichtung zur Früherkennung von Kraftfahrzeugkollisionen

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004046101A1 (de) 2004-09-23 2006-09-21 Daimlerchrysler Ag Verfahren, Sicherheitsvorrichtung und Verwendung der Sicherheitsvorrichtung zur Früherkennung von Kraftfahrzeugkollisionen

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2578464A1 (de) * 2011-10-06 2013-04-10 Honda Research Institute Europe GmbH Warnsystem auf Videobasis für ein Fahrzeug
US8933797B2 (en) 2011-10-06 2015-01-13 Honda Research Institute Europe Gmbh Video-based warning system for a vehicle
DE102011118658A1 (de) * 2011-11-15 2013-05-16 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Steuerung eines Schutzsystems in einem Fahrzeug
US11027684B2 (en) 2015-01-27 2021-06-08 Semiconductor Energy Laboratory Co., Ltd. Occupant protection device
DE112016000496B4 (de) 2015-01-27 2022-06-30 Semiconductor Energy Laboratory Co., Ltd. Insassenschutzvorrichtung
US11794679B2 (en) 2015-01-27 2023-10-24 Semiconductor Energy Laboratory Co., Ltd. Occupant protection device
US12103481B2 (en) 2015-01-27 2024-10-01 Semiconductor Energy Laboratory Co., Ltd. Occupant protection device

Similar Documents

Publication Publication Date Title
EP1634243B1 (de) Verfahren und vorrichtung zur objektortung für kraftfahrzeuge
DE102015121952A1 (de) Verfahren zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE112009001727T5 (de) Bildverarbeitungsvorrichtung
DE102004046101B4 (de) Verfahren, Sicherheitsvorrichtung und Verwendung der Sicherheitsvorrichtung zur Früherkennung von Kraftfahrzeugkollisionen
DE102005056647A1 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE102017223160B4 (de) Verfahren zum Erkennen von zumindest einem an einem Kraftfahrzeug anliegenden Objekt sowie Steuervorrichtung und Kraftfahrzeug
DE102013012930A1 (de) Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug
DE102012023060A1 (de) Verfahren zum Detektieren eines beweglichen Objekts mithilfe eines Histogramms anhand von Bildern einer Kamera und Kamerasystem für ein Kraftfahrzeug
DE102013224954A1 (de) Verfahren und Vorrichtung zum Erzeugen einer Warnung mittels zweier durch Kameras erfasster Bilder einer Fahrzeugumgebung
DE102013012778A1 (de) Verfahren zum Detektieren eines sich bewegenden Fußgängers anhand von charakteristischen Merkmalen und optischen Flussvektoren eines Bilds, Kamerasystem und Kraftfahrzeug
DE60023339T2 (de) System zur detektion von hindernissen bei einer fahrzeugbewegung
DE102009038906A1 (de) Verfahren und Vorrichtung zur Früherkennung einer Kollision eines Fahrzeuges
DE102012024879A1 (de) Fahrerassistenzsystem zum zumindest partiellen Abbremsen eines Kraftfahrzeugs, Kraftfahrzeug und entsprechendes Verfahren
EP1834849B1 (de) Verfahren zur Ermittlung von Objektparametern eines Fußgängers
DE102012211961A1 (de) Verfahren und Vorrichtung zum Berechnen einer Veränderung eines Abbildungsmaßstabs eines Objekts
DE102015217265A1 (de) Stereokameravorrichtung zur Umgebungserfassung eines Kraftfahrzeugs, Kraftfahrzeug mit einer solchen Stereokameravorrichtung sowie ein Verfahren zur Erkennung von Regentropfen oder Ablagerungen
DE102011118171A1 (de) Verfahren und Vorrichtung zur Schätzung einer Fahrbahnebene und zur Klassifikation von 3D-Punkten
DE102008041761A1 (de) Verfahren und Vorrichtung zur Ermittlung eines relativen Gierwinkels
DE102016118538A1 (de) Verfahren zum Klassifizieren eines Verkehrszeichens in einem Umgebungsbereich eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
EP2129548B1 (de) Verfahren und vorrichtung zur detektion von nachfolgenden fahrzeugen in einem kraftfahrzeug
DE102006020930B4 (de) Verfahren zur Umgebungsüberwachung für ein Kraftfahrzeug
DE102022003366A1 (de) Verfahren und Vorrichtung zum Bestimmen der Entfernung von einem Fahrzeug zu einem Fahrzeug zu einem Objekt mittels einer Monokularkamera
DE102010034127A1 (de) Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung in einem Kraftfahrzeug, Fahrerassistenzsystem und Kraftfahrzeug
DE102017100669A1 (de) Verfahren zum Erfassen eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung einer Region von Interesse in Abhängigkeit von einem Anhänger, Recheneinrichtung, Kamerasystem sowie Kraftfahrzeug
DE102005003786A1 (de) Umfelderkennungssystem eines Kraftfahrzeugs

Legal Events

Date Code Title Description
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20150303