DE60023339T2

DE60023339T2 - System zur detektion von hindernissen bei einer fahrzeugbewegung

Info

Publication number: DE60023339T2
Application number: DE60023339T
Authority: DE
Inventors: Gideon Stein; Amnon Shashua
Original assignee: Mobileye Technologies Ltd
Current assignee: Mobileye Technologies Ltd
Priority date: 1999-11-26
Filing date: 2000-11-27
Publication date: 2006-06-29
Anticipated expiration: 2020-11-28
Also published as: CA2392578A1; AU1927101A; DE60023339D1; ES2250218T3; EP1236126A4; JP2003527680A; WO2001039018A1; ATE307370T1; EP1236126B1; EP1236126A1

Description

Die Erfindung bezieht sich allgemein auf das Gebiet von Systemen und Verfahren zum Schätzen der Zeit bis zur Kollision (Time-to-Contact) zwischen einem sich bewegenden Fahrzeug und einem Hindernis, und insbesondere auf Systeme und Verfahren, welche die Zeit bis zur Kollision unter der Verwendung aufeinanderfolgend aufgezeichneter Bilder, die entlang des Bewegungspfads des Fahrzeugs aufgezeichnet wurden, schätzen.
Hintergrund der Erfindung
Eine genaue Schätzung der Zeit bis zur Kollision zwischen einem Fahrzeug und Hindernissen ist eine wichtige Komponente im autonomen Fahren und in der computersichtbasierten Fahrunterstützung. Die Verwendung von Computersichttechniken zum Vorsehen einer Unterstützung beim Fahren anstelle von mechanischen Sensoren ermöglicht die Verwendung von Information, die zur Verwendung bei der Schätzung der Fahrzeugbewegung gespeichert ist, auch bei der Schätzung von eigenbewegungsidentifizierenden Spuren und dergleichen, ohne dass Sensoren untereinander kalibriert werden müssen, wie das bei mechanischen Sensoren notwendig wäre. Dies kann die Kosten der Anordnungen, die zum Liefern von Zeit-bis-zur-Kollision-Schätzungen vorgesehen sind, und deren Wartung, die gegebenenfalls benötigt wird, verringern.
Das US-Patent Nr. 5,646,612 beschreibt eine Vorrichtung zur Vermeidung einer Kollision eines Fahrzeugs mit einem Gegenstand. Die Vorrichtung verwendet ein Laser-Radar-System zum Bestimmen eines Standorts des Gegenstands sowie einen Geschwindigkeitssensor zum Bestimmen der Geschwindigkeit des Fahrzeugs. Die vom Radar und dem Geschwindigkeitssensor gelieferte Positions- und Geschwindigkeitsdaten werden zum Bestimmen einer Schätzung für eine Zeit bis zur Kollision des Fahrzeugs mit dem Objekt verwendet.
Zusammenfassung der Erfindung
Die Erfindung sieht ein neues und verbessertes System vor, das eine Zeit bis zur Kollision eines Fahrzeugs mit einem Hindernis schätzt, wobei aufeinanderfolgend aufgezeichnete Bilder verwendet werden, die entlang des Bewegungspfads des Fahrzeugs aufgezeichnet werden.
Gemäß der vorliegenden Erfindung umfasst ein Zeit-bis-zur-Kollision-Schätzungsbestimmungssystem zum Erstellen einer Schätzung einer Zeit bis zur Kollision (Time-to-Contact) zwischen einem sich eine Straße entlang bewegenden Fahrzeug und einem Hindernis Folgendes:

A. einen Bildempfänger, der zum Empfangen von Bildinformation konfiguriert ist, die sich auf eine Reihe von mindestens zwei Bildern bezieht, während sich das Fahrzeug die Straße entlang bewegt; und
B. einen Prozessor; dadurch gekennzeichnet, dass der Prozessor dazu konfiguriert ist, einen Skalierungsfaktor zu bestimmen, der ein Verhältnis zwischen Abmessungen des Hindernisses in den Bildern definiert und das Verhältnis dazu verwendet eine Schätzung für die Zeit bis zur Kollision zwischen dem Fahrzeug und dem Hindernis zu erstellen.

Kurzbeschreibung der Zeichnungen
Die vorliegende Erfindung wird insbesondere in den beiliegenden Ansprüchen dargelegt. Die obigen und weitere Vorteile der vorliegenden Erfindung sind unter Bezugnahme auf die folgende Beschreibung anhand der beiliegenden Zeichnungen besser verständlich. Es zeigt:
1 schematisch ein Fahrzeug, das sich auf einer Straße bewegt und ein Zeit-bis-zur-Kollision-Schätzungssystem enthält, das erfindungsgemäß aufgebaut ist;
2A und 2B eine nützliche Darstellung zum Verständnis der scheinbaren Horizontalbewegung eines Hindernisses in einer Reihe von Bildern in Abhängigkeit von einer horizontalen Position des Hindernisses relativ zum Fahrzeug, die bei der Schätzung der Wahrscheinlichkeit nützlich ist, mit der das Fahrzeug mit dem Hindernis kollidiert; und
3 ein Flussdiagramm, das Vorgänge zeigt, die vom Zeit-bis-zur-Kollision-Schätzungssystem bei der Schätzung der Zeit bis zur Kollision des Fahrzeugs mit einem Hindernis durchgeführt werden.
Detaillierte Beschreibung einer beispielhaften Ausführungsform
1 zeigt schematisch ein Fahrzeug 10, das sich auf einer Straße 11 bewegt und ein erfindungsgemäß aufgebautes Zeit-bis-zur-Kollisian-Schätzungssystem aufweist. Das Fahrzeug 10 kann ein beliebiges Fahrzeug 10 sein, das sich auf einer Straße 11 bewegen kann, einschließlich Automobilen, LKWs, Bussen und dergleichen, hierauf jedoch nicht eingeschränkt. Das Zeit-bis-zur-Kollision-Schätzungssystem 12 enthält eine Kamera 13 und einen Prozessor 14. Die Kamera 13 ist auf dem Fahrzeug 10 angebracht und zeigt vorzugsweise in eine Richtung nach vorne, das heißt in die Richtung, in die sich das Fahrzeug normalerweise bewegt, um aufeinanderfolgende Bilder aufzuzeichnen, während sich das Fahrzeug über die Straße bewegt. Vorzugsweise liefert dann die Kamera 13, während sie das jeweilige Bild aufzeichnet, das Bild an den Prozessor 14. Der Prozessor 14 verarbeitet dann seinerseits Information, die er von den aufeinanderfolgenden Bildern erhält, möglicherweise zusammen mit anderer Information, zum Beispiel mit Information vom (hier nicht weiter gezeigten) Geschwindigkeitsmesser des Fahrzeugs, um einen Zeit-bis-zur-Kollision-Wert zu schätzen, der gegebenenfalls einer geschätzten Zeit bis zur Kollision des Fahrzeugs 10 mit einem oder mehreren Hindernissen entspricht, die allgemein mit den Bezugszeichen 15 bezeichnet sind. Der Prozessor 14 kann auch in oder auf dem Fahrzeug 11 angebracht sein und kann ein Teil davon sein. Die vom Prozessor 14 erzeugten Zeit-bis-zur-Kollision-Schätzungen können für eine Anzahl von Dingen verwendet werden, zum Beispiel für ein autonomes Fahren des Fahrzeugs, zum Liefern einer Unterstützung bei der Kollisionsvermeidung und dergleichen, hierauf jedoch nicht eingeschränkt. Die vom Prozessor 14 beim Schätzen der Zeit bis zur Kollision durchgeführten Vorgänge werden anhand des in 3 gezeigten Flussdiagramms beschrieben.
Bevor mit der Beschreibung weiter fortgefahren wird, ist es hilfreich, einige Hintergrundinformationen für die Vorgänge zu liefern, die vom Kollisionserfassungs- und Zeit-bis-zur-Kollision-Schätzungsprozessor 14 ausgeführt werden, der in 1 gezeigt ist, während er mögliche Hindernisse in der Bewegung des Fahrzeugs 10 und den Zeitraum bis zur Kollision des Fahrzeugs 10 mit den eventuellen Hindernissen erfasst. Allgemein können die vom Prozessor 14 durchgeführten Vorgänge in zwei Phasen eingeteilt werden, nämlich eine Hinderniserfassungsphase und eine Zeit-bis-zur-Kollision-Schätzungsphase. Es versteht sich, dass sich diese Phasen im Zusammenhang mit verschiedenen Hindernissen überlagern können, wobei sich der Prozessor 14 mit der Hinderniserfassungsphase beschäftigt, in der er versucht, neue Hindernisse zu erfassen, während er mit der Zeit-bis-zur-Kollision-Schätzungsphase beschäftigt ist, um eine Zeit bis zur Kollision mit zuvor entdeckten Hindernissen zu bestimmen.
Während der Hinderniserfassungsphase werden zwei allgemeine Vorgänge durchgeführt. Zuerst werden unter der Verwendung eines Straßenlöschoperators, wie zum Beispiel zwischen zwei aufeinanderfolgenden Bildern ψ, ψ',...die Teile der Bilder, welche die Projektionen der Straße beinhalten, identifiziert. Die Teile der Bilder, die als die Projektionen der Straße enthaltend identifiziert werden, werden ignoriert. Unter der Verwendung eines Hinderniserfassungsoperators werden Teile der Bilder, die nicht Projektionen der Straße sind, zum Identifizieren von Hindernissen analysiert. Nachdem die Hindernisse identifiziert sind, wird während der Zeit-bis-zur-Kollision-Schätzungsphase eine Zeit-bis-zur-Kollision-Schätzung für die identifizierten Hindernisse erzeugt. Die Zeit-bis-zur-Kollision-Schätzung gibt an, ob das Fahrzeug 10 und das Hindernis sich aufeinander zu, von einander weg oder unter Beibehaltung eines konstanten Abstands bewegen. Insbesondere, wenn die Zeit-bis-zur-Kollision-Schätzung für ein bestimmtes Hindernis positiv ist, bewegen sich das Fahrzeug 10 und das Hindernis aufeinander zu, wenn die Schätzung gegen unendlich geht, ist der Abstand konstant, und wenn die Schätzung negativ ist, bewegen sich das Fahrzeug 10 und das Hindernis voneinander weg.
Es versteht sich, dass die für ein bestimmtes Paar von Bildern ψ und ψ' erzeugte Zeit-bis-zur-Kollision-Schätzung eine Schätzung der Zeit bis zur Kollision zu jenem Zeitpunkt liefert, in dem das spätere Bild ψ' aufgezeichnet wurde. Die wie hier beschrieben erzeugte Zeit-bis-zur-Kollision-Schätzung berücksichtigt jedoch nicht andere Information, die zum Bestimmen der Wahrscheinlichkeit dessen nützlich sein kann, ob das Fahrzeug 10 mit dem Hindernis kollidiert, wenn ihre Relativbewegung konstant bleibt. Zum Beispiel kann Eigenbewegungsinformation (die zum Beispiel unter der Verwendung einer in der Stein-Patentanmeldung beschriebenen Methode erzeugt werden kann) und Information über die Form der Straße und den zu erwartenden Pfad des Fahrzeugs zum Bestimmen nützlich sein, ob das Fahrzeug aller Wahrscheinlichkeit nach mit dem Hindernis kollidiert. Wenn zum Beispiel das Hindernis in der gleichen Spur wie das Fahrzeug 10 ist und wenn die Zeit-bis-zur-Kollision-Schätzung positiv ist, was anzeigt, dass sich der Abstand zwischen dem Fahrzeug 10 und dem Hindernis verringert, kann bestimmt werden, dass das Fahrzeug 10 aller Wahrscheinlichkeit nach mit dem Hindernis kollidiert, wenn die Bewegung des Fahrzeugs nicht geändert wird. Außerdem können unter der Verwendung derselben Information Strategien zur Vermeidung eines Kontakts entwickelt werden, wie zum Beispiel ein Ändern der Geschwindigkeit, ein Wechseln der Spur oder auch andere Strategien, wie das dem Fachmann verständlich sein wird.
Wie oben angegeben, werden während der Hinderniserfassungsphase ein Straßenerfassungsoperator und ein Hinderniserfassungsoperator zur Erleichterung der Identifikation von Hindernissen verwendet. Auch wenn der Hinderniserfassungsoperator alleine zur Identifizierung von Hindernissen verwendet werden könnte, da die Straße kein Hindernis darstellt und da typischerweise die Projektion der Straße relativ große Teile der entsprechenden Bilder von ψ und ψ' ausmachen, können diese Teile beim Anwenden des Hinderniserfassungsoperators ignoriert werden. Der Straßenerfassungsoperator führt anfänglich eine Tessellierung in entsprechende Bereiche "R" durch. Das Bild ψ und ein Bild
, wobei das Bild
die Verzerrung des Bilds ψ' zum Bild ψ hin ist, wobei die geschätzte Bewegung des Fahrzeugs zwischen der Zeit, zu der das Bild ψ aufgezeichnet wurde, und der Zeit, zu der das Bild ψ' aufgenommen wird, verwendet wird, und erzeugt Werte "Q" wie folgt:
Die geschätzte Bewegung, die zum Erzeugen des verzerrten Bilds
verwendet wird, enthält die Translation und die Rotation des Fahrzeugs 10 zwischen dem Zeitpunkt, zu dem das Bild ψ aufgezeichnet wurde und dem Zeitpunkt, zu dem das Bild ψ' aufgezeichnet wurde, und kann eine anfängliche grobe Schätzung sein, die zum Beispiel der von einem Geschwindigkeitsmesser gelieferten Fahrzeuggeschwindigkeit oder der geschätzten Bewegung beruht, die zum Beispiel nach der in der Stein-Patentanmeldung beschriebenen Methode erzeugt wurde. Es ist ersichtlich, dass das verzerrte Bild
allgemein eine Schätzung dessen widerspiegelt, wie das Bild wohl zu der Zeit geworden wäre, da das Bild ψ aufgezeichnet wurde. Dies gilt für Bereiche, die Projektionen der Straße sind, jedoch nicht notwendigerweise für andere Bereiche, und gilt insbesondere nicht für Bereiche, die eine vertikale Erstreckung haben, wie das bei Hindernissen der Fall sein wird. Demnach werden Bereiche in Bildern ψ und
, für welche der Wert "Q" unter einem ausgewählten Schwellenwert ist, als Bereiche betrachtet, die Projektionen der Straße sind, und andere Bereiche nicht als Bereiche betrachtet, die Projektionen der Straße sind. In ähnlicher Weise werden Bereiche im Bild ψ', die zu Bereichen im Bildes
verzerrt wurden, die als Bereiche gelten, die Projektionen der Straße sind, auch als Bereiche betrachtet, die Projektionen der Straße sind, und andere Bereiche im Bild ψ' werden nicht für Projektionen der Straße gehalten.
Nachdem der Straßenerfassungsoperator zum Identifizieren von Bereichen in den Bildern ψ und ψ' verwendet wurde, die nicht Projektionen der Straße sind, werden diese Bereiche unter der Verwendung des Hinderniserfassungsoperators zum Erfassen von Hindernissen in diesen Bereichen verarbeitet. Im Allgemeinen versteht es sich, dass im Gegensatz zur Straße oder zu Elementen, Artefakten, wie zum Beispiel Straßenmarkierungen, auf die Straßenoberfläche geworfene Schatten und dergleichen, die alle eine horizontale Erstreckung haben, Hindernisse zusätzlich zur horizontalen Erstreckung auch eine vertikale Erstreckung aufweisen. Demnach weisen zum Beispiel zwischen zwei aufeinanderfolgenden Bildern ψ und ψ' Artefakte, wie zum Beispiel Markierungen auf der Straßenoberfläche, auf die Straßenoberfläche geworfene Schatten und dergleichen, eine Ausdehnung entlang der Horizontalachse der Bilder und nur eine geringe oder keine Ausdehnung entlang den vertikalen Achsen auf. Auf der anderen Seite werden Hindernisse, die eine vertikale Erstreckung haben, zusätzlich zur Ausdehnung entlang den horizontalen Achsen auch eine gleichmäßigere Ausdehnung entlang den vertikalen Achsen der Bilder aufweisen.
Mit dieser Beobachtung werden in der Hinderniserfassungsphase die Bilder unter der Verwendung von zwei Filtern, nämlich einem Straßenfilter und einem Hindernisfilter, bearbeitet. Der Straßenfilter filtert Teile der Straße und entsprechende Artefakte auf den Bildern ψ und ψ' aus und hinterlässt nur die Hindernisse. Die affine Bewegung eines Flecks zum Beispiel zwischen den Bildern ψ und ψ', die eine Projektion eines Hindernisses ist, weist um einen "Expansionsfokus" (Focus of Expansion/FOE) für das Hindernis eine allgemein gleichmäßige Skalierung auf. Das heißt, wenn der FOE eines Hindernisses an einem Punkt p_FOE(x₀,y₀) im Bild ψ ist, dann hat der Bewegungsvektor (u,v) einer Projektion eines Punkts P(X,Y,Z) auf dem Hindernis, der auf den Punkt p(x,y) im Bild ψ projiziert wird, die Komponenten u = s (x – x0) (2) v = s (y – y0) (3)wobei "s" eine Konstante ist, die die gleichmäßige Skalierung reflektiert. Die Komponenten des Bewegungsvektors zeigen die Horizontal- und Vertikalbewegung einer Projektion eines Punkts P(X,Y,Z) im dreidimensionalen Raum zwischen der Projektion p(x,y) im Bild ψ und der Projektion p'(x',y') im Bild ψ' an. Wenn die Koordinaten des FOE nicht bekannt sind, dann reflektiert der Bewegungsvektor immer noch eine gleichmäßige Skalierung und reflektiert dann auch eine Translation u = sx + xf (4) v = sy + yf (5)wobei x_f = –sx₀ und y_f = –sy₀ ist. Es ist ersichtlich, dass in den Gleichungen (4) und (5) die Ausdrücke "sx" und "sy" die gleichmäßige Skalierung reflektieren und die Ausdrücke x_f und y_f die Translation reflektieren. Da für den Bewegungsvektor die Komponenten u = x'–x und v = y'–y gelten, wobei "x" und "y" die Koordinaten der Projektion eines Punkts im dreidimensionalen Raum im Bild ψ und "x'" und "y'" die Koordinaten der Projektion desselben Punkts im dreidimensionalen Raum im Bild ψ' sind, folgt
Wenn man die Gleichung (6) in das Kriterium der konstanten Helligkeit einsetzt, folgt uIx + vIy + It = 0 (7),ergibt (sx + xf)Ix + (sy + yf)Iy = –It (8),die wie folgt geschrieben werden kann
wobei das hochgestellte "T" die Transpositionsoperation repräsentiert. Bereiche der Bilder ψ, ψ', für welche die Gleichung (9) gilt, repräsentieren Hindernisse.
Wenn während der Hinderniserfassungsphase eines oder mehrere Hindernisse erfasst werden, kann der Prozessor 14 gegebenenfalls eine Schätzung der Zeit bis zur Kollision des Fahrzeugs 10 mit dem Hindernis erzeugen. Auch wenn die Zeit bis zur Kollision den Abstand zwischen dem Fahrzeug und dem Hindernis reflektiert, ist ersichtlich, dass in vielen Umständen die Zeit bis zur Kollision ein nützlicheres Maß darstellt. Der Abstand des Hindernisses zur Bildebene der Kamera 13, die ihrerseits den Abstand des Hindernisses zum Fahrzeug 10 reflektiert, zu einem Zeitpunkt T–ΔT, zu dem das Bild ψ aufgezeichnet wurde, ist Z+ΔZ, und der Abstand am Zeitpunkt T, zu dem das Bild ψ' aufgezeichnet wurde, ist Z. (Hierbei ist zu berücksichtigen, dass die Werte sowohl von "ΔT" als auch von "ΔZ" positiv sind).
Wenn es keine Veränderung der Relativbewegung zwischen dem Fahrzeug 10 und dem Hindernis gibt, dann wird der Abstand Z zum Hindernis in einem Zeitraum T zurückgelegt, das heißt, dass die Zeit bis zur Kollision T ist.
Der Prozessor 14 schätzt die Zeit bis zur Kollision T relativ zum Verhältnis der Skalierung des Hindernisses, wie es gegebenenfalls in den Bildern ψ und ψ' aufgezeichnet ist, und insbesondere relativ zur Skalierung der senkrechten Dimension. Wenn die senkrechte Dimension des Hindernisses im Bild ψ wie folgt ist
wobei sich "Y" auf die Höhe des Hindernisses im dreidimensionalen Raum bezieht und "f' die Brennweite der Kamera 13 ist. In ähnlicher Weise ist die senkrechte Dimension des Hindernisses in einem Bild ψ' wie folgt
da sich die Höhe "Y" des Hindernisses im dreidimensionalen Raum nicht zwischen den Zeiten ändert, zu denen die Bilder ψ und ψ' aufgezeichnet werden. Der Skalierungsfaktor, bzw. das entsprechende Verhältnis, der senkrechten Abmessung "S" in den Bildern ist
Wenn man zusätzlich annimmt, dass es keine Veränderung der Bewegung zwischen dem Fahrzeug 10 und dem Hindernis gibt, ist die relative Geschwindigkeit
zwischen dem Fahrzeug 10 und dem Hindernis während des Zeitraums zwischen den Zeitpunkten, zu denen die Bilder ψ und ψ' aufgezeichnet wurden, dann gleich der relativen Geschwindigkeit
während des Zeitraums zwischen dem Zeitpunkt, zu dem das Bild ψ' aufgezeichnet wurde, und dem Zeitpunkt, zu dem das Fahrzeug 10 mit dem Hindernis kollidieren würde. Das heißt
Eine Umformung der Gleichung 13 ergibt
Eine Kombination der Gleichungen (14) und (12) ergibt
Eine Umformung der Gleichung (15) zur Auflösung nach T, der Zeit bis zur Kollision, ergibt
Es ist ersichtlich, dass, wenn der Wert von ΔZ positiv und nicht null ist, aus der Gleichung (12) der Wert von S größer als eins sein wird, wobei in diesem Fall der Wert des Faktors
in Gleichung (16) größer als null sein wird. In diesem Fall ist dann die Zeit bis zur Kollision T positiv. Es ist ersichtlich, dass dies vorkommen kann, wenn der Abstand, der das Fahrzeug 10 vom Hindernis trennt, kleiner wird. Wenn auf der anderen Seite der Wert des Verhältnisses S gleich eins ist, was vorkommen kann, wenn die senkrechte Abmessung des Hindernisses im Bild ψ dieselbe ist wie die senkrechte Abmessung im Bild ψ', dann ist der Wert des Faktors
in der Gleichung 16 unendlich, wobei in diesem Fall die Zeit bis zur Kollision T ebenfalls unendlich ist. Hieraus ist ersichtlich, dass hierbei, wenn sich das Fahrzeug 10 bewegt, sich das Hindernis ebenfalls bewegt, und es sich mit der gleichen Geschwindigkeit wie das Fahrzeug 10 bewegt, wobei in diesem Fall dann der Abstand zwischen dem Fahrzeug 10 und dem Hindernis konstant bleibt. Wenn schließlich der Wert des Verhältnisses S kleiner als eins ist, was vorkommen kann, wenn die senkrechte Abmessung des Hindernisses im Bild ψ größer als die senkrechte Abmessung im Bild ψ' ist, dann ist der Wert des Faktors
in der Gleichung (16) negativ, wobei in diesem Fall dann die Zeit bis zur Kollision T ebenfalls negativ ist. Hieraus ist ersichtlich, dass sich hierbei das Hindernis ebenfalls bewegt, und zwar mit einer Geschwindigkeit, die größer ist als diejenige des Fahrzeugs 10, sowie in einer Richtung vom Fahrzeug 10 weg. Es ist dann ersichtlich, dass unter der Verwendung der Gleichung (16) der Prozessor 14 die Zeit bis zur Kollision schätzen kann, wobei er lediglich Information aus den Bildern ψ und ψ' und den Zeitraum ΔT verwendet und keine Information über den tatsächlichen Abstand zwischen dem Fahrzeug 10 und dem Hindernis benötigt.
Wie oben bemerkt, reflektiert der wie oben beschrieben erzeugte Zeit-bis-zur-Kollision-Wert tatsächlich die Rate, mit der sich der Abstand zwischen dem Fahrzeug 10 und dem Hindernis zu dem Zeitpunkt verringert, zu dem das Bild ψ' aufgezeichnet wurde. Je nach den besonderen Positionen und Geschwindigkeiten (die die Richtung und auch die Geschwindigkeit reflektieren) des Fahrzeugs 10 und des Hindernisses zu einem bestimmten Zeitpunkt sowie die Größen und insbesondere die horizontalen Abmessungen des Fahrzeugs 10 und des Hindernisses können das Fahrzeug und das Hindernis tatsächlich kollidieren oder nicht. Dies wird anhand der 2A und 2B nun beschrieben. Mit Bezug auf die 2A bezeichnet diese Figur schematisch einen Teil einer gebogenen Straße 20 mit drei Spuren, das heißt einer Mittelspur, welche durch die Linie 21C repräsentiert wird, einer Spur links der Mittelspur, die durch die Linie 21L repräsentiert ist, und eine Spur rechts von der Mittelspur, welche durch die Linie 21R repräsentiert ist. Der Krümmungsmittelpunkt der Straße ist bei 0. Das Fahrzeug 10 bewegt sich auf der Mittellinie 21C, und Hindernisse, die andere Fahrzeuge sind, bewegen sich auf allen drei Spuren. Zur Vereinfachung der Erläuterung wird angenommen, dass sich das Koordinatensystem mit dem Fahrzeug 10 mitbewegt. Außerdem wird auch angenommen, dass eine Reihe von Bildern aufgezeichnet wird, einschließlich eines ersten Bildes ψ, wenn die Hindernisse an den Orten a, a', a'' sind, ein zweites Bild ψ'', wenn die Hindernisse an den Orten b, b', b" sind, ein drittes Bild ψ''', wenn sich die Hindernisse an den Orten c, c', c'' befinden, ein viertes Bild ψ'''', wenn sich die Hindernisse an den Orten d, d', d'' befinden und so weiter. Bei diesen Beispielen verringern sich die Abstände zwischen dem Fahrzeug 10 und allen drei Hindernissen. Kurven der Abstände und der Horizontalkoordinaten der entsprechenden Hindernisse in der Reihe von Bildern sind in 2B gezeigt (wobei zu berücksichtigen ist, dass sich die Vertikalkoordinaten der entsprechenden Hindernisse in den Bildern nicht ändern), wobei der Abstand zwischen dem Hindernis in der Spur 21C durch ausgefüllte Kreise, der Abstand zum Hindernis in der Spur 21L durch hohle Kreise und der Abstand zum Hindernis in der Spur 21R durch Kreuze ("+") repräsentiert wird. In 2B wird angenommen, dass sich das Fahrzeug am Ursprung befindet, das heißt an dem Punkt, an dem die X-Koordinate null und auch die Z-Koordinate null ist, auch wenn dabei zu berücksichtigen ist, dass das Fahrzeug 10 eine horizontale Abmessung hat, die nicht gleich null ist, der Teif der horizontalen Dimension der Breite, die vom Fahrzeug eingenommen wird, sich nach links und rechts vorn Ursprung um eine Strecke erstreckt, die von der Breite des Fahrzeugs abhängt. Wie in 2B gezeigt, nähern sich anfänglich alle drei Hindernisse dem Fahrzeug 10, jedoch vergrößern sich die Abstände zwischen dem Fahrzeug 10 und den Hindernissen in der linken und in der rechten Spur 21R bzw. 21L wieder. Der Abstand zwischen dem Hindernis in derselben Spur 21C vom Fahrzeug 10 wird sich jedoch weiter verringern. Wenn die Zeitabstände zwischen den Zeitpunkten, zu denen die Bilder aufgezeichnet werden, gleichmäßig sind, wird die Horizontalkoordinate der Projektion des Hindernisses in der Spur 21C gleichmäßig gegen null gehen. Für Hindernisse in den anderen Spuren 21L und 21R wird die Bewegung der Horizontalkoordinate nicht gleichmäßig sein. Unter der Verwendung der Information bezüglich der Gleichmäßigkeit des Fortschreitens der Horizontalkoordinaten der Projektion des Fahrzeugs über die aufeinanderfolgenden Bilder hinweg kann die Wahrscheinlichkeit dessen, ob das Fahrzeug mit einem Hindernis kollidieren wird, bestimmt werden.
Vor diesem Hintergrund werden vom Prozessor 14 im Zusammenhang mit der Bestimmung der Zeit bis zur Kollision durchgeführte Vorgänge im Zusammenhang mit dem in 3 gezeigten Flussdiagramm beschrieben. Unter Bezugnahme auf 3 wird nach dem Empfangen eines neuen Bilds ψ' der Prozessor 14 anfänglich die Eigenbewegung (Egomotion) des Fahrzeugs 10 bestimmen (Schritt 300), wobei er zum Beispiel ein Verfahren verwendet, das im Zusammenhang mit der Stein-Patentanmeldung beschrieben wurde. Unter der Verwendung der geschätzten Eigenbewegung und, falls vorhanden, der Spurinformation, extrapoliert der Prozessor 14 den zukünftigen Weg des Fahrzeugs (Schritt 301) und identifiziert eine "Gefahrenzone" entlang des extrapolierten zukünftigen Wegs (Schritt 302). Bei der Durchführung des Schritts 302 kann der Prozessor 14 geometrische Annahmen nutzen, die auf den Kalibrierungsparametern der Kamera beruhen, und die Gefahrenzone kann zum Beispiel ein trapezförmiger Bereich entlang des Bilds der Straße sein. Der Prozessor 14 wendet dann den Straßenerfassungsoperator (Schritt 303) und den Hinderniserfassungsoperator (Schritt 304) auf diese Teile an, um Hindernisse zu identifizieren, die sich im extrapolierten Weg oder in dessen Nähe befinden. Hiernach bestimmt dann der Prozessor 14 nach der Anwendung des Hinderniserfassungsoperators (Schritt 305), ob Hindernisse identifiziert wurden, wobei er, wenn das nicht der Fall ist, zum Schritt 300 zurückkehrt, um das nächste Bild zu empfangen.
Wenn andererseits der Prozessor 14 in Schritt 305 bestimmt, dass eines oder mehrere Hindernisse in Schritt 304 identifiziert wurden, untersucht der Prozessor 14 die nächsten Bilder ψ'', ψ''', ψ'''',..., um zu bestimmen, ob die Bilder Projektionen der entsprechenden Hindernisse (des entsprechenden Hindernisses) enthalten (Schritt 306). Ein Weiterverfolgen von Hindernissen, deren Projektionen in einem oder zwei Bildern über aufeinanderfolgende Bilder erfasst wurden, ergibt eine Überprüfung dahingehend, dass die Hindernisse tatsächlich existieren und keine Artefakte in den entsprechenden Bildern sind. Für Hindernisse, deren Projektionen in einer vorbestimmten Anzahl aufeinanderfolgender Bilder aufgezeichnet wurden, bestimmt der Prozessor 14, dass das Hindernis bzw. die Hindernisse überprüft wurden (Schritt 307), und für überprüfte Hindernisse bestimmt der Prozessor 14 den Wert des Skalierungsfaktors "S" für das Hindernis zwischen aufeinanderfolgenden Bildern (Schritt 308). Nach der Bestimmung des Werts des Skalierungsfaktors verwendet der Prozessor 14 diesen Wert und den Wert ΔT in der Gleichung (16) zum Bestimmen der Zeit bis zur Kollision T (Schritt 309). Hiernach kann der Prozessor den Zeit-bis-zur-Kollision-Wert zum Beispiel im Zusammenhang einer Kollisionsvermeidungsunterstützung für das Fahrzeug oder den Fahrer nutzen, wenn zum Beispiel der Zeit-bis-zur-Kollision-Wert positiv ist. Wenn, wie oben beschrieben, der Zeit-bis-zur-Kollision-Wert nicht positiv ist, dann wird es keine Kollision zwischen dem Fahrzeug 10 und dem Hindernis geben.
Die Erfindung liefert eine Anzahl von Vorteilen. Insbesondere sieht die vorliegende Erfindung eine Anordnung zum Schätzen einer Zeit bis zur Kollision eines Fahrzeugs 10 mit einem Hindernis direkt aus aufeinanderfolgend aufgezeichneten Bildern des Hindernisses vor, ohne dass dazu andere mechanische oder elektronische Sensoren benötigt werden, die bei ihrer Installation und Standhaltung teuer sein können.
Es wird darauf hingewiesen, dass eine Anzahl von Veränderungen und Modifikationen am oben beschriebenen Zeit-bis-zur-Kollision-Schätzungssystem 12 vorgenommen werden können. Zum Beispiel kann das System 12 anstelle einer Verwendung der Skalierung der senkrechten Abmessung von Hindernissen zwischen Bild ψ und Bild ψ' auch die Skalierung der horizontalen Abmessung oder beide verwenden.
Zusätzlich ist einzusehen, dass die Bilder ψ und ψ' vorzugsweise rektifiziert (entzerrt) werden, wie zum Beispiel in der Stein-Patentanmeldung beschrieben, so dass ihre Bildebenen senkrecht zur Ebene der Straße sind.
Außerdem ist einzusehen, dass auch Straßenerfassungsfilter und Hinderniserfassungsfilter, die anders sind als die hier beschriebenen oder zusätzlich zu diesen verwendet werden können. Zum Beispiel kann ein Filter verwendet werden, wie er zum Beispiel in der schon genannten Stein-Patentanmeldung beschrieben ist, um Flecken zu identifizieren, die Projektionen von Hindernissen enthalten.
So ist einzusehen, dass ein erfindungsgemäßes System teilweise oder ganz aus spezieller Hardware oder einem Allzweckcomputersystem oder einer beliebigen Kombination hiervon aufgebaut werden kann, wobei ein beliebiger Teil davon durch ein entsprechendes Programm gesteuert werden kann. Ein beliebiges Programm kann ganz oder teilweise in herkömmlicher Weise auf dem System gespeichert sein, oder es kann ganz oder teilweise über ein Netz oder einen anderen Mechanismus zum Übertragen von Information in herkömmlicher Weise an das System geliefert werden. Außerdem wird es einzusehen sein, dass das System mittels Information betrieben und/oder sonst wie gesteuert werden kann, die von einem Betreiber von Betreibereingabeelementen (die nicht gezeigt sind) geliefert werden kann, die direkt an das System angeschlossen sein können oder welche die Information über ein Netzwerk oder einen anderen Mechanismus zum Übertragen von Information in einer herkömmlichen Weise an das System übertragen können.

Claims

Zeit-bis-zur-Kollision-Schätzungsbestimmungssystem (12) zum Erstellen einer Schätzung einer Zeit bis zur Kollision (time-to-contact) zwischen einem sich eine Straße (11) entlang bewegenden Fahrzeug (10) und einem Hindernis (15), umfassend: A. einen Bildempfänger (13), der zum Empfangen von Bildinformation konfiguriert ist, die sich auf eine Reihe von mindestens zwei Bildern bezieht, während sich das Fahrzeug die Straße entlang bewegt; und B. einen Prozessor (14); dadurch gekennzeichnet, dass der Prozessor dazu konfiguriert ist, einen Skalierungsfaktor zu bestimmen, der ein Verhältnis zwischen Abmessungen des Hindernisses in den Bildern definiert, und das Verhältnis dazu verwendet, eine Schätzung für die Zeit bis zur Kollision zwischen dem Fahrzeug und dem Hindernis zu erstellen.
System nach Anspruch 1, wobei der Skalierungsfaktor ein Verhältnis zwischen senkrechten Abmessungen des Hindernisses in den Bildern definiert und der Prozessor (14) das Verhältnis zum Schätzen der Zeit bis zur Kollision verwendet.
System nach Anspruch 1, wobei der Skalierungsfaktor ein Verhältnis zwischen waagrechten Abmessungen des Hindernisses in den Bildern definiert und der Prozessor (14) das Verhältnis zum Schätzen der Zeit bis zur Kollision verwendet.
System nach einem der vorhergehenden Ansprüche, wobei die mindestens zwei Bilder mehr als zwei Bilder umfassen.
System nach Anspruch 4, wobei der Prozessor (14) die Bildinformation dazu verarbeitet, eine seitliche Verschiebung des Gegenstands relativ zu einer Position des Fahrzeugs zu bestimmen.
System nach Anspruch 5, wobei der Prozessor (14) eine Wahrscheinlichkeit einer Kollision im Ansprechen daraufhin bestimmt, ob die seitliche Verschiebung im Wesentlichen gleichmäßig gegen null geht oder nicht.