DE102004046101A1

DE102004046101A1 - Verfahren, Sicherheitsvorrichtung und Verwendung der Sicherheitsvorrichtung zur Früherkennung von Kraftfahrzeugkollisionen

Info

Publication number: DE102004046101A1
Application number: DE102004046101A
Authority: DE
Inventors: Uwe Dr.-Ing. Franke; Fridtjof Dr.rer.nat. Stein
Original assignee: DaimlerChrysler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2004-09-23
Filing date: 2004-09-23
Publication date: 2006-09-21
Anticipated expiration: 2024-09-24
Also published as: DE102004046101B4

Abstract

Die Erhöhung der Sicherheit von Fahrzeugen im Straßenverkehr ist ein großes Bestreben der Automobilindustrie. Die Erfolge durch die Neuentwicklung und ständige Verbesserung von Sicherheitsvorrichtungen ist an den relativ zu der ständig steigenden Verkehrsdichte sinkenden Zahlen von Unfallverletzten eindrucksvoll abzulesen. Um diesen positiven Trend weiter fortzusetzen, werden weitere Systeme zur Erhöhung der Sicherheit im Straßenverkehr entwickelt. Die Erfindung betrifft ein Verfahren, eine Sicherheitsvorrichtung sowie die Verwendung der Sicherheitsvorrichtung zur Früherkennung von Kraftfahrzeugskollisionen. DOLLAR A Bei dem Verfahren zur Früherkennung von Kraftfahrzeugskollisionen ist vorgesehen, mit einem Kamerasystem die Umgebung eines Kraftfahrzeugs mit möglichen Kollisionsobjekten zu erfassen und durch Auswertung der Bildsequenzen eine Kollisionszeit für die möglichen Kollisionsobjekte und das Kraftfahrzeug zu ermitteln. Auf Basis der ermittelten Kollisionszeit wird eine Kollisionsgefährdung abgeschätzt und bei Überschreiten einer vorgegebenen Kollisionsgefährdung werden kollisionsfolgenvermindernde Maßnahmen eingeleitet.

Description

Die Erfindung betrifft ein Verfahren, eine Sicherheitsvorrichtung sowie die Verwendung der Sicherheitsvorrichtung zur Früherkennung von Kraftfahrzeugskollisionen.
Die Erhöhung der Sicherheit von Fahrzeugen im Straßenverkehr ist ein großes Bestreben der Automobilindustrie. Die Erfolge durch die Neuentwicklung und ständige Verbesserung von Sicherheitsvorrichtungen ist an den relativ zu der ständig steigenden Verkehrsdichte sinkenden Zahlen von Unfallverletzten eindrucksvoll abzulesen. Um diesen positiven Trend weiter fortzusetzen werden weitere Systeme zur Unfallvermeidung entwickelt.

Die Druckschrift US 5,559,695 offenbart eine Vorrichtung und ein Verfahren zur Selbstkalibrierung eines visuellen Sensors zur Bestimmung einer Kollisionszeit zwischen einem bewegten Fahrzeug und möglichen Kollisionsobjekten. Das Sichtfeld des Sensors ist in Bewegungsrichtung des bewegten Fahrzeugs ausgerichtet. Der Sensor wird eingesetzt, um die Bewegung des Fahrzeugs zu steuern, insbesondere eine Ausweichbewegung einzuleiten, oder eine Kollisionswarnung für den Fahrzeuglenker zu erzeugen, Mit anderen Worten, das offenbarte Verfahren sieht vor, mögliche Kollisionen zu vermeiden.

Die Druckschrift US 6,535,114 B1 offenbart ein Verfahren und eine Vorrichtung zur Erkennung der Umgebung eines Fahrzeugs, wobei eine auf dem Dach eines Fahrzeugs angeordnete Kamera vorgesehen ist, die in Fahrtrichtung des Fahrzeugs ausgerichtet ist. Mögliche Kollisionsobjekte werden in einem ersten Schritt mittels Bildverarbeitung erkannt. In einem zweiten Schritt werden Bewegungsdaten der Kollisionsobjekte durch Auswertung des optischen Flusses der mit der Kamera aufgenommenen Bildsequenzen ermittelt. Auf Basis der ermittelten Bewegungsdaten wird der Motor, die Bremse, das Getriebe oder die Lenkung gesteuert. Ferner werden Informationen mittels optischer Anzeige oder einem Lautsprecher dem Fahrzeuglenker zur Kenntnis gebracht. Auch dieses System dient der Vermeidung von Unfällen.

Die Druckschrift US 6,581,007 B2 beschreibt ein System, Verfahren und Programm zur Detektion einer Annäherung an ein Objekt, insbesondere an ein Fahrzeug. Als Sensor wird eine Kamera verwendet, die in Fahrtrichtung des Fahrzeugs ausgerichtet ist. Als Verwendungszweck des Systems, Verfahrens bzw. Programms ist die Vermeidung von Unfällen angegeben.

Die Druckschrift JP -10096626 A beschreibt einen optischen Sensor und ein Verfahren zur Bestimmung des Abstands von vorbeifahrenden Fahrzeugen, wobei der optische Sensoren als Kamera ausgebildet ist. Das Verfahren sieht vor, aus den aufgenommenen Bildern der Kamera Informationen über eine sogenannte "plate-number" zu extrahieren und diese "plate-number" anhand von in Datenbank abgespeicherten "plate-numbern" zu klassifizieren. Der Abstand wird durch Vergleich der Größe der aufgenommenen "plate-number" und der Größe der abgespeicherten "plate-number" ermittelt. Dieser Sensor und das Verfahren soll zur Unfallvermeidung geeignet sein.

Der Aufsatz von Shridar Lakshmana: "A side collision awareness method", Proc. of IEEE Conference on intelligent vehicles, 2002 beschreibt ein Verfahren zur Früherkennung einer seitlichen Kollision. Bei diesem Verfahren wird der optische Fluss von Bildsequenzen, die von einer in seitlicher Blickrichtung ausgerichteten Kamera aufgenommen werden, ermittelt und für jeden Bildpunkt ein lokaler time-to-contact berechnet. Die Gesamtheit aller time-to-contact Werte wird anschließend als eine Gauss'sche Mischverteilung angenähert. Aus Parametern der Gauss'schen Mischverteilung wird ein Kollisionsgefahrenindex ermittelt. Das Verfahren soll in Zusammenhang mit kollisionsvermeidenden Technologien eingesetzt werden.

Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren, eine Sicherheitsvorrichtung und eine Verwendung der Sicherheitsvorrichtung zur Früherkennung von Kraftfahrzeugskollisionen vorzuschlagen, die die Sicherheit eines Fahrzeugs erhöhen.

Die Aufgabe wird durch ein Verfahren zur Früherkennung von Kraftfahrzeugskollisionen, insbesondere zur Früherkennung von Auffahrunfällen, nach Anspruch 1 gelöst.

Bei dem Verfahren ist vorgesehen, dass ein Kamerasystem in einem Kraftfahrzeug angeordnet ist, welches die Umgebung des Kraftfahrzeugs erfasst. In der Umgebung können sich mögliche Kollisionsobjekte, insbesondere andere Fahrzeuge befinden.

Das Kamerasystem kann ein 360° – Blickfeld aufweisen und somit die gesamte Umgebung des Fahrzeugs erfassen. Bei bevorzugten Ausführungsformen ist das Blickfeld auf den Rückraum hinter dem Kraftfahrzeug und/oder auf den Raum vor dem Fahrzeug in Fahrtrichtung und/oder auf den Raum seitlich des Kraftfahrzeuges begrenzt.

Durch das Verfahren zur Früherkennung können Kraftfahrzeugskollisionen von auf das eigene Kraftfahrzeugheck auffahrenden anderen Fahrzeugen und/oder von entgegenkommenden anderen Fahrzeugen und/oder von seitlich auffahrenden anderen Fahrzeugen frühzeitig erkannt werden.

Durch Auswertung der erfassten Bildsequenzen wird die Kollisionszeit, das heißt die Zeit bis zu der Kollision des eigenen Kraftfahrzeugs mit einem anderen Fahrzeug, ermittelt.

Unter Verwendung der ermittelten Kollisionszeit wird eine Kollisionsgefährdung abgeschätzt. Bei dieser Abschätzung können weitere Kriterien berücksichtigt werden, wie z.B. die Geschwindigkeit des eigenen Fahrzeugs, die Richtung der drohenden Kollision, die Masse und/oder Geschwindigkeit des anderen Fahrzeugs etc..

Aus dem Stand der Technik ist bislang bekannt, Maßnahmen zur Vermeidung einer Kollision einzuleiten, wie z.B. in die Steuerung einzugreifen oder die Geschwindigkeit des eigenen Kraftfahrzeugs zu ändern. Diese bekannten Maßnahmen sind im Straßenverkehr nur schwer umsetzbar, da dem Fahrzeuglenker in einer Gefahrensituation plötzlich die Herrschaft über sein Fahrzeug entzogen wird und die Verantwortung für die Führung des Fahrzeugs von einem Computer übernommen wird. Neben dem subjektiven Unbehagen das Fahrzeugführers besteht als weiterer Nachteil die Gefahr, dass der Computer zur Vermeidung des detektierten möglichen Unfalls einen anderen Unfall provoziert.

Bei Überschreitung einer vorgegebenen Kollisionsgefährdung werden bei der vorliegenden Erfindung kollisionsfolgenvermindernde Maßnahmen eingeleitet. Die kollisionsfolgenvermindernden Maßnahmen umfassen insbesondere passive Maßnahmen wie die Konditionierung und/oder Aktivierung von Sicherheitssystemen und/oder Rückhaltesystemen im eigenen Fahrzeug. Beispiele für derartige Systeme sind automatische Gurtstraffer, Airbags, automatische Einstellung von Kopfstützen- oder Sitzpositionen, Ausfahren eines Überrollbügels u.ä.. Vorzugsweise werden die kollisionsfolgenvermeidenden Maßnahmen automatisch durchgeführt.

Ergänzend können Maßnahmen zur aktiven Unfallvermeidung eingeleitet werden, wie z.B. Eingriff in die Steuerung des eigenen Kraftfahrzeugs oder Änderung der Geschwindigkeit.

In bevorzugten Ausführungsformen ist vorgesehen, dass bei Überschreitung einer vorgegebenen Kollisionsgefährdung optische und/oder akustische Signale zur Warnung des anderen Fahrzeugs erzeugt werden. Beispielsweise kann zur Warnung des anderen Fahrzeugs die Hupe und/oder die Frontlichter und/oder die Rücklichter des eigenen Fahrzeugs aktiviert werden.

Bei einer bevorzugten Ausführungsform des Verfahrens wird vorzugsweise in einem ersten Schritt der optische Fluss aus den erfassten Bildsequenzen berechnet. Der optischen Flusses beschreibt die Verschiebung der zu einem Zeitpunkt i aufgenommen Bildpunkte eines Objektes in Bezug zu den zum Zeitpunkt j aufgenommenen Bildpunkten. Vorzugsweise erfolgt die Berechnung des optischen Flusses durch das Verfahren PowerFlow, dass in der Anmeldung mit dem Titel "Verfahren zur Korrespondenzanalyse in Bilddatensätzen" mit dem amtlichen Aktenzeichen DE 10351778 des gleichen Anmelders ausführlich offenbart ist. Die gesamte Offenbarung der genannten Anmeldung wird hiermit in die vorliegende Anmeldung durch Referenzierung integriert.

Bei einer bevorzugten Ausführungsform des Verfahrens werden auf Basis des optischen Flusses einer oder mehrere focus-of-expansion (FOE) berechnet werden. Der FOE markiert dabei den Punkt in der Bildebene, aus dem ein sich näherndes Objekt, z.B. ein mögliches Kollisionsobjekt, in unendlicher Entfernung zu entspringen scheint, Je nach Anzahl der sich nähernden Objekte werden ein oder mehrere FOE berechnet. Die Berechnung des einzelnen FOE kann dabei durch Auswertung der Vektoren des optischen Flusses direkt berechnet werden, ohne zuvor das Objekt zu definieren. Hierbei werden alle Vektoren des optischen Flusses zusammengefasst, deren Verlängerung über ihren Fußpunkt hinaus einen gemeinsamen Schnittpunkt, den FOE, bilden.

Alternativ kann vorgesehen sein, dass bei Kenntnis der Zugehörigkeit von einer Gruppe von Vektoren zu einem bewegten Objekt der FOE durch Berechnung des gemeinsamen Schnittpunktes der Verlängerung der Vektoren über deren Fußpunkt hinaus berechnet wird.

Vorzugsweise werden nach Berechnung des FOE die korrespondierenden Vektoren als zu diesem FOE zugehörig klassifiziert.

Bei einer bevorzugten Weiterbildung des Verfahrens ist vorgesehen, dass die Position des FOE nur in vertikaler Richtung, d.h. senkrecht zur Straße, ermittelt wird und die horizontale Position des FOE als konstant angenommen wird. Die Position der FOE in horizontaler Richtung ist bei dieser Annahme durch die Ausrichtung des Kamerasystems vorgegeben. Diese Vereinfachung wird dadurch ermöglicht, dass die bewegten Objekte ebenso wie das eigene Kraftfahrzeug sich auf einer gemeinsamen Straße, also in einer gemeinsamen Höhe befinden. Diese Weiterbildung führt zu einer deutlichen Reduktion des Rechenaufwands zur Bestimmung des FOE.

Bei einer vorteilhaften Ausführungsform des Verfahrens ist vorgesehen, dass die Vektoren des optischen Flusses als zu einem bewegten Objekt oder zu der Fahrzeugumgebung zugehörig klassifiziert werden. Es kann dabei vorgesehen sein, dass Vektoren, deren Zuordnung nicht eindeutig erfolgen kann, als nicht-zuordnenbar klassifiziert werden. Dieser Verfahrensschritt kann zu einer deutlichen Reduktion der weiterzuverarbeitenden Datenmengen führen, da vorzugsweise im weiteren ausschließlich die Vektoren, die einem bewegten Objekt zugeordnet wurden, weiterverarbeitet werden.

Bei einer vorteilhaften Weiterbildung des Verfahrens kann auch eine Klassifizierung der Vektoren nach ihrer Eigenschaft expandierend oder kontrahierend erfolgen. Aufgrund dieser Klassifikation können Aussagen getroffen werden, ob das zu den Vektoren korrespondierende bewegte Objekt näher kommt oder seinen Abstand vergrößert.

Bei bevorzugten Ausführungsformen wird die lokale time-to-collision berechnet, indem für jeden Bildpunkt, vorzugsweise für jeden Bildpunkt, der zu einem FOE als zugehörig klassifiziert wurde, die Zeit berechnet wird, die ein zu diesem Bildpunkt korrespondierendes bewegte Objekt benötigt, um das eigen Fahrzeug zu erreichen.

Bei einer Weiterbildung des Verfahrens wird eine globale time-to-collision durch Auswertung der lokalen time-to-collision der einzelnen Vektoren gebildet. Die globale time-to-collision stellt somit eine Zusammenfassung der Informationen der lokalen time-to-collision dar und bietet eine sicherere Aussage über die Kollisionszeit bis zu einer drohenden Kollision. Die Verknüpfung der lokalen time-to-collision der einzelnen Vektoren zur Ermittlung der globalen time-to-collision kann durch Mittelwertbildung oder Bildung des Maximums einer Häufigkeitsverteilung erfolgen. Vorzugsweise werden die lokalen time-to-collision einer Gruppe von Vektoren miteinander verknüpft. Die Gruppe kann aus Vektoren bestehen, die zu einem bewegten Objekt als zugehörig und/oder zu einem FOE als zugehörig und/oder als kontrahierend/expandierend klassifiziert wurden. Vorzugsweise wird eine Gruppe von Vektoren verwendet, die sowohl als zu einem bewegten Objekt zugehörig als auch zu einem FOE als zugehörig klassifiziert wurden.

Weiterhin kann vorteilhafterweise vorgesehen sein, dass mittels digitaler Bildverarbeitung das bewegte Objekt, insbesondere das mögliche Kollisionsobjekt, in den Bildsequenzen, insbesondere im optischen Fluss, identifiziert wird. Zur Identifikation des bewegten Objekts können dabei sämtliche Techniken der digitalen Bildverarbeitung, insbesondere Kantendetektion, Merkmalserkennung, Mustererkennung etc., eingesetzt werden.

Bei einer Weiterentwicklung des Verfahrens ist vorgesehen, dass programmtechnisch ein Rechteck erzeugt wird, welches das bewegte Objekt in den Bildern der Bildsequenzen umschließt. Diesem Verfahrensschritt liegt die Überlegung zugrunde, dass insbesondere von hinten auf das eigene Kraftfahrzeug auffahrende andere Fahrzeuge im wesentlichen einen rechteckigen Umriss aufweisen.

Das Rechteck kann dabei auf Basis der mittels Bildverarbeitung erkannten bewegten Objekte erzeugt werden.

Alternativ kann vorgesehen sein, dass das Rechteck durch Segmentierung des Bildes erzeugt wird: Bei der Segmentierung wird in einem ersten Schritt ein Rechteck erzeugt, welches das gesamte Bild umfasst. Dieses Rechteck wird iterativ durch Verschiebung seiner seitlichen Begrenzungslinien in Richtung des Bildmittelpunktes verkleinert, wobei vorzugsweise während jedem Iterationsschritt die seitlichen Begrenzungslinien des Rechtecks einzeln verschoben werden. Nach jeder Verschiebung einer seitlichen Begrenzungslinie wird für die an der jeweiligen Begrenzungslinie angrenzenden Bildpunkte ein Verhältnis – nachfolgend ScanRatio genannt – berechnet. Das ScanRatio beschreibt das Verhältnis von Bildpunkten, denen ein Vektor des optischen Flusses zugeordnet ist, der als zu einem bewegten Objekt zugehörig klassifiziert ist, und den Bildpunkten, denen ein Vektor des optischen Flusses zugeordnet ist, der als zur Umgebung zugehörig klassifiziert ist. Übersteigt das ScanRatio-Verhältnis für alle Begrenzungslinien des Rechtecks einen vorgegebenen Wert, so wird angenommen, dass ein bewegtes Objekt detektiert wurde und das iterative Verschieben der Begrenzungslinien wird beendet.

In ähnlicher Weise kann auch ein Verfahrensschritt zur Objekt-Verfolgung, also zur Verfolgung des bewegten Objektes innerhalb einer Bildsequenz ausgebildet sein. Ausgehend von einem vorzugsweise durch Segmentierung erzeugten Rechtecks in einem Bild n werden in dem nachfolgenden Bild n + 1 die Begrenzungslinien des Rechtecks iterativ abwechselnd zum Bildrand hin verschoben, bis alle Begrenzungslinien des Rechtecks ein ScanRatio-Verhältnis größer als der vorgegebene Wert aufweisen. Die neue Position und Größe des Rechtecks repräsentiert die Position und Größe des bewegten Objekts in dem Bild n + 1 der Bildsequenz.

In einer verbesserten Weiterbildung des Verfahrens wird das identifizierte bewegte Objekt und/oder das erzeugte Rechteck auf Basis von hinterlegten Datensätzen klassifiziert. Die Klassifikation kann anhand verschiedener Fahrzeugarten, z.B. Motorräder, Autos, Lastkraftwagen, oder anhand verschiedener Fahrzeugtypen vorzugsweise einer Fahrzeugart erfolgen. In den Datensätzen können weiterhin Informationen über die Fahrzeugarten und/oder Fahrzeugtypen, wie z.B. die Abmessungen, hinterlegt sein. Sind aufgrund der Klassifikation des bewegten Objekts oder aufgrund einer Schätzung die Abmessungen des bewegten Objekts bekannt, kann – bei bekannten Kameraparametern, insbesondere bei bekannten Abbildungsparametern – der Abstand des bewegten Objekts zu dem eigenen Fahrzeug vorzugsweise aus einem einzigen Bild berechnet werden. Ferner kann auch eine Relativgeschwindigkeit zwischen dem bewegten Objekt und dem eigenen Kraftfahrzeug berechnet werden.

Vorzugsweise umfassen die hinterlegten Datensätzen auch eine Information über die Masse des bewegten Objektes, so dass insbesondere unter Berücksichtigung der Relativgeschwindigkeit die Schwere der drohenden Kollision abgeschätzt werden kann.

Bei bevorzugten Ausführungsformen des Verfahrens werden adaptive Filter, insbesondere Kalmanfilter, eingesetzt um den zeitlichen Verlauf relevanter Kollisionsdaten zu beobachten und zu schätzen. Die relevanten Kollisionsdaten umfassen insbesondere die globale time-to-collision, den Abstand und/oder die Relativgeschwindigkeit. Durch diese Schätzung kann festgestellt werden, ob ein näherer kommendes Fahrzeug bereits bremst und damit die Gefahr einer Kollision kleiner ist als für den Fall, dass das Fahrzeug sich ungebremst nähert.

Bei einer verbesserten Weiterbildung des Verfahrens werden zur Verifizierung der relevanten Kollisionsdaten und/oder zur Abschätzung der Kollisionsgefährdung weitere Sensorsysteme eingesetzt und/oder mittels digitaler Bildverarbeitung weitere Informationen aus den Bildsequenzen, wie z.B. das Aufleuchten von Bremslichtern, der Lichthupe oder den Neigungswinkel eines sich nähernden Fahrzeuges ermittelt.

Bei einer vorteilhaften Ausführung des Verfahrens wird die Kollisionsgefährdung auf Basis der globalen time-to-collision und und/oder des Abstands und/oder der Relativgeschwindigkeit zwischen Kraftfahrzeug und möglichen Kollisionsobjekt und/oder des zeitlichen Verlaufs, insbesondere des geschätzten zeitlichen Verlaufs, dieser Kollisionsdaten und/oder der Masse des möglichen Kollisionsobjekts ermittelt. Die Verknüpfung dieser Kriterien zur Bestimmung einer Kollisionsgefährdung kann beispielsweise durch eine Bewertungsfunktion umgesetzt werden. Alternativ kann ein Fuzzy-Logic Algorithmus implementiert werden.

Die Aufgabe der Erfindung wird durch eine Sicherheitsvorrichtung nach Anspruch 23 gelöst.

Diese Sicherheitsvorrichtung umfasst ein Kamerasystem und ein Auswertesystem.

Das Kamerasystem kann als Rückraumkamera ausgebildet sein, vorzugsweise werden Rückraumkameras eingesetzt, die bereits für andere Zwecke in Kraftfahrzeugen integriert sind. Alternativ können auch sog. Omnicams mit einem Blickfeld von bis zu 360° Grad und/oder mehrere Kameras eingesetzt werden. Die Kameras können CCD-Chips, CMOS-Chips, Schwarz-Weiß- oder Farbchips als Detektorelemente aufweisen. Auch IR-Kameras (Zur Aufnahme von Bildern bei einer Wellenlänge größer als 900 nm, insbesondere größer als 1300 nm) oder UV-Kameras (Zur Aufnahme von Bildern bei einer Wellenlänge kleiner als 400 nm, insbesondere kleiner als 300 nm) können eingesetzt werden. Ferner können optische Filter zur Selektion von bestimmten Wellenlängenbereichen oder zur Minimierung von Reflektionen verwendet werden. In einer bevorzugten Ausführungsform ist das Kamerasystem als Stereokamerasystem ausgebildet.

Das Auswertesystem weist mindestens eine programmierbare Recheneinheit auf, die vorzugsweise als DSP- oder Risc-Prozessor ausgebildet ist. Bei besonderen Ausführungsformen ist das Auswertesystem in der Kamera angeordnet, um eine möglichst hohe Datenübertragung sicherzustellen.

Das Auswertesystem ist programmtechnisch derart ausgebildet, dass eine time-to-collision zwischen einem sich in der Umgebung eines Kraftfahrzeugs befindlichen Kollisionsobjekts ermittelt werden kann und Befehle zur Einleitung von kollisionsfolgenvermindernden Maßnahmen erzeugbar sind.

Das Auswertesystem kann als Bordcomputer des Kraftfahrzeugs ausgebildet sein und/oder Schnittstellen zur Übergabe der Befehle an den Bordcomputer und/oder direkt an die Sicherheitssystem aufweisen.

Vorzugsweise ist die Sicherheitsvorrichtung programmtechnisch zur Durchführung des Verfahrens zur Früherkennung ausgestaltet.

Dei Aufgabe der Erfindung wird auch durch die Verwendung der Sicherheitsvorrichtung in dem Verfahren zur Früherkennung von Kraftfahrzeugskollisionen gelöst.

Im Nachfolgenden werden bevorzugte Ausführungsbeispiele unter Bezugnahme auf die beigefügten Figuren näher erläutert.
Es zeigen:
1 ein Flussdiagramm eines Ausführungsbeispiels für ein Verfahren zur Früherkennung von Kollisionen,
2 eine schematische Darstellung eines Kraftfahrzeugs mit Rückraumkamera in seitlicher Ansicht,
3 eine schematische Darstellung eines Kraftfahrzeugs mit Omnicam in Draufsicht,
4 eine schematische Darstellung eines Bildausschnitts mit einzelnen Bildpunkten,
5 eine schematische Darstellung von Vektoren des optischen Flusses mit eingezeichnetem FOE,
6 eine schematische Darstellung eines Kraftfahrzeugs in Frontansicht mit einem durch das Verfahren erzeugte Rechteck.
Die 1 zeigt ein Flussdiagramm eines Ausführungsbeispiels für ein Verfahren zur Früherkennung von Kollisionen für Fahrzeuge. Bei dem Verfahren werden Bilder der Fahrzeugumgebung mit einem Kamerasystem erfasst und auf potentielle Kollisionsobjekte, also meist andere Fahrzeuge, die sich auf einem Kollisionskurs mit dem eigenen Fahrzeug befinden, untersucht. Anhand dieser Untersuchung wird ein Gefahrenlevel ermittelt. Bei Überschreiten eines vorgegebenen Gefahrenlevels werden unfallfolgenmindernde oder unfallverhindernde Maßnahmen eingeleitet.
Die Anordnung und das Sichtfeld möglicher Kamerasysteme, die in Zusammenhang mit dem Verfahren in 1 verwendet werden können, sind in den 2 und 3 gezeigt.
2 zeigt ein Fahrzeug 1 mit einer im Heck integrierten Rückraumkamera 2.
Die Kamera 2 ist mit einem Weitwinkelobjektiv mit einer Brennweite von zwischen 8 mm und 40 mm ausgerüstet, Das Sichtfeld 3 der Kamera weist in horizontaler Ebene einen Öffnungswinkel von ca. 20°. Die Kamera ist über ein Datenkabel mit dem Bordcomputer 6a des Fahrzeugs 1 oder mit einer separaten Auswerteeinheit 6b verbunden. Bordcomputer oder Auswerteeinheit weisen eine Schnittstelle zu den passiven Sicherheitssystemen 7, 8, 9 auf. Es ist auch möglich, dass die Auswerteeinheit sowohl mit dem Bordcomputer als auch direkt oder einen Bus mit den passiven Sicherheitssystemen 7, 8, 9 verbunden ist.
In der Auswerteeinheit 6b bzw. in dem Bordcomputer 6a wird das in 1 dargestellte Verfahren durchgeführt.
Die Auswerteeinheit 6b bzw. der Bordcomputer 6a ist mit den passiven Sicherheitseinrichtungen des Fahrzeugs, wie z.B. Sitz- und Kopfstützenverstellung 7 und 8, Lenkrad mit Airbag 9 etc. verbunden und initiiert die Konditionierung bzw. die Aktivierung dieser Sicherheitssysteme, sobald ein bestimmter Gefahrenlevel überschritten ist. Ferner werden auch die Rücklichter 11 und die Hupe des Fahrzeugs (nicht gezeigt) bei Überschreitung des Gefahrenlevels aktiviert, um dem Lenker des herannahenden Fahrzeugs zu warnen und diesen somit auf die drohende Kollision aufmerksam zu machen.
3 zeigt ein weiteres Ausführungsbeispiel für eine Kamera, die zusammen mit dem in 1 dargestellten Verfahren eingesetzt werden kann. Die Kamera 4 in 3 ist als Omnicam mit einem Sichtfeld 5 von 360° ausgebildet und ist in der Fahrgastkabine des Fahrzeugs 1 integriert. Ansonsten ist das Sicherheitssystem ähnlich wie in 2 ausgeführt.
Das in 1 dargestellte Verfahren wird nach dem Start für jedes durch das Kamerasystem nach 2 oder 3 erfasste Bild vollständig durchlaufen. Ein erstes Bild wird im folgenden mit n bezeichnet, ein darauf folgendes Bild mit n + 1.
Das Flussdiagramm kann grob in drei Programmabschnitte wie folgt unterteilt werden:
Nach Erfassung eines neuen Bildes n + 1 erfolgt zunächst die Ermittlung der globalen time-to-contact, das heißt die Schätzung der Zeit, die bis zu einer möglichen Kollision mit einem möglichen Kollisionsobjekt verbleibt.
In einem zweiten Abschnitt des Verfahrens wird das mögliche Kollisionsobjekt durch Segmentierung oder durch Objekt-Verfolgung im aktuellen Bild identifiziert.
In einem dritten Abschnitt des Verfahrens erfolgt die Datenanalyse und die Bestimmung des Gefahrenlevels.
Bei Überschreitung des Gefahrenlevels werden Gegenmaßnahmen, also unfallfolgenvermindernde Maßnahmen und/oder unfallverhinderndes Maßnahmen eingeleitet.
Das Verfahren wird im folgenden detailliert erläutert.
Abschnitt 1: TTC-Schätzung
Flussfeld-Berechnung:
Die Flussfeld-Berechnung erfolgt anhand der in der Anmeldung mit dem Titel "Verfahren zur Korrespondenzanalyse in Bilddatensätzen" mit dem amtlichen Aktenzeichen DE 10351778 offenbarten Verfahrens. Bei der Flussfeld-Berechnung werden die Verschiebungsvektoren berechnet, die die Verschiebung der Bildpunkte des Bildes n zu den dazu korrespondierenden Bildpunkten des Bildes n + 1 beschreiben. Zur Überwindung des sogenannten Korrespondenzproblems, d.h. dem Problem die jeweils korrespondierenden Bildpunkte in dem Bild n + 1 zu finden, werden für die Bildpunkte des Bilder n und n + 1 mittels eines Census-Operators jeweils eine Signatur erstellt. Die Signatur für einen Bildpunkt wird auf Basis einer Bewertung der Nachbarbildpunkte erstellt. Dieses Vorgehen soll anhand der 4 verdeutlicht werden.
4 zeigt einen vergrößerten Ausschnitt eines Bildes n oder n + 1 mit 9 Bildpunkten. Für den zentralen Bildpunkt 10 soll eine Signatur erstellt werden. In einem ersten Schritt wird den Nachbarbildpunkten 11, 12 und 13 anhand eines Grauwertvergleichs mit dem zentralen Bildpunkt 10 ein tenärer 0, 1, 2 Wert wie folgt zugeordnet: Die Nachbarbildpunkte 11 weisen einen niedrigeren Grauwert als der zentrale Bildpunkt 10 auf, diesen wird der Wert 2 zugeordnet. Die Nachbarbildpunkte 13 weisen einen größeren Grauwert als der zentrale Bildpunkt 10 auf und es wird ihnen der Wert 0 zugeordnet. Bei einem gleichen Grauwert wie bei dem Nachbarbildpunkt 12 wird der Wert 1 zugeordnet. Die Gesamtheit der Werte der Nachbarbildpunkte bildet die Signatur des zentralen Bildpunkts 10.
Bei der Suche nach korrespondierenden Bildpunkten zweier aufeinanderfolgenden Bilder n und n + 1 werden die Signaturen der Bildpunkte verglichen. Sind die Signaturen von zwei Bildpunkten übereinstimmend, so werden diese als korrespondierend angenommen. Werden mehrere zu einem einzigen Bildpunkt in dem Bild n scheinbar korrespondierende Bildpunkte in dem Bild n + 1 gefunden, werden diese Bildpunkte verworfen.
Aus den korrespondierenden Bildpunkten wird das Vektorfeld des optischen Flusses berechnet.
Bestimmung der FOE:
Die Bestimmung des FOE wird anhand der 5 erläutert, die in schematischer Darstellung Vektoren 14, 15 des optischen Flusses une einem eingezeichneten FOE 16 zeigt. In der Darstellung sind zwei Gruppen von Vektoren dargestellt: Die Gruppe der Vektoren mit dem Bezugszeichen 15 weisen einen gemeinsamen FOE 16 auf, die Gruppe der Vektoren mit dem Bezugszeichen 14 können keinem gemeinsamen FOE zugeordnet werden.
Bei der Bestimmung des FOE wird davon ausgegangen, dass sich alle relevanten FOEs auf einer vertikalen Höhe befinden, die durch die Ausrichtung der Kamera in dem Fahrzeug, bzw. durch deren optische Achse festgelegt ist. Diese vertikale Höhe ist durch die Linie 17 in 5 dargestellt.
Für jeden Vektor 14 und 15 des optischen Flusses wird der Schnittpunkt von Linie 17 und des über den Fußpunkt verlängerten Vektors 14 und 15 bestimmt. Beispielhaft sind die Verlängerungen der Vektoren 15 als gestrichelte Linien dargestellt.
Entlang der Linie 17 wird programmtechnisch eine Häufigkeitsverteilung der Schnittpunkte berechnet. Das Maximum oder die Maxima der Schnittpunkte bestimmen die Position des FOE oder der FOEs in horizontaler Richtung.
Klassifizierung der Vektoren:
In diesem Schritt wird die lokale time-to-collision berechnet und die Vektoren des optischen Flusses klassifiziert.
Die Berechnung der lokalen time-to-collision erfolgt auf Basis der nachfolgenden Gleichung:
mit:

ttc:: lokale time-to-collision
x_trans, y_trans:: Position des Bildpunkts in einem Koordinatensystem, dessen Ursprung im korrespondierenden FOE liegt.
ẋ_trans, ẏ_trans:: Geschwindigkeitskomponenten des Bildpunkts in einem Koordinatensystem, dessen Ursprung im korrespondierenden FOE liegt.

Die Vektoren des optischen Flusses werden anhand der Eigenschaften
EXPANDING
MODEL STATUS
klassifiziert.
Die Eigenschaft EXPANDING weist zwei Werte auf (true/false), Vektoren die in Richtung des korrespondierenden FOE ausgerichtet sind werden als false, also kontrahierend, gesetzt. Vektoren, die von dem korrespondierenden FOE wegweisen werden als false, also expandierend gesetzt.
Die Eigenschaft MODEL STATUS weist die Werte
NO MODEL
OBJECT MODEL
ENVIRONMEMT MODEL
auf.
Der Wert NO MODEL wird vergeben, wenn die Vektoren eine vorgegebene Mindestlänge unterschreiten.
Der Wert ENVIROMENT MODEL wird vergeben, wenn der Winkel des Vektors gegenüber einem Winkelerwartungswert mehr als eine vorgegebene Grenze abweicht. Der Winkelerwartungswert wird durch eine Gerade vorgegeben, die durch den Startpunkt des Vektors und den FOE gelegt wird. Übersteigt die Winkeldifferenz zwischen Vektor und dieser Geraden einen vorgegebenen Grenzwert, wird der Vektor dem ENVIRONMENT MODEL zugeordnet.
Verbleibende Vektoren werden dem OBJECT MODEL zugerechnet.
Berechnung der globalen time-to-collision:
Die Berechnung der globalen time-to-collision erfolgt durch ein Votingverfahren. Berücksichtigt werden alle Vektoren eines FOEs, die die Eigenschaft OBJECT MODEL aufweisen. Bei dem Votingverfahren wird eine Häufigkeitsverteilung der lokalen time-to-collision-Werte bestimmt und das Maximum der Häufigkeitsverteilung als globale time-to-collision ermittelt. Alternativ kann die Ermittlung über Mittelwertbildung der lokalen time-to-collision-Werte erfolgen.
Abschnitt 2: Segmentierung
Bildung der „model map"
Zunächst wird ein Array mit der gleichen Dimension eines Bildes n oder n + 1 erstellt in dem an die Positionen der Bildpunkte die Werte der Klassifizierung MODEL STATUS abgelegt werden.
Objekt-Detektion/Objekt-Verfolgung
Falls in dem Bild n kein bewegtes Objekt detektiert wurde, wird eine Objekt-Detektion andernfalls eine Objekt- Verfolgung durchgeführt.
Objekt-Detektion und Objekt-Verfolgung werden durchgeführt wie bereits in der Erfindungsbeschreibung erläutert. Als Schrittweite für die iterative Verschiebung der Begrenzungslinien wird in diesem Ausführungsbeispiel ein Wert von 10 Bildpunkten (Pixel) gewählt, als Grenzwert für den ScanRatio der Wert 1.
Als Ergebnis der Objekt-Detektion bzw. Objekt-Verfolgung wird ein Rechteck erzeugt und in dem Bild n + 1 über das Fahrzeug gelegt. Ein entsprechendes Ergebnis ist in der 6 dargestellt, welches ein Fahrzeug 1 in Frontansicht und ein Rechteck 18 zeigt. Das Rechteck 18 umschließt in 6 nur den unteren Bereich des Fahrzeugs 1 bis zum Beginn der Windschutzscheibe 19. Für den oberen Bereich konnten keine verwertbaren Vektoren des optischen Flusses erzeugt werden, d.h. entweder wurden keine korrespondierenden Bildpunkte zu dem vorhergehenden Bild ermittelt oder die Vektoren im Bereich der Windschutzscheibe 19 wurden als NO-MODEL oder ENIRONMENT MODEL gesetzt.
Abschnitt 3: Datenanalyse
Bewegungsparameter-Schätzung:
Falls im vorhergehenden Schritt ein bewegtes Objekt erkannt wurde und ein entsprechendes Rechteck erzeugt werden konnte, werden die Bewegungsparameter abgeschätzt, insbesondere der Abstand des anderen Fahrzeugs und der Relativgeschwindigkeit.
Beispielsweise lässt sich bei einer angenommenen realen Fahrzeugbreite von 2 m und bei Kenntnis der Abbildungsverhältnisse des Kamerasystems bzw. bei einer entsprechenden Kalibrierung des Kamerasystems der Abstand zwischen dem anderen Fahrzeug und dem eigenen Fahrzeug abschätzen.
Eine Abschätzung der Relativgeschwindigkeit ergibt sich durch Verrechnung der ermittelten globalen time-to-contact und der abgeschätzten Entfernung nach bekannten Bewegungsgleichungen.
Bestimmung des Gefahrenlevels:
Der Gefahrenlevel wird unter Berücksichtigung der globalen time-to-collision und der abgeschätzten Bewegungsparameter bestimmt. Als weitere Kriterien können der zeitliche Verlauf und die zeitlichen Ableitungen der globalen time-to-collision und der abgeschätzten Bewegungsparameter herangezogen werden.
Bei Überschreitung eines vorgegebenen Gefahrenlevels werden Gegenmaßnahmen wie zu 1 erläutert eingeleitet.

1: Fahrzeug
2: Rückraumkamera
3: Sichtfeld
4: Kamera
5: Sichtfeld
6 a/b: Bordcomputer/Auswerteeinheit
7: Kopfstützenverstellung
8: Sitzpositionsverstellung
9: Lenkrad mit Airbag
10: zentraler Bildpunkt
11, 12, 13: weitere Bildpunkte
14, 15: Vektoren des optischen Flusses
16: FOE
17: Linie
18: Rechteck
19: Windschutzscheibe

Claims

Verfahren zur Früherkennung von Kraftfahrzeugskollisionen, wobei mit einem Kamerasystem die Umgebung mit möglichen Kollisionsobjekten eines Kraftfahrzeugs erfasst wird und Bildsequenzen erzeugt werden, wobei durch Auswertung der Bildsequenzen eine Kollisionszeit – nachfolgend time-to-collision genannt – für mögliche Kollisionsobjekte und dem Kraftfahrzeug ermittelt wird, dadurch gekennzeichnet, dass auf Basis der ermittelten time-to-collision eine Kollisionsgefährdung abgeschätzt wird und bei Überschreiten einer vorgegebenen Kollisionsgefährdung kollisionsfolgenvermindernde Maßnahmen eingeleitet werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Maßnahmen zur Unfallvermeidung eingeleitet werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die kollisionsfolgenvermindernden Maßnahmen und/oder die Maßnahmen zur Unfallvermeidung aktive Maßnahmen wie z.B. Beschleunigung oder Abbremsung und/oder Ausweichbewegung des Kraftfahrzeugs und/oder passive Maßnahmen wie z.B. Aktivierung und/oder Konditionierung von Sicherheitssystemen wie Gurtstraffer, Airbag, Kopfstützen- oder Sitzposition umfassen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Kamerasystem und/oder eine Sicherheitsvorrichtung mit den Merkmalen der Ansprüche 23 bis 26 eingesetzt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus den Bildsequenzen der optische Fluss, insbesondere durch das Verfahren PowerFlow, berechnet wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass einer oder mehrere focus-of-expansion – nachfolgend FOE genannt – auf Basis des optischen Flusses berechnet werden und vorzugsweise, dass die Vektoren des optischen Flusses als zu einem FOE zugehörig klassifiziert werden.
Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die Vektoren des optischen Flusses als zu einem bewegten Objekt, insbesondere einem möglichen Kollisionsobjekt, oder zu der Umgebung zugehörig klassifiziert werden.
Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Vektoren des optischen Flusses als expandierend oder kontrahierend klassifiziert werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für einen oder alle Bildpunkte eines Bildes der Bildersequenz die lokale time-to-collision berechnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine globale time-to-collision durch Mittelwertbildung sämtlicher lokaler time-to-collision gebildet wird.
Verfahren nach einem der der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine globale time-to-collision insbesondere durch Mittelwertbildung aus den lokalen time-to-collision von Vektoren berechnet wird, die als zu einem bewegten Objekt zugehörig und/oder als kontrahierend klassifiziert wurden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine globale time-to-collision insbesondere durch Mittelwertbildung und/oder Bildung des Maximums der Häufigkeit aus den lokalen time-to-collision von sämtlichen Vektoren des optischen Flusses berechnet wird, die als zu einem FOE zugehörig klassifiziert worden sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine globale time-to-collision aus den lokalen time-to-collision von sämtlichen Vektoren berechnet wird, die als zu einem FOE und dem korrespondierenden bewegten Objekt zugehörig klassifiziert worden sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in den Bildsequenzen, insbesondere im optischen Fluss, mittels digitaler Bildverarbeitung das bewegte Objekt, insbesondere das mögliche Kollisionsobjekt, identifiziert wird.
Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass programmtechnisch ein Rechteck erzeugt wird, welches das bewegte Objekt in den Bildsequenzen umschließt.
Verfahren nach Anspruch 14 oder 15, dadurch gekennzeichnet, dass die Identifikation der bewegten Objekte und/oder die Erzeugung des Rechtecks und/oder die Verfolgung bereits identifizierter bewegter Objekte unter der Verwendung der Klassifizierung der Vektoren hinsichtlich ihrer Zugehörigkeit zu einem bewegten Objekt oder zu der Umgebung durchgeführt wird.
Verfahren nach einem der Ansprüche 14 bis 16, dadurch gekennzeichnet, dass der Abstand zwischen dem Fahrzeug und dem bewegten Objekt und/oder deren Relativgeschwindigkeit auf Basis eines Vergleichs, insbesondere Größenvergleichs, zwischen dem identifizierten bewegten Objekt und/oder dem erzeugten Rechteck mit gespeicherten Datensätzen, die insbesondere Größendaten umfassen, von möglichen Kollisionsobjekten geschätzt wird.
Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass die gespeicherten Datensätze Daten über die Masse des möglichen Kollisionsobjekts enthalten.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Schätzer, vorzugsweise ein adaptiver Filter, insbesondere ein Kalmanfilter, relevante Kollisionsdaten, insbesondere die globale time-to-collision, Abstand und/oder Relativgeschwindigkeit, beobachtet und schätzt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels digitaler Bildverarbeitung weitere Informationen aus den Bildsequenzen wie z.B. das Aufleuchten von Bremslichtern oder den Neigungswinkel eines sich nähernden Fahrzeugs ermittelt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kollisionsgefährdung aus der globalen time-to-collision und/oder dem Abstand und/oder der Relativgeschwindigkeit zwischen Kraftfahrzeug und möglichen Kollisionsobjekts und/oder dem zeitlichen Verlauf, insbesondere dem geschätzten zeitlichen Verlaufs, dieser Kollisionsdaten und/oder der Masse des möglichen Kollisionsobjekts ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Daten aus weiteren Sensorsystemen, insbesondere Abstandsmessende Sensorsysteme wie z.B. Ultraschallsensoren, Radarsensoren, Lidar oder PMD, zur Verbesserung und Verifizierung der Kollisionsdaten und/oder zur Ermittlung der Kollisionsgefährdung verwendet werden.
Sicherheitsvorrichtung für Kraftfahrzeuge, mit einem Kamerasystem (2, 4) zur Erfassung der Umgebung eines Kraftfahrzeugs (1), mit einem Auswertesystem (6a, b), das programmtechnisch zur Ermittlung der time-to-collision zwischen einem sich in der Umgebung bewegenden Objekts und dem Kraftfahrzeug (1) ausgestaltet ist, dadurch gekennzeichnet, dass das Auswertesystem (6a, b) programmtechnisch zur Erzeugung von Befehlen zur Einleitung von kollisionsfolgenvermindernden Maßnahmen ausgestaltet ist.
Sicherheitsvorrichtung nach Anspruch 23, dadurch gekennzeichnet, dass das Auswertesystem programmtechnisch zur Erzeugung von Befehlen zur Einleitung von Maßnahmen zur Unfallvermeidung ausgestaltet ist.
Sicherheitsvorrichtung nach Anspruch 23 oder 24, dadurch gekennzeichnet, dass das Auswertesystem als Bordcomputer (6a) eines Kraftfahrzeugs ausgebildet ist oder Schnittstellen zur Übergabe der Befehle an den Bordcomputer (6a) eines Kraftfahrzeugs und/oder Schnittstellen zur Übergabe der Befehle an aktive und/oder passive Sicherheitssysteme aufweist.
Sicherheitsvorrichtung nach einem der Ansprüche 23 bis 25, dadurch gekennzeichnet, dass das Kamerasystem als Rückraumkamera (2) oder Omnicam (4) mit bis zu 360° Blickfeld oder PMD und/oder als UV- und/oder IR-Kamera und/oder als Stereokamera ausgebildet ist und/oder zwei oder mehr Kameras umfasst.
Sicherheitsvorrichtung nach einem der Ansprüche 23 bis 26, dadurch gekennzeichnet, dass das Auswertesystem programmtechnisch zur Durchführung des Verfahrens nach den Ansprüchen 1 bis 22 ausgebildet ist.
Verwendung einer Sicherheitsvorrichtung nach einem der Ansprüche 23 bis 27 in einem Fahrzeug, dadurch gekennzeichnet, dass die Sicherheitsvorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 22 verwendet wird.