DE102006020930A1

DE102006020930A1 - Verfahren zur Umgebungsüberwachung für ein Kraftfahrzeug

Info

Publication number: DE102006020930A1
Application number: DE102006020930A
Authority: DE
Inventors: Thomas Görnig; Georg Kunert; Werner Steiner; Michael Beuschel
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Conti Temic Microelectronic GmbH
Priority date: 2006-05-05
Filing date: 2006-05-05
Publication date: 2007-11-08
Anticipated expiration: 2026-05-06
Also published as: DE102006020930B4

Abstract

Es werden ein Verfahren und eine Vorrichtung zur optimierten Umgebungsüberwachung für ein Kraftfahrzeug vorgestellt. Es sind zumindest ein Kamerasystem und ein Abstandssensor vorgesehen und die Erfassungsgebiete von Kamerasystem und Abstandssensor überlappen zumindest teilweise. Der Abstand zu relevanten Umgebungsobjekten wird vom Abstandssensor ermittelt. Der Auslesetakt und/oder die Anzahl der ausgewerteten Bildpunkte des Kamerasystems wird in Abhängigkeit von dem Abstand und/oder der Relativgeschwindigkeit des oder der relevanten Umgebungsobjekts(e) gesteuert.

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur optimierten Umgebungsüberwachung für ein Kraftfahrzeug gemäß den unabhängigen Patentansprüchen.
In Kraftfahrzeugen werden Sensoren zur Erfassung der Fahrzeugumgebung eingesetzt. Die Informationen über relevante Objekte im Fahrzeug werden z.B. in Fahrerassistenzsystemen in Fahrhilfen umgesetzt. Die Fahrhilfen sollen den Fahrer unterstützen, um Unfälle zu vermeiden oder die Schwere des Unfalls und die Unfallfolgen zu mildern. Zu den Fahrerassistenzsystemen zählen u. a. ACC (Adaptive Cruise Control), Pre-Crash-System und der Fußgängerkollisionsschutz. Um verlässliche Informationen über Umgebungsobjekte zu erlangen, können die Daten von zwei Umgebungserfassungssensoren zusammen geführt werden. Dabei wird anhand der Redundanz der Datensignale überprüft, ob sich wirklich ein Objekt in der Fahrzeugumgebung befindet. Bei verschiedenartigen Sensoren, z.B. einem Kamerasystem und einem Abstandsmesssystem kann sowohl der Abstand zum Objekt bestimmt werden als auch die Objektkonturen, anhand derer Größe und Art des Objekts bestimmt wird. Beispiele für eine Fusion von Sensordaten und daraus resultierende Vorteile werden im Stand der Technik beschrieben.
Es ist eine Aufgabe der hier vorliegenden Erfindung, Objekte in einer Kraftfahrzeugumgebung effizient und kostengünstig zu überwachen.
Diese Aufgabe ist erfindungsgemäß gelöst durch ein Verfahren und eine Vorrichtung mit den in den unabhängigen Ansprüchen beschriebenen Merkmalen. Vorteilhafte Weiterbildungen sind den Unteransprüchen zu entnehmen.
Es wird ein Verfahren zur Umgebungsüberwachung für ein Kraftfahrzeug angegeben. Dazu sind zumindest ein Kamerasystem und ein Abstandssensor vorgesehen. Die Erfassungsgebiete von Kamerasystem und Abstandssensor überlappen zumindest teilweise. Wird ein Umgebungsobjekt erkannt, wird vom Abstandssensor eine zugehörige Abstandsinformation ermittelt. Das im Folgenden beschriebene Verfahren kann entweder bezüglich aller vom Abstandssensor erkannten Objekte angewendet werden oder nur auf Objekte, die vorgegebene Merkmale aufweisen. Mögliche Merkmale sind, ob sich das Objekt auf einer prädizierten Fahrspur des Fahrzeugs befindet, der Abstand des Objekts, Annäherungsgeschwindigkeit, Größe, Konturen usw. In einer bevorzugten Ausgestaltung der Erfindung werden die genannten Eigenschaften mit dem Abstandssensor und/oder dem Kamerasystem ermittelt. Der Auslesetakt und/oder die Anzahl der ausgewerteten Bildpunkte des Kamerasystems wird in Abhängigkeit von der Entfernung und/oder der Relativgeschwindigkeit des (der) Umgebungsobjekts(e) gesteuert. In einer bevorzugten Ausgestaltung der Erfindung wird bei einer abnehmenden Entfernung Objekte die Anzahl der ausgewerteten Bildpunkte reduziert und/oder die Auslesefrequenz des Bildaufnehmers erhöht. Die Anzahl der Bildpunkte und der Auslesetakt eines Bildaufnehmers bestimmen die anfallende Datenmenge, die in der Auswerteeinheit des Kamerasensors ausgewertet wird. Die Kosten einer Auswerteeinheit steigen mit der zu verarbeitenden Datenmenge an. Es ist also vorteilhaft, die zur Verfügung stehende Kapazität der Auswerteeinheit bzw. eines darin enthaltenen Mikrocontrollers optimal auszunutzen. Ein Objekt das einen großen Abstand zum Kamerasystem aufweist, wird in einem relativ kleinen Bildausschnitt abgebildet verglichen mit demselben Objekt, das sich in einem kleinen Abstand zum Kamerasystem befindet. Die Anzahl der Pixel bei einem Bildaufnehmer ist vorgegeben. Ist ein Objekt weit entfernt, wird es mit einer geringeren Pixelzahl abgebildet als dasselbe Objekt in der Nähe des Kamerasystems. Da häufig mit einer geringen Anzahl von Bildpunkten ein Objekt hinreichend gut charakterisiert werden kann, ist es sinnvoll bei nahen Objekten die Anzahl der Bildpunkte zu reduzieren. Dies kann z.B. durch eine Zusammenfassung der Signale von mehreren Pixeln des Bildaufnehmers geschehen. Es wird z.B. der Mittelwert und/oder der Median und/oder der Extremwert (größter oder kleinster Wert) der Einzelsignale gebildet, die zu einem Bildpunkt beitragen, und dieser Wert wird für die weitere Auswertung mit Bildverarbeitungsalgorithmen zur Verfügung gestellt. Durch die Reduzierung der Bildpunkte wird auch die anfallende Datenmenge in der Auswerteeinheit reduziert. Die frei gewordene Kapazität wird z.B. durch eine Erhöhung des Auslesetakts des Bildaufnehmers genutzt. Dadurch werden nahe Objekte, mit denen eine erhöhte Kollisionsgefahr besteht häufiger abgetastet und ihr Gefährdungspotential kann besser abgeschätzt werden. In einer Ausgestaltung der Erfindung gibt es eine vorgegebene untere Schwelle für die minimale Anzahl der auszuwertenden Bildpunkte. Die untere Schwelle wird ggf. in Abhängigkeit vom relevanten Objekt (Höhe, Breite, Mensch, Kraftfahrzeug etc.) gesetzt werden. Zur Objektklassifizierung (Mensch, Verkehrszeichen, PKW) werden auch die Bilddaten des Kamerasystems hinzugezogen und mittels bekannter Objekterkennungsalgorithmen, z.B. Pattern Matching, ausgewertet.
In einer weiteren Ausgestaltung der Erfindung wird die Relativgeschwindigkeit eines relevanten Objekts bestimmt. Die Relativgeschwindigkeit wird entweder anhand mehrerer zeitlich aufeinander folgender Messungen des Abstands zwischen Objekt und Kamera bestimmt oder direkt aus den Sensordaten eines Relativgeschwindigkeitssensors. Mit zunehmender Relativgeschwindigkeit zwischen Objekt und Kraftfahrzeug ist ein erhöhter Auslesetakt des Bildaufnehmers von Vorteil, um das Gefährdungspotential des Objekts zu bewerten und um ggf. Maßnahmen zur Kollisionsvermeidung oder Schadensminderung einzuleiten. Ein erhöhter Auslesetakt erhöht die Datenmenge, die von der Auswerteeinheit verarbeitet werden muss. Hier wiederum kann die Datenmenge durch eine Reduzierung der Bildpunkte so verkleinert werden, so dass die Kapazität der Auswerteeinheit nicht überschritten wird.
In einer vorteilhaften Ausgestaltung der Erfindung wird ein Bildbereich, indem sich ein Objekt befindet, mit einer erhöhten Rechenkapazität ausgewertet. Wird z.B. ein Objekt in einem Bild erkannt, wird ein relevanter Bildbereich um das Objekt herum definiert, in dem sich das Objekt in der nächsten Bildaufnahme mit einer großen Wahrscheinlichkeit aufhält. Die Auswahl des relevanten Bildbereich kann z.B. aufgrund der Objektklasse (Fahrzeug, Fahrbahnmarkierung, Lebewesen, ...) und/oder der Relativgeschwindigkeit erfolgen. Der relevante Bildbereich wird mit einer erhöhten Rechenkapazität ausgewertet. Das kann z.B. bedeuten, dass nicht relevante Bereiche des Bildes mit einer reduzierten Pixelzahl ausgewertet werden und/oder das nichtrelevante Bildbereiche nicht in jedem aufgenommen Bild ausgewertet werden, sondern z.B. nur in jedem 2., 3. oder 4. aufgenommenen Bild. Es kann aus Abstand und/oder Relativgeschwindigkeit und/oder Objektklasse eine Maßzahl für die Kritikalität des Objekts bestimmt werden. Werden mehrere Objekte erfasst und damit mehrere relevante Bildbereiche identifiziert, können die Bilddaten der Bildbereiche gemäß ihrer Kritikalität in jedem, jedem 2., jedem 3. Bild usw. ausgewertet werden.
In einer weiteren Ausgestaltung der Erfindung weist der Abstandssensor zumindest zwei Empfangskanäle mit Empfängern auf, die auf unterschiedliche Zielgebiete ausgerichtet sind. So wird zusätzlich zum Abstand eine Information über das Raumsegment zur Verfügung gestellt, in dem sich ein relevantes Objekt befindet. Diese Information wird derart genutzt, dass der Bildbereich sich das Objekt befindet, mit einer erhöhten Kapazität der Auswerteeinheit ausgewertet wird. Das kann z.B. bedeuten, dass nur noch Bildbereiche ausgewertet werden, in denen sich relevante Objekte befinden. Dieses Vorgehen reduziert die Anzahl der Bildpunkte, so dass der Auslestakt erhöht werden kann, ohne die Kapazität der Auswerteeinheit zu überschreiten. Eine weitere Ausgestaltungsmöglichkeit besteht darin, die Anzahl der Bildpunkte in einem Bildbereich ohne ein relevantes Objekt verglichen mit einem Bildbereich mit einem relevanten Objekt zu reduzieren und/oder nichtrelevante Bildbereiche nicht in jedem aufgenommen Bild auszuwerten, sondern z.B. nur in jedem 2., 3. oder 4. aufgenommenen Bild.
In einer bevorzugten Ausgestaltung der Erfindung ist das Produkt aus Auslesetakt und Anzahl der Bildpunkte nahezu konstant und entspricht der Rechenkapazität der Auswerteeinheit. Zudem wird eine Vorrichtung zur optimierten Umgebungserfassung für ein Kraftfahrzeug beansprucht. Die Vorrichtung umfasst zumindest ein Kamerasystem und einen Abstandssensor. Die Zielgebiete von Abstandsensor und Kamerasystem überlappen zumindest teilweise. Das Kamerasystem sieht zumindest einen Bildaufnehmer vor, der mit einer vorgegebenen, veränderbaren Frequenz ausgelesen wird. Ein Verfahren zur optimierten Umgebungsüberwachung nach einem der vorherigen Ansprüche ist in einer Kontrolleinheit hinterlegt. Die Kontrolleinheit steuert anhand der eingehenden Sensordaten den Auslesetakt und die Anzahl der auszuwertenden Bildpunkte.
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen und Abbildungen näher erläutert.
1: Kraftfahrzeug mit Kamerasystem und Abstandssensor
2: Diagramm: Anzahl der ausgewerteten Bildpunkte und Auslesetakt in Abhängigkeit vom Abstand zwischen Fahrzeug und Umgebungsobjekt.
3: Erfassungsbereiche von Kamerasystem und Abstandssensor
In 1 ist ein Kraftfahrzeug 4 mit ein Kamerasystem 1 und einem Abstandssensor 2 dargestellt. Beide Sensoren schauen in Fahrtrichtung 5 und sind nahezu auf das gleiche Zielgebiet ausgerichtet. Beide Sensoren sind mit einer Kontrolleinheit 3 verbunden, die anhand der eingehenden Sensordaten den Auslesetakt und die Anzahl der Bildpunkte steuert. Weiterhin umfasst die Kontrolleinheit 3 eine Auswerteeinheit, die zumindest die Bilddaten auswertet.
In dem in 2 dargestellten Diagramm gibt die Ordinate links den prozentualen Anteil der ausgewerteten Bildpunkte, die Ordinate rechts den Auslesetakt und die Abszisse den Abstand zwischen Fahrzeug und Umgebungsobjekt an.
Der Verlauf der Linie 6a zeigt hierbei den Zusammenhang zwischen Abstand eines Objekts und prozentualer Bildauswertung. Es kann aber auch jeder andere beliebige Verlauf genommen werden, um das System optimal an die Umgebung anzupassen. Eine weitere Möglichkeit ist mit Linie 6b dargestellt. Linie 7 beschreibt den Auslesetakt in willkürlichen Einheiten in Abhängigkeit vom Abstand zum Objekt. Beide Linien 6a und 6b zeigen, dass mit zunehmendem Abstand eine Zunahme der auszuwertenden Bildpunkte erfolgt. Bei einem Abstand von 100 m nimmt der Auslesetakt gemäß seinem unteren Schwellwert den Wert 1 in willkürlichen Einheiten ein. Entspricht eine willkürliche Einheit 50 Hz, so wird eine Auflösung der Objektbewegung von 20 cm bei einer Relativgeschwindigkeit von 36 km/h erreicht, die den Anforderungen für ein 100 m entferntes Objekt genügt. Bei einem sich verringernden Abstand, wird der prozentuale Wert der auszuwertenden Bildpunkte verringert. Die frei werdende Rechenleistung wird genutzt, indem der Auslesetakt und damit die Auflösung der Objekttrajektorie erhöht werden. Beträgt der Abstand z.B. 25 m, hat die Anzahl der auszuwertenden Bildpunkte seinen unteren Schwellwert mit 20% erreicht und der Auslesetakt wird um den Faktor 5 erhöht.
Das in 2 dargestellte Diagramm kann auch in Abhängigkeit von der Relativgeschwindigkeit zwischen Kraftfahrzeug und Objekt erstellt werden.
Dabei würde der Auslesetakt mit zunehmender Relativgeschwindigkeit ansteigen, um die Auflösung der Objekttrajektorie zu erhöhen und um eine Aussage über eine mögliche Kollision treffen zu können. Die Anzahl der Bildpunkte wird entsprechend der Kapazität der Auswerteeinheit angepasst. In einem weiteren Ausführungsbeispiel wird aus Abstand und Relativgeschwindigkeit eine Maßzahl für die Kritikalität bestimmt.
In Abhängigkeit von der Maßzahl werden die Anzahl der auszuwertenden Bildpunkte und der Auslesetakt bestimmt In 3 sind die Erfassungsbereiche des Kamerasystems und eines mehrkanaligen Abstandssensors dargestellt. Die Erfassungsbereiche 9a, 9b, 9c des Abstandssensors 2 liegen innerhalb des Erfassungsbereichs 8 des Kamerasystems 1. Wenn in einem Erfassungsbereich 9a, 9b oder 9c ein relevantes Objekt detektiert wird, wird der entsprechende Bildbereich 10a, 10b, oder 10c mit einer erhöhten Auswertekapazität ausgewertet. In diesem Ausführungsbeispiel werden nur die Bildbereiche ausgewertet, in denen sich laut Daten des Abstandssensors 2 relevante Objekte befinden. Die Anzahl der Bildpunkte wird somit reduziert und der Auslesetakt wird gemäß der zur Verfügung stehenden Rechenkapazität erhöht. Werden zwei relevante Objekte in unterschiedlichen Entfernungen erfasst, so wird der Auslesetakt in Abhängigkeit von dem nächsten relevanten Objekt bzw. von dem relevanten Objekt mit der größten Relativgeschwindigkeit bzw. von der Maßzahl für die Kritikalität gewählt. Die Anzahl der Bildpunkte wird entsprechend der Auswertekapazität angepasst. Werden in zumindest zwei Bildbereiche 10 bewertet, kann die Anzahl der ausgewerteten Bildpunkte darin gleich sein. In einem weiteren Ausführungsbeispiel wird die Anzahl der Bildpunkte in Abhängigkeit von der Kritikalität des erfassten Objekts (Abstand, Relativgeschwindigkeit) und der Auswertekapazität bestimmt. In diesem Fall kann die Anzahl der auszuwertenden Bildpunkte unterschiedliche Werte in den relevanten Bildbereichen 10 einnehmen.

Claims

Verfahren zur Umgebungsüberwachung für ein Kraftfahrzeug (4), wobei i) zumindest ein Kamerasystem (1) und ein Abstandssensor (2) vorgesehen sind und die Erfassungsgebiete (9, 10) von Kamerasystem und Abstandssensor zumindest teilweise überlappen, ii) der Abstand zu relevanten Umgebungsobjekten vom Abstandssensor (2) ermittelt wird, iii) der Auslesetakt und/oder die Anzahl der ausgewerteten Bildpunkte des Kamerasystems in Abhängigkeit von dem Abstand und/oder der Relativgeschwindigkeit des oder der relevanten Umgebungsobjekts(e) gesteuert wird.
Verfahren nach Anspruch 1, wobei mit abnehmender Entfernung die Anzahl der auszuwertenden Bildpunkte reduziert und der Auslesetakt des Bildaufnehmers erhöht wird.
Verfahren nach Anspruch 1 oder 2, wobei mit zunehmender Relativgeschwindigkeit zwischen Objekt und Kraftfahrzeug die Anzahl der auszuwertenden Bildpunkte reduziert und der Auslesetakt des Bildaufnehmers erhöht wird.
Verfahren nach einem der vorherigen Ansprüche, wobei ein Bildbereich, indem sich ein relevantes Objekt befindet, mit einer erhöhten Rechenkapazität ausgewertet wird.
Verfahren nach einem der vorherigen Ansprüche, wobei der Abstandssensor zumindest zwei Empfangskanäle ausweist, wobei der Erfassungsbereich eines Empfangskanals einem Bildbereich zugeordnet wird, und ein Bildbereich, indem sich laut Abstandssensor ein relevantes Objekt befindet, mit einer erhöhten Rechenkapazität ausgewertet wird.
Verfahren nach einem der vorherigen Ansprüche, wobei das Produkt aus Auslesetakt und Anzahl der Bildpunkte nahezu konstant ist und im Wesentlichen der für die Auswertung vorgesehenen Rechenkapazität entspricht.
Vorrichtung zur optimierten Umgebungserfassung für ein Kraftfahrzeug (4), die zumindest ein Kamerasystem (1) und einen Abstandssensor (2) umfasst, wobei i) die Zielgebiete von Abstandsensor (2) und Kamerasystem (1) zumindest teilweise überlappen, und ii) das Kamerasystem (1) zumindest einen Bildaufnehmer vorsieht der mit einer vorgegebenen veränderbaren Frequenz ausgelesen wird und iii) ein Verfahren zur optimierten Umgebungsüberwachung nach einem der vorherigen Ansprüche in einer Auswerte- bzw. Steuereinheit hinterlegt ist.