-
Die Erfindung betrifft ein Verfahren für ein Assistenzsystem eines ersten Fahrzeugs, sowie eine korrespondierende Vorrichtung, zur Erkennung wenigstens eines zweiten Fahrzeugs im Umfeld des ersten Fahrzeugs.
-
Verfahren und Vorrichtungen für Fahrzeuge zur kamerabasierten Erkennung von weiteren Fahrzeugen im Fahrzeugumfeld sind aus dem Stand der Technik grundsätzlich bekannt.
-
EP 1 504 276 A1 offenbart in diesem Zusammenhang ein Kamerasystem für ein Fahrzeug, welches Bilddaten aus dem Umfeld des Fahrzeugs erfasst. Das Kamerasystem umfasst dabei einen Prozessor zum Verarbeiten der erfassten Bilddaten mittels eines Algorithmus zur Kantenerkennung (Edge Detection). Mittels Kantenerkennung ist es möglich andere Fahrzeuge zu erkennen, beispielsweise auf Nachbarfahrspuren, und den Fahrzeugführer beim Spurwechsel durch geeignete Assistenzfunktionen zu Unterstützen.
-
Der Erfindung liegt die erkannte Problemstellung zugrunde, dass eine sichere und zuverlässige Erkennung von anderen Fahrzeugen im Umfeld des eigenen Fahrzeugs mit den bekannten Vorrichtungen und Verfahren nicht immer möglich ist.
-
Das liegt beispielsweise daran, dass die unterschiedlichen Fahrzeugmodelle der verschiedenen Fahrzeughersteller mitunter sehr unterschiedliche äußere Fahrzeugkonturen aufweisen, die mit den üblicherweise verwendeten Klassifikatoren nicht immer zuverlässig erkannt werden können, bzw. es müssen immer neue Klassifikatoren antrainiert werden.
-
Insbesondere der seitliche Bereich eines Fahrzeugs lässt sich, beispielsweise aufgrund des geringen Abstands und der hohen relativen Bewegungsgeschwindigkeit anderer Fahrzeuge zum eigenen Fahrzeugen, mit den bekannten kamerabasierten Erkennungsverfahren nur schwer und sehr unzuverlässig überwachen. Jedoch müssen gerade beim Überholen, beim Vorbeifahren an haltenden und parkenden Fahrzeugen oder beispielsweise beim Passieren von Linien- und Schulbussen, je nach Fahrzeugtyp, des zu überholenden Fahrzeugs, sowie je nach vorgefundener Verkehrssituation und örtlichen Verhältnissen entsprechend unterschiedliche seitliche Sicherheitsabstände eingehalten werden. Insbesondere bei Radfahrern ist die Einhaltung eines ausreichenden Seitenabstandes von äußerster Wichtigkeit.
-
Die zuverlässige Erkennung von anderen Fahrzeugen, die sich neben dem eigenen Fahrzeug befinden, und die Einhaltung eines ausreichenden Sicherheitsabstands, zu diesen Fahrzeugen, spielt insbesondere im Hinblick auf die Entwicklung von Assistenzsystem zum teilautomatisierten sowie vollautomatisierten Fahren eine immer wichtigere Rolle.
-
Die ansonsten bekannten Ansätze zur Überwachung des seitlichen Bereichs, beispielsweise die Totwinkel-Überwachung (Blindspot Detection) mittels Radarsensoren, scheitern in diesem Zusammenhang spätestens dann, wenn es um eine Erkennung des Fahrzeugtyps sowie beispielsweise um die genaue Bestimmung von Bewegungsparametern der anderen Fahrzeuge geht.
-
Der Erfindung liegt demnach die Aufgabe zugrunde, gegenüber den aus dem Stand der Technik bekannten Verfahren, ein verbessertes Verfahren zur Erkennung von anderen Fahrzeugen im Umfeld des eigenen Fahrzeugs bereitzustellen.
-
Die Aufgabe wird gelöst durch die Merkmale der unabhängigen Patentansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet.
-
Gemäß einem ersten Aspekt der Erfindung wird ein Verfahren bereitgestellt, insbesondere für ein Assistenzsystem eines ersten Fahrzeugs, im Folgenden auch als „Ego-Fahrzeug“ bezeichnet, zur Erkennung wenigstens eines zweiten Fahrzeugs im Umfeld des ersten Fahrzeugs, wobei die Erkennung des zweiten Fahrzeugs anhand von Bilddaten erfolgt, die mittels wenigstens einer am ersten Fahrzeug angeordneten Kamera erfasst werden. Erfindungsgemäß erfolgt die Erkennung des zweiten Fahrzeugs dabei auf Basis wenigstens eines in den Bilddaten ermittelten Fahrzeugrads des zweiten Fahrzeugs.
-
Gemäß einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt auf Basis des wenigstens einen in den Bilddaten ermittelten Fahrzeugrads des zweiten Fahrzeugs zusätzlich eine Klassifikation des erkannten zweiten Fahrzeugs, insbesondere eine Klassifikation des Fahrzeugtyps des zweiten Fahrzeugs. Die Klassifikation erfolgt dabei insbesondere anhand ermittelter Eigenschaften des wenigstens einen Fahrzeugrads.
-
Gemäß einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt die Ermittlung des wenigstens einen Fahrzeugrads des zweiten Fahrzeugs mittels Auswertung von in den Bilddaten erkanntem optischem Fluss.
-
Gemäß einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt die Erkennung des zweiten Fahrzeugs anhand von Bilddaten, die mittels einer seitlich am ersten Fahrzeug angeordneten Kamera erfasst werden.
-
Gemäß einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt zusätzlich eine Bestimmung einer Position des zweiten Fahrzeugs auf Basis des wenigstens einen in den Bilddaten ermittelten Fahrzeugrads des zweiten Fahrzeugs, beispielsweise eine Bestimmung der Position relativ zum ersten Fahrzeug und/oder absolut in einem Umfeldmodell, einem fahrzeugbezogenen Koordinatensystem und/oder einem Weltkoordinatensystem. Bei der Bestimmung der Position des zweiten Fahrzeugs kann insbesondere auch eine Zuordnung des zweiten Fahrzeugs zu einer bestimmten Fahrspur im Umfeld des ersten Fahrzeugs erfolgen.
-
Gemäß einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt zusätzlich eine Bestimmung von Bewegungsparametern des zweiten Fahrzeugs auf Basis des wenigstens einen in den Bilddaten ermittelten Fahrzeugrads des zweiten Fahrzeugs.
-
Gemäß einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt die Bestimmung der Position und/oder der Bewegungsparameter des zweiten Fahrzeugs mittels Verfolgung (Tracking) des wenigstens einen in den Bilddaten ermittelten Fahrzeugrads des zweiten Fahrzeugs.
-
Gemäß einem zweiten Aspekt der Erfindung wird eine Vorrichtung bereitgestellt, insbesondere für ein erstes Fahrzeug, zur Erkennung wenigstens eines zweiten Fahrzeugs im Umfeld des ersten Fahrzeugs. Die Vorrichtung umfasst dabei wenigstens eine Kamera, die zur Anordnung an dem ersten Fahrzeug und zur Erfassung von Bilddaten aus dem Umfeld des ersten Fahrzeugs dient bzw. ausgebildet ist. Weiterhin umfasst die Vorrichtung Bildverarbeitungsmittel, zur Erkennung des zweiten Fahrzeugs anhand der mittels der wenigstens einen Kamera erfassten Bilddaten. Die Bildverarbeitungsmittel können entweder in der Kamera selbst angeordnet sein oder beispielsweise als separate Recheneinrichtung ausgebildet sein, z.B. als ECU (Electronic Control Unit), die mit der wenigstens einen Kamera über eine geeignete Datenverbindung verbunden ist, um die Bilddaten der Kamera der Recheneinrichtung zur Verfügung zu stellen. Die Bildverarbeitungsmittel sind erfindungsgemäß zur Erkennung des zweiten Fahrzeugs auf Basis wenigstens eines in den Bilddaten ermitteln Fahrzeugrads des zweiten Fahrzeugs ausgebildet. Hierzu können die Bildverarbeitungsmittel ein entsprechendes Computerprogrammprodukt umfassen, insbesondere mit computerlesbarem Programmcode, der auf einem Speichermedium hinterlegt und von wenigstens einem Prozessor der Bildverarbeitungsmittel ausführbar ist.
-
Gemäß einer bevorzugten Ausgestaltung der erfindungsgemäßen Vorrichtung sind die Bildverarbeitungsmittel ferner zur Umsetzung einer der vorangehend beschriebenen bevorzugten Ausgestaltungen des erfindungsgemäßen Verfahrens ausgebildet.
-
Die Erfindung umfasst ferner ein Fahrzeug, das eine erfindungsgemäße Vorrichtung umfasst.
-
Fahrzeugräder sind das allgemeinste Merkmal von Fahrzeugen aller Art. Die Erfindung, insbesondere bei Kombination von vorzugsweise einer Nahfeld-(Seiten-)Kamera und einem bildbasierten Detektionsalgorithmus von Fahrzeugrädern, realisiert somit ein System zur generischen Erkennung von Fahrzeugen, insbesondere von sich seitlich vom eigenen Fahrzeug (Ego-Fahrzeug) befindende Fahrzeuge. Zusätzlich kann die Größe, die Anzahl der Räder und/oder der Achsenabstand des erkannten Fahrzeugs bestimmt werden, was eine simple Klassifikation des detektierten Fahrzeugtyps erlaubt.
-
Durch Objektverfolgung („Tracking“) können zudem Zustandsparameter wie Position und Geschwindigkeit des erkannt Fahrzeugs geschätzt und somit neue Fahrerassistenzfunktionen ermöglicht werden.
-
Das System schließt eine kritische Lücke in der Umfelderfassung mittels Kameras und erlaubt eine generische Erkennung, insbesondere von seitlich fahrenden/stehenden Fahrzeugen. Der Algorithmus zur Detektion von Rädern kann auf ein aufwendiges Klassifikator-Training verzichten. Der Algorithmus erlaubt zudem eine simple und recheneffiziente Klassifikation des Fahrzeugtyps von erkannten Fahrzeugen.
-
Nachfolgend wird eine bevorzugte Ausführungsform des erfindungsgemäßen Verfahrens beschrieben und unter Bezugnahme auf die beigefügten Figuren näher erläutert.
-
Die Erfindung ist dabei nicht auf das nachfolgend beschriebene Ausführungsbeispiel beschränkt. Vielmehr können hieraus auch andere Varianten der Erfindung vom Fachmann abgeleitet werden, ohne den Gegenstand der Erfindung zu verlassen. Insbesondere sind ferner alle im Zusammenhang mit dem Ausführungsbeispiel beschriebenen Einzelmerkmale auch auf andere Weise miteinander kombinierbar, ohne den Gegenstand der Erfindung zu verlassen.
-
Es zeigt:
-
1 ein Ablaufdiagramm einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens;
-
2 ein mittels wenigstens einer Kamera erfasstes Bild des seitlichen Umfelds des Ego-Fahrzeugs sowie ein entzerrtes Bild eines Bildbereichs des erfassten Bildes;
-
3 ein weiteres mittels wenigstens einer Kamera erfasstes Bild des seitlichen Umfelds des Ego-Fahrzeugs sowie ein entzerrtes Bild eines Bildbereichs des erfassten Bildes;
-
4 ein weiteres mittels wenigstens einer Kamera erfasstes Bild des seitlichen Umfelds des Ego-Fahrzeugs;
-
5 ein rotierendes Rad und ein daraus resultierendes Flussbild (optical flow);
-
6 eine extrahierte Signatur einer Radrotation;
-
7 eine im Rahmen des erfindungsgemäßen Verfahrens bevorzugt verwendete Template im Rahmen der Berechnung des Histograms der Orientierung der Gradienten.
-
1 zeigt ein Ablaufdiagramm einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens, das beispielsweise in einem Assistenzsystem eines ersten Fahrzeugs, im Folgenden als „Ego-Fahrzeug“ bezeichnet, zum Einsatz kommen kann.
-
Gemäß 1, werden in einem ersten Schritt S1, der hier beschriebenen bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens, mittels wenigstens einer am Ego-Fahrzeug angeordneten Kamera 2 Bilddaten 1 aus dem Umfeld des Ego-Fahrzeugs erfasst.
-
Bei der Kamera 2 kann es sich grundsätzlich um eine beliebige am Ego-Fahrzeug angeordnete Kamera 2 handeln, mittels derer Bilddaten 1 aus dem Umfeld des Ego-Fahrzeugs erfasst werden. Bei der Kamera 2 kann es sich insbesondere auch um eine Kamera 2 eines Kamerasystems 3 handeln, das mehrere verteilt am Ego-Fahrzeug angeordnete Kameras umfasst, beispielsweise um die Kamera 2 eines sogenannten Surround-View Kamerasystems, welches in der Regel eine im vorderen Bereich („Front“) des Ego-Fahrzeugs angeordnete Kamera aufweist, zur Erfassung des vor dem Ego-Fahrzeug liegenden Umfelds, sowie eine im hinteren Bereich („Heck“) des Ego-Fahrzeugs angeordnete Kamera, zur Erfassung des rückwärtigen Fahrzeugumfelds, und zwei seitlich („Links“, „Rechts“) am Ego-Fahrzeug angeordnete Kameras, zur Erfassung des auf der linken und rechten Seite befindlichen Fahrzeugumfelds.
-
Im Rahmen des erfindungsgemäßen Verfahrens können insbesondere auch die Bilddaten 1 von mehreren Kameras 3 erfasst und gemäß dem erfindungsgemäßen Verfahren zur Erkennung wenigstens eines zweiten Fahrzeugs 4 im Umfeld des Ego-Fahrzeugs verarbeitet werden.
-
Bei der hier beschriebenen bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens handelt es sich bei der wenigstens einen Kamera 2 um eine seitlich am Ego-Fahrzeug angeordnete Kamera 2. Wie aus den 1 bis 4 ersichtlich, weist die Kamera 2 eine Weitwinkeloptik auf, insbesondere eine sogenannte Fischaugen-Optik, so dass mittels der Kamera 2 Bilddaten 1 aus einem möglichst weiten Winkelbereich aus dem seitlichen Umfeld des Ego-Fahrzeugs erfasst werden, vorzugsweise mit einem Erfassungswinkel größer als 180 Grad.
-
Gemäß 1, werden in einem zweiten Schritt S2, der hier beschriebenen bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens, die von der Kamera 2 erfassten Bilddaten 1 entzerrt. Die Entzerrung von Bilddaten 1, beispielsweise Bilddaten von Weitwinkelkameras eines Surround-View Kamerasystems, ist aus dem Stand der Technik grundsätzlich bekannt. Die Entzerrung kann beispielsweise auf Basis bekannter intrinsischer und/oder extrinsischer Kameraparameter sowie mittels entsprechender Transformationsalgorithmen erfolgen.
-
Gemäß 1, erfolgt in einem dritten Schritt S3, der hier beschriebenen bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens, die Ermittlung von Fahrzeugrädern in den entzerrten Bilddaten 1. Für die Ermittlung von Fahrzeugrädern können im Rahmen des erfindungsgemäßen Verfahrens grundsätzlich verschiedene Bildverarbeitungsverfahren, kombiniert oder einzeln, zum Einsatz kommen.
-
Ein erstes vorteilhaftes Bildverarbeitungsverfahren, das im Rahmen der Erfindung bevorzugt zum Einsatz kommt, lehnt sich an das sogenannte „Histograms of oriented gradients“ Detektionsverfahren an, ein an sich bekanntes Verfahren zur Merkmalsgewinnung (Matching) auf Basis eines Modells orientierter Gradienten, siehe beispielsweise: „Histograms of Oriented Gradients for Human Detection"; Navneet Dalal and Bill Triggs; erschienen in: Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05); 20–25 Juni 2005.
-
Dabei wird im Rahmen des erfindungsgemäßen Verfahrens bevorzugt eine Modell (Template) verwendet, das die Orientierung der Gradienten von einem idealen Fahrzeugrad beschreibt, insbesondere für einen bestimmten Bildbereich 5. Bei einem solchen Bildbereich 5 kann es sich, wie in 1, 2 und 3 gezeigt, beispielsweise um einen definierten Bereich 5 eines von der seitlich am Ego-Fahrzeug angeordneten Weitwinkelkamera erfassten Gesamtbildes 1 handeln. Im Gegensatz zu etablierten Vorgehensweisen, beispielsweise gegenüber der Verwendung von trainierten Klassifikatoren, kann das Template im Rahmen der Erfindung insbesondere auch von Hand modelliert sein.
-
Eine Template 10, die vorzugsweise im Rahmen des erfindungsgemäßen Verfahrens zum Einsatz kommen, kann ist in 7 gezeigt. 7 zeigt eine Template 10 mit einem Bereich 8 zur Berechnung eines Histogramms der Orientierung der Gradienten im Bild sowie die Orientierung 9 der Gradienten im Template 10. Im Zuge der Erkennung wird in dem dargestellten Bereich 8 ein Histogramm der Orientierung in einem Bildbereich akkumuliert und mit der Template 10 verglichen. Das Histogramm wird dabei aus Kanten gebildet, dessen Betrag einen vorbestimmten Schwellwert überschreitet.
-
Weiterhin können bei der Berechnung des Orientierungshistogramms insbesondere nur diejenigen Gradienten berücksichtigt werden, dessen Betrag einen festgelegten Schwellwert übersteigt. Die Bilddaten 1, bzw. die von der Kamera erfassten und vorab entzerrten Bilder 6, werden vorzugsweise mit dem Template auf verschiedenen Skalen „gefaltet“. Durch Schwellwertbildung auf das Faltungsergebnis können anschließend potenzielle Bereiche ermittelt werden, in denen ein Fahrzeugrad erkannt wurde. Auf das Ergebnis kann anschließend die sogenannte „Non-Maxima Suppression“ angewendet werden, um eine eindeutige Position 7 von Fahrzeugrädern in den Bilddaten 1 bzw. dem entzerrten Bilddaten 6 zu erhalten.
-
Ein zweites vorteilhaftes Bildverarbeitungsverfahren, das im Rahmen der Erfindung bevorzugt zum Einsatz kommt, ist die Erkennung der rotierenden Bewegung von Fahrzeugrädern. Dies kann durch Auswertung von in den Bilddaten 1 bzw. in den entzerrten Bilddaten 6 ermittelten optischem Fluss erfolgen, insbesondere durch Auswertung von in einer Bildfolge ermitteltem Optischem Fluss. Dieser Ausgestaltung liegt die Erkenntnis zugrunde, dass die rotierende Bewegung eines Fahrzeugrades, siehe linke Darstellung in 5, eine typische Signatur des Optischen Flusses, siehe rechte Darstellung in 5, erzeugt. Im Rotationszentrum beträgt der Optische Fluss Null und nimmt kontinuierlich vom Rotationszentrum nach außen hin zu, wobei die Richtung des Flusses der Orientierung konzentrischer Kreise um das Rotationszentrum folgt. Durch diesen Effekt wird eine charakteristische Symmetrie-Signatur erzeugt, wie in 6 gezeigt, die extrahiert und mittels bekannter Mustererkennungsverfahren in den Bilddaten 1 bzw. den entzerrten Bilddaten 6 gesucht werden kann.
-
Gemäß 1, werden in einem vierten Schritt S4, der hier beschriebenen bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens, die in den Bilddaten 1 bzw. den entzerrten Bilddaten 6 der wenigstens einen Kamera 2 ermittelten Fahrzeugäder bzw. deren Positionen 7, insbesondere in den nachfolgend mittels der Kamera 2 erfassten Bilddaten 1, verfolgt. Dieses sogenannte „Tracking“ erfolgt vorzugsweise mittels eines Kalman Filters, insbesondere mittels eines Extended Kalman Filters. Mittels Tracking lässt sich beispielsweise die Position des zweiten Fahrzeugs 4, dessen Fahrzeugräder erkannt wurden, bestimmen, beispielsweise relativ zum Ego-Fahrzeug und/oder absolut in einem Umfeldmodell, einem fahrzeugbezogenen Koordinatensystem und/oder in einem Weltkoordinatensystem. Bei der Bestimmung der Position des zweiten Fahrzeugs 4 kann insbesondere auch eine Zuordnung des zweiten Fahrzeugs 4 zu einer bestimmten Fahrspur im Umfeld des Ego-Fahrzeugs erfolgen. Mittels Tracking lassen sich weiterhin die Bewegungsparameter, z.B. die Bewegungsrichtung und die Geschwindigkeit, des zweiten Fahrzeugs 4, dessen Fahrzeugräder erkannt wurden, ermitteln bzw. schätzen. Aus dem Abstand, der Anzahl und/oder der Größe der in den Bilddaten 1 bzw. den entzerrten Bilddaten 6 ermittelten Fahrzeugräder des zweiten Fahrzeugs 4 lassen sich zudem weitere Eigenschaften des zweiten Fahrzeugs 4 bestimmen. In diesem Zusammenhang kann insbesondere eine Klassifikation des Fahrzeugtyps des zweiten Fahrzeugs 4 erfolgen, z.B. ob es sich um einen Pkw, Lkw, Bus eine Landmaschine, ein Fahrzeug mit Anhänger oder beispielsweise um ein Fahrrad oder Motorrad handelt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
-
Zitierte Nicht-Patentliteratur
-
- „Histograms of Oriented Gradients for Human Detection“; Navneet Dalal and Bill Triggs; erschienen in: Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05); 20–25 Juni 2005 [0041]
