DE102019008316A1

DE102019008316A1 - Verfahren zur Objekterkennung und Abstandsbestimmung

Info

Publication number: DE102019008316A1
Application number: DE102019008316.4A
Authority: DE
Inventors: Klaus Hermann
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2019-11-29
Filing date: 2019-11-29
Publication date: 2020-08-13

Abstract

Die Erfindung betrifft ein Verfahren zur Objekterkennung und Abstandsbestimmung in einem Fahrzeug (6, 6') mittels einer Monokamera (5,5'), wobei Objekte mittels Bildauswertung und Klassifikation erkannt werden. Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass mittels der Monokamera (5, 5') eine erste Bildaufnahme angefertigt wird, wonach das Fahrzeug (6, 6') auf eine parallel zur bisherigen Fahrlinie (7) querversetzte Fahrlinie (7') gesteuert wird, wonach eine zweite Bildaufnahme in einem neuen Betrachtungswinkel angefertigt wird, und wonach eine Stereobildauswertung der beiden Bildaufnahmen erfolgt, um den Abstand zu dem Objekt zu bestimmen.

Description

Die Erfindung betrifft ein Verfahren zur Objekterkennung und Abstandsbestimmung in einem Fahrzeug mittels einer Monokamera, nach der im Oberbegriff von Anspruch 1 näher definierten Art.
Aus dem allgemeinen Stand der Technik sind Stereokameras bekannt, mit welchen es möglich ist, ein räumliches Bild einer erfassten Umgebung zu erzeugen und anhand von Analyseeinrichtungen näher auszuwerten. Dabei umfassen die Stereokameras im Wesentlichen zwei Kameras, die in einem Abstand in einer horizontalen Ebene quer zur ihrer optischen Achse zueinander angeordnet sind. Dadurch können räumliche Bilder erzeugt werden, indem die Bilder der beiden versetzt zueinander angeordneten Kameras entsprechend überlagert werden. Hierdurch ist es möglich, die Abstände von erfassten Objekten zu der Kamera sehr genau zu bestimmen. Mittels einer Monokamera ist dies nicht möglich und erfordert weitere Sensoren.
Der Nachteil der Stereokamera ist dabei insbesondere der vergleichsweise hohe Preis aufgrund der umfangreichen Technik. Außerdem müssen die beiden Kameras einer Stereokamera einzeln aufeinander abgestimmt sein, um exakte Resultate zu erzielen. Die Abstimmung und insbesondere die Justage der beiden Kameras in einem Fahrzeug sind dabei zeitaufwändig und fehleranfällig. Muss beispielsweise die Scheibe ausgetauscht werden oder dergleichen, ist eine erneute Kalibrierung der beiden Stereokameras aufeinander notwendig.
Aus diesem Grund ist es aus dem allgemeinen Stand der Technik bekannt, über eine Monokamera Stereobilder zu erzeugen. In diesem Zusammenhang kann auf die DE 10 2018 004 562 A1 des Erfinders hingewiesen werden.
Zum weiteren Stand der Technik hinsichtlich der Auswertung von Stereobildern kann außerdem auf die DE 196 36 028 C1 hingewiesen werden.
Aufgrund der Nachteile einer Stereokamera werden in der Praxis häufig Monokameras eingesetzt. Für viele Aufgaben sind diese, insbesondere wenn sie mit anderen Sensoren zu einer Sensorfusion kombiniert werden, völlig ausreichend. Häufig reicht es dabei auch aus, über Monokameras Objekte zu erkennen und ihre Entfernung durch Methoden wie beispielsweise das sogenannte Structure by Motion entsprechend abzuschätzen. Insbesondere die Entfernung zu einem nach hinten aus einem vorausfahrenden Fahrzeug überstehender Ladung zu dem eigenen Fahrzeug ist dabei aber kaum möglich oder wenn dann nur mit extremer Ungenauigkeit. Dies stellt vor allem bei hoch- oder vollautomatisierten fahrenden Fahrzeugen ein erhebliches Sicherheitsrisiko dar.
Aus diesem Grund ist es die Aufgabe der hier vorliegenden Erfindung, mit einem einfachen und kostengünstigen Verfahren eine Objekterkennung und Abstandsbestimmung mittels einer Monokamera zu realisieren, welche diesen Sicherheitsnachteil aufhebt und eine hochgenaue Abstandsbestimmung von Objekten, insbesondere von überstehender Ladung vorausfahrender Fahrzeuge, zu schaffen.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen im Anspruch 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Unteransprüchen.
Bei dem erfindungsgemäßen Verfahren ist es so, dass das Fahrzeug mit einer einfachen und relativ kostengünstigen Monokamera ausgestattet ist. In an sich bekannter Art und Weise werden Objekte über eine Bildauswertung und Klassifikation erkannt. Erfindungsgemäß ist es nun so, dass mittels der Monokamera eine erste Bildaufnahme angefertigt wird. Danach wird das Fahrzeug, welches sich ganz oder teilweise in einem autonomen Fahrbetrieb befindet, von seiner bisherigen Fahrlinie auf eine parallel zur bisherigen Fahrlinie quer versetzte Fahrlinie gesteuert, wonach eine zweite Bildaufnahme in einem neuen Betrachtungswinkel angefertigt wird. Danach lassen sich aus den beiden Bildaufnahmen mit unterschiedlichem Betrachtungswinkel durch geeignete Überlagerung Stereobilder generieren, welche über eine Stereobildauswertung dazu genutzt werden können, den Abstand zu dem Objekt sehr genau zu bestimmen. Die Genauigkeit reicht dabei für einen sicheren Betrieb eines hoch- oder vollautomatisiert fahrenden Fahrzeugs leicht aus. Anders als bei den Verfahren im Stand der Technik kann auf aufwändige Stereokameras oder zusätzlich zur Monokamera vorhandene Sensoren bei dem erfindungsgemäßen Verfahren verzichtet werden.
Das erfindungsgemäße Verfahren erlaubt so eine erhöhte Fahrsicherheit beim hoch- und/oder vollautomatisierten Fahren und kann ein solches hoch- und/oder vollautomatisiertes Fahren trotz der entsprechenden Sicherheit ohne eine teure Stereokamera realisieren. Es erlaubt letztlich also eine Einsparung von Kosten, ohne Nachteile bei der Sicherheit.
Das erfindungsgemäße Verfahren lässt sich prinzipiell für jede Art von Objekten einsetzen. Es ist jedoch insbesondere dafür geeignet, überstehende Ladung vorausfahrender Fahrzeuge zu erkennen, zu klassifizieren und deren Abstand zu der Kamera und damit zu dem eigenen Fahrzeug zuverlässig zu ermitteln. Insbesondere für diese ansonsten kaum zu bewältigende Aufgabe eignet sich das erfindungsgemäße Verfahren besonders gut.
Die Objekte können dabei gemäß einer sehr günstigen Ausgestaltung des erfindungsgemäßen Verfahrens über trainierte Klassifikatoren und/oder neuronale Netze identifiziert werden. Auch dies ist prinzipiell soweit aus dem Stand der Technik bekannt, und kann in Verbindung mit dem erfindungsgemäßen Verfahren ideal genutzt werden. Dabei lassen sich die erkannten Objekte gemäß einer vorteilhaften Weiterbildung des Verfahrens entsprechend plausibilisieren. Für eine solche Plausibilisierung kann gemäß einer vorteilhaften Weiterbildung dieser Idee beispielsweise ein objekttypisches Warnsymbol oder anderes Kennzeichen, z.B. ein Warnschild oder ein rotes Fähnchen, welches in vielen Ländern bei überstehender Ladung Pflicht ist, erkannt werden. Wird ein solches zusätzlich zu einem als überstehende Ladung klassifizierten Objekt erkannt, kann sehr einfach eine zuverlässige Plausibilisierung erfolgen.
Der Querversatz der Fahrlinien kann dabei in einer Größenordnung von ca. 30 cm liegen. Ein solcher Querversatz in der Größenordnung von 30 cm lässt sich typischerweise in jeder Fahrspur einfach und effizient umsetzen, ohne dass die Fahrspur verlassen werden muss, und ohne dass damit ein Sicherheitsproblem einhergeht, da ein Raum von 30 cm zum Versetzen eines Fahrzeugs, insbesondere bei der Anwendung in einem Personenkraftwagen, typischerweise in jeder Fahrspur immer vorliegt.
Das Fahrzeug kann dabei auf der neuen Fahrlinie über eine entsprechende Fahrsensorik und ein daraus abgeleitetes Bewegungsmodell parallel zur bisherigen Fahrlinie, während welcher die erste Bildaufnahme angefertigt wurde, gehalten werden, während die zweite Bildaufnahme erfolgt. Dies ist für die Qualität der später überlagerten Bildaufnahmen entscheidend. Ein exakt paralleler Versatz der Fahrlinie lässt sich mit Hilfe von Gierraten, Sensoren und dGPS-Sensoren und dergleichen jedoch einfach und zuverlässig erreichen, insbesondere da ein relativ kurzer Zeitraum für die entsprechende Anfertigung der Bildaufnahme ausreicht. Auch ist es möglich, aus mehreren Bildaufnahmen diejenigen heraus zu filtern, während welchen die Bedingungen exakt vorlagen.
Ergänzend zum Abstand der überstehenden Ladung kann gemäß einer sehr vorteilhaften Weiterbildung der Idee die Höhe des Endpunkts der überstehenden Ladung über der Fahrbahn bestimmt werden. Hierdurch kann festgestellt werden, ob die überstehende Ladung das eigene Fahrzeug gegebenenfalls überragt, sodass diese bei der Längsregelstrategie des eigenen Fahrzeugs ignoriert werden kann, weil das eigene Fahrzeug im Notfall unter die überstehende Ladung passen würde, sodass eine Kollision zwischen dem eigenen Fahrzeug und der überstehenden Ladung quasi ausgeschlossen ist.
Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich auch aus dem Ausführungsbeispiel, welches nachfolgend unter Bezugnahme auf die Figur näher dargestellt ist.
Die einzige beigefügte Figur zeigt dabei ein Szenario zur Erläuterung des erfindungsgemäßen Verfahrens im Blick von oben.
In der Darstellung der Figur ist eine mit 1 bezeichnete Fahrbahn teilweise angedeutet. Auf einer Fahrspur 2 der Fahrbahn 1 bewegt sich dabei im Bild oben und in Fahrtrichtung F vorne ein mit 3 bezeichnetes Fahrzeug, beispielsweise ein Lastkraftwagen, dessen Heck angedeutet ist. Aus dem Heck dieses Fahrzeugs 3 steht mit 4 bezeichnete Ladung über. Solche von dem Fahrzeug 3 aus nach hinten überstehende Ladung 4 lässt sich über eine Monokamera 5, wie sie mit einem mit 6 bezeichneten Fahrzeug zur Erfassung der Umgebung verbaut ist, hinsichtlich ihres Abstandes zu dem Fahrzeug 6 nur außerordentlich schwer oder gar nicht einschätzen. Dies stellt bei herkömmlichen Fahrzeugen 6 mit Monokamera 5 ein erhebliches Sicherheitsrisiko dar, insbesondere wenn dieses Fahrzeug 6 hoch- und/oder vollautomatisiert fährt.
Um dieser Problematik abzuhelfen ist es nun so, dass mit Hilfe der Monokamera 5 das Heck des Fahrzeugs 3 entsprechend erfasst wird. Die überstehende Ladung 4 wird dabei mit Hilfe einer Bildauswertung der Bilder dieser Monokamera 5 klassifiziert und als solche erkannt. Dafür lassen sich beispielsweise trainierte Klassifikatoren oder neuronale Netze, wie sie bei der Bildverarbeitung von Umgebungsbildern von Fahrzeugen allgemein bekannt und üblich sind, einsetzen. Zur Plausibilisierung kann mit derselben Methode erkannt werden, ob die überstehende Ladung 4 beispielsweise mit einem roten Fähnchen, einem Warnschild oder dergleichen gekennzeichnet ist, um so die Zuverlässigkeit der Objekterkennung bezüglich der überstehenden Ladung 4 weiter zu steigern.
Das Fahrzeug 6 bewegt sich auf einer durchgezogenen mit 7 bezeichneten Fahrlinie innerhalb der Fahrspur 2 der Fahrbahn 1 in Fahrtrichtung F vorwärts und folgt dem Fahrzeug 3 beispielsweise in einem konstanten Abstand. Nachdem nun über die Bildverarbeitung und die Monokamera 5 überstehende Ladung 4 als Objekt erkannt worden ist, wird das insbesondere hoch- oder vollautomatisiert fahrende Fahrzeug 6 quer versetzt, also auf eine parallele Fahrlinie gelenkt. Diese Fahrlinie ist mit 7' bezeichnet, das querversetzte Fahrzeug ist mit 6' bezeichnet und ebenso wie die Fahrlinie 7' gestrichelt angedeutet. Auch die Monokamera 5 wird damit quer versetzt, beispielsweise um einen Abstand von ca. 30 cm, sodass das Fahrzeug 6, 6' während des Querversatzes die Fahrspur 2 nicht verlässt. Die in ihrer versetzten Position gestrichelt dargestellte Monokamera ist entsprechend mit 5' bezeichnet. Der leichte Querversatz ermöglicht es nun, dass über die Monokamera 5 und 5' jeweils Bildaufnahmen mit unterschiedlichen Betrachtungswinkeln auf die überstehende Ladung 4 angefertigt werden können. Dies ist auf der ursprünglichen Fahrspur 7 mit strichpunktierter Linie und auf der versetzten Fahrspur 7' mit strichzweipunktierter Linie entsprechend angedeutet.
Dabei sollte das Fahrzeug 6 bzw. 6' in der versetzten Fahrlinie 7' exakt parallel zur ursprünglichen Fahrlinie 7 fahren, was mit Hilfe der Gierraten- und dGPS-Sensorik und des daraus abgeleiteten Bewegungsmodells sichergestellt wird. Die beiden aus den unterschiedlichen Blickwinkeln angefertigten Bildaufnahmen erlauben nun die Ausnutzung des Stereoeffekts, um den Abstand eines in Richtung Fahrzeugs 6, 6' liegenden Endpunkts 8 der überstehenden Ladung 4 leicht zu erkennen, sodass der Abstand zwischen dem eigenen Fahrzeug 6, 6' und dem Endpunkt 8 der überstehenden Ladung 4 sehr zuverlässig ermittelt werden kann. Dieser lässt sich dann in die Längsregelstrategie des Fahrzeugs 6, 6' entsprechend übernehmen, um ein sicheres hoch- oder vollautomatisiertes Fahren des Fahrzeugs 6, 6' zu ermöglichen.
Ferner kann über das Verfahren die Höhe des Endpunkts 8 der überstehenden Ladung 4 über der Fahrbahn 1 gemessen werden. Wird in diesem Zusammenhang erkannt, dass die überstehende Ladung 4 das eigene Fahrzeug 6, 6' überragt, dass dieses also unter die überstehende Ladung 4 passen würde, dann kann die überstehende Ladung 4 bei der Längsregelstrategie des Fahrzeugs 6, 6' entsprechend ignoriert werden.
Ohne das eine teure Stereokamera notwendig ist, lässt sich so die Genauigkeit der Erkennung von Objekten und insbesondere die Genauigkeit der Abstandsbestimmung steigern und damit die Fahrsicherheit erhöhen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102018004562 A1 [0004]
DE 19636028 C1 [0005]

Claims

Verfahren zur Objekterkennung und Abstandsbestimmung in einem Fahrzeug (6, 6') mittels einer Monokamera (5,5'), wobei Objekte mittels Bildauswertung und Klassifikation erkannt werden, dadurch gekennzeichnet, dass mittels der Monokamera (5, 5') eine erste Bildaufnahme angefertigt wird, wonach das Fahrzeug (6, 6') auf eine parallel zur bisherigen Fahrlinie (7) querversetzte Fahrlinie (7') gesteuert wird, wonach eine zweite Bildaufnahme in einem neuen Betrachtungswinkel angefertigt wird, und wonach eine Stereobildauswertung der beiden Bildaufnahmen erfolgt, um den Abstand zu dem Objekt zu bestimmen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Abstandsbestimmung für überstehende Ladung (4) eines vorausfahrenden Fahrzeugs (3) als Objekt erfolgt.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Objekte über trainierte Klassifikatoren und/oder neuronale Netze erkannt werden.
Verfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass die erkannten Objekte plausibilisiert werden.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Plausibilisierung anhand objekttypischer Warnsymbole oder Kennzeichen erfolgt.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass der Querversatz in einer Größenordnung von 20 bis 50 cm, vorzugsweise ca. 30 cm, liegt.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass das Fahrzeug (6, 6') auf der neuen Fahrlinie (7') über ein aus einer Fahrsensorik abgeleitetes Bewegungsmodell parallel zur bisherigen Fahrlinie (7), während welcher die erste Bildaufnahme erfolgt war, gehalten wird, während die zweite Bildaufnahme erfolgt.
Verfahren nach einem der Ansprüche 2 bis 7, dadurch gekennzeichnet, dass ergänzend zum Abstand der überstehenden Ladung (4) die Höhe eines Endpunkts (8) der überstehenden Ladung (4) über der Oberfläche der Fahrbahn (1) bestimmt wird.