-
Die Erfindung betrifft ein Verfahren zum Erkennen von Objekten im Umfeld eines Fahrzeugs, welches ein optisches Erkennungssystem und einen Lidarsensor gemäß dem Oberbegriff des Anspruchs 1 nutzt.
-
Das Erkennen von Objekten im Umfeld eines Fahrzeugs, und hier insbesondere innerhalb eines geplanten Fahrkorridors des Fahrzeugs, ist eine Aufgabe von zunehmender Bedeutung im Hinblick auf automatisierte oder teilautomatisierte Abläufe beim Fahren von Fahrzeugen.
-
Beispielhaft kann in diesem Zusammenhang auf die
DE 10 2012 204 175 A1 verwiesen werden, welche ein Verfahren zur Bildverarbeitung für ein Fahrerassistenzsystem beschreibt. Die Basis für diese Anmeldung bildet dabei ein optisches Erkennungssystem, welches einerseits über wenigstens eine Kamera und andererseits über ein Bildverarbeitungsmodul verfügt. Die Kombination aus der wenigstens einen Kamera, wobei hier auch mehrere Kameras vorhanden sein können und wobei die Kameras als Mono- oder Stereokameras ausgestaltet sein können, bildet die Basis für das Erkennen von Objekten. Die eigentliche Erkennung erfolgt dann basierend auf den von der Kamera oder den Kameras aufgenommen Bildern im Bildverarbeitungsmodul. Über bekannte Techniken wie beispielsweise eine Mustererkennung oder eine Tiefenschätzung werden so Objekte identifiziert und ihre Position relativ zu der Kamera und damit relativ zu dem Fahrzeug bestimmt.
-
Ergänzend oder alternativ können weitere Sensoren vorhanden sein, beispielsweise Ultraschallsensoren, welche überwiegend für den Nahbereich geeignet sind, oder Radar- bzw. Lidarsensoren. Über diese können weitere Bereiche um das Fahrzeug gescannt werden. Insbesondere der Einsatz von Lidarsensoren ist dabei vergleichsweise teuer und aufwändig, sodass das komplette Abscannen der gesamten Umgebung des Fahrzeugs bzw. seines geplanten Fahrkorridors mit hoher Auflösung entsprechend aufwändig ist und einen teuren Sensor erforderlich macht.
-
Problematisch ist es bei der Bildverarbeitung, insbesondere der Verarbeitung von Kamerabildern nun, dass diese in der Praxis sehr häufig fälschlicherweise Objekte erkennen, an Stellen, an denen sich keine derartigen Objekte befinden. Eine solche fehlerhafte Objekterkennung basiert in den allermeisten Fällen auf unerwarteten Oberflächenveränderungen in der Fahrbahn, verzerrt erscheinenden Fahrbahnmarkierungen, Schatten auf der Fahrbahn oder ähnlichem. All dies ist für eine kamerabasierte Bildverarbeitung außerordentlich schwer zu erkennen. Die anderen Systeme sind zwar in der Lage, derartige Objekte leichter zu identifizieren, sie sind bei entsprechend hoher Auflösung zum Abscannen der gesamten Umgebung des Fahrzeugs jedoch sehr aufwändig und teuer.
-
Zum weiteren Stand der Technik kann außerdem auf die
DE 10 2012 210 608 A1 verwiesen werden. In dieser wird ein System beschrieben, welches ebenfalls über Kamera, Radar und/oder Lidar verfügt, um ein Objekt zu erkennen und dieses entsprechend einzuordnen. Die Kernaufgabe in dieser Schrift liegt dabei im Erkennen von fahrenden Fahrzeugen, um so im Rahmen eines Abstandsassistenzsystems eine Abstandsfolgefahrt zu realisieren.
-
Die Aufgabe der hier vorliegenden Erfindung besteht nun darin, ein Verfahren zum Erkennen von Objekten im Umfeld eines Fahrzeugs anzugeben, welches in der Lage ist, die Fehlerquote bei der Erkennung zu verbessern und gleichzeitig ein sehr einfaches und kostengünstiges System bereitzustellen.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen im Anspruch 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Unteransprüchen.
-
Bei dem erfindungsgemäßen Verfahren wird ein einfacher und vergleichsweise kostengünstiger, da etablierter, Aufbau mit einem optischen Erkennungssystem genutzt, welcher zumindest eine Kamera und ein Bildverarbeitungsmodul umfasst. Im ersten Schritt werden über das optische Erkennungssystem die Daten der Kamera erfasst und in dem Bildverarbeitungsmodul ausgewertet. Dabei wird in Kauf genommen, dass unter den oben bereits beschriebenen Umständen durch eine solche reine Bildverarbeitung häufiger Fehler entstehen können. Es werden also keine tatsächlich erfassten Objekte ermittelt und angezeigt, sondern lediglich Objekthypothesen abgegeben, also die Vermutung, dass in dem erkannten Bereich mit größerer Wahrscheinlichkeit ein Objekt ist. Der Aufwand für die Bildverarbeitung kann dementsprechend reduziert werden, da nun die Anforderungen nicht mehr so hoch sind, wie im Stand der Technik, da ja lediglich Objekthypothesen erkannt werden müssen, und diese eben nicht hinsichtlich potenzieller Fehlalarme gefiltert werden müssen.
-
Im zweiten Schritt des erfindungsgemäßen Verfahrens wird dann ein Lidarsensor so angesteuert, dass er die Objekthypothesen überprüft. Mittels der Daten des Lidarsensors, welcher Erhöhungen sehr gut erfassen kann, wird also das von der Kameras bzw. dem Bildverarbeitungsmodul in diesem Bereich vorhergesagte potenzielle Objekt überprüft. Lässt sich über den Lidarsensor eine Erhöhung im Bereich dieser Objekthypothese feststellen, dann kann sehr einfach und mit hoher Wahrscheinlichkeit von einem tatsächlichen Objekt in diesem Bereich ausgegangen werden. Ist dies nicht der Fall, dann muss von einer Täuschung der Kamera und des Bildverarbeitungsmoduls ausgegangen werden. Die Objekthypothese wird also entweder verifiziert oder in dem zweitgenannten Fall verworfen. Der Aufbau lässt sich außerordentlich einfach und kostengünstig realisieren. Anstelle eines Lidarsensors, welcher die gesamte Umgebung des Fahrzeugs bzw. den gesamten geplanten Fahrkorridor des Fahrzeugs hochauflösend überprüfen muss, reicht es nun aus, wenn der Lidarsensor über eine Steuerungseinrichtung in Abhängigkeit der von der Kamera ermittelten Objekthypothesen in den Bereich dieser Objekthypothesen gelenkt wird, um diese entsprechend zu verifizieren. Die Anforderungen, welche an den Lidarsensor gestellt werden müssen, lassen sich so deutlich reduzieren. Dies reduziert wiederum den Aufwand hinsichtlich des Lidarsensors, sodass dieser sehr viel einfacher und kostengünstiger realisiert werden kann, als ein Lidarsensor, welcher die gesamte Umgebung hochauflösend abtasten muss. Darüber hinaus lässt sich Rechenzeit einsparen, da nicht die gesamte Umgebung zwischen dem Kamerabild und den Daten des Lidarsensors abgeglichen werden muss, sondern nur die Bereiche der jeweiligen Objekthypothesen.
-
Das Bildverarbeitungsmodul kann dabei zum Erstellen der Objekthypothesen gemäß einer vorteilhaften Weiterbildung der Idee über eine Tiefenschätzung und/oder Mustererkennung arbeiten. Diese Verfahren sind soweit etabliert, haben jedoch die eingangs genannte Nachteile. Aufgrund des erfindungsgemäßen Verfahrens spielt eine potenzielle Fehlerfassung jedoch nunmehr eine untergeordnete Rolle, sodass dies leicht in Kauf genommen werden kann.
-
Wie schon erwähnt kann es dabei vorgesehen sein, dass über den Lidarsensor ausschließlich die Bereiche gescannt werden, für welche seitens der Kamera eine Objekthypothese erstellt worden ist. Bei freier Kapazität des Lidarsensors kann dieser auch anderweitig eingesetzt werden, seine primäre Aufgabe ist jedoch das Überprüfen der Objekthypothesen, sodass er entsprechend einfach und kostengünstig gestaltet werden kann.
-
Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich auch aus dem Ausführungsbeispiel, welches nachfolgend unter Bezugnahme auf die Figur näher beschrieben ist.
-
Die einzige beigefügte Figur zeigt ein beispielhaftes Szenario zur Durchführung des erfindungsgemäßen Verfahrens.
-
In der einzigen beigefügten Figur ist ein Szenario mit einem Fahrzeug 1 auf einer Fahrbahn 2 zu erkennen. Auf der Fahrbahn 2 sollen dabei drei potenzielle Objekte 3, 4, 5 angeordnet sein. Das Fahrzeug 1 verfügt über eine Kamera 6, beispielsweise eine Mono- oder Stereokamera. Die von der Kamera 6 erfassten Daten gelangen in ein Bildverarbeitungsmodul 7. Diese Bauteile 6, 7 bilden zusammen ein optisches Erkennungssystem. In dem Bildverarbeitungsmodul werden über Tiefenschätzungen und/oder Mustererkennungen Objekte in dem Sichtbereich 8 der Kamera, welcher hier mit einer Schraffierung angedeutet ist, erkannt. Die Qualität der Erkennung dieser Objekte leidet unter den üblichen Einschränkungen eines derartigen optischen Erkennungssystems, sodass Fehlalarme nicht ausgeschlossen werden können. Anstelle konkreter Objekte 3, 4, 5 wird seitens des Bildverarbeitungsmoduls 7 daher lediglich eine Objekthypothese 3, 4, 5 angenommen. Diese Objekthypothese 3, 4, 5 wird einem Steuergerät 9 eines Lidarsensors 10 übermittelt. Der Lidarsensor 10 scannt nun die Bereiche, in welchen eine derartige Objekthypothese 3, 4, 5 vorliegt, gezielt. Dies ist in der Darstellung der Figur durch die mit 11 bezeichneten Pfeile, welche das gezielte Scannen der einzelnen Objekthypothesen 3, 4, 5 versinnbildlichen sollen, dargestellt.
-
Die erfassten Daten werden nun beispielsweise in dem Bildverarbeitungsmodul 7, oder wie in der Darstellung der Figur angedeutet, in einem weiteren Datenmodul 12 abgeglichen. Die Bereiche der Objekthypothesen 3, 4, 5 und die Ergebnisse des Lidarsensors 10 bezüglich dieser Objekthypothesen 3, 4, 5 werden entsprechend miteinander verglichen, um die Objekthypothesen 3, 4, 5 entweder zu verifizieren und ein tatsächliches Objekt 3, 4, 5 anzugeben, oder nicht.
-
In der Darstellung der Figur soll es nun so sein, dass es sich bei der Objekthypothese 3 um ein tatsächliches Objekt 3 beispielsweise ein am Fahrbahnrand befindliches Objekt 3, wie beispielsweise eine abgestellte Kiste oder ähnlichem, handelt. Die Objekthypothese 4 soll in dem hier dargestellten Ausführungsbeispiel durch die Daten des Lidarsensors 10 nicht verifiziert worden sein, da in ihrem Bereich keine Erhöhungen durch den Lidarsensor 10 erfasst werden konnten. Bei dieser Objekthypothese 4 liegt somit keine Verifikationsinformation vor. Es muss sich bei der Objekthypothese 4 also um eine optische Täuschung handeln, beispielsweise einen auf die Fahrbahn 2 fallenden Schatten oder ähnlichem. In vergleichbarer Art und Weise kann auch die Objekthypothese 5 ausgewertet werden, welche in dem hier dargestellten Ausführungsbeispiel wiederum ein Objekt 5 darstellen soll, beispielsweise ein verlorenes Ladungsteil eines vorausfahrenden Fahrzeugs oder ähnliches.
-
Über den Lidarsensor 10 zur Verwendung in dem erfindungsgemäßen Verfahren muss nun also keine hochaufgelöste Tiefenkarte des geplanten Fahrkorridors des Fahrzeugs 1 erzeugt werden. Vielmehr reicht es aus, lediglich die Bildabschnitte abzuscannen, in denen eine Objekthypothese 3, 4, 5 vorliegt. Die Leistungsfähigkeit des Lidarsensors 10 kann deshalb gegenüber den im Stand der Technik eingesetzten Lidarsensoren verringert, wodurch welche eine deutliche Kosteneinsparung möglich wird. Gleichzeitig wird die Anzahl der Fehlalarme durch das optische Erkennungssystem aus der Kamera 6 und dem Bildverarbeitungsmodul 7 reduziert, sodass über das Datenmodul 12 eine sehr zuverlässige Information über die Objekte 3 und 5 abgegeben wird, während der Fehlalarm über die nicht verifizierte Objekthypothese 4 nicht weitergeleitet wird, um damit ein nicht dargestelltes Fahrerassistenzsystem oder einem System zum autonomen oder teilautonomen Fahren des Fahrzeugs 1 nicht zu belasten.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102012204175 A1 [0003]
- DE 102012210608 A1 [0006]
