DE102019218479A1

DE102019218479A1 - Verfahren und Vorrichtung zur Klassifikation von Objekten auf einer Fahrbahn in einem Umfeld eines Fahrzeugs

Info

Publication number: DE102019218479A1
Application number: DE102019218479.0A
Authority: DE
Inventors: Martin Reiche
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-11-28
Filing date: 2019-11-28
Publication date: 2021-06-02
Also published as: US11270135B2; US20210166043A1; CN112861599A

Abstract

Die Erfindung betrifft ein Verfahren zur Klassifikation von Objekten (105) auf einer Fahrbahn (100) in einem Umfeld eines Fahrzeugs (110). Das Verfahren weist einen Schritt des Einlesens von Bilddaten (115) von einer Schnittstelle (121) zu mindestens einer Fahrzeugkamera (112) des Fahrzeugs (110) auf. Die Bilddaten (115) repräsentieren einen zumindest die Fahrbahn (100) aufweisenden Bereich des Umfelds. Auch weist das Verfahren einen Schritt des Auswertens der Bilddaten (115) auf, wobei Fahrbahnmarkierungen (102) der Fahrbahn (100) identifiziert werden, unter Verwendung der identifizierten Fahrbahnmarkierungen (102) ein Modell (M) einer Oberfläche der Fahrbahn (100) generiert wird und ein Objekt (105) auf der Fahrbahn (100) erkannt wird. Das Verfahren weist ferner einen Schritt des Ermittelns von ersten Entfernungswerten zwischen der Fahrzeugkamera (112) und durch die Bilddaten (115) repräsentierten Objektbildpunkten (P11, P12) des Objekts (105) und von zweiten Entfernungswerten zwischen der Fahrzeugkamera (112) und durch das Modell (M) definierten Fahrbahnbildpunkten (P21, P22) der Oberfläche der Fahrbahn (100) in einer Umgebung des Objekts (105) auf. Zudem weist das Verfahren einen Schritt des Durchführens eines Vergleichs der Entfernungswerte mit zumindest einem Kontinuitätskriterium zum Unterscheiden erhabener Objekte von flachen Objekten auf, um das Objekt (105) abhängig von einem Ergebnis des Vergleichs als erhabenes oder flaches Objekt zu klassifizieren.

Description

Stand der Technik
Die Erfindung geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
Es sind auf dem optischen Fluss basierende Algorithmen für Entfernungsschätzung und Aufbau einer dreidimensionalen Szenerie bekannt, sogenanntes „structure from motion“. Ferner sind Stereokameras zur Erzeugung einer Tiefeninformation aus einer abweichenden Parallaxe bzw. einer Disparität bekannt.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren, weiterhin eine Vorrichtung, welche dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
Gemäß Ausführungsformen kann insbesondere zur Erkennung bzw. Detektion und Klassifikation erhabener Objekte auf einer Fahrbahn aus Fahrbahnmarkierungen ein virtuelles Fahrbahnmodell generiert werden, das als Referenz für eine Unterscheidung zwischen erhabenen und flachen Objekten verwendet werden kann. Dabei können solche erhabenen Objekte z. B. verlorene Ladungsstücke vorausfahrender Fahrzeuge sein, die nicht überfahrbar sind. Dabei können beispielsweise Algorithmen genutzt werden, die auf dem optischen Fluss oder auf einer Parallaxenabweichung basieren, wobei das Fahrbahnmodell bei der Unterscheidung als eine Entfernungsreferenz für Objektpunkte fungieren kann.
Vorteilhafterweise kann gemäß Ausführungsformen insbesondere für Kameraanwendungen für das hochautomatisierte Fahren der Anwendungsfall der Erkennung bzw. Detektion und Klassifikation erhabener Objekte auf der Fahrbahn zuverlässig realisiert werden. Erhabene Objekte können sicher detektiert und als erhaben, beispielsweise mit einer Mindesthöhe von z. B. 20 Zentimetern, über einer Fahrbahnoberfläche klassifiziert werden. Sofern ein erhabenes Objekt vorliegt, kann somit zum Beispiel zuverlässig eine Notbremsung mit einer entsprechenden Bremskaskade eingeleitet werden. Es kann insbesondere ebenfalls zuverlässig verhindert werden, dass ein flaches bzw. nicht erhabenes Objekt, z. B. ein Kanaldeckel o.ä., und dessen Abbildung in einer Fahrzeugkamera eine Notbremsung auslösen, bzw. können falsch negative Erkennungsfälle verhindert werden, und somit auch mögliche Folgeschäden von haftungstechnischer Relevanz, z. B. bei einem Fahrer oder folgenden Fahrzeugen. Es kann somit beispielsweise sowohl ein Objekt in einer Fahrspur detektiert werden und demselben mit einem bestimmten Fehlerkorridor eine Entfernung zugeordnet werden als auch eine exakte und zuverlässige Klassifikation dahingehend durchgeführt werden, ob dieses Objekt erhaben oder aber plan und damit überfahrbar ist.
Es wird ein Verfahren zur Klassifikation von Objekten auf einer Fahrbahn in einem Umfeld eines Fahrzeugs vorgestellt, wobei das Verfahren folgende Schritte aufweist:

Einlesen von Bilddaten von einer Schnittstelle zu mindestens einer Fahrzeugkamera des Fahrzeugs, wobei die Bilddaten einen zumindest die Fahrbahn aufweisenden Bereich des Umfelds repräsentieren;
Auswerten der Bilddaten, wobei Fahrbahnmarkierungen der Fahrbahn identifiziert werden, unter Verwendung der identifizierten Fahrbahnmarkierungen ein Modell einer Oberfläche der Fahrbahn generiert wird und ein Objekt auf der Fahrbahn erkannt wird;
Ermitteln von ersten Entfernungswerten zwischen der Fahrzeugkamera und durch die Bilddaten repräsentierten Objektbildpunkten des Objekts und von zweiten Entfernungswerten zwischen der Fahrzeugkamera und durch das Modell definierten Fahrbahnbildpunkten der Oberfläche der Fahrbahn in einer Umgebung des Objekts; und
Durchführen eines Vergleichs der Entfernungswerte mit zumindest einem Kontinuitätskriterium zum Unterscheiden erhabener Objekte von flachen Objekten, um das Objekt abhängig von einem Ergebnis des Vergleichs als erhabenes oder flaches Objekt zu klassifizieren.

Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät oder einer Vorrichtung implementiert sein. Bei dem Fahrzeug kann es sich um ein Kraftfahrzeug handeln, beispielsweise einen Personenkraftwagen oder ein Nutzfahrzeug. Insbesondere kann es sich bei dem Fahrzeug hochautomatisiert fahrendes Fahrzeug bzw. ein Fahrzeug für hochautomatisiertes Fahren handeln. Die mindestens eine Fahrzeugkamera kann in dem Fahrzeug montiert oder fest eingebaut sein. Im Schritt des Auswertens kann eine Objekterkennung bzw. ein Algorithmus zur Objekterkennung an den Bilddaten ausgeführt werden. In dem Schritt des Durchführens kann ein Klassifikationssignal erzeugt werden, welches das Ergebnis des Vergleichs repräsentiert. Das Klassifikationssignal kann an eine Schnittstelle zu einem Steuergerät, einem Assistenzsystem und zusätzlich oder alternativ einer anderen Fahrzeugeinrichtung ausgegeben werden.
Gemäß einer Ausführungsform können im Schritt des Auswertens die Bilddaten ausgewertet werden, um ein dreidimensionales Modell der Oberfläche der Fahrbahn mittels Interpolation unter Verwendung der identifizierten Fahrbahnmarkierungen zu generieren. Eine solche Ausführungsform bietet den Vorteil, dass das Modell auf einfache und exakte Weise generiert werden kann, um als eine Referenz für genaue Entfernungsvergleiche mit Objekten dienen zu können. Dies ist insbesondere vorteilhaft, da Fahrbahnoberflächen meist keine ausreichend grobe Textur aufweisen, als das eine direkte bildhafte Darstellung zur Entfernungsmessung möglich wäre.
Auch können im Schritt des Ermittelns die ersten Entfernungswerte zeilenweise oder streifenweise in zumindest einem durch die Bilddaten repräsentierten Bild des Umfelds ermittelt werden. Eine solche Ausführungsform bietet den Vorteil, dass insbesondere die ersten Entfernungswerte auf einfache und zuverlässige Weise ermittelt werden.
Ferner können im Schritt des Ermittelns die ersten Entfernungswerte zwischen der Fahrzeugkamera und Objektbildpunkten entlang Kanten des Objekts ermittelt werden. Hierzu kann im Schritt des Auswertens eine Erkennung der Kanten ausgeführt werden. So kann der Vergleich der Entfernungswerte auf besonders aussagekräftige Bildpunkte, die Objektbildpunkte, beschränkt werden, um das Vergleichsergebnis ressourcensparend und sicher erhalten. Zusätzlich oder alternativ kann im Schritt des Durchführens der Vergleich im Hinblick auf eine Abweichung zwischen den ersten Entfernungswerten und den zweiten Entfernungswerten als Kontinuitätskriterium durchgeführt werden. Auf diese Weise kann eine einfache und exakte Unterscheidung zwischen erhabenen und flachen bzw. planen Objekten herbeigeführt werden.
Insbesondere kann im Schritt des Durchführens zumindest ein Kontinuitätskriterium verwendet werden, das für eine Klassifikation des Objekts als erhabenes Objekt vorschreibt, dass eine Abweichung zwischen den ersten Entfernungswerten und den zweiten Entfernungswerten in einem auf der durch das Modell definierten Oberfläche der Fahrbahn stehenden Fußbereich des Objekts minimal ist, entlang von Seitenkanten des Objekts weg von der Oberfläche der Fahrbahn zunimmt und in einem dem Fußbereich gegenüberliegenden Kopfbereich des Objekts maximal ist. Der Fußbereich kann eine Fußkante mit zumindest einem Fußpunkt des Objekts aufweisen. Die Seitenkanten können sich zwischen dem Fußbereich und dem Kopfbereich des Objekts erstrecken. Die zweiten Entfernungswerte können sich hierbei auf Fahrbahnbildpunkte beziehen, die benachbart zu dem Fußbereich, zu den Seitenkanten und zu dem Kopfbereich angeordnet sind. Eine solche Ausführungsform bietet den Vorteil, dass sicher und genau erkannt werden kann, ein erhabenes Objekt vorliegt oder nicht.
Gemäß einer Ausführungsform kann im Schritt des Auswertens und zusätzlich oder alternativ im Schritt des Ermittelns ein optischer Fluss der Bilddaten verwendet werden. Eine solche Ausführungsform bietet den Vorteil, dass Entfernungsinformationen bzw. Tiefeninformationen unter Verwendung der Bilddaten auf einfache und zuverlässige Weise aus mehreren Bildsequenzen gewonnen werden können. Gemäß einer Ausführungsform kann im Schritt des Auswertens und zusätzlich oder alternativ im Schritt des Ermittelns eine Abweichung oder Disparität von Parallaxen der Bilddaten verwendet werden. Hierbei kann die mindestens eine Fahrzeugkamera als eine Stereokamera ausgeführt sein. Eine solche Ausführungsform bietet den Vorteil, dass Entfernungsinformationen bzw. Tiefeninformationen auf einfache und exakte Weise gewonnen werden können.
Zudem kann im Schritt des Auswertens ein eine Bewegung des Fahrzeugs repräsentierendes Fahrzeugbewegungsmodell ausgewertet werden, um eine die Bewegung bedingende Fahrbahneigenschaft zu bestimmen und um das Modell der Oberfläche der Fahrbahn unter Verwendung der identifizierten Fahrbahnmarkierungen und der Fahrbahneigenschaft zu generieren. Bei der Bewegung des Fahrzeugs kann es sich um eine geplante, bevorstehende Bewegung und zusätzlich oder alternativ um eine bereits erfolgte Bewegung handeln. Das Fahrzeugbewegungsmodell kann im Schritt des Einlesens von einer Bewegungsplanungseinrichtung des Fahrzeugs eingelesen werden. Eine solche Ausführungsform bietet den Vorteil, dass das Fahrbahnmodell auf noch einfachere und genauere Weise generiert werden kann.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 eine schematische Darstellung eines Fahrzeugs mit einer Vorrichtung gemäß einem Ausführungsbeispiel;
2 ein Ablaufdiagramm eines Verfahrens zur Klassifikation gemäß einem Ausführungsbeispiel;
3 ein Diagramm eines Michelson-Kontrasts für ein optisches System;
4 ein Diagramm von Ortsfrequenzen und einer
Modulationstransferfunktion für ein optisches System;
5 ein Disparitätsdifferenzdiagramm für ein optisches System; und
6 Flussdifferenzdiagramme für ein optisches System.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt eine schematische Darstellung eines Fahrzeugs 110 mit einer Vorrichtung 120 zur Klassifikation bzw. Klassifikationsvorrichtung 120 gemäß einem Ausführungsbeispiel. Bei dem Fahrzeug 100 handelt es sich um ein Kraftfahrzeug, beispielsweise um einen Personenkraftwagen, einen Lastkraftwagen oder ein anderes Nutzfahrzeug, insbesondere für hochautomatisiertes Fahren. Das Fahrzeug 100 befindet sich auf einer Fahrbahn 100, hier beispielsweise einer zweispurigen Straße. Die Fahrbahn 100 weist Fahrbahnmarkierungen 102 auf, hier beispielsweise einen Mittelstreifen. Ferner ist auf der Fahrbahn 100 ein Objekt 105 angeordnet.
Das Fahrzeug 110 weist beispielhaft lediglich eine Fahrzeugkamera 112 auf. Die Fahrzeugkamera 112 ist ausgebildet, um das Umfeld des Fahrzeugs 110 zu erfassen. Auch ist die Fahrzeugkamera 112 ausgebildet, um Bilddaten 115 bereitzustellen, die einen zumindest die Fahrbahn 100 oder einen Teilabschnitt der Fahrbahn 100 aufweisenden Bereich des Umfelds des Fahrzeugs 110 repräsentieren. Ferner weist das Fahrzeug 110 die Vorrichtung 120 auf. Die Vorrichtung 120 und die Fahrzeugkamera 112 sind signalübertragungsfähig bzw. datenübertragungsfähig miteinander verbunden. Die Vorrichtung 120 ist ausgebildet, um eine Klassifikation von Objekten 105 auf der Fahrbahn 100 einem Umfeld des Fahrzeugs 110 auszuführen. Hierzu ist die Vorrichtung 120 ausgebildet, um unter Verwendung der Bilddaten 115 ein Klassifikationssignal 130 zu erzeugen. Die Vorrichtung 120 weist eine Einleseeinrichtung 122, eine Auswerteeinrichtung 124, eine Ermittlungseinrichtung 126 und eine Durchführungseinrichtung 128 auf.
Die Einleseeinrichtung 122 ist ausgebildet, um die Bilddaten 115 von einer Schnittstelle, hier einer Eingangsschnittstelle 121 der Vorrichtung 120, zu der mindestens einen Fahrzeugkamera 112 einzulesen. Die Einleseeinrichtung 122 ist signalübertragungsfähig bzw. datenübertragungsfähig mit der Auswerteeinrichtung 124 verbunden. Die Auswerteeinrichtung 124 ist ausgebildet, um die Bilddaten 115 auszuwerten. Hierbei werden die Fahrbahnmarkierungen 102 der Fahrbahn 100 identifiziert, wird unter Verwendung der identifizierten Fahrbahnmarkierungen 102 ein Modell M einer Oberfläche der Fahrbahn 100 generiert und wird das Objekt 105 auf der Fahrbahn 100 erkannt. Das Modell M ist in der Darstellung von 1 zur Veranschaulichung symbolisch auf der Fahrbahn 100 eingezeichnet. Die Auswerteeinrichtung 124 ist signalübertragungsfähig bzw. datenübertragungsfähig mit der Ermittlungseinrichtung 126 verbunden.
Die Ermittlungseinrichtung 126 ist ausgebildet, um erste Entfernungswerte zwischen der Fahrzeugkamera 112 und durch die Bilddaten 115 repräsentierten Objektbildpunkten P11, P12 des Objekts 105 und zweite Entfernungswerte zwischen der Fahrzeugkamera 112 und durch das Modell M definierten Fahrbahnbildpunkten P21, P22 der Oberfläche der Fahrbahn 100 in einer Umgebung des Objekts 105 zu ermitteln. Die Ermittlungseinrichtung 126 ist signalübertragungsfähig bzw. datenübertragungsfähig mit der Durchführungseinrichtung 128 verbunden. Die Durchführungseinrichtung 128 ist ausgebildet, um einen Vergleich der Entfernungswerte mit zumindest einem Kontinuitätskriterium zum Unterscheiden erhabener Objekte 105 von flachen Objekten 105 durchzuführen, um das Objekt 105 abhängig von einem Ergebnis des Vergleichs als erhabenes oder flaches Objekt zu klassifizieren.
Die Vorrichtung 120 ist ferner ausgebildet, um das Klassifikationssignal 130 zu erzeugen und über eine Ausgabeschnittstelle 129 auszugeben bzw. zur Ausgabe bereitzustellen. Das Klassifikationssignal 130 repräsentiert das Ergebnis des Vergleichs bzw. die Klassifikation des Objekts 105 als erhabenes oder flaches Objekt. Über die Ausgabeschnittstelle 129 ist die Vorrichtung 120 signalübertragungsfähig bzw. datenübertragungsfähig mit zumindest einer Fahrzeugeinrichtung 140 verbunden. Bei der zumindest einen Fahrzeugeinrichtung handelt es sich beispielsweise um ein Steuergerät des Fahrzeugs 110 für hochautomatisiertes Fahren, ein Fahrerassistenzsystem oder dergleichen.
Die Vorrichtung 120 ist insbesondere ausgebildet, um zur Klassifikation einen Algorithmus auf der Basis des optischen Flusses der Bilddaten 115 und/oder einer Abweichung oder Disparität von Parallaxen der Bilddaten 115 zu verwenden. Genauer gesagt ist gemäß einem Ausführungsbeispiel die Auswerteeinrichtung 124 ausgebildet, um den optischen Fluss der Bilddaten 115 und/oder die Abweichung oder Disparität von Parallaxen der Bilddaten 115 zu verwenden. Zusätzlich oder alternativ ist hierbei die Ermittlungseinrichtung 126 ausgebildet, um den optischen Fluss der Bilddaten 115 und/oder die Abweichung oder Disparität von Parallaxen der Bilddaten 115 zu verwenden.
Insbesondere ist die Auswerteeinrichtung 124 ausgebildet, um unter Verwendung der aus den Bilddaten 115 identifizierten Fahrbahnmarkierungen 102 mittels Interpolation ein dreidimensionales Modell der Oberfläche der Fahrbahn 100 zu generieren. Gemäß einem Ausführungsbeispiel ist die Auswerteeinrichtung 124 auch ausgebildet, um ein eine Bewegung des Fahrzeugs 110 repräsentierendes Fahrzeugbewegungsmodell auszuwerten, um eine die Bewegung bedingende Fahrbahneigenschaft der Fahrbahn 100 zu bestimmen und um das Modell M der Oberfläche der Fahrbahn 100 unter Verwendung der aus den Bilddaten 115 identifizierten Fahrbahnmarkierungen 102 und der Fahrbahneigenschaft zu generieren. Bei der Fahrbahneigenschaft handelt es sich beispielsweise um einen Straßentyp, eine Steigung, eine Krümmung oder dergleichen. Die Fahrbahneigenschaft kann eine physikalische Größe der Bewegung bedingende, beispielsweise eine Geschwindigkeit, Beschleunigung oder dergleichen. Anders ausgedrückt ist die Auswerteeinrichtung 124 hierbei ausgebildet, um für die Modellierung bzw. 3D-Interpolation der Fahrbahnoberfläche auch Informationen eines Fahrzeugbewegungsmodells einschließlich seiner Geschwindigkeit zu berücksichtigen. Damit werden z. B. begrenzende Modellannahmen für Autobahnkrümmungsradien o. ä. hinterlegt.
Gemäß einem Ausführungsbeispiel ist die Ermittlungseinrichtung 126 ausgebildet, um die ersten Entfernungswerte, d. h. Eine Entfernung zwischen der Fahrzeugkamera 112 und den durch die Bilddaten 115 repräsentierten Objektbildpunkten P11, P12 des Objekts 105, zeilenweise oder streifenweise in zumindest einem durch die Bilddaten 115 repräsentierten Bild des Umfelds zu ermitteln. Gemäß einem weiteren Ausführungsbeispiel ist die Ermittlungseinrichtung 126 ausgebildet, um die ersten Entfernungswerte zwischen der Fahrzeugkamera 112 und Objektbildpunkten P11, P12 entlang Kanten des Objekts 105 zu ermitteln.
Gemäß einem Ausführungsbeispiel ist die Durchführungseinrichtung 128 ausgebildet, um den Vergleich im Hinblick auf eine Abweichung zwischen den ersten Entfernungswerten und den zweiten Entfernungswerten als Kontinuitätskriterium durchzuführen. Insbesondere ist die Durchführungseinrichtung 128 ausgebildet, um für den Vergleich zumindest ein Kontinuitätskriterium zu verwenden, das für eine Klassifikation des Objekts 105 als erhabenes Objekt folgende Bedingungen a) bis c) vorschreibt: a) Eine Abweichung zwischen den ersten Entfernungswerten und den zweiten Entfernungswerten in einem auf der durch das Modell M definierten Oberfläche der Fahrbahn 100 stehenden Fußbereich des Objekts 105 sei minimal. Hierzu ist in der Darstellung von 1 ein entsprechendes Paar von Bildpunkten gezeigt, ein erster Objektbildpunkt P11 und ein erster Fahrbahnbildpunkt P21. B) Eine Abweichung zwischen den ersten Entfernungswerten und den zweiten Entfernungswerten entlang von Seitenkanten des Objekts 105 in einer Richtung weg von der Oberfläche der Fahrbahn 100 sei zunehmend. c) Eine Abweichung zwischen den ersten Entfernungswerten und den zweiten Entfernungswerten in einem dem Fußbereich gegenüberliegenden Kopfbereich des Objekts 105 sei maximal. Hierzu ist in der Darstellung von 1 ein entsprechendes Paar von Bildpunkten gezeigt, ein zweiter Objektbildpunkt P12 und ein zweiter Fahrbahnbildpunkt P22.
2 zeigt ein Ablaufdiagramm eines Verfahrens 200 zur Klassifikation gemäß einem Ausführungsbeispiel. Das Verfahren 200 zur Klassifikation ist ausführbar, um Objekte auf einer Fahrbahn in einem Umfeld eines Fahrzeugs zu klassifizieren. Hierbei ist das Verfahren 200 zur Klassifikation in Verbindung mit dem Fahrzeug aus 1 oder einem ähnlichen Fahrzeug und/oder in Verbindung mit der Vorrichtung aus 1 oder einer ähnlichen Vorrichtung ausführbar. Das Verfahren 200 zur Klassifikation weist einen Schritt 210 des Einlesens, einen Schritt 220 des Auswertens, einen Schritt 230 des Ermittelns und einen Schritt 240 des Durchführens auf.
Im Schritt 210 des Einlesens werden Bilddaten von einer Schnittstelle zu mindestens einer Fahrzeugkamera des Fahrzeugs eingelesen. Die Bilddaten repräsentieren einen zumindest die Fahrbahn aufweisenden Bereich des Umfelds. Nachfolgend werden im Schritt 220 des Auswertens die im Schritt 210 des Einlesens ein gelesenen Bilddaten ausgewertet. Hierbei werden Fahrbahnmarkierungen der Fahrbahn identifiziert. Ferner wird hierbei unter Verwendung der identifizierten Fahrbahnmarkierungen ein Modell einer Oberfläche der Fahrbahn generiert. Zudem wird hierbei zumindest ein Objekt auf der Fahrbahn erkannt. Im Schritt 230 des Ermittelns werden erste Entfernungswerte zwischen der Fahrzeugkamera und durch die Bilddaten repräsentierten Objektbildpunkten des Objekts und zweite Entfernungswerte zwischen der Fahrzeugkamera und durch das Modell definierten Fahrbahnbildpunkten des der Oberfläche der Fahrbahn in einer Umgebung des Objekts ermittelt. Im Schritt 240 des Durchführens wird dann ein Vergleich Entfernungswerte mit zumindest einem Kontinuitätskriterium zum Unterscheiden erhabener Objekte von flachen Objekten durchgeführt, um das Objekt abhängig von einem Ergebnis des Vergleichs als erhabenes oder flaches Objekt zu klassifizieren.
3 zeigt ein Diagramm 300 eines Michelson-Kontrasts K_m für ein optisches System in Abhängigkeit von einer Entfernung Z. Bei dem optischen System kann es sich beispielsweise um eine Fahrzeugkamera wie die Fahrzeugkamera aus 1 handeln. In dem Diagramm 300 ist die Entfernung Z in Metern [m] an der Abszissenachse aufgetragen und ist der Michelson-Kontrast K_m an der Ordinatenachse aufgetragen.
4 zeigt ein Diagramm 400 von Ortsfrequenzen F und einer Modulationstransferfunktion MTF für ein optisches System. Bei dem optischen System kann es sich beispielsweise um eine Fahrzeugkamera wie die Fahrzeugkamera aus 1 handeln. In dem Diagramm 400 sind Ortsfrequenzen F in Linienpaaren pro Millimeter [Ip/mm] an der Abszissenachse aufgetragen und sind die Modulationstransferfunktion MTF und die Entfernung Z in Metern [m] an Ordinatenachsen aufgetragen. Das Diagramm 400 gilt für einen Untergrund mit d_s=1 cm, y_s=1,5m und X=0.
Anders ausgedrückt zeigen 3 und 4 Ortsfrequenzen F eines mit 1cm granulierten Fahrbahnuntergrunds auf einer optischen Abbildung und deren Michelson-Kontrast K_m mit typischer Abbildungsschärfe. Es ist erkennbar, dass eine reguläre Granularität bzw. Textur der Fahrbahn ohne weiteres nicht darstellbar ist. Ein homogener Fahrbahnbelag besitzt keine ausreichend grobe Textur, die auf einem Bild mit erschwinglichen Optiken und bezahlbaren Imager-Abtastungen darstellbar ist. Dabei ist eine Fokussierung von sogenannten „fixed focus“-Kameras nur begrenzt gut, da sie für eine Objektentfernung von z. B. 10 Meter bis unendlich fokussieren soll. Hinzu kommen Aberrationen z. B. aus Temperaturdrifts des Fokus und Produktionstoleranzen. Eine Beugungsbegrenzung ist somit kein relevanter Maßstab für Fahrzeugkameras. Abtastung und damit Pixelgröße eines Imagers lassen sich auch nicht beliebig verkleinern, weil damit z. B. eine Sensitivität bzw. ein Signalrauschverhältnis sinkt. Weitere begrenzende Details sind z. B. Verlustleistung, Übertragungsbandbreiten und Speichergrößen. Es werden somit tendenziell eher große irreguläre Fahrbahneigenschaften wie z. B. Bodenwellen, Bitumennähte o. ä. erfasst, deren Ortsfrequenzen F auf ihrer Abbildung unterhalb z. B. 100 Ip/mm liegen. Da zu diesen Objekten wiederum der benachbarte Kontext fehlt, dessen Ortsfrequenzen F deutlich oberhalb der darstellbaren 200 Ip/mm liegen, kann dieser Kontext ohne weiteres nicht dargestellt werden. Damit kann aus einem Vergleich zwischen Kontext und Objekt nicht entschieden werden, ob diese Objekte erhaben oder plan in der Fahrbahnoberfläche eingebettet sind. Im erhabenen Fall ergäbe sich z. B. eine Diskontinuität der Disparität bzw. der Flussvektorlänge an der umlaufenden oberen Objektkante zum Hintergrund. Ferner ist eine Klassifikation eines Objekts als „verlorene Ladung“ anhand von Form und Textur schwierig, da diese keinen bekannten bzw. vorhersagbaren Mustern folgt. Eine verlorene Ladung ist nicht immer z. B. eine „Europalette“, auf die man ein neuronales Netz (CNN) trainieren könnte. Die Herausforderung besteht somit darin, ein Verfahren bzw. einen Auswertungsalgorithmus zu finden, der trotz fehlender Information rund um das Objekt zur Entscheidung kommt, dass dieses erhaben oder nicht erhaben ist. Dies wird gemäß Ausführungsbeispielen erreicht, wobei zur Klassifikation eines Objektes als „erhaben“ eine Diskontinuität eines optischen Flusses bzw. einer Stereo-Disparität von Objektkanten zum Untergrund bzw. einem Fahrbahnmodell ausgewertet wird.
5 zeigt ein Disparitätsdifferenzdiagramm 500 für ein optisches System. Bei dem optischen System kann es sich beispielsweise um eine Fahrzeugkamera wie die Fahrzeugkamera aus 1 handeln. In dem Disparitätsdifferenzdiagramm 500 ist die Entfernung Z in Metern [m] an der Abszissenachse aufgetragen und ist eine Disparität in Pixeln [px] an der Ordinatenachse aufgetragen. Anders ausgedrückt zeigen Graphen in 5 eine erwartbare Disparitätsdifferenz von Objektoberkante zum erwarteten Hintergrund, hier einem dreidimensionalen Modell der Fahrbahnoberfläche, über der Entfernung Z, für X=0, ys=1,5m, Basis 0,2m.
6 zeigt Flussdifferenzdiagramme 600 für ein optisches System. Bei dem optischen System kann es sich beispielsweise um eine Fahrzeugkamera wie die Fahrzeugkamera aus 1 handeln. In den Flussdifferenzdiagrammen 600 ist jeweils die Entfernung Z in Metern [m] an der Abszissenachse aufgetragen und ist eine Lateralablage X in Metern [m] an der Ordinatenachse aufgetragen. Anders ausgedrückt zeigen Graphen in 6 eine Flussdifferenz von Objektoberkante über Entfernung Z und Lateralablage X zum erwarteten Hintergrund, hier einem dreidimensionalen Modell der Fahrbahnoberfläche, wobei Graphen in einem ersten Flussdifferenzdiagramm eine Flussdifferenz bzw. einen Differenz-Fluss in Pixeln [px] an einer Objektecke oben links für ys=1,5m zeigen, Graphen in einem zweiten Flussdifferenzdiagramm eine Flussdifferenz bzw. einen Differenz-Fluss in Pixeln [px] an einer Objektoberkante mittig für ys=1,5m zeigen und Graphen in einem dritten Flussdifferenzdiagramm eine Flussdifferenz bzw. einen Differenz-Fluss in Pixeln [px] an einer Objektecke oben rechts für ys=1,5m zeigen.
Unter Bezugnahme auf die vorstehend beschriebenen Figuren werden Ausführungsbeispiele und Vorteile nochmals zusammenfassend und mit anderen Worten kurz erläutert.
Gemäß Ausführungsbeispielen werden die Fahrbahnmarkierungen 102 genutzt, um ein interpolierendes dreidimensionales Modell M eine Oberfläche der Fahrbahn 100 zu berechnen. Das kann sowohl mit Stereo-Disparität als auch unter Verwendung des optischen Flusses erfolgen. Dabei kann die Kenntnis ausgenutzt werden, dass a) die Fahrbahnmarkierungen 102 leicht im Bild auffindbare Strukturen mit bekannter Form und/oder Trajektorie sind und b) eine Planarität bzw. Nichterhabenheit der Fahrbahnmarkierungen 102 auf der Oberfläche der Fahrbahn 100 als gegeben angenommen werden kann. (Das gilt z. B. nicht für eine beliebige Bitumennaht, die sich im Bild nicht von einem entsprechend gebogenen erhabenen Draht unterscheidet.) Beispielsweise wird in Zeilen bzw. streifenweise im Bild jedes darstellbare Objekt 105 bzgl. Disparität bzw. optischem Fluss berechnet. Eine direkte Umgebung des Objekts 105 braucht dabei nicht darstellbar zu sein (aufgrund hoher Ortsfrequenzen einer Textur der Fahrbahn 100).
Vielmehr wird die Disparität bzw. der optische Fluss des Objekts 105 an seinen begrenzenden Kanten mit der Disparität bzw. dem optischen Fluss des Modells bzw. dreidimensionalen Modells M der Fahrbahn 100 verglichen. Dabei ergeben sich beim erhabenen, auf der Fahrbahn 100 stehenden Objekt 105 folgende Bedingungen bzw. Kontinuitätskriterien:

a) Kontinuierliche Entfernungsinformation aus Disparität oder optischem Fluss am aufstehenden Fußpunkt des Objekts 105 zur modellierten Fahrbahnoberfläche bzw. zum Modell M.
b) Zunehmende Diskontinuität der Entfernungsinformation aus Disparität oder optischem Fluss entlang der seitlichen Objektkanten mit der Objekthöhe gegenüber dem modellierten Fahrbahnhintergrund bzw. dem Modell M.
c) Maximale Diskontinuität der Entfernungsinformation aus Disparität oder optischem Fluss entlang der oberen Objektkanten gegenüber dem modellierten Fahrbahnhintergrund bzw. dem Modell M.

105

100

Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims

Verfahren (200) zur Klassifikation von Objekten (105) auf einer Fahrbahn (100) in einem Umfeld eines Fahrzeugs (110), wobei das Verfahren (200) folgende Schritte aufweist: Einlesen (210) von Bilddaten (115) von einer Schnittstelle (121) zu mindestens einer Fahrzeugkamera (112) des Fahrzeugs (110), wobei die Bilddaten (115) einen zumindest die Fahrbahn (100) aufweisenden Bereich des Umfelds repräsentieren; Auswerten (220) der Bilddaten (115), wobei Fahrbahnmarkierungen (102) der Fahrbahn (100) identifiziert werden, unter Verwendung der identifizierten Fahrbahnmarkierungen (102) ein Modell (M) einer Oberfläche der Fahrbahn (100) generiert wird und ein Objekt (105) auf der Fahrbahn (100) erkannt wird; Ermitteln (230) von ersten Entfernungswerten zwischen der Fahrzeugkamera (112) und durch die Bilddaten (115) repräsentierten Objektbildpunkten (P11, P12) des Objekts (105) und von zweiten Entfernungswerten zwischen der Fahrzeugkamera (112) und durch das Modell (M) definierten Fahrbahnbildpunkten (P21, P22) der Oberfläche der Fahrbahn (100) in einer Umgebung des Objekts (105); und Durchführen (240) eines Vergleichs der Entfernungswerte mit zumindest einem Kontinuitätskriterium zum Unterscheiden erhabener Objekte von flachen Objekten, um das Objekt (105) abhängig von einem Ergebnis des Vergleichs als erhabenes oder flaches Objekt zu klassifizieren.
Verfahren (200) gemäß Anspruch 1, dadurch gekennzeichnet, dass im Schritt (220) des Auswertens die Bilddaten (115) ausgewertet werden, um ein dreidimensionales Modell (M) der Oberfläche der Fahrbahn (100) mittels Interpolation unter Verwendung der identifizierten Fahrbahnmarkierungen (102) zu generieren.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt (230) des Ermittelns die ersten Entfernungswerte zeilenweise oder streifenweise in zumindest einem durch die Bilddaten (115) repräsentierten Bild des Umfelds ermittelt werden.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt (230) des Ermittelns die ersten Entfernungswerte zwischen der Fahrzeugkamera (112) und Objektbildpunkten (P11, P12) entlang Kanten des Objekts (105) ermittelt werden, und/oder wobei im Schritt (240) des Durchführens der Vergleich im Hinblick auf eine Abweichung zwischen den ersten Entfernungswerten und den zweiten Entfernungswerten als Kontinuitätskriterium durchgeführt wird.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt (240) des Durchführens zumindest ein Kontinuitätskriterium verwendet wird, das für eine Klassifikation des Objekts (105) als erhabenes Objekt vorschreibt, dass eine Abweichung zwischen den ersten Entfernungswerten und den zweiten Entfernungswerten in einem auf der durch das Modell (M) definierten Oberfläche der Fahrbahn (100) stehenden Fußbereich des Objekts (105) minimal ist, entlang von Seitenkanten des Objekts (105) weg von der Oberfläche der Fahrbahn (100) zunimmt und in einem dem Fußbereich gegenüberliegenden Kopfbereich des Objekts (105) maximal ist.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt (220) des Auswertens und/oder im Schritt (230) des Ermittelns ein optischer Fluss der Bilddaten (115) und/oder eine Abweichung oder Disparität von Parallaxen der Bilddaten (115) verwendet wird oder werden.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt (220) des Auswertens ein eine Bewegung des Fahrzeugs (110) repräsentierendes Fahrzeugbewegungsmodell ausgewertet wird, um eine die Bewegung bedingende Fahrbahneigenschaft zu bestimmen und um das Modell (M) der Oberfläche der Fahrbahn (100) unter Verwendung der identifizierten Fahrbahnmarkierungen (102) und der Fahrbahneigenschaft zu generieren.
Vorrichtung (120), die eingerichtet ist, um die Schritte des Verfahrens (200) gemäß einem der vorangegangenen Ansprüche in entsprechenden Einheiten (122, 124, 126, 128) auszuführen und/oder anzusteuern.
Computerprogramm, das dazu eingerichtet ist, die Schritte des Verfahrens (200) gemäß einem der vorangegangenen Ansprüche auszuführen und/oder anzusteuern.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 9 gespeichert ist.