-
Die Erfindung betrifft ein Verfahren und Auswerteeinheit zur Ermittlung des Abstands eines Objektes auf Basis von Bilddaten. Insbesondere betrifft die Erfindung die Ermittlung von Information in Bezug auf den Abstand eines Objektes zu einem Fahrzeug, auf Basis der Bilddaten einer Mono-Kamera.
-
Ein Fahrzeug umfasst typischerweise ein oder mehrere Umfeldsensoren, etwa Radarsensoren, Lidar-Sensoren, Bildkameras, Ultraschallsensoren, etc., die jeweils eingerichtet sind, Sensordaten in Bezug auf das Umfeld des Fahrzeugs zu erfassen. Die Sensordaten der ein oder mehreren Umfeldsensoren können ausgewertet werden, um eine Funktion des Fahrzeugs bereitzustellen. Insbesondere können die Sensordaten dazu verwendet werden, ein oder mehrere Objekte in dem Umfeld des Fahrzeugs zu detektieren. Das Fahrzeug kann dann zumindest teilweise automatisiert in Abhängigkeit von den ein oder mehreren Objekten längs- und/oder quergeführt werden.
-
Eine wichtige Information in Bezug auf ein detektiertes Objekt ist der Abstand des Objektes von dem Fahrzeug. Der Abstand eines Objektes kann typischerweise nicht oder nur mit einer relativ geringen Genauigkeit auf Basis der Bilddaten einer Mono-Kamera ermittelt werden.
-
Das vorliegende Dokument befasst sich mit der technischen Aufgabe, ein Verfahren und eine entsprechende Auswerteeinheit bereitzustellen, mit denen der Abstand eines Objektes mit erhöhter Genauigkeit auf Basis der Bilddaten einer Mono-Kamera ermittelt werden kann.
-
Die Aufgabe wird jeweils durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
-
Gemäß einem Aspekt wird ein (Computer-implementiertes) Verfahren zur Ermittlung des Abstands eines Objektes von einer Kamera, insbesondere von einer Mono-Kamera. Die Kamera kann Teil der Umfelderfassung eines Fahrzeugs sein. Im Rahmen des Verfahrens kann ermittelt werden, wie weit sich ein Objekt tatsächlich (d.h. in der realen Welt) von der Kamera und/oder von dem Fahrzeug entfernt befindet.
-
Das Verfahren kann das Zuweisen eines Objektes, das in den von der Kamera dargestellten Bilddaten dargestellt ist, zu einer Objekt-Klasse umfassen. Dabei kann die Objekt-Klasse des Objektes aus einer Mehrzahl von unterschiedlichen Objekt-Klassen ausgewählt werden. Die Mehrzahl von Objekt-Klassen kann umfassen: ein oder mehrere Klassen für einen Personenkraftwagen (PKW); ein oder mehrere Klassen für einen Lastkraftwagen (LKW); ein oder mehrere Klassen für einen Bus; zumindest eine Klasse für einen Fahrradfahrer; zumindest eine Klasse für einen Motorradfahrer; und/oder zumindest eine Klasse für einen Fußgänger.
-
Das Objekt kann in präziser und zuverlässiger Weise anhand eines maschinen-erlernten Klassifikators, insbesondere mittels eines neuronalen Netzes, einer Objekt-Klasse zugewiesen werden.
-
Jeder der Mehrzahl von Objekt-Klassen kann mit zumindest einer Referenzabmessung von Objekten der jeweiligen Objekt-Klasse assoziiert sein. Dabei kann die Referenzabmessung den (typischen) tatsächlichen Abstand (auch als Referenzabstand bezeichnet) zwischen zumindest zwei Referenzpunkten an einem Objekt einer Objekt-Klasse anzeigen. Beispielhafte Referenzpunkte eines Objektes sind: unterschiedliche Räder eines Fahrzeugs; unterschiedliche Leuchten eines Fahrzeugs; und/oder Referenzpunkte an dem Körper eines Menschen.
-
Die Referenzabmessung kann ein Intervall von typischen Abständen und/oder einen Mittelwert des Abstands zwischen den zumindest zwei Referenzpunkten bei Objekten der Objekt-Klasse anzeigen. Die Referenzabmessung für die unterschiedlichen Objekt-Klassen kann im Vorfeld durch Messungen an Objekten der jeweiligen Objekt-Klasse ermittelt werden. Beispielsweise kann als Referenzabmessung der typische (z.B. der mittlere) Abstand zwischen den Rädern einer Achse bei den Fahrzeugen einer PKW-Klasse oder bei den Fahrzeugen einer LKW-Klasse ermittelt werden. Die Referenzabmessungen für die unterschiedlichen Objekt-Klassen können auf einer Speichereinheit in einem (Ego-) Fahrzeug bereitgestellt werden, und können somit für das beschriebene Verfahren bereitgestellt werden.
-
Des Weiteren umfasst das Verfahren das Ermitteln einer Messabmessung des Objektes, die das Objekt in den Bilddaten aufweist. Zu diesem Zweck kann das Objekt innerhalb der Bilddaten ausgemessen werden. Insbesondere kann der (euklidische) Abstand zwischen Bildpunkten der Bilddaten gemessen werden. Die Messabmessung des Objektes kann den (gemessenen) Messabstand, insbesondere den gemessenen euklidischen Abstand, zwischen zumindest zwei Referenzpunkten des Objektes in den Bilddaten anzeigen. Insbesondere kann der Messabstand zwischen zumindest zwei unterschiedlichen Bildpunkten in den Bilddaten, die den zumindest zwei Referenzpunkten entsprechen, ermittelt werden.
-
Dabei werden im Rahmen des Verfahrens für die Referenzabmessung der Objekte einer Objekt-Klasse und für die Messabmessung des detektierten Objektes jeweils die gleichen Referenzpunkte betrachtet. Beispielsweise kann der Referenzabstand zwischen den Rädern einer Achse eines Fahrzeugs mit dem (auf Basis der Bilddaten ermittelten) Messabstand zwischen den Rädern der Achse des Fahrzeugs verglichen werden.
-
Das Verfahren umfasst ferner das Bestimmen bzw. das Ermitteln des Abstands des Objektes von der Kamera auf Basis der Messabmessung und auf Basis der Referenzabmessung. Insbesondere kann auf Basis der Messabmessung und auf Basis der Referenzabmessung, z.B. auf Basis des Verhältnisses der Messabmessung zu der Referenzabmessung, ein Skalierungswert ermittelt werden, der dazu verwendet werden kann, den (tatsächlichen) Abstand des Objekts von der Kamera zu ermitteln.
-
Durch die Ermittlung der Objekt-Klasse eines detektierten Objektes und durch die Berücksichtigung der typischen Abmessungen von Objekten der ermittelten Objekt-Klasse kann der Abstand eines detektierten Objektes auch (ggf. allein) auf Basis der Bilddaten einer Mono-Kamera in präziser Weise ermittelt werden.
-
Der Abstand des Objektes von der Kamera kann auch auf Basis der ein oder mehreren intrinsischen und/oder extrinsischen Kameraparameter und/oder auf Basis eines Kameramodells der Kamera ermittelt werden. Insbesondere kann eine Kalibrierung der Kamera auf Basis der intrinsischen und/oder extrinsischen Kameraparameter erfolgen. So kann der Abstand mit erhöhter Genauigkeit ermittelt werden.
-
Das Verfahren kann das Ermitteln, auf Basis der Bilddaten, einer Position des Objektes innerhalb der Bilddaten umfassen. Insbesondere kann ermittelt werden, wie das Objekt relativ zu der Kamera positioniert ist. Dabei kann insbesondere bei einem Fahrzeug als Position des Objektes in zuverlässiger Weise die Position eines Nummernschildes des Fahrzeugs ermittelt werden. Der Abstand des Objektes von der Kamera kann dann mit erhöhter Genauigkeit unter zusätzlicher Berücksichtigung der Position des Objektes innerhalb der Bilddaten ermittelt werden.
-
Das Verfahren kann das Ermitteln der Objekt-Klasse und/oder des Abstands des Objektes an einer Sequenz von Zeitpunkten umfassen. Die Objekt-Klasse und/oder der Abstand können dabei in robuster und präziser Weise unter Verwendung eines Partikel-Filters ermittelt werden. Die Varianz des Partikel-Filters zur Initialisierung von Partikeln kann dabei mit Fortschreiten der Sequenz von Zeitpunkten sinken. Alternativ oder ergänzend kann die Varianz des Partikel-Filters von der Objekt-Klasse des Objektes abhängen. Alternativ oder ergänzend kann die Varianz des Partikel-Filters von dem Ausmaß der Eigenbewegung der Kamera (und/oder des Fahrzeugs, in dem sich die Kamera befindet) abhängen. So wird eine besonders robuste und präzise Ermittlung des Abstands auf Basis der Bilddaten an einer Sequenz von Zeitpunkten ermöglicht.
-
Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät eines Fahrzeugs) ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
-
Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
-
Gemäß einem weiteren Aspekt wird eine Auswerteeinheit zur Ermittlung des Abstands eines Objektes von einer Kamera beschrieben. Die Auswerteeinheit ist eingerichtet, ein in Bilddaten der Kamera dargestelltes Objekt zu einer Objekt-Klasse zuzuweisen, wobei die Objekt-Klasse mit einer Referenzabmessung von Objekten der Objekt-Klasse assoziiert ist. Des Weiteren ist die Auswerteeinheit eingerichtet, eine Messabmessung des Objektes, die das Objekt in den Bilddaten aufweist, zu ermitteln. Die Auswerteeinheit ist ferner eingerichtet, auf Basis der Messabmessung und auf Basis der Referenzabmessung einen Abstand des Objektes von der Kamera zu ermitteln.
-
Außerdem kann die Auswerteeinheit eingerichtet sein, ein Fahrzeug, in dem die Kamera angeordnet ist, zumindest teilweise in Abhängigkeit von dem ermittelten Abstand längs- und/oder querzuführen. So kann in effizienter und zuverlässiger Weise eine automatisierte Fahrfunktion in einem Fahrzeug bereitgestellt werden.
-
Gemäß einem weiteren Aspekt wird ein (Straßen-) Kraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene Auswerteeinheit umfasst.
-
Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden.
-
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen
- 1a beispielhafte Komponenten eines Fahrzeugs;
- 1b beispielhafte Bilddaten einer Mono-Kamera;
- 2a ein beispielhaftes neuronales Netz;
- 2b ein beispielhaftes Neuron; und
- 3 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Ermittlung des Abstands eines Objektes.
-
Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der präzisen Ermittlung des Abstands eines Objektes auf Basis von Bilddaten, insbesondere auf Basis der Bilddaten einer Mono-Kamera. In diesem Zusammenhang zeigt 1a beispielhafte Komponenten eines Fahrzeugs 100. Das Fahrzeug 100 umfasst eine Kamera 102, die eingerichtet ist, Bilddaten in Bezug auf ein Objekt 110 zu erfassen. Des Weiteren umfasst das Fahrzeug 100 eine Auswerteeinheit 101, die eingerichtet ist, die Bilddaten auszuwerten. Insbesondere kann die Auswerteeinheit 101 eingerichtet sein, auf Basis der Bilddaten ein Objekt 110 zu detektieren. Ein Aktor 103 (z.B. ein Antriebsmotor, eine Bremsvorrichtung und/oder eine Lenkvorrichtung) des Fahrzeugs 100 kann dann automatisch in Abhängigkeit von einem detektierten Objekt 110 betrieben werden.
-
Typischerweise kann der Abstand 111 zwischen einem Objekt 110 und der Kamera 102 nicht in präziser Weise (allein) auf Basis der Bilddaten einer (Mono-) Kamera 102 ermittelt werden.
-
1b zeigt beispielhafte Bilddaten 122 einer Kamera 102. Die Bilddaten 122 können eine Sequenz von Bildern, insbesondere ein Video, umfassen. Die Bilddaten 122 können einen bestimmten Bereich des Umfelds des Fahrzeugs 100 bildlich beschreiben. In dem in 1b dargestellten Beispiel zeigen die Bilddaten 122 ein vor dem Fahrzeug 100 fahrendes anderes Fahrzeug 110 (allgemein ein Objekt) an. Die Auswerteinheit 101 kann eingerichtet sein, das Objekt 110 innerhalb der Bilddaten 122 zu detektieren. Zu diesem Zweck kann ein maschinen-erlernter Klassifikator, insbesondere ein neuronales Netz, verwendet werden.
-
2a zeigt ein beispielhaftes neuronales Netz 200, insbesondere ein Feedforward-Netz. Das Netz 200 umfasst in dem dargestellten Beispiel zwei Eingangs-Neuronen bzw. Eingabe-Knoten 202, die zu einem bestimmten Zeitpunkt jeweils einen aktuellen Wert einer Messgröße bzw. eines Merkmals als Eingangswert 201 aufnehmen. Beispielhafte Eingangswerte 201 sind die einzelnen Bildpunkte eines Bildes der Bilddaten 122. Die ein oder mehrere Eingangs-Knoten 202 sind Teil einer Eingangs-Schicht 211.
-
Das neuronale Netz 200 umfasst ferner Neuronen 220 in ein oder mehreren verdeckten Schichten 212 des neuronalen Netzes 200. Jedes der Neuronen 220 weist als Eingangswerte die einzelnen Ausgangswerte der Neuronen der vorhergehenden Schicht 212, 211 auf. In jedem der Neuronen 220 erfolgt eine Verarbeitung, um in Abhängigkeit von den Eingangswerten einen Ausgangswert des Neurons 220 zu ermitteln. Die Ausgangswerte der Neuronen 220 der letzten verdeckten Schicht 212 können in einem Ausgangs-Neuron bzw. Ausgabe-Knoten 220 einer Ausgangs-Schicht 213 verarbeitet werden, um einen Ausgangswert 203 des neuronalen Netzes 200 zu ermitteln. Beispielhafte Ausgangswerte 203 eines neuronalen Netzes 200 ist die Position eines Objektes 110 innerhalb der durch die Eingangswerte 201 angezeigten Bilddaten 122.
-
2b veranschaulicht die beispielhafte Signalverarbeitung innerhalb eines Neurons 220, insbesondere innerhalb der Neuronen 202 der ein oder mehreren verdeckten Schichten 212 und/oder der Ausgangs-Schicht 213. Die Eingangswerte 221 des Neurons 220 werden mit individuellen Gewichten 222 gewichtet, um in einer Summeneinheit 223 eine gewichtete Summe 224 der Eingangswerte 221 zu ermitteln. Durch eine Aktivierungsfunktion 225 kann die gewichtete Summe 224 auf einen Ausgangswert 226 des Neurons 220 gemappt werden. Dabei kann durch die Aktivierungsfunktion 225 z.B. eine Begrenzung des Wertebereichs erfolgen. Für ein Neuron 220 kann z.B. eine Sigmoid-Funktion oder eine Tangens hyperbolicus (tanh)-Funktion als Aktivierungsfunktion 225 verwendet werden. Die Aktivierungsfunktion 225 kann ggf. den Wert der gewichteten Summe 224 mit einem Offset verschieben.
-
Ein Neuron 220 weist somit Gewichte 222 und/oder einen Offset als Neuron-Parameter auf. Die Neuron-Parameter der Neuronen 220 eines neuronalen Netzes 200 können in einer Trainingsphase angelernt werden, um zu bewirken, dass das neuronale Netz 200 eine bestimmte Funktion, z.B. die Erkennung eines Objektes auf Basis von Umfelddaten, ausführt.
-
Das Anlernen eines neuronalen Netzes 200 kann z.B. anhand des Backpropagation-Algorithmus erfolgen. Zu diesem Zweck können in einer ersten Phase einer qten Epoche eines Lern-Algorithmus für die Eingangswerte 201 an den ein oder mehreren Eingangs-Knoten 202 des neuronalen Netzes 200 entsprechende Ausgangswerte 203 an dem Ausgang der ein oder mehreren Ausgangs-Neuronen 220 ermittelt werden. Die Eingangswerte 201 können aus Trainingsdaten entnommen werden, die auch entsprechende Soll-Ausgangswerte anzeigen. Die von dem neuronalen Netz 200 ermittelten bzw. prädizierten Ist-Ausgangswerte können mit den Soll-Ausgangswerten aus den Trainingsdaten verglichen werden, um den Wert einer Optimierungsfunktion zu ermitteln.
-
In einer zweiten Phase der qten Epoche des Lern-Algorithmus erfolgt eine Rückpropagation des Fehlers von dem Ausgang zum Eingang des neuronalen Netzes, um schichtweise die Neuron-Parameter der Neuronen 220 zu verändern. Dabei kann die ermittelte Optimierungsfunktion am Ausgang partiell nach jedem einzelnen Neuron-Parameter des neuronalen Netzes 200 abgeleitet werden, um ein Ausmaß zur Anpassung der einzelnen Neuron-Parameter zu ermitteln. Dieser Lern-Algorithmus kann iterativ für eine Vielzahl von Epochen wiederholt werden, bis ein vordefiniertes Konvergenzkriterium erreicht wird. Dabei können in unterschiedlichen Epochen zumindest teilweise unterschiedliche Trainingsdaten verwendet werden.
-
Es kann somit mittels eines neuronalen Netzes 200 (insbesondere mittels eines Deep Neural Network, DNN) auf Basis der Bilddaten 122 ein Objekt 110 im Umfeld des Fahrzeugs 100 detektiert werden. Des Weiteren kann (z.B. mittels eines (weiteren) neuronalen Netzes 200) Information in Bezug auf das in den Bilddaten 122 dargestellte Objekt 110 ermittelt werden. Insbesondere können Werte von ein oder mehreren Kenngrößen eines Objektes 110 ermittelt werden. Beispielhafte Kenngrößen sind:
- • die Kontur 113 eines Objektes 112;
- • die Form eines Objektes 112; und/oder
- • eine auf dem Objekt 112 dargestellte Modellnummer des Objektes 112.
-
Die ein oder mehreren Kenngrößen in Bezug auf ein detektiertes Objekt 110 können dazu verwendet werden, das Objekt 112 einer bestimmten Objekt-Klasse aus einer Mehrzahl von Objekt-Klassen zuzuordnen. Alternativ oder ergänzend kann direkt ein (maschinen-erlernter) Klassifikator (z.B. ein neuronales Netz 200) dazu verwendet werden, ein detektiertes Objekt 110 einer bestimmten Objekt-Klasse zuzuordnen. Beispielhafte Objekt-Klasse sind:
- • ein Personenkraftwagen (PKW), ggf. unterteilt in weitere Klassen, wie kleiner, mittelgroßer oder großer PKW;
- • ein Lastkraftwagen (LKW), ggf. unterteilt in mehrere Größenklassen;
- • ein Fahrradfahrer;
- • ein Motorradfahrer; und/oder
- • ein Fußgänger.
-
Jede der einzelnen Objekt-Klassen von Objekten 110 kann mit jeweils einer unterschiedlichen Referenzabmessung von Objekten 110 in der jeweiligen Objekt-Klasse assoziiert sein. Beispielhafte Referenzabmessungen sind:
- • ein Referenzabstand zwischen zwei oder mehr Referenzpunkten an den Objekten 110 der jeweiligen Klasse (z.B. der Referenzabstand zwischen den Hinterrädern und/oder zwischen den Rückleuchten eines Vorder-Fahrzeugs); und/oder
- • ein Referenzumfang einer Kontur 113 von Objekten 110 der jeweiligen Klasse.
-
Die Referenzabstand zwischen zwei Rädern eines Vorder-Fahrzeugs 110 kann z.B. bei einem Kleinwagen ca. 1,4 Meter sein, während der Referenzabstand bei eine LKW ca. 2,3 Meter ist. Somit können für unterschiedliche Klassen von Objekten 110 jeweils typische Referenzabmessungen für Objekte 110 der jeweiligen Klasse bereitgestellt werden.
-
Die Auswerteeinheit 101 eines Fahrzeugs 100 kann somit eingerichtet sein, auf Basis der Bilddaten 122 eines Kamera 102 die Klasse eines detektierten Objektes 110 zu ermitteln. Des Weiteren kann eine Referenzabmessung für die Objekte 110 der ermittelten Klasse ermittelt werden (z.B. kann die Referenzabmessung aus einer Speichereinheit ausgelesen werden).
-
Die Auswerteeinheit 101 kann ferner eingerichtet sein, auf Basis der Bilddaten 122 zumindest eine Messabmessung für das Objekt 110 zu ermitteln. Insbesondere kann auf Basis der Bilddaten 122 der Messabstand 112 zwischen zwei oder mehr Referenzpunkten des detektierten Objektes 110 ermittelt, insbesondere gemessen, werden. Alternativ oder ergänzend kann der Messumfang einer Kontur 113 des Objektes 110 ermittelt werden.
-
Die Messabmessung für das detektierte Objekt 110 (die durch Vermessen der Bilddaten 122 ermittelt werden kann) kann mit der Referenzabmessung von Objekten 110 der ermittelten Klasse verglichen werden. Aus dem Vergleich zwischen der Messabmessung und der Referenzabmessung kann der Abstand 111 des detektierten Objektes 110 von der Kamera 102 in präziser Weise ermittelt werden. Dabei können auch ein oder mehrere Kameraparameter in Bezug auf die Optik der Kamera 102 und/oder auf die Orientierung der Kamera 102 berücksichtigt werden.
-
Die Klasse und/oder der Abstand 111 eines detektierten Objektes 110 können auf Basis der Bilddaten 122 an einem bestimmten Zeitpunkt n ermittelt werden. Um die Klasse und/oder den Abstand 111 in präziser und robuster Weise für eine Sequenz von Zeitpunkten n ermitteln zu können, kann ein Partikel-Filter verwendet werden, durch den die an den verschiedenen Zeitpunkten n jeweils ermittelte Klasse bzw. Abstand 111 gefiltert werden können. Dabei können die Varianz bzw. Standardabweichung des Filters variiert werden, z.B.
- • in Abhängigkeit von der abgelaufenen Zeit seit der Initialisierung eines Objektes 110 bzw. eines Partikel-Filters;
- • in Abhängigkeit von der Klasse des Objektes 110, um die Ambiguität der Dimensionen der unterschiedlichen Klassen zu berücksichtigten (beispielsweise kann die Varianz der Abmessungen bei Fußgänger größer sein als bei PKWs, die wiederum größer sein kann als bei LKWs); und
- • in Abhängigkeit von der Bewegung des Ego-Fahrzeugs 100 (wenn das Ego-Fahrzeug 100 eine relativ starke Eigenbewegung aufweist, z.B. bei der Fahrt über eine Bodenunebenheit, kann die Varianz erhöht werden).
-
3 zeigt ein Ablaufdiagramm eines beispielhaften (Computer-implementierten) Verfahrens 300 zur Ermittlung des Abstands 111 eines Objektes 110 von einer Kamera 102. Die Kamera 102 kann Teil eines Fahrzeugs 100 sein. Des Weiteren kann die Kamera 102 eingerichtet sein, Bilddaten 122 in Bezug auf ein Umfeld des Fahrzeugs 100 zu erfassen.
-
Das Verfahren 300 umfasst das Zuweisen 301 eines in den Bilddaten 122 der Kamera 102 dargestellten Objektes 110 zu einer Objekt-Klasse. Das Objekt 110 kann auf Basis der Bilddaten 122 detektiert worden sein (z.B. mittels eines dafür antrainierten neuronalen Netzes 200). Die Objekt-Klasse kann mit einer Referenzabmessung von Objekten der Objekt-Klasse assoziiert sein. Dabei kann die Referenzabmessung anzeigen, welche räumliche Abmessung (z.B. welche Größe) ein Objekt dieser Objekt-Klasse typischerweise aufweist. Beispielsweise kann ein Intervall von typischen Abmessungen und/oder ein Mittelwert der typischen Abmessungen als Referenzabmessung bereitgestellt werden. Die Referenzabmessung kann im Vorfeld für eine Mehrzahl von unterschiedlichen Objekt-Klassen bereitgestellt und ggf. auf einer Speichereinheit eines Fahrzeugs 100 gespeichert werden.
-
Das Verfahren 300 umfasst ferner das Ermitteln 302 einer Messabmessung des Objektes 110, die das Objekt 110 in den Bilddaten 122 aufweist. Insbesondere kann ermittelt werden, welche Abmessung (z.B. welche Größe) das Objekt 110 in den Bilddaten 122 aufweist. Zu diesem Zweck kann der (euklidische) Abstand zwischen unterschiedlichen Bildpunkten innerhalb der Bilddaten 122 gemessen werden.
-
Außerdem umfasst das Verfahren 300 das Bestimmen und/oder das Ermitteln 303 des Abstands 111 des Objektes 110 von der Kamera 102 auf Basis der Messabmessung und auf Basis der Referenzabmessung. Insbesondere können die Messabmessung und die Referenzabmessung miteinander verglichen werden, um den Abstand 111 des Objektes 110 zu ermitteln. Dabei können auch ein Kameramodell der Kamera 102 und/oder intrinsische und/oder extrinsische Parameter der Kamera 102 berücksichtigt werden. Durch die Berücksichtigung der Objekt-Klasse können auch bei (ggf. alleiniger) Verwendung der Bilddaten 122 einer Mono-Kamera 102 in präziser Weise Abstandsdaten in Bezug auf den Abstand 111 eines Objektes 110 ermittelt werden.
-
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.
