DE102019123430A1

DE102019123430A1 - Verfahren und Vorrichtung zum Erfassen und Klassifizieren eines Objekts in einem Erfassungsbereich vor oder hinter einem Fahrzeug

Info

Publication number: DE102019123430A1
Application number: DE102019123430.1A
Authority: DE
Inventors: Sven Adfeldt
Original assignee: Hella GmbH and Co KGaA
Current assignee: Cariad SE
Priority date: 2019-09-02
Filing date: 2019-09-02
Publication date: 2021-03-04

Abstract

Ein Verfahren zum Erfassen und Klassifizieren eines Objekts in einem Erfassungsbereich (14, 44) vor oder hinter einem Fahrzeug (10) mittels einer Kamera (16) des Fahrzeugs (10), bei dem mittels der Kamera (16) ein Bild des Erfassungsbereichs (14, 44) erfasst wird, dem Bild entsprechende erste Bilddaten erzeugt werden, mittels der ersten Bilddaten ein Bildbereich ermittelt wird, der ein Teilbereich des Bildes ist und eine Abbildung des Objekts umfasst, das Objekt zum Erzeugen von Klassifikationsdaten mittels zumindest eines Teils der ersten Bilddaten und unter Verwendung eines neuronalen Netzwerks (40) klassifiziert wird, und mittels der Klassifikationsdaten mindestens eine Objekteigenschaft des Objekts ermittelt wird.

Description

Die Erfindung betrifft ein Verfahren zum Erfassen und Klassifizieren eines Objekts in einem Erfassungsbereich vor oder hinter einem Fahrzeug, mittels einer Kamera des Fahrzeugs. Die Erfindung betrifft ferner eine Vorrichtung zum Erfassen und Klassifizieren eines Objekts in einem Erfassungsbereich vor oder hinter einem Fahrzeug, mittels einer Kamera des Fahrzeugs.
Im Bereich des autonomen Fahrens sowie bei Fahrassistenzsystemen sollen Bilddaten von Bildern, die durch eine an einem Fahrzeug befestigte Kamera aufgenommen werden, verarbeitet werden, um ein Objekt in einem Erfassungsbereich vor oder hinter dem Fahrzeug zu detektieren und zu klassifizieren. Das Objekt ist beispielsweise ein weiterer Verkehrsteilnehmer oder ein statisches Objekt, wie beispielsweise eine Ampel oder ein Verkehrszeichen.
Das Dokument US 2018/0253095 A1 offenbart ein Verfahren zum Ermitteln der realen Größe eines Fahrzeugs mittels eines Bildes, das durch die Kamera eines weiteren Fahrzeugs erfasst wurde. Bei diesem bekannten Verfahren wird zunächst ein Objekt in dem Bild detektiert und als das Fahrzeug klassifiziert. Danach werden die Dimensionen des Fahrzeugs in dem Bild ermittelt, d.h. die beobachtete Größe des Fahrzeugs in dem Bild. Diese Dimensionen werden einem neuronalen Netzwerk eingegeben, das die reale Größe des Fahrzeugs ausgibt. Dieses bekannte Verfahren ist aufwendig, denn, bevor das Verfahren durchgeführt werden kann, muss die Abbildung des Objektes in dem Bild identifiziert und vermessen werden. Mit diesem bekannten Verfahren kann zudem nur die Größe und keine weitere Objekteigenschaft des Objektes bestimmt werden.
Das Dokument US 2018/0293445 A1 offenbart ein Objektverfolgungssystem für ein Fahrzeug, das eine Kamera und einen 3D-Sensor aufweist, insbesondere ein LiDAR. Zum Erfassen und Klassifizieren eines Objektes in einem Bereich vor oder hinter dem Fahrzeug wird zunächst durch die Kamera ein Bild erfasst. Gleichzeitig wird durch den 3D-Sensor der Bereich vor bzw. hinter dem Fahrzeug erfasst und aus den durch den 3D-Sensor erfassten Bilddaten eine Höhenkarte erstellt. Mittels des Bildes und der Höhenkarte wird unter Verwendung eines neuronalen Netzwerks die Position des Objektes in einem dreidimensionalen Raum ermittelt und das Objekt klassifiziert.
Es ist Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung anzugeben, durch die das Erfassen und das Klassifizieren eines Objekts in einem Erfassungsbereich vor oder hinter einem Fahrzeug, mittels einer Kamera des Fahrzeugs einfach möglich ist.
Die Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 und durch eine Vorrichtung mit den Merkmalen des Anspruchs 13 gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen angegeben.
Die Kamera ist vorzugsweise fest mit dem Fahrzeug verbunden. Der Erfassungsbereich vor oder hinter einem Fahrzeug kann eine Fahrbahn, insbesondere eine Straße, sein. Das Fahrzeug ist insbesondere ein Straßenfahrzeug. Das Objekt ist insbesondere ein Verkehrsteilnehmer, beispielsweise ein weiteres Fahrzeug oder eine Person, oder ein statisches Objekt, beispielsweise eine Lichtzeichenanlage oder ein Verkehrszeichen. Ferner kann das Objekt eine Gefahrenquelle sein, beispielsweise eine verlorene Ladung oder ein Auspuffrohr, aber auch ein Schlagloch, eine Eisplatte oder ein Wasserfilm, der Aquaplaning auslösen kann. Das neuronale Netzwerk ist vorzugweise ein faltendes neuronales Netzwerk (convolutional neuronal network).
Bei dem Verfahren nach Anspruch 1 wird zunächst mittels der Kamera ein Bild des Erfassungsbereiches erfasst und es werden dem Bild entsprechende erste Bilddaten erzeugt. Dann wird mittels der ersten Bilddaten ein Bildbereich ermittelt, der ein Teilbereich des Bildes ist und eine Abbildung des Objektes umfasst. Das Objekt wird zum Erzeugen von Klassifikationsdaten mittels zumindest eines Teils der ersten Bilddaten und unter Verwendung eines neuronalen Netzwerks klassifiziert. Mittels der Klassifikationsdaten wird mindestens eine Objekteigenschaft des Objekts ermittelt. Vorzugsweise werden dem ersten Bildbereich entsprechende zweite Bilddaten erzeugt, insbesondere durch Auswählen eines Teils der ersten Bilddaten und wird das Objekt wird zum Erzeugen von Klassifikationsdaten mittels der zweiten Bilddaten und unter Verwendung des neuronalen Netzwerks klassifiziert.
Zum Erfassen und Klassifizieren des Objektes wird zunächst die Abbildung des Objektes in dem Bild, insbesondere durch das neuronale Netzwerk selbst, identifiziert. Daraufhin wird die Abbildung des Objektes durch die Auswahl des Bildbereiches im Wesentlichen von einem Hintergrund und den Abbildungen von eventuell vorhandenen weiteren Objekten getrennt. Hierdurch können die dem Bildbereich entsprechenden zweiten Bilddaten einfach zum Klassifizieren des Objektes durch das neuronale Netzwerk weiterverarbeitet werden. Die Klassifikationsdaten ordnen das Objekt eindeutig einer Klasse von Objekten zu. Diese Klasse kann beispielsweise sein: ein bestimmter Fahrzeugtyp, Fußgänger, Fahrradfahrer, Lichtzeichenanlage, ein bestimmter Typ von Verkehrszeichen, ein Hindernis oder eine Gefahrenquelle. Mittels der Klassifikationsdaten kann die Objekteigenschaft des Objekts einfach ermittelt werden. Insbesondere können die Objekteigenschaften einfach aus einer Datenbank ausgelesen werden, in welcher der jeweilige Wert der Objekteigenschaft für verschiedene Klassen von Objekten gespeichert ist. Das neuronale Netzwerk ist bei dieser Ausführungsform insbesondere ein sogenanntes region proposal neuronal network.
Damit das neuronale Netzwerk in der Lage ist, das Objekt einer Klasse von Objekten zuzuordnen, muss das Netzwerk mit einem sogenannten Trainingsdatensatz trainiert werden. Dieser Trainingsdatensatz enthält eine Vielzahl von Abbildungen von Objekten. Für jede Abbildung eines Objekts enthält der Trainingsdatensatz ferner die Klasse des jeweils abgebildeten Objekts und den jeweiligen Wert der Objekteigenschaft. Dieser Trainingsdatensatz kann manuell, d.h. durch eine Bedienperson erzeugt werden. Hierzu identifiziert die Bedienperson ein oder mehrere Objekte in einem Bild, beispielsweise Fahrzeuge, Nutzfahrzeuge oder Fußgänger, und trägt für jedes dieser identifizierten Objekte den Wert der Objekteigenschaft zusammen mit der Klasse des Objektes in den Trainingsdatensatz ein.
Alternativ oder zusätzlich kann der Datensatz mit Hilfe eines 3D-Sensors, beispielsweise eines LiDAR, erzeugt werden. Hierzu wird zunächst mittels des 3D-Sensors jeweils eine einem Bild, das Abbildungen von Objekten umfasst, zugeordnete Höhenkarte erstellt. Dann werden die Abbildungen der Objekte in dem Bild Teilbereichen der Höhenkarte zugeordnet. Aus diesen Teilbereichen wird dann die Objekteigenschaft, insbesondere die Höhe, Breite oder Länge des Objekts ermittelt. Die Zuordnung kann manuell durch eine Bedienperson oder automatisiert insbesondere unter Verwendung eines weiteren neuronalen Netzwerks erfolgen.
Es ist vorteilhaft, wenn der Bildbereich ein Rechteck, insbesondere ein die Abbildung des Objektes in dem Bild minimal umgebendes Rechteck, ist. Insbesondere sind die Kanten des Rechtecks parallel zu jeweils einem Bildrand des Bildes. Derartige Rechtecke sind durch die Angabe von zwei Bildkoordinatenpunkten in einem Koordinatensystem des Bildes vollständig bestimmt. Dies erlaubt eine einfache Weiterverarbeitung der dem Bildbereich entsprechenden zweiten Bilddaten.
In einer bevorzugten Ausführungsform wird der Bildbereich mittels des neuronalen Netzwerks oder eines weiteren neuronalen Netzwerks ermittelt. In dieser Ausführungsform ist das neuronale Netzwerk dazu ausgebildet, die Abbildung des Objektes in dem Bild zu ermitteln und den Bildbereich entsprechend auszuwählen. Dies ist schneller und zuverlässiger als eine Auswahl des Bildbereiches mit anderen Methoden, beispielsweise als die Auswahl durch eine Bedienperson.
In einer weiteren bevorzugten Ausführungsform werden die Höhe, Breite und/oder die Länge des Objektes als die Objekteigenschaft ermittelt. Beispielsweise umfasst die Datenbank für verschiedene Fahrzeugtypen jeweils die Höhe, Bereite und/oder die Länge des Fahrzeugtyps. In dieser Ausführungsform erlaubt es das Verfahren somit besonders einfach und insbesondere nur mit einer Monokamera, d.h. einer Kamera, die nur ein einziges Objektiv aufweist und nur nicht-stereoskopische Bilder erfassen kann, die Größe des Objektes in dem Erfassungsbereich vor bzw. hinter dem Fahrzeug zu ermitteln.
Insbesondere werden die Höhe, Breite und/oder die Länge eines das Objekt minimal umgebenden Quaders als die Objekteigenschaft ermittelt. Vorzugsweise sind die Kanten dieses Quaders parallel zu jeweils einer Koordinatenachse des dreidimensionalen fahrzeugfesten oder ortsfesten Koordinatensystems. Nicht für alle Klassen von Objekten lässt sich ohne Weiteres sagen, was die Breite, die Höhe bzw. die Länge des Objektes ist. Der das Objekt minimal umgebende Quader ist die einfachste Form eines Hüllkörpers, der das Objekt umgibt und anhand dessen sich eine Breite, Höhe bzw. eine Länge des Objektes definieren lässt. Der Quader kann insbesondere dazu verwendet werden, um das Objekt zu umfahren oder einen Bremsvorgang des Fahrzeugs einzuleiten. Alternativ oder zusätzlich können die Abmessungen weiterer Hüllkörper, beispielsweise eines das Objekt minimal umgebenden Zylinders, ermittelt werden.
In einer weiteren Ausführungsform wird als Objekteigenschaft ermittelt, ob das Objekt durch das Fahrzeug überfahrbar ist. Insbesondere wird ermittelt, ob das Objekt durch das Fahrzeug gefahrlos überfahrbar ist. Diese Information kann beispielsweise dazu genutzt werden, zu entscheiden, ob das Fahrzeug das Objekt gefahrlos ignorieren kann, ob das Fahrzeug das Objekt umfahren muss oder ob das Fahrzeug einen Bremsvorgang einleiten muss.
Bei einer weiteren Ausführungsform wird als die Objekteigenschaft ermittelt, ob das Objekt eine Person oder ein weiteres Fahrzeug ist. Bei dieser Ausführungsform werden weitere Verkehrsteilnehmer klassifiziert, die eine Eigenbewegung ausführen. Insbesondere wird als die Objekteigenschaft ermittelt, ob das Objekt eine erwachsene Person oder ein Kind ist. Diese Information kann beispielsweise durch ein Fahrassistenzsystem weiterverarbeitet werden, um den Fahrer oder die Fahrerin des Fahrzeugs auf eine mögliche Gefahr durch Personen in dem Bereich vor oder hinter dem Fahrzeug hinzuweisen.
In einer besonders bevorzugten Ausführungsform wird mittels der Objekteigenschaft und mittels der ersten Bilddaten und/oder der zweiten Bilddaten der Abstand zwischen dem Objekt und dem Fahrzeug ermittelt. Ist beispielsweise die tatsächliche Breite des Objektes als die Objekteigenschaft ermittelt worden, lässt sich die Entfernung zwischen dem Objekt und dem Fahrzeug, in dem die Kamera angeordnet ist, einfach und präzise mit Hilfe des Strahlensatzes ermitteln. Der Abstand d zwischen der Kamera und dem Objekt ist dabei gleich der Breite b des Objektes, d.h. der Ausdehnung des Objekts entlang einer Richtung parallel zu der Fläche eines Sensorelementes der Kamera, multipliziert mit der Brennweite f der Kamera, geteilt durch die Breite a der Abbildung des Objekts auf dem Sensorelement der Kamera. $d = \frac{b f}{a}$
Bei einer weiteren Ausführungsform wird mittels der Objekteigenschaft und mittels der ersten Bilddaten und/oder der zweiten Bilddaten die Position des Objekts relativ zu dem Fahrzeug ermittelt. Insbesondere wird die Position des Objekts in Form eines Koordinatenpunktes in dem ortsfesten oder fahrzeugfesten Koordinatensystem ermittelt. Diese Information kann beispielsweise durch das Fahrassistenzsystem oder einer Steuereinheit zum autonomen Steuern des Fahrzeugs weiterverarbeitet werden.
Vorzugsweise wird mittels der Objekteigenschaft eine Trajektorie des Fahrzeugs ermittelt. Unter Trajektorie wird in der vorliegenden Anmeldung einerseits die Bahnkurve verstanden, der das Fahrzeug folgen soll, andererseits wird unter Trajektorie das Geschwindigkeitsprofil verstanden, das das Fahrzeug einhalten soll. Die Ermittlung der Trajektorie erfolgt beispielsweise durch die Steuereinheit zum autonomen Fahren des Fahrzeugs.
Die Erfindung betrifft ferner eine Vorrichtung zum Erfassen und Klassifizieren eins Objekts in einem Erfassungsbereich vor oder hinter dem Fahrzeug mittels einer Kamera des Fahrzeugs. Die Kamera ist ausgebildet ein Bild des Erfassungsbereichs zu erfassen. Die Vorrichtung umfasst ferner eine Bildverarbeitungs- und Auswerteeinheit, die ausgebildet ist, dem Bild entsprechende erste Bilddaten zu erzeugen und mittels der ersten Bilddaten ein Bildbereich zu ermitteln, der ein Teilbereich des Bildes ist und eine Abbildung des Objektes umfasst. Die Bildverarbeitungs- und Auswerteeinheit ist ferner ausgebildet, dem Bildbereich entsprechende zweite Bilddaten zu erzeugen und mittels den zweiten Bilddaten das Objekt zum Erzeugen von Klassifikationsdaten und Verwendung eines neuronalen Netzwerks zu klassifizieren. Die Bildverarbeitungs- und Auswerteeinheit ist ferner ausgebildet mittels der Klassifikationsdaten mindestens eine Objekteigenschaft des Objekts zu ermitteln.
Die Vorrichtung hat dieselben Vorteile wie das beanspruchte Verfahren und kann auf die gleiche Weise, insbesondere mit den Merkmalen der anhängigen Ansprüche, weitergebildet werden.
In einer besonders bevorzugten Ausführungsform ist die Kamera eine Monokamera. Monokameras sind kostengünstiger als vergleichbare Stereokameras. Zudem erfordern Monokamera keine aufwendige Kalibrierung. Durch die Verwendung einer Monokamera ist die Vorrichtung somit insbesondere kostengünstiger herstellbar und hat einen geringen Wartungsaufwand.
Weitere Merkmale und Vorteile ergeben sich aus der folgenden Beschreibung, die mehrere Ausführungsformen in Verbindung mit den beigefügten Figuren näher erläutert.
Es zeigen:

1 ein Fahrzeug mit einer Vorrichtung zum Erfassen und Klassifizieren eines Objektes in einem Erfassungsbereich vor dem Fahrzeug;
2 einen Erfassungsbereich der Vorrichtung gemäß 1 aus der Perspektive eines Fahrers oder einer Fahrerin des Fahrzeugs mit der Vorrichtung;
2 einen weiteren Erfassungsbereich der Vorrichtung gemäß 1 aus der Perspektive eines Fahrers oder einer Fahrerin des Fahrzeugs mit der Vorrichtung; und
4 ein Flussdiagramm eines Ablaufs zum Erfassen und Klassifizieren eines Objekts dem Erfassungsbereich vor oder hinter dem Fahrzeug.

1 zeigt ein Fahrzeug 10 mit einer Vorrichtung 12 zum Erfassen und Klassifizieren eines Objektes in einem Erfassungsbereich 14 vor dem Fahrzeug 10 mittels einer Kamera 16 des Fahrzeugs 10. In dem gezeigten Ausführungsbeispiel ist das Fahrzeug 10 als ein Kraftfahrzeug ausgebildet, dessen Fahrtrichtung durch einen Pfeil F dargestellt ist. Der Erfassungsbereich 14 ist ein Bereich einer Fahrbahn 20 vor dem Fahrzeug und ist in 1 durch eine Punktlinie dargestellt. 1 zeigt ferner drei weitere Fahrzeuge 22, 24, 26, die sich vor dem Fahrzeug 10 mit der Vorrichtung 12 in dem Erfassungsbereich 14 befinden. In dem in 1 gezeigten Ausführungsbeispiel ist das zu erfassende und zu klassifizierende Objekt eines dieser Fahrzeuge 22, 24, 26.
Alternativ oder zusätzlich kann das zu klassifizierende Objekt ein Verkehrszeichen, beispielsweise eine Fahrbahnmarkierung 28 der Fahrbahn 20 in dem Erfassungsbereich 14 vor dem Fahrzeug 10 sein.
Die Vorrichtung 12 hat eine Kamera 16, insbesondere eine Monokamera, die fest mit dem Fahrzeug 10 verbunden ist. Die Kamera 16 ist derart angeordnet und ausgebildet, ein Bild des Erfassungsbereiches 14 zu erfassen und dem Bild entsprechende erste Bilddaten zu erzeugen. Die Vorrichtung 12 hat ferner eine Steuereinheit 30, die über eine Datenübertragungsstrecke 32 mit der Kamera 16 verbunden ist und die eine Bildverarbeitungs- und Auswerteeinheit bildet oder umfasst. Die Steuereinheit 30 umfasst ein neuronales Netzwerk 40 und ist ausgebildet, die von der Kamera 16 erzeugten ersten Bilddaten zu empfangen und zum Klassifizieren des Objektes weiterzuverarbeiten. Dies wird im Folgenden anhand der 4 noch näher beschrieben.
2 zeigt beispielhaft den Erfassungsbereich 14 nach 1 aus der Perspektive eines Fahrers oder einer Fahrerin des Fahrzeugs 10. Die Kamera 16 ist in dem gezeigten Ausführungsbeispiel hinter einer Windschutzscheibe 34 des Fahrzeugs, innerhalb einer Halterung 36 eines Rückspiegels 38 des Fahrzeugs 10 angeordnet. Die optische Achse der Kamera 16 ist in Fahrtrichtung F ausgerichtet und schneidet die Fahrbahn 20 vorzugsweise in einem spitzen Winkel. In 2 ist um die drei Fahrzeuge 22, 24, 26, die sich in dem Erfassungsbereich 14 befinden, jeweils ein Rechteck 42a, 42b, 42c gezeichnet. Diese Rechtecke 42a, 42b, 42c umfassen die Abbildung des jeweiligen Fahrzeugs 22, 24, 26 in dem durch die Kamera 16 aufgenommenen Bildes jeweils vollständig. Somit wird durch diese Rechtecke 42a, 42b, 42c jeweils ein Bildbereich definiert, der ein Teilbereich des von der Kamera 16 aufgenommenen Bildes ist und jeweils eines der Fahrzeuge 22, 24, 26, d.h. das zu klassifizierende Objekt, umfasst. Diese Rechtecke 42a, 42b, 42c können zusätzlich, beispielsweise durch ein Head Up Display des Fahrzeugs 10, dem Fahrer oder der Fahrerin angezeigt werden.
3 zeigt beispielhaft einen weiteren Erfassungsbereich 44 vor dem Fahrzeug 10. Der Erfassungsbereich 44 gemäß 3 umfasst ein Bereich der Fahrbahn 20 vor dem Fahrzeug 10. Ferner umfasst der Erfassungsbereich 44 gemäß 3 einen Bereich eines Gehwegs 46 seitlich der Fahrbahn 20. Der Erfassungsbereich 44 nach 3 unterscheidet sich von dem Erfassungsbereich 14 nach den 1 und 2 dadurch, dass die zu klassifizierenden Objekte drei Fahrzeuge 48, 50, 52 eine Person 54 und ein Kinderwagen 56 sind, der durch die Person 54 geschoben wird. Sowohl um die drei Fahrzeuge 48, 50, 52 als auch um die Person 54 und um den Kinderwagen 56 ist in 3 jeweils ein Rechteck 58a bis 58e eingefügt, welches jeweils eines der Fahrzeuge 48, 50, 52, die Person bzw. den Kinderwagen vollständig umfasst. Durch diese Rechtecke 58a bis 58e ist jeweils der Bildbereich definiert, der durch die Steuereinheit 30 zum Klassifizieren der Objekte weiterverarbeitet wird. Dies wird im Folgenden anhand der 4 noch näher beschrieben.
4 zeigt ein Flussdiagramm eines Ablaufs zum Erfassen und Klassifizieren eines Objekts in dem Erfassungsbereich 14, 44 vor oder hinter dem Fahrzeug 10.
Im Schritt S10 wird der Ablauf gestartet. Danach wird im Schritt S12 durch die Kamera 16 ein Bild des Erfassungsbereiches 14, 44 erfasst. Im darauffolgenden Schritt S14 werden dem Bild entsprechende erste Bilddaten erzeugt. Diese ersten Bilddaten werden von der Kamera 16 an die Steuereinheit 30 übermittelt und dem neuronalen Netzwerk 40 als Eingabe eingegeben, das beispielsweise als Programm in der Steuereinheit 30 gespeichert ist.
Im Schritt S16 ermittelt das neuronale Netzwerk 40 dann unter Verwendung der ersten Bilddaten ein die Abbildung des zu klassifizierenden Objekts vollständig umgebendes Rechteck 42a bis 42c, 58a bis 58e in dem Bild. Sind in dem Bild des Erfassungsbereichs 14, 44 mehrere zu klassifizierende Objekte, ermittelt das neuronale Netzwerk 40 für jedes Objekt ein die Abbildung des jeweiligen Objektes umgebendes Rechteck 42a bis 42c, 58a bis 58e. Bei dem die Abbildung des zu klassifizierenden Objektes umgebenden Rechteck 42a bis 42c, 58a bis 58e handelt es sich insbesondere um ein sogenanntes minimalumgebendes Rechteck, d.h. das kleinstmögliche Rechteck, das das Objekt vollständig umgibt und dessen Kanten jeweils parallel zu einem Bildrand des Bildes sind. Das bzw. die Rechtecke 42a bis 42c, 58a bis 58e definieren jeweils einen Bildbereich des Bildes des Erfassungsbereichs 14, 44, der eine Abbildung eines der zu klassifizierenden Objekte vollständig umfasst und zum Klassifizieren dieses Objektes durch das neuronale Netzwerk 40 weiterverarbeitet wird.
Nachfolgenden werden dann im Schritt S18 dem bzw. den Bildbereichen entsprechende zweite Bilddaten erzeugt. Im Schritt S20 wird eines der zu klassifizierenden Objekte mittels der zweiten Bilddaten durch das neuronale Netzwerk 40 klassifiziert. Dabei wird dem Objekt eine Klasse zugeordnet, die das neuronale Netzwerk 40 anhand eines Trainingsdatensatzes erlernt hat. Bei dieser Klasse kann es sich beispielsweise handeln um:

- einem bestimmten Fahrzeugtyp,
- einen erwachsenen Fußgänger,
- ein Kind,
- einen Fahrradfahrer,
- ein bestimmtes Verkehrszeichen,
- eine Ampel,
- ein bestimmtes Hindernis oder
- eine bestimmte Gefahrenquelle.

Umfasst der Erfassungsbereich mehrere zu klassifizierende Objekte und sind entsprechend im vorangegangenen Schritt S16 mehrere die Abbildung jeweils eines Objektes umfassende Bildbereiche ermittelt worden, wird der Schritt S20 für jedes zu klassifizierendem Objekt wiederholt. Im Schritt S22 wird für jedes klassifizierte Objekt eine Objektinformation des Objektes ermittelt. Dies erfolgt beispielsweise indem die Objektinformation aus einer Datenbank, die in der Steuereinheit 30 gespeichert ist, ausgelesen wird. In der Datenbank ist für jede Klasse von Objekten, die das neuronale Netzwerk 40 anhand der Trainingsdaten gelernt hat, ein der Klasse entsprechende Wert der Objekteigenschaft gespeichert. Die Objekteigenschaft kann insbesondere sein: die Breite, die Höhe oder die Länge des Objekts. Weitere Objektinformationen können sein: die Abmessung eines das Objekt umgebenden Hohlkörpers, beispielsweise eines Quaders oder eines Zylinders, oder ob das Objekt bewegt oder statisch ist. Schließlich wird der Ablauf von Schritt S24 beendet.
In einer alternativen Ausführungsform entfällt Schritt S18 und es wird in Schritt S20 das zu klassifizierenden Objekte mittels der ersten Bilddaten oder eines Teils der ersten Bilddaten durch das neuronale Netzwerk 40 klassifiziert. Die Ermittlung des die Abbildung des zu klassifizierenden Objekts vollständig umgebenden Rechtecks 42a bis 42c, 58a bis 58e in Schritt S16 und die Klassifikation des zu klassifizierenden Objekts im Schritt S20 erfolgen dabei vorzugsweise gleichzeitig und/oder unabhängig voneinander. In dieser Ausführungsform erfolgt die Ermittlung der Rechtecke 42a bis 42c, 58a bis 58e insbesondere, um diese, beispielsweise durch ein Head Up Display des Fahrzeugs 10, dem Fahrer oder der Fahrerin des Fahrzeugs 10 anzuzeigen.
Durch die Kamera 16 wird beispielsweise das Bild aufgenommen, das eine Abbildung der Rückseite eines ersten Kraftfahrzeugs und eine Abbildung einer Seite eines zweiten Kraftfahrzeugs aufweist. Mittels des neuronalen Netzwerks 40 wird um diese Abbildungen jeweils ein minimal begrenzendes Rechteck gelegt. Darauffolgend wird das erste Kraftfahrzeug als ein Smart Fortwo eines bestimmten Baujahres klassifiziert und aus der Datenbank die Objekteigenschaft ausgelesen, beispielsweise die Breite von 1,6 m und die Höhe von 1,6 m. Das zweite Kraftfahrzeug wird durch das neuronale Netzwerk als ein VW Touareg eines bestimmten Baujahres identifiziert. Aus der Datenbank werden dann die Objekteigenschaft des VW Touareg ausgelesen, die Breite von 1,9 m und die Höhe von 1,7 m.
Anhand der 1 bis 4 sind das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung anhand einer Ausführungsform beispielhaft beschrieben. Insbesondere befindet sich der Erfassungsbereich 14, 44 in der gezeigten Ausführungsform vor dem Fahrzeug 10. Es versteht sich von selbst, dass die gezeigten Ausführungsformen des Verfahrens entsprechend auch auf einen Bereich hinter dem Fahrzeug 10 anwendbar sind.
Bezugszeichenliste

10: Fahrzeug
12: Vorrichtung
14: Erfassungsbereich
16: Kamera
20: Fahrbahn
22, 24, 26: Fahrzeug
28: Fahrbahnmarkierung
30: Steuereinheit
32: Datenübetragungsstrecke
34: Windschutzscheibe
36: Halterung
38: Rückspiegel
40: Neuronales Netzwerk
42a bis 42c: Rechteck
44: Erfassungsbereich
46: Gehweg
48, 50, 52: Fahrzeug
54: Person
56: Kinderwagen
58a bis 58f: Rechteck
S10 bis S22: Verfahrensschritt

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2018/0253095 A1 [0003]
US 2018/0293445 A1 [0004]

Claims

Verfahren zum Erfassen und Klassifizieren eines Objekts in einem Erfassungsbereich (14, 44) vor oder hinter einem Fahrzeug (10) mittels einer Kamera (16) des Fahrzeugs (10), bei dem mittels der Kamera (16) ein Bild des Erfassungsbereichs (14, 44) erfasst wird, dem Bild entsprechende erste Bilddaten erzeugt werden, mittels der ersten Bilddaten ein Bildbereich ermittelt wird, der ein Teilbereich des Bildes ist und eine Abbildung des Objekts umfasst, das Objekt zum Erzeugen von Klassifikationsdaten mittels zumindest eines Teils der ersten Bilddaten und unter Verwendung eines neuronalen Netzwerks (40) klassifiziert wird, und mittels der Klassifikationsdaten mindestens eine Objekteigenschaft des Objekts ermittelt wird.
Verfahren nach Anspruch 1, wobei dem Bildbereich entsprechende zweite Bilddaten erzeugt werden, und wobei das Objekt zum Erzeugen von Klassifikationsdaten mittels eines Teils der zweiten Bilddaten und unter Verwendung des neuronalen Netzwerks (40) klassifiziert wird.
Verfahren nach Anspruch 1 oder 2, wobei der Bildbereich ein Rechteck (42a bis 42c, 58a bis 58e), insbesondere ein die Abbildung des Objekts in dem Bild minimal umgebendes Rechteck (42a bis 42c, 58a bis 58e), ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Bildbereich mittels des neuronalen Netzwerks (40) oder eines weiteren neuronalen Netzwerks ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Höhe, Breite und/oder die Länge des Objekts als die Objekteigenschaft ermittelt werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Höhe, die Breite und/oder die Länge eines das Objekt minimal umgebenden Quaders als die Objekteigenschaft ermittelt werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei als die Objekteigenschaft ermittelt wird, ob das Objekt durch das Fahrzeug (10) überfahrbar ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei als die Objekteigenschaft ermittelt wird, ob das Objekt eine Person (54) oder ein weiteres Fahrzeug (10) ist.
Verfahren nach Anspruch 8, wobei als die Objekteigenschaft ermittelt wird, ob das Objekt eine erwachsene Person (54) oder ein Kind (56) ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei mittels der Objekteigenschaft und mittels der ersten Bilddaten und/oder der zweiten Bilddaten der Abstand zwischen dem Objekt und dem Fahrzeug (10) ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei mittels der Objekteigenschaft und mittels der ersten Bilddaten und/oder der zweiten Bilddaten die Position des Objekts relativ zu dem Fahrzeug (10) ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei mittels der Objekteigenschaft eine Trajektorie des Fahrzeugs (10) ermittelt wird.
Vorrichtung zum Erfassen und Klassifizieren eines Objekts in einem Erfassungsbereich (14, 44) vor oder hinter einem Fahrzeug (10) mittels einer Kamera (16) des Fahrzeugs (10), wobei die Kamera (16) ausgebildet ist, ein Bild des Erfassungsbereichs (14, 44) zu erfassen, mit einer Bildverarbeitungs- und Auswerteeinheit (30), die ausgebildet ist, dem Bild entsprechende erste Bilddaten zu erzeugen, mittels der ersten Bilddaten einen Bildbereich zu ermitteln, der ein Teilbereich des Bildes ist und eine Abbildung des Objekts umfasst, mittels zumindest eines Teils der ersten Bilddaten das Objekt zum Erzeugen von Klassifikationsdaten unter Verwendung eines neuronalen Netzwerks (40) zu klassifizieren, und mittels der Klassifikationsdaten mindestens eine Objekteigenschaft des Objekts zu ermitteln.
Vorrichtung nach Anspruch 13, wobei die Kamera (16) eine Monokamera ist.