-
Die Erfindung betrifft ein Verfahren zur Verarbeitung von Bilddaten einer Umgebungserfassung für ein automatisiert fahrendes Fahrzeug gemäß dem Oberbegriff des Anspruchs 1.
-
Aus der
DE 11 2020 002 126 T5 ist ein Verfahren zur Verarbeitung von Bilddaten mit folgenden Schritten bekannt:
- - Anwenden von Bilddaten, die repräsentativ für eine Kreuzung im Sichtfeld eines Bildsensors eines Fahrzeugs sind, auf ein neuronales Netzwerk;
- - Berechnen, mittels des neuronalen Netzwerks und teilweise auf den Bilddaten basierend, von ersten Daten, die für eine oder mehrere zweidimensionale Heatmaps stehen, die Positionen der Schlüsselpunkte entsprechend der Kreuzung darstellen, und zweiter Daten, die Klassifizierungskonfidenzwerte entsprechend den Schlüsselpunkten repräsentieren;
- - Dekodieren einer oder mehrerer zweidimensionaler Heatmaps zum Bestimmen von Pixelpositionen der Schlüsselpunkte im Bild;
- - Bestimmen zugehöriger Klassifizierungen aus den Klassifizierungskonfidenzwerten, die den Schlüsselpunkten entsprechen;
- - Generieren, teilweise auf der Grundlage der Pixelpositionen und der zugehörigen Klassifizierungen, eines oder mehrerer vorgeschlagener Wege durch die Kreuzung und
- - Durchführung einer oder mehrerer Operationen durch das Fahrzeug mittels des vorgeschlagenen Wegs.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur Verarbeitung von Bilddaten einer Umgebungserfassung für ein automatisiert fahrendes Fahrzeug anzugeben.
-
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In einem Verfahren zur Verarbeitung von Bilddaten einer Umgebungserfassung für ein automatisiert fahrendes Fahrzeug werden erfasste Bilddaten mit einer hohen Auflösung in einem Zwischenspeicher zwischengespeichert.
-
Erfindungsgemäß werden die zwischengespeicherten Bilddaten in einem Vorverarbeitungsschritt in ihrer Farbtiefe und/oder ihrem Ausgabeformat und/oder ihrer Auflösung reduziert. Anschließend werden die reduzierten Bilddaten basierend auf mehreren Erkennungsfunktionen verarbeitet und aggregiert und innerhalb der reduzierten Bilddaten werden relevante Bildbereiche festgelegt. Auf Basis der relevanten Bildbereiche werden die zwischengespeicherten Bilddaten mit hoher Auflösung zugeschnitten, wobei die zugeschnittenen Bilddaten mittels weiterer Erkennungsfunktionen weiterverarbeitet werden. Die weiterverarbeiteten zugeschnittenen Bilddaten werden dann mit den aggregierten Bilddaten fusioniert.
-
Automatisierte, insbesondere hochautomatisierte und autonome Fahrsysteme verfügen über eine Vielzahl an Sensoren, welche einen Nah- und einen Fernbereich einer Fahrzeugumgebung überwachen. Hierbei treffen unterschiedliche Anforderungen aufeinander. So ist es beispielsweise so, dass für den Nahbereich ein breiter Öffnungswinkel der Umgebungserfassung erforderlich ist, um beispielsweise eine Fahrbahn und Verkehrsampeln gleichzeitig erfassen zu können. Gleichzeitig werden für den Fernbereich sehr hohe Auflösungen benötigt, um Objekte auch in hohen Distanzen erkennen zu können. Eine Kombination dieser Anforderungen führt dazu, dass eine extrem hohe Datenmenge erfasst und verarbeitet werden muss, was zu erheblichem Mehraufwand in einer Prozessierungslast führt. Bei der Überwachung der Fahrzeugumgebung kommen neben Kameras beispielsweise auch Radar- und Lidar-Sensoren zum Einsatz, weshalb der im Zusammenhang mit dem Erfindungsgegenstand verwendete Begriff Bilddaten auch mittels entfernungsauflösender Sensoren erfasste Punktewolken mit einbezieht.
-
Mittels des vorliegenden Verfahrens ist es möglich, diese Datenmenge zu reduzieren und somit einen Rechenaufwand der Bildverarbeitung bei der Umgebungserfassung signifikant zu verringern. Eine volle Datenqualität wird nur dort verarbeitet, wo eine hohe Informationsdichte erforderlich ist. Alle anderen Funktionen können auf einer reduzierten Datenqualität ausgeführt werden, was dennoch eine robuste Erkennung erlaubt.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
-
Dabei zeigt:
- 1 schematisch ein Blockschaltbild einer Vorrichtung zur Verarbeitung von Bilddaten einer Umgebungserfassung.
-
In der einzigen 1 ist ein Blockschaltbild eines möglichen Ausführungsbeispiels einer Vorrichtung 1 zur Verarbeitung von Bilddaten BD1, BD2 einer Umgebungserfassung für ein automatisiert, insbesondere hochautomatisiert oder autonom fahrendes Fahrzeug dargestellt.
-
Um einen Aufwand bei der Bildverarbeitung zu reduzieren, wird mittels der Vorrichtung 1 ein intelligente Vorprozessierung durchgeführt.
-
Hierfür werden zunächst mittels eines Imagers 2 Bilddaten BD mit einer hohen Auflösung über einen vollen Sichtbereich aufgenommen und die aufgenommenen Bilddaten BD in einem Zwischenspeicher 3, auch Buffer genannt, abgelegt.
-
Anschließend erfolgt in einem Vorverarbeitungsmodul 4, welches insbesondere Bestandteil einer anwendungsspezifischen integrierten Schaltung ASIC ist, eine Reduzierung einer Farbtiefe der Bilddaten BD, beispielsweise eine Reduzierung von 16 Bit auf 12 Bit.
-
Anschließend werden in ihrer Farbtiefe reduzierte Bilddaten BD1 in einem weiteren Vorverarbeitungsmodul 5 in ihrer Auflösung reduziert, das heißt downgesampled. Dies kann beispielsweise in einem Verhältnis von 4:1 erfolgen.
-
Resultierende Bilddaten BD2 werden dann in verschiedene Erkennungsfunktionen 6 bis 9 gespeist. Diese Erkennungsfunktionen 6 bis 9 umfassen beispielsweise eine Fahrspurdetektion, eine Schätzung eines befahrbaren Wegs, eine Fluchtpunktbestimmung und eine Himmel-Boden-Separierung. Diese Erkennungsfunktionen 6 bis 9 können über verschiedene bekannte Algorithmen realisiert werden.
-
Auf Basis der Ausgaben A6 bis A9 der Erkennungsfunktionen 6 bis 9 werden in einem ROI-Modul 12 relevante Bereiche ROI in den Bilddaten BD2 für eine hohe Reichweite selektiert. Der befahrbare Weg wird beispielsweise von in der Fahrspurdetektion erkannten Spurmarkierungen begrenzt und bis zum in der Fluchtpunktbestimmung und der Himmel-Boden-Separierung bestimmten Horizont extrapoliert. Dieser Bereich definiert die relevanten Bereiche ROI und wird von dem ROI-Modul 12 an ein Cropping-Modul 13 weitergeleitet. Weiterhin werden die Ausgaben A6 bis A9 einem Aggregations-Modul 14 zugeführt und in diesem aggregiert.
-
Mittels des Cropping-Moduls 13 werden die ursprünglichen zwischengespeicherten Bilddaten BD mit hoher Auflösung auf Basis der relevanten Bildbereiche ROI in einem so genannten Image-Cropping zugeschnitten.
-
Diese zugeschnittenen Bilddaten BD3 werden dann in einem Speicher 15 zur Weiterverarbeitung hinterlegt und anschließend weiteren Erkennungsfunktionen 16 bis 19 zugeführt, welche insbesondere eine Gefahrenerkennung, eine Objekterkennung, Fahrspurdetektion und eine Schätzung eines befahrbaren Wegs umfassen.
-
Zusätzlich können die resultierenden Bilddaten BD2 an in einer Erweiterung der Schaltung ASIC1 befindliche weitere Erkennungsfunktionen 10, 11, beispielsweise eine Gefahrenerkennung und eine Objekterkennung, weitergeleitet werden.
Ausgaben A10, A11 dieser Erkennungsfunktionen 10, 11 werden ebenfalls dem Aggregations-Modul 14 zugeführt und gemeinsam mit den Ausgaben A6 bis A9 der weiteren Erkennungsfunktionen 6 bis 9 in diesem aggregiert.
-
Aggregierte Daten AD und Ausgaben A16 bis A19 der weiteren Erkennungsfunktionen 16 bis 19 werden einem Fusions-Modul 20 zu einer Fusion zugeführt.
-
In einer möglichen Ausgestaltung der Vorrichtung 1 können auch so genannte Priors aus anderen Sensoren, fusionierten Daten, einer digitalen Karte oder auch aus früheren Detektionen für das ROI-Modul 12 verwendet werden.
-
Alternativ zu der Ausführung der beschriebenen auf der anwendungsspezifischen integrierten Schaltung ASIC und gegebenenfalls deren Erweiterung ASIC1 kann diese auch als Softwaremodul zur Ausführung der Berechnungen realisiert sein.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 112020002126 T5 [0002]
