DE102022200171A1

DE102022200171A1 - Verfahren zur adaptiven Bilddatenkompression in einem Fahrzeug, entsprechende Vorrichtung, Computerprogramm und Kraftfahrzeug

Info

Publication number: DE102022200171A1
Application number: DE102022200171.0A
Authority: DE
Inventors: Christopher Vox; Andreas Udo Sass; Jan Piewek
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2022-01-10
Filing date: 2022-01-10
Publication date: 2023-07-13

Abstract

Bei einem erfindungsgemäßen Verfahren zur adaptiven Bilddatenkompression in einem Fahrzeug werden Bilddaten mit einer vordefinierten Farbtiefe durch einen Bildsensor des Fahrzeugs (F) erfasst (1), wobei die vordefinierte Farbtiefe angibt, wie viele Farb- oder Grautöne die in den Bilddaten enthaltenen Bildpunkte annehmen können. Es wird mindestens ein Parameter, der sich auf das Fahrzeug, die Fahrsituation, das Umfeld des Fahrzeugs und/oder die Anbindung des Fahrzeugs an ein externes Kommunikationsnetz bezieht, ermittelt (2). In Abhängigkeit von dem mindestens einen ermittelten Parameter wird die Bilddatenkompression parametrisiert (3), wobei durch die Parametrisierung eine Reduktion der Farbtiefe definiert wird. Die Bilddaten werden mittels der parametrisierten Bilddatenkompression komprimiert (4).

Description

Die vorliegende Erfindung betrifft ein Verfahren zur adaptiven Bilddatenkompression in einem Fahrzeug, dass insbesondere bei einer Übertragung von mit einem Fahrzeugsensor aufgenommenen Bilddaten eingesetzt werden kann. Die vorliegende Erfindung betrifft weiterhin eine entsprechende Vorrichtung, ein Computerprogramm zur Ausführung des Verfahrens und ein Kraftfahrzeug, das eingerichtet ist, ein solches Verfahren auszuführen.
Mittlerweile werden in Kraftfahrzeugen eine Vielzahl von Sensoren eingesetzt. So werden beispielsweise häufig diverse Sensoren zur Überwachung des Fahrzeugumfelds verwendet, wobei die generierten Sensordaten Fahrerassistenzsystemen zur Verfügung gestellt werden, um für den Fahrer einen verbesserten Komfort und eine erhöhte Sicherheit bei dem Führen des Fahrzeugs im Straßenverkehr zu ermöglichen. So können in dem Fahrzeug beispielsweise ein oder mehrere Videokameras oder auch Sensoren auf Ultraschall-, Radar- oder Laserbasis, verbaut sein.
Die erfassten Sensordaten können lokal im Fahrzeug verarbeitet und ausgewertet werden. Insbesondere bei komplexen Analysen von hochaufgelösten Sensordaten, wie insbesondere Bilddaten, kann es hierbei aber aufgrund der im Fahrzeug lokal vorhandenen begrenzten Rechenleistung von Vorteil sein, die erfassten Sensordaten über ein Kommunikationsnetz an eine zentrale Recheneinheit zu übermitteln, um dort die Analyse vorzunehmen. Ebenso ermöglicht dieses, bei der zentralen Recheneinheit Sensordaten von einer größeren Zahl von Fahrzeugen gemeinsam auszuwerten, beispielsweise um die übertragenen Daten zum Training von neuronalen Netzen in der Umfeldwahrnehmung für das automatisierte Fahren zu nutzen. Ferner ist es beispielsweise auch für das ferngesteuerte Lenken eines Fahrzeugs durch einen Operator, das sogenannte „Teleoperated Driving“ erforderlich, umfassende Sensordaten in Echtzeit von dem Fahrzeug an den Operator zu übertragen.
Dieses ist nur mit Mobilfunknetzen möglich, die einen hohen und stabilen Datendurchsatz, kurze Latenzzeiten und eine gleichmäßige Netzabdeckung bieten. In der Realität variieren jedoch die Parameter der Mobilfunkanbindung des jeweiligen Fahrzeugs, beispielsweise da die Fahrzeuge während der Fahrt durch Gebiete mit unterschiedlicher Mobilfunkabdeckung bewegt werden. So liegt in Städten häufig eine gute Netzabdeckung basierend auf aktuellen Mobilfunkstandards vor, so dass die genannten Anforderungen zur Datenübertragung erfüllt werden können. In Ortschaften und ländlichen Gebieten dagegen ist die Abdeckung basierend auf aktuellen Mobilfunkstandard häufig unvollständig, so das ggfs. auf ältere Mobilfunkstandards mit geringerer Datenrate zurückgegriffen werden muss oder kurzfristig überhaupt keine Datenübertragung per Mobilfunk möglich ist.
Dieses ist insbesondere ein Problem bei der Übertragung hochaufgelöster Sensordaten, da diese eine hohe Datenrate mit sich bringen. Es gibt daher Ansätze, für solche Fälle die Datenmenge der Sensordaten zu reduzieren, beispielsweise, um eine Übertragung auch in mobilfunktechnisch schlecht ausgebauten Gebieten zu ermöglichen.
Die DE 10 2018 215 151 A1 offenbart eine Radarsteuerungseinheit, bei der eine Filterung der Radardaten vorgenommen wird. Hierbei werden Teile der Radardaten, in denen kein potentielles Zielobjekt enthalten ist, eliminiert, um die Menge an Radardaten zu reduzieren. Die Radarsteuerungseinheit kann optional auch eine weitere verlustfreie Kompression durchführen. Die gefilterten und gegebenenfalls verlustfrei komprimierten Radarrohdaten werden einer Auswerteeinheit zugeführt, die sich im Fahrzeug oder auch außerhalb des Fahrzeugs befinden kann. In einem Ausführungsbeispiel können die Rohradardaten von dem Fahrzeug zu einem Server oder in ein Cloud-System übertragen werden, wo auf Grundlage der übermittelten Rohradardaten und eines geplanten Fahrmanövers eine optimale Fahrposition des Fahrzeugs ermittelt wird.
Die US 2020/0068434 A1 beschreibt eine Bildverarbeitung für Bilddaten, die an eine Betriebszentrale zur Überwachung und Fernsteuerung von autonomen Fahrzeuge übertragen werden. Hierbei wird eine Datenübertragungsrate eines von einem Fahrzeug empfangenen Signals mit Zustandsdaten des Fahrzeugs bestimmt. Es kann eine Filterung oder Komprimierung der Zustandsdaten des Fahrzeugs erfolgen, wobei der Umfang der Komprimierung auf der Grundlage der Datenübertragungsrate gewählt werden kann.
US 2020/0177885 A1 offenbart ein Verfahren zur Komprimierung von Fahrzeugdaten vor der Übertragung der Fahrzeugdaten über ein Netzwerk, um die Datenübertragung zu externen Servern zu optimieren, indem die Größe oder das Volumen der Daten reduziert und die Netzwerkbandbreite effektiver genutzt wird.
Es ist eine Aufgabe der Erfindung, ein Verfahren zur adaptiven Bilddatenkompression und eine entsprechende Vorrichtung zur Verfügung zu stellen.
Diese Aufgabe wird durch die unabhängigen Ansprüche gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
Bei einem erfindungsgemäßen Verfahren zur adaptiven Bilddatenkompression in einem Fahrzeug werden Bilddaten mit einer vordefinierten Farbtiefe durch einen Bildsensor des Fahrzeugs erfasst, wobei die vordefinierte Farbtiefe angibt, wie viele Farb- oder Grautöne die in den Bilddaten enthaltenen Bildpunkte annehmen können. Es wird mindestens ein Parameter, der sich auf das Fahrzeug, die Fahrsituation, das Umfeld des Fahrzeugs und/oder die Anbindung des Fahrzeugs an ein externes Kommunikationsnetz bezieht, ermittelt. In Abhängigkeit von dem mindestens einen ermittelten Parameter wird die Bilddatenkompression parametrisiert, wobei durch die Parametrisierung eine Reduktion der Farbtiefe definiert wird. Die Bilddaten werden mittels der parametrisierten Bilddatenkompression komprimiert.
Mit der Erfindung kann so auf effiziente Weise eine bedarfsgerechte Bildkomprimierung erfolgen, die keinen erheblichen Rechenaufwand erfordert und damit schnell ausführbar ist, so dass die Bilddatenkompression als Echtzeitanwendung im Fahrzeug, beispielsweise in einem Steuergerät des Fahrzeugs, implementiert werden kann.
Gemäß einer Ausführungsform der Erfindung werden die Bildpunkte bei bunten Bilddaten jeweils durch drei Farbwerte im RGB-Farbraum oder bei unbunten Bilddaten jeweils durch einen den Grauton angebenden Grauwert beschrieben.
Insbesondere können hierbei die Farbwerte der Bildpunkte in einer Binärdarstellung vorliegen und auf diese zur Reduktion der Farbtiefe binäre Verschiebungen angewendet werden, wobei die Parametrisierung der Bilddatenkompression die Anzahl der binären Verschiebungen umfasst.
Ebenso können vorteilhafterweise auf die Farbwerte zur Reduktion der Farbtiefe zusätzlich zu den binären Verschiebungen Rundungen angewendet werden.
Hierbei ist es von Vorteil, wenn nach der Anwendung der binären Verschiebungen eine Lauflängenkodierung auf die Farbwerte der Bildpunkte angewendet wird, wobei für die Lauflängenkodierung eine Information, wie häufig der gleiche Farbwert bei aufeinanderfolgenden Bildpunkten auftritt, in den durch die Verschiebungen freiwerdenden Bits abgelegt wird.
Vorteilhafterweise wird den komprimierten Bilddaten eine Information über die Anzahl der jeweils angewandten binären Verschiebungen zugeordnet, die für eine Rekonstruktion der Bilddaten zusammen mit den komprimierten Bilddaten abgespeichert oder übertragen wird.
Gemäß einer Ausführungsform wird hierbei die verfügbare Bandbreite der Anbindung des Fahrzeugs an das externe Kommunikationsnetz ermittelt und die Bilddatenkompression so an die verfügbare Bandbreite anpasst, dass über das externe Kommunikationsnetz eine unterbrechungsfreie Übertragung der komprimierten Bilddaten erfolgen kann.
Die erfindungsgemäße Vorrichtung zur adaptiven Bilddatenkompression in einem Fahrzeug umfasst

- einen Bildsensor, der Bilddaten mit einer vordefinierten Farbtiefe erfasst, wobei die vordefinierte Farbtiefe angibt, wie viele Farb- oder Grautöne die in den Bilddaten enthaltenen Bildpunkte annehmen können;
- eine Auswerte- und Steuereinheit zum Ermitteln von mindestens einem Parameter, der sich auf das Fahrzeug, die Fahrsituation, das Umfeld des Fahrzeugs und/oder die Anbindung des Fahrzeugs an ein externes Kommunikationsnetz bezieht, und zur Parametrisierung der Bilddatenkompression in Abhängigkeit von dem mindestens einen ermittelten Parameter, wobei durch die Parametrisierung eine Reduktion der Farbtiefe definiert wird; und
- eine Komprimierungseinheit, in der die Bilddaten mittels der parametrisierten Bilddatenkompression komprimiert werden.

Vorzugsweise umfasst die Vorrichtung zusätzlich eine Kommunikationseinheit zur Übertragung der komprimierten Bilddaten, wobei die Auswerte- und Steuereinheit die verfügbare Bandbreite der Anbindung des Fahrzeugs an das externe Kommunikationsnetz ermittelt und die Bilddatenkompression so an die verfügbare Bandbreite anpasst, dass über das externe Kommunikationsnetz eine unterbrechungsfreie Übertragung der komprimierten Bilddaten erfolgen kann.
Ein erfindungsgemäßes Computerprogramm umfasst Instruktionen, die eine Vorrichtung zur Ausführung der Schritte des erfindungsgemäßen Verfahrens veranlassen.
Schließlich umfasst die Erfindung auch ein Kraftfahrzeug, das eingerichtet ist, ein erfindungsgemäßes Verfahren auszuführen oder eine erfindungsgemäße Vorrichtung aufweist.
Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den Ansprüchen in Verbindung mit den Figuren ersichtlich.

1 zeigt ein Ablaufdiagramm, das die grundlegenden Schritte des erfindungsgemäßen Verfahrens zur adaptiven Bilddatenkompression in einem Fahrzeug wiedergibt;
2 zeigt mehrere Teilschritte zur erfindungsgemäßen Kompression der Bilddaten und zur Rekonstruktion der komprimierten Bilddaten; und
3 zeigt schematisch ein Fahrzeug mit einer erfindungsgemäßen Vorrichtung und einen zentralen Server, an den komprimierte Bilddaten übertragen werden.

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung, wie er in den Ansprüchen definiert ist, zu verlassen.
1 zeigt ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens. In einem ersten Verfahrensschritt 1 werden Bild- bzw. Videodaten durch einen oder mehrere Bildsensoren eines Fahrzeugs erfasst. Bei den Bildsensoren kann es sich hierbei insbesondere um Außenkameras des Fahrzeugs handeln, mit denen Aufnahmen von zwei- oder dreidimensionalen Abbildern des Fahrzeugumfelds generiert werden. Auch wenn von den Bildsensoren zu einem Zeitpunkt jeweils nur Bilddaten für einzelne Bilder erfasst werden, so erfolgt doch üblicherweise eine fortlaufende Erfassung von Videodaten aufeinanderfolgender Bilder. Sowohl die Bilddaten für einzelne Bilder als auch die Videodaten aufeinanderfolgender Bilder werden im Folgenden zur Vereinfachung mit Bilddaten bezeichnet. Die erfassten Bilddaten können vor einer weiteren Verarbeitung zunächst zwischengespeichert werden, wobei als Metadaten für die Bilddaten zusätzlich Positions- und/oder Zeitdaten erfasst und abgelegt werden können.
Aufgrund der Vielzahl der Bildpunkte in einem Bild und den üblichen Bildwiederholraten ergeben sich insbesondere bei einer hohen Farbtiefe große Datenmengen. Die Farbtiefe gibt hierbei an, wie viele Farb- oder Grautöne die in den Bilddaten enthaltenen Bildpunkte annehmen können. So kann die Farbtiefe beispielsweise 24 Bit betragen, die beispielsweise bei Anwendung eines RGB-Farbraums gleichmäßig mit jeweils 8 Bit auf die Rot-, Grün- und Blauanteile verteilt werden. Ein Bitwert 0 bedeutet hierbei, dass der Farbanteil fehlt, ein Bitwert von 255, dass der Farbanteil in maximaler Intensität vorliegt. Durch die Mischung der drei Farbanteile lassen sich so insgesamt 256x256x256 = 16,77 Millionen Farben darstellen. Auf gleiche Weise lassen sich mit 8 Bit 256 verschiedene Grautöne angeben, die ausreichen, um einen stufenlos wahrgenommenen Verlauf von Schwarz nach Weiß darzustellen.
In einem Verfahrensschritt 2 werden ein oder mehrere Parameter, der sich auf das Fahrzeug, die Fahrsituation, das Umfeld des Fahrzeugs und/oder die Anbindung des Fahrzeugs an ein externes Kommunikationsnetz bezieht, ermittelt. So kann beispielsweise die aktuelle Geschwindigkeit des Fahrzeugs bei Erfassung der Bilddaten von einem Steuergerät des Fahrzeugs ausgelesen werden. Ebenso kann mit weiteren Fahrzeugsensoren das Fahrzeugumfeld erfasst werden oder eine Information über das Fahrzeugumfeld aus Kartendaten in Zusammenhang mit der mit einem Navigationssystem ermittelten aktuellen Position des Fahrzeugs ermittelt werden. Ebenso kann von einer im Fahrzeug befindlichen Mobilfunkeinheit die aktuell verfügbare Bandbreite für eine Datenübertragung abgefragt werden. Die so ermittelten Parameter ermöglichen eine situative Anpassung der nachfolgenden Kompression, beispielsweise indem bei einer dynamischen Fahrweise eine geringere Kompression gewählt wird als bei einer weniger dynamischen Fahrweise oder bei guten Empfangsbedingungen der Mobilfunkeinheit, und damit einer großen zur Verfügung stehende Bandbreite, eine geringere Kompression gewählt wird als bei schlechten Empfangsbedingungen.
In einem Verfahrensschritt 3 erfolgt dann eine Parametrisierung der nachfolgenden Kompression der Bilddaten, wobei in Abhängigkeit von dem mindestens einen ermittelten Parameter durch die Parametrisierung eine Reduktion der Farbtiefe definiert wird. Hierbei macht sich die Erfindung zu Nutze, dass für Bildverarbeitungen und Bildanalysen die Farb- bzw. Grauverläufe eines Bildes nicht hochauflösend vorliegen müssen. Vielmehr werden durch eine Reduktion der Farbtiefe Kanten von Objekten innerhalb des Bildes geschärft, was vorteilhaft für solche Nachverarbeitungen ist.
In einem Verfahrensschritt 4 werden dann die Bilddaten mittels der parametrisierten Bilddatenkompression komprimiert, bevor die komprimierten Daten dann für weitere Bildverarbeitungen und Bildanalysen an einen zentralen Server übertragen werden. Der für die Bilddatenkompression verwendete Algorithmus wird in der folgenden 2 beschrieben.
Wie in 2 gezeigt, werden für die Bilddatenkompression mehrere Teilschritte angewendet, wobei ein Teil dieser Schritte optional ist. In einem ersten Teilschritt 4-1 erfolgt hierbei zunächst eine Quantisierung des von dem Bildsensor erfassten Originalbilds. Hierbei werden auf die in Binärdarstellung vorliegenden Farbwerte der Bildpunkte binäre Verschiebungen bzw. Shiftoperationen angewendet, wobei die vorher erfolgte Parametrisierung der Bilddatenkompression die Anzahl der binären Verschiebungen umfasst. Jeder Bildpunkt kann hierbei durch einen 3 spaltigen Vektor (R, G, B) mit den jeweiligen RGB-Farbwerten beschrieben werden.
Für die Farbanteile der Bildpunkte wird eine binäre Shiftoperation angewendet, sodass die maximal zur Verfügung stehenden Bitwerte und damit Farbwerte reduziert werden, ähnliche Farben werden dadurch einheitlich dargestellt. Dieses kann bei einer deutlichen Reduzierung der Farbtiefe beispielsweise zum Ergebnis haben, dass eine durch einen Bildsensor erfasste Straße einheitlich grau dargestellt wird oder der durch den Bildsensor erfasste Himmel einheitlich blau. Farbverläufe werden gröber oder werden ggfs. gar nicht mehr dargestellt, stattdessen wird ein Bild mit ausgeprägten Farbkontrasten erzeugt.
Hierbei kann insbesondere vorgesehen werden, dass für jeden Farbanteil und für jeden Bildpunkt die gleiche binäre Shiftoperation angewendet wird, beispielsweise, dass der Farbwert für den Rot-, Grün- und Blauanteil für jeden Bildpunkt um ein Bit nach rechts verschoben wird. Es ist aber auch möglich, für die verschiedenen Farbanteile unterschiedlich starke Verschiebungen zu wählen, beispielsweise in Abhängigkeit davon, in welchem Umfang die verschiedenen Farbanteile im Bildsignal vorliegen. Ferner ist es auch möglich, für unterschiedliche Bildbereiche eine unterschiedlich starke Verschiebung zu wählen, beispielsweise am Bildrand eine größere Verschiebung als in der Bildmitte.

In den folgenden beiden Tabellen wird ein Beispiel für eine Kompression durch binäre Shiftoperationen sowie eine im Anschluss erfolgende optionale Rundung für fünf Farbwerte 30 bis 34 (dezimal) verdeutlicht. Aus Gründen der Übersichtlichkeit werden hierbei nur die fünf Bits mit den niedrigsten Stellenwerten („least significant bits“) wiedergegeben, bei einer Farbraumdarstellung mit 8 Bit pro Farbwert werden damit die führenden drei Bitwerte in der Tabelle nicht gezeigt. Aus den Originalwerten für die Farbwerte 30 bis 34 ergeben sich hierbei nach einer Verschiebung um 1, 2 oder 3 Bitstellen folgende Werte:

Originalwert		Shiftoperation (1 Bit)		Shiftoperation (2Bit)		Shiftoperation (3Bit)
dezimal	binär	binär	dezimal	binär	dezimal	binär	dezimal
34	100010	10001	17	1000	8	100	4
33	100001	10000	16	1000	8	100	4
32	100000	10000	16	1000	8	100	4
31	011111	01111	15	0111	7	011	3
30	011110	01111	15	0111	7	011	3

Wie ersichtlich, ergibt sich bei ursprünglich fünf unterschiedlichen Farbwerten 30 bis 34 (dezimal) bereits nach einer Verschiebung um 1 Bit eine Reduktion auf drei unterschiedliche Farbwerte und nach einer Verschiebung um 2 oder 3 Bit eine Reduktion auf nur noch zwei unterschiedliche Farbwerte.

Optional kann bei der Kompression mittels der binären Shiftoperationen auch eine Rundung erfolgen, bei welcher der verschobene Wert auf die nächst höhere Quantisierungsstufe gerundet wird. Die Rundungsinformation wird hierbei den durch die Shiftoperationen weggelassenen Bits entnommen. Dieses wird in der folgenden Tabelle für das obige Beispiel der fünf Farbwerte 30 bis 34 verdeutlicht, wobei wieder nur fünf Binärwerte wiedergegeben werden. Aus den Originalwerten für die Farbwerte 30 bis 34 ergeben sich hierbei nach einer Verschiebung um 1, 2 oder 3 Bitstellen folgende Werte:

Originalwert		Shiftoperation (1Bit)		Shiftoperation (2Bit)		Shiftoperation (3Bit)
dezimal	binär	binär	dezimal	binär	dezimal	binär	dezimal
34	100010	10001	17	1001	9	100	4
33	100001	10001	17	1000	8	100	4
32	100000	10000	16	1000	8	100	4
31	011111	10000	16	1000	8	100	4
30	011110	01111	15	1000	8	100	4

Auch hier ergibt sich bei den Farbwerten 30 bis 34 nach einer Verschiebung um 1 Bit mit zusätzlicher Rundung eine Reduktion auf drei Farbwerte, nach einer Verschiebung um 2 Bit mit zusätzlicher Rundung eine Reduktion auf zwei unterschiedliche Farbwerte und nach einer Verschiebung um 3 Bit mit zusätzlicher Rundung eine Reduktion auf nur noch einen Farbwert.
Im darauffolgenden Teilschritt 4-2 wird dann nach den binären Verschiebungen eine Lauflängenkodierung auf die Farbwerte der Bildpunkte angewendet. Eine Information über die Anzahl der jeweils angewandten binären Verschiebungen wird hierbei den komprimierten Bilddaten zugeordnet und für eine später erfolgende Rekonstruktion der Bilddaten zusammen mit den komprimierten Bilddaten abgespeichert oder übertragen. So wird beispielsweise bei einer vierfach aufeinanderfolgenden Wiederholung des gleichen Farbwertes dieser Farbwert nicht vierfach übertragen, sondern eine Information, dass in den Bilddaten vierfach ein bestimmter Farbwert folgt. Hierbei führt die sich aus der Anwendung der binären Shiftoperationen ergebende Reduktion der auftretenden Farbwerte dazu, dass sich die Anzahl der gleichen Farbwerte im Vergleich zum Originalbild vergrößert und damit die Wirksamkeit der anschließend angewandten Lauflängenkodierung erhöht wird.
Optional kann dann in Teilschritt 4-3 für die Lauflängenkodierung eine Information, wie häufig der gleiche Farbwert bei aufeinanderfolgenden Bildpunkten auftritt, in den durch die Verschiebungen freiwerdenden Bits abgelegt wird.
Dieses sogenannte Bitpacking soll im folgenden Beispiel für die Übertragung des Farbwertes „16“ (dezimal) bzw. „0001 0000“ (binär) bei dreifacher Verschiebung des Binärwertes verdeutlicht werden. Die dreifache Verschiebung des Binärwertes „0001 0000“ nach rechts ergibt „0000 0010“, entsprechend ergäbe eine Rekonstruktion durch eine Linksverschiebung um 3 Bits wieder den Binärwert „0001 0000“. Der nach der dreifachen Verschiebung nach rechts ungenutzte (unterstrichene) Bereich des Binärwertes „0000 0010“ kann nun verwendet werden, um die Anzahl der folgenden Farbwertwiederholung zu kennzeichnen. Für das oben genannte Beispiel einer vierfach aufeinanderfolgenden Wiederholung des gleichen Farbwertes ergibt sich damit „100 | 0 0010“ mit dem Format „Anzahl aufeinanderfolgende Werte | verschobener Wert“. Wahlweise ist aber auch eine umgekehrte Anordnung „00010 1100" mit dem Format „verschobener Wert | Anzahl aufeinanderfolgende Werte“ möglich.
Da die Verarbeitung der Daten in den Teilschritten 4-1 bis 4-3 schnell und mit wenigen Rechenbefehlen ausgeführt werden kann, können diese in Echtzeit ausgeführt werden. Sollten hierbei nur geringe Geschwindigkeitsanforderungen an das echtzeitfähige System vorliegen oder sollte auf eine Echtzeitverarbeitung verzichtet werden können, so ermöglicht dieses, einen erhöhten Rechenaufwand im Fahrzeug aufzuwenden. In diesem Fall kann in dem optionalen Teilschritt 4-4 eine Anwendung zusätzlicher, komplexerer Kompressionsverfahren erfolgen, um eine erhöhte Kompressionsrate zu erzielen.

Nach einer Übertragung der so komprimierten Bilddaten erfolgt dann in Verfahrensschritt 5 eine Rekonstruktion des Bildes. Dieses wird in der folgenden Tabelle für das obige Beispiel der verschobenen und gerundeten Farbwerte 30 bis 34 verdeutlicht, wobei lediglich die inversen Shiftoperationen, nun durch binäres Verschieben nach links, nach der Lauflängendekodierung und das ggfs. erforderliche Bitunpacking wiedergegeben werden.

Originalwert		Rekonstruierter Wert aus Shiftoperation (1 Bit)		Rekonstruierter Wert aus Shiftoperation (2Bit)		Rekonstruierter Wert aus Shiftoperation (3Bit)
dezimal	binär	binär	dezimal	binär	dezimal	binär	dezimal
34	100010	100010	34	100100	36	100000	32
33	100001	100010	34	100000	32	100000	32
32	100000	100000	32	100000	32	100000	32
31	011111	100000	32	100000	32	100000	32
30	011110	011110	30	100000	32	100000	32

Wie ersichtlich, bleibt bei der Rekonstruktion die Reduktion der Farbtiefe erhalten, beispielsweise werden alle ursprünglichen Farbwerten 30 bis 34 bei einer dreifachen Shiftoperation durch den gleichen Farbwert dargestellt.
In einer Ausführungsform der Erfindung kann es für die Komprimierung der ursprünglichen Bilddaten im Fahrzeug, aber ebenso auch für die serverseitige Rekonstruktion der komprimierten Bilddaten auch vorgesehen werden, anstatt einer Anwendung der binären Shiftoperationen auf Tabellen zurückzugreifen, in denen für die verschiedenen Farbwerte und Shiftoperationen vorab berechnete Werte hinterlegt sind. In einer weiteren Ausführungsform kann auch vorgesehen werden, dass entsprechende Tabellen durch das Fahrzeug generiert werden und an den Server übertragen werden.
Die übertragenen Daten können nach der Rekonstruktion beispielsweise für das computerbasierte Sehen (englisch: Computer Vision) für die Erkennung und Verfolgung von Objekten (z. B. Fußgänger) im Umfeld des Fahrzeugs genutzt werden. So können die Bilddaten für ein Training von Künstlichen Neuronalen Netzen, die für die Umfeldwahrnehmung bei automatisiert fahrenden Fahrzeugen verwendet werden, eingesetzt werden. Hierbei ist es von Vorteil, dass die Neuronalen Netze in der Umfeldwahrnehmung aufgrund der Komprimierung der Bilddaten eine geringerer Farbtiefe verarbeiten müssen, sodass in der Folge kleinere neuronale Netze bei gleichbleibender Klassifizierungsgüte verwendet werden können. Ebenso können die übertragenen Bilddaten auch für Telematikdienste oder prädiktive Services benutzt werden.
Die Übertragung der komprimierten Bilddaten durch das Fahrzeug kann in Form eines Push-Models erfolgen, bei dem das Fahrzeug die Bilddaten fortwährend oder beispielsweise immer dann, wenn für einen neuen Streckenabschnitt Bilddaten generiert werden, überträgt. Ebenso kann die Übertragung auch in Form eines Pull-Models erfolgen, bei dem die erfassten Bilddaten zunächst in einem Speicher des Fahrzeugs abgelegt werden und erst bei Anforderung durch den Server von dem Fahrzeug übermittelt werden.
In 3 ist schematisch ein Fahrzeug F mit einer erfindungsgemäßen Vorrichtung und ein zentraler Server S dargestellt. Dieser Server kann als Backend-Server für eine Vielzahl von Fahrzeugen in der Cloud bereitgestellt sein und Teil einer hier nicht weiter beschriebenen IT-Infrastruktur sein. Bei dem Fahrzeug F kann es sich insbesondere um einen Personenkraftwagen oder Lastkraftwagen handeln.
Das Fahrzeug weist für die Durchführung des erfindungsgemäßen Verfahrens verschiedene Einheiten auf. So ist insbesondere eine Auswerte- und Steuereinheit AS vorgesehen, die beispielsweise als Steuergerät des Fahrzeugs F ausgestaltet sein kann und einen oder mehrere Mikrocontroller oder Mikroprozessoren aufweisen kann.
Ferner sind im dargestellten Beispiel jeweils ein nach vorne gerichteter und ein nach hinten gerichteter Bildsensor BS vorgesehen, mit denen das Fahrzeugumfeld vor und hinter dem Fahrzeug erfasst werden kann. Ebenso kann das Fahrzeug aber auch mit nur einem Bildsensor ausgestattet sein oder zusätzlich auch das seitliche Fahrzeugumfeld erfassende Bildsensoren aufweisen. Hierbei kann es sich insbesondere um eine oder mehrere Fahrzeugkameras handelt, die das Fahrzeugumfeld im sichtbaren oder nahinfraroten Spektralbereich erfassen.
Die von den Bildsensoren erzeugten Bilddaten werden über einen digitalen Datenbus DB im Fahrzeug der Komprimierungseinheit K zugeführt, welche die Bilddaten komprimiert. Für die Parametrisierung der Bilddatenkompression werden hierbei von der Auswerte- und Steuereinheit AS Parameter, der sich auf das Fahrzeug, die Fahrsituation, das Umfeld des Fahrzeugs und/oder die Anbindung des Fahrzeugs an ein externes Kommunikationsnetz beziehen, ausgewertet. In Abhängigkeit von dem Ergebnis dieser Auswertung steuert die Auswerte- und Steuereinheit AS dann die Komprimierungseinheit K zur Komprimierung der aktuell vorliegenden Bilddaten an. Der Parametrisierung kann fortlaufend oder auch in regelmäßigen Abständen aktualisiert werden, um so jederzeit schnell auf die aktuell vorliegenden Parameter reagieren zu können.
Das Fahrzeug weist außerdem eine Kommunikationseinheit C auf, mit der die komprimierten Bilddaten an den Server S übertragen werden können. Hierbei kann die Übertragung beispielsweise mittels eines Mobilfunkstandards, wie 4G oder 5G, oder basierend auf einem drahtlosen lokalen Netzwerk, wie WLAN, erfolgen. Ebenso können die komprimierten Bilddaten mittels der Kommunikationseinheit C aber auch an Fremdfahrzeuge über Car2Car-Verbindungen übertragen werden.
Zusätzlich kann das Fahrzeug weitere, nicht dargestellte Komponenten aufweisen. So kann beispielsweise ein Speicher zur Speicherung der Bilddaten vorgesehen sein. Der Speicher kann hierbei sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und Speichermedien umfassen. Weiterhin können in dem Speicher Instruktionen zur Durchführung eines Programms, welches das erfindungsgemäße Verfahren realisiert, abgelegt sein. Ebenso kann eine Lokalisierung des Fahrzeugs mit einer Positionserfassungseinheit, die beispielsweise GPS-Signale auswertet, erfolgen, um so den erfassten Bilddaten Positionsdaten zuordnen zu können. Ferner kann der Zeitpunkt der Erfassung der Bilddaten mittels einer Zeiteinheit ermittelt werden, um die Bilddaten mit korrespondierenden Zeitstempeln zu versehen. Diese Komponenten können als separate Einheiten vorliegen und dann über den digitalen Datenbus DB die jeweilige Information den oben genannten Einheiten im Fahrzeug zur Verfügung stellen, oder aber auch in der Auswerte- und Steuereinheit AS, der Komprimierungseinheit K oder einer anderen Einheit integriert sein.
Die Erfindung kann in beliebigen Fahrzeugen angewendet werden, bei denen eine bildbasierte Umfeldwahrnehmung erfolgt, ist aber nicht darauf beschränkt.
Bezugszeichenliste

1 - 4: grundlegende Verfahrensschritte
4-1 - 4-5: Verfahrensschritte zur Bilddatenkompression und Rekonstruktion
F: Fahrzeug
S: Server
BS: Bildsensor
AS: Auswerte- und Steuereinheit
C: Kommunikationseinheit
DB: Datenbus
K: Komprimierungseinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102018215151 A1 [0006]
US 2020/0068434 A1 [0007]
US 2020/0177885 A1 [0008]

Claims

Verfahren zur adaptiven Bilddatenkompression in einem Fahrzeug, bei dem - Bilddaten mit einer vordefinierten Farbtiefe durch einen Bildsensor des Fahrzeugs (F) erfasst (1) werden, wobei die vordefinierte Farbtiefe angibt, wie viele Farb- oder Grautöne die in den Bilddaten enthaltenen Bildpunkte annehmen können; - mindestens ein Parameter, der sich auf das Fahrzeug, die Fahrsituation, das Umfeld des Fahrzeugs und/oder die Anbindung des Fahrzeugs an ein externes Kommunikationsnetz bezieht, ermittelt (2) wird; - in Abhängigkeit von dem mindestens einen ermittelten Parameter die Bilddatenkompression parametrisiert (3) wird, wobei durch die Parametrisierung eine Reduktion der Farbtiefe definiert wird; und - die Bilddaten mittels der parametrisierten Bilddatenkompression komprimiert (4) werden.
Verfahren nach Anspruch 1, wobei die Bildpunkte bei bunten Bilddaten jeweils durch drei Farbwerte im RGB-Farbraum oder bei unbunten Bilddaten jeweils durch einen den Grauton angebenden Grauwert beschrieben werden.
Verfahren nach Anspruch 1 oder 2, wobei die Farbwerte der Bildpunkte in einer Binärdarstellung vorliegen und auf diese zur Reduktion der Farbtiefe binäre Verschiebungen angewendet werden, wobei die Parametrisierung der Bilddatenkompression die Anzahl der binären Verschiebungen umfasst.
Verfahren nach Anspruch 3, wobei auf die Farbwerte zur Reduktion der Farbtiefe zusätzlich zu den binären Verschiebungen Rundungen angewendet werden.
Verfahren nach Anspruch 3 oder 4, wobei nach der Anwendung der binären Verschiebungen eine Lauflängenkodierung auf die Farbwerte der Bildpunkte angewendet wird und für die Lauflängenkodierung eine Information, wie häufig der gleiche Farbwert bei aufeinanderfolgenden Bildpunkten auftritt, in den durch die Verschiebungen freiwerdenden Bits abgelegt wird.
Verfahren nach einem der Ansprüche 3 bis 5, wobei den komprimierten Bilddaten eine Information über die Anzahl der jeweils angewandten binären Verschiebungen zugeordnet wird, die für eine Rekonstruktion der Bilddaten zusammen mit den komprimierten Bilddaten abgespeichert oder übertragen wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die verfügbare Bandbreite der Anbindung des Fahrzeugs an das externe Kommunikationsnetz ermittelt wird und die Bilddatenkompression so an die verfügbare Bandbreite anpasst wird, dass über das externe Kommunikationsnetz eine unterbrechungsfreie Übertragung der komprimierten Bilddaten erfolgen kann.
Vorrichtung zur adaptiven Bilddatenkompression in einem Fahrzeug, mit - einem Bildsensor (S), der Bilddaten mit einer vordefinierten Farbtiefe erfasst, wobei die vordefinierte Farbtiefe angibt, wie viele Farb- oder Grautöne die in den Bilddaten enthaltenen Bildpunkte annehmen können; - einer Auswerte- und Steuereinheit (AS) zum Ermitteln von mindestens einem Parameter, der sich auf das Fahrzeug, die Fahrsituation, das Umfeld des Fahrzeugs und/oder die Anbindung des Fahrzeugs an ein externes Kommunikationsnetz bezieht, und zur Parametrisierung der Bilddatenkompression in Abhängigkeit von dem mindestens einen ermittelten Parameter, wobei durch die Parametrisierung eine Reduktion der Farbtiefe definiert wird; und - einer Komprimierungseinheit (K), in der die Bilddaten mittels der parametrisierten Bilddatenkompression komprimiert werden.
Vorrichtung nach Anspruch 8, wobei diese zusätzlich eine Kommunikationseinheit (C) zur Übertragung der komprimierten Bilddaten umfasst und die Auswerte- und Steuereinheit (AS) die verfügbare Bandbreite der Anbindung des Fahrzeugs an das externe Kommunikationsnetz ermittelt und die Bilddatenkompression so an die verfügbare Bandbreite anpasst, dass über das externe Kommunikationsnetz eine unterbrechungsfreie Übertragung der komprimierten Bilddaten erfolgen kann.
Computerprogramm mit Instruktionen, die eine Vorrichtung zur Ausführung der Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 7 veranlassen.
Kraftfahrzeug, das eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 7 auszuführen oder eine Vorrichtung gemäß einem der Ansprüche 8 oder 9 aufweist.