DE102022206379A1

DE102022206379A1 - Verfahren für eine Bereitstellung von Bildaufzeichnungen bei einem Fahrzeug

Info

Publication number: DE102022206379A1
Application number: DE102022206379.1A
Authority: DE
Inventors: Bane Strahinjic; Andreas Feder; Claus Spizig
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-06-24
Filing date: 2022-06-24
Publication date: 2024-01-04
Also published as: US20230419440A1; CN117294807A

Abstract

Die Erfindung betrifft ein Verfahren (100) für eine Bereitstellung von Bildaufzeichnungen (271,272) bei einem Fahrzeug (1), wobei die nachfolgenden Schritte automatisiert durchgeführt werden:- Ermitteln (101) einer ersten Bildaufzeichnung (271) eines ersten Bildsensors (11) des Fahrzeuges (1) und wenigstens einer weiteren Bildaufzeichnung (272) wenigstens eines weiteren Bildsensors (12) des Fahrzeuges (1), wobei durch die Bildaufzeichnungen (271,272) unterschiedliche räumliche Umgebungsbereiche (301,302) einer Umgebung (3) des Fahrzeuges (1) abgebildet werden, wodurch wenigstens eine für eine Fahrzeugfunktion des Fahrzeuges (1) relevante Information bereitgestellt wird, wobei sich die Bildaufzeichnungen (271,272) hinsichtlich ihrer Auflösung und/oder ihres Bildformates unterscheiden,- Durchführen einer Anpassung (410) der Bildaufzeichnungen (271,272) hinsichtlich ihrer Auflösung und/oder ihres Bildformates an eine Vorgabe, wobei die Vorgabe von wenigstens einer bei einer Ausführung der Fahrzeugfunktion durchgeführten Verarbeitung (170) abhängig ist,- Bereitstellen der angepassten Bildaufzeichnungen (271,272) für die Verarbeitung (170).

Description

Die vorliegende Erfindung betrifft ein Verfahren für eine Bereitstellung von Bildaufzeichnungen bei einem Fahrzeug. Ferner bezieht sich die Erfindung auf ein Computerprogramm sowie eine Vorrichtung zu diesem Zweck.
Stand der Technik
Es ist aus dem Stand der Technik bekannt, dass Fahrzeugfunktionen wie Fahrerassistenzsysteme, Einparkhilfen oder ein hochautomatisiertes Fahren eine Verarbeitung von Sensordaten durchführen, welche durch wenigstens einen Sensor wie einen Kamerasensor eines Fahrzeuges erfasst werden. Dabei ist üblicherweise eine genaue Kenntnis der Sensorcharakteristik erforderlich. Die Sensorcharakteristik umfasst z. B. eine Auflösung oder ein Bildformat des Sensors. Für die Entwicklung oder Anpassung einer verarbeitenden Einheit, welche eine Fahrzeugfunktion bereitstellen soll, muss die Sensorcharakteristik des verwendeten Sensors berücksichtigt werden. Es ergibt sich somit eine Abhängigkeit von dem konkret verwendeten Sensortyp. Auch resultiert hieraus eine enge Verknüpfung einer Entwicklung des Sensors und der verarbeitenden Einheit. Damit wird der technische Koordinierungsaufwand erhöht und die Flexibilität bei der Entwicklung verringert.
Offenbarung der Erfindung
Gegenstand der Erfindung ist ein Verfahren mit den Merkmalen des Anspruchs 1, ein Computerprogramm mit den Merkmalen des Anspruchs 11 sowie eine Vorrichtung mit den Merkmalen des Anspruchs 12. Weitere Merkmale und Details der Erfindung ergeben sich aus den jeweiligen Unteransprüchen, der Beschreibung und den Zeichnungen. Dabei gelten Merkmale und Details, die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschrieben sind, selbstverständlich auch im Zusammenhang mit dem erfindungsgemäßen Computerprogramm sowie der erfindungsgemäßen Vorrichtung, und jeweils umgekehrt, so dass bezüglich der Offenbarung zu den einzelnen Erfindungsaspekten stets wechselseitig Bezug genommen wird bzw. werden kann.
Ein erfindungsgemäßes Verfahren dient insbesondere einer Bereitstellung von Bildaufzeichnungen bei einem Fahrzeug. Das Fahrzeug ist bspw. ein Kraftfahrzeug und/oder ein autonom fahrendes Fahrzeug und/oder ein Lastkraftfahrzeug und/oder ein Personenkraftfahrzeug. Die Bildaufzeichnungen sind insbesondere Daten, welche wenigstens ein Bild oder eine Abfolge von Bildern repräsentieren.
Es kann vorgesehen sein, dass die nachfolgenden Schritte automatisiert durchgeführt werden, vorzugsweise in der angegebenen Reihenfolge und/oder wiederholt:

- Ermitteln einer ersten Bildaufzeichnung eines ersten Bildsensors des Fahrzeuges und wenigstens einer weiteren Bildaufzeichnung wenigstens eines weiteren (z. B. zweiten, dritten, vierten, usw.) Bildsensors des Fahrzeuges, bspw. durch ein Empfangen der Bildaufzeichnungen von den Bildsensoren, wobei bevorzugt durch die Bildaufzeichnungen unterschiedliche räumliche Umgebungsbereiche einer Umgebung des Fahrzeuges abgebildet werden, wodurch wenigstens eine für eine Fahrzeugfunktion des Fahrzeuges relevante Information bereitgestellt wird, wobei vorzugsweise sich die Bildaufzeichnungen hinsichtlich ihrer Auflösung und/oder ihres Bildformates unterscheiden,
- Durchführen einer Anpassung der Bildaufzeichnungen, vorzugsweise hinsichtlich ihrer Auflösung und/oder ihres Bildformates, an eine Vorgabe, wobei die Vorgabe von wenigstens einer bei einer Ausführung der Fahrzeugfunktion durchgeführten Verarbeitung abhängig ist, insbesondere durch die Verarbeitung vorgegeben wird,
- Bereitstellen der angepassten Bildaufzeichnungen für die Verarbeitung, bevorzugt, um hierdurch die Fahrzeugfunktion anhand der relevanten Information auszuführen, insbesondere durch ein Initiieren der Verarbeitung mit den angepassten Bildaufzeichnungen als Eingabe für die Verarbeitung.

Das erfindungsgemäße Verfahren hat somit den Vorteil, dass selbst bei Sensoren unterschiedlicher Hersteller und/oder Bildaufzeichnungen unterschiedlicher Auflösung und/oder Bildformats die Verarbeitung der Bildaufzeichnungen gelingen kann. Die Bildsensoren können sich entsprechend ihrer Kernparameter wie ihres Aufbaus und/oder ihrer Sensorcharakteristik unterscheiden. Es ist ferner denkbar, dass die Anpassung im Rahmen einer Datenkompression der Bildaufzeichnungen erfolgt, sodass hier Synergieeffekte zwischen der Datenkompression und der Anpassung genutzt werden können. Dies ist z. B. möglich, weil bei der Datenkompression ein Teil der Bildaufzeichnungen entfernt und ein Ersatzanteil den Bildaufzeichnungen hinzugefügt wird, insbesondere in der Form eines Pseudo-Rauschens. So kann bei diesem Hinzufügen ggf. auch eine Zusatzinformation wie ein Referenzmarker in den Bildaufzeichnungen eingebettet werden, welcher für die spätere Anpassung genutzt wird.
Das Anpassen umfasst bspw. ein Umrechnen der Bildaufzeichnungen unterschiedlichen Bildformats und/oder unterschiedlicher Auflösung in ein anderes Bildformat und/oder in eine andere Auflösung. Das andere Bildformat und/oder die andere Auflösung kann dabei durch die Vorgabe vorgegeben sein. Die Vorgabe ist bspw. dadurch abhängig von der Verarbeitung, dass die Verarbeitung das vorgegebene Bildformat und/oder die vorgegebene Auflösung voraussetzt und/oder definiert. Dabei ist es oft so, dass eine Fahrzeugfunktion ein bestimmtes Bildformat und/oder eine bestimmte Auflösung der Bildaufzeichnungen als Eingabe voraussetzt. Dies kann somit als die Vorgabe verstanden werden. Auch kann als die Vorgabe eine hinterlegte Spezifikation verstanden werden, in welcher Weise die Bildaufzeichnungen angepasst werden sollen (z. B. das gewünschte Bildformat). Die Anpassung der Bildaufzeichnungen an die Vorgabe kann somit eine Vereinheitlichung des Bildformats und/oder wenigstens eines weiteren Parameters der Bildaufzeichnungen umfassen.
Es können bei dem Ermitteln der Bildaufzeichnungen neben der ersten noch die weiteren, also bspw. wenigstens eine zweite Bildaufzeichnung, dritte Bildaufzeichnung usw. ermittelt werden. Die Bildaufzeichnungen können hierbei von den unterschiedlichen Bildsensoren zeitlich parallel erfasst worden sein. Die Bildsensoren können ferner an unterschiedlichen Positionen des Fahrzeuges angeordnet sein. Entsprechend können durch die Bildaufzeichnungen unterschiedliche räumliche Umgebungsbereiche der Umgebung des Fahrzeuges abgebildet sein, wobei sich die Umgebungsbereiche teilweise überlappen und/oder redundante Informationen aufweisen können. Bspw. kann ein erster Bildsensor in Fahrtrichtung (vorne) ausgerichtet, und/oder ein zweiter Bildsensor in einer zur Fahrtrichtung entgegengesetzten Richtung ausgerichtet, und/oder ein dritter Bildsensor auf einen linken toten Winkel und/oder ein vierter Bildsensor auf einen rechten toten Winkel ausgerichtet sein.
Die wenigstens eine relevante Information kann bspw. zumindest eine der nachfolgenden Informationen umfassen:

- Eine Geschwindigkeitsinformation über eine Geschwindigkeit des Fahrzeuges,
- Eine Objektinformation über wenigstens ein Objekt in der Umgebung des Fahrzeuges, z. B. wenigstens ein vorausfahrendes Fahrzeug,
- Eine Abstandsinformation über einen Abstand zu einem vorausfahrenden Fahrzeug.

Die wenigstens eine Fahrzeugfunktion umfasst bspw. ein Fahrerassistenz-System und/oder eine Einparkhilfe und/oder ein hoch-automatisiertes Fahren. Der Bildsensor kann eine Kamera und insbesondere eine Stereokamera sein. Auch kann als Bildsensor ein anderes Gerät zur Erfassung der Umgebung wie ein Radarsensor oder dergleichen aufgefasst werden. Die Bildaufzeichnungen können entsprechend jeweils als mindestens zweidimensionale oder dreidimensionale Bilddaten ausgeführt sein.
Das Durchführen der Anpassung kann eine Anpassung und ggf. auch ein Zusammenfügen derjenigen Bildaufzeichnungen umfassen, welche zeitlich parallel aufgenommen worden sind, und somit im Wesentlichen zum gleichen Zeitpunkt. Die Bildaufzeichnungen bilden vorteilhafterweise zumindest teilweise unterschiedliche Bereiche der Umgebung des Fahrzeuges ab, welche die relevante Information enthalten, und können daher wie ein Puzzle zusammengefügt werden.
Ferner ist es optional vorgesehen, dass die Anpassung bei einer Datenkompression und/oder Datendekompression der Bildaufzeichnungen durchgeführt wird. Die Anpassung kann bspw. unmittelbar zusammen mit der Kompression bzw. Dekompression erfolgen. Es ist möglich, dass vor dem Anpassen eine Übertragung der Bildaufzeichnungen innerhalb des Fahrzeuges stattfindet. Um die hierbei zu übertragene Datenmenge zu reduzieren, kann vor der Übertragung die Kompression und nach der Übertragung die Dekompression durchgeführt werden. Bspw. kann ein zentrales Steuergerät die Bildaufzeichnungen von unterschiedlichen Bildsensoren des Fahrzeuges empfangen, welche jeweils entsprechend nach der Ermittlung von den Bildsensoren an das Steuergerät übertragen werden. Anschließend kann ggf. zentral die Anpassung der übertragenen Bildaufzeichnungen erfolgen.
Ein weiterer Vorteil kann im Rahmen der Erfindung erzielt werden, wenn die Anpassung eine Vereinheitlichung der Auflösungen der Bildaufzeichnungen auf eine (einheitliche) Zielauflösung und/oder der Bildformate der Bildaufzeichnungen auf ein (einheitliches) Zielbildformat umfasst, sodass bei der Verarbeitung die Bildaufzeichnungen in der Zielauflösung und/oder im Zielbildformat vorliegen. Damit ist auch eine Standardisierung der Bildformate auf ein sensor-unabhängiges Format denkbar, in das die Daten, d.h. die Bildaufzeichnungen, umgerechnet werden. Gleiches gilt für die Auflösung, welche ebenfalls standardisiert werden kann.
Ferner kann im Rahmen der Erfindung vorgesehen sein, dass die Verarbeitung dazu ausgeführt ist, die Bildaufzeichnungen lediglich in einer durch die Anpassung berechneten einheitlichen Auflösung und/oder einem durch die Anpassung berechneten einheitlichen Bildformat, insbesondere einer Zielauflösung und/oder einem Zielbildformat, zu empfangen und/oder zu verarbeiten. Damit kann die anschließende Verarbeitung unabhängig von dem konkreten Bildformat und/oder der konkreten Auflösung sein, mit welcher ein Bildsensor eine Bildaufzeichnung für die Verarbeitung bereitstellt. Die Anpassung kann somit auch als ein Adapter zwischen den unterschiedlichen Bildsensoren und der Verarbeitung aufgefasst werden.
Von weiterem Vorteil kann vorgesehen sein, dass wenigstens eine Zusatzinformation in die Bildaufzeichnungen integriert wird. Die Zusatzinformation kann für die Auflösung und/oder das Bildformat spezifisch sein, d. h. bspw. eine Angabe über die konkret bei der Bildaufzeichnung verwendeten Auflösung und/oder das Bildformat enthalten. Dabei kann die Anpassung anhand der Zusatzinformation durchgeführt werden, z. B. durch eine Auswertung und Berücksichtigung der Angabe über die Auflösung bzw. das Bildformat. Ferner kann als die Zusatzinformation auch wenigstens ein Referenzmarker, insbesondere wenigstens ein Referenz-Bit, genutzt werden. Durch die Zusatzinformation kann wenigstens eine Metadateninformation z. B. über den Bildsensor und/oder über das Bildformat und/oder über die Auflösung in die Bildaufzeichnungen eingebettet werden. Es ist denkbar, dass die Metadateninformationen auch für andere Verarbeitungsschritte als die Anpassung genutzt werden, z. B. von der Verarbeitung und/oder von der Datenkompression und/oder Dekompression. Ferner ist es denkbar, dass durch den wenigstens einen Referenzmarker eine Position des Bildsensors am Fahrzeug angegeben wird. Die Zusatzinformation kann bspw. direkt in den Bildinhalt der Bildaufzeichnungen eingefügt werden und/oder in einen zusätzlichen Datenbereich. Entsprechend können die Bildaufzeichnungen auch als Datencontainer aufgefasst werden, welche den Bildinhalt und den zusätzlichen Datenbereich umfassen.
Es kann ferner möglich sein, dass das Ermitteln der Bildaufzeichnungen dezentral im Fahrzeug am jeweiligen Bildsensor durchgeführt wird, wobei anschließend die Bildaufzeichnungen an eine, insbesondere elektronische, verarbeitende Einheit, vorzugsweise ein zentrales Steuergerät, übertragen werden, wobei nach der Übertragung die Anpassung durchgeführt wird, insbesondere durch die verarbeitende Einheit. Dies hat den Vorteil, dass die Anpassung zentral durchgeführt werden kann. Die dezentrale Ermittlung der Bildaufzeichnungen kann zudem unabhängig von der Kenntnis erfolgen, welches Bildformat und/oder welche Auflösung für die spätere Verarbeitung benötigt werden.
In einer weiteren Möglichkeit kann vorgesehen sein, dass nach dem Ermitteln und vor der Anpassung eine Datenkompression und Übertragung der Bildaufzeichnungen durchgeführt wird, wobei vorzugsweise die Übertragung von den Bildsensoren aus unterschiedlichen Positionen am Fahrzeug und mit unterschiedlichen Übertragungswegen durchgeführt wird. Die Datenkompression kann somit eine deutliche Verringerung der Datenmenge bei den Übertragungen innerhalb des Fahrzeuges bewirken.
Des Weiteren ist es denkbar, dass die Bildaufzeichnungen in Abhängigkeit von den abgebildeten Umgebungsbereichen zusammengefügt werden, wodurch eine zusammengefügte Bildaufzeichnung erhalten wird, wobei die zusammengefügte Bildaufzeichnung angepasst und/oder für die Verarbeitung bereitgestellt wird. Das Verfahren kann es daher ermöglichen, eine Gesamtsicht um das Fahrzeug aus mehreren Bildsensoren unterschiedlichen Hersteller, Art und Auflösung zusammenzusetzen, so dass es von einem Algorithmus bei der Verarbeitung weiterverarbeitet werden kann. Die Verarbeitung braucht hierbei die unterschiedlichen Hersteller, Art und Auflösung nicht berücksichtigen, da die Bildaufzeichnungen zuvor einheitlich angepasst werden können.
Ein weiterer Vorteil im Rahmen der Erfindung ist erzielbar, wenn die Anpassung durch einen trainierten Algorithmus erfolgt, welcher durch ein Training mit Bildaufzeichnungen unterschiedlicher Auflösung und/oder unterschiedlichen Datenformats erhalten wurde. Es kann z. B. eine Nutzung von Daten von unterschiedlichen Datenquellen zum Training der Algorithmen der verarbeitenden Einheit vorgesehen sein, auch wenn die Auflösung zunächst nicht einheitlich ist und/oder für den Algorithmus unbekannt ist. Damit ist es möglich, einen trainierten Algorithmus, insbesondere ein künstliches neuronales Netz, für die Anpassung zu verwenden.
Vorteilhafterweise kann im Rahmen der Erfindung vorgesehen sein, dass eine verlustbehaftete Datenkompression der Bildaufzeichnungen durchgeführt wird, wobei die verlustbehaftete Datenkompression die folgenden Schritte umfasst:

- Durchführen einer Vorbereitung der jeweiligen Bildaufzeichnung, bei welcher ein Teil der Bildaufzeichnung, insbesondere auch als erster Datenanteil bezeichnet, entfernt wird und ein künstlich generierter und reproduzierbarer Ersatzanteil als Annäherung an den entfernten Teil durch eine Ersatzinformation definiert wird, um die Bildaufzeichnung für eine verlustfreie Datenkompression vorzubereiten,
- Durchführen der verlustfreien Datenkompression der jeweils vorbereiteten Bildaufzeichnung.

- Einbringen wenigstens einer Zusatzinformation in die Bildaufzeichnung, welche vorzugsweise eine Metadateninformation und/oder einen Referenzmarker umfasst, anhand welcher die Anpassung durchgeführt wird.

Ferner kann die Zusatzinformation und insbesondere der Referenzmarker ggf. einen Maßstab der Bildaufzeichnungen spezifizieren. Als Angabe über den Maßstab kann der Referenzmarker somit auch bei der Anpassung zur Ermittlung und/oder Überprüfung der Auflösung dienen. Darüber hinaus kann die Zusatzinformation die Auflösung und/oder das Bildformat bspw. auch direkt, bevorzugt wertemäßig, angeben.
Ferner kann als der entfernte Teil und der Ersatzanteil jeweils ein Anteil der Bildaufzeichnungen verstanden werden, welcher ggf. ein Anteil jedes Pixels darstellt. Bspw. ist der Anteil ein Rauschanteil. Insbesondere durch eine Kombination der erfindungsgemäßen Durchführung der Anpassung mit einer effizienten Datenkompression lassen sich dabei Synergien erzielen. So kann bspw. im Zonensteuergerät sowohl das Entfernen des ersten Datenanteils als auch die Anpassung und/oder das Einbringen der Zusatzinformation erfolgen.
Durch die beschriebene Datenkompression ergibt sich ferner der Vorteil, dass mehr und relevantere Daten übertragen werden können, auch wenn die hierzu verwendete Datenverbindung nur eine Verbindung mit geringerer Bandbreite ist. Die Daten können dabei wesentlich höher komprimiert werden, als dies bei vielen herkömmlichen Verfahren möglich ist. Gleichzeitig kann eine Verfälschung der Daten vermieden werden, da der erste Datenanteil nicht lediglich entfernt wird, sondern zusätzlich ein Ersatzanteil als Annäherung an den entfernten Teil bereitgestellt wird.
Der Ersatzanteil kann künstlich generiert und/oder reproduzierbar sein. Dies bedeutet, dass der Ersatzanteil nicht aus einer Modifikation oder Veränderung des entfernten Teils gewonnen wird, sondern vollständig künstlich auch ohne Kenntnis des entfernten Teils anhand der Ersatzinformation generiert werden kann. Hierzu wird bspw. ein Generator wie ein Zufallszahlengenerator genutzt, welcher anhand der Ersatzinformation, wie bspw. ein Seed, den Ersatzanteil z. B. als Matrix oder Vektor von Zufallszahlen generieren kann. Dies hat den Vorteil, dass der Ersatzanteil selbst nicht übertragen werden muss, sondern lediglich die Ersatzinformation. Die Ersatzinformation kann dabei lediglich ein Schlüssel wie ein Seed-Key sein, und somit im Vergleich zum Ersatzanteil und entfernten Teil eine wesentlich geringere Datengröße von einigen Bit aufweisen. Bspw. hat die Ersatzinformation max. 1 % der Datengröße des Ersatzanteils und/oder des entfernten Teils.
Die Bildaufzeichnungen können innerhalb des Fahrzeuges als Daten übertragen werden. Die Datenkompression hat den Vorteil, dass die zu übertragene Datenmenge verringert werden kann. Nachfolgend werden die Bildaufzeichnungen daher zur näheren Beschreibung der Datenkompression auch lediglich als Daten bezeichnet.
Es ist möglich, dass bei einer Dekompression die Ersatzinformation wiederhergestellt und auf die jeweils übertragene Bildaufzeichnungen aufgeprägt wird. Diese Aufprägung kann ggf. mit der Anpassung der Bildaufzeichnungen kombiniert werden, um Synergieeffekte zu nutzen und den Rechenaufwand zu reduzieren.
Es ist im Rahmen der Erfindung denkbar, dass der entfernt Teil, insbesondere auch erste Datenanteil bezeichnet, ein Rauschanteil der Daten und/oder der Ersatzanteil ein künstlich generiertes Rauschen, insbesondere ein Pseudo-Rauschen, ist. Der entfernte Teil kann ein bestimmter Anteil der Daten sein, welcher sich nach vorgegebenen und insbesondere statistischen Kriterien charakterisieren und auswählen lässt. Wenn der erste Datenanteil entfernt wird, können die vorbereiteten Daten lediglich noch den nach dem Entfernen verbleibenden Anteil der Daten umfassen. (Der entfernte Teil wird im Rahmen dieser Erfindung auch als erster Datenanteil und der verbleibende Anteil als zweiter Datenanteil bezeichnet). Der verbleibende Anteil kann den relevanten Informationsinhalt aufweisen, z. B. eine Aufzeichnung einer Umgebung des Fahrzeuges. Dagegen kann der entfernte Teil einen geringeren und überwiegend zufälligen Informationsinhalt aufweisen, bspw. als Rauschen lediglich statistisch verteilte Energie repräsentieren.
Es kann im Rahmen der Erfindung vorgesehen sein, dass die mittels der verlustfreien Datenkompression komprimierten Daten und/oder der Ersatzanteil anhand der Ersatzinformation nach der Übertragung bitidentisch wiederhergestellt werden. In Kombination mit der Vorbereitung kann sich indessen dennoch eine verlustbehaftete Datenkompression der Daten ergeben, da hierbei der erste Datenanteil entfernt wird und die verlustfreie Datenkompression lediglich auf den verbliebenen Anteil der Daten angewendet wird. Unter „bitidentisch“ wird insbesondere verstanden, dass sich jedes Bit der Daten identisch und somit verlustfrei wiederherstellen lässt.
Es ist denkbar, dass sich durch ein Entfernen des ersten Datenanteils, insbesondere Rauschanteils, der Daten eine weitaus höhere Kompression erreichen lässt, als dies bei herkömmlichen Methoden der Fall wäre. Da der entfernte erste Datenanteil einen eher zufälligen und statistisch verteilten Informationsinhalt aufweisen kann, wäre eine Kompression nur ineffizient möglich. Aufgrund des überwiegenden Zufallsinhalts des entfernten Teils lässt sich dieser stattdessen statistisch annähern und ermöglicht somit eine Substitution durch den künstlich generierten Ersatzanteil. Hingegen lässt sich der nach der Entfernung verbleibende Datenanteil aufgrund des überwiegend nicht zufälligen Informationsinhalts nicht statistisch nachbilden, aufgrund der umfangreichen redundanten Informationen gleichwohl aber besser komprimieren. In anderen Worten können die ermittelten Daten aus einem zufälligen ersten Datenanteil, insbesondere Rauschen, und einem zweiten Datenanteil mit einem hohen Anteil redundanter Informationen bestehen. Wenn die Daten als Bilddaten ausgeführt sind, kann der erste Datenanteil der (überlagerte) Rauschanteil des Bildes sein, und der zweite Datenanteil der verbleibende Anteil des Bildes nach Abzug des Rauschens. Dies kann auch für jeden Pixel des Bildes gelten, dieser kann aus dem ersten (zufälligen, Rauschen) und zweiten (redundanten) Datenanteil bestehen. Die, insbesondere verlustfreie, Datenkompression kann auf den zweiten (redundanten) Datenanteil angewandt werden. Der erste Datenanteil kann hingegen durch den Ersatzanteil, insbesondere basierend auf einem Rauschmodell, ersetzt werden. Da der Ersatzanteil nicht übertragen werden muss, sondern sich anhand der Ersatzinformation bitidentisch reproduzieren lässt, wird die zu übertragende Datengröße reduziert. Zwar entspricht der Ersatzanteil (nur) annähernd dem ersten Datenanteil, jedoch ist der ursprüngliche Datenanteil unwiederbringlich verloren, so dass dieses Vorgehen auch als verlustbehaftete Datenkompression verstanden werden kann. In anderen Worten wird diese verlustbehaftete Datenkompression für den ersten Datenanteil mit der verlustfreien Datenkompression für den zweiten Datenanteil kombiniert. Damit kann eine verdichtete Datenmenge übertragen werden.
Da der erste Datenanteil entfernt wird, und zudem nicht reproduzierbar ist, kann das erfindungsgemäße Verfahren eine verlustbehaftete Datenkompression umfassen, bei welchem zwar der erste Datenanteil verloren geht, der verbliebende zweite Datenanteil aber ggf. verlustfrei komprimiert wird. Um eine Verfälschung der Daten zu vermeiden, kann anstelle des ersten Datenanteils ein Ersatzanteil generiert werden. Der Ersatzanteil kann nach der Übertragung verlustfrei, insbesondere bitidentisch, reproduziert und den übertragenen Daten wieder aufgeprägt werden. Als der Ersatzanteil kann bspw. ein reproduzierbares Pseudo-Rauschen verwendet werden. Der Ersatzanteil ersetzt dabei zwar nicht bitidentisch den entfernten Teil, kommt diesem aber sehr nahe. Durch dieses Aufprägen von reproduzierbaren Pseudo-Rauschen lässt sich ein starker Kompressionsfaktor erreichen. Der verbliebene Anteil der Daten sowie der Ersatzanteil lassen sich bitidentisch nach der Übertragung wiederherstellen.
Wenn der entfernte erste Datenanteil ein Rauschanteil der Daten ist, kann bei dem Ersetzen des Rauschanteils durch den Ersatzanteil auch von einer Rauschsubstitution gesprochen werden. Die Rauschsubstitution ermöglicht es, dass der größte Teil des Zufallsrauschens in den Daten, das durch ein Eingangsrauschmodell gekennzeichnet sein kann, durch das Pseudo-Rauschen ersetzt wird, das durch ein Zielrauschmodell gekennzeichnet ist.
Zudem ist im Rahmen der Erfindung denkbar, dass der Ersatzanteil dadurch definiert wird, dass die Ersatzinformation, insbesondere ein Seed-Key für einen Generator wie einen Zufallszahlengenerator, festgelegt wird, wobei vorzugsweise mittels der Ersatzinformation der Ersatzanteil anschließend, insbesondere nach der Übertragung der Daten, reproduzieren wird. Die Ersatzinformation definiert somit eindeutig den Ersatzanteil, also bspw. das Pseudo-Rauschen, sodass der Ersatzanteil bitidentisch anhand der Ersatzinformation reproduziert werden kann. Hierzu wird bspw. die Ersatzinformation von einem Generator bzw. Zufallszahlengenerator dazu genutzt, den Ersatzanteil in der Form einer zweidimensionalen Matrix zu generieren. Der Seed-Key kann bspw. durch eine Vermessung der Rausch-Charakteristik des (realen) Bildsensors ermittelt werden. Die Statistik dieses Pseudo-Rauschens entspricht dadurch ggf. dem des real in dem Bildsensor auftretenden, ist jedoch bitidentisch reproduzierbar.
Ebenfalls Gegenstand der Erfindung ist ein Computerprogramm, insbesondere Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Computerprogrammes durch einen Computer diesen veranlassen, das erfindungsgemäße Verfahren auszuführen. Damit bringt das erfindungsgemäße Computerprogramm die gleichen Vorteile mit sich, wie sie ausführlich mit Bezug auf ein erfindungsgemäßes Verfahren beschrieben worden sind.
Ebenfalls Gegenstand der Erfindung ist eine Vorrichtung zur Datenverarbeitung. Die erfindungsgemäße Datenverarbeitungsvorrichtung kann als der Computer und/oder als ein System, welches unter anderem die verarbeitende Einheit umfasst, ausgeführt sein. Außerdem kann die erfindungsgemäße Vorrichtung das Computerprogramm und/oder das Verfahren ausführen. Der Computer kann wenigstens einen Prozessor zur Ausführung des Computerprogramms aufweisen. Auch kann ein nicht-flüchtiger Datenspeicher vorgesehen sein, in welchem das Computerprogramm hinterlegt und von welchem das Computerprogramm durch den Prozessor zur Ausführung ausgelesen werden kann. Die erfindungsgemäße Vorrichtung kann auch mehrere Prozessoren aufweisen und/oder als Computersystem ausgeführt sein. Bspw. kann die erfindungsgemäße Vorrichtung ein zentrales Steuergerät des Fahrzeuges und/oder ein oder mehrere dezentrale Zonensteuergeräte des Fahrzeuges umfassen. Auch kann die erfindungsgemäße Vorrichtung optional die gesamte Fahrzeugelektronik bezeichnen.
Ebenfalls Gegenstand der Erfindung kann ein computerlesbares Speichermedium sein, welches das erfindungsgemäße Computerprogramm umfasst. Das Speichermedium ist bspw. als ein Datenspeicher wie eine Festplatte und/oder ein nicht-flüchtiger Speicher und/oder eine Speicherkarte ausgebildet. Das Speichermedium kann z. B. in den Computer integriert sein.
Darüber hinaus kann das erfindungsgemäße Verfahren auch als ein computerimplementiertes Verfahren ausgeführt sein.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnungen Ausführungsbeispiele der Erfindung im Einzelnen beschrieben sind. Dabei können die in den Ansprüchen und in der Beschreibung erwähnten Merkmale jeweils einzeln für sich oder in beliebiger Kombination erfindungswesentlich sein. Es zeigen:

1 eine Visualisierung der Verfahrensschritte eines erfindungsgemäßen Verfahrens,
2 eine weitere Visualisierung der Verfahrensschritte eines erfindungsgemäßen Verfahrens,
3 eine Visualisierung der Verfahrensschritte eines erfindungsgemäßen Verfahrens mit weiteren Einzelheiten.

In den nachfolgenden Figuren werden für die gleichen technischen Merkmale auch von unterschiedlichen Ausführungsbeispielen die identischen Bezugszeichen verwendet.
In 1 ist beispielhaft ein erfindungsgemäßes Verfahren 100 visualisiert. Dabei können für eine Bereitstellung von Bildaufzeichnungen 271,272 bei einem Fahrzeug 1 die nachfolgenden Schritte automatisiert durchgeführt werden. Zunächst kann ein Ermitteln 101 einer ersten Bildaufzeichnung 271 eines ersten Bildsensors 11 des Fahrzeuges 1 und wenigstens einer weiteren Bildaufzeichnung 272 wenigstens eines weiteren Bildsensors 12 des Fahrzeuges 1 erfolgen. Die Bildaufzeichnungen 271,272 können dabei unterschiedliche räumliche Umgebungsbereiche 301,302 einer Umgebung 3 des Fahrzeuges 1 abbilden. Auf diese Weise kann wenigstens eine für eine Fahrzeugfunktion des Fahrzeuges 1 relevante Information bereitgestellt werden. Es können sich ferner die Bildaufzeichnungen 271,272 hinsichtlich ihrer Auflösung und/oder ihres Bildformates unterscheiden, insbesondere, weil die Bildsensoren 11,12 einen unterschiedlichen Aufbau und/oder unterschiedliche Spezifikationen haben. Anschließend kann, ggf. nach einer Übertragung 130 der Bildaufzeichnungen 271,272, eine Anpassung 410 der Bildaufzeichnungen 271,272 durchgeführt werden. Konkret kann z. B. die Auflösung vergrößert oder verringert werden oder das vorliegende Bildformat in ein anderes Bildformat konvertiert werden, um die Anpassung durchzuführen. Das Bildformat kann z. B. das Dateiformat und/oder die Auflösung und/oder das Seitenverhältnis und/oder den Maßstab definieren, mit welchem die Bildaufzeichnungen 271,272 vorliegen und/oder die Umgebungsbereiche 301,302 abbilden. Das Durchführen der Anpassung 410 der Bildaufzeichnungen 271,272 kann entsprechend hinsichtlich ihrer Auflösung und/oder ihres Bildformates durchgeführt werden. Die Anpassung 410 erfolgt bspw. an eine Vorgabe, wobei die Vorgabe durch wenigstens eine bei einer Ausführung der Fahrzeugfunktion durchgeführten Verarbeitung 170 definiert sein kann. In anderen Worten kann die Anpassung 410 so erfolgen, dass das Bildformat und/oder die Auflösung der Bildaufzeichnungen 271,272 nach der Anpassung 410 der Vorgabe entsprechen. Die Vorgabe kann hierzu bspw. in einem nicht-flüchtigen Datenspeicher im Fahrzeug 1 hinterlegt sein. Anschließend kann das Bereitstellen der angepassten Bildaufzeichnungen 271,272 für die Verarbeitung 170 erfolgen. Hierzu können die angepassten Bildaufzeichnungen 271,272 z. B. an eine elektronische, verarbeitende Einheit 310 als Daten übertragen werden.
Es kann weiter vorgesehen sein, dass wenigstens eine Zusatzinformation 260 in die Bildaufzeichnungen 271,272 integriert wird, welche für die Auflösung und/oder das Bildformat spezifisch ist. Damit kann in die Bildaufzeichnungen 271,272 eine Information über die Auflösung und/oder das Bildformat hinterlegt werden, z. B. in der Form von Metadateninformationen 440. Dies ermöglicht es, dass die Anpassung 410 anhand der Zusatzinformation 260 durchgeführt wird, indem bei der Anpassung 410 bspw. die Metadateninformationen 440 ausgewertet werden. Zum Beispiel kann anhand der Zusatzinformation 260 überprüft werden, ob die Auflösung und/oder das Bildformat bereits einer Vorgabe entsprechen und/oder in welchem Ausmaße diese von der Vorgabe abweichen. Auch kann die Zusatzinformation z. B. durch einen in die Bildaufzeichnungen 271,272 eingefügten Referenzmarker 480 integriert werden. Dieser ermöglicht es, bestimmte Bereiche der Bilder zu kennzeichnen, um bspw. einen Maßstab und/oder eine Position der Bilder zu bestimmen. Optional kann anhand des Referenzmarkers 480 bei der Anpassung 410 das Bildformat zumindest teilweise ermittelt werden.
Das Ermitteln 101 der Bildaufzeichnungen 271,272 kann dezentral im Fahrzeug 1 am jeweiligen Bildsensor 11,12 an unterschiedlichen Positionen am Fahrzeug 1 durchgeführt werden. Anschließend können die Bildaufzeichnungen 271,272 an eine verarbeitende Einheit 310, insbesondere ein zentrales Steuergerät 310, übertragen werden. Nach der Übertragung 130 kann die Anpassung 410 durchgeführt werden, insbesondere durch die verarbeitende Einheit 310. Ferner kann nach dem Ermitteln 101 und vor der Anpassung 410 eine Datenkompression 120 und Übertragung 130 der Bildaufzeichnungen 271,272 von den Bildsensoren 11,12 und damit von den unterschiedlichen Positionen am Fahrzeug 1 und mit unterschiedlichen Übertragungswegen durchgeführt werden. Repräsentativ hierfür ist hier durch einen Pfeil 130 ein Übertragungsweg dargestellt. Nach der Übertragung 130 kann eine Dekompression 120 stattfinden. Die Kompression und Dekompression sind zur Vereinfachung in 1 mit demselben Bezugszeichen dargestellt.
Ferner ist es möglich, dass die Bildaufzeichnungen 271,272 entsprechend der abgebildeten Umgebungsbereiche 301,302 zusammengefügt werden, wodurch eine zusammengefügte Bildaufzeichnung 416 erhalten wird, wobei die zusammengefügte Bildaufzeichnung 416 angepasst und/oder für die Verarbeitung 170 bereitgestellt wird.
In 2 ist die Anpassung 410 mit weiteren Einzelheiten dargestellt. Als Voraussetzung für die Anpassung 410 kann es vorgesehen sein, dass zunächst nach dem Ermitteln 101 einer jeweiligen Bildaufzeichnung 210 durch einen Bildsensor 10 eine Zusatzinformation 260 ermittelt und/oder hinzugefügt wird. Die Zusatzinformation 260 kann z.B. voreingestellt sein und eine Spezifikation des Bildsensors 10 wie eine Auflösung und/oder ein Bildformat umfassen. Auch kann die Zusatzinformation 260 einen Referenzmarker 480 umfassen. Das Hinzufügen kann effizient im Rahmen einer Datenkompression durchgeführt werden, insbesondere, wenn ein Bestimmen 160 eines Ersatzanteils 230 und/oder Hinzufügen einer Ersatzinformation 231 durchgeführt wird. Nach einer Übertragung über ein Übertragungssystem 330 kann die Bildaufzeichnung 210 in einem zentralen Steuergerät 310 dekomprimiert und angepasst werden. Hierzu kann erneut ein Bestimmen 160 eines Ersatzanteils 230 anhand der Ersatzinformation 231 zur Datendekompression durchgeführt werden. Im Rahmen der Datendekompression kann die Anpassung 410 zumindest teilweise erfolgen, indem bei dem Referenzmarker 480 der Ersatzanteil 230 abgezogen und/oder ausgewertet wird (bei 510). Der Referenzmarker 480 wird dabei z. B. für die Anpassung der Auflösung der Bildaufzeichnung 210 verwendet (bei 520).
Es ist möglich, dass für die Datenkompression 120 eine verlustbehaftete Datenkompression 120 der Bildaufzeichnungen 271,272 durchgeführt wird, wie es in 3 näher dargestellt ist. Darin werden die Bildaufzeichnungen 271,272 repräsentativ als Daten 210 dargestellt. Die verlustbehaftete Datenkompression 120 kann zunächst ein Durchführen einer Vorbereitung 110 der Daten 210 umfassen, bei welcher ein Teil der Daten 210 entfernt wird und ein künstlich generierter und reproduzierbarer Ersatzanteil 230 als Annäherung an den entfernten Teil durch eine Ersatzinformation 231 definiert wird. Auf diese Weise erfolgt die Vorbereitung der Daten 210 für eine anschließend durchgeführte verlustfreie Datenkompression 120. Bei einer jeweiligen Übertragung 130 der Daten 210 kann sodann anstelle des entfernten Teils die Ersatzinformation 231 übertragen werden, um auf diese Weise eine deutliche Reduzierung der zu übertragenden Datenmenge zu erzielen.
Die Kombination der beschriebenen Datenkompression 120 mit der erfindungsgemäß durchgeführten Anpassung 410 hat den Vorteil, dass bereits bei der Vorbereitung 110 ein Einbringen wenigstens einer Zusatzinformation 260 in die Bildaufzeichnung 271,272 möglich ist. Die Zusatzinformation 260 kann zur Durchführung der Anpassung 410 notwendig sein, und vorzugsweise eine Metadateninformation 440 und/oder einen Referenzmarker 480 umfasst.
In 3 sind die Schritte eines erfindungsgemäßen Verfahrens 100 für eine Bereitstellung der Daten 210 mit weiteren Einzelheiten gezeigt. Beispielhaft ist ein Bildsensor 10 dargestellt, welcher einen Chip mit definierter Auflösung, Framerate, und Rausch-Charakteristik umfassen kann. Der Bildsensor 10 steht dabei in 3 repräsentativ auch für mehrere Bildsensoren 11,12. Digitale Bilder, die von solchen Bildsensoren 10 ermittelt werden, enthalten üblicherweise in einem hohen Ausmaße Entropie, die zu einem großen Teil auf das Sensorrauschen zurückzuführen ist. Das Vorhandensein dieses Rauschens ist ein wichtiger Aspekt dessen, was dem Bild seine natürlichen statistischen Eigenschaften verleiht. Eine Entfernung dieses Rauschens kann dazu führen, dass auf die Bilder z. B. im Rahmen einer Weiterverarbeitung 170 angewandten Verarbeitungsalgorithmen andere Ergebnisse liefern als bei einem Bild, das dieses Rauschen noch enthält. Die Daten 210 würden daher verfälscht werden. Das Vorhandensein des Rauschens schränkt jedoch die durch eine verlustfreie Komprimierung erzielbare Datenreduzierung stark ein.
Nachfolgend wird näher beschrieben, wie durch die Verwendung eines Ersatzanteils 230 höhere Komprimierungsraten erzielt werden können und gleichzeitig ein realistisches Rauschprofil erhalten bleibt, sodass eine inhaltliche Verfälschung vermieden werden kann.
Die Bildsensoren 10 können Teil des Fahrzeuges 1 sein und eine Erfassung 140 in einer Umgebung 3 des Fahrzeuges 1 oder am Fahrzeug 1 selbst durchführen. Die Daten 210 können anhand der Erfassung 140 ermittelt werden und bspw. durch die Bildsensoren 10 ausgegebene Sensordaten, d. h. die voranstehend beschriebenen Bildaufzeichnungen 271,272, sein. Die Erfassung 140 kann eine Aufzeichnung von einem für die Fahrzeugfunktion relevanten Inhalt, insbesondere von Objekten in der Umgebung 3 des Fahrzeuges 1, umfassen. Es kann ferner durch eine Verarbeitung 170 der Daten 210 eine Fahrzeugfunktion ausgeführt werden.
Gemäß einem ersten Verfahrensschritt erfolgt das Ermitteln 101 der Daten 210 bei dem Fahrzeug 1. Die Daten können dabei z. B. nach der Erfassung 140 zwischengespeichert werden, um diese zu einem späteren Zeitpunkt bei Vorliegen einer Datenverbindung 2 zu übertragen. Für die Übertragung 130 kann eine Vorbereitung 110 der ermittelten Daten 210 durchgeführt werden, bei welcher ein Teil 220 der Daten 210 entfernt wird und ein künstlich generierter und reproduzierbarer Ersatzanteil 230 als Annäherung an den entfernten Teil 220 durch eine Ersatzinformation 231 definiert wird, um die Daten 210 für eine, insbesondere verlustfreie, Datenkompression 120 vorzubereiten. Dabei können nach dem Entfernen des Teils 220 die Daten 210 noch einen verbleibenden Anteil 240 umfassen, welcher besonders geeignet für die verlustfreie Datenkompression 120 ist. Der entfernte Teil 220 kann auch als erster Datenanteil 220 und der verbleibende Anteil 240 als zweiter Datenanteil 240 bezeichnet sein.
Der Schritt der Vorbereitung 110 kann zumindest teilweise durch einen Generator 20 durchgeführt werden. Ferner kann in diesem Schritt optional ein Hinzufügen weiterer Informationen zu den Daten 210 erfolgen, bspw. einer Zusatzinformation 260 und/oder eines Wasserzeichens 250. Anschließend kann die Datenkompression 120 der vorbereiteten Daten 210 durchgeführt sowie die Übertragung 130 der mittels der Datenkompression 120 komprimierten Daten 211 über die Datenverbindung 2 initiiert und/oder durchgeführt werden. Hierbei wird nicht der entfernte Teil 220 übertragen, sondern anstelle des Teils 220 die Ersatzinformation 231 zusammen mit dem verbliebenen Anteil 240. Dabei kann der entfernte Teil 220 ein Rauschanteil 220 der Daten 210 und der Ersatzanteil 230 ein künstlich generiertes Rauschen 230, insbesondere ein Pseudo-Rauschen 230, sein.
Der Ersatzanteil 230 kann bei der Vorbereitung 110 dadurch definiert werden, dass die Ersatzinformation 231, insbesondere ein Seed-Key für den Generator 20 bzw. einen Zufallszahlengenerator 20, festgelegt wird. Es kann anschließend mittels der Ersatzinformation 231 der Ersatzanteil 230, insbesondere nach der Übertragung 130 und Dekomprimierung 150 der Daten 210, generiert und damit reproduziert werden. Für die Definition und/oder das Generieren 160 des Ersatzanteils 230 kann es auch vorgesehen sein, dass der Ersatzanteil 230 in der Form eines Pseudo-Rauschens 230 durch eine Anwendung des Generators 20 erzeugt wird. Um eine bitidentische Wiederherstellung des Ersatzanteils 230 zu ermöglichen, kann der Generator 20 mit definierten Anfangsbedingungen ausgeführt werden, insbesondere in Abhängigkeit von einem Zielrauschmodell, kurz Rauschmodell bezeichnet. Die Anfangsbedingungen können durch die Ersatzinformation 231 festgelegt und übertragen werden.
Darüber hinaus ist in 3 ein erfindungsgemäßes Computerprogramm 40 zur Ausführung der Verfahrensschritte sowie eine erfindungsgemäße Datenverarbeitungsvorrichtung 50 gezeigt.
Das Entfernen des Teils 220 kann ein Entfernen des größten Teils des Rauschens aus den Daten 210, insbesondere den Bilddaten 210, z. B. durch eine Rauschunterdrückung umfassen. Hierbei können ggf. auch Korrekturen durchgeführt werden, wie bspw. von sensorspezifischem Rauschen, Rauschen aufgrund fester Muster oder ungleichmäßiger Fotoempfindlichkeit. Nach diesem Schritt werden die vorbereiteten Daten 210 erhalten, welche auch als rauschreduzierte Daten 210 bezeichnet werden können.
Optional kann das erzeugte Pseudo-Rauschen 230 zu einem späteren Zeitpunkt zu den rauschreduzierten Daten 210, insbesondere Bilddaten 210, hinzugefügt werden, so dass das daraus resultierende Pseudo-Rauschbild das gewünschte Rauschmodell genau imitiert. Das gewünschte Rauschmodell kann geeignet sein, den jeweiligen Bildsensor 10 zu imitieren.
Die vorbereiteten Daten 210 können verlustfrei komprimiert und übertragen werden. Dabei können die Daten 210 neben einem Dateninhalt optional das Rauschmodell mit dem wenigstens einen entsprechenden Parameter (also insbesondere der Ersatzinformation 231 bzw. dem Seed-Key) umfassen sowie vorzugsweise Metadaten und/oder weitere Zusatzinformationen 260. Der wenigstens eine Parameter kann z. B. unter Verwendung eines steganografischen Schlüssels in die Daten 210 selbst oder in weitere Daten oder einer separaten Datei hinterlegt werden. Die verlustfreie Komprimierung kann z. B. um einen Faktor 5 bis 10 erfolgen, vorzugsweise mittels eines im JPEG2000-Standard definierten oder benutzerdefinierten verlustfreien Codecs. Beispiele sind die verlustfreie JPEG oder PNG Kompression oder auch eine ZIP Kompression. Der wenigstens eine Parameter des Pseudo-Rauschens kann optional zusammen mit den komprimierten Daten 210 gespeichert werden. Die Dekompression 150 kann erfolgen, indem zunächst die Daten 210 mit demselben verlustfreien Codec dekomprimiert werden und dann das Pseudorauschen anhand des wenigstens einen Parameter generiert und den Daten 210 hinzugefügt wird.
Nachfolgend soll eine beispielhafte Ausführungsvariante der erfindungsgemäßen Verfahrensschritte näher beschrieben werden. Die ermittelten Daten 210 können dabei als Bilddaten 210 ausgeführt sein, welche mehrere Pixel i mit den jeweiligen Werten x_i aufweisen. Jeder Pixel i kann dabei den ersten Datenanteil 220, d. h. den Rauschanteil 220, und den verbleibenden zweiten Datenanteil 240 mit teilweise redundanten Informationen aufweisen. Dies bedeutet, dass sich die beiden Datenanteile 220, 240 überlagern können. Das Entfernen des ersten Datenanteils 220 im Rahmen der Vorbereitung 110 der Daten 210 kann bspw. mittels einer Rauschreduzierung erfolgen. Für eine Rauschreduzierung können herkömmliche Rauschunterdrückungstechniken verwendet werden. Hierzu wird üblicherweise ein Rauschmodell herangezogen. Die vorbereiteten Daten 210 können im Anschluss nur noch den verbleibenden Anteil 240 und damit rauschreduzierte Daten 210 umfassen. Als Rauschmodell kann z. B. ein Poisson-Gauß'sches Modell verwendet werden, für das die geschätzte Standardabweichung σ_i des Pixels i mit dem Wert x_i durch gegeben ist. Hierbei sind die Rauschparameter für dieses Modell a. Diese korrelieren insbesondere mit der Signalverstärkung im Bildsensor 10. Der Schwarzwert (engl. black level) des Bildsensors 10 kann mit x₀ angegeben sein. Ferner kann b einen Parameter bezeichnen, der mit dem Ausleserauschen (engl. read out noise) des Bildsensors 10 zusammenhängt. Während dieses Rauschmodell vorzugsweise für CCD- und CMOS-Rohbilddaten geeignet ist, kann auch ein vereinfachtes Modell verwendet werden, bei welchem angenommen wird, dass das Rauschen eine Standardabweichung σ₀ hat, die unabhängig vom Pixelwert ist. In diesem Fall kann die Anzahl der Rauschbits pro Pixel i für die Bilddaten 210 mit ganzzahligen Werten berechnet werden als $N_{B i t s} = {log}_{2} (σ_{0} \sqrt{12}) = {log}_{2} (σ_{0}) + 1,792.$

Diese Zahl kann bspw. 6 bis 8 Bits betragen. Mittels der Rauschunterdrückungstechniken kann dann für die jeweiligen Werte x_i der Pixel i ein rauschreduzierter Wert y_i ermittelt werden. Bspw. wird hierzu ein Pseudo-Zufallszahlengenerator 20 mit einem Seed S verwendet, wobei S ganzzahlig sein kann, um für jeden Pixel i eine Pseudo-Zufallszahl R_i zu erzeugen. Die rauschreduzierten Pixelwerte y_i der rauschreduzierten Daten 210 können beispielhaft berechnet werden durch: $y_{i} = r o u n d (\frac{x_{i}}{\frac{σ_{0}}{q}} + R_{i}) .$
Bei der Erzeugung der rauschreduzierten Daten 210 durch die Rauschunterdrückungstechniken wird der erste Datenanteil 220 entfernt. Entsprechend kann der erste Datenanteil 220 die Differenz zwischen den ursprünglich ermittelten Daten 210 und den vorbereiteten, rauschreduzierten Daten 210 bezeichnen. Dabei kann der erste Datenanteil 220 den größten Teil des natürlichen Rauschens in den ermittelten Daten 210 umfassen.
Nach dem Entfernen des Teils 220 kann der Ersatzanteil 230 definiert werden. Der Ersatzanteil 230 kann ein Pseudo-Rauschen 230 sein, welches dem entfernten Rauschen möglichst nahekommen sollte. Der Ersatzanteil 230 lässt sich anhand der Ersatzinformation 23, im vorliegenden Beispiel eines Seed-Keys, generieren. Hierzu kann ein Zielrauschmodell herangezogen werden. Im einfachsten Fall kann der Seed-Key beliebig für dieses Zielrauschmodell vordefiniert sein und für das erfindungsgemäße Verfahren fest hinterlegt werden. Somit erfordert das Definieren des Ersatzanteils 230 keinen zusätzlichen Rechenschritt. Alternativ kann der Seed-Key auch anhand des entfernten Teils 220 berechnet werden, z. B. mittels eines Optimierungsverfahrens zur Rauschauswertung bei dem entfernten Teil 220. Es kann dann ein solcher Seed-Key festgelegt werden, welcher dazu führt, dass der Ersatzanteil 230 dem entfernten Teil 220 möglichst nahekommt. Ferner kann der Seed-Key auch anhand der Rausch-Charakteristik des Bildsensor 10 definiert werden, in der Art, dass der daraus generierte Ersatzanteil 230 dem entfernten Teil 220 möglichst nahekommt. Hierzu kann der Seed-Key ggf. auch empirisch oder modellgestützt ermittelt werden.
Der verbleibende Anteil 240 kann anschließend komprimiert, insbesondere verlustfrei komprimiert werden und die Ersatzinformation 23 gemeinsam mit dem komprimierten verbliebenden Anteil 240 an den Empfänger 30 übertragen werden.
Nach der Übertragung 130 kann zunächst eine Dekompression 150 des verbliebenden Anteils 240 erfolgen, um die dekomprimierten Daten 212 zu erhalten. Anschließend kann anhand der übertragenen Ersatzinformation 231 das Pseudo-Rauschen 230 wieder auf den verbliebenden Anteil 240 aufgeprägt werden, z. B. durch die folgende Berechnung der Pixelwerte z_i: $z_{i} = r o u n d ([y_{i} - R_{i}] \cdot \frac{σ_{0}}{q})$
Dabei wird ein Rauschmodell und seine Parameter verwendet, wobei das Rauschmodell die Funktionsform der Transformation und die Parameter die genauen Werte für σ₀ und q sind. Die Pseudo-Zufallszahl R_i kann berechnet werden durch den Generator 20, welcher hierzu die übertragene Ersatzinformation 231 zur Zufallszahlengeneration erhält. Die auf diese Weise erhaltenen Daten 210 mit den Pixelwerten z_i kommen den ursprünglichen, ermittelten Daten 210 sehr nahe und können anschließend für eine Weiterverarbeitung 170 an eine weitere Vorrichtung 60 übertragen werden.
Die voranstehende Erläuterung der Ausführungsformen beschreibt die vorliegende Erfindung ausschließlich im Rahmen von Beispielen. Selbstverständlich können einzelne Merkmale der Ausführungsformen, sofern technisch sinnvoll, frei miteinander kombiniert werden, ohne den Rahmen der vorliegenden Erfindung zu verlassen.

Claims

Verfahren (100) für eine Bereitstellung von Bildaufzeichnungen (271,272) bei einem Fahrzeug (1), wobei die nachfolgenden Schritte automatisiert durchgeführt werden: - Ermitteln (101) einer ersten Bildaufzeichnung (271) eines ersten Bildsensors (11) des Fahrzeuges (1) und wenigstens einer weiteren Bildaufzeichnung (272) wenigstens eines weiteren Bildsensors (12) des Fahrzeuges (1), wobei durch die Bildaufzeichnungen (271,272) unterschiedliche räumliche Umgebungsbereiche (301,302) einer Umgebung (3) des Fahrzeuges (1) abgebildet werden, wodurch wenigstens eine für eine Fahrzeugfunktion des Fahrzeuges (1) relevante Information bereitgestellt wird, wobei sich die Bildaufzeichnungen (271,272) hinsichtlich ihrer Auflösung und/oder ihres Bildformates unterscheiden, - Durchführen einer Anpassung (410) der Bildaufzeichnungen (271,272) hinsichtlich ihrer Auflösung und/oder ihres Bildformates an eine Vorgabe, wobei die Vorgabe von wenigstens einer bei einer Ausführung der Fahrzeugfunktion durchgeführten Verarbeitung (170) abhängig ist, - Bereitstellen der angepassten Bildaufzeichnungen (271,272) für die Verarbeitung (170).
Verfahren (100) nach Anspruch 1, dadurch gekennzeichnet, dass die Anpassung (410) bei einer Datenkompression und/oder Datendekompression der Bildaufzeichnungen (271,272) durchgeführt wird.
Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anpassung (410) eine Vereinheitlichung der Auflösungen der Bildaufzeichnungen (271,272) auf eine Zielauflösung und/oder der Bildformate der Bildaufzeichnungen (271,272) auf ein Zielbildformat umfasst, sodass bei der Verarbeitung (170) die Bildaufzeichnungen (271,272) in der Zielauflösung und/oder im Zielbildformat vorliegen.
Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Verarbeitung (170) dazu ausgeführt ist, die Bildaufzeichnungen (271,272) lediglich in einer durch die Anpassung (410) berechneten einheitlichen Auflösung und/oder einem durch die Anpassung (410) berechneten einheitlichen Bildformat, insbesondere einer Zielauflösung und/oder einem Zielbildformat, zu empfangen.
Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens eine Zusatzinformation (260) in die Bildaufzeichnungen (271,272) integriert wird, wobei die Zusatzinformation (260) für die Auflösung und/oder das Bildformat spezifisch ist, wobei die Anpassung (410) anhand der Zusatzinformation (260) durchgeführt wird.
Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ermitteln (101) der Bildaufzeichnungen (271,272) dezentral im Fahrzeug (1) am jeweiligen Bildsensor (11,12) durchgeführt wird, wobei anschließend die Bildaufzeichnungen (271,272) an eine verarbeitende Einheit (310), insbesondere ein zentrales Steuergerät (310), übertragen werden, wobei nach der Übertragung (130) die Anpassung (410) durchgeführt wird, insbesondere durch die verarbeitende Einheit (310).
Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass nach dem Ermitteln (101) und vor der Anpassung (410) eine Datenkompression (120) und Übertragung (130) der Bildaufzeichnungen (271,272) durchgeführt wird, wobei die Übertragung (130) von den Bildsensoren (11,12) aus unterschiedlichen Positionen am Fahrzeug (1) und mit unterschiedlichen Übertragungswegen durchgeführt wird.
Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bildaufzeichnungen (271,272) in Abhängigkeit von den abgebildeten Umgebungsbereichen (301,302) zusammengefügt werden, wodurch eine zusammengefügte Bildaufzeichnung (416) erhalten wird, wobei die zusammengefügte Bildaufzeichnung (416) angepasst und/oder für die Verarbeitung (170) bereitgestellt wird.
Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anpassung (410) durch einen trainierten Algorithmus erfolgt, welcher durch ein Training mit Bildaufzeichnungen (271,272) unterschiedlicher Auflösung und/oder unterschiedlichen Datenformats erhalten wurde.
Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine verlustbehaftete Datenkompression der Bildaufzeichnungen (271,272) durchgeführt wird, wobei die verlustbehaftete Datenkompression die folgenden Schritte umfasst: - Durchführen einer Vorbereitung (110) der jeweiligen Bildaufzeichnung (271,272), bei welcher ein Teil der Bildaufzeichnung (271,272) entfernt wird und ein künstlich generierter und reproduzierbarer Ersatzanteil (230) als Annäherung an den entfernten Teil durch eine Ersatzinformation (231) definiert wird, um die Bildaufzeichnung (271,272) für eine verlustfreie Datenkompression (120) vorzubereiten, - Durchführen der verlustfreien Datenkompression (120) der jeweils vorbereiteten Bildaufzeichnung, wobei vorzugsweise bei einer jeweiligen Übertragung (130) der Bildaufzeichnungen (271,272) anstelle des entfernten Teils die Ersatzinformation (231) übertragen wird, wobei das Durchführen der Vorbereitung (110) wenigstens den nachfolgenden Schritt umfasst: - Einbringen wenigstens einer Zusatzinformation (260) in die Bildaufzeichnung (271,272), welche vorzugsweise eine Metadateninformation (440) und/oder einen Referenzmarker (480) umfasst, anhand welcher die Anpassung (410) durchgeführt wird.
Computerprogramm (40), umfassend Befehle, die bei der Ausführung des Computerprogramms (40) durch einen Computer diesen veranlassen, das Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
Vorrichtung (50) zur Datenverarbeitung, die eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 10 auszuführen.