DE102012200264B4

DE102012200264B4 - Bildverarbeitungssystem fuer ein Fahrzeug

Info

Publication number: DE102012200264B4
Application number: DE102012200264.2A
Authority: DE
Inventors: Andreas Schramm; Thilo Baur
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2012-01-10
Filing date: 2012-01-10
Publication date: 2024-02-01
Anticipated expiration: 2032-01-11
Also published as: US20140313409A1; DE102012200264A1; WO2013104485A1; US9445059B2

Abstract

Bildverarbeitungssystem (10) für ein Fahrzeug mit einer ersten Einheit (20) und einer zweiten Einheit (30) sowie einer Videoübertragungsstrecke (40), die die erste Einheit (20) und die zweite Einheit (30) zur Übertragung von digitalen Videodaten signaltechnisch koppelt, wobei- die Videoübertragungsstrecke (40) ausgebildet ist, digitale Videobildsignale zu übertragen, die ein vorgegebenes Datenformat aufweisen für einen jeweiligen Bildpunkt eines Videobildes, wobei das Datenformat drei Blöcke mit jeweils einer vorgegebenen Anzahl von Bits umfasst,- die erste Einheit (20) ausgebildet ist, abhängig von einem jeweiligen ersten Videobildsignal jeweils ein für eine Übertragung über die Videoübertragungsstrecke (40) geeignetes unkomprimiertes transformiertes Videobildsignal derart zu ermitteln, dass das transformierte Videobildsignal das vorgegebene Datenformat der Videoübertragungsstrecke (40) aufweist, wobei das erste Videobildsignal jeweilige unkomprimierte erste Videobilder (B1) einer Folge von ersten Videobildern (B1) repräsentiert, die mit einer vorgegebenen Bildrate bereitgestellt werden und die jeweils eine erste Bildauflösung mit einer vorgegebenen Anzahl von Bildpunkten aufweisen, wobei den jeweiligen Bildpunkten des ersten Videobilds (B1) jeweils vier Bildpunktwerte zugeordnet sind,- die zweite Einheit (30) ausgebildet ist, abhängig von dem über die Übertragungsstrecke empfangenen transformierten Videobildsignal erneut das erste Videobildsignal zu ermitteln und- die zweite Einheit (30) ausgebildet ist, ein Gesamtvideobildsignal zu ermitteln abhängig von dem erneut ermittelten ersten Videobildsignal und einem zweiten Videobildsignal, wobei- das zweite Videobildsignal jeweilige zweite Videobilder (B2) einer Folge von zweiten Videobildern (B2) repräsentiert, die mit einer vorgegebenen zweiten Bildrate bereitgestellt werden und die jeweils eine zweite Bildauflösung mit einer vorgegebenen zweiten Anzahl von Bildpunkten aufweisen, wobei den jeweiligen Bildpunkten des zweiten Videobildes (B2) jeweils drei Bildpunktwerte zugeordnet sind und- das Gesamtvideobildsignal derart ermittelt wird, dass das Gesamtvideobildsignal jeweilige Bild-in-Bild-Videobilder (B3) einer Folge von Bild-in-Bild-Videobildern (B3) repräsentiert.

Description

Die Erfindung betrifft ein Bildverarbeitungssystem für ein Fahrzeug mit einer ersten Einheit und einer zweiten Einheit sowie einer Videoübertragungsstrecke, die die erste Einheit und die zweite Einheit zur Übertragung von digitalen Videodaten signaltechnisch koppelt.
In einem Fahrzeug, zum Beispiel in einem Kraftfahrzeug, werden für den Fahrzeugnutzer und/oder Fahrzeuglenker zunehmend mehr Informationen bereitgestellt mittels optischer Anzeigen. Für einen Fahrzeugnutzer und/oder Fahrzeuglenker ist es aufgrund der Vielzahl der optischen Anzeigen, die zunehmend als Display ausgebildet sind, allerdings schwierig, zuverlässig die wichtigsten Informationen aus einer Anzahl gleichzeitig präsentierter Einzelbilder und/oder Videobilder zu entnehmen.
Aus der US 2007 / 0 286 246 A1 ist es bekannt, zum einen Pixeltakten an Übertragungstakte anzupassen und zum anderen Pixeldaten zwischen zwei Einheiten über eine serielle Schnittstelle zu übertragen. Dabei erfolgt eine Anpassung einer Pixelrate der Pixeldaten bei unkomprimierten Videoströmen an eine Übertragungsrate einer Verbindung. Umgekehrt erfolgt eine entsprechende Anpassung mit Hilfe eines FIFO und entsprechenden Schreib- und Lesetakten.
Aus der Veröffentlichung „Digital Automotive Pixel Link Transmitter“,. INAP 125T12 INAP 125T24, APIX® Datasheet, Rev. 1.3, Inova Semiconductors, 3. Juli 2009, Seiten 1-6, ist es zur Übertragung von Bilddaten in einem Fahrzeug über eine Videoübertragungsstrecke bekannt, dass ein Transmitter mit konfigurierbaren Übertragungsraten und Pixelformaten Daten entgegennimmt und diese intern seriell umwandelt.
In der US 7 205 997 B1 wird beschrieben, dass bei der Übertragung von Videodaten von einem Graphik-Subsystem zu einem Bildkonverter Pixeldaten aus vier Werten (z.B. RGB und Alpha) oder aus fünf Werten (zusätzlich mit Z-Tiefenwerten) bestehen können und seriell über ein Interface zu dem Bildkonverter übertragen werden, der die Daten wieder in ihre Anteile Videodaten, Alpha und Z aufteilt und ausgibt.
Aus der US 2003 / 0 184 556 A1 ist bekannt, dass ein vier-Werte-Block (RGBA) für ein ‚single Word‘-Pixelformat (16Bit) oder ein ‚double Word‘-Pixelformat (32Bit) definiert wird und dass bei Überblendungen von einem Bildinhalt zu einem anderen Bildinhalt das Pixelformat geändert wird.
Die Aufgabe, die der der Erfindung zu Grunde liegt, ist es, ein Bildverarbeitungssystem für ein Fahrzeug zu schaffen, das einen Beitrag leistet, eine Darstellung von Videobildern zu verbessern.
Die Aufgabe wird gelöst durch die Merkmale des unabhängigen Patentanspruchs. Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen gekennzeichnet.
Die Erfindung zeichnet sich gemäß einem ersten Aspekt aus durch ein Bildverarbeitungssystem für ein Fahrzeug mit einer ersten Einheit und einer zweiten Einheit sowie einer Videoübertragungsstrecke, die die erste Einheit und die zweite Einheit zur Übertragung von digitalen Videodaten signaltechnisch koppelt. Die Videoübertragungsstrecke ist ausgebildet, digitale Videobildsignale zu übertragen, die ein vorgegebenes Datenformat aufweisen für einen jeweiligen Bildpunkt eines Videobildes, wobei das Datenformat drei Blöcke mit jeweils einer vorgegebenen Anzahl von Bits umfasst. Die erste Einheit ist ausgebildet, abhängig von einem jeweiligen ersten Videobildsignal, jeweils ein für eine Übertragung über die Videoübertragungsstrecke geeignetes unkomprimiertes transformiertes Videobildsignal derart zu ermitteln, dass das transformierte Videobildsignal das vorgegebene Datenformat der Videoübertragungsstrecke aufweist. Das erste Videobildsignal repräsentiert jeweilige unkomprimierte erste Videobilder einer Folge von ersten Videobildern, die mit einer vorgegebenen Bildrate bereitgestellt werden und die jeweils eine erste Bildauflösung mit einer vorgegebenen Anzahl von Bildpunkten aufweisen, wobei den jeweiligen Bildpunkten des ersten Videobilds jeweils vier Bildpunktwerte zugeordnet sind. Die zweite Einheit ist ausgebildet, abhängig von dem über die Übertragungsstrecke empfangenen transformierten Videobildsignal erneut das erste Videobildsignal zu ermitteln. Die zweite Einheit ist weiterhin ausgebildet, ein Gesamtvideobildsignal zu ermitteln abhängig von dem erneut ermittelten ersten Videobildsignal und einem zweiten Videobildsignal, wobei das zweite Videobildsignal jeweilige zweite Videobilder einer Folge von zweiten Videobildern repräsentiert, die mit einer vorgegebenen zweiten Bildrate bereitgestellt werden und die je- weils eine zweite Bildauflösung mit einer vorgegebenen zweiten Anzahl von Bildpunkten aufweisen und wobei den jeweiligen Bildpunkten des zweiten Videobildes jeweils drei Bildpunktwerte zugeordnet sind. Das Gesamtvideobildsignal wird derart ermittelt, dass das Gesamtvideobildsignal jeweilige Bild-in-Bild-Videobilder einer Folge von Bild-in-Bild-Videobildern repräsentiert.
Die Erfindung zeichnet sich gemäß einem zweiten Aspekt aus durch ein Bildverarbeitungssystem für ein Fahrzeug mit einer ersten Einheit und einer zweiten Einheit sowie einer Videoübertragungsstrecke, die die erste Einheit und die zweite Einheit zur Übertragung von digitalen Videodaten signaltechnisch koppelt. Die Videoübertragungsstrecke ist ausgebildet, digitale Videobildsignale zu übertragen, die ein vorgegebenes Datenformat aufweisen für einen jeweiligen Bildpunkt eines Videobildes, wobei das Datenformat drei Blöcke mit jeweils einer vorgegebenen Anzahl von Bits umfasst. Die erste Einheit ist ausgebildet, abhängig von einem jeweiligen ersten Videobildsignal, jeweils ein für eine Übertragung über die Videoübertragungsstrecke geeignetes unkomprimiertes transformiertes Videobildsignal derart zu ermitteln, dass das transformierte Videobildsignal das vorgegebene Datenformat der Videoübertragungsstrecke aufweist. Das erste Videobildsignal repräsentiert jeweilige unkomprimierte erste Videobilder einer Folge von ersten Videobildern, die mit einer vorgegebenen Bildrate bereitgestellt werden und die jeweils eine erste Bildauflösung mit einer vorgegebenen Anzahl von Bildpunkten aufweisen, wobei den jeweiligen Bildpunkten des ersten Videobilds jeweils vier Bildpunktwerte zugeordnet sind. Die zweite Einheit ist ausgebildet, abhängig von dem über die Übertragungsstrecke empfangenen transformierten Videobildsignal erneut das erste Videobildsignal zu ermitteln. Die zweite Einheit ist ausgebildet, das zweite Videobildsignal zu erzeugen.
Vorteilhafterweise ermöglicht die Erfindung, digitale Videobilder, die beispielsweise zusätzlich zu drei Farbkanälen einen Alphakanal umfassen, unkomprimiert über eine Videoübertragungsstrecke zu übertragen, die ansonsten nur für eine Übertragung von unkomprimierten Videobildern vorgesehen ist, die drei Farbkanäle aufweisen. Beispiele für solche Videoübertragungsstrecken, die vorgesehen sind für eine Übertragung von unkomprimierten Videobildern mit drei Farbkanälen, sind zum Beispiel eine HDMI-Übertragungsstrecke (High Definition Multimedia Interface) und/oder eine DVI-Übertragungsstrecke (Digital Visual Interface) und/oder eine APIX-Übertragungsstrecke (Automotive Pixel Link).
Weiterhin vorteilhafterweise ermöglicht die Erfindung die Bereitstellung der ersten Videobilder für weitere Einrichtungen im Fahrzeug, die beispielsweise geeignet ausgebildet sind, die ersten Videobilder optisch anzuzeigen und/oder die ausgebildet sind, die ersten Videobilder und weitere Videobilder, die von der weiteren und/oder anderen Einheiten erzeugt wurden, zusammenzuführen in ein Fusionsbild: Dies ermöglicht, Informationen verschiedener Bilder, die von verschieden Quellen erzeugt werden, in einem Fusionsbild geeignet zusammenzufassen.
In einer vorteilhaften Ausgestaltung ist dem jeweiligen Bildpunkt des ersten Videobildes ein erster Bildpunktwert, der eine rote Farbe repräsentiert, ein zweiter Bildpunktwert, der eine grüne Farbe repräsentiert, ein dritter Bildpunktwert, der eine blaue Farbe repräsentiert, und ein vierter Bildpunktwert, der eine Transparenz repräsentiert, zugeordnet. Dem Bildpunkt sind somit drei Farbkanäle und ein Alphakanal zugeordnet. Der Alphakanal ist ein zusätzlicher Kanal, der in Rastergrafiken zusätzlich zu den Farbinformationen die Transparenz der einzelnen Bildpunkte repräsentiert. Es wird zwischen einem direkten Alphakanal und einem externen Alphakanal unterschieden. Das erfindungsgemäße Bildverarbeitungssystem ermöglicht, dass die ersten Videobilder einen direkten Alphakanal aufweisen können, bei dem die jeweilige Transparenzinformation in einem separaten Kanal, zusätzlich zu den Farbkanälen, gespeichert wird. Bei einem direkten Alphakanal wird ein Bildpunkt demnach nicht nur mit drei Werten gespeichert, zum Beispiel jeweils mit einem Wert für Rot, Grün und Blau, sondern mit vier Werten, zum Beispiel jeweils mit einem Wert für Rot, Grün, Blau und Transparenz. Für eine Speicherung und/oder Übertragung ist kein externer Alphakanal notwendig, bei dem die Transparenzinformationen als separate Datei gespeichert und/oder übertragen werden.
In einer weiteren vorteilhaften Ausgestaltung ist die zweite Einheit ausgebildet, ein Gesamtvideobildsignal zu ermitteln abhängig von dem-erneut ermittelten ersten Videobildsignal und einem zweiten Videobildsignal. Das zweite Videobildsignal repräsentiert jeweilige zweite Videobilder einer Folge von zweiten Videobildern, die mit einer vorgegebenen zweiten Bildrate bereitgestellt werden und die jeweils eine zweite. Bildauflösung mit einer vorgegebenen .zweiten Anzahl von Bildpunkten aufweisen. Den jeweiligen Bildpunkten des zweiten Videobildes sind jeweils drei Bildpunktwerte zugeordnet. Das Gesamtvideobildsignal wird derart ermittelt, dass das Gesamtvideobildsignal jeweilige Bild-in-Bild-Videobilder einer Folge von Bild-in-Bild-Videobildern repräsentiert. Vorteilhafterweise ermöglicht dies ein Zusammenführen von ersten und zweiten Videobildern, so dass das Bild-in-Bild-Videobild gegenüber dem ersten und/oder zweiten Videobild einen höheren Nutzinformationsgehalt aufweist und/oder weniger Störungen aufweist. Die Bildrate und die zweite Bildrate können gleich gewählt werden. Dies ermöglicht eine einfache Berechnung des Gesamtvideobildsignals. Vorzugsweise wird die Bildrate und die zweite Bildrate derart gewählt, dass einem menschlichen Auge bei bewegten Bildinhalten ein flüssiger Bildeindruck vermittelt wird.
In einer weiteren vorteilhaften Ausgestaltung ist dem jeweiligen Bildpunkt des zweiten Videobildes der erste Bildpunktwert, der die rote Farbe repräsentiert, der zweite Bildpunktwert, der die grüne Farbe repräsentiert, und der dritte Bildpunktwert, der die blauen Farben repräsentiert, zugeordnet. Vorteilhafterweise ermöglicht dies eine einfache Berechnung der jeweiligen Bild-in-Bild-Videobilder.
In einer weiteren vorteilhaften Ausgestaltung wird das Gesamtvideosignal derart ermittelt, dass abhängig von den vierten Bildpunktwerten des ersten Videobildes, die die Transparenz repräsentieren, eine Wichtung einer Überlagerung der jeweiligen Bildpunkte des ersten Videobildes und des zweiten Videobildes erfolgt. Vorteilhafterweise ermöglicht dies, das jeweilige erste Videobild derart in das jeweilige zweite Videobild einzufügen, dass bei einer Anzeige der Bild-in-Bild-Videobilder mittels einer Anzeigevorrichtung für einen Betrachter der jeweiligen Bild-in-Bild-Videobilder keine Übergänge zwischen dem jeweiligen ersten Videobild und dem jeweiligen zweiten Videobild sichtbar sind. Des Weiteren ermöglicht dies, dass ein Betrachter nicht erkennen kann, von welcher Einheit welche Bildinhalte in dem jeweiligen Bild-in-Bild-Videobild bereitgestellt werden.
In einer weiteren vorteilhaften Ausgestaltung ist die erste Einheit ausgebildet, das erste Videobildsignal zu erzeugen. Dies ermöglicht eine kompakte Aufbauweise des Bildverarbeitungssystems.
In einer weiteren vorteilhaften Ausgestaltung ist die zweite Einheit ausgebildet, das zweite Videobildsignal zu erzeugen. Vorteilhafterweise ermöglicht auch dies ein kompakte Aufbauweise des Bildverarbeitungssystems.
In einer weiteren vorteilhaften Ausgestaltung ist die erste Einheit ausgebildet, das jeweilige erste Videobildsignal in das transformierte Videobildsignal derart umzuwandeln, dass das transformierte Videobildsignal ein transformiertes Videobild repräsentiert, das die gleichen Bildpunktwerte aufweist wie das erste Videobild, eine um den Faktor'4/3 größere Anzahl von Bildpunkten aufweist als das erste Videobild und den jeweiligen Bildpunkten des transformierten Videobildes jeweils drei Bildpunktwerte zugeordnet sind. Vorteilhafterweise ermöglicht dies mit nur sehr geringem Rechenaufwand, das erste Videobildsignal in das transformierte Videobildsignal umzuwandeln, so dass das transformierte Videobildsignal das vorgegebene Datenformat der Videoüberübertragungsstrecke aufweist. Dem jeweiligen Block der drei Blöcke kann einer der drei Bildpunktwerte zugeordnet werden. Die Anzahl der Bits der Blöcke kann beispielsweise sechs oder acht sein. Die Anzahl der Bits kann abhängig von einem gewünschten Wertebereich der jeweiligen Bildpunktwerte vorgegeben werden.
In einer weiteren vorteilhaften Ausgestaltung ist die erste Einheit ausgebildet, das jeweilige erste Videobildsignal in das transformierte Videobildsignal derart umzuwandeln, dass jeweils drei aufeinanderfolgende Bildpunkte des ersten Videobildes von vier aufeinanderfolgenden Bildpunkten des transformierten Videobildes umfasst sind. Vorteilhafterweise ermöglicht dies mit nur sehr geringem Rechenaufwand, das erste Videobildsignal in das transformierte Videobildsignal umzuwandeln. Ferner hat dies den Vorteil, dass ein Anteil an Bildpunktwerten, die zwischengespeichert werden müssen, gering gehalten werden kann.
In einer weiteren vorteilhaften Ausgestaltung ist den Bildpunktwerten des ersten Videobilds eine Reihenfolge zugeordnet und ist die erste Einheit ausgebildet, das jeweilige erste Videobildsignal in das transformierte Videobildsignal derart umzuwandeln, dass die Bildpunktwerte des transformierten Videobilds die gleiche.Reihenfolge aufweisen. Vorteilhafterweise ermöglicht dies mit nur sehr geringem Rechenaufwand, das erste Videobildsignal in das transformierte Videobildsignal umzuwandeln. Ferner hat dies den Vorteil, dass keine Umsortierung der Bildpunktwerte erforderlich ist und somit eine dafür erforderliche Zwischenspeicherung der Bildpunktwerte entfallen kann.
Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen erläutert.
Es zeigen:

1 ein Ausführungsbeispiel für ein Bildverarbeitungssystem,
2 ein aus einem ersten und zweiten Videobild resultierendes Bild-in-Bild-Videobild,
3 ein aus einem weiteren ersten Videobild und zweiten Videobild resultierendes Bild-in-Bild-Videobild,
4 ein Bildpunkte-Flussdiagramm und
5 eine weiteres Bildpunkte-Flussdiagramm.

Elemente gleicher Konstruktion oder Funktion sind figurenübergreifend mit den gleichen Bezugszeichen versehen.
1 zeigt ein Bildverarbeitungssystem 10 für ein Fahrzeug. Das Fahrzeug kann beispielsweise als Kraftfahrzeug ausgebildet sein. Das Bildverarbeitungssystem 10 umfasst eine erste Einheit 20, eine zweite Einheit 30 und eine Videoübertragungsstrecke 40.
Die Videoübertragungsstrecke 40 koppelt die erste Einheit 20 und die zweite Einheit 30 signaltechnisch zur Übertragung von digitalen Videodaten.
Die Videoübertragungsstrecke 40 kann beispielsweise einen Automotive Pixel Link (APIX-Übertragungsstrecke) umfassen. Die APIX-Übertragungsstrecke ist derart ausgebildet, dass sie spezielle Anforderungen im Fahrzeugumfeld erfüllt, zum Beispiel weist die APIX-Übertragungsstrecke einen erweiterten Temperaturbereich und/oder höhere Störfestigkeit und/oder niedrigere elektromagnetische Emissionen auf im Vergleich zu Videoübertragungsstrecken, die im privaten Hausbereich genutzt werden.
Solch eine APIX-Übertragungsstrecke ermöglicht somit eine zuverlässige und kostengünstige Videobildsignalübertragung zwischen der ersten 20 und der zweiten Einheit 30 des Bildverarbeitungssystems 10 des Fahrzeugs.
Die Videoübertragungsstrecke 40 umfasst beispielsweise ein Sendemodul, das eine erste und zweite Schnittstelle aufweist. Die erste Schnittstelle des Sendemoduls ist beispielsweise mit einer weiteren Schnittstelle der ersten Einheit 20 vorgegebenelektrisch gekoppelt. Die zweite Schnittstelle des Sendemoduls ist beispielsweise elektrisch gekoppelt mit einem Kabel, zum Beispiel mit einem geschirmten Twisted Pair Kabel.
Das Sendemodul ist beispielsweise ausgebildet, drei Datenworte mit einer vorgegebenen Anzahl von Bits, zum Beispiel.8 Bits, an seiner ersten Schnittstelle parallel einzulesen und seriell an seiner zweiten Schnittstelle auszugeben. Das jeweilige Datenwort kann jeweils einen von drei Bildpunktwerten eines Bildpunktes eines Videobildes repräsentieren. Bei einer Übertragung von Videobildern, die jeweils eine Auflösung von 1020 Bildpunkten pro Zeile und ein Bildformat von 16:9 aufweisen und die mit 60 Hz dargestellt werden, sind bei einer seriellen Übertragung über die Videoübertragungsstrecke 40, zirka 1,5 Gbit/s zu übertragen.
Die Videoübertragungsstrecke 40 umfasst ferner beispielsweise ein Empfangsmodul, das eine erste und zweite Schnittstelle aufweist. Die erste Schnittstelle ist beispielsweise mit einer weiteren Schnittstelle der zweiten Einheit 30 vorgegeben elektrisch gekoppelt. Die zweite Schnittstelle ist beispielsweise elektrisch gekoppelt mit dem Kabel. Das Empfangsmodul ist beispielsweise ausgebildet, die gesendeten Daten an seiner zweiten Schnittstelle seriell einzulesen und jeweils die drei Datenworte mit der vorgegebenen Anzahl von Bits parallel an seiner ersten Schnittstelle auszugeben.
Die erste Einheit 20 kann beispielsweise eine Haupteinheit eines Infotainmentsystems des Fahrzeugs umfassen. Die Haupteinheit eines Infotainmentsystems in einem Kraftfahrzeug wird auch als Head Unit bezeichnet.
Die erste Einheit 20 ist ausgebildet abhängig von einem jeweiligen ersten Videobildsignal jeweils ein für eine Übertragung über die Videoübertragungsstrecke 40 geeignetes unkomprimiertes transformiertes Videobildsignal derart zu ermitteln, dass das transformierte Videobildsignal das vorgegebene Datenformat der Videoübertragungsstrecke 40 aufweist. Das erste Videobildsignal repräsentiert jeweilige unkomprimierte erste Videobilder B1 einer Folge von ersten Videobildern B1, die mit einer vorgegebenen Bildrate bereitgestellt werden und die jeweils eine erste Bildauflösung mit einer vorgegebenen Anzahl von Bildpunkten aufweisen, wobei den jeweiligen Bildpunkten des ersten Videobilds B1 jeweils vier Bildpunktwerte zugeordnet sind.
Das erste Videobild B1 kann beispielsweise drei Farbkanäle und einen Alphakanal aufweisen. Dem jeweiligen Bildpunkt des ersten Videobildes B1 ist beispielsweise ein erster Bildpunktwert R, der eine rote Farbe repräsentiert, ein zweiter Bildpunktwert G, der eine grüne Farbe repräsentiert, ein dritter Bildpunktwert B, der eine blaue Farbe repräsentiert, und ein vierter Bildpunktwert A, der eine Transparenz repräsentiert, zugeordnet.
Die erste Einheit 20 ist ferner beispielsweise ausgebildet, das erste Videobildsignal zu erzeugen. Die erste Einheit 20 kann beispielsweise ausgebildet sein, eine Bildsynthese, auch Rendering genannt, auszuführen und damit ausgebildet sein, Videobilder aus Rohdaten zu erzeugen. Die Rohdaten können dabei ein virtuelles räumliches Modell umfassen, das Objekte und deren Materialeigenschaften, Lichtquellen sowie die Position und Blickrichtung eines Betrachters definiert. Des Weiteren kann die erste Einheit 20 ausgebildet sein, Bildmetainformationen zu ermitteln. Die Bildmetainformationen können beispielsweise Ersatzgeometriedaten, sogenannte Bounding Boxen, für dreidimensionale Objekte umfassen.
Die zweite Einheit 30 kann beispielsweise eine Frontsichtdisplay-Steuereinheit, auch Head-up-Display-Steuereinheit genannt, für ein Frontsichtdisplay und/oder ein Kombinationsinstrument des Fahrzeugs umfassen. Der zweiten Einheit 30 ist beispielsweise eine optische Anzeigevorrichtung 50, zum Beispiel ein Display, zugeordnet. Die zweite Einheit 30 kann mit der optischen Anzeigevorrichtung 50 beispielsweise mit einer weiteren Videoübertragungsstrecke 55 signaltechnisch gekoppelt sein, die analog zu der Videoübertragungsstrecke 40 ausgebildet ist.
Die zweite Einheit 30 ist ausgebildet, abhängig von dem über die Übertragungsstrecke empfangenen transformierten Videobildsignal erneut das erste Videobildsignal zu ermitteln.
Die zweite Einheit 30 ist beispielsweise ferner ausgebildet, ein Gesamtvideobildsignal zu ermitteln abhängig von dem erneut ermittelten ersten Videobildsignal und einem zweiten Videobildsignal. Das zweite Videobildsignal repräsentiert jeweilige zweite Videobilder B2 einer Folge von zweiten Videobildern B2, die mit einer vorgegebenen zweiten Bildrate bereitgestellt werden und die jeweils eine zweite Bildauflösung mit einer vorgegebenen zweiten Anzahl von Bildpunkten aufweisen. Den jeweiligen Bildpunkten des zweiten Videobildes B2 sind jeweils drei Bildpunktwerte zugeordnet. Das Gesamtvideobildsignal wird derart ermittelt, dass das Gesamtvideobildsignal jeweilige Bild-in-Bild-Videobilder B3 einer Folge von Bild-in-Bild-Videobildern B3 repräsentiert.
Das zweite Videobild B2 kann beispielsweise drei Farbkanäle aufweisen. Beispielsweise kann dem jeweiligen Bildpunkt des zweiten Videobildes B2 der erste Bildpunktwert R, der die rote Farbe repräsentiert, der zweite Bildpunktwert G, der die grüne-Farbe repräsentiert, und der dritte Bildpunktwert B, der die blauen Farben repräsentiert, zugeordnet sein.
Die zweite Einheit 30 kann ferner ausgebildet sein, das zweite Videobildsignal zu erzeugen. Alternativ oder zusätzlich kann eine weitere Einheit ausgebildet sein, die jeweiligen zweiten Videobildsignale zu erzeugen und an die zweite Einheit 30 zu senden.
Das Bildverarbeitungssystem 10 kann ferner eine Netzwerkverbindung 70 zwischen der ersten 20 und zweiten Einheit 30 aufweisen. Die Netzwerkverbindung 70 kann beispielsweise als Ethernet-Verbindung ausgebildet sein. Die Netzwerkverbindung 70 kann ermöglichen, dass zwischen der ersten Einheit 20 und der zweiten Einheit 30 weitere Bildinformationen ausgetauscht werden können. Beispielsweise kann vorgesehen sein, dass über die Netzwerkverbindung 70 die Bildmetainformationen, die von der ersten Einheit 20 ermittelt werden, an die zweite Einheit 30 weitergeleitet werden.
2 zeigt beispielhaft aus einer Folge von ersten Videobildern B1 und einer Folge von zweiten Videobildern B2 jeweils eines der ersten Videobilder B1 und eines der zweiten Videobilder B2 und das aus dem ersten B1 und zweiten Videobild B2 resultierende Bild-in-Bild-Videobild B3.
Das erste Videobild B1 zeigt ein dreidimensionales Automodell. Das zweite Videobild B2 zeigt eine dreidimensionale Szene mit einer Bodenfläche. Das erste Videobild B1 und das zweite Videobild B2 weisen beispielsweise die gleiche Auflösung auf, das heißt eine jeweilige Anzahl von Bildpunkten in eine horizontale Richtung x und in eine vertikale Richtung y sind bei dem ersten B1 und zweiten Videobild B2 gleich. Das Automodell ist beispielsweise von einem transparenten Hintergrund umgeben. Das erste Videobild B1 wurde beispielsweise von der ersten Einheit 20 erzeugt und über die Videoübertragungsstrecke 40 an die zweite Einheit 30 übermittelt. Das zweite Videobild B2 wurde beispielsweise von der zweiten Einheit 30 erzeugt.
Die zweite Einheit 30 ist beispielsweise ausgebildet, das Gesamtvideosignal derart zu ermitteln, dass abhängig von den vierten Bildpunktwerten des ersten Videobildes B1, die die Transparenz repräsentieren, eine Wichtung einer Überlagerung der jeweiligen Bildpunkte des ersten Videobildes B1 und des zweiten Videobildes B2 erfolgt. Dies ermöglicht, dass bei dem gezeigten Bild-in-Bild-Videobild B3 für einen Betrachter keine Übergänge zwischen dem jeweiligen ersten Videobild B1 und dem jeweiligen zweiten Videobild B2 sichtbar sind.
Insofern es sich bei dem Automodell und bei der Bodenfläche um beispielsweise dreidimensionale Objekte handelt, kann es vorteilhaft sein, wenn beim Ermitteln des Gesamtvideobildsignals, das heißt bei einer Bildsynthese, die gleichen Kameraparameter genutzt werden wie bei der Erzeugung des ersten Videobildsignals.
3 zeigt beispielhaft aus einer weiteren Folge von ersten Videobildern B1 und einer weiteren Folge von zweiten Videobildern B2 jeweils eines der ersten Videobilder B1 und eines der zweiten Videobilder B2 und das aus dem ersten B1 und zweiten Videobild B2 resultierende Bild-in-Bild-Videobild B3. Das erste Videobild B1 zeigt ein dreidimensionales Automodell. Das zweite Videobild B2 zeigt eine dreidimensionale Szene mit einem Torbogen und einer Bodenfläche. Das erste Videobild B1 und das zweite Videobild B2 weisen beispielsweise die. gleiche Auflösung auf, das heißt eine jeweilige Anzahl von Bildpunkten in einer horizontalen Richtung x und in einer vertikalen Richtung y sind bei dem ersten B1 und zweiten Videobild B2 gleich. Das Automodell ist beispielsweise von einem transparenten Hintergrund umgeben. Die zweite Einheit 30 ermittelt abhängig von dem ersten Videobildsignal des ersten Videobildes B1 und dem zweiten Videobildsignal des zweiten Videobildes B2 das Gesamtvideobildsignal, welches das unkomprimierte Bild-in-Bild-Videobild B3 repräsentiert. In dem Bild-in-Bild-Videobild B3 überdecken sich die Objekte teilweise. Für eine geeignet dreidimensionale Darstellungder Objekte kann es,vorteilhaft sein, wenn in diesem Falle, zusätzlich zu den eigentlichen Bilddaten eine das Automodellumschließende Ersatzgeometrie, auch Bounding Box genannt, von der ersten Einheit 20 ermittelt wird und diese Daten ergänzend über die Netzwerkverbindung 70 an die zweite Einheit 30 übermittelt werden. Das Gesamtvideobildsignal kann dann abhängig von dem ersten Videobildsignal, dem zweiten Videobildsignal und den Daten zu der Ersatzgeometrie ermittelt werden.
4 zeigt ein schematisches Flussdiagramm der Bildpunkte ausgehend von dem ersten Videobild B1 der ersten Einheit 20 bis zu einer Weiterverarbeitung des erneut ermittelten ersten Videobildes B1 in der zweiten Einheit 30.
Die mit einem Index versehenen Bildpunktwerte, zum Beispiel B₀, G₀, R₀ und A₀, repräsentieren beispielsweise die Bildpunktwerte eines spezifischen Bildpunktes des ersten Videobildes, zum Beispiel des ersten Bildpunktes des ersten Videobildes.
Die erste Einheit 20 ist beispielsweise ausgebildet, das jeweilige erste Videobildsignal B1 in das transformierte Videobildsignal derart umzuwandeln, dass das transformierte Videobildsignal ein transformiertes Videobild B_trans repräsentiert, das die gleichen Bildpunktwerte aufweist wie das erste Videobild B1, eine um den Faktor 4/3 größere Anzahl von Bildpunkten aufweist als das erste Videobild B1 und den jeweiligen Bildpunkten des transformierten Videobildes B_trans jeweils drei Bildpunktwerte zugeordnet sind.
In 4 sind beispielhaft die Bildpunktwerte für drei Bildpunkte des ersten Videobildes B1 gezeigt. Die erste Einheit 20 ist beispielsweise ausgebildet, das jeweilige erste Videobildsignal in das transformierte Videobildsignal derart umzuwandeln, dass jeweils drei aufeinanderfolgende Bildpunkte des ersten Videobildes B1 von vier aufeinanderfolgenden Bildpunkten des transformierten Videobildes B_trans umfasst sind. Zum Beispiel kann den Bildpunktwerten des ersten Videobilds B1 eine Reihenfolge zugeordnet werden und die erste Einheit 20 ist beispielsweise ausgebildet, das jeweilige erste Videobildsignal in das transformierte Videobildsignal derart umzuwandeln, dass die Bildpunktwerte des transformierten Videobilds B_trans die gleiche Reihenfolge aufweisen.
Die zweite Einheit 30 ist ausgebildet, abhängig von dem über die Übertragungsstrecke empfangenen transformierten Videobildsignal erneut das erste Videobildsignal zu ermitteln, beispielsweise durch eine Rücktransformation korrespondierend zu der Transformation der ersten Einheit 20.
5 zeigt ein weiteres schematisches Flussdiagramm der Bildpunkte ausgehend von dem ersten Videobild B1 der ersten Einheit 20 bis zu einer Weiterverarbeitung des erneut ermittelten ersten Videobildes B1 in der zweiten Einheit 30.
Im Vergleich zu dem in 4 gezeigten Ausführungsbeispiel ist in diesem Fall ist die zweite Einheit 30 ausgebildet, das empfangene transformierte Videobildsignal in ein vorläufiges erstes Videobildsignal derart umzuwandeln, dass das vorläufige erste Videobildsignal vorläufige erste Videobilder B1' repräsentiert, wobei jeweils drei aufeinanderfolgende Bildpunkte des transformierten Videobildes B_trans von drei aufeinanderfolgenden Bildpunkten des vorläufigen ersten Videobildes B1' umfasstsind. Die jeweiligen Bildpunkte des vorläufigen ersten Videobildes B1' sind um einen weiteren Bildpunktwert erweitert, der beispielsweise für alle Bildpunkte den gleichen Wert aufweist. Die zweite Einheit 30 ist in diesem Falle beispielsweise ausgebildet, mittels eines Schattierungsfilters, auch Shader genannt, das erste Videobildsignal abhängig von dem vorläufigen ersten Videobildsignal zu ermitteln.
Bezugszeichenliste

10: Bildverarbeitungseinheit
20: erste Einheit
30: zweite Einheit
40: Videoübertragungsstrecke
50: optische Anzeigevorrichtung
55: weitere Videoübertragungsstrecke
70: Netzwerkverbindung
A: vierter Bildpunktwert
B: dritter Bildpunktwert
B_trans: transformiertes Videobild
B1: erstes Videobild
B1': vorläufiges erstes Videobild
B2: zweites Videobild
B3: Bild-in-Bild-Videobild
G: zweiter Bildpunktwert
R: erster Bildpunktwert
x: horizontale Richtung
y: vertikale Richtung

Claims

Bildverarbeitungssystem (10) für ein Fahrzeug mit einer ersten Einheit (20) und einer zweiten Einheit (30) sowie einer Videoübertragungsstrecke (40), die die erste Einheit (20) und die zweite Einheit (30) zur Übertragung von digitalen Videodaten signaltechnisch koppelt, wobei - die Videoübertragungsstrecke (40) ausgebildet ist, digitale Videobildsignale zu übertragen, die ein vorgegebenes Datenformat aufweisen für einen jeweiligen Bildpunkt eines Videobildes, wobei das Datenformat drei Blöcke mit jeweils einer vorgegebenen Anzahl von Bits umfasst, - die erste Einheit (20) ausgebildet ist, abhängig von einem jeweiligen ersten Videobildsignal jeweils ein für eine Übertragung über die Videoübertragungsstrecke (40) geeignetes unkomprimiertes transformiertes Videobildsignal derart zu ermitteln, dass das transformierte Videobildsignal das vorgegebene Datenformat der Videoübertragungsstrecke (40) aufweist, wobei das erste Videobildsignal jeweilige unkomprimierte erste Videobilder (B1) einer Folge von ersten Videobildern (B1) repräsentiert, die mit einer vorgegebenen Bildrate bereitgestellt werden und die jeweils eine erste Bildauflösung mit einer vorgegebenen Anzahl von Bildpunkten aufweisen, wobei den jeweiligen Bildpunkten des ersten Videobilds (B1) jeweils vier Bildpunktwerte zugeordnet sind, - die zweite Einheit (30) ausgebildet ist, abhängig von dem über die Übertragungsstrecke empfangenen transformierten Videobildsignal erneut das erste Videobildsignal zu ermitteln und - die zweite Einheit (30) ausgebildet ist, ein Gesamtvideobildsignal zu ermitteln abhängig von dem erneut ermittelten ersten Videobildsignal und einem zweiten Videobildsignal, wobei - das zweite Videobildsignal jeweilige zweite Videobilder (B2) einer Folge von zweiten Videobildern (B2) repräsentiert, die mit einer vorgegebenen zweiten Bildrate bereitgestellt werden und die jeweils eine zweite Bildauflösung mit einer vorgegebenen zweiten Anzahl von Bildpunkten aufweisen, wobei den jeweiligen Bildpunkten des zweiten Videobildes (B2) jeweils drei Bildpunktwerte zugeordnet sind und - das Gesamtvideobildsignal derart ermittelt wird, dass das Gesamtvideobildsignal jeweilige Bild-in-Bild-Videobilder (B3) einer Folge von Bild-in-Bild-Videobildern (B3) repräsentiert.
Bildverarbeitungssystem (10) nach Anspruch 1, bei dem dem jeweiligen Bildpunkt des ersten Videobildes (B1) ein erster Bildpunktwert (R), der eine rote Farbe repräsentiert, ein zweiter Bildpunktwert (G), der eine grüne Farbe repräsentiert, ein dritter Bildpunktwert (B), der eine blaue Farbe repräsentiert, und ein vierter Bildpunktwert (A), der eine Transparenz repräsentiert, zugeordnet ist.
Bildverarbeitungssystem (10) nach einem der vorstehenden Ansprüche, bei dem dem jeweiligen Bildpunkt des zweiten Videobildes (B2) der erste Bildpunktwert (R), der die rote Farbe repräsentiert, der zweite Bildpunktwert G, der die grüne Farbe repräsentiert und der dritte Bildpunktwert (B), der die blaue Farbe repräsentiert, zugeordnet ist.
Bildverarbeitungssystem (10) nach einem der vorstehenden Ansprüche, bei dem das Gesamtvideosignal derart ermittelt wird, dass abhängig von den vierten Bildpunktwerten des ersten Videobildes (B1), die die Transparenz repräsentieren, eine Wichtung einer Überlagerung der jeweiligen Bildpunkte des ersten Videobildes (B1) und des zweiten Videobildes (B2) erfolgt.
Bildverarbeitungssystem (10) nach einem der vorstehenden Ansprüche, bei dem die erste Einheit (20) ausgebildet ist, das erste Videobildsignal zu erzeugen.
Bildverarbeitungssystem (10) für ein Fahrzeug mit einer ersten Einheit (20) und einer zweiten Einheit (30) sowie einer Videoübertragungsstrecke (40), die die erste Einheit (20) und die zweite Einheit (30) zur Übertragung von digitalen Videodaten signaltechnisch koppelt, wobei - die Videoübertragungsstrecke (40) ausgebildet ist, digitale Videobildsignale zu übertragen, die ein vorgegebenes Datenformat aufweisen für einen jeweiligen Bildpunkt eines Videobildes, wobei das Datenformat drei Blöcke mit jeweils einer vorgegebenen Anzahl von Bits umfasst, - die erste Einheit (20) ausgebildet ist, abhängig von einem jeweiligen ersten Videobildsignal jeweils ein für eine Übertragung über die Videoübertragungsstrecke (40) geeignetes unkomprimiertes transformiertes Videobildsignal derart zu ermitteln, dass das transformierte Videobildsignal das vorgegebene Datenformat der Videoübertragungsstrecke (40) aufweist, wobei das erste Videobildsignal jeweilige unkomprimierte erste Videobilder (B1) einer Folge von ersten Videobildern (B1) repräsentiert, die mit einer vorgegebenen Bildrate bereitgestellt werden und die jeweils eine erste Bildauflösung mit einer vorgegebenen Anzahl von Bildpunkten aufweisen, wobei den jeweiligen Bildpunkten des ersten Videobilds (B1) jeweils vier Bildpunktwerte zugeordnet sind, - die zweite Einheit (30) ausgebildet ist, abhängig von dem über die Übertragungsstrecke empfangenen transformierten Videobildsignal erneut das erste Videobildsignal zu ermitteln und - bei dem die zweite Einheit (30) ausgebildet ist, das zweite Videobildsignal zu erzeugen.
Bildverarbeitungssystem (10) nach einem der vorstehenden Ansprüche, bei dem die erste Einheit (20) ausgebildet ist, das jeweilige erste Videobildsignal in das transformierte Videobildsignal derart umzuwandeln, dass das transformierte Videobildsignal ein transformiertes Videobild (B_trans) repräsentiert, das die gleichen Bildpunktwerte aufweist wie das erste Videobild (B1), eine um den Faktor 4/3 größere Anzahl von Bildpunkten aufweist als das erste Videobild (B1) und den jeweiligen Bildpunkten des transformierten Videobildes (B_trans) jeweils drei Bildpunktwerte zugeordnet sind.
Bildverarbeitungssystem (10) nach Anspruch 7, bei dem die erste Einheit (20) ausgebildet ist, das jeweilige erste Videobildsignal in das transformierte Videobildsignal derart umzuwandeln, dass jeweils drei aufeinanderfolgende Bildpunkte des ersten Videobildes (B1) von vier aufeinanderfolgenden Bildpunkten des transformierten Videobildes (B_trans) umfasst sind.
Bildverarbeitungssystem (10)nach Anspruch 7 oder 8, bei dem den Bildpunktwerten des ersten Videobilds (B1) eine Reihenfolge zugeordnet ist und bei dem die erste Einheit (20) ausgebildet ist, das jeweilige erste Videobildsignal in das transformierte Videobildsignal derart umzuwandeln, dass die Bildpunktwerte des transformierten Videobilds (B_trans) die gleiche Reihenfolge aufweisen.