DE102017011499B4

DE102017011499B4 - Verfahren zur Visualisierung von Sensordaten und/oder Messdaten

Info

Publication number: DE102017011499B4
Application number: DE102017011499.4A
Authority: DE
Inventors: Klaus Rogge; Daniela Knapp
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2017-12-13
Filing date: 2017-12-13
Publication date: 2023-02-02
Anticipated expiration: 2037-12-14
Also published as: CN111448095B; DE102017011499A1; CN111448095A; US20210070173A1; WO2019115318A1; US11858347B2

Abstract

Verfahren zur Visualisierung von Sensordaten aus dem Umfeld eines Fahrzeugs und/oder Messdaten aus dem Fahrzeug mittels Lichtmodulen (3) im Innenraum (1) des Fahrzeugs, wobeidie Sensordaten als Videodaten erfasst werden, wonach die Videodaten hinsichtlich relevanter wiedererkennbarer Strukturen ausgewertet werden, wonach die relevanten Strukturen in eine Videosequenz mit zum jeweiligen Lichtmodul (2) passenden Format übertragen werden und/oder dass nicht als Videodaten erfasste Sensordaten und/oder Messdaten über einen Algorithmus in Videosequenzen umgerechnet werden, wonach die Videosequenzen aus den verschiedenen Daten überlagert und auf den Lichtmodulen (3) angezeigt werden, und wobei ergänzend vorgespeicherte Videosequenzen zu vorgegebenen Sensordaten und/oder Messwerten aus einem Speicher (17) abgerufen und mit den anderen Videosequenzen überlagert werden, dadurch gekennzeichnet, dass anhand von Sensordaten und/oder Messwerten erfasste und erzeugte oder über den Algorithmus berechnete Videosequenzen als vorgespeicherte Videosequenzen in dem Speicher (17) abgelegt werden, wenn ihnen charakteristische Sensordaten und/oder Messwerte zugrunde liegen.

Description

Die Erfindung betrifft ein Verfahren zur Visualisierung von Sensordaten aus dem Umfeld eines Fahrzeugs und/oder Messdaten aus dem Fahrzeug mittels wenigstens ei es Lichtmoduls im Innenraum des Fahrzeugs. Die Erfindung betrifft außerdem eine Vorrichtung zur Durchführung dieses Verfahrens.
Die DE 10 2016 004 175 A1 beschreibt ein Fahrerassistenzsystem für ein Fahrzeug. Elementar ist dabei die Verarbeitung der Sensordaten und eine Anzeigeeinrichtung zur Darstellung der verarbeiteten Sensordaten. Diese ist im Wesentlichen als Lichtband ausgeführt, welche den gesamten Innenraum des Fahrzeugs umgibt. Dieses Lichtband kann beispielsweise Teil einer sogenannten ambienten Innenraumbeleuchtung des Fahrzeugs sein, bei welcher über einzelne Beleuchtungselemente eine Innenraumbeleuchtung des Fahrzeugs erfolgt. In an sich bekannter Art und Weise kann diese Innenraumbeleuchtung hinsichtlich der Helligkeit, der Farbgebung und dergleichen verschiedenen Messdaten angepasst werden oder lässt sich durch eine das Fahrzeug nutzende Person entsprechend ihrer Stimmung, programmieren. Auch eine Anpassung der Innenraumbeleuchtung beispielsweise an die Art der abgespielten Musik oder dergleichen ist dabei allgemein bekannt und möglich.
Dabei ist bei der Verwendung von Lichtmodulen, welche beispielsweise das im oben genannten Stand der Technik beschriebene Lichtband ausbilden, auch die Darstellung von komplexeren Inhalten, welche entsprechende Messwerte oder Sensordaten symbolisieren, möglich.
Die DE 10 2015 221 180 A1 beschreibt in diesem Zusammenhang die Anwendung eines zentralen Lichtsteuergeräts an eine Vielzahl von in dem Fahrzeug verteilten Peripherie-Lichtsteuergeräten, welche jeweils eine Vielzahl von Lichtquellen einer ambienten Beleuchtung entsprechend ansteuern. Der Aufbau mit den im Fahrzeug verteilten Peripherie-Lichtsteuergeräten nutzt dabei im Bereich dieser Peripherie-Lichtsteuergeräte gespeicherte Muster, um damit bestimmte Daten und Situationen darzustellen. Das zentrale Steuergerät muss dann lediglich einen entsprechenden Code für das jeweilige Muster an das Peripherie-Lichtsteuergerät übertragen. Dies ist einfach, effizient und schnell über eine herkömmliche Busanbindung möglich. Innerhalb des Peripherie-Steuergeräts wird dann der zuvor gespeicherte Datensatz abgerufen und über die ambiente Innenraumbeleuchtung entsprechend dargestellt. Der Nachteil bei diesem Aufbau besteht darin, dass nur mit vorgespeicherten Abläufen für die Beleuchtung operiert werden kann, sodass auf unterschiedliche im Verkehr auftretende Situationen und unterschiedliche in dem Fahrzeug auftretende Situationen nur sehr bedingt eingegangen werden kann, da unmöglich alle denkbaren Situationen über darauf angepasste Lichtmuster Berücksichtigung finden können und dementsprechend in den Peripherie-Lichtsteuergeräten hinterlegt sind. Eine Reaktion auf tatsächlich auftretende Ereignisse in Echtzeit ist so faktisch nicht möglich.
Die DE 10 2013 206 435 A1 offenbart ein Visualisierungssystem für eine Fahrzeugumgebung. Das Visulaisierungssystem umfasst eine Bilderfassungseinrichtung zum Erfassen von Videobildinformationen, eine Positionsbestimmungseinrichtung zum Bestimmen mindestens einer Positionsinformation eines Objekts, eine Verarbeitungseinrichtung zur Verarbeitung der Videobildinformationen und Positionsinformationen des Objekts und zur Bestimmung von optischen Informationen, insbesondere Farb- und/oder Kontur- und/oder Oberflächeninformationen, des Objekts. Mittels einer Modellierungseinrichtung wird eine dreidimensionales Modells mindestens eines Teils der Fahrzeugumgebung unter Verwendung der optischen Informationen und der Positionsinformationen einzeugt. Über eine Visualisierungseinrichtung kann daraus dann ein zweidimensionalen Abbild gereriert und über eine Anzeigeeinrichtung dargestellt werden.
Ein Informationswiedergabesystem für ein Fahrzeug ist aus der DE 10 2013 003 266 A1 bekannt, ebenso wie ein Verfahren zum Bereitstellen von Informationen für einen Benutzer eines Fahrzeugs. Das Informationswiedergabesystem visualisiert dazu Sensordaten aus der Umgebung des Fahrzeugs mittels Lichtmodulen im Innenraum des Fahrzeugs.
Zum weiteren Stand der Technik kann ferner auf die DE 10 2008 002 560 A1 sowie die DE 10 2012 223 588 A1 verwiesen werden.
Die Aufgabe der vorliegenden Erfindung besteht nun darin, ein Verfahren zur Visualisierung von Sensordaten und/oder Messdaten mittels Lichtmodulen im Innenraum des Fahrzeugs weiter zu verbessern sowie eine zur Durchführung des Verfahrens geeignete Vorrichtung anzugeben, welche eine schnelle und effiziente Umsetzung der Visualisierung auf den Lichtmodulen ermöglicht.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen im Anspruch 1, und hier insbesondere im kennzeichnenden Teil des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Unteransprüchen. Eine Vorrichtung zur Durchführung des Verfahrens mit den Merkmalen im Anspruch 6 löst die Aufgabe ebenfalls. Auch hier ergeben sich vorteilhafte Ausgestaltungen und Weiterbildungen aus den hiervon abhängigen Vorrichtungsansprüchen.
Bei dem erfindungsgemäßen Verfahren ist es so, dass zur Visualisierung von Sensordaten oder Messdaten mittels der Lichtmodule im Innenraum des Fahrzeugs die Sensordaten als Videodaten erfasst werden, beispielsweise von einer Umfeldkamera in dem Fahrzeug. Diese Umfeldkamera, - oder weitere Sensordaten, zB Radar Objekte, Fahrzeugzustände zB Rekuperation, Spracheingaben über SDS,- kann für die Steuerung von Fahrerassistenzsystemen ohnehin vorhanden sein, oder kann extra für das erfindungsgemäße Verfahren in dem Fahrzeug vorgesehen werden. Dabei kann es sich bei der Kamera nicht nur um eine einzige Kamera, sondern auch um eine Mehrzahl von Kameras handeln. Diese können alleine oder gemeinsam Bilder aus der Umgebung des Fahrzeugs erfassen, insbesondere 360°-Bilder aus der gesamten Umgebung des Fahrzeugs. Die erfassten Videodaten werden dann hinsichtlich relevanter wiedererkennbarer Strukturen ausgewertet. Diese Auswertung ermöglicht eine Reduzierung des Ablaufs der einzelnen Bildsequenzen für die Ansteuerung der Lichtmodule auf einzelne Informationen. Hier können insbesondere die für die das Fahrzeug nutzende Person interessanten Inhalte herausgearbeitet werden, beispielsweise sich in Richtung des Fahrzeugs bewegende Objekte oder dergleichen. Hierfür können verschiedenartige Bildverarbeitungsalgorithmen zum Einsatz kommen, welche basierend beispielsweise auf Farben, Bildsektoren, Geschwindigkeiten und/oder Kontrasten diese relevanten wiedererkennbaren Strukturen herausarbeiten.
Die relevanten Strukturen werden dann in eine Videosequenz mit zum jeweiligen Lichtmodul passenden Format übertragen. Je nach eingesetztem Lichtmodul, hier können insbesondere analog zum eingangs genannten Stand der Technik Lichtbänder im Innenraum des Fahrzeugs zum Einsatz kommen, liegt die Auflösung häufig bei nur wenigen einzelnen Leuchtpunkten, beispielsweise in der Höhe des Lichtmoduls. Die Videodaten können also nicht einfach als „Film“ abgespielt werden. Daher werden die relevanten Strukturen herausgearbeitet und in ein zum jeweiligen Lichtmodul passendes Format übertragen, über dort charakteristische Strukturen anzeigen zu können.
Alternativ oder insbesondere ergänzend dazu können nicht als Videodaten erfasste Sensordaten, beispielsweise von Umfeldsensoren des Fahrzeugs, aber auch von Innenraumsensoren oder von Sensoren, welche entsprechende Einstellungen beispielsweise der Klimaanlage erfassen, verarbeitet werden. Wiederum ergänzend oder alternativ zu diesen Sensordaten können auch Messdaten verarbeitet werden, welche beispielsweise aus dem Bereich der Telematik des Fahrzeugs stammen können. Sensordaten und Messdaten können sich dabei inhaltlich teilweise überlappen, wobei dies für die hier vorliegende Erfindung von untergeordneter Bedeutung ist. Auf Basis dieser Sensordaten und/oder Messdaten, welche nicht als Videodaten vorliegen, lässt sich über geeignete Algorithmen ebenfalls eine im Format beziehungsweise der Auflösung zu dem jeweiligen Lichtmodul passende Videosequenz errechnen. So können bestimmte Messdaten beispielsweise aus der Telematik des Fahrzeugs oder aus Fahrerassistenzsystemen also über geeignete Algorithmen in analoge die Daten charakteristisch wiedergebende Videosequenzen umgewandelt werden.
Die Videosequenzen aus den Videodaten einerseits und aus den Messdaten und/oder Sensordaten andererseits werden dann miteinander überlagert und als Gesamtvideosequenz auf den Lichtmodulen entsprechend dargestellt. Über die Darstellung der Daten auf den Lichtmodulen wird also immer die aktuelle Situation versinnbildlicht, sodass diese für eine das Fahrzeug nutzende Person intuitiv erfassbar wird.
Ergänzend zu der aktuellen Erzeugung der Videosequenzen werden für bestimmte immer wiederkehrende Situationen, insbesondere solchen aus dem Bereich der Komfortsteuerung oder der Telematik vorgespeicherte Videosequenzen ergänzend zu den aktuell erzeugten Videosequenzen aus einem Speicher abgerufen und mit den anderen Videosequenzen überlagert werden. Für bestimmte Situationen, welche tatsächlich immer wieder in genau der gleichen Art wiederkehren, kann also eine vorgespeicherte oder durch den Nutzer per Kauf aktualisierbare, Videosequenz verwendet werden, um den Rechenaufwand zu reduzieren. Diese vorgespeicherten Videosequenzen können dabei insbesondere für eindeutig identische Situationen, welche durch die Sensordaten beziehungsweise Messdaten erfasst worden sind, hinterlegt werden. Dies kann beispielsweise Warnsignale aus dem Fahrzeug betreffen, wie ein nicht geschlossener Sicherheitsgurt, eine nicht gänzlich geschlossene Tür oder dergleichen. Ebenso ist dies denkbar, beispielsweise um Temperaturen, bestimmte Einstellungen der Klimaanlage oder dergleichen zu visualisieren. Für in der Umgebung des Fahrzeugs über die Sensordaten, insbesondere Videodaten erfassten Situationen wird ein Speichern in der Praxis eher eine untergeordnete Rolle spielen, da sich hier die Situationen in der Praxis wohl sehr selten in exakt identischer Art und Weise wiederholen werden.
Das erfindungsgemäße Verfahren sieht es dabei vor, dass für den Fall, dass vorgespeicherte Videosequenzen zu bestimmten Sensordaten und/oder Messdaten aus einem Speicher abgerufen werden, neue anhand von Sensordaten und/oder Messdaten erfasste und erzeugte oder über den Algorithmus berechnete Videosequenzen als vorgespeicherte Videosequenzen in diesen Speicher abgelegt werden, wenn ihnen charakteristische Sensordaten und/oder Messdaten zugrunde liegen, deren Wiederauftreten zu erwarten ist. Über den Speicher können also auch aktuelle Videosequenzen als vorgespeicherte Videosequenzen für die Zukunft abgelegt werden. Dabei können bestehende Videosequenzen überschrieben werden und es können neue Videosequenzen hinterlegt werden, wenn bestimmte Situationen als häufiger identisch auftretend zu erwarten sind. Das System kann also bestimmte Dinge quasi „lernen“, um so in zukünftigen identischen Situationen Rechenaufwand einzusparen und dann auf die neu vorgespeicherten Videosequenzen zurückgreifen zu können.
Gemäß einer vorteilhaften Weiterbildung der Idee werden die Videosequenzen auf den Lichtmodulen dabei als Livedaten angezeigt. Diese Umsetzung der Videosequenzen als Livedaten erfordert eine entsprechend hohe Leistung bei der Verarbeitung der Videodaten beziehungsweise der Berechnung von Videosequenzen aus den Sensordaten und/oder Messdaten. Die Visualisierung der aufgenommenen Daten „live“ auf den Lichtmodulen des Fahrzeugs ist jedoch ein entscheidender Gewinn für die das Fahrzeug nutzende Person, da ergänzend zu ihrer Wahrnehmung der Umgebung zeitgleich die Visualisierung in den Lichtmodulen erfolgt, was für die verbesserte Wahrnehmung und zur Schärfung der Aufmerksamkeit von besonderem Vorteil ist, da ein Zeitversatz hier die das Fahrzeug nutzende Person eher ablenken oder verwirren würde.
Die Benutzung von Livedaten hat zudem die folgenden Vorteile:

Hierdurch kann eine flexible Reaktion auf die Messdaten erfolgen, selbst dann, wenn die ansteuernden Systeme vom Kunden durch einen Zukauf / Upgrade etc. verändert werden oder wurden.
Zudem können dann auch die System/System Schnittstellen flexibel bzw. veränderbar ausgebildet werden.
Eine weitere sehr vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht es außerdem vor, dass ergänzend zu den Lichtmodulen ambiente Beleuchtungselemente in dem Fahrzeug vorgesehen sind, welche in Abhängigkeit der in den Lichtmodulen angezeigten Videosequenzen angesteuert werden. Die Lichtmodule sind insbesondere nur ein Teil der sogenannten ambienten Innenraumbeleuchtung des Fahrzeugs. Das Fahrzeug verfügt über weitere Beleuchtungselemente für die ambiente Innenraumbeleuchtung, beispielsweise hinsichtlich ihrer Farbe und Intensität ansteuerbaren lichtemittierenden Dioden, welche in größerer Anzahl über verschiedene Bereiche des Fahrzeugs verteilt sind, insbesondere so, dass sie für eine indirekte Beleuchtung sorgen. Auch diese Beleuchtungselemente lassen sich nun gemäß der beschriebenen vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens in Abhängigkeit der Videosequenzen entsprechend ansteuern, sodass ein stimmiges Gesamtbild der Beleuchtung erzielt wird, um so die positive Wahrnehmbarkeit für eine das Fahrzeug steuernde beziehungsweise das Fahrzeug als Begleitperson nutzende Person zu ermöglichen.

Eine sehr günstige Ausgestaltung des erfindungsgemäßen Verfahrens sieht es ferner vor, dass die Überlagerung der Videosequenzen in Abhängigkeit einer Priorisierung der ihnen zugrunde liegenden Datenquellen erfolgt. Die Videosequenzen können also entsprechend priorisiert beziehungsweise gewichtet überlagert werden, sodass bestimmte Videosequenzen höher gewichtet werden und beispielsweise durch eine höhere Lichtintensität oder stärkere Kontraste in dem überlagerten Gesamtbild der Videosequenzen stärker auffallen beziehungsweise besser wahrnehmbar sind. Dies hat den Vorteil, dass die Anzeige der Videosequenzen dynamisch möglich ist und die Videoschichten spontan auf Änderungen in der Umgebung reagieren können. insbesondere kann dies in Abhängigkeit der Datenquelle erfolgen. Videosequenzen, welche auf Daten basieren, die beispielsweise von sicherheitsrelevanten Sensoren oder Messfühlern erzeugt worden sind, beispielsweise im Bereich von in der Umgebung des Fahrzeugs erfassten Objekten wie beispielsweise Hindernissen oder dergleichen, werden entsprechend höher bewertet als beispielsweise Messdaten oder Sensordaten aus einer Komfortsteuerung des Fahrzeugs, also beispielsweise aus dem Bereich einer Klimaanlage, einer Anlage zum Abspielen von Medien oder dergleichen.
Die Videosequenzen zur Ansteuerung beziehungsweise zu ihrer Darstellung in den einzelnen Lichtmodulen lassen sich dabei direkt zu den Lichtmodulen übertragen oder gemäß einer sehr günstigen Ausgestaltung des erfindungsgemäßen Verfahrens über einen Umsetzer, über welchen die Lichtmodule angesteuert werden. Ein solcher Umsetzer, welcher in der Softwaretechnik auch als Overlaying/Blending-Algorithmus bezeichnet wird, ermöglicht die Umsetzung an Lichtmodule beispielsweise unterschiedlicher Länge, sodass die Videosequenzen immer in der gleichen Art und Weise an diesen Umsetzer weitergegeben werden, welcher sie dann entsprechend der Hardware der Lichtmodule anpasst. Damit ist eine immer vergleichbare Darstellung auf den einzelnen Lichtmodulen, auch wenn diese unterschiedliche Auflösungen aufweisen sollten, gewährleistet.
Die erfindungsgemäße Vorrichtung zur Durchführung des oben beschriebenen Verfahrens in einer oder mehreren der beschriebenen Ausführungsvarianten sieht es vor, dass die ambiente Fahrzeugbeleuchtung zumindest Lichtmodule in dem Fahrzeug umfasst. Über ein zentrales Steuergerät, welches zum Erzeugen der Videosequenzen aus den Videodaten und zum Berechnen der Videosequenzen aus den Sensordaten und/oder Messdaten ausgebildet ist, und welches ferner zur Überlagerung der Videosequenzen ausgebildet ist, werden die Gesamtvideosequenzen aus der Überlagerung für die einzelnen Lichtmodule erzeugt. Dabei ist das zentrale Steuergerät über einen solitären Hochgeschwindigkeitsbus mit den Lichtmodulen direkt oder mittelbar über den oben gemäß einer vorteilhaften Weiterbildung des Verfahrens angesprochenen Umsetzer, verbunden. Das zentrale Steuergerät verarbeitet also die Daten und überlagert die Videosequenzen miteinander. Es ist dadurch in der Lage, über einen solitären Hochgeschwindigkeitsbus, beispielsweise einen Highspeed-CAN-FD-Bus die Videosequenzen an die Lichtmodule zu übertragen, sodass eine Anzeige quasi in Echtzeit möglich ist. Hierdurch wird die oben beschriebene mit den entsprechenden Vorteilen verbundene Livedarstellung der Videosequenzen in Abhängigkeit der Sensordaten und/oder Messdaten ermöglicht.
Wie bereits erwähnt, können die Lichtmodule gemäß einer vorteilhaften Weiterbildung als umlaufendes Lichtband im Fahrzeug ausgebildet sein. Ein solches umlaufendes Lichtband, wie es prinzipiell aus der DE 10 2016 004 175 A1 bekannt ist, eignet sich insbesondere, um die Videosequenzen basierend auf den Sensordaten und/Messdaten in der Richtung von der das Fahrzeug nutzenden, insbesondere steuernden Person aus anzuzeigen, in welcher diese Daten relevant sind, beispielsweise um einen Abgleich mit dem das Fahrzeug umgebenden Verkehr zu gewährleisten.
Eine sehr vorteilhafte Ausgestaltung der erfindungsgemäßen Vorrichtung sieht es außerdem vor, dass die ambiente Fahrzeugbeleuchtung zusätzlich zu den Lichtmodulen ambiente Beleuchtungselemente umfasst, welche mit einem Basissteuergerät verbunden sind, welches eine Datenverbindung zu dem zentralen Steuergerät aufweist. Ein solches Basissteuergerät für die ambiente Beleuchtung ist so prinzipiell für eine ambiente Beleuchtung immer vorhanden. Dieses Basissteuergerät weist nun in dieser vorteilhaften Weiterbildung der erfindungsgemäßen Ausgestaltung der Vorrichtung eine Datenverbindung zu dem zentralen Steuergerät auf. Hierdurch wird es möglich, wie es oben beim Verfahren bereits angedeutet worden ist, dass Daten zwischen dem zentralen Steuergerät und dem Basissteuergerät ausgetauscht werden. Somit lassen sich die Beleuchtungselemente der ambienten Beleuchtung, welche zusätzlich zu den Lichtmodulen vorhanden sind, entsprechend der Videosequenzen, welche auf den Lichtmodulen angezeigt werden, anpassen, um so eine schlüssige Gesamtstimmung in der ambienten Innenraumbeleuchtung des Fahrzeugs zu erreichen.
Eine vorteilhafte Weiterbildung der erfindungsgemäßen Vorrichtung kann es außerdem vorsehen, dass ein Speicher für vorgespeicherte Videosequenzen in dem zentralen Steuergerät vorgesehen oder direkt mit diesem verbunden ist. Durch die direkte Anbindung des Speichers für die vorgespeicherten Videosequenzen wird auch hier eine schnelle, einfache und effiziente Einbindung dieser vorgespeicherten Videosequenzen in die Überlagerung aller Videosequenzen innerhalb des zentralen Steuergeräts gewährleistet, welches die Daten dann entsprechend schnell über den solitären Hochgeschwindigkeitsbus, welcher ausschließlich für die Videodaten vorgesehen ist, übertragen kann. Auch dies ist für die Visualisierung der Sensordaten und/oder Messdaten über die Videosequenzen ohne für eine das Fahrzeug nutzende Person erkennbare Zeitverzögerung von großem Vorteil.
Weitere vorteilhafte Ausgestaltungen der Idee ergeben sich auch aus dem Ausführungsbeispiel, welches nachfolgend unter Bezugnahme auf die Figuren näher dargestellt ist.
Dabei zeigen:

1 eine Prinzipdarstellung des Innenraums eines Fahrzeugs mit einer ambienten Innenraumbeleuchtung;
2 eine Steuerungsarchitektur als Vorrichtung zur Durchführung des Verfahrens; und
3 eine Visualisierung der Abläufe im zentralen Steuergerät.

In der Darstellung der 1 ist der Innenraum 1 eines in seiner Gesamtheit nicht dargestellten Fahrzeugs zu erkennen. Dieser Innenraum 1 des Fahrzeugs verfügt über eine ambiente Fahrzeugbeleuchtung beziehungsweise ambiente Innenraumbeleuchtung. Diese umfasst in dem hier dargestellten Ausführungsbeispiel ein mit 2 bezeichnetes Lichtband, welches um den Innenraum 1 des Fahrzeugs umlaufend ausgebildet ist. Dieses Lichtband 2 kann insbesondere in mehrere einzelne Lichtmodule unterteilt sein, beispielsweise acht einzelne Lichtmodule, welche hier jeweils mit 3 bezeichnet sind. Die ambiente Innenraumbeleuchtung des Fahrzeugs umfasst außerdem eine Vielzahl von einzelnen ambienten Beleuchtungselementen 4, welche beispielsweise als lichtemittierende Dioden zur indirekten Beleuchtung des Fahrzeugs, beispielsweise des Fußraums, ausgebildet sein können. In der Darstellung der 1 sind nur einige dieser ambienten Beleuchtungselemente mit dem Bezugszeichen 4 versehen. In Summe können hier beispielsweise bis zu 150 einzelne hinsichtlich ihrer Farbe und ihrer Lichtintensität ansteuerbare lichtemittierende Dioden als Beleuchtungselemente 4 vorgesehen sein. Das Fahrzeug umfasst außerdem verschiedene Sensoren und Messwertaufnehmer, deren Daten insbesondere über die Lichtmodule 3 des umlaufenden Lichtbandes 2 visualisiert werden sollen.
In der Darstellung der 2 sind verschiedene Gruppen von Sensoren und Messwertaufnehmern angedeutet. So sollen beispielsweise über die mit 5 bezeichnete Box alle den Komfort betreffende Sensoren und Messwertaufnehmer zusammengefasst sein. Diese können beispielsweise Einstellungen innerhalb des Innenraums 1 des Fahrzeugs erfassen, insbesondere Einstellungen einer Klimaanlage, einer Soundanlage, einer Sitzheizung, einer Einstellung der Sitze oder dergleichen. In der mit 6 bezeichneten Box sind Sensoren der Fahrerassistenzsysteme zusammengefasst, welche beispielsweise Objekte im Umfeld des Fahrzeugs erkennen, welche andere Fahrzeuge erkennen, welche die Abweichung des Fahrzeugs von einer Fahrspur erfassen und dergleichen. Die in der Box 6 zusammengefassten Sensoren werden außerdem durch wenigstens eine Kamera ergänzt, welche durch die Box 8 entsprechend symbolisiert ist, und welche durchaus Teil der Sensorik der Fahrerassistenz 6 sein kann. Mit der Box 7 sind ferner Messwerte und Sensordaten aus dem Bereich der Telematik 7 angedeutet. All diese Daten werden über eine Datenverbindung zu einem zentralen Steuergerät 9 übertragen, beispielsweise über einen Ethernet-Bus, welcher hier angedeutet und mit 10 bezeichnet ist.
Das zentrale Steuergerät 9 ist seinerseits über den Ethernet-Bus 10 mit einem Basissteuergerät 11 für die ambiente Fahrzeugbeleuchtung verbunden. Über einen linearen Bus 12 für beispielsweise bis zu 150 einzeln adressierbaren Beleuchtungselementen 4 kann über dieses Basissteuergerät 11 für die ambiente Beleuchtung des Fahrzeuginnenraums 1 eine Ansteuerung der einzelnen Beleuchtungselemente hinsichtlich Farbe und Lichtintensität, je nach Ort, an dem die einzelnen Beleuchtungselemente 4 angeordnet sind, erfolgen.
Das zentrale Steuergerät 9 ist außerdem über einen solitären Highspeed-CAN-FD-Bus als Videolink mit den einzelnen Lichtmodulen 3, hier also den acht Lichtmodulen 3 des Lichtbands 2 verbunden. Hierdurch ist es möglich, beispielsweise bis zu 100 LEDs je Lichtmodul 3 in einem ein- oder mehrzeiligen Videodisplay sehr schnell anzusteuern.
Das zentrale Steuergerät 9 übernimmt nun im Wesentlichen drei verschiedene Aufgaben, welche in der Darstellung der 3 schematisch angedeutet sind. Über den Ethernet-Bus 10 gelangen die Daten in den Bereich des zentralen Steuergeräts und hier zuerst in eine in zwei Blöcke 14.1 und 14.2 unterteilte Einheit für das Video Processing. In dieser Einheit 14, welche auch als Videoprozessor bezeichnet werden kann, werden beispielsweise die Daten der wenigstens einen Kamera 8 entsprechend aufbereitet, um basierend auf Farben, Bildsektoren, Geschwindigkeiten und Kontrasten die Videodaten nach relevanten wiedererkennbaren Strukturen auszuwerten und die Informationen zum zeitlichen Ablauf der einzelnen Bildfrequenzen aufzugreifen. Die Daten werden dann für die Ansteuerung der Lichtmodule 3 aufbereitet und nutzbar gemacht, insbesondere, indem diese an das Darstellungsformat der jeweiligen Lichtmodule 3 angepasst werden, beispielsweise ein einzeiliges Videodisplay mit bis zu 100 Spalten. Letztlich werden im Bereich 14.1 des Videoprozessors 14 also die interessanten Inhalte der aufgenommenen Videodaten herausgearbeitet.
Darüber hinaus ist es so, dass wie bereits erwähnt, über den Ethernet-Bus 10 auch Daten aus dem Bereich Komfort (5), Fahrerassistenz (6) und Telematik (7) eingehen. Auch diese Daten können über Algorithmen bei Bedarf in Videosequenzen, welche jeweils passend zur Ansteuerung der einzelnen Lichtmodule 3 des Lichtbandes 2 formatiert sind, bearbeitet werden. Die Videosequenzen aus dem Videoprozessor 14 gelangen dann in einen Videoparser 15, in welchem sie überlagert werden. Die gesamte Überlagerung der Videos, beispielsweise die Überlagerungen von bis zu fünf einzelnen Videos, welche aus verschiedenen Datenquellen in den Bereichen 14.1 und/oder 14.2 des Videoprozessors 14 erstellt worden sind, lassen sich so prioritätsgesteuert zu einer Gesamtvideosequenz überlagern. Die Prioritätssteuerung ist dabei sinnvoll, um beispielsweise sicherheitsrelevante Informationen höher zu priorisieren und zu gewichten als komfortrelevante Informationen. Hierdurch ergibt sich ein Gesamtvideo, welches alle Informationen prinzipiell erkennbar macht, die für den Nutzer des Fahrzeugs wichtigeren Informationen jedoch höher priorisiert und damit durch eine entsprechende Wahl von Lichtintensitäten und Kontrasten in dem Gesamtvideo leichter erkennbar macht.
Die Daten dieses Gesamtvideos werden dann direkt oder wie in dem in 3 dargestellten Ausführungsbeispiel über einen Umsetzer 16, welcher auch als Mapper bezeichnet wird, auf die acht Lichtmodule 3 übertragen. Der bereits angesprochene solitäre Highspeed-CAN-FD-Bus kann dafür beispielsweise in Form von vier CAN-FD-Bussen ausgelegt sein, welche jeweils zwei der Lichtmodule 3 ansteuern. Hierdurch ist es möglich, die Videosequenzen quasi in Echtzeit auf die Lichtmodule 3 zu übertragen und so eine Liveanzeige der aufgenommenen Sensordaten und Messwerte durch die Videosequenzen in den einzelnen Lichtmodulen 3 des Lichtbands 2 zu erreichen.
Der Umsetzer beziehungsweise Mapper 16 „mappt“ quasi die einzelnen Videopixel des aus dem Videoparser 15 stammenden Gesamtvideos auf die einzelnen Lichtmodule 3 beziehungsweise die ihnen zugeordneten CAN-FD-Busse 13. Hierdurch können auch unterschiedlich lange Lichtmodule angesteuert werden, ohne dass die Videosequenzen dies bereits berücksichtigen müssen. Über das zentrale Steuergerät 9 mit dem Mapper 16 werden die einzelnen Videopixels des Gesamtvideos also für die Lichtmodule 3 direkt aufbereitet, sodass die Lichtmodule 3 insgesamt außerordentlich einfach konzipiert sein können.
Außerdem ist ein externer Speicher 17 vorgesehen, welcher in dem zentralen Steuergerät 9 angeordnet oder direkt mit diesem verbunden ist. Dieser zentrale Speicher 17 umfasst vorgespeicherte Videosequenzen, welche bei bestimmten Situationen, welche durch Sensordaten und/oder Messdaten erfasst werden können, eine sinnvolle Visualisierung dieser Daten ermöglichen. In diesem Fall kann der Rechenaufwand im Abschnitt 14.2 des Videoprozessors 14 eingespart werden. Dabei werden diese Videos aus dem Speicher 17 zusätzlich zu den anderen Videos in dem Videoparser 15 überlagert. Dies ist in der Darstellung der 3 entsprechend angedeutet.
Außerdem kann über den Videoparser 15 oder auch über den Videoprozessor 14 eine neu erzeugte Videosequenz in dem Speicher 17 abgelegt werden, um sie zu einem zukünftigen Zeitpunkt als vorgespeicherte Videosequenz nutzen zu können.
Das zentrale Steuergerät 9 steht außerdem über den Ethernet-Bus 10 in Verbindung zu dem Basissteuergerät 11, wie es sich auch aus der Darstellung der 2 entsprechend ergibt. Die Daten aus dem zentralen Steuergerät 9, und hier insbesondere die Daten bezüglich des Gesamtvideos aus dem Videoparser 15 können so an das Basissteuergerät 11 übermittelt werden. Dieses ist dann in der Lage, die einzelnen Beleuchtungselemente 4 der ambienten Innenraumbeleuchtung hinsichtlich ihrer Farbe und Lichtintensität am jeweiligen Ort an die im Bereich des Lichtbandes 2 ablaufende Gesamtvideosequenz anzupassen, um so ein schlüssiges Gesamtbild der Innenraumbeleuchtung zu erhalten und die gewünschten Informationen intuitiv an die das Fahrzeug nutzende Person zu übermitteln.
Auf den Mapper 16 kann selbstverständlich auch verzichtet werden, wenn eine entsprechende Aufbereitung der Videosequenzen bereits im Bereich des Videoprozessors 14 und des Gesamtvideos im Videoparser 15 erfolgt ist. Die Daten können dann direkt vom Videoparser 15 auf die einzelnen Lichtmodule 3 übertragen werden, insbesondere wenn diese untereinander identisch ausgebildet sind und dieselbe Abmessung und Pixelauflösung aufweisen.

Claims

Verfahren zur Visualisierung von Sensordaten aus dem Umfeld eines Fahrzeugs und/oder Messdaten aus dem Fahrzeug mittels Lichtmodulen (3) im Innenraum (1) des Fahrzeugs, wobeidie Sensordaten als Videodaten erfasst werden, wonach die Videodaten hinsichtlich relevanter wiedererkennbarer Strukturen ausgewertet werden, wonach die relevanten Strukturen in eine Videosequenz mit zum jeweiligen Lichtmodul (2) passenden Format übertragen werden und/oder dass nicht als Videodaten erfasste Sensordaten und/oder Messdaten über einen Algorithmus in Videosequenzen umgerechnet werden, wonach die Videosequenzen aus den verschiedenen Daten überlagert und auf den Lichtmodulen (3) angezeigt werden, und wobei ergänzend vorgespeicherte Videosequenzen zu vorgegebenen Sensordaten und/oder Messwerten aus einem Speicher (17) abgerufen und mit den anderen Videosequenzen überlagert werden, dadurch gekennzeichnet, dass anhand von Sensordaten und/oder Messwerten erfasste und erzeugte oder über den Algorithmus berechnete Videosequenzen als vorgespeicherte Videosequenzen in dem Speicher (17) abgelegt werden, wenn ihnen charakteristische Sensordaten und/oder Messwerte zugrunde liegen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Videosequenzen auf den Lichtmodulen (3) als Livedaten angezeigt werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass ergänzend zu den Lichtmodulen (3) ambiente Beleuchtungselemente (4) in dem Fahrzeug vorgesehen sind, welche in Abhängigkeit der in den Lichtmodulen (3) angezeigten Videosequenzen angesteuert werden.
Verfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass die Überlagerung der Videosequenzen in Abhängigkeit einer Priorisierung der ihnen zugrunde liegenden Datenquellen erfolgt.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Lichtmodule (3) über einen Umsetzer (16) angesteuert werden.
Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 5, mit einer ambienten Fahrzeugbeleuchtung, welche zumindest Lichtmodule (3) in dem Fahrzeug umfasst, mit einem zentralen Steuergerät (9), welches zum Erzeugen der Videosequenzen aus den Videodaten und zum Berechnen der Videosequenzen aus den Sensordaten und/oder Messwerten ausgebildet ist, und welche ferner zur Überlagerung der Videosequenzen aus den unterschiedlichen Quellen, darunter einem Speicher (17) für vorgespeicherte Videosequenzen, ausgebildet ist, wobei das zentrale Steuergerät (9) über einen solitären Hochgeschwindigkeitsbus (13) mit den Lichtmodulen (3) direkt oder mittelbar verbunden ist.
Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die Lichtmodule (3) als umlaufendes Lichtband (2) in dem Fahrzeug ausgebildet sind.
Vorrichtung nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die ambiente Fahrzeugbeleuchtung zusätzlich zu den Lichtmodulen (3) ambiente Beleuchtungselemente (4) umfasst, welche mit einem Basissteuergerät (11) verbunden sind, welches eine Datenverbindung (10) zu dem zentralen Steuergerät (9) aufweist.
Vorrichtung nach Anspruch 6, 7 oder 8, dadurch gekennzeichnet, dass ein Speicher (17) für vorgespeicherte Videosequenzen in dem zentralen Steuergerät (9) vorgesehen oder direkt mit diesem verbunden ist.