DE102022110759A1

DE102022110759A1 - Verfahren zur Ausgabe von Bilddaten für ein Kraftfahrzeug, Computerprogramm, Datenverarbeitungsvorrichtung und Kraftfahrzeug

Info

Publication number: DE102022110759A1
Application number: DE102022110759.0A
Authority: DE
Inventors: Manuel Schiller
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2022-05-02
Filing date: 2022-05-02
Publication date: 2023-11-02

Abstract

Bereitgestellt wird ein Verfahren (100) zur Ausgabe von Bilddaten für ein Kraftfahrzeug (10), das Verfahren (100) weist die Schritte auf: Erfassen (110) von kontextbezogenen Daten (20); Ermitteln (120) einer Personalisierungsinformation (21) anhand der kontextbezogenen Daten; Ermitteln und Ausgeben (130) von Ausgabebilddaten (22) anhand der Personalisierungsinformation (21).

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Ausgabe von Bilddaten für ein Kraftfahrzeug, und eine Datenverarbeitungsvorrichtung, die ausgestaltet ist, um das Verfahren zumindest teilweise auszuführen. Ferner wird ein automatisiertes Kraftfahrzeug mit der Datenverarbeitungsvorrichtung bereitgestellt. Zusätzlich oder alternativ wird ein Computerprogramm bereitgestellt, das Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren zumindest teilweise auszuführen. Zusätzlich oder alternativ wird ein computerlesbares Medium bereitgestellt, das Befehle umfasst, die bei der Ausführung der Befehle durch einen Computer diesen veranlassen, das Verfahren zumindest teilweise auszuführen.
Gemäß dem Stand der Technik kann Fahrzeug-Interieur in einem geringen Umfang personalisiert werden. Beispielsweise kann zur Auswahl einer Farbe für eine Innenraumbeleuchtung eine Innenraumkamera verbaut werden. Derartige Vorrichtungen und Verfahren sind aus dem Stand der Technik bekannt.
DE 10 2018 005 461 A1 offenbart eine Vorrichtung zur Steuerung einer Innenraumbeleuchtung für ein Fahrzeug, mit einer Farbsteuerung zur Beeinflussung der emittierten Lichtfarbe von Leuchtmitteln der Innenraumbeleuchtung, und mit einem optischen Scanner zur Erfassung zumindest der Farbe eines Gegenstands, welcher zumindest mittelbar mit der Farbsteuerung verbunden ist, sodass die Beleuchtungsfarbe der erfassten Farbe anpassbar ist.
DE 10 2012 002 564 A1 offenbart einen Kraftwagen mit mindestens einem im Innenraum des Kraftwagens angeordneten Leuchtmittel, mit einer Informationserfassungseinrichtung, welche dazu ausgelegt ist, eine Information zu erfassen und einer Steuereinrichtung, mittels welcher das mindestens eine Leuchtmittel in Abhängigkeit von der durch die Informationserfassungseinrichtung erfassten Information steuerbar ist.
US 2017/0318266 A1 offenbart ein personalisiertes Umgebungslicht.
Ein Kraftfahrzeug, insbesondere ein Fahrzeug-Interieur, soll möglichst umfassend personalisierbar sein, um eine möglichst hohe Identifikation eines Passagiers, beispielsweise eines Fahrers und/oder Insassen, mit dem Fahrzeug zu erreichen und damit dieser sich im Fahrzeug wohl fühlt. Eine optische Personalisierung kann derzeit nur manuell durch den Passagier erfolgen.
Vor dem Hintergrund dieses Standes der Technik besteht die Aufgabe der vorliegenden Erfindung darin, ein Verfahren anzugeben, welches geeignet ist, zumindest die oben genannten Nachteile des Standes der Technik zu überwinden.
Gelöst wird die Aufgabe durch die Merkmale des unabhängigen Anspruchs. Die Unteransprüche haben bevorzugte Weiterbildungen der Erfindung zum Inhalt.
Danach wird die Aufgabe durch ein Verfahren zur Ausgabe von Bilddaten für ein Kraftfahrzeug gelöst. Das Verfahren weist die Schritte auf: Erfassen von kontextbezogenen Daten; Ermitteln einer Personalisierungsinformation anhand der kontextbezogenen Daten; Ermitteln und Ausgeben von Ausgabebilddaten anhand der Personalisierungsinformation.
Das Verfahren erzielt eine Ausgabe von Bilddaten auf einer fahrzeugseitigen Ausgabevorrichtung. Die Bilddaten umfassen beispielsweise eine Pixeldarstellung eines Bildes. Damit ist eine gegenüber dem Stand der Technik verbesserte Möglichkeit der Individualisierung beziehungsweise Personalisierung des Kraftfahrzeugs möglich. Die Ausgabebilddaten können statisch und/oder dynamisch sein. Damit ist auch die Ausgabe von Bewegtbildern beziehungsweise Videos möglich.
Zunächst werden die kontextbezogenen Daten erfasst. Die kontextbezogenen Daten betreffen und/oder sind repräsentativ für einen Kontext beziehungsweise ein Szenario, in den sich das Kraftfahrzeug und/oder ein Passagier beziehungsweise künftiger Passagier befindet. Im Folgenden wird ein Passagier, insbesondere ein Fahrer und/oder Insasse des Kraftfahrzeugs, und/oder ein voraussichtlicher Passagier als Nutzer bezeichnet. Die kontextbezogenen Daten können durch eine oder mehrere Sensorvorrichtungen des Kraftfahrzeugs erfasst werden und/oder an das Kraftfahrzeug übermittelt werden, um vom Kraftfahrzeug erfasst zu werden. Damit ist eine umfassende Charakterisierung des Kontexts möglich.
Anhand der kontextbezogenen Daten wird die Personalisierungsinformation ermittelt. Die kontextbezogenen Daten werden verarbeitet, um die Personalisierungsinformation zu ermitteln. Die Personalisierungsinformation kann aus den kontextbezogenen Daten extrahiert werden. Die Personalisierungsinformation betrifft die Identifizierung des Kontexts und ermöglicht so die nutzer- und/oder kontextspezifische Personalisierbarkeit des Kraftfahrzeugs.
Auf Grundlage der Personalisierungsinformation werden Ausgabebilddaten ermittelt. Die Ausgabebilddaten können fahrzeugintern ermittelt werden und/oder an das Kraftfahrzeug übermittelte Bilddatenbestandteile umfassen. Die ermittelten Ausgabebilddaten können derart ausgeben werden, dass ein Nutzer die Ausgabebilddaten visuell wahrnehmen kann. Die Ausgabe der Ausgabebilddaten erzielt eine optische Veränderung des Kraftfahrzeugs, die auf den Nutzer und/oder Kontext abgestimmt sein kann.
Bei dem Ermitteln der Personalisierungsinformation kann ein Identifizieren eines Nutzers erfolgen. Beispielsweise kann dafür das Erfassen der kontextbezogenen Daten ein Erfassen von personenbezogenen Daten erfolgen. Dafür kann beispielsweise eine fahrzeugseitige Kamera Bilddaten mit einem Nutzer betreffende Bilddaten erfassen. Aus den Bilddaten kann die Identität des Nutzers ermittelt werden, um die Ausgabebilddaten nutzerspezifisch erstellen zu können.
Alternativ oder zusätzlich kann bei dem Ermitteln der Personalisierungsinformation ein Ermitteln eines Bekleidungsmerkmals erfolgen. Dafür kann beispielsweise eine fahrzeugseitige Kamera Bilddaten mit einem Nutzer und einer Bekleidung dessen betreffende Bilddaten erfassen. Aus den Bilddaten kann das Bekleidungsmerkmal ermittelt werden, um die Ausgabebilddaten bezogen auf das Bekleidungsmerkmal erstellen zu können. Das Bekleidungsmerkmal kann beispielsweise ein Logo, eine Marke, ein Muster und/oder eine Farbinformation umfassen, um die Bekleidung umfassend charakterisieren zu können und dementsprechend eine zielgenaue Personalisierung vornehmen zu können.
Das Ermitteln der Personalisierungsinformation kann eine Abfrage von Informationen in einer fahrzeugseitigen und/oder fahrzeugexternen Datenbank umfassen. Die Informationen können Personalisierungsinformationen sein. Anhand der Informationen kann der Kontext definiert werden, um eine zielgerichtete Personalisierbarkeit zu erzielen. Beispielsweise können dafür die Position des Kraftfahrzeugs, die Uhrzeit und/oder das Datum als kontextbezogene Daten erfasst werden. Aus den kontextbezogenen Daten kann als Personalisierungsinformation unter Zugriff auf eine fahrzeugexterne Datenbank, beispielsweise über das Internet, eine Veranstaltung in einer Umgebung des Kraftfahrzeugs betreffende Information abgefragt werden. Hinsichtlich der Veranstaltung können die Bilddaten ermittelt werden.
Alternativ oder zusätzlich kann das Ermitteln der Ausgabebilddaten eine Abfrage von Bilddaten in einer fahrzeugseitigen und/oder fahrzeugexternen Datenbank umfassen. Beispielsweise kann ein ermitteltes Bekleidungsmerkmal mit einem vorbestimmten Muster, einer Marke, einem Logo und/oder einem Farbschema als Merkmalstemplate verknüpft sein. Anhand des Merkmalstemplates können die Ausgabebilddaten ermittelt werden. Beispielsweise umfasst das Merkmalstemplate ein Muster in Form einer Pixelgrafik, die örtlich periodisch reproduziert werden kann, um eine flächige und sich wiederholende Darstellung des Musters zu erzielen. Das Merkmalstemplate kann als Information in der Datenbank abrufbar sein.
Das Ermitteln der Ausgabebilddaten kann derart erfolgen, dass die Ausgabebilddaten farblich und/oder in Hinblick auf ein Darstellungsmerkmal auf die kontextbezogenen Daten abgestimmt sind. Dabei kann das Abstimmen unter Zugriff auf eine fahrzeugseitige und/oder fahrzeugexterne Datenbank erfolgen. Das Darstellungsmerkmal kann dabei ein Logo, eine Marke, ein Muster und/oder eine Farbinformation umfassen. Eine farbliche Abstimmung kann Informationen bezüglich eines eine oder mehrere Farben umfassendes Farbschema aufweisen.
Die Verfahrensschritte können nutzerspezifisch für eine Mehrzahl von Nutzern durchgeführt werden. Beispielsweise kann das Verfahren für mehrere Ausgabevorrichtungen des Kraftfahrzeugs nutzerspezifisch durchgeführt werden. Damit ist die Personalisierbarkeit für die Ausgabevorrichtungen möglich und kann so eine bessere nutzerspezifische Personalisierbarkeit erzielen.
Das Erfassen der kontextbezogenen Daten kann anhand einer Innenraumkamera und/oder einer Außenkamera erfolgen. Die Innenraumkamera erzielt insbesondere während des Betriebs des Kraftfahrzeugs ein zuverlässiges Erfassen der kontextbezogenen Daten in einem Innenraum des Kraftfahrzeugs. Damit ist es möglich, den Kontext mit Hinblick auf einen Passagier zu definieren. Das Erfassen der kontextbezogenen Daten anhand der Außenkamera ermöglicht ein Erfassen eines an das Kraftfahrzeug herannahenden Nutzers. Die Zeit, in der der Nutzer an das Kraftfahrzeug herannaht, kann bereits zum Ermitteln der Personalisierungsinformation und/oder der Ausgabebilddaten genutzt werden. Damit können dem Nutzer bereits bei einem Einsteigen in das Kraftfahrzeug personalisierte Bilddaten angezeigt werden. Durch die Außenkamera können auch Bekleidungsmerkmale hinsichtlich des Unterleibs eines Nutzers, beispielsweise betreffend eine Hose und/oder Schuhe erfasst werden.
Die Ausgabebilddaten können in einem Innenraum des Kraftfahrzeugs und/oder in einem Außenbereich des Kraftfahrzeugs ausgegeben werden. Beispielsweise umfasst das Kraftfahrzeug ein oder mehrere Ausgabevorrichtungen, insbesondere LC-Displays, zur Anzeige von Bilddaten in dem Innenraum des Kraftfahrzeugs. Zusätzlich oder alternativ umfasst das Kraftfahrzeug beispielsweise ein elektronisches Papier (e-Ink-Display) auf einer Außenhaut, beispielsweise einem Karosserieteil, des Kraftfahrzeugs.
Das Ermitteln der Ausgabebilddaten kann durch maschinelles Lernen unterstützt sein. Beispielsweise können die Personalisierungsinformation nur einen Teil einer Darstellung des Ausgabebildes umfassen. Der Teil der Darstellung des Ausgabebildes kann durch maschinelles Lernen beziehungsweise künstliche Intelligenz derart fortgesetzt werden, dass eine oder mehrere Ausgabevorrichtungen das entsprechend fortgesetzte Ausgabebild ausgeben. Das Ermitteln der Ausgabebilddaten kann mit einem Style-Transfer-Modell erfolgen (siehe https://www.tensorflow.org/tutorials/generative/style_transfer, abgerufen am 19.04.2022; siehe auch arXiv.org, 1508.06576, Leon A. Gatys and Alexander S. Ecker and Matthias Bethge, A Neural Algorithm of Artistic Style, https://arxiv.org/abs/1508.06576, abgerufen am 19.04.2022). Eine Nutzerpräferenz ist mittels maschinellen Lernens erlernbar.
Alternativ oder zusätzlich können die Ausgabebilddaten eine vorbestimmte Gültigkeit aufweisen. Nach Ablauf der Gültigkeit kann ein anderes Ausgabebild ermittelt werden und/oder das Ausgabebild wird ausgeblendet. Die Gültigkeit kann zeitlich vorbestimmt sein und/oder durch den Kontext bestimmbar sein. Beispielweise kann die Gültigkeit durch die Positionierung des Kraftfahrzeugs an einem bestimmten Ort und/oder durch einen fahrzeugexternen Kontext definiert sein. Beispielsweise kann das Kraftfahrzeug Informationen bezüglich einer in der Umgebung des Kraftfahrzeugs befindlichen Kunstausstellung aufrufen, die den Kontext definiert. Zum Zeitpunkt der Kunstausstellung und/oder in einem Radius um die Kunstausstellung herum kann das Ausgabebild gültig sein und nach Ablauf der Kunstausstellung und/oder in einer den Radius überschreitenden Entfernung des Kraftfahrzeugs zu der Kunstausstellung die Gültigkeit verlieren.
Das Verfahren kann ferner den Schritt aufweisen: Abfragen und Erfassen einer Nutzerpräferenz. Die Nutzerpräferenz kann somit als Eingabe für das Verfahren dienen. Damit ist eine noch weiter verbesserte Personalisierbarkeit erzielbar.
Das oben Beschriebene lässt sich mit anderen Worten und auf eine konkrete Ausgestaltung bezogen, die als für die vorliegende Offenbarung nicht limitierend beschrieben wird, wie folgt zusammenfassen: Anwendungsfall ist insbesondere Digital-In-Car-Art. Insbesondere das Fahrzeug-Interieur soll möglichst personalisiert werden, um eine möglichst hohe Identifikation des Passagiers mit dem Fahrzeug zu erreichen und damit dieser sich im Fahrzeug wohl fühlt. Eine optische Personalisierung kann derzeit nur manuell durch den Passagier erfolgen. In dieser Erfindung wird vorgeschlagen, dass mit Hilfe einer Kamera Merkmale des Fahrers / der Passagiere erfasst werden, um eine automatisch an diese Merkmale angepasste visuelle Innenraum-Personalisierung zu realisieren. Beispielsweise wird der Fahrzeuginnenraum mit Hilfe einer Innenraumkamera erfasst. In den erfassten Bildern werden nun die einzelnen Passagiere identifiziert und segmentiert. Nun kann z.B. die Kleidung (z.B. Pullover, Hemd) aber auch Accessoires wie Taschen oder Brillen der Passagiere dahingehend untersucht werden, ob bestimmte Markenkleidung, bestimmte Farben, Muster etc. erkannt werden können. Dazu kann z.B. eine Datenbank genutzt werden, in denen die Logos von Marken, Muster etc. hinterlegt sind. Die Identifikation kann im Fahrzeug aber auch in einem Backend-Server realisiert werden. Wenn nun solche bestimmten markanten optischen Merkmale bei den Passagieren identifiziert wurden, verhält sich das Fahrzeug ähnlich zu einem Chamäleon und zeigt auf Ausgabeeinrichtungen (z.B. LC-Display, elnk Displays) z.B. ähnliche Muster und Farben. Diese Muster können entweder dynamisch generiert werden (z.B. auf Basis der erfassten Bilder sowie weiteren dynamischen Parametern), oder es können passende Muster aus einem bereits vorab generierten Pool abgerufen werden. Zusätzlich zu statischen Bildern können auch bewegte Bilder und/oder Videos generiert und/oder angezeigt werden. Statt die Kleidung mit Merkmalen aus einer Datenbank zu vergleichen, können auch direkt markante Merkmale in den erfassten Bildern identifiziert (z.B. durch Analyse von Farben, Kontrasten, Linien) und genutzt werden (z.B. als Eingabe-Parameter für passende, vorab trainierte Modelle, z.B. auf Basis von Style-Transfer-Modellen. Je nach Ausstattung des Fahrzeugs kann die Ausgabe der optischen Merkmale auch je Passagier in dessen Nähe unterschiedlich erfolgen, so kann z.B. um den Fahrer herum ein Muster dargestellt werden, das seiner Kleidung entspricht, und analog ein passendes Muster in Nähe des Beifahrersitzes. Die Auswahl der angezeigten Muster muss nicht bei jedem Mal auf Basis der aktuell getragenen Kleidung erfolgen, sondern je Passagier kann gelernt werden, welche Muster der jeweilige Passagier trägt und daraus kann ein für eine gewisse Dauer (z.B. 48h) gültiges Muster generiert werden. Der Passagier kann gefragt werden, ob ihm das angezeigte Muster gefällt, um so weiter den Geschmack des Passagiers zu erfassen. Es können auch Kameras genutzt werden, die den Außenbereich des Fahrzeugs erfassen und damit kann z.B. auch der Unterleib der Passagiere mit in die Analyse mit einbezogen werden. Dann kann die Erkennung der markanten Muster bereits vor dem Einsteigen der Passagiere erfolgen und die Muster können auch auf der Außenhaut des Fahrzeugs dargestellt werden.
Ferner wird ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das oben beschriebene Verfahren zumindest teilweise aus- bzw. durchzuführen, bereitgestellt.
Ein Programmcode des Computerprogramms kann in einem beliebigen Code vorliegen, insbesondere in einem Code, der für Steuerungen von Kraftfahrzeugen geeignet ist.
Das oben mit Bezug zum Verfahren Beschriebene gilt analog auch für das Computerprogramm und umgekehrt.
Ferner wird eine Datenverarbeitungsvorrichtung, z.B. ein Steuergerät, für ein automatisiertes Kraftfahrzeug bereitgestellt, wobei die Datenverarbeitungsvorrichtung dazu eingerichtet ist, das oben beschriebene Verfahren zumindest teilweise aus- bzw. durchzuführen. Damit ist das Verfahren ein computerimplementiertes Verfahren.
Die Datenverarbeitungsvorrichtung kann Teil eines Fahrassistenzsystems sein oder dieses darstellen. Bei der Datenverarbeitungsvorrichtung kann es sich beispielsweise um eine elektronische Steuereinheit (engl. ECU = electronic control unit) handeln. Das elektronische Steuergerät kann eine intelligente prozessor-gesteuerte Einheit sein, die z.B. über ein Central Gateway (CGW) mit anderen Modulen kommunizieren kann und die ggf. über Feldbusse, wie den CAN-Bus, LIN-Bus, MOST-Bus und FlexRay oder über Automotive-Ethernet, z.B. zusammen mit Telematiksteuergeräten das Fahrzeugbordnetz bilden kann. Denkbar ist, dass das Steuergerät für das Fahrverhalten des Kraftfahrzeugs relevante Funktionen, wie die Motorsteuerung, die Kraftübertragung, das Bremssystem und/oder das Reifendruck-Kontrollsystem, steuert. Außerdem können Fahrerassistenzsysteme, wie beispielsweise ein Parkassistent, eine angepasste Geschwindigkeitsregelung (ACC, engl. adaptive cruise control), ein Spurhalteassistent, ein Spurwechselassistent, eine Verkehrszeichenerkennung, eine Lichtsignalerkennung, ein Anfahrassistent, ein Nachtsichtassistent und/oder ein Kreuzungsassistent, von dem Steuergerät gesteuert werden.
Das oben mit Bezug zum Verfahren und zum Computerprogramm Beschriebene gilt analog auch für die Datenverarbeitungsvorrichtung und umgekehrt.
Ferner wird ein Kraftfahrzeug, umfassend die oben beschriebene Datenverarbeitungsvorrichtung bereitgestellt.
Bei dem Kraftfahrzeug kann es sich um einen Personenkraftwagen, insbesondere ein Automobil, handeln. Das automatisierte Kraftfahrzeug kann ausgestaltet sein, um eine Längsführung und/oder eine Querführung bei einem automatisierten Fahren des Kraftfahrzeugs zumindest teilweise und/oder zumindest zeitweise zu übernehmen. Das automatisierte Fahren kann so erfolgen, dass die Fortbewegung des Kraftfahrzeugs (weitgehend) autonom erfolgt. Das automatisierte Fahren kann zumindest teilweise und/oder zeitweise durch die Datenverarbeitungsvorrichtung gesteuert werden. Das Kraftfahrzeug kann ein Kraftfahrzeug der Autonom iestufe 0 bis 5 sein.
Das oben mit Bezug zum Verfahren, zur Datenverarbeitungsvorrichtung und zum Computerprogramm Beschriebene gilt analog auch für das Kraftfahrzeug und umgekehrt.
Ferner wird ein computerlesbares Medium, insbesondere ein computerlesbares Speichermedium, bereitgestellt. Das computerlesbare Medium umfasst Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das oben beschriebene Verfahren zumindest teilweise auszuführen.
Das heißt, es kann ein computerlesbares Medium bereitgestellt werden, das ein oben definiertes Computerprogramm umfasst. Bei dem computerlesbaren Medium kann es sich um ein beliebiges digitales Datenspeichergerät handeln, wie zum Beispiel einen USB-Stick, eine Festplatte, eine CD-ROM, eine SD-Karte oder eine SSD-Karte. Das Computerprogramm muss nicht zwingend auf einem solchen computerlesbarem Speichermedium gespeichert sein, um dem Kraftfahrzeug zur Verfügung gestellt zu werden, sondern kann auch über das Internet oder anderweitig extern bezogen werden.
Das oben mit Bezug zum Verfahren, zur Datenverarbeitungsvorrichtung, zum Computerprogramm und zum automatisierten Kraftfahrzeug Beschriebene gilt analog auch für das computerlesbare Medium und umgekehrt.
Nachfolgend wird eine Ausführungsform mit Bezug zu 1 und 2 beschrieben.

1 zeigt schematisch ein Kraftfahrzeug gemäß einem Aspekt der Erfindung; und
2 zeigt schematisch einen Ablaufplan eines Verfahrens gemäß einem Aspekt der Erfindung.

1 zeigt schematisch ein Kraftfahrzeug 10 gemäß einem Aspekt der Erfindung. Das Kraftfahrzeug 10 ist dazu eingerichtet, dass mit Bezug zu 2 beschriebene Verfahren 100 zur Ausgabe von Bilddaten für das Kraftfahrzeug 10 durchzuführen. Dafür weist das Kraftfahrzeug 10 eine Sensorvorrichtung 11, eine Datenverarbeitungsvorrichtung 12 und eine Ausgabevorrichtung 18 auf.
Die Sensorvorrichtung 11 umfasst in der gezeigten Ausführungsform eine Innenraumkamera 13 und eine Außenkamera 14. Die Innenraumkamera 13 ist dazu eingerichtet, Bilddaten bezüglich eines Innenraums 16 des Kraftfahrzeugs 10 zu erfassen. Die Außenkamera 14 ist dazu eingerichtet, Bilddaten bezüglich eines Außenbereichs 17 bzw. eine Umgebung des Kraftfahrzeugs 10 zu erfassen. Die Innenraumkamera 13 und die Außenkamera 14 können so kontextbezogene Daten 20 in Form von Bilddaten erfassen. Zusätzlich umfasst die Sensorvorrichtung 11 weitere nichtgezeigte Erfassungseinrichtungen, die geeignet sind um kontextbezogene Daten 20 zu ermitteln. Beispielweise kann die Sensorvorrichtung 11 ein oder mehrere Mikrofone zum Erfassen akustischer Daten und/oder elektromagnetische Sensoren umfassen.
Die Sensorvorrichtung 11 und die Datenverarbeitungsvorrichtung 12 sind zum Übermitteln von Bilddaten beziehungsweise kontextbezogenen Daten 20 von der Sensorvorrichtung 11 an die Datenverarbeitungsvorrichtung 12 miteinander verbunden. Die Datenverarbeitungsvorrichtung 12 empfängt die kontextbezogenen Daten 20 von der Sensorvorrichtung 11 und ist dazu eingerichtet, zusätzliche kontextbezogene Daten 20 zu erfassen. Beispielsweise ist die Datenverarbeitungsvorrichtung 12 dazu eingerichtet, mit einer nichtgezeigten fahrzeuginternen Datenbank oder einer fahrzeugexternen Datenbank 25 verbunden zu werden, um Informationen 24 als kontextbezogene Daten 20 aus der Datenbank abzurufen. Die Datenbank 25 kann dafür wenigstens teilweise in einem nicht gezeigten Speicher des Kraftfahrzeugs 10 gespeichert sein und/oder über eine nicht gezeigte Kommunikationsschnittstelle fahrzeugexternen abrufbar sein, beispielsweise über eine Datenverbindung über das Internet. Die Informationen 25 beziehungsweise zusätzlichen kontextbezogenen Daten 20, die die Datenverarbeitungsvorrichtung 12 erfassen kann, können beispielsweise die Uhrzeit, das Wetter, ein Verkehrsaufkommen und/oder ein Ereignis in der Umgebung des Kraftfahrzeugs 10 betreffen.
Die Datenverarbeitungsvorrichtung 12 ist dazu eingerichtet, anhand der kontextbezogenen Daten 20 eine Personalisierungsinformation 21 zu ermitteln. Anhand der kontextbezogenen Daten 20 können die Personalisierungsinformation 21 ermittelt werden. Beispielsweise können von der Innenraumkamera 13 und/oder der Außenkamera 14 erfasste Bilddaten von der Datenverarbeitungsvorrichtung 12 ausgewertet werden, um einen Nutzer 15 in den Bilddaten zu identifizieren. Die Identität des Nutzers 15 dient als Personalisierungsinformation 21. Die Personalisierungsinformation 21 kann vielfältige Informationen umfassen, die die Identität des Nutzers 15 und/oder die Umgebung des Kraftfahrzeugs 10 betreffen. Die Personalisierungsinformation 21 kann unter Abfrage einer Information 24 aus der Datenbank 25 erfolgen.
Die Datenverarbeitungsvorrichtung 12 ist dazu eingerichtet, anhand der Personalisierungsinformation 21 Ausgabebilddaten 22 zu ermitteln. Die Ausgabebilddaten 22 umfassen Informationen zum Ausgeben eines Bildes durch die Ausgabevorrichtung 18. Die Ausgabebilddaten 22 umfassen beispielsweise Informationen zum Darstellen einer Pixel-Grafik. Die Ausgabebilddaten 22 können ein statisches Bild und/oder ein Bewegtbild beziehungsweise Video betreffen. Die Ausgabebilddaten 22 sind an den Kontext des Kraftfahrzeugs 10 und/oder den Nutzer 15 angepasst. Beispielsweise sind die Ausgabebilddaten 22 personalisiert.
Das Ermitteln des Ausgabebildes 22 wird durch maschinelles Lernen beziehungsweise künstliche Intelligenz unterstützt.
Das Ausgabebild 22 weist eine vorbestimmte Gültigkeit auf. Die Gültigkeit definiert einen logischen Wert, die die Ausgabe des Ausgabebilds 22 veranlasst oder ausschaltet. Die Gültigkeit kann eine Bedingung an den Kontext umfassen, beispielsweise eine zeitliche Bedingung und/oder eine örtliche Bedingung.
Das Ermitteln der Ausgabebilddaten 22 erfolgt derart, dass die Ausgabebilddaten 22 farblich und in Hinblick auf ein Darstellungsmerkmal auf die kontextbezogenen Daten 20 abgestimmt sind. Dabei kann das Design und/oder die Farbgebung des Kraftfahrzeugs 10, insbesondere des Exteriors und/oder des Interiors berücksichtigt werden.
Die Datenverarbeitungsvorrichtung 12 ist mit der Ausgabevorrichtung 18 zum Übermitteln der Ausgabebilddaten 22 verbunden. Die Ausgabevorrichtung 18 umfasst beispielsweise ein oder mehrere in Innenraum 16 angeordnete LC-Displays und ein oder mehrere an einer Außenhaut des Kraftfahrzeugs 10 angeordnete elektronische Papiere (E Ink Displays). Mit den in dem Innenraum 16 angeordnete LC-Displays ist eine Personalisierung des Innenraums 16 möglich und die an einer Außenhaut des Kraftfahrzeugs 10 angeordneten elektronische Papiere können das Kraftfahrzeug 10 aus Sicht eines Nutzers 15 in dem Außenbereich 17 des Kraftfahrzeugs 10 personalisieren. Das Ausgabebild 22 wird in einem Innenraum 16 des Kraftfahrzeugs 10 und/oder in einem Außenbereich 17 des Kraftfahrzeugs 10 durch die Ausgabevorrichtung 18 ausgegeben.
Das Kraftfahrzeug 10 weist eine Eingabevorrichtung 19 auf, um eine Nutzereingabe 23 zu erfassen. Die Eingabevorrichtung 19 kann einen Touch-Screen umfassen, der auch von der Ausgabevorrichtung 18 umfasst ist. Die Eingabevorrichtung 19 kann auch physische Eingabeelemente wie Taster, Knöpfe, Regler und/oder Schalter umfassen. Die Eingabevorrichtung 19 ist mit der Datenverarbeitungsvorrichtung 12 verbunden, um die Nutzereingabe 23 an die Datenverarbeitungsvorrichtung 12 zu übermitteln. Die Nutzereingabe 23 kann eine Personalisierungsinformation 12 umfassen und/oder das Ermitteln und Ausgeben 130 der Ausgabebilddaten 22 beeinflussen. Beispielsweise kann ein Nutzer 15 über die Eingabevorrichtung 19 eine Anfrage bezüglich der Ausgabebilddaten 22 stellen und/oder die Ausgabe von Ausgabebilddaten 22 beeinflussen und/oder beenden.
Mit Hilfe der Kameras 13, 15 werden Merkmale des Nutzers 15 erfasst, um eine automatisch an diese Merkmale angepasste visuelle Innenraum-Personalisierung zu realisieren. Beispielsweise wird der Innenraum 16 mit Hilfe der Innenraumkamera 13 erfasst. In den erfassten Bildern werden nun die einzelnen Nutzer 15 identifiziert und segmentiert. Nun kann z.B. die Kleidung, z.B. ein Pullover und/oder ein Hemd, sowie Accessoires wie Taschen und/oder Brillen dahingehend untersucht werden, ob bestimmte Markenkleidung, bestimmte Farben, Muster etc. erkannt werden können. Diese werden als Bekleidungsmerkmale aus den Bilddaten als Personalisierungsinformationen 21 ermittelt. Dazu kann z.B. die Datenbank 25 genutzt werden, in der Logos, Marken, Muster und/oder Farbinformation als Informationen 24 hinterlegt sind. Die Identifikation der Personalisierungsinformationen 21 kann im Kraftfahrzeug 10 und/oder in einem Backend-Server realisiert werden.
Nach dem die markanten optischen Merkmale bei den Nutzern 15 als Personalisierungsinformationen 21 identifiziert wurden, verhält sich das Fahrzeug ähnlich zu einem Chamäleon und zeigt auf der Ausgabevorrichtungen 18 z.B. ähnliche Muster und Farben als Ausgabebilddaten 22 an. Diese Ausgabebilddaten 22 können entweder dynamisch (fahrzeugintern beziehungsweise online) generiert werden, z.B., auf Basis der erfassten Bilder sowie weiteren dynamischen Parametern, oder es können passenden Muster aus einem bereits vorab (offline) generierten Pool von der Datenbank 25 abgerufen werden. Statt die Bekleidungsmerkmale aus der Datenbank 25 zu vergleichen, können auch direkt markante Bekleidungsmerkmale in den erfassten Bildern anhand von Farben, Kontrasten und/oder Linien identifiziert und genutzt werden. Beispielsweise können die erfassten Bilder beziehungsweise deren Merkmale als Eingabe-Parameter für passende, vorab trainierte Modelle dienen und so durch maschinelles Lernen unterstützt bei dem Ermitteln der Ausgabebilddaten 22 berücksichtigt werden, z.B. auf Basis von einem Style-Transfer-Modell (siehe z.B. https://www.tensorflow.org/tutorials/generative/style_transfer, abgerufen am 19.04.2022; siehe auch arXiv.org, 1508.06576, Leon A. Gatys and Alexander S. Ecker and Matthias Bethge, A Neural Algorithm of Artistic Style, http://arxiv.org/abs/1508.06576, abgerufen am 19.04.2022). Je nach Ausstattung des Kraftfahrzeugs 10 kann die Ausgabe Ausgabebilddaten 22 auch je Nutzer 15 in dessen Nähe unterschiedlich erfolgen, so kann z.B. um einen Fahrer herum ein Muster dargestellt werden, das seiner Kleidung entspricht, und analog ein passendes Muster in Nähe des Beifahrersitzes. Die Auswahl der angezeigten Muster muss nicht bei jedem Mal auf Basis der aktuell getragenen Kleidung erfolgen, sondern kann je Nutzer 15 gelernt werden, welche Muster der jeweilige Passagier trägt.
2 zeigt schematisch einen Ablaufplan eines Verfahrens 100 gemäß einem Aspekt der Erfindung. Das Verfahren 100 ist ein Verfahren zur Ausgabe von Bilddaten für ein Kraftfahrzeug 10 wie mit Bezug zu 1 beschrieben. Bei der Beschreibung des Verfahrens 100 wird auf 1 Bezug genommen.
Das Verfahren beginnt mit einem Erfassen 110 von kontextbezogenen Daten 20. Die kontextbezogenen Daten 20 werden von der fahrzeugseitigen Sensorvorrichtung 11 erfasst. Das Erfassen 110 der kontextbezogenen Daten 20 erfolgt anhand einer Innenraumkamera 13 und/oder einer Außenkamera 14. Zusätzlich erfolgt das Erfassen 110 der kontextbezogenen Daten 20 durch die fahrzeugseitigen Datenverarbeitungsvorrichtung 12 mittels einer Abfrage einer Information 24 von einer Datenbank 25.
Es folgt ein Ermitteln 120 einer Personalisierungsinformation 21 anhand der kontextbezogenen Daten. Bei dem Ermitteln 120 der Personalisierungsinformation 21 erfolgt ein Identifizieren einer Person 15 erfolgt und ein Ermitteln eines Bekleidungsmerkmals. Zusätzlich umfasst das Ermitteln der Personalisierungsinformation eine Abfrage in der Datenbank 25.
Es folgt ein Ermitteln und Ausgeben 130 von Ausgabebilddaten 22 anhand der Personalisierungsinformation 21. Das Ermitteln der Ausgabebilddaten 22 umfasst eine Abfrage in der Datenbank 25.
Das Verfahren 10 weist in einer nichtgezeigten Ausführungsform ferner den Schritt auf: Abfragen und Erfassen einer Nutzerpräferenz. Dafür kann die Nutzerpräferenz als Nutzereingabe 23 von der Eingabevorrichtung 19 erfasst werden, wie mit Bezug zu 1 beschrieben.
Die Verfahrensschritte werden nutzerspezifisch für eine Mehrzahl an Nutzern 15 durchgeführt. Dafür kann die Sensorvorrichtung 11 kontextbezogene Daten bezüglich der Mehrzahl der Nutzer 15 erfassen, je Nutzer 15 und/oder je Ausgabevorrichtung 18 wie mit Bezug zu 1 und dem Verfahren 100 beschrieben.
Bezugszeichenliste

10: Kraftfahrzeug
11: Sensorvorrichtung
12: Datenverarbeitungsvorrichtung
13: Innenraumkamera
14: Außenkamera
15: Nutzer
16: Innenraum
17: Außenbereich
18: Ausgabevorrichtung
19: Eingabevorrichtung
20: kontextbezogene Daten
21: Personalisierungsinformation
22: Ausgabebilddaten
23: Nutzereingabe
24: Information
25: Datenbank
100: Verfahren
110: Erfassen von kontextbezogenen Daten
120: Ermitteln einer Personalisierungsinformation
130: Ermitteln und Ausgeben von Ausgabebilddaten

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102018005461 A1 [0003]
DE 102012002564 A1 [0004]
US 20170318266 A1 [0005]

Claims

Verfahren (100) zur Ausgabe von Bilddaten für ein Kraftfahrzeug (10), das Verfahren (100) weist die Schritte auf: - Erfassen (110) von kontextbezogenen Daten (20); - Ermitteln (120) einer Personalisierungsinformation (21) anhand der kontextbezogenen Daten; - Ermitteln und Ausgeben (130) von Ausgabebilddaten (22) anhand der Personalisierungsinformation (21).
Verfahren nach Anspruch 1, wobei - bei dem Ermitteln (120) der Personalisierungsinformation (21) ein Identifizieren eines Nutzers (15) erfolgt und/oder - bei dem Ermitteln (120) der Personalisierungsinformation (21) ein Ermitteln eines Bekleidungsmerkmals erfolgt.
Verfahren nach einem der vorherigen Ansprüche, wobei das Ermitteln der Personalisierungsinformation (21) und/oder das Ermitteln der Ausgabebilddaten eine Abfrage Informationen (24) in einer fahrzeugseitigen und/oder fahrzeugexternen Datenbank (25) umfasst.
Verfahren nach einem der vorherigen Ansprüche, wobei das Ermitteln der Ausgabebilddaten (22) derart erfolgt, dass die Ausgabebilddaten (22) farblich und/oder in Hinblick auf ein Darstellungsmerkmal auf die kontextbezogenen Daten (20) abgestimmt sind.
Verfahren nach einem der vorherigen Ansprüche, wobei die Verfahrensschritte nutzerspezifisch für eine Mehrzahl an Nutzern (15) durchgeführt werden.
Verfahren nach einem der vorherigen Ansprüche, wobei das Erfassen (110) der kontextbezogenen Daten (20) anhand einer Innenraumkamera (13) und/oder einer Außenkamera (14) erfolgt.
Verfahren nach einem der vorherigen Ansprüche, wobei die Ausgabebilddaten (22) in einem Innenraum (16) des Kraftfahrzeugs (10) und/oder in einem Außenbereich (17) des Kraftfahrzeugs (10) ausgegeben wird.
Verfahren nach einem der vorherigen Ansprüche, wobei das Ermitteln der Ausgabebilddaten (22) durch maschinelles Lernen unterstützt ist und/oder die Ausgabebilddaten (22) eine vorbestimmte Gültigkeit aufweist.
Verfahren nach einem der vorherigen Ansprüche, wobei das Verfahren (10) ferner den Schritt aufweist: Abfragen und Erfassen einer Nutzerpräferenz.
Computerprogramm und/oder computerlesbares Medium, umfassend Befehle, die bei der Ausführung des Programms bzw. der Befehle durch einen Computer diesen veranlassen, das Verfahren (100) und/oder die Schritte des Verfahrens (100) nach einem der Ansprüche 1 bis 9 durchzuführen.
Datenverarbeitungsvorrichtung (12) für ein automatisiertes Kraftfahrzeug (10), wobei die Datenverarbeitungsvorrichtung (12) dazu eingerichtet ist, das Verfahren (100) nach einem der Ansprüche 1 bis 9 durchzuführen.
Kraftfahrzeug (10), umfassend die Datenverarbeitungsvorrichtung (12) nach Anspruch 11.