-
Die Erfindung betrifft eine Vorrichtung zum Betreiben einer Benutzerschnittstelle eines Fahrzeugs. Die Erfindung betrifft ferner ein Verfahren zum Betreiben einer Benutzerschnittstelle eines Fahrzeugs.
-
Die Benutzerschnittstelle eines modernen Fahrzeugs umfasst eine Vielzahl von Ausgabeeinheiten, insbesondere visueller Ausgabeeinheiten zum Ausgeben von visuellen Informationen. Beispiele für visuelle Ausgabeeinheiten sind ein Kombiinstrument, ein zentrales Informationsdisplay (CID), ein Projektor oder ein Head Up Display. Aber auch innerhalb des Fahrzeuginnenraums oder außen an dem Fahrzeug angeordnete Beleuchtungselemente können visuelle Ausgabeeinheiten darstellen. Fahrzeuge haben ferner auch auditive Ausgabeeinheiten, beispielsweise Lautsprecher eines Medienwiedergabesystems des Fahrzeugs. Durch die Ausgabeeinheiten ausgegebene Elemente, zum Beispiel Elemente einer graphischen Benutzeroberfläche oder Sprachausgaben, folgen typischerweise einem einheitlichen Design. Das Design ist dabei werkseitig vorgegeben, ein Benutzer kann höchstens zwischen einigen wenigen Designs auswählen. Viele Benutzer haben jedoch das Bedürfnis, das Design der Benutzerschnittstelle zu personalisieren. Jedoch sind Speicherplatz und Bandbreite begrenzt, so dass nicht einfach die große Menge von Elementen der Benutzerschnittstelle in einer Vielzahl von Designs zur Verfügung gestellt werden kann.
-
Aus der
DE 10 2021 206 537 A1 ist ein Verfahren bekannt, bei dem mit Hilfe eines neuronalen Netzwerkes grafische Benutzerschnittstellen für verschiedene Geräte und Plattformen erzeugt werden. Bei dem Verfahren wird auf Grundlage von funktionalen und visuellen Merkmalen einer ersten Benutzerschnittstelle einer ersten Plattform eine zweite Benutzerschnittstelle für eine zweite Plattform erzeugt. Dabei kann die zweite Benutzerschnittstelle insbesondere unter Berücksichtigung von Beschränkungen der zweiten Plattform erzeugt werden.
-
Die
US 10452902 B1 offenbart ein Verfahren, bei dem Bildkomponenten einer Patentzeichnung mit Hilfe eines Generative Adversarial Networks erzeugt werden. Als ein Beispiel ist eine Patentzeichnung einer grafischen Benutzeroberfläche genannt.
-
Aufgabe der Erfindung ist es, eine Vorrichtung und ein Verfahren zum Betreiben einer Benutzerschnittstelle eines Fahrzeugs anzugeben, die eine Vielzahl von Designs aufweisen können und dabei wenig Speicherplatz und/oder Bandbreite nutzen.
-
Diese Aufgabe wird durch eine Vorrichtung mit den Merkmalen des Anspruchs 1 und durch ein Verfahren mit den Merkmalen des unabhängigen Verfahrensanspruchs gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen angegeben.
-
Die vorgeschlagene Vorrichtung zum Betreiben einer Benutzerschnittstelle eines Fahrzeugs umfasst eine Ausgabeeinheit des Fahrzeugs, die dazu ausgebildet ist, zumindest ein Element der Benutzerschnittstelle des Fahrzeugs an einen Benutzer auszugeben. Die Vorrichtung umfasst zu dem eine Erfassungseinheit, die dazu ausgebildet ist, zumindest eine Information zu erfassen, die einer Benutzereingabe des Benutzers und/oder einer auf die Umgebung des Fahrzeugs bezogenen Umgebungsinformation entspricht, und der erfassten Information entsprechende Eingabedaten zu erzeugen. Die Vorrichtung umfasst ferner eine Steuereinheit, die dazu ausgebildet ist, die Ausgabeeinheit des Fahrzeugs zu steuern und die Eingabedaten unter Verwendung zumindest eines Maschinenlernverfahrens zu verarbeiten. Die Steuereinheit ist ferner dazu ausgebildet, auf Grundlage der Eingabedaten und unter Verwendung des Maschinenlernverfahrens zumindest ein Element der Benutzerschnittstelle des Fahrzeugs zu erzeugen, das durch die Ausgabeeinheit ausgebbar ist, und die Ausgabeeinheit zum Ausgeben des erzeugten Elements anzusteuern.
-
Die Ausgabeeinheit kann beispielsweise eine dem Fahrzeugführer und/oder einem weiteren Insassen zugewandte Anzeigefläche oder einen Lautsprecher des Fahrzeugs umfassen. Die Erfassungseinheit umfasst insbesondere eine Eingabeeinheit zum Erfassen der Benutzereingabe und/oder eine Umfeldsensorik des Fahrzeugs zum Erfassen der Umgebungsinformation. Weitere Beispiele für die Ausgabeeinheit und die Erfassungseinheit sind in der folgenden Beschreibung im Zusammenhang mit Ausführungsformen genannt. Zumindest ein Teil der Steuereinheit kann durch eine von dem Fahrzeug entfernten Verarbeitungseinheit gebildet werden. Beispielsweise kann das Maschinenlernverfahren auf der entfernten Verarbeitungseinheit ausgeführt werden, während die Ansteuerung der Ausgabeeinheit lokal in dem Fahrzeug erfolgt.
-
Die Vorrichtung erfasst zunächst die Information, auf deren Grundlage das Element der Benutzerschnittstelle erzeugt werden soll. Die Information kann die Benutzereingabe sein, beispielsweise eine Auswahl aus vordefinierten Textbausteinen oder ein Prompt, den der Benutzer frei eingibt. Die Information kann auch die Umgebungsinformation sein, beispielsweise die Tageszeit, die Jahreszeit oder in welcher geographischen Region sich das Fahrzeug momentan befindet. Ferner kann die erfasste Information auch eine Kombination aus der Benutzereingabe und der Umgebungsinformation sein. Aus der erfassten Information werden die Eingabedaten erzeugt, die dem Maschinenlernverfahren als Eingabe dienen. Die Eingabedaten können beispielsweise modifiziert werden oder die Eingabe kann auf einen vordefinierten Rahmen beschränkt werden, um beispielsweise einen markengerechten ästhetischen Rahmen für die Erzeugung des Elements zu bilden. Unter Verwendung des Maschinenlernverfahrens wird dann das Element der Benutzerschnittstelle erzeugt. Bei dem Maschinenlernverfahren kann es sich um ein generisches Modell handeln oder um ein auf Grundlage eines kleinen Trainingsdatensatzes feinabgestimmtes Modell. Ein generisches Modell hat den Vorteil, dass eine sehr große Anzahl sehr verschiedener Designs realisiert werden kann. Ein feinabgestimmtes Modell hat den Vorteil, dass beispielsweise sichergestellt werden kann, dass die erzeugten Elemente im Sinne der Designprinzipien einer Markenidentität ausgelegt sind. Maschinenlernverfahren ist ein Rauschen inhärent, so dass die Ausgabe auch bei gleicher Eingabe variiert. Für die Vorrichtung bedeutet dies, dass jedes erzeugte Element einzigartig ist, die Benutzerschnittstelle somit hyperpersonalisierbar ist. Damit kann die Vorrichtung das Bedürfnis des Benutzers nach einer Personalisierung der Benutzerschnittstelle befriedigen. Da die Elemente der Benutzerschnittstelle aber erzeugt und nicht bereitgestellt werden, verwendet die Vorrichtung für diese Personalisierung weniger Speicherplatz und/oder Bandbreite als bekannte Personalisierungen.
-
Bei einer Ausführungsform ist die Ausgabeeinheit dazu ausgebildet, dem Benutzer visuelle Informationen auszugeben, und das erzeugte Element ist ein visuelles Element. Die Steuereinheit ist insbesondere dazu ausgebildet, ein Bild als das visuelle Element zu erzeugen. Bei einer solchen Ausführungsform kann die Ausgabeeinheit insbesondere eine Anzeigeeinheit des Fahrzeugs umfassen, zum Beispiel ein graphisches Kombiinstrument, ein zentrales Informationsdisplay (CID), ein Head Up Display, insbesondere ein Panorama Head Up Display, oder weitere den Insassen zugewandte Anzeigeflächen, beispielsweise zu einem Projektor gehörende Projektionsflächen. Die Ausgabeeinheit kann aber auch ein ansteuerbares Beleuchtungselement umfassen, das beispielsweise dazu ausgebildet ist, Licht einer einstellbaren Farbe und/oder eine einstellbare Sequenz verschiedenfarbigen Lichts zu erzeugen. Das erzeugte visuelle Element ist bei einer solchen Ausführungsform die Lichtfarbe oder die Sequenz des verschiedenfarbigen Lichts. Insbesondere durch Erzeugen einer Außenbeleuchtung kann somit beispielsweise ein individualisiertes Welcome-Szenario realisiert werden. Das lokale Bereitstellen verschiedener visueller Elemente benötigt besonders viel Speicherplatz. Entsprechend benötigt das Übermitteln von visuellen Elementen von einem entfernten Speicherort viel Bandbreite. Somit kann durch das Erzeugen visueller Elemente besonders viel Speicherplatz bzw. Bandbreite eingespart werden.
-
Bei einer weiteren Ausführungsform ist die Steuereinheit dazu ausgebildet, unter Verwendung des Maschinenlernverfahrens ein erstes Bild mit einer ersten Auflösung zu erzeugen und auf Grundlage des ersten Bildes unter Verwendung eines weiteren Maschinenlernverfahrens ein zweites Bild mit einer zweiten Auflösung als das visuelle Element zu erzeugen, wobei die zweite Auflösung höher als die erste Auflösung ist. Beispielsweise kann ein Hintergrundbild für eine Anzeigefläche des Fahrzeugs auf Grundlage eines durch den Benutzer eingegebenen Prompts zunächst mit einer geringen Auflösung erzeugt und dann hochgerechnet werden, um ein hochaufgelöstes Hintergrundbild zu erhalten. Das Erzeugen von Bildern ist rechnerisch aufwendiger als das Erhöhen der Auflösung. Somit kann bei dieser Ausführungsform die zum Erzeugen des visuellen Elements genutzte Rechenleistung optimal ausgenutzt werden.
-
Bei einer weiteren Ausführungsform ist die Steuereinheit dazu ausgebildet, auf Grundlage der Eingabedaten und unter Verwendung des Maschinenlernverfahrens zumindest ein visuelles Element zu erzeugen, das ein Teil einer graphischen Benutzeroberfläche des Fahrzeugs ist. Bei dem visuellen Element kann es sich beispielsweise um ein Bedienelement wie ein Button, ein funktionales Element wie ein Warnhinweis oder ein dekoratives Element wie ein Hintergrundbild handeln. Das visuelle Element kann statisch oder dynamisch, beispielsweise animiert sein. Der Benutzer interagiert vorwiegend über die graphische Benutzeroberfläche mit dem Fahrzeug. Die Elemente der graphischen Benutzeroberfläche sind folglich besonders prägend für den Eindruck, den die Benutzerschnittstelle bei dem Benutzer hinterlässt. Entsprechend hat die Möglichkeit, die graphische Benutzeroberfläche zu individualisieren einen großen Mehrwert. Auf der anderen Seite umfasst eine typische graphische Benutzeroberfläche sehr viele visuelle Elemente. Durch das Erzeugen dieser visuellen Elemente kann bei geringem Aufwand an Speicherplatz bzw. Bandbreite ein großer Mehrwert für den Benutzer geschaffen werden.
-
Bei einer weiteren Ausführungsform ist die Steuereinheit dazu ausgebildet, auf Grundlage des erzeugten visuellen Elements zumindest ein weiteres Element der Benutzerschnittstelle zu erzeugen. Das weitere Element kann insbesondere auf Grundlage einer Vorlage erzeugt werden, um trotz Individualisierung beispielsweise ein einheitliches Design der graphischen Benutzeroberfläche im Sinne von Designprinzipien einer Markenidentität zu erhalten. In einem Beispiel erzeugt die Steuereinheit zunächst ein Hintergrundbild als das visuelle Element. Mit Hilfe eines Clustering-Algorithmus, beispielsweise Median Cut, extrahiert die Steuereinheit dann dominante Farben aus dem erzeugten Hintergrundbild. Die Steuereinheit erzeugt dann die übrigen Elemente der graphischen Benutzeroberfläche auf Grundlage der extrahierten Farbe, beispielsweise färbt die Steuereinheit die übrigen Elemente entsprechend der extrahierten Farbe ein. Da bei dieser Ausführungsform zunächst nur ein visuelles Element unter Verwendung des Maschinenlernverfahrens erzeugt wird, ist diese Ausführungsform besonders ressourcenschonend.
-
Bei einer weiteren Ausführungsform ist die Steuereinheit dazu ausgebildet, auf Grundlage der Eingabedaten und unter Verwendung des Maschinenlernverfahrens mehrere visuelle Elemente zu erzeugen, die Teil eines einheitlichen Skins der graphischen Benutzeroberfläche sind. Unter einem Skin oder auch Thema wird das einheitliche Design der Elemente der graphischen Benutzeroberfläche verstanden. In anderen Worten, bei dieser Ausführungsform werden beispielsweise das Layout, die Typografie, Farben, Muster sowie Icons und Buttons nach vordefinierten Vorgaben einheitlich und aufeinander abgestimmt erzeugt. Die so erzeugten visuellen Elemente genügen einem gemeinsamen Schema und erzeugen einen einheitlichen Eindruck beim Benutzer.
-
Bei einer weiteren Ausführungsform ist die Erfassungseinheit dazu ausgebildet, die Eingabedaten in Form eines Textes in natürlicher Sprache bereitzustellen. Die Steuereinheit ist dazu ausgebildet, die Eingabedaten unter Verwendung eines Text-zu-Bild Modells als dem Maschinenlernverfahren zu verarbeiten, um das visuelle Element zu erzeugen. Die Eingabedaten können beispielsweise ein Prompt sein, den der Benutzer frei eingegeben oder auf Grundlage vordefinierter Textbausteine zusammengesetzt hat. Alternativ oder zusätzlich kann der Text in natürlicher Sprache auch durch ein weiteres Maschinenlernverfahren auf Grundlage der Umgebungsinformation erzeugt werden. Beispielsweise kann durch das weitere Maschinenlernverfahren eine Klassifikation der unmittelbaren Umgebung vorgenommen werden. Bei einem Beispiel ermittelt die Steuereinheit auf Grundlage der Umgebungsinformation und unter Verwendung des weiteren Maschinenlernverfahrens, dass das Fahrzeug durch eine alpine Landschaft fährt. Darauf erzeugt die Steuereinheit den Prompt „alpine Landschaft“ als Eingabe für das Text-zu-Bild Modell, um das visuelle Element zu erzeugen. Es existieren im Stand der Technik eine Reihe generischer Text-zu-Bild Modelle, die sich leicht an die Vorrausetzungen der Vorrichtung anpassen lassen. Diese Ausführungsform ist somit besonders einfach umzusetzen.
-
Bei einer weiteren Ausführungsform ist die Ausgabeeinheit dazu ausgebildet, dem Benutzer auditive Informationen auszugeben, und das Element der Benutzerschnittstelle ist ein auditives Element. Auch hörbare Elemente, beispielsweise kurze Musikstücke (Jingles) oder Sprachausgaben sind Teil des look and feel der Benutzerschnittstelle. Diese hörbaren Elemente können ebenfalls unter Verwendung des Maschinenlernverfahrens erzeugt werden, um eine größere Individualisierung zu ermöglichen.
-
Bei einer weiteren Ausführungsform ist die Erfassungseinheit dazu ausgebildet, als die Information eine auf das Fahrzeug bezogene Navigationsinformation und/oder eine auf die Umgebung des Fahrzeugs bezogene Wetterinformation zu erfassen. Beispielsweise kann die Erfassungseinheit die Position des Fahrzeugs von einem globalen Satellitennavigationssystem empfangen. Die Navigationsinformation ist beispielsweise in welcher geographischen Region sich das Fahrzeug momentan befindet. Als die Wetterinformation kann beispielsweise das aktuelle Wetter, aber auch die Jahreszeit erfasst oder von einem entsprechenden Dienst empfangen werden. Auf Grundlage der Navigationsinformation und/oder der Wetterinformation kann das Element der Benutzerschnittstelle adaptiv an die Umgebung des Fahrzeugs angepasst werden, ohne dass dazu viele Elemente speicherplatz- oder bandbreitenintensiv bereitgestellt werden müssen. Bei einem Beispiel ermittelt die Steuereinheit auf Grundlage der Wetterinformation, dass es in der Umgebung des Fahrzeugs schneit. Die Steuereinheit erzeugt daraufhin unter Verwendung des Maschinenlernverfahrens visuelle Elemente mit einem Schneethema.
-
Bei einer weiteren Ausführungsform umfasst die Erfassungseinheit eine Bilderfassungseinheit des Fahrzeugs, die dazu ausgebildet ist, als die Information mindestens ein Bild mit einer Abbildung eines Bereichs außerhalb des Fahrzeugs zu erfassen und dem Bild entsprechende Bilddaten zu erzeugen, und die Eingabedaten umfassen die Bilddaten. Die Bilderfassungseinheit ist insbesondere eine Außenkamera des Fahrzeugs und dazu ausgebildet, ein zweidimensionales Bild eines Bereichs außerhalb des Fahrzeugs zu erfassen. Die Bilderfassungseinheit erfasst insbesondere Licht im optischen Spektrum und/oder im infraroten Spektrum. Alternativ zu einer optischen Kamera kann die Umgebungserfassungseinheit auch ein RADAR- oder LIDAR-System umfassen, das ein dreidimensionales Bild des Bereichs außerhalb des Fahrzeugs erzeugt, insbesondere in Form einer Punktwolke. Aus den Bilddaten können eine Reihe von Informationen extrahiert werden, auf deren Grundlage das Element der Benutzerschnittstelle erzeugt werden kann. In einem Beispiel ermittelt die Steuereinheit auf Grundlage der Bilddaten die vorherrschende Farbe in der Umgebung des Fahrzeugs und erzeugt ein visuelles Element der graphischen Benutzeroberfläche auf Grundlage der vorherrschenden Farbe. In einem anderen Beispiel ermittelt die Steuereinheit auf Grundlage der Bilddaten, dass das Fahrzeug gerade durch eine alpine Landschaft fährt und erzeugt visuelle Elemente der graphischen Benutzeroberfläche mit einem Alpinthema, dass der momentan durchfahrenen Landschaft entspricht.
-
Bei einer weiteren Ausführungsform umfasst die Erfassungseinheit ein mobiles Endgerät, das dazu ausgebildet ist, die Information, insbesondere die Benutzereingabe des Benutzers, zu erfassen. Das Endgerät kann beispielsweise ein Smartphone oder ein Tabletcomputer sein, auf den eine Applikation läuft, die mit der Steuereinheit kommuniziert. Über das mobile Endgerät kann die Benutzereingabe für den Benutzer besonders einfach erfasst werden, insbesondere, wenn dieser sich nicht im Fahrzeuginnenraum befindet. Um ein besonders einheitliches look and feel herzustellen, kann die Steuereinheit auch dazu ausgebildet sein, Elemente einer Benutzerschnittstelle des mobilen Endgerätes den erzeugten Elementen der Benutzerschnittstelle des Fahrzeugs entsprechend zu erzeugen. Beispielsweise kann die Steuereinheit visuelle Elemente der graphischen Benutzeroberfläche der Applikation den visuellen Elementen der graphischen Benutzeroberfläche des Fahrzeugs entsprechend erzeugen.
-
Bei einer weiteren Ausführungsform ist das Maschinenlernverfahren ein generatives Modell, insbesondere ein Generative Adversarial Network. Generative Modelle, insbesondere Diffusionsmodelle und Generative Adversarial Networks, existieren im Stand der Technik und können einfach an die Voraussetzungen der Vorrichtung angepasst werden. Die Vorrichtung ist somit einfach um zu setzen. Insbesondere kann das generative Modelle auf Grundlage eines kleinen Trainingsdatensatzes feinabgestimmt werden, um die Elemente der Benutzerschnittstelle im Sinne vordefinierter Designprinzipien zu erstellen.
-
Bei einer weiteren Ausführungsform ist die Steuereinheit dazu ausgebildet, die Ausgabeeinheit zum Ausgeben zumindest einer vordefinierten Frage an den Benutzer anzusteuern. Die Erfassungseinheit ist dazu ausgebildet, die Antwort des Benutzers in Form einer Benutzereingabe als die Information zu erfassen und die Eingabedaten der Antwort entsprechend zu erzeugen. Die vordefinierte Frage kann den Benutzer beispielsweise nach seinem Lieblingskünstler, Lieblingsurlaubsland und/oder seiner Lieblingsfarbe fragen. Hierdurch wird der Benutzer durch die Erzeugung des Elements geführt und die Benutzung der Vorrichtung erleichtert.
-
Bei einer weiteren Ausführungsform ist die Erfassungseinheit dazu ausgebildet, eine auf das erzeugte Element bezogene Rückmeldung des Benutzers zu erfassen und der Rückmeldung entsprechende Rückmeldungsdaten zu erzeugen. Die Steuereinheit ist dazu ausgebildet, das Maschinenlernverfahren zumindest auf Grundlage der Rückmeldungsdaten zu modifizieren. Die Rückmeldung kann beispielsweise umfassen, ob der Benutzer mit dem erzeugten Element zufrieden ist. Auf Grundlage dieser Rückmeldung kann dann das Maschinenlernverfahren modifiziert werden, bis ein den Benutzer zufriedenstellendes Element erzeugt wird. Dies erhöht die Benutzerfreundlichkeit der Vorrichtung.
-
Die Erfindung betrifft ferner ein Verfahren zum Betreiben einer Benutzerschnittstelle eines Fahrzeugs. Bei dem Verfahren wird zumindest eine Information erfasst, die einer Benutzereingabe des Benutzers und/oder einer auf die Umgebung des Fahrzeugs bezogenen Umgebungsinformation entspricht. Es werden der erfassten Information entsprechende Eingabedaten erzeugt. Auf Grundlage der Eingabedaten und unter Verwendung eines Maschinenlernverfahrens wird zumindest ein Element der Benutzerschnittstelle des Fahrzeugs erzeugt. Das erzeugte Element wird durch eine Ausgabeeinheit des Fahrzeugs ausgegeben.
-
Das Verfahren hat dieselben Vorteile wie die beanspruchte Vorrichtung. Insbesondere kann das Verfahren mit den Merkmalen der auf die Vorrichtung gerichteten abhängigen Ansprüche weitergebildet werden. Ferner kann die oben beschriebene Vorrichtung mit den Merkmalen weitergebildet werden, die in diesem Dokument im Zusammenhang mit dem Verfahren beschrieben sind.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand der Figuren näher erläutert. Darin zeigen:
- 1 in schematischer Darstellung eine Vorrichtung zum Betreiben einer Benutzerschnittstelle eines Fahrzeugs; und
- 2 einen Ablaufplan des Verfahrens zum Betreiben der Benutzerschnittstelle des Fahrzeugs.
-
1 zeigt in schematischer Darstellung eine Vorrichtung 100 zum Betreiben einer Benutzerschnittstelle eines Fahrzeugs 102.
-
Die Vorrichtung 100 dient dazu, die Benutzerschnittstelle des Fahrzeugs 102 für einen Benutzer 104 zu personalisieren. Hierzu erzeugt die Vorrichtung 100 zumindest ein Element der Benutzerschnittstelle, das durch eine Ausgabeeinheit 106 ausgebbar ist, auf Grundlage einer Benutzereingabe und/oder einer auf die Umgebung des Fahrzeugs 102 bezogenen Umgebungsinformation.
-
Das durch die Vorrichtung 100 erzeugte Element kann beispielsweise ein Bedienelement oder ein dekoratives Element einer graphischen Benutzeroberfläche sein, die durch einen Bildschirm und/oder einem Head-Up-Display des Fahrzeugs 102 als der Ausgabeeinheit 106 an den Benutzer 104 ausgegeben wird. Auch hörbare Elemente, beispielsweise ein kurzes Musikstück oder eine Sprachausgabe, können durch die Vorrichtung 100 erzeugt und beispielsweise durch einen Lautsprecher des Fahrzeugs 102 als der Ausgabeeinheit 106 ausgegeben werden. Ferner kann das Element auch abstrakt sein, beispielsweise eine Lichtfarbe oder eine Sequenz von Lichtfarben, die durch Beleuchtungselemente des Fahrzeugs 102 als der Ausgabeeinheit 106 ausgebbar sind.
-
Zum Erfassen einer Information, auf Grundlage derer das Element der Benutzerschnittstelle erzeugt wird, umfasst die Vorrichtung 100 eine Erfassungseinheit 108. Die Erfassungseinheit 108 verarbeitet die erfasste Information und erzeugt daraus Eingabedaten, welche die Erfassungseinheit 108 an eine Steuereinheit 110 der Vorrichtung 100 übermittelt. Die Eingabedaten können insbesondere in Form eines Textes in natürlicher Sprache erzeugt werden, der besonders einfach weiterzuverarbeiten ist. Die Eingabedaten können aber auch in Form beliebiger Token erzeugt werden, die von der Steuereinheit 110 weiterverarbeitbar sind.
-
In dem in 1 gezeigten Ausführungsbeispiel umfasst die Erfassungseinheit 108 eine Eingabeeinheit 112, die dazu ausgebildet ist, eine Benutzereingabe des Benutzers 104 zu erfassen. Die Eingabeeinheit 112 kann eine haptische Eingabeeinheit sein, beispielsweise ein Ego-Commander, eine Tastatur oder ein Touchscreen des Fahrzeugs 102. Die Eingabeeinheit 112 kann aber auch ein Mikrophon umfassen und dazu ausgebildet sein, die Benutzereingabe in gesprochener Form von dem Benutzer 104 zu empfangen. Ferner kann die Eingabeeinheit 112 auch dazu ausgebildet sein, die Benutzereingabe in Form einer Geste von dem Benutzer 104 zu empfangen.
-
Die Benutzereingabe kann beispielsweise ein von dem Benutzer 104 aus vordefinierten Textbausteinen zusammengesetzter oder frei formulierter Prompt sein, der ästhetische Qualitäten des zu erzeugenden Elements beschreibt. Insbesondere kann die Vorrichtung 100 auch dazu ausgebildet sein, den Benutzer 104 durch eine entsprechende Ausgabe zur Eingabe des Prompts zu motivieren. Beispielsweise kann die Vorrichtung 100 den Benutzer 104 nach seinem Lieblingsurlaubsland, seinem Lieblingskünstler und/oder seiner Lieblingsfarbe fragen. Diese Ausgabe kann visuell erfolgen, beispielsweise durch einen Text, der durch einen Bildschirm und/oder einem Head-Up-Display des Fahrzeugs 102 ausgegeben wird. Die Ausgabe kann aber auch hörbar erfolgen, beispielsweise in Form einer von der Vorrichtung 100 erzeugten Sprachausgabe.
-
Die Erfassungseinheit 108 umfasst in dem gezeigten Ausführungsbeispiel zu dem eine Umfeldsensorik des Fahrzeugs 102, die dazu ausgebildet ist, die Umgebungsinformation zu erfassen. Die Umfeldsensorik ist rein beispielhaft als eine Außenkamera 114 des Fahrzeugs 102 gezeigt. Unter Verwendung der Außenkamera 114 kann beispielsweise ein vorherrschender Farbton in der Umgebung des Fahrzeugs 102 als die Umgebungsinformation ermittelt werden. Der vorherrschende Farbton kann beispielsweise ermittelt werden, in dem die Erfassungseinheit 108 ein von der Außenkamera 114 erfasstes Bild unter Verwendung eines Clustering-Algorithmus verarbeitet. Ferner kann die Erfassungseinheit 108 dazu ausgebildet sein, auf Grundlage des Bildes eine Tageszeit, eine Jahreszeit und/oder das Wetter in der Umgebung des Fahrzeugs 102 als die Umgebungsinformation zu ermitteln.
-
In dem gezeigten Ausführungsbeispiel umfasst die Erfassungseinheit 108 ferner ein Navigationssystem 116, das dazu ausgebildet ist, die Position des Fahrzeugs 102 zu bestimmen oder zu empfangen. Die Erfassungseinheit 108 kann beispielsweise dazu ausgebildet sein, auf Grundlage der Position des Fahrzeugs 102 die geographische Region, in der sich das Fahrzeug 102 momentan befindet, als die Umgebungsinformation zu ermitteln.
-
Die Steuereinheit 110 der Vorrichtung 100 ist dazu ausgebildet, die Eingabedaten unter Verwendung eines Maschinenlernverfahrens zu verarbeiten, um das Element der Benutzerschnittstelle zu erzeugen. Das Maschinenlernverfahren ist insbesondere ein generatives Modell, beispielsweise ein Generative Adversarial Network. Soll ein visuelles Element erzeugt werden, kann die Steuereinheit 110 insbesondere ein Text-zu-Bild-Modell verwenden, um die Eingabedaten in Form von Text in natürlicher Sprache zu verarbeiten. Die Erzeugung des Elements der Benutzerschnittstelle wird im Folgenden anhand der 2 noch näher beschrieben. In dem in 1 gezeigten Ausführungsbeispiel ist die Steuereinheit 110 ein Teil des Fahrzeugs 102 selbst. Bei anderen Ausführungsformen kann zumindest ein Teil der Steuereinheit 110 durch eine von dem Fahrzeug 102 entfernte Verarbeitungseinheit gebildet sein.
-
Beispielsweise kann das Maschinenlernverfahren auf der entfernten Verarbeitungseinheit ausgeführt werden. Hierdurch kann das Maschinenlernverfahren durch den Anbieter einfacher aktualisiert werden und verbraucht keinen Speicherplatz des Fahrzeugs 102.
-
Die in 1 gezeigte beispielhafte Vorrichtung 100 umfasst ferner ein mobiles Endgerät 118 des Benutzers 104, das rein beispielhaft als ein Smartphone gezeigt ist. Das mobile Endgerät 118 ist mit der Vorrichtung 100 verbunden, beispielsweise über eine kabellose Datenverbindung wie Bluetooth®, WLAN oder Nahfeldkommunikation (NFC). Auf dem mobilen Endgerät 118 kann eine Applikation laufen, die es dem Benutzer 104 ermöglicht, Benutzereingaben an die Vorrichtung 100 über das mobile Endgerät 118 zu tätigen. Ferner kann die Steuereinheit 110 dazu ausgebildet sein, zumindest ein Element einer Benutzerschnittstelle des mobilen Endgerätes 118 entsprechend dem erzeugten Element der Benutzerschnittstelle des Fahrzeugs 102 zu erzeugen und an das mobile Endgerät 118 zu übermitteln. Hierdurch haben die Benutzerschnittstellen des Fahrzeugs 102 und des mobilen Endgerätes 118 ein einheitliches look and feel.
-
2 zeigt einen Ablaufplan eines Verfahrens zum Betreiben der Benutzerschnittstelle des Fahrzeugs 102.
-
In Schritt S200 wird das Verfahren gestartet. Das Verfahren kann insbesondere auf Grundlage einer entsprechenden Benutzereingabe des Benutzers 104 gestartet werden. In Schritt S202 steuert die Steuereinheit 110 die Erfassungseinheit 108 zum Erfassen der Information an, auf Grundlage derer das Element der Benutzerschnittstelle erzeugt werden soll. In einem ersten Beispiel fordert die Vorrichtung 100 den Benutzer 104 durch eine entsprechende Ausgabe auf, aus einem Satz vordefinierter Textbausteine einen Prompt zu formulieren. In einem zweiten Beispiel fragt die Vorrichtung 100 den Benutzer 104 durch eine entsprechende Ausgabe nach dem Lieblingsurlaubsland und dem Lieblingskünstler des Benutzers 104, um aus der Antwort des Benutzers 104 die Eingabedaten zu generieren. In einem dritten Beispiel erfasst die Erfassungseinheit 108 ein Bild der Umgebung des Fahrzeugs 102 und ermittelt auf Grundlage des Bildes und unter Verwendung eines Bildklassifizierungsverfahrens, dass sich das Fahrzeug 102 gerade in einer alpinen Umgebung befindet. Auf Grundlage dieser Umgebungsinformation erzeugt die Erfassungseinheit 108 die Eingabedaten, beispielsweise als Text in natürlicher Sprache: „alpine Landschaft“.
-
In Schritt S204 erzeugt die Steuereinheit 110 auf Grundlage der Eingabedaten und unter Verwendung des Maschinenlernverfahrens das Element der Benutzerschnittstelle des Fahrzeugs 102. In dem ersten Beispiel erzeugt die Steuereinheit 110 unter Verwendung eines Text-zu-Bild Modells Bedienelemente und dekorative Elemente einer graphischen Benutzeroberfläche des Fahrzeugs 102 auf Grundlage des von dem Benutzer 104 formulierten Prompts. Die Steuereinheit 110 erzeugt auf Grundlage des Prompts ferner ein kurzes Musikstück, das im Rahmen eines Welcome-Szenarios dem Benutzer 104 ausgegeben wird. In dem zweiten Beispiel erzeugt die Steuereinheit 110 unter Verwendung eines Generative Adversarial Networks ein Hintergrundbild für die graphische Benutzeroberfläche des Fahrzeugs 102, das einem Bild einer Landschaft des Lieblingsurlaubslands des Benutzers 104 in dem Stil des Lieblingskünstlers des Benutzers 104 entspricht. In dem dritten Beispiel erzeugt die Steuereinheit 110 Bedienelemente und dekorative Elemente der graphischen Benutzeroberfläche des Fahrzeugs 102 mit einem alpinen Thema.
-
In dem optionalen Schritt S206 erzeugt die Steuereinheit 110 auf Grundlage des bereits erzeugten Elementes weitere Elemente der Benutzerschnittstelle. In dem zweiten Beispiel extrahiert die Steuereinheit 110 zunächst unter Verwendung eines Clustering-Algorithmus vorherrschende Farben aus dem erzeugten Hintergrundbild. Die Steuereinheit 110 färbt dann die Bedienelemente und die dekorativen Elemente der graphischen Benutzeroberfläche des Fahrzeugs 102 in den extrahierten Farben ein. Die Steuereinheit 110 erzeugt ferner Anweisungen für Beleuchtungselemente des Fahrzeugs 102, Licht in zumindest einer der vorherrschenden Farben des Hintergrundbildes zu erzeugen, um den Fahrzeuginnenraum in diesen Farben zu beleuchten.
-
In Schritt S208 steuert die Steuereinheit 110 die Ausgabeeinheit 106 zum Ausgeben des erzeugten Elementes bzw. der erzeugten Elemente an. In den Beispielen steuert die Steuereinheit 110 beispielsweise einen Bildschirm des Fahrzeugs 102 zum Anzeigen der graphischen Benutzeroberfläche mit den erzeugten Bedienelementen und dekorativen Elementen an. In dem ersten Beispiel steuert die Steuereinheit 110 ferner einen Lautsprecher des Fahrzeugs 102 als die Ausgabeeinheit 106 an, um das erzeugte Musikstück abzuspielen, wenn der Benutzer 104 in das Fahrzeug 102 einsteigt. In dem zweiten Beispiel steuert die Steuereinheit 110 ferner die Beleuchtungselemente zur Beleuchtung des Fahrzeuginnenraums in den vorherrschenden Farben des Hintergrundbildes an.
-
Das Verfahren wird dann in Schritt S210 beendet.
-
In dem anhand der 1 und 2 beschriebenen Ausführungsbeispiel bilden zumindest die Ausgabeeinheit 106, die Erfassungseinheit 108 und die Steuereinheit 110 die Vorrichtung 100 zum Betreiben der Benutzerschnittstelle des Fahrzeugs 102. Weitere in den 1 und 2 gezeigte und in der vorangegangenen Beschreibung genannte Elemente und Merkmale können Teil der Vorrichtung 100 sein. Ebenso können anhand der Vorrichtung 100 beschriebene Verfahrensschritte Teil des beanspruchten Verfahrens sein.
-
Bezugszeichenliste
-
- 100
- Vorrichtung
- 102
- Fahrzeug
- 104
- Benutzer
- 106
- Ausgabeeinheit
- 108
- Erfassungseinheit
- 110
- Steuereinheit
- 112
- Eingabeeinheit
- 114
- Bilderfassungseinheit
- 116
- Navigationssystem
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 10 2021 206 537 A1 [0003]
- US 10452902 B1 [0004]
