-
Die Offenbarung betrifft Systeme und Verfahren zur Steuerung einer Benutzerschnittstelle. Die Offenbarung betrifft insbesondere Systeme und Verfahren zur Steuerung einer multimodalen Benutzerschnittstelle in Fahrzeugen.
-
Stand der Technik
-
Im Stand der Technik sind Benutzerschnittstellen (auch User Interface, UI) für Computer, Tablets oder Mobiltelefone bekannt. Solche bekannten Benutzerschnittstellen sind auch für Fahrzeuge, insbesondere Kraftfahrzeuge, bekannt, die auf ähnlichen Technologien basieren (z.B. Touchscreens, optische Sensorik zur Gestenerfassung bzw. -steuerung) und die einen ähnlichen oder identischen Funktionsumfang aufweisen.
-
Bekannte Benutzerschnittstellen stellen eine Vielzahl von Interaktionselementen zur Verfügung, auf welchen die Interaktionen eines Nutzers mit der Benutzerschnittstelle im Wesentlichen basieren. Typische Interaktionselemente beinhalten Schaltflächen, Texteingabefelder, Schieberegler, Auswahllisten, Optionselemente und dergleichen mehr.
-
Texteingabefelder werden üblicherweise für textuelle Eingaben bereitgestellt, beispielsweise für die Eingabe von Suchbegriffen, von kurzen Textnachrichten oder ganz allgemein textueller Information. Hierfür ist generell eine Betätigung, Aktivierung oder Auswahl eines entsprechenden Texteingabefeldes notwendig, um eine Eingabe vorzunehmen.
-
Insbesondere im Falle von mobilen Endgeräten, oder wenn typischerweise keine vollwertige Tastatur vorgesehen ist, kann oft auch eine Spracheingabe erfolgen, nach Auswahl ein oder mehrerer entsprechender Bedienelemente. Dies kann zum Beispiel mittels einer speziellen Schaltfläche in der (Display-) Tastatur erfolgen (vgl. z.B. „Diktieren-Button“ in iOS oder Android), die ein Nutzer zusätzlich, nach der Auswahl eines Texteingabefeldes, betätigen muss, um die Spracherkennung zu aktivieren.
-
Die Druckschrift
US 8,160,883 beschreibt beispielsweise einen solche bekannte Benutzerschnittstelle. Insbesondere werden Steuerelemente für einen Webserver bereitgestellt, um clientseitige Markierungen zu erstellen, die eine Erkennung und/oder eine akustische Aufforderung enthalten. Die Steuerelemente umfassen Elemente eines Dialogs wie Frage, Antwort, Bestätigung, Befehl oder Anweisung und erlauben die Verwendung von Spracheingaben.
-
Nachteilig an bekannten Benutzerschnittstellen ist, dass eine Interaktion typischerweise mit zahlreichen, teils umständlichen und in einer bestimmten Reihenfolge zu tätigenden Eingaben verbunden ist. Insbesondere, wenn sogenannte natürliche Eingabemethoden (z.B. basierend auf der Erfassung des Blicks eines Nutzers oder von Freiraumzeigegesten) genutzt werden sollen, sind zahlreiche Interaktionsschritte zumeist ineffizient und ergonomisch aufwändig. In bestimmten Anwendungsfällen, beispielsweise beim Gebrauch von mobilen Endgeräten unterwegs oder bei der Interaktion mit Benutzerschnittstellen in Fahrzeugen, kann dadurch die Aufmerksamkeit des Nutzers in Bezug auf ein Umfeld des Nutzers bzw. des Fahrzeugs negativ beeinflusst werden.
-
Ein weiteres Problem besteht darin, dass ohne aktive Auswahl einzelner Elemente der Benutzerschnittstelle auch eine möglicherweise im Hintergrund zeitweise oder dauerhaft aktive Spracherkennung bei mehreren vorhandenen Bedienelementen (z.B. Texteingabefeldern) auf der Benutzerschnittstelle nicht unterscheiden kann, welches Bedienelement (z.B. Feld) aktiv ist und/oder gefüllt werden soll. Hierbei besteht zudem die Gefahr von Fehleingaben, im Falle von welchen weitere Aktionen (z.B. Rückgängigmachen bzw. „Undo“) erforderlich werden. Auch dies kann sich negativ auf die Aufmerksamkeit des Nutzers auswirken, die Nutzung anderweitig erschweren, mühsamer gestalten und/oder das Benutzererlebnis beeinträchtigen.
-
Nachteilig kann auch sein, wenn die Benutzerschnittstelle auf eine oder wenige Modalitäten beschränkt ist, insbesondere, wenn verschiedene Modalitäten nicht oder nur umständlich kombiniert werden können. Im vorstehend beschriebenen Beispiel der Nutzung eines mobilen Endgerätes ist es beispielsweise möglich, dass der Nutzer zunächst eine Betätigung des Touchscreens vornehmen muss, um ein Eingabefeld zu aktivieren, und dann eine weitere Betätigung erfolgen muss, sodass die Spracherkennung aktiviert wird. Eine Betätigung ist zudem typischerweise digital, d.h. dass keine Zwischenstufe zwischen inaktiv und aktiv ausgewählt werden kann. Dies ist beispielsweise im Kontext einer Desktopanwendung durch „OnMouseOver“ bzw. den sogenannten Focus bekannt, wobei keine Auslösung oder Aktivierung erfolgen oder erfolgen müssen. In anderem Kontext, beispielsweise bei mobilen Endgeräten oder Benutzerstellen im Fahrzeug, die ohne klassische Eingabegeräte wie Maus und Tastatur auskommen müssen, ist dies nicht bekannt.
-
Es besteht daher der Bedarf an Verfahren und Systemen zur Steuerung einer Benutzerschnittstelle, die notwendige Interaktionen zur Benutzereingabe reduzieren und/oder minimieren und dadurch insbesondere effizienter und einfacher gestalten.
-
Es besteht weiter der Bedarf an Verfahren und Systemen zur Steuerung einer Benutzerschnittstelle, die insbesondere multimodale Eingaben ermöglichen und/oder in einer Weise kombinieren, dass eine möglichst effiziente oder intuitive Nutzereingabe ermöglicht wird.
-
Es besteht insbesondere weiter der Bedarf an Verfahren und Systemen zur Steuerung einer Benutzerschnittstelle in Fahrzeugen, die notwendige Interaktionen zur Benutzereingabe reduzieren und/oder minimieren, Eingaben dadurch effizienter und einfacher gestalten, und eine Aufmerksamkeit des Nutzers für das Führen des Fahrzeugs und die Verkehrssicherheit verbessern.
-
Offenbarung der Erfindung
-
Es ist eine Aufgabe der vorliegenden Offenbarung, Systeme und zur Steuerung einer Benutzerschnittstelle bereitzustellen, die einen oder mehrere der beschriebenen Nachteile vermeiden und/oder einen oder mehrere der beschriebenen Vorteile ermöglichen.
-
Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
-
In einem ersten Aspekt gemäß Ausführungsformen der vorliegenden Offenbarung ist ein Verfahren zur Steuerung einer Benutzerschnittstelle angegeben. Das Verfahren umfasst Bereitstellen eines Bedienelementes innerhalb einer Darstellung der Benutzerschnittstelle; Erfassen einer ersten Eingabe eines Nutzers der Benutzerschnittstelle, wobei die erste Eingabe konfiguriert ist, ein Zeigerelement innerhalb der Darstellung zu positionieren; Ermitteln einer Relation des Bedienelementes und des Zeigerelementes zueinander; und, falls die Relation eine zumindest teilweise Überdeckung des Bedienelementes durch das Zeigerelement (114) beinhaltet, Erfassen einer, mit dem Bedienelement assoziierten, zweiten Eingabe des Nutzers.
-
In einem zweiten Aspekt nach dem vorhergehenden Aspekt 1 beinhaltet das Bedienelement ein Texteingabefeld und die zweite Eingabe des Nutzers eine textuelle Eingabe.
-
In einem dritten Aspekt nach einem der vorhergehenden Aspekte 1 oder 2 umfasst Erfassen der zweiten Eingabe des Nutzers Erfassen einer Texteingabe basierend auf Spracherkennung.
-
In einem vierten Aspekt nach einem der vorhergehenden Aspekte 1 bis 3 umfasst Erfassen der zweiten Eingabe des Nutzers Erfassen einer ersten Texteingabe basierend auf einer ersten Interaktion des Nutzers mit einer auf der Darstellung bereitgestellten Tastatur. Vorzugsweise wird die Tastatur zumindest auf einem Teilbereich der Darstellung angezeigt und/oder der Nutzer nimmt die erste Texteingabe über die Tastatur mittels des Zeigerelements und/oder mittels Betätigung eines Touchscreens vor.
-
In einem fünften Aspekt nach einem der vorhergehenden Aspekte 1 bis 4 umfasst Erfassen der zweiten Eingabe des Nutzers Erfassen einer zweiten Texteingabe basierend auf einer zweiten Interaktion des Nutzers mit einer mit der Benutzerschnittstelle verbundenen Eingabevorrichtung. Vorzugsweise ist die Eingabevorrichtung konfiguriert, die zweite Texteingabe in Form von ein oder mehreren einzelnen Zeichen basierend auf ein oder mehreren Zeichengesten der Hand des Nutzers auf der Eingabevorrichtung zu erfassen.
-
In einem sechsten Aspekt nach einem der vorhergehenden Aspekte 1 bis 5 betrifft die zumindest teilweise Überdeckung einen aktiven Teilbereich des Zeigerelements.
-
Vorzugsweise wobei das Zeigerelement einen Mauszeiger beinhaltet, weiter vorzugsweise wobei der aktive Teilbereich durch die Spitze des Mauszeigers definiert wird.
-
In einem siebten Aspekt nach einem der vorhergehenden Aspekte 1 bis 6 weisen die erste und zweite Eingabe des Nutzers unterschiedliche Modalitäten aufweisen.
-
In einem achten Aspekt nach einem der vorhergehenden Aspekte 1 bis 7 beinhalten die unterschiedlichen Modalitäten ein oder mehrere der folgenden: eine auf einer Blickführung und/oder Blickrichtung des Nutzers basierende Eingabe; eine auf einer Zeigegeste und/oder Handgeste des Nutzers basierende Eingabe; eine auf einem Touchscreen basierende Interaktion des Nutzers; Spracheingabe bzw. Spracherkennung; eine auf einer Bedienung eines Bedienelementes des Fahrzeugs durch den Nutzer basierende Interaktion, vorzugsweise wobei das Bedienelement ein die Eingabevorrichtung beinhaltet.
-
In einem neunten Aspekt gemäß Ausführungsformen der vorliegenden Offenbarung ist ein System zur Steuerung einer Benutzerschnittstelle angegeben. Das System umfasst eine Benutzerschnittstelle; und eine Steuereinheit, die konfiguriert ist zur Ausführung des Verfahrens gemäß Ausführungsformen der vorliegenden Offenbarung, insbesondere nach einem der vorhergehenden Aspekte 1 bis 8.
-
In einem zehnten Aspekt gemäß Ausführungsformen der vorliegenden Offenbarung ist ein Fahrzeug angegeben, umfassend ein System gemäß Ausführungsformen der vorliegenden Offenbarung, insbesondere nach dem vorhergehenden Aspekt 9.
-
Die hier offenbarten Verfahren und Systemen bieten ein oder mehrere der nachstehend genannten Vorteile.
-
Verfahren und Systemen zur Steuerung einer Benutzerschnittstelle gemäß der vorliegenden Offenbarung reduzieren und/oder minimieren die notwendigen Interaktionen zwischen Nutzer und Benutzerschnittstelle zur Eingabe von Informationen gestalten die Eingabe insbesondere effizienter und einfacher. Es werden multimodale Eingaben ermöglicht und/oder in einer Weise kombiniert, dass eine möglichst effiziente oder intuitive Nutzereingabe möglich ist.
-
Verfahren und Systemen zur Steuerung einer Benutzerschnittstelle in Fahrzeugen gemäß der vorliegenden Offenbarung, reduzieren, minimieren und/oder optimieren die für Eingaben notwendigen Interaktionen zwischen Nutzer und Benutzerschnittstelle verbessern insbesondere die Aufmerksamkeit des Nutzers für das Führen des Fahrzeugs und die Verkehrssicherheit allgemein.
-
Basierend auf Systemen und Verfahren gemäß der vorliegenden Offenbarung lassen sich eine große Anzahl unterschiedlicher Bedienelemente, insbesondere Texteingabefelder, auf einer Benutzeroberfläche gleichzeitig darstellen, die mittels Spracherkennung genutzt werden können. Ein zu füllendes Bedienelement (z.B. Texteingabefeld) kann mühelos, ohne weitere vorangehende Interaktionen (z.B. vorheriges Anklicken), ausgewählt und mittels Spracherkennung genutzt werden. Wahlweise stehen zusätzlich alternative, robuste Eingabemethoden, wie eine (Bildschirm-) Tastatur oder ein sogenanntes Graffiti-Eingabefeld (z.B. über einen iDrive Controller) zur Verfügung.
-
Figurenliste
-
Ausführungsbeispiele der Offenbarung sind in den Figuren dargestellt und werden im Folgenden näher beschrieben. Dabei werden im Folgenden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente dieselben Bezugszeichen verwendet.
- 1 zeigt eine schematische Darstellung eines Systems zur Steuerung einer Benutzerschnittstelle gemäß Ausführungsformen der vorliegenden Offenbarung;
- 2 zeigt eine schematische Darstellung verschiedener Interaktionen zwischen einem Nutzer und einer durch die Benutzerschnittstelle bereitgestellte Darstellung gemäß Ausführungsformen der vorliegenden Offenbarung;
- 3A bis 3G illustrieren schematisch Darstellungen verschiedener Ansichten einer Benutzerschnittstelle gemäß Ausführungsformen der vorliegenden Offenbarung im Zuge von verschiedenen Interaktionen zwischen einem Nutzer und der Benutzerschnittstelle; und
- 4 zeigt ein Flussdiagramm eines Verfahrens zur Steuerung einer Benutzerschnittstelle gemäß Ausführungsformen der vorliegenden Offenbarung.
-
Ausführungsformen der Offenbarung
-
Im Folgenden werden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente gleiche Bezugszeichen verwendet.
-
1 zeigt eine schematische Darstellung eines Systems 100 zur Steuerung einer Benutzerschnittstelle gemäß Ausführungsformen der vorliegenden Offenbarung zur Anwendung in einem Fahrzeug 80. Das System kann im Wesentlichen auf einer Steuereinheit 120 des Fahrzeugs 80 und/oder auf einer oder mehreren Backend-Komponenten 150 (z.B. Server, Dienste) ausgeführt werden. Das Fahrzeug 80 umfasst neben der Steuereinheit 120 weiter eine Kommunikationseinheit 130, die zur Datenkommunikation mit zum Fahrzeug 80 externen Komponenten (z.B. mobile Endgeräte 125 und/oder Backend 150) konfiguriert ist, und eine Benutzerschnittstelle 110, die beispielsweise als Touchscreen im Fahrzeug 80 realisiert sein kann (z.B. auf dem oder im Armaturenbereich des Fahrzeugs 80 oder als Teil eines Rear-Seat-Entertainment Systems im Fond des Fahrzeugs 80).
-
Die Benutzerschnittstelle 110 im Fahrzeug 80 wird als illustratives Beispiel herangezogen, um die der vorliegenden Offenbarung zugrunde liegenden Konzepte darzustellen. Das System 100 kann jedoch auch teilweise oder vollständig auf einem mobilen Endgerät 125 eines Nutzers implementiert sein und im Wesentlichen dieselben Funktionen bieten und eine entsprechende Benutzerschnittstelle 110' bereitstellen, wie nachstehend in Bezug auf die Benutzerschnittstelle 110 im Fahrzeug 80 beschrieben ist. Die Benutzerschnittstelle 110' kann weiter alle notwendigen Komponenten implementieren, die in Bezug auf Benutzerschnittstelle 110 beschrieben sind, beispielsweise Spracheingabe bzw. -ausgabe, Kameras und Bildschirme, biometrische Sensoren (z.B. Fingerabdruck Scanner, Retina Scanner) und dergleichen mehr.
-
Das Fahrzeug 80 umfasst weiter eine Sensorik 115, die konfiguriert ist, einen Nutzer 60 (nicht in 1 dargestellt) im Fahrzeug 80 zu erfassen. Die Sensorik 115 ist in 1 lediglich beispielhaft skizziert und kann mehrere Komponenten beinhalten, insbesondere an verschiedenen Stellen in bzw. am Fahrzeug 80 verbaute Komponenten.
-
Die Sensorik 115 kann beispielsweise ein oder mehrere Kameras beinhalten, die konfiguriert sind, den Innenraum des Fahrzeugs, insbesondere einen Nutzer 60 des Fahrzeugs, zu erfassen und so beispielsweise Bilder vom Gesicht des Nutzers 60 zu erfassen. Um den Nutzer 60 zu erfassen, können weitere Komponenten vorgesehen sein, beispielsweise eine Sensorik, die eine Gestensteuerung implementiert (z.B. Zeigen, Deuten, Wischen auf das zentrale Informationsdisplay (CID), ohne einen Touchscreen verwenden zu müssen). Die Sensorik 115 kann weiter ein oder mehrere Kameras beinhalten, die ein Umfeld um das Fahrzeug herum erfassen. Basierend darauf kann ein Nutzer 60 bereits außerhalb vom Fahrzeug erfasst werden (z.B. zum Abgleich von Dokumenten oder Abbildungen vom Nutzer 60). Wie vorstehend erwähnt ist, kann die Sensorik 115 auch ganz oder teilweise im mobilen Endgerät 125 beinhaltet sein.
-
Die Benutzerschnittstelle 110 kann eine oder mehrere multimodale Benutzerschnittstellen, insbesondere Benutzerschnittstellen, die für die Bedienung des Fahrzeugs 80 konfiguriert sind (z.B. Kommunikation, Infotainment, Klimatisierung, Sitzeinstellung, Fahrzeugeinstellungen) umfassen. Die Benutzerschnittstelle 110 ermöglicht die multimodale Erfassung von Eingaben eines Nutzers 60, beispielsweise über eine grafische Benutzeroberfläche (z.B. Touchscreen), über klassische Bedienelemente des Fahrzeugs 80 (z.B. Knöpfe, Schalter, iDrive Controller), per Sprachsteuerung (z.B. mittels Sensorik 115), per Scanner (z.B. für Fingerabdrücke, Retina) und dergleichen mehr. Die Benutzerschnittstelle 110 ermöglicht weiter die multimodale Ausgabe von Informationen an einen Nutzer 60, beispielsweise über eine grafische Anzeigeelemente (z.B. Touchscreen, Head-Up Display, Instrumentenkombi, zentrales Informationsdisplay bzw. CID), über taktile Elemente (z.B. Vibration des Lenkrads oder von Teilen des Sitzes), per Sprachausgabe über eine im Fahrzeug vorhandene Lautsprecheranlage (z.B. Infotainmentsystem) oder akustische Signalgeber (z.B. Gong, Piepser) und dergleichen mehr. Die Benutzerschnittstelle 110 können basierend auf entsprechenden Konfigurationsdaten eine grafische Benutzerschnittstelle implementieren, in der Anzeigeelemente und Bedienungselemente dargestellt werden, die vom Nutzer 60 für die Bedienung des Fahrzeugs 80 genutzt werden können. Zusätzlich bzw. alternativ kann die Benutzerschnittstelle (weitere) Anzeige- und Bedienelemente beinhalten, beispielsweise Schalter, Knöpfe und Anzeigen.
-
Über die Kommunikationseinheit 130 kann das Steuergerät 120 bzw. das System 100 mit externen Komponenten und Diensten in Datenkommunikation treten und so beispielsweise mit Backend Servern und/oder Diensten 150 kommunizieren. Alternativ oder zusätzlich kann das Steuergerät 120 bzw. das System 100 über die Kommunikationsschnittstelle 130 mit dem mobilen Endgerät 125 eines Nutzers 60 in Datenkommunikation treten und Daten und/oder Sensoren verwenden, die vom mobilen Endgerät 125 bereitgestellt werden (wie vorstehend beschrieben).
-
Weiter kann das System 100 eine zum Fahrzeug 80 externe Backend Komponente 150 oder Infrastruktur aufweisen, die ein oder mehrere Ressourcen (z.B. Server, Dienste/Services) bereitstellt. Die Backend Komponente 150 kann zeitweise oder dauerhaft mit dem Steuergerät 120 des Fahrzeugs 80 und/oder mit dem mobilen Endgerät 125 in Datenkommunikation 140 stehen. Vorzugsweise können ressourcenintensive Verarbeitungsschritte (z.B. Verarbeitung natürlicher Sprache und/oder von Bild bzw. Videodaten, Spracherkennung, Verarbeitung großer externer Datenmengen) an die externe Backend Komponente 150 ausgelagert werden, die durch die Steuereinheit 120 im Fahrzeug 80 und/oder durch das mobile Endgerät 125 nur schwer oder gar nicht vorgenommen werden könnten. Hierbei kann auch auf eventuelle Anforderungen bzgl. Rechenleistung, Speicherleistung, verfügbarer Bandbreite, Anbindung an externe Datenquellen und dergleichen mehr, Rücksicht genommen werden.
-
Eine auf dem Steuergerät 120 ausgeführte Softwarekomponente kann eine Datenverbindung 140 zu ein oder mehreren Diensten 150, beispielsweise Suchmaschinen oder Messaging Dienste, herstellen. Eine solche Verbindung kann vorzugsweise direkt hergestellt werden, wenn ein Dienst oder eine Plattform (bzw. das zugrunde liegende Protokoll) direkt von der Softwarekomponente unterstützt wird. Eine solche Verbindung kann alternativ oder zusätzlich über ein vom Nutzer 60 mit dem Fahrzeug 80 verbundenes mobiles Endgerät 125 erfolgen. Hierbei können dann von der Softwarekomponente alle Dienste, Plattformen und Protokolle genutzt werden, die vom mobilen Endgerät 125 unterstützt werden.
-
2 zeigt eine schematische Darstellung verschiedener Interaktionen zwischen einem Nutzer 60 und einer durch die Benutzerschnittstelle 110 bereitgestellte Darstellung 112 gemäß Ausführungsformen der vorliegenden Offenbarung. 2 zeigt drei unterschiedliche Anwendungsfälle (a), (b) und (c), in denen verschiedene Modalitäten von Benutzereingaben zur Anwendung kommen.
-
Im Fall (a) steuert der Nutzer 60 ein Zeigerelement 114 (vgl. „Mauszeiger“ oder ähnlich) basierend auf einer Blickrichtung 66', die durch die auf die Darstellung 112 gerichteten Augen 66 des Nutzer 60 definiert wird. Dabei folgt das Zeigerelement 114 der Blickrichtung 66' über die Darstellung 112 und verweilt an der entsprechenden Stelle, beispielsweise auf einem Bedienelement (z.B. Texteingabefeld).
-
Der Fall (b) skizziert einen ähnlichen Fall, der auf einer anderen Modalität basiert. Im Fall (b) steuert der Nutzer 60 ein Zeigerelement 114 basierend auf Richtung 68', die durch die auf die Darstellung 112 gerichteten Zeigegeste mit einer Hand 68 des Nutzers 60 definiert wird. Dabei folgt das Zeigerelement 114 der Zeigerichtung 68' über die Darstellung 112 und verweilt an der entsprechenden Stelle, beispielsweise auf einem Bedienelement (z.B. Texteingabefeld).
-
Der Fall (c) skizziert einen Fall, der auf einer weiteren Modalität basiert. Im Fall (c) steuert der Nutzer 60 ein Zeigerelement 114 basierend auf Eingaben, die mit einer Hand 68 des Nutzers 60 auf einem Eingabegerät 108 (z.B. Touchpad, Touchscreen, iDrive Controller) gemacht werden. Dabei folgt das Zeigerelement 114 der Bewegung der Hand 68 (bzw. einem oder mehreren Fingern) des Nutzers 60 über die Darstellung 112 und verweilt an der entsprechenden Stelle, beispielsweise auf einem Bedienelement (z.B. Texteingabefeld).
-
In allen vorgenannten Fällen, und in weiteren Fällen, kann angenommen werden, dass der Nutzer 60 ein Bedienelement (z.B. ein Texteingabefeld) auf der Darstellung 112 auswählen möchte. Das System 100 erlaubt dies basierend auf unterschiedlichen Modalitäten, um dem Nutzer 60 die Möglichkeit zu geben, eine dessen individuellen Präferenzen entsprechende und/oder eine für einen Nutzungskontext geeignete Modalität (oder Modalitäten) zu verwenden. Die vorstehend beschriebenen Fälle decken nur eine Auswahl beispielhafter Modalitäten ab. Es sind weitere Modalitäten denkbar, beispielsweise per Eingabe auf den Touchscreen (z.B. direkt auf die Darstellung 112), Spracheingabe, Bedienung eines dedizierten (physischen) Bedienelementes (z.B. Taste am Lenkrad des Fahrzeugs 80) und dergleichen mehr.
-
Die 3A bis 3G illustrieren schematisch Darstellungen 112 verschiedener Ansichten einer Benutzerschnittstelle 110 gemäß Ausführungsformen der vorliegenden Offenbarung im Zuge von verschiedenen Interaktionen zwischen einem Nutzer 60 und der Benutzerschnittstelle 110.
-
3A bis 3G zeigen allgemein eine Darstellung 112 einer Benutzerschnittstelle 110, die beispielhaft in Bereiche 112r-1 und 112r-2 aufgeteilt ist, und so zwei verschiedene in etwa gleich große Anzeigebereiche definiert. Alternativ kann die Darstellung 112 einen einzigen Bereich oder mehr als zwei Bereiche beinhalten, je nach Nutzungskontext und/oder angezeigten Inhalten. Der gezeigte Nutzungskontext bezieht sich rein beispielhaft auf eine Kommunikation des Nutzers 60 mittels Textnachrichten (vgl. Titel „Messages“). Ähnlich oder identisch lassen sich zahlreiche weitere Anwendungen über die Benutzerschnittstelle 110 realisieren, ohne wesentlich vom Gezeigten abzuweichen.
-
In den gezeigten Beispielen ist im Bereich 112r-1 eine Auflistung von möglichen Kommunikationspartnern zu sehen, die jeweils als ein entsprechendes Bedienelement 112e, 112es angezeigt werden, wobei das Bedienelement 112es als „ausgewählt“ (vgl. gesetzten Haken) markiert dargestellt ist. Ein vom Nutzer 60 steuerbares Zeigerelement 114 ist ebenfalls dargestellt. Der Bereich 112r-2 zeigt für einen jeweiligen, ausgewählten Kommunikationspartner eine evtl. vorhandene Historie an, enthaltend eingehende Nachrichten 112mi und/oder ausgehende Nachrichten 112mo. Darüber hinaus sind Texteingabefelder 112i und 112i-2 dargestellt, die jeweils einem der Bereiche 112r-1 und 112r-2 zugeordnet sind. Jedes Texteingabefeld 112i, 112i-2 weist weiter ein die Art des Eingabefeldes anzeigendes Piktogramm 112ip und einen den Kontext des Eingabefeldes anzeigenden Hilfetext 112it auf. Der Nutzer 60 kann anhand des Piktogramms erkennen, dass es sich um ein spracheingabefähiges Texteingabefeld handelt (vgl. Piktogramm 112ip „Mikrofon“) und kann dem jeweiligen Hilfetext entnehmen, womit das Texteingabefeld assoziiert ist (vgl. Suchbegriff /„search term“ bzw. Nachricht / „message“). Die 3B bis 3G zeigen identische bzw. ähnliche Elemente, sofern nicht abweichend oder zusätzlich erläutert.
-
Wie in den 3A bis 3G gezeigt, können in der Darstellung 112 mehrere Texteingabefelder 112i, 112i-2 platziert werden. Darüber hinaus ist vorgesehen, dass eine Spracheingabe in ein jeweiliges Texteingabefeld 112i, 112i-2 automatisch dann aktiviert wird, wenn das Zeigerelement 114 sich auf dem Texteingabefeld 112i, 112i-2 befindet - ohne dass ein „Klicken“ oder eine anderweitige weitere Interaktion vom Nutzer 60 erforderlich ist. In 3A beispielsweise befindet sich das Zeigerelement 114 nicht über einem der Texteingabefelder 112i, 112i-2, sodass keine Spracheingabefunktion aktiviert ist bzw. wird. In 3B hingegen befindet ich das Zeigerelement 114 auf (bzw. über) dem Texteingabefeld 112i im linken Bereich 112r-1 der Darstellung 112, wodurch die Spracheingabefunktion aktiviert ist bzw. wird, und zwar für das Texteingabefeld 112i. Eine aktivierte Spracheingabefunktion kann über ein geändertes Piktogramm 112ip' (vgl. Piktogramm 112ip in 3A und Piktogramm 112ip' in 3B) angezeigt werden, beispielsweise mit zusätzlichen Piktogrammelementen, einer geänderten Größe des Piktogramms, anderen Farben und/oder dergleichen mehr. Alternativ oder zusätzlich dazu kann eine Darstellung des Texteingabefeldes 112i bei dafür aktivierter Spracheingabefunktion ebenfalls derart angepasst werden (vgl. Größe des Texteingabefeldes 112i in 3A und 3B).
-
Alternativ zur Spracheingabefunktion stehen weitere Modalitäten zur Verfügung, beispielsweise mittels Einblendens einer (Bildschirm-) Tastatur (vgl. 3D; weitere Beschreibung nachstehend) oder mittels Graffiti / Zeichengesten über iDrive Controller und dergleichen mehr.
-
3B zeigt einen Zustand der Darstellung 112, in welcher der Nutzer 60 das Zeigerelement 114 auf (bzw. über) dem Texteingabefeld 112i positioniert hat, beispielsweise per Blicksteuerung (vgl. 2 (a)), per Zeigegestensteuerung (vgl. 2 (b)) oder per Touchpad (vgl. 2 (c)), und die Spracheingabefunktion wie vorstehend erläutert aktiviert worden ist. In diesem Zustand kann der Nutzer 60 ohne weitere Interaktion per Spracheingabe das Texteingabefeld 112i füllen, im Beispiel mit dem Suchbegriff „Dominique“.
-
3C zeigt einen darauffolgenden Zustand der Darstellung 112, in welcher der Nutzer 60 per Spracheingabe mit dem beispielhaften Suchbegriff „Dominique“ das Texteingabefeld 112i gefüllt hat. Entsprechend wird der von der Spracheingabefunktion erkannte Suchbegriff „Dominique“ im Texteingabefeld 112i angezeigt, wie er auch bei einer Eingabe per Tastatur zu sehen wäre, sodass der Nutzer 60 die korrekte Erfassung (oder eine etwaige fehlerhafte Erfassung) unmittelbar als solche erkennen kann. Entsprechend der vorgenommenen Eingabe ist die Auflistung von möglichen Kommunikationspartnern aktualisiert und die mit dem eingegebenen Suchbegriff entsprechenden Bedienelemente 112e ausgeblendet worden.
-
Sollte im Falle einer Fehleingabe oder -erkennung der eingegebene Suchbegriff nicht korrekt sein, kann das Texteingabefeld 112i mittels aktivieren eines entsprechenden Bedienelementes 112ic (z.B. eine Schaltfläche zu Schließen / Rücksetzen des Texteingabefeldes) zurückgesetzt werden. In diesem Fall würde der Nutzer 60 zur Darstellung in 3B zurückkehren und könnte erneut eine (Sprach-) Eingabe vornehmen, die Aktivierung des Bedienelementes 112ic kann per Touchscreen oder „Klicken“ vorgenommen werden. Weiter ist denkbar, dass per Spracheingabeerkennung ein Schlüssel- oder Befehlswort (z.B. „Zurück“ oder „Rückgängig“) die Funktion aktiviert wird.
-
Im Falle einer korrekten Eingabe und Erkennung kann der Nutzer 60 gemäß dem gezeigten Beispiel mit der Darstellung 112 in 3E fortfahren.
-
3D zeigt eine zur Spracheingabe alternative Eingabemodalität per (Bildschirm-) Tastatur. Ausgehend von der Darstellung 112 in 3B kann der Nutzer 60, anstatt eine Spracheingabe vorzunehmen, das Texteingabefeld 112i aktivieren (z.B. per Touchscreen oder „Klicken“), sodass ein Texteingabemodus mit entsprechender Tastatur 112t angezeigt wird. Die mit dem Texteingabefeld 112i assoziierte Tastatur 112t erlaubt in Verbindung mit einem im Texteingabefeld 112i angezeigten Cursorelement 112ic eine textuelle Eingabe. Hierzu kann die Tastatur 112t genutzt werden, oder eine alternative Modalität, beispielsweise Graffiti / Zeichengesten über iDrive Controller, wobei der Suchbegriff tastendruck- bzw. zeichenweise textuell eingegeben werden kann. Sobald der Suchbegriff eingegeben worden ist, kann der Nutzer 60 die Funktion (z.B. Suche) aktiv auslösen (z.B. mittels „Enter“ Taste oder entsprechendem Graffiti Zeichen) oder diese kann nach einer vorbestimmten Wartezeit (z.B. 2 Sekunden) ohne Texteingabe automatisch ausgelöst werden. Nach einer erfolgreichen (korrekten) Eingabe gelangt der Nutzer 60 zur Darstellung in 3C.
-
In der Darstellung 112 in 3C kann der Nutzer den (bereits als ausgewählt dargestellten) Kontakt 112es auswählen oder alternativ in einer der Darstellungen 112 in den 3A, 3B oder 3D direkt eines der Bedienelemente 112e zur Auswahl aktivieren (z.B. per Touchscreen, „Klicken“). So kann der Nutzer 60 einen gewünschten Eintrag der Liste der Kontakte, vorzugsweise nach vorherigem Filtern bzw. Suchen, auswählen und gelangt zur Darstellung 112 in 3E.
-
3E zeigt einen Zustand der Darstellung 112, in welcher der Nutzer 60 das Zeigerelement 114 auf das Texteingabefeld 112i-2 im rechten Anzeigebereich 112r-2 positioniert hat. Analog zu dem vorstehend Beschriebenen in Bezug auf 3B und 3C kann der Nutzer 60 nun eine Eingabe in das Texteingabefeld 112i-2 per Spracheingabe vornehmen. Piktogramme 112ip, 112ip' und Hilfetexte 112it entsprechen dem vorstehend Beschriebenen. Die Nachrichtenhistorie im Anzeigebereich 112r-2 ist mit dem ausgewählten Eingabeelement 112es (vgl. Haken) assoziiert und gibt einen Kurznachrichtenverlauf bestehend aus eingegangenen 112mi und ausgegangenen 112mo Nachrichten wieder.
-
3F zeigt einen darauffolgenden Zustand der Darstellung 112 in dem der Nutzer 60 das Texteingabefeld 112i-2 mit dem beispielhaften Kurznachrichtentext „Ok, see you at 8:30 pm!“ gefüllt hat. Entsprechend wird der von der Spracheingabefunktion erkannte Kurznachrichtentext 112mn („Ok, see you at 8:30 pm!“) im Texteingabefeld 112i-2 so angezeigt, wie er auch bei einer Eingabe per Tastatur zu sehen wäre, sodass der Nutzer 60 wiederum die korrekte Erfassung (oder eine etwaige fehlerhafte Erfassung) unmittelbar als solche erkennen kann. Um den erkannten Kurznachrichtentext 112mn abzusenden, stellt die Darstellung 112 ein entsprechendes Bedienelement 112b (z.B. Sende-Button) bereit, der mit dem Texteingabefeld 112i-2 assoziiert ist.
-
In 3G ist ein weiterer darauffolgender Zustand der Darstellung 112 illustriert, wobei der Nutzer 60 wiederum per Blicksteuerung (vgl. 2 (a)), per Zeigegestensteuerung (vgl. 2 (b)) oder per Touchpad (vgl. 2 (c)), das Zeigerelement 114 auf das Bedienelement 112b bewegt und mittels einer weiteren Eingabe (z.B. Touchscreen, „Klicken“, Sprachbefehl „Send!“) den Kurznachrichtentext 112mn abgesendet hat. Dies ist im Anzeigebereich 112r-2 ersichtlich, der in 3G eine neue ausgehende Nachricht 112mo' anzeigt, die den Kurznachrichtentext 112mn („Ok, see you at 8:30 pm!“) enthält. Ältere Nachrichten werden nach oben verschoben und verschwinden nach und nach aus dem Anzeigebereich 112r-2 mit dem Eingang bzw. Ausgang nachfolgender Nachrichten.
-
4 zeigt ein Flussdiagramm eines Verfahrens 200 zur Steuerung einer Benutzerschnittstelle gemäß Ausführungsformen der vorliegenden Offenbarung. Das Verfahren 200 beginnt bei Schritt 201. In Schritt 202 wird ein Bedienelement 112i, 112i-2 innerhalb einer Darstellung 112 der Benutzerschnittstelle 110, 110' dargestellt (vgl. z.B. 3A). In Schritt 204 wird eine erste Eingabe eines Nutzers 60 der Benutzerschnittstelle 110, 110' erfasst. Die erste Eingabe ist konfiguriert, das Zeigerelement 114 (z.B. einen Mauszeiger) innerhalb der Darstellung 112 zu positionieren (vgl. 3B). In Schritt 206 wird eine Relation des Bedienelementes 112i, 112i-2 und des Zeigerelementes 114 zueinander ermittelt. Hierbei kann es sich beispielsweise um eine Überdeckung des Zeigerelementes 114 mit dem Bedienelement 112i, 112i-2 handeln (z.B. aktiver Punkt, bspw. Spitze, des Mauszeigers über dem Bedienelement). Die Überdeckung wird in Schritt 208 ermittelt. In Schritt 210 wird, falls die Relation eine zumindest teilweise Überdeckung des Bedienelementes 112i, 112i-2 durch das Zeigerelement 114 beinhaltet, eine mit dem Bedienelement 112i, 112i-2 assoziierte zweite Eingabe des Nutzers 60 erfasst. Das Verfahren endet bei Schritt 212.
-
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
