DE102011017261A1

DE102011017261A1 - Method for providing user interface in vehicle for determining information in index database, involves accounting cross-reference between database entries assigned to input sequences by determining number of hits

Info

Publication number: DE102011017261A1
Application number: DE102011017261A
Authority: DE
Inventors: Mark Peter Czelnik; Dr. Wäller Christoph; Mike Salzer
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2011-04-15
Filing date: 2011-04-15
Publication date: 2012-10-18

Abstract

The method (30) involves detecting a user input (32) e.g. voice, and identifying first and second input sequences (33) in the user input. The identified input sequences are compared (34) with stored database entries. A number of hits for the user input are determined (37) and partially output (38) based on the entries assigned to the input sequences. A cross-reference e.g. logical function, between one of the database entries assigned to a third input sequence and the other database entry assigned to the second input sequence is accounted (36) by determining the number of hits. An independent claim is also included for a device for providing a user interface in a vehicle for determining information in an index database.

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bereitstellen einer Nutzerschnittstelle, insbesondere in einem Fahrzeug, zum Auffinden von Informationen in einer Indexdatenbank mit einer Vielzahl von Datenbankeinträgen und Querverweisen zwischen diesen Datenbankeinträgen. Die vorliegende Erfindung betrifft ferner ein Fahrzeug mit einer solchen Vorrichtung zum Bereitstellen einer Nutzerschnittstelle.The present invention relates to a method and an apparatus for providing a user interface, in particular in a vehicle, for finding information in an index database with a plurality of database entries and cross references between these database entries. The present invention further relates to a vehicle having such a device for providing a user interface.

Gattungsgemäße Nutzerschnittstellen sind aus dem technischen Gebiet der Suchmaschinen bekannt und finden ein breites Anwendungsspektrum für die Bedienung von Geräten, insbesondere elektronischen Einrichtungen. Dabei werden Nutzereingaben mit in der Datenbank gespeicherten Datenbankeinträgen verglichen und die Relevanz der jeweiligen Datenbankeinträge mittels eines Algorithmus berechnet. Besonders relevante Datenbankeinträge werden dann typischerweise in einer Trefferliste gesammelt und dem Nutzer angezeigt oder es wird, falls nur ein Treffer ermittelt wird, auf seiner Basis eine Funktion ausgeführt.Generic user interfaces are known from the technical field of search engines and find a wide range of applications for the operation of devices, in particular electronic devices. In this case, user entries are compared with database entries stored in the database and the relevance of the respective database entries is calculated by means of an algorithm. Particularly relevant database entries are then typically collected in a hit list and displayed to the user or, if only one hit is determined, a function is executed on its basis.

Dabei ergibt sich das Problem, dass das Auffinden der gesuchten Information unter Umständen sehr lange dauern kann, insbesondere wenn der zu durchsuchende Datenbankumfang groß ist. Eine Beschränkung der Datenmenge ist allerdings nicht immer zweckmäßig. Dies kann einerseits zu einem längeren Dialogverlauf zwischen System und Nutzer führen, indem z. B. der Nutzer selber eine Unterdatenmenge auswählen muss, andererseits setzt dies auch eine gewisse Kenntnis über die Informationsarchitektur seitens des Nutzers voraus. Ferner können bei unvollständigen Eingaben nicht immer die korrekten Informationen gefunden werden bzw. es werden sehr viele mögliche Treffer gefunden. Der Nutzer muss dann in nachfolgenden Dialogschritten die gesuchte Information identifizieren.This results in the problem that the finding of the information sought may take a very long time, especially if the scope of the database to be searched is large. However, limiting the amount of data is not always appropriate. On the one hand, this can lead to a longer dialogue between the system and the user. B. the user himself must select a subset of data, on the other hand, this also requires some knowledge of the information architecture on the part of the user. Furthermore, with incomplete entries, the correct information can not always be found or many possible matches are found. The user must then identify the information sought in subsequent dialog steps.

Die Erfindung betrifft insbesondere eine Umsetzung des Verfahrens bzw. der Vorrichtung in modernen Fahrzeugen. Dort hat die Informationsmenge und die Vielfalt der bedienbaren Funktionen stark zugenommen. So werden beispielsweise Fahrerassistenzsysteme und Infotainmentsysteme immer komplexer und es werden zunehmend Funktionserweiterungen durch Softwarehersteller, Lizenzpartner oder durch externe Entwickler zugelassen (sogenanntes „Crowd-Sourcing”), wodurch die Informationsarchitektur auch für den geübten Nutzer immer schwieriger zu merken und zu durchschauen ist. Bei der Konzeption eines Suchalgorithmus für die Anwendung in einem Fahrzeug muss dabei insbesondere auch berücksichtigt werden, dass der Fahrer bei einem Bedienvorgang zum Auffinden von Informationen über die Nutzerschnittstelle nicht vom Straßenverkehr abgelenkt wird.In particular, the invention relates to an implementation of the method or the device in modern vehicles. There, the amount of information and the variety of operable functions has greatly increased. For example, driver assistance systems and infotainment systems are becoming increasingly complex and functional enhancements by software manufacturers, license partners or external developers are increasingly permitted (so-called "crowd sourcing"), which makes the information architecture even more difficult to remember and understand even for the experienced user. When designing a search algorithm for use in a vehicle, it must also be taken into account in particular that the driver is not distracted from the traffic during an operating procedure for finding information via the user interface.

Die EP 2 177 877 A1 beschreibt ein Verfahren zum Erfassen einer Navigationseingabe für ein Fahrzeug. Dabei wird nach Eingabe eines Buchstabens eine Treffermenge angezeigt und nach Eingabe jedes weiteren Buchstabens die Treffermenge dynamisch aktualisiert.The EP 2 177 877 A1 describes a method for detecting a navigation input for a vehicle. After entering a letter, a set of hits is displayed, and after entering each additional letter, the set of hits is updated dynamically.

In der EP 1 433 662 B1 ist ein Verfahren zur Sprachsteuerung beschrieben, bei dem zu einem eingegebenen Suchbegriff Synonyme ermittelt werden, die als „Steuerungsmenü-Begriff” auswählbar sind. Die Suche kann dabei auch über sogenannte Identifier oder über dem Suchbegriff zugeordnete Parameter erfolgen, z. B. über die Zahlenkolonne einer Telefonnummer. Der Nutzer wählt dann aus einem angegebenen Suchtreffer aus. Das Verfahren kann für einzelne Befehlseingaben sowie mehrschrittige Dialogabläufe verwendet werden.In the EP 1 433 662 B1 a method for voice control is described in which synonyms are determined for an entered search term, which are selectable as a "control menu term". The search can also be done via so-called identifier or via the search term associated parameters, eg. B. on the number column of a telephone number. The user then selects from a specified search hit. The method can be used for individual command inputs as well as multi-step dialog sequences.

Die EP 1 455 163 B1 beschreibt eine Eingabe für ein Navigationssystem Buchstabe für Buchstabe. Die Suche wird dann nicht exakt, sondern ähnlichkeitsbasiert durchgeführt, um Tippfehler oder orthographische Unkenntnis des Nutzers zu kompensieren.The EP 1 455 163 B1 describes an entry for a navigation system letter by letter. The search is then not performed exactly but in a similarity-based manner in order to compensate for typographical or orthographic ignorance of the user.

Die US 2003/0093419 A1 beschreibt ein Verfahren und eine Vorrichtung zum Suchen von Informationen mittels einer multimodalen Nutzerschnittstelle, z. B. durch Sprache, Gesten, Handschrift oder Tastatur, insbesondere in einem Fahrzeug. Dabei kann zu einer angezeigten Karte auf einer berührungsempfindlichen Oberfläche ein handgeschriebener Suchbegriff eingegeben werden, für den zum angezeigten Kontext eine Suche durchgeführt wird.The US 2003/0093419 A1 describes a method and apparatus for searching for information using a multimodal user interface, e.g. As by speech, gestures, handwriting or keyboard, especially in a vehicle. In this case, a handwritten search term can be entered for a displayed map on a touch-sensitive surface, for which a search is performed for the displayed context.

Es ist die Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung der eingangs genannten Art bereitzustellen, welche ein möglichst schnelles und effizientes Auffinden von Informationen ermöglichen.It is the object of the present invention to provide a method and a device of the type mentioned, which allow as fast and efficient as possible information retrieval.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Anspruchs 1 sowie einer Vorrichtung mit den Merkmalen des Anspruchs 9 gelöst. Vorteilhafte Aus- und Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.This object is achieved by a method having the features of claim 1 and a device having the features of claim 9. Advantageous training and further developments emerge from the dependent claims.

Bei dem erfindungsgemäßen Verfahren wird eine Nutzereingabe erfasst, es werden in der Nutzereingabe wenigstens zwei Eingabesequenzen identifiziert und die wenigstens zwei identifizierten Eingabesequenzen werden mit gespeicherten Datenbankeinträgen verglichen.In the method according to the invention, a user input is detected, at least two input sequences are identified in the user input and the at least two identified input sequences are compared with stored database entries.

Des Weiteren werden in Abhängigkeit von dem Vergleich mit den gespeicherten Datenbankeinträgen den Eingabesequenzen jeweils einzeln ein oder mehrere Datenbankeinträge zugeordnet, wobei wenigstens eine der Eingabesequenzen von dem ihr jeweils zugeordneten Datenbankeintrag verschieden ist, und es wird auf Basis der den Eingabesequenzen zugeordneten Datenbankeinträge eine Treffermenge für die ganze Nutzereingabe ermittelt und wenigstens teilweise ausgegeben, wobei bei der Ermittlung der Treffermenge ein Querverweis zwischen einem ersten Datenbankeintrag, der einer ersten Eingabesequenz zugeordnet wurde, und einem zweiten Datenbankeintrag, der einer zweiten Eingabesequenz zugeordnet wurde, berücksichtigt wird. Hierdurch werden Informationen auch dann noch schnell und zuverlässig gefunden, wenn die Nutzereingaben unvollständig oder abgehackt eingegeben wurden. Durch die unabhängigen Vergleiche mehrerer Eingabesequenzen mit Datenbankeinträgen und die Untersuchung der Zusammenhänge zwischen diesen Datenbankeinträgen durch Querverweise kann die Treffermenge deutlich reduziert werden, indem Kombinationen von nicht aufeinander verweisenden Datenbankeneinträgen als potentielle Treffer verworfen werden können. Dies bedeutet im Umkehrschluss, dass durch die Berücksichtigung der Querverweise für eine gleichgroße Treffermenge eine kürzere oder unvollständigere Nutzereingabe ausreicht. Dies ist insbesondere bei der Bedienung von Fahrzeugeinrichtungen vorteilhaft, um dem Fahrer möglichst wenig Aufmerksamkeit für die Bedienung der Fahrzeugeinrichtungen abzuverlangen.Furthermore, depending on the comparison with the stored Database entries are assigned to the input sequences individually one or more database entries, wherein at least one of the input sequences is different from the respective database entry assigned to it, and based on the database entries associated with the input sequences, a set of hits for the entire user input is determined and at least partially output, wherein the Determining the set of hits a cross-reference between a first database entry, which was assigned to a first input sequence, and a second database entry, which was assigned to a second input sequence, is taken into account. As a result, information is still found quickly and reliably even if the user input was entered incomplete or choppy. By independently comparing multiple input sequences with database entries and examining the relationships between these database entries through cross-references, the hit count can be significantly reduced by discarding combinations of non-referencing database entries as potential hits. Conversely, this means that taking into account the cross-references for an equal number of hits, a shorter or more incomplete user input is sufficient. This is particularly advantageous in the operation of vehicle equipment in order to demand the least possible attention from the driver for the operation of the vehicle equipment.

Eine Index-Datenbank umfasst eine von der Struktur der Datenbankeinträge getrennte Indexstruktur, die die Suche und das Sortieren der Datenbankeinträge nach bestimmten Kriterien ermöglicht. In der Datenbank können Datenbankeinträge verschiedener Datentypen gespeichert sein, z. B. Name, Datenquelle, Funktionsparameter oder Kommando für ausführbare Funktionen. Die Datenbankeinträge können in einer Index-Datenbank vorzugsweise typenunabhängig und kontextunabhängig gespeichert werden, z. B. nur als alphanumerischer Eintrag, und erst durch einen Index näher spezifiziert werden. Ein Index umfasst beispielsweise auch Zeiger oder Querverweise, die eine Ordnungsrelation der Datenbankeinträge untereinander, z. B. in tabellarischer Form, definieren. Bei einer Suchanfrage zum Auffinden von Informationen werden dann die Suchkriterien herangezogen. Ohne Index müsste die Spalte sequentiell durchsucht werden, was selbst mit schneller Hardware viel Zeit in Anspruch nehmen kann.An index database comprises an index structure separate from the structure of the database entries, which makes it possible to search and sort the database entries according to specific criteria. Database entries of various data types may be stored in the database, e.g. Name, data source, function parameter or command for executable functions. The database entries may preferably be stored in an index database independently of the type and context independent, e.g. B. only as an alphanumeric entry, and only be specified by an index in more detail. An index includes, for example, also pointers or cross-references, which are an order relation of the database entries with each other, for. In tabular form. In a search query to find information then the search criteria are used. Without an index, the column would have to be searched sequentially, which can take a long time even with fast hardware.

Die Berücksichtigung eines Querverweises kann insbesondere eine logische Funktion sein, z. B. ein aus der Boolschen Algebra bekanntes logisches UND. Die Berücksichtigung beinhaltet dabei typischerweise auch eine Bewertung, wie wahrscheinlich der Querverweis zwischen zwei Datenbankeinträgen auf die gesuchte Information zielt. So kann auch die Art des Querverweises selbst berücksichtigt werden, z. B. ob die durch den Querverweis in Bezug gesetzten Datenbankeinträge hierarchisch oder vom Datentyp her gleich oder unterschiedlich sind. Verschiedene potentielle Treffer können dabei durch Sortieren oder Zuweisen eines Konfidenzmaßes bewertet werden. Insbesondere werden Kombinationen zweier Datenbankeinträge verworfen, falls überhaupt kein Querverweis zwischen diesen Datenbankeinträgen vorliegt.The consideration of a cross-reference may in particular be a logical function, for. B. a known from Boolean algebra logical AND. The consideration typically also includes an assessment of how likely the cross-reference between two database entries is to the information sought. Thus, the type of cross-reference itself can be taken into account, for. For example, whether the database records referenced by the cross-reference are hierarchical or data-type equal or different. Different potential hits can be evaluated by sorting or assigning a confidence measure. In particular, combinations of two database entries are discarded if there is no cross-reference at all between these database entries.

Die Eingabesequenz, die von dem ihr jeweils zugeordneten Datenbankeintrag verschieden ist, ist beispielsweise ein Fragment, eine Abkürzung und/oder ein Synonym des Datenbankeintrags. Dabei kann systemseitig insbesondere eine neue Eingabesequenz immer bei einem Wortanfang oder nach einer Eingabepause einer vorab definierten Zeitspanne identifiziert werden. Dies hat den Vorteil, dass der Nutzer sich den gewünschten Datenbankeintrag nicht komplett merken muss. Dabei sind zwei Synonyme Datenbankeinträge desselben Datentyps, die durch einen die Synonymität definierenden Querverweis miteinander verknüpft sind. Abkürzungen oder Fragmente können als Teile eines Datenbankeintrags implizit in der Informationsstruktur umfasst sein oder auch als explizite Datenbankeinträge gespeichert sein.The input sequence, which differs from the respective database entry assigned to it, is, for example, a fragment, an abbreviation and / or a synonym of the database entry. In this case, in particular a new input sequence can always be identified on the system side in the case of a word beginning or after an input pause of a predefined time span. This has the advantage that the user does not have to completely remember the desired database entry. Two synonyms are database entries of the same data type, which are linked by a cross-reference defining the synonymity. Abbreviations or fragments may be included as parts of a database entry implicitly in the information structure or may also be stored as explicit database entries.

In einer Ausgestaltung des erfindungsgemäßen Verfahrens kann vorgesehen sein, dass bei der Ausgabe eines Treffers aus der Treffermenge der zugeordnete Datenbankeintrag und ein dazugehöriges Synonym angezeigt werden. Dies erleichtert es dem Nutzer, den angezeigten Treffer mit seiner Nutzereingabe in Verbindung zu bringen, wodurch gegebenenfalls eine nutzerseitige Überraschung oder sogar Verwirrung vermieden werden kann.In one embodiment of the method according to the invention, it can be provided that, when a hit is output from the hit set, the assigned database entry and a corresponding synonym are displayed. This makes it easier for the user to associate the displayed hit with his user input, thereby possibly avoiding a user-side surprise or even confusion.

Vorteilhafterweise kann vorgesehen sein, dass die Ausgabe der Trefferliste in Abhängigkeit von der Nutzereingabe unmittelbar automatisch aktualisiert wird. Dadurch kann die Nutzereingabe kontinuierlich erweitert werden, indem beispielsweise ein eingegebenes Wort weitergeführt oder vervollständigt wird oder ein neues Wort begonnen wird. Dabei können systemseitig zu einer bereits identifizierten Eingabesequenz die dieser Eingabesequenz zugeordneten Datenbankeinträge bei der Erweiterung der Nutzereingabe überprüft und gegebenenfalls verworfen werden. Dies beschleunigt das Auffinden der gesuchten Information, weil kein neuer Suchlauf benötigt wird.Advantageously, it can be provided that the output of the hit list is updated automatically as a function of the user input. This allows the user input to be continually expanded, for example, by continuing or completing an input word or by starting a new word. In this case, the database entries associated with this input sequence can be checked on the system side for an already identified input sequence in the extension of the user input and possibly discarded. This speeds up finding the searched information because no new search is needed.

In einer besonders vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens ist vorgesehen, dass einer ersten Eingabesequenz ein eine ausführbare Funktion repräsentierender Datenbankeintrag zugeordnet wird und einer zweiten Eingabesequenz ein Datenbankeintrag zugeordnet wird, der einen zu dieser ausführbaren Funktion gehörigen Parameter oder ein zu dieser Funktion gehöriges Attribut repräsentiert. Falls durch die Nutzereingabe nur ein Treffer ermittelt wird, bzw. wenn die Nutzereingabe solange erweitert wird, bis nur noch ein Treffer ermittelt wird, kann die Funktion gegebenenfalls sofort ausgeführt werden. Dadurch kann auch eine komplexere Funktion besonders schnell ausgelöst werden.In a particularly advantageous embodiment of the method according to the invention, it is provided that a database entry representing an executable function is assigned to a first input sequence and a database entry is assigned to a second input sequence represents a parameter associated with this executable function or an attribute associated with that function. If only one hit is determined by the user input, or if the user input is extended until only one hit is determined, the function can be executed immediately if necessary. As a result, even a more complex function can be triggered particularly quickly.

Es ist weiter vorteilhaft, wenn während einer Nutzereingabe die Eingabemodalität gewechselt werden kann. So lassen sich beispielsweise Abkürzungen oder bestimmte Begriffe am besten per Hand, z. B. als Handschrifteingabe oder über eine Tastatur, eingeben. Insbesondere Eigennamen lassen sich bevorzugt über Sprache eingeben. Hierbei kann dann eine korrekte Phonemerkennung einfacher sein, wenn beispielsweise die korrekte Aussprache, nicht aber die korrekte Schreibweise bekannt ist. Auch kann die Eingabe einer neuen Eingabesequenz innerhalb der gültigen Nutzereingabe durch den Wechsel der Modalität erkannt werden.It is also advantageous if, during a user input, the input modality can be changed. Thus, for example, abbreviations or certain terms best by hand, for. B. as handwriting input or via a keyboard enter. In particular, proper names can preferably be entered via language. In this case, a correct phoneme recognition can be simpler if, for example, the correct pronunciation, but not the correct spelling is known. Also, entering a new input sequence within the valid user input can be detected by changing the modality.

In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens ist vorgesehen, dass eine Geste einer ersten Kategorie zur Eingabe eines Buchstabens erfasst wird und daraufhin eine Nutzereingabe zum Auffinden von Informationen initialisiert wird. Die Geste kann dabei beispielsweise auf einer berührungsempfindlichen Oberfläche, z. B. mit integrierter Anzeigefläche (Touchscreen) oder mit dazu abgesetzter Anzeigefläche (Touchpad) erfasst werden. Alternativ kann die Geste auch berührungslos erfasst werden.In a further embodiment of the method according to the invention, it is provided that a gesture of a first category for entering a letter is detected and then a user input for finding information is initialized. The gesture can, for example, on a touch-sensitive surface, eg. B. with integrated display area (touch screen) or with a contrasting display surface (touchpad) are detected. Alternatively, the gesture can also be detected without contact.

In einer Weiterbildung des erfindungsgemäßen Verfahrens werden Gesten einer zweiten Kategorie erfasst, mittels welcher auf einer Anzeigefläche angezeigte graphische Objekte in einem Bedienmodus manipulierbar sind. Durch das Erfassen einer Geste der ersten Kategorie wird die Nutzereingabe zum Auffinden von Informationen initialisiert, wobei in einen Suchmodus gewechselt wird. Dies ermöglicht das Einbinden einer Suchfunktion in eine graphische Nutzerschnittstelle zum Bedienen von Funktionen über graphische Objekte.In a development of the method according to the invention, gestures of a second category are detected, by means of which graphical objects displayed on a display surface can be manipulated in an operating mode. By detecting a gesture of the first category, the user input to find information is initialized, switching to a search mode. This makes it possible to integrate a search function into a graphical user interface for operating functions via graphical objects.

Insbesondere kann dabei vorgesehen sein, dass zwischen einer linearen Geste der ersten und zweiten Kategorie dadurch unterschieden wird, dass unterschiedliche, sich nicht überschneidende Startbereiche der jeweiligen Geste definiert werden. Eine lineare Geste der ersten Kategorie ist beispielsweise das handschriftliche Zeichnen des Buchstabens „I”, während lineare Geste der zweiten Kategorie eine einfache Ziehgeste, z. B. zum Blättern in einer Liste in vertikaler Richtung sein kann. Durch die Definition von unterschiedlichen Startbereichen kann eine systemseitige Verwechslung zwischen den zwei Gesten vermieden werden. Beispielsweise wird der Startbereich durch laterale oder vertikale Koordinaten auf einem Touchpad oder Touchscreen, auf dem die Gesten erfasst werden, festgelegt.In particular, it can be provided that a distinction is made between a linear gesture of the first and second categories in that different, non-overlapping starting areas of the respective gesture are defined. For example, a linear gesture of the first category is handwritten drawing of the letter "I", while a linear gesture of the second category is a simple drag gesture, e.g. B. can be to scroll in a list in the vertical direction. By defining different starting areas, system confusion between the two gestures can be avoided. For example, the starting area is determined by lateral or vertical coordinates on a touch pad or touch screen on which the gestures are detected.

Die erfindungsgemäße Vorrichtung zum Bereitstellen einer Nutzerschnittstelle, insbesondere in einem Fahrzeug, zum Auffinden von Informationen umfasst wenigstens einen Datenspeicher, in dem eine Indexdatenbank mit einer Vielzahl von Datenbankeinträgen und Querverweisen zwischen diesen Datenbankeinträgen gespeichert ist, Mittel zum Erfassen einer Nutzereingabe und Analysemittel zum Identifizieren von wenigstens zwei Eingabesequenzen in einer erfassten Nutzereingabe. Sie umfasst des Weiteren eine Steuereinheit, die mit dem Datenspeicher, den Mitteln zum Erfassen einer Nutzereingabe und den Analysemitteln gekoppelt ist und dadurch gekennzeichnet ist, dass sie derart ausgestaltet ist, dass wenigstens zwei identifizierte Eingabesequenzen mit gespeicherten Datenbankeinträgen vergleichbar sind und in Abhängigkeit von dem Vergleich mit den gespeicherten Datenbankeinträgen den Eingabesequenzen jeweils einzeln ein oder mehrere Datenbankeinträge zuordenbar sind, wobei wenigstens eine der Eingabesequenzen von dem ihr jeweils zugeordneten Datenbankeintrag verschieden ist. Die Steuereinheit ist ferner so ausgestaltet, dass auf Basis der den Eingabesequenzen zugeordneten Datenbankeinträgen eine Treffermenge für die ganze Nutzereingabe ermittelbar und wenigstens teilweise ausgebbar ist, wobei bei der Ermittlung der Treffermenge ein Querverweis zwischen einem ersten Datenbankeintrag, der einer ersten Eingabesequenz zugeordnet wurde, und einem zweiten Datenbankeintrag, der einer zweiten Eingabesequenz zugeordnet wurde, berücksichtigbar ist. Die erfindungsgemäße Vorrichtung zum Bereitstellen einer Nutzerschnittstelle ist insbesondere zum Durchführen des erfindungsgemäßen Verfahrens geeignet. Sie weist somit auch die Vorteile des erfindungsgemäßen Verfahrens auf.The inventive device for providing a user interface, in particular in a vehicle, for finding information comprises at least one data memory in which an index database with a plurality of database entries and cross references between these database entries is stored, means for detecting a user input and analysis means for identifying at least two input sequences in a detected user input. It further comprises a control unit coupled to the data memory, the means for detecting user input and the analyzing means and characterized by being configured such that at least two identified input sequences are comparable to stored database entries and depending on the comparison one or more database entries can be individually assigned to the input database sequences with the stored database entries, wherein at least one of the input sequences is different from the respective database entry assigned to it. The control unit is further configured such that based on the database entries associated with the input sequences, a set of hits for the entire user input can be determined and at least partially output, wherein in determining the set of hits a cross-reference between a first database entry, which was assigned to a first input sequence, and a second database entry, which was assigned to a second input sequence, is considered. The device according to the invention for providing a user interface is particularly suitable for carrying out the method according to the invention. It therefore also has the advantages of the method according to the invention.

Die erfindungsgemäße Vorrichtung umfasst vorteilhafterweise eine Anzeigefläche zum Anzeigen der Trefferliste sowie eine Schnittstelle zu einer oder mehreren Funktionseinrichtungen, die über die Nutzerschnittstelle zu bedienen sind.The device according to the invention advantageously comprises a display area for displaying the hit list as well as an interface to one or more functional devices which are to be operated via the user interface.

Die Mittel zum Erfassen einer Nutzereingabe sind insbesondere geeignet, um multimodale Nutzereingaben zu erfassen. Sie umfassen beispielsweise eine Sprachschnittstelle mit einem Mikrophon und einem Spracherkenner, eine Tastatur und eine berührungsempfindliche Oberfläche. Die berührungsempfindliche Oberfläche kann beispielsweise als sogenanntes Touchpad oder als sogenannter Touchscreen ausgebildet sein, wobei eine Tastatur z. B. auch direkt auf dem Touchscreen dargestellt werden kann.The means for detecting a user input are particularly suitable for detecting multimodal user inputs. They include, for example, a speech interface with a microphone and a speech recognizer, a keyboard and a touch-sensitive surface. The touch-sensitive surface may be formed, for example, as a so-called touchpad or as a so-called touch screen, wherein a keyboard z. B. can also be displayed directly on the touch screen.

Die erfindungsgemäße Vorrichtung kann des Weiteren eine Annäherungserfassungseinrichtung umfassen oder mit einer solchen verbunden sein. Sie ist insbesondere zum Erfassen berührungsloser Gesten vor dem Touchscreen geeignet und sie kann beispielsweise als Kamerasystem ausgestaltet sein. Sie kann ferner eine Reflektionslichtschranke umfassen, die mindestens ein Leuchtmittel zum Emittieren von elektromagnetischer Detektionsstrahlung in einen Detektionsbereich und ein Empfangselement zum Detektieren eines an einem Betätigungselement (z. B. dem Finger des Nutzers) gestreuten und/oder reflektierten Anteils der Detektionsstrahlung umfassen. Sie kann insbesondere so ausgebildet sein, das Betätigungselement in dem Detektionsbereich anhand der Intensität der empfangenen Detektionsstrahlung zu erkennen. Ferner kann die Annäherung auch durch kapazitive Sensoren erfasst werden. The device according to the invention may further comprise or be connected to a proximity detection device. It is particularly suitable for detecting non-contact gestures in front of the touchscreen and it can be configured, for example, as a camera system. It can furthermore comprise a reflection light barrier which comprises at least one light source for emitting electromagnetic detection radiation into a detection area and a reception element for detecting a portion of the detection radiation which is scattered and / or reflected at an actuation element (eg the user's finger). In particular, it can be configured to recognize the actuating element in the detection area on the basis of the intensity of the received detection radiation. Furthermore, the approach can also be detected by capacitive sensors.

Erfindungsgemäß ist des Weiteren ein Fahrzeug mit einer solchen Vorrichtung zum Bereitstellen einer Nutzerschnittstelle ausgestattet.According to the invention, furthermore, a vehicle is equipped with such a device for providing a user interface.

Die Erfindung wird nun anhand von Ausführungsbeispielen mit Bezug zu den Figuren näher erläutert.The invention will now be explained in more detail by means of embodiments with reference to the figures.

1 zeigt ein Cockpit eines Fahrzeugs, das mit einer Vorrichtung zum Bereitstellen einer Nutzerschnittstelle gemäß einem Ausführungsbeispiel der Erfindung ausgestattet ist, 1 shows a cockpit of a vehicle, which is equipped with a device for providing a user interface according to an embodiment of the invention,

2 zeigt schematisch den Aufbau eines Ausführungsbeispiels der erfindungsgemäßen Vorrichtung zum Bereitstellen einer Nutzerschnittstelle, 2 shows schematically the structure of an embodiment of the device according to the invention for providing a user interface,

3 zeigt schematisch den Ablauf eines Verfahrens zum Auffinden von Informationen gemäß einem Ausführungsbeispiel der Erfindung, 3 1 schematically shows the sequence of a method for finding information according to an exemplary embodiment of the invention,

die 4a–4b zeigen die Anzeige von Nutzereingabe und einer dazugehörigen Trefferliste, wie diese gemäß einem Ausführungsbeispiel der Erfindung ausgegeben werden, undthe 4a - 4b show the display of user input and an associated hit list, as they are output according to an embodiment of the invention, and

die 5a–5d zeigen Gesten zur Manipulation von graphischen Objekten und zur Nutzereingabe gemäß einem Ausführungsbeispiel der Erfindung.the 5a - 5d show gestures for manipulating graphical objects and for user input according to an embodiment of the invention.

In der 1 ist ein Cockpit eines Fahrzeugs 1 dargestellt, das mit einer Vorrichtung 2 zum Bereitstellen einer Nutzerschnittstelle gemäß einem Ausführungsbeispiel der Erfindung ausgestattet ist. Im oberen Bereich der Mittelkonsole ist eine Anzeigefläche mit einer berührungsempfindlichen Oberfläche, ein sogenannter Touchscreen 8, derart angeordnet, dass dieser Touchscreen 8 von Fahrer und Beifahrer gut eingesehen und bedient werden kann. Unterhalb des Touchscreens 8 können des Weiteren mechanische Bedientasten für manuelle Nutzereingaben vorgesehen sein (nicht dargestellt). Die weiteren Komponenten der Vorrichtung 2, Wie sie näher in Bezug zu der 2 erläutert werden, sind an geeigneter Stelle im Cockpit im Fahrzeug 1 verbaut (nicht dargestellt).In the 1 is a cockpit of a vehicle 1 shown with a device 2 for providing a user interface according to an embodiment of the invention. In the upper area of the center console is a display area with a touch-sensitive surface, a so-called touchscreen 8th , arranged such that this touch screen 8th can be well viewed and operated by the driver and front passenger. Below the touchscreen 8th Furthermore, mechanical control buttons may be provided for manual user input (not shown). The other components of the device 2 As they are closer in relation to the 2 be explained are at a suitable location in the cockpit in the vehicle 1 installed (not shown).

In der 2 ist schematisch der Aufbau eines Ausführungsbeispiels der erfindungsgemäßen Vorrichtung 2 zum Bereitstellen einer Nutzerschnittstelle dargestellt. Die erfindungsgemäße Vorrichtung 2 umfasst diverse Mittel zum Erfassen von Nutzereingaben. Diese umfassen ein Mikrophon 6 mit dazugehörigen Sprachverarbeitungsmitteln zum Erfassen von Spracheingaben, ein Touchpad 7, gegebenenfalls weiteren mechanischen Tasten (nicht dargestellt) und einem Touchscreen 8. Auf dem Touchscreen 8 können graphische Objekte 12 einer graphischen Nutzeroberfläche sowie Trefferlisten 15 für Suchergebnisse dargestellt werden, wie dies in Zusammenhang mit dem erfindungsgemäßen Verfahren mit Bezug zu den 3 bis 5d noch näher erläutert wird. Touchpad 7 und Touchscreen 8 können alternativ oder auch ergänzend bereitgestellt werden. Bei dem Touchpad 7 kann es sich auch um lösbar mit dem Fahrzeug verbundenes, mitgebrachtes Endgerät mit einer berührungsempfindlichen Oberfläche handeln, z. B. ein sogenanntes Smartphone. Dieses kann z. B. in eine dafür vorgesehene Halterung eingelegt werden und datentechnisch eine Verbindung zu der Vorrichtung 2 aufbauen, sodass die berührungsempfindliche Oberfläche des mitgebrachten Endgeräts als zusätzliches Eingabemittel verwendet werden kann.In the 2 schematically is the structure of an embodiment of the device according to the invention 2 to provide a user interface. The device according to the invention 2 includes various means for detecting user input. These include a microphone 6 with associated speech processing means for detecting speech input, a touchpad 7 , optionally further mechanical buttons (not shown) and a touch screen 8th , On the touch screen 8th can graphic objects 12 a graphical user interface and hit lists 15 be displayed for search results, as in connection with the inventive method with reference to the 3 to 5d will be explained in more detail. touchpad 7 and touch screen 8th may be provided alternatively or in addition. At the touchpad 7 it may also be releasably connected to the vehicle, brought along terminal with a touch-sensitive surface, for. B. a so-called smartphone. This can be z. B. be placed in a designated holder and data technology connection to the device 2 so that the touch-sensitive surface of the brought-along terminal can be used as an additional input means.

Das Touchpad 7 kann insbesondere in der Nähe des Schalthebels angeordnet sein, damit der Fahrer des Fährzeugs 1 hierüber manuelle Nutzereingaben vornehmen kann, während der Touchscreen 8 komfortabel aus der Fahrer- und Beifahrerposition erreichbar ist.The touchpad 7 may be arranged in particular in the vicinity of the shift lever, so that the driver of Fährzeugs 1 Manual user input can do this while the touch screen 8th comfortably accessible from the driver and front passenger position.

Die erfindungsgemäße Vorrichtung 2 umfasst des Weiteren eine Steuereinheit 5, die mit dem Mikrophon 6, dem Touchpad 7 und dem Touchscreen 8 verbunden ist, um hierüber Nutzereingaben zu empfangen und Steuerbefehle zum Steuern der Anzeige auf dem Touchscreen 8 zu erzeugen.The device according to the invention 2 further comprises a control unit 5 that with the microphone 6 , the touchpad 7 and the touch screen 8th is connected to receive user input and control commands to control the display on the touch screen 8th to create.

Die Steuereinheit 5 kann optional mit einem Kamerasystem 9 verbunden sein, welches einen Bereich um die Anzeigefläche des Touchscreens 8 überwacht. Das Kamerasystem 9 ist beispielsweise neben dem Touchscreen 8 oder an geeigneter Stelle im Cockpit oder am Himmel der Fahrgastzelle angeordnet und kann insbesondere Gesten berührungslos auch schon vor der Anzeigefläche des Touchscreen 8 erfassen.The control unit 5 can be optional with a camera system 9 be connected, which is an area around the display surface of the touch screen 8th supervised. The camera system 9 is for example next to the touch screen 8th or arranged at a suitable location in the cockpit or in the sky of the passenger compartment and can in particular gestures contact even before the display surface of the touch screen 8th to capture.

In der Steuereinheit 5 ist ein Datenspeicher 3 integriert, in dem eine Indexdatenbank mit einer Vielzahl von Datenbankeinträgen gespeichert ist. Die Datenbankeinträge sind typenunabhängig, z. B. als alphanumerische Zeichenfolge, gespeichert. Den Datenbankeinträgen sind jeweils matrixartig verschiedene Kriterien zugewiesen, nach denen die Datenbankeinträge sortiert werden können. Datenbankeinträge sind beispielsweise funktional oder hierarchisch gekennzeichnet. So können Datenbankeinträge einer Funktionseinrichtung bzw. Datenquelle, z. B. „Media-Player”, einer Funktion bzw. einem Kommando, z. B. „Abspielen”, einem Datentyp, z. B. „Adresse” oder einem Identifier, z. B. „1239” zugeordnet sein. Ferner sind den Datenbankeinträgen Querverweise zu anderen Datenbankeinträgen zugeordnet, beispielsweise der Querverweis, dass es sich bei einem Datenbankeintrag um ein Synonym eines anderen Datenbankeintrags handelt, dass ein Datenbankeintrag ein Oberbegriff eines anderen Datenbankeintrags ist (hierarchischer Bezug) oder dass ein Datenbankeintrag ein Funktionsparameter eines anderen Datenbankeintrags ist (funktionaler Bezug). In the control unit 5 is a data store 3 integrated, in which an index database is stored with a large number of database entries. The database entries are type-independent, e.g. As an alphanumeric string stored. The database entries are each assigned a matrix of different criteria according to which the database entries can be sorted. Database entries are for example functional or hierarchical. Thus, database entries of a functional device or data source, eg. As "media player", a function or a command, eg. B. "play", a data type, eg. B. "address" or an identifier, eg. B. "1239" assigned. Furthermore, the database entries are assigned cross-references to other database entries, for example the cross-reference that a database entry is a synonym of another database entry, that a database entry is a generic term of another database entry (hierarchical reference) or that a database entry is a function parameter of another database entry is (functional reference).

In der Steuereinheit 5 ist ferner eine Analyseeinheit 4 integriert, mittels derer in einer erfassten Nutzereingabe gemäß dem weiter unten beschriebenen erfindungsgemäßen Verfahren wenigstens zwei Eingabesequenzen identifiziert werden können.In the control unit 5 is also an analysis unit 4 integrated, by means of which in a detected user input according to the inventive method described below at least two input sequences can be identified.

Die Steuereinheit 5 ist ferner mit dem Datenbus 10 im Fahrzeug 1 verbunden, über den sie mit den Datenspeichern 3A, 3B diverser Funktionseinrichtungen 11A, 11B im Fahrzeug 1 verbunden ist. Bei den Funktionseinrichtungen 11A, 11B handelt es sich z. B. um ein Navigationssystem, eine Infotainmenteinrichtung, ein Kommunikationssystem oder eine Einrichtung zum Einstellen und Bedienen der Komfortfunktionen im Fahrzeug 1. Die Datenspeicher 3A, 3B können sich insbesondere mit dem Datenspeicher 3 synchronisieren, sodass im Falle einer Aktualisierung eines der Datenspeicher 3A, 3B auch der Datenspeicher 3 auf dem aktuellen Stand ist. Die Aktualisierung kann auf verschiedene Art initiiert werden, z. B. autonom von den einzelnen Applikationen, die dies der in der Steuereinheit 5 lokalisierten Suchmaschine mitteilen, oder von der Steuereinheit 5 selber.The control unit 5 is also with the data bus 10 in the vehicle 1 connected via the data storage 3A . 3B various functional devices 11A . 11B in the vehicle 1 connected is. At the functional facilities 11A . 11B is it z. For example, a navigation system, an infotainment device, a communication system or a device for setting and operating the comfort functions in the vehicle 1 , The data storage 3A . 3B especially with the data store 3 synchronize, so in case of updating one of the datastores 3A . 3B also the data storage 3 is up to date. The update can be initiated in several ways, e.g. B. autonomous of the individual applications, this in the control unit 5 localized search engine, or from the control unit 5 himself.

Das erfindungsgemäße Verfahren wird nun anhand von Ausführungsbeispielen mit Bezug zu den 3 bis 5d beschrieben. Dazu kann insbesondere die mit Bezug zu der 2 beschriebene erfindungsgemäße Vorrichtung 2 verwendet werden.The inventive method will now be described with reference to embodiments with reference to the 3 to 5d described. In particular, with reference to the 2 described device according to the invention 2 be used.

In der 3 ist mittels eines Flussdiagramms 30 schematisch der Ablauf eines Verfahrens zum Auffinden von Informationen gemäß einem Ausführungsbeispiel der Erfindung dargestellt, wobei die folgenden Ausführung sich auch auf die mit Bezug zu den 4a bis 5d dargestellten Anzeigeinhalte beziehen. Die Vorrichtung 2 werde als Ausgangssituation in einem Manipulationsmodus 31 betrieben, bei welchem graphische Objekte 12 mittels Objektmanipulations-Gesten G2 manipuliert werden können, wie dies noch näher mit Bezug zu den 5a und 5d beschrieben wird. Bei den graphischen Objekten 12 handelt es sich z. B. um Bilder oder Listen, die durch Verschiebe- oder Spreizgesten verschoben, gezoomt oder durchblättert werden können. Die graphischen Objekte 12 können auch als Schaltflächen ausgestaltet sein, sodass sie durch Berühren oder Anklicken ausgewählt oder ausgelöst werden können, wobei eine der jeweiligen Schaltfläche zugeordnete Funktion ausgeführt wird.In the 3 is by means of a flow chart 30 the sequence of a method for finding information according to an embodiment of the invention shown schematically, wherein the following embodiment also with reference to the reference to the 4a to 5d refer to displayed contents. The device 2 become as a starting situation in a manipulation mode 31 operated, in which graphical objects 12 can be manipulated by means of object manipulation gestures G2, as will be described in more detail with reference to FIGS 5a and 5d is described. At graphic objects 12 is it z. B. images or lists that can be moved by sliding or spreading gestures, zoomed or durchblättert. The graphic objects 12 can also be configured as buttons so that they can be selected or triggered by touching or clicking, wherein a function associated with each button is performed.

Der Nutzer hat die Möglichkeit, in einen Suchmodus zu wechseln, indem er entweder eine Buchstaben-Geste G1 eingibt (wie dies in Zusammenhang mit der 5b noch näher erläutert wird) oder eine zum Initiieren der Suchfunktion vorgesehene Taste oder Schaltfläche bedient (nicht dargestellt). In einem Verfahrensschritt 32 wird sodann eine Nutzereingabe 13 zum Auffinden von Informationen erfasst.The user has the possibility to switch to a search mode by entering either a letter gesture G1 (as described in connection with FIG 5b will be explained in more detail) or served to initiate the search function button or button operated (not shown). In one process step 32 then becomes a user input 13 collected for finding information.

In einem weiteren Verfahrensschritt 33 werden in der Nutzereingabe 13 wenigstens zwei Eingabesequenzen 14A–14C identifiziert und jeweils in einem Verfahrensschritt 34 mit gespeicherten Datenbankeinträgen verglichen. Die Identifikation von Eingabesequenzen 14A–14C kann beispielsweise dadurch erfolgen, dass bei einer Eingabe über die Tastatur ein Leerzeichen als der Beginn einer neuen Eingabesequenz 14B, 14C interpretiert wird. Ferner kann durch den Wechsel der Eingabemodalität der Beginn einer neuen Eingabesequenz 14B, 14C erkannt werden, z. B. wenn der Nutzer nach einer Tastatureingabe eine Nutzereingabe 13 per Sprachbedienung macht (nicht dargestellt). Eine Eingabesequenz 14A–14C kann aber auch auf andere geeignete Art und Weise aus einer Nutzereingabe 13 extrahiert werden.In a further process step 33 be in the user input 13 at least two input sequences 14A - 14C identified and each in a process step 34 compared with stored database entries. The identification of input sequences 14A - 14C This can be done, for example, by typing via the keyboard a space as the beginning of a new input sequence 14B . 14C is interpreted. Furthermore, by changing the input modality, the beginning of a new input sequence 14B . 14C be recognized, for. B. if the user after a keyboard input a user input 13 via voice control (not shown). An input sequence 14A - 14C but may also be in other appropriate way from a user input 13 be extracted.

In Abhängigkeit von dem Vergleich aus dem Verfahrensschritt 34 werden in einem Verfahrensschritt 35 jeder identifizierten Eingabesequenz 14A–14C jeweils einzeln ein oder mehrere Datenbankeinträge zugeordnet. Insbesondere werden abgehackte Ganzworteingaben erfasst, sodass die Eingabesequenzen 14A–14C sich von den Datenbankeinträgen unterscheiden. Dabei werden in einem Verfahrensschritt 36 bei der Zuordnung der Datenbankeinträge zu den Eingabesequenzen 14A–14C die Querverweise der zugeordneten Datenbankeinträge berücksichtigt. Insbesondere wird dabei geprüft, ob die Datenbankeinträge, die unterschiedlichen Eingabesequenzen 14A–14C zugeordnet wurden, in einer funktionalen oder hierarchischen Beziehung zueinander stehen, z. B. ob es sich um eine Vorname/Nachname-Beziehung, eine Stadt/Straße-Beziehung oder aber um eine Beziehung Mediendatei und dazugehöriger Funktion (Musiktitel und Abspielen) handelt.Depending on the comparison from the process step 34 be in one step 35 each identified input sequence 14A - 14C individually assigned to one or more database entries. In particular, choppy whole-word inputs are detected, so that the input sequences 14A - 14C differ from the database entries. This will be in one step 36 in the assignment of the database entries to the input sequences 14A - 14C takes into account the cross-references of the assigned database entries. In particular, it is checked whether the database entries, the different input sequences 14A - 14C have been assigned, are in a functional or hierarchical relationship to each other, for. Whether it is a first name / surname relationship, a city / street relationship or but a relationship media file and related function (music track and play) is concerned.

Auf der Basis der den Eingabesequenzen 14A–14C zugeordneten Datenbankeinträgen aus dem Verfahrensschritt 35 unter Berücksichtigung der Querverweise aus dem Verfahrensschritt 36 wird schließlich in einem Verfahrensschritt 37 eine Treffermenge ermittelt, die in einem Verfahrensschritt 38 teilweise in Form einer Trefferliste 15 auf der Anzeigefläche des Touchscreens 8 angezeigt wird. Die Erzeugung einer Trefferliste 15 aus einer Treffermenge kann nach aus dem Stand der Technik bekannten Methoden erfolgen.Based on the input sequences 14A - 14C associated database entries from the process step 35 taking into account the cross-references from the process step 36 finally becomes in a procedural step 37 determines a set of hits that in a process step 38 partly in the form of a hit list 15 on the display surface of the touchscreen 8th is shown. The generation of a hit list 15 From a set of hits can be done by methods known in the art.

Der Nutzer kann bei der Anzeige der Trefferliste 15 nun entscheiden, ob der gewünschte Treffer angezeigt wird oder nicht. Er kann insbesondere die Nutzereingabe 13 fortführen und zum Verfahrensschritt 32 zurückspringen. Durch seine weiteren Eingaben kann beispielsweise ein neues Wort begonnen werden, das dann als weitere Eingabesequenz interpretiert werden kann, es kann aber auch ein bestehendes Wort fortgeführt werden. Die zuvor beschriebenen Verfahrensschritte 33 bis 38 werden nun sukzessive wiederholt, wobei die Zuordnung der Datenbankeinträge und die Überprüfung der Querverweise unter Umständen nicht komplett neu durchgeführt werden müssen, sondern lediglich durch die erweiterte Nutzereingabe 13 die bereits ermittelten Datenbankeinträge und Querverweise überprüft und gegebenenfalls verworfen werden.The user can display the hit list 15 now decide whether the desired match is displayed or not. He can in particular the user input 13 continue and to the process step 32 jump back. By its further inputs, for example, a new word can be started, which can then be interpreted as a further input sequence, but it can also be an existing word continued. The method steps described above 33 to 38 are now successively repeated, the assignment of the database entries and the verification of cross-references may not have to be performed completely new, but only by the extended user input 13 the already determined database entries and cross-references are checked and discarded if necessary.

Ist das gewünschte Suchergebnis in der Trefferliste 15 enthalten, kann der Nutzer in einem Verfahrensschritt 39 das Suchergebnis entweder als Information entnehmen oder eine damit assoziierte Funktion ausführen. Alternativ oder auch anschließend daran kann der Nutzer durch die Eingabe einer Objektmanipulations-Geste G2 oder durch die Auswahl einer entsprechenden Taste oder, Schaltfläche wieder in den Manipulationsmodus 31 wechseln, insbesondere wenn er die Trefferliste 15 manuell durchsuchen möchte.Is the desired search result in the hit list 15 included, the user can in one step 39 either retrieve the search result as information or perform an associated function. Alternatively or subsequently thereto, the user can return to the manipulation mode by entering an object manipulation gesture G2 or by selecting a corresponding button or button 31 change, especially if he has the hit list 15 would like to search manually.

Zu dem generellen Suchalgorithmus, der in Bezug zur 3 beschrieben wurde, sind in den 4a und 4b beispielhaft die Anzeigen von Nutzereingaben 13 und dazugehörige Trefferlisten 15 dargestellt.To the general search algorithm related to 3 have been described in the 4a and 4b for example the display of user input 13 and associated hit lists 15 shown.

In der 4a wurden per Tastatur die abgehackten Wörter „JU”, „SOM” und „MO” eingegeben, die sodann als Eingabesequenzen 14A–14C identifiziert werden. Der Vergleich mit den Datenbankeinträgen führt zu verschiedenen möglichen Treffern. Unter Berücksichtigung der Querverweise wird jedoch gefunden, dass die Eingabesequenz 14A und 14B eine Vorname/Nachname-Beziehung haben und beide einen Funktionsparameter für eine Mobilfunkverbindung mit einer hinterlegten Telefonnummer 0153-23432 darstellen. Weil dieser Treffer unter allen anderen Treffern als am wahrscheinlichsten bewertet wird, enthält die ausgegebene Trefferliste 15 nur diesen Treffer. Alternativ kann dieser Treffer auch anders dargestellt werden, z. B. in der Form „Julia Sommer anrufen? (Mobil)”, wobei dem Nutzer durch die Anzeige des Synonyms „anrufen” zu „mobil” leichter den tatsächlich systemseitig auszuführenden Funktionszusammenhang verdeutlichen kann. Optional kann vorgesehen sein, dass die Mobilfunkverbindung unverzüglich automatisch aufgebaut wird.In the 4a the choppy words "JU", "SOM" and "MO" were entered via the keyboard, which were then used as input sequences 14A - 14C be identified. The comparison with the database entries leads to various possible hits. Taking into account the cross-references, however, it is found that the input sequence 14A and 14B have a first name / last name relationship, and both represent a mobile connection feature parameter with a stored telephone number 0153-23432. Because this hit is most likely to be rated among all other hits, it contains the hit list output 15 only this hit. Alternatively, this hit can also be displayed differently, eg. B. in the form "Julia summer call? (Mobile) ", whereby the user can more easily clarify the functional connection to be actually executed by the system by displaying the synonym" call "to" mobile ". Optionally, it can be provided that the mobile radio connection is set up automatically without delay.

Analog wurden in der 4b per Tastatur die abgehackten Wörter „BON” und „ABS” eingegeben, die sodann als Eingabesequenzen 14A und 14C identifiziert werden. Hier liefert der Vergleich unter Berücksichtigung der Querverweise, dass der der Eingabesequenz 14A zugeordnete Datenbankeintrag einem Musikinterpreten entsprechen kann und der der Eingabesequenz 14C zugeordnete Datenbankeintrag der Funktion abspielen” entsprechen kann. Diese Kombination wird im Vergleich mit allen anderen potentiellen Treffern als am wahrscheinlichsten bewertet und als Trefferliste 15 angezeigt. Optional kann vorgesehen sein, dass ein entsprechendes Album des Interpreten unverzüglich automatisch abgespielt wird, bzw. die diesem Interpreten zugeordneten Musiktitel angezeigt, sodass der Nutzer daraus den gewünschten Titel auswählen kann.Analog were in the 4b typed by keyboard the choppy words "BON" and "ABS", which are then used as input sequences 14A and 14C be identified. Here, the comparison, taking into account the cross-references, yields that of the input sequence 14A associated database entry may correspond to a music artist and that of the input sequence 14C assigned database entry of the function "can correspond. This combination is considered to be the most likely and hit list compared to all other potential hits 15 displayed. Optionally, it can be provided that a corresponding album of the artist is immediately automatically played, or displayed the music title associated with this artist, so that the user can select the desired title from it.

Um dem Nutzer eine komfortable Eingabe zu erlauben und ihn dabei visuell zu unterstützen, wird in beiden Fällen auf der Anzeigefläche des Touchscreens 8 eine Tastatur angezeigt, über welche die gewünschte Zeichenfolge direkt eingegeben werden kann. Bei der Anzeige der Trefferliste 15 wird zusätzlich ein Kennzeichnungssymbol 18 zu dem jeweiligen Treffer dargestellt, z. B. ein Karteikarten- oder SIM-Karten-Symbol (SIM = Subscriber Identity Module) bzw. ein Notenschlüssel. Ferner werden am rechten oberen Rand der Anzeigefläche die Symbole 19–21 als Schaltflächen für den Wechsel in die Sprachbedienung, die Tastaturbedienung bzw. in die Handschriftbedienung angezeigt. Der Nutzer hat damit die Möglichkeit, durch Berühren der jeweiligen Schaltfläche die Eingabemodalität zu wechseln. Das Symbol für die Tastaturbedienung kann in diesem Falle farblich markiert sein, weil die gewählte Eingabeart gegenwärtig die Tastatureingabe ist.In order to allow the user a comfortable input and to assist him visually, in both cases, the display surface of the touch screen 8th a keyboard is displayed, via which the desired character string can be entered directly. When displaying the hit list 15 In addition, an identification symbol is added 18 shown for each hit, z. As an index card or SIM card icon (SIM = Subscriber Identity Module) or a clef. Further, at the right upper edge of the display area, the symbols become 19 - 21 are displayed as buttons for switching to voice control, keyboard operation or handwriting operation. The user has the opportunity to change the input modality by touching the respective button. The keyboard operation icon may be color coded in this case because the selected input type is currently the keyboard input.

In den 5a bis 5d ist ein weiteres Ausführungsbeispiel dargestellt, dass den in Bezug zu der 3 beschriebenen Wechsel vom Manipulationsmodus 31 in den Suchmodus und eine nachfolgende Eingabe per Handschrift näher erläutert.In the 5a to 5d another embodiment is shown that in relation to the 3 described change from the manipulation mode 31 in the search mode and a subsequent input by handwriting explained.

In der 5a werde die Vorrichtung 2 im Manipulationsmodus 31 mittels Objektmanipulations-Gesten G2 bedient. Der Nutzer kann beispielsweise nach an sich bekannter Art Objekte 12 auf der berührungsempfindlichen Anzeigefläche des Touchscreens 8 in beliebige Richtungen verschieben oder durch andere an sich bekannte Gesten vergrößern, verkleinern oder auswählen, indem er mit z. B. seinem Finger 17 das betreffende Objekt berührt und die betreffende Geste G2 ausführt.In the 5a become the device 2 in manipulation mode 31 operated by object manipulation gestures G2. The user can for example, according to known per se objects 12 on the touch-sensitive display surface of the touchscreen 8th move in any direction or increase by other known gestures, zoom or select by using z. B. his finger 17 touches the object in question and executes the relevant gesture G2.

Macht er nun, wie in der 5b gezeigt, eine Handschriftgeste G1, indem er beispielsweise mit seinem Finger 17 den Großbuchstaben „B” auf den Touchscreen 8 malt, so wird gemäß dem zuvor beschriebenen Verfahrensschritt 32 der Anfang einer Nutzereingabe 13A erkannt, wodurch in den Suchmodus gewechselt wird. Sobald dabei sicher erkannt wurde, dass es sich um eine Handschrift-Geste G1 handelt, wird die Zeichenspur der Geste G1 auf dem Touchscreen 8 halbtransparent nachgezeichnet, um den Nutzer bei seiner Eingabe visuell zu unterstützen. Die Eingabe kann auch an solchen Positionen auf dem Touchscreen erfolgen, an denen im vorherigen Manipulationsmodus 31 graphische Inhalte angezeigt werden.He does now, as in the 5b shown a handwriting gesture G1, for example, with his finger 17 the capital letter "B" on the touch screen 8th malt, it is according to the method step described above 32 the beginning of a user input 13A detected, which switches to search mode. Once it has been determined that it is a G1 handwriting gesture, the G1 gesture track will appear on the touch screen 8th semi-transparent traced to visually assist the user as he types. The input can also be made at those positions on the touch screen, in those in the previous manipulation mode 31 graphical contents are displayed.

Der Nutzer kann auf diese Weise weitere Handschrift-Gesten G1 eingeben (siehe 5c). Im Hintergrund wird ihm dabei bei jeder weiteren Eingabe gemäß dem oben beschriebenen Verfahren eine Trefferliste 15 angezeigt. Dabei können ihm weiterhin am rechten oberen Rand der Anzeigefläche die Symbole 19 und 20 für den Wechsel in die Sprachbedienung und die Tastaturbedienung angezeigt werden, die er durch Anklicken jederzeit schnell und bequem aktivieren kann. Auf diese Weise kann er multimodale Nutzereingaben 13 eingeben, die gemäß dem zuvor beschriebenen Verfahren zum Auffinden von Informationen weiter verarbeitet werden.The user can thus enter further handwriting gestures G1 (see 5c ). In the background, he will be given a hit list for each further input according to the method described above 15 displayed. He can continue to use the icons on the upper right edge of the display area 19 and 20 for switching to voice control and keyboard operation, which he can quickly and conveniently activate at any time by clicking on it. That way he can multimodal user input 13 which are further processed according to the information retrieval method described above.

Um einen unbeabsichtigten Wechsel zwischen der beiden Modi zu vermeiden, können lineare Gesten, also z. B. eine Buchstaben-Geste „I” G1 und eine vertikale Ziehgeste G2, z. B. zum Blättern in einer Liste in vertikaler Richtung, dadurch unterschieden werden, dass unterschiedliche, sich nicht überschneidende Eingabezonen 16A, 16B der jeweiligen Geste G1, G2 definiert werden. Die Eingabezone 16A für eine Buchstaben-Geste G1 kann typischerweise in einem oberen, lateral mittig ausgerichteten Bereich liegen. Die Eingabezone 16B für eine Objektmanipulations-Geste G2 kann typischerweise in einem rechten, horizontal mittig bis unteren Bereich liegen. Hierzu können Listen, insbesondere Trefferlisten 15, immer so angezeigt werden, dass sie bei einer Aktualisierung stets am oberen Anschlag neu begonnen werden, sodass eine Ziehgeste G2 zum Blättern in der Trefferliste 15 dem Nutzer nur von unten nach oben intuitiv sinnvoll erscheint.In order to avoid an unintentional change between the two modes, linear gestures, so z. As a letter gesture "I" G1 and a vertical drag gesture G2, z. B. for scrolling in a list in the vertical direction, be distinguished by the fact that different, non-overlapping input zones 16A . 16B the respective gesture G1, G2 are defined. The input zone 16A for a letter gesture G1 may typically be in an upper, laterally centered area. The input zone 16B for an object manipulation gesture G2 may typically be in a right, horizontally central to lower region. For this purpose, lists, in particular hit lists 15 , are always displayed so that they are always restarted at the top stop when updating, so that a drag gesture G2 to scroll through the hit list 15 The user only intuitively makes sense from the bottom up.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: Fahrzeugvehicle
22: Vorrichtung zum Bereitstellen einer NutzerschnittstelleDevice for providing a user interface
3, 3A, 3B3, 3A, 3B: Datenspeicherdata storage
44: Analyseeinheitanalysis unit
55: Steuereinheitcontrol unit
66: Mikrophonmicrophone
77: Touchpadtouchpad
88th: Touchscreentouchscreen
99: Kamerasystemcamera system
1010: Datenbus im FahrzeugData bus in the vehicle
11A, 11B11A, 11B: Funktionseinrichtungenfunction facilities
1212: graphische Objektegraphic objects
1313: Nutzereingabeuser input
13A, 13B13A, 13B: Teileingabenpartial entries
14A–14C14A-14C: Eingabesequenzinput sequence
1515: Trefferlistehit list
16A, 16B16A, 16B: Eingabezonenentry zones
1717: Finger des NutzersFinger of the user
1818: Kennzeichnungssymbollabeling symbol
1919: Umschalter SprachbedienungSwitch voice control
2020: Umschalter TastaturbedienungSwitch Keyboard operation
2121: Umschalter HandschriftbedienungSwitch handwriting operation
3030: Flussdiagramm des Verfahrens zum Bereitstellen einer NutzerschnittstelleFlowchart of the method for providing a user interface
3131: Manipulationsmodusmanipulation mode
3232: Erfassung einer NutzereingabeCapture a user input
3333: Identifizieren von EingabesequenzenIdentifying input sequences
3434: Vergleich mit DatenbankeinträgenComparison with database entries
3535: Zuordnung von DatenbankeinträgenAssignment of database entries
3636: Überprüfung von QuerverweisenReview of cross references
3737: Ermittlung einer TreffermengeDetermination of a hit quantity
3838: Ausgabe einer TreffermengeOutput of a hit quantity
3939: Funktionsausführungfunction execution
4040: Erfassen einer ManipulationsgesteCapture a manipulation gesture
G1G1: Buchstaben-GesteLetters gesture
G2G2: Objektmanipulations-GesteObject manipulation gesture

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

EP 2177877 A1 [0005]
EP 1433662 B1 [0006]
EP 1455163 B1 [0007]
US 2003/0093419 A1 [0008]

Claims

Method for providing a user interface, in particular in a vehicle ( 1 ) for finding information in an index database having a plurality of database entries and cross-references between these database entries, in which - a user input ( 13 ) is detected ( 32 ), - in the user input ( 13 ) at least two input sequences ( 14A - 14C ) be identified ( 33 ), - the at least two identified input sequences ( 14A - 14C ) are compared with stored database entries ( 34 ), - depending on the comparison with the stored database entries, the input sequences ( 14A - 14C ) one or more database entries are individually assigned ( 35 ), wherein at least one of the input sequences ( 14A - 14C ) is different from the respectively assigned database entry, and - on the basis of the input sequences ( 14A - 14C ) associated database entries a hit set ( 15 ) for all user input ( 13 ) ( 37 ) and at least partially issued ( 38 ), - whereby during the investigation ( 37 ) of the hit quantity ( 15 ) a cross-reference between a first database entry corresponding to a first input sequence ( 14C ) and a second database entry corresponding to a second input sequence ( 14A . 14B ) is taken into account ( 36 ).

Method according to claim 1, characterized in that the input sequence ( 14A - 14C ), which is different from the respective database entry assigned to it, is a fragment, an abbreviation and / or a synonym of the database entry.

Method according to claim 2, characterized in that at the output ( 38 ) of a hit from the hit set ( 15 ) the associated database entry and an associated synonym are displayed.

Method according to one of the preceding claims, characterized in that the output ( 38 ) of the hit list ( 15 ) depending on the user input ( 13 ) is updated automatically.

Method according to one of the preceding claims, characterized in that a first input sequence ( 14C ) a database entry representing an executable function is assigned and a second input sequence ( 14A ; 14B ) is associated with a database entry representing a parameter associated with that executable function or an attribute associated with that function.

Method according to one of the preceding claims, characterized in that a gesture (G1) of a first category for entering a letter is detected and then a user input ( 13 ) is initialized to find information ( 32 ).

A method according to claim 6, characterized in that - gestures (G2) of a second category are detected, by means of which on a display surface ( 8th ) displayed graphic objects ( 12 ) are manipulatable in an operating mode, and - by detecting a gesture (G1) of the first category the user input ( 13 ) is initialized to find information ( 32 ), switching to a search mode.

A method according to claim 7, characterized in that a distinction is made between a linear gesture (G1, G2) of the first and second categories in that different, non-overlapping starting areas (G1, G2) 16A . 16B ) of the respective gesture (G1, G2).

Contraption ( 2 ) for providing a user interface, in particular in a vehicle ( 1 ), for finding information, with - at least one data memory ( 3 ), in which an index database with a large number of database entries and cross-references between these database entries is stored, 6 ) for capturing a user input ( 13 ), - analysis means ( 4 ) for identifying at least two input sequences ( 14A - 14C ) in a recorded user input ( 13 ) and - a control unit ( 5 ) connected to the data memory ( 3 ), the means ( 6 ) for capturing a user input ( 13 ) and the analysis means ( 4 ), characterized in that the control unit ( 5 ) is configured such that - at least two identified input sequences ( 14A - 14C ) are comparable with stored database entries, - depending on the comparison with the stored database entries, the input sequences ( 14A - 14C ) one or more database entries can be respectively assigned, at least one of the input sequences ( 14A - 14C ) is different from the respectively assigned database entry, and - based on the database entries assigned to the input sequences, a set of hits ( 15 ) can be determined for the entire user input and at least partially be able to be output, - wherein in determining the number of hits ( 15 ) a cross-reference between a first database entry corresponding to a first input sequence ( 14C ), and a second database entry, that of a second input sequence ( 14A . 14B ), is considered.

Vehicle ( 1 ) with a device ( 2 ) for providing a user interface according to claim 9.