DE102009058146A1

DE102009058146A1 - Verfahren und Vorrichtung zur multimodalen kontextsensitiven Bedienung

Info

Publication number: DE102009058146A1
Application number: DE102009058146A
Authority: DE
Inventors: Moritz Dr. Neugebauer; Silvio Federau; Stefanie Wald
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2009-12-12
Filing date: 2009-12-12
Publication date: 2011-06-16

Abstract

Die Erfindung betrifft ein Verfahren zum Veranlassen von Aktionen in einem Fahrzeug mit mehreren Objekten mittels eines Bediensystems sowie ein solches Bediensystem (21). Das Verfahren umfasst die Schritte berührungsloses Erfassen einer Spezifizierungshandlung eines Betätigungselements (22) und Bereitstellen von Objektspezifizierungsdaten (34), Ausführen einer Spracherkennung, zum Erkennen von Sprachbefehlen (36) und Ausgeben von Befehlsdaten (38), Auswerten von Korrelationen der Objektspezifizierungsdaten (34) mit den Befehlsdaten (38), indem diese auf eine Übereinstimmung mit Korrelationen zwischen Objektspezifierungsdaten (34) und Befehlsdaten (38) untersucht werden, die in einer Speichereinrichtung (42) in Form von Korrelationsdaten abgelegt sind, wobei den Korrelationen (41) Aktionen (43) zugeordnet sind, und Ausführen der der erkannten Korrelation (41) zugeordneten Aktion (43), wobei die Objekte (11-n) unterschiedlichen Objektgruppen (13-h) zugeordnet sind, und die Korrelationsdaten zusätzlich zu den Objekt-Sprachbefehl-Korrelationen (41) Korrelationen (41) von Objektgruppen und Sprachbefehlen umfassen, denen ebenfalls Aktionen (43) zugeordnet sind, und beim Auswerten ein Objekt (11-n) als spezifiziert gilt, wenn die Objektspezifierungsdaten (34) genau das eine Objekt (11n) spezifizieren oder eine Objektgruppe (13-h) als spezifiziert angesehen wird, wenn die Objektspezifizierungsdaten (34) ausschließlich Objekte (11-n) spezifizieren, die eine Teilmenge der der Objektgruppe (13-h) zugeordneten Objekte (11-n) darstellen.

Description

Die Erfindung betrifft ein Verfahren zum Veranlassen von Aktionen in einem Fahrzeug mit mehreren Objekten mittels eines Bediensystems sowie ein Bediensystem.
Aus dem Stand der Technik sind Fahrzeuge, insbesondere Kraftfahrzeuge, bekannt, die über eine Vielzahl von Bedieneinrichtungen verfügen. Die Bedieneinrichtungen können sowohl in Hardware ausgeführte Bedieneinrichtungen, beispielsweise Tastschalter, Kippschalter, Drehschalter, Drehdrückschalter, Lenkstockhebel usw., um nur einige aufzuzählen, umfassen. Darüber hinaus umfassen moderne Kraftfahrzeuge häufig so genannte virtuelle Bedieneinrichtungen, welche beispielsweise auf einer frei programmierbaren Anzeigefläche dargestellt werden und über eine Berührung betätigbar sind, welche beispielsweise mittels einer berührungsempfindlichen Positionserfassungseinheit erfasst wird, die mit der Anzeigefläche integral in einem so genannten Touchscreen ausgebildet ist.
Da ein Bauraum in Fahrzeugen, insbesondere in Fahrzeugcockpits, begrenzt ist und eine Anzahl der zu bedienenden Systeme und/oder Funktionen beständig zunimmt, ist es heutzutage üblich, einzelnen Bedieneinrichtungen in unterschiedlichen Bedienkontexten unterschiedliche Funktionen und/oder Systeme bzw. auszulösende Aktionen zuzuordnen. Als Aktion wird hier jede durch ein Betätigen der Bedieneinrichtung ausgelöste Zustandsänderung des Fahrzeugs, eines Fahrzeugsystems und/oder einer Funktion verstanden. Eine Aktion kann beispielsweise somit ein Ausgeben eines Steuerbefehls an ein System oder eine Fahrzeugfunktion sein.
Durch das kontextabhängige Zuweisen unterschiedlicher Aktionen ist es möglich, die Anzahl der durch eine Betätigung auslösbaren Aktionen deutlich zu steigern.
Es ist selbstverständlich wünschenswert, einen Bedienkomfort und Bedienmöglichkeiten weiter zu steigern.
Aus der JP 08095734 A ist eine Informationsverarbeitungseinrichtung bekannt, auf der ein so genanntes Windowssystem ausgeführt wird, welches Eingaben über eine Tastaturschnittstelle oder eine Mausschnittstelle akzeptiert. Das System weist ein Interaktionsmanagementteil auf. Für eine Eingabe sind ein berührungsempfindliches Touchpad, welches eine Berührposition bereitstellt, an der ein Nutzer das Touchpad berührt hat, eine Spracherkennungseinrichtung, die ein Ergebnis einer Spracherkennung bereitstellt, ein Annäherungssensor, der eine Annäherung erfasst, und eine Interrupterfassungseinrichtung vorhanden, die einen Interrupt empfängt, der durch das Windowsmanagementteil ausgelöst ist. Die verschiedenen empfangenen Eingaben werden mittels eines Konvertierungsteils in Ereignisse für das Windowssystem umgewandelt und an dieses gesandt.
Aus der DE 100 61 038 A1 ist ein Informationssystem zur Bereitstellung von erklärenden Informationen zu Funktions- oder Bedienelementen in einem Kraftfahrzeug bekannt. Dort ist ein spezielles in eine Hand nehmbares, rechnergestütztes Zeigeelement vorgesehen, welches an ein Funktions- und/oder Bedienelement angenähert werden kann, dessen Position geortet werden kann. Die Ortungsdaten werden an das rechnergestützte Steuerungs- und Ausgabegerät übermittelt, in dem eine Selektion abgespeicherter Informationen erfolgt, die diesen Ortungsdaten zugeordnet sind. Über eine Sprachausgabe werden die den erkannten Ortungsdaten zugeordneten Informationen an den Nutzer ausgegeben.
Aus der DE 10 2008 016 172 A1 ist ein Verfahren zum Betreiben eines Kraftfahrzeugs mit einem Touchscreen bekannt, bei dem veränderliche Informationen auf einem Display in dem Kraftfahrzeug dargestellt werden. Eine über dem Display angeordnete berührungsempfindliche Positionserfassungseinheit bildet mit dem Display einen Touchscreen. Eine Eingabe von Befehlen erfolgt durch ein Berühren des Touchscreens sowie über ein Erfassen von Spracheingaben. Auf dem Display des Touchscreens werden von einem akustischen Befehl abhängige Bedienmasken dargestellt, sofern gleichzeitig mit der Eingabe des akustischen Befehls eine Annäherung einer Hand an den Touchscreen erfolgt oder erkannt wird.
Der Erfindung liegt die Aufgabe zugrunde, eine Bedienung von Fahrzeugsystemen und/oder Funktionen, d. h. ein Auslösen von Aktionen, für einen Nutzer eines Fahrzeugs weiter zu vereinfachen.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 sowie ein Bediensystem mit den Merkmalen des Patentanspruchs 8 erfindungsgemäß gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Zur Lösung des Problems ist es vorgesehen, eine berührungslos erfasste Spezifizierungshandlung eines Betätigungselements, welches beispielsweise ein Körperteil, insbesondere ein Finger, eines Nutzers ist, zur Spezifizierung eines Objekts oder einer Objektgruppe mit einer Spracheingabe zu verknüpfen, um so eine Aktion auszulösen, die dem Objekt oder der Objektgruppe zugeordnet ist. Insgesamt wird hierdurch eine Bedienung erleichtert. Eine Ablenkung des Fahrers vom Straßenverkehrsgeschehen wird hierdurch reduziert. Vorgeschlagen wird insbesondere ein Verfahren zum Veranlassen einer Aktion in einem Fahrzeug mit mehreren Objekten mittels eines Bediensystems, umfassend die Schritte: berührungsloses Erfassen einer Spezifizierungshandlung eines Betätigungselements und Bereitstellen von Objektspezifizierungsdaten; Ausführen einer Spracherkennung zum Erkennen von Sprachbefehlen und Ausgeben von Befehlsdaten; Auswerten von Korrelationen der Objektspezifizierungsdaten mit den Befehlsdaten, indem diese auf eine Übereinstimmung mit Korrelationen zwischen Objektspezifizierungsdaten und Befehlsdaten untersucht werden, die in einer Speichereinrichtung in Form von Korrelationsdaten abgelegt sind, wobei den Korrelationen Aktionen zugeordnet sind; und Ausführung der der erkannten Korrelation zugeordneten Aktion, wobei die Objekte unterschiedlichen Objektgruppen zugeordnet sind und die Korrelationsdaten zusätzlich zu den Korrelationen von Objekten und Sprachbefehlen Korrelationen von Objektgruppe und Sprachbefehlen umfassen, denen ebenfalls Aktionen zugeordnet sind und beim Auswerten ein Objekt als spezifiziert gilt, wenn die Objektspezifizierungsdaten genau das eine Objekt spezifizieren (und kein weiteres Objekt) oder eine Objektgruppe als spezifiziert angesehen wird, wenn die Objektspezifizierungsdaten ausschließlich Objekte spezifizieren, die eine Teilmenge der Objektgruppe darstellen. Vorteil dieses Verfahrens ist es, dass in Abhängigkeit von der Genauigkeit, mit der eine Spezifizierungshandlung durch den Nutzer vorgenommen wird, unterschiedliche Aktionen ausgelöst werden können, die jeweils genau an die Handlung des Nutzers angepasst sind. Wird genau ein Objekt durch die Spezifizierungshandlung, beispielsweise ein Zeigen auf ein Objekt oder ein Annähern des Betätigungselements an das Objekt, spezifiziert, so kann über eine Korrelation mit einem dem entsprechenden Objekt zugeordneten Sprachbefehl direkt eine gewünschte Aktion ausgelöst werden. Ist die Spezifizierung nicht eindeutig, kann diese jedoch einer Gruppe von Objekten zugeordnet werden, so kann anhand einer Korrelation des Sprachbefehls mit der entsprechenden Objektgruppe ebenfalls eine Aktion ausgelöst werden, die die weitere Bedienung vereinfacht und/oder beschleunigt. Als Objekte werden hier alle gegenständlichen Einheiten des Fahrzeugs, insbesondere alle Bedieneinrichtungen, angesehen. Darüber hinaus werden auch alle virtuellen auf einer Anzeigefläche dargestellten Bedieneinrichtungen und grafischen Symbole und/oder Texte oder Textbestandteile als Objekt aufgefasst. Ein Objekt kann beispielsweise auch ein Ort in einer auf der Grafik dargestellten Navigationskarte sein.
Vorgeschlagen wird somit ein Bediensystem für ein Fahrzeug mit mehreren Objekten, umfassend eine berührungslos messende Objektspezifizierungssensorik zum berührungslosen Erfassen einer Spezifizierungshandlung eines Betätigungselements, beispielsweise einer Hand eines Nutzers, und Bereitstellen von Objektspezifizierungsdaten, eine Spracherkennungsvorrichtung zum Erkennen von Sprachbefehlen und Ausgeben von Befehlsdaten, eine Speichereinrichtung, in der Korrelationsdaten abgelegt sind, die Korrelationen zwischen Objektspezifizierungsdaten und Befehlsdaten umfassen, wobei den Korrelationen Aktionen zugeordnet sind, eine Steuereinrichtung, die ausgebildet ist, eine Korrelation zwischen den Befehlsdaten und den Objektspezifizierungsdaten auszuwerten und bei Auffinden einer vorgegebenen Korrelation die zugeordnete Aktion auszuführen und/oder auszulösen, wobei die Objekte unterschiedlichen Objektgruppen zugeordnet sind und die Korrelationsdaten neben Objekt-Sprachbefehlkorrelationen auch Korrelationen von Objektgruppen und Sprachbefehlen umfassen, denen ebenfalls Aktionen zugeordnet sind, wobei beim Auswerten der Objektspezifizierungsdaten ein Objekt als spezifiziert gilt, wenn die Objektspezifizierungsdaten ausschließlich genau das Objekt spezifizieren, und eine Objektgruppe als spezifiziert gilt, sofern die Objektspezifizierungsdaten Objekte spezifizieren, deren Vereinigungsmenge eine Teilmenge der Objektgruppe zugeordneten Objekte ist.
Je nach Genauigkeit der erkannten Spezifizierung eines Objekts kann somit eine angemessene Rückmeldung an den Nutzer ausgegeben werden.
Besonders vorteilhaft ist es, wenn die Objekte und/oder Objektgruppen in mehrere Hierarchieebenen gegliedert sind oder werden und die Objekte einer niedrigsten Hierarchieebene zugeordnet sind oder werden und die Objektgruppen jeweils einer höheren Hierarchieebene zugeordnet sind oder werden. Hierbei können einer Objektgruppe Objektgruppen einer niedrigeren Hierarchieebene und/oder einzelne Objekte der niedrigsten Hierarchieebene zugeordnet sein. Je nach Anordnung und Ausgestaltung der Objekte, insbesondere der Bedieneinrichtungen eines Fahrzeugs, kann es sinnvoll sein, dass einzelne Objektgruppen und gegebenenfalls zusätzlich Objekte unterschiedlicher Hierarchieebenen umfassen. Hierdurch wird es beispielsweise möglich, sämtliche Objekte einer Objektgruppe einer obersten Hierarchieebene zuzuordnen. Wird beispielsweise eine Spezifizierungshandlung erkannt, kann jedoch nicht weiter erkannt werden, welches Objekt oder welche Objektgruppe einer niedrigeren Hierarchieebene spezifiziert werden soll, so kann beispielsweise als zugeordnete Aktion eine Information an den Nutzer ausgegeben werden, die ihn auf diese Tatsache hinweist. Ebenso ist es bevorzugt vorgesehen, dass eine Rückmeldung an den Nutzer ausgegeben wird, wenn zwar eine Spezifizierung eines Objekts oder einer Objektgruppe erkannt oder ein Sprachbefehl erkannt ist, jedoch keine vorbekannte Korrelation aufgefunden wird. In einem solchen Fall ist eine Rückmeldung vorzugsweise so ausgebildet, dass dem Nutzer möglichst mitgeteilt wird, was durch das Bediensystem erkannt worden ist. Dies geschieht beispielsweise über eine Frage, die dem Nutzer gestellt wird, in dem beispielsweise dem Nutzer mitgeteilt wird, welchen Sprachbefehl das Bediensystem verstanden hat, oder entsprechend abgefragt wird, ob eines der erkannten Objekte der Objektgruppe bzw. das erkannte Objekt spezifiziert werden sollte. Durch das Ausgeben der Rückmeldung wird für den Nutzer die Funktionsweise des Bediensystems und Bedienverfahrens leichter nachvollziehbar, so dass eine Bedienung vereinfacht und beschleunigt wird.
Bei einer Ausführungsform wird mittels der Objektspezifizierungssensorik berührungslos eine Position des Betätigungselements im Raum erfasst. Hierbei wird vorzugsweise eine dreidimensionale Position erfasst. Im Stand der Technik sind unterschiedliche Systeme bekannt, mit denen die Position eines Betätigungselements, beispielsweise eines Körperteils eines Nutzers, insbesondere eines Fingers, ermittelt werden kann. Bei einigen Systemen wird in den Nutzer über den Fahrersitz kapazitiv ein Hochfrequenzsignal eingekoppelt. Mehrere voneinander beabstandete, an vorbekannten Positionen angeordnete Empfangssensoren empfangen kapazitiv das über den Nutzer und dessen Betätigungselement übertragene Hochfrequenzsignal. Abhängig von dem Abstand des Betätigungselements von dem jeweiligen Empfangssensor variiert die kapazitiv empfangene Signalstärke. Aus den unterschiedlichen Signalstärken lässt sich somit die Position des Betätigungselements errechnen.
Andere Systeme arbeiten beispielsweise optisch und senden Licht im infraroten Wellenlängenbereich aus. Bei einem solchen System wird die an dem Betätigungselement reflektierte und/oder gestreute Lichtstrahlung ausgewertet. Bei diesen Systemen wird das ausgesandte Licht vorzugsweise moduliert, beispielsweise mittels einer Pulsmodulation, einer Pulsbreiten- oder Pulsdauermodulation. Bei einigen Ausführungsformen wird eine Lichtquelle mit mehreren verteilt angeordneten photoempfindlichen Detektoren verwendet, bei anderen Ausführungsformen werden mehrere Lichtquellen verwendet, die unterschiedlich frequentes und/oder unterschiedlich moduliertes Licht aussenden und jeweils einen zugeordneten oder mehrere zugeordnete photoempfindliche Detektoren aufweisen. Anhand der gestreuten Lichtmenge kann bei bekannter geometrischer Anordnung der entsprechenden Lichtquelle und des photoempfindlichen Sensors erneut auf einen Abstand des Betätigungselements zurückgeschlossen werden. Über eine Triangulation kann dann die Position des Betätigungselements im Raum ermittelt werden. Diese Verfahren sind besonders robust und zuverlässig hinsichtlich der Positionsermittlung. Wieder andere Ausführungsformen werten Kamerabilder aus oder nutzen Ultraschallsignale, um über Laufzeitmessungen einen Abstand des Betätigungselements von einem vorgegebenen Ort zu ermitteln. Wieder andere Systeme messen passiv eine Kopplung an unterschiedliche Elektroden, die beispielsweise in einer berührungsempfindlichen Positionserfassungseinheit ausgebildet sind, die in einem Touchscreen integriert ist. Anhand der kapazitiven Kopplung des Betätigungselements an die unterschiedlichen Elektroden kann ebenfalls die Position des Betätigungselements relativ zu der Anzeigefläche ermittelt werden.
Bei einer bevorzugten Ausführungsform wird daher eine Objektspezifizierung anhand eines Abstands des Betätigungselements von dem jeweiligen Objekt ermittelt. Dieses ist eine einfache und zuverlässige Methode, um eine Objektspezifizierung zu ermitteln. Um eine Spezifizierungshandlung vorzunehmen, nähert der Nutzer das Betätigungselement, beispielsweise seinen Finger, dem jeweiligen Objekt an, welches er spezifizieren will.
Bei einer bevorzugten Weiterbildung der Erfindung ist daher vorgesehen, dass für ein Objekt eine Kennung zum Spezifieren des Objekts in die Objektspezifizierungsdaten aufgenommen wird, sofern der ermittelte Abstand des Betätigungselements von dem Objekt kleiner als ein vorgegebener Objektschwellenabstand ist, und/oder für das Objekt eine Kennung in die Objektspezifizierungsdaten eingefügt wird, wenn der Abstand des Betätigungselements von dem jeweiligen Objekt einen Objektgruppenschwellenabstand unterschreitet, der der Objektgruppe zugeordnet ist, der das entsprechende Objekt zugeordnet ist. Sowohl der Objektschwellenabstand als auch der Objektgruppenabstand können individuell für das einzelne Objekt bzw. für eine Objektgruppe festgelegt sein. In der Regel wird der Objektschwellenabstand geringer als ein Objektgruppenschwellenabstand derjenigen Gruppe sein, der das entsprechende Objekt zugeordnet ist. Darüber hinaus ist es vorteilhaft, wenn der Objektgruppenschwellenabstand einer Objektgruppe einer niedrigeren Hierarchieebene geringer als der Objektgruppenschwellenabstand einer übergeordneten Objektgruppe ist. Hierdurch ist gewährleistet, dass die Spezifizierung genauer und spezieller wird, je dichter der Nutzer das Betätigungselement an ein Objekt annähert. Bringt er das Betätigungselement während der Spezifizierungsgeste nur grob in die Nähe des zu spezifizierenden Objekts, so werden die Objekte über eine Objektgruppe spezifiziert, die alle einen ähnlichen Abstand unterhalb des entsprechenden Objektgruppenschwellenabstands aufweisen. Wird das Betätigungselement jedoch an ein Objekt noch weiter angenähert, so dass der zugehörige Objektschwellenabstand unterschritten wird, so kann die Spezifizierungshandlung einem bestimmten Objekt zugeordnet werden, so dass ausschließlich dieses spezifiziert wird.
Bei einer Ausführungsform ist vorgesehen, dass der Objektschwellenabstand und/oder die Objektschwellenabstände und/oder der Objektgruppenschwellenabstand und/oder die Objektgruppenschwellenabstände abhängig von einem Minimalabstand des Betätigungselements von irgendeinem der Objekte oder speziellen Fahrzeuggegenständen variiert, wobei die einzelnen Schwellenabstände mit einem Ansteigen des Minimalabstandes steigen. Mit dieser Ausführungsform wird erreicht, dass die einzelnen Objektgruppenschwellenabstände reduziert werden, wenn das Betätigungselement einem der Objekte oder einem anderen Gegenstand, beispielsweise einem Armaturenbrett, allgemein dicht angenähert ist. Je näher der Nutzer das Betätigungselement nämlich an eines der Objekte oder einen vorgegebenen Gegenstand annähert, desto geringer ist die Wahrscheinlichkeit, dass ein weiter entferntes Objekt spezifiziert werden soll. Somit ist es dann auch sinnvoll, zumindest die Objektgruppenschwellenabstände und eventuell sogar die einzelnen Objektschwellenabstände zu reduzieren.
Vorzugsweise werden bei einer Ausführungsform Kennungsdaten zur Spezifizierung eines Objekts in die Objektspezifizierungsdaten dann nicht aufgenommen, wenn ein ermittelter Abstand des Betätigungselements von dem Objekt größer als der entsprechende Objektschwellenabstand, jedoch kleiner als der Objektgruppenschwellenabstand, ist, wenn gleichzeitig jedoch ein anderes Objekt bereits aufgrund eines Unterschreitens des zugehörigen Objektschwellenabstandes spezifiziert ist. Hierdurch wird erreicht, dass bei Vorliegen einer guten Spezifizierung eines oder mehrerer Objekte keine Objekte in die Spezifizierung aufgenommen werden, die ungenauer spezifiziert sind.
Alternativ oder ergänzend ist bei einigen Ausführungsformen vorgesehen, dass die Objektspezifizierungseinrichtung ausgebildet ist, eine Zeigegeste einer Hand zu erkennen, wobei das Betätigungselement dann eine menschliche Hand ist, und das Objekt oder die Objekte zu ermitteln, auf die die Zeigegeste weist. Um eine Zeigegeste, die mittels eines ausgestreckten Fingers, insbesondere eines Zeigefingers, ausgeführt wird, auszuwerten, kann beispielsweise vorgesehen sein, ein rasterartiges Lichtmuster, vorzugsweise im nicht sichtbaren Wellenlängenbereich, insbesondere im infraroten Wellenlängenbereich, auf die Hand zu projizieren und das auf der Hand projizierte Muster mittels einer Kamera auszuwerten. Hierbei wird beispielsweise ein streifenförmiges oder karoförmiges Lichtmuster bevorzugt. Bei der Auswertung kann das auf der Hand abgebildete Lichtmuster ausgewertet werden, wenn eine Kamera eingesetzt wird, die im entsprechenden Lichtwellenlängenbereich sensitiv ist. Anhand der Auswertung kann eine Richtung im Raum ermittelt werden, in die der ausgestreckte Finger weist. Über eine Berechnung kann nun ermittelt werden, welche Objekte in dem Gebiet liegen, in welches der Finger weist. Hierdurch ist es möglich, auch weiter entfernte Objekte zu spezifizieren, die über eine unmittelbare Annäherung des Betätigungselements nicht spezifizierbar sind.
Bei einer besonderen Ausführungsform wird das Bediensystem verwendet, um eine Funktionsweise der einzelnen Objekte zu erläutern. Bei einer solchen Ausführungsform werden als Aktionen Erklärungsinformationen zu dem jeweiligen spezifizierten Objekt und/oder der spezifizierten Objektgruppe ausgegeben.
Um auch eine Spezifizierung eines einzelnen Objekts zu erleichtern, wenn mittels der Spezifizierungsgeste lediglich die Spezifizierung einer Objektgruppe erkannt wurde, ist bei einer Ausführungsform vorgesehen, dass als Aktion eine Sprachabfrage zur Objektspezifizierung eines Objekts und/oder Unterobjektgruppe, die der Objektgruppe zugeordnet sind, ausgeführt wird und anschließend die entsprechende Aktion ausgeführt wird, die der Korrelation zugeordnet ist, die durch das mittels der Sprachabfrage spezifizierte Objekt oder die mittels der Sprachabfrage spezifizierte Untergrupppe und den ursprünglichen Sprachbefehl festgelegt ist, sofern diese Korrelation in den Korrelationsdaten enthalten ist. Lautet der Sprachbefehl beispielsweise ”Welche Funktion hat dieses Objekt?” und wird hierbei über die Spezifizierungsgeste eine Objektgruppe mit drei Bedieneinrichtungen spezifiziert, so würde als Aktion entsprechend eine Sprachabfrage ausgelöst, die beispielsweise lautet ”Meinen sie die obere Bedieneinrichtung, die mittlere Bedieneinrichtung oder die untere Bedieneinrichtung?”. Von dem Nutzer wird daraufhin eine Sprachantwort erfasst, die beispielsweise lautet könnte ”die mittlere Bedieneinrichtung”. Diese wird ausgewertet, so dass die mittlere Bedieneinrichtung als spezifiziert erkannt wird. Anschließend wird jetzt die Korrelation zwischen der mittleren Bedieneinrichtung (dem Objekt) und dem Sprachbefehl ”Weiche Funktion hat dieses Objekt?” ausgewertet. Als entsprechende Aktion ist in den Korrelationsdaten ein Beschreibungstext hinterlegt, der die Funktionsweise dieser Bedieneinrichtung erläutert Dieser hinterlegte Text wird beispielsweise grafisch und/oder akustisch ausgegeben.
Bei einer bevorzugten Ausführungsform sind die Objekte als haptisch zu betätigende virtuelle und/oder in Hardware ausgeführte Bedieneinrichtungen ausgeführt.
Die Merkmale des Bediensystems weisen dieselben Vorteile wie die entsprechenden Merkmale des Verfahrens auf.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf eine Zeichnung näher erläutert. Hierbei zeigen:
1 eine schematische Darstellung eines groben Bedienschemas,
2 eine schematische Darstellung von als Bedieneinrichtungen ausgebildeten Objekten sowie deren Zuordnung zu Objektgruppen,
3 eine schematische Darstellung des Bediensystems und
4a–4c eine grafische Darstellung eines Bedien- und Betätigungsablaufs.
In 1 ist grob ein Bedienschema 1 grafisch dargestellt. Als Teil einer Bedienung oder Betätigungshandlung 2 wird zum einen ein Objekt über eine Bewegung eines Betätigungselements spezifiziert 3. Eine Spezifizierungsgeste oder Spezifizierungshandlung wird berührungslos, beispielsweise mittels einer Objektspezifizierungssensorik, die in manchen Ausführungsformen auch als Annäherungssensorik bezeichnet wird, erfasst. Hierzu wird zeitgleich als weiterer Teil der Bedienung ein Sprachbefehl 4 ausgesprochen. Dieser wird von einem Spracherkennungssystem erfasst und ausgewertet. Ein Steuersystem wertet eine Korrelation zwischen einem spezifizierten Objekt oder einer spezifizierten Objektgruppe und einem erhaltenen Sprachbefehl aus. Vorgegebenen Korrelationen zwischen Objekten und Sprachbefehlen bzw. Objektgruppen und Sprachbefehlen sind jeweils Aktionen zugeordnet. Wird eine vorbekannte Korrelation erkannt, so löst das Steuersystem die entsprechende Aktion 6 aus. Die Aktion kann beispielsweise ein Ausgeben eines Steuerbefehls an ein Fahrzeugsystem oder eine Fahrzeugfunktion sein. Alternativ kann die Aktion ein Ausgeben von Erläuterungsinformationen über das spezifizierte Objekt oder Ähnliches umfassen.
In 2 ist eine Vielzahl von Objekten 11-1 bis 11-16 dargestellt, die als Bedieneinrichtungen ausgebildet sind. Hierbei sind die Objekte 11-1 bis 11-12 in Hardware ausgebildete Bedieneinrichtungen. Die Bedieneinrichtungen 11-13 bis 11-16 sind so genannte virtuelle Bedieneinrichtungen, die auf einem Touchscreen 12 dargestellt sind. Die virtuellen Bedienelemente sind durch eine gepunktete Darstellung ihrer Umrandung gekennzeichnet. Die einzelnen Objekte 11-1 bis 11-16 sind jeweils zu Objektgruppen 13-1 bis 13-4 zusammengefasst. Die Zusammenfassung erfolgt jeweils gemäß ihrer räumlichen Anordnung. Die einzelnen Objektgruppen 13-1 bis 13-4 sind wiederum zu einer weiteren Objektgruppe 13-5 zusammengefasst. Insgesamt ergibt sich somit eine in hierarchischen Ebenen gegliederte Zuordnung der Objekte 11-1 bis 11-16 zu unterschiedlichen Hierarchieebenen 14-1 bis 14-3. Hierbei sind die einzelnen Objekte der niedrigsten Hierarchieebene 14-1 und die Objektgruppen jeweils höheren Hierarchieebenen 14-2, 14-3 zugeordnet. Die Zusammenfassung von einzelnen Objekten 11-1 bis 11-16 zu Objektgruppen 13-1 bis 13-5 erleichtert die Spezifizierung einzelner Objekte bzw. einer Gruppe von Objekten, insbesondere dann, wenn die zur Spezifizierung ausgeführte Geste mittels eines Betätigungselements nicht als Spezifizierung eines einzelnen Objekts erkennbar ist oder auch die Spezifizierung eines einzelnen Objekts gar nicht gewünscht ist, sondern die Spezifizierung einer Objektgruppe angestrebt ist.
In 3 ist schematisch ein Fahrzeug 20 mit einem Bediensystem 21 dargestellt. Das Bediensystem 21 ist für eine multimodale Betätigung und/oder Bedienung ausgebildet. Das Fahrzeug 20 umfasst eine Anzahl von Objekten 11-1 bis 11-6, die als in Hardware ausgebildete Bedieneinrichtungen ausgebildet sind (gleiche technische Merkmale sind in allen Figuren mit identischen Bezugszeichen bezeichnet). Zusätzlich umfasst das Fahrzeug 20 einen Touchscreen 12. Auf diesem sind Objekte 11-13 bis 11-15 grafisch dargestellt, die virtuelle Bedieneinrichtungen darstellen. Die Objekte 11-1 bis 11-6, 11-13 bis 11-15 sind Bedieneinrichtungen, die für eine haptische Bedienung von Fahrzeugsystemen und/oder Funktionen bzw. die Erfassung von Nutzereingaben vorgesehen sind. Abhängig vom jeweiligen Bedienkontext sind somit den einzelnen Objekten 11-1 bis 11-6, 11-13 bis 11-15 unterschiedliche Steuerbefehle oder Ähnliches zugeordnet. Um beispielsweise einem Nutzer zu ermöglichen, sich zu orientieren, welche Funktion aktuell einer Bedieneinrichtung zugeordnet ist, d. h. welche Funktion bei einer haptischen Betätigung der entsprechenden Bedieneinrichtung, d. h. des Objekts 11-1 bis 11-6, 11-13 bis 11-15, ausgelöst wird, soll dem Nutzer vor einer Betätigung des entsprechenden Objekts (der Bedieneinrichtung) diese Information vermittelt werden. Hierzu ist vorgesehen, dass der Nutzer das Objekt 11-1 bis 11-6, 11-13 bis 11-15 über eine mit einem Betätigungselement 22 ausgeführte Spezifizierungshandlung spezifiziert. Da die Informationsvermittlung vor einem Auslösen der Funktion oder Aktion, welche mit dem entsprechenden Objekt (der Bedieneinrichtung) verknüpft ist, erfolgen soll, kann als Spezifizierungshandlung keine Berührung verwendet werden. Vielmehr ist es erforderlich, eine Annäherung oder eine Zeigegeste berührungslos zu ermitteln und auszuwerten. Bei dem Betätigungselement handelt es sich vorzugsweise um ein Körperteil des Nutzers, vorzugsweise um einen ausgestreckten Finger. Um die Annäherung an eines der Objekte 11-1 bis 11-6, 11-13 bis 11-15 oder eine Objektgruppe 13-1, 13-2, 13-3, 13-5 zu ermitteln, ist eine Objektspezifizierungssensorik 23 vorgesehen. Die Objektspezifizierungssensorik 23 kann eine Vielzahl unterschiedlicher Sensoren und Einrichtungen umfassen, um eine Spezifizierung durch eine Spezifizierungshandlung mittels des Betätigungselements auszuwerten und eine Spezifizierung einzelner Objekte 11-1 bis 11-6, 11-13 bis 11-15 oder von Objektgruppen 13-1 bis 13-15 zu erfassen und ermitteln. Bei der dargestellten Ausführungsform umfasst die Objektspezifizierungssensorik 23 eine berührungslos messende Positionsermittlungseinrichtung 24. In der dargestellten Ausführungsform umfasst die Positionsermittlungseinrichtung 24 eine Sendeeinrichtung 25, die beispielsweise an einem Fahrzeugsitz (nicht dargestellt) angeordnet ist, auf dem der entsprechende Nutzer sitzt. Die Sendeeinrichtung 25 ist ausgebildet, in den auf dem Sitz sitzenden Nutzer ein Hochfrequenzsignal einzukoppeln. Dieses wird über den Nutzer und dessen Betätigungselement 22 zu Empfangssensoren 26 kapazitiv übertragen. Eine übertragene Signalstärke ist abhängig von einem Abstand des Betätigungselements 22 von dem entsprechenden Empfangssensor 26. Hierüber ist es möglich, mittels einer Auswerteeinrichtung 27 über eine Triangulation eine dreidimensionale Position des Betätigungselements 22 im Raum zu ermitteln und bereitzustellen.
Um nicht nur eine Annäherung als Spezifizierungshandlung erkennen zu können, umfasst die Objektspezifizierungssensorik 23 bei der dargestellten Ausführungsform zusätzlich ein optisches System 28. Dieses umfasst eine Beleuchtungseinrichtung, die über Licht 30 im vorzugsweise nicht sichtbaren Wellenlängenbereich, beispielsweise infraroten Wellenlängenbereich, ein Linienmuster 31 oder ein Liniengitter auf das Betätigungselement 22 projiziert. Eine Kamera 32, die in dem Wellenlängenbereich des Lichts 30, mit dem das Linienmuster 31 auf das Betätigungselement 22 projiziert ist, sensitiv ist, erfasst das Linienmuster 31 und wertet die Position und Orientierung der einzelnen Linien aus, um hieraus eine Richtung zu ermitteln, in die das Betätigungselement weist. Mit Hilfe einer Richtungs- und Objektbestimmungseinheit 33 werden bei Kenntnis der geometrischen Anordnung der einzelnen Objekte 11-1 bis 11-6, 11-13 bis 11-15 die Objekte ermittelt, auf die der Finger aufgrund der ermittelten Position und Richtung weist. Die Objektspezifizierungssensorik 23 liefert somit Objektspezifizierungsdaten 34, die beispielsweise Kennungen enthalten, welche die über die Spezifizierungshandlung, beispielsweise eine Zeigegeste und/oder eine Annäherung, seitens des Nutzers spezifiziert sind.
Über ein Mikrofon 35 wird ein Sprachbefehl 36 des Nutzers erfasst. Dieser wird in zeitlicher Korrelation mit der Spezifizierungshandlung vom Nutzer ausgesprochen. Der von dem Mikrofon 35 erfasste Sprachbefehl 36 wird in einer Spracherkennungsvorrichtung 37 analysiert. Die Spracherkennungsvorrichtung 37 liefert Befehlsdaten 38, die den erkannten Befehl kennzeichnen. Eine Steuereinrichtung 39 wertet eine Korrelation zwischen den Objektspezifizierungsdaten 34 und den Befehlsdaten 38 aus. Hierzu werden vorbekannte Korrelationen 41, die in einer Speichereinrichtung 42 abgelegt sind, mit den ermittelten Korrelationen oder der ermittelten Korrelation verglichen. Den einzelnen vorbekannten Korrelationen 41 zwischen einem Objekt und einem Sprachbefehl oder einer Objektgruppe und einem Sprachbefehl ist jeweils eine Aktion 43 zugeordnet. Im dargestellten Ausführungsbeispiel umfassen die zugeordneten Aktionen 43 ein Ausgeben eines Erläuterungstextes bzw. eines Informationstextes über das Objekt oder über die Objekte einer Objektgruppe bzw. ein Ausführen einer Sprachabfrage zur weiteren Spezifizierung eines Objekts einer Objektgruppe. Ist eine vorbekannte Korrelation erkannt, so wird diese Aktion ausgeführt, beispielsweise indem ein Erläuterungstext 44 über einen Lautsprecher 45 ausgegeben wird. Als Aktion kann jedoch auch ein Steuerbefehl 46 an eine Fahrzeugfunktion oder ein anderes Fahrzeugsystem 47 ausgegeben werden, welches beispielsweise mit einem Bussystem 48 mit dem Bediensystem 21 verbunden ist.
Um anhand der Position des Betätigungselements 22 zu ermitteln, welches der Objekte 11-1 bis 11-6, 11-13 bis 11-15 spezifiziert wird, sind den einzelnen Objekten Objektschwellenabstände zugeordnet. Für die virtuellen Bedieneinrichtungen, d. h. die Objekte 11-13 bis 11-15, sind entsprechende Objektschwellenabstände 51-13 bis 51-15 mittels Kreissektoren angedeutet. Ebenso ist zu jedem dieser Objekte 11-13 bis 11-15 ein Objektgruppenschwellenabstand 52-2 abgetragen. Zu erkennen ist, dass das Betätigungselement von allen virtuellen Bedieneinrichtungen, Objekten 11-13 bis 11-15, einen Abstand aufweist, der größer als der jeweilige Ob jektschwellenabstand 51-13 bis 51-15 ist. Das Betätigungsobjekt weist jedoch von den Objekten 11-14 und 11-15 einen geringeren Abstand als der zugehörige Objektgruppenschwellenabstand 52-2 auf. Somit werden in diesem Fall Kennungen für die beiden Objekte 11-14 und 11-15 in die Objektspezifizierungsdaten eingefügt. Die Steuereinrichtung 39 erkennt hieraus, dass die Objektgruppe 13-2 spezifiziert ist.
Als Aktion kann somit eine Sprachabfrage ausgeführt werden, über die der Nutzer aufgefordert wird anzugeben, ob er die mittlere virtuelle Bedieneinrichtung 11-14 oder die rechte virtuelle Bedieneinrichtung 11-15 spezifizieren wollte. Lautet der ursprüngliche Sprachbefehl beispielsweise ”Welche Funktion ist mit diesem Bedienelement verknüpft?”, so wird nach Erfassen der Spracheingabe ”die rechte Bedieneinrichtung anschließend der Erläuterungstext als Aktion für die Korrelation des Objekts 11-15 und den Sprachbefehl ”welche Funktion ist mit der Bedieneinrichtung verknüpft” ausgegeben.
Ein weiterer Verfahrensablauf ist in den 4a bis 4c dargestellt. 4a zeigt die Ansicht eines Touchscreens 12 schematisch. In einem unteren Bereich 61 sind als virtuelle Bedieneinrichtungen ausgebildete für eine haptische Betätigung vorgesehene Objekte 11-16 bis 11-20 dargestellt.
In 4b ist gezeigt, dass der Nutzer seinen Zeigefinger an das Objekt 11-16, welches links unten auf der Anzeigefläche des Touchscreens 12 dargestellt ist, annähert und gleichzeitig einen Sprachbefehl 36 ”Was ist das?” ausgibt. Über die Annäherung des Betätigungselements 22 wird das Objekt 11-16 berührungslos spezifiziert. Die Steuereinrichtung korreliert die Objektspezifizierung mit dem erkannten Sprachbefehl und gibt als Aktion eine entsprechende Erläuterung, wie dies in 4c schematisch dargestellt ist, durch die akustische Ausgabe des Erläuterungstexts 44 ”hiermit können sie ...” aus.
Bezugszeichenliste

1: Bedienschema
2: Betätigungshandlung
3: Spezifizieren
4: Sprachbefehl
5: Steuersystem
6: Aktion
11-1 bis 11-1n: Objekt
12: Touchscreen
13-1 bis 13-5: Objektgruppen
14-1 bis 14-3: Hierarchieebenen
20: Fahrzeug
21: Bediensystem
22: Betätigungselement
23: Objektspezifizierungssensorik
24: berührungslos messende Positionsermittlungseinrichtung
25: Sendeeinrichtung
26: Empfangssensoren
27: Auswerteeinheit
28: optisches System
29: Beleuchtungseinrichtung
30: Licht
31: Lichtmuster
32: Kamera
33: Richtungs- und Objektbestimmungseinheit
34: Objektspezifizierungsdaten
35: Mikrofon
36: Sprachbefehl
37: Spracherkennungsvorrichtung
38: Befehlsdaten
39: Steuereinrichtung
41: Korrelationen
42: Speichereinrichtung
43: Aktionen
44: Erläuterungstext
45: Lautsprecher
46: Steuerbefehl
47: andere Fahrzeugsysteme
48: Bussystem
51-n: Objektschwellenabstand
52-h: Objektgruppenschwellenabstand
61: unterer Bereich

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 08095734 A [0006]
DE 10061038 A1 [0007]
DE 102008016172 A1 [0008]

Claims

Verfahren zum Veranlassen von Aktionen (6; 43) in einem Fahrzeug mit mehreren Objekten (11-n) mittels eines Bediensystems (21) umfassend die Schritte: berührungsloses Erfassen einer Spezifizierungshandlung eines Betätigungselements (22) und Bereitstellen von Objektspezifizierungsdaten (34), Ausführen einer Spracherkennung, zum Erkennen von Sprachbefehlen (36) und Ausgeben von Befehlsdaten (38), Auswerten von Korrelationen der Objektspezifizierungsdaten (34) mit den Befehlsdaten (38), indem diese auf eine Übereinstimmung mit Korrelationen zwischen Objektspezifierungsdaten (34) und Befehlsdaten (38) untersucht werden, die in einer Speichereinrichtung (42) in Form von Korrelationsdaten abgelegt sind, wobei den Korrelationen (41) Aktionen (43) zugeordnet sind, und Ausführen der der erkannten Korrelation (41) zugeordneten Aktion (43), dadurch gekennzeichnet, dass die Objekte (11-n) unterschiedlichen Objektgruppen (13-h) zugeordnet sind, und die Korrelationsdaten zusätzlich zu den Objekt-Sprachbefehl-Korrelationen (41) Korrelationen (41) von Objektgruppen und Sprachbefehlen umfassen, denen ebenfalls Aktionen (43) zugeordnet sind, und beim Auswerten ein Objekt (11-n) als spezifiziert gilt, wenn die Objektspezifierungsdaten (34) genau das eine Objekt (11-n) spezifizieren oder eine Objektgruppe (13-h) als spezifiziert angesehen wird, wenn die Objektspezifizierungsdaten (34) ausschließlich Objekte (11-n) spezifizieren, die eine Teilmenge der der Objektgruppe (13-h) zugeordneten Objekte (11-n) darstellen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Objekte (11-n) und/oder Objektgruppen (13-h) in mehrere Hierarchieebenen (14-i) gegliedert sind oder werden und die Objekte einer niedrigsten Hierarchieebene (14-i) zugeordnet sind oder werden und die Objektgruppen jeweils einer höheren Hierarchieebene (14-i) zugeordnet sind/oder werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass mittels der Objektspezifizierungssensorik (23) berührungslos eine Position des Betätigungselements (22) im Raum erfasst wird.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass eine Objektspezifizierung anhand eines Abstands des Betätigungselements (22) von den jeweiligen Objekten (11-n) ermittelt wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass für ein Objekt (11-n) eine Kennung zum Spezifizieren des Objekts (11-n) in die Objektspezifizierungsdaten (34) aufgenommen wird, sofern der ermittelte Abstand des Betätigungselements (22) von dem Objekt (11-n) kleiner als ein vorgegebener Objektschwellenabstand (51-n) ist, und/oder dass für Objekte (11-n) eine Kennung in die Objektspezifizierungsdaten (34) eingefügt wird, wenn der Abstand des Betätigungselements (22) von dem jeweiligen Objekt (11-n) einen Objektgruppenschwellenabstand (52-h) unterschreitet, der der Objektgruppe (13-h) zugeordnet ist, der das entsprechende Objekt (11-n) zugeordnet ist.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der Objektschwellenabstand (51-n) und/oder die Objektschwellenabstände (51-n) und/oder der Objektgruppenschwellenabstand (52-h) und/oder die Objektgruppenschwellenabstände (52-h) abhängig von einem Minimalabstand des Betätigungselements (22) von irgend einem der Objekte (11-n) oder speziellen Fahrzeuggegenständen variiert, wobei die Schwellenabstände (51-n, 52-h) mit einem ansteigen des Minimalabstands steigen.
Verfahren nach einem der Ansprüche 2 bis 6, dadurch gekennzeichnet, dass als Aktion (6; 43) eine Sprachabfrage zur Objektspezifizierung eines der Objekte (11-n) und/oder oder einer Unter-Objektgruppen (13-h), die einer Objektgruppe (13-h) zugeordnet sind, ausgelöst und ausgewertet wird, wenn diese Objektgruppe (13-h) als hinsichtlich der Hierarchieebenen (14-i) niedrigste spezifizierte Objektgruppe (13-h) ermittelt ist, und anschließend die entsprechende Aktion (6; 43) ausgeführt wird, die der Korrelation (41) zugeordnet ist, die durch das mittels der Sprachabfrage spezifizierten Objekt (11-n) oder die mittels der Sprachabfrage spezifizierte Unter-Objektgruppe (13-h) und den ursprünglichen Sprachbefehl (4) festgelegt ist, sofern diese Korrelation (41) in den Korrelationsdaten (34) enthalten ist.
Bediensystem (21) für ein Fahrzeug (20) mit mehreren Objekten (11-n) umfassend eine berührungslos messende Objektspezifizierungssensorik (23) zum berührungslosen Erfassen einer Spezifizierungshandlung eines Betätigungselements (22) und Bereitstellen von Objektspezifizierungsdaten (34), eine Spracherkennungsvorrichtung (37) zum Erkennen von Sprachbefehlen (36) und Ausgeben von Befehlsdaten (38), eine Speichereinrichtung (42), in der Korrelationsdaten abgelegt sind, die Korrelationen (41) zwischen Objektspezifierungsdaten (34) und Befehlsdaten (38) umfassen, wobei den Korrelationen (41) Aktionen (43) zugeordnet sind, eine Steuereinrichtung (39), die ausgebildet ist, eine Korrelation zwischen den Befehlsdaten (38) und den Objektspezifizierungsdaten (34) auszuwerten und bei Auffinden einer vorgegebenen Korrelation (41) die zugeordnete Aktion (43) auszuführen und/oder auszulösen, dadurch gekennzeichnet, dass die Objekte (11-n) unterschiedlichen Objektgruppen (13-h) zugeordnet sind und die Korrelationsdaten neben Objekt-Sprachbefehl-Korrelationen (41) auch Korrelationen (41) von Objektgruppen und Sprachbefehle umfassen, denen ebenfalls Aktionen (43) zugeordnet sind, wobei beim Auswerten der Objektspezifizierungsdaten (34) ein Objekt (11-n) als spezifiziert gilt, sofern die Objektspezifizierungsdaten (34) ausschließlich genau das Objekt spezifizieren, und eine Objektgruppe (13-1) als spezifiziert gilt, sofern die Objektspezifizierungsdaten (34) Objekte (11-n) spezifizieren, deren Vereinigungsmenge eine Teilmenge der der Objektgruppe (13-h) zugeordneten Objekte (11-n) ist.
Bediensystem (21) nach Anspruch 8, dadurch gekennzeichnet, dass die Objektspezifizierungssensorik (23) eine berührungslos messende Positionsermittlungseinrichtung (24) zum Bestimmen einer Position des Betätigungselements (22) im Raum umfasst.
Bediensystem (21) nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Objekte (11-n) haptisch zu Betätigende virtuelle und/oder in Hardware ausgeführte Bedieneinrichtungen umfassen.