DE102017011498B4

DE102017011498B4 - Verfahren zum Betreiben eines Assistenzsystems und ein Assistenzsystem für einen Kraftwagen

Info

Publication number: DE102017011498B4
Application number: DE102017011498.6A
Authority: DE
Inventors: Paul Heisterkamp; Jürgen Luka; Volker Entenmann; Thomas Weiss; Emin Tarayan; Thorsten Stecker; Wolfgang Stahl; Klaus Mecklenburg; Johannes Weiland
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2017-12-13
Filing date: 2017-12-13
Publication date: 2022-08-18
Anticipated expiration: 2037-12-14
Also published as: WO2019115340A1; DE102017011498A1; CN111511599A

Abstract

Verfahren zum Betreiben eines Assistenzsystems eines Fahrzeugs aufweisend die folgenden Schritte:
- Bestimmung eines Bereichs (S100) im Fahrzeug, auf den eine Geste gerichtet ist,
- Erkennung und Auswertung einer Spracheingabe (S300) eines Nutzers,
- Bestimmung eines Steuerbefehls (S700) in Bezug auf den bestimmten Bereich und reaktiv auf die Spracheingabe,
- Ermittlung eines zeitlichen Abstands zwischen der Geste und der Spracheingabe,
- Vergleich (500a) des zeitlichen Abstands mit einem vorgegebenen Zeitfenster und
- Ausgabe des Steuerbefehls (S800, S900), falls der zeitliche Abstand innerhalb dem vorgegebenen Zeitfenster liegt, dadurch gekennzeichnet, dass die Geste eine Blickgeste und eine Zeigegeste umfasst, wobei der Bereich bei Übereinstimmung der Blickrichtung und Zeigerrichtung als ausgewählt bestimmt wird.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Assistenzsystems sowie ein Assistenzsystem für einen Kraftwagen.
Es ist bekannt Fahrzeugfunktionen berührungslos durch Sprache, Blickgesten oder Zeigegesten oder eine Kombination derselben berührungslos zu steuern.
Aus der DE 10 2013 011 531 A1 ist ein Verfahren bekannt, bei dem mittels einer optischen Erfassungseinrichtung eine Zeigegeste auf ein Bedienelement erfasst wird. Eine Ausgabe einer vorbestimmten Information bezüglich des erfassten Bedienelementes erfolgt, sobald ein Nutzer einen vorbestimmten Sprachbefehl getätigt hat.
Die US 2005134117 A1 beschreibt eine Vorrichtung zur Einstellung von Fahrzeugkomponenten mittels einer Spracheeingabe und einer in einem vorgegebenen Zeitfenster nachfolgenden Handgeste.
Die DE 10 2008 051 756 A1 offenbart ein Verfahren zur multimodalen Informationseingabe und Anpassung der Informationsanzeige mit Hilfe einer Systemarchitektur, welche explizit und implizit gebildete Eingabesignale unterschiedlicher Modalität erfasst. Die expliziten Eingabesignale werden über ein Modalitätsmanager einem Informationsmanager, die implizit gebildeten Eingabesignale einem Kommunikationsinterpreter zugeführt, so dass ein Präsentationsmanager ausgehend von den explizit und implizit erhaltenen Eingabesignalen des Informationsmanagers und des Kommunikationsinterpreters angesteuert und einem Ausgabemodul des Präsentationsmanagers synergistisch erhaltene Ausgabesignale bereitgestellt werden.
Aus der DE 10 2012 013 503 A1 ist ein Verfahren bekannt, bei dem eine auf ein Objekt gerichtete Geste eines Insassen erfasst und das mit der Geste ausgewählte Objekt bestimmt wird. Weiter wird ein vor, während oder nach dem Erfassen der Geste geäußerter Sprachbefehl des Fahrzeuginsassen mittels einer Spracherkennungseinheit ermittelt, ein kombiniertes Interpretieren der Geste, des identifizierten Objekts und des Sprachbefehls durchgeführt und ein Steuerbefehl in Abhängigkeit von der kombinierten Interpretation mittels einer Datenverarbeitungseinheit ausgegeben. Vorzugsweise erfolgt eine kombinierte Gesten- und Sprachbefehlserkennung mit anschließender Generierung des Steuerbefehls nur dann, falls die Geste und der Sprachbefehl innerhalb einer vorgegebenen Dauer erfasst werden. Demgegenüber offenbart der neue Anspruch 1 ein Verfahren und der neue Anspruch 10 eine Vorrichtung, bei dem die Geste eine Blickgeste und eine Zeigegeste umfasst, wobei ein Bereich bei Übereinstimmung der Blickrichtung und Zeigerrichtung als ausgewählt bestimmt wird.
Nachteil des genannten Standes der Technik ist, dass unpräzise Gesten in Verbindung mit der Sprachbedienung zu Fehlfunktionen führen können.
Aufgabe der Erfindung ist es demgegenüber ein Verfahren und eine Vorrichtung bereitzustellen, welche eine zuverlässigere Bedienung des Assistenzsystems ermöglichen.
Die Aufgabe wird durch ein Verfahren zum Betreiben eines Assistenzsystems mit den Merkmalen des Anspruchs 1 sowie mit einem System gemäß Anspruch 10 gelöst. Die abhängigen Ansprüche definieren bevorzugte und vorteilhafte Ausführungsformen der vorliegenden Erfindung.
Bei dem Verfahren wird ein zeitlicher Abstand zwischen der Geste und der Spracheingabe ermittelt, ein Vergleich des zeitlichen Abstands mit einem vorgegebenen Zeitfenster durchgeführt und ein Steuerbefehl ausgegeben, falls der zeitliche Abstand innerhalb dem vorgegebenen Zeitfenster liegt.
Zur Bestimmung eines zeitlichen Abstandes werden ein Zeitpunkt der von dem Nutzer ausgeführten Geste und ein Zeitpunkt der vom Nutzer getätigten Spracheingabe herangezogen. Aus den Zeitpunkten der getätigten Geste und der Spracheingabe wird bestimmt, mit welchem zeitlichen Abstand Geste und Spracheingabe ausgeführt worden sind. Solange der zeitliche Abstand bzw. die Zeitpunkte innerhalb einem vorgegebenen Zeitfensters liegen, wird ein Steuerbefehl ausgegeben, ansonsten erfolgt keine Reaktion des Assistenzsystems. Vorzugsweise werden entsprechende Zeitpunkte zur Bestimmung des zeitlichen Abstandes der Geste und der Spracheingabe in einer Speichereinheit abgespeichert, alternativ wird der Zeitpunkt des ersten Ereignisses von Geste oder Sprache abgespeichert, so dass der zeitliche Abstand relativ zu einem entsprechend späteren Ereignis von Sprache oder Geste bestimmt werden kann. Die Zeitpunkte beziehen sich auf eine der möglichen Zeitinformation der Geste und der Spracheingabe. Der zeitliche Abstand referenziert beispielsweise auf die Zeitinformation umfassend die Zeitpunkte einer gültigen Erkennung von Geste und der Spracheingabe. Unter Gesten sind grundsätzlich alle Arten von Gesten, insbesondere Handgesten oder Blickgesten zu verstehen. Im Rahmen vorliegender Anmeldung sind im Wesentlichen unter Handgesten Zeigegesten und unter Blickgesten Blickrichtungsgesten zu verstehen. Die gültige Erkennung der Spracheingabe ist durch ein natürlichsprachliches Verstehen und Erfassung des Inhaltes der Spracheingabe bestimmt. Die gültige Erkennung der Geste ist eine erfolgreiche Bestimmung des Bereichs im Fahrzeug, auf den die Geste gerichtet ist. Alternativ wird bei der Bestimmung des zeitlichen Abstands auf einen Startpunkt oder einen Endpunkt der Spracheingabe und einen Startpunkt oder einen Endpunkt der Geste referenziert. Der Zeitabstand von Geste und Spracheingabe wird damit beispielsweise bestimmt aus einem Startpunkt der Geste und einem Endpunkt der Spracheingabe oder aus dem Zeitpunkt der gültigen Erkennung der Geste und dem Zeitpunkt der gültigen Erkennung der Spracheingabe oder aus dem Endpunkt der Geste und dem Zeitpunkt der gültigen Erkennung der Spracheingabe. Prinzipiell kann ein Zeitabstand zwischen Geste und Spracheingabe je nach Anwendungsfall aus einer der genannten Zeitinformation der Geste d.h. dem Gestenstartpunkt, dem Gestenendpunkt oder dem Zeitpunkt der gültigen Gestenerkennung und einer der genannten Zeitinformation der Spracheingabe, d.h. dem Startpunkt der Spracheingabe, dem Endpunkt der Spracheingabe oder dem Zeitpunkt der gültigen Erkennung der Spracheingabe ermittelt werden. Die Ausführung der Geste und die Spracheingabe können durch einen Fahrer, einen Beifahrer oder Fondspassagiere in einem Fahrzeug erfolgen. Weiter kann auch eine Geste und Spracheingabe außerhalb eines Fahrzeuges zur Steuerung eines Einpark- oder Rangiervorganges verwendet werden. Eine auf ein Fahrzeug gerichtete Geste und ein Sprachbefehl sind beispielsweise zum Stoppen oder Bewegen des Fahrzeuges nutzbar.
Ein Bereich eines Fahrzeugs umfasst ein oder mehrere Elemente. Der Bereich kann damit beispielsweise ein Schalter oder eine Schaltfläche mit mehreren Schaltern, ein einzelnes Anzeigeelement oder ein Cockpit mit mehreren Anzeigeelementen aufweisen. Je nach Genauigkeit der ausgeführten Geste, Einsehbarkeit des Bereichs und Auflösung der Kamera sind mit einer Geste einzelne oder mehrere Elemente aufweisende Bereiche auswählbar. Die Elemente umfassen beispielsweise Schalter, Taster, Bedienhebel, Anzeigeleuchten, Anzeigesymbole auf Displays oder akustische Ausgabequellen. Das Spracherkennungssystem wird dabei entweder mit einem durch den Nutzer geäußerten Schlüsselwort oder durch eine Geste, die für eine vorgegebene Verweildauer auf ein Bereich zeigt, aktiviert. In vorteilhafter Weise ermöglicht das Verfahren eine Geste auf einen Bereich zu richten, anschließend die Geste abzuwenden und erst nachfolgend mittels einer Spracheingabe eine Frage zu dem bestimmten Bereich zu stellen, auf den die Geste gerichtet war.
Erfindungsgemäß wird der Bereich bei Übereinstimmung der Blickrichtung und Zeigerrichtung als ausgewählt bestimmt. Bei dem Verfahren wird sowohl der Bereich, auf den die Blickgeste gerichtet ist als auch der Bereich auf den die Zeigegeste gerichtet ist, bestimmt. Hierbei wird Blick- als auch die Zeigegeste erkannt und ein Bereich bestimmt, auf den die Ausrichtung der Blick- und Zeigegeste gerichtet ist. Das Verfahren ermöglicht dann eine zuverlässigere Bestimmung des durch den Nutzer ausgewählten Bereichs. In einer Weiterbildung des Verfahrens wird ein Steuerbefehl erst dann ausgegeben, wenn die Spracheingabe im Kontext zu dem bestimmten Bereich im Fahrzeug steht. Ist beispielsweise der bestimmte Bereich eine Anzeigeleuchte, dann steht eine Frage zur Funktion einer Anzeigeleuchte im Kontext zu dem bestimmten Bereich. Ist ein bestimmter Bereich bekannt so werden die gängigsten Benennungen oder Bezeichnungen für den Bereich bestimmt. Wird in der Spracheingabe eine dieser Benennungen erkannt, so wird von einem Kontext zu dem bestimmten Bereich zu der Spracheingabe ausgegangen. Ist der Spracheingabe kein Bezug zu dem durch eine Gestenerkennungseinrichtung bestimmten Bereich zuordenbar, beispielsweise eine Frage nach einer Telefonnummer, dann wird kein Steuerbefehl ausgegeben. In vorteilhafter Weise kann damit gewährleistet werden, dass der ausgegebene Steuerbefehl mit hoher Treffsicherheit eine vom Nutzer erwartete Reaktion des Fahrzeugs veranlasst.
In einer weiteren bevorzugten Ausführungsform wird bei einer Geste, die auf einen mehrere Elemente umfassenden Bereich gerichtet ist, ein Steuerbefehl ausgegeben, der an einen Nutzer eine Aufforderung veranlasst. Die Aufforderung informiert den Nutzer, dass eines der mehreren Elemente genauer zu präzisieren ist. Mehrere Elemente umfassende Bereiche sind beispielsweise Schaltertafeln, Bildschirme oder eine Mittelkonsole. Die Aufforderung erfolgt beispielsweise durch eine Sprachausgabe oder eine Anzeige, die Präzisierung kann durch einen genauere Zeige- oder Blickgeste oder eine Spracheingabe erfolgen. In vorteilhafter Weise ermöglicht das Verfahren bei Gesten, die auf einen mehrere Elemente umfassenden Bereich gerichtet sind, durch zusätzliche Eingaben einzelne Elemente iterativ zu bestimmen.
In einer alternativen Ausführungsform ist der Bereich, auf den die Geste gerichtet, ein Anzeigebereich. Eine Ausgabe eines Steuerbefehls wird erst dann ausgegeben, wenn ein Anzeigeereignis in dem Anzeigebereich zeitgleich mit der Geste und/oder der Spracheingabe ansteht. Der Anzeigebereich umfasst beispielsweise ein Leuchtelement oder ein Display zur Anzeige von Icons. Neben dem Zeitpunkt der Geste und/oder der Spracheingabe werden Zeitinformationen gespeichert, die Anfang- und Endpunkt des Anzeigeereignisses wiedergeben. Der Zeitpunkt der Geste entspricht dabei einer erfolgreichen Bestimmung des Bereichs im Fahrzeug, auf den die Geste gerichtet ist oder alternativ einem Start-oder Endpunkt der Geste. Der Zeitpunkt der Spracheingabe ist entweder durch die Erkennung einer gültigen Erkennung Spracheingabe bestimmt oder alternativ durch ein Start- oder Endpunkt der Spracheingabe. Das Anzeigeereignis umfasst beispielsweise das Aufleuchten eines Leuchtelements oder eines Icons. Anhand der Zeitinformationen des Anzeigeereignisses kann überprüft werden, ob das Anzeigeereignis in dem Anzeigebereich zeitgleich mit der Geste und/oder der Spracheingabe ansteht. Erfolgt das Anzeigeereignis zeitgleich mit der Geste und/oder der Spracheingabe ist von einer Kausalität des Anzeigeereignisses mit der Geste und/oder der Spracheingabe auszugehen. In vorteilhafter Weise vermindert die zeitliche Betrachtung des Anzeigeereignisses in Bezug auf die Geste oder Spracheingabe die Ausgabe eines falschen Steuerbefehls. In einer alternativen Ausführungsform kann das Anzeigeereignis eine akustische Warnmeldung sein, beispielsweise ein Piepton.
In einer weiteren Abwandlung des Verfahrens wird ein Steuerbefehl auch ausgegeben, wenn das Anzeigeereignis zum Zeitpunkt der Geste und/oder der Spracheingabe bereits abgeschlossen ist. Beispielsweise leuchtet eine Anzeigeleuchte eines Fahrdynamiksystems während eines kurzen Eingriffs kurz auf und geht danach wieder aus. Im Anschluss stellt ein Fahrzeuginsasse eine Frage nach der Bedeutung der Anzeigeleuchte. Sofern vorgegebene Bedingungen erfüllt sind, wird ein Steuerbefehl ausgegeben, der zur Beantwortung der Frage führt. Der Steuerbefehl wird unter der Bedingung ausgegeben, dass der zeitliche Abstand von dem Anzeigeereignis zu der Geste und/oder der Spracheingabe innerhalb einem weiteren vorgegebenen Zeitfenster erfolgt. Liegt beispielsweise der Abstand zwischen dem Endzeitpunkt des Anzeigeereignisses und dem Zeitpunkt der Erkennung der Geste innerhalb dem weiteren vorgegebenen Zeitfenster und liegt beispielsweise der Abstand zwischen dem Zeitpunkt der Erkennung der Geste und dem Zeitpunkt der Spracheingabe in dem vorgegebenen Zeitfenster, nur dann wird ein Steuerbefehl ausgegeben.
In einem weitergebildeten Verfahren wird ein Spracherkennungssystem zur Erkennung und Auswertung einer Spracheingabe eines Nutzers aktiviert, sobald die Geste eine vorgebbare Zeitdauer auf den bestimmten Bereich gerichtet ist. Der aktivierte Zustand des Spracherkennungssystems wird dabei durch eine entsprechende Symbolik, beispielsweise durch ein Mikrofonsymbol angezeigt. In vorteilhafter Weise ist für ein Nutzer die Bedienung des Assistenzsystems erleichtert, da eine Aktivierung durch ein vorgegebenes Schlüsselwort oder durch ein manuelles Einschalten über ein Schaltelement entfällt.
In einer modifizierten Ausführungsform wird durch den Steuerbefehl ein Aktor aktiviert. Der Aktor verstellt beispielsweise ein Spiegel, eine Lüftungseinrichtung, ein Ablagefach oder ein Lenkrad. In vorteilhafter Weise sind mittels den Aktoren Fahrzeugkomponenten berührungslos einstellbar, wobei gegenüber einer konventionellen Handbetätigung eine sehr geringe Ablenkung vom Verkehrsgeschehen ermöglicht ist.
In weiterer Ausgestaltung des Verfahrens wird durch den Steuerbefehl eine Sprachausgabe oder eine Anzeige aktiviert. Die Sprachausgabe oder die Anzeige ermöglicht neben einer Information an den Nutzer die Eröffnung eines Dialoges mit dem Nutzer.
In einem weiteren Ausführungsbeispiel wird die Sprachausgabe oder die Anzeige in Abhängigkeit von Ausstattungsvarianten ausgegeben. Der Nutzer zeigt beispielsweise auf ein Bereich, wobei je nach Ausstattung in dem Bereich verschiedene Schalterelemente oder verschiedene leuchtende Anzeigeelemente angeordnet sind. In vorteilhafter Weise gibt die Sprachausgabe oder Anzeige aus, dass bei einem verbauten System X der Schalter die Funktion a und bei einem verbauten System Y der Schalter die Funktion b aufweist.
In einem weiteren Ausführungsbeispiel wird eine Bestimmung des Bereichs im Fahrzeug, auf den die Geste gerichtet ist, nur durchgeführt, wenn die Geste eine Mindestzeitdauer auf den Bereich gerichtet ist. Durch die Vorgabe einer Mindestzeitdauer wird vermieden, dass ein Bereich im Fahrzeug bestimmt wird, auf den ein Nutzer unabsichtlich eine Geste gerichtet hat.
In einer weiteren Ausführungsform wird die Blickgeste aus der Kopfhaltung ermittelt. Mit anderen Worten wird aus der Kopfhaltung ermittelt, in welche Richtung der Nutzer seinen Blick richtet. Die Art der Blickrichtungsermittlung ermöglicht beispielsweise einer treffsicheren Unterscheidung, ob der Nutzer seinen Blick auf ein Kombiinstrument oder eine Headunit richtet. Das Verfahren der Blickrichtungsbestimmung über die Kopfhaltung ist sehr robust und arbeitet selbst bei einem eine Sonnenbrille tragenden Nutzer zuverlässig.
In einer Weiterbildung des Verfahrens ist die Größe des vorgegebenen Zeitfensters abhängig von einer Fahrsituation. In einer Fahrsituation, die eine hohe Konzentration des Fahrers auf die Verkehrssituation erfordert, beispielsweise bei hohen Geschwindigkeiten oder bei einem kurvigen Straßenverlauf, kann das Zeitfenster oder das weitere Zeitfenster gegenüber einer Fahrsituation, die eine geringe Aufmerksamkeit des Fahrers erfordert, beispielsweise bei einem teilautonomen Betrieb oder bei einer verkehrsarmen Autobahnfahrt unterschiedlich ausgelegt werden. Ist eine hohe Konzentration auf den Verkehr erforderlich, wird beispielsweise ein größeres Zeitfenster zugestanden als bei einem autonomen Fahrbetrieb.
Das erfindungsgemäße Assistenzsystem weist eine Recheneinheit auf, die einen zeitlichen Abstand zwischen der Geste und der Spracheingabe ermittelt, den zeitlichen Abstand mit einem vorgegebenen Zeitfenster vergleicht und den Steuerbefehl dann ausgibt, falls der zeitliche Abstand der Geste und der Spracheingabe innerhalb dem vorgegebenen Zeitfenster liegt. Die Geste umfasst hierbei eine Blickrichtung und Zeigerichtung, wobei die Gestenerkennungseinrichtung den Bereich bei Übereinstimmung der Blickrichtung und Zeigerrichtung als ausgewählt bestimmt. Die Recheneinheit ist ein Prozessor mit zugeordneten Speichereinheiten zur Speicherung von Zeitinformationen der Geste, d.h. zur Speicherung eines Start- oder Endpunkts oder des Zeitpunkts einer gültigen Erkennung. Weiter speichert die Recheneinheit Zeitinformationen der Spracheingabe, d.h. den Zeitpunkt einer gültigen Erkennung der Spracheingabe oder den Start-und/oder Endzeitpunkt der Spracheingabe. Der Prozessor ist ausgelegt mittels den gespeicherten Zeitinformationen einen zeitlichen Abstand zwischen Geste und Spracheingabe zu ermitteln, diesen mit einem vorgegebenen Zeitfenster zu vergleichen und nur für den Fall, dass der zeitliche Abstand innerhalb des vorgegebenen Zeitfensters liegt, einen Steuerbefehl auszugeben.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der Ausführungsbeispiele im Einzelnen beschrieben sind. Beschriebene und/oder bildlich dargestellte Merkmale können für sich oder in beliebiger, sinnvoller Kombination den Gegenstand der Erfindung bilden, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegenstand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
Dabei zeigen:

1 eine schematische Darstellung eines Fahrzeuginnenraums mit einem erfindungsgemäßen Assistenzsystem,
2 Ablaufdiagramm eines erfindungsgemäßen Verfahrens zum Betreiben des Assistenzsystems,
3 ein Ablaufdiagramm eines weiteren Ausführungsbeispiels des erfindungsgemäßen Verfahrens zum Betreiben des Assistenzsystems.

Die 1 zeigt ein Fahrzeuginnenraum mit einem erfindungsgemäßen Assistenzsystem und einem Fahrzeugnutzer 1. Das Assistenzsystem umfasst in vorliegender Ausführungsform eine Gestenerkennungseinrichtung 3, 5, die als Blickgestenerkennungseinrichtung 3 und als Handgestenerkennungseinrichtung 5 ausgeführt ist. In der Ausführungsform nach 1 ist sowohl eine Blickgestenerkennungseinrichtung 3 als auch eine Handgestenerkennungseinrichtung 5 verbaut, in einer alternativen Ausführungsform kann auch nur eine der beiden Gestenerkennungseinrichtungen 3, 5 verbaut sein.
Die Blickgestenerkennungseinrichtung 3 zur Erkennung einer Blickgeste 6 bzw. einer Blickrichtung des Fahrzeugnutzers 1 ist als Stereokamera ausgeführt, die Handgestenerkennungseinrichtung 5 zur Erkennung einer Zeigegeste 4 bzw. einer Zeigerichtung einer Hand ist als Time of Flight Kamera (ToF-Kamera) ausgeführt. ToF-Kameras sind 3D-Kamerasysteme, die mit dem Laufzeitverfahren Distanzen messen.
Das Assistenzsystem umfasst weiter ein Mikrophon 7, das mit einem Spracherkennungssystem 9 verbunden ist. Eine Spracheingabe 8 des Fahrzeugnutzers 1 wird durch das Mikrophon 7 aufgenommen und an das Sprachenerkennungssystem 9 zur Auswertung weiter geleitet. Das Spracherkennungssystem 9 arbeitet bevorzugt mit einem Natural Language Processing Verfahren (NLP) und ist dazu eingerichtet natürliche Sprachen zu erfassen.
Eine Recheneinheit 19 empfängt Daten von der Gestenerkennungseinrichtung 3, 5 von dem Spracherkennungssystem 9 und/oder zu Anzeigeereignissen im Fahrzeug. Die Daten zu Anzeigeereignissen umfassen neben dem Anzeigeereignis selbst den Ort und/oder Zeitinformationen des Ereignisses. Beispielsweise umfassen die Daten zu Anzeigeereignissen eine Information über ein Anschalten einer Warnlampe im Kombiinstrument 21 und zughörige Zeitinformationen des An- und Ausschaltzeitpunkts. Die Recheneinheit 19 wertet die empfangenen Daten aus und bestimmt ob die empfangenen Daten einen vorgegebenen zeitlichen Bezug aufweisen.
In einem ersten Fall kann entsprechend der Spracheingabe 8 eine Information zu dem durch die Zeige- oder Blickgeste 4, 6 bestimmten Bereich ausgegeben werden. Der Bereich kann dabei ein oder mehrere Elemente umfassen. Beispielsweise wird erkannt, dass der Nutzer 1 auf ein Schalter eine Zeigegeste 4 oder eine Blickgeste 6 richtet. Weiter wird die Frage natürlichsprachlich erkannt „wofür ist dieser Schalter“. Erfolgt die Erkennung des Schalters und die Spracheingabe in einem vorgegebenen Zeitfenster, so wird ein Steuerbefehl zur Ausgabe einer Antwort auf die im Kontext zu dem erkannten Bereich stehende Frage ausgegeben. Die von dem Steuerbefehl ausgelöste Antwort wird über Lautsprecher 13 oder einen Bildschirm beispielsweise der Headunit 15 ausgegeben.
Ist die Zeige- oder Blickgeste 4, 6 auf ein verstellbares Element gerichtet, kann eine im Kontext der Spracheingabe stehende Verstellung eines Aktors 17, beispielsweise zur Öffnung eines Handschuhfachs oder zur Verstellung eines Spiegels, durch den Steuerbefehl veranlasst werden.
Weiter ist die Recheneinheit 19 dazu eingerichtet zu ermitteln, ob die vom Spracherkennungssystem 9 erkannte Nutzereingabe logisch im Kontext zu dem anhand der Zeige- oder Blickgeste 4, 6 des Nutzers 1 bestimmten Bereich und zu Anzeigeereignissen im Fahrzeug passt.
Im Fall einer blinkenden Lampe zeigt der Nutzer auf die Lampe und fragt „was blinkt da“ oder „was hat da geblinkt“. Das Sprachsystem 9 erkennt anhand einer natürlichen Spracherkennung die Frage nach einem blinkenden Element und gibt diese an die Recheneinheit 19 weiter. Die Handgestenerkennungseinrichtung 5 bestimmt, auf welchen Bereich der Nutzer gezeigt hat und übermittelt diesen gleichfalls an die Recheneinheit 19. Vom Fahrzeug erhält die Recheneinheit 19 die Information über das Anzeigeereignis, dass im Zeitraum x eine Warnlampe geblinkt hat.
Der Recheneinheit 19 liegen somit nachfolgende Informationen vor:

- der Nutzer 1 hat auf die Lampe gezeigt,
- ein Anzeigeereignis einer blinkenden Lampe ist zeitgleich zum Zeigen erfolgt,
- der Kontext der Spracheingabe 8 bezieht sich auf eine blinkende Lampe,
- der zeitliche Abstand der Zeigegeste 7 und der Spracheingabe 8 liegen in dem vorgegebenen Zeitfenster.

Diese Informationen ermöglichen der Recheneinheit 19 mit hoher Zuverlässigkeit einen zu der Spracheingabe 8 passenden Steuerbefehl auszugeben. Der Steuerbefehl löst über ein Lautsprecher 13 und/oder eine Anzeigeeinheit wie beispielsweise einer Headunit 15 eine Informationsausgabe mit Erklärungen zu der blinkenden Lampe aus.
Die Recheneinheit 19, das Spracherkennungssystem 9, und/oder die Gestenerkennungseinrichtung 3,5 können dabei in einer Recheneinheit zusammen integriert sein.
Im Folgenden werden anhand der 2 und 3 die von dem Assistenzsystem ausführbaren Verfahrensschritte detailliert beschrieben.
Gemäß 2 wird in einem ersten Schritt S100 der Bereich bestimmt, auf den eine Zeige- oder Blickgeste gerichtet wird. Der Bereich kann dabei ein oder mehrere Elemente umfassen. Hierzu wird die Zeigerichtung oder die Blickrichtung ausgewertet und bestimmt, auf welche Koordinaten diese im Fahrzeug gerichtet sind. Anschließend wird bestimmt, welcher Bereich fahrzeugseitig in diesen Koordinaten angeordnet ist. Die Bestimmung der Zeige- bzw. Blickrichtung erfolgt mit einer Gesten- bzw. Blickrichtungskamera. Der bestimmte Bereich und der Zeitpunkt der gültigen Erkennung wird in einem Schritt S200 gespeichert. In einem Schritt S300 wird die Spracheingabe durch ein Spracherkennungssystem bestimmt und ausgewertet. Das Ergebnis der gültigen Erkennung der Spracheingabe und zugehöriger Zeitpunkt der Spracherkennung werden in einem Schritt S400 gespeichert. In einem Schritt S500a wird geprüft, ob der zeitliche Abstand zwischen dem in Schritt S200 gespeicherte Zeitpunkt der gültigen Erkennung der Zeige- oder Blickgeste und dem in Schritt S400 gespeicherten Zeitpunkt der gültigen Erkennung der Spracheingabe innerhalb dem vorgegeben Zeitfenster liegen. Liegt der zeitliche Abstand zwischen der Zeige- oder Blickgeste und der Sprecheingabe nicht in dem vorgegebenen Zeitfenster, so wird das Verfahren im Schritt S600 beendet.
In einem optionalen Verfahrensschritt S500b wird geprüft, ob das Ergebnis der Sprachauswertung im Kontext zu dem bestimmten Bereich steht. Ist beispielsweise kein Kontext erkennbar, wird das Verfahren im Schritt S600 beendet.
Liegt der zeitliche Abstand der gültigen Erkennung der Zeige- oder Blickgeste und der Spracheingabe in dem vorgegebenen Zeitfenster und steht gegebenenfalls das Ergebnis der Sprachauswertung im Kontext zu dem bestimmten Bereich, dann wird im Schritt S700 ein Steuerbefehl bestimmt. Der Steuerbefehl wird anhand dem Ergebnis der Sprachauswertung und dem durch die Zeige- oder Blickgeste bestimmten Bereich ermittelt. Beispielsweise eine Frage „was ist das für ein Schalter“ wird in den Kontext zu dem durch eine Zeige- oder Blickgeste bestimmten Schalter gesetzt und ein gespeicherter Steuerbefehl abgerufen oder generiert. Im Schritt S800 erfolgt eine durch den im Schritt 700 bestimmten Steuerbefehl veranlasste Ausgabe. Der Steuerbefehl veranlasst beispielsweise eine Antwort auf die Frage „was ist das für ein Schalter“ mit dem Inhalt „der Schalter ist zum Öffne- und Schließen des Schiebedachs“.
Das Spracherkennungssystem wird durch ein Schlüsselwort wie beispielsweise „hallo Auto“ aktiviert. Die Anzeige eines aktivierten Spracherkennungssystems erfolgt grafisch beispielsweise durch Einblendung eines Mikrofon-Icons. In einer alternativen Ausführungsform wird das Spracherkennungssystem aktiviert, sobald die Zeige- oder Blickgeste eine vorgebbare Zeitdauer auf den im Schritt S100 bestimmten Bereich gerichtet ist. Beispielsweise wird auf einem Bildschirm angezeigt „Alternative Route ist berechnet“. Zeigt oder schaut ein Nutzer auf den Bereich des Bildschirms für die vorgebbare Zeitdauer von beispielsweise 3s, dann wird auf dem Bildschirm das Mikrofon-Icon angezeigt und der Nutzer kann eine Spracheingabe tätigen. Der Nutzer richtet seinen Blick wieder auf die Straße und tätigt die Spracheingabe, beispielsweise „ja, zeige mir die Alternativroute“. Erfolgt die gültige Erkennung des Bildschirms als ausgewählter Bereich und die gültige Erkennung der Spracheingabe in einem vorgegebenen Zeitfenster, so wird in S700 ein Steuerbefehl ausgegeben, der nach S800 eine Anzeige der Alternativroute veranlasst. Zeigt oder richtet der Nutzer seinen Blick wieder für eine vorgegebene Zeitdauer auf den Bildschirm, dann erscheint wieder das Mikrofon-Icon und erneut kann eine Spracheingabe getätigt werden.
In einem weiteren Beispiel sind in einem Bereich je nach Ausstattungsvariante unterschiedliche Schalter eingebaut. Eine Frage im Kontext mit einer Blick- oder Zeigegeste, die sich beispielsweise auf einen Bereich der Mittelkonsole bezieht, wird durch Aufzeigen verschiedener Fälle beantwortet, beispielsweise „Wenn der Schalter ein „P“-Symbol aufweist, dann wird mit diesem die Parktronic für das automatisches Einparken aktiviert, wenn Ihr Fahrzeug eine Anhängerkupplung aufweist, können Sie durch Betätigung des Schalters diese aus- und einklappen".
In einem anderen Beispiel kann sich die Spracheingabe auf die Verstellung oder Bedienung eines erkannten Elements beziehen. Beispielsweise lautet eine Spracheausgabe „ausklappen“ und die Blick- oder Zeigegeste ist auf ein Fahrzeugaußenspiegel gerichtet. Die Prüfung im Schritt S500b ergibt, dass die Spracheingabe im Kontext zu dem erkannten Außenspiegel steht. Liegt der zeitliche Abstand zwischen der gültigen Spracheingabe und der Zeitpunkt der gültigen Erkennung des Außenspiegels gemäß Schritt S500a in dem vorgegebenen Zeitfenster, dann wird im Schritt S700 ein Steuerbefehl ausgegeben, der in Schritt S800 ein Ausklappen des Fahrzeugaußenspiegels veranlasst.
Als mögliche Ergänzung überwacht das Assistenzsystem, ob nach dem Ausklappen des Fahrzeugaußenspiegels und vor dem Anfahren ein entsprechender Kontrollblick in den Außenspiegel erfolgt ist. Gegebenenfalls gibt das Assistenzsystem bei Ausbleiben des Kontrollblicks eine Warnung aus. Weiter kann das Assistenzsystem feststellen, dass der Fahrer beispielsweise durch ständige Beobachtung des rückwärtigen Verkehrs im Außenspiegel eine Gefahrensituation sehr wohl schon selber erkannt haben müsste und dann eine Warnung ganz unterlässt oder in einer weniger eindringlichen Form darstellt.
Kann im Schritt S700 kein Steuerbefehl ermittelt werden, weil beispielsweise die erkannte Blick- oder Zeigegeste auf ein Bereich mit mehreren Elementen oder einen durch andere Bauteile abgedeckten Bereich gerichtet ist, dann erfolgt in einer weitergebildeten Ausführungsform im Schritt S900 die Ausgabe eines Steuerbefehls zur Auslösung einer Information und/oder Aufforderung an den Nutzer, erneut mit dem Assistenzsystem in Interaktion zu treten und eines der mehreren Elemente durch weitere Eingaben zu präzisieren. Die Präzisierung erfolgt über eine weitere Nutzereingabe. Im Schritt S1000 wird die weitere Nutzereingabe empfangen, im Schritt S1100 wird die weitere Nutzereingabe ausgewertet und im Schritt S700 wird ein Steuerbefehl anhand der weiteren Nutzereingabe aus Schritt S1000 bestimmt. Die Aufforderung an den Nutzer erneut mit dem Assistenzsystem in Interaktion zu treten kann durch Sprachausgabe, Anzeige und/oder haptische Rückmeldung erfolgen. Die weitere Nutzereingabe kann eine weitere Spracheingabe oder eine präzisierte Blick- oder Zeigegeste sein. Ist anhand der weiteren Nutzereingabe ein Steuerbefehl nun im Schritt S700 bestimmbar erfolgt im Schritt S800 eine Ausgabe. Ist der Steuerbefehl immer noch nicht bestimmbar, wird erneut im Schritt S900 die Ausgabe eines Steuerbefehls zur Auslösung einer Aufforderung an den Nutzer ausgegeben. Die Aufforderungen an den Nutzer werden solange gestellt, bis eine im Schritt S1000 eingegebene weitere Nutzereingabe ausreicht, um im Schritt S700 einen Steuerbefehl zu generieren. Wird innerhalb einer Zeitvorgabe im Schritt S1000 keine weitere Nutzereingabe empfangen, wird das Verfahren im Schritt S1200 abgebrochen.
Im Fall, dass beispielsweise eine Zeigegeste in einen Bereich gerichtet ist, der für die das Gestenerkennungseinrichtung nicht sichtbar ist (beispielsweise wegen Abdeckung durch die Lenksäule) oder aber dass die Kamera-Auflösung im Sichtfeld keine eindeutige Zuordnung der Zeigegeste zu genau einem Schalter erlaubt, ist das Assistenzsystem in der Lage, im Schritt S900 die in diesem Bereich befindlichen Bedienelemente sprachlich aufzulisten („Links neben der Lenksäule befindet sich der runde Dreh-Lichtschalter, darunter der Schalter zum Lösend der elektronischen Feststellbremse, noch weiter unten die Entriegelung der Motorhaube.“) und anschließend eine weitere, präzisierte Nutzereingabe anzufordern.
In 3 ist ein weiteres Verfahren zum Betreiben des Assistenzsystems dargestellt, das gegenüber dem aus 2 weitere Schritte aufweist. Analog dem Ausführungsbeispiel aus 2 wird im Schritt S100 der Bereich eines Anzeigeelementes, im Folgenden nur Anzeigeelement genannt, auf das eine Blick- oder Zeigegeste gerichtet, ist bestimmt. Das bestimmte Anzeigeelement und der Zeitpunkt der Bestimmung wird in einem Schritt S200 gespeichert. In einem Schritt S300 wird die Spracheingabe bestimmt und ausgewertet. Das Ergebnis der Sprachauswertung und der Zeitpunkt der gültigen Erkennung der Spracheingabe werden in Schritt S400 gespeichert. Im Schritt S150 wird bestimmt, welches Anzeigeereignis an dem bestimmten Anzeigeelement erfolgt, die Art des Anzeigeereignisses mit zugehörigen Zeitinformation wird im Schritt S250 gespeichert. Ein Anzeigeereignis ist beispielsweise ein Aufleuchten von einem Icon oder einer Warnlampe auf einem Display, die Zeitinformationen beinhalten Start- und Endzeitpunkt.
Im Schritt S500a wird überprüft, ob der Abstand zwischen dem in Schritt S200 gespeicherte Zeitpunkt der Bestimmung des Anzeigeelementes und dem in Schritt S400 gespeicherten Zeitpunkt der gültigen Erkennung der Spracheingabe innerhalb des vorgegeben Zeitfenster liegt und ob das Anzeigeereignis definiert durch den in S250 gespeicherten Start- und Endzeitpunkt zeitgleich mit dem in Schritt S200 gespeicherten Zeitpunkt oder dem in Schritt S400 gespeicherten Zeitpunkt ansteht.
Im Schritt S500b wird überprüft, ob eine Spracheingabe im Kontext steht mit einem Anzeigeereignis auf beispielsweise einem Bildschirm, auf das eine Blick- oder Zeigegeste gerichtet wurde oder wird.
Ergibt beispielsweise die Prüfung in Schritt S500a und S500b

- dass der Abstand zwischen dem in S200 und dem in S400 gespeicherten Zeitpunkt in dem vorgegebenen Zeitfenster liegen,
- dass das Anzeigeereignis zeitgleich mit dem in S200 oder S400 gespeicherten Zeitpunkt ansteht oder anders formuliert, dass die in S200 oder S400 gespeicherten Zeitpunkte zwischen Start- und Endzeitpunkt des Anzeigeereignisses liegen und
-dass der Nutzer eine inhaltliche zu dem Anzeigeereignis passende Frage gestellt hat, dann wird im Schritt S700 ein entsprechender Steuerbefehl bestimmt, der im Schritt S800 beispielsweise eine Ausgabe einer sprachlichen Antwort auf die Frage des Nutzers oder eine Herstellung einer Telefonverbindung veranlasst.

Ist der vorgegebene zeitliche Bezug nicht erfüllt oder steht die Frage in keinerlei Kontext zu dem Anzeigeereignis, dann wird das Verfahren im Schritt S600 beendet. Ist die Spracheingabe dem Kontext des Anzeigeereignisses grundsätzlich zuordenbar aber unklar oder ist die Blick- oder Zeigegeste nicht eindeutig einem Element zuordenbar, dann erfolgt eine Aufforderung zur weiteren Konkretisierung analog dem Verfahren aus 2 mit den Schritten S900 bis S1200.
Die Deaktivierung des Spracherkennungssystems kann automatisch, beispielsweise beim Ausbleiben weiterer Spracheingaben, oder durch eine gesonderte Quittierung erfolgen. Bei einer gesonderten Quittierung kann ein Nutzer beispielsweise gefragt werden „haben Sie die Antwort verstanden?“, wobei eine Antwort „ja“ den Sprachdialog beendet und das Sprachdialogsystem deaktiviert.
In einem nicht dargestellten weiteren Verfahren wird sowohl der Bereich, auf den die Blickgeste gerichtet ist als auch der Bereich auf den die Zeigegeste gerichtet ist, bestimmt. Erfahrungsgemäß ist davon auszugehen, dass ein Nutzer auch seinen Blick auf ein Bereich richtet, auf den er zeigt. In dem anhand 2 und 3 beschriebenen Verfahren wird im Schritt S100 dann zusätzlich geprüft, ob die anhand der Blickgeste und der Zeigegeste bestimmten Bereiche übereinstimmen, wobei der Bereich im Schritt S200 nur bei Übereinstimmung gespeichert wird. Das Verfahren ermöglicht dann eine zuverlässigere Bestimmung des durch den Nutzer ausgewählten Bereichs.
Die vorgeschlagenen Verfahren ermöglicht durch Koordinierung von Anzeige, Zeigegeste, Blickgeste und/oder Sprache einem Nutzer eine zutreffende Rückmeldung auf seine Eingabe zu liefern.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion, Reihenfolge oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.

Claims

Verfahren zum Betreiben eines Assistenzsystems eines Fahrzeugs aufweisend die folgenden Schritte: - Bestimmung eines Bereichs (S100) im Fahrzeug, auf den eine Geste gerichtet ist, - Erkennung und Auswertung einer Spracheingabe (S300) eines Nutzers, - Bestimmung eines Steuerbefehls (S700) in Bezug auf den bestimmten Bereich und reaktiv auf die Spracheingabe, - Ermittlung eines zeitlichen Abstands zwischen der Geste und der Spracheingabe, - Vergleich (500a) des zeitlichen Abstands mit einem vorgegebenen Zeitfenster und - Ausgabe des Steuerbefehls (S800, S900), falls der zeitliche Abstand innerhalb dem vorgegebenen Zeitfenster liegt, dadurch gekennzeichnet, dass die Geste eine Blickgeste und eine Zeigegeste umfasst, wobei der Bereich bei Übereinstimmung der Blickrichtung und Zeigerrichtung als ausgewählt bestimmt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Steuerbefehl erst dann ausgegeben (S800, S900) wird, wenn die Spracheingabe im Kontext (S500b) zu dem bestimmten Bereich im Fahrzeug steht.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass bei einer auf einen mehrere Elemente umfassenden Bereich gerichteten Geste wird ein Steuerbefehl ausgegeben (S900), der an einen Nutzer eine Aufforderung veranlasst, eines der mehreren Elemente durch weitere Eingaben zu präzisieren.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der bestimmte Bereich im Fahrzeug ein Anzeigebereich ist, wobei ein Steuerbefehl erst dann ausgegeben (S800, S900) wird, wenn ein Anzeigeereignis in dem Anzeigebereich zeitgleich mit der Geste und/oder der Spracheingabe ansteht.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der bestimmte Bereich im Fahrzeug ein Anzeigebereich ist, wobei ein Steuerbefehl bei einem bereits abgeschlossenen Anzeigeereignis ausgegeben (S800, S900) wird, wenn der zeitliche Abstand vom Endzeitpunkt des Anzeigeereignisses und dem Zeitpunkt der Erkennung der Geste und/oder der Spracheingabe innerhalb einem weiteren vorgegebenen Zeitfenster erfolgt.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass ein Spracherkennungssystem zur Erkennung und Auswertung einer Spracheingabe eines Nutzers aktiviert wird, sobald die Geste eine vorgebbare Zeitdauer auf den bestimmten Bereich gerichtet ist.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass durch den Steuerbefehl ein Aktor, eine Sprachausgabe oder eine Anzeige aktiviert wird.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Blickgeste aus der Kopfhaltung ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass das vorgegebene Zeitfenster in Abhängigkeit einer Fahrsituation bestimmt wird.
Assistenzsystem für einen Kraftwagen insbesondere ausgebildet zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 9, umfassend: -eine Gestenerkennungseinrichtung (3, 5), zur Erkennung einer Geste (4, 6) und zur Bestimmung eines Bereichs (15, 21) auf den die Geste (4, 6) gerichtet ist, -ein Spracherkennungssystem (9) zur Erkennung und Auswertung einer Spracheingabe (8) eines Nutzers und -eine Recheneinheit (19), die in Bezug auf den bestimmten Bereich (15, 21) reaktiv auf die erkannte Spracheeingabe (8) ein Steuerbefehl ausgibt, die Recheneinheit (19) einen zeitlichen Abstand zwischen der Geste und der Spracheingabe ermittelt, den zeitlichen Abstands mit einem vorgegebenen Zeitfenster vergleicht und den Steuerbefehl dann ausgibt, falls der zeitliche Abstand der Geste (4, 6) und der Spracheingabe (8) innerhalb dem vorgegebenen Zeitfenster liegt, dadurch gekennzeichnet, dass die Geste eine Blickrichtung und Zeigerichtung umfasst, wobei die Gestenerkennungseinrichtung (3, 5) den Bereich (15, 21) bei Übereinstimmung der Blickrichtung und Zeigerrichtung als ausgewählt bestimmt.