-
Die vorliegende Erfindung betrifft eine Vorrichtung, ein Fortbewegungsmittel sowie ein Verfahren zur Aktivierung einer Empfangsfunktion eines Assistentensystems in einem Fortbewegungsmittel. Insbesondere betrifft die vorliegende Erfindung eine besonders anwenderfreundliche, intuitive und den Anwender wenig von seiner Fahraufgabe ablenkende Aktivierung eines Assistentensystems.
-
Im Stand der Technik sind intelligente persönliche Assistenten (englisch: „intelligent personal assistant, IPA“) wie z.B. „Siri“ (der Fa. Apple), „Google Now“ (der Fa. Google), „Cortana“ (der Fa. Microsoft) sowie die Spracheingabe der Fa. BMW bekannt. Die Kontaktaufnahme eines Anwenders mit einem solchen Assistentensystem erfolgt nach derzeitigem Stand der Technik entweder über die Betätigung eines speziell hierfür vorgesehenen Bedienelements (z.B. Drücken des Home-Buttons eines Smartphones bzw. Drücken einer Taste am Lenkrad eines mit dem Smartphone verbundenen Fortbewegungsmittels) oder über die Nennung des Namens des Assistentensystems (z.B. „Hallo Siri“, „Hey Siri“ o.ä.). Während die Betätigung einer Taste den Anwender zwingt, eine natürliche Handhaltung während der Handhabung des Fortbewegungsmittels aufzugeben, ist eine akustische Aktivierung über vordefinierte Sprachbefehle den bekannten Einschränkungen bezüglich Hintergrundgeräuschen in der Fahrgastzelle sowie Störpotential für Mitreisende unterlegen.
-
Aus der aktuellen Anzeige-Bedienkonzept-Entwicklung sind Systeme bekannt, die es ermöglichen, per Blicksteuerung beispielsweise durch eine Menüstruktur zu navigieren. Hierzu wird bzw. werden im Fahrzeug eine Kamera oder mehrere Kameras verbaut, die über einen Rechner mittels Bildverarbeitungsalgorithmen in der Lage sind, die aktuelle Blickrichtung des Fahrers über eine Erkennung der Kopfdrehung oder in einer erweiterten Form sogar eine Ausrichtung der Pupillen zu bestimmen.
-
DE 10 2013 001 383 A1 offenbart ein Verfahren und ein System zu Betreiben eines Heckscheibenwischers eines Kraftwagens. Hierbei wird eine vordefinierte Blickrichtung des Anwenders (z.B. ein Bereich um einen Rückspiegel) ermittelt und im Ansprechen darauf wenigstens einmal der Heckscheibenwischer automatisch betätigt.
-
DE 10 2013 015 204 A1 und
DE 10 2007 049 710 A1 offenbaren kamerabasierte Systeme zur Interaktion eines Anwenders mit einem Fortbewegungsmittel über Blickkontakt mit einer Anzeigeeinrichtung (z.B. ein Head-Up-Display).
-
Ausgehend vom vorgenannten Stand der Technik ist es eine Aufgabe der vorliegenden Erfindung, die Interaktion zwischen einem Fahrer eines Fortbewegungsmittels und dem Fortbewegungsmittel einfacher, intuitiver und sicherer zu gestalten.
-
Die vorstehend genannte Aufgabe wird erfindungsgemäß durch ein Verfahren zur Aktivierung einer Empfangsfunktion eines Assistentensystems in einem Fortbewegungsmittel gelöst. Die Empfangsfunktion kann derart verstanden werden, dass vom Anwender auralisierte Äußerungen durch das Assistentensystem interpretiert und insbesondere möglichst zeitnah zum Auslösen einer Funktion verwendet werden. Das Fortbewegungsmittel kann ein PKW, ein Transporter, ein LKW, ein Motorrad, ein Luft- und/oder Wasserfahrzeug sein. Zunächst wird eine vordefinierte Blickrichtung eines Insassen des Fortbewegungsmittels ermittelt. Mit anderen Worten wird erkannt, dass der Insasse in eine vordefinierte Richtung blickt bzw. eine vordefinierte Position fokussiert. Im Ansprechen darauf wird die Empfangsfunktion des Assistentensystems automatisch aktiviert. Als Assistentensystem wird im Rahmen der vorliegenden Erfindung ein intelligenter persönlicher Assistent (z.B. wie oben beschrieben) verstanden. Insbesondere kann hierbei eine Untersuchung der akustischen Äußerungen des Anwenders gestartet werden. Bevorzugt wird eine Funktion rechnergestützt und insbesondere ohne Zwischenschaltung menschlicher Geistestätigkeit ausgelöst. Gegenüber im Stand der Technik stets erforderlichen Betätigungen von Schalteinrichtungen bzw. Aussprechen vordefinierter Sprachbefehle durch den Anwender kann der Anwender seine Hände unverändert am Lenkrad bzw. an anderen Bedieneinrichtungen des Fortbewegungsmittels belassen und ist nicht angehalten, eine vordefinierte akustische Äußerung zum Starten der Empfangsfunktion vorzunehmen. Während die vorliegende Erfindung nicht ausschließt, dass das Assistentensystem bereits vor dem erfindungsgemäßen Aktivieren eine Untersuchung/Interpretation der gesprochenen Sprache in der Fahrgastzelle unternimmt, ist die erfindungsgemäße Aktivierung der Empfangsfunktion derart zu verstehen, dass der Anwender eine kurzfristige Reaktion des Systems aktiv provoziert. Mit anderen Worten werden nicht lediglich zur Ermittlung eines etwaig zu einem späteren Zeitpunkt relevanten Kontextes fortwährend Gespräche in der Fahrgastzelle des Fortbewegungsmittels analysiert, sondern die im Ansprechen auf das Aktivieren der Empfangsfunktion auralisierte Anweisung enthält einen abgeschlossenen Befehl, welcher sich (zur unverzüglichen Ausführung) an das Assistentensystem richtet. Im Ergebnis kann eine verbesserte Mensch-Maschine-Kommunikation bzw. eine verbesserte Anbindung externer mobiler Anwenderendgeräte (z.B. Smartphones) erzielt werden.
-
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
-
Bevorzugt wird im Anschluss an das Aktivieren der Empfangsfunktion des Assistentensystems eine Spracheingabe des Anwenders durch das Assistentensystem empfangen und interpretiert. Hierbei ist es unerheblich, ob der Empfang und die Interpretation mittels einer Hardware eines mobilen Anwenderendgerätes und/oder mittels des Fortbewegungsmittels erfolgt. Anschließend erfolgt die Ausführung einer der Spracheingabe entsprechenden Funktion durch das Fortbewegungsmittel bzw. das verwendete Anwenderendgerät. Mit anderen Worten werden vom Assistentensystem ermittelte Befehle schnellstmöglich ausgeführt.
-
Wie oben angesprochen, können zur Verbesserung einer Interpretation der Spracheingabe frühzeitig fortwährend Inhalte eines Gespräches in der Fahrgastzelle des Fortbewegungsmittels interpretiert werden. Dies kann insbesondere bereits vor dem Aktivieren der Empfangsfunktion des Assistentensystems erfolgen. Beispielsweise können auf diese Weise Informationen bevorratet werden, welche die Interpretation eines nach dem Aktivieren der Empfangsfunktion empfangenen Befehls erleichtert bzw. präzise ermöglicht. Daher werden anschließend die Inhalte des Gespräches bei der Interpretation der Spracheingabe berücksichtigt. Beispielsweise kann ein solcher Kontext ermittelt werden, dass der in der Spracheingabe ermittelte Befehl (z.B. in Ermangelung eines Objektes bzw. hinreichend exakt definierter Umstände) konkreter interpretiert werden kann. Dies vermeidet eine Rückfrage des Assistentensystems, durch welche der Anwender von der Wahrnehmung seiner Fahraufgabe abgelenkt werden könnte.
-
Die Blickrichtung, welche der Insasse zur Aktivierung der Empfangsfunktion einnehmen muss, kann bevorzugt durch den Anwender konfiguriert werden. Hierzu empfängt eine Anwenderschnittstelle in einem Konfigurationsmodus eine Definition der Blickrichtung bzw. eines zu fokussierenden Oberflächenbereiches im/am Fahrzeug. Anschließend wird für die zukünftige Aktivierung der Empfangsfunktion des Assistentensystems die aktuelle Blickrichtung des Insassen daraufhin überprüft, ob sie mit der vordefinierten Blickrichtung übereinstimmt. Dies ermöglicht eine besonders anwenderfreundliche und intuitive Aktivierung der Empfangsfunktion durch den Anwender.
-
Die Blickrichtung kann – wie oben beschrieben – durch ein Fokussieren einer vordefinierten Position im/am Fortbewegungsmittel gekennzeichnet sein. Eine die Blickrichtung vordefinierende Position kann beispielsweise durch Darstellen eines vordefinierten Icons/Sinnbildes auf einer grafischen Anwenderschnittstelle einer Anzeigeeinrichtung (z.B. Kombiinstrument, zentrales Informationsdisplay, Head-Up-Display, o.ä.) gekennzeichnet bzw. hervorgehoben werden. Alternativ oder zusätzlich kann eine dauerhafte optische Markierung im oder am Fortbewegungsmittel die Position vordefinieren. Beispielsweise kann auch eine aktuelle Position des vom Anwender mitgeführten Smartphones, welche innerhalb des Fortbewegungsmittels vergleichsweise variabel ist, als vordefinierte Position im Sinne der vorliegenden Erfindung verwendet werden. Besonders intuitiv und markenprägend kann ein im Innenraum des Fortbewegungsmittels angeordnetes Logo des Herstellers bzw. ein Markenzeichen die vordefinierte Position bestimmen. Fokussiert der Anwender die Marke/das Logo, wird die Empfangsfunktion des Assistentensystems aktiviert.
-
Die tatsächliche Aktivierung der Empfangsfunktion kann voraussetzen, dass der Anwender die vordefinierte Blickrichtung für eine gewisse Mindestdauer beibehält. Alternativ oder zusätzlich kann vorgesehen sein, dass der Anwender die vordefinierte Blickrichtung quittiert (z.B. blinzelt, nickt oder eine ähnliche sensorisch erfassbare Eingabe ausführt).
-
Eine mittels des Assistentensystems aufzurufende Funktion kann eine Funktion des Fortbewegungsmittels selbst sein. Beispielsweise kann die Aktivierung einer Funktion des Entertainmentsystems und/oder eines Fahrerassistenzsystems vorgenommen werden. Alternativ oder zusätzlich kann eine Funktion eines mobilen Anwenderendgerätes des Insassen (Smartphone, Tablet, o.ä.) durch das erfindungsgemäße Verfahren aktiviert werden.
-
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird eine Vorrichtung zur Aktivierung einer Empfangsfunktion eines Assistentensystems in einem Fortbewegungsmittel vorgeschlagen. Die Vorrichtung umfasst einen Blickrichtungssensor, welcher beispielsweise als optischer Sensor im Innenraum des Fortbewegungsmittels angeordnet sein kann bzw. zur Anordnung innerhalb des Fortbewegungsmittels vorgesehen und eingerichtet ist. Eine Auswerteeinheit (beispielsweise ein elektronisches Steuergerät, ein programmierbarer Prozessor o.ä.) ist eingerichtet, eine vordefinierte Blickrichtung eines Insassen des Fortbewegungsmittels zu ermitteln und im Ansprechen darauf die Empfangsfunktion des Assistentensystems automatisch zu aktivieren. Mit anderen Worten ist die erfindungsgemäße Vorrichtung eingerichtet, die Merkmale, Merkmalskombinationen und die sich aus diesen ergebenden Vorteile des erfindungsgemäßen Verfahrens in entsprechender Weise zu verwirklichen, weshalb zur Vermeidung von Wiederholungen auf die obigen Ausführungen verwiesen wird.
-
Gemäß einem dritten Aspekt der vorliegenden Erfindung wird ein Fortbewegungsmittel vorgeschlagen, welches eine Vorrichtung gemäß dem zweitgenannten Erfindungsaspekt aufweist. Auch die Merkmale, Merkmalskombinationen und Vorteile des erfindungsgemäßen Fortbewegungsmittels ergeben sich in entsprechender Weise.
-
Gemäß einem Aspekt der vorliegenden Erfindung wird dem Assistentensystem (IPA-System) virtuell ein fixer Punkt bzw. Bereich im Fortbewegungsmittel zugeordnet, so dass unterschieden werden kann, ob der Anwender derzeit eine Konversation mit einem weiteren Insassen führt (und dabei keinen Blickkontakt mit dem Assistentensystem sucht) und wann der Anwender eine Kommunikation mit dem Assistentensystem beabsichtigt, wobei er die Herstellung eines Blickkontaktes mit dem festgelegten Bereich zur Äußerung dieser Absicht fokussiert.
-
Die Erfindung ermöglicht es, ein Fahrzeug mit einem integrierten Assistentensystem über die Aufnahme von Blickkontakt mit einer vordefinierten Stelle im Fahrzeug über den Eingabewunsch des Anwenders bezüglich des Assistentensystems zu informieren. Hierdurch ergeben sich die folgenden Vorteile:
- – es wird eine intuitive Art, mit dem Assistentensystem zu interagieren bzw. dieses in ein Gespräch zwischen zwei oder mehr Personen im Fahrzeug natürlich einzubinden, geschaffen.
- – Insbesondere bei hochautomatisierten Fahrten, bei denen der Fahrer von der aktiven Fahraufgabe entbunden ist und sich der Interaktion mit anderen Insassen oder dem Assistentensystem widmen kann, ist die vorliegende Erfindung dem Anwenderkomfort und der Verkehrssicherheit zuträglich.
- – Die vorliegende Erfindung bedeutet einen Komfortgewinn, da zur Aktivierung des Systems weder eine Taste betätigt, noch eine vordefinierte Sprachäußerung (z.B. Name des Assistentensystems o.ä.) vorgenommen werden muss.
-
Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung und den Figuren. Es zeigen:
-
1 eine perspektivische Darstellung eines Fahrerarbeitsplatzes eines erfindungsgemäß ausgestalteten Fortbewegungsmittels gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
-
2 ein Flussdiagramm veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Aktivierung einer Empfangsfunktion eines Assistentensystems.
-
1 zeigt einen Fahrerarbeitsplatz eines PKWs 10 als Fortbewegungsmittel, wobei der PKW 10 über eine Innenraumkamera 2 als Blickrichtungssensor und eine informationstechnisch mit der Innenraumkamera 2 verbundene Auswerteeinheit in Form eines elektronischen Steuergerätes 4 verfügt. Das elektronische Steuergerät 4 ist zur Entgegennahme von Spracheingaben mit einem Innenraummikrofon 3 informationstechnisch verbunden. Das Innenraummikrofon 3 veranschaulichende Icons 8 werden auf einem Head-Up-Display 5 bzw. einem zentralen Informationsdisplay 9 dargestellt. Beim Fokussieren der Icons 8 oder des Herstellerlogos 7 am Lenkrad 6 ermittelt das elektronische Steuergerät 4 anhand der Bilder der Innenraumkamera 2, dass der Anwender 1 eine Empfangsfunktion eines Assistentensystems eines in der Mittelkonsole befindlichen Smartphones 11 als Drahtlos-Anwenderendgerät aktivieren möchte. Mit anderen Worten wünscht der Anwender 1 eine zeitlich darauffolgende, schnellstmögliche Reaktion des Assistentensystems auf seine Spracheingabe.
-
2 zeigt Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Aktivierung einer Empfangsfunktion eines Assistentensystems in einem Fortbewegungsmittel. Bereits vor einer erfindungsgemäßen Aktivierung einer Empfangsfunktion des Assistentensystems kann das Assistentensystem in Schritt 100 fortwährend Inhalte eines Gespräches in einer Fahrgastzelle des Fortbewegungsmittels interpretieren, um Kontextinformationen für ggf. zu einem späteren Zeitpunkt eingehende Befehle zu sammeln. In Schritt 200 wird das Fokussieren einer vordefinierten Position innerhalb des Fortbewegungsmittels durch den Insassen ermittelt. Dies erfolgt mittels einer Innenraumkamera, welche das Gesichtsfeld des Insassen erfasst. In Schritt 300 wird die Empfangsfunktion des Assistentensystems aktiviert. Mit anderen Worten wird sichergestellt, dass nachfolgende Befehle an das Assistentensystem schnellstmöglich interpretiert und ausgeführt werden. Insbesondere erfolgt eine für den Anwender erlebbare Rückmeldung des Assistentensystems, wenn der Anwender eine Spracheingabe vornimmt, welche in Schritt 400 empfangen und in Schritt 500 interpretiert wird. In Schritt 600 werden die Inhalte der fortwährend interpretierten Gespräche bei der Interpretation der Spracheingabe (des Sprachbefehls) berücksichtigt. In Schritt 700 wird eine der Spracheingabe entsprechende Funktion automatisch ausgeführt. Die Funktion kann eine Funktion des Fortbewegungsmittels sein. Alternativ oder zusätzlich kann die Funktion zu einem vom Anwender mitgeführten und informationstechnisch in das Fortbewegungsmittel-Bordnetz integrierten Anwenderendgerät gehören. In Schritt 800 wird zur Anpassung des Systems eine Anwendereingabe empfangen und einer zukünftigen Aktivierung der Empfangsfunktion zugeordnet. Mit anderen Worten konfiguriert der Anwender eine neue Blickrichtung bzw. eine neue zu fokussierende Position für die Aktivierung der Empfangsfunktion. In Schritt 900 wird die Blickrichtung des Insassen zur Aktivierung der Empfangsfunktion vordefiniert und abgespeichert. Fortwährend prüft das Fortbewegungsmittel-Bordnetz bzw. das Assistentensystem die Blickrichtung des Anwenders auf die neue Position und aktiviert die Empfangsfunktion, sobald die neue Position vom Anwender für eine vordefinierte Mindestdauer (> 0s, > 0,5s oder > 1s) fokussiert wird und/oder eine zusätzliche Quittierung der vordefinierten Blickrichtung durch den Anwender erfolgt.
-
Bezugszeichenliste
-
- 1
- Anwender
- 2
- Innenraumkamera
- 3
- Innenraummikrofon
- 4
- elektronisches Steuergerät
- 5
- Head-Up-Display
- 6
- Lenkrad
- 7
- Herstellerlogo
- 8
- Icon
- 9
- zentrales Informationsdisplay
- 10
- PKW
- 11
- Smartphone
- 100–900
- Verfahrensschritte
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102013001383 A1 [0004]
- DE 102013015204 A1 [0005]
- DE 102007049710 A1 [0005]
