-
ALLGEMEINER STAND DER TECHNIK
-
1. Technisches Gebiet
-
Die Erfindung betrifft ein gefühlsansprechendes Beratungssystem (EAS – Emotive Advisory System) zur Verwendung durch einen oder mehrere Insassen eines Kraftfahrzeugs.
-
2. Stand der Technik
-
Das Fahrzeugarmaturenbrett wird immer komplexer. Wenn neue Systeme hinzugefügt und existierende Systeme komplexer werden, besteht zusätzliche Konkurrenz um Platz auf dem Armaturenbrett und die Steuerelemente sind immer schwieriger zu verwenden. Neue Systeme umfassen Navigationssysteme, MP3-Player, freihändigen Mobilfunk und Satellitenradio; dagegen sind ältere Systeme, die komplexer werden, FM-AM-Radio, HVAC (Heizung, Ventilation und Klimaanlage), Fahrzeugbeleuchtung und Kraftübertragungs-Steuerelemente.
-
Es besteht zunehmend ein Trend weg von herkömmlichen Steuerelementen zu menschlichen Schnittstellen zur Verwaltung dieser Komplexität. Bei einem Ansatz werden mehrere Schnittstellen in einem Kraftfahrzeug in einem gefühlsansprechenden Beratungssystem (EAS) zu einer einzigen Schnittstelle konsolidiert.
-
Im Allgemeinen übermittelt das gefühlsansprechende Beratungssystem (EAS) für das Kraftfahrzeug Informationen gefühlsansprechend zu einem Insassen. Das System empfängt Eingaben, die einen Betriebszustand des Fahrzeugs angeben, transformiert die Eingaben in Daten, die einen simulierten emotionalen Zustand repräsentieren, und erzeugt Daten, die einen Avatar repräsentieren, der den simulierten emotionalen Zustand ausdrückt. Der Avatar kann angezeigt werden. Das System kann eine Anfrage von dem Insassen bezüglich des emotionalen Zustands des Avatars empfangen und auf die Anfrage reagieren. Ein beispielhaftes gefühlsansprechendes Beratungssystem und –verfahren werden in der
US-Pub. Nr. 2008/0269958 A1 beschrieben.
-
Systeme wie EAS können alle diese Steuerelemente zu einer einzigen Schnittstelle konsolidieren, die außerdem für die Insassen ansprechender ist und neue Aussichten für eine Fahrzeugpersönlichkeit eröffnet. Sprach-/Avatar-orientierte Systeme wie EAS weisen jedoch auch neue Anforderungen auf. Sie benötigen in das Fahrzeug eingebaute Mikrofone, die es ihnen erlauben, zu hören, was die Insassen in dem Fahrzeug sagen, und zu wissen, von wo aus sie sprechen; und Lautsprecher, die denselben Eindruck von Direktionalität wie ein menschlicher Sprecher geben.
-
Ein anderer Aspekt des Beschallungssystems ist die Erzeugung von Schall, der wie die Stimme eines Menschen scheint und mit der Position des Avatars mit Bezug auf Objekte in dem wiedergegebenen Raum, Emotion, Prosodie, Aussprache und Gestik vereinbar ist. Die Aufgabe des Beschallungssystems besteht darin, es so klingen zu lassen, als ob sich der Avatar tatsächlich in dem Fahrzeug befindet und zu den Insassen spricht. Hierdurch ermöglicht es, Dialog zu entwickeln, der annimmt, dass der Avatar menschlich ist, wodurch die Insassen den Avatar höflich behandeln und in einer natürlichen Sprache zu ihm sprechen. Dies vergrößert seinerseits die Erkennungsrate und hilft dabei, eine emotionale Bindung zwischen dem Avatar und den Fahrzeuginsassen zu entwickeln.
-
Das EAS muss außerdem mehrere Stimmen verwenden. Es ist für den Zuhörer hilfreich, wenn sich diese Stimmen an verschiedenen Orten in dem Fahrzeug befinden. Wenn zum Beispiel die Nachrichten gelesen werden, kann die Stimme nützlich sein, um die Nachrichten von dem Avatar zu entkörpern. Hintergrundinformationen finden sich in der
US-Pub. Nr. 2008/0269958 A1 .
-
Die
US-2009/0063154 A1 betrifft ein emotionsbasiertes Informationssystem für den Benutzer eines Kraftfahrzeugs mit einem Computer, der konfiguriert ist, Informationen zu empfangen, die eine emotionale Befindlichkeit des Benutzers erkennen lassen, sowie Informationen über einen Betriebszustand des Kraftfahrzeugs zu empfangen, um Daten zu generieren, die eine simulierte emotionale Befindlichkeit, basierend auf zumindest einem Teil der empfangenen Informationen, repräsentieren.
-
Die
DE 10345679 A1 betrifft eine Anordnung zur akustischen Navigation, wobei ein Navigationssystem vorgesehen ist, das über eine Positionsermittlungseinheit verfügt, Eingabemittel aufweist und einen Navigationsrechner umfasst, der eine Route von der augenblicklichen Position zur Zielposition unter Zuhilfenahme von in einer Datenbasis abgelegten Landkartendaten zu berechnen
-
KURZDARSTELLUNG
-
Bei einer Ausführungsform der Erfindung wird ein gefühlsansprechendes Beratungssystem zur Verwendung durch einen oder mehrere Insassen eines Kraftfahrzeugs bereitgestellt. Das System umfasst ein gerichtetes Lautsprecherarray und einen Computer. Der Computer ist dafür ausgelegt, Eingaben, die einen Betriebszustand des Fahrzeugs angeben, und Eingaben, die einen emotionalen Zustand eines Insassen angeben, zu empfangen. Der Computer ist ferner dafür ausgelegt Folgendes zu erzeugen: (i) Daten, die einen Avatar mit einem Aussehen repräsentieren, und (ii) Daten, die eine gesprochene Aussage für den Avatar mit mindestens einem Sprachcharakteristikum repräsentieren. Das Aussehen und das mindestens eine Sprachcharakteristikum übermitteln dem Insassen einen simulierten emotionalen Zustand des Avatars. Der simulierte emotionale Zustand richtet sich nach dem Betriebszustand des Fahrzeugs und/oder dem emotionalen Zustand des Insassen. Der Computer ist ferner dafür ausgelegt, die den Avatar repräsentierenden Daten zur visuellen Anzeige auszugeben und eine Audiorichtung zu bestimmen. Der Computer ist ferner dafür ausgelegt, die die Aussage für den Avatar repräsentierenden Daten für Audiowiedergabe auf dem gerichteten Lautsprecherarray dergestalt auszugeben, dass das Audio von dem gerichteten Lautsprecherarray in die bestimmte Audiorichtung gerichtet wird.
-
Es versteht sich, dass das gerichtete Lautsprecherarray abhängig von der Implementierung auf vielfältige verschiedene Weisen implementiert werden kann. Bei einem in Betracht gezogenen Ansatz umfasst das gerichtete Lautsprecherarray eine Beschallungsschiene, die eine Vielzahl von Lautsprechern umfasst.
-
Auf einem detaillierteren Niveau umschließt die Erfindung verschiedene zusätzliche Merkmale. Jedes beliebige oder mehrere dieser verschiedenen Merkmale können in verschiedenen Implementierungen der Erfindung verwendet werden. Zum Beispiel kann das System eine Schnittstelle natürlicher Sprache zum Empfangen von Eingaben in Form von natürlicher Sprache umfassen.
-
Bei einem anderen Beispiel kann das System eine Anzeigeeinrichtung umfassen. Der Computer ist dafür ausgelegt, die den Avatar repräsentieren den Daten zur visuellen Anzeige auf der Anzeigeeinrichtung dergestalt auszugeben, dass die Avatarorientierung der Audiorichtung entspricht. Das gerichtete Lautsprecherarray kann sich in der Nähe der Anzeigeeinrichtung befinden, so dass das Audio von dem gerichteten Lautsprecherarray dem Insassen von dem Avatar zu kommen scheint.
-
Der Computer kann dafür ausgelegt sein, die Audiorichtung so zu bestimmen, dass die Audiorichtung und die entsprechende Avatarorientierung das Audio und einen Blick des Avatars auf einen bestimmten Insassen richten, der angesprochen wird. Der Computer kann dafür ausgelegt sein, die Audiorichtung so zu bestimmen, dass die Audiorichtung und die entsprechende Avatarorientierung eine Emotion ausdrücken, indem nach unten geschaut und der Insasse angesprochen oder nach oben geschaut und der Insasse angesprochen wird. Der Computer kann dafür ausgelegt sein, die Audiorichtung so zu bestimmen, dass die Audiorichtung und die entsprechende Avatarorientierung die Aufmerksamkeit auf ein Objekt lenken, indem das Audio und ein Blick des Avatars auf das Objekt gerichtet werden.
-
In einem anderen Aspekt können Ausführungsformen der Erfindung eine Vielzahl von Mikrofonen umfassen. Der Computer kann dafür ausgelegt sein, einen Insassen, der spricht, zu lokalisieren. Genauer gesagt kann der Computer dafür ausgelegt sein, die Audiorichtung so zu bestimmen, dass die Audiorichtung das Audio auf den lokalisierten Insassen richtet.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
1 ist ein Blockdiagramm eines gefühlsansprechenden Beratungssystems für ein Kraftfahrzeug in einer Ausführungsform;
-
2 zeigt ein gefühlsansprechendes Beratungssystem für ein Kraftfahrzeug mit einem gerichteten Lautsprecherarray;
-
3 ist ein Blockdiagramm, das den Betrieb eines gefühlsansprechenden Beratungssystems in einer Ausführungsform der Erfindung veranschaulicht;
-
4 ist ein Blockdiagramm, das ausführlichere Aspekte des Betriebs des gefühlsansprechenden Beratungssystems weiter veranschaulicht;
-
5 ist ein Blockdiagramm, das ausführlichere Aspekte des Betriebs des gefühlsansprechenden Beratungssystems weiter veranschaulicht; und
-
6 ist ein Blockdiagramm, das eine Kalibrationstechnik für ein Kanalmodell in dem gefühlsansprechenden Beratungssystem veranschaulicht.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Ausführungsformen der Erfindung umschließen ein gefühlsansprechendes Beratungssystem (EAS) zur Verwendung durch einen oder mehrere Insassen eines Kraftfahrzeugs. Bei einem Ansatz zur Implementierung des Systems werden verschiedene Fahrzeugschnittstellen in dem Kraftfahrzeug in dem gefühlsansprechenden Beratungssystem (EAS) zu einer einzigen Schnittstelle konsolidiert.
-
Im Allgemeinen übermittelt das gefühlsansprechende Beratungssystem (EAS) für das Kraftfahrzeug Informationen einem Insassen auf gefühlsansprechende Weise. Das System empfängt Eingaben, die einen Betriebszustand des Fahrzeugs angeben, transformiert die Angaben in Daten, die einen simulierten emotionalen Zustand repräsentieren, und erzeugt Daten, die einen Avatar repräsentieren, der den simulierten emotionalen Zustand ausdrückt. Der Avatar kann angezeigt werden. Das System kann eine Anfrage von dem Insassen bezüglich des emotionalen Zustands des Avatars empfangen und auf die Anfrage reagieren. Ein beispielhaftes gefühlsansprechendes Beratungssystem und –verfahren wird in der
US-Pub. Nr. 2008/0269958 A1 beschrieben.
-
Wie in 1 gezeigt, hilft eine Ausführungsform eines gefühlsansprechenden Beratungssystems (EAS) 10 einem Insassen/Benutzer 12 eines Fahrzeugs 14 beim Betrieb des Fahrzeugs 14 und beim Zugriff auf von dem Fahrzeug 14 abgesetzte Informationsquellen 16a, 16b, 16c, wie zum Beispiel Webserver usw., über ein Netzwerk 17. Natürlich können innerhalb des Kontextes einer beliebigen Art von Einrichtung und/oder Maschine andere Ausführungsformen des EAS 10 implementiert werden. Zum Beispiel kann das EAS 10 mit einem Haushaltsgerät, einem Handdatenverarbeitungsgerät usw. einhergehen. Bestimmte Ausführungsformen des EAS 10 können als ein integriertes Modul implementiert werden, das mit einer anderen Einrichtung und/oder Maschine gedockt werden kann. Ein Benutzer kann somit sein EAS 10 mit sich führen und es als Schnittstelle mit Einrichtungen und/oder Maschinen, mit denen er in Dialog treten möchte, verwenden. Es sind auch andere Konfigurationen und Anordnungen möglich.
-
Bei der Ausführungsform von 1 detektieren Sensoren 18 durch den Insassen 12 erzeugte Eingaben und setzen diese in digitale Informationen für einen Computer 20 um. Der Computer 20 empfängt diese Eingaben sowie Eingaben von den Informationsquellen 16a, 16b, 16c und Fahrzeugsystemen 22. Der Computer 20 verarbeitet diese Eingaben und erzeugt Ausgaben für mindestens eine der folgenden Alternativen: den Insassen 12, die Informationsquellen 16a, 16b, 16c und Fahrzeugsysteme 22. Aktoren/Ausgänge usw. 24 setzen die Ausgaben für den Insassen 12 aus einem digitalen Format in ein Format um, das von dem Insassen 12 wahrgenommen werden kann, wie zum Beispiel visuell, hörbar, tastend, haptisch usw.
-
Der Insasse 12 kann bei bestimmten Ausführungsformen durch gesprochenen Dialog mit dem EAS 10 kommunizieren, der Diskursregeln (z.B. die Maximen von Grice) befolgt. Zum Beispiel kann der Insasse 12 fragen „Gibt es gute Restaurants in der Nähe?“. Als Reaktion kann das EAS 10 entsprechende Informationsquellen 16a, 16b, 16c abfragen und zusammen mit geografischen Ortsinformationen von den Fahrzeugsystemen 22 eine Liste von gut bewerteten Restaurants in der Nähe des aktuellen Orts des Fahrzeugs 14 bestimmen. Das EAS 10 kann mit dem folgenden simulierten Dialog antworten: „Es gibt einige wenige. Möchten Sie die Liste hören?“ Eine bejahende Antwort von dem Insassen 12 kann bewirken, dass das EAS 10 die Liste liest.
-
Der Insasse 12 kann dem EAS 10 auch befehlen, bestimmte mit den Fahrzeugsystemen 22 assoziierte Parameter zu ändern. Zum Beispiel kann der Insasse 12 aussagen „Mir ist heute nach schnell fahren“. Als Reaktion kann das EAS 10 fragen „Möchten Sie, dass die Kraftübertragung für Performance-Fahren optimiert wird?“. Eine bejahende Reaktion von dem Insassen 12 kann bewirken, dass das EAS 10 Motor-Tuningparameter für verbesserte Performance ändert.
-
Bei bestimmten Ausführungsformen kann der gesprochene Dialog mit dem EAS 10 ohne Betätigung jeglicher Tasten oder anderweitige physische Eingabe in das EAS 10 eingeleitet werden. Diese Funktionalität des offenen Mikrofons ermöglicht es dem Insassen 12 ein Gespräch mit dem EAS 10 genauso einzuleiten, wie der Insasse 12 ein Gespräch mit einem anderen Insassen des Fahrzeugs 14 einleiten würde.
-
Der Insasse 12 kann dem EAS 10 auch „ins Wort fallen“, während es spricht. Zum Beispiel kann der Insasse 12, während das EAS 10 die obenerwähnte Liste von Restaurants liest, einwerfen: „Sag mir mehr über Restaurant X“. Als Reaktion kann das EAS 10 mit dem Lesen der Liste aufhören und entsprechende Informationsquellen 16a, 16b, 16c abfragen, um zusätzliche Informationen bezüglich des Restaurants X zu sammeln. Das EAS 10 kann dann die zusätzlichen Informationen dem Insassen 12 vorlesen.
-
Bei bestimmten Ausführungsformen umfassen die Aktoren/Ausgänge 24 einen Bildschirm, der selektiv einen Avatar anzeigt. Der Avatar kann eine grafische Repräsentation eines Menschen, eines Tiers, einer Maschine, einer Pflanze, eines Fahrzeugs usw. sein und kann Merkmale wie zum Beispiel ein Gesicht usw. umfassen, die in der Lage sind, visuell Emotion zu übermitteln. Der Avatar kann von der Sicht verborgen werden, wenn zum Beispiel eine Geschwindigkeit des Fahrzeugs 14 größer als eine Schwelle ist, die vom Hersteller oder vom Benutzer definiert werden kann. Die Stimme des Avatars kann jedoch weiter zu hören sein. Natürlich kann jede beliebige geeignete Art von Anzeigetechnologie verwendet werden, wie zum Beispiel eine holografische oder Head-Up-Anzeige.
-
Der simulierte menschliche emotionale Zustand des Avatars kann sich nach vielfältigen verschiedenen Kriterien richten, darunter ein geschätzter emotionaler Zustand des Insassen 12, ein Zustand des Fahrzeugs 14 und/oder die Qualität, mit der das EAS 10 eine Aufgabe ausführt usw. Zum Beispiel können die Sensoren 18 Kopfbewegungen, Sprachprosodie, biometrische Informationen usw. des Insassen 12 detektieren, die, wenn sie durch den Computer 20 verarbeitet werden, anzeigen, dass der Insasse 12 verärgert ist. Bei einer beispielhaften Reaktion kann das EAS 10 den Dialog, den es mit dem Insassen 12 einleitet, begrenzen oder unterbrechen, während der Insasse 12 verärgert ist. Bei einer anderen beispielhaften Reaktion kann der Avatar in blauen Farbtönen mit einem besorgten Gesichtsausdruck wiedergegeben werden und kann in einer ruhigen Stimme fragen „Ärgert Sie etwas?“. Wenn der Insasse 12 reagiert, indem er „Wegen dieses Verkehrs komm ich wahrscheinlich zu spät zur Arbeit“ sagt, kann der Avatar fragen „Soll ich eine schnellere Route finden?“ oder „Soll ich jemanden anrufen?“. Wenn der Insasse 12 reagiert, indem er „Nein. Es gibt keinen anderen Weg...“ sagt, kann der Avatar fragen „Möchten Sie etwas klassische Musik hören?“. Der Insasse 12 kann antworten „Nein. Aber kannst du mir etwas über die bevorstehenden Wahlen sagen?“. Als Reaktion kann das EAS 10 die entsprechenden Informationsquellen 16a, 16b, 16c abfragen, um die neuesten Nachrichten über die Wahlen zu sammeln. Während der Abfrage kann, wenn die Kommunikationsverbindung mit den Informationsquellen 16a, 16b, 16c stark ist, der Avatar froh aussehen. Wenn die Kommunikationsverbindung mit den Informationsquellen 16a, 16b, 16c jedoch schwach ist, kann der Avatar traurig aussehen, wodurch der Insasse dazu aufgefordert wird, zu fragen „Hast du Schwierigkeiten, Nachrichten über die Wahlen zu erhalten?“. Der Avatar kann antworten „Ja, ich habe Schwierigkeiten, eine Fernkommunikationsverbindung herzustellen“.
-
Während des obigen Austauschs kann der Avatar frustriert zu werden scheinen, wenn zum Beispiel das Fahrzeug 14 häufige Beschleunigung und Bremsung oder anderweitigen harschen Umgang erfährt. Diese Änderung der simulierten Emotion kann den Insassen 12 dazu auffordern, zu fragen „Was hast du?“. Der Avatar kann antworten „Ihr Fahrstil ist schlecht für meinen Kraftstoffverbrauch. Vielleicht sollten häufige Beschleunigung und Bremsung verringert werden“. Der Avatar kann auch verwirrt zu werden scheinen, wenn zum Beispiel der Avatar einen Befehl oder eine Anfrage von dem Insassen 12 nicht versteht. Diese Art von Dialog kann fortgesetzt werden, wobei der Avatar dynamisch über sein Aussehen, den Ausdruck, den Ton der Stimme, Wortwahl usw. seinen simulierten emotionalen Zustand ändert, um dem Insassen 12 Informationen zu übermitteln.
-
Das EAS 10 kann auch lernen, Anforderungen, Befehle und/oder Präferenzen des Insassen 12 auf der Basis einer Vorgeschichte des Dialogs zwischen dem Insassen 12 und dem EAS 10 zu antizipieren. Zum Beispiel kann das EAS 10 lernen, dass der Insasse 12 eine Fahrgastraumtemperatur von 22 °C (72° Fahrenheit) bevorzugt, wenn die Umgebungstemperaturen 27 °C (80° Fahrenheit) übersteigen, sowie eine Fahrgastraumtemperatur von 26 °C (78° Fahrenheit), wenn die Umgebungstemperaturen kleiner als 4 °C (40° Fahrenheit) sind und es ein wolkiger Tag ist. Eine Aufzeichnung solcher Klimasteuerungseinstellungen und Umgebungstemperaturen kann das EAS 10 bezüglich dieser anscheinenden Präferenz des Insassen 12 informieren. Ähnlich kann das EAS 10 lernen, dass der Insasse 12 bevorzugt, die lokalen Verkehrsdurchsagen zu hören, wenn das Fahrzeug startet. Eine Aufzeichnung mehrerer Anforderungen von Verkehrsnachrichten nach dem Fahrzeugstart kann das EAS 10 dazu auffordern, beim Fahrzeugstart solche Informationen zu sammeln und den Insassen 12 zu fragen, ob er den lokalen Verkehr hören möchte. Es sind auch andere erlernte Verhaltensweisen möglich.
-
Diese erlernten Anforderungen, Befehle und/oder Präferenzen können mit vom Insassen definierten Kriterien ergänzt und/oder initialisiert werden. Zum Beispiel kann der Insasse 12 das EAS 10 informieren, dass er nicht gerne über Sport diskutiert, aber gerne über Musik usw. In diesem Beispiel kann das EAS 10 davon absehen, Gespräche mit dem Insassen 12 über Sport einzuleiten, kann aber periodisch mit dem Insassen 12 über Musik sprechen.
-
Es versteht sich, dass ein gefühlsansprechendes Beratungssystem (EAS) auf vielfältige Weisen implementiert werden kann und dass die vorliegende Beschreibung beispielhaft ist. Eine weitere ausführlichere Beschreibung eines beispielhaften gefühlsansprechenden Beratungssystems wird in der
US-Pub. Nr. 2008/0269958 A1 gegeben. Unter fortgesetzter Bezugnahme auf
1 kommuniziert im Allgemeinen der Computer
20 mit Informationsquellen
16a,
16b,
16c und kommuniziert mit verschiedenen Peripheriegeräten, wie zum Beispiel Tasten, einer Videokamera, einem Fahrzeug-BUS-Controller, einer Beschallungseinrichtung und einem privaten Fahrzeugnetzwerk. Der Computer
20 kommuniziert außerdem mit einer Anzeige, auf der der Avatar wiedergegeben werden kann. Es sind natürlich auch andere Konfigurationen und Anordnungen möglich.
-
2 zeigt ein gefühlsansprechendes Beratungssystem (EAS) 30 für ein Kraftfahrzeug mit einem gerichteten Lautsprecherarray 32 in Form einer Beschallungsschiene in einer beispielhaften Implementierung. Als Alternative zu der Beschallungsschiene ist es auch möglich, ein mechanisches Sprechorgan und eine physische Stimmbandeinrichtung vorzusehen. Wie gezeigt werden die herkömmlichen Steuerelemente für Unterhaltung, Navigation, Kraftübertragung, Türverriegelung und HVAC in der Zentralkonsole mit EAS-Steuerelementen ersetzt. Das oberste Element ist eine Berührungsanzeige 34 mit einem Avatar-Fenster, einem Navigations- und Vielzweckfunktionsfenster, einem Textfenster und einem Tastenfenster. Unter der Berührungsanzeige 34 befindet sich das gerichtete Lautsprecherarray 32 für synthetische Sprache von dem Avatar. Dieses Array 32 befindet sich in der Nähe der Anzeige 34, so dass die Geräusche des Avatars dem Insassen des Fahrzeugs von dem Avatar zu kommen scheinen. Das Array 32 ist auch gerichtet, so dass die Stimme die Richtung wechselt, wenn der Avatar die Richtung wechselt. Dadurch kann der Avatar verschiedene Personen in dem Fahrzeug ansprechen, indem der Blick und die Sprache des Avatars in die Richtung der angesprochenen Person gerichtet wird. Bei einem anderen Beispiel kann die Sprache von einem bestimmten Ort in dem Fahrzeuginnenraum kommen. Wenn zum Beispiel die linke hintere Tür des Fahrzeugs offen ist und das System dem Fahrer mitteilt, dass die Tür offen ist, kann die Sprache von einem Bereich in der Nähe der linken hinteren Tür aus gerichtet werden. Der Avatar kann eine Emotion ausdrücken, indem er nach unten schaut und in Richtung des Bodens spricht, oder indem er nach oben schaut und ein Individuum anspricht. Der Avatar kann auch die Aufmerksamkeit auf ein Objekt, wie den Navigationsschirm 34, lenken, indem er seinen Blick und seine Stimme in diese Richtung verlagert.
-
Ausführungsformen der Erfindung können auch das Unterhaltungs-Beschallungssystem des Fahrzeugs nutzen, das typischerweise aus vier Lautsprechern in jeder Ecke des Autoinnenraums und einem Subwoofer besteht. Das Beschallungssystem ist so ausgelegt, dass das Lautsprecherarray zusammen mit der Avatar-Sprache für das Unterhaltungssystem verwendet werden kann, so dass das Unterhaltungssystem effektiv zu einem 5.1-System wird.
-
Zusätzliche Mikrofone 36 werden in dem Fahrgastraum angeordnet, um Effekte wie Echolöschung zu implementieren, durch die der Avatar so klingt, als befände er sich in einem sehr großen Raum, oder Geräuschunterdrückung, um sicherzustellen, dass Passagiere in dem Fahrzeug einen Hochprioritätsdialog zwischen dem Fahrer und dem Avatar nicht stören. Geräuschunterdrückung wird auch verwendet, um zu verhindern, dass die Stimme des Avatars seiner Spracherkennung „ins Wort fällt“. Die Geräuschunterdrückung kann auch unter Verwendung von Daten von Fahrzeugsystemen verbessert werden. Zum Beispiel lassen sich Motorgeräusche unter Verwendung der Drehzahl von Fahrzeugsystemen besser beseitigen. Scheibenwischer, Fahrzeuggeschwindigkeit, Beschleunigung, HVAC und Fensterstellung sind andere Gelegenheiten. Es könnte auch das Web verwendet werden, um bei der Geräuschunterdrückung zu helfen, indem Wetterbedingungen bestimmt werden, die sich auf Hintergrundgeräusche auswirken können, wie zum Beispiel Regen oder Hagel.
-
Ferner können es zusätzliche Mikrofone 36 ermöglichen, dass alle im Fahrzeug von dem Avatar gehört werden können, und jede Stimme zu lokalisieren und zu bestimmen, ob sie an den Avatar gerichtet ist. Dies hilft dem EAS 30 dabei, zu bestimmen, ob die Sprache ein ins Wort fallender Insasse, eine Unterbrechung oder ein nicht damit zusammenhängendes Gespräch ist. Genauer gesagt können Mikrofone, Lautsprecher, Schutzbleche usw. an verschiedenen Orten in dem Fahrzeug platziert werden, um es dem System zu erlauben, einen sprechenden Insassen zu lokalisieren. Zum Beispiel kann ein an der Rücklehne des Vordersitzes angeordnetes Mikrofon verwendet werden, um es dem System zu erlauben, zwischen Insassen im Vordersitz und Rücksitz zu unterscheiden.
-
Bei einer beispielhaften Implementierung emittiert das Beschallungssystem alle 10 Sekunden oder wenn ein Geräuschereignis stattfindet, einen Schallimpuls aus einem Muster von Lautsprechern. Der Impuls ist kurz genug, um unwahrnehmbar zu sein, aber ausreichend für das System zum Kalibrieren eines Kanalmodells der Übertragung von den Lautsprechern (darunter die Lautsprecher 32) zu den Mikrofonen (darunter die Mikrofone 36). Aus dem empfangenen Impuls können die Ausbreitungszeit, Dämpfung, Dispersion, Echos usw. zwischen jedem Lautsprecher und jedem Mikrofon charakterisiert werden.
-
Im Allgemeinen können Ausführungsformen der Erfindung die akustische Umgebung des Fahrzeugs normieren, so dass sie mit der akustischen Umgebung vergleichbar ist, in der die Systeme zur automatischen Spracherkennung trainiert werden. Zum Beispiel kann Geräuschunterdrückung, die unter Verwendung von Daten von Fahrzeugsystemen verbessert werden kann, Geräusche zum Beispiel aus Windgeräuschen von offenen Fenstern, fallendem Regen und HVAC unterdrücken. Anders ausgedrückt, können Ausführungsformen der Erfindung die Audioeingangssignale normieren, um die Spracherkennung zu verbessern. Es versteht sich, dass ein Zweck der Geräuschunterdrückung darin besteht, die Spracherkennung zu verbessern.
-
Bei einer beispielhaften Implementierung kann ferner, wenn sich der Avatar von der Anzeigeoberfläche 34 zurück und in einen geschlossenen Bereich im Hintergrund, wie zum Beispiel eine Garage oder einen Raum zurückbewegt, Hall hinzugefügt werden, um den Effekt zu produzieren, sich in einem eingegrenzten Raum zu befinden. Wenn sich der Avatar wieder in einen offenen Bereich bewegt, kann Echolöschung verwendet werden, damit der Avatar so klingt, als befände er sich in einem unendlichen Raum. Wenn der Avatar dem Navigationsschirm zugewandt ist, kann Hall hinzugefügt werden, um die Reflexion der Stimme von der Navigationsanzeige zu simulieren.
-
Mit diesen Effekten ist es möglich, zu bewirken, dass ein Avatar überzeugend an vielfältigen Aktivitäten teilnehmen kann und Emotion und Bedeutung zeigt, die nur mit Prosodie und Semantik nicht ausgedrückt werden können.
-
3–5 sind Blockdiagramme, die den Betrieb eines gefühlsansprechenden Beratungssystems bei einer Ausführungsform der Erfindung veranschaulichen. In 3 empfängt im Block 50 der EAS-Computer Eingaben, die einen Betriebszustand des Fahrzeugs angeben, und Eingaben, die einen emotionalen Zustand eines Insassen angeben. Im Block 52 erzeugt der EAS-Computer Daten, die einen Avatar mit einem Aussehen repräsentieren, und Daten, die eine gesprochene Aussage für den Avatar mit mindestens einem Sprachcharakteristikum repräsentieren. Das Aussehen und das mindestens eine Sprachcharakteristikum übermitteln dem Insassen einen simulierten emotionalen Zustand des Avatars. Der simulierte emotionale Zustand richtet sich nach dem Betriebszustand des Fahrzeugs und/oder dem emotionalen Zustand des Insassen.
-
Im Block 54 werden die den Avatar repräsentierenden Daten zur visuellen Anzeige auf einer Anzeigeeinrichtung ausgegeben. Im Block 56 wird eine Audiorichtung bestimmt. Im Block 58 werden die Daten, die die Aussage für den Avatar repräsentieren, für Audiowiedergabe auf dem gerichteten Lautsprecherarray so ausgegeben, dass das Audio von dem gerichteten Lautsprecherarray in die bestimmte Audiorichtung gerichtet wird. Genauer gesagt wird der Avatar im Block 54 so auf der Anzeigeeinrichtung angezeigt, dass die Avatarorientierung der Audiorichtung entspricht.
-
4 veranschaulicht ausführlichere Aspekte des Betriebs. Im Block 60 werden an einer Vielzahl von Mikrofonen Signale empfangen. Im Block 62 lokalisiert der EAS-Computer einen oder mehrere Insassen, die sprechen. Im Block 64 bestimmt der EAS-Computer, welche (etwaige) Insassen mit dem Avatar sprechen. Block 66 richtet das Audio und den Avatarblick auf einen lokalisierten Insassen. Wie im Block 68 gezeigt, kann der Avatar Emotion ausdrücken, indem er nach unten schaut und den Insassen anspricht oder nach oben schaut und den Insassen anspricht. Als letztes kann der Avatar wie im Block 70 abgebildet durch Richten des Audio und des Avatarblicks auf ein Objekt die Aufmerksamkeit auf ein Objekt lenken.
-
5 zeigt ausführlichere Aspekte des Betriebs. Block 80 zeigt das Empfangen von Signalen an einer Vielzahl von Mikrofonen. Block 82 zeigt das Durchführen von Geräuschunterdrückung an empfangenen Signalen; Block 84 zeigt das Durchführen von Echolöschung an empfangenen Signalen. Im Block 86 findet Verarbeitung dergestalt statt, dass Schall von einem bestimmten lokalisierten Insassen verstärkt wird. Als letztes und wie im Block 88 abgebildet können Ausführungsformen der Erfindung aktive Echolöschung implementieren.
-
6 ist ein Blockdiagramm, das eine Kalibrationstechnik für ein Kanalmodell in dem gefühlsansprechenden Beratungssystem veranschaulicht. Im Block 90 werden Daten, die einen Schallimpuls repräsentieren, zur Audiowiedergabe auf dem gerichteten Lautsprecherarray ausgegeben. Im Block 92 wird der Schallimpuls an der Vielzahl von Mikrofonen detektiert. Im Block 94 wird ein Kanalmodell der Übertragung zwischen dem gerichteten Lautsprecherarray und der Vielzahl von Mikrofonen kalibriert.
-
Weiterhin kann in einer bevorzugten Ausführungsform ein gefühlsansprechendes Beratungssystem zur Verwendung durch einen oder mehrere Insassen eines Kraftfahrzeugs vorgesehen sein, das insbesondere Folgendes umfasst:
ein gerichtetes Lautsprecherarray;
eine Anzeigeeinrichtung;
eine Vielzahl von Mikrofonen; und
einen Computer, der für Folgendes ausgelegt ist:
- – Empfangen von Eingaben, die einen Betriebszustand des Fahrzeugs angeben, und von Eingaben, die einen emotionalen Zustand eines Insassen angeben,
- – Erzeugen (i) von Daten, die einen Avatar mit einem Aussehen repräsentieren, und (ii) von Daten, die eine gesprochene Aussage für den Avatar mit mindestens einem Sprachcharakteristikum repräsentieren, wobei das Aussehen und das mindestens eine Sprachcharakteristikum dem Insassen einen simulierten emotionalen Zustand des Avatars übermitteln, wobei sich der simulierte emotionale Zustand nach dem Betriebszustand des Fahrzeugs und/oder dem emotionalen Zustand des Insassen richtet,
- – Bestimmen einer Audiorichtung,
- – Ausgeben der die Aussage für den Avatar repräsentierenden Daten zur Audiowiedergabe auf dem gerichteten Lautsprecherarray dergestalt, dass das Audio von dem gerichteten Lautsprecherarray in die bestimmte Audiorichtung gerichtet wird,
- – Ausgeben der den Avatar repräsentierenden Daten zur visuellen Anzeige auf der Anzeigeeinrichtung dergestalt, dass die Avatarorientierung der Audiorichtung entspricht; und
- – Lokalisieren eines Insassen, der spricht,
wobei die Audiorichtung so bestimmt wird, dass die Audiorichtung und die entsprechende Avatarorientierung das Audio und einen Blick des Avatars auf einen bestimmten Insassen richten, der angesprochen wird.
-
Das vorstehen beschriebene System kann weiterhin bevorzugt umfassen:
eine Vielzahl von Mikrofonen;
ein Fahrzeuglautsprecherarray; und
einen Computer, der für Folgendes ausgelegt ist:
- – Lokalisieren einer Vielzahl von Insassen,
- – Ausgeben von Daten, die eine gesprochene Aussage repräsentieren, zur Audiowiedergabe von dem Lautsprecherarray und
- – Ausgeben von Daten, die einen Avatar repräsentieren, zur visuellen Anzeige,
wobei ein visuelles Aussehen des Avatars und die gesprochene Aussage einen simulierten emotionalen Zustand übermitteln und
das Audio von dem Lautsprecherarray auf einen bestimmten Insassen gerichtet wird.
