DE102018126525A1

DE102018126525A1 - Fahrzeuginternes System, Verfahren und Speichermedium

Info

Publication number: DE102018126525A1
Application number: DE102018126525.5A
Authority: DE
Inventors: Masashi Mori
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2017-11-01
Filing date: 2018-10-24
Publication date: 2019-05-02
Also published as: US20190130916A1; JP2019086805A; CN109753147A

Abstract

Ein fahrzeuginternes System weist Folgendes auf: einen Anzeigeabschnitt, der ausgestaltet ist, um innerhalb einer Fahrzeugkabine einen virtuellen Mitfahrer zur Konversation mit einem Fahrzeuginsassen stereoskopisch anzuzeigen, einen Sprachdetektor, der eine Stimme des Fahrzeuginsassen erfasst, einen Spracherkennungsabschnitt, der ausgestaltet ist, um die Stimme zu erkennen, die durch den Sprachdetektor erfasst wird, und Gesprächsinformationen zur Konversation mit dem Fahrzeuginsassen erzeugt, einen Sprachgenerator, der eine Stimme basierend auf den Gesprächsinformationen erzeugt, und eine Steuerung, die ausgestaltet ist, um den Anzeigeabschnitt und den Sprachgenerator basierend auf Spracherkennungsergebnissen des Spracherkennungsabschnitts zu steuern, um ein Bild des virtuellen Mitfahrers anzuzeigen, der eine bordeigene Vorrichtung gemäß Anweisungen des Fahrzeuginsassen bedient, und um eine Stimme basierend auf den Gesprächsinformationen zu erzeugen, und ausgestaltet ist, um die bordeigene Vorrichtung gemäß der Anweisung zu steuern.

Description

STAND DER TECHNIK
Technisches Gebiet
Die vorliegende Offenbarung betrifft ein fahrzeuginternes System, das imstande ist, verschiedene Typen von bordeigenen Vorrichtungen zu steuern, die in einem Fahrzeug installiert sind, und ein Verfahren und Speichermedium zum Steuern des fahrzeuginternen Systems.
Verwandte Technik
Die japanische offen gelegte Patentanmeldung ( JP-A) Nr. 2008-210359 offenbart eine Bedienungsvorrichtung, die ein stereoskopisches Bild einer Hand und ein Bedienungsmenübild kombiniert, welche die platzierten Positionen von Bedienungsschaltern an einem Bedienungsabschnitt und die Funktionen der Bedienungsschalter darstellt und das kombinierte Bild auf einer Anzeige anzeigt. Die Benutzerfreundlichkeit kann verbessert werden, da das Bedienungsmenübild und das stereoskopische Bild einer Hand kombiniert und auf diese Weise angezeigt werden.
Obwohl in dem zuvor erwähnten Dokument eine Technik in Bezug auf eine Bedienung durch den Fahrer vorgeschlagen wird, gibt es jedoch Raum für weitere Verbesserung, um mehr angenehme Zeit innerhalb der Fahrzeugkabine zu verbringen.
KURZDARSTELLUNG
Die vorliegende Offenbarung wurde im Hinblick auf die zuvor beschriebenen Umstände gemacht und stellt ein fahrzeuginternes System, das einem Fahrzeuginsassen einen verbesserten Nutzen innerhalb der Fahrzeugkabine bereitstellt, mit dem Gefühl, dass ein normaler Mitfahrer anwesend ist, und ein Verfahren und Speichermedium zum Steuern des fahrzeuginternen Systems bereit.
Ein erster Aspekt der vorliegenden Offenbarung ist ein fahrzeuginternes System, das Folgendes aufweist: einen Anzeigeabschnitt, der ausgestaltet ist, um innerhalb einer Fahrzeugkabine einen virtuellen Mitfahrer zur Konversation mit einem Fahrzeuginsassen stereoskopisch anzuzeigen, einen Sprachdetektor, der eine Stimme des Fahrzeuginsassen erfasst, einen Spracherkennungsabschnitt, der ausgestaltet ist, um die Stimme zu erkennen, die durch den Sprachdetektor erfasst wird, und Gesprächsinformationen zur Konversation mit dem Fahrzeuginsassen erzeugt, einen Sprachgenerator, der eine Stimme basierend auf den Gesprächsinformationen erzeugt, und eine Steuerung, die ausgestaltet ist, um den Anzeigeabschnitt und den Sprachgenerator basierend auf Spracherkennungsergebnissen des Spracherkennungsabschnitts zu steuern, um ein Bild des virtuellen Mitfahrers anzuzeigen, der eine bordeigene Vorrichtung gemäß Anweisungen des Fahrzeuginsassen bedient, und um eine Stimme basierend auf den Gesprächsinformationen zu erzeugen, und ausgestaltet ist, um die bordeigene Vorrichtung gemäß der Anweisung zu steuern.
Gemäß dem ersten Aspekt wird ein virtueller Mitfahrer, der sich mit einem Fahrzeuginsassen unterhalten kann, durch den Anzeigeabschnitt innerhalb der Fahrzeugkabine stereoskopisch angezeigt. Dem Fahrzeuginsassen kann nämlich aufgrund des virtuellen Mitfahrers, der stereoskopisch angezeigt wird, das Gefühl vermittelt werden, dass ein normaler Mitfahrer anwesend ist.
Des Weiteren wird die Stimme des Fahrzeuginsassen an dem Sprachdetektor erfasst, wobei die erfasste Stimme an dem Spracherkennungsabschnitt erkannt wird und Gesprächsinformationen zur Konversation mit dem Fahrzeuginsassen erzeugt werden. Dann wird eine Stimme basierend auf den erzeugten Gesprächsinformationen an dem Sprachgenerator erzeugt. Folglich kann eine Konversation mit dem virtuellen Mitfahrer stattfinden.
Auf der Basis der Erkennungsergebnisse durch den Spracherkennungsabschnitt werden der Anzeigeabschnitt und der Sprachgenerator durch die Steuerung gesteuert, um ein Bild des virtuellen Mitfahrers anzuzeigen, der eine bordeigene Vorrichtung gemäß Anweisungen des Fahrzeuginsassen bedient, und um eine Stimme, die auf den Gesprächsinformationen basiert, zu erzeugen, und die bordeigene Vorrichtung wird gemäß der Anweisung gesteuert. Folglich ist der Fahrzeuginsasse imstande, eine angenehme Zeit innerhalb der Fahrzeugkabine zu verbringen, mit dem Gefühl, dass ein normaler Mitfahrer anwesend ist, aufgrund von Konversationen des Fahrzeuginsassen mit dem virtuellen Mitfahrer, der stereoskopisch angezeigt wird, oder aufgrund einer Bedienung der bordeigenen Vorrichtung durch den virtuellen Mitfahrer.
Ein zweiter Aspekt der vorliegenden Offenbarung ist ein fahrzeuginternes System, das Folgendes aufweist: einen Anzeigeabschnitt, der ausgestaltet ist, um innerhalb einer Fahrzeugkabine einen virtuellen Mitfahrer zur Konversation mit einem Fahrzeuginsassen stereoskopisch anzuzeigen, einen Sprachdetektor, der eine Stimme des Fahrzeuginsassen erfasst, einen Spracherkennungsabschnitt, der ausgestaltet ist, um die Stimme zu erkennen, die durch den Sprachdetektor erfasst wird, und Gesprächsinformationen zur Konversation mit dem Fahrzeuginsassen erzeugt, einen Sprachgenerator, der eine Stimme basierend auf den Gesprächsinformationen erzeugt, einen Speicherabschnitt, der ausgestaltet ist, um Präferenzinformationen in Bezug auf Präferenzen des Fahrzeuginsassen zu speichern, einen Präferenzanalyseabschnitt, der ausgestaltet ist, um eine Präferenzanalyse des Fahrzeuginsassen basierend auf den Präferenzinformationen, die in dem Speicherabschnitt gespeichert sind, durchzuführen, und eine Steuerung, die ausgestaltet ist, um den Anzeigeabschnitt und den Sprachgenerator zu steuern, um ein Bild des virtuellen Mitfahrers anzuzeigen, der basierend auf Analyseergebnissen des Präferenzanalyseabschnitts einen Vorschlag macht, und um eine Stimme basierend auf den Gesprächsinformationen zu erzeugen, die den Analyseergebnissen entsprechen.
Gemäß dem zweiten Aspekt wird ein virtueller Mitfahrer, der sich mit einem Fahrzeuginsassen unterhalten kann, durch den Anzeigeabschnitt innerhalb der Fahrzeugkabine stereoskopisch angezeigt. Dem Fahrzeuginsassen kann nämlich aufgrund des virtuellen Mitfahrers, der stereoskopisch angezeigt wird, das Gefühl vermittelt werden, dass ein normaler Mitfahrer anwesend ist.
Des Weiteren wird die Stimme des Fahrzeuginsassen an dem Sprachdetektor erfasst, wobei die erfasste Stimme an dem Spracherkennungsabschnitt erkannt wird und Gesprächsinformationen zur Konversation mit dem Fahrzeuginsassen erzeugt werden. Des Weiteren wird eine Stimme, die auf den erzeugten Gesprächsinformationen basiert, an dem Sprachgenerator erzeugt. Folglich kann sich der Fahrzeuginsasse mit dem virtuellen Mitfahrer unterhalten.
Präferenzinformationen in Bezug auf die Präferenzen des Fahrzeuginsassen sind an dem Speicherabschnitt gespeichert. Eine Analyse der Präferenzen des Fahrzeuginsassen wird durch den Präferenzanalyseabschnitt auf der Basis der Präferenzinformationen, die in dem Speicherabschnitt gespeichert sind, ausgeführt. Zum Beispiel können die Präferenzinformationen Informationen über naheliegende Einrichtungen, die besucht wurden, einen Bedienungsverlauf der bordeigenen Vorrichtungen, der die Präferenzen des Fahrzeuginsassen anzeigt, wie etwa die Fahrzeugkabinentemperatur, Auswahl und Lautstärke von Musik und dergleichen, und die Zustände des Fahrzeugs und des Fahrzeuginsassen und dergleichen aufweisen. Diese Präferenzinformationen werden als anweisende Informationen zum Lernen durch künstliche Intelligenz eines neuralen Netzwerks oder dergleichen gelernt und die Zustände der Vorlieben des Fahrzeuginsassen werden analysiert.
Dann steuert die Steuerung den Anzeigeabschnitt und den Sprachgenerator, um ein Bild des virtuellen Mitfahrers anzuzeigen, der einen Vorschlag basierend auf den Analyseergebnissen des Präferenzanalyseabschnitts macht, und um eine Stimme basierend auf den Gesprächsinformationen zu erzeugen, die den Ergebnissen der Analyse entsprechen. Folglich ist ein Fahrzeuginsasse imstande, eine angenehme Zeit innerhalb der Fahrzeugkabine zu verbringen, mit dem Gefühl, dass ein normaler Mitfahrer anwesend ist, aufgrund des Fahrzeuginsassen, der sich mit dem virtuellen Mitfahrer unterhält, der stereoskopisch angezeigt wird, oder durch Vorschläge von dem virtuellen Mitfahrer, die auf den Ergebnissen der Präferenzanalyse basieren.
Das fahrzeuginterne System der zuvor beschriebenen Aspekte kann ferner einen Belastungserfassungsabschnitt aufweisen, der ausgestaltet ist, um eine Fahrbelastung eines Fahrers zu erfassen, wobei die Steuerung ausgestaltet ist, um den Anzeigeabschnitt derart zu steuern, dass für den Fall, dass durch den Belastungserfassungsabschnitt erfasst wird, dass es keine Fahrbelastung gibt, der virtuelle Mitfahrer angezeigt wird, und für den Fall, dass durch den Belastungserfassungsabschnitt erfasst wird, dass es die Fahrbelastung gibt, der virtuelle Mitfahrer nicht angezeigt wird.
Ein Fahrer (Fahrzeuginsasse) kann daher mit dem virtuellen Mitfahrer kommunizieren, während die Sicherheit des Fahrers sichergestellt wird.
Wie zuvor beschrieben wurde, kann gemäß der vorliegenden Offenbarung ein fahrzeuginternes System bereitgestellt werden, das einem Fahrzeuginsassen einen verbesserten Nutzen innerhalb einer Fahrzeugkabine bereitstellt, mit dem Gefühl, dass ein normaler Mitfahrer anwesend ist.
Figurenliste

1 ist eine schematische Ansicht, die einen Überblick über ein fahrzeuginternes System gemäß einer Ausführungsform darstellt.
2 ist ein Blockdiagramm, das die Struktur des fahrzeuginternen Systems gemäß der Ausführungsform darstellt.
3 ist eine schematische Ansicht, welche die Struktur eines Beispiels einer stereoskopischen 3D-Anzeigevorrichtung darstellt.
4 ist ein Flussdiagramm, das ein Beispiel des Verarbeitungsablaufs darstellt, der an einer bordeigenen Einheit des fahrzeuginternen Systems gemäß der Ausführungsform ausgeführt wird.
5 ist ein Flussdiagramm, das ein Beispiel des Verarbeitungsablaufs darstellt, der an einem Spracherkennungszentrum des fahrzeuginternen Systems gemäß der Ausführungsform ausgeführt wird.
6 ist ein Flussdiagramm, das ein Beispiel des Verarbeitungsablaufs darstellt, der an einem Informationsdatenbank(DB)-Zentrum des fahrzeuginternen Systems gemäß der Ausführungsform ausgeführt wird.
7 ist ein Flussdiagramm, das ein Beispiel des Verarbeitungsablaufs darstellt, der an einer Präferenzanalysesteuerung des Information-DB-Zentrums für den Fall, dass eine Konversation durch einen virtuellen Mitfahrer begonnen wird, in dem fahrzeuginternen System gemäß der Ausführungsform ausgeführt wird.
8 ist ein Flussdiagramm, das ein Beispiel des Verarbeitungsablaufs darstellt, der an einer Konversationssteuerung des Spracherkennungszentrums für den Fall, dass eine Konversation durch den virtuellen Mitfahrer begonnen wird, in dem fahrzeuginternen System gemäß der Ausführungsform ausgeführt wird.
9 ist ein Flussdiagramm, das ein Beispiel des Verarbeitungsablaufs darstellt, der an einer Steuer-ECU der bordeigenen Einheit für den Fall, dass eine Konversation durch den virtuellen Mitfahrer begonnen wird, in dem fahrzeuginternen System gemäß der Ausführungsform ausgeführt wird.
10 ist ein Blockdiagramm, das die Struktur eines fahrzeuginternen Systems darstellt, das derart ausgestaltet ist, dass das Information-DB-Zentrum in der bordeigenen Einheit installiert ist.

AUSFÜHRLICHE BESCHREIBUNG
Hiernach wird eine Ausführungsform der Offenbarung ausführlich unter Bezugnahme auf die Zeichnungen beschrieben. 1 ist eine schematische Ansicht, welche die Struktur eines fahrzeuginternen Systems gemäß einer Ausführungsform darstellt. 2 ist eine Blockzeichnung, welche die Struktur des fahrzeuginternen Systems gemäß der Ausführungsform Zeichnung darstellt.
Ein fahrzeuginternes System 10 gemäß der Ausführungsform weist eine bordeigene Einheit 12, die in einem Fahrzeug 1 installiert ist, ein Netzwerk 16, ein Spracherkennungszentrum 14, das als ein Spracherkennungsabschnitt dient, und ein Informationsdatenbank(DB)-Zentrum 15, das als ein Präferenzanalyseabschnitt dient, auf. In dem fahrzeuginternen System 10 zeigt die bordeigene Einheit 12 einen virtuellen Mitfahrer 50 an, das Spracherkennungszentrum 14 erkennt eine Konversation zwischen einem Fahrzeuginsassen und dem virtuellen Mitfahrer 50, und das Information-DB-Zentrum 15 führt eine Präferenzanalyse aus. Dann steuert die bordeigene Einheit 12 die Anzeige des virtuellen Mitfahrers 50 basierend auf den Ergebnissen der Spracherkennung und den Ergebnissen der Präferenzanalyse und präsentiert Informationen, die zu den Präferenzen des Fahrzeuginsassen passen, oder bedient bordeigene Vorrichtungen gemäß Anweisungen des Fahrzeuginsassen.
Insbesondere in dem fahrzeuginternen System 10 gemäß der Ausführungsform sind die bordeigene Einheit 12, das Spracherkennungszentrum 14 und das Information-DB-Zentrum 15 jeweils über das Netzwerk 16 verbunden, das eine Mobiltelefonleitung oder dergleichen aufweist.
Die bordeigene Einheit 12 ist in dem Fahrzeug 1 installiert und ist imstande, mit dem Spracherkennungszentrum 14 und dem Information-DB-Zentrum 15, die mit dem Netzwerk 16 verbunden sind, zu kommunizieren.
Die bordeigene Einheit 12 weist einen Fahrzeugumfeld-Überwachungsabschnitt 18, eine Überwachungskamera 20, ein Mikrofon 22, das als ein Sprachdetektor dient, einen Lautsprecher 24, der als ein Sprachgenerator dient, einen biometrischen Sensor 25, eine dreidimensionale (3D) stereoskopische Anzeigevorrichtung 26, die als ein Anzeigeabschnitt dient, eine mobile Hochgeschwindigkeit-Kommunikationsvorrichtung 28 und bordeigene Vorrichtungen 32 auf. Diese Komponenten sind jeweils mit einer elektronischen Steuereinheit (ECU) 30 zum Steuern verbunden, die als eine Steuerung und ein Belastungserfassungsabschnitt dient.
Der Fahrzeugumfeld-Überwachungsabschnitt 18 überwacht die Situation im Umfeld des Fahrzeugs, um zu erfassen, ob es einen Zustand gibt, in dem das fahrzeuginterne System 10 sicher benutzt werden kann, oder nicht. Insbesondere weist der Fahrzeugumfeld-Überwachungsabschnitt 18 mindestens eine/s von einer Kamera, einem Radar oder einem LIDER-System (System für Laser Imaging Detection and Ranging) auf. Die Kamera ist zum Beispiel innerhalb der Fahrzeugkabine an einem oberen Abschnitt der vorderen Windschutzscheibe des Fahrzeugs 1 bereitgestellt und sammelt Bildinformationen durch Abbilden des Außenbereichs des Fahrzeugs 1. Die Kamera kann eine monokulare Kamera oder eine Stereokamera sein. In dem Fall einer Stereokamera weist die Kamera zwei Abbildungsabschnitte auf, die angeordnet sind, um binokulare Parallaxe zu reproduzieren. Informationen in Bezug auf die Tiefenrichtung sind auch in den Bildinformationen der Stereokamera enthalten. Das Radar überträgt elektrische Wellen (z. B. Millimeterwellen) an das Umfeld des Fahrzeugs 1 und erfasst Hindernisse durch Empfangen von elektrischen Wellen, die durch die Hindernisse reflektiert wurden. LIDER überträgt Licht an das Umfeld des Fahrzeugs 1, empfängt Licht, das durch Hindernisse reflektiert wurde, und misst die Abstände zu den Reflektionspunkten, um die Hindernisse zu erfassen. Es wird angemerkt, dass der Fahrzeugumfeld-Überwachungsabschnitt 18 nicht alles, also eine Kamera, ein LIDER und ein Radar, aufweisen muss.
Die Überwachungskamera 20 ist innerhalb der Fahrzeugkabine bereitgestellt, erfasst Bilder des Fahrers und der Insassen innerhalb der Fahrzeugkabine und gibt die erfassten Bilder an die Steuer-ECU 30 als Bildinformationen aus.
Das Mikrofon 22 ist innerhalb der Fahrzeugkabine bereitgestellt, konvertiert Stimmen innerhalb der Fahrzeugkabine, wie etwa die Stimme eines Fahrzeuginsassen, in elektrische Signale und gibt die elektrischen Signale an die Steuer-ECU 30 als Sprachinformationen aus.
Der Lautsprecher 24 ist innerhalb der Fahrzeugkabine bereitgestellt und konvertiert die Sprachinformationen und dergleichen, die von der Steuer-ECU 30 übertragen wurden, in physikalische Schwingungen und erzeugt Geräusche wie etwa Stimmen.
Der biometrische Sensor 25 erfasst biometrische Informationen, wie etwa Puls, Blutdruck, Herzschlag oder dergleichen, um den Zustand eines Fahrzeuginsassen zu erfassen.
Die stereoskopische 3D-Anzeigevorrichtung 26 zeigt als ein dreidimensionales stereoskopisches Bild und innerhalb der Fahrzeugkabine den virtuellen Mitfahrer 50 an, der sich mit einem Fahrzeuginsassen unterhalten kann. Insbesondere kann das stereoskopische Bild unter Verwendung der Technik, die in dem japanischen Patent Nr. 5646110 offenbart ist, oder der Luftbild(AI)-Platte (http://aerialimaging.tv/), die durch Asukanet Co., Ltd. hergestellt wird, angezeigt werden. In diesem Fall, wie in 3 dargestellt ist, kann die stereoskopische 3D-Anzeigevorrichtung 26 eine AI-Platte 26B und eine stereoskopische Bildreproduktionsvorrichtung 26A, die ein stereoskopisches Bild 52 anzeigt, das Licht in einem statischen Zustand oder einem dynamischen Zustand basierend auf elektronischen Daten emittiert, aufweisen. Die stereoskopische 3D-Anzeigevorrichtung 26 bildet das stereoskopische Bild 52 als den stereoskopischen virtuellen Mitfahrer 50 innerhalb eines freien Raums an der vorderen Flächenseite der AI-Platte 26B. Eine derartige Vorrichtung kann unterhalb des Sitzkissens eines Fahrzeugsitzes bereitgestellt sein, und der virtuelle Mitfahrer kann auf dem Fahrzeugsitz durch Entfernen des Sitzkissens angezeigt werden. Alternativ können zwei Projektoren und ein Bildschirm innerhalb der Fahrzeugkabine bereitgestellt sein, und ein Bild des virtuellen Mitfahrers 50 kann auf dem Bildschirm angezeigt werden. Es wird angemerkt, dass die Figur des virtuellen Mitfahrers 50 gemäß den Präferenzen des Fahrzeuginsassen verändert werden kann.
Die mobile Hochgeschwindigkeit-Kommunikationsvorrichtung 28 ist mit dem Netzwerk 16 verbunden, das ein Mobiltelefon-Leitungsnetzwerk oder ein öffentliches Leitungsnetzwerk ist, und führt eine Übertragung und einen Empfang von Informationen mit dem Spracherkennungszentrum 14 und dem Information-DB-Zentrum 15 aus, die mit dem Netzwerk 16 verbunden sind. Zum Beispiel überträgt die mobile Hochgeschwindigkeit-Kommunikationsvorrichtung 28 über das Netzwerk 16 erfasste Bildinformationen, die durch die Überwachungskamera 20 erfasst wurden, und Sprachinformationen, die durch das Mikrofon 22 gesammelt wurden, an das Spracherkennungszentrum 14 und das Information-DB-Zentrum 15. Des Weiteren empfängt die mobile Hochgeschwindigkeit-Kommunikationsvorrichtung 28 Informationen von dem Spracherkennungszentrum 14 und dem Information-DB-Zentrum 15 über das Netzwerk 16.
Die bordeigenen Vorrichtungen 32 sind Geräte, die in dem Fahrzeug 1 installiert sind, und weisen verschiedene Typen von bordeigenen Vorrichtungen auf, wie etwa zum Beispiel die Klimaanlage, eine Audiovorrichtung und dergleichen.
Die Steuer-ECU 30 führt verschiedene Typen von Steuerung zur Kommunikation zwischen dem Fahrzeuginsassen und dem virtuellen Mitfahrer 50 und zum Präsentieren von Informationen und Steuern der bordeigenen Vorrichtungen 32 gemäß den Präferenzen des Fahrzeuginsassen durch Kommunizieren mit dem Spracherkennungszentrum 14 und dem Information-DB-Zentrum 15, die mit dem Netzwerk 16 verbunden sind, durch. Wenn eine Präsentation von Informationen oder eine Steuerung der bordeigenen Vorrichtungen 32 ausgeführt wird, steuert die Steuer-ECU 30 eine Anzeige eines stereoskopischen Bildes und eine Erzeugung einer Stimme derart, dass der virtuelle Mitfahrer 50 die Präsentation von Informationen gegenüber dem Fahrzeuginsassen oder eine Bedienung der bordeigenen Vorrichtungen 32 auszuführen scheint.
Das Spracherkennungszentrum 14 weist ein Spracherkennungssystem 34, eine Konversationssteuerung 36 und eine Kommunikationsvorrichtung 38 auf. Das Spracherkennungszentrum 14 ist durch einen Computer realisiert, der eine CPU, einen ROM, einen RAM und dergleichen aufweist.
Das Spracherkennungssystem 34 analysiert Sprachinformationen (Daten), die von der bordeigenen Einheit 12 empfangen werden, und führt eine Spracherkennung des Fahrzeuginsassen unter Verwendung von bekannten Spracherkennungstechniken aus.
Die Konversationssteuerung 36 plant eine Kommunikation zwischen dem Fahrzeuginsassen und dem virtuellen Mitfahrer 50 durch Erzeugen von Gesprächsinformationen (Daten) basierend auf den Spracherkennungsergebnissen durch das Spracherkennungssystem 34 und Rückführen der Gesprächsinformationen an die bordeigene Einheit 12. Zum Zeitpunkt des Erzeugens der Gesprächsinformationen basierend auf den Spracherkennungsergebnissen erzeugt die Konversationssteuerung 36 die Gesprächsinformationen unter Verwendung der Ergebnisse der Präferenzanalyse, die von dem Information-DB-Zentrum 15 erhalten werden.
Es kann eine beliebige von verschiedenen Techniken für die Spracherkennung und für das Erzeugen der Gesprächsinformationen durch die Konversationssteuerung 36 verwendet werden, und daher entfällt eine ausführliche Beschreibung davon.
Die Kommunikationsvorrichtung 38 ist mit dem Netzwerk 16 verbunden, das ein Mobiltelefon-Leitungsnetzwerk oder ein öffentliches Leitungsnetzwerk ist, und ist imstande, mit der bordeigenen Einheit 12 und dem Information-DB-Zentrum 15 zu kommunizieren, die mit dem Netzwerk 16 verbunden sind.
Das Information-DB-Zentrum 15 weist eine individuelle Information-DB 40, die als ein Speicherabschnitt dient, eine Präferenzanalysesteuerung 42 und eine Kommunikationsvorrichtung 44 auf. Ähnlich zu dem Spracherkennungszentrum 14 ist das Information-DB-Zentrum 15 durch einen Computer realisiert, der eine CPU, einen ROM, einen RAM und dergleichen aufweist.
Die individuelle Information-DB 40 speichert verschiedene Typen von Informationen in Bezug auf den Fahrzeuginsassen als individuelle Informationen (Daten). Zum Beispiel sind Informationen, wie etwa ein Netzwerkzahlungsverkehrsverlauf, Kreditkarten-Nutzungsinformationen, Positionsinformationen in Verbindung mit einem Smartphone, das der Fahrzeuginsasse trägt, Informationen über Themen, die von Netzwerken, wie etwa das Internet und dergleichen, gesammelt werden, in der individuellen Information-DB 40 gespeichert. Insbesondere sammelt die Präferenzanalysesteuerung 42 von der bordeigenen Einheit 12 und dem Mobiltelefon des Fahrzeuginsassen oder dergleichen Informationen, wie etwa Kategorien, Positionen und dergleichen von Restaurants, die der Fahrzeuginsasse besucht hat, durch das Fahrzeug und speichert diese Informationen in der individuellen Information-DB 40.
Die Präferenzanalysesteuerung 42 führt eine Präferenzanalyse des Fahrzeuginsassen basierend auf erfassten Bildinformationen und dem Zustand des Fahrzeuginsassen (den Ergebnissen einer Erfassung des biometrischen Sensors 25 und dergleichen), die von der bordeigenen Einheit 12 erhalten werden, und den Gesprächsinformationen und den Spracherkennungsergebnissen, die durch das Spracherkennungszentrum 14 durchgeführt werden, durch, wählt Informationen aus, die zu den Präferenzen des Fahrzeuginsassen passen und führt die Informationen an das Spracherkennungszentrum 14 zurück. Des Weiteren lernt die Präferenzanalysesteuerung 42 durch künstliche Intelligenz unter Verwendung eines neuralen Netzwerks oder dergleichen verschiedene Typen von Informationen, wie die Temperatureinstellung der Klimaanlage, die Lautstärkeneinstellung des Audiosystems und dergleichen sowie eine Zeitplanung zum Vorschlagen derartiger Informationen, und präsentiert die verschiedenen Typen von Informationen dem Fahrzeuginsassen. Es wird angemerkt, dass die Präferenzanalyse durch die Präferenzanalysesteuerung 42 unter Verwendung von Techniken von künstlicher Intelligenz (AI) durchgeführt werden kann.
Die Kommunikationsvorrichtung 44 ist mit dem Netzwerk 16 verbunden, das ein Mobiltelefon-Leitungsnetzwerk oder ein öffentliches Leitungsnetzwerk ist, und ist imstande, mit der bordeigenen Einheit 12 und dem Spracherkennungszentrum 14 zu kommunizieren, die mit dem Netzwerk 16 verbunden sind.
Als Nächstes wird ein Beispiel zur Kommunikation mit dem virtuellen Mitfahrer 50 in dem fahrzeuginternen System 10 gemäß der Ausführungsform, wie zuvor ausgestaltet, beschrieben.
Zum Beispiel für den Fall, dass der Fahrzeuginsasse beginnt, mit dem virtuellen Mitfahrer 50 zu sprechen, wie etwa „Was sollen wir heute zu Mittag essen?“, erkennt das Spracherkennungszentrum 14 die Stimme des Fahrzeuginsassen und sucht das Information-DB-Zentrum 15 nach Informationen in Bezug auf Einrichtungen ab, die einem Detail entsprechen, das durch die Erkennungsergebnisse basierend auf den Präferenzanalyseergebnissen angegeben wird. Die Präferenzanalyse kann unter Verwendung von verschiedenen bekannten Techniken ausgeführt werden, wie das Verfahren zur Präferenzanalyse. Zum Beispiel werden aktuelle Standortinformationen von einer Navigationsvorrichtung erhalten, die die bordeigene Vorrichtung 32 ist, oder von dem Mobiltelefon des Fahrzeuginsassen, wobei nach Einrichtungen in der Nähe des aktuellen Standorts gesucht wird, eine Präferenzanalyse von der Anzahl von Besuchen pro Kategorie der Einrichtungen, die in der Vergangenheit besucht wurden, ausgeführt wird und empfohlene Einrichtungen abgerufen werden. Dann führt das Information-DB-Zentrum 15 die Ergebnisse der Suche an das Spracherkennungszentrum 14 zurück, das Spracherkennungszentrum 14 erzeugt Gesprächsinformationen zum Vorschlagen der empfohlenen Einrichtungen und führt die Informationen an die bordeigene Einheit 12 zurück, und der virtuelle Mitfahrer 50 schlägt die empfohlenen Einrichtungen dem Fahrzeuginsassen basierend auf den Gesprächsinformationen vor. Zum Beispiel steuert die bordeigene Einheit 12 den Lautsprecher 24 und gibt eine Nachricht aus, wie etwa „X scheint ein beliebter Ort zu sein“. Wenn als Reaktion darauf der Fahrzeuginsasse „Okay, lass es uns ausprobieren“ sagt, überträgt die bordeigene Einheit 12 die Sprachinformationen des Fahrzeuginsassen an das Spracherkennungszentrum 14, wobei das Spracherkennungszentrum 14 eine Sprachanalyse ausführt und Antwortinformationen erzeugt. Zum Beispiel werden zu diesem Zeitpunkt Positionsinformationen der Einrichtung, die zu besuchen ist, als die Antwortinformationen übertragen. Für den Fall, dass die Antwortinformationen an die bordeigene Einheit 12 zurückgeführt werden, steuert die Steuer-ECU 30 der bordeigenen Einheit 12 dann die Navigationsvorrichtung als die bordeigene Vorrichtung 32 und veranlasst die Navigationsvorrichtung dazu, den Zielort einzustellen. Wenn dies durchgeführt ist, wird ein Bild derart angezeigt, dass der virtuelle Mitfahrer 50 eine Einstellung des Zielorts auf der Navigationsvorrichtung ausführt.
Des Weiteren wird in dem fahrzeuginternen System 10 gemäß der Ausführungsform die Fahrbelastung des Fahrers erfasst und der virtuelle Mitfahrer 50 wird angezeigt, wenn es keine Fahrbelastung gibt, wie etwa während eines automatisierten Fahrens. Insbesondere erfasst die Steuer-ECU 30 als die Fahrbelastung, ob es einen Zustand gibt, in dem das fahrzeuginterne System 10 sicher verwendet werden kann, basierend auf den Überwachungsergebnissen des Umfelds des Fahrzeugs durch den Fahrzeugumfeld-Überwachungsabschnitt 18. Die Steuer-ECU 30 entscheidet, dass es einen Zustand gibt, in dem das fahrzeuginterne System 10 sicher verwendet werden kann, wenn es keine Fahrbelastung auf dem Fahrer gibt, wie etwa für den Fall, dass die Steuer-ECU den Fahrmodus in einem automatisierten Fahrmodus basierend auf den Überwachungsergebnissen des Fahrzeugumfeld-Überwachungsabschnitts 18 umgeschaltet hat und das Fahrzeug 1 in den automatisierten Fahrmodus eintritt. Dann zeigt die bordeigene Einheit 12 den virtuellen Mitfahrer 50 an. Es wird angemerkt, dass die Entscheidung darüber, ob ein Umschalten des Fahrmodus in den automatisierten Fahrmodus ausgeführt werden kann oder nicht, unter Verwendung von bekannten Fahrtechnologien auf den Überwachungsergebnissen des Fahrzeugumfeld-Überwachungsabschnitts 18 basiert.
Des Weiteren beendet die Steuer-ECU 30 das Anzeigen des virtuellen Mitfahrers 50 sogar mitten in der Kommunikation, wenn ein Zustand, in dem das fahrzeuginterne System 10 nicht sicher verwendet werden kann, von den Überwachungsergebnissen des Fahrzeugumfeld-Überwachungsabschnitts 18 erfasst wird. Der Fahrer kann dadurch mit dem virtuellen Mitfahrer 50 kommunizieren, während die Sicherheit gewährleistet ist.
Als Nächstes wird ein spezifisches Verarbeiten, das an den jeweiligen Abschnitten des fahrzeuginternen Systems 10 gemäß der Ausführungsform durchgeführt wird, beschrieben.
Als Erstes wird ein Verarbeiten, das an der bordeigenen Einheit 12 durchgeführt wird, beschrieben. 4 ist ein Flussdiagramm, das den Verarbeitungsablauf darstellt, der an der bordeigenen Einheit 12 des fahrzeuginternen Systems 10 gemäß der Ausführungsform durchgeführt wird. Es wird angemerkt, dass das Verarbeiten von 4 zum Beispiel beginnt, wenn eine Anweisung, das Fahrzeug 1 über einen Zündungsschalter oder dergleichen zu starten, in einem Zustand gegeben wird, in dem ein Anzeigen des virtuellen Mitfahrers 50 in dem Fahrzeug 1 im Voraus festgelegt wurde.
In Schritt 100 sammelt die Steuer-ECU 30 die Überwachungsergebnisse des Fahrzeugumfelds durch den Fahrzeugumfeld-Überwachungsabschnitt 18, und das Verarbeiten geht zu Schritt 102 über.
In Schritt 102 entscheidet die Steuer-ECU 30, ob es eine Fahrbelastung auf dem Fahrer gibt oder nicht. Zum Beispiel bestimmt die Steuer-ECU 30, ob das Fahrzeug 1 in einem automatisierten Fahrmodus ist oder nicht, entscheidet, dass es einen Zustand gibt, in dem das fahrzeuginterne System 10 sicher verwendet werden kann, wenn es keine Fahrbelastung auf dem Fahrer gibt. Die Entscheidung, ob sich das Fahrzeug 1 in dem automatisierten Fahrmodus befindet oder nicht, kann zum Beispiel basierend auf den Überwachungsergebnissen des Umfelds des Fahrzeugs ausgeführt werden. Wenn diese Entscheidung negativ ist, geht das Verarbeiten zu Schritt 104 über. Andernfalls, d. h., wenn diese Entscheidung positiv ist, geht das Verarbeiten zu Schritt 108 über.
In Schritt 104 entscheidet die Steuer-ECU 30, ob Schritt 114, der später beschrieben wird, bereits ausgeführt wurde oder nicht und der virtuelle Mitfahrer 50 angezeigt wird. Wenn diese Entscheidung positiv ist, geht das Verarbeiten zu Schritt 106 über. Wenn diese Entscheidung negativ ist, geht das Verarbeiten zu Schritt 100 zurück und das zuvor beschriebene Verarbeiten wird wiederholt.
In Schritt 106 beendet die Steuer-ECU 30 die Anzeige des virtuellen Mitfahrers 50, und das Verarbeiten geht zu Schritt 116 über. In der Ausführungsform wird nämlich der virtuelle Mitfahrer 50 nur für den Fall angezeigt, dass es keine Fahrbelastung gibt, und wird nur für den Fall nicht angezeigt, dass dem es eine Fahrbelastung gibt. Der Fahrzeuginsasse kann daher mit dem virtuellen Mitfahrer 50 kommunizieren, während für die Sicherheit gesorgt ist.
In Schritt 108 steuert die Steuer-ECU 30 die stereoskopische 3D-Anzeigevorrichtung 26, um den virtuellen Mitfahrer 50 anzuzeigen, und das Verarbeiten geht zu Schritt 110 über.
In Schritt 110 überträgt die Steuer-ECU 30 erfasste Bilder, die durch die Überwachungskamera 20 erfasst wurden, und Sprachinformationen, die durch das Mikrofon 22 gesammelt wurden, an das Spracherkennungszentrum 14, und das Verarbeiten geht zu Schritt 112 über.
In Schritt 112 entscheidet die Steuer-ECU 30, ob ein Steuersignal zum Steuern des virtuellen Mitfahrers 50 von dem Spracherkennungszentrum 14 empfangen wurde oder nicht. Wenn diese Entscheidung negativ ist, geht das Verarbeiten zu Schritt 110 zurück und das zuvor beschriebene Verarbeiten wird wiederholt. Wenn diese Entscheidung positiv ist, geht das Verarbeiten zu Schritt 114 über.
In Schritt 114 führt die Steuer-ECU 30 eine Verhaltenssteuerung des virtuellen Mitfahrers 50 aus und das Verarbeiten geht zu Schritt 116 über. Bei der Verhaltenssteuerung des virtuellen Mitfahrers 50 steuert die Steuer-ECU 30 zum Beispiel für den Fall, dass eine Bedienung der Klimaanlage oder der Audiovorrichtung durch eine Konversation mit dem Fahrzeuginsassen angewiesen wird, die stereoskopische 3D-Anzeigevorrichtung 26 und den Lautsprecher 24, um ein Bild des virtuellen Mitfahrers 50 anzuzeigen, der die bordeigene Vorrichtung 32 bedient, was der Anweisung des Fahrzeuginsassen entspricht, und um eine Stimme basierend auf Gesprächsinformationen zu erzeugen. Wie im Folgenden beschrieben wird, werden die Gesprächsinformationen durch das Spracherkennungszentrum 14 gemäß den Präferenzanalyseergebnissen des Information-DB-Zentrums 15 erzeugt.
In Schritt 116 entscheidet die Steuer-ECU 50, ob eine Anzeige des virtuellen Mitfahrers 50 beendet wird oder nicht. Zum Beispiel kann die Entscheidung ein Entscheiden aufweisen, ob eine Beendigung der Anzeige des virtuellen Mitfahrers 50 durch eine Stimme des Fahrzeuginsassen angewiesen wurde oder nicht, oder ein Entscheiden, ob ein Schalter, der eine Beendigung der Anzeige des virtuellen Mitfahrers 50 anweist, bedient wurde oder nicht. Wenn diese Entscheidung negativ ist, geht das Verarbeiten zu Schritt 100 zurück und das zuvor beschriebene Verarbeiten wird wiederholt. Wenn diese Entscheidung positiv ist, endet das Verarbeiten.
Als Nächstes wird ein Verarbeiten, das durch das Spracherkennungszentrum 14 ausgeführt wird, beschrieben. 5 ist ein Flussdiagramm, das den Verarbeitungsablauf darstellt, der an dem Spracherkennungszentrum 14 des fahrzeuginternen Systems 10 gemäß der Ausführungsform durchgeführt wird. In der Ausführungsform beginnt das Verarbeiten von 5 für den Fall, dass Sprachinformationen und erfasste Bildinformationen des Fahrzeuginsassen von der bordeigenen Einheit 12 in Schritt 110 übertragen wurden.
In Schritt 200 entscheidet die Konversationssteuerung 36, ob erfasste Bilder und Sprachinformationen, die von der bordeigenen Einheit 12 übertragen wurden, empfangen wurden oder nicht. Die Routine wartet, bis diese Entscheidung positiv ist, und geht dann zu Schritt 202 über.
In Schritt 202 führt das Spracherkennungssystem 34 eine Spracherkennung auf den Sprachinformationen aus, die von der bordeigenen Einheit 12 empfangen wurden, und das Verarbeiten geht zu Schritt 204 über.
In Schritt 204 weist die Konversationssteuerung 36 das Information-DB-Zentrum 15 an, eine Präferenzanalyse basierend auf den erfassten Bildern, die von der bordeigenen Einheit 12 empfangen wurden, und den Spracherkennungsergebnissen von dem Spracherkennungssystem 34 auszuführen, und das Verarbeiten geht zu Schritt 206 über.
In Schritt 206 entscheidet die Konversationssteuerung 36, ob Präferenzanalyseergebnisse von dem Information-DB-Zentrum 15 empfangen wurden oder nicht. Die Routine wartet, bis diese Entscheidung positiv ist, und geht dann zu Schritt 208 über.
In Schritt 208 erzeugt die Konversationssteuerung 36 ein Steuersignal für den virtuellen Mitfahrer 50 basierend auf den Ergebnissen der Präferenzanalyse und das Verarbeiten geht zu Schritt 210 über. Insbesondere gemäß den Ergebnissen der Präferenzanalyse erzeugt die Konversationssteuerung 36 ein Steuersignal, das Gesprächsinformationen aufweist, die eine Nachricht ausdrücken, wie etwa „X scheint ein beliebter Ort zu sein“ oder dergleichen.
In Schritt 210 führt die Konversationssteuerung 36 der bordeigenen Einheit 12 das erzeugte Steuersignal für den virtuellen Mitfahrer 50 zurück, und das Verarbeiten endet.
Als Nächstes wird ein spezifisches Verarbeiten, das an dem Information-DB-Zentrum 15 ausgeführt wird, beschrieben. 6 ist ein Flussdiagramm, das ein Beispiel des Verarbeitungsablaufs darstellt, der an der Präferenzanalysesteuerung 42 des Information-DB-Zentrums 15 des fahrzeuginternen Systems 10 gemäß der Ausführungsform ausgeführt wird.
In Schritt 300 entscheidet die Präferenzanalysesteuerung 42, ob Bildinformationen und Spracherkennungsergebnisse von dem Spracherkennungszentrum 14 empfangen wurden oder nicht. Die Routine wartet, bis diese Entscheidung positiv ist, und geht dann zu Schritt 302 über.
In Schritt 302 führt die Präferenzanalysesteuerung 42 eine Präferenzanalyse basierend auf den erfassten Bildern und den Spracherkennungsergebnissen aus und das Verarbeiten geht zu Schritt 304 über. Die Präferenzanalysesteuerung 42 führt nämlich eine Präferenzanalyse unter Verwendung der individuellen Informationen des Fahrzeuginsassen aus, die in der individuellen Information-DB 40 des Information-DB-Zentrums 15 gespeichert sind. Zum Beispiel führt die Präferenzanalysesteuerung 42 eine Präferenzanalyse basierend auf dem Ausdruck und der Konversation des Fahrzeuginsassen und auf den Informationen, die in der individuellen Information-DB 40 gespeichert sind, aus und ruft Informationen, die vorzuschlagen sind, wie etwa Einrichtungen, die der Fahrzeuginsasse bevorzugt, ab. Es wird angemerkt, dass der Zustand des Fahrzeuginsassen, wie etwa der Ausdruck des Fahrzeuginsassen und dergleichen, durch ein Bildverarbeiten auf den erfassten Bildern an der Steuer-ECU 30 der bordeigenen Einheit 12 erhalten werden kann und nur ein ID-Code, der den Zustand des Fahrzeuginsassen ausdrückt, an das Information-DB-Zentrum 15 übertragen werden kann.
In Schritt 304 führt die Präferenzanalysesteuerung 42 die Präferenzanalyseergebnisse dem Spracherkennungszentrum 14 zurück, und das Verarbeiten endet.
Aufgrund des Verarbeitens, das auf diese Weise durch die jeweiligen Abschnitte an dem fahrzeuginternen System 10 gemäß der Ausführungsform ausgeführt wird, wird der Gesprächspartner klar, da der virtuelle Mitfahrer 50 angezeigt wird, und ein Fahrzeuginsasse kann mit dem virtuellen Mitfahrer 50 kommunizieren, ohne dabei ein seltsames Gefühl zu haben. Des Weiteren ermöglicht das fahrzeuginterne System 10 einem Fahrzeuginsassen, den virtuellen Mitfahrer 50 anzuweisen, die bordeigene Vorrichtung 32 zu bedienen, und den virtuellen Mitfahrer 50 dazu zu veranlassen, die bordeigene Vorrichtung 32 zu bedienen, wodurch ein Fahrzeuginsasse das Fahren mit dem Gefühl, dass ein normaler Mitfahrer anwesend ist, genießen kann.
In der zuvor beschriebenen Ausführungsform wurde das Verarbeiten des Falls beschrieben, dass eine Konversation von dem Fahrzeuginsassen mit einem virtuellen Mitfahrer 50 begonnen wird. Ein Beginnen einer Konversation ist jedoch nicht darauf beschränkt, von dem Fahrzeuginsassen zu kommen, und eine Konversation kann von dem virtuellen Mitfahrer 50 begonnen werden. Im Folgenden wird ein Beispiel des Falls beschrieben, dass eine Konversation von dem virtuellen Mitfahrer 50 begonnen wird.
Zum Beispiel sammelt die Präferenzanalysesteuerung 42 Informationen in Bezug auf das Fahrzeug und den Fahrzeuginsassen von der bordeigenen Einheit 12 und führt eine Präferenzanalyse aus. In der Präferenzanalyse werden hier zum Beispiel Präferenzen des Fahrzeuginsassen, wie etwa die Fahrzeugkabinentemperatur, Auswahl und Lautstärke von Musik und dergleichen, als anweisende Informationen zum Lernen durch künstliche Intelligenz eines neuralen Netzwerks oder dergleichen aus einem Bedienungsverlauf der bordeigenen Vorrichtung 32 gelernt und die Zustände des Fahrzeugs und des Fahrzeuginsassen sowie die bevorzugten Zustände des Fahrzeuginsassen analysiert. Dann wird basierend auf den Informationen, die von der bordeigenen Einheit 12 gesammelt werden, für den Fall, dass der aktuelle Zustand des Fahrzeuginsassen von dem bevorzugten Zustand des Fahrzeuginsassen abweicht, der bevorzugte Zustand von dem Spracherkennungszentrum 14 an die bordeigene Einheit 12 als zu präsentierende Informationen (d. h. Präsentationsinformationen) übertragen. Die bordeigene Einheit 12 steuert dadurch das Verhalten des virtuellen Mitfahrers 50 und führt eine Bedienung der entsprechenden bordeigenen Vorrichtung 32 aus.
In einem anderen Beispiel sammelt die Präferenzanalysesteuerung 42 Informationen von der Navigationsvorrichtung und sagt in dem Fall eines Auftretens eines Staus die Ankunftszeit voraus und entscheidet, ob es besser wäre, an einer naheliegenden Einrichtung anzuhalten oder nicht. Für den Fall, dass es besser wäre, an einer naheliegenden Einrichtung anzuhalten, kann die Präferenzanalysesteuerung 42 dann eine Präferenzanalyse des Fahrzeuginsassen basierend auf Informationen in Bezug auf naheliegende Einrichtungen und den Informationen, die in der individuellen Information-DB 40 gespeichert sind, ausführen und Informationen erzeugen, die zu präsentieren sind, die eine Einrichtung vorschlagen, die zu der Präferenz des Fahrzeuginsassen passt, und vorschlagen, dass der Fahrzeuginsasse den Stau vermeidet, indem diese Informationen an die bordeigene Einheit 12 über das Spracherkennungszentrum 14 übertragen werden.
Hier wird ein spezifisches Beispiel eines Verarbeitens beschrieben, das an dem fahrzeuginternen System 10 für dem Fall ausgeführt wird, dass eine Konversation von dem virtuellen Mitfahrer 50 begonnen wird.
7 ist ein Flussdiagramm, das ein Beispiel eines Verarbeitens darstellt, das an der Präferenzanalysesteuerung 42 des Information-DB-Zentrums 15 für den Fall, dass eine Konversation von dem virtuellen Mitfahrer begonnen wird, ausgeführt wird. Es wird angemerkt, dass das Verarbeiten von 7 zum Beispiel nach einer vorbestimmten Zeitdauer durchgeführt wird. Alternativ kann das Verarbeiten von 7 begonnen werden, nachdem das Fahrzeug 1 gestartet wurde und wenn eine Kommunikation möglich wird, und kann ab dem Start vor dem Ende wiederholt werden.
In Schritt 400 gibt die Präferenzanalysesteuerung 42 an die bordeigene Einheit 12 eine Anfrage aus, um Informationen in Bezug auf das Fahrzeug und den Fahrzeuginsassen zu sammeln, und das Verarbeiten geht zu Schritt 402 über. Zum Beispiel wird eine Anfrage an die bordeigene Einheit 12 übertragen, um Informationen in Bezug auf das Fahrzeug 1, wie etwa Positionsinformationen, die von einer Navigationsvorrichtung gesammelt werden, die als die bordeigene Vorrichtung 32 dient, die Fahrzeuggeschwindigkeit, die Klimaanlagentemperatur, die Lautstärke von Musik und dergleichen, und Informationen in Bezug auf den Fahrzeuginsassen, wie die Erfassungsergebnisse des biometrischen Sensors 25 oder Bildinformationen des Fahrzeuginsassen, die durch die Überwachungskamera 20 gesammelt wurden, zu sammeln.
In Schritt 402 entscheidet die Präferenzanalysesteuerung 42, ob die angeforderten Informationen empfangen wurden oder nicht. Die Routine wartet, bis diese Entscheidung positiv ist, und geht dann zu Schritt 404 über.
In Schritt 404 führt die Präferenzanalysesteuerung 42 eine Präferenzanalyse basierend auf den gesammelten Informationen aus, und das Verarbeiten geht zu Schritt 406 über. Zum Beispiel werden Präferenzen des Fahrzeuginsassen, wie etwa Einrichtungen, die nahe dem aktuellen Standort sind, die Fahrzeugkabinentemperatur, die Audiolautstärke und dergleichen, analysiert.
In Schritt 406 entscheidet die Präferenzanalysesteuerung 42, ob es Zeit ist, Informationen zu präsentieren, oder nicht. In dieser Entscheidung wird zum Beispiel entschieden, ob es Zeit ist, um Informationen, die durch künstliche Intelligenz oder dergleichen aus Informationen in Bezug auf das Fahrzeug und den Fahrzeuginsassen oder dergleichen gelernt wurden, zu präsentieren, oder nicht. Wenn diese Entscheidung negativ ist, geht das Verarbeiten zu Schritt 400 zurück, und das zuvor beschriebene Verarbeiten wird wiederholt. Wenn diese Entscheidung positiv ist, geht das Verarbeiten zu Schritt 408 über.
In Schritt 408 gibt die Präferenzanalysesteuerung 42 vorzuschlagende Informationen, die durch die Präferenzanalyse erhalten wurden, an das Spracherkennungszentrum 14 als zu präsentierende Informationen aus, und das Verarbeiten endet.
8 ist ein Flussdiagramm, das ein Beispiel des Verarbeitungsablaufs darstellt, der an der Konversationssteuerung 36 des Spracherkennungszentrums 14 für den Fall ausgeführt wird, dass eine Konversation von dem virtuellen Mitfahrer in dem fahrzeuginternen System 10 gemäß der Ausführungsform begonnen wird. Es wird angemerkt, dass das Verarbeiten von 8 zum Beispiel beginnt, wenn zu präsentierende Informationen von dem Information-DB-Zentrum 15 an die Konversationssteuerung 36 übertragen wurden.
In Schritt 500 entscheidet die Konversationssteuerung 36, ob zu präsentierende Informationen von dem Information-DB-Zentrum 15 empfangen wurden oder nicht. Die Routine wartet, bis diese Entscheidung positiv ist, und geht dann zu Schritt 502 über.
In Schritt 502 erzeugt die Konversationssteuerung 36 ein Steuersignal für den virtuellen Mitfahrer 50 basierend auf den zu präsentierenden Informationen, und das Verarbeiten geht zu Schritt 504 über. Insbesondere erzeugt die Konversationssteuerung 36 ein Steuersignal, das Gesprächsinformationen aufweist, die den zu präsentierenden Informationen entsprechen. Zum Beispiel werden Gesprächsinformationen zum Vorschlagen einer naheliegenden Einrichtung, die den Vorlieben des Fahrzeuginsassen entspricht, Gesprächsinformationen zum Vorschlagen einer Veränderung der Fahrzeugkabinentemperatur, Gesprächsinformationen zum Vorschlagen einer Veränderung der Audiolautstärke, Gesprächsinformationen zum Vorschlagen eines Vermeidens eines Staus oder dergleichen als das Steuersignal für den virtuellen Mitfahrer 50 erzeugt.
In Schritt 504 überträgt die Konversationssteuerung 36 das Steuersignal für den virtuellen Mitfahrer 50 an die bordeigene Einheit 12, und das Verarbeiten endet.
9 ist ein Flussdiagramm, das ein Beispiel des Verarbeitens darstellt, das an der Steuer-ECU 30 der bordeigenen Einheit 12 für den Fall, dass eine Konversation von dem virtuellen Mitfahrer begonnen wird, in dem fahrzeuginternen System 10 gemäß der Ausführungsform ausgeführt wird. Es wird angemerkt, dass das Verarbeiten von 9 zum Beispiel begonnen wird, wenn eine Anfrage, Informationen zu sammeln, von dem Information-DB-Zentrum 15 gestellt wird, oder wenn das Steuersignal für den virtuellen Mitfahrer 50 von dem Spracherkennungszentrum 14 an die bordeigene Einheit 12 übertragen wurde.
In Schritt 600 entscheidet die Steuer-ECU 30, ob eine Anfrage, Informationen zu sammeln, von dem Information-DB-Zentrum 15 gestellt wurde oder nicht. In dieser Entscheidung wird entschieden, ob eine Informationssammlungsanfrage durch den zuvor beschriebenen Schritt 400 gestellt wurde oder nicht. Wenn diese Entscheidung positiv ist, geht das Verarbeiten zu Schritt 602 über. Wenn diese Entscheidung negativ ist, geht das Verarbeiten zu Schritt 604 über.
In Schritt 602 sammelt die Steuer-ECU 30 Informationen und überträgt die gesammelten Informationen an das Information-DB-Zentrum 15 und das Verarbeiten geht zu Schritt 604 über. Zum Beispiel sammelt die Steuer-ECU 30 verschiedene Typen von Informationen, wie Bilder des Fahrzeuginsassen, die durch die Überwachungskamera 20 erfasst wurden, eine Stimme des Fahrzeuginsassen, die durch das Mikrofon 22 gesammelt wurde, Erfassungsergebnisse des biometrischen Sensors 25, Informationen, die von der bordeigenen Vorrichtung 32 erhalten wurden (z. B. Positionsinformationen, Fahrzeugkabinentemperatur, Audiolautstärke und dergleichen), und überträgt diese Informationen an das Information-DB-Zentrum 15.
In Schritt 604 entscheidet die Steuer-ECU 30, ob ein Steuersignal für den virtuellen Mitfahrer 50 empfangen wurde oder nicht. In dieser Entscheidung wird entschieden, ob das Steuersignal, das von dem Spracherkennungszentrum 14 übertragen wurde, durch den zuvor beschriebenen Schritt 504 empfangen wurde oder nicht. Wenn diese Entscheidung positiv ist, geht das Verarbeiten zu Schritt 606 über. Wenn diese Entscheidung negativ ist, wird das Verarbeiten beendet, und ein weiteres Verarbeiten wird ausgeführt.
In Schritt 606 entscheidet die Steuer-ECU 30, ob der virtuelle Mitfahrer 50 angezeigt wird oder nicht. In dieser Entscheidung wird zum Beispiel entschieden, ob der zuvor beschriebene Schritt 114 bereits ausgeführt wurde oder nicht und der virtuelle Mitfahrer 50 angezeigt wird. Alternativ wird ähnlich zu Schritt 102 entschieden, ob es eine Belastung auf dem Fahrer gibt oder nicht. Wenn diese Entscheidung positiv ist, geht das Verarbeiten zu Schritt 608 über. Wenn diese Entscheidung negativ ist, geht das Verarbeiten zu Schritt 610 über.
In Schritt 608 führt die Steuer-ECU 30 eine Verhaltenssteuerung des virtuellen Mitfahrers 50 aus, und das Verarbeiten endet. Bei der Verhaltenssteuerung des virtuellen Mitfahrers 50 steuert zum Beispiel die Steuer-ECU 30 die stereoskopische 3D-Anzeigevorrichtung 26 und den Lautsprecher 24, um ein Bild des virtuellen Mitfahrers 50 anzuzeigen, der einen Vorschlag macht, der durch die Präsentationsinformationen basierend auf den Ergebnissen der Präferenzanalyse ausgedrückt wird, und um eine Stimme basierend auf den Gesprächsinformationen zu erzeugen. Zum Beispiel beeinflusst die ECU 30 basierend auf den Informationen, die von der bordeigenen Einheit 12 gesammelt wurden, für den Fall, dass der aktuelle Zustand von dem bevorzugten Zustand des Fahrzeuginsassen abweicht, die Steuerung, um ein Bild des virtuellen Mitfahrers 50 anzuzeigen, der einen bevorzugten Zustand vorschlägt, und um eine Stimme zu erzeugen, die dem Inhalt des Vorschlags entspricht.
Andernfalls informiert die Steuer-ECU 30 in Schritt 610 durch Ausgeben einer Stimme aus dem Lautsprecher 24, welche die Präsentationsinformationen angibt, den Fahrzeuginsassen über die Präsentationsinformationen, ohne den virtuellen Mitfahrer 50 anzuzeigen, und das Verarbeiten endet.
Aufgrund des Verarbeitens, das an den jeweiligen Abschnitten des fahrzeuginternen Systems 10 auf diese Weise ausgeführt wird, werden die Zustände des Fahrzeugs und des Fahrzeuginsassen verstanden, und der virtuelle Mitfahrer 50 kann verschiedene Vorschläge gegenüber dem Fahrzeuginsassen darauf basierend machen.
In der zuvor beschriebenen Ausführungsform wird der virtuelle Mitfahrer 50 nicht angezeigt, wenn es eine Fahrbelastung gibt, um für die Sicherheit zu sorgen. Die Offenbarung ist jedoch nicht darauf beschränkt. Zum Beispiel kann der virtuelle Mitfahrer 50 angezeigt werden, und eine Kommunikation kann unabhängig von der Fahrbelastung möglich gemacht werden, im Falle einer Kommunikation mit einem normalen Mitfahrer in einem Fahrzeug, das nicht mit einer automatisierten Fahrfunktion ausgestattet ist. Alternativ kann, wenn es eine Fahrbelastung gibt, die Anzeige des virtuellen Mitfahrers 50 beendet werden, und eine Konversation mit dem virtuellen Mitfahrer 50 kann weiterhin aktiviert sein.
Des Weiteren beschreibt die zuvor beschriebene Ausführungsform eine Konfiguration, in der das Verarbeiten an jeweiligen Abschnitten der bordeigenen Einheit 12 des Spracherkennungszentrums 14 und des Information-DB-Zentrums 15 ausgeführt wird, die Offenbarung ist jedoch nicht darauf beschränkt. Zum Beispiel, wie in 10 dargestellt ist, kann es ein fahrzeuginternes System 11 mit einer Ausgestaltung geben, in der das Information-DB-Zentrum 15 in der fahrzeuginternen Einheit 12 installiert ist. Alternativ kann ein fahrzeuginternes System 11 derart ausgestaltet sein, dass nicht nur das Information-DB-Zentrum 15, sondern auch das Spracherkennungszentrum 14 in der bordeigenen Einheit 12 installiert ist, und ein Verarbeiten innerhalb der bordeigenen Einheit 12 möglich ist. Für dem Fall, dass das Information-DB-Zentrum 15 in der bordeigenen Einheit 12 installiert ist, ist die Frequenz einer Kommunikation unter Verwendung des Netzwerks 16 niedriger als in der zuvor beschriebenen Ausführungsform, und die Kommunikationskosten sind gesenkt, die Datenmengen, die in der bordeigenen Einheit 12 gespeichert sind, nehmen jedoch zu. Des Weiteren gibt es für den Fall, dass all diese externen Zentren in der bordeigenen Einheit 12 installiert sind, keinen Bedarf an Kommunikation, und eine Kommunikationszeit und Kommunikationskosten können reduziert werden, die Datenmengen, die in der bordeigenen Einheit 12 gespeichert sind, werden jedoch noch größer.
Des Weiteren kann eine Vorrichtung, die Ultraschallwellen erzeugt, ferner an der bordeigenen Einheit 12 des fahrzeuginternen Systems 10 gemäß der Ausführungsform bereitgestellt sein, und dem Fahrzeuginsassen können auch taktile Empfindungen, wie etwa Wärme der Haut und dergleichen, vermittelt werden.
Des Weiteren, obwohl die zuvor beschriebene Ausführungsform ein Beispiel beschreibt, in dem der virtuelle Mitfahrer 50 durch die stereoskopische 3D-Anzeigevorrichtung 26 angezeigt wird, ist die Offenbarung nicht darauf beschränkt. Zum Beispiel kann eine auf dem Kopf montierte Anzeige (HMD) oder eine Anzeigevorrichtung vom Brillentyp verwendet werden, um den virtuellen Mitfahrer 50 anzuzeigen. In diesem Fall kann der virtuelle Mitfahrer 50 unter Verwendung von verschiedenen Typen von bekannten Techniken angezeigt werden, wie Virtual Reality (VR), Augmented Reality (AR), Mixed Reality (MR) oder dergleichen.
Das Verarbeiten, das an den jeweiligen Abschnitten des fahrzeuginternen Systems 10 in der zuvor beschriebenen Ausführungsform ausgeführt wird, kann eine Softwareverarbeitung sein, die infolge der Ausführung von Programmen ausgeführt wird, oder kann eine Verarbeitung sein, die durch Hardware ausgeführt wird. Alternativ kann das Verarbeiten durch eine Kombination von Software und Hardware durchgeführt werden. Des Weiteren können in dem Fall eines Verarbeitens durch Software die Programme auf einem beliebigen von verschiedenen Typen von Speichermedien gespeichert und verteilt sein.
Die vorliegende Offenbarung ist nicht auf das zuvor ausgeführte beschränkt und kann im Gegensatz dazu umgesetzt werden, indem sie in verschiedenen Weisen innerhalb eines Umfangs modifiziert wird, der nicht von ihrer Kemaussage abweicht.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2008210359 A [0002]
JP 5646110 [0027]

Claims

Fahrzeuginternes System (10), umfassend: einen Anzeigeabschnitt (26), der ausgestaltet ist, um innerhalb einer Fahrzeugkabine einen virtuellen Mitfahrer (50) zur Konversation mit einem Fahrzeuginsassen stereoskopisch anzuzeigen, einen Sprachdetektor (22), der eine Stimme des Fahrzeuginsassen erfasst, einen Spracherkennungsabschnitt (14), der ausgestaltet ist, um die Stimme, die durch den Sprachdetektor (22) erfasst wird, zu erkennen, und Gesprächsinformationen zur Konversation mit dem Fahrzeuginsassen erzeugt, einen Sprachgenerator (24), der eine Stimme basierend auf den Gesprächsinformationen erzeugt, und eine Steuerung (30), die ausgestaltet ist, um den Anzeigeabschnitt (26) und den Sprachgenerator (24) basierend auf Spracherkennungsergebnissen des Spracherkennungsabschnitts (14) zu steuern, um ein Bild des virtuellen Mitfahrers (50) anzuzeigen, der eine bordeigene Vorrichtung (32) gemäß Anweisungen des Fahrzeuginsassen bedient, und um eine Stimme basierend auf den Gesprächsinformationen zu erzeugen, und ausgestaltet ist, um die bordeigene Vorrichtung (32) gemäß der Anweisung zu steuern.
Fahrzeuginternes System (10), umfassend: einen Anzeigeabschnitt (26), der ausgestaltet ist, um innerhalb einer Fahrzeugkabine einen virtuellen Mitfahrer (50) zur Konversation mit einem Fahrzeuginsassen stereoskopisch anzuzeigen, einen Sprachdetektor (22), der eine Stimme des Fahrzeuginsassen erfasst, einen Spracherkennungsabschnitt (14), der ausgestaltet ist, um die Stimme, die durch den Sprachdetektor (22) erfasst wird, zu erkennen, und Gesprächsinformationen zur Konversation mit dem Fahrzeuginsassen erzeugt, einen Sprachgenerator (24), der eine Stimme basierend auf den Gesprächsinformationen erzeugt, einen Speicherabschnitt (40), der ausgestaltet ist, um Präferenzinformationen in Bezug auf Präferenzen des Fahrzeuginsassen zu speichern, einen Präferenzanalyseabschnitt (42), der ausgestaltet ist, um eine Analyse von Präferenzen des Fahrzeuginsassen basierend auf den Präferenzinformationen, die in dem Speicherabschnitt (40) gespeichert sind, durchzuführen, und eine Steuerung (30), die ausgestaltet ist, um den Anzeigeabschnitt (26) und den Sprachgenerator (24) zu steuern, um ein Bild des virtuellen Mitfahrers (50) anzuzeigen, der einen Vorschlag basierend auf Analyseergebnissen des Präferenzanalyseabschnitts (42) macht, und um eine Stimme basierend auf den Gesprächsinformationen zu erzeugen, die den Analyseergebnissen entsprechen.
Fahrzeuginternes System nach Anspruch 1 oder Anspruch 2, ferner umfassend einen Belastungserfassungsabschnitt (30), der ausgestaltet ist, um eine Fahrbelastung eines Fahrers zu erfassen, wobei die Steuerung (30) ausgestaltet ist, um den Anzeigeabschnitt (26) derart zu steuern, dass für den Fall, dass durch den Belastungserfassungsabschnitt (30) erfasst wird, dass es keine Fahrbelastung gibt, der virtuelle Mitfahrer (50) angezeigt wird, und für den Fall, dass durch den Belastungserfassungsabschnitt (30) erfasst wird, dass es die Fahrbelastung gibt, der virtuelle Mitfahrer (50) nicht angezeigt wird.
Steuerverfahren für fahrzeuginternes System, umfassend: stereoskopisches Anzeigen (108) innerhalb einer Fahrzeugkabine eines virtuellen Mitfahrers (50) zur Konversation mit einem Fahrzeuginsassen, Erfassen (110) einer Stimme des Fahrzeuginsassen, Erkennen (202) der erfassten Stimme und Erzeugen (208) von Gesprächsinformationen zur Konversation mit dem Fahrzeuginsassen, basierend auf Spracherkennungsergebnissen, Anzeigen (114) eines Bildes des virtuellen Mitfahrers (50), der eine bordeigene Vorrichtung gemäß Anweisungen des Fahrzeuginsassen bedient, und Erzeugen einer Stimme basierend auf den Gesprächsinformationen, und Steuern der bordeigenen Vorrichtung gemäß der Anweisung.
Steuerverfahren für ein fahrzeuginternes System, umfassend: stereoskopisches Anzeigen (108) innerhalb einer Fahrzeugkabine eines virtuellen Mitfahrers (50) zur Konversation mit einem Fahrzeuginsassen, Erfassen (110) einer Stimme des Fahrzeuginsassen, Erkennen (202) der erfassten Stimme und Erzeugen (208) von Gesprächsinformationen zur Konversation mit dem Fahrzeuginsassen, Durchführen (204) einer Präferenzanalyse des Fahrzeuginsassen basierend auf Präferenzinformationen des Fahrzeuginsassen, die in einem Speicherabschnitt gespeichert sind, und Anzeigen (114) eines Bildes des virtuellen Mitfahrers (50), der einen Vorschlag basierend auf Ergebnissen der Präferenzanalyse macht, und Erzeugen einer Stimme basierend auf den Gesprächsinformationen, die den Präferenzanalyseergebnissen entsprechen.
Nicht vorübergehendes Speichermedium, das ein Programm speichert, das einen Computer dazu veranlasst, ein Verarbeiten einer fahrzeuginternen Systemsteuerung durchzuführen, wobei das Verarbeiten Folgendes umfasst: stereoskopisches Anzeigen (108) innerhalb einer Fahrzeugkabine eines virtuellen Mitfahrers (50) zur Konversation mit einem Fahrzeuginsassen, Erfassen (110) einer Stimme des Fahrzeuginsassen, Erkennen (202) der erfassten Stimme und Erzeugen (208) von Gesprächsinformationen zur Konversation mit dem Fahrzeuginsassen, basierend auf Spracherkennungsergebnissen, Anzeigen (114) eines Bildes des virtuellen Mitfahrers (50), der eine bordeigene Vorrichtung gemäß Anweisungen des Fahrzeuginsassen bedient, und Erzeugen einer Stimme basierend auf den Gesprächsinformationen, und Steuern der bordeigenen Vorrichtung gemäß der Anweisung.
Nicht vorübergehendes Speichermedium, das ein Programm speichert, das einen Computer dazu veranlasst, ein Verarbeiten einer fahrzeuginternen Systemsteuerung durchzuführen, wobei das Verarbeiten Folgendes umfasst: stereoskopisches Anzeigen (108) innerhalb einer Fahrzeugkabine eines virtuellen Mitfahrers (50) zur Konversation mit einem Fahrzeuginsassen, Erfassen (110) einer Stimme des Fahrzeuginsassen, Erkennen (202) der erfassten Stimme und Erzeugen (208) von Gesprächsinformationen zur Konversation mit dem Fahrzeuginsassen, Durchführen (204) einer Präferenzanalyse des Fahrzeuginsassen basierend auf Präferenzinformationen des Fahrzeuginsassen, die in einem Speicherabschnitt gespeichert sind, und Anzeigen (114) eines Bildes des virtuellen Mitfahrers (50), der einen Vorschlag basierend auf Ergebnissen der Präferenzanalyse macht, und Erzeugen einer Stimme basierend auf den Gesprächsinformationen, die den Präferenzanalyseergebnissen entsprechen.