DE112016007287B4

DE112016007287B4 - Informationsdarstellungsverfahren

Info

Publication number: DE112016007287B4
Application number: DE112016007287.2T
Authority: DE
Inventors: Takumi Sato; Yoshihiko Mori
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2016-11-01
Filing date: 2016-11-01
Publication date: 2020-10-22
Anticipated expiration: 2036-11-02
Also published as: CN109891471B; JPWO2018083728A1; JP6482739B2; CN109891471A; WO2018083728A1; US20200034635A1; US10891496B2; DE112016007287T5

Abstract

Ein Informationsdarstellungsverfahren, umfassend:Empfangen eines erfassten Bildes eines von einem ersten Fahrzeug aufgenommenen Verkehrszeichens und von Informationen, die eine Fahrzeugsituation des ersten Fahrzeugs anzeigen;Erzeugen erster Verkehrszeicheninformationen durch Erkennen des im aufgenommenen Bild enthaltenen Verkehrszeichens;Erzeugen erster Klassifizierungsinformationen unter Bezugnahme auf die Informationen, die die Fahrzeugsituation des ersten Fahrzeugs anzeigen;Bestimmen eines Darstellungsmodus der ersten Verkehrszeicheninformation auf der Grundlage der ersten Verkehrszeicheninformation und der ersten Klassifizierungsinformation;Durchführen einer Steuerung zum Darstellen der ersten Verkehrszeicheninformationen in dem bei der Bestimmung bestimmten Darstellungsmodus;Durchführen einer Bestimmung, ob das erste Fahrzeug eine Fahrt in Übereinstimmung mit dem Verkehrszeichen durchgeführt hat oder nicht, und Akkumulieren eines Bestimmungsergebnisses der Bestimmung, der ersten Verkehrszeicheninformation, der ersten Klassifizierungsinformation und des Darstellungsmodus der ersten Verkehrszeicheninformation in Verbindung miteinander;Empfangen eines erfassten Bildes eines Verkehrszeichens, das von einem zweiten Fahrzeug aufgenommen wurde, das dem ersten Fahrzeug in Zeitreihen folgt, und Informationen, die eine Fahrzeugsituation des zweiten Fahrzeugs anzeigen;Erzeugen einer zweiten Verkehrszeicheninformation durch Erkennen des Verkehrszeichens, das in dem vom zweiten Fahrzeug aufgenommenen Bild enthalten ist;Erzeugen zweiter Klassifizierungsinformationen unter Bezugnahme auf die Informationen, die die Fahrzeugsituation des zweiten Fahrzeugs anzeigen;Bestimmen eines Darstellungsmodus, der sich von dem Darstellungsmodus der ersten Verkehrszeicheninformation unterscheidet, als Darstellungsmodus der zweiten Verkehrszeicheninformation, wenn das Bestimmungsergebnis anzeigt, dass ein Fahren in Übereinstimmung mit dem Verkehrszeichen nicht durchgeführt wurde, wobei das Bestimmungsergebnis einem Satz der ersten Verkehrszeicheninformation und der ersten Klassifizierungsinformation zugeordnet ist, die mit einem Satz der zweiten Verkehrszeicheninformation und der zweiten Klassifizierungsinformation übereinstimmt; undDurchführen einer Steuerung zum Darstellen der zweiten Verkehrszeicheninformation im bestimmten Darstellungsmodus der zweiten Verkehrszeicheninformation.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich auf eine Technik zur Benachrichtigung eines Insassen eines Fahrzeugs über Informationen über Verkehrszeichen, die von einer Kamera erfasst wurden.
STAND DER TECHNIK
Üblicherweise gibt es eine Technik zur Anzeige von Informationen über von einer Kamera aufgenommenen Verkehrszeichen auf einer Anzeigeeinheit in einem Fahrzeug. Eine solche Technik ist vorgesehen, da selbst wenn eine Navigationsvorrichtung am Fahrzeug montiert ist, nicht alle Informationen über Verkehrszeichen, die auf Straßen angebracht sind, als Karteninformationen der Navigationsvorrichtung bereitgestellt werden.
So offenbart beispielsweise JP 2015-191281 A eine Verkehrszeichenanzeigevorrichtung, bei der die Vorlagenanpassung an einem erfassten Bild außerhalb eines von einer Kamera erfassten Fahrzeugs durchgeführt wird und für jede Referenzvorlage eine Ähnlichkeitsbewertung erhalten wird, und wenn festgestellt wird, dass die Differenz zwischen der maximalen Ähnlichkeitsbewertung und jeder der zweiten und folgenden Ähnlichkeitsbewertungen ausreichend groß ist, wird ein Symbolbild des Verkehrszeichens entsprechend der Referenzvorlage, die die maximale Ähnlichkeitsbewertung erhält, auf einer Anzeigeeinheit angezeigt. Darüber hinaus wird in der in JP 2015-191281 A offenbarten Verkehrszeichenanzeigevorrichtung zusätzlich zur Anzeige eines Symbolbildes auf der Anzeigeeinheit auch eine Benachrichtigung per Sprache entsprechend dem Symbolbild durchgeführt (z.B. „die Höchstgeschwindigkeit beträgt 40 km/h“) .
Die DE 10 2016 204 325 A1 betrifft eine Verkehrszeichenbestimmungsvorrichtung zur Bestimmung eines einem Insassen eines Fahrzeugs zu melden Straßen- oder Verkehrszeichens unter Verwendung von sowohl einem Verkehrszeichen, basierend auf einem aufgenommenen Bild, als auf einem Verkehrszeichen, basierend auf Kartendaten. Des Weiteren betrifft die DE 603 18 430 T2 ein computerbasiertes System zum Ausgeben einer Information zu einem Fahrer eines Fahrzeugs, welches geeignet ist, in einem Fahrzeug angebracht werden und ein Verfahren zum Ausgeben eine Information zu einem Fahrer eines Fahrzeugs.
ZUSAMMENFASSUNG DER ERFINDUNG
TECHNISCHES PROBLEM
Mit der in JP 2015-191281 A beschriebenen Technik gab es jedoch ein Problem, dass es unmöglich ist, Informationen auf Verkehrszeichen gemäß den Zuständen eines Fahrers darzustellen. Es gibt beispielsweise einen Fall, in dem ein übermäßiger Hinweis an einen Fahrer gegeben wird, der Verkehrszeichen mit hoher Kompetenz erkennen kann und den Fahrer verärgert, oder es wird nur das Symbolbild eines Verkehrszeichens dargestellt und die Bedeutung des Verkehrszeichens kann von einem Fahrer nicht erkannt werden, da der Fahrer ein Ausländer oder Anfänger ist. Es gab nämlich ein Problem, dass es schwierig ist, für jeden Fahrer eine angemessene Menge an Informationen auf Verkehrszeichen darzustellen.
Die vorliegende Erfindung dient der Lösung der oben genannten Probleme, und es ist Gegenstand der Erfindung, eine angemessene Menge an Informationen auf Verkehrszeichen gemäß den Zuständen eines Fahrers darzustellen.
PROBLEMLÖSUNG
Ein Informationsdarstellungsverfahren gemäß der vorliegenden Erfindung umfasst: Empfangen eines erfassten Bildes eines von einem ersten Fahrzeug aufgenommenen Verkehrszeichens und Informationen, die eine Fahrzeugsituation des ersten Fahrzeugs anzeigen, durch eine Kommunikationseinheit; Erzeugen einer ersten Verkehrszeicheninformation durch Erkennen des im aufgenommenen Bild enthaltenen Verkehrszeichens durch eine Zeichenerkennungseinheit; Erzeugen einer ersten Klassifizierungsinformation in Bezug auf die Informationen, die die Fahrzeugsituation des ersten Fahrzeugs anzeigen, durch eine Klassifizierungseinheit; Bestimmen eines Darstellungsmodus der ersten Verkehrszeicheninformation auf der Grundlage der ersten Verkehrszeicheninformation und der ersten Klassifizierungsinformation durch eine Darstellungsmodus-Bestimmungseinheit; Durchführen einer Steuerung zum Darstellen der ersten Verkehrszeicheninformationen in dem Darstellungsmodus, der bei der Bestimmung durch eine Darstellungssteuereinheit bestimmt wird; Durchführen einer Bestimmung, ob das erste Fahrzeug gemäß dem Verkehrszeichen fährt oder nicht, und Sammeln eines Bestimmungsergebnisses der Bestimmung, der ersten Verkehrszeicheninformationen, der ersten Klassifizierungsinformationen und des Darstellungsmodus der ersten Verkehrszeicheninformationen in Verbindung miteinander durch eine Zeichenkonformitätsbestimmungseinheit; Empfangen eines erfassten Bildes eines Straßenschildes, das von einem zweiten Fahrzeug aufgenommen wurde, das dem ersten Fahrzeug in Zeitreihen folgt, und Informationen, die eine Fahrzeugsituation des zweiten Fahrzeugs anzeigen, durch die Kommunikationseinheit; Erzeugen einer zweiten Straßenschildinformation durch Erkennen des Straßenschildes, das in dem erfassten Bild enthalten ist, das vom zweiten Fahrzeug aufgenommen wurde, durch die Zeichenerkennungseinheit; Erzeugen einer zweiten Klassifizierungsinformation in Bezug auf die Informationen, die die Fahrzeugsituation des zweiten Fahrzeugs anzeigen, durch die Klassifizierungseinheit; Bestimmen eines Darstellungsmodus, durch die Darstellungsmodus-Bestimmungseinheit, der sich von dem Darstellungsmodus der ersten Verkehrszeicheninformation unterscheidet, als Darstellungsmodus der zweiten Verkehrszeicheninformation, wenn das Bestimmungsergebnis anzeigt, dass ein Fahren in Übereinstimmung mit dem Verkehrszeichen nicht durchgeführt wurde, wobei das Bestimmungsergebnis einem Satz der ersten Verkehrszeicheninformation und der ersten Klassifizierungsinformation zugeordnet ist, die mit einem Satz der zweiten Verkehrszeicheninformation und der zweiten Klassifizierungsinformation übereinstimmt; und Durchführen einer Steuerung zum Darstellen der zweiten Verkehrszeicheninformation in dem bestimmten Darstellungsmodus der zweiten Verkehrszeicheninformation durch die Darstellungssteuereinheit.
VORTEILHAFTE EFFEKTE DER ERFINDUNG
Nach der vorliegenden Erfindung ist es möglich, eine angemessene Menge an Verkehrszeicheninformationen gemäß den Zuständen eines Fahrers darzustellen.
Figurenliste

1 ist ein Blockdiagramm, das eine Konfiguration eines Informationsdarstellungssystems zur Implementierung eines Informationsdarstellungsverfahrens gemäß einer ersten Ausführungsform darstellt;
2 ist ein Diagramm, das ein Akkumulationsbeispiel in einer Akkumulationseinheit einer Servervorrichtung zur Implementierung der Informationsdarstellungsmethode gemäß der ersten Ausführungsform veranschaulicht;
3A und 3B sind Diagramme, die jeweils ein Hardware-Konfigurationsbeispiel einer fahrzeugmontierten Vorrichtung zur Implementierung des Informationsdarstellungsverfahrens gemäß der ersten Ausführungsform darstellen;
4A und 4B sind Diagramme, die jeweils ein Hardware-Konfigurationsbeispiel der Servervorrichtung zur Implementierung des Informationsdarstellungsverfahrens gemäß der ersten Ausführungsform darstellen;
5 ist ein Flussdiagramm, das die Funktionsweise der Darstellungsverarbeitung von Verkehrszeicheninformationen des Informationsdarstellungssystems zur Implementierung des Informationsdarstellungsverfahrens gemäß der ersten Ausführungsform darstellt;
6 ist ein Flussdiagramm, das den Betrieb einer den Darstellungsmodus bestimmenden Einheit der Servervorrichtung zur Implementierung des Informationsdarstellungsverfahrens gemäß der ersten Ausführungsform veranschaulicht;
7 ist ein Flussdiagramm, das die Akkumulationsverarbeitung eines Konformitätsergebnisses des Informationsdarstellungssystems zur Implementierung des Informationsdarstellungsverfahrens gemäß der ersten Ausführungsform darstellt;
8 ist ein Diagramm, das ein Beispiel für einen Darstellungsmodus veranschaulicht, der in der Darstellungsmodus-Bestimmungseinheit der Servervorrichtung zum Implementieren des Informationsdarstellungsverfahrens gemäß der ersten Ausführungsform eingestellt ist;
9 ist ein Diagramm, das ein Akkumulationsbeispiel in einer Akkumulationseinheit einer Servervorrichtung zum Implementieren eines Informationsdarstellungsverfahrens gemäß einer zweiten Ausführungsform darstellt;
10 ist ein Blockdiagramm, das eine Konfiguration eines Informationsdarstellungssystems zur Implementierung eines Informationsdarstellungsverfahrens gemäß einer dritten Ausführungsform darstellt;
11A und 11B sind Diagramme, die jeweils ein Akkumulationsbeispiel in einer Reaktionsinformationsakkumulationseinheit einer Servervorrichtung zur Implementierung des Informationsdarstellungsverfahrens gemäß der dritten Ausführungsform darstellen;
12 ist ein Flussdiagramm, das die Funktionsweise der Darstellungsverarbeitung von Verkehrszeicheninformationen des Informationsdarstellungssystems zur Implementierung des Informationsdarstellungsverfahrens gemäß der dritten Ausführungsform darstellt;
13 ist ein Blockdiagramm, das eine Konfiguration eines Informationsdarstellungssystems zur Implementierung eines Informationsdarstellungsverfahrens gemäß einer vierten Ausführungsform darstellt;
14 ist ein Diagramm, das ein Akkumulationsbeispiel in einer Akkumulationseinheit einer Servervorrichtung zur Implementierung des Informationsdarstellungsverfahrens gemäß der vierten Ausführungsform darstellt;
15 ist ein Flussdiagramm, das die Funktionsweise der Darstellungsverarbeitung von Verkehrszeicheninformationen des Informationsdarstellungssystems zur Implementierung des Informationsdarstellungsverfahrens gemäß der vierten Ausführungsform darstellt;
16 ist ein Blockdiagramm, das eine Konfiguration eines Informationsdarstellungssystems zur Implementierung eines Informationsdarstellungsverfahrens gemäß einer fünften Ausführungsform darstellt;
17 ist ein Diagramm, das ein Akkumulationsbeispiel in einer Akkumulationseinheit einer Servervorrichtung zur Implementierung des Informationsdarstellungsverfahrens gemäß der fünften Ausführungsform darstellt; und
18 ist ein Flussdiagramm, das die Funktionsweise der Darstellungsverarbeitung von Verkehrszeicheninformationen des Informationsdarstellungssystems zur Implementierung des Informationsdarstellungsverfahrens gemäß der fünften Ausführungsform darstellt.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Um die vorliegende Erfindung näher zu erläutern, werden im Folgenden einige Ausführungsformen zur Durchführung der vorliegenden Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.
Erste Ausführungsform.
1 ist ein Blockdiagramm, das eine Konfiguration eines Informationsdarstellungssystems zur Implementierung eines Informationsdarstellungsverfahrens gemäß einer ersten Ausführungsform darstellt.
Das Informationsdarstellungssystem umfasst eine fahrzeugmontierte Vorrichtung 100 und eine Servervorrichtung 200. Im Beispiel von 1 wird ein Fall veranschaulicht, in dem eine fahrzeugmontierte Vorrichtung 100 mit der Servervorrichtung 200 verbunden ist; bei der tatsächlichen Nutzung des Informationsdarstellungssystems wird jedoch angenommen, dass eine Vielzahl der fahrzeugmontierten Vorrichtungen 100 mit der Servervorrichtung 200 verbunden ist.
Die fahrzeugmontierte Vorrichtung 100 umfasst eine Bilderfassungseinheit 101, eine Fahrsituationssammeleinheit 102, eine Spracherkennungseinheit 103, eine Steuereinheit 104, eine Kommunikationseinheit 105, eine Anzeige 106 und einen Lautsprecher 107.
Die Bilderfassungseinheit 101 umfasst beispielsweise eine Kamera oder dergleichen und nimmt ein Bild der Straße vor einem Trägerfahrzeug auf, das die fahrzeugmontierte Vorrichtung 100 aufnimmt. Die Fahrsituationssammlereinheit 102 sammelt Informationen, die eine Fahrsituation des Trägerfahrzeugs anzeigen. Die Fahrsituationssammeleinheit 102 sammelt beispielsweise aktuelle Positionsinformationen des Trägerfahrzeugs, eine Fahrgeschwindigkeit, einen Lenkradwinkel, einen Lenkradbetriebszustand, einen Bremszustands und dergleichen als Informationen, die die Fahrsituation des Trägerfahrzeugs anzeigen. Die Spracherkennungseinheit 103 führt eine Spracherkennungsverarbeitung für Sprachinformationen durch, die Sprachinformationen anzeigen, wie beispielsweise Gespräche von Insassen des Trägerfahrzeugs, die von einem im Fahrzeug installierten Mikrofon (nicht dargestellt) oder dergleichen gesammelt werden. Es wird davon ausgegangen, dass die Spracherkennungsverarbeitung der Spracherkennungseinheit 103 eine Vielzahl von Sprachen unterstützt. Die Spracherkennungseinheit 103 kann eine Spracherkennungsverarbeitung für die Sprachinformationen von Gesprächen aller Insassen des Trägerfahrzeugs durchführen oder eine Spracherkennungsverarbeitung nur für begrenzte Insassen, beispielsweise eine Spracherkennungsverarbeitung nur für Sprachinformationen von Gesprächen der Insassen, die auf dem Fahrersitz und dem Beifahrersitz des Trägerfahrzeugs sitzen.
Die Steuereinheit 104 führt eine Steuerung zum Übertragen eines von der Bilderfassungseinheit 101 aufgenommenen Bildes, Informationen, die die von der Fahrsituationssammeleinheit 102 aufgenommene Fahrsituation anzeigen, und ein Spracherkennungsergebnis der Spracherkennungseinheit 103 an die Servervorrichtung 200 über die Kommunikationseinheit 105 durch. Darüber hinaus erfasst die Steuereinheit 104 Steuerinformationen, die von der Servervorrichtung 200 über die Kommunikationseinheit 105 übertragen werden. Die Steuereinheit 104 führt eine Steuerung durch, um Informationen auf der Anzeige 106 anzuzeigen und die Informationen per Sprache aus dem Lautsprecher 107 als Reaktion auf die erfassten Steuerinformationen auszugeben.
Die Kommunikationseinheit 105 führt eine drahtlose Kommunikation mit einer Kommunikationseinheit 201 der Servervorrichtung 200 untereinander aus. Die Anzeige 106 zeigt Informationen an, die von der Servervorrichtung 200 als Reaktion auf eine Steueranweisung der Steuereinheit 104 übertragen werden. Der Lautsprecher 107 gibt die von der Servervorrichtung 200 per Sprache übertragenen Informationen als Reaktion auf eine Steueranweisung der Steuereinheit 104 aus.
Die Servervorrichtung 200 umfasst die Kommunikationseinheit 201, eine Darstellungssteuereinheit 202, eine Zeichenerkennungseinheit 203, eine Klassifikationseinheit 204, eine Darstellungsmodus-Bestimmungseinheit 205, eine Akkumulationssteuereinheit 206, eine Zeichenkonformität-Bestimmungseinheit 207 und eine Akkumulationseinheit 208. Die mit der Servervorrichtung 200 verbundene fahrzeugmontierte Vorrichtung 100 ist in jedem von mehreren Fahrzeugen montiert. Es ist zu beachten, dass in der vorliegenden Erfindung ein Fahrzeug, das der Zeitreihe vorausgeht, als erstes Fahrzeug bezeichnet wird, und ein Fahrzeug, das dem ersten Fahrzeug der Zeitreihe folgt, als zweites Fahrzeug bezeichnet wird. Das heißt, das zweite Fahrzeug wird bei der nächsten Verarbeitung als erstes Fahrzeug behandelt. Darüber hinaus bedeutet jedes der ersten Fahrzeuge und das zweite Fahrzeug nicht unbedingt ein bestimmtes spezifisches Fahrzeug. Eine Vielzahl der ersten Fahrzeuge kann vorhanden sein. Darüber hinaus montiert das zweite Fahrzeug die fahrzeugmontierte Vorrichtung 100, die ein Ziel für die Darstellung von Verkehrszeicheninformationen in einer bestimmten Darstellungsverarbeitung ist.
Es ist zu beachten, dass die Servervorrichtung 200 in der folgenden Beschreibung eine ähnliche Verarbeitung für das erste Fahrzeug und das zweite Fahrzeug im Wesentlichen durchführt. In der vorliegenden Erfindung wird bestätigt, ob es zuvor eine Fahrzeugsituation gegeben hat, die mit einer aktuellen Fahrzeugsituation übereinstimmt oder nicht, und wenn das Fahrzeug nicht in Übereinstimmung mit den Verkehrszeicheninformationen unter dieser Fahrzeugsituation fährt, werden Verkehrszeicheninformationen in einer anderen Weise als der vorherigen dargestellt. Diese Verarbeitung wird im Folgenden ausführlich beschrieben.
Die Kommunikationseinheit 201 führt eine drahtlose Kommunikation mit der Kommunikationseinheit 105 der fahrzeugmontierten Vorrichtung 100 untereinander durch. Die Darstellungssteuereinheit 202 gibt das erfasste Bild und die die Fahrzeugsituation anzeigende Information, die von der fahrzeugmontierten Vorrichtung 100 übertragen werden, an die Zeichenerkennungseinheit 203, die Klassifikationseinheit 204 und die Darstellungsform-Bestimmungseinheit 205 aus und führt eine Steuerung zum Erzeugen von Verkehrszeicheninformationen durch. Darüber hinaus führt die Darstellungssteuereinheit 202 eine Steuerung zur Ausgabe der erzeugten Verkehrszeicheninformationen an die fahrzeugmontierte Vorrichtung 100 durch. Die Zeichenerkennungseinheit 203 analysiert die aufgenommene Bildeingabe von der Darstellungssteuereinheit 202 und führt, wenn das aufgenommene Bild ein Verkehrszeichen beinhaltet, die Erkennung des Verkehrszeichens durch und erzeugt die Verkehrszeicheninformationen. Die Zeichenerkennungseinheit 203 gibt die erzeugten Verkehrszeicheninformationen an die Darstellungssteuereinheit 202 aus.
Die Klassifikationseinheit 204 bezieht sich auf die Informationen, die die von der Darstellungssteuereinheit 202 eingegebene Fahrzeugsituation anzeigen, und klassifiziert die Fahrzeugsituation. In der ersten Ausführungsform führt die Klassifikationseinheit 204 die Klassifizierung auf der Grundlage der Informationen, die die Fahrzeugsituation anzeigen, durch und erzeugt so Klassifizierungsinformationen.
Hier ist die Fahrzeugsituation eine Szene, die durch die Informationen identifiziert wird, die die Fahrzeugsituation anzeigen, wie beispielsweise Informationen, die eine Fahrsituation oder Insasseninformationen anzeigen. Darüber hinaus sind die Klassifizierungsinformationen das Ergebnis der Klassifizierung der Fahrzeugsituation. Die Klassifizierungsinformationen zeigen an, ob die Fahrzeugsituationen der Fahrzeuge gleich sind oder nicht. Es ist zu beachten, dass „die Fahrzeugsituationen sind gleich“ bedeutet, dass die Fahrzeugsituationen gleich sind, wenn sie aus einer bestimmten Perspektive betrachtet werden.
Die die Fahrsituation anzeigenden Informationen sind Informationen wie Fahrverlaufsinformationen, aktuelle Positionsinformationen, Fahrgeschwindigkeit, Fahrzeugbetriebsinformationen (Lenkradwinkel, Lenkradbetriebszustand, Bremszustand und dergleichen).
Darüber hinaus werden die Insasseninformationen beispielsweise von einer im Fahrzeug installierten Vorrichtung bezogen und zeigen beispielsweise die von einem Insassen verwendete Sprache, Alter, Geschlecht und dergleichen des Insassen an. Darüber hinaus können die Insasseninformationen auch aus den Betriebsinformationen des Fahrzeugs gewonnen werden. So werden beispielsweise Informationen, die ein Fahrkönnen des Fahrers anzeigen, oder Informationen, die anzeigen, ob der Fahrer in Eile ist, aus Fahrzeugbetriebsinformationen gewonnen, wie beispielsweise ob es viele abrupte Beschleunigungen und Verzögerungen gibt.
Die Fahrtverlaufsinformationen sind Informationen, die auch dazu dienen, festzustellen, ob ein Benutzer in Übereinstimmung mit einem Verkehrszeichen unterwegs war oder nicht.
Die Klassifikationseinheit 204 gibt die auf der Grundlage der Informationen über die vorstehend beschriebene Fahrzeugsituation erzeugten Klassifizierungsinformationen an die Darstellungssteuereinheit 202 aus.
Die Darstellungsmodus-Bestimmungseinheit 205 bezieht sich auf die in der Akkumulationseinheit 208 akkumulierten Informationen (Details werden später beschrieben) und identifiziert einen Satz von ersten Verkehrszeicheninformationen und ersten Klassifizierungsinformationen, die mit einem Satz von zweiten Verkehrszeicheninformationen und zweiten Klassifizierungsinformationen übereinstimmen. Die Darstellungsmodus-Bestimmungseinheit 205 bezieht sich auf ein Konformitätsergebnis, das dem identifizierten Satz der ersten Verkehrszeicheninformationen und der ersten Klassifizierungsinformationen zugeordnet ist, und bestimmt einen Darstellungsmodus der zweiten Verkehrszeicheninformationen. Wenn hier eine Geschwindigkeit des ersten Fahrzeugs, das gemäß dem Verkehrszeichen fährt, kleiner als ein Schwellenwert ist, ändert die Darstellungsmodus-Bestimmungseinheit 205 den Darstellungsmodus der zweiten Verkehrszeicheninformation in einen Darstellungsmodus, der sich von einem Darstellungsmodus der ersten Verkehrszeicheninformation unterscheidet.
Das heißt, in einem Fall, in dem das erste Fahrzeug, das der Zeitreihe vorausgeht, nicht in Übereinstimmung mit dem Verkehrszeichen fährt, wenn die Darstellungsmodus-Bestimmungseinheit 205 auch den gleichen Darstellungsmodus für das zweite Fahrzeug bestimmt, das der Zeitreihe unter Berücksichtigung der ersten Klassifizierungsinformationen folgt, kann der Fahrer des zweiten Fahrzeugs versehentlich nicht in Übereinstimmung mit dem Verkehrszeichen fahren, ähnlich wie das erste Fahrzeug. Somit ändert die Darstellungsmodus-Bestimmungseinheit 205 den Darstellungsmodus für das zweite Fahrzeug in einen Darstellungsmodus, der sich von dem des ersten Fahrzeugs unterscheidet.
Die Darstellungssteuereinheit 202 überträgt die von der Zeichenerkennungseinheit 203 erzeugten zweiten Verkehrszeicheninformationen und den von der Darstellungseinheit 205 bestimmten Darstellungsmodus der zweiten Verkehrszeicheninformationen an die fahrzeugmontierte Vorrichtung 100 über die Kommunikationseinheit 201.
Obwohl im vorstehenden nicht beschrieben, führen die Kommunikationseinheit 201, die Darstellungssteuereinheit 202, die Zeichenerkennungseinheit 203, die Klassifikationseinheit 204 und die Darstellungsmodus-Bestimmungseinheit 205 eine ähnliche Verarbeitung auch für das erste Fahrzeug durch. Dadurch werden die ersten Verkehrszeicheninformationen, die ersten Klassifizierungsinformationen und ein Darstellungsergebnis der ersten Verkehrszeicheninformationen, die dem ersten Fahrzeug entsprechen, erhalten. Eine solche Verarbeitung wird auch in anderen Ausführungsformen durchgeführt.
Die Akkumulationssteuereinheit 206 gibt das aufgenommene Bild der Bildaufnahmeeinheit 101 der fahrzeugmontierten Vorrichtung 100 des ersten Fahrzeugs, dem die ersten Verkehrszeicheninformationen dargestellt werden, und Informationen, die die Fahrsituation (Fahrzeugbetriebsinformationen, Fahrtverlaufsinformationen und dergleichen) anzeigen, die von der Fahrsituationssammeleinheit 102 der gleichen fahrzeugmontierten Vorrichtung 100 gesammelt werden, an die Zeichenkonformität-Bestimmungseinheit 207 aus und führt eine Steuerung zum Sammeln von Konformitätsergebnissen von Verkehrszeichen durch.
Die Zeichenkonformität-Bestimmungseinheit 207 bestimmt anhand des aufgenommenen Bildes und der Informationen, die die Fahrsituation anzeigen, ob das erste Fahrzeug gemäß dem Verkehrszeichen fährt oder nicht. Die Zeichenkonformität-Bestimmungseinheit 207 akkumuliert ein Bestimmungsergebnis, die erste Klassifizierungsinformation, die erste Verkehrszeicheninformation, die beim Erhalten des Bestimmungsergebnisses dargestellt wird, und den Darstellungsmodus der ersten Verkehrszeicheninformation in der Akkumulierungseinheit 208. Es ist zu beachten, dass die Zeichenkonformität-Bestimmungseinheit 207 die ersten Verkehrszeicheninformationen und den Darstellungsmodus der ersten Verkehrszeicheninformationen von der Seite der fahrzeugmontierten Vorrichtung 100 erfassen kann, oder sie kann sie von der Darstellungssteuereinheit 202 der Servervorrichtung 200 erfassen.
Die Akkumulationseinheit 208 sammelt Informationen über das Fahrzeug.
2 ist ein Diagramm, das ein Akkumulationsbeispiel in der Akkumulationseinheit 208 des Informationsdarstellungssystems zur Implementierung des Informationsdarstellungsverfahrens gemäß der ersten Ausführungsform darstellt.
Die Akkumulationseinheit 208 sammelt Informationen, einschließlich beispielsweise Klassifizierungsinformationen, dargestellte Verkehrszeicheninformationen, eine Darstellungsmodus der Verkehrszeicheninformationen, eine Konformitätsrate in Bezug auf das Verkehrszeichen und dergleichen.
Im Beispiel von 2 zeigt die Information von Nr. 1 an, dass die Klassifizierungsinformation „Fahrer spricht in Sprache Y“ ist, die dargestellte Verkehrszeicheninformation „Stopp“ ist, der Darstellungsmodus der Verkehrszeicheninformation „Zeige Verkehrszeichen auf Anzeige“ ist und die Konformitätsrate in Bezug auf das Verkehrszeichen „65%“ ist.
Informationen aus Nr. 3 deuten darauf hin, dass die Klassifizierungsinformationen „Fahrer spricht in Sprache Y“ sind, die dargestellte Verkehrszeicheninformation „Stopp“ ist, der Darstellungsmodus der Verkehrszeicheninformation „Zeige Verkehrszeichen auf Anzeige und Ausgabe von Sprache aus Lautsprecher“ ist und die Konformitätsrate in Bezug auf das Verkehrszeichen „90%“ ist. Vergleicht man die Informationen von Nr. 1 mit den Informationen von Nr. 3, so wird darauf hingewiesen, dass, wenn der Fahrer in Sprache Y spricht, durch die Darstellung von Informationen auf der Anzeige 106 und die Ausgabe von Sprache durch den Lautsprecher 107 die Verkehrszeicheninformationen dem Fahrer effektiv dargestellt werden können. Die Darstellungsmodus-Bestimmungseinheit 205 kann dem Fahrer die Verkehrszeicheninformationen effektiv darstellen, indem sie sich auf die in 2 dargestellten Konformitätsergebnisse bezieht.
Als nächstes wird ein Beispiel für eine Hardware-Konfiguration der fahrzeugmontierten Vorrichtung 100 beschrieben.
3A und 3B sind Diagramme, die jeweils das Hardware-Konfigurationsbeispiel der fahrzeugmontierten Vorrichtung 100 zur Implementierung des Informationsdarstellungsverfahrens gemäß der ersten Ausführungsform veranschaulichen.
Die Kommunikationseinheit 105 in der fahrzeugmontierten Vorrichtung 100 ist eine Sende-Empfänger-Vorrichtung 110 zur Durchführung einer drahtlosen Kommunikation zwischen der fahrzeugmontierten Vorrichtung 100 und der Servervorrichtung 200. Die Fahrsituationssammeleinheit 102, die Spracherkennungseinheit 103 und die Steuereinheit 104 in der fahrzeugmontierten Vorrichtung 100 können jeweils eine Verarbeitungsschaltung 120 sein, die eine dedizierte Hardware gemäß 3A ist, oder ein Prozessor 130 zum Ausführen eines in einem Speicher 140 gespeicherten Programms gemäß 3B.
Wie in 3A dargestellt, ist die Verarbeitungsschaltung 120, wenn die Fahrsituationssammeleinheit 102, die Spracherkennungseinheit 103 und die Steuereinheit 104 dedizierte Hardware sind, beispielsweise als Einzelschaltung, zusammengesetzte Schaltung, programmierter Prozessor, parallel programmierter Prozessor, anwendungsspezifische integrierte Schaltung (ASIC), feldprogrammierbares Gate-Array (FPGA) oder eine Kombination derselben implementiert. Die Funktionen der Fahrsituationssammeleinheit 102, der Spracherkennungseinheit 103 und der Steuereinheit 104 können von den jeweiligen Verarbeitungskreisen oder die Funktionen der jeweiligen Einheiten gemeinsam von einem Verarbeitungskreis implementiert werden.
Wie in 3B dargestellt, werden bei der Implementierung der Fahrsituationssammeleinheit 102, der Spracherkennungseinheit 103 und der Steuereinheit 104 durch den Prozessor 130 die Funktionen der jeweiligen Einheiten durch Software, Firmware oder eine Kombination aus Software und Firmware implementiert. Die Software oder die Firmware wird als Programm beschrieben und im Speicher 140 gespeichert. Der Prozessor 130 liest und führt das im Speicher 140 gespeicherte Programm aus und implementiert damit die Funktionen der Fahrsituationssammeleinheit 102, der Spracherkennungseinheit 103 und der Steuereinheit 104. Das bedeutet, dass die Fahrsituationssammeleinheit 102, die Spracherkennungseinheit 103 und die Steuereinheit 104 den Speicher 140 zum Speichern von Programmen aufweisen, durch die jeder in den 5 und 7 dargestellte Schritt ausgeführt wird, wenn die Programme durch den Prozessor 130 ausgeführt werden. Darüber hinaus kann man auch sagen, dass die Programme einen Computer veranlassen, Verfahren oder Methoden der Fahrsituationssammeleinheit 102, der Spracherkennungseinheit 103 und der Steuereinheit 104 auszuführen.
Der Prozessor 130 ist hier beispielsweise eine Zentraleinheit (CPU), eine Verarbeitungsvorrichtung, eine Rechenvorrichtung, ein Prozessor, ein Mikroprozessor, ein Mikrocomputer, ein digitaler Signalprozessor (DSP) oder dergleichen. So kann beispielsweise der Speicher 140 ein nichtflüchtiger oder flüchtiger Halbleiterspeicher wie ein Direktzugriffsspeicher (RAM), ein Nur-Lese-Speicher (ROM), ein Flash-Speicher, ein löschbares programmierbares ROM (EPROM) oder ein elektrisches EPROM (EEPROM) sein, eine Magnetplatte wie eine Festplatte oder eine flexible Platte sein oder eine optische Platte wie eine Mini-Disc, eine Compact-Disc (CD) oder eine digitale vielseitige Platte (DVD) .
Es ist zu beachten, dass die Funktionen der Fahrsituationssammlereinheit 102, der Spracherkennungseinheit 103 und der Steuereinheit 104 teilweise durch spezielle Hardware und teilweise durch Software oder Firmware implementiert werden können. Wie vorstehend beschrieben, kann die Verarbeitungsschaltung 120 in der fahrzeugmontierten Vorrichtung 100 die oben beschriebenen Funktionen durch Hardware, Software, Firmware oder eine Kombination davon realisieren.
Als nächstes wird ein Beispiel für eine Hardware-Konfiguration der Servervorrichtung 200 beschrieben.
4A und 4B sind Diagramme, die jeweils ein Hardware-Konfigurationsbeispiel der Servervorrichtung 200 zur Implementierung des Informationsdarstellungsverfahrens gemäß der ersten Ausführungsform darstellen.
Die Kommunikationseinheit 201 in der Servervorrichtung 200 ist eine Sende-Empfänger-Vorrichtung 210 zur Durchführung einer drahtlosen Kommunikation zwischen der fahrzeugmontierten Vorrichtung 100 und der Servervorrichtung 200. Die Darstellungssteuereinheit 202, die Zeichenerkennungseinheit 203, die Klassifikationseinheit 204, die Darstellungsmodus-Bestimmungseinheit 205, die Akkumulationssteuereinheit 206 und die ZeichenkonformitätsBestimmungseinheit 207 in der Servervorrichtung 200 können jeweils eine Verarbeitungsschaltung 220 sein, die eine spezielle Hardware ist, wie in 4A dargestellt, oder ein Prozessor 230 zum Ausführen eines in einem Speicher 240 gespeicherten Programms sein, wie in 4B dargestellt.
Wenn die Verarbeitungsschaltung 220 eine dedizierte Hardware ist, wie in 4A dargestellt, wird die Verarbeitungsschaltung 220 beispielsweise als eine einzelne Schaltung, eine zusammengesetzte Schaltung, ein programmierter Prozessor, ein parallel programmierter Prozessor, ein ASIC, ein FPGA oder eine Kombination derselben implementiert.
Darüber hinaus, wenn die Verarbeitungsschaltung 220 durch den Prozessor 230, wie in 4B dargestellt, implementiert wird, wird eine Funktion der Verarbeitungsschaltung 220 durch Software, Firmware oder eine Kombination aus Software und Firmware implementiert. Die Software oder die Firmware wird als Programm beschrieben und im Speicher 240 gespeichert. Der Prozessor 230 liest und führt das im Speicher 240 gespeicherte Programm aus und implementiert damit die Funktion der Verarbeitungsschaltung 220. Das bedeutet, dass die Verarbeitungsschaltung 220 den Speicher 240 zum Speichern eines Programms beinhaltet, mit dem jeder in den 5, 6 und 7 beschriebene Schritt bei der Ausführung des Programms durch den Prozessor 230 ausgeführt wird. Darüber hinaus kann man auch sagen, dass das Programm einen Computer veranlasst, eine Prozedur oder ein Verfahren der Verarbeitungsschaltung 220 auszuführen.
Es ist zu beachten, dass die Funktion der Verarbeitungsschaltung 220 teilweise durch dedizierte Hardware und teilweise durch Software oder Firmware implementiert werden kann. Wie vorstehend beschrieben, kann die Verarbeitungsschaltung 220 in der Servervorrichtung 200 die oben beschriebene Funktion durch Hardware, Software, Firmware oder eine Kombination derselben implementieren.
Als nächstes wird die Bedienung des Informationsdarstellungssystems beschrieben.
5 ist ein Flussdiagramm, das die Funktionsweise der Darstellungsverarbeitung von Verkehrszeicheninformationen des Informationsdarstellungssystems zur Implementierung des Informationsdarstellungsverfahrens gemäß der ersten Ausführungsform darstellt. Da die Verarbeitung zur Darstellung von Zeicheninformationen für die fahrzeugmontierte Vorrichtung 100 dem Fall des ersten Fahrzeugs und dem Fall des zweiten Fahrzeugs gemeinsam ist, wird im Folgenden exemplarisch die Verarbeitung zur Darstellung von Zeicheninformationen für die fahrzeugmontierte Vorrichtung 100 des zweiten Fahrzeugs beschrieben.
Es wird im Folgenden davon ausgegangen, dass die Bilderfassungseinheit 101 der am zweiten Fahrzeug montierten Fahrzeugvorrichtung 100 konstant Bilder erfasst, die Fahrsituationssammeleinheit 102 kontinuierlich Informationen sammelt, die die Fahrsituation des Trägerfahrzeugs anzeigen, und die Spracherkennungseinheit 103 kontinuierlich Gespräche im Trägerfahrzeug sammelt und Spracherkennungsergebnisse erfasst.
Die Steuereinheit 104 der fahrzeugmontierten Vorrichtung 100 erfasst ein aufgenommenes Bild der Bilderfassungseinheit 101, Informationen, die die Fahrsituation der Fahrsituationssammeleinheit 102 und ein Spracherkennungsergebnis der Spracherkennungseinheit 103 als Insasseninformationen anzeigen, und überträgt sie über die Kommunikationseinheit 105 (Schritt ST1) an die Servervorrichtung 200. Die Kommunikationseinheit 201 der Servervorrichtung 200 empfängt das aufgenommene Bild und das von der fahrzeugmontierten Vorrichtung 100 übertragene Spracherkennungsergebnis und gibt es an die Darstellungssteuereinheit 202 (Schritt ST2) aus. Die Darstellungssteuereinheit 202 gibt die in Schritt ST2 aufgenommene Bildeingabe an die Zeichenerkennungseinheit 203 aus und gibt das Spracherkennungsergebnis an die Klassifikationseinheit 204 (Schritt ST3) aus. Die Zeichenerkennungseinheit 203 analysiert die erfasste Bildeingabe in Schritt ST3 und bestimmt, ob ein Verkehrszeichen im erfassten Bild enthalten ist oder nicht (Schritt ST4). Wenn kein Verkehrszeichen enthalten ist (Schritt ST4; NO), kehrt die Verarbeitung des Ablaufs zur Verarbeitung in Schritt ST1 zurück.
Andererseits, wenn ein Verkehrszeichen enthalten ist (Schritt ST4; JA), führt die Zeichenerkennungseinheit 203 die Erkennung des Verkehrszeichens durch und erzeugt eine zweite Verkehrszeicheninformation (Schritt ST5). Die zweite von der Schildererkennungseinheit 203 erzeugte Verkehrszeicheninformation beinhaltet ein Bild, das das Verkehrszeichen anzeigt, Informationen, die eine durch das Verkehrszeichen angezeigte Verkehrsregel anzeigen, und dergleichen. Die Zeichenerkennungseinheit 203 benachrichtigt die Darstellungssteuereinheit 202 über die in Schritt ST5 (Schritt ST6) erzeugten zweiten Verkehrszeicheninformationen. Die Klassifikationseinheit 204 klassifiziert eine Situation des Fahrzeugs auf der Grundlage der Eingabe des Spracherkennungsergebnisses in Schritt ST3 und erzeugt so zweite Klassifizierungsinformationen (Schritt ST7).
So erzeugt beispielsweise die Klassifikationseinheit 204 Sprachinformationen, indem sie die Sprache identifiziert, die von den Insassen im Gespräch verwendet wird. Die von der Klassifikationseinheit 204 erzeugten Sprachinformationen geben die Sprache an, in der sich die Insassen des Fahrzeugs unterhalten. Die Klassifikationseinheit 204 benachrichtigt die Darstellungssteuereinheit 202 über die zweite Klassifizierungsinformation, die in Schritt ST8 (Schritt ST8) erzeugt wurde. Es ist zu beachten, dass die Verarbeitung in Schritt ST7 und Schritt ST8 parallel zur Verarbeitung von Schritt ST4 bis Schritt ST6 ausgeführt werden kann.
Die Darstellungssteuereinheit 202 gibt die zweite von der Zeichenerkennungseinheit 203 gemeldete Verkehrszeicheninformation und die von der Klassifikationseinheit 204 gemeldete zweite Klassifizierungsinformation an die Darstellungsmodus-Bestimmungseinheit 205 aus und weist die Darstellungsmodus-Bestimmungseinheit 205 an, einen Darstellungsmodus für die zweite Verkehrszeicheninformation zu bestimmen (Schritt ST9). Die Darstellungsmodus-Bestimmungseinheit 205 bezieht sich auf die Akkumulationseinheit 208 und identifiziert einen Satz von ersten Verkehrszeicheninformationen und ersten Klassifizierungsinformationen, die mit einem Satz der zweiten Verkehrszeicheninformationen und den zweiten Klassifizierungsinformationen übereinstimmen, die von der Darstellungssteuereinheit 202 (Schritt ST10) eingegeben werden. Die Darstellungsmodus-Bestimmungseinheit 205 bezieht sich auf die Akkumulationseinheit 208 und erfasst ein Konformitätsergebnis, das mit dem identifizierten Satz der ersten Verkehrszeicheninformationen und der ersten Klassifizierungsinformationen verbunden ist (Schritt ST11).
So erfasst beispielsweise die Darstellungsmodus-Bestimmungseinheit 205 von der Akkumulationseinheit 208 ein Konformitätsergebnis zu dem Zeitpunkt, zu dem die ersten Verkehrszeicheninformationen einem Fahrer des ersten Fahrzeugs vorgelegt werden, der sich in der Sprache unterhält, die in den von der Darstellungssteuereinheit 202 eingegebenen Sprachinformationen angegeben ist.
Die Darstellungsmodus-Bestimmungseinheit 205 bestimmt den Darstellungsmodus der von der Darstellungssteuereinheit 202 eingegebenen zweiten Verkehrszeicheninformation basierend auf dem in Schritt ST11 (Schritt ST12) erfassten Konformitätsergebnis. Die Darstellungsmodus-Bestimmungseinheit 205 benachrichtigt die Darstellungssteuereinheit 202 über den bestimmten Darstellungsmodus (Schritt ST13).
Die Darstellungssteuereinheit 202 überträgt Steuerinformationen zur Darstellung der zweiten Verkehrszeicheninformationen in dem von der Darstellungseinheit 205 bestimmten Darstellungsmodus an die fahrzeugmontierte Vorrichtung 100 über die Kommunikationseinheit 201 (Schritt ST14). Die Kommunikationseinheit 105 der fahrzeugmontierten Vorrichtung 100 empfängt die von der Servervorrichtung 200 übertragenen Steuerinformationen und gibt die Steuerinformationen an die Steuereinheit 104 (Schritt ST15) aus. Auf der Grundlage der in Schritt ST15 eingegebenen Steuerinformationen führt die Steuereinheit 104 eine Verarbeitung durch, um dem Fahrer die zweite Verkehrszeicheninformation über die Anzeige 106 oder die Anzeige 106 und den Lautsprecher 107 (Schritt ST16) darzustellen. Danach kehrt die Verarbeitung des Flussdiagramms zur Verarbeitung in Schritt ST1 zurück und die oben beschriebene Verarbeitung wird wiederholt.
Die Verarbeitung von Schritt ST10 zu Schritt ST12 wird im Flussdiagramm in 5 näher beschrieben. 6 ist ein Flussdiagramm, das den Betrieb der Darstellungsmodus-Bestimmungseinheit 205 der Servervorrichtung 200 des Informationsdarstellungssystems zur Implementierung des Informationsdarstellungsverfahrens gemäß der ersten Ausführungsform darstellt. Im Flussdiagramm von 6 wird beschrieben, dass die Klassifizierungsinformationen Sprachinformationen sind.
Die Darstellungsmodus-Bestimmungseinheit 205 bezieht sich auf die in der Akkumulationseinheit 208 akkumulierten Konformitätsergebnisse und bestimmt, ob es einen Satz der ersten Verkehrszeicheninformationen und der ersten Klassifizierungsinformationen gibt oder nicht, in denen die gleichen Verkehrszeicheninformationen wie die von der Darstellungssteuereinheit 202 eingegebenen zweiten Verkehrszeicheninformationen dargestellt werden und die in der gleichen Sprache wie die in den zweiten Klassifizierungsinformationen (Sprachinformationen), die von der Darstellungssteuereinheit 202 (Schritt ST21) eingegeben wurden, angegebene Sprache gesprochen werden.
Wenn es einen solchen Satz der ersten Verkehrszeicheninformationen und der ersten Klassifizierungsinformationen gibt (Schritt ST21; JA), erfasst die Darstellungsmodus-Bestimmungseinheit 205 ein Konformitätsergebnis, das mit dem Satz der ersten Verkehrszeicheninformationen und der ersten Klassifizierungsinformationen verknüpft ist (Schritt ST22). Die Darstellungsmodus-Bestimmungseinheit 205 bezieht sich auf eine Konformitätsrate in Bezug auf das Verkehrszeichen des erfassten Konformitätsergebnisses und bestimmt, ob ein Konformitätsergebnis vorliegt oder nicht, dessen Konformitätsrate gleich oder größer als der Schwellenwert ist (Schritt ST23).
Wenn es ein Konformitätsergebnis gibt, dessen Konformitätsrate gleich oder größer als der Schwellenwert ist (Schritt ST23; JA), wählt die Darstellungsmodus-Bestimmungseinheit 205 den einfachsten Darstellungsmodus unter den Darstellungsmodi von Verkehrszeicheninformationen über das Konformitätsergebnis aus, deren Konformitätsraten gleich oder größer als der Schwellenwert sind (Schritt ST24). Die Bestimmungseinheit 205 bestimmt, ob der Darstellungsmodus einfach ist oder nicht, beispielsweise aufgrund der Anzahl der Ausgabevorrichtungen. Wenn es einen Darstellungsmodus gibt, um nur die Anzeige auf der Anzeige 106 (Anzahl der Vorrichtungen: 1) durchzuführen, und einen Darstellungsmodus, um die Anzeige auf der Anzeige 106 und die Sprachausgabe an den Lautsprecher 107 (Anzahl der Vorrichtungen: 2) durchzuführen, bestimmt die Darstellungsmodus-Bestimmungseinheit 205, dass das Ausführen nur der Anzeige auf der Anzeige 106 ein einfacherer Darstellungsmodus ist. Wenn hingegen kein Konformitätsergebnis vorliegt, dessen Konformitätsrate gleich oder größer als der Schwellenwert ist (Schritt ST23; NO), wählt die Darstellungsmodus-Bestimmungseinheit 205 einen Darstellungsmodus aus, der den am stärksten hervorgehobenen Darstellungsmodus unter den Darstellungsmodi der Konformitätsergebnisse mit denselben Verkehrszeicheninformationen weiter hervorhebt (Schritt ST25) .
Wenn es keinen solchen Satz der ersten Verkehrszeicheninformationen und der ersten Klassifizierungsinformationen gibt (Schritt ST21; NO), wählt die Darstellungsmodus-Bestimmungseinheit 205 einen vorbestimmten Darstellungsmodus (Schritt ST26) aus. Die Darstellungsmodus-Bestimmungseinheit 205 bestimmt den in Schritt ST24, Schritt ST25 oder Schritt ST26 ausgewählten Darstellungsmodus als Darstellungsmodus für die Darstellung der zweiten Verkehrszeicheninformation (Schritt ST27). Danach fährt die Verarbeitung des Flussdiagramms mit der Verarbeitung in Schritt ST13 des Flussdiagramms von 5 fort.
Als nächstes wird die Verarbeitung beschrieben, um in der Servervorrichtung 200 ein Konformitätsergebnis zu sammeln, das angibt, ob ein Fahrzeug, das die fahrzeugmontierte Vorrichtung 100 montiert, in Übereinstimmung mit den dargestellten Verkehrszeicheninformationen fährt oder nicht.
7 ist ein Flussdiagramm, das die Akkumulationsverarbeitung eines Konformitätsergebnisses des Informationsdarstellungssystems zur Implementierung des Informationsdarstellungsverfahrens gemäß der ersten Ausführungsform darstellt. Im Folgenden wird exemplarisch die Verarbeitung zur Akkumulation eines Konformitätsergebnisses beschrieben, unabhängig davon, ob das erste Fahrzeug, das die Fahrzeugmontagevorrichtung 100 montiert und dem die ersten Verkehrszeicheninformationen dargestellt werden, in Übereinstimmung mit den Verkehrszeicheninformationen gefahren wurde oder nicht.
Die Steuereinheit 104 der Fahrzeugvorrichtung 100 erfasst Informationen, die die Fahrsituation der Fahrsituationssammeleinheit 102 anzeigen, und überträgt die Informationen über die Kommunikationseinheit 105 (Schritt ST31) an die Servervorrichtung 200. Die Verarbeitung in Schritt ST31 wird ausgeführt, nachdem die ersten Verkehrszeicheninformationen in der fahrzeugmontierten Vorrichtung 100 dargestellt wurden, und die Steuereinheit 104 sendet Informationen, die die Fahrsituation des Trägerfahrzeugs für einen vorbestimmten Zeitraum nach der Zeit, in der die ersten Verkehrszeicheninformationen dargestellt werden, anzeigen. Hier ist die vorgegebene Periode eine entsprechend einstellbare Periode. So erfasst beispielsweise die Steuereinheit 104 Informationen, die die Fahrsituation anzeigen, ab einer Zeit nach 0 Sekunden ab dem Zeitpunkt der Durchführung der Steuerung zur Darstellung der ersten Verkehrszeicheninformationen und für 15 Sekunden.
Die Kommunikationseinheit 201 der Servervorrichtung 200 empfängt Informationen, die die Fahrsituation des ersten von der Fahrzeugvorrichtung 100 übertragenen Fahrzeugs anzeigen, und gibt die empfangenen Informationen, die die Fahrsituation anzeigen, an die Akkumulationssteuereinheit 206 (Schritt ST32) aus. Wenn die Informationen, die die Fahrsituation des ersten Fahrzeugs anzeigen, in Schritt ST32 eingegeben werden, erfasst die Akkumulationssteuereinheit 206 von der Darstellungssteuereinheit 202 die neuesten Informationen, einschließlich der ersten Klassifizierungsinformationen, der ersten Verkehrszeicheninformationen und des Darstellungsmodus der ersten Verkehrszeicheninformationen bezüglich des ersten Fahrzeugs, das der am Fahrzeug angebrachten Vorrichtung 100 entspricht (Schritt ST33). Die Akkumulationssteuereinheit 206 gibt an die Zeichenkonformität-Bestimmungseinheit 207 die in Schritt ST33 erfassten Informationen und die Informationen, die die Fahrsituation in Verbindung miteinander anzeigen, aus und weist die Zeichenkonformität-Bestimmungseinheit 207 an, zu bestimmen, ob das Fahren in Übereinstimmung mit dem Verkehrszeichen durchgeführt wird oder nicht (Schritt ST34).
Die Zeichenkonformität-Bestimmungseinheit 207 vergleicht einen Fahrzustand des ersten Fahrzeugs mit den dem Fahrer vorgelegten ersten Verkehrszeicheninformationen und bestimmt, ob das Fahren in Übereinstimmung mit dem Verkehrszeichen durchgeführt wird oder nicht (Schritt ST35). Die Zeichenkonformität-Bestimmungseinheit 207 bezieht sich auf das Bestimmungsergebnis in Schritt ST35 und das in der Akkumulationseinheit 208 akkumulierte vergangene Konformitätsergebnis und berechnet die Konformitätsrate in Bezug auf das Straßenschild (Schritt ST36). Die Zeichenkonformität-Bestimmungseinheit 207 summiert die in Schritt ST36 berechnete Konformitätsrate, die ersten Klassifizierungsinformationen, die ersten Verkehrszeicheninformationen und den Darstellungsmodus der ersten Verkehrszeicheninformationen als Konformitätsergebnis in der Akkumulationseinheit 208 (Schritt ST37).
In der Akkumulationsverarbeitung in Schritt ST37, in einem Fall, in dem die Konformitätsrate, wenn dieselben Verkehrszeicheninformationen in denselben Klassifizierungsinformationen im gleichen Darstellungsmodus dargestellt werden, bereits in der Akkumulationseinheit 208 akkumuliert wurde, wird nur die Aktualisierung der Konformitätsrate durchgeführt. Andererseits wird in einem Fall, in dem die gleichen Klassifizierungsinformationen, die gleichen Verkehrszeicheninformationen oder die gleichen Informationen über den Darstellungsmodus der Verkehrszeicheninformationen nicht in der Akkumulationseinheit 208 gesammelt werden, ein neues Konformitätsergebnis erzeugt. Danach kehrt die Verarbeitung des Flussdiagramms zur Verarbeitung in Schritt ST31 zurück und die gleiche Verarbeitung wird wiederholt.
Anschließend wird mit Bezug auf das in 6 dargestellte Flussdiagramm ein konkretes Beispiel beschrieben.
Im Folgenden wird davon ausgegangen, dass ein zweites Fahrzeug A in einem Land x mit einer Sprache X als Amtssprache fährt, vor einem „Stopp“-Schild vorbeifährt und die Zeichenerkennungseinheit 203 eine zweite Verkehrszeicheninformation erzeugt, die „Stopp“ anzeigt. Des Weiteren wird davon ausgegangen, dass ein Fahrer, der in Sprache Y spricht, und ein Fahrgast, der in Sprache Y spricht, mit dem zweiten Fahrzeug A fahren, und die Klassifikationseinheit 204 eine zweite Klassifikationsinformation erzeugt, die eine Sprachinformation ist, die anzeigt, dass der Fahrer in Sprache Y spricht. Zusätzlich wird davon ausgegangen, dass die in 2 dargestellten Konformitätsergebnisse in der Akkumulationseinheit 208 akkumuliert werden. Darüber hinaus wird davon ausgegangen, dass der Schwellenwert der Konformitätsrate zum Zeitpunkt der Bestimmung des Darstellungsmodus der zweiten Verkehrszeicheninformation gleich oder größer als 75% in der Darstellungsform der Bestimmungseinheit 205 ist.
In Schritt ST21 des Flussdiagramms von 6 bestimmt die Darstellungsmodus-Bestimmungseinheit 205 auf der Grundlage der Informationen in der Akkumulationseinheit 208, die die in 2 dargestellten Konformitätsergebnisse akkumulieren, dass es einen Satz der ersten Klassifizierungsinformationen gibt, die anzeigen, dass der Fahrer in Sprache Y spricht, und die ersten Verkehrszeicheninformationen, die „Stopp“ (Informationen von Nr. 1 bis Nr. 3) anzeigen (Schritt ST21; YES). In Schritt ST22 erfasst die Darstellungsmodus-Bestimmungseinheit 205 die Konformitätsergebnisse von Nr. 1 bis Nr. 3. In Schritt ST23 bestimmt die Darstellungsmodus-Bestimmungseinheit 205, dass es Konformitätsergebnisse (Informationen von Nr. 2 und Nr. 3) mit einer Konformitätsrate von gleich oder größer als 75% gibt (Schritt ST23; JA).
In Schritt ST24 vergleicht die Darstellungsmodus-Bestimmungseinheit 205 den Darstellungsmodus der Informationen von Nr. 2 mit dem Darstellungsmodus der Informationen von Nr. 3 und bestimmt, dass der Darstellungsmodus, in dem die Darstellung nur auf der Anzeige 106 durchgeführt wird, einfacher ist, und wählt den Darstellungsmodus der Informationen von Nr.2 aus. In Schritt ST27 bestimmt die Darstellungsmodus-Bestimmungseinheit 205 „Anzeige des Verkehrszeichens und der Textbeschreibung in Sprache Y auf der Anzeige“, also den Darstellungsmodus der Verkehrszeicheninformation der Informationen von Nr. 2, als Darstellungsmodus für die Darstellung der zweiten Verkehrszeicheninformation.
In Schritt ST23, wenn es kein Konformitätsergebnis gibt, dessen Konformitätsrate gleich oder größer als der Schwellenwert in den in Schritt ST22 erfassten Informationen ist, bestimmt die Darstellungsmodus-Bestimmungseinheit 205 als Darstellungsmodus für die Darstellung der zweiten Verkehrszeicheninformationen einen Modus, dessen Darstellung durch eine weitere Ebene aus dem Darstellungsmodus mit der höchsten Konformitätsrate zusätzlich hervorgehoben wird.
Wenn beispielsweise der Schwellenwert der Konformitätsrate zum Zeitpunkt der Bestimmung des Darstellungsmodus auf gleich oder größer als 95% in der Darstellungsmodus-Bestimmungseinheit 205, im Beispiel von 2, eingestellt ist, beträgt die Konformitätsrate in Bezug auf das Verkehrszeichen weniger als 95% in allen Informationen von Nr. 1 bis Nr. 3, und es gibt kein Konformitätsergebnis, dessen Konformitätsrate gleich oder größer als der Schwellenwert ist. Die Darstellungsmodus-Bestimmungseinheit 205 bestimmt als Darstellungsmodus zur Darstellung der zweiten Verkehrszeicheninformation einen Darstellungsmodus „Darstellung des Verkehrszeichens auf der Anzeige und Ausgabe der Stimme und der Aufmerksamkeitsinformationen in Sprache Y vom Sprecher“, dessen Darstellung durch eine weitere Ebene aus dem Darstellungsmodus „Darstellung des Verkehrszeichens auf der Anzeige, Ausgabe der Stimme in Sprache Y vom Sprecher“ der Informationen von Nr. 3, deren Konformitätsrate am höchsten 90% ist, in den Informationen von Nr. 1 bis Nr. 3 weiter betont wird.
Es wird davon ausgegangen, dass für jede Darstellungsstärke in der Darstellungsmodus-Bestimmungseinheit 205 ein Darstellungsmodus zur Darstellung von Verkehrszeicheninformationen eingestellt ist.
8 ist ein Diagramm, das ein Beispiel für einen Darstellungsmodus veranschaulicht, der in der Darstellungsmodus-Bestimmungseinheit 205 der Servervorrichtung 200 zum Implementieren des Informationsdarstellungsverfahrens gemäß der ersten Ausführungsform eingestellt ist.
In der Darstellungsmodus-Bestimmungseinheit 205 wird als Darstellungsmodus der Verkehrszeicheninformationen der Ebene 1 „Verkehrszeichen anzeigen“ eingestellt.
In der Darstellungsmodus-Bestimmungseinheit 205 wird als Darstellungsmodus der Verkehrszeicheninformationen der Ebene 2 „Verkehrszeichen und Textbeschreibung anzeigen“ eingestellt.
In der Darstellungsmodus-Bestimmungseinheit 205 wird als Darstellungsmodus der Verkehrszeicheninformationen der Ebene 3 „Verkehrszeichen anzeigen, Stimme aus Lautsprecher ausgeben“ eingestellt.
In der Darstellungsmodus-Bestimmungseinheit 205 wird als Darstellungsmodus der Verkehrszeicheninformationen der Ebene 4 „Verkehrszeichen anzeigen, Sprache und Aufmerksamkeitsinformationen vom Lautsprecher ausgeben“ eingestellt.
In der Darstellungsmodus-Bestimmungseinheit 205 wird als Darstellungsmodus der Verkehrszeicheninformationen der Ebene 5 „Verkehrszeichen anzeigen, Sprache und Alarmton vom Lautsprecher ausgeben“ eingestellt.
Die im Darstellungsmodus der Verkehrszeicheninformationen der Ebene 4 am Beispiel des Darstellungsmodus von 8 dargestellten „Ausgabe von Aufmerksamkeitsinformationen“ werden beschrieben. Im Darstellungsmodus der Verkehrszeicheninformationen der Ebene 4 wird das Verkehrszeichen auf der Anzeige dargestellt, und die Stimme und die Aufmerksamkeitsinformationen werden vom Sprecher ausgegeben. Es wird beispielsweise davon ausgegangen, dass es in einem Land y ein Verkehrsschild gibt, das bedeutet, dass „kein Stopp“ sehr ähnlich ist wie ein Verkehrsschild, das bedeutet, dass es „Stopp“ im Land x bedeutet. Wenn ein Fahrer, der die Sprache Y des Landes spricht, das „Stopp“ Verkehrsschild im Land x oft missverstanden hat, werden Aufmerksamkeitsinformationen für die Warnung des Missverständnisses in der Sprache Y ausgegeben.
Wie vorstehend beschrieben, sind gemäß der ersten Ausführungsform die folgenden Schritte enthalten: Empfangen eines erfassten Bildes eines von einem ersten Fahrzeug aufgenommenen Verkehrszeichens und Informationen, die eine Fahrzeugsituation des ersten Fahrzeugs anzeigen, durch eine Kommunikationseinheit 201; Erzeugen einer ersten Verkehrszeicheninformation durch Erkennen des im aufgenommenen Bild enthaltenen Verkehrszeichens durch eine Zeichenerkennungseinheit 203; Erzeugen einer ersten Klassifizierungsinformation mit Bezug auf die Informationen, die die Fahrzeugsituation des ersten Fahrzeugs anzeigen, durch eine Klassifizierungseinheit 204; Bestimmen eines Darstellungsmodus der ersten Verkehrszeicheninformation auf der Grundlage der ersten Verkehrszeicheninformation und der ersten Klassifizierungsinformation durch eine Darstellungsmodus-Bestimmungseinheit 205; Durchführen einer Steuerung zum Darstellen der ersten Verkehrszeicheninformationen in dem Darstellungsmodus, der bei der Bestimmung durch eine Darstellungssteuereinheit bestimmt wird; Durchführen einer Bestimmung, ob das erste Fahrzeug gemäß dem Verkehrszeichen fährt oder nicht, und Sammeln eines Bestimmungsergebnisses der Bestimmung, der ersten Verkehrszeicheninformationen, der ersten Klassifizierungsinformationen und des Darstellungsmodus der ersten Verkehrszeicheninformationen in Verbindung miteinander durch eine Zeichenkonformität-Bestimmungseinheit 207; Empfangen eines erfassten Bildes eines Straßenschildes, das von einem zweiten Fahrzeug aufgenommen wurde, das dem ersten Fahrzeug in Zeitreihen folgt, und Informationen, die eine Fahrzeugsituation des zweiten Fahrzeugs anzeigen, durch die Kommunikationseinheit 201; Erzeugen einer zweiten Straßenschildinformation durch Erkennen des Straßenschildes, das in dem erfassten Bild enthalten ist, das von dem zweiten Fahrzeug aufgenommen wurde, durch die Zeichenerkennungseinheit 203; Erzeugen einer zweiten Klassifizierungsinformation in Bezug auf die Informationen, die die Fahrzeugsituation des zweiten Fahrzeugs anzeigen, durch die Klassifikationseinheit 204; Bestimmen eines Darstellungsmodus, der sich von dem Darstellungsmodus der ersten Verkehrszeicheninformation unterscheidet, als Darstellungsmodus der zweiten Verkehrszeicheninformation, wenn das Bestimmungsergebnis anzeigt, dass ein Fahren in Übereinstimmung mit dem Verkehrszeichen nicht durchgeführt wurde, wobei das Bestimmungsergebnis einem Satz der ersten Verkehrszeicheninformation und der ersten Klassifizierungsinformation zugeordnet ist, die mit einem Satz der zweiten Verkehrszeicheninformation und der zweiten Klassifizierungsinformation übereinstimmt; und Durchführen einer Steuerung zum Darstellen der zweiten Verkehrszeicheninformation in dem bestimmten Darstellungsmodus der zweiten Verkehrszeicheninformation durch die Darstellungssteuereinheit 202. Auf diese Weise können Informationen, die auf eine mit dem Verkehrszeichen bezeichnete Verkehrsregel hinweisen, dem Fahrer in einem effektiven Darstellungsmodus dargestellt werden. Darüber hinaus ist es möglich, einem Fahrer zu helfen, der nicht weiß, was das Verkehrsschild bedeutet, oder einem Fahrer, der das Verkehrsschild übersehen hat.
Darüber hinaus sind gemäß der ersten Ausführungsform die folgenden Schritte enthalten: Empfangen eines Spracherkennungsergebnisses, das durch das Erkennen von Sprache im ersten Fahrzeug oder im zweiten Fahrzeug als Information, die die Fahrzeugsituation anzeigt, durch die Kommunikationseinheit 201 erhalten wird; Erzeugen der ersten Klassifizierungsinformation oder der zweiten Klassifizierungsinformation durch die Klassifizierungseinheit 204, durch Identifizieren einer Sprache, die in einem Gespräch von einem Insassen des ersten Fahrzeugs oder des zweiten Fahrzeugs in Bezug auf das empfangene Spracherkennungsergebnis verwendet wird, und Klassifizieren der Fahrzeugsituation des ersten Fahrzeugs oder des zweiten Fahrzeugs auf der Grundlage der identifizierten Sprache; und Bestimmen eines Darstellungsmodus zum Darstellen von Verkehrszeicheninformationen in der Sprache, die von der Darstellungsmodus-Bestimmungseinheit 205 identifiziert wurde, wenn das Fahren in Übereinstimmung mit dem Verkehrszeichen in der Vergangenheit nicht durchgeführt wurde. Dadurch ist es möglich, mit einer Fehlinterpretation eines Verkehrszeichens und einem Unverständnis für ein Verkehrszeichen fertig zu werden, das durch einen Systemunterschied zwischen den Ländern verursacht wird, wenn ein Fahrer in einem anderen Land als seinem eigenen fährt. So ist es beispielsweise möglich, einen Fall zu bewältigen, in dem es das Verkehrsschild im Land y gibt, das „kein Stopp“ bedeutet, das dem Verkehrsschild sehr ähnlich ist, das „Stopp“ im Land x bedeutet, und der Fahrer, der in der Sprache Y des Landes y spricht, das „Stopp“-Verkehrsschild im Land x oft missversteht. Außerdem können Informationen über Verkehrsschilder in der Sprache, in der der Fahrer spricht, dargestellt werden, so dass Informationen effektiv dargestellt werden können.
Es ist zu beachten, dass in der ersten vorstehend beschriebenen Ausführungsform eine Konfiguration beschrieben ist, in der die Klassifikationseinheit 204 der Servervorrichtung 200 die Sprache identifiziert, die für die Unterhaltung der Insassen eines Fahrzeugs verwendet wird; die für die Unterhaltung durch den Insassen verwendete Sprache kann jedoch auf der Seite der fahrzeugmontierten Vorrichtung 100 identifiziert werden. In diesem Fall sendet die fahrzeugmontierte Vorrichtung 100 die identifizierte Sprache an die Servervorrichtung 200.
Zweite Ausführungsform.
In dieser zweiten Ausführungsform wird eine Konfiguration beschrieben, in der die Klassifikationseinheit 204 Gesprächsinformationen als Klassifizierungsinformationen erzeugt.
Da ein Informationsdarstellungssystem der zweiten Ausführungsform die gleiche Konfiguration wie das Informationsdarstellungssystem gemäß der in 1 dargestellten ersten Ausführungsform aufweist, entfällt die Darstellung des Blockdiagramms.
Ähnlich wie bei der ersten Ausführungsform klassifiziert die Klassifikationseinheit 204 die Fahrzeugsituation auf der Grundlage der Informationen, die die Fahrzeugsituation anzeigen. In der zweiten Ausführungsform erzeugt die Klassifikationseinheit 204 Gesprächsinformationen, die das Vorhandensein oder Fehlen von Gesprächen im zweiten Fahrzeug als zweite Klassifikationsinformationen anzeigen. Die Klassifikationseinheit 204 gibt die erzeugten zweiten Klassifizierungsinformationen, also zweite Gesprächsinformationen, an die Darstellungssteuereinheit 202 aus.
Die Klassifikationseinheit 204 analysiert das Ergebnis der Spracherkennung in den Informationen, die die Fahrzeugsituation anzeigen, und erkennt das Vorhandensein oder Fehlen des Gesprächs im Fahrzeug. So klassifiziert beispielsweise die Klassifikationseinheit 204 die Situation im Fahrzeug in „Gespräch ist vorhanden“ und „Gespräch ist nicht vorhanden“ und erzeugt so zweite Klassifizierungsinformationen. Darüber hinaus kann die Klassifikationseinheit 204 die Situation des Gesprächs, wie beispielsweise das Erkennen der Gesprächsfrequenz, erkennen, ohne die Klassifizierung der Situation im Fahrzeug auf zwei Kategorien zu beschränken, „Gespräch ist vorhanden“ und „Gespräch ist nicht vorhanden“. Beim Erkennen der Gesprächsfrequenz klassifiziert die Klassifikationseinheit 204 die Situation des Gesprächs entsprechend der erkannten Gesprächsfrequenz fein.
Die Darstellungsmodus-Bestimmungseinheit 205 bezieht sich auf die in der akkumulierenden Einheit 208 angesammelten Informationen und identifiziert einen Satz der ersten Verkehrszeicheninformationen und der ersten Klassifizierungsinformationen (erste Gesprächsinformationen), die mit einem Satz der zweiten Verkehrszeicheninformationen und der zweiten Klassifizierungsinformationen (zweite Gesprächsinformationen) übereinstimmen. Die Darstellungsmodus-Bestimmungseinheit 205 bezieht sich auf das Konformitätsergebnis, das dem identifizierten Satz der ersten Verkehrszeicheninformationen und der ersten Klassifizierungsinformationen (erste Gesprächsinformationen) zugeordnet ist, und bestimmt einen Darstellungsmodus der zweiten Verkehrszeicheninformationen.
Ähnlich wie bei der ersten Ausführungsform sammelt die Akkumulationseinheit 208 Informationen, einschließlich beispielsweise Klassifizierungsinformationen, dargestellte Verkehrszeicheninformationen, einen Darstellungsmodus der Verkehrszeicheninformationen, eine Konformitätsrate in Bezug auf die Verkehrszeicheninformationen und dergleichen.
9 ist ein Diagramm, das ein Akkumulationsbeispiel in der Akkumulationseinheit 208 der Servervorrichtung 200 zur Implementierung eines Informationsdarstellungsverfahrens gemäß der zweiten Ausführungsform darstellt.
Die Akkumulationseinheit 208 sammelt Informationen, einschließlich beispielsweise Klassifizierungsinformationen, dargestellte Verkehrszeicheninformationen, einen Darstellungsmodus der Verkehrszeicheninformationen, eine Konformitätsrate in Bezug auf das Verkehrszeichen und dergleichen.
Im Beispiel von 9 zeigt die Information von Nr. 1 an, dass die Klassifizierungsinformation „Gespräch fehlt“, die dargestellte Verkehrszeicheninformation „Stopp“, der Darstellungsmodus der Verkehrszeicheninformation „Verkehrszeichen anzeigen“ und die Konformitätsrate in Bezug auf das Verkehrszeichen „95%“ ist.
Die Informationen von Nr. 2 deuten darauf hin, dass die Klassifizierungsinformationen „Gespräch ist anwesend“, die dargestellten Verkehrszeicheninformationen „Halt“, der Darstellungsmodus der Verkehrszeicheninformationen „Verkehrszeichen anzeigen“ und die Konformitätsrate in Bezug auf das Verkehrszeichen „75%“ sind. Die Informationen von Nr. 3 deuten darauf hin, dass die Klassifizierungsinformationen „Gespräch ist anwesend“, die dargestellten Verkehrszeicheninformationen „Stopp“, der Darstellungsmodus der Verkehrszeicheninformationen „Verkehrszeichen anzeigen und Stimme in Sprache Y vom Sprecher ausgeben“ sind, und die Konformitätsrate in Bezug auf das Verkehrszeichen beträgt „90%“.
Wenn die Klassifikationseinheit 204 die Situation in „Gespräch ist vorhanden“ klassifiziert, kann die Aufmerksamkeit des Fahrers oft abgelenkt werden. In einem solchen Fall können die Verkehrszeicheninformationen durch die Ausgabe der Verkehrszeicheninformationen aus dem Lautsprecher 107 per Sprache nicht nur auf dem Display angezeigt, sondern auch dem Fahrer effektiv dargestellt werden. Andererseits konzentriert sich der Fahrer in vielen Fällen, wenn die Klassifikationseinheit 204 die Situation in „Gespräch fehlt“ klassifiziert, auf das Fahren, und das Verkehrszeichen kann dem Fahrer nur durch die Anzeige des Verkehrszeichens auf der Anzeige 106 effektiv dargestellt werden.
Als nächstes wird der Betrieb in einem Fall beschrieben, in dem die Klassifikationseinheit 204 die zweite Gesprächsinformation (im Folgenden als zweite Klassifikationsinformation (Konversationsinformation) bezeichnet) als zweite Klassifikationsinformation erzeugt.
Die Bedienung des gesamten Informationsdarstellungssystems gemäß der zweiten Ausführungsform ist die gleiche wie die des in 5 der ersten Ausführungsform dargestellten Flussdiagramms.
In Schritt ST7 des Flussdiagramms von 5 erkennt die Klassifikationseinheit 204 das Vorhandensein oder Fehlen von Gesprächen im zweiten Fahrzeug und erzeugt die zweite Klassifikationsinformation (Gesprächsinformation). Darüber hinaus bezieht sich in Schritt ST10 die Darstellungsmodus-Bestimmungseinheit 205 auf die Akkumulationseinheit 208 und identifiziert einen Satz der ersten Verkehrszeicheninformation und der ersten Klassifizierungsinformation, die mit einem Satz der zweiten Verkehrszeicheninformation und der zweiten Klassifizierungsinformation (Gesprächsinformation) übereinstimmt, die von der Darstellungssteuereinheit 202 eingegeben werden. In Schritt ST11 bezieht sich die Darstellungsmodus-Bestimmungseinheit 205 auf die Akkumulationseinheit 208 und erfasst das Konformitätsergebnis, das mit dem identifizierten Satz der ersten Verkehrszeicheninformationen und der ersten Klassifizierungsinformationen verbunden ist.
Insbesondere erfasst die Darstellungsmodus-Bestimmungseinheit 205 von der Akkumulationseinheit 208 das Konformitätsergebnis des Falles, wenn die ersten Verkehrszeicheninformationen dem Fahrer des ersten Fahrzeugs, das das Gespräch führt, dargestellt werden.
Details der Verarbeitung von Schritt ST10 zu Schritt ST12 im Flussdiagramm, das in 5 dargestellt ist, sind identisch mit denen des Flussdiagramms, das in 6 der ersten Ausführungsform dargestellt ist.
Als Schritt ST21 des Flussdiagramms von 6 bezieht sich die Darstellungsmodus-Bestimmungseinheit 205 auf das in der Akkumulationseinheit 208 akkumulierte Konformitätsergebnis und bestimmt, ob es einen Satz der ersten Verkehrszeicheninformationen und der ersten Klassifizierungsinformationen gibt oder nicht, in denen die gleichen Verkehrszeicheninformationen wie die von der Darstellungssteuerungseinheit 202 eingegebenen zweiten Verkehrszeicheninformationen dargestellt werden und in denen die gleichen Gesprächsinformationen wie die von der Darstellungssteuerungseinheit 202 eingegebenen zweiten Klassifizierungsinformationen (Gesprächsinformationen) enthalten sind.
Die Akkumulationsverarbeitung des Konformitätsergebnisses des Informationsdarstellungssystems zur Implementierung des Informationsdarstellungsverfahrens gemäß der zweiten Ausführungsform ist die gleiche wie die des in 7 der ersten Ausführungsform dargestellten Flussdiagramms.
Als Schritt ST33 des Flussdiagramms von 7 erfasst die Akkumulationssteuereinheit 206 von der Darstellungssteuereinheit 202 die ersten Klassifizierungsinformationen, die unmittelbar vor den Gesprächsinformationen des ersten Fahrzeugs entsprechend der Fahrzeugvorrichtung 100 liegen, die ersten Verkehrszeicheninformationen und den Darstellungsmodus der ersten Verkehrszeicheninformationen.
Wie vorstehend beschrieben, werden gemäß der zweiten Ausführungsform folgende Schritte durchgeführt: Erzeugen der ersten Klassifizierungsinformationen oder der zweiten Klassifizierungsinformationen durch die Klassifikationseinheit 204, indem eine Gesprächssituation eines Insassen des ersten Fahrzeugs oder des zweiten Fahrzeugs in Bezug auf das empfangene Spracherkennungsergebnis erkannt wird, und Klassifizieren der Fahrzeugsituation des ersten Fahrzeugs oder des zweiten Fahrzeugs auf der Grundlage der Situation des erkannten Gesprächs. Als Ergebnis können die Verkehrszeicheninformationen dem Fahrer je nach Gesprächssituation im Fahrzeug effektiv dargestellt werden.
Dritte Ausführungsform.
In dieser dritten Ausführungsform wird eine Konfiguration beschrieben, bei der die Reaktion eines Fahrers nach der Darstellung von Verkehrszeicheninformationen akkumuliert wird und die akkumulierte Reaktion sich in der Bestimmung einem Darstellungsmodus der nächsten Verkehrszeicheninformationen widerspiegelt.
10 ist ein Blockdiagramm, das eine Konfiguration eines Informationsdarstellungssystems zur Implementierung eines Informationsdarstellungsverfahrens gemäß der dritten Ausführungsform darstellt. In einer Servervorrichtung 200a der dritten Ausführungsform wird der in der ersten Ausführungsform beschriebenen Servervorrichtung 200a zusätzlich eine Reaktionsinformationsakkumulationseinheit 209 bereitgestellt. Darüber hinaus sind anstelle der Darstellungssteuereinheit 202, der Darstellungsmodus-Bestimmungseinheit 205 und der Akkumulationssteuereinheit 206 der in der ersten Ausführungsform beschriebenen Servervorrichtung 200, eine Darstellungssteuereinheit 202a, eine Darstellungsmodus-Bestimmungseinheit 205a und eine Akkumulationssteuereinheit 206a vorgesehen.
Im Folgenden werden dieselben Abschnitte wie die des Informationsdarstellungssystems gemäß der ersten Ausführungsform oder entsprechende Abschnitte mit den gleichen Bezugsnummern wie bei der ersten Ausführungsform bezeichnet, und ihre Beschreibung wird weggelassen oder vereinfacht.
Zusätzlich zu der in der ersten Ausführungsform beschriebenen Verarbeitung führt die Akkumulationssteuereinheit 206a auch die nachfolgend beschriebene Verarbeitung durch. Die Akkumulationssteuereinheit 206a erfasst ein Spracherkennungsergebnis, das von der fahrzeugmontierten Vorrichtung 100 über die Kommunikationseinheit 201 übertragen wird. Die Akkumulationssteuereinheit 206a extrahiert aus dem erfassten Spracherkennungsergebnis ein Spracherkennungsergebnis, das auf ein Unbehagen des Fahrers hinweist. Die Akkumulationssteuergerät 206a extrahiert als Ergebnis der Spracherkennung, das auf Unbehagen des Fahrers hinweist, beispielsweise Wörter, die auf Beschwerden wie „lärmend“, Tutorenton oder dergleichen hinweisen. Die Akkumulationssteuereinheit 206a erfasst von der Darstellungssteuereinheit 202a die ersten Verkehrszeicheninformationen, die beim Extrahieren des Spracherkennungsergebnisses, das auf Unbehagen des Fahrers hinweist, und den Darstellungsmodus der ersten Verkehrszeicheninformationen und sammelt sie als Reaktionsinformationen in der Reaktionsinformationsakkumulationseinheit 209.
In einem Fall, in dem die Reaktionsinformationen, die der Fahrer bei der Darstellung derselben Verkehrszeicheninformationen im gleichen Darstellungsmodus angezeigt hat, nämlich Informationen, die auf ein Unbehagen des Fahrers hinweisen, bereits in der Reaktionsinformationsakkumulationseinheit 209 gesammelt wurden, führt die Akkumulationssteuereinheit 206a nur eine Aktualisierung der Geschwindigkeit durch, mit der der Fahrer Unbehagen zeigte. Andererseits werden in einem Fall, in dem die Reaktionsinformationen, die der Fahrer bei der Darstellung derselben Verkehrszeicheninformationen im gleichen Darstellungsmodus als unangenehm empfunden hat, nicht in der Reaktionsinformationsakkumulationseinheit 209 gesammelt wurden, neue Reaktionsinformationen erzeugt.
Die Akkumulationssteuereinheit 206a kann die Informationen in der Reaktionsinformationsakkumulationseinheit 209 durch Integration der Reaktionsinformationen einer Vielzahl von Fahrzeugen akkumulieren oder die Informationen in der Reaktionsinformationsakkumulationseinheit 209 akkumulieren, um Reaktionsinformationen jedes Fahrzeugs einzeln zu verwalten.
11A ist ein Diagramm, das ein Akkumulationsbeispiel in der Reaktionsinformationsakkumulationseinheit 209 der Servervorrichtung 200a zur Implementierung des Informationsdarstellungsverfahrens gemäß der dritten Ausführungsform darstellt.
Die Reaktionsinformationssammeleinheit 209 sammelt beispielsweise die dargestellten Verkehrszeicheninformationen, den Darstellungsmodus (Darstellungsebene) der Verkehrszeicheninformationen, wenn der Fahrer Unbehagen zeigte, und die Geschwindigkeit, mit der der Fahrer Unbehagen zeigte.
Das Beispiel von 11A zeigt an, dass bei der Ausführung von „Anzeige des Verkehrszeichens auf dem Display und Ausgabe der Stimme aus dem Lautsprecher“ der Verkehrszeicheninformation „Stopp“ die Geschwindigkeit, mit der der Fahrer Unbehagen zeigte, „30%“ beträgt.
Die Darstellungsmodus-Bestimmungseinheit 205a bestimmt den Darstellungsmodus der zweiten Verkehrszeicheninformation mit Bezug auf die akkumulierende Einheit 208 auf der Grundlage der zweiten Verkehrszeicheninformation und der zweiten Klassifizierungsinformation des zweiten Fahrzeugs ähnlich der ersten Ausführungsform. Des Weiteren, wenn sich die Darstellungsmodus-Bestimmungseinheit 205a auf die Reaktionsinformationen bezieht, die die Einheit 209 akkumuliert, und die gleichen Verkehrszeicheninformationen wie die zweite Verkehrszeicheninformation im gleichen Darstellungsmodus wie die der zweiten Verkehrszeicheninformation darstellt, wenn die Geschwindigkeit, mit der der der Fahrer Unbehagen gezeigt hat, gleich oder größer als ein vorgegebener Schwellenwert (z.B. gleich oder größer als 30%) ist, führt die Darstellungsmodus-Bestimmungseinheit 205a eine Verarbeitung zur Senkung der Ebene des Darstellungsmodus der bestimmten zweiten Verkehrszeicheninformation durch.
Wenn der Darstellungsmodus der zweiten vorab bestimmten Verkehrszeicheninformation beispielsweise Stufe 4 ist (siehe 8 der ersten Ausführungsform), führt die Darstellungsmodus-Bestimmungseinheit 205a die Verarbeitung der Absenkung des Darstellungsmodus auf die Stufe 3 oder Stufe 2 als Verarbeitung zur Absenkung der Ebene des Darstellungsmodus durch. Im Darstellungsmodus, wenn die Ebene höher wird, wird die Ausgabe von Aufmerksamkeitsinformationen oder Alarmtönen, die auf dem Display blinken, oder dergleichen hinzugefügt, und die darzustellenden Verkehrszeicheninformationen werden vom Fahrer leicht erkannt, aber einige Leute können das Gefühl haben, dass die Darstellung in diesem Darstellungsmodus übertrieben ist. Die Reaktion des Fahrers wird in der Reaktionsinformationsakkumulationseinheit 209 akkumuliert, wodurch es möglich ist, die Wiederholung des Darstellungsmodus zu unterdrücken, in dem der Fahrer das Gefühl hatte, dass die Darstellung im Darstellungsmodus in der Vergangenheit übertrieben ist.
Neben der oben beschriebenen Konfiguration kann die Reaktion des Fahrers für jedes Fahrzeug individuell akkumuliert werden. In diesem Fall kann die Akkumulationssteuereinheit 206a für jedes Fahrzeug die ersten Verkehrszeicheninformationen erfassen, die beim Extrahieren des Spracherkennungsergebnisses, das auf ein Unbehagen des Fahrers hinweist, und den Darstellungsmodus der ersten Verkehrszeicheninformationen, und nachdem sie Informationen zur Identifizierung des ersten Fahrzeugs zu den erfassten Informationen hinzugefügt hat, die erfassten Informationen in der Reaktionsinformationsakkumulationseinheit 209 sammeln. Die Information zur Identifizierung des ersten Fahrzeugs ist eine Identifikationsnummer oder dergleichen des Fahrzeugs, die von der Seite der fahrzeugmontierten Vorrichtung 100 übertragen wird. Bei der Übertragung des Spracherkennungsergebnisses an die Servervorrichtung 200 fügt die fahrzeugmontierte Vorrichtung 100 die ID-Nummer zum Spracherkennungsergebnis hinzu und führt die Übertragung durch. Ein Beispiel für einen Fall, in dem die Reaktionsinformationen für jedes Fahrzeug einzeln in der Reaktionsinformationsakkumulationseinheit 209 akkumuliert werden, ist in 11B dargestellt.
11B ist ein Diagramm, das ein Akkumulationsbeispiel in der Reaktionsinformationsakkumulationseinheit 209 der Servervorrichtung 200a zur Implementierung des Informationsdarstellungsverfahrens gemäß der dritten Ausführungsform darstellt, und veranschaulicht einen Fall, in dem die Reaktionsinformationen für jedes Fahrzeug einzeln akkumuliert werden.
Die Reaktionsinformationsakkumulationseinheit 209 akkumuliert beispielsweise die Fahrzeug-ID, die dargestellten Verkehrszeicheninformationen und den Darstellungsmodus (Darstellungsebene) der Verkehrszeicheninformationen, wenn der Fahrer Unannehmlichkeiten zeigte. Das Beispiel von 11B zeigt, dass im Fahrzeug mit der Fahrzeug-ID „1011“, wenn „das Verkehrszeichen auf dem Display angezeigt wird und die Stimme aus dem Lautsprecher ausgegeben wird“ der Verkehrszeicheninformation „Stopp“ ausgeführt wird, der Fahrer Unbehagen zeigte.
Im Falle des Beispiels von 11B bestimmt die Darstellungsmodus-Bestimmungseinheit 205a ebenfalls den Darstellungsmodus der zweiten Verkehrszeicheninformation in Bezug auf die Akkumulationseinheit 208 auf der Grundlage der zweiten Verkehrszeicheninformation und der zweiten Klassifizierungsinformation des zweiten Fahrzeugs ähnlich wie bei der ersten Ausführungsform. Weiterhin führt die Darstellungsmodus-Bestimmungseinheit 205a eine Suche in der Reaktionsinformationsakkumulationseinheit 209 unter Bezugnahme auf die Informationen zur Identifizierung des zweiten Fahrzeugs durch, das von der Seite der fahrzeugmontierten Vorrichtung 100 übertragen wird. Wenn Informationen, die zeigen, dass Unbehagen aufgetreten ist, wenn dieselben Verkehrszeicheninformationen wie die zweiten Verkehrszeicheninformationen im gleichen Darstellungsmodus wie die der zweiten Verkehrszeicheninformationen dargestellt werden, für das zweite Fahrzeug in der Reaktionsinformationsakkumulationseinheit 209 gesammelt werden, führt die Darstellungsmodus-Bestimmungseinheit 205a eine Verarbeitung zur Senkung der Ebene des Darstellungsmodus der bestimmten zweiten Verkehrszeicheninformationen durch.
Als nächstes wird ein Beispiel für eine Hardware-Konfiguration der Servervorrichtung 200a beschrieben.
Da die Diagramme, die jeweils ein Hardware-Konfigurationsbeispiel der Servervorrichtung 200a veranschaulichen, mit denen in den in der ersten Ausführungsform beschriebenen 4A und 4B identisch sind, entfällt die Darstellung derselben.
Darüber hinaus sind die Funktionen der Darstellungssteuereinheit 202a, der Darstellungsform-Bestimmungseinheit 205a und der Akkumulationssteuereinheit 206a der Servervorrichtung 200a denen der Darstellungssteuereinheit 202, der Darstellungsmodus-Bestimmungseinheit 205 und der Akkumulationssteuereinheit 206 ähnlich, die in der ersten Ausführungsform beschrieben sind.
Als nächstes wird die Bedienung des Informationsdarstellungssystems beschrieben.
12 ist ein Flussdiagramm, das die Funktionsweise der Darstellungsverarbeitung von Verkehrszeicheninformationen des Informationsdarstellungssystems zur Implementierung des Informationsdarstellungsverfahrens gemäß der dritten Ausführungsform darstellt.
12 veranschaulicht einen Fall, in dem die Reaktionsinformationssammeleinheit 209 die in 11A dargestellten Informationen sammelt und der Darstellungsmodus der zweiten Verkehrszeicheninformation in Abhängigkeit von der Geschwindigkeit bestimmt wird, mit der der der Fahrer Unbehagen zeigte. Im Folgenden werden die gleichen Schritte wie bei der fahrzeugmontierten Vorrichtung 100 und der Servervorrichtung 200 gemäß der ersten Ausführungsform durch die gleichen Referenznummern gekennzeichnet, wie sie in 5 verwendet werden, und ihre Beschreibung wird weggelassen oder vereinfacht.
Wenn die Darstellungsmodus-Bestimmungseinheit 205a den Darstellungsmodus der zweiten Verkehrszeicheninformation in Schritt ST12 unter Bezugnahme auf die Reaktionsinformationsakkumulationseinheit 209 bestimmt, führt die Darstellungsmodus-Bestimmungseinheit 205a eine Suche durch, ob der Fahrer in einem Fall, in dem die gleichen Verkehrszeicheninformationen wie die in Schritt ST5 erzeugten zweiten Verkehrszeicheninformationen in dem in Schritt ST12 (Schritt ST41) bestimmten Darstellungsmodus dargestellt werden, Unbehagen zeigte oder nicht. Wenn der Fahrer Unbehagen zeigte (Schritt ST41; JA), bestimmt die Darstellungsmodus-Bestimmungseinheit 205a, ob die Rate, mit der der Fahrer Unbehagen gezeigt hat, gleich oder größer als der voreingestellte Schwellenwert ist (Schritt ST42).
Wenn die Geschwindigkeit, mit der der Fahrer Unbehagen zeigte, gleich oder größer als der voreingestellte Schwellenwert (Schritt ST42; JA) ist, führt die Darstellungsmodus-Bestimmungseinheit 205a eine Verarbeitung zum Absenken der Ebene des Darstellungsmodus der in Schritt ST12 (Schritt ST43) bestimmten zweiten Verkehrszeicheninformation durch. Danach fährt die Verarbeitung des Flussdiagramms mit der Verarbeitung in Schritt ST13 fort. Andererseits, wenn der Fahrer kein Unbehagen gezeigt hat (Schritt ST41; NO), oder wenn die Rate, mit der der Fahrer Unbehagen gezeigt hat, kleiner als der Schwellenwert ist (Schritt ST42; NO), fährt die Verarbeitung mit Schritt ST13 fort.
Wie vorstehend beschrieben, sind gemäß der dritten Ausführungsform die folgenden Schritte enthalten: Empfangen eines Spracherkennungsergebnisses, das durch Erkennen von Sprache im ersten Fahrzeug erhalten wird, wenn Verkehrszeicheninformationen von der Kommunikationseinheit 201 dargestellt werden; Extrahieren eines Spracherkennungsergebnisses, das anzeigt, dass ein Fahrer des ersten Fahrzeugs aus dem von der Akkumulationssteuereinheit 206a empfangenen Spracherkennungsergebnis Unbehagen zeigte, Erzeugen und Akkumulieren von Reaktionsinformationen durch die Akkumulationssteuereinheit 206a, in denen das extrahierte Spracherkennungsergebnis, die erste dargestellte Verkehrszeicheninformation und der Darstellungsmodus der ersten Verkehrszeicheninformation miteinander verbunden sind, und Reduzieren der Stärke der Darstellung der zweiten Verkehrszeicheninformation in einem Fall, in dem der Fahrer Unbehagen zu dem Zeitpunkt zeigte, als die erste Verkehrszeicheninformation in der Vergangenheit dargestellt wird, durch die Darstellungsmodus-Berechnungseinheit. Dadurch ist es in einem Fall, in dem der Fahrer in der Vergangenheit Unbehagen bei der Darstellung der Verkehrszeicheninformationen gezeigt hat, möglich, die Darstellung der Verkehrszeicheninformationen im ähnlichen Darstellungsmodus wieder zu unterbinden.
Es ist zu beachten, dass in der dritten vorstehend beschriebenen Ausführungsform ein Fall vorliegt, in dem die Darstellungssteuereinheit 202a, die Darstellungsmodus-Bestimmungseinheit 205a und die Reaktionsinformationssammeleinheit 209 in der in der ersten Ausführungsform beschriebenen Servervorrichtung 200 verwendet werden; die Konfiguration kann jedoch in der in der zweiten Ausführungsform beschriebenen Servervorrichtung 200 verwendet werden.
Vierte Ausführungsform.
In dieser vierten Ausführungsform wird eine Konfiguration zum Spiegeln eines Betrachtungszustands eines Fahrers beim Bestimmen eines Darstellungsmodus von Verkehrszeicheninformationen beschrieben.
13 ist ein Blockdiagramm, das eine Konfiguration eines Informationsdarstellungssystems zur Implementierung eines Informationsdarstellungsverfahrens gemäß der vierten Ausführungsform darstellt. Eine fahrzeugmontierte Vorrichtung 100b der vierten Ausführungsform ist mit einer Insassenbildaufnahmeeinheit 108 anstelle der in der ersten Ausführungsform beschriebenen Spracherkennungseinheit 103 der fahrzeugmontierten Vorrichtung 100 versehen. Darüber hinaus beinhaltet die fahrzeugmontierte Vorrichtung 100b ein Head-Up-Display (HUD) 109.
Eine Servervorrichtung 200b der vierten Ausführungsform beinhaltet eine Darstellungssteuereinheit 202b, eine Klassifikationseinheit 204b, eine Darstellungsmodus-Bestimmungseinheit 205b und eine Akkumulationseinheit 208b anstelle der Darstellungssteuereinheit 202, die Klassifikationseinheit 204, die Darstellungsmodus-Bestimmungseinheit 205 und die Akkumulationseinheit 208 der in der ersten Ausführungsform beschriebenen Servervorrichtung 200.
Im Folgenden werden dieselben Abschnitte wie die des Informationsdarstellungssystems gemäß der ersten Ausführungsform oder entsprechende Abschnitte mit den gleichen Bezugsnummern wie bei der ersten Ausführungsform bezeichnet, und ihre Beschreibung wird weggelassen oder vereinfacht.
Die Insassenbildaufnahmeeinheit 108 erfasst ein Bild eines Fahrers eines Trägerfahrzeugs, das die fahrzeugmontierte Vorrichtung 100b aufnimmt. Die Insassenbildaufnahmeeinheit 108 erkennt eine Situation des Fahrers anhand eines aufgenommenen Bildes des Fahrers. Die Situation des Fahrers, die von der Insassenbildaufnahmeeinheit 108 erfasst wird, ist beispielsweise eine Sichtrichtung des Fahrers, eine Richtung des Gesichts des Fahrers oder dergleichen. Die Head-up-Anzeige 109 stellt zweite Verkehrszeicheninformationen dar, die von der Servervorrichtung 200b in einem bestimmten Darstellungsmodus übertragen werden. Die fahrzeugmontierte Vorrichtung 100b beinhaltet neben der Anzeige 106 auch die Head-Up-Anzeige 109, und eine Vielzahl von Anzeigen ist enthalten.
Die Anzeige 106 ist beispielsweise eine Hauptanzeige einer Navigationsvorrichtung. Das Head-up-Display 109 wird beispielsweise durch Projizieren eines Bildes auf eine Windschutzscheibe realisiert, auf der das Bild reflektiert wird, und ist eine Anzeige, auf der Informationen, die zusammen mit einer realen Landschaft während der Fahrt bereitgestellt werden, erkannt werden können. Die Steuereinheit 104 führt eine Steuerung zum Umschalten eines Ausgabeziels der zweiten Verkehrszeicheninformation auf die Head-Up-Anzeige 109 oder die Anzeige 106 auf der Grundlage von Steuerinformationen durch, die von der Servervorrichtung 200b übertragen werden.
Die Darstellungssteuereinheit 202b der Servervorrichtung 200b erfasst als Information, die eine Fahrzeugsituation anzeigt, ein von der Bilderfassungseinheit 101 aufgenommenes Bild und Informationen, die die Situation des Fahrers anzeigen, die von der Insassenbilderfassungseinheit 108 von der 100b-Seite der fahrzeugmontierten Vorrichtung über die Kommunikationseinheit 201 erfasst werden. Die Darstellungssteuereinheit 202b führt eine Steuerung zum Erzeugen der zweiten Verkehrszeicheninformation auf der Grundlage der erfassten Informationen und eine Steuerung zum Darstellen der erzeugten zweiten Verkehrszeicheninformation an die am Fahrzeug angebrachte Vorrichtung 100b durch.
Die Klassifikationseinheit 204b klassifiziert die Fahrzeugsituation anhand der Informationen, die die Situation der Fahrereingabe der Darstellungssteuerungseinheit 202 anzeigen. In der vierten Ausführungsform führt die Klassifikationseinheit 204b die Identifizierung einer Blickrichtung des Fahrers als Klassifizierung der Fahrzeugsituation durch und erzeugt so zweite Blickinformationen als zweite Blickinformationen. Die Klassifikationseinheit 204b gibt die erzeugten zweiten Klassifizierungsinformationen, also die zweiten Betrachtungsinformationen, an die Darstellungssteuereinheit 202b aus. Die Darstellungsmodus-Bestimmungseinheit 205b bestimmt unter Bezugnahme auf ein in der Akkumulationseinheit 208b akkumuliertes Konformitätsergebnis, das angibt, ob das Fahren nach einem Verkehrszeichen in der Vergangenheit durchgeführt wurde oder nicht, einen Darstellungsmodus der zweiten Verkehrszeicheninformation auf der Grundlage der zweiten Verkehrszeicheninformation und der von der Darstellungssteuereinheit 202 eingegebenen zweiten Betrachtungsinformation.
Insbesondere erfasst die Darstellungsmodus-Bestimmungseinheit 205b ein Ergebnis der vergangenen Konformität in einem Fall, in dem dieselben Verkehrszeicheninformationen wie die von der Zeichenerkennungseinheit 203 erzeugten zweiten Verkehrszeicheninformationen dem Fahrer dargestellt werden, der die in den zweiten Betrachtungsinformationen angegebene Blickrichtung betrachtet, die die zweiten Klassifizierungsinformationen sind. Die Darstellungsmodus-Bestimmungseinheit 205b bestimmt den Darstellungsmodus der zweiten Verkehrszeicheninformation auf der Grundlage des erfassten bisherigen Konformitätsergebnisses.
Ähnlich wie bei der ersten Ausführungsform sammelt die Akkumulationseinheit 208b ein von einem ersten Fahrzeug erfasstes Konformitätsergebnis, erste Verkehrszeicheninformationen und einen Darstellungsmodus für die ersten Verkehrszeicheninformationen.
14 ist ein Diagramm, das ein Akkumulationsbeispiel in der Akkumulationseinheit 208b der Servervorrichtung 200b zur Implementierung des Informationsdarstellungsverfahrens gemäß der vierten Ausführungsform darstellt.
Ähnlich wie bei der ersten Ausführungsform akkumuliert die Akkumulationseinheit 208b Informationen einschließlich Klassifizierungsinformationen, dargestellte Verkehrszeicheninformationen, einen Darstellungsmodus der Verkehrszeicheninformationen, eine Konformitätsrate in Bezug auf das Verkehrszeichen und dergleichen. Als Klassifizierungsinformationen werden die Anzeigeinformationen des Fahrers gesammelt.
Im Beispiel von 14 zeigt die Information von Nr. 1 an, dass die Klassifizierungsinformation „Ansicht linke Seite in Bezug auf die Fahrtrichtung vor dem Fahrzeug“ ist, die dargestellte Verkehrszeicheninformation ist „Stopp“, der Darstellungsmodus der Verkehrszeicheninformation ist „Anzeige Verkehrszeichen auf der Hauptanzeige“, und die Konformitätsrate in Bezug auf das Verkehrszeichen beträgt „80%“. Die Informationen von Nr. 2 deuten darauf hin, dass die Klassifizierungsinformationen „Ansicht der linken Seite in Bezug auf die Fahrtrichtung vor dem Fahrzeug“ sind, die dargestellten Verkehrszeicheninformationen sind „Stopp“, der Darstellungsmodus der Verkehrszeicheninformationen ist „Darstellung auf der Anzeige in Blickrichtung“, und die Konformitätsrate in Bezug auf das Verkehrszeichen ist „90%“. Wenn die Darstellungsmodus-Bestimmungseinheit 205b den Darstellungsmodus der zweiten Verkehrszeicheninformation auf der Grundlage der Informationen von Nr. 2 bestimmt, wird die Steuereinheit 104 der fahrzeugmontierten Vorrichtung 100b in die Lage versetzt, eine Steuerung durchzuführen, um die Head-Up-Anzeige 109, die sich in Blickrichtung des Fahrers befindet, zur Anzeige der zweiten Verkehrszeicheninformation zu veranlassen.
Die Darstellungsmodus-Bestimmungseinheit 205b bezieht sich auf die Akkumulationseinheit 208b auf der Grundlage der in 14 dargestellten Betrachtungsinformationen des Fahrers, wodurch dem Fahrer die Verkehrszeicheninformationen effektiv dargestellt werden können. Es ist zu beachten, dass in einem Fall, in dem sich keine Anzeige in Sichtrichtung des Fahrers befindet, die Steuereinheit 104 der fahrzeugmontierten Vorrichtung 100b eine angemessene Einstellung vornehmen kann, beispielsweise zur Ausgabe der Verkehrszeicheninformationen per Sprache mit dem Lautsprecher 107 oder dergleichen. Somit kann das Informationsdarstellungssystem die Verkehrszeicheninformationen entsprechend den Sichtinformationen des Fahrers darstellen.
Als nächstes werden Hardware-Konfigurationsbeispiele für die fahrzeugmontierte Vorrichtung 100b und die Servervorrichtung 200b beschrieben.
Da die Diagramme, die jeweils ein Hardware-Konfigurationsbeispiel der fahrzeugmontierten Vorrichtung 100b veranschaulichen, mit denen in den in der ersten Ausführungsform beschriebenen 3A und 3B identisch sind, entfallen die Abbildungen davon. Da die Diagramme, die jeweils ein Hardware-Konfigurationsbeispiel der Servervorrichtung 200b veranschaulichen, die gleichen sind wie die in den 4A und 4B in der ersten Ausführungsform beschriebenen, entfallen die Abbildungen davon.
Die Funktion der Insassenbildaufnahmeeinheit 108 der fahrzeugmontierten Vorrichtung 100b ist ähnlich der der Bilderfassungseinheit 101, und die Funktion der Head-up-Anzeige 109 ist ähnlich der der Anzeige 106. Darüber hinaus sind die Funktionen der Darstellungssteuereinheit 202b, der Klassifikationseinheit 204b und der Darstellungsmodus-Bestimmungseinheit 205b der Servervorrichtung 200b denen der Darstellungssteuereinheit 202, der Klassifikationseinheit 204 und der in der ersten Ausführungsform beschriebenen Darstellungsmodus-Bestimmungseinheit 205 ähnlich.
Als nächstes wird der Betrieb des Informationsdarstellungssystems beschrieben.
15 ist ein Flussdiagramm, das die Funktionsweise der Darstellungsverarbeitung von Verkehrszeicheninformationen des Informationsdarstellungssystems zur Implementierung des Informationsdarstellungsverfahrens gemäß der vierten Ausführungsform darstellt. Im Folgenden werden die gleichen Schritte wie bei der fahrzeugmontierten Vorrichtung 100 und der Servervorrichtung 200 gemäß der ersten Ausführungsform durch die gleichen Referenznummern gekennzeichnet, wie sie in 5 verwendet werden, und ihre Beschreibung wird weggelassen oder vereinfacht.
Die Steuereinheit 104 der fahrzeugmontierten Vorrichtung 100b erfasst das aufgenommene Bild der Bilderfassungseinheit 101 und die von der Insassenbilderfassungseinheit 108 erfassten Informationen über die Situation des Fahrers und überträgt das aufgenommene Bild und die Informationen über die Kommunikationseinheit 105 (Schritt ST51) an die Servervorrichtung 200.
Die Kommunikationseinheit 201 der Servervorrichtung 200 empfängt das aufgenommene Bild und die Informationen zur Situation des Fahrers, die von der Fahrzeugvorrichtung 100b übertragen werden, und gibt sie an die Darstellungssteuereinheit 202b (Schritt ST52) aus. Die Darstellungssteuereinheit 202b gibt die in Schritt ST52 aufgenommene Bildeingabe an die Zeichenerkennungseinheit 203 aus und gibt die Informationen, die die Situation des Fahrers anzeigen, an die Klassifikationseinheit 204b (Schritt ST53) aus. Danach wird die Verarbeitung von Schritt ST4 zu Schritt ST6 durchgeführt.
Anschließend klassifiziert die Klassifikationseinheit 204b die Situation des Fahrzeugs mit Bezug auf die Informationen, die die Situation der Fahrereingabe in Schritt ST53 anzeigen, und erzeugt so die zweite Klassifikationsinformation (Schritt ST54). Insbesondere erzeugt die Klassifikationseinheit 204b durch Identifizieren der Blickrichtung des Fahrers die zweite Betrachtungsinformation als zweite Klassifikationsinformation (nachfolgend als zweite Klassifikationsinformation (Betrachtungsinformation) bezeichnet). Die Klassifikationseinheit 204 benachrichtigt die Darstellungssteuereinheit 202b über die in Schritt ST54 (Schritt ST8) erzeugten zweiten Klassifizierungsinformationen. Es ist zu beachten, dass die Verarbeitung in Schritt ST54 und Schritt ST8 parallel zur Verarbeitung von Schritt ST4 bis Schritt ST6 erfolgen kann.
Die Darstellungssteuereinheit 202b gibt die zweite von der Zeichenerkennungseinheit 203 gemeldete Verkehrszeicheninformation und die von der Klassifikationseinheit 204b gemeldete zweite Klassifizierungsinformation an die Darstellungsmodus-Bestimmungseinheit 205b aus und weist die Darstellungsform-Bestimmungseinheit 205b an, die Darstellungsform der zweiten Verkehrszeicheninformation zu bestimmen (Schritt ST9). Die Darstellungsmodus-Bestimmungseinheit 205b identifiziert, bezogen auf die Akkumulationseinheit 208b, einen Satz der ersten Verkehrszeicheninformation und der ersten Klassifizierungsinformation, der mit einem Satz der zweiten Verkehrszeicheninformation und der zweiten Klassifizierungsinformation, die von der Darstellungssteuereinheit 202b eingegeben wird (Schritt ST10), übereinstimmt. Die Darstellungsmodus-Bestimmungseinheit 205b erfasst, bezogen auf die Akkumulationseinheit 208b, ein Konformitätsergebnis, das mit dem Identifikations-Set der ersten Verkehrszeicheninformationen und der ersten Klassifizierungsinformationen verknüpft ist (Schritt ST11).
So erfasst beispielsweise die Darstellungsmodus-Bestimmungseinheit 205b von der Akkumulationseinheit 208b das Konformitätsergebnis in einem Fall, in dem die ersten Verkehrszeicheninformationen dem Fahrer des ersten Fahrzeugs dargestellt werden, das die in den von der Darstellungssteuereinheit 202b eingegebenen Betrachtungsinformationen angegebene Blickrichtung betrachtet.
Danach wird die Verarbeitung von Schritt ST12 zu Schritt ST15 durchgeführt. Auf der Grundlage der Steuerinformationen führt die Steuereinheit 104 der fahrzeugmontierten Vorrichtung 100b die Verarbeitung durch, um dem Fahrer die zweite Verkehrszeicheninformation über mindestens eine der Anzeigen 106, die Head-up-Anzeige 109 und den Lautsprecher 107 (Schritt ST55) darzustellen. Danach kehrt die Verarbeitung des Flussdiagramms zur Verarbeitung in Schritt ST51 zurück und die oben beschriebene Verarbeitung wird wiederholt.
Details der Verarbeitung von Schritt ST10 zu Schritt ST12 im Flussdiagramm, das in 15 dargestellt ist, sind die gleichen wie im Flussdiagramm, das in 6 der ersten Ausführungsform dargestellt ist.
Als Schritt ST21 des Flussdiagramms von 6 bestimmt die Darstellungsmodus-Bestimmungseinheit 205 unter Bezugnahme auf das in der Akkumulationseinheit 208b akkumulierte Konformitätsergebnis, ob es einen Satz der ersten Verkehrszeicheninformationen und der ersten Klassifizierungsinformationen gibt, die mit einem Satz der zweiten Verkehrszeicheninformationen und der zweiten Klassifizierungsinformationen (Anzeigeinformationen) übereinstimmen, die von der Darstellungssteuereinheit 202b eingegeben werden.
Die Kumulationsverarbeitung d des Konformitätsergebnisses in dem Informationsdarstellungsverfahren nach der vierten Ausführungsform ist die gleiche wie die des Flussdiagramms, das in 7 der ersten Ausführungsform dargestellt ist.
Als Schritt ST33 des Flussdiagramms von 7 erfasst die Akkumulationssteuereinheit 206 von der Darstellungssteuereinheit 202b die ersten Klassifizierungsinformationen, die unmittelbar vor den Betrachtungsinformationen des ersten Fahrzeugs entsprechend der fahrzeugmontierten Vorrichtung 100 liegen, die ersten Verkehrszeicheninformationen und den Darstellungsmodus der ersten Verkehrszeicheninformationen.
Zusätzlich zu der vorstehend beschriebenen Verarbeitung kann die Insassenbildaufnahmeeinheit 108 anhand der erfassten Richtung des Gesichts des Fahrers bestimmen, ob der Fahrer mit oder ohne Blick auf die Straße fährt. Wenn festgestellt wird, dass der Fahrer fährt, ohne die Straße im Auge zu behalten, fügt die Insassenbildaufnahmeeinheit 108 Informationen hinzu, die anzeigen, dass das Fahren ohne die Straße im Auge zu behalten, als die Situation des Fahrers durchgeführt wird. Wenn die Informationen, die anzeigen, dass Fahren ohne die Augen auf der Straße durchgeführt wird, zu den Informationen hinzugefügt werden, die die Situation des Fahrers anzeigen, beschreibt die Klassifikationseinheit 204b, dass das Fahren ohne die Augen auf der Straße auch in den zweiten zu erzeugenden Klassifikationsinformationen (Betrachtungsinformationen) durchgeführt wird.
Wenn beschrieben wird, dass das Fahren ohne die Straße im Auge zu behalten, in der zweiten Klassifizierungsinformation (Betrachtungsinformation) durchgeführt wird, bestimmt die Darstellungsmodus-Bestimmungseinheit 205b nicht den Darstellungsmodus, in dem die Anzeige auf dem in Betrachtungsrichtung befindlichen Display durchgeführt wird. Wenn beispielsweise beschrieben wird, dass das Fahren ohne die Straße im Auge zu behalten, in der zweiten Klassifizierungsinformation (Betrachtungsinformation) durchgeführt wird, bestimmt die Darstellungsmodus-Bestimmungseinheit 205b den Darstellungsmodus zum Ausführen der Anzeige auf der vorbestimmten Hauptanzeige oder der Anzeige auf der vorbestimmten Hauptanzeige und der Sprachausgabe aus dem Lautsprecher.
Somit kann die Darstellungsmodus-Bestimmungseinheit 205b das Auftreten der Situation unterdrücken, dass der Fahrer auf die Verkehrszeicheninformationen blickt, die in eine Richtung angezeigt werden, in die der Fahrer zur Seite schaut, und das Risiko verringern, dass der Fahrer seine Sichtlinie nicht nach vorne zum Fahrzeug zurückbringen kann. Darüber hinaus kann die Darstellungsmodus-Bestimmungseinheit 205b die Darstellung der Verkehrszeicheninformationen durch Sprachausgabe oder dergleichen hervorheben.
Zusätzlich zu der oben beschriebenen Verarbeitung kann die Insassenbildaufnahmeeinheit 108 ferner den Gesichtsausdruck des Fahrers, einen Öffnungszustand der Augen des Fahrers und dergleichen als die Situation des Fahrers erkennen. Ausgehend von einem Erkennungsergebnis der Insassenbildaufnahmeeinheit 108 kann die Klassifikationseinheit 204b erkennen, ob der Fahrer schläft, ob der Fahrer lacht, ob der Fahrer wütend ist und dergleichen, und diese Informationen zu den Anzeigeinformationen hinzufügen.
Die Darstellungsmodus-Bestimmungseinheit 205b bestimmt den Darstellungsmodus der zweiten Verkehrszeicheninformation auf der Grundlage der zweiten Verkehrszeicheninformation und der Blickrichtung des Fahrers, die in den zweiten Klassifizierungsinformationen (Betrachtungsinformationen) enthalten ist. Danach, wenn Informationen, die anzeigen, dass der Fahrer schläft, in den zweiten Klassifizierungsinformationen enthalten sind (Anzeigeinformationen), ändert die Darstellungsmodus-Bestimmungseinheit 205b den bestimmten Darstellungsmodus der zweiten Verkehrszeicheninformationen. So ändert beispielsweise die Darstellungsmodus-Bestimmungseinheit 205b den Darstellungsmodus auf den der höchsten Ebene 5 in der Darstellungsebene der ersten in 8 dargestellten Ausführungsform.
Ebenso, wenn Informationen, die darauf hindeuten, dass der Fahrer lacht, in den zweiten Klassifizierungsinformationen enthalten sind (Anzeigeinformationen), behält die Darstellungsmodus-Bestimmungseinheit 205b den bestimmten Darstellungsmodus der zweiten Verkehrszeicheninformationen bei. Des Weiteren, wenn Informationen, die anzeigen, dass der Fahrer wütend ist, in den zweiten Klassifizierungsinformationen enthalten sind (Anzeigeinformationen), ändert die Darstellungsmodus-Bestimmungseinheit 205b das Niveau des bestimmten Darstellungsmodus der zweiten Verkehrszeicheninformationen, um es zu senken.
Darüber hinaus kann die Darstellungsmodus-Bestimmungseinheit 205b die zweite Klassifizierungsinformation (Betrachtungsinformation) erzeugen, indem sie nur identifiziert, ob der Fahrer schläft, ob der Fahrer lacht, ob der Fahrer wütend ist und dergleichen, ohne die Identifizierung der Blickrichtung des Fahrers durchzuführen.
Des Weiteren kann die in der dritten Ausführungsform beschriebene Konfiguration, in der die Reaktion des Fahrers akkumuliert und bei der nächsten Bestimmung der Darstellungsmodus der Verkehrszeicheninformationen reflektiert wird, auf das Informationsdarstellungssystem der vierten Ausführungsform angewendet werden.
Die Akkumulationssteuereinheit 206 extrahiert aus dem Gesichtsausdruck des Fahrers, dem Grad der Augenöffnung des Fahrers und dergleichen, die von der Insassenbildaufnahmeeinheit 108 erfasst werden, den Gesichtsausdruck, der Unannehmlichkeiten des Fahrers wie Wut oder Stirnrunzeln zeigt. Die Akkumulationssteuereinheit 206 akkumuliert in der im Blockdiagramm von 10 dargestellten Reaktionsinformationsakkumulationseinheit 209 das extrahierte Ergebnis des Gesichtsausdrucks, das Unannehmlichkeiten für den Fahrer zeigt, zusammen mit den ersten Verkehrszeicheninformationen und dem Darstellungsmodus der ersten Verkehrszeicheninformationen, wenn das Extraktionsergebnis erhalten wird.
Die Darstellungsmodus-Bestimmungseinheit 205b bestimmt den Darstellungsmodus der zweiten Verkehrszeicheninformation in Bezug auf die Akkumulationseinheit 208b und führt dann eine Suche durch, ob der Fahrer in der Vergangenheit Unbehagen mit Bezug auf die Reaktionsinformationsakkumulationseinheit 209 gezeigt hat oder nicht. Es ist zu beachten, dass, da der Verarbeitungsvorgang des Verweises auf die Reaktionsinformationsakkumulationseinheit 209 derselbe ist wie in der dritten Ausführungsform, die detaillierte Beschreibung davon entfällt.
Darüber hinaus kann die Akkumulationssteuereinheit 206 auch in einem Fall, in dem ein Ergebnis erhalten wird, dass als Reaktion des Fahrers der Gesichtsausdruck nicht verändert wird, nachdem die erste Verkehrszeicheninformation dargestellt wurde, und das Fahren in Übereinstimmung mit dem Verkehrszeichen durchgeführt wird, die Reaktion in der Reaktionsinformationsakkumulationseinheit 209 akkumulieren. In einem solchen Fall kann die Darstellungsmodus-Bestimmungseinheit 205b so konfiguriert werden, dass der nächste Darstellungsmodus der Verkehrszeicheninformationen für den gleichen Fahrer einfacher wird.
Wenn der Fahrer bereits ein Verkehrszeichen gesehen hat, bevor die zweite Verkehrszeicheninformation dargestellt wird, kann die Darstellungsmodus-Bestimmungseinheit 205b so konfiguriert werden, dass die Anzeige zur Darstellung der zweiten Verkehrszeicheninformation aufgrund der zweiten Klassifizierungsinformation (Blickrichtung) nicht verändert wird. Des Weiteren kann in diesem Fall die Darstellungsmodus-Bestimmungseinheit 205b konfiguriert werden, um die Sprachausgabe der zweiten Verkehrszeicheninformation zu stoppen oder den Darstellungsmodus der zweiten Verkehrszeicheninformation zu ändern, um ihn einfacher zu gestalten.
Insbesondere bestimmt die Klassifikationseinheit 204b, ob der Fahrer ein Straßenschild betrachtet oder nicht, indem sie die Position des Straßenschildes auf einem von der Bilderfassungseinheit 101 aufgenommenen Bild mit einer Blickrichtung vergleicht, die von einem Bild erhalten wird, das von der Insassenbildaufnahmeeinheit 108 gleichzeitig mit dem Zeitpunkt aufgenommen wurde, zu dem die Bilderfassungseinheit 101 das Bild aufgenommen hat.
Wenn der Fahrer des Fahrzeugs das Verkehrszeichen bereits gesehen hat, bevor die zweite Verkehrszeicheninformation dargestellt wird, zeigt die Darstellungsmodus-Bestimmungseinheit 205b die zweite Verkehrszeicheninformation nur auf der Anzeige 106, die die Hauptanzeige ist. Alternativ wählt die Darstellungsmodus-Bestimmungseinheit 205b einfachere Mittel als Darstellungsmodus der zweiten Verkehrszeicheninformation, beispielsweise einen Darstellungsmodus der Ebene 1 oder Ebene 2 in 8 der ersten Ausführungsform.
So ist es möglich, eine übermäßige Informationsdarstellung für das Verkehrszeichen zu unterdrücken, die bereits vom Fahrer gesehen wurde.
Wie vorstehend beschrieben, sind gemäß der vierten Ausführungsform die folgenden Schritte enthalten: Empfangen von Informationen, die eine Situation eines Fahrers des ersten Fahrzeugs oder des zweiten Fahrzeugs als Information über die Fahrzeugsituation anzeigen, durch die Kommunikationseinheit 201, Erzeugen der ersten Klassifizierungsinformationen oder der zweiten Klassifizierungsinformationen durch die Klassifizierungseinheit 204b, durch Identifizieren einer Blickrichtung des Fahrers des ersten Fahrzeugs oder des zweiten Fahrzeugs in Bezug auf die empfangenen Informationen, die die Situation des Fahrers des ersten Fahrzeugs oder des zweiten Fahrzeugs anzeigen, und durch Klassifizieren der Fahrzeugsituation des ersten Fahrzeugs oder des zweiten Fahrzeugs, auf der Grundlage der identifizierten Blickrichtung, und Ändern einer Darstellungsposition der Verkehrszeicheninformationen, auf der Grundlage der identifizierten Blickrichtung, durch die Darstellungsart Bestimmungseinheit 205b, wenn das Fahren in Übereinstimmung mit einem Verkehrszeichen in der Vergangenheit nicht durchgeführt wurde. Dadurch können die Verkehrszeicheninformationen auf der in Blickrichtung des Fahrers angeordneten Anzeige dargestellt werden, und die Möglichkeit, dass der Fahrer die Verkehrszeicheninformationen erkennt, kann verbessert werden.
Darüber hinaus ist gemäß der vierten Ausführungsform der folgende Schritt enthalten: Hinzufügen einer Darstellung per Sprachausgabe zum Darstellungsmodus der zweiten Verkehrszeicheninformation, basierend auf der identifizierten Blickrichtung, durch die Darstellungsmodus-Bestimmungseinheit 205b. Dadurch kann die Darstellung der Verkehrszeicheninformationen durch die Sprachausgabe hervorgehoben werden, wenn der Fahrer fährt, ohne die Augen auf der Straße zu richten.
Darüber hinaus ist gemäß der vierten Ausführungsform folgender Schritt vorgesehen: Reduzierung der Stärke der Darstellung der zweiten Verkehrszeicheninformation in einem Fall, in dem die Reaktionsinformation, wenn die erste Verkehrszeicheninformation dargestellt wurde, nicht akkumuliert wird und das Fahren in Übereinstimmung mit dem Verkehrszeichen in der Vergangenheit durch die Darstellungsmodus-Bestimmungseinheit 205b durchgeführt wurde. Dadurch kann der nächste Darstellungsmodus der Verkehrszeicheninformationen in einen einfacheren geändert werden, wenn der Fahrer in Übereinstimmung mit dem Verkehrszeichen mit seiner normalen Einstellung fährt.
Darüber hinaus wird gemäß der vierten Ausführungsform folgender Schritt durchgeführt: Reduzierung der Stärke der Darstellung der zweiten Verkehrszeicheninformation, wenn der Fahrer des zweiten Fahrzeugs das Verkehrszeichen vor der Darstellung der zweiten Verkehrszeicheninformation betrachtet, durch die Darstellungsmodus-Bestimmungseinheit 205b. Dadurch ist es möglich, eine übermäßige Informationsdarstellung des Verkehrszeichens zu unterdrücken, die bereits vom Fahrer gesehen wurde.
Fünfte Ausführungsform.
In dieser fünften Ausführungsform wird eine Konfiguration beschrieben, bei der Klassifizierungsinformationen auf der Grundlage von Informationen erzeugt werden, die ein Fahrkönnen in Insasseninformationen in Informationen über eine Fahrzeugsituation angeben.
16 ist ein Blockdiagramm, das eine Konfiguration eines Informationsdarstellungssystems zur Implementierung eines Informationsdarstellungsverfahrens gemäß der fünften Ausführungsform darstellt.
Eine fahrzeugmontierte Vorrichtung 100c der fünften Ausführungsform beinhaltet nicht die Spracherkennungseinheit 103 der fahrzeugmontierten Vorrichtung 100, die in der ersten Ausführungsform beschrieben ist.
Eine Servervorrichtung 200c der fünften Ausführungsform beinhaltet eine Darstellungssteuereinheit 202c, eine Klassifikationseinheit 204c, eine Darstellungsmodus-Bestimmungseinheit 205c und eine Akkumulationseinheit 208c, anstelle der Darstellungssteuereinheit 202, der Klassifikationseinheit 204, der Darstellungsmodus-Bestimmungseinheit 205 und der Akkumulationseinheit 208 der in der ersten Ausführungsform beschriebenen Servervorrichtung 200.
Im Folgenden werden dieselben Komponententeile wie die des Informationsdarstellungssystems gemäß der ersten Ausführungsform oder entsprechende Teile davon mit den gleichen Bezugsnummern wie bei der ersten Ausführungsform bezeichnet, und ihre Beschreibung wird weggelassen oder vereinfacht.
Die Darstellungssteuereinheit 202c der Servervorrichtung 200c erfasst von der Seite der fahrzeugmontierten Vorrichtung 100b über die Kommunikationseinheit 201 ein erfasstes Bild und Fahrfähigkeitsniveau eines Fahrers, das Informationen über die Fahrzeugsituation sind. Die Darstellungssteuereinheit 202c führt eine Steuerung zum Erzeugen einer zweiten Verkehrszeicheninformation auf der Grundlage der erfassten Informationen und eine Steuerung zum Darstellen der erzeugten zweiten Verkehrszeicheninformation an die am Fahrzeug angebrachte Vorrichtung 100c durch.
Die Klassifikationseinheit 204c klassifiziert die Fahrzeugsituation anhand der Informationen, die die von der Darstellungssteuereinheit 202c eingegebene Fahrzeugsituation anzeigen. In der fünften Ausführungsform klassifiziert die Klassifikationseinheit 204c die Fahrzeugsituation eines zweiten Fahrzeugs und erzeugt zweite Klassifizierungsinformationen auf der Grundlage einer Fahrfähigkeit eines Fahrers des zweiten Fahrzeugs, die die Fahrzeugsituation des zweiten Fahrzeugs ist. Die Klassifikationseinheit 204c erzeugt die zweite Klassifizierungsinformation, die beispielsweise „Fahrqualitätsniveau: niedrig“, „Fahrqualitätsniveau: hoch“ oder dergleichen auf der Grundlage des Fahrqualitätsniveaus des Fahrers anzeigt.
Das Fahrkönnen des Fahrers wird auf der Grundlage einer Erfahrung des Fahrers festgelegt, die durch die Analyse einer Fahrgeschwindigkeit, eines Lenkradbetriebszustands, eines Bremsbetriebszustands und dergleichen des Fahrzeugs geschätzt wird. Das Fahrkönnen des Fahrers kann vom Fahrer als Zahlenwert für das Fahrerlebnis eingegeben und entsprechend dem eingegebenen Zahlenwert eingestellt werden.
Die Klassifikationseinheit 204c gibt die zweiten Klassifizierungsinformationen, die auf der Grundlage des oben beschriebenen Niveau des Fahrkönnens des Fahrers erzeugt werden, an die Darstellungssteuereinheit 202 aus.
Die Darstellungsmodus-Bestimmungseinheit 205c identifiziert unter Bezugnahme auf die in der Akkumulationseinheit 208c angesammelten Informationen einen Satz von ersten Verkehrszeicheninformationen und ersten Klassifizierungsinformationen, die mit einem Satz der zweiten Verkehrszeicheninformationen und der zweiten Klassifizierungsinformationen übereinstimmen. Die Darstellungsmodus-Bestimmungseinheit 205c bestimmt unter Bezugnahme auf ein Konformitätsergebnis, das dem identifizierten Satz der ersten Verkehrszeicheninformationen und der ersten Klassifizierungsinformationen zugeordnet ist, einen Darstellungsmodus der zweiten Verkehrszeicheninformationen. Wenn hier eine Geschwindigkeit eines ersten Fahrzeugs, das gemäß dem ersten Verkehrszeichen fährt, kleiner als ein Schwellenwert ist, ändert die Darstellungsmodus-Bestimmungseinheit 205c den Darstellungsmodus der zweiten Verkehrszeicheninformation in einen Darstellungsmodus, der sich von einem Darstellungsmodus der ersten Verkehrszeicheninformation unterscheidet.
Ähnlich wie bei der ersten Ausführungsform akkumuliert die Akkumulationseinheit 208c ein Bestimmungsergebnis der Zeichenkonformität-Bestimmungseinheit 207 und den Darstellungsmodus der ersten Verkehrszeicheninformationen, die vom ersten Fahrzeug erfasst werden.
17 ist ein Diagramm, das ein Akkumulationsbeispiel für die Akkumulationseinheit 208c des Informationsdarstellungssystems zur Implementierung des Informationsdarstellungsverfahrens gemäß der fünften Ausführungsform darstellt.
Die Akkumulationseinheit 208c akkumuliert Informationen, einschließlich beispielsweise Klassifizierungsinformationen, dargestellte Verkehrszeicheninformationen, einen Darstellungsmodus der Verkehrszeicheninformationen, eine Konformitätsrate in Bezug auf das Verkehrszeichen und dergleichen. Die Akkumulationseinheit 208c akkumuliert das Konformitätsergebnis mit dem Verkehrszeichen entsprechend dem Fahrkönnen des Fahrers.
Im Beispiel von 17 zeigt die Information von Nr. 1 an, dass die Klassifizierungsinformation „ Fahrkönnen Niveau ist: Niedrig“, die dargestellten Verkehrszeicheninformationen sind „Stopp“, der Darstellungsmodus der Verkehrszeicheninformationen ist „Verkehrszeichen anzeigen“, und die Konformitätsrate in Bezug auf das Verkehrszeichen ist „70%“.
Die Informationen von Nr. 2 deuten darauf hin, dass die Klassifizierungsinformationen „ Fahrkönnen Niveau ist: “: Niedrig“, die dargestellten Verkehrszeicheninformationen sind „Stopp“, der Darstellungsmodus der Verkehrszeicheninformationen ist „Verkehrszeichen anzeigen, Stimme aus dem Lautsprecher ausgeben“, und die Konformitätsrate in Bezug auf das Verkehrszeichen ist „90%“.
Die Informationen von Nr. 3 deuten darauf hin, dass die Klassifizierungsinformationen „ Fahrkönnen Niveau ist: Niedrig“, die dargestellten Verkehrszeicheninformationen sind „Stopp“, der Darstellungsmodus der Verkehrszeicheninformationen ist „Verkehrszeichen anzeigen, Sprache und Alarmton vom Lautsprecher ausgeben“, und die Konformitätsrate in Bezug auf das Verkehrszeichen beträgt „98%“.
Die Informationen von Nr. 4 deuten darauf hin, dass die Klassifizierungsinformationen „Fahrkönnen Niveau ist: Hoch“ sind, die dargestellten Verkehrszeicheninformationen „Stopp“ sind, der Darstellungsmodus der Verkehrszeicheninformationen „Verkehrszeichen anzeigen“ ist und die Konformitätsrate in Bezug auf das Verkehrszeichen „95%“ ist.
Es wird davon ausgegangen, dass im Darstellungsmodus die Einheit 205c der Schwellenwert des Konformitätsgrades, der für die Extraktion der eingestellten Informationen verwendet wird, wenn die Klassifizierungsinformationen „Fahrkönnen Niveau ist: Niedrig“ ist 75%. Im Beispiel von 17 extrahiert die Darstellungsmodus-Bestimmungseinheit 205c die Informationen von Nr. 2 (Konformitätsrate „90%“) und die Informationen von Nr. 3 (Konformitätsrate „98%“), deren Klassifizierungsinformationen „Fahrkönnen Niveau ist: Niedrig“ und deren Konformitätsgrad gleich oder größer als 75% ist. Die Darstellungsmodus-Bestimmungseinheit 205c vergleicht den extrahierten Darstellungsmodus der Information von Nr. 2 mit dem Darstellungsmodus der Information von Nr. 3 und bestimmt, dass der Darstellungsmodus nur der Stimme einfacher ist, wodurch die Information von Nr. 2 ausgewählt wird.
Im Folgenden werden Hardware-Konfigurationsbeispiele der fahrzeugmontierten Vorrichtung 100c und der Servervorrichtung 200c beschrieben.
Da Diagramme, die Hardware-Konfigurationsbeispiele der fahrzeugmontierten Vorrichtung 100c und der Servervorrichtung 200c veranschaulichen, mit denen der in den 3A und 3B und 4A und 4B beschriebenen ersten Ausführungsform identisch sind, entfällt die Darstellung derselben.
Die Funktionen der Darstellungssteuereinheit 202c, der Klassifikationseinheit 204c und der Darstellungsmodus-Bestimmungseinheit 205c der Servervorrichtung 200c sind ähnlich wie die der Darstellungssteuereinheit 202, der Klassifikationseinheit 204 und der in der ersten Ausführungsform beschriebenen Darstellungsmodus-Bestimmungseinheit 205.
Als nächstes wird der Betrieb des Informationsdarstellungssystems beschrieben.
18 ist ein Flussdiagramm, das die Funktionsweise der Darstellungsverarbeitung von Verkehrszeicheninformationen des Informationsdarstellungssystems zur Implementierung des Informationsdarstellungsverfahrens gemäß der dritten Ausführungsform darstellt. Im Folgenden werden die gleichen Schritte wie bei der fahrzeugmontierten Vorrichtung 100 und der Servervorrichtung 200 gemäß der ersten Ausführungsform durch die gleichen Referenznummern gekennzeichnet, wie sie in 5 verwendet werden, und ihre Beschreibung wird weggelassen oder vereinfacht.
Die Steuereinheit 104 der fahrzeugmontierten Vorrichtung 100 erfasst das aufgenommene Bild der Bilderfassungseinheit 101 und die von der Fahrsituationssammeleinheit 102 erfassten Informationen über das Fahrkönnen des Fahrers und überträgt sie über die Kommunikationseinheit 105 (Schritt ST61) an die Servervorrichtung 200. Die Kommunikationseinheit 201 der Servervorrichtung 200 empfängt das aufgenommene Bild und die Informationen über das Fahrkönnen des Fahrers, die von der fahrzeugmontierten Vorrichtung 100 übertragen werden, und gibt sie an die Darstellungssteuereinheit 202c (Schritt ST62) aus. Die Darstellungssteuereinheit 202c gibt die in Schritt ST62 erfasste Bildeingabe an die Zeichenerkennungseinheit 203 aus und gibt die Informationen über das Fahrkönnen der Fahrereingabe in Schritt ST62 an die Klassifikationseinheit 204c (Schritt ST63) aus. Danach wird die Verarbeitung von Schritt ST4 zu Schritt ST6 durchgeführt.
Als nächstes klassifiziert die Klassifikationseinheit 204c das Fahrkönnen unter Bezugnahme auf die Informationen, die das Niveau des Fahrkönnens der Fahrereingabe in Schritt ST63 angeben, wodurch die zweiten Informationen des Niveaus des Fahrkönnens als zweite Klassifizierungsinformationen erzeugt werden (im Folgenden als zweite Klassifizierungsinformationen (Fahrkönnen-Niveau-Informationen) bezeichnet). (Schritt ST64). Danach wird die Verarbeitung von Schritt ST8 zu Schritt ST16 durchgeführt.
Details der Verarbeitung von Schritt ST10 zu Schritt ST12 im Flussdiagramm, das in 18 dargestellt ist, sind die gleichen wie im Flussdiagramm, das in 6 der ersten Ausführungsform dargestellt ist.
Als Schritt ST21 des Flussdiagramms von 6 bestimmt die Darstellungsmodus-Bestimmungseinheit 205c unter Bezugnahme auf das in der Akkumulationseinheit 208c akkumulierte Konformitätsergebnis, ob es einen Satz der ersten Verkehrszeicheninformationen und der ersten Klassifizierungsinformationen gibt, die mit einem Satz der zweiten Verkehrszeicheninformationen und der zweiten Klassifizierungsinformationen (Fahrfähigkeitsinformationen) übereinstimmen, die von der Darstellungssteuerungseinheit 202c eingegeben wurden oder nicht.
Die Akkumulationsverarbeitung des Konformitätsergebnisses in dem Informationsdarstellungsverfahren nach der fünften Ausführungsform ist die gleiche wie die des Flussdiagramms, das in 7 der ersten Ausführungsform dargestellt ist.
Als Schritt ST33 des Flussdiagramms von 7 erfasst die Akkumulationssteuereinheit 206 von der Darstellungssteuereinheit 202b die ersten Klassifizierungsinformationen, die Informationen sind, die das Fahrkönnen des Fahrers anzeigen, die ersten Verkehrszeicheninformationen und den Darstellungsmodus der ersten Verkehrszeicheninformationen bezüglich des ersten Fahrzeugs, das der fahrzeugmontierten Vorrichtung 100 entspricht.
Da bei gleichem Fahrkönnen der Fahrer das Verständnis für das Verkehrszeichen der jeweiligen Fahrer als gleich angesehen wird, wird in der fünften Ausführungsform die Darstellungsweise der Verkehrszeicheninformationen entsprechend dem Fahrkönnen geändert. Wenn ein Fahrer mit einem bestimmten Fahrkönnen ein Zeichen nicht verstehen kann, ist es sehr wahrscheinlich, dass ein Fahrer mit einem bestimmten Fahrkönnen nicht ähnlich verstehen kann, und in diesem Fall ist es möglich, die Verkehrszeicheninformationen verständlicher darzustellen, damit der Fahrer das Verkehrszeichen versteht.
Wie vorstehend beschrieben, beinhaltet die Erfindung gemäß der fünften Ausführungsform ferner: Empfangen einer Fahrsituation eines Fahrzeugs als Information, die die Fahrzeugsituation des ersten Fahrzeugs oder des zweiten Fahrzeugs anzeigt, durch die Kommunikationseinheit 201 und Erzeugen von Klassifizierungsinformationen durch die Klassifikationseinheit 204c, durch Klassifizieren der Fahrzeugsituation des ersten Fahrzeugs oder des zweiten Fahrzeugs auf der Grundlage eines Niveaus des Fahrkönnens eines Fahrers des ersten Fahrzeugs oder des zweiten Fahrzeugs, das aus der Fahrsituation des ersten Fahrzeugs oder des zweiten empfangenen Fahrzeugs geschätzt wird. Dadurch können die Verkehrszeicheninformationen entsprechend dem Fahrkönnen des Fahrers dargestellt werden.
Es ist zu beachten, dass in der vorstehend beschriebenen fünften Ausführungsform eine Konfiguration beschrieben wird, bei der das Fahrkönnen des Fahrers als Information über die Fahrzeugsituation verwendet wird; die Fahreigenschaften des Fahrers können jedoch als Information über die Fahrzeugsituation verwendet werden.
Die Klassifikationseinheit 204c schätzt die Fahreigenschaften des Fahrers, indem sie die Fahrgeschwindigkeit, den Lenkradbetriebszustand, den Bremsbetriebszustand und dergleichen analysiert, die von der Fahrsituationssammeleinheit 102 erfasst werden, wodurch zweite Fahreigenschafteninformationen als zweite Klassifikationsinformationen erzeugt werden. Die Klassifikationseinheit 204c klassifiziert die Fahreigenschaften des Fahrers als „ungeduldiges und raues Fahren“, „Fahren im sicheren Fahren“ und dergleichen auf der Grundlage der geschätzten Fahreigenschaften des Fahrers. Es ist zu beachten, dass die Fahreigenschaften des Fahrers durch die fahrzeugmontierte Vorrichtung 100c geschätzt werden können und das Schätzergebnis an die Servervorrichtung 200c übertragen werden kann.
Unter Verwendung der Fahreigenschaft des Fahrers als Information über die Fahrzeugsituation kann das Informationsdarstellungssystem die Informationen in einem Darstellungsmodus darstellen, der für die Fahreigenschaften jedes Fahrers geeignet ist. Als Ergebnis ist es möglich, Informationen gemäß den Merkmalen des Fahrers so darzustellen, dass es beispielsweise bei der Darstellung von Informationen über „Stopp“ durch das Informationsdarstellungssystem notwendig ist, Informationen mit Sprache für einen Fahrer, der grobe Fahrweise ausübt, darzustellen, während es nicht notwendig ist, Informationen mit Sprache für einen Fahrer, der sichere Fahrweise ausübt, darzustellen, bei denen ein vorübergehender Stopp regelmäßig durchgeführt wird.
Es ist zu beachten, dass in der vorstehend beschriebenen ersten bis dritten Ausführungsform eine Konfiguration beschrieben ist, bei der die Spracherkennungseinheit 103 der fahrzeugmontierten Vorrichtung 100 die Spracherkennungsverarbeitung durchführt. Alternativ kann die Spracherkennungsverarbeitung auch von den Servervorrichtungen 200 und 200a durchgeführt werden.
Es ist zu beachten, dass in der ersten bis fünften oben beschriebenen Ausführungsform eine Konfiguration, bei der die Verarbeitung zur Erkennung des Verkehrszeichens durch die Servervorrichtungen 200, 200a, 200b und 200c durchgeführt wird, beschrieben ist. Alternativ kann die Verarbeitung zur Erkennung des Verkehrszeichens durch die fahrzeugmontierte Vorrichtung 100 erfolgen.
Darüber hinaus können in der vorliegenden Erfindung im Rahmen der Erfindung die Ausführungsformen frei kombiniert werden, jede Komponente jeder Ausführungsform kann geändert oder weggelassen werden.
INDUSTRIELLE ANWENDBARKEIT
Da es in dem Informationsdarstellungsverfahren nach der vorliegenden Erfindung möglich ist, eine angemessene Menge an Informationen von Verkehrszeichen gemäß den Zuständen eines Fahrers darzustellen, kann das Verfahren auf eine Navigationsvorrichtung oder dergleichen angewendet werden, und eine effektive Darstellung von Navigationsinformationen kann implementiert werden.
Bezugszeichenliste

100, 100b, 100c:: fahrzeugmontierte Vorrichtung,
101:: Bilderfassungseinheit,
102:: Fahrsituationserfassungseinheit,
103:: Spracherkennungseinheit,
104:: Steuereinheit,
105, 201:: Kommunikationseinheit,
106:: Anzeige,
107:: Lautsprecher,
108:: Insassenbildaufnahmeeinheit,
109:: Head-Up-Display,
200, 200,200a, 200b, 200c:: Servervorrichtung,
202, 202, 202b, 202c:: Darstellungssteuereinheit,
203:: Zeichenerkennungseinheit,
204, 204, 204b, 204c:: Klassifikationseinheit,
205, 205, 205a,205b, 205c:: Darstellungsmodus-Bestimmungseinheit,
206, 206,206a:: Akkumulationssteuervorrichtung,
207:: Zeichenkonformität-Bestimmungseinheit,
208, 208, 208b, 208c:: Akkumulationseinheit,
209:: Reaktionsinformationsakkumulationseinheit.

Claims

Ein Informationsdarstellungsverfahren, umfassend: Empfangen eines erfassten Bildes eines von einem ersten Fahrzeug aufgenommenen Verkehrszeichens und von Informationen, die eine Fahrzeugsituation des ersten Fahrzeugs anzeigen; Erzeugen erster Verkehrszeicheninformationen durch Erkennen des im aufgenommenen Bild enthaltenen Verkehrszeichens; Erzeugen erster Klassifizierungsinformationen unter Bezugnahme auf die Informationen, die die Fahrzeugsituation des ersten Fahrzeugs anzeigen; Bestimmen eines Darstellungsmodus der ersten Verkehrszeicheninformation auf der Grundlage der ersten Verkehrszeicheninformation und der ersten Klassifizierungsinformation; Durchführen einer Steuerung zum Darstellen der ersten Verkehrszeicheninformationen in dem bei der Bestimmung bestimmten Darstellungsmodus; Durchführen einer Bestimmung, ob das erste Fahrzeug eine Fahrt in Übereinstimmung mit dem Verkehrszeichen durchgeführt hat oder nicht, und Akkumulieren eines Bestimmungsergebnisses der Bestimmung, der ersten Verkehrszeicheninformation, der ersten Klassifizierungsinformation und des Darstellungsmodus der ersten Verkehrszeicheninformation in Verbindung miteinander; Empfangen eines erfassten Bildes eines Verkehrszeichens, das von einem zweiten Fahrzeug aufgenommen wurde, das dem ersten Fahrzeug in Zeitreihen folgt, und Informationen, die eine Fahrzeugsituation des zweiten Fahrzeugs anzeigen; Erzeugen einer zweiten Verkehrszeicheninformation durch Erkennen des Verkehrszeichens, das in dem vom zweiten Fahrzeug aufgenommenen Bild enthalten ist; Erzeugen zweiter Klassifizierungsinformationen unter Bezugnahme auf die Informationen, die die Fahrzeugsituation des zweiten Fahrzeugs anzeigen; Bestimmen eines Darstellungsmodus, der sich von dem Darstellungsmodus der ersten Verkehrszeicheninformation unterscheidet, als Darstellungsmodus der zweiten Verkehrszeicheninformation, wenn das Bestimmungsergebnis anzeigt, dass ein Fahren in Übereinstimmung mit dem Verkehrszeichen nicht durchgeführt wurde, wobei das Bestimmungsergebnis einem Satz der ersten Verkehrszeicheninformation und der ersten Klassifizierungsinformation zugeordnet ist, die mit einem Satz der zweiten Verkehrszeicheninformation und der zweiten Klassifizierungsinformation übereinstimmt; und Durchführen einer Steuerung zum Darstellen der zweiten Verkehrszeicheninformation im bestimmten Darstellungsmodus der zweiten Verkehrszeicheninformation.
Das Informationsdarstellungsverfahren nach Anspruch 1, ferner umfassend: Empfangen eines Spracherkennungsergebnisses, das durch Erkennen von Sprache in dem ersten Fahrzeug oder dem zweiten Fahrzeug als Information, die die Fahrzeugsituation anzeigt, erhalten wird.
Das Informationsdarstellungsverfahren nach Anspruch 2, ferner umfassend: Erzeugen der ersten Klassifizierungsinformation oder der zweiten Klassifizierungsinformation durch Identifizieren einer Sprache, die von einem Insassen des ersten Fahrzeugs oder des zweiten Fahrzeugs im Gespräch verwendet wird, unter Bezugnahme auf das empfangene Spracherkennungsergebnis und Klassifizieren der Fahrzeugsituation des ersten Fahrzeugs oder des zweiten Fahrzeugs auf der Grundlage der identifizierten Sprache.
Das Informationsdarstellungsverfahren nach Anspruch 3, ferner umfassend: Bestimmen eines Darstellungsmodus zum Darstellen der zweiten Verkehrszeicheninformation in der identifizierten Sprache, wenn das Bestimmungsergebnis anzeigt, dass eine Fahrt in Übereinstimmung mit dem Verkehrszeichen durchgeführt wurde.
Das Informationsdarstellungsverfahren nach Anspruch 2, ferner umfassend: Erzeugen der ersten Klassifizierungsinformation oder der zweiten Klassifizierungsinformation, indem eine Gesprächssituation eines Insassen des ersten Fahrzeugs oder des zweiten Fahrzeugs in Bezug auf das empfangene Spracherkennungsergebnis erkannt wird und die Fahrzeugsituation des ersten Fahrzeugs oder des zweiten Fahrzeugs auf der Grundlage der Situation des erkannten Gesprächs klassifiziert wird.
Das Informationsdarstellungsverfahren nach Anspruch 2, ferner umfassend: Empfangen eines Spracherkennungsergebnisses, das durch das Erkennen von Sprache im ersten Fahrzeug erhalten wird, wenn die erste Verkehrszeicheninformation dargestellt wird; und Extrahieren eines Spracherkennungsergebnisses, das anzeigt, dass ein Fahrer des ersten Fahrzeugs Unbehagen gezeigt hat, aus dem empfangenen Spracherkennungsergebnis und Erzeugen und Akkumulieren von Reaktionsinformationen, in denen die ersten Verkehrszeicheninformationen, die beim Extrahieren des Spracherkennungsergebnisses dargestellt werden, und der Darstellungsmodus der ersten Verkehrszeicheninformationen miteinander verknüpft sind.
Das Informationsdarstellungsverfahren nach Anspruch 6, ferner umfassend: Reduzieren der Stärke der Darstellung der zweiten Verkehrszeicheninformation in einem Fall, in dem die Reaktionsinformation, wenn die erste Verkehrszeicheninformation dargestellt wird, akkumuliert wird.
Das Informationsdarstellungsverfahren nach Anspruch 1, ferner umfassend: Empfangen von Informationen, die eine Situation eines Fahrers des ersten Fahrzeugs oder des zweiten Fahrzeugs als Information über die Fahrzeugsituation anzeigen.
Das Informationsdarstellungsverfahren nach Anspruch 8, ferner umfassend: Erzeugen der ersten Klassifizierungsinformation oder der zweiten Klassifizierungsinformation, durch Identifizieren einer Blickrichtung des Fahrers des ersten Fahrzeugs oder des zweiten Fahrzeugs unter Bezugnahme auf die Information, die die Situation des Fahrers des empfangenen ersten Fahrzeugs oder des zweiten Fahrzeugs anzeigt, und durch Klassifizieren der Fahrzeugsituation des ersten Fahrzeugs oder des zweiten Fahrzeugs auf der Grundlage der identifizierten Blickrichtung.
Das Informationsdarstellungsverfahren nach Anspruch 9, ferner umfassend, Ändern einer Darstellungsposition der zweiten Verkehrszeicheninformation auf der Grundlage der Blickrichtung des Fahrers des zweiten Fahrzeugs, die identifiziert wurde, wenn das erste Fahrzeug nicht in Übereinstimmung mit einem Verkehrszeichen in der Vergangenheit gefahren ist.
Das Informationsdarstellungsverfahren nach Anspruch 9, ferner umfassend: Hinzufügen einer Darstellung per Sprachausgabe zum Darstellungsmodus der zweiten Verkehrszeicheninformation auf der Grundlage der identifizierten Blickrichtung des Fahrers des zweiten Fahrzeugs des Darstellungsmodus.
Das Informationsdarstellungsverfahren nach Anspruch 9, ferner umfassend: Reduzieren der Stärke der Darstellung der zweiten Verkehrszeicheninformation, wenn der Fahrer des zweiten Fahrzeugs das Verkehrszeichen angesehen hat, bevor die zweite Verkehrszeicheninformation dargestellt wird
Das Informationsdarstellungsverfahren nach Anspruch 8, ferner umfassend Empfangen eines erfassten Bildes des Fahrers des ersten Fahrzeugs, wenn die ersten Verkehrszeicheninformationen dargestellt werden; und Extrahieren eines Gesichtsausdrucks des Fahrers des ersten Fahrzeugs, der Unbehagen zeigt, aus dem empfangenen Bild und Erzeugen und Akkumulieren von Reaktionsinformationen durch Zuordnen der ersten Verkehrszeicheninformationen, die beim Extrahieren des Gesichtsausdrucks dargestellt werden, zum Darstellungsmodus der ersten Verkehrszeicheninformationen.
Das Informationsdarstellungsverfahren nach Anspruch 13, ferner umfassend: Reduzieren der Stärke der Darstellung der zweiten Verkehrszeicheninformationen in einem Fall, in dem die Reaktionsinformationen, als die erste Verkehrszeicheninformationen dargestellt wurden, des Darstellungsmodus akkumuliert werden.
Das Informationsdarstellungsverfahren nach Anspruch 13, ferner umfassend: Reduzieren der Stärke der Darstellung der zweiten Verkehrszeicheninformation in einem Fall, in dem die Reaktionsinformation, wenn die erste Verkehrszeicheninformation dargestellt wurde, nicht akkumuliert wird und das Fahren in Übereinstimmung mit dem Verkehrszeichen in der Vergangenheit im ersten Fahrzeug durchgeführt wurde.
Das Informationsdarstellungsverfahren nach Anspruch 1, ferner umfassend: Empfangen einer Fahrsituation des ersten Fahrzeugs oder des zweiten Fahrzeugs als Information, die die Fahrzeugsituation anzeigt.
Das Informationsdarstellungsverfahren nach Anspruch 16, ferner umfassend: Erzeugen der ersten Klassifizierungsinformationen oder der zweiten Klassifizierungsinformationen durch Klassifizieren der Fahrzeugsituation des ersten Fahrzeugs oder des zweiten Fahrzeugs auf der Grundlage einer Fahrfähigkeit eines Fahrers des ersten Fahrzeugs oder des zweiten Fahrzeugs, die aus der Fahrsituation des ersten Fahrzeugs oder des empfangenen zweiten Fahrzeugs geschätzt wird.
Das Informationsdarstellungsverfahren nach Anspruch 16, ferner umfassend: Erzeugen der ersten Klassifizierungsinformation oder der zweiten Klassifizierungsinformation durch Klassifizieren der Fahrzeugsituation des ersten Fahrzeugs oder des zweiten Fahrzeugs auf der Grundlage einer Fahreigenschaft eines Fahrers des ersten Fahrzeugs oder des zweiten Fahrzeugs, die aus der Fahrsituation des ersten Fahrzeugs oder des empfangenen zweiten Fahrzeugs geschätzt wird.