DE112018006544T5

DE112018006544T5 - Fahrzeuginformationsanzeigeapparat und Verwendete-Sprache-Schätzungsapparat

Info

Publication number: DE112018006544T5
Application number: DE112018006544.8T
Authority: DE
Inventors: Kazuhisa Tanabe; Ichiro Yoshida; Satoru Tanaka
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2017-12-22
Filing date: 2018-10-09
Publication date: 2020-08-27
Also published as: JP2019113520A

Abstract

Ein Fahrzeuginformationsanzeigeapparat in einem Fahrzeug enthält eine Gesichtsbildaufnahmevorrichtung (2,3,), eine Nationalitätseingrenzungseinheit (8), eine Anrufeinheit bzw. Aufrufeinheit (8), eine Verwendete-Sprache-Schätzungseinheit (8) und eine Anzeigesteuerungseinheit. Die Gesichtsbildaufnahmevorrichtung (2) ist konfiguriert, um ein Gesichtsbild von einem Gesicht eines Anwenders aufzunehmen. Die Nationalitätseingrenzungseinheit (8) ist konfiguriert, um eine Nationalität des Anwenders basierend auf dem Gesichtsbild, das durch die Gesichtsbildaufnahmevorrichtung aufgenommen wird, einzugrenzen. Die Anrufeinheit bzw. Aufrufeinheit (8) ist konfiguriert, um ein Anrufen bzw. Aufrufen des Anwenders durch ein Auswählen einer Anrufsprache bzw. Aufrufsprache für den Anwender basierend auf der Nationalität, die durch die Nationalitätseingrenzungseinheit eingegrenzt wird, durchzuführen. Die Verwendete-Sprache-Schätzungseinheit (8) ist konfiguriert, um eine verwendete Sprache, die durch den Anwender verwendet wird, basierend auf einer Änderung in dem Gesichtsbild auf das Anrufen bzw. Aufrufen und einem Ergebnis von einem Antworten des Anwenders auf das Anrufen bzw. Aufrufen zu schätzen. Die Anzeigesteuerungseinheit (8) ist konfiguriert, um eine Bildschirmansicht, die es ermöglicht, durch den Anwender verstanden zu werden, unter Verwendung der verwendeten Sprache, die durch die Verwendete-Sprache-Schätzungseinheit geschätzt wird, anzeigen.

Description

Querverweis auf verwandte Anmeldungen
Diese Anmeldung basiert auf der japanischen Patenanmeldung Nr. 2017-246279 , die am 22. Dezember 2017 eingereicht wurde, und der japanischen Patentanmeldung Nr. 2018-142402 , die am 30. Juli 2019 eingereicht wurde, wobei hiermit auf die Offenbarungen von beiden Bezug genommen wird.
Technisches Gebiet
Die vorliegende Offenbarung bezieht sich auf einen Fahrzeuginformationsanzeigeapparat und einen Verwendete-Sprache-Schätzungsapparat.
Hintergrund
Es gibt zwei Probleme, wenn man von einem fremden Land nach Japan reist, um dieses zu besichtigen und ein Mietauto fährt. Das erste Problem ist, dass die Sprachanzeige in einem Fahrzeugnavigationssystem eines Mietautos auf Japanisch ist und es schwierig ist, die Sprachanzeige zu ändern, da eine anfängliche Bildschirmansicht auf Japanisch angezeigt wird. Das zweite Problem ist, dass, selbst wenn der Fahrer die Sprache in dem Fahrzeugnavigationssystem ändert und beginnt, zu fahren, der Fahrer die japanischen Verkehrsregeln, zum Beispiel die Bedeutung des Zeichens bzw. Verkehrsschilds, nicht versteht und mit Ängstlichkeit bzw. Besorgnis fährt.
In Erwiderung darauf beschreibt Patentliteratur 1 den folgenden Apparat. Das heißt, Informationen über die Nationalität des Anwenders und die verwendete Sprache werden zu der Zeit eines Startens der Verwendung registriert. Wenn eine Piktogrammumwandlungsanforderung bzw. Bildsymbolumwandlungsanforderung empfangen wird, wird ein Zielpiktogramm bzw. Zielbildsymbol aus dem aufgenommenen Bild extrahiert. Das extrahierte Piktogramm wird in ein Piktogramm umgewandelt, das in einem Land verwendet wird, das durch die Nationalität des Anwenders spezifiziert wird, und das umgewandelte Piktogramm wird angezeigt.
In dem obigen Apparat ist der Vorgang eines Registrierens der Nationalitätsinformationen und der verwendeten Sprache mühevoll bzw. schwierig. Deshalb gibt es ein Problem, dass fremde bzw. ausländische Anwender zögern, den Apparat zu verwenden. Zusätzlich gibt es, selbst wenn die Nationalität des Anwenders bekannt ist, ein Land, wie beispielsweise die Vereinigten Staaten, in dem sich Verkehrsregeln und Zeichen bzw. Verkehrsschilder von Staat zu Staat oder Region zu Region unterscheiden. Deshalb kann es, falls einzig die Nationalität bekannt ist, nicht möglich sein, passende Verkehrsregeln und Zeicheninformationen bzw. Verkehrsschildinformationen bereitzustellen.
Literatur aus dem Stand der Technik
Patentliteratur

Patentliteratur 1: JP2016-173802A
Patentliteratur 2: JP2005-222485A

Zusammenfassung der Erfindung
Des Weiteren beschreibt Patentliteratur 2 einen Apparat, der einen fremden bzw. ausländischen Anwender, der ein Mietfahrzeug in einem besichtigten Land gemietet hat, über die Informationen benachrichtigt, die kennzeichnen, dass Verkehrszeichen bzw. Verkehrsschilder, die auf Straßen in dem besichtigten Land installiert sind, Verkehrszeichen bzw. Verkehrsschildern in seinem oder ihrem eigenen Land entsprechen.
Diese Konfiguration kann jedoch passende Informationen in den folgenden Fällen nicht bereitstellen. Das heißt, dass ein Land, wie beispielsweise die Vereinigten Staaten, viele Staaten bzw. Bundesstaaten haben kann, so dass Verkehrsregeln und Zeichen bzw. Verkehrsschilder in jedem Staat verschieden sind. Wie in Europa können mehrere Länder benachbart sein und in jedem Land unterschiedliche Verkehrsregeln und Zeichen bzw. Verkehrsschilder haben. Des Weiteren braucht es, wenn eine Vielzahl von Zeichen bzw. Verkehrsschildern wie in Japan an einem Platz angeordnet sind, Zeit, um die Vielzahl von Zeichen bzw. Verkehrsschildern umzuwandeln. Zusätzlich muss, wenn eine Vielzahl von umgewandelten Zeichen bzw. Verkehrsschildern an einem Platz versetzt sind, der Anwender die Vielzahl von Zeichen bzw. Verkehrsschildern in einer kurzen Zeit erkennen. Der Fahrer kann folglich nicht im Stande sein, sich auf ein Fahren zu konzentrieren.
Es ist eine Aufgabe der vorliegenden Offenbarung, einen Fahrzeuginformationsanzeigeapparat und einen Verwendete-Sprache-Schätzungsapparat bereitzustellen, die eine Sprachanzeige in einer Fahrzeugnavigation leicht auf eine verwendete Sprache, die durch einen Anwender verwendet wird, ändern und die dem Fahrer ermöglichen, die Bedeutung von Verkehrsregeln und Zeichen bzw. Verkehrsschildern in Japan leicht zu verstehen.
Gemäß einem ersten Beispiel der vorliegenden Offenbarung wird ein Fahrzeuginformationsanzeigeapparat in einem Fahrzeug bereitgestellt, um eine Gesichtsbildaufnahmevorrichtung, eine Nationalitätseingrenzungseinheit, eine Anrufeinheit bzw. Aufrufeinheit, eine Verwendete-Sprache-Schätzungseinheit und eine Anzeigesteuerungseinheit zu enthalten. Die Gesichtsbildaufnahmevorrichtung ist konfiguriert, um ein Gesichtsbild von einem Gesicht eines Anwenders aufzunehmen. Die Nationalitätseingrenzungseinheit ist konfiguriert, um eine Nationalität des Anwenders basierend auf dem Gesichtsbild, das durch die Gesichtsbildaufnahmevorrichtung aufgenommen wird, einzugrenzen. Die Anrufeinheit bzw. Aufrufeinheit ist konfiguriert, um ein Anrufen bzw. Aufrufen des Anwenders durchzuführen, indem eine Anrufsprache bzw. Aufrufsprache zu dem bzw. für den Anwender basierend auf der Nationalität, die durch die Nationalitätseinschränkungseinheit eingeschränkt wird, ausgewählt wird. Die Verwendete-Sprache-Schätzungseinheit ist konfiguriert, um eine verwendete Sprache, die durch den Anwender verwendet wird, basierend auf einer Änderung in dem Gesichtsbild auf das Anrufen bzw. Aufrufen und einem Ergebnis eines Annehmens bzw. Entgegennehmens des Anwenders auf das Anrufen bzw. eines Antwortens des Anwenders auf das Aufrufen zu schätzen. Die Anzeigesteuerungseinheit ist konfiguriert, um eine Bildschirmansicht anzuzeigen, die es ermöglicht, durch den Anwender, der die verwendete Sprache verwendet, die durch die Verwendete-Sprache-Schätzungseinheit geschätzt wird, verstanden zu werden.
Gemäß einem zweiten Beispiel der vorliegenden Offenbarung wird ein Verwendete-Sprache-Schätzungsapparat bereitgestellt, um eine Gesichtsbildaufnahmevorrichtung, eine Nationalitätseingrenzungseinheit, eine Anrufsprachenauswahleinheit bzw. Aufrufsprachenauswahleinheit, eine Anrufeinheit bzw. Aufrufeinheit und eine Verwendete-Sprache-Schätzungseinheit zu enthalten. Die Gesichtsbildaufnahmevorrichtung ist konfiguriert, um ein Gesichtsbild von einem Gesicht eines Anwenders aufzunehmen. Die Nationalitätseingrenzungseinheit ist konfiguriert, um einen Nationalität des Anwenders basierend auf dem Gesichtsbild, das durch die Gesichtsbildaufnahmevorrichtung aufgenommen wird, einzugrenzen. Die Anrufsprachenauswahleinheit bzw. Aufrufsprachenauswahleinheit ist konfiguriert, um eine Anrufsprache bzw. Aufrufsprache für ein Anrufen bzw. Aufrufen des Anwenders basierend auf der Nationalität, die durch die Nationalitätseingrenzungseinheit eingegrenzt wird, auszuwählen. Die Anrufeinheit bzw. Aufrufeinheit ist konfiguriert, um das Anrufen bzw. Aufrufen des Anwenders unter Verwendung von einer oder mehreren Anrufsprachen bzw. Aufrufsprachen durchzuführen. Die Verwendete-Sprache-Schätzungseinheit ist konfiguriert, um eine verwendete Sprache, die von dem Anwender verwendet wird, basierend auf einer Änderung in dem Gesichtsbild auf das Anrufen bzw. Aufrufen und als Ergebnis eines Annehmens bzw. Entgegennehmens des Anwenders auf das Anrufen bzw. eines Antwortens des Anwenders auf das Aufrufen während oder nach dem Anrufen bzw. Aufrufen unter Verwendung von der einen oder mehreren Anrufsprachen bzw. Aufrufsprachen zu schätzen.
Figurenliste
Die obigen und anderen Aufgaben, Merkmale und Vorteile der vorliegenden Offenbarung werden aus der folgenden detaillierten Beschreibung, die mit Bezug auf die beigefügten Zeichnungen gemacht wird, noch deutlicher. In den Zeichnungen:

ist 1 ein Blockschaltbild eines Zeichenerkennung-Benachrichtigungssystems bzw. Verkehrsschilderkennung-Benachrichtigungssystems einer ersten Ausführungsform,
ist 2 ein Bilddiagramm, das einen Zustand von verschiedenen Vorrichtungen zeigt, die an einem Fahrer in einem Fahrzeug angebracht sind,
ist 3 ein Flussdiagramm von einer Sprachfestsetzungssteuerung,
ist 4 ein Flussdiagramm von einer Steuerung für eine sichere Fahrunterstützung während einem Fahren,
ist 5 ein Flussdiagramm von einer Verkehrszeichen-Erkennung/Benachrichtigung-Steuerung,
ist 6 ein Flussdiagramm von einer Benachrichtigungssteuerung eines Benachrichtigungszielverkehrszeichen,
ist 7 ein Flussdiagramm von einer Zeichenauswahlsteuerung bzw. Verkehrsschildauswahlsteuerung,
ist 8 ein Flussdiagramm von einer Benachrichtigungssteuerung für ein Zeichen bzw. Verkehrsschild, an das man sich gewöhnt hat,
ist 9 ein Diagramm für ein Erläutern eines Zustands, in dem ein Anrufen bzw. Aufrufen in einer Vielzahl von Hauptsprachen getätigt wird,
ist 10 ein Diagramm, das eine Bildschirmansicht für ein Auswählen von einem von einer Vielzahl von Gebieten, in denen Englisch verwendet wird, zeigt,
ist 11 ein Diagramm, das eine Bildschirmansicht für ein Auswählen eines Staates bzw. Bundesstaates zeigt,
ist 12 ein Diagramm für ein Erläutern, wie die Größe und ein Bereich des Überwachungsgebiets gemäß der Geschwindigkeit des Fahrzeugs geändert werden,
ist 13 ein Diagramm, das eine Bildschirmansicht für ein Auswählen einer Sprache auf einer Weltkarte zeigt,
ist 14 ein Diagramm, das ein Beispiel zeigt, in dem ein virtuelles Bild für ein Überlagern angezeigt wird,
ist 15 ein Diagramm, das einen Zustand darstellt, in dem eine Vielzahl von Zeichen bzw. Verkehrsschildern an derselben Position installiert ist,
ist 16 ein Diagramm, das die Inhalte einer Verarbeitungszahlliste ex1 zeigt,
ist 17 ein Diagramm, das die Inhalte einer Verarbeitungszahlliste ex2 zeigt,
ist 18 ein Diagramm, das Verkehrszeichen in den Niederlanden und Norwegen gemäß einer zweiten Ausführungsform zeigt,
ist 19 ein Flussdiagramm von einer Steuerung für eine sichere Fahrunterstützung während einem Fahren,
ist 20 ein Flussdiagramm von einer Benachrichtigungssteuerung von einem Benachrichtigungszielverkehrszeichen,
ist 21 ein Diagramm, das ein Beispiel zeigt, in dem ein Verkehrszeichen der Niederlande installiert ist,
ist 22 ein Diagramm, das ein Beispiel zeigt, in dem ein Bild eines Verkehrszeichens von Norwegen für ein Überlagern angezeigt wird, und
ist 23 ein Diagramm, das ein Beispiel darstellt, in dem ein Bild eines Verkehrszeichens von einem anderen Land für ein Überlagern angezeigt wird, wenn eine Vielzahl von Zeichen bzw. Verkehrsschildern an derselben Position installiert ist.

Ausführungsformen für ein Durchführen der Erfindung
(Erste Ausführungsform)
Das Folgende wird eine erste Ausführungsform der vorliegenden Offenbarung mit Bezug auf 1 bis 17 beschreiben. 1 ist ein Blockschaltbild, das eine gesamte schematische Konfiguration eines Zeichenerkennung-Benachrichtigungssystems 1 gemäß der vorliegenden Ausführungsform darstellt. Das Zeichenerkennung-Benachrichtigungssystem 1 bildet einen Fahrzeuginformationsanzeigeapparat und einen Verwendete-Sprache-Schätzungsapparat.
Wie es in 1 zu sehen ist, enthält das Zeichenerkennung-Benachrichtigungssystem 1 eine Spiegelaugenkamera bzw. Mirror-Eye-Kamera 2, eine Anzeigeaugenkamera bzw. Display-Eye-Kamera 3, einen Biologische-Informationen-Messwertgeber 4, eine Eingabebetätigungsvorrichtung 5, eine DSM-Steuerungseinrichtung (Driver Status Monitor, Fahrerstatusüberwachung) 6, eine Au-ßenseitenfahrzeugkamera 7 für ein Fotografieren außerhalb eines Fahrzeugs, eine Informationsverarbeitungseinheit 8, eine Benachrichtigungsvorrichtung 9, eine stimuluserzeugende bzw. reizerzeugende Vorrichtung 10, eine Kommunikationsvorrichtung 11 und ein tragbares Terminal 12.
Die Spiegelaugenkamera bzw. Mirror-Eye-Kamera 2 ist eine Kamera, die für eine Externe-Sichtlinie-Erkennung für ein Aufnehmen eines Sichtlinienbilds oder eines Gesichtsbilds des Anwenders verwendet wird, um zu bestimmen, welche Position außerhalb des Fahrzeugs der Anwender anschaut, das heißt, für eine externe Objekterkennung. Die Spiegelaugenkamera 2 hat eine Funktion als eine Gesichtsbildaufnahmevorrichtung. Wie es zum Beispiel in 2 zu sehen ist, sind zum Beispiel zwei Spiegelaugenkameras 2 an beiden unteren Endabschnitten eines Rückspiegels 13 in einem Fahrzeug angeordnet. Bildinformationen, die kontinuierlich durch die Spiegelaugenkameras 2 aufgenommen werden, das heißt, Bewegungsbildinformationen, werden an die DSM-Steuerungseinrichtung 6 übertragen.
Die Anzeigeaugenkamera bzw. Display-Eye-Kamera 3 ist eine Kamera für ein Anzeigen einer Sichtlinienerkennung für ein Aufnehmen eines Sichtlinienbilds oder eines Gesichtsbilds des Anwenders für ein Bestimmen, welche Position der Anzeige der Anwender anschaut, das heißt, eine Fahrzeugeinheit-Bestätigungsdetektionskamera. Die Anzeigeaugenkamera 3 hat eine Funktion als eine Gesichtsbildaufnahmevorrichtung. Wie es zum Beispiel in 2 zu sehen ist, sind zwei Anzeigeaugenkameras 3 zum Beispiel in einem oberen Abschnitt in einer Anzeige bzw. einem Display 14 in einem Fahrgastraum bereitgestellt. Bildinformationen, die durchgehend durch die Anzeigeaugenkamera 3 aufgenommen werden, das heißt, Bewegungsbildinformationen, werden an die in DSM-Steuerungseinrichtung 6 übertragen.
Der Biologische-Informationen-Messwertgeber 4 enthält verschiedene Messwertgeber für ein Detektieren einer Gehirnaktivität des Anwenders, einer Herzfrequenz, eines Blutdrucks und dergleichen. Das detektierte Signal wird an die DSM-Steuerungseinrichtung 6 übertragen. Die Eingabebetätigungsvorrichtung 5 enthält verschiedene Vorrichtungen für ein Eingeben von Betätigungssignalen und Betätigungsgeschwindigkeiten von verschiedenen Vorrichtungen, die durch den Anwender betätigt werden, wie beispielsweise Reden, die der Anwender von sich gibt, Betätigungsinformationen von einem Lenken, Betätigungsinformationen von Pedalen, wie beispielsweise eines Gaspedals und einer Bremse. Verschiedene Informationen, die durch die Eingabebetätigungsvorrichtung 5 zugeführt werden, werden an die DSM-Steuerungseinrichtung 6 übertragen.
Die DSM-Steuerungseinrichtung 6 führt Bildinformationen, die durch die Spiegelaugenkameras 2 und die Anzeigeaugenkameras 3 aufgenommen werden, zu und führt eine Bilderkennungsverarbeitung der Bildinformationen durch. Die DSM-Steuerungseinrichtung 6 hat eine Funktion eines Detektierens einer Sichtlinie des Anwenders und eines Objekts, das der Anwender anschaut, das heißt, eines angestarrten Ziels. Die Sichtlinie des Anwenders enthält ein Fahrzeugaußenseitengebiet, das der Anwender sieht, einen Fahrzeugaußenseitenbereich, den der Anwender sieht, oder einen Abschnitt in der Anzeige bzw. dem Display 14, den der Anwender sieht. Das heißt, dass die DSM-Steuerungseinrichtung 6 eine Funktion als eine Angestarrtes-Objekt-Detektionseinheit hat. Die DSM-Steuerungseinrichtung 6 führt eine Bilderkennungsverarbeitung an Bildinformationen, die durch die Spiegelaugenkameras 2 und die Anzeigeaugenkameras 3 aufgenommen werden, das heißt, Informationen über eine Änderung in dem Gesichtsbild, durch. Die DSM-Steuerungseinrichtung 6 erkennt die Bewegung des Gesichtsausdrucks des Fahrers, die Bewegung der Augen, den Grad einer Öffnung der Augen, die Änderung in dem Ausdruck und die Frequenz eines Zur-Seite-Schauens. Die DSM-Steuerungseinrichtung 6 hat folglich eine Funktion eines Detektierens des Grads einer Erkennung, Erschöpfung und Schläfrigkeit des Anwenders basierend auf den erkannten Informationen.
Zusätzlich führt die DSM-Steuerungseinrichtung 6 biologische Informationen von dem Biologische-Informationen-Messwertgeber 4 und Eingabebetätigungsinformationen von der Eingabebetätigungsvorrichtung 5 zu. Die DSM-Steuerungseinrichtung 6 hat folglich eine Funktion eines Detektierens einer emotionalen Bewegung bzw. Regung des Anwenders basierend auf den biologischen Informationen und den Eingabebetätigungsinformationen. Die biologischen Informationen enthalten Informationen, wie beispielsweise eine Gehirnaktivität, eine Herzfrequenz und einen Blutdruck. Die Eingabebetätigungsinformationen enthalten Betätigungssignale und Betätigungsgeschwindigkeiten von verschiedenen Vorrichtungen, Reden, die von dem Anwender von sich gegeben werden, Lenkbetätigungsinformationen und Pedalbetätigungsinformationen, wie beispielsweise eines Gaspedals und einer Bremse. In dieser Konfiguration hat die DSM-Steuerungseinrichtung 6 eine Funktion als eine DSM (Driver Status Monitor, Fahrerstatusüberwachung).
Die Außenseitenfahrzeugkamera 7 ist eine Kamera, die durchgehend ein Bild für ein Bestimmen aufnimmt, welche Position außerhalb des Fahrzeugs oder welches Objekt außerhalb des Fahrzeugs der Anwender anschaut. Die aufgenommenen Bildinformationen, das heißt, die Bewegungsbildinformationen werden an die Informationsverarbeitungseinheit 8 übertragen.
Die Informationsverarbeitungseinheit 8 hat eine Speichervorrichtung, in der eine Sprachendatenbank, eine Kartendatenbank, eine Zeichendatenbank bzw. Verkehrsschilddatenbank, eine Strukturdatenbank und dergleichen gespeichert sind. Die Informationsverarbeitungseinheit 8 hat eine Funktion als eine Fahrzeugnavigationsvorrichtung, das heißt, eine Funktion eines Detektierens der Position des Fahrzeugs, eine Funktion eines Detektierens der Fortbewegungsrichtung des Fahrzeugs, eine Funktion eines Berechnens einer Führungsstrecke bzw. Spurführungsstrecke bzw. Streckenführung zu einem Ziel und eine Funktion eines Durchführens einer Führung bzw. Spurführung von einer Führungsstrecke bzw. Spurführungsstrecke bzw. Streckenführung. Die Informationsverarbeitungseinheit 8 führt Sichtlinieninformationen, Gesichtsbildinformation, Informationen von einem angestarrten Objekt und dergleichen von der DSM-Steuerungseinrichtung 6 zu und führt Bildinformationen von der Kamera 7 für ein Fotografieren außerhalb des Fahrzeugs zu. Die Informationsverarbeitungseinheit 8 zieht dann die gegenwärtige Position des Fahrzeugs, die Fortbewegungsrichtung, die Kartendatenbank und/oder die Strukturdatenbank heran. Die Informationsverarbeitungseinheit 8 hat folglich eine Funktion eines Bestimmens oder Detektierens eines Kandidaten von einem angestarrten Objekt, das der Anwender anschaut. Die Informationsverarbeitungseinheit 8 hat Funktionen als eine Nationalitätseingrenzungseinheit, eine Anrufsprachenauswahleinheit bzw. Aufrufsprachenauswahleinheit, eine Anrufeinheit bzw. Aufrufeinheit, eine Verwendete-Sprache-Schätzungseinheit, eine Anzeigesteuerungseinheit, eine Straßengebietsauswahleinheit, eine Angestarrtes-Objekt-Informationsbestimmungseinheit und eine Überlagerte-Anzeige-Steuerungseinheit.
Hier ist die Strukturdatenbank eine Datenbank, die kollektiv die Positionen, Grö-ßen, Richtungen und dergleichen von verschiedenen Strukturen aufzeichnet, die auf bzw. an Straßen installiert sind, wie beispielsweise Zeichen bzw. Verkehrsschilder, Strommasten, Randsteine und Leitplanken. Die Kartendatenbank enthält ebenfalls Informationen über die Stelle des Zeichens bzw. Verkehrsschilds. Die Daten des Zeichens bzw. Verkehrsschilds, das heißt, die Bilddaten des Zeichens bzw. Verkehrsschilds, die Daten der Inhalte des Zeichens bzw. Verkehrsschilds und dergleichen sind in der Zeichendatenbank bzw. Verkehrsschilddatenbank gespeichert. Die Zeichendatenbank bzw. Verkehrsschilddatenbank speichert die Zeichendaten bzw. Verkehrsschilddaten von Japan und die Daten von einer großen Anzahl von fremden bzw. ausländischen Zeichen bzw. Verkehrsschildern. Des Weiteren sind selbst in einem Land, in dem Daten von einer Vielzahl von Typen von Zeichen bzw. Verkehrsschildern existiert, die Daten von der Vielzahl von Typen von Zeichen bzw. Verkehrsschildern gespeichert. In der Zeichendatenbank bzw. Verkehrsschilddatenbank sind entsprechende Zeichen bzw. Verkehrsschilder, die denselben Inhalt und dieselbe Bedeutung in einer Vielzahl von Ländern kennzeichnen, einander zugeordnet. Das heißt, dass die Zeichen bzw. Verkehrsschilder in den Ländern zugeordnet sind, so dass ein Zeichen bzw. Verkehrsschild von jedem Land, das denselben Inhalt wie ein Zeichen von Japan hat, gesucht werden kann.
Die Benachrichtigungsvorrichtung 9 enthält eine Anzeige bzw. ein Display 14 und einen Lautsprecher 15. Wie es in 2 zu sehen ist, werden zwei Lautsprecher 15 an beiden Enden des oberen Abschnitts der Anzeige bzw. des Displays 14 bereitgestellt. Die Anzeigeinformationen, ein Redesignal, ein Alarmgeräuschsignal und dergleichen werden von der Informationsverarbeitungseinheit 8 an die Benachrichtigungsvorrichtung 9 übertragen. Die Anzeigeinformationen werden auf der Anzeige bzw. dem Display 14 angezeigt; eine Rede, ein Alarmgeräusch und dergleichen werden von den Lautsprechern 15 ausgegeben.
Die Stimuluserzeugungsvorrichtung bzw. Reizerzeugungsvorrichtung 10 empfängt ein Stimulusanweisesignal bzw. Reizanweisungssignal von der Informationsverarbeitungseinheit 8 und treibt verschiedene Stimulatoren an, zum Beispiel einen Lautsprecher 15, eine Vibrationserzeugungseinrichtung bzw. einen Vibrationsgenerator, eine Klimaanlage, eine Dufterzeugungseinrichtung bzw. ein Duftgenerator und dergleichen. Folglich werden dem Anwender physikalische, taktile bzw. tastbare und Geruchsstimuli, wie beispielsweise Geräusche, Vibrationen, Hochtemperaturwind, Niedrigtemperaturwind und Duft, bereitgestellt.
Die Kommunikationsvorrichtung 11 hat eine Funktion als ein DCM (Datenkommunikationsmodul) und ist durch eine Kommunikationsvorrichtung konfiguriert, die im Stande ist, eine Fahrzeug-zu-Fahrzeug-Kommunikation, eine Straße-zu-Fahrzeug-Kommunikation, eine VICS-Kommunikation (VICS, eingetragene Handelsmarke, Vehicle Information Communications System, Fahrzeuginformations- und Kommunikationssystem), eine Mobiltelefonnetzwerkkommunikation und dergleichen auszuführen. Die Kommunikationsvorrichtung 11 überträgt die Kommunikationsinformationen, die durch die verschiedenen Typen einer Kommunikation erhalten werden, an die Informationsverarbeitungseinheit 8. Des Weiteren überträgt die Kommunikationsvorrichtung 11 die Informationen, die von der Informationsverarbeitungseinheit 8 ausgegeben werden, über die obigen verschiedenen Kommunikationen an eine externe Vorrichtung. Des Weiteren kann die Kommunikationsvorrichtung 11 mit einem tragbaren Terminal 12, wie beispielsweise einem Mobiltelefon oder einem Tablet, über eine Kurzbereichsdrahtloskommunikation, wie beispielsweise Bluetooth-Kommunikation (Bluetooth, eingetragene Handelsmarke), oder eine Kommunikation per Leitung bzw. Kabel, wie beispielsweise USB, kommunizieren.
2 ist ein Bilddiagramm, das verschiedene Vorrichtungen, die an einem Fahrer in einem Fahrgastraum angebracht sind, und verschiedene Vorrichtungen, die um einen Fahrersitz herum angeordnet sind, zeigt. Wie es in 2 zu sehen ist, sind die Spiegelaugenkameras 2 an dem Rückspiegel 13 in dem Fahrgastraum angebracht; sind die Anzeigeaugenkameras 3 an der Anzeige bzw. dem Display 14 angebracht. Diese Kameras 2 und 3 nehmen kontinuierlich Bilder für ein Erkennen und Detektieren der Sichtlinienrichtungen des Anwenders innerhalb und außerhalb des Fahrzeugs, den Grad einer Augenöffnung, Änderungen in Gesichtsausdrücken, die Frequenz eines Zur-Seite-Sehens und dergleichen auf.
Die Bildinformationen der Spiegelaugenkameras 2 und die Bildinformationen der Außenseitenfahrzeugkameras 7 werden einer Erkennungsverarbeitung unterworfen, so dass die DSM-Steuerungseinrichtung 6 und die Informationsverarbeitungseinheit 8 bestimmen, welchen Bereich außerhalb des Fahrzeugs der Anwender anschaut. Dann führt, wenn es detektiert wird, dass der Anwender auf einen spezifischen Platz oder ein Objekt außerhalb des Fahrzeugs starrt, die Informationsverarbeitungseinheit 8 einen Prozess eines Bestimmens, was der Anwender anschaut, aus.
Zusätzlich wird, wenn die DSM-Steuerungseinrichtung 6 und die Informationsverarbeitungseinheit 8 beabsichtigen, die Sichtlinienführung durchzuführen, um den Anwender dazu zu leiten, die Anzeige bzw. das Display 14 anzuschauen, die Rede für ein Anrufen bzw. Aufrufen des Anwenders aus dem Lautsprecher 15, der auf der Anzeige bzw. dem Display 14 bereitgestellt ist, ausgegeben. Wenn der Anwender eine Rede von sich gibt, um auf das oben genannte Anrufen bzw. Aufrufen zu reagieren, wird die Rede des Anwenders durch das Mikrofon 16, das an dem Mund des Anwenders angeordnet ist, das heißt, das Mikrofon des Headsets, erfasst. Die Informationsverarbeitungseinheit 8 führt eine Redeerkennungsverarbeitung an den erfassten bzw. gesammelten Redeinformationen durch.
Die Sichtlinienrichtung und der Fahrzustand des Anwenders werden aus den Bildinformationen der Spiegelaugenkameras 2 und der Anzeigeaugenkameras 3 detektiert. Des Weiteren werden bei Schläfrigkeit Ermüdung und andere Abweichungen von dem Normalzustand durch die Detektionsinformationen des Biologische-Informationen-Messwertgebers 4 detektiert. In Erwiderung darauf wird ein Stimulus bzw. Reiz gemäß dem Zustand des Anwenders durch die Stimulus Erzeugungsvorrichtung bzw. Reizerzeugungsvorrichtung 10 auf den Anwender angewandt. Hier enthält der Inhalt des Stimulus bzw. Reizes, der auf den Anwender angewandt wird, einen physikalischen Stimulus, wie beispielsweise ein Geräusch und Vibration, einen taktilen bzw. tastbaren Stimulus, wie beispielsweise Hochtemperaturwind und Niedrigtemperaturwind, und einen Geruchsstimulus, wie beispielsweise einen Duft.
Wie es in 2 zu sehen ist, detektiert die Eingabebetätigungsvorrichtung 5 die Betätigung des Lenkrads 17, das durch den Fahrer betätigt wird, und die Betätigung der Pedale 18 (d.h., die Betätigungen des Bremspedals und des Gaspedals) und überträgt diese die detektieren Informationen an die DSM-Steuerungseinrichtung 6.
Des Weiteren ist, wie es in 2 zu sehen ist, eine Berührungsbetätigungsüberprüfungseinrichtung 19, die an dem Anwender angebracht ist, eine Vorrichtung für ein Übertragen, und zwar zu dem Anwender, des Ergebnisses von einem Empfangen durch die Vorrichtung für die Eingabebetätigung des Anwenders. Die Berührungsbetätigungsüberprüfungseinrichtung 19 ist konfiguriert, um unterschiedliche Vorgänge (d.h., Ausführung oder Nichtausführung einer Vibration) abhängig davon auszuführen, ob die Anwenderbetätigung erfolgreich oder unzureichend ist. Des Weiteren ist in der vorliegenden Ausführungsform die Berührungsbetätigungsüberprüfungseinrichtung 19 durch eine Armbanduhrtypvorrichtung konfiguriert, die ebenfalls als ein Herzfrequenzmesswertgeber dient. Zum Beispiel ist die Berührungsbetätigungsüberprüfungseinrichtung 19 konfiguriert, um in zwei oder mehreren Typen von Vibrationsmustern, die zum Beispiel zwei oder mehreren Typen von Erwiderungen entsprechen, Erwiderungen, wie beispielsweise JA und NEIN, zu vibrieren.
Die Anzeige bzw. das Display 14 enthält eine Flüssigkristallanzeige bzw. ein Flüssigkristalldisplay, eine LED-Anzeige bzw. ein LED-Display und dergleichen, und Informationen von der Informationsverarbeitungseinheit 8 werden auf der Anzeige bzw. dem Display 14 angezeigt. Wenn die Informationsverarbeitungseinheit 8 Informationen anzeigt, ist die Informationsverarbeitungseinheit 8 konfiguriert, um im Stande zu sein, die Informationen auf einem Windschutzscheibenglas des Fahrzeugs, das heißt, einem HUD (Head Up Display bzw. Blickfeldanzeige), das auf einem Windschutzscheibenglas angezeigt wird, zusätzlich zu der Anzeige bzw. dem Display 14 anzuzeigen. Mit der Konfiguration, in der die Informationen auf diese Weise auf der Windschutzscheibe angezeigt werden, kann die Szene außerhalb des Fahrzeugs durch die Windschutzscheibe gesehen werden und können Informationen auf die Szene außerhalb des Fahrzeugs überlagert werden. Des Weiteren ist es bevorzugt, dass die Anzeige bzw. das Display 14 mit einem Touchpanel bzw. Bildschirmtastfeld oder einem mechanischen Schalter bereitgestellt ist, so dass die Anzeige 14 eine Vorgang-im-Stande-Anzeige ist, die es ermöglicht, Vorgänge von anderen Vorrichtungen auszuführen.
Als Nächstes wird die Funktionsweise des Zeichenerkennung-Benachrichtigungssystems bzw. Verkehrsschilderkennung-Benachrichtigungssystems 1 gemäß der vorliegenden Ausführungsform mit Bezug auf 3 bis 17 beschrieben. Ein Beispiel wird in einem Fall beschrieben, in dem ein fremder bzw. ausländischer Anwender auf einer japanischen Straße mit einem Fahrzeug, zum Beispiel einem Mietfahrzeug, fährt und Schwierigkeiten bei einem Verstehen eines Verkehrszeichens durch das Fenster hat.
Als Erstes wird das Sprachenfestsetzen des Anwenders gesteuert. In der vorliegenden Ausführungsform wird eine Anzeigebildschirmansicht bzw. Displaybildschirmansicht unter Verwendung einer Sprache, die durch den Anwender verstanden werden kann, gemäß der Prozedur, die in dem Flussdiagramm von 3 zu sehen ist, festgesetzt, so dass der fremde bzw. ausländische Anwender das System verwenden kann, wobei er diesem Bescheid bzw. die Meinung sagen kann. Das Flussdiagramm von 3 zeigt die Inhalte einer Steuerung des Zeichenerkennung-Benachrichtigungssystems bzw. Verkehrsschilderkennung-Benachrichtigungssystems 1, das heißt, der DSM-Steuerungseinrichtung 6 und der Informationsverarbeitungseinheit 8.
In Schritt S10 in 3 wird das Einsteigen des Anwenders, das heißt, des Fahrers, basierend auf Bildinformationen, die durch die Spiegelaugenkameras 2 und die Anzeigeaugenkameras 3 aufgenommen werden, detektiert. Anschließend rückt der Prozess zu Schritt S20 vor, bei dem die DSM-Steuerungseinrichtung 6 eine Gesichtserkennung des Anwenders durchführt. Dann rückt der Prozess zu Schritt S30 vor, bei dem es bestimmt wird, ob der Anwender das Fahrzeug erstmalig verwendet, und zwar basierend auf dem Ergebnis der Gesichtserkennung des Anwenders.
In Schritt S30 analysiert, falls der Anwender das Fahrzeug erstmalig verwendet (Ja), die Informationsverarbeitungseinheit 8 die Gesichtsinformationen des Anwenders und die Sprache, wenn der Anwender spricht, um die Sprache, die durch den Anwender verwendet wird, und die Nationalität des Anwenders einzugrenzen. Hier rückt, falls der Anwender kein Gespräch führt und die Informationsverarbeitungseinheit 8 versagt, die Sprache oder Nationalität einzugrenzen, der Prozess zu Schritt S40 vor. Die Informationsverarbeitungseinheit 8 führt ein Anrufen bzw. Aufrufen des Anwenders für eine Sprachauswahl in verschiedenen Hauptsprachen, wie beispielsweise die Sprache des Landes (zum Beispiel Japanisch) oder grundlegendes Englisch, Chinesisch, Spanisch etc., durch. In diesem Fall wird zum Beispiel eine Bildschirmansicht, die in 9 zu sehen ist, auf der Anzeige bzw. dem Display 14 angezeigt und werden Sprachnachrichten in einer Vielzahl von Hauptsprachen von dem Lautsprecher 15 ausgegeben. Zum Beispiel wird in dem Fall von Japanisch „Wähle eine Sprache auf dem Bildschirm. Ist japanisch ok?“ angezeigt. Die Benachrichtigung wird auf solch eine Art und Weise durchgeführt, dass eine Rede von dem Platz ausgegeben wird, bei dem das Zeichenerkennung-Benachrichtigungssystem bzw. Verkehrsschilderkennung-Benachrichtigungssystem 1 bereitgestellt ist, das heißt, dem Lautsprecher 15 der Anzeige bzw. des Displays 14. In anderen Hauptsprachen werden Nachrichten, die dieselbe Bedeutung haben, angezeigt und werden Reden aufeinanderfolgend ausgegeben.
Anschließend rückt der Prozess zu Schritt S45 vor. Die DSM-Steuerungseinrichtung 6 bestimmt, ob der Anwender eine Reaktion auf das oben genannte Anrufen bzw. Aufrufen durchgeführt hat, das kennzeichnet, dass der Anwender das Anrufen bzw. Aufrufen verstanden zu haben scheint, wie beispielsweise ein Betrachten der Anzeige bzw. des Displays oder ein Annehmen bzw. Entgegennehmen des Anrufens bzw. ein Antworten auf das Aufrufen. Hier rückt, wenn die DSM-Steuerungseinrichtung 6 detektiert, dass der Anwender eine Reaktion durchgeführt hat, die kennzeichnet, dass der Anwender das Anrufen bzw. Aufrufen verstanden zu haben scheint, wie beispielsweise ein Schauen auf die Anzeige bzw. das Display oder ein Annehmen bzw. Entgegennehmen bzw. Antworten (Ja), der Prozess zu Schritt S50 vor. Die Sprache, mit der der Anwender das Anrufen bzw. Aufrufen erwidert, wird bestätigt und eine Vielzahl von Sprachenkandidaten, von denen geschätzt wird, durch den Anwender verwendet zu werden, werden auf der Anzeigebildschirmansicht bzw. Displaybildschirmansicht angezeigt. In diesem Fall kann der Gesichtsausdruck des Anwenders nach dem Anrufen bzw. Aufrufen gemessen werden. Das Anrufen bzw. Aufrufen kann mit der Gesichtsrichtung, dem Gesichtsausdruck, der Reaktion etc. angenommen bzw. entgegengenommen bzw. beantwortet werden. Die Sprache kann damit detektiert werden und eine Sprachführung kann in der detektierten Sprache gegeben werden, „Kann die Bildschirmansicht unter Verwendung der Sprache XX angezeigt werden?“.
In Schritt S40 kann das Anrufen bzw. Aufrufen auf Englisch getätigt werden. In solch einem Fall wird, wenn sich der Anwender zu der Bildschirmansicht dreht, wie es in 10 zu sehen ist, auf der Bildschirmansicht in der Anzeige bzw. dem Display 14 der Anwender gefragt, welches Gebiet von Englisch verwendet wird, und wird der Anwender dazu gebracht, dieses auszuwählen. In diesem Fall wird zum Beispiel „1.Englisch USA, 2. Englisch UK, 3. Englisch Aus“ angezeigt, und zwar wird eine Vielzahl von Gebieten, in denen Englisch verwendet wird, zusammen mit der Sprache angezeigt. In diesem Anzeigezustand kann zum Beispiel eine Sprache, zum Beispiel „1. Englisch USA“, ausgewählt werden. In solch einem Fall wird nach dem Verstreichen der festgesetzten Zeit eine Auswahlkarte der Staaten bzw. Bundesstaaten in den „USA“ auf der Bildschirmansicht der Anzeige bzw. des Displays 14 angezeigt, wie es in 11 zu sehen ist. Der Anwender kann folglich ein Gebiet (d.h., einen Staat bzw. Bundesstaat) auswählen, in dem der Anwender normalerweise fährt.
Ebenso sagt zum Beispiel, wenn der Anwender nicht eine Englisch-sprachige Sprache verwenden möchte, sondern Spanisch verwenden möchte, der Anwender „Spanien“. „Spanien Spanien, Spanien Mexiko, Spanien Peru, etc.“ wird auf der Anzeige bzw. dem Display 14 angezeigt. Eine Karte von einer Vielzahl von Gebieten, in denen Spanisch verwendet wird, wird zusammen mit der Sprache angezeigt und die Sprache kann auf der Karte ausgewählt werden.
Dagegen rückt in Schritt S40, falls es keine Antwort gibt (Nein), das heißt, falls der Anwender nicht gut versteht (Nein), der Prozess zu Schritt S130 vor. Das Anrufen bzw. Aufrufen „Betrachte die Bildschirmansicht in der Anzeige bzw. dem Display“ wird getätigt, indem die Sprache geändert wird, das heißt, indem diese aus dem Gesichtsbild und der Sprache, die in dem Fahrzeug gesprochen wurde, geschätzt wird und eine Sprache, die leicht zu verstehen ist, ausgewählt wird. Dann kehrt der Prozess zu Schritt S40 zurück, um eine Sprachführung, das heißt, ein Anrufen bzw. Aufrufen in der ausgewählten Sprache, durchzuführen.
In Schritt S50 macht der Anwender eine Erwiderung, um eine Sprache in einem Staat bzw. Bundesstaat auszuwählen, in dem eine Vielzahl von Sprachenkandidaten, die berücksichtigt werden, wahrscheinlich durch den Anwender verwendet zu werden, auf der Anzeigebildschirmansicht bzw. Displaybildschirmansicht angezeigt werden. Darauf reagierend rückt der Prozess zu Schritt S60 vor, bei dem es bestimmt wird, ob die Sprache des Anwenders (d.h., des Fahrers) erkannt worden ist. Hier kehrt, falls die Sprache des Anwenders nicht erkannt worden ist (Nein), der Prozess zu Schritt S50 zurück und wird die oben beschriebene Verarbeitung wiederholt ausgeführt.
Wenn die Sprache des Anwenders in Schritt S60 erkannt wird (Ja), rückt der Prozess zu Schritt S70 vor. Damit wird die Navigationsfunktion, das heißt, das Zeichenerkennung-Benachrichtigungssystem bzw. Verkehrsschilderkennung-Benachrichtigungssystem 1 festgesetzt, um eine Führung in der erkannten Sprache bereitzustellen. Dann rückt der Prozess zu Schritt S80 vor, bei dem es bestimmt wird, ob der Anwender ein Land und eine Straße, auf der der Fahrer normalerweise fährt, ausgewählt hat. In diesem Fall zeigt das Zeichenerkennung-Benachrichtigungssystem bzw. Verkehrsschilderkennung-Benachrichtigungssystem 1 ein Gebiet, das der ausgewählten Sprache entspricht, das heißt, eine Straßenkarte des Landes, an. Zum Beispiel wird, wenn die Sprache Englisch USA ist, eine Karte, wie sie in 11 zu sehen ist, das heißt, eine Karte der Vereinigten Staaten, angezeigt. Zusätzlich wird die Nachricht „Haben sie ihr Fahrgebiet ausgewählt? Berühren sie ihre Fahrstraße“ angezeigt und ertönt. Man nehme zur Kenntnis, dass der Grund für ein Auswählen eines Gebiets, zum Beispiel in dem Fall der Vereinigten Staaten, dazu da ist, um einen Staat bzw. Bundesstaat auszuwählen, da sich in den Vereinigten Staaten Verkehrsregeln und Zeichen bzw. Verkehrsschilder für jeden Staat bzw. Bundesstaat ändern können.
Dann kehrt, wenn der Anwender in Schritt S80 nicht das Land und die Straße, auf der Fahrer normalerweise fährt, ausgewählt hat (Nein), der Prozess zu Schritt S70 zurück, um die oben beschriebene Verarbeitung zu wiederholen. Zusätzlich hat der Anwender in Schritt S80 das Land und die Straße, auf der der Fahrer normalerweise fährt (Ja) ausgewählt, das heißt, falls der Anwender die Straße, auf der das Fahrzeug normalerweise fährt, durch Berührungsbetätigung beantwortet hat. Dadurch rückt der Prozess zu Schritt S90 vor. Die Antwort des Anwenders, das heißt, das Auswahlergebnis, wird erhalten und in den internen Speicher der Informationsverarbeitungseinheit 8 gespeichert; ein Bestätigungszeichen, zum Beispiel „Angenommen“, wird auf der Bildschirmansicht in der Anzeige bzw. dem Display 14 angezeigt.
Anschließend rückt der Prozess zu Schritt S100 vor, bei dem die Informationsverarbeitungseinheit 8 des Zeichenerkennung-Benachrichtigungssystems bzw. Verkehrsschilderkennung-Benachrichtigungssystem 1 die Zeichendaten bzw. Verkehrsschilddaten, die durch den Anwender verwendet werden, das heißt, die Zeichendaten bzw. Verkehrsschilddaten, die in dem ausgewählten Gebiet der Straße von der Zeichendatenbank bzw. Verkehrsschilddatenbank verwendet werden, ausliest und die Daten in den internen Speicher speichert. Dann rückt der Prozess zu Schritt S110 vor, bei dem die Informationsverarbeitungseinheit 8 die gelesenen Zeichendaten bzw. Verkehrsschilddaten des Straßengebiets, in dem sich der fremde bzw. ausländische Anwender normalerweise fortbewegt, mit den Zeichendaten bzw. Verkehrsschilddaten der Straße, auf der von nun an gefahren werden soll, das heißt, den Zeichendaten bzw. Verkehrsschilddaten, die zuvor von der Zeichendatenbank bzw. Verkehrsschilddatenbank gelesen worden sind, vergleicht. Dadurch wird ein verwirrendes Zeichen bzw. Verkehrsschild oder ein Zeichen bzw. Verkehrsschild mit einem großen Unterschied extrahiert und in einen internen Speicher als Zeichendaten bzw. Verkehrsschilddaten für eine Führung gespeichert. Danach rückt der Prozess zu Schritt S 120 vor und schaltet die Steuerung für ein sicheres Fahren während einem Fahren, die den Umwandlungsmodus für ein Umwandeln der Sprache ausführt, die durch den Anwender verwendet wird, das heißt, das Verkehrszeichen auf der Straße in die nationale Herkunft des Anwenders. Insbesondere wird ein Ausführen der Steuerung in 4 gestartet. Das Flussdiagramm von 4 zeigt die Inhalte einer Steuerung des Zeichenerkennung-Benachrichtigungssystems bzw. Verkehrsschilderkennung-Benachrichtigungssystem 1, das heißt, der DSM-Steuerungseinrichtung 6 und der Informationsverarbeitungseinheit 8.
Dagegen rückt, falls in Schritt S30 der fremde bzw. ausländische Anwender kein neuer Anwender ist, sondern ein Anwender, der den Mietfahrzeugservice verwendet hat (Nein), der Prozess zu Schritt S 140 vor, bei dem die vorhergehenden Informationen gelesen und verwendet werden können. In diesem Fall wird die folgende Benachrichtigung, das heißt, Anzeige und Sprachausgabe, durchgeführt und werden die Sprache und das Zeichen bzw. Verkehrsschild festgesetzt. „Danke für erneute Verwendung von XX. Dieselbe Sprache wie die vorherige wird festgesetzt. Ist das ok?“. „Falls ja, werden die Zeichen für das Bestimmungsland festgesetzt“. Danach rückt der Prozess zu Schritt S120 vor und schaltet auf die Steuerung für eine sichere Fahrunterstützung während einem Fahren, die den Verkehrszeichenumwandlungsmodus für die Straße in die nationale Herkunft des Anwenders umwandelt. Insbesondere startet ein Ausführen der Steuerung in 4.
Man nehme zur Kenntnis, dass in Schritt S40, wie es in 10 zu sehen ist, der Anwender darüber gefragt wird, welches Englischgebiet verwendet werden soll, und er aufgefordert wird, das Gebiet auszuwählen. In diesem Fall kann der Anwender Englisch verstehen, kann jedoch auf eine Sprache in einer anderen Region ändern wollen. In diesem Fall wird, wenn zum Beispiel das Zeichen „WW: weltweit“ in der Bildschirmansicht ausgewählt wird, eine Weltkarte und eine Sprachauswahlbildschirmansicht, die in 13 zu sehen ist, angezeigt. Auf der Bildschirmansicht, die in 13 zu sehen ist, kann der Anwender eine geeignetere Sprache auswählen.
Als Nächstes wird eine Steuerung für eine sichere Fahrunterstützung während einem Fahren in 4 beschrieben. Hier setzt vor einem Starten der Steuerung in 4 der Anwender eine Fortbewegungsstrecke bzw. Reisestrecke zu einem Ziel unter Verwendung der Fahrzeugnavigationsfunktion der Informationsverarbeitungseinheit 8 fest. Dann liest die Informationsverarbeitungseinheit 8 ein Objekt, das sich an einer Position befindet, die dem Link bzw. der Verknüpfung bzw. Verbindung der elektronischen Karte der Fortbewegungsstrecke bzw. Reisestrecke von der Strukturdatenbank entspricht. Die Strukturdatenbank zeichnet Informationen, wie beispielsweise Signale, Verkehrszeichen, Straßen- und Gehweggebietsinformationen bzw. Bürgersteiggebietsinformationen, Randsteine und die Anwesenheit oder Abwesenheit von gestuften Flächen, auf.
In der Steuerung einer sicheren Fahrunterstützung während einem Fahren wird ein Prozess durchgeführt, der ein Zeichen bzw. Verkehrsschild, das bestimmt wird, ein verwirrendes Design zu haben, mit einem Bild eines Straßenzeichens bzw. Straßenverkehrsschilds für den Fremden bzw. Ausländer ersetzt, um solch ein Bild leicht zu verstehen und anzuzeigen. Das Zeichen bzw. Verkehrsschild mit einem verwirrenden Design enthält ein Zeichen bzw. Verkehrsschild mit einem Bild, das völlig verschieden von dem Zeichen bzw. Verkehrsschild ist, das in dem Land des Anwenders verwendet wird, und ein Zeichen bzw. Verkehrsschild, das einem Bild ähnelt, jedoch eine unterschiedliche Beachtung gibt. In diesem Fall werden die Anzeigedaten des Zeichens bzw. Verkehrsschilds vorbereitet, so dass es keine Anzeigeverzögerung gibt, während das Fahrzeug fährt, so dass das Zeichen bzw. Verkehrsschild, das der fremde bzw. ausländische Anwender verstehen kann, angezeigt werden kann, wenn es notwendig ist. Jedoch werden unter Berücksichtigung der Ausführung der Streckenänderung die Anzeigedaten, die vorbereitet werden sollen, konfiguriert, um Daten um das Fahrzeug herum vorzubereiten, zum Beispiel innerhalb eines Bereichs von mehreren Hundert Metern. Falls eine Streckenänderung auf diese Weise gemacht wird, werden die Straßenzeichendaten bzw. Straßenverkehrsschilddaten für Fremde bzw. Ausländer für das Zeichen bzw. Verkehrsschild (d.h., das Objekt), das dem Knoten oder dem Link bzw. der Verknüpfung bzw. Verbindung zugeordnet ist, der bzw. die der geänderten Strecke zugeordnet ist, festgesetzt. Das Folgende wird eine Steuerung für ein Präsentieren eines Zeichenbilds bzw. Verkehrsschildbilds für Fremde bzw. Ausländer für den Anwender während einer Streckenführung beschreiben, während das Fahrzeug fortbewegt wird.
Als Erstes wird in Schritt S210 in 4 die Steuerung einer sicheren Fahrunterstützung während einem Fahren gestartet. Anschließend rückt der Prozess zu Schritt S220 vor, bei dem es bestimmt wird, ob der Anwender diese Steuerung (d.h., den Service) erstmalig verwendet. Falls der Anwender den Service erstmalig verwendet (Ja), rückt der Prozess zu Schritt S230 vor. Bevor das Fahrzeug beginnt, sich zu bewegen, wird dadurch eine Führung bzw. Anleitung in der Sprache, die durch den Anwender verwendet wird, über (i) das Bedienungsverfahren des Fahrzeugs und das Zeichenerkennung-Benachrichtigungssystem bzw. Verkehrsschilderkennung-Benachrichtigungssystem 1 und (ii) grundlegende japanische Verkehrsregeln bereitgestellt. In der DSM-Steuerungseinrichtung 6 wird die Sichtlinie des Anwenders kalibriert. In diesem Fall ist es bevorzugt, dass das Fahrzeug nicht startet, bis der Anwender die oben beschriebene initiale Führung bzw. Anleitung hört. In Folge dessen ist es möglich, einen Unfall aufgrund einer Verkennung einer Verkehrsregel eines besichtigten Landes zu verhindern, unmittelbar nachdem das Fahrzeug ein Fahren beginnt, und zwar aufgrund einem Missverständnis.
Dann rückt der Prozess zu Schritt S240 vor, um zu bestimmen, ob das Fahrzeug ein Fortbewegen begonnen hat. Falls das Fortbewegen nicht begonnen hat (Nein), rückt der Prozess zu Schritt S290 vor, bei dem die Parkzeit gemessen wird. Falls die Parkzeit die festgesetzte Zeit übersteigt, wird der Modus auf den Energiesparmodus gesetzt und bleibt der Prozess in Standby bzw. Bereitschaft, bis das Fortbewegen begonnen wird, das heißt, kehrt dieser zu Schritt S240 zurück.
Wenn in Schritt S240 das Fahrzeug beginnt, zu fahren (Ja), rückt der Prozess zu Schritt S250 vor, bei dem der Erkennungsprozess für ein Objekt voraus gestartet wird. In diesem Fall werden die Größe und der Bereich des Überwachungsgebiets für ein Durchführen des Objekterkennungsprozess gemäß der Geschwindigkeit des Fahrzeugs geändert, wie es in 12 zu sehen ist. Zum Beispiel ist, wenn die Fahrzeuggeschwindigkeit gleich 60 km/h ist, das heißt, wenn die Fahrzeuggeschwindigkeit in 12 gleich V3 ist, der Bereich gleich 40 m bis 200 m voraus. Wenn die Fahrzeuggeschwindigkeit gleich 40 km/h ist, das heißt, wenn die Fahrzeuggeschwindigkeit in dem Bereich ist, der in 12 durch die Fahrzeuggeschwindigkeiten V2 - V3 gekennzeichnet ist, der Bereich gleich 40 m bis 100 m voraus. Des Weiteren ist, wenn die Fahrzeuggeschwindigkeit gleich 20 km/h ist, das heißt, wenn die Fahrzeuggeschwindigkeit in dem Bereich ist, der in 12 durch die Fahrzeuggeschwindigkeiten V1 - V2 gekennzeichnet ist, der Bereich gleich 30 m bis 50 m voraus. Wenn das Fahrzeug eine hohe Objekterkennungsverarbeitungsfähigkeit hat, das heißt, wenn die Kamera- und Radarleistungsfähigkeit und die Objekterkennungsfähigkeit ausgezeichnet sind, kann das Überwachungsgebiet festgesetzt werden, um weiter als der oben genannte Bereich zu sein.
Hier wird das Konzept eines Festsetzens des Überwachungsgebiets beschrieben. In einem fahrenden Fahrzeug kann, falls der Entfernungsbereich zu einem Zeichen bzw. Verkehrsschild eines Benachrichtigungsziels zu kurz ist, der Anwender das Fahrzeug nicht rechtzeitig betätigen bzw. bedienen. Dagegen erhöht sich, falls der Entfernungsbereich zu dem Zeichen bzw. Verkehrsschild erhöht wird, die Möglichkeit, dass viele Objekte in dem Zielgebiet enthalten sind, und erhöht sich die Verarbeitungslast des Zeichenerkennung-Benachrichtigungssystems bzw. Verkehrsschilderkennung-Benachrichtigungssystems 1. Deshalb ist es notwendig, die Größe des Überwachungsgebiets gemäß der Fahrzeuggeschwindigkeit zu ändern. Um zu der Zeit, wenn der Anwender wenige Sekunden hat, das Fahrzeug zu betätigen bzw. bedienen, über ein Zeichen zu benachrichtigen, ist es notwendig, das Benachrichtigungsziel zu beschränken. Aus diesem Grund wird, wenn es nicht möglich ist, das Zeichen bzw. Verkehrsschild zu verstehen, und zwar unter der Annahme eines Stattfindens eines Verkehrsunfalls, einem Anzeigen (d.h., Benachrichtigen) eines Zeichens bzw. Verkehrsschilds, das einen bedeutenden Unfall verursachen kann, Priorität gegeben. Zum Beispiel ist, wie es in 15 zu sehen ist, eine Vielzahl von Zeichen bzw. Verkehrsschildern an derselben Position in einer vertikalen Richtung angeordnet. In diesem Fall wird die Priorität der Benachrichtigung des Zeichens bzw. Verkehrsschilds gemäß dem Fortbewegungszustand des Fahrzeugs und umgebenen Personen, anderen Fahrzeugen und dergleichen, das heißt, dem Bewegungszustand des Bewegungsobjekts, bestimmt.
Nun werden in Schritt S250, wenn die Erkennung des Objekts gestartet wird, die Position und die Fortbewegungsrichtung des Host-Fahrzeugs bzw. Trägerfahrzeugs gemessen und werden befestigte Objekte, die auf der Straße voraus und auf den linken und rechten Seiten installiert sind, unter Verwendung der Strukturdatenbank gesucht. Dann rückt der Prozess zu Schritt S260 vor, um zu bestimmen, ob das gesuchte befestigte Objekt ein Objekt eines Verkehrszeichens enthält. Hier rückt, falls ein Objekt eines Verkehrszeichens enthalten ist, das heißt, falls es ein Verkehrszeichen voraus gibt (Ja), der Prozess zu Schritt S270 vor, um einen Verkehrszeichen-Erkennung/Benachrichtigung-Prozess auszuführen. Dieser Verkehrszeichen-Erkennung/Benachrichtigung-Prozess wird später beschrieben.
Falls es in Schritt S260 kein Verkehrszeichen voraus gibt (Nein), rückt der Prozess zu Schritt S295 vor, bei dem der Prozess entsprechend dem erkannten Objekt durchgeführt wird. Das heißt, dass, falls es ein anderes Objekt gibt, das bemerkt werden soll, der Prozess entsprechend dem anderen Objekt durchgeführt wird. Zum Beispiel wird, wenn ein Fußgänger durch die Außenseitenfahrzeugkamera 7 detektiert wird, der Anwender benachrichtigt, dass der Fußgänger detektiert worden ist.
Wenn der Verkehrszeichen-Erkennung/Benachrichtigung-Prozess vervollständigt ist, rückt der Prozess zu Schritt S280 vor. Es wird damit bestimmt, ob das Fahrzeug ein Fortbewegen gestoppt hat, das heißt, ob der Verbrennungsmotor gestoppt ist. Hier kehrt, wenn das Fahrzeug fährt (Nein), der Prozess zu Schritt S250 zurück und wird die oben beschriebene Verarbeitung wiederholt ausgeführt.
Falls das Fahrzeug in Schritt S280 ein Fahren gestoppt hat, das heißt, falls das Fahrzeug in den Parkmodus eingetreten ist (Ja), wird die Steuerung beendet. Wenn das Fahrzeug ein Fahren aus dem Parkmodus beginnt, kehrt der Prozess zu Schritt S210 in 4 zurück und wird die Steuerung erneut gestartet.
Als Nächstes wird der Verkehrszeichen-Erkennung/Benachrichtigung-Prozess in Schritt S270 mit Bezug auf das Flussdiagramm in 5 beschrieben. Das Flussdiagramm von 5 zeigt die Inhalte einer Steuerung des Zeichenerkennung-Benachrichtigungssystems bzw. Verkehrsschilderkennung-Benachrichtigungssystems 1, das heißt, der DSM-Steuerungseinrichtung 6 und der Informationsverarbeitungseinheit 8.
Als Erstes extrahiert in Schritt S310 in 5 die Informationsverarbeitungseinheit 8 des Zeichenerkennung-Benachrichtigungssystems bzw. Verkehrsschilderkennung-Benachrichtigungssystems 1 ein Verkehrszeichen in dem Überwachungsgebiet, das basierend auf der Fortbewegungsgeschwindigkeit des Fahrzeugs festgesetzt wird. Das Überwachungsgebiet des Zeichens bzw. Verkehrsschilds wird gemäß der Fortbewegungsgeschwindigkeit des Fahrzeugs festgesetzt, wie es oben beschrieben wurde. Anschließend rückt der Prozess zu Schritt S320 vor, bei dem der Typ des extrahierten Verkehrszeichens in erster Linie unter Verwendung von Daten der Strukturdatenbank bestimmt wird. In diesem Fall kann der Typ des Verkehrszeichens bestimmt werden, indem das Bild, das durch die Außenseitenfahrzeugkameras 7 aufgenommen wird, erkannt wird. Man nehme zur Kenntnis, dass der Typ des Verkehrszeichens unterschiedliche Erkennungsergebnisse zwischen der Strukturdatenbank und dem von der Kamera aufgenommenen Bild haben kann. In solch einem Fall ist es bevorzugt, dies unter Verwendung von den Ergebnissen im Voraus zu bestimmen.
Dann rückt der Prozess zu Schritt S330 vor, bei dem es basierend auf dem bestimmten Typ des Verkehrszeichens bestimmt wird, ob das Verkehrszeichen ein Verkehrszeichen ist, das für einen fremden bzw. ausländischen Anwender schwierig zu verstehen ist, das heißt, ein Fremder-Anwender-Zielzeichen bzw. Ausländischer-Anwender-Zielzeichen. Hier rückt, falls das Verkehrszeichen für den fremden bzw. ausländischen Anwender schwer zu verstehen ist (Ja), der Prozess zu Schritt S340 vor. Da das Verkehrszeichen mitgeteilt werden muss, wird dem Zeichen (d.h., Benachrichtigungszielverkehrszeichen) eine Verarbeitungszahl zugeordnet und wird dieses in einer Verarbeitungszahlliste, die in einem internen Speicher bereitgestellt ist, aufgezeichnet oder gespeichert. Anschließend rückt der Prozess zu Schritt S350 vor, bei dem ein Prozess eines Benachrichtigens des Anwenders über das Benachrichtigungszielverkehrszeichen basierend auf der Verarbeitungszahlliste durchgeführt wird. Der Benachrichtigungsprozess des Benachrichtigungszielverkehrszeichens wird später beschrieben. Zusätzlich wird die Verarbeitungszeit des Benachrichtigungsprozesses von dem Benachrichtigungszielverkehrszeichen gemäß der Fortbewegungsgeschwindigkeit des Fahrzeugs festgesetzt. Das heißt, dass, wenn sich die Fortbewegungsgeschwindigkeit erhöht, die Zeit, die für den Benachrichtigungsprozess von dem Benachrichtigungszielverkehrszeichen verwendet wird (d.h., die Benachrichtigungsverarbeitungszeit), kürzer festgesetzt wird. Wenn die Verarbeitung von Schritt S350 vervollständigt ist, endet, falls das Verkehrszeichen nicht ein Verkehrszeichen ist, das für einen fremden bzw. ausländischen Anwender in Schritt S330 (Nein) schwierig zu verstehen ist, die gegenwärtige Steuerung, um zu der Steuerung in 4 zurückzukehren.
Als Nächstes wird die Verarbeitung in Schritt S350 in 5, das heißt, die Benachrichtigungssteuerung des Benachrichtigungszielverkehrszeichens mit Bezug auf das Flussdiagramm in 6 beschrieben. Das Flussdiagramm von 6 zeigt die Inhalte einer Steuerung des Zeichenerkennung-Benachrichtigungssystems bzw. Verkehrsschilderkennung-Benachrichtigungssystems 1, das heißt, der DSM-Steuerungseinrichtung 6 und der Informationsverarbeitungseinheit 8.
Als Erstes wird in Schritt S410 von 6 die Verarbeitungszeit für die Benachrichtigungsverarbeitung von dem Benachrichtigungszielverkehrszeichen gemäß der Fortbewegungsgeschwindigkeit des Fahrzeugs festgesetzt. Dann rückt der Prozess zu Schritt S420 vor, bei dem die nichtverarbeitete Verarbeitungszahlliste, die in Schritt S340 von 5 aufgezeichnet wurde, gelesen wird und werden die Zahl bzw. Anzahl von Benachrichtigungszielverkehrszeichen und die Notwendigkeit der Umwandlungsverarbeitung erlangt.
Dann rückt der Prozess zu Schritt S430 vor, um die Zeit, die für eine gesamte Datenverarbeitung von der Zahl bzw. Anzahl von Benachrichtigungszielverkehrszeichen erforderlich ist, und die Umwandlungsverarbeitungszeit, die für jede Anzeige erforderlich ist, zu bestimmen. Des Weiteren wird es bestimmt, ob die Verarbeitung bis zu der Zeit, in der der Anwender das Fahrzeug betätigen bzw. bedienen kann, das heißt, der Benachrichtigungsstartzeit, vervollständigt wird, und ob die gesamte Datenverarbeitung innerhalb der festgesetzten Verarbeitungszeit vervollständigt wird. Hier rückt, falls die Verarbeitung nicht bis zu bzw. in der Benachrichtigungsstartzeit durchgeführt werden kann (Nein), der Prozess zu Schritt S435 vor. Für jedes Benachrichtigungszielverkehrszeichen, das in der nichtverarbeiteten Verarbeitungszahlliste extrahiert wird, wird die Notwendigkeit einer überlagerten Anzeige (d.h., die Benachrichtigungsverarbeitung für den Anwender) überprüft. Ein Prozess eines Auswählens eines Zeichens bzw. Verkehrsschilds, das mitgeteilt werden muss, wird gemäß der Priorität ausgeführt. In diesem Fall kann zum Beispiel die maximale Zahl bzw. Anzahl von Daten von dem überlagerten Anzeigeprozess, die gleichzeitig durchgeführt werden können, gleich zwei sein. In diesem Fall hat die Verarbeitungszahlliste ex1, die in 16 zu sehen ist, Zeichendaten bzw. Verkehrsschilddaten, die eine Verarbeitung brauchen, das heißt, „Muss“-Daten; folglich kann ein überlagerter Anzeigeprozess durchgeführt werden. Im Gegensatz dazu hat die Verarbeitungszahlliste ex2, die in 17 zu sehen ist, drei Daten, die verarbeitet werden müssen; der überlagerte Anzeigeprozess kann nicht ausgeführt werden. In solch einem Fall werden unter Berücksichtigung der Priorität des Zeichens bzw. Verkehrsschilds, das für eine Unfallverhinderung erforderlich ist, die Daten, die verarbeitet werden sollen, priorisiert, um die Daten, die angezeigt werden sollen, auszuwählen und zu bestimmen, so dass die maximale Zahl bzw. Anzahl von Daten gleich zwei ist. Der Benachrichtigungszeichenauswahlprozess bzw. Benachrichtigungsverkehrsschildauswahlprozess in Schritt S435 wird später beschrieben.
Falls es in Schritt S430 bestimmt wird, dass die Datenverarbeitung vervollständigt werden kann, bevor der Anwender das Fahrzeug betätigen bzw. bedienen kann (Ja), rückt der Prozess zu Schritt S440 vor. In diesem Schritt S440 wird die Notwendigkeit einer überlagerten Anzeige für jedes Zeichen bzw. Verkehrsschild in der Verarbeitungszahlliste überprüft und wird das erforderlich extrahiert. Die Extraktionsverarbeitung von Schritt S440 wird später beschrieben.
Dann rückt der Prozess zu Schritt S450 vor, um die Position eines Zeichens bzw. Verkehrsschilds, das ein Objekt von der Zielzahl ist, das überlagert werden muss, das heißt, die Position eines Zeichens bzw. Verkehrsschilds, das einem fremden bzw. ausländischen Anwender mitgeteilt werden muss, zu verfolgen. Hier ist der Verfolgungsprozess dazu da, zu berechnen, wie das Zeichen bzw. Verkehrsschild von dem Sitz des Fahrers aus aussieht, und zwar aus (i) der Position, an der das Fahrzeug fährt, (ii) der Installationsposition des Zielverkehrszeichens und (iii) den Dreidimensionale-Form-Daten von der Anzeige. Es wird dann überprüft, ob es ein tatsächliches Zeichen an der berechneten Position gibt, basierend auf einem Bild, das durch die Außenseitenfahrzeugkamera 7 aufgenommen wird.
Dann rückt der Prozess zu Schritt S460 vor. Falls der Verfolgungsprozess ordnungsgemäß tätig ist, wird ein fremdes bzw. ausländisches Zeichenbild bzw. Verkehrsschildbild überlagert. Das heißt, dass ein virtuelles Bild nahe dem tatsächlichen Zeichen bzw. Verkehrsschild von der Zielzahl an einer passenden Position über dem Horizont in einer festgesetzten Höhe durch zum Beispiel ein HUD (Head Up Display bzw. Blickfeldanzeige) angezeigt wird. 14 zeigt ein Beispiel, in dem das virtuelle Bild auf der Windschutzscheibe angezeigt wird, wie es oben beschrieben wurde. In diesem Anzeigebeispiel wird das Zeichen bzw. Verkehrsschild 20b des virtuellen Bilds nahe dem tatsächlichem Zeichen bzw. Verkehrsschild 20a an zum Beispiel einer Position diagonal darüber, das heißt, an einer passenden Position über dem Horizont in einer festgesetzten Höhe, angezeigt. Wie es oben beschrieben wurde, wird, wenn das virtuelle Bild von dem Blickfeld des Anwenders aus betrachtet wird, das virtuelle Bild wünschenswerterweise an einer Position auf bzw. an der Straße, an der es einen Himmel gibt, wenn man es von dem Anwender aus betrachtet, örtlich festgelegt. In 14 ist der rechteckige Rahmen eine Anzeige für ein Kennzeichnen, dass die Struktur (d.h., das Objekt) in dem Gebiet, das von dem rechteckigen Rahmen umgeben ist, eine erkannte Struktur ist.
Zusätzlich wird in dem obigen Verfolgungsprozess, falls es eine Abweichung zwischen dem aufgenommenen Bild der Außenseitenfahrzeugkamera 7 und dem Blickfeld des Fahrers gibt, die Abweichung kalibriert, um die Anzeigeposition zu korrigieren und den Anzeigeprozess durchzuführen. Deshalb wird die folgende Kalibrierung durchgeführt. Die Kalibrierung wird in Schritt S230 in 4 durchgeführt.
In der Kalibrierung wird die Entsprechung zwischen dem Bild, das durch die Außenseitenfahrzeugkamera 7 aufgenommen wird, und der Szene, die durch den Anwender gesehen wird, überprüft. Insbesondere wird vor einem Beginnen eines Fahrens, das heißt, während das Fahrzeug gestoppt ist, die Entsprechung zwischen der Position des Objekts und der Richtung von der Sichtlinie des Anwenders (d.h., der Bewegung von den Augen) überprüft. Die entsprechenden Positionen der Augen oder die Sichtlinienrichtungen werden in verschiedenen Fällen im Voraus überprüft und in einen internen Speicher gespeichert. Zum Beispiel enthalten die Positionen der Augen oder die Sichtlinienrichtungen: die Position der Augen, wenn der Anwender den Horizont einer geraden Straße anschaut, die Position der Augen, wenn er eine Scheibe mit einer Höhe von 2 m und einem Durchmesser von 30 cm anschaut, die 10 m voraus und rechts und links in einem Winkel von 15 Grad ist, die Positionen der Augen, wenn er die linken und rechten Seitenspiegel anschaut, und die Sichtlinienrichtung, wenn er die Anzeigeelemente und die Anzeigen bzw. Displays in dem Fahrzeugraum anschaut.
Zusätzlich wird, wenn er während einem Fortbewegen eine Ampel oder dergleichen anschaut, die Bewegung der Augen des Anwenders von der Position des Host-Fahrzeugs bzw. Trägerfahrzeugs und der Position der Ampel prognostiziert. Es wird bestätigt, ob die tatsächliche Bewegung der Augen innerhalb des Bereichs der prognostizierten Bewegung ist. Falls eine Differenz zwischen der prognostizierten Augenbewegung und der tatsächlichen Augenbewegung größer als der festgesetzte Bereich ist, wird die Kalibrierung an einer sicheren Position erneut durchgeführt. Die Korrektur wird damit durchgeführt, um die Differenz zwischen der prognostizierten Augenbewegung und der tatsächlichen Augenbewegung zu reduzieren.
Anschließend rückt der Prozess zu Schritt S470 vor. Es wird dann bestimmt, ob die Distanz von dem Fahrzeug zu einem Zeichen bzw. Verkehrsschild von jeder Zielzahl, die eine überlagerte Anzeige erfordert, gleich die Bestimmungsnäherungsdistanz oder geringer als diese geworden ist. Hier kehrt, wenn die Distanz zu dem Zeichen nicht geringer als die Bestimmungsnäherungsdistanz oder gleich dieser ist (Nein), der Prozess zu Schritt S450 zurück, bei dem die oben beschriebene Verarbeitung wiederholt ausgeführt wird.
Falls die Distanz zu dem Zeichen bzw. Verkehrsschild in Schritt S470 gleich der Bestimmungsnäherungsdistanz oder geringer als diese ist (Ja), rückt der Prozess zu Schritt S480 vor. Der Anzeigeprozess wird für das Zeichen bzw. Verkehrsschild (d.h., Objekt) von der Zielzahl, die gleich der Bestimmungsnäherungsdistanz oder geringer als diese ist, ausgeführt. Dann, wenn der Anzeigeprozess vervollständigt ist, wird die nichtverarbeitete Zahl auf „verarbeitet“ geändert und aus der Verarbeitungszahlliste gelöscht. Des Weiteren wird die Zahl bzw. Anzahl von nichtverarbeiteten Zeichen bzw. Verkehrsschildern, das heißt, der Zähler von nichtverarbeiteten Daten, reduziert.
Anschließend rückt der Prozess zu Schritt S490 vor. Es wird dann bestimmt, ob die Zahl bzw. Anzahl von nichtverarbeiteten Zeichen bzw. Verkehrsschildern in der Verarbeitungszahlliste gleich 0 ist, das heißt, ob der Zähler von nichtverarbeiteten Daten gleich 0 ist. Hier kehrt, falls die Zahl bzw. Anzahl von nichtverarbeiteten Zeichen bzw. Verkehrsschildern nicht gleich 0 ist (Nein), der Prozess zu Schritt S450 zurück, bei dem der oben beschriebene Prozess wiederholt ausgeführt wird. Falls die Zahl bzw. Anzahl von nichtverarbeiteten Zeichen bzw. Verkehrsschildern in Schritt S490 gleich 0 ist, rückt der Prozess zu „Ja“ vor und beendet dieser die Steuerung. Danach kehrt die Steuerung zu der Steuerung von 5 zurück. In dieser Steuerung kann in jeder der Verarbeitungen in den Schritten S450 bis S490 eine Vielzahl von Objekten (d.h., Zeichen bzw. Verkehrsschildern) sein, die Zielzahlen haben, die überlagert werden müssen. In diesem Fall ist es bevorzugt, dass der Verfolgungsprozess und die überlagerte Anzeige von einer Vielzahl von Objekten gleichzeitig oder parallel ausgeführt werden.
In der vorliegenden Ausführungsform werden die Sichtlinienbewegung und der Gesichtsausdruck des Anwenders detektiert, um ein Zeichen bzw. Verkehrsschild zu bestimmen, das der Anwender nicht versteht. Falls es gefährlich ist, fortzufahren, wie es ist, wird das Fahrzeug automatisch verlangsamt oder gestoppt. Zusätzlich zu der oben beschriebenen virtuellen Bildanzeige des Zeichens bzw. Verkehrsschilds wird dem Anwender eine Fortbewegungsführung mit einer Rede oder dergleichen für eine Erläuterung des Zeichens bzw. Verkehrsschilds bereitgestellt. Es ist gewünscht, noch spezifischer und genauer das Gefühl zu detektieren, dass der Anwender in Schwierigkeiten ist. Es ist deshalb bevorzugt, eine Hirnaktivität des Anwenders (zum Beispiel, ein Elektroenzephalogramm) durch DSM zusammen mit dem Gesichtsbild des Anwenders zu detektieren und das Detektionsergebnis zu verwenden.
Als Nächstes wird die Verarbeitung von Schritt S435 in 6, das heißt, die Steuerung für ein Auswählen eines Zeichens bzw. Verkehrsschilds, das gemäß der Priorität mitgeteilt werden soll, mit Bezug auf das Flussdiagramm in 7 beschrieben. Das Flussdiagramm in 7 zeigt die Inhalte einer Steuerung des Zeichenerkennung-Benachrichtigungssystems bzw. Verkehrsschilderkennung-Benachrichtigungssystems 1, das heißt, der DSM-Steuerungseinrichtung 6 und der Informationsverarbeitungseinheit 8.
Man nehme zur Kenntnis, dass die Priorität den Grad einer Priorität, welches Zeichen bzw. Verkehrsschild angezeigt werden soll, unter dem Gesichtspunkt „Möglichkeit eines Stattfindens eines Verkehrsunfalls“ kennzeichnet und bestimmt wird, und im Voraus durch das Zeichenerkennung-Benachrichtigungssystem bzw. Verkehrsschilderkennung-Benachrichtigungssystem 1 gespeichert wird. Zum Beispiel sind, wie es in 15 zu sehen ist, fünf Zeichen bzw. Verkehrsschilder in der Reihenfolge von oben angeordnet, (1) ein Zeichen bzw. Verkehrsschild Durchfahrtsverbot, (2) ein Zeichen bzw. Verkehrsschild (Überholverbot) ab hier und (3) ein Zeichen bzw. Verkehrsschild Parkverbot, (4) ein Zeichen bzw. Verkehrsschild (Parkverbot) ab hier, (5) ein Zeichen bzw. Verkehrsschild Fußgängerüberweg. In diesem Fall werden die Prioritäten der Zeichen bzw. Verkehrsschilder (1) und (5) hoch festgesetzt und werden diese Zeichen bzw. Verkehrsschilder (1) und (5) als die Zeichen bzw. Verkehrsschilder ausgewählt, die mitgeteilt werden müssen. Man nehme in der vorliegenden Ausführungsform einen Fall an, dass der Anwender ein Fremder bzw. Ausländer ist, der erstmalig mit einem Fahrzeug auf einer japanischen Straße fährt, zum Beispiel ein Fremder bzw. Ausländer aus den Vereinigten Staaten. In solch einem Fall wird eine Steuerung für ein Anzeigen des virtuellen Zeichens bzw. Verkehrsschilds A an einer Position nahe dem Zeichen bzw. Verkehrsschild (1) und ein Anzeigen des virtuellen Zeichens bzw. Verkehrsschilds B an einer Position nahe dem Zeichen bzw. Verkehrsschild (5) ausgeführt.
Als Erstes wird in Schritt S510 in 7 als Erstes eine Zielzahl, die mitgeteilt werden soll, bestätigt. Dann rückt der Prozess zu Schritt S520 vor, um die Inhalte und Priorität der Benachrichtigungszielzahl zu überprüfen. In diesem Fall wird dem Objekt (d.h., dem Zeichen bzw. Verkehrsschild) von der Benachrichtigungszielzahl der Typ oder die Klasse, der bzw. die der Inhalt ist, der mitgeteilt werden soll, und die Objekttypwichtigkeit, die gemäß dem Fortbewegungszustand festgesetzt wird, zugeordnet. In der vorliegenden Ausführungsform werden die Sichtlinienbewegung und der Gesichtsausdruck des Anwenders detektiert; dadurch werden ein Zeichen bzw. Verkehrsschild, bei dem der Anwender Schwierigkeiten beim Verstehen hat, und dessen Priorität (d.h., die Anwenderpriorität) detektiert. Die Umwandlungsanzeige wird dadurch für das Zeichen mit einer hohen Anwenderpriorität durchgeführt. Zusätzlich wird das Zeichen bzw. Verkehrsschild (d.h., Objekt) mit niedriger Wichtigkeit festgesetzt, um von Benachrichtigungszielen ausgeschlossen zu werden.
Als Nächstes rückt der Prozess zu Schritt S530 vor, um zu bestimmen, ob die Zahl von Benachrichtigungszielen reduziert werden kann. In diesem Fall wird die Wichtigkeit der Benachrichtigungszielzahl aus dem Fortbewegungszustand des Fahrzeugs und dem Typ des Zeichens bzw. Verkehrsschilds berechnet. Es wird dann bestimmt, ob es eine Benachrichtigungszielzahl gibt, die nicht mitgeteilt werden muss. Hier rückt, falls die Zahl von Benachrichtigungszielen reduziert werden kann (Ja), der Prozess zu Schritt S540 vor. Die Benachrichtigungszielzahl, die bestimmt wird, nicht mitgeteilt werden zu müssen, wird dadurch von den Benachrichtigungszielen ausgeschlossen.
Anschließend rückt der Prozess zu Schritt S545 vor, bei dem es bestimmt wird, ob der Benachrichtigungsprozess innerhalb der Zeit vervollständigt wird. Hier rückt, falls es bestimmt wird, dass der Benachrichtigungsprozess innerhalb der Zeit vervollständigt werden kann (Ja), der Prozess zu Schritt S550 vor. Die Verarbeitungsreihenfolge der Benachrichtigungszielzahl wird geändert, so dass die eine (d.h., das Zeichen bzw. Verkehrsschild) mit der höheren Priorität als Erstes verarbeitet werden kann. In diesem Fall wird die Anwenderpriorität des Objekts (d.h., des Zeichens bzw. Verkehrsschilds) überprüft und wird die Verarbeitungszahlliste geändert, um festgesetzt zu werden, um vorzugsweise das Objekt mit der höheren Anwenderpriorität anzuzeigen. Als Nächstes rückt der Prozess zu Schritt S560 vor. Wenn die Reihenfolgenänderungsverarbeitung vervollständigt ist, werden die Daten, die innerhalb der Bestimmungszeit verarbeitet werden können, in einen Speicherbereich für den Anzeigeprozess gespeichert. Dadurch wird die gegenwärtige Steuerung beendet und die Steuerung kehrt zu der Steuerung von 6 zurück.
Ebenso rückt in Schritt S530, falls die Zahl von Benachrichtigungszielen nicht reduziert werden kann, das heißt, falls die Sicherheit beeinträchtigt wird, bis all die Zeichen bzw. Verkehrsschilder verstanden werden können (Nein), der Prozess zu Schritt S535 vor. Die Geschwindigkeit des Fahrzeugs wird dadurch reduziert, so dass der Anwender das Zeichen bzw. Verkehrsschild erkennen kann. Aufgrund einem Reduzieren der Geschwindigkeit des Fahrzeugs kann die Verweilzeit des Fahrzeugs in dem Benachrichtigungsgebiet verlängert werden und kann die Zeit, die für eine Benachrichtigung verwendet wird, verlängert werden. Danach rückt der Prozess zu Schritt S545 vor, bei dem es bestimmt wird, ob der Benachrichtigungsprozess in der Zeit bzw. rechtzeitig vervollständigt wird. Eine anschließende Verarbeitung wird wie oben beschrieben ausgeführt.
Falls es in Schritt S545 bestimmt wird, dass der Benachrichtigungsprozess nicht in der Zeit bzw. rechtzeitig vervollständigt werden kann (Nein), rückt der Prozess zu Schritt S535 vor. Die Geschwindigkeit des Fahrzeugs wird dadurch reduziert, so dass der Anwender das Zeichen bzw. Verkehrsschild erkennen kann. Eine anschließende Verarbeitung wird wie oben beschrieben ausgeführt.
In Schritt S535 gibt es einen Grund für ein Reduzieren der Geschwindigkeit des Fahrzeugs, so dass das Fahrzeug innerhalb der Bestimmungszeit verarbeitet werden kann. Das heißt, dass der Grund der ist, das ein Reduzieren der Geschwindigkeit des Fahrzeugs eine Zeit für den Anwender gewährleisten kann, um das Zeichen bzw. Verkehrsschild (d.h., das Objekt) zu verstehen, um den Grad an Sicherheit zu erhöhen.
Man nehme zur Kenntnis, dass in der vorliegenden Ausführungsform von dem Anwender angenommen wird, ein wenig mit japanischen Straßenzeichen vertraut zu werden und die Zeichen bzw. Verkehrsschilder bis zu einem gewissen Ausmaß verstehen kann. Solch ein Fall ändert damit das, was angezeigt wird, um mit Priorität überlagert zu werden. Solch eine Benachrichtigungsteuerung von Zeichen bzw. Verkehrsschildern, an die sich der Anwender gewöhnen wird (d.h., die Verarbeitung von Schritt S440 in 6), wird mit Bezug auf das Flussdiagramm in 8 beschrieben. Das Flussdiagramm von 8 zeigt die Inhalte einer Steuerung des Zeichenerkennung-Benachrichtigungssystems bzw. Verkehrsschilderkennung-Benachrichtigungssystems 1, das heißt, der DSM-Steuerungseinrichtung 6 und der Informationsverarbeitungseinheit 8.
Als Erstes wird in Schritt S610 von 8 bestimmt, ob der Anwender nicht an ein japanisches Zeichen bzw. Verkehrsschild gewohnt ist. In diesem Fall wird die Bewegung der Sichtlinie des Anwenders durch die DSM-Steuerungseinrichtung 6 detektiert. Falls der Anwender für eine festgesetzte Zeit oder länger auf das Zeichen bzw. Verkehrsschild Acht gibt bzw. dieses beobachtet, wird es bestimmt, dass der Anwender nicht an das japanische Zeichen bzw. Verkehrsschild gewohnt ist. Falls der Anwender nicht auf das Zeichen achtet, wird es bestimmt, dass der Anwender an das japanische Zeichen gewohnt ist.
In Schritt S610 rückt, wenn der Anwender nicht an das japanische Zeichen bzw. Verkehrsschild gewohnt ist (Ja), der Prozess zu Schritt S620 vor. Alle Zeichen bzw. Verkehrsschilder werden als überlagerte Anzeigeziele, das heißt, virtuelle Anzeigeziele ausgewählt. Dadurch wird die vorliegende Steuerung beendet und die Steuerung kehrt zu der Steuerung von 6 zurück.
Wenn der Anwender an das japanische Zeichen bzw. Verkehrsschild in Schritt S610 gewohnt ist, das heißt, wenn der Anwender nicht auf das Zeichen bzw. Verkehrsschild achtet (Nein), rückt der Prozess zu Schritt S640 vor. Das Zeichenerkennung-Benachrichtigungssystem bzw. Verkehrsschilderkennung-Benachrichtigungssystem 1 bestätigt dabei, ob der Anwender das Zeichen, auf das nicht geachtet wurde, verstanden hat. In diesem Fall kann dem Anwender ermöglicht werden, dem Zeichenerkennung-Benachrichtigungssystem bzw. Verkehrsschilderkennung-Benachrichtigungssystem 1 Informationen mitteilen, die kennzeichnen, welches Zeichen bzw. Verkehrsschild für die Hilfsanzeige unnötig wird.
In Schritt S640 rückt, wenn der Anwender das Zeichen bzw. Verkehrsschild verstanden hat, auf das der Anwender nicht geachtet hat (Ja), der Prozess zu Schritt S650 vor. Es wird dadurch bestimmt, ob das Zeichen bzw. Verkehrsschild, das der Anwender gewohnt ist, in dem überlagerten Anzeigeziel enthalten ist. Hier rückt, wenn das Zeichen bzw. Verkehrsschild, das der Anwender gewohnt ist, in dem überlagerten Anzeigeziel enthalten ist (Ja), der Prozess zu Schritt S660 vor. Der Prozess wird für ein Entfernen des Zeichens bzw. Verkehrsschilds, das der Anwender gewohnt ist, von dem überlagerten Anzeigeziel durchgeführt. Danach wird die vorliegende Steuerung beendet und die Steuerung kehrt zu der Steuerung von 6 zurück.
Die vorliegende Ausführungsform, die solch eine Konfiguration hat, wird derart bereitgestellt, dass: ein Gesichtsbild des Anwenders aufgenommen wird, die Nationalität des Anwenders basierend auf dem aufgenommenen Gesichtsbild eingeschränkt wird, die Sprache, um ein Anrufen bzw. Aufrufen des Anwenders durchzuführen, basierend auf der eingegrenzten Nationalität ausgewählt wird, ein Anrufen bzw. Aufrufen unter Verwendung der ausgewählten Sprache getätigt wird, die Sprache, die von dem Anwender verwendet wird, basierend auf der Änderung des Gesichtsbilds des Anwenders und dem Ergebnis der Reaktion des Anwenders auf das Anrufen bzw. Aufrufen geschätzt wird und eine Anzeigebildschirmansicht bzw. Displaybildschirmansicht, die der Anwender verstehen kann, unter Verwendung der geschätzten verwendeten Sprache angezeigt wird. Gemäß dieser Konfiguration kann die Anzeigebildschirmansicht bzw. Displaybildschirmansicht fast automatisch (d.h., durch eine einfache Betätigung) auf eine Sprache, die durch den Anwender verwendet wird, geändert werden. Deshalb ist das Zeichenerkennung-Benachrichtigungssystem bzw. Verkehrsschilderkennung-Benachrichtigungssystem 1 für fremde bzw. ausländische Anwender sehr praktisch bzw. bequem.
Des Weiteren kann in der vorliegenden Ausführungsform der Anwender ein Straßengebiet, auf dem sich der Anwender tagtäglich fortbewegt, unter Verwendung der geschätzten verwendeten Sprache auswählen. Falls der Anwender ein US-Staatsbürger ist, kann ein Auswählen eines Straßengebiets in Einheiten von Staaten bzw. Bundesstaaten leicht realisiert werden.
Die vorliegende Ausführungsform stelle eine Konfiguration bereit, in der eine Vielzahl von Objekten, auf die der Anwender starrt, detektiert wird; es wird bestimmt, ob der Anwender eine Charakteristik von jedem von der Vielzahl von Objekten wissen möchte. Deshalb ist es, da die Informationen angezeigt werden, indem es bestimmt wird, dass der Anwender dies wissen möchte, möglich, die Belästigung bzw. Beeinträchtigung des Anwenders verglichen mit der bekannten Informationsanzeige sehr zu reduzieren.
Die vorliegende Ausführungsform stellt eine Konfiguration bereit, in der es bestimmt wird, dass der Anwender eine Charakteristik von einem Objekt wissen möchte; die Charakteristiken von solch einem Objekt werden dadurch angezeigt, um benachbart zu dem Objekt überlagert zu werden. Deshalb kann der Anwender die Charakteristik des Objekts, die der Anwender wissen möchte, leicht visuell erkennen. In diesem Fall ist es bevorzugt, dass die Charakteristik des Objekts (i) Bildinformationen des Objekts und (ii) Bildinformationen und Zeicheninformationen, die das Objekt beschreiben, enthält.
Die vorliegende Ausführungsform stellt eine Konfiguration bereit, in der, wenn das Objekt ein Zeichen bzw. Verkehrsschild ist, das auf bzw. an einer Straße installiert ist und durch den Anwender durch das Windschutzscheibenglas des Fahrzeugs gesehen wird, Bildinformationen und Zeicheninformationen, die die Bedeutung des Zeichens bzw. Verkehrsschilds erläutern, angezeigt werden, um nahe dem Zeichen bzw. Verkehrsschild überlagert zu werden. Deshalb kann der Anwender die Bedeutung des Zeichens bzw. Verkehrsschilds leicht visuell erkennen.
Die vorliegende Ausführungsform stelle eine Konfiguration bereit, in der, falls der Anwender ein Fremder bzw. Ausländer ist, Bildinformationen und Zeicheninformationen, die die Bedeutung des Zeichens bzw. Verkehrsschilds erläutern, um dem Anwender zu ermöglichen, dieses zu verstehen, angezeigt werden, um basierend auf der Nationalität des Anwenders und den Karteninformationen des Straßengebiets, das häufig durch den Anwender verwendet wird, überlagert zu werden. Deshalb kann selbst ein fremder bzw. ausländischer Anwender(in) leicht erfassen, welches Verkehrszeichen in seinem oder ihrem Land dem japanischen Verkehrszeichen entspricht. In dieser Ausführungsform wird, wenn ein japanisches Zeichen einem fremden bzw. ausländischen Anwender gewohnt ist, das Zeichen nicht überlagert. Deshalb ist es möglich, die Belästigung bzw. Beeinträchtigung des Anwenders sehr zu reduzieren.
Die vorliegende Ausführungsform stellt eine Konfiguration bereit, in der für eine Vielzahl von Verkehrszeichen, die für den Anwender schwierig zu verstehen sind, ein virtuelles Bild, das Inhalte hat, die durch den Anwender verstanden werden können, angezeigt werden, um in absteigender Reihenfolge einer Priorität überlagert zu werden. Dies kann fehlerhafte Betätigungen, die durch die Schwierigkeit des Anwenders bei einem Verstehen und seiner Besorgnis bzw. Ängstlichkeit zu der Zeit einer Betätigung verursacht werden, reduzieren. In Folge dessen kann das Stattfinden eines Verkehrsunfalls verhindert werden, so dass die Sicherheit verbessert werden kann.
Zusätzlich stellt die vorliegende Ausführungsform eine Konfiguration bereit, in der es überprüft wird, ob einem Anwender japanische Verkehrsregeln gewohnt sind, und zwar vor einem Fortbewegen. Für Anwender, denen die Verkehrsregeln gewohnt sind oder die das System viele Male verwendet haben und mit Verkehrsregeln in Japan gewohnt geworden sind, wird eine überlagerte Anzeige von virtuellen Bildern von Zeichen bzw. Verkehrsschildern gemäß einer Nationalität und dergleichen nicht durchgeführt. Gemäß dieser Konfiguration kann die Situation, in der sich der Anwender besorgt bzw. gestört fühlt, signifikant reduziert werden. Jedoch ist es für ein Zeichen bzw. Verkehrsschild, das der Anwender zum ersten Mal sieht, bevorzugt, dass die Bedeutung des Zeichens bzw. Verkehrsschilds für ein Überlagern in einem virtuellen Bild oder dergleichen durch eine spezifische Betätigung des Anwenders angezeigt wird.
Des Weiteren stellt die vorliegende Ausführungsform eine Konfiguration bereit, in der das virtuelle Bild des Zeichens bzw. Verkehrsschilds auf dem Windschutzscheibenglas des Fahrzeugs überlagert wird. Jedoch ist die vorliegende Offenbarung nicht darauf beschränkt. Zum Beispiel kann die Anzeige für ein Überlagern auf am Kopf montierten Gläsern bzw. einer Brille konfiguriert sein.
(Zweite Ausführungsform)
18 bis 23 zeigen eine zweite Ausführungsform. Eine Konfiguration, die identisch zu der gemäß der ersten Ausführungsform ist, wird durch ein identisches Bezugszeichen gekennzeichnet. In der ersten Ausführungsform werden die Bildinformationen des Zeichens bzw. Verkehrsschilds von dem Heimatland des Fahrers angezeigt, um nahe dem Zeichen, das durch den Anwender (d.h., den Fahrer) durch das Windschutzscheibenglas des Fahrzeugs visuell erkannt wird, überlagert zu werden. Anstelle dessen werden in der zweiten Ausführungsform die Bildinformationen des Zeichens bzw. Verkehrsschilds von dem Heimatland des Fahrers angezeigt, um auf dem Zeichen überlagert zu werden; und zwar wird das eigentliche Zeichen bzw. Verkehrsschild, das ursprünglich durch den Fahrer durch das Windschutzscheibenglas visuell erkannt wurde, nicht mehr sichtbar bzw. verborgen.
In einer Konfiguration, in der die Bildinformationen des Zeichens bzw. Verkehrsschilds von dem Heimatland des Fahrers angezeigt werden, um nahe dem Zeichen bzw. Verkehrsschild, das wie in der ersten Ausführungsform durch den Fahrer visuell erkannt wird, überlagert zu werden, erhöht sich die Menge an Informationen, die durch den Fahrer visuell erkannt werden. Deshalb kann, selbst wenn korrekte Informationen (d.h., Bildinformationen von einem Zeichen bzw. Verkehrsschild, die durch den Fahrer verstanden werden können) angezeigt werden, eine Verwirrung auftreten.
Zum Beispiel kann, selbst wenn die korrekten Informationen angezeigt werden, der Fahrer die Bedeutung des Zeichens bzw. Verkehrsschilds, das durch den Fahrer in der Nähe bzw. Umgebung visuell erkannt wird, missidentifiziert bzw. fehlgedeutet werden. In diesem Fall kann der Fahrer die korrekten Informationen nicht erkennen. Insbesondere kann, falls eine Fahrzeuglizenz bzw. ein Führerschein in einem Land in der EU erlangt wird, diese bzw. dieser als eine gemeinsame Lizenz bzw. ein gemeinsamer Führerschein in der EU verwendet werden. In diesem Fall gibt es jedoch eine hohe Möglichkeit, dass ein Verkehrszeichen missidentifiziert bzw. fehlgedeutet wird, da es Unterschiede in Verkehrszeichen in jedem Land in der EU gibt. Zum Beispiel hat, wie es in 18 zu sehen ist, in Norwegen ein Zeichen für ein Verbot von Autos und Motorräder eine diagonale Linie, jedoch gibt es in den Niederlanden keine diagonale Linie. Aus diesem Grund kann ein Fahrer, der eine Lizenz bzw. einen Führerschein in Norwegen erhalten bzw. erlangt hat, irrtümlicherweise erkennen, dass er/sie durchfahren kann, falls er oder sie in den Niederlanden fährt.
Deshalb werden in der zweiten Ausführungsform die Bildinformationen des Zeichens bzw. Verkehrsschilds von dem Heimatland des Fahrers angezeigt, um auf das Zeichen bzw. Verkehrsschild überlagert zu werden. Auf diese Weise wird das eigentliche Zeichen, das eigentlich durch den Fahrer durch das Windschutzscheibenglas gesehen wurde, nicht sichtbar gemacht bzw. verborgen. Im Nachfolgenden wird die zweite Ausführungsform spezifisch beschrieben.
Als Erstes wird eine Steuerung für eine sichere Fahrunterstützung während einem Fahren, die in dem Flussdiagramm von 19 zu sehen ist, beschrieben. In der Steuerung von 19 wird Schritt S2305 anstelle von Schritt S230 in der Steuerung von 4 der ersten Ausführungsform ausgeführt. Andere Steuerungen sind konfiguriert, um dieselbe Steuerung wie die Steuerung von 4 auszuführen.
Das heißt, dass die Verarbeitung der Schritte S210 und S220 in 19 auf dieselbe Art und Weise wie die Steuerung in 4 ausgeführt wird. Dann rückt, falls in Schritt S220 der Anwender den Service zum ersten Mal verwendet (Ja), der Prozess zu Schritt S2305 vor. Die DSM-Steuerungseinrichtung 6 kalibriert dadurch die Sichtlinie des Anwenders (d.h., des Fahrers), bevor das Fahrzeug startet. In der zweiten Ausführungsform wird anders als in der ersten Ausführungsform eine Führung bzw. Anleitung in der Sprache, die durch den Anwender verwendet wird, nicht für japanische Verkehrsregeln und dergleichen ausgeführt. In diesem Fall wird das existierende oder tatsächliche bzw. eigentliche Verkehrszeichen durch ein Überlagern der Bildinformationen von dem Verkehrszeichen in dem Heimatland des Anwenders nicht sichtbar gemacht bzw. verborgen. Das liegt daran, dass es berücksichtigt wird, dass es keine Notwendigkeit gibt, grundlegende Verkehrsregeln in der vorliegenden Ausführungsform, in der existierende Verkehrszeichen nicht sichtbar gemacht werden bzw. verborgen werden, zu lernen. Wenn das Fahrzeug ein Mietfahrzeug ist, ist es bevorzugt, dass eine Führung zw. Anleitung in der Sprache, die durch den Anwender verwendet wird, hinsichtlich des Bedienungsverfahrens des Fahrzeugs und des Zeichenerkennung-Benachrichtigungssystems bzw. Verkehrsschilderkennung-Benachrichtigungssystems 1 bereitgestellt wird. Falls das Fahrzeug das eigene Fahrzeug des Anwenders ist, ist es lediglich notwendig, die Sichtlinie des Fahrers zu kalibrieren.
Nach einem Ausführen von Schritt S2305 werden die Schritte S240 bis S295 auf dieselbe Art und Weise wie in der Steuerung in 4 ausgeführt. Als Nächstes wird wie für den oben beschriebenen Verkehrszeichen-Erkennungen/Benachrichtigung-Prozess in Schritt S270 in 4 die Steuerung in dem Flussdiagramm in 5 auf dieselbe Art und Weise wie in der ersten Ausführungsform ausgeführt. Das Flussdiagramm von 5 zeigt die Inhalte einer Steuerung des Zeichenerkennung-Benachrichtigungssystem 1, das heißt, der DSM-Steuerungseinrichtung 6 und der Informationsverarbeitungseinheit 8.
Die Verarbeitung von Schritt S350 in 5, das heißt, die Benachrichtigungssteuerung des Benachrichtigungszielverkehrszeichens wird mit Bezug auf das Flussdiagramm in 20 beschrieben. Das Flussdiagramm von 20 zeigt die Inhalte einer Steuerung des Zeichenerkennung-Benachrichtigungssystems bzw. Verkehrsschilderkennung-Benachrichtigungssystems 1, das heißt, der DSM-Steuerungseinrichtung 6 und der Informationsverarbeitungseinheit 8. In der Steuerung von 20 wird der Schritt S4605 anstelle von Schritt S460 in der Steuerung von 6 der ersten Ausführungsform ausgeführt. Andere Steuerungen sind konfiguriert, um dieselbe Steuerung wie die Steuerung in 6 auszuführen.
Die Verarbeitung der Schritte S410 bis S450 in 20 wird auf dieselbe Art und Weise wie die Steuerung in 6 ausgeführt. Dann rückt, nachdem die Steuerung in Schritt S450, die Steuerung für ein Verfolgen der Position des Objekts (d.h., des Zeichens bzw. Verkehrsschilds), das dem fremden bzw. ausländischen Anwender (d.h., dem Fahrer) mitgeteilt werden muss, ausgeführt wird, der Prozess zu Schritt S4605 vor. In diesem Schritt S4605 soll, wenn das Verfolgen der Position des Zeichens bzw. Verkehrsschilds gut funktioniert, das Bild des Zeichens bzw. Verkehrsschilds (d.h., die virtuellen Bildinformationen) von dem fremden Land (d.h., dem Heimatland des Fahrers) auf das tatsächliche bzw. eigentliche Zeichen bzw. Verkehrsschild oder Objekt von der Zielzahl überlagert werden.
In diesem Fall wird zusätzlich zu der Anzeige bzw. dem Display 14, die bzw. das in 2 zu sehen ist, eine große Flüssigkristallanzeige bzw. ein großes Flüssigkristalldisplay für ein Anzeigen des gesamten Windschutzscheibenglases des Fahrzeugs bzw. für ein Anzeigen auf diesem oder ein großes HUD für die Anzeige verwendet. Als die große Flüssigkristallanzeige bzw. das große Flüssigkristalldisplay ist es bevorzugt, zum Beispiel ein transparentes organisches EL-Display (Elektrolumineszenz Display), das an dem gesamten Windschutzscheibenglas angebracht ist, zu verwenden. Des Weiteren ist es als das große HUD bevorzugt, ein Projektortyp-HUD, das ein Bild auf die gesamte Fläche des Windschutzscheibenglases projiziert, zu verwenden.
Wenn es angezeigt wird, um auf der Flüssigkristallanzeige bzw. dem Flüssigkristalldisplay auf der gesamten Fläche des Windschutzscheibenglases überlagert zu werden, kann das existierende oder tatsächliche bzw. eigentliche Verkehrszeichen komplett durch das überlagerte Objekt verborgen sein. Das heißt, dass es möglich ist, das existierende Verkehrszeichen zu verdecken, so dass der Fahrer es nicht sehen kann. In dem Fall von einer durchlässigen Anzeige bzw. eines durchlässigen Displays, wie beispielsweise einer Vollprojektor-HUD, ist eine Anzeige bzw. ein Display, die bzw. das mit einem abdunkelnden Filter bereitgestellt ist, wünschenswert. Zusätzlich kann sich die Helligkeit von existierenden Verkehrszeichen aufgrund einer Reflexion von Sonnenlicht oder Dekoration durch LEDs erhöhen. Deshalb wird in solch einem Fall das Anzeigegebiet von der Sichtlinie zu den existierenden Verkehrszeichen durch ein teilweises Verdunkeln verdunkelt; dann wird das überlagerte Bild angezeigt. Dies macht es möglich, die virtuellen Bildinformationen für ein Überlagern anzuzeigen, während ein Verkehrszeichen mit hoher Leuchtdichte nicht sichtbar ist.
Hier wird ein spezifisches Beispiel von dem Prozess eines Anzeigens des virtuellen Bilds, um auf das Windschutzscheibenglas überlagert zu werden, wie es oben beschrieben wurde, mit Bezug auf 21 und 22 beschrieben. 21 ist ein Diagramm, das einen Zustand zeigt, in dem ein Verkehrszeichen 31 von „Verbot für Autos und Motorräder“ in den Niederlanden auf bzw. an der Straße installiert ist, das heißt, einen Zustand, in dem ein Fahrer das Verkehrszeichen 31 visuell erkennen wird. Zum Beispiel wird von einem Fahrer, der eine Lizenz bzw. einen Führerschein in Norwegen erhalten bzw. erlangt hat, angenommen, ein Fahrzeug auf der Straße, die in 21 zu sehen ist, zu fahren. In diesem Fall ist das Verkehrszeichen „Verbot für Autos und Motorräder“ in Norwegen mit einer diagonalen Linie gekennzeichnet (siehe 22), so dass es eine Möglichkeit gibt, dass das Verkehrszeichen in 21 missverstanden werden kann, dass das Auto und das Motorrad fahren können.
Darauf reagierend wird gemäß der zweiten Ausführungsform, wie es in 22 zu sehen ist, ein virtuelles Bild von einem Verkehrszeichen „Verbot für Autos und Motorräder“ in Norwegen, dass das Heimatland des Fahrers ist, auf das Verkehrszeichen 31 platziert, wie es in 22 zu sehen ist. Das heißt, dass die Bildinformationen 32 für ein Überlagern angezeigt werden. Das existierende Verkehrszeichen 31 in den Niederlanden verschwindet. Dadurch erkennt der Fahrer, der die Lizenz bzw. den Führerschein in Norwegen erhalten bzw. erlangt hat, visuell das virtuelle Bild 32 des Verkehrszeichens in seinem Heimatland. Dadurch ist es möglich, die Bedeutung des Verkehrszeichens, das heißt, „Verbot für Autos und Motorräder“, klar zu erkennen. In 21 und 22 ist ein rechteckiger Rahmen eine Anzeige für ein Kennzeichnen, dass ein Objekt in einem Gebiet, das von dem rechteckigen Rahmen umgeben ist, ein Objekt ist, das durch das System 1 erkannt wird.
Zusätzlich sind, wie es in 15 der ersten Ausführungsform zu sehen ist, fünf Zeichen bzw. Verkehrsschilder angeordnet. In diesem Fall sind in der Reihenfolge von oben (1) ein Zeichen Überholverbot, (2) ein Zeichen (Überholverbot) ab dieser Position, (3) ein Zeichen Parkverbot, (4) ein Zeichen (Parkverbot) ab dieser Position, (5) ein Zeichen von Fußgängerüberweg, platziert. Hier werden die Prioritäten der Zeichen bzw. Verkehrsschilder (1) und (5) hoch festgesetzt; diese Zeichen bzw. Verkehrsschilder (1) und (5) werden als die Zeichen bzw. Verkehrsschilder ausgewählt, die mitgeteilt werden müssen (siehe Schritt S435 in 20). Reagierend darauf wird in der zweiten Ausführungsform, wie es in 23 zu sehen ist, wenn der Anwender ein Fremder bzw. Ausländer ist, der zum ersten Mal mit einem Auto auf einer japanischen Straße fährt, zum Beispiel ein Fremder bzw. Ausländer aus den Vereinigten Staaten, die Steuerung für ein Anzeigen der Bildinformationen A des virtuellen Zeichens bzw. Verkehrsschilds auf dem Zeichen bzw. Verkehrsschild von (1) und der Bildinformationen B des virtuellen Zeichens bzw. Verkehrsschilds auf dem Zeichen bzw. Verkehrsschild von (5) ausgeführt. Dann wird in der zweiten Ausführungsform das existierende Zeichen bzw. Verkehrsschild nicht mehr sichtbar bzw. verborgen. Deshalb wird die Steuerung eines Änderns des überlagerten Anzeigeziels gemäß der Vertrautheit des Anwenders oder des Fahrers, die Steuerung von 8 der ersten Ausführungsform, unnötig.
Nach einem Ausführen von Schritt S4605 werden die Schritte S470 bis S490 in ähnlicher Weise wie die Steuerung von 6 ausgeführt. Konfigurationen gemäß der zweiten Ausführungsform abgesehen von denjenigen, die oben beschrieben wurden, sind ähnlich wie entsprechende Konfigurationen gemäß der ersten Ausführungsform. Die zweite Ausführungsform erzielt folglich einen funktionalen Effekt, der im Wesentlichen derselbe wie der gemäß der ersten Ausführungsform ist. Insbesondere wird gemäß der zweiten Ausführungsform für ein Objekt, für das es bestimmt wird, dass der Anwender die Charakteristik wissen möchte, die Charakteristik des Objekts angezeigt, um auf das Objekt überlagert zu werden. Insbesondere ist es konfiguriert, so dass das Verkehrszeichen von dem Heimatland des Anwenders auf das tatsächliche bzw. eigentliche oder existierende Verkehrszeichen, das sichtbar war, überlagert wird. Deshalb wird das tatsächliche bzw. eigentliche Verkehrszeichen nicht mehr sichtbar bzw. verborgen. In Folge dessen erhöht sich die Menge von Informationen nicht und kann die Menge von Informationen, die für den Anwender sichtbar ist, reduziert werden. Deshalb ist es möglich, die Möglichkeit zu reduzieren, dass der Anwender das existierende Verkehrszeichen fehlerhaft erkennen kann, und zwar vor der überlagerten Anzeige. Dann wird in der zweiten Ausführungsform einzig das Verkehrszeichen vor der Sichtlinie des Anwenders für ein Überlagern angezeigt. Deshalb ist es möglich, dem Anwender Informationen zuverlässig mitzuteilen, während die Systemlast minimiert wird.
Die zweite Ausführungsform stellt eine Konfiguration bereit, in der die Zeichenbildinformationen bzw. Verkehrsschildbildinformationen durch ein großes Flüssigkristalldisplay bzw. eine große Flüssigkristallanzeige oder ein Projektortyp-HUD auf dem Windschutzscheibenglas überlagert werden. Deshalb kann die Bewegung der Sichtlinie des Anwenders reduziert werden und kann die achtlose bzw. unaufmerksame Tätigkeit, die für ein Erlangen von Informationen erforderlich ist, reduziert werden. Des Weiteren können unter Verwendung von am Kopf montierten Gläsern bzw. einer Brille die Bildinformationen des Verkehrszeichens von dem Heimatland des Anwenders angezeigt werden, um auf das tatsächliche bzw. eigentliche Verkehrszeichen, das sichtbar war, überlagert zu werden. Dies kann ähnliche Effekte bereitstellen.
Des Weiteren ist die zweite Ausführungsform ein System, das für einen Fall geeignet ist, in dem das Fahrzeug das Eigentümerauto von dem Anwender ist. In dem Fall des Eigentümerautos wird ein Gesichtsbild des Fahrers fotografiert und wird der Fahrer oder der Anwender basierend auf dem fotografierten Gesichtsbild persönlich erkannt. In diesem Fall hat die Informationsverarbeitungseinheit 8 eine Funktion als eine Anwendererkennungseinheit. Dann werden basierend auf den persönlichen Informationen des Anwenders, der persönlich erkannt worden ist, das Heimatland des Anwenders und die Sprache, die durch den Anwender verwendet wird, spezifiziert. Es ist konfiguriert, eine Anzeigebildschirmansicht bzw. Displaybildschirmansicht anzuzeigen, die durch den Anwender, der eine Sprache verwendet, die durch den Anwender verwendet wird, verstanden werden kann, und die oben beschriebene überlagerte Anzeige durchzuführen.
Wenn das Fahrzeug ein Eigentümerauto ist, kann das System 1 die persönlichen Informationen des Anwenders von einem mobilen Terminal, wie beispielsweise einem Smartphone des Anwenders oder einem Server bei einem Informationszentrum über eine kabellose Kommunikation oder Kommunikation über Kabel, oder durch ein manuelles Eingeben des Anwenders erlangen. Die persönlichen Informationen des Anwenders enthalten Informationen über Gesichtsbild, Nationalität, verwendete Sprache, Name, Adresse, Alter, Telefonnummer, E-Mail-Adresse etc.
Obwohl die vorliegende Offenbarung in Übereinstimmung mit den Ausführungsformen gemacht worden ist, soll davon ausgegangen werden, dass die vorliegende Offenbarung nicht auf solche Ausführungsformen und Konfigurationen beschränkt ist. Die vorliegende Offenbarung deckt verschiedene Modifikationsbeispiele und äquivalente Anordnungen ab. Zusätzlich fallen verschiedene Kombinationen und Konfigurationen sowie andere Kombinationen und Konfigurationen, die einzig ein Element, mehr oder weniger enthalten, in den Geltungsbereich und Sinn der vorliegenden Offenbarung.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2017246279 [0001]
JP 2018142402 [0001]
JP 2016173802 A [0005]
JP 2005222485 A [0005]

Claims

Fahrzeuginformationsanzeigeapparat in einem Fahrzeug, wobei der Fahrzeuginformationsanzeigeapparat aufweist: eine Gesichtsbildaufnahmevorrichtung (2,3), die konfiguriert ist, um ein Gesichtsbild von einem Gesicht eines Anwenders aufzunehmen, eine Nationalitätseingrenzungseinheit (8), die konfiguriert ist, um eine Nationalität des Anwenders basierend auf dem Gesichtsbild, das durch die Gesichtsbildaufnahmevorrichtung aufgenommen wird, einzugrenzen, eine Anrufeinheit (8), die konfiguriert ist, um ein Anrufen des Anwenders durch ein Auswählen einer Anrufsprache für den Anwender basierend auf der Nationalität, die durch die Nationalitätseingrenzungseinheit eingrenzt wird, durchzuführen, eine Verwendete-Sprache-Schätzungseinheit (8), die konfiguriert ist, um eine verwendete Sprache, die durch den Anwender verwendet wird, basierend auf (i) einer Änderung in dem Gesichtsbild auf das Anrufen und (ii) einem Ergebnis von einem Antworten des Anrufers auf das Anrufen zu schätzen, und eine Anzeigesteuerungseinheit (8), die konfiguriert ist, um eine Bildschirmansicht, die es ermöglicht, durch den Anwender verstanden zu werden, unter Verwendung der verwendeten Sprache, die durch die Verwendete-Sprache-Schätzungseinheit geschätzt wird, anzuzeigen.
Fahrzeuginformationsanzeigeapparat gemäß Anspruch 1, der des Weiteren aufweist: eine Straßengebietsauswahleinheit (8), die konfiguriert ist, ein Straßengebiet, auf dem der Anwender täglich fährt, unter Verwendung der verwendeten Sprache, die durch die Verwendete-Sprache-Schätzungseinheit geschätzt wird, auszuwählen.
Fahrzeuginformationsanzeigeapparat gemäß Anspruch 2, der des Weiteren aufweist: eine Angestarrtes-Objekt-Detektionseinheit (6), die konfiguriert ist, um eine Vielzahl von Objekten, auf die durch den Anwender gestarrt wird, zu detektieren und eine Angestarrtes-Objekt-Informationsbestimmungseinheit (8), die konfiguriert ist, um zu bestimmen, ob der Anwender eine Charakteristik von dem Objekt, auf das durch den Anwender gestarrt wird, wissen möchte.
Fahrzeuginformationsanzeigeapparat gemäß Anspruch 3, der des Weiteren aufweist: eine Überlagerte-Anzeige-Steuerungseinheit (8), die konfiguriert ist, um eine überlagerte Anzeige durchzuführen, um die Charakteristik von dem Objekt für ein Überlagern in einer Nähe des Objekts in Fällen anzuzeigen, bei denen es bestimmt wird, dass der Anwender die Charakteristik von dem Objekt wissen möchte.
Fahrzeuginformationsanzeigeapparat gemäß Anspruch 4, wobei: die Charakteristik von dem Objekt ein Bild des Objekts, Bildinformationen und Zeicheninformationen enthält, wobei die Bildinformationen und die Zeicheninformationen das Objekt beschreiben.
Fahrzeuginformationsanzeigeapparat gemäß Anspruch 5, wobei: in Fällen, bei denen das Objekt ein Zeichen ist, das auf einer Straße installiert ist und durch den Anwender durch ein Windschutzscheibenglas des Fahrzeugs gesehen wird, die Überlagerte-Anzeige-Steuerungseinheit konfiguriert ist, um die überlagerte Anzeige durchzuführen, um die Bildinformationen und die Zeicheninformationen für ein Überlagern in der Nähe des Zeichens anzuzeigen.
Fahrzeuginformationsanzeigeapparat gemäß Anspruch 6, wobei: die Überlagerte-Anzeige-Steuerungseinheit konfiguriert ist, um die überlagerte Anzeige durchzuführen, um die Bildinformationen und die Zeicheninformationen für ein Überlagern basierend auf der Nationalität des Anwenders und Karteninformationen von einem Straßengebiet, das häufig durch den Anwender verwendet wird, in Fällen anzuzeigen, bei denen der Anwender ein Ausländer ist.
Verwendete-Sprache-Schätzungsapparat, der aufweist: eine Gesichtsbildaufnahmevorrichtung, die konfiguriert ist, um ein Gesichtsbild von einem Gesicht eines Anwenders aufzunehmen, eine Nationalitätseingrenzungseinheit, die konfiguriert ist, um eine Nationalität des Anwenders basierend auf dem Gesichtsbild, das durch die Gesichtsbildaufnahmevorrichtung aufgenommen wird, einzugrenzen, eine Anrufsprachenauswahleinheit (8), die konfiguriert ist, um eine Anrufsprache für ein Anrufen des Anwenders basierend auf der Nationalität, die durch die Nationalitätseingrenzungseinheit eingegrenzt wird, auszuwählen, eine Anrufeinheit, die konfiguriert ist, um das Anrufen des Anwenders unter Verwendung von einer oder mehreren Anrufsprachen, die durch die Anrufsprachenauswahleinheit ausgewählt werden, durchzuführen, und eine Verwendete-Sprache-Schätzungseinheit, die konfiguriert ist, um eine verwendete Sprache, die durch den Anwender verwendet wird, basierend auf (i) einer Änderung in dem Gesichtsbild auf das Anrufen und (ii) einem Ergebnis von einem Antworten des Anwenders auf das Anrufen während oder nach dem Anrufen durch die Anrufeinheit unter Verwendung der einen oder mehreren Anrufsprachen zu schätzen.
Fahrzeuginformationsapparat gemäß Anspruch 3, der des Weiteren aufweist: eine Überlagerte-Anzeige-Steuerungseinheit (8), die konfiguriert ist, um eine überlagerte Anzeige durchzuführen, um die Charakteristik von dem Objekt, die auf das Objekt überlagert werden soll, in Fällen anzuzeigen, bei denen es bestimmt wird, dass der Anwender die Charakteristik von dem Objekt wissen möchte.
Fahrzeuginformationsapparat gemäß Anspruch 9, wobei: die Charakteristik von dem Objekt ein Bild des Objekts, Bildinformationen und Zeicheninformationen enthält, wobei die Bildinformationen und die Zeicheninformationen das Objekt beschreiben.
Fahrzeuginformationsapparat gemäß Anspruch 10, wobei: in Fällen, bei denen das Objekt ein Zeichen ist, das auf einer Straße installiert ist und durch den Anwender durch ein Windschutzscheibenglas des Fahrzeugs gesehen wird, die Überlagerte-Anzeige-Steuerungseinheit konfiguriert ist, um die überlagerte Anzeige durchzuführen, um die Bildinformationen und die Zeicheninformationen für ein Überlagern auf das Zeichen anzuzeigen.
Fahrzeuginformationsapparat gemäß Anspruch 11, wobei: die Überlagerte-Anzeige-Steuerungseinheit konfiguriert ist, um die überlagerte Anzeige durchzuführen, um die Bildinformationen und die Zeicheninformationen für ein Überlagern basierend auf der Nationalität des Anwenders und Karteninformationen von einem Straßengebiet, das häufig durch den Anwender verwendet wird, in Fällen anzuzeigen, bei denen der Anwender ein Ausländer ist.
Fahrzeuginformationsapparat in einem Fahrzeug, wobei der Fahrzeuginformationsapparat aufweist: eine Gesichtsbildaufnahmevorrichtung (2,3), die konfiguriert ist, um ein Gesichtsbild von einem Gesicht eines Anwenders aufzunehmen, eine Anwendererkennungseinheit (8), die konfiguriert ist, um eine persönliche Erkennung des Anwenders basierend auf dem Gesichtsbild, das durch die Gesichtsbildaufnahmevorrichtung aufgenommen wird, durchzuführen, eine Anzeigesteuerungseinheit (8), die konfiguriert ist, um eine Bildschirmansicht, die es ermöglicht, durch den Anwender verstanden zu werden, in einer verwendeten Sprache, die durch den Anwender verwendet wird, basierend auf Informationen über die persönliche Erkennung anzuzeigen, und eine Überlagerte-Anzeige-Steuerungseinheit (8), die konfiguriert ist, um eine überlagerte Anzeige durchzuführen, um eine Charakteristik von einem Objekt, die auf das Objekt überlagert werden soll, in Fällen anzuzeigen, bei denen es bestimmt wird, dass der Anwender die Charakteristik von dem Objekt wissen möchte.
Fahrzeuginformationsapparat gemäß Anspruch 13, wobei: die Charakteristik von dem Objekt ein Bild des Objekts, Bildinformationen und Zeicheninformationen enthält, wobei die Bildinformationen und die Zeicheninformationen das Objekt beschreiben.
Fahrzeuginformationsanzeigeapparat in einem Fahrzeug, wobei der Fahrzeuginformationsanzeigeapparat aufweist: eine Gesichtsbildaufnahmevorrichtung (2,3), die konfiguriert ist, um ein Gesichtsbild von einem Gesicht eines Anwenders aufzunehmen, eine Anwendererkennungseinheit (8), die konfiguriert ist, um eine persönliche Erkennung des Anwenders basierend auf dem Gesichtsbild, das durch die Gesichtsbildaufnahmevorrichtung aufgenommen wird, durchzuführen, eine Anzeigesteuerungseinheit (8), die konfiguriert ist, um eine Bildschirmansicht, die es ermöglicht, durch den Anwender verstanden zu werden, in einer verwendeten Sprache, die durch den Anwender verwendet wird, basierend auf Informationen über die persönliche Erkennung des Anwenders anzuzeigen, und eine Überlagerte-Anzeige-Steuerungseinheit (8), die konfiguriert ist, um eine überlagerte Anzeige durchzuführen, um eine Charakteristik von einem Objekt, die auf das Objekt überlagert werden soll, in Fällen anzuzeigen, bei denen es bestimmt wird, dass der Anwender die Charakteristik von dem Objekt wissen möchte, wobei: das Objekt ein Zeichen ist, das auf einer Straße installiert ist und durch den Anwender durch ein Windschutzscheibenglas des Fahrzeugs gesehen wird, und die Überlagerte-Anzeige-Steuerungseinheit konfiguriert ist, um die überlagerte Anzeige durchzuführen, um Bildinformationen des Zeichens und Zeicheninformationen des Zeichens, die auf das Zeichen überlagert werden sollen, anzuzeigen, wobei die Bildinformationen und die Zeicheninformationen eine Bedeutung des Zeichens beschreiben.
Fahrzeuginformationsanzeigeapparat gemäß Anspruch 15, wobei die Überlagerte-Anzeige-Steuerungseinheit konfiguriert ist, um die überlagerte Anzeige durchzuführen, um die Bildinformationen und die Zeicheninformationen, die überlagert werden sollen, basierend auf der Nationalität des Anwenders und Karteninformationen von einem Straßengebiet, das häufig durch den Anwender verwendet wird, in Fällen anzuzeigen, bei denen der Anwender ein Ausländer ist.