DE102023123850A1

DE102023123850A1 - Anzeigesteuervorrichtung, anzeigesteuerverfahren und nicht-transitorisches computerlesbares medium

Info

Publication number: DE102023123850A1
Application number: DE102023123850.7A
Authority: DE
Inventors: Hideki Tsuda; Toshinori Aoki
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2022-09-14
Filing date: 2023-09-05
Publication date: 2024-03-14
Also published as: JP2024041499A; CN117714973A; US20240083449A1

Abstract

Anzeigesteuervorrichtung, die eingerichtet ist, um einen mit einem Speicher gekoppelten Prozessor aufzuweisen, wobei der Prozessor, basierend auf Erfassungsinformationssätzen, die von mehreren Sensoren, die Objekte vor einem Fahrzeug erfassen, ermittelt sind, eine Position eines Erkennungsobjekts vor dem Fahrzeug berechnet, und, und, bei Anzeige eines die Position des Erkennungsobjekts darstellenden Positionsbildes, um so das Positionsbild einem Vordergrund in einem Anzeigebereich vor einem Fahrersitz zu überlagern, basierend auf Zuverlässigkeiten der von den mehreren Sensoren ermittelten Erfassungsinformationssätze entscheidet, ob das Positionsbild anzuzeigen ist oder nicht.

Description

Hintergrund der Erfindung
Technisches Gebiet
Die vorliegende Offenbarung bezieht sich auf eine Anzeigesteuervorrichtung, ein Anzeigesteuerverfahren und ein nicht-transitorisches computerlesbares Medium.
Stand der Technik
Die japanische Patentanmeldungsveröffentlichungsschrift JP 2020 - 163 942 A offenbart eine Technologie, die in Übereinstimmung mit Erfassungszuverlässigkeiten von Sensoren (einer Positionserkennungseinheit und einer Abstandsmesseinheit) umschaltet zwischen Überlagern und Anzeigen eines ersten Bildes und eines zweiten Bildes mit beidseitig identischen Bedeutungen als ein erstes Bild in einem ersten Projektionsbereich; und Anzeigen des ersten Bildes und des zweiten Bildes, ohne Überlagern, als ein zweites Bild in einem zweiten Projektionsbereich.
Bei der Verwendung eines Augmented-Reality-Head-up-Displays (AR-HUD), um ein die Position eines Erkennungsobjekts darstellendes Positionsbild anzuzeigen, wird die dreidimensionale Position des Erkennungsobjekts vor einem Fahrzeug unter Verwendung von von mehreren Sensoren ermittelten Erfassungsinformationssätzen berechnet. Jedoch treten, abhängig von dem Sensortyp, der Einbauposition und der Fahrumgebung des Fahrzeugs (z. B. Regenwetter, Nachtzeit) Abweichungen bei den Erkennungsobjekt-Erfassungsergebnissen bei den mehreren Sensoren auf. Zusätzlich kann, wenn das Augmented-Reality-Head-up-Display (AR-HUD) das Positionsbild anzeigt, wie auch in 11 als ein Beispiel gezeigt, die Anzeigeposition eines Positionsbildes 92 relativ zu einem Erkennungsobjekt 90 versetzt sein.
JP 2020 - 163 942 A offenbart nichts darüber, wenn Abweichungen in den Erkennungsobjekt-Erfassungsergebnissen in den mehreren Sensoren auftreten.
Zusammenfassung der Erfindung
Die vorliegende Offenbarung stellt eine Anzeigesteuervorrichtung, ein Anzeigesteuerverfahren und ein Anzeigesteuerprogramm, die verhindern können, dass ein Positionsbild in einer relativ zu einem Erkennungsobjekt versetzten Position angezeigt wird, bereit.
Eine Anzeigesteuervorrichtung gemäß einem ersten Aspekt hat eine Anzeigesteuereinheit, die basierend auf Erfassungsinformationssätzen (bzw. Sätzen von Erfassungsinformationen), die von mehreren Sensoren, die Objekte vor(ne von) einem Fahrzeug erfassen, ermittelt sind/werden, eine Position eines Erkennungsobjekts vor dem Fahrzeug berechnet, und die, bei Anzeige eines die Position des Erkennungsobjekts darstellenden Positionsbildes, um so das Positionsbild (auf) einem Vordergrund in einem Anzeigebereich vor(ne von) einem Fahrersitz zu überlagern, entscheidet, ob das Positionsbild anzuzeigen ist oder ob nicht (bzw. entscheidet, ob oder ob nicht das Positionsbild anzuzeigen), basierend auf Zuverlässigkeiten der von den mehreren Sensoren ermittelten Erfassungsinformationssätze.
In dem ersten Aspekt entscheidet die Anzeigesteuereinheit, ob das die Position des Erkennungsobjekts darstellende Positionsbild anzuzeigen ist oder ob nicht, basierend auf den Zuverlässigkeiten der von den mehreren Sensoren ermittelten Erfassungsinformationssätze. Aufgrunddessen wird es beispielsweise möglich, das Positionsbild nicht anzuzeigen, wenn es Abweichungen in den von den mehreren Sensoren ermittelten Erfassungsinformationssätzen (Erkennungsobjekt-Erfassungsergebnissen) gibt, und das Positionsbild nur anzuzeigen, wenn die Zuverlässigkeiten der von den mehreren Sensoren ermittelten Positionsinformations-Sätze hoch sind. Folglich kann, gemäß dem ersten Aspekt, verhindert werden, dass das Positionsbild in einer relativ zu dem Erkennungsobjekt versetzten Position angezeigt wird.
Ein zweiter Aspekt ist der erste Aspekt, wobei die Anzeigesteuereinheit das Positionsbild nicht anzeigt, wenn es einen Erfassungsinformationssatz, dessen Zuverlässigkeit geringer als ein vorbestimmter Wert ist, unter den von den mehreren Sensoren ermittelten Erfassungsinformationssätzen gibt.
In dem zweiten Aspekt zeigt die Anzeigesteuereinheit das Positionsbild nicht an, wenn es einen Erfassungsinformationssatz, dessen Zuverlässigkeit geringer als ein vorbestimmter Wert ist, unter den von den mehreren Sensoren ermittelten Erfassungsinformationssätzen gibt, so dass das Positionsbild mit einem hohen Grad an Genauigkeit angezeigt werden kann, indem nur Erfassungsinformationssätze, deren Zuverlässigkeit gleich oder höher als der vorbestimmte Wert ist, verwendet werden.
Ein dritter Aspekt ist der erste Aspekt, wobei die Anzeigesteuereinheit, wenn es einen Erfassungsinformationssatz, dessen Zuverlässigkeit geringer als ein vorbestimmter Wert ist, unter den von den mehreren Sensoren ermittelten Erfassungsinformationssätzen gibt, die Position des Erkennungsobjekts basierend auf von einer Sensorgruppe der mehreren Sensoren ermittelten Erfassungsinformationssätzen berechnet, mit Ausnahme eines Sensors, der dem Erfassungsinformationssatz, dessen Zuverlässigkeit geringer als der vorbestimmte Wert ist, entspricht.
In dem dritten Aspekt kann, selbst wenn ein Erfassungsinformationssatz, dessen Zuverlässigkeit geringer als der vorbestimmte Wert ist, unter die von den mehreren Sensoren ermittelten Erfassungsinformationssätze gemischt ist, das Positionsbild genau angezeigt werden, indem der Sensor, der dem Erfassungsinformationssatz, dessen Zuverlässigkeit geringer als der vorbestimmte Wert ist, entspricht, ausgeschlossen ist/wird.
Ein vierter Aspekt ist der erste Aspekt, wobei die Anzeigesteuereinheit Umgebungsinformation(en) in Bezug auf eine Fahrumgebung des Fahrzeugs ermittelt und, basierend auf den ermittelten Umgebungsinformationen, die Zuverlässigkeiten der von den mehreren Sensoren ermittelten Erfassungsinformationssätze, berechnet.
Gemäß dem vierten Aspekt können die Zuverlässigkeiten der von den mehreren Sensoren ermittelten Erfassungsinformationssätze basierend auf den Umgebungsinformationen in Bezug auf die Fahrumgebung des Fahrzeugs genau berechnet werden.
Ein fünfter Aspekt ist der erste Aspekt, wobei die Anzeigesteuereinheit, wenn das Positionsbild nicht angezeigt ist/wird, in einem vorbestimmten Bereich ein Objektbild, das das Erkennungsobjekt schematisch darstellt, anzeigt.
Gemäß dem fünften Aspekt kann der Insasse, selbst wenn das Positionsbild nicht angezeigt ist/wird, durch das Anzeigen des Objektbildes darauf aufmerksam gemacht werden, dass die Anzeigesteuervorrichtung das Erkennungsobjekt (gerade) erkennt.
Ein sechster Aspekt ist (irgend)einer von dem ersten Aspekt bis zu dem fünften Aspekt, der eine erste (elektronische) Steuereinheit (ECU) und eine zweite (elektronische) Steuereinheit (ECU), die zusammen als die Anzeigesteuereinheit fungieren, aufweist, wobei: die erste Steuereinheit (ECU) die Erfassungsinformationssätze von den mehreren Sensoren empfängt, die Zuverlässigkeiten der empfangenen Erfassungsinformationssätze berechnet, die Position des Erkennungsobjekts aus den empfangenen Erfassungsinformationssätzen berechnet und einen Wahrnehmungszustand, der aus jedem der mehreren Sensoren aus Zuverlässigkeitsberechnungsergebnissen resultiert, einstellt, und die zweite Steuereinheit (ECU) die Position des Erkennungsobjekts und den Wahrnehmungszustand von der ersten Steuereinheit (ECU) empfängt und, basierend auf dem empfangenen Wahrnehmungszustand, entscheidet, ob das Positionsbild anzuzeigen ist oder ob nicht.
Die Anzeigesteuervorrichtung ist üblicherweise eingerichtet, um eine erste Steuereinheit (ECU), die die Positionsinformations-Sätze von den mehreren Sensoren empfängt, die Zuverlässigkeiten der empfangenen Positionsinformations-Sätze berechnet und die Position des Erkennungsobjekts berechnet, und eine zweite Steuereinheit (ECU), die die Erfassungsinformationssätze von der ersten Steuereinheit (ECU) empfängt und das Positionsbild anzeigt, aufzuweisen. Der sechste Aspekt verwirklicht die vorliegende Offenbarung, indem die erste Steuereinheit (ECU) eingerichtet ist, um einen Wahrnehmungszustand, der aus jedem der mehreren Sensoren aus den Ergebnissen der Berechnung der Zuverlässigkeiten der empfangenen Erfassungsinformationssätze resultiert, einzustellen, und die zweite Steuereinheit (ECU) eingerichtet ist, um den Wahrnehmungszustand von der ersten Steuereinheit (ECU) zu empfangen und zu entscheiden, ob das Positionsbild anzuzeigen ist oder ob nicht, basierend auf dem empfangenen Wahrnehmungszustand. Folglich können, gemäß dem sechsten Aspekt, Änderungen an Konfigurationen zur Realisierung der vorliegenden Offenbarung auf ein Minimum beschränkt werden.
Ein Anzeigesteuerverfahren, das einen siebten Aspekt betrifft, ermöglicht es einem Computer, ein (Verarbeitungs-)Verfahren auszuführen, das Berechnen, basierend auf Erfassungsinformationssätzen, die von mehreren Sensoren, die Objekte vor einem Fahrzeug erfassen, ermittelt sind/werden, einer Position eines Erkennungsobjekts vor dem Fahrzeug und, wenn ein die Position des Erkennungsobjekts darstellendes Positionsbild angezeigt ist/wird, um so das Positionsbild (auf) einem Vordergrund in einem Anzeigebereich vor(ne von) einem Fahrersitz zu überlagern, Entscheiden, ob das Positionsbild anzuzeigen ist oder ob nicht, basierend auf Zuverlässigkeiten der von den mehreren Sensoren ermittelten Erfassungsinformationssätze, umfasst.
Gemäß dem siebten Aspekt kann, wie bei dem ersten Aspekt, verhindert werden, dass das Positionsbild in einer relativ zu einem Erkennungsobjekt versetzten Position angezeigt wird.
Ein Anzeigesteuerprogramm, das einen achten Aspekt betrifft, veranlasst einen Computer, ein (Verarbeitungs-)Verfahren auszuführen, das Berechnen, basierend auf Erfassungsinformationssätzen, die von mehreren Sensoren, die Objekte vor einem Fahrzeug erfassen, ermittelt sind/werden, einer Position eines Erkennungsobjekts vor dem Fahrzeug und, wenn ein die Position des Erkennungsobjekts darstellendes Positionsbild angezeigt ist/wird, um so das Positionsbild (auf) einem Vordergrund in einem Anzeigebereich vor(ne von) einem Fahrersitz zu überlagern, Entscheiden, ob das Positionsbild anzuzeigen ist oder ob nicht, basierend auf Zuverlässigkeiten der von den mehreren Sensoren ermittelten Erfassungsinformationssätze, umfasst.
Gemäß dem achten Aspekt kann, wie bei dem ersten Aspekt, verhindert werden, dass das Positionsbild in einer relativ zu einem Erkennungsobjekt versetzten Position angezeigt wird.
Die vorliegende Offenbarung hat den vorteilhaften Effekt, dass verhindert werden kann, dass das Positionsbild in einer relativ zu einem Erkennungsobjekt versetzten Position angezeigt wird.
Kurzbeschreibung der Figuren
Beispielhafte Ausführungsformen der vorliegenden Offenbarung werden anhand der folgenden Figuren im Detail beschrieben, wobei:

1 ein Blockdiagramm, das die schematische Konfiguration eines bordeigenen Systems gemäß einer ersten Ausführungsform zeigt, ist;
2 eine perspektivische Ansicht, die eine Kabine eines Fahrzeugs zeigt, ist;
3 ein Funktionsblockdiagramm einer Anzeigesteuervorrichtung ist;
4 ein Flussdiagramm, das ein von einer Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU ausgeführtes Wahrnehmungszustand-Ausgabe-Verfahren in der ersten Ausführungsform zeigt, ist;
5 ein Flussdiagramm, das ein von einer Head-up-Display (HUD)-Anzeige-ECU ausgeführtes HUD-Anzeige-Verfahren in der ersten Ausführungsform zeigt, ist;
6 ein konzeptionelles Bild, das einen Zustand, in dem ein Positionsbild in einem ersten Anzeigebereich eines Head-up-Display (HUD) angezeigt wird, zeigt, ist;
7 ein konzeptionelles Bild, das einen Zustand, in dem ein Vorausfahrendes-Fahrzeug-Schemabild in einem zweiten Anzeigebereich des Head-up-Displays (HUD) angezeigt wird, zeigt, ist;
8 ein Blockdiagramm, das die schematische Konfiguration eines bordeigenen Systems gemäß einer zweiten Ausführungsform zeigt, ist;
9 ein Flussdiagramm, das das von einer Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU ausgeführte Wahrnehmungszustand-Ausgabe-Verfahren in der zweiten Ausführungsform zeigt, ist;
10 ein Flussdiagramm, das das von der Head-up-Display (HUD)-Anzeige-ECU ausgeführte HUD-Anzeige-Verfahren in der zweiten Ausführungsform zeigt, ist; und
11 ein konzeptionelles Bild, das einen Zustand, in dem die Anzeigeposition eines Positionsbildes relativ zu einem Erkennungsobjekt versetzt ist, zeigt, im Stand der Technik ist.

Detaillierte Beschreibung der Ausführungsformen
Beispiele von Ausführungsformen der vorliegenden Offenbarung werden im Folgenden unter Bezugnahme auf die Zeichnungen im Detail beschrieben.
[Erste Ausführungsform]
Ein in 1 dargestelltes bordeigenes System 10A weist eine Kamera 12, einen Millimeterwellen-Radarsensor 14, eine Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18, eine Head-up-Display (HUD)-Anzeige-ECU 38, ein Head-up-Display (HUD) 56 und ein Datenkommunikationsmodul (DCM) 60 auf. Die Kamera 12 und der Millimeterwellen-Radarsensor 14 sind mit der Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 verbunden, und das Head-up-Display (HUD) 56 ist mit der Head-up-Display (HUD)-Anzeige-ECU 38 verbunden. Die Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18, die Head-up-Display (HUD)-Anzeige-ECU 38 und das Datenkommunikationsmodul (DCM) 60 sind mit einem Systembus 34 verbunden und sind miteinander kommunizierbar. Darüber hinaus richten die Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 und die Head-up-Display (HUD)-Anzeige-ECU 38 eine Anzeigesteuervorrichtung 16 ein. Die Anzeigesteuervorrichtung 16 ist ein Beispiel für eine Anzeigesteuervorrichtung in der vorliegenden Offenbarung.
Wie in 2 dargestellt, weist ein Fahrzeug 70, in dem das bordeigene System 10A installiert ist, eine Frontscheibe 72 und ein Armaturenbrett 74 auf. An/auf dem oberen Bereich der kabinenseitigen Fläche der Frontscheibe 72 ist eine Sensoreinheit 2 vorgesehen, und die Sensoreinheit 2 ist mit der Kamera 12 und dem Millimeterwellen-Radarsensor 14 vorgesehen.
Die Kamera 12 nimmt Bilder von Objekten, die sich weiter vor dem Fahrzeug 70 befinden als sie selbst, auf und gibt die Bildergebnisse (ein Beispiel für Erfassungsinformationen) aus. Der Millimeterwellen-Radarsensor 14 misst Abstände zu Objekten vor(ne von) dem Fahrzeug 70, indem er Sondierungswellen in der Vorwärtsrichtung des Fahrzeugs 70 aussendet und reflektierte Wellen empfängt, und gibt die Abstandsmessungsergebnisse (ein Beispiel für Erfassungsinformationen) aus. Bei der ersten Ausführungsform sind die Kamera 12 und der Millimeterwellen-Radarsensor 14 ein Beispiel für mehrere Sensoren in der vorliegenden Offenbarung.
Die Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 weist eine zentrale Verarbeitungseinheit (CPU) 20, einen Speicher 22, wie z. B. einen Festwertspeicher (ROM) oder einen Direktzugriffsspeicher (RAM), und eine nichtflüchtige Speichereinheit 24, wie z. B. ein Festplattenlaufwerk (HDD) oder ein Solid-State-Laufwerk (SSD), auf. Die Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 weist auch eine Eingabe-/Ausgabe-Schnittstellen (I/F)-Einheit 26 und eine Kommunikationsschnittstellen (I/F)-Einheit 28 auf. Die Kamera 12 und der Millimeterwellen-Radarsensor 14 sind mit der Eingabe-/Ausgabe-Schnittstellen-Einheit 26 verbunden, und der Systembus 34 ist mit der Kommunikationsschnittstellen-Einheit 28 verbunden. Die CPU 20, der Speicher 22, die Speichereinheit 24, die Eingabe-Z Ausgabe-Schnittstellen-Einheit 26 und die Kommunikationsschnittstellen-Einheit 28 sind mit einem internen Bus 30 verbunden und sind miteinander kommunizierbar.
Obwohl dies in den Zeichnungen nicht dargestellt ist, speichert die Speichereinheit 24 der Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 ein Programm, das die Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 veranlasst, um als eine Fahrerassistenz-Steuereinheit 64 zu fungieren (siehe 3). Die Fahrerassistenz-Steuereinheit 64 führt eine Fahrerassistenzsteuerung entsprechend von der Society of Automotive Engineers (SAE) definierten Fahrleveln 1 bis 5 aus in Folge einer Betätigung eines vorbestimmten Schalters (in den Zeichnungen nicht dargestellt) durch einen Insassen 76 (siehe 2). Beispielsweise kann die Fahrerassistenz-Steuereinheit 64, als Fahrerassistenz-Steuerung, eine adaptive Geschwindigkeitsregelung (ACC), einen Spurwechselassistenz-Steuerung und eine Spurhalteassistenz-Steuerung ausführen.
Die Speichereinheit 24 der Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 speichert auch ein Wahrnehmungszustand-Ausgabe-Programm 32. Die Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 fungiert als eine erste Anzeigesteuereinheit 66, die in 3 gezeigt ist, und führt ein später beschriebenes Wahrnehmungszustand-Ausgabe-Verfahren (4) als ein Ergebnis davon durch, dass das Wahrnehmungszustand-Ausgabe-Programm 32 (gerade) aus der Speichereinheit 24 gelesen und in den Speicher 22 geladen wird und (dass) das Wahrnehmungszustand-Ausgabe-Programms, das in den Speicher 22 geladen worden ist, durch die CPU 20 (gerade) ausgeführt wird. Die Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 ist ein Beispiel für eine erste Steuereinheit (ECU) in der vorliegenden Offenbarung.
Die Head-up-Display (HUD)-Anzeige-ECU 38 weist eine CPU 40, einen Speicher 42, wie z. B. einen ROM oder RAM, eine nichtflüchtige Speichereinheit 44, wie z. B. eine HDD oder SSD, eine Eingabe-/ Ausgabe-Schnittstellen (I/F)-Einheit 46 und eine Kommunikationsschnittstellen-Einheit 48 auf. Die CPU 40, der Speicher 42, die Speichereinheit 44, die Eingabe-/ Ausgabe-Schnittstellen-Einheit 46 und die Kommunikationsschnittstellen-Einheit 48 sind mit einem internen Bus 50 verbunden und sind miteinander kommunizierbar. Darüber hinaus ist das Head-up-Display (HUD) 56 mit der Eingabe-/ Ausgabe-Schnittstellen-Einheit 46 verbunden, und der Systembus 34 ist mit der Kommunikationsschnittstellen-Einheit 48 verbunden.
Die Speichereinheit 44 der Head-up-Display (HUD)-Anzeige-ECU 38 speichert ein Head-up-Display (HUD)-Anzeige-Programm 52. Die Head-up-Display (HUD)-Anzeige-ECU 38 fungiert als eine zweite Anzeigesteuereinheit 68, die in 3 gezeigt ist, und führt ein später beschriebenes Head-up-Display-Verfahren (5) als ein Ergebnis davon durch, dass das Head-up-Display (HUD)-Anzeige-Programm 52 (gerade) aus der Speichereinheit 44 gelesen und in den Speicher 42 geladen wird und (dass) das Head-up-Display (HUD)-Anzeige-Programm 52, das in den Speicher 42 geladen worden ist, durch die CPU 40 (gerade) ausgeführt wird.
Die zweite Anzeigesteuereinheit 68 arbeitet mit der ersten Anzeigesteuereinheit 66 zusammen, um in der vorliegenden Offenbarung als eine Anzeigesteuereinheit zu fungieren. Das heißt, die erste Anzeigesteuereinheit 66 und die zweite Anzeigesteuereinheit 68 berechnen, basierend auf Erfassungsinformationssätzen, die von der Kamera 12 und dem Millimeterwellen-Radarsensor 14, die Objekte vor dem Fahrzeug 70 erfassen, ermittelt sind/werden, die Position eines Erkennungsobjekts vor dem Fahrzeug 70 und, bei Anzeige eines die Position des Erkennungsobjekts darstellenden Positionsbildes, um so das Positionsbild auf einem Vordergrund in einem Anzeigebereich [einem in 2 dargestellten Augmented-Reality (AR)-Anzeigebereich HA1] vor(ne von) einem Fahrersitz zu überlagern, entscheiden, ob das Positionsbild anzuzeigen ist oder ob nicht, basierend auf Zuverlässigkeiten der von der Kamera 12 und dem Millimeterwellen-Radarsensor 14 ermittelten Erfassungsinformationssätze.
Das in der Speichereinheit 44 der Head-up-Display (HUD)-Anzeige-ECU 38 gespeicherte Head-up-Display (HUD)-Anzeige-Programm 52 ist, zusammen mit dem in der Speichereinheit 24 der Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 gespeicherten Wahrnehmungszustands-Ausgabeprogramm 32, ein Beispiel für ein Anzeigesteuerprogramm gemäß der vorliegenden Offenbarung. Darüber hinaus ist die Head-up-Display (HUD)-Anzeige-ECU 38 ein Beispiel für eine zweite Steuereinheit (ECU) in der vorliegenden Offenbarung.
In der vorliegenden Ausführungsform ist der Anzeigebereich des Head-up-Displays (HUD) 56, wie in 2 gezeigt, in einen ersten Anzeigebereich HA1 zum Anzeigen von Bildern unter Verwendung von Augmented Reality (AR) und einen zweiten Anzeigebereich HA2, der an die Fahrzeugunterseite des ersten Anzeigebereichs HA1 angrenzt und zum Anzeigen von Bildern ohne Verwendung von AR dient, unterteilt. Darüber hinaus speichert in der vorliegenden Ausführungsform die Speichereinheit 44 der Head-up-Display (HUD)-Anzeige-ECU 38 Daten von Projektionen, wie z. B. verschiedene Zeichen und Icons (Figuren). Die Symbole beinhalten ein Positionsbild 82 (siehe 6), das die Position eines vorausfahrenden Fahrzeugs vor dem Fahrzeug 70 darstellt und zur Anzeige in dem ersten Anzeigebereich HA1 ist/steht, und ein Vorausfahrendes-Fahrzeug-Schemabild 84 (siehe 7), das das vorausfahrende Fahrzeug schematisch darstellt und zur Anzeige in dem zweiten Anzeigebereich HA2 ist/steht.
Die zweite Anzeigesteuereinheit 68 berechnet, in dem Fall von Anzeige einer Projektion wie dem Positionsbild 82 in dem ersten Anzeigebereich HA1, aus dreidimensionalen Positionsinformationen des Objekts, das der anzuzeigenden Projektion entspricht (wenn das Positionsbild 82 das vorausfahrende Fahrzeug ist), Anzeige-Positionsinformation(en) der Projektion zum Anzeigen der Projektion in einer Position entsprechend dem Objekt in dem ersten Anzeigebereich HA1. Dann gibt die zweite Anzeigesteuereinheit 68 die berechneten Anzeige-Positionsinformationen, zusammen mit den Daten der anzuzeigenden Projektion, an das Head-up-Display (HUD) 56 aus. In diesem Fall projiziert und zeigt (zeigt mittels AR an) das Head-up-Display (HUD) 56 die Projektion wie das Positionsbild 82 in/an einer Position in dem ersten Anzeigebereich HA1 gemäß den dreidimensionalen Positionsinformationen des entsprechenden Objekts an. Auf diese Weise funktioniert das Head-up-Display (HUD) 56 als ein Augmented-Reality-Head-up-Display (AR-HUD) in dem ersten Anzeigebereich HA1.
Darüber hinaus berechnet die zweite Anzeigesteuereinheit 68, in dem Fall von Anzeige einer Projektion wie des Vorausfahrendes-Fahrzeug-Schemabildes 84 in dem zweiten Anzeigebereich HA2, zweidimensionale Anzeige-Positionsinformationen zum Anzeigen der Projektion in dem zweiten Anzeigebereich HA2 und gibt die berechneten Anzeige-Positionsinformationen, zusammen mit den Daten der anzuzeigenden Projektion, an das Head-up-Display (HUD) 56 aus. In diesem Fall projiziert und zeigt (zeigt ohne Verwendung von AR an) das Head-up-Display (HUD) 56 die Projektion in/an einer Anzeigeposition in dem zweiten Anzeigebereich HA2 an.
Das Head-up-Display (HUD) 56 weist eine Projektionsvorrichtung auf, und die Projektionsvorrichtung projiziert, in die Vorwärtsrichtung des Fahrzeugs 70 entsprechend den von der zweiten Anzeigesteuereinheit 68 eingegebenen Positionsinformationen, das durch die von der zweiten Anzeigesteuereinheit 68 eingegebenen Projektionsdaten dargestellte Bild. Das von der Projektionsvorrichtung projizierte Bild ist/wird von einer in dem Fahrzeug 70 vorgesehenen Reflexionseinheit (in den Zeichnungen nicht dargestellt) nach oben reflektiert und ist/wird dann von der hinteren Fläche der Frontscheibe 72 nach hinten reflektiert. Das von der Reflexionseinheit nach vorne reflektierte Bild ist/wird als ein virtuelles Bild in dem vor der Frontscheibe 72 angeordneten Anzeigebereich HA ausgebildet.
Als nächstes wird, als die Aktion der ersten Ausführungsform, das von der Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 ausgeführte Wahrnehmungszustand-Ausgabe-Verfahren zunächst unter Bezugnahme auf 4 beschrieben. In Schritt 100 des Wahrnehmungszustand-Ausgabe-Verfahrens ermittelt die erste Anzeigesteuereinheit 66 von der Kamera 12 die Ergebnisse der Bildgebung vor(ne von) dem Fahrzeug 70 durch die Kamera 12 (einen Erfassungsinformationssatz).
In Schritt 102 berechnet die erste Anzeigesteuereinheit 66 eine Zuverlässigkeit in Bezug auf den von der Kamera 12 ermittelten Erfassungsinformationssatz. Wenn beispielsweise Merkmale wie die Schärfe des von der Kamera 12 ermittelten Erfassungsinformationssatzes niedrig sind, wird die Genauigkeit der Positionsinformationen des vorausfahrenden Fahrzeugs ebenfalls niedrig, wenn die Positionsinformationen aus dem von der Kamera 12 ermittelten Erfassungsinformationssatz berechnet werden. Aus diesem Grund kann die erste Anzeigesteuereinheit 66 als die Zuverlässigkeit in Bezug auf den von der Kamera 12 ermittelten Erfassungsinformationssatz beispielsweise Merkmale wie (die) Schärfe aus den Erfassungsinformationen berechnen und die berechneten Merkmale als die Zuverlässigkeit verwenden.
Darüber hinaus wird, wenn es eine geringe Menge an natürlichem Licht gibt, wie zum Beispiel, wenn es Nacht ist oder wenn das Fahrzeug 70 durch einen Tunnel fährt, die Genauigkeit der Positionsinformationen des vorausfahrenden Fahrzeugs ebenfalls gering, wenn die Positionsinformationen aus dem von der Kamera 12 ermittelten Erfassungsinformationssatz berechnet werden. Aus diesem Grund kann beispielsweise die erste Anzeigesteuereinheit 66 eingerichtet sein, um, über das Datenkommunikationsmodul (DCM) 60 von einem Server (in den Zeichnungen nicht dargestellt), Umgebungsinformationen in Bezug auf die Fahrumgebung des Fahrzeugs 70, einschließlich Informationen darüber, ob das Fahrzeug 70 (gerade) durch einen Tunnel fährt oder ob nicht, zu ermitteln und die Zuverlässigkeit basierend auf den ermittelten Umgebungsinformationen und Zeitinformationen zu berechnen.
In Schritt 104 ermittelt die erste Anzeigesteuereinheit 66 von dem Millimeterwellen-Radarsensor 14 die Ergebnisse der Abstandsmessung vor dem Fahrzeug 70 durch den Millimeterwellen-Radarsensor 14 (einen Erfassungsinformationssatz). In Schritt 106 berechnet die erste Anzeigesteuereinheit 66, auf die gleiche Weise wie in dem vorherigen Schritt 102, die Zuverlässigkeit in Bezug auf den von dem Millimeterwellen-Radarsensor 14 ermittelten Erfassungsinformationssatz. Zum Beispiel wird, wenn das Wetter regnerisch ist, der Zustand der reflektierten Wellen abnormal, so dass die Genauigkeit der Positionsinformationen des vorausfahrenden Fahrzeugs auch niedrig wird, wenn die Positionsinformationen aus dem von dem Millimeterwellen-Radarsensor 14 ermittelten Erfassungsinformationssatz berechnet werden. Aus diesem Grund kann beispielsweise die erste Anzeigesteuereinheit 66 eingerichtet sein, um, über das Datenkommunikationsmodul (DCM) 60 von einem Server (in den Zeichnungen nicht dargestellt), Umgebungsinformationen in Bezug auf die Fahrumgebung des Fahrzeugs 70, einschließlich Informationen über die Wetterbedingungen in dem Bereich, in dem das Fahrzeug 70 (gerade) fährt, zu ermitteln und die Zuverlässigkeit basierend auf den ermittelten Umgebungsinformationen zu berechnen.
In Schritt 108 setzt die erste Anzeigesteuereinheit 66, basierend auf der Zuverlässigkeit in Bezug auf den von der Kamera 12 ermittelten Erfassungsinformationssatz und der Zuverlässigkeit in Bezug auf den von dem Millimeterwellen-Radarsensor 14 ermittelten Erfassungsinformationssatz, einen „Wahrnehmungszustand“, durch den das vorausfahrende Fahrzeug sowohl von der Kamera 12 als auch von dem Millimeterwellen-Radarsensor 14 wahrgenommen ist/wird. Zum Beispiel, wenn die Zuverlässigkeit in Bezug auf den von der Kamera 12 ermittelten Erfassungsinformationssatz gleich oder höher als ein vorbestimmter Wert ist und die Zuverlässigkeit in Bezug auf den von dem Millimeterwellen-Radarsensor 14 ermittelten Erfassungsinformationssatz geringer als ein vorbestimmter Wert ist, stellt die erste Anzeigesteuereinheit 66 „Kamera allein“ für den „Wahrnehmungszustand“ ein. Darüber hinaus setzt die erste Anzeigesteuereinheit 66 beispielsweise, wenn die Zuverlässigkeit in Bezug auf den von der Kamera 12 ermittelten Erfassungsinformationssatz geringer als ein vorbestimmter Wert ist und die Zuverlässigkeit in Bezug auf den von dem Millimeterwellen-Radarsensor 14 ermittelten Erfassungsinformationssatz gleich oder höher als ein vorbestimmter Wert ist, „Millimeterwellen-Radarsensor allein" für den „Wahrnehmungszustand“. Darüber hinaus setzt die erste Anzeigesteuereinheit 66 beispielsweise, wenn die Zuverlässigkeit in Bezug auf den von der Kamera 12 ermittelten Erfassungsinformationssatz und die Zuverlässigkeit in Bezug auf den von dem Millimeterwellen-Radarsensor 14 ermittelten Erfassungsinformationssatz jeweils gleich oder höher als ein vorbestimmter Wert sind, „Kamera + Millimeterwellen-Radarsensor“ für den „Wahrnehmungszustand“.
In Schritt 110 berechnet die erste Anzeigesteuereinheit 66, basierend auf dem in Schritt 108 gesetzten „Wahrnehmungszustand“, Positionsinformationen, die die dreidimensionale Position des vorausfahrenden Fahrzeugs darstellen, aus dem/den von der Kamera 12 und/oder dem Millimeterwellen-Radarsensor 14 ermittelten Erfassungsinformationssatz/Sätzen. Das heißt, wenn der „Wahrnehmungszustand“ „Kamera allein“ ist, berechnet die erste Anzeigesteuereinheit 66 die Positionsinformationen basierend auf dem von der Kamera 12 ermittelten Erfassungsinformationssatz. Ferner berechnet die erste Anzeigesteuereinheit 66, wenn der „Wahrnehmungszustand“ „Millimeterwellen-Radarsensor allein" ist, die Positionsinformationen basierend auf dem von dem Millimeterwellen-Radarsensor 14 ermittelten Erfassungsinformationssatz. Zusätzlich berechnet die erste Anzeigesteuereinheit 66, wenn der „Wahrnehmungszustand“ „Kamera + Millimeterwellen-Radarsensor“ ist, die Positionsinformationen basierend auf dem von der Kamera 12 ermittelten Erfassungsinformationssatz und dem von dem Millimeterwellen-Radarsensor 14 ermittelten Erfassungsinformationssatz.
In Schritt 112 sendet die erste Anzeigesteuereinheit 66 die in Schritt 110 berechnete(n) Positionsinformation(en) des vorausfahrenden Fahrzeugs und den in Schritt 108 gesetzten „Wahrnehmungszustand“ an die Head-up-Display (HUD)-Anzeige-ECU 38. Wenn die erste Anzeigesteuereinheit 66 das Verfahren von Schritt 112 durchführt, kehrt sie zu Schritt 100 zurück und wiederholt die Verfahren von Schritt 100 an.
Als Nächstes wird das von der Head-up-Display (HUD)-Anzeige-ECU 38 ausgeführte HUD-Anzeige-Verfahren unter Bezugnahme auf 5 beschrieben. In Schritt 150 des HUD-Anzeige-Verfahrens bestimmt die zweite Anzeigesteuereinheit 68, ob eine vorgesetzte Vorausfahrendes-Fahrzeug-Anzeige-Bedingung erfüllt ist oder ob nicht. Die Vorausfahrendes-Fahrzeug-Anzeige-Bedingung ist eine Bedingung, bei der das Head-up-Display (HUD) 56 das Positionsbild 82 oder das Vorausfahrendes-Fahrzeug-Schemabild 84 anzeigt, und Beispiele hierfür sind ein Fall, in dem das vorausfahrende Fahrzeug sich dem Fahrzeug 70 innerhalb eines vorbestimmten Abstandes genähert hat, oder ein Fall, in dem das vorausfahrende Fahrzeug aufgrund eines von einer benachbarten Fahrspur einfädelnden Fahrzeugs gewechselt hat. Wenn die Bestimmung von Schritt 150 NEIN ist/lautet, beendet die zweite Anzeigesteuereinheit 68 das HUD-Anzeige-Verfahren.
Wenn die Vorausfahrendes-Fahrzeug-Anzeige-Bedingung erfüllt ist, wird die Bestimmung von Schritt 150 zu JA und geht die zweite Anzeigesteuereinheit 68 zu Schritt 152 über. In Schritt 152 bestimmt die zweite Anzeigesteuereinheit 68 den von der Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 empfangenen „Wahrnehmungszustand“ und geht entsprechend dem „Wahrnehmungszustand“ entweder zu Schritt 154 oder zu Schritt 158 über.
Zum Beispiel können, wenn der „Wahrnehmungszustand“ „Kamera + Millimeterwellen-Radarsensor“ ist, die von der Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 empfangenen Positionsinformationen des vorausfahrenden Fahrzeugs als mit einer hohen Berechnungsgenauigkeit beurteilt werden, so dass die zweite Anzeigesteuereinheit 68 von Schritt 152 zu Schritt 154 übergeht. In Schritt 154 berechnet die zweite Anzeigesteuereinheit 68, aus den dreidimensionalen Positionsinformationen des vorausfahrenden Fahrzeugs, Anzeige-Positionsinformationen des Positionsbildes 82 zum Anzeigen des Positionsbildes 82 in einer dem vorausfahrenden Fahrzeug entsprechenden Position in dem ersten Anzeigebereich HA1. Dann gibt die zweite Anzeigesteuereinheit 68 die berechneten Anzeige-Positionsinformationen, zusammen mit den Daten des anzuzeigenden Positionsbildes 82, an das Head-up-Display (HUD) 56 aus. Folglich, wie in 6 gezeigt, projiziert und zeigt (zeigt mittels AR an) das Head-up-Display (HUD) 56 das Positionsbild 82 in/an einer Position in dem ersten Anzeigebereich HA1 entsprechend den dreidimensionalen Positionsinformationen des vorausfahrenden Fahrzeugs 80 an.
Wenn der „Wahrnehmungszustand“ „Kamera allein“ oder „Millimeterwellen-Radarsensor allein“ ist, können die von der Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 empfangenen Positionsinformationen des vorausfahrenden Fahrzeugs als unzureichend in der Berechnungsgenauigkeit beurteilt werden, so dass die zweite Anzeigesteuereinheit 68 von Schritt 152 zu Schritt 158 übergeht. In Schritt 158 berechnet die zweite Anzeigesteuereinheit 68 zweidimensionale Positionsinformationen zur Anzeige des das vorausfahrende Fahrzeug schematisch darstellenden Vorausfahrendes-Fahrzeug-Schemabildes in dem zweiten Anzeigebereich HA2 und gibt die berechneten Anzeige-Positionsinformationen, zusammen mit den Daten des Vorausfahrendes-Fahrzeug-Schemabildes 84, an das Head-up-Display (HUD) 56 aus. Folglich, wie in 7 gezeigt, projiziert und zeigt (zeigt nicht mittels AR an) das Head-up-Display (HUD) 56 das Vorausfahrendes-Fahrzeug-Schemabild 84 in/an einer Anzeigeposition in dem zweiten Anzeigebereich HA2 an. Aus diesem Grund wird, wenn die von der Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 empfangenen Positionsinformationen des vorausfahrenden Fahrzeugs eine unzureichende Berechnungsgenauigkeit aufweisen, verhindert, dass das Positionsbild in einer von dem vorausfahrenden Fahrzeug versetzten Position angezeigt wird, wie in 11 als ein Beispiel dargestellt. Das Vorausfahrendes-Fahrzeug-Schemabild ist ein Beispiel für ein Objektbild in der vorliegenden Offenbarung, und der zweite Anzeigebereich HA2 ist ein Beispiel für einen vorbestimmten Bereich in der vorliegenden Offenbarung.
Wenn/falls die zweite Anzeigesteuereinheit 68 das Positionsbild 82 mittels Augmented Reality (AR) in Schritt 154 anzeigt, bestimmt sie in dem nächsten Schritt 156, ob eine vorbestimmte Zeitspanne (z. B. etwa mehrere Sekunden) seit der Anzeige des Positionsbildes 82 mittels AR verstrichen ist oder ob nicht. Wenn/falls die Bestimmung in Schritt 156 NEIN ist/lautet, kehrt die zweite Anzeigesteuereinheit 68 zu Schritt 154 zurück und setzt die AR-Anzeige des Positionsbildes 82 fort. Wenn/falls die Bestimmung von Schritt 156 JA ist/lautet, geht die zweite Anzeigesteuereinheit 68 zu Schritt 158 über und wechselt anstelle der AR-Anzeige des Positionsbildes 82 zu der Nicht-AR-Anzeige des Vorausfahrendes-Fahrzeug-Schemabildes 84.
Auf diese Weise berechnen, in der ersten Ausführungsform, die erste Anzeigesteuereinheit 66 und die zweite Anzeigesteuereinheit 68, basierend auf den von den mehreren Sensoren (der Kamera 12 und dem Millimeterwellen-Radarsensor 14), die Objekte vor dem Fahrzeug 70 erfassen, ermittelten Erfassungsinformationen die Position des vorausfahrenden Fahrzeugs vor dem Fahrzeug und entscheiden, bei Anzeige des die Position des vorausfahrenden Fahrzeugs darstellenden Positionsbildes 82, um das Positionsbild 82 (auf) dem Vordergrund in dem ersten Anzeigebereich HA1 vor dem Fahrersitz zu überlagern, ob das Positionsbild 82 angezeigt wird oder ob nicht, basierend auf den Zuverlässigkeiten der von den mehreren Sensoren ermittelten Erfassungsinformationssätze. Auf diese Weise kann verhindert werden, dass das Positionsbild 82 in einer relativ zu dem vorausfahrenden Fahrzeug versetzten Position angezeigt wird.
Darüber hinaus zeigen, in der ersten Ausführungsform, die erste Anzeigesteuereinheit 66 und die zweite Anzeigesteuereinheit 68 das Positionsbild 82 nicht an, wenn es einen Erfassungsinformationssatz gibt, dessen Zuverlässigkeit geringer ist als ein vorbestimmter Wert unter den von den mehreren Sensoren (der Kamera 12 und dem Millimeterwellen-Radarsensor 14) ermittelten Erfassungsinformationssätzen. Aus diesem Grund kann, indem just die Erfassungsinformationen, deren Zuverlässigkeit gleich oder höher als der vorbestimmte Wert ist, verwendet werden, das Positionsbild 82 mit einem hohen Maß an Genauigkeit angezeigt werden.
Darüber hinaus ermitteln, in der ersten Ausführungsform, die erste Anzeigesteuereinheit 66 und die zweite Anzeigesteuereinheit 68 Umgebungsinformationen in Bezug auf die Fahrumgebung des Fahrzeugs 70 und berechnen, basierend auf den ermittelten Umgebungsinformationen, die Zuverlässigkeiten der von den mehreren Sensoren (der Kamera 12 und dem Millimeterwellen-Radarsensor 14) ermittelten Erfassungsinformationssätze. Aus diesem Grund können die Zuverlässigkeiten der von den mehreren Sensoren ermittelten Erfassungsinformationssätze basierend auf den die Fahrumgebung des Fahrzeugs 70 betreffenden Umgebungsinformationen genau berechnet werden.
Darüber hinaus zeigen, in der ersten Ausführungsform, die erste Anzeigesteuereinheit 66 und die zweite Anzeigesteuereinheit 68 in dem Fall, dass das Positionsbild 82 nicht angezeigt wird, in dem zweiten Anzeigebereich HA2 das das vorausfahrende Fahrzeug schematisch darstellende Vorausfahrendes-Fahrzeug-Schemabild 84 an. Aufgrund dessen kann der Insasse 76 auf den Umstand aufmerksam gemacht werden, dass die Anzeigesteuervorrichtung 16 das vorausfahrende Fahrzeug (gerade) erkennt.
Darüber hinaus weist, in der ersten Ausführungsform, die Anzeigesteuervorrichtung 16 die Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 und die Head-up-Display (HUD)-Anzeige-ECU 38 auf. Die Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 empfängt die Erfassungsinformationssätze von den mehreren Sensoren (der Kamera 12 und dem Millimeterwellen-Radarsensor 14), berechnet die Zuverlässigkeiten der empfangenen Erfassungsinformationssätze, berechnet die dreidimensionale Position des vorausfahrenden Fahrzeugs aus den empfangenen Erfassungsinformationssätzen und setzt den Wahrnehmungszustand, der von/aus jedem der mehreren Sensoren aus Zuverlässigkeitsberechnungsergebnissen resultiert. Zusätzlich empfängt die Head-up-Display (HUD)-Anzeige-ECU 38 die Positionsinformationen(en) und den Wahrnehmungszustand von der Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 und entscheidet, basierend auf dem empfangenen Wahrnehmungszustand, ob das Positionsbild anzuzeigen ist oder ob nicht. Aus diesem Grund können Änderungen an den Konfigurationen der Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 und der Head-up-Display (HUD)-Anzeige-ECU 38 zur Realisierung der vorliegenden Offenbarung auf ein Minimum beschränkt werden.
[Zweite Ausführungsform]
Als Nächstes wird eine zweite Ausführungsform der vorliegenden Offenbarung beschrieben. Diejenigen Teile bei der zweiten Ausführungsform, die mit denen der ersten Ausführungsform identisch sind, sind mit identischen Bezugszeichen versehen, und deren Beschreibung wird weggelassen.
8 zeigt ein bordeigenes System 10B gemäß der zweiten Ausführungsform. In dem bordeigenen System 10B ist, als ein Beispiel für einen Sensor in der vorliegenden Offenbarung, ein Lidar-Sensor 86 (Light Detection and Ranging oder Laser Imaging Detection and Ranging), der Laserlicht verwendet, um den Abstand zu und die Richtung von Objekten vor dem Fahrzeug 70 zu erkennen, zusätzlich installiert. Der Lidar-Sensor 86 ist mit der Eingabe-/Ausgabe-Schnittstellen-Einheit 26 der Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 verbunden.
Als Nächstes wird, als die Aktion der zweiten Ausführungsform, das von der Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 ausgeführte Wahrnehmungszustand-Ausgabe-Verfahren gemäß der zweiten Ausführungsform unter Bezugnahme auf 9 beschrieben. In Schritt 200 des Wahrnehmungszustand-Ausgabe-Verfahrens setzt die erste Anzeigesteuereinheit 66 eine Variable j zur Identifizierung der einzelnen Sensoren auf 1 und setzt den „Wahrnehmungszustand“ auf leer (setzt einen leeren Satz φ) zur Einstellung von Informationen von Sensoren, deren Zuverlässigkeit in Bezug auf die Erfassungsinformationen gleich oder höher als ein vorbestimmter Wert ist.
In Schritt 202 ermittelt die erste Anzeigesteuereinheit 66 den Erfassungsinformationssatz von dem j-ten Sensor (irgendeinem der Kamera 12, des Millimeterwellen-Radarsensors 14 und des Lidarsensors 86). Darüber hinaus berechnet die erste Anzeigesteuereinheit 66, in Schritt 204, auf die gleiche Weise wie in den in der ersten Ausführungsform beschriebenen Schritten 102 und 106, die Zuverlässigkeit in Bezug auf den von dem j-ten Sensor ermittelten Erfassungsinformationssatz.
In dem nächsten Schritt 206 bestimmt die erste Anzeigesteuereinheit 66, ob die in Schritt 204 berechnete Zuverlässigkeit in Bezug auf den Erfassungsinformationssatz von dem j-ten Sensor gleich oder höher als ein vorbestimmter Wert ist oder ob nicht. Wenn/falls die Bestimmung in Schritt 206 JA ist/lautet, geht die erste Anzeigesteuereinheit 66 zu Schritt 208 über. Dann fügt die erste Anzeigesteuereinheit 66, in Schritt 208, die Informationen des j-ten Sensors zu dem „Wahrnehmungszustand“ hinzu und geht zu Schritt 210 über. Wenn/falls die Zuverlässigkeit in Bezug auf den Erfassungsinformationssatz von dem j-ten Sensor geringer ist als der vorbestimmte Wert, überspringt die erste Anzeigesteuereinheit 66 Schritt 208 und geht zu Schritt 210 über.
In Schritt 210 bestimmt die erste Anzeigesteuereinheit 66, ob die Variable j eine Gesamtzahl jmax (z. B. 3) der Sensoren erreicht hat oder ob nicht. Wenn/falls die Bestimmung in Schritt 210 NEIN ist/lautet, geht die erste Anzeigesteuereinheit 66 zu Schritt 212 über. In Schritt 212 erhöht die erste Anzeigesteuereinheit 66 die Variable j um 1 und kehrt zu Schritt 202 zurück. Aus diesem Grund werden die Schritte 202 bis 212 wiederholt, bis die Bestimmung von Schritt 210 JA wird, und nur Informationen von Sensoren, deren Zuverlässigkeit in Bezug auf die Erfassungsinformationen gleich oder höher als der vorbestimmte Wert ist, sind/werden in den „Wahrnehmungszustand“ gesetzt/versetzt.
Wenn/sobald die Bestimmung von Schritt 210 JA wird, geht die erste Anzeigesteuereinheit 66 zu Schritt 214 über. In Schritt 214 berechnet die erste Anzeigesteuereinheit 66 Positionsinformationen, die die dreidimensionale Position des vorausfahrenden Fahrzeugs darstellen, basierend auf den Erfassungsinformationssätzen von den Sensoren, deren Informationen in den „Wahrnehmungszustand“ gesetzt worden sind. Das heißt, wenn/falls es einen Erfassungsinformationssatz, dessen Zuverlässigkeit geringer ist als der vorbestimmte Wert unter den von den mehreren Sensoren (der Kamera 12, dem Millimeterwellen-Radarsensor 14 und dem Lidarsensor 86) ermittelten Erfassungsinformationssätzen, gibt, berechnet die erste Anzeigesteuereinheit 66 die Positionsinformationen basierend auf Erfassungsinformationssätzen, die von einer Sensorgruppe der mehreren Sensoren mit Ausnahme des Sensors, der dem Erfassungsinformationssatz entspricht, dessen Zuverlässigkeit geringer ist als der vorbestimmte Wert, ermittelt sind/werden.
Dann, in Schritt 216, sendet die erste Anzeigesteuereinheit 66 die in Schritt 214 berechneten Positionsinformationen des vorausfahrenden Fahrzeugs und den in den Schritten 200 und 208 gesetzten „Wahrnehmungszustand“ an die Head-up-Display (HUD)-Anzeige-ECU 38. Wenn die erste Anzeigesteuereinheit 66 das Verfahren von Schritt 216 durchführt, kehrt sie zu Schritt 200 zurück und wiederholt die Verfahren von Schritt 200 an.
Als nächstes wird das HUD-Anzeige-Verfahren, das von der Head-up-Display (HUD)-Anzeige-ECU gemäß der zweiten Ausführungsform ausgeführt wird, unter Bezugnahme auf 10 beschrieben. In Schritt 250 des HUD-Anzeige-Verfahrens bestimmt die zweite Anzeigesteuereinheit 68, auf die gleiche Weise wie in in der ersten Ausführungsform beschriebenem Schritt 150, ob die Vorausfahrendes-Fahrzeug-Anzeige-Bedingung erfüllt ist oder ob nicht. Die zweite Anzeigesteuereinheit 68 beendet das HUD-Anzeige-Verfahren, wenn/falls die Bestimmung von Schritt 250 NEIN ist/lautet, und geht zu Schritt 252, wenn/falls die Bestimmung von Schritt 250 JA ist/lautet.
In Schritt 252 bestimmt die zweite Anzeigesteuereinheit 68, ob die von der Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 empfangene Anzahl der in den „Wahrnehmungszustand“ versetzten Sensoren gleich oder höher als ein vorbestimmter Wert (z. B. 2) ist oder ob nicht. Wenn/falls die Bestimmung von Schritt 252 JA ist/lautet (wenn die Anzahl der in den „Wahrnehmungszustand“ versetzten Sensoren gleich oder höher als der vorbestimmte Wert ist), können die von der Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 empfangenen Positionsinformationen des vorausfahrenden Fahrzeugs als mit einer hohen Berechnungsgenauigkeit beurteilt werden, so dass die zweite Anzeigesteuereinheit 68 von Schritt 252 zu Schritt 254 übergeht.
In Schritt 254 berechnet die zweite Anzeigesteuereinheit 68, in der gleichen Weise wie in dem in der ersten Ausführungsform beschriebenen Schritt 154 aus den dreidimensionalen Positionsinformationen des vorausfahrenden Fahrzeugs, Anzeige-Positionsinformationen des Positionsbildes 82 zum Anzeigen des Positionsbildes 82 in einer Position in dem ersten Anzeigebereich HA1 entsprechend dem vorausfahrenden Fahrzeug. Dann gibt die zweite Anzeigesteuereinheit 68 die berechneten Anzeige-Positionsinformationen, zusammen mit den Daten des anzuzeigenden Positionsbildes 82, an das Head-up-Display (HUD) 56 aus. Infolgedessen projiziert und zeigt (zeigt mittels AR an) das Head-up-Display (HUD) 56 das Positionsbild 82 in/an einer Position in dem ersten Anzeigebereich HA1 entsprechend den dreidimensionalen Positionsinformationen des vorausfahrenden Fahrzeugs 80 an.
Darüber hinaus können, wenn/falls die Bestimmung von Schritt 252 NEIN ist/lautet (wenn die Anzahl der in den „Wahrnehmungszustand“ versetzten Sensoren geringer ist als der vorbestimmte Wert), die von der Fortgeschrittenes-Fahrerassistenzsystem (ADAS)-ECU 18 empfangenen Positionsinformationen des vorausfahrenden Fahrzeugs als unzureichend in der Berechnungsgenauigkeit beurteilt werden, so dass die zweite Anzeigesteuereinheit 68 von Schritt 252 zu Schritt 258 übergeht. In Schritt 258 berechnet die Anzeigesteuereinheit 68, in der gleichen Weise wie in in der ersten Ausführungsform beschriebenem Schritt 158, zweidimensionale Anzeige-Positionsinformationen zum Anzeigen des das vorausfahrende Fahrzeug schematisch darstellenden Vorausfahrendes-Fahrzeug-Schemabildes in dem zweiten Anzeigebereich HA2 und gibt die berechneten Anzeige-Positionsinformationen, zusammen mit den Daten des Vorausfahrendes-Fahrzeug-Schemabildes 84, an das Head-up-Display (HUD) 56 aus. Infolgedessen projiziert und zeigt (zeigt ohne Verwendung von AR an) das Head-up-Display (HUD) 56 das Vorausfahrendes-Fahrzeug-Schemabild 84 in/an einer Anzeigeposition in dem zweiten Anzeigebereich HA2 an.
Wenn die zweite Anzeigesteuereinheit 68 das Positionsbild 82 unter Verwendung von Augmented Reality (AR) in Schritt 254 anzeigt, bestimmt sie in dem nächsten Schritt 256, ob eine vorbestimmte Zeitspanne (z. B. etwa mehrere Sekunden) seit der Anzeige des Positionsbildes 82 unter Verwendung von AR verstrichen ist oder ob nicht. Falls die Bestimmung in Schritt 256 NEIN lautet, kehrt die zweite Anzeigesteuereinheit 68 zu Schritt 254 zurück und setzt die AR-Anzeige des Positionsbildes 82 fort. Falls die Bestimmung in Schritt 256 JA lautet, geht die zweite Anzeigesteuereinheit 68 zu Schritt 258 über und wechselt, anstelle der AR-Anzeige des Positionsbildes 82, zur Nicht-AR-Anzeige des Vorausfahrendes-Fahrzeug-Schemabildes 84.
Auf diese Weise berechnen in der zweiten Ausführungsform die erste Anzeigesteuereinheit 66 und die zweite Anzeigesteuereinheit 68, wenn es einen Erfassungsinformationssatz, dessen Zuverlässigkeit geringer als ein vorbestimmter Wert unter den von den mehreren Sensoren (der Kamera 12, dem Millimeterwellen-Radarsensor 14 und dem Lidarsensor 86) ermittelten Erfassungsinformationssätzen ist, gibt, die Position des vorausfahrenden Fahrzeugs basierend auf Erfassungsinformationssätzen, die von einer Sensorgruppe der mehreren Sensoren mit Ausnahme des Sensors entsprechend dem Erfassungsinformationssatz, dessen Zuverlässigkeit geringer als der vorbestimmte Wert ist, ermittelt sind/werden. Aus diesem Grund kann das Positionsbild 82 selbst in einem Fall, in dem ein Erfassungsinformationssatz, dessen Zuverlässigkeit geringer als der vorbestimmte Wert ist, unter die von den mehreren Sensoren ermittelten Erfassungsinformationssätze gemischt ist, genau angezeigt werden.
Obwohl in den obigen Ausführungsformen ein Aspekt beschrieben wurde, bei dem das vorausfahrende Fahrzeug als ein Beispiel für das Erkennungsobjekt in der vorliegenden Offenbarung verwendet wurde, ist das Erkennungsobjekt nicht auf das vorausfahrende Fahrzeug beschränkt; das Erkennungsobjekt kann beispielsweise auch ein Fußgänger vor dem Fahrzeug 70 sein.
Darüber hinaus wurden bei den obigen Ausführungsformen die Kamera 12, der Millimeterwellen-Radarsensor 14 und der Lidarsensor 86 als ein Beispiel für die mehreren Sensoren in der vorliegenden Offenbarung genannt, jedoch sind die Sensoren, die das Erkennungsobjekt vor dem Fahrzeug erkennen, nicht auf diese Sensoren beschränkt. Darüber hinaus können die mehreren Sensoren auch Sensoren eines identischen Typs umfassen, wie z. B. mehrere Kameras 12 mit zueinander unterschiedlichen Bildbereichen.
Darüber hinaus wurde in der obigen Beschreibung ein Aspekt beschrieben, bei dem von dem Wahrnehmungszustand-Ausgabe-Programm 32 und dem Head-up-Display (HUD)-Anzeige-Programm 52, die ein Beispiel für das Anzeigesteuerprogramm gemäß der vorliegenden Offenbarung sind, das Wahrnehmungszustand-Ausgabe-Programm 32 vorab in der Speichereinheit 24 gespeichert (installiert) ist und das Head-up-Display (HUD)-Anzeige-Programm 52 vorab in der Speichereinheit 44 gespeichert (installiert) ist. Jedoch kann das Anzeigesteuerprogramm gemäß der vorliegenden Offenbarung auch in einer Form, in der es auf einem nicht-transitorischen Aufzeichnungsmedium wie einer HDD, einer SSD oder einer DVD aufgezeichnet ist, vorgesehen sein.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2020163942 A [0002, 0004]

Claims

Anzeigesteuervorrichtung (16) mit einer Anzeigesteuereinheit (66, 68), die basierend auf Erfassungsinformationssätzen, die von mehreren Sensoren (12, 14), die Objekte vor einem Fahrzeug (70) erfassen, ermittelt werden, eine Position eines Erkennungsobjekts (80) vor dem Fahrzeug (70) berechnet, und die bei Anzeige eines die Position des Erkennungsobjekts (80) darstellenden Positionsbildes (82), um so das Positionsbild (82) einem Vordergrund in einem Anzeigebereich (HA1) vor einem Fahrersitz zu überlagern, basierend auf Zuverlässigkeiten der von den mehreren Sensoren ermittelten Erfassungsinformationssätze entscheidet, ob das Positionsbild (82) anzuzeigen ist oder nicht.
Anzeigesteuervorrichtung nach Anspruch 1, wobei die Anzeigesteuereinheit (66, 68) das Positionsbild (82) nicht anzeigt, wenn es einen Erfassungsinformationssatz, dessen Zuverlässigkeit geringer als ein vorbestimmter Wert ist, unter den von den mehreren Sensoren (12, 14) ermittelten Erfassungsinformationssätzen gibt.
Anzeigesteuervorrichtung nach Anspruch 1, wobei die Anzeigesteuereinheit (66, 68), wenn es einen Erfassungsinformationssatz, dessen Zuverlässigkeit geringer als ein vorbestimmter Wert ist, unter den von den mehreren Sensoren (12, 14) ermittelten Erfassungsinformationssätzen gibt, die Position des Erkennungsobjekts basierend auf von einer Sensorgruppe der mehreren Sensoren ermittelten Erfassungsinformationssätzen berechnet, wobei ein Sensor, der dem Erfassungsinformationssatz, dessen Zuverlässigkeit geringer als der vorbestimmte Wert ist, entspricht, ausgenommen ist.
Anzeigesteuervorrichtung nach Anspruch 1, wobei die Anzeigesteuereinheit (66, 68) Umgebungsinformationen in Bezug auf eine Fahrumgebung des Fahrzeugs ermittelt und, basierend auf den ermittelten Umgebungsinformationen, die Zuverlässigkeiten der von den mehreren Sensoren (12, 14) ermittelten Erfassungsinformationssätze berechnet.
Anzeigesteuervorrichtung nach Anspruch 1, wobei die Anzeigesteuereinheit (66, 68), wenn das Positionsbild (82) nicht angezeigt wird, in einem vorbestimmten Bereich ein Objektbild (84), das das Erkennungsobjekt schematisch darstellt, anzeigt.
Anzeigesteuervorrichtung nach einem der Ansprüche 1 bis 5 mit einer ersten Steuereinheit (18) und einer zweiten Steuereinheit (38), die zusammen als die Anzeigesteuereinheit fungieren, wobei: die erste Steuereinheit die Erfassungsinformationssätze von den mehreren Sensoren (12, 14) empfängt, die Zuverlässigkeiten der empfangenen Erfassungsinformationssätze berechnet, die Position des Erkennungsobjekts (80) aus den empfangenen Erfassungsinformationssätzen berechnet und einen Wahrnehmungszustand, der aus jedem der mehreren Sensoren aus Zuverlässigkeitsberechnungsergebnissen resultiert, einstellt, und die zweite Steuereinheit die Position des Erkennungsobjekts und den Wahrnehmungszustand von der ersten Steuereinheit empfängt und basierend auf dem empfangenen Wahrnehmungszustand entscheidet, ob das Positionsbild (82) anzuzeigen ist oder nicht.
Anzeigesteuerverfahren, das eine Verarbeitung durch einen Computer ausführt, wobei die Verarbeitung die Schritte aufweist: Berechnen basierend auf Erfassungsinformationssätzen, die von mehreren Sensoren (12, 14), die Objekte vor einem Fahrzeug (70) erfassen, ermittelt werden, einer Position eines Erkennungsobjekts (80) vor dem Fahrzeug (70), und bei Anzeige eines die Position des Erkennungsobjekts (80) darstellenden Positionsbildes (82), um so das Positionsbild (82) einem Vordergrund in einem Anzeigebereich (HA1) vor einem Fahrersitz zu überlagern, Entscheiden basierend auf Zuverlässigkeiten der von den mehreren Sensoren ermittelten Erfassungsinformationssätze, ob das Positionsbild anzuzeigen ist oder nicht.
Nicht-transitorisches computerlesbares Medium, in dem ein von einem Computer ausführbares Anzeigesteuerprogramm gespeichert ist, um ein Verfahren durchzuführen, das die Schritte aufweist: Berechnen basierend auf Erfassungsinformationssätzen, die von mehreren Sensoren (12, 14), die Objekte vor einem Fahrzeug (70) erfassen, ermittelt werden, einer Position eines Erkennungsobjekts (80) vor dem Fahrzeug (70), und bei Anzeige eines die Position des Erkennungsobjekts (80) darstellenden Positionsbildes (82), um so das Positionsbild (82) einem Vordergrund in einem Anzeigebereich (HA1) vor einem Fahrersitz zu überlagern, Entscheiden basierend auf Zuverlässigkeiten der von den mehreren Sensoren ermittelten Erfassungsinformationssätze, ob das Positionsbild anzuzeigen ist oder nicht.