DE112020006351T5

DE112020006351T5 - Anzeigesteuervorrichtung, Anzeigesystem und Anzeigesteuerverfahren

Info

Publication number: DE112020006351T5
Application number: DE112020006351.8T
Authority: DE
Inventors: Masataka Kato; Koichi Emura
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Automotive Systems Co Ltd
Priority date: 2019-12-26
Filing date: 2020-12-25
Publication date: 2022-10-20
Also published as: US11987122B2; JP7460870B2; JP2021105994A; WO2021132566A1; US20220324328A1

Abstract

Eine Eingabeeinheit 210 empfängt ein erstes Bild, das eine Szenerie vor einem Fahrzeug oder eine Szenerie vor einem Benutzer an Bord eines Fahrzeugs zu einem ersten Zeitpunkt einfängt. Ein Erzeuger 230 erzeugt ein drittes Bild, das ein Ergebnis der Prognose der Szenerie voraus zu dem ersten Zeitpunkt zeigt, auf Grundlage eines zweiten Bildes, das die Szenerie voraus zu einem zweiten Zeitpunkt einfängt, der dem ersten Zeitpunkt vorausging. Eine Anzeigesteuerung 260 steuert eine Anzeige einer Informationsdarstellung auf Grundlage eines Ergebnisses eines Vergleichs zwischen dem ersten, durch die Eingabeeinheit 210 empfangenen Bild und dem dritten, durch den Erzeuger 230 erzeugten Bild unter Verwendung eines vorgegebenen Kriteriums.

Description

[Technisches Gebiet]
Die vorliegende Offenbarung betrifft eine Anzeigesteuertechnik und insbesondere eine Anzeigesteuervorrichtung, ein Anzeigesteuersystem und ein Anzeigesteuerverfahren zum Steuern der Anzeige einer Warnung.
[Technischer Hintergrund]
Es besteht die Auffassung, dass die Eigenschaften einer durch Menschen getroffenen Prognose (z.B. einer vorgefassten Meinung) Ursachen von Verkehrsunfällen beeinflussen. Dies führt zu einem neuartigen Ansatz, der simuliert, wie die visuelle Wahrnehmung einer Person, die ein Fahrzeug fährt, die Umgebung für die Fahrt unter Verwendung eines tiefen prädiktiven codierenden Netzwerks (PredNet), einer Maschine für Deep Learning, prognostiziert, die eine Theorie des prädiktiven Codierens umfasst (eins von glaubhaften Prinzipien, die erklären, wie der menschliche zerebrale Kortex arbeitet). Der Ansatz kann auf die Prognose einer Gefahrensituation beim automatisierten Fahren angewendet werden. Wenn die ersten in den Zeitreihendaten enthaltenen Daten in das PredNet eingegeben werden, werden die ersten Prognosedaten für einen Zeitpunkt nach einem Verstreichen der ersten Zeit prognostiziert. Die Zeitreihendaten enthalten auch die zweiten Daten für einen Zeitpunkt nach einem Verstreichen der ersten Zeit seit den ersten Daten. Ein großer Fehler zwischen den zweiten Daten und den ersten Prognosedaten kann bedeuten, dass ein Vorfall über das Vorstellungsvermögen der Fahrerin/des Fahrers hinaus auftritt (siehe beispielsweise die Patentschrift 1).
Es wird auch vorgeschlagen, die Fahrerin/den Fahrer durch ein Anzeigen eines Symbols, das mit einem erfassten Fußgänger verknüpft ist, unter Verwendung eines in einem Fahrzeug eingebauten Head-up-Displays (HUD) zu warnen.
[Patentschrift 1] JP2018-173944
[Zusammenfassung der Erfindung]
[Technische Aufgabe]
Gemäß dem Stand der Technik kann sich der Benutzer irritiert fühlen, weil eine Warnung, ungeachtet der Wahrnehmung durch eine Person oder deren Fehlen ausgelöst wird.
Die vorliegende Offenbarung nimmt sich dieses Problems an, und ein Zweck davon ist es, eine Technik zum Erkennen einer Szenerie oder eines Objekts, das für Menschen schwierig wahrzunehmen ist, und zum Vorsehen entsprechender Informationen vorzusehen.
[Lösung der Aufgabe]
Eine Anzeigesteuervorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung enthält: eine Eingabeeinheit, die ein erstes Bild empfängt, das eine Szenerie vor einem Fahrzeug oder eine Szenerie vor einem Benutzer an Bord eines Fahrzeugs zu einem ersten Zeitpunkt einfängt; einen Erzeuger, der ein drittes Bild, das ein Ergebnis der Prognose der Szenerie voraus zu dem ersten Zeitpunkt zeigt, auf Grundlage eines zweiten Bildes erzeugt, das die Szenerie voraus zu einem zweiten Zeitpunkt einfängt, der dem ersten Zeitpunkt vorausging; und eine Anzeigesteuerung, die eine Informationsdarstellung auf Grundlage eines Ergebnisses eines Vergleichs zwischen dem ersten Bild und dem dritten Bild unter Verwendung eines vorgegebenen Kriteriums steuert.
Eine weitere Ausführungsform der vorliegenden Offenbarung betrifft ein Anzeigesystem. Das Anzeigesystem enthält: eine Bildaufnahmevorrichtung; und eine mit der Bildaufnahmevorrichtung verbundene Anzeigesteuervorrichtung. Die Anzeigesteuervorrichtung enthält: eine Eingabeeinheit, die ein erstes Bild empfängt, das eine Szenerie vor einem Fahrzeug oder eine Szenerie vor einem Benutzer an Bord eines Fahrzeugs zu einem ersten Zeitpunkt einfängt; einen Erzeuger, der ein drittes Bild, das ein Ergebnis der Prognose der Szenerie voraus zu dem ersten Zeitpunkt zeigt, auf Grundlage eines zweiten Bildes erzeugt, das die Szenerie voraus zu einem zweiten Zeitpunkt einfängt, der dem ersten Zeitpunkt vorausgeht; und eine Anzeigesteuerung, die eine Informationsdarstellung auf Grundlage eines Ergebnisses eines Vergleichs zwischen dem ersten Bild und dem dritten Bild unter Verwendung eines vorgegebenen Kriteriums steuert.
Eine weitere Ausführungsform der vorliegenden Offenbarung bezieht sich auf ein Anzeigesteuerverfahren. Das Verfahren enthält: Empfangen eines ersten Bildes, das eine Szenerie vor einem Fahrzeug oder eine Szenerie vor einem Benutzer an Bord eines Fahrzeugs zu einem ersten Zeitpunkt einfängt; Erzeugen eines dritten Bildes, das ein Ergebnis der Prognose der Szenerie voraus zu dem ersten Zeitpunkt zeigt, auf Grundlage eines zweiten Bildes, das die Szenerie voraus zu einem zweiten Zeitpunkt einfängt, der dem ersten Zeitpunkt vorausging; und Steuern einer Informationsdarstellung auf Grundlage eines Ergebnisses eines Vergleichs zwischen dem ersten Bild und dem dritten Bild unter Verwendung eines vorgegebenen Kriteriums.
Optionale Kombinationen der oben erwähnten Bestandteile und Umsetzungen der vorliegenden Offenbarung in Form von Vorrichtungen, Systemen, Verfahren, Programmen, Aufzeichnungsmedien, auf denen Programme aufgezeichnet sind, und Fahrzeugen, welche die Vorrichtung tragen, können ebenfalls als zusätzliche Modi der vorliegenden Offenbarung umgesetzt werden.
[Vorteilhafte Wirkungen der Erfindung]
Gemäß der vorliegenden Offenbarung ist es möglich, eine Szenerie oder ein Objekt zu erkennen, das für Menschen schwierig wahrzunehmen ist, und entsprechende Informationen vorzusehen.
Figurenliste

1 zeigt schematisch das Innere eines Fahrzeugs gemäß der Ausführungsform 1;
2 zeigt eine Übersicht darüber, wie die Fahrerin/der Fahrer des Fahrzeugs von 1 eine Szenerie voraus wahrnimmt;
3 zeigt einen Aufbau eines in dem Fahrzeug von 1 eingebauten Anzeigesystems;
4A-4F zeigen eine Übersicht des Vorgangs in dem Anzeigesystem von 3;
5A-5B zeigen ein weiteres Beispiel der Anzeige durch das Anzeigesystem von 3;
6 ist ein Flussdiagramm, das eine Abfolge von Schritten der Anzeigesteuerung in der Anzeigesteuervorrichtung von 3 zeigt;
7A-7B zeigen schematisch das Innere eines Fahrzeugs gemäß der Ausführungsform 2;
8 zeigt schematisch das Innere des Fahrzeugs gemäß der Ausführungsform 3;
9 zeigt einen Aufbau des in dem Fahrzeug eingebauten Anzeigesystems;
10A-10G zeigen eine Übersicht des Betriebs des Anzeigesystems gemäß der Ausführungsform 3;
11A-11B zeigen eine Übersicht eines alternativen Betriebs des Anzeigesystems gemäß der Ausführungsform 3;
12A-12D zeigen eine Übersicht eines weiteren alternativen Betriebs des Anzeigesystems gemäß der Ausführungsform 3;
13A-13C zeigen eine Übersicht des Betriebs des Anzeigesystems gemäß der Ausführungsform 4;
14 zeigt eine Übersicht des Betriebs des Anzeigesystems gemäß der Ausführungsform 5;
15A-15B zeigen eine Übersicht eines alternativen Betriebs des Anzeigesystems gemäß der Ausführungsform 5;
16 zeigt eine Anordnung des Anzeigesystems gemäß der Ausführungsform 6;
17 zeigt eine alternative Anordnung des Anzeigesystems gemäß der Ausführungsform 6;
18A-18B zeigen eine Übersicht des Betriebs des Anzeigesystems gemäß der Ausführungsform 6;
19 zeigt eine Übersicht eines alternativen Betriebs des Anzeigesystems gemäß der Ausführungsform 6;
20A-20E zeigen eine Übersicht der Anzeige auf der LED-Anzeige gemäß der Ausführungsform 7;
21A-21D zeigen die Einzelheiten der Anzeige auf der LED-Anzeige gemäß der Ausführungsform 7;
22A-22E zeigen eine Übersicht der Anzeige auf dem HUD gemäß der Ausführungsform 7;
23A-23D zeigen die Einzelheiten der Anzeige auf dem HUD gemäß der Ausführungsform 7;
24A-24B zeigen einen Aufbau der Instrumentenanzeige gemäß der Ausführungsform 7;
25A-25E zeigen eine Übersicht der Anzeige auf der Instrumentenanzeige gemäß der Ausführungsform 7;
26A-26E zeigen eine Übersicht der Anzeige auf der Säulenanzeige gemäß der Ausführungsform 7;
27A-27E zeigen eine Übersicht der Anzeige auf der Spiegelanzeige gemäß der Ausführungsform 7; und
28A-28C stellen Ergebnisse des Erfassens eines Abstands zwischen dem Fahrzeug und dem Objekt dar.

[Beschreibung von Ausführungsformen]
(Ausführungsform 1)
Bevor die vorliegende Offenbarung in spezifischen Einzelheiten beschrieben ist, ist eine kurze Zusammenfassung gegeben. Die Ausführungsform betrifft ein Anzeigesystem, das in ein Fahrzeug eingebaut ist. Das Anzeigesystem enthält eine Bildaufnahmevorrichtung, die in der Lage ist, ein Bild einer Szenerie vor einem Fahrzeug einzufangen, und eine Anzeigesteuervorrichtung zum Steuern der Anzeige auf einem HUD. Die Anzeigesteuervorrichtung erfasst ein Objekt, wie etwa einen Fußgänger, in einem durch die Bildaufnahmevorrichtung aufgenommenen Video und veranlasst das HUD, ein Bild zum Warnen vor dem Objekt (im Folgenden als „Informationsdarstellungsbild“ bezeichnet) anzuzeigen. Das HUD zeigt Informationen, wie etwa ein Informationsdarstellungsbild, auf der Frontscheibe des Fahrzeugs an und ist somit in der Lage, ein Bild an einer Position näher der Blickrichtung vom Fahrer aus anzuzeigen als beispielsweise ein Monitor einer in dem Fahrzeug vorgesehenen Autonavigationsvorrichtung. Aus diesem Grund kann die Fahrerin/der Fahrer, die/der das Fahrzeug fährt, unmittelbar Kenntnis von der Anzeige nehmen oder kann die Anzeige mit geringerer Bewegung der Blicklinie sehen.
Wenn sich die Anzahl von auf dem HUD angezeigten Informationsdarstellungsbildern erhöht, ist es schwierig, die Szenerie voraus jenseits des HUD zu sehen, was die Fahrerin/den Fahrer irritiert. Wenn ferner ein Informationsdarstellungsbild für ein Objekt angezeigt wird, das die Fahrerin/der Fahrer bereits wahrgenommen hat, ist es für die Fahrerin/den Fahrer bedeutungslos. Ein Auswählen nur eines aus einer Vielzahl von Objekten (z.B. des dem Fahrzeug nächsten Objekts) und ein entsprechendes Anzeigen eines Informationsdarstellungsbildes kann leicht dazu führen, dass ein Objekt übersehen wird. Aus diesem Grund ist es erforderlich, den Benutzer zu warnen, um das Vorkommen von Übersehen zu verringern, während auch die Irritation über die Anzeige verringert wird.
Die Anzeigesteuervorrichtung gemäß dieser Ausführungsform zeigt ein Informationsdarstellungsbild für ein Objekt an, für das ein großer Prognosefehler auftritt. Ein Prognosefehler ist definiert durch einen Unterschied zwischen einer tatsächlichen Szenerie voraus und einer Szenerie voraus, die aus einer vergangenen Szenerie voraus prognostiziert ist. Es kann gesagt werden, dass, je größer der Prognosefehler ist, desto größer die Wahrscheinlichkeit des Übersehens durch die Fahrerin/den Fahrer ist. Mit anderen Worten, indem veranlasst wird, dass ein Objekt, das wahrscheinlich übersehen wird, bevorzugt angezeigt wird, kann die Anzeige verwirklicht werden, die nicht leicht übersehen wird und nicht irritiert. Nachstehend sind Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnung genau beschrieben. Die nachstehend beschriebenen Ausführungsformen dienen nur als Beispiele, und die vorliegende Offenbarung ist nicht auf diese Ausführungsformen beschränkt.
1 zeigt schematisch das Innere eines Fahrzeugs 1000 und zeigt eine Ansicht des Fahrzeuginneren des Fahrzeugs 1000, gesehen von hinten. Ein Armaturenbrett 10, das sich horizontal erstreckt, ist nach vorn im Fahrzeuginneren vorgesehen, eine Frontscheibe 12 ist oberhalb des Armaturenbretts 10 vorgesehen, und Säulen 14 erstrecken sich vom Armaturenbrett 10 links und rechts der Frontscheibe 12. Eine Lenkung 16 ist rechts vom Armaturenbrett 10 vorgesehen, und ein Instrument 18 ist im Armaturenbrett 10 vor der Lenkung 16 vorgesehen. Die Lenkung 16 kann links vom Armaturenbrett 10 vorgesehen sein. Eine Mittelkonsole 20 ist in der Mitte des Armaturenbretts 10 vorgesehen.
Eine Anzeigevorrichtung (nicht gezeigt) ist im Armaturenbrett 10 auf der Seite der Lenkung 16 vorgesehen. Die Anzeigevorrichtung ist ein HUD und projiziert ein Anzeigelicht auf einen Teil eines anzeigefähigen Bereichs 50 der Frontscheibe 12. Der anzeigefähige Bereich 50 ist in der Frontscheibe 12 und vor dem Fahrersitz vorgesehen. Der anzeigefähige Bereich 50 weist eine horizontal längliche rechteckige Form auf, angepasst an die Form der Frontscheibe 12. Das durch den anzeigefähigen Bereich 50 zum Fahrzeuginneren projizierte Anzeigelicht wird durch die Fahrerin/den Fahrer gesehen. Die Fahrerin/der Fahrer kann über die Frontscheibe 12 auch die Szenerie vor dem Fahrzeug 1000 sehen und kann somit ein virtuelles Bild des durch die Anzeigevorrichtung projizierten Bildes als der Szenerie voraus überlagert sehen. 1 zeigt, dass die Anzeigevorrichtung kein Bild in der Anzeige in dem anzeigefähigen Bereich 50 anzeigt.
2 zeigt eine Übersicht darüber, wie die Fahrerin/der Fahrer des Fahrzeugs 1000 eine Szenerie voraus wahrnimmt. Die Fahrerin/der Fahrer sieht eine Szenerie voraus. Die Fahrerin/der Fahrer nimmt Lichtinformationen über die Szenerie voraus wahr, weil die Wahrnehmung der gesamten Szenerie voraus Zeit braucht. Ferner prognostiziert die Fahrerin/der Fahrer eine aktuelle Szenerie voraus aus einer Rückerinnerung einer Szenerie voraus, um die Lichtinformationen zu kompensieren. Die Fahrerin/der Fahrer erzeugt ein visuelles Bild durch ein Kombinieren der wahrgenommenen Lichtinformationen mit der aktuellen Szenerie voraus wie prognostiziert. Die Fahrerin/der Fahrer engt die Informationen, die wahrgenommen werden sollten, auf einen interessierenden Bereich ein, weil eine Wahrnehmung des gesamten visuellen Bildes Zeit kostet. Der interessierende Bereich ist beispielsweise durch die Erfahrung der Fahrerin/des Fahrers usw. festgelegt. Folglich nimmt die Fahrerin/der Fahrer einen Fußgänger wahr, der von rechts kommt. Somit macht die Fahrerin/der Fahrer die Wahrnehmung effizient, indem sie/er „Prognose“ und „Aufmerksamkeit“ einsetzt.
3 zeigt einen Aufbau eines in dem Fahrzeug 1000 eingebauten Anzeigesystems 500. Das Anzeigesystem 500 enthält eine Bildaufnahmevorrichtung 100, eine Anzeigesteuervorrichtung 200 und eine Anzeigevorrichtung 300. Die Anzeigesteuervorrichtung 200 enthält eine Eingabeeinheit 210, einen Speicher 220, einen Erzeuger 230, eine Erfassungseinheit 240, einen Vergleicher 250 und eine Anzeigesteuerung 260. Die Bildaufnahmevorrichtung 100 und die Anzeigesteuervorrichtung 200 sind durch ein Fahrzeug-Bordnetzwerk verbunden, wie etwa ein Controller Area Network (CAN) .
Die Bildaufnahmevorrichtung 100 ist beispielsweise im Vorderteil des Fahrzeugs 1000 vorgesehen und nimmt ein Video der Szenerie vor dem Fahrzeug 1000 auf. Die so eingefangene Szenerie entspricht der Szenerie vor dem Fahrzeug 1000, die die Fahrerin/der Fahrer durch die Frontscheibe 12 sehen kann. Das durch die Bildaufnahmevorrichtung 100 aufgenommene Video besteht aus einer Vielzahl von Bildern, die in der Zeitfolge angeordnet sind. Die Bildaufnahmevorrichtung 100 sendet das aufgenommene Video an die Anzeigesteuervorrichtung 200.
Die Eingabeeinheit 210 der Anzeigesteuervorrichtung 200 empfängt ein Video von der Bildaufnahmevorrichtung 100. Das neueste aus der Vielzahl von in dem Video enthaltenen Bildern ist das Bild zum aktuellen Zeitpunkt, und ein vor dem Bild zum aktuellen Zeitpunkt angeordnetes Bild ist ein vergangenes Bild. Zum Beispiel kann das Bild zum aktuellen Zeitpunkt als das „erste Bild“ bezeichnet werden, das eine Szenerie voraus zu dem ersten Zeitpunkt (aktuellen Zeitpunkt) einfängt, und das vergangene Bild kann als das „zweite Bild“ bezeichnet werden, das eine Szenerie voraus zu dem zweiten Zeitpunkt einfängt, der dem ersten Zeitpunkt vorausging. Im Allgemeinen enthält ein Video (bewegte Bilder) eine Vielzahl von zweiten Bildern (eine Abfolge von Frame-Bildern), die zu verschiedenen Zeitpunkten aufgenommen sind. In der folgenden Beschreibung kann sich der Begriff „zweites Bild“ auf ein einzelnes Bild oder generisch auf eine Vielzahl von Bildern beziehen.
4A-4F zeigen eine Übersicht des Vorgangs in dem Anzeigesystem 500. 4A zeigt ein aufgenommenes Bild 400, das in die Eingabeeinheit 210 eingegeben ist. Das aufgenommene Bild 400 entspricht dem Bild zum aktuellen Zeitpunkt, d.h. dem ersten Bild. Als ein Beispiel sind zwei Fußgänger als ein erstes Objekt 410a und ein zweites Objekt 410b dargestellt. 4B-4F sind weiter unten beschrieben, und es ist nun wieder Bezug auf 3 genommen. Die Eingabeeinheit 210 gibt eine Vielzahl von Bildern zum Speicher 220, zur Erfassungseinheit 240 und zum Vergleicher 250 aus.
Der Speicher 220 empfängt die Vielzahl von Bildern von der Eingabeeinheit 210. Der Speicher 220 speichert die Vielzahl von Bildern über einen bestimmten Zeitraum und gibt dann die Bilder zum Erzeuger 230 aus. Es kann daher gesagt werden, dass der Speicher 220 die Vielzahl von Bildern verzögert. Der Erzeuger 230 empfängt die Vielzahl von Bildern vom Speicher 220. Im Erzeuger 230 ist ein neuronales Netzwerk vorgesehen, wie etwa ein PredNet und ein Netzwerk für Deep Learning. Ein Bild, das eine Szenerie voraus zu dem ersten Zeitpunkt prognostiziert (im Folgenden „ein drittes Bild“), wird durch ein Eingeben einer Vielzahl von zweiten Bildern in das neuronale Netzwerk erzeugt.
Das dritte Bild ist ein Bild, das den ersten Zeitpunkt gleichlaufend mit dem ersten Bild aus dem zu dem zweiten Zeitpunkt aufgenommenen zweiten Bild prognostiziert. In dem neuronalen Netzwerk kann eine allgemein bekannte Technik verwendet werden, und eine Beschreibung davon ist weggelassen. Alternativ kann der Erzeuger 230 das dritte Bild anstelle eines neuronalen Netzwerks unter Verwendung einer Bildverarbeitungstechnik erzeugen, wie etwa der Analyse des optischen Flusses. Zum Beispiel kann der Erzeuger 230 den ersten Zeitpunkt gleichlaufend mit dem ersten Bild aus dem zu dem zweiten Zeitpunkt aufgenommenen zweiten Bild unter Verwendung der Analyse des optischen Flusses prognostizieren und das dritte Bild auf Grundlage des Prognoseergebnisses erzeugen. Bei der Analyse des optischen Flusses kann eine allgemein bekannte Technik verwendet werden, und eine Beschreibung davon ist weggelassen.
4B zeigt eine Übersicht des Vorgangs in dem Erzeuger 230. Ein erstes vergangenes Bild 402a bis zu einem vierten vergangenen Bild 402d, die generisch als vergangene Bilder 402 bezeichnet sind, sind Bilder, die zu jeweils verschiedenen Zeitpunkten aufgenommen sind und der Vielzahl von zweiten Bildern zu verschiedenen zweiten Zeitpunkten entsprechen. Ein Prognosebild 404 ist ein aus einer Vielzahl von vergangenen Bildern 402 prognostiziertes Bild und entspricht dem dritten Bild, das den ersten Zeitpunkt prognostiziert. In diesem Fall wird ein Prognosebild 404 aus vier vergangenen Bildern 402 erzeugt, aber die Anzahl von vergangenen Bildern 402, die verwendet werden sollten, um ein Prognosebild 404 zu erzeugen, ist nicht auf „4“ beschränkt. 4C-4F sind weiter unten beschrieben, und es ist nun wieder Bezug auf 3 genommen. Der Erzeuger 230 gibt das so erzeugte dritte Bild zum Vergleicher 250 aus.
Die Erfassungseinheit 240 empfängt eine Vielzahl von Bildern von der Eingabeeinheit 210. Die Erfassungseinheit 240 erfasst ein in dem ersten Bild enthaltenes Objekt 410 durch ein Unterziehen des ersten Bildes aus der Vielzahl von Bildern einem Bilderkennungsprozess (Objekterkennung usw.), wie etwa einem Mustervergleich. Bei dem Bilderkennungsprozess kann eine allgemein bekannte Technik verwendet werden, und eine Beschreibung davon ist weggelassen. Die Erfassungseinheit 240 legt einen Bereich fest (im Folgenden als „Objektanordnungsbereich“ bezeichnet), der das so im ersten Bild erfasste Objekt 410 einkreist. 4C zeigt eine Übersicht des Vorgangs in der Erfassungseinheit 240. Das aufgenommene Bild 400, das erste Objekt 410a und das zweite Objekt 410b sind dieselben wie die in 4A gezeigten. Wenn die Erfassungseinheit 240 das erste Objekt 410a und das zweite Objekt 410b aus dem aufgenommenen Bild 400 erfasst, legt die Erfassungseinheit 240 einen ersten Objektanordnungsbereich 430a zum Einkreisen des ersten Objekts 410a und einen zweiten Objektanordnungsbereich 430b zum Einkreisen des zweiten Objekts 410b fest. 4D-4F sind weiter unten beschrieben, und es ist nun wieder Bezug auf 3 genommen. Die Erfassungseinheit 240 gibt Positionsinformationen über den so festgelegten Objektanordnungsbereich 430 zum Vergleicher 250 aus. Die Erfassungseinheit 240 kann die Positionsinformationen über das erfasste Objekt 410 zum Vergleicher 250 ausgeben.
Der Vergleicher 250 empfängt eine Vielzahl von Bildern, und insbesondere das erste Bild, von der Eingabeeinheit 210, empfängt das dritte Bild vom Erzeuger 230 und empfängt die Positionsinformationen über den Objektanordnungsbereich 430 von der Erfassungseinheit 240. Der Vergleicher 250 erzeugt ein Bild (im Folgenden als „Vergleichsbild“ bezeichnet), das einen Unterschied zwischen dem ersten Bild und dem dritten Bild zeigt, durch ein Berechnen des Unterschieds in Pixeleinheiten. Wenn es einen Bereich in dem Vergleichsbild gibt, in dem der Unterschied größer ist als ein vorgegebener Schwellenwert, erkennt der Vergleicher 250 diesen Bereich (im Folgenden als „Unterschiedsbereich“ bezeichnet). Ein Unterschiedsbereich könnte ein Bereich sein, in dem der Unterschied zwischen dem ersten Bild und dem dritten Bild größer ist als der vorgegebene Schwellenwert, das heißt, ein Bereich, in dem der Prognosefehler groß ist. Ferner vergleicht der Vergleicher 250 die Positionsinformationen über den Unterschiedsbereich mit den Positionsinformationen über den Objektanordnungsbereich 430 und erkennt einen Bereich, in dem sie sich überlappen (im Folgenden als „Überlappungsbereich“ bezeichnet). Das Erkennen eines Überlappungsbereichs ist äquivalent mit dem Erkennen eines Bereichs in dem Unterschiedsbereich, in dem das erste Bild das Objekt 410 enthält, d.h. einem Verknüpfen eines Bereichs, der einen großen Prognosefehler aufweist, mit einem Bereich, in dem das Objekt 410 erfasst ist.
4D zeigt eine Übersicht des Vorgangs in dem Vergleicher 250. Ein Unterschiedsbereich 420 in einem Vergleichsbereich 406 ist gezeigt. In dem in 4C gezeigten Beispiel überlappt der Unterschiedsbereich 420 den ersten Objektanordnungsbereich 430a. 4E-4F sind beschrieben, und es ist nun wieder Bezug auf 3 genommen. Der Vergleicher 25 zeigt Positionsinformationen über den Überlappungsbereich, d.h. den Objektanordnungsbereich 430, der den Unterschiedsbereich 420 überlappt, zur Anzeigesteuerung 260 an. Ferner kann der Vergleicher 250 Positionsinformationen über den Objektanordnungsbereich 430, der den Unterschiedsbereich 420 nicht überlappt (im Folgenden „Nichtüberlappungsbereich“), zur Anzeigesteuerung 260 ausgeben.
Die Anzeigesteuerung 260 empfängt die Positionsinformationen über den Überlappungsbereich und die Positionsinformationen über den Nichtüberlappungsbereich vom Vergleicher 250. Die Anzeigesteuerung 260 erzeugt ein Informationsdarstellungsbild, das den Überlappungsbereich auf Grundlage der Positionsinformationen über den Überlappungsbereich zeigt. In diesem Fall wird das Informationsdarstellungsbild so angeordnet, dass es dem Überlappungsbereich überlagert ist. Ferner erzeugt die Anzeigesteuerung 260 ein Warnbild, das den Nichtüberlappungsbereich auf Grundlage der Positionsinformationen über den Nichtüberlappungsbereich zeigt. In diesem Fall wird das Warnbild so angeordnet, dass es dem Nichtüberlappungsbereich überlagert ist. 4E zeigt eine Übersicht des Vorgangs in der Anzeigesteuerung 260. Ein Informationsdarstellungsbild 440 ist so angeordnet, dass es den ersten Objektanordnungsbereich 430a von 4C überlappt, und ein Warnbild 450 ist so angeordnet, dass es den zweiten Objektanordnungsbereich 430b von 4C überlappt. Das Informationsdarstellungsbild 440 und das Warnbild 450 haben gemeinsam, dass sie Bilder zum Warnen der Fahrerin/des Fahrers vor dem Vorhandensein des Objekts 410 sind. Im Gegensatz zu dem Warnbild 450 warnt das Informationsdarstellungsbild 440 die Fahrerin/den Fahrer vor dem Vorhandensein des Objekts 410 mit einem großen Prognosefehler. Aus diesem Grund wird das Informationsdarstellungsbild 440 mit einer höheren Helligkeit angezeigt als das Warnbild 450. In einer Variante braucht das Warnbild 450 nicht angezeigt zu werden. 4F ist weiter unten beschrieben, und es ist nun wieder Bezug auf 3 genommen.
Die Anzeigesteuerung 260 veranlasst die Anzeigevorrichtung 300, das Informationsdarstellungsbild 440 und das Warnbild 450 anzuzeigen. Die Anzeigevorrichtung 300 ist ein HUD und weist einen anzeigefähigen Bereich 50 im Blickfeld der Fahrerin/des Fahrers auf, die/der das Fahrzeug fährt. Die Anzeigevorrichtung 300 zeigt das Informationsdarstellungsbild 440 und das Warnbild 450 (zeigt z.B. ein virtuelles Bild) in dem anzeigefähigen Bereich 50 an. 4F zeigt die Anzeige in dem anzeigefähigen Bereich 50. Eine erste Person 460a entspricht dem ersten Objekt 410a in dem aufgenommenen Bild 400 von 1A, und eine zweite Person 460b entspricht dem zweiten Objekt 410b in dem aufgenommenen Bild 400 von 1A. Das Informationsdarstellungsbild 440 wird so angezeigt, dass es die erste Person 460a überlappt, wenn die Fahrerin/der Fahrer die erste Person 460a durch die Frontscheibe 12 sieht. Ferner wird das Warnbild 450 so angezeigt, dass es die zweite Person 460b überlappt, wenn die Fahrerin/der Fahrer die zweite Person 460b durch die Frontscheibe 12 sieht. Mit anderen Worten, das Informationsdarstellungsbild 440 und das Warnbild 450 werden durch erweiterte Realität (AR) angezeigt. Bei dem Vorgang der Anzeigesteuerung 260 zum Anzeigen des Informationsdarstellungsbildes 440 und des Warnbildes 450 an solchen Positionen kann eine allgemein bekannte Technik verwendet werden, und eine Beschreibung davon ist weggelassen. Auf diese Weise veranlasst die Anzeigesteuerung 260, dass das Informationsdarstellungsbild 440 so angezeigt wird, dass es zum Hintergrund passt. Dies ist äquivalent zu einem Anzeigen des Informationsdarstellungsbildes 440 derart, dass es dem Überlappungsbereich überlagert ist. Die obigen Schritte werden nacheinander durchgeführt, und die Anzeige des Informationsdarstellungsbildes 440 und des Warnbildes 450 wird ebenfalls nacheinander aktualisiert.
Die Anzeige des Informationsdarstellungsbildes 440 durch die Anzeigesteuerung 260 ist nicht auf die Weise von 4F beschränkt. Die Anzeigesteuerung 260 kann den anzeigefähigen Bereich 50 in eine Vielzahl von Teilbereichen aufteilen, und das Informationsdarstellungsbild 440 kann in einem Teilbereich 52 aus der Vielzahl von Teilbereichen angezeigt werden, der den Überlappungsbereich enthält. 5A-5B zeigen ein weiteres Beispiel der Anzeige durch das Anzeigesystem 500. 5A-5B zeigen den anzeigefähigen Bereich 50. Mit Bezugnahme auf 5A ist der anzeigefähige Bereich 50 in einen ersten Teilbereich 52a, der links angeordnet ist, und einen zweiten Teilbereich 52b aufgeteilt, der rechts angeordnet ist. In dem in 5A gezeigten Beispiel wird das Informationsdarstellungsbild 440 im gesamten zweiten Teilbereich 52b angezeigt, wenn der Überlappungsbereich in der ersten Person 460a erkannt ist. Der Informationsdarstellungsbild 440 wird beispielsweise als ein Bereich gezeigt, der durchscheinend, aber farbig ist.
Mit Bezugnahme auf 5B sind der erste Teilbereich 52a und der zweite Teilbereich wie in 5A angeordnet. In dem in 5A gezeigten Beispiel wird das Informationsdarstellungsbild 440 im unteren Teil des zweiten Teilbereichs 52b angezeigt, wenn der Überlappungsbereich in der ersten Person 460a erkannt ist. Das Informationsdarstellungsbild 440 ist beispielsweise als ein rechteckiger oder bogenförmiger Balken gezeigt. Die Anzahl von Teilbereichen 52, in die der anzeigefähige Bereich 50 aufgeteilt ist, ist nicht auf „2“ beschränkt und kann „3“ oder mehr betragen. Die Form des Informationsdarstellungsbildes 440 ist nicht auf das in 5A-5B gezeigte Beispiel beschränkt.
Die Funktionen der Anzeigesteuervorrichtung 200 werden hardwaremäßig, wie etwa in einer oder mehreren Zentraleinheiten (CPU), einem oder mehreren Grafikprozessoren (GPU), einem oder mehreren Speichern oder anderen hochintegrierten Schaltkreisen (LSI) eines beliebigen Computers, oder softwaremäßig als ein in einen Speicher geladenes Programm realisiert. Die Figur zeigt Funktionsblöcke, die durch das Zusammenwirken dieser Elemente umgesetzt werden. Daher versteht der Fachmann auf dem Gebiet, dass die Funktionsblöcke in einer Vielzahl von Arten nur durch Hardware oder durch eine Kombination aus Hardware und Software umgesetzt werden können.
Nachstehend folgt eine Beschreibung des Betriebs des Fahrzeugs 1000 mit der oben beschriebenen Anordnung. 6 ist ein Flussdiagramm, das eine Abfolge von Schritten der Anzeigesteuerung in der Anzeigesteuervorrichtung 200 zeigt. Die Eingabeeinheit 210 empfängt das erste Bild (S10). Wenn die Erfassungseinheit 240 das Objekt 410 erfasst (J in S12), erzeugt der Erzeuger 230 das dritte Bild aus dem zweiten Bild (S14). Wenn es einen Unterschiedsbereich 420 gibt, in dem der Unterschied zwischen dem ersten Bild und dem dritten Bild größer ist als der Schwellenwert (J in S16), und wenn der Unterschiedsbereich 420 dem Objekt 410 entspricht (J in S18), veranlasst die Anzeigesteuerung 260 die Anzeigevorrichtung 300, das Informationsdarstellungsbild 440 anzuzeigen (S20). Wenn die Erfassungseinheit 240 das Objekt 410 nicht erfasst (N in S12), oder wenn es keine Unterschiedsbereiche 420 gibt, in denen der Unterschied zwischen dem ersten Bild und dem zweiten Bild größer ist als der Schwellenwert (N in S16), und wenn der Unterschiedsbereich 420 nicht dem Objekt 410 entspricht (N in S18), wird der Vorgang beendet.
Gemäß der Ausführungsform wird das Informationsdarstellungsbild, das einen Überlappungsbereich enthält, in dem der Unterschied zwischen dem ersten Bild und dem dritten Bild größer ist als der Schwellenwert, und in dem das erste Bild das erste Objekt enthält, so angezeigt, dass es zum Hintergrund passt, sodass die Anzahl von Informationsdarstellungsbildern auf dem HUD reduziert sein kann. Ferner kann, da die Anzahl von Informationsdarstellungsbildern auf dem HUD reduziert ist, die Irritation über die Anzeige reduziert sein. Ferner wird das Informationsdarstellungsbild, das einen Überlappungsbereich zeigt, der ein Objekt mit einem großen Prognosefehler enthält, so angezeigt, dass es zum Hintergrund passt, sodass der Benutzer vor dem Objekt gewarnt werden kann. Ferner wird das Informationsdarstellungsbild so angezeigt, dass es dem Überlappungsbereich überlagert ist, sodass das Objekt, vor dem der Benutzer durch das Informationsdarstellungsbild gewarnt wird, leicht wahrnehmbar gemacht werden kann. Ferner wird das Informationsdarstellungsbild in dem Teilbereich aus einer Vielzahl von Teilbereichen angezeigt, der einen Überlappungsbereich enthält, sodass der Prozess vereinfacht sein kann.
(Ausführungsform 2)
Im Folgenden ist die Ausführungsform 2 beschrieben. Wie die Ausführungsform 1 betrifft die Ausführungsform 2 ein Anzeigesystem, das eine Anzeigesteuervorrichtung zum Steuern der Anzeige auf einem HUD enthält. Bei der Ausführungsform 1 ist beschrieben, dass ein großer Prognosefehler für ein Objekt außerhalb des Fahrzeugs die Wahrscheinlichkeit des Übersehens erhöht. Wenn indessen eine Situation, die einen Prognosefehler erhöht, im Fahrzeuginneren eintritt, wird die Aufmerksamkeit der Fahrerin/des Fahrers auf diese Situation gelenkt. Dies führt leicht zu einem Übersehen eines Objekts außerhalb des Fahrzeugs. Eine Situation im Fahrzeuginneren, die einen Prognosefehler erhöht, könnte eine Situation sein, bei der sich der Anzeigestatus (ein angezeigtes Bild usw.) auf einer oder mehreren im Fahrzeuginneren vorgesehenen Anzeigevorrichtungen ändert, wie etwa eine Anzeigeänderung im Auto-Navigationssystem, eine Anzeigeänderung in der Instrumententafel und eine Anzeigeänderung in einem Smartphone, das im Fahrzeuginneren (Armaturenbrett usw.) vorgesehen ist. Die Ausführungsform 2 richtet sich auf den Zweck, den Benutzer vor einem Objekt außerhalb des Fahrzeugs zu warnen, sogar wenn eine Situation, die einen Prognosefehler erhöht, im Fahrzeuginneren eintritt. Das Fahrzeug 1000 und das Anzeigesystem 500 gemäß der Ausführungsform 2 sind vom selben Typ wie diejenigen von 1 und 3. Die nachstehende Beschreibung hebt einen Unterschied zu der vorangehenden Ausführungsform hervor.
7A-7B zeigen schematisch das Innere des Fahrzeugs 1000. 7A ist äquivalent zu 1. Ein Monitor 30 ist auf der linken Seite des Armaturenbretts 10 vorgesehen. Der Monitor 30 kann einen Bildschirm eines Auto-Navigationssystems, einen Fernsehbildschirm usw. anzeigen. Ferner ist der Bildaufnahmebereich der oben beschriebenen Bildaufnahmevorrichtung 100 als ein vorderer Bildaufnahmebereich 600 dargestellt. Der vordere Bildaufnahmebereich 600 ist außerhalb des Fahrzeugs 1000 vorgesehen. Bei der Ausführungsform 2 ist auch eine Bildaufnahmevorrichtung (nicht gezeigt) (im Folgenden „innere Bildaufnahmevorrichtung“) im Inneren des Fahrzeugs 1000 vorgesehen. Der Bildaufnahmebereich der inneren Bildaufnahmevorrichtung ist als ein Bildaufnahmebereich 610 des Fahrzeuginneren dargestellt. Die innere Bildaufnahmevorrichtung ist so vorgesehen, dass der Bildaufnahmebereich 610 des Fahrzeuginneren das Armaturenbrett 10, die Mittelkonsole 20 und den Monitor 30 abdeckt. 7B ist weiter unten beschrieben, und es ist nun wieder Bezug auf 3 genommen.
Zusätzlich zu dem Prozess der Ausführungsform 1 führt das Anzeigesystem 500 den folgenden Prozess durch. Die Eingabeeinheit 210 der Anzeigesteuervorrichtung 200 empfängt ein Video von der inneren Bildaufnahmevorrichtung. Das in dem Video von der inneren Bildaufnahmevorrichtung enthaltene Bild zum aktuellen Zeitpunkt kann als das „vierte Bild“ bezeichnet sein, das eine Szenerie im Fahrzeuginneren zu dem ersten Zeitpunkt (aktuellen Zeitpunkt) einfängt, und das vergangene Bild kann als das „fünfte Bild“ bezeichnet sein, das eine Szenerie im Fahrzeuginneren zu dem zweiten Zeitpunkt einfängt, der dem ersten Zeitpunkt vorausging. Im Allgemeinen enthält ein Video (bewegte Bilder) eine Vielzahl von fünften Bildern (eine Abfolge von Frame-Bildern), die zu verschiedenen Zeitpunkten aufgenommen sind. In der folgenden Beschreibung kann sich der Begriff „fünftes Bild“ auf ein einzelnes Bild oder generisch auf eine Vielzahl von Bildern beziehen. Die Eingabeeinheit 210 gibt eine Vielzahl von Bildern zum Speicher 220, zur Erfassungseinheit 240 und zum Vergleicher 250 aus.
Der Speicher 220 empfängt die Vielzahl von Bildern von der Eingabeeinheit 210. Der Speicher 220 speichert die Vielzahl von Bildern über einen bestimmten Zeitraum und gibt dann die Bilder zum Erzeuger 230 aus. Der Erzeuger 230 empfängt die Vielzahl von Bildern vom Speicher 220. Im Erzeuger 230 ist ein neuronales Netzwerk vorgesehen, wie etwa ein PredNet, und er erzeugt ein Bild, das eine Szenerie im Fahrzeuginneren zu dem ersten Zeitpunkt (im Folgenden „sechstes Bild“) durch ein Eingeben einer Vielzahl von fünften Bildern in das neuronale Netzwerk prognostiziert. Mit anderen Worten, das sechste Bild ist ein Bild, das den ersten Zeitpunkt gleichlaufend mit dem vierten Bild aus dem zu dem zweiten Zeitpunkt aufgenommenen fünften Bild prognostiziert. Der Erzeuger 230 gibt das so erzeugte sechste Bild zum Vergleicher 250 aus.
Die Erfassungseinheit 240 empfängt eine Vielzahl von Bildern von der Eingabeeinheit 210. Die Erfassungseinheit 240 erfasst einen Teilbereich im vierten Bild ausschließlich des vorderen Bildaufnahmebereichs 600, d.h. ein im Fahrzeuginneren enthaltenes Objekt, durch ein Unterziehen des vierten Bildes aus der Vielzahl von Bildern einem Mustervergleichsprozess. Der Teilbereich im vierten Bild ausschließlich des vorderen Bildaufnahmebereichs 600 ist vorab festgelegt. Das Objekt entspricht beispielsweise dem Monitor 30 von 7A. Ferner legt die Erfassungseinheit 240 einen Bereich fest, der das so im vierten Bild erfasste Objekt einkreist (im Folgenden als „Objektanordnungsbereich“ bezeichnet). Die Erfassungseinheit 240 gibt Positionsinformationen über den so festgelegten Objektanordnungsbereich zum Vergleicher 250 aus.
Der Vergleicher 250 empfängt eine Vielzahl von Bildern, und insbesondere das vierte Bild, von der Eingabeeinheit 210, empfängt das sechste Bild vom Erzeuger 230 und empfängt die Positionsinformationen über den Objektanordnungsbereich von der Erfassungseinheit 240. Der Vergleicher 250 erzeugt ein Bild (im Folgenden als „Vergleichsbild“ bezeichnet), das einen Unterschied zwischen dem vierten Bild und dem sechsten Bild zeigt, durch ein Berechnen des Unterschieds in Pixeleinheiten. Wenn es einen Bereich in dem Vergleichsbild gibt, in dem der Unterschied größer ist als ein vorgegebener Schwellenwert, erkennt der Vergleicher 250 diesen Bereich (im Folgenden als „Unterschiedsbereich“ bezeichnet). Ein Unterschiedsbereich könnte ein Bereich sein, in dem der Unterschied zwischen dem vierten Bild und dem sechsten Bild groß ist, das heißt, ein Bereich, in dem der Prognosefehler groß ist. Ferner vergleicht der Vergleicher 250 die Positionsinformationen über den Unterschiedsbereich mit den Positionsinformationen über den Objektanordnungsbereich 430 und erkennt, ob es einen Bereich gibt, in dem sie sich überlappen (im Folgenden „ein Überlappungsbereich“).
7B zeigt einen Fall, in dem die Anzeige auf dem Monitor 30 gegenüber derjenigen von 7A verändert ist. Der Objektanordnungsbereich ist für den Monitor 30 festgelegt, und der Prognosefehler ist groß aufgrund einer Änderung in der Anzeige auf dem Monitor 30. Daher wird der Monitor 30 durch den Vergleicher 250 als ein Überlappungsbereich erkannt. Dies stellt eine Situation dar, in der aufgrund der Änderung in der Anzeige auf dem Monitor 30 die Aufmerksamkeit der Fahrerin/des Fahrers auf den Monitor 30 im Fahrzeuginneren gelenkt wird, sodass leicht ein Übersehen der Person 460 außerhalb des Fahrzeugs 1000 eintritt. Es wird Bezug auf 3 genommen.
Wenn, wie bei der Ausführungsform 1, der Vergleicher 250 einen Überlappungsbereich für die Person 460 erkennt, veranlasst die Anzeigesteuerung 260, dass das Informationsdarstellungsbild 440 so angezeigt wird, dass es dem Überlappungsbereich überlagert ist, wie in 7B gezeigt. Bei diesem Vorgang wird der Anzeigemodus des Informationsdarstellungsbildes abhängig davon verändert, ob es einen Überlappungsbereich für den Monitor 30 gibt. Wenn es einen Überlappungsbereich für den Monitor 30 gibt, wird beispielsweise die Helligkeit des Informationsdarstellungsbildes 440 ausgelegt, höher zu sein, als wenn es keinen Überlappungsbereich für den Monitor 30 gibt. Alternativ kann das Informationsdarstellungsbild 440 zum Blinken gebracht werden, wenn es einen Überlappungsbereich für den Monitor 30 gibt. Ferner kann ein Warnton ausgegeben werden, oder die Helligkeit der Anzeige auf dem Monitor 30 kann gesenkt werden, wenn es einen Überlappungsbereich für den Monitor 30 gibt.
Gemäß dieser Ausführungsform wird der Anzeigemodus des Informationsdarstellungsbildes abhängig davon verändert, ob es einen weiteren Überlappungsbereich im Fahrzeuginneren gibt, für den der Prognosefehler groß ist. Daher kann die Fahrerin/der Fahrer über die Größe eines Prognosefehlers bezüglich eines oder mehrerer Objekte außerhalb des Fahrzeugs sogar in einer Situation gewarnt werden, in der die Aufmerksamkeit der Fahrerin/des Fahrers wegen einer Änderung im Anzeigestatus auf einer oder mehreren im Fahrzeuginneren vorgesehenen Anzeigevorrichtungen wahrscheinlich von außerhalb des Fahrzeugs nach innerhalb des Fahrzeugs abgelenkt wird. Ferner kann das Vorhandensein eines Objekts außerhalb des Fahrzeugs dem Fahrer bekannt gemacht werden, weil die Aufmerksamkeit sogar in einer Situation auf das Informationsdarstellungsbild gelenkt wird, in der es wahrscheinlich ist, dass das Fahrzeuginnere die Aufmerksamkeit der Fahrerin/des Fahrers auf sich zieht.
(Dritte Ausführungsform)
Im Folgenden ist die Ausführungsform 3 beschrieben. Die Ausführungsform 3 stellt eine Variante zur Ausführungsform 1 dar. Die nachstehende Beschreibung hebt einen Unterschied zu der vorangehenden Ausführungsform hervor.
8 zeigt schematisch das Innere des Fahrzeugs 1000 und zeigt eine Ansicht des Inneren des Fahrzeugs 1000 von hinten. Die Figur zeigt eine Anordnung des Inneren mit einem von 1 verschiedenen Muster. Die Anordnung des Inneren des Fahrzeugs 1000 kann eine Kombination von 1 und 8 sein. Eine Instrumentenanzeige 700 ist eine Anzeige zum Anzeigen des Instruments 18 von 1 oder eine zentrale Informationsanzeige (CID), die um das Instrument 18 vorgesehen ist. Ein HUD 702 entspricht dem anzeigefähigen Bereich 50 von 1. Im Folgenden sind das HUD 702 und der anzeigefähige Bereich 50 verwendet, ohne eine Unterscheidung dazwischen zu machen. Das HUD 702 kann ausgestattet sein, ein Bild auf der gesamten Frontscheibe 12 anzuzeigen, wie in 1 gezeigt, oder kann ausgestattet sein, ein Bild auf einem Teil der Frontscheibe 12 anzuzeigen, wie in 8 gezeigt.
Eine Spiegelanzeige 704 ist ein elektronischer Spiegel. Die zentrale Anzeige 706 ist eine in der Mittelkonsole 20 vorgesehene Anzeige. Eine Leuchtdiodenanzeige (LED-Anzeige) 708 besteht aus einer Vielzahl von auf dem Armaturenbrett 10 angeordneten LEDs. Die LED-Anzeige 708 kann aus einer einzigen LED bestehen. Eine erste Säulenanzeige 710a und eine zweite Säulenanzeige 710b, die generisch als Säulenanzeige 710 bezeichnet sind, sind Anzeigen, die jeweils in der linken und der rechten Säule 14 vorgesehen sind. Die Säulenanzeige 710 kann eine LED sein. Ton für eine auditive Wahrnehmung oder eine haptische Anzeige für eine taktile Wahrnehmung können zusätzlich zu diesen Anzeigen vorgesehen sein. Daher können die bisher beschriebenen „Anzeigen“ „Darbietung“ sein. Dasselbe gilt im Folgenden.
Ein Lautsprecher 712 kann Schall ausgeben. Ferner kann eine LED oder ein Vibrator in der Lenkung 16 vorgesehen sein. Ein Aroma-Diffusor kann vorgesehen sein, oder ein Vibrator kann im Sitz vorgesehen sein. Diese Vorrichtungen sind mit der Anzeigesteuervorrichtung 200 (Steuervorrichtung) des Anzeigesystems 500 verbunden.
9 zeigt einen Aufbau des in dem Fahrzeug 1000 eingebauten Anzeigesystems 500. Das Anzeigesystem 500 enthält eine vordere Bildaufnahmevorrichtung 110, eine Anzeigesteuervorrichtung 200, eine Erfassungsvorrichtung 270 und eine Anzeigevorrichtung 300. Die vordere Bildaufnahmevorrichtung 110 ist eine Bildaufnahmevorrichtung 100, die ein Bild einer Szenerie voraus einfängt. Die Anzeigesteuervorrichtung 200 enthält eine Eingabeeinheit 210, einen Speicher 220, einen Erzeuger 230, einen Vergleicher 250 und eine Anzeigesteuerung 260. Die Erfassungseinheit 240 ist in der Anzeigesteuervorrichtung 200 von 3 enthalten, ist aber nicht in der Anzeigesteuervorrichtung 200 von 9 enthalten. Die Erfassungsvorrichtung 270 hat die Funktion der Erfassungseinheit 240 und ist mit der vorderen Bildaufnahmevorrichtung 110 und der Anzeigesteuervorrichtung 200 verbunden. Die Erfassungsvorrichtung 270 ist beispielsweise in Fahrerassistenzsystemen (FAS) enthalten, sodass die Erfassungsvorrichtung 270 als FAS bezeichnet werden kann. Die Anzeigevorrichtung 300 enthält die Instrumentenanzeige 700, das HUD 702, die Spiegelanzeige 704, die zentrale Anzeige 706, die LED-Anzeige 708, die Säulenanzeige 710 usw., die in 8 gezeigt sind.
Wie oben beschrieben, empfängt der Vergleicher 250 das erste Bild von der Eingabeeinheit 210 und empfängt das dritte Bild vom Erzeuger 230. Der Vergleicher 250 empfängt auch Positionsinformationen über den Objektanordnungsbereich 430 von der Erfassungsvorrichtung 270. Der Vergleicher 250 berechnet einen Prognosefehler durch ein Berechnen eines Unterschieds zwischen dem ersten Bild und dem dritten Bild in Pixeleinheiten. Der Prognosefehler kann in Pixeleinheiten abgeleitet werden oder kann in Flächeneinheiten abgeleitet werden, die eine Menge aus einer bestimmten Anzahl von Pixeln enthalten (im Folgenden als „Teilflächen“ bezeichnet). Der Vergleicher 250 leitet einen Prognosefehler für den Objektanordnungsbereich 430 ab, indem er einen integrierten Wert des Prognosefehlers bei den Positionsinformationen über den Objektanordnungsbereich 430 berechnet und dann den integrierten Wert durch die Größe des Objektanordnungsbereichs 430 teilt. Der Vergleicher 250 gibt die Positionsinformationen und den Prognosefehler für den Objektanordnungsbereich 430 zur Anzeigesteuerung 260 aus.
Die Anzeigesteuerung 260 empfängt die Positionsinformationen und den Prognosefehler für den Objektanordnungsbereich 430 vom Vergleicher 250. 10A-10G zeigen eine Übersicht des Betriebs des Anzeigesystems 500. 10A zeigt eine in der Anzeigesteuerung 260 gespeicherte Tabelle. Ein erster Schwellenwert und ein zweiter Schwellenwert (der erste Schwellenwert > der zweite Schwellenwert) sind für den Prognosefehler definiert. Der Prognosefehler ist als „niedrig“ definiert, falls der Prognosefehler gleich oder kleiner ist als der erste Schwellenwert. Ferner ist der Prognosefehler als „mittelhoch“ definiert, falls der Prognosefehler größer ist als der erste Schwellenwert und gleich oder kleiner als der zweite Schwellenwert. Der Prognosefehler ist als „hoch“ definiert, falls der Prognosefehler größer ist als der zweite Schwellenwert. Untereinander verschiedene Farben sind für die jeweiligen Prognosefehlerbereiche definiert. Untereinander verschiedene Helligkeitsniveaus können für die jeweiligen Prognosefehlerbereiche definiert sein. Die Anzeigesteuerung 260 bestimmt die dem empfangenen Prognosefehler entsprechende Farbe durch ein Vergleichen des empfangenen Prognosefehlers mit der Tabelle. 10B-10G sind weiter unten beschrieben, und es ist nun wieder Bezug auf 9 genommen.
Die Anzeigesteuerung 260 erzeugt das Informationsdarstellungsbild 440 unter Verwendung der bestimmten Farbe. Das Warnbild 450 in Ausführungsform 1 entspricht dem Informationsdarstellungsbild 440 mit einem kleinen Prognosefehler. Im Folgenden kann daher das Warnbild 450 als durch das Informationsdarstellungsbild 440 umfasst beschrieben sein. Die Anzeigesteuerung 260 veranlasst die Anzeigevorrichtung 300, das Informationsdarstellungsbild 440 anzuzeigen.
10B-10D zeigen aufgenommene Bilder 400, die in die Eingabeeinheit 210 eingegeben sind. Diese entsprechen dem ersten Bild, das einen Übergang zwischen den Zuständen in 10B-10D darstellt. Das in 10B gezeigte erste Bild enthält das Objekt 410 nicht, wie etwa eine Person. Das Objekt 410 erscheint in dem in 10C gezeigten ersten Bild. In 10D bewegt sich das Objekt 410, das in 10C erschien. 10E zeigt ein Bild, das die Anzeigesteuerung 260 im anzeigefähigen Bereich 50 so anzeigt, dass es 10B entspricht. Da die Person 460 nicht enthalten ist, ist das Warnbild 450 nicht enthalten. 10F zeigt ein Bild, das die Anzeigesteuerung 260 im anzeigefähigen Bereich 50 so anzeigt, dass es 10C entspricht. Da die Person 460 enthalten ist und der Prognosefehler für die Person 460 „hoch“ ist, wird das Informationsdarstellungsbild 440 mit einer Farbe angezeigt, die einem „hohen“ Prognosefehler entspricht. 10G zeigt ein Bild, das die Anzeigesteuerung 260 im anzeigefähigen Bereich 50 so anzeigt, dass es 10D entspricht. Da die Person 460 enthalten ist und der Prognosefehler für die Person 460 „niedrig“ ist, wird das Informationsdarstellungsbild 440 mit einer Farbe angezeigt, die einem „niedrigen“ Prognosefehler entspricht. Das Informationsdarstellungsbild 440 entspricht dem Warnbild 450.
Mit anderen Worten, die Anzeigesteuerung 260 ändert den Anzeigemodus des Informationsdarstellungsbildes 440 gemäß der Größe des Prognosefehlers, der ein Unterschied zwischen dem ersten Bild und dem dritten Bild ist. Daher ändert die Anzeigesteuerung 260 den Anzeigemodus des Informationsdarstellungsbildes 440 sogar, wenn es nur ein Objekt gibt, wie etwa die Person 460. Zum Beispiel ändert die Anzeigesteuerung 260 die Farbe oder die Helligkeit des Informationsdarstellungsbildes 440, wenn sich die Wahrscheinlichkeit eines Übersehens des Objekts ändert. Ferner ändert die Anzeigesteuerung 260 den Anzeigemodus allmählich. Ein mit einer Änderung der Wahrscheinlichkeit des Übersehens des Objekts verknüpfter Auslöser ist beispielshaft angegeben durch ein Verstreichen eines bestimmten Zeitraums seit dem Anzeigen, ein Erfassen eines Blicks, ein Erfassen eines Vermeidungsverhaltens, wie etwa eines Verlangsamens und eines Lenkens in die andere Richtung.
Im Folgenden ist eine Variante beschrieben. Bei der Variante werden das Informationsdarstellungsbild für das durch die Erfassungsvorrichtung 270 erfasste Objekt 410 (im Folgenden als „manifestes Informationsdarstellungsbild“ bezeichnet) und das durch den Prognosefehler bestimmte Informationsdarstellungsbild (im Folgenden „potenzielles Informationsdarstellungsbild“) getrennt angezeigt. Der Vergleicher 250 von 9 empfängt das erste Bild von der Eingabeeinheit 210 und empfängt das dritte Bild vom Erzeuger 230. Ferner empfängt der Vergleicher 250 die Positionsinformationen über den Objektanordnungsbereich 430 von der Erfassungsvorrichtung 270. Wie oben beschrieben, leitet der Vergleicher 250 einen Prognosefehler durch ein Berechnen eines Unterschieds zwischen dem ersten Bild und dem dritten Bild in Pixeleinheiten ab. Der Vergleicher 250 gibt die Positionsinformationen und den abgeleiteten Prognosefehler für den Objektanordnungsbereich 430 zur Anzeigesteuerung 260 aus.
Die Anzeigesteuerung 260 empfängt die Positionsinformationen und den abgeleiteten Prognosefehler für den Objektanordnungsbereich 430 vom Vergleicher 250. 11A-11B zeigen eine Übersicht eines alternativen Betriebs des Anzeigesystems 500. Die Figuren zeigen durch die Anzeigesteuerung 260 im anzeigefähigen Bereich 50 angezeigte Bilder. Mit Bezugnahme auf 11A ist die Person 460 enthalten. Die Positionsinformationen, die die Position angeben, wo sich die Person 460 befindet, stellt die Positionsinformationen auf dem Objektanordnungsbereich 430 dar. Die Anzeigesteuerung 260 ordnet ein manifestes Informationsdarstellungsbild 750 für die Person 460 auf Grundlage der Positionsinformationen auf dem Objektanordnungsbereich 430 an. Das manifeste Informationsdarstellungsbild 750 weist beispielsweise eine elliptische Form auf und ist so vorgesehen, dass es einen Teil der Person 460 überlappt. Ferner ordnet die Anzeigesteuerung 260 ein potenzielles Informationsdarstellungsbild 760 an einer Position an, wo der Prognosefehler größer ist als ein vorbestimmter Wert. In diesem Fall wird das potenzielle Informationsdarstellungsbild 760 mit einer stabähnlichen Form an horizontalen Koordinaten, wo der Prognosefehler größer ist als der vorbestimmte Wert, und an festen vertikalen Koordinaten (z.B. den untersten Koordinaten) angeordnet. Der Anzeigemodus des potenziellen Informationsdarstellungsbildes 760 kann gemäß der Größe des Prognosefehlers unter Verwendung der Tabelle von 10A geändert werden.
Wie 11A enthält 11B die Person 460. Die Anzeigesteuerung 260 ordnet das manifeste Informationsdarstellungsbild 750 für die Person 460 auf Grundlage der Positionsinformationen auf dem Objektanordnungsbereich 430 an. Das manifeste Informationsdarstellungsbild 750 weist eine rahmenähnliche Form auf, die die Person 460 einkreist. Ferner ordnet die Anzeigesteuerung 260 das potenzielle Informationsdarstellungsbild 760 an einer Position an, wo der Prognosefehler größer ist als der vorbestimmte Wert. Das potenzielle Informationsdarstellungsbild 760 weist eine elliptische Form auf.
Im Folgenden ist eine weitere Variante beschrieben. Bei der weiteren Variante wird die Anzeige des potenziellen Informationsdarstellungsbildes gemäß der Gefahr geändert, die mit dem Objekt 410 verknüpft ist. Der Vergleicher 250 von 9 empfängt das erste Bild von der Eingabeeinheit 210 und empfängt das dritte Bild vom Erzeuger 230. Ferner empfängt der Vergleicher 250 die Positionsinformationen über den Objektanordnungsbereich 430 von der Erfassungsvorrichtung 270. Bei diesem Vorgang empfängt der Vergleicher 250 auch Informationen (z.B. TTC [time-to-collision, Zeit bis zum Zusammenstoß]), die den Abstand zwischen dem Objekt 410 und dem Fahrzeug 1000 angeben, von der Erfassungsvorrichtung 270. Die TTC bezeichnet eine Zeit, die vor einem Zusammenstoß verbleibt. Je kleiner der Wert der TTC ist, desto kürzer ist der Abstand zwischen dem Objekt 410 und dem Fahrzeug 1000. Dies stellt eine Erhöhung der mit dem Objekt 410 verknüpften Gefahr dar. Es kann gesagt werden, dass der Wert der TTC das Ergebnis eines Erfassens eines Abstands zwischen dem Fahrzeug 1000 und dem Objekt 410 ist. Zeitlücke (THW) oder Risikowahrnehmung können anstelle der TTC als ein Ergebnis eines Erfassens eines Abstands zwischen dem Fahrzeug 1000 und dem Objekt 410 verwendet werden. THW und Risikowahrnehmung sind weiter unten beschrieben.
Die Anzeigesteuerung 260 empfängt die Positionsinformationen auf dem Objektanordnungsbereich 430, den Wert der TTC und den abgeleiteten Prognosefehler vom Vergleicher 250. 12A-12D zeigen eine Übersicht eines weiteren alternativen Betriebs des Anzeigesystems 500. Die Figuren zeigen durch die Anzeigesteuerung 260 im anzeigefähigen Bereich 50 angezeigte Bilder. 12A zeigt ein durch die Anzeigesteuerung 260 im anzeigefähigen Bereich 50 angezeigtes Bild, wenn der Wert der TTC gleich oder größer als ein vordefinierter Wert ist. Wie in 11A sind das manifeste Informationsdarstellungsbild 750 und das potenzielle Informationsdarstellungsbild 760 enthalten. 12B zeigt ein durch die Anzeigesteuerung 260 im anzeigefähigen Bereich 50 angezeigtes Bild, wenn der Wert der TTC kleiner als der vordefinierte Wert ist, d.h. wenn sich die mit dem Objekt 410 verknüpfte Gefahr erhöht hat. Nur das manifeste Informationsdarstellungsbild 750 wird angezeigt, und das potenzielle Informationsdarstellungsbild 760 wird nicht angezeigt.
12C zeigt ein durch die Anzeigesteuerung 260 im anzeigefähigen Bereich 50 angezeigtes Bild, wenn der Wert der TTC gleich oder größer als der vordefinierte Wert ist. Wie in 11B sind das manifeste Informationsdarstellungsbild 750 und das potenzielle Informationsdarstellungsbild 760 enthalten. 12D zeigt ein durch die Anzeigesteuerung 260 im anzeigefähigen Bereich 50 angezeigtes Bild, wenn der Wert der TTC kleiner als der vordefinierte Wert ist, d.h. wenn sich die mit dem Objekt 410 verknüpfte Gefahr erhöht hat. Nur das manifeste Informationsdarstellungsbild 750 wird angezeigt, und das potenzielle Informationsdarstellungsbild 760 wird nicht angezeigt. Mit anderen Worten, die Anzeige des manifesten Informationsdarstellungsbildes 750 wird priorisiert, wenn die Gefahr droht. Bei diesem Vorgang ist es vorzuziehen, das potenzielle Informationsdarstellungsbild 760 weniger auffällig zu machen, beispielsweise durch ein allmähliches Absenken der Helligkeit.
Gemäß der Ausführungsform wird der Anzeigemodus des Informationsdarstellungsbildes gemäß der Größe des Prognosefehlers geändert, sodass der Benutzer über die Größe des Prognosefehlers gewarnt werden kann, d.h. eine potenzielle Gefahr, die mit einer Szenerie oder einem Objekt verknüpft ist, die/das für Menschen schwierig wahrzunehmen ist. Ferner wird das potenzielle Informationsdarstellungsbild nicht angezeigt oder weniger auffällig gemacht, wenn das manifeste Informationsdarstellungsbild angezeigt wird, sodass die Aufmerksamkeit des Benutzers leicht auf das manifeste Informationsdarstellungsbild gelenkt werden kann.
(Ausführungsform 4)
Im Folgenden ist die Ausführungsform 4 beschrieben. Die Ausführungsform 4 betrifft das Anzeigesystem 500 wie dasjenige der Ausführungsform 3. Bei der Ausführungsform 4 besteht eine Situation, in der die Anzeigesteuervorrichtung 200 den mit dem Objekt 410 verknüpften Wert der TTC von der Erfassungsvorrichtung 270 empfängt, aber es abhängig von dem Wert der TTC nicht notwendig ist, das manifeste Informationsdarstellungsbild anzuzeigen. Das Anzeigesystem 500 gemäß der Ausführungsform 4 ist von demselben Typ wie das von 9. Die nachstehende Beschreibung hebt einen Unterschied zu der vorangehenden Ausführungsform hervor.
Die Erfassungsvorrichtung 270 von 9 erfasst den mit dem Objekt 410 verknüpften Wert der TTC. Wenn der Wert der TTC kleiner ist als der vordefinierte Wert, legt die Erfassungsvorrichtung 270 den Objektanordnungsbereich 430 zum Warnen vor der mit dem Objekt 410 verknüpften Gefahr fest und gibt die Positionsinformationen auf dem Objektanordnungsbereich 430 zur Anzeigesteuervorrichtung 200 aus. Bei diesem Vorgang kann die Erfassungsvorrichtung 270 den Wert der TTC auch zur Anzeigesteuervorrichtung 200 ausgeben. Wenn andererseits der Wert der TTC gleich oder größer als der vordefinierte Wert ist, legt die Erfassungsvorrichtung 270 den Objektanordnungsbereich 430 nicht fest, weil die mit dem Objekt 410 verknüpfte Gefahr nicht niedrig ist. Dies kann als eine Situation bezeichnet werden, in der das Objekt 410 ausreichend von dem Fahrzeug 1000 entfernt ist, um keine Gefahr darzustellen, weil, wie oben beschrieben, der Wert der TTC als das Ergebnis des Erfassens eines Abstands zwischen dem Fahrzeug 1000 und dem Objekt 410 bezeichnet werden kann. Die Erfassungsvorrichtung 270 gibt den Wert der TTC zur Anzeigesteuervorrichtung 200 aus. Die Erfassungseinheit 270 kann die Positionsinformationen über das Objekt 410 zur Anzeigesteuervorrichtung 200 ausgeben.
Der Vergleicher 250 der Anzeigesteuervorrichtung 200 empfängt das erste Bild von der Eingabeeinheit 210 und empfängt das dritte Bild vom Erzeuger 230. Ferner empfängt der Vergleicher 250 die Positionsinformationen über das Objekt 410 und den Wert der TTC von der Erfassungsvorrichtung 270. Der Wert der TTC weist in diesem Fall einen Wert gleich oder größer als der vordefinierte Wert in der Erfassungsvorrichtung 270 auf. Wie oben beschrieben, leitet der Vergleicher 250 einen Prognosefehler ab durch ein Vergleichen des ersten Bildes und des dritten Bildes und ein Berechnen eines Unterschieds zwischen dem ersten Bild und dem dritten Bild in Pixeleinheiten. Insbesondere leitet der Vergleicher 250 einen Prognosefehler für jeden der Bereiche (im Folgenden als „aufgeteilte Bereiche“ bezeichnet) ab, die durch ein Aufteilen des ersten Bildes und des dritten Bildes in zwei gleiche Teile links und rechts abgeleitet sind. Der Vergleicher 250 gibt den Wert der TTC und den abgeleiteten Prognosefehler zur Anzeigesteuerung 260 aus.
Die Anzeigesteuerung 260 empfängt den Wert der TTC und den abgeleiteten Prognosefehler vom Vergleicher 250. 13A-13C zeigen eine Übersicht des Betriebs des Anzeigesystems 500. 13A zeigt eine in der Anzeigesteuerung 260 gespeicherte Tabelle. Ein erster Schwellenwert und ein zweiter Schwellenwert (der erste Schwellenwert < der zweite Schwellenwert) sind für den Prognosefehler definiert. Der Prognosefehler ist als „niedrig“ definiert in dem Fall, dass der Prognosefehler gleich oder kleiner ist als der erste Schwellenwert. Der Prognosefehler ist als „mittelhoch“ definiert in dem Fall, dass der Prognosefehler größer ist als der erste Schwellenwert und gleich oder kleiner ist als der zweite Schwellenwert. Der Prognosefehler ist als „hoch“ definiert in dem Fall, dass der Prognosefehler größer ist als der zweite Schwellenwert.
Ferner sind ein dritter Schwellenwert und ein vierter Schwellenwert (der erste Schwellenwert > der zweite Schwellenwert) für die TTC definiert. Die TTC ist als „lang“ definiert, wenn die TTC länger ist als der dritte Schwellenwert. Ferner ist die TTC als „mittellang“ definiert, wenn die TTC gleich oder kürzer ist als der dritte Schwellenwert und länger als der vierte Schwellenwert. Die TTC ist als „kurz“ definiert, wenn die TTC gleich oder kürzer ist als der vierte Schwellenwert.
Untereinander verschiedene Farben sind für die jeweiligen Kombinationen von Prognosefehler und TTC definiert. Untereinander verschiedene Helligkeitsniveaus können für die jeweiligen Kombinationen definiert sein. Die Anzeigesteuerung 260 bestimmt die Farbe des potenziellen Informationsdarstellungsbildes 760, das der Kombination des Prognosefehlers und des Werts der TTC entspricht, die empfangen sind, durch ein Vergleichen des Prognosefehlers und des Werts der TTC, die empfangen sind, mit der Tabelle. Um es genauer zu beschreiben, durch ein Vergleichen der Kombination des Prognosefehlers und des Werts der TTC für einen der Teilbereiche (im Folgenden als „erster Teilbereich“ bezeichnet) mit der Tabelle wird die dem ersten Teilbereich entsprechende Farbe bestimmt. Ferner wird durch ein Vergleichen der Kombination des Prognosefehlers und des Werts der TTC für den anderen Teilbereich (im Folgenden als „zweiter Teilbereich“ bezeichnet) mit der Tabelle die dem zweiten Teilbereich entsprechende Farbe bestimmt.
13B zeigt ein durch die Anzeigesteuerung 260 im anzeigefähigen Bereich 50 angezeigtes Bild. Der linke Teil des anzeigefähigen Bereichs 50 ist als der erste Teilbereich definiert, und der rechte Teil des anzeigefähigen Bereichs 50 ist als der zweite Teilbereich definiert. 13B enthält die Person 460. Die Anzeigesteuerung 260 zeigt ein erstes potenzielles Informationsdarstellungsbild 760a im ersten Teilbereich an, der die Person 460 enthält, und zeigt ein zweites potenzielles Informationsdarstellungsbild 760b im zweiten Teilbereich an, der die Person 460 nicht enthält. Die wie oben beschrieben bestimmte Farbe wird im ersten potenziellen Informationsdarstellungsbild 760a und im zweiten potenziellen Informationsdarstellungsbild 760b verwendet.
13C zeigt ein durch die Anzeigesteuerung 260 im anzeigefähigen Bereich 50 angezeigtes Bild. 13C enthält die erste Person 460a und die zweite Person 460b. Die Anzeigesteuerung 260 zeigt das erste potenzielle Informationsdarstellungsbild 760a im ersten Teilbereich an, der die erste Person 460a und die zweite Person 460b enthält, und zeigt das zweite potenzielle Informationsdarstellungsbild 760b im zweiten Teilbereich an, der die erste Person 460a und die zweite Person 460b nicht enthält. Der Prognosefehler und der Wert der TTC für die erste Person 460a und die zweite Person 460b von 13B unterscheiden sich von dem Prognosefehler und dem Wert der TTC für die Person 460 von 13B, sodass sich die Farbe des ersten potenziellen Informationsdarstellungsbildes 760a von 13B und die Farbe des ersten potenziellen Informationsdarstellungsbildes 760a von 13A unterscheiden. Mit anderen Worten, die Anzeigesteuerung 260 veranlasst, dass das potenzielle Informationsdarstellungsbild 760 auf Grundlage des Werts der TTC und des Prognosefehlers angezeigt wird. Wenn sich der Wert der TTC oder der Prognosefehler ändert, ändert die Anzeigesteuerung 260 den Anzeigemodus des potenziellen Informationsdarstellungsbildes 760.
Gemäß dieser Variante wird der Anzeigemodus des Informationsdarstellungsbildes geändert, wenn sich der Wert der TTC oder der Prognosefehler ändert, sodass der Benutzer vor einer potenziellen Gefahr gewarnt werden kann, die mit einer Szenerie oder einem Objekt verknüpft ist, die/das für Menschen schwierig wahrzunehmen ist.
(Ausführungsform 5)
Im Folgenden ist die Ausführungsform 5 beschrieben. Die Ausführungsform 5 betrifft das Anzeigesystem 500 wie dasjenige der vorangehenden Ausführungsformen. Bei der Ausführungsform 3 empfängt die Anzeigesteuervorrichtung 200 die Positionsinformationen über den Objektanordnungsbereich 430 und den mit dem Objekt 410 verknüpften Wert der TTC von der Erfassungsvorrichtung 270. Bei der Ausführungsform 5, andererseits, empfängt die Anzeigesteuervorrichtung 200 nur das erfasste Ergebnis, wenn die Erfassungsvorrichtung 270 das Objekt 410 erfasst. In einer derartigen Situation ist es erforderlich, das potenzielle Informationsdarstellungsbild 760 so anzuzeigen, dass es die Anzeige des manifesten Informationsdarstellungsbildes 750 nicht stört. Das Anzeigesystem 500 gemäß der Ausführungsform 5 ist von demselben Typ wie dasjenige von 9. Die nachstehende Beschreibung hebt einen Unterschied zu der vorangehenden Ausführungsform hervor.
Wenn die Erfassungsvorrichtung 270 von 9 das Objekt 410 erfasst, gibt die Erfassungsvorrichtung 270 das Ergebnis des Erfassens des Objekts 410 zur Anzeigesteuervorrichtung 200 aus und veranlasst die Anzeigevorrichtung 300, das manifeste Informationsdarstellungsbild 750 anzuzeigen. Wenn andererseits die Erfassungsvorrichtung 270 das Objekt 410 nicht erfasst, gibt die Erfassungsvorrichtung 270 das Ergebnis des Erfassens des Objekts 410 nicht zur Anzeigesteuervorrichtung 200 aus und veranlasst die Anzeigevorrichtung 300 nicht, das manifeste Informationsdarstellungsbild 750 anzuzeigen.
Der Vergleicher 250 der Anzeigesteuervorrichtung 200 empfängt das erste Bild von der Eingabeeinheit 210 und empfängt das dritte Bild vom Erzeuger 230. Ferner, wenn die Erfassungsvorrichtung 270 das Objekt 410 erfasst, empfängt der Vergleich das Ergebnis des Erfassens des Objekts 410 von der Erfassungsvorrichtung 270. Wie oben beschrieben, leitet der Vergleicher 250 einen Prognosefehler ab durch ein Berechnen eines Unterschieds zwischen dem ersten Bild und dem dritten Bild in Pixeleinheiten. Der Vergleicher 250 gibt den abgeleiteten Prognosefehler zur Anzeigesteuerung 260 aus. Wenn der Vergleicher 250 das Erfassungsergebnis des empfängt, gibt der Vergleicher 250 das Erfassungsergebnis zur Anzeigesteuerung 260 aus.
Die Anzeigesteuerung 260 empfängt den abgeleiteten Prognosefehler vom Vergleicher 250. Die Anzeigesteuerung 260 ordnet ein potenzielles Informationsdarstellungsbild 760 an einer Position, wo der Prognosefehler größer ist als ein vorbestimmter Wert, wie in 11A dargestellt, durch ein Durchführen desselben Vorgangs an, wie er bei der Ausführungsform 3 durchgeführt wird. Mit anderen Worten, die Anzeigesteuerung 260 veranlasst, dass das potenzielle Informationsdarstellungsbild 760 auf Grundlage des Prognosefehlers angezeigt wird, der ein Unterschied zwischen dem ersten Bild und dem dritten Bild ist. Insbesondere veranlasst die Anzeigesteuerung 260 das manifeste Informationsdarstellungsbild 750 im ersten Anzeigemodus, wenn das Erfassungsergebnis empfangen ist, und veranlasst das manifeste Informationsdarstellungsbild 750 im zweiten Anzeigemodus, wenn das Erfassungsergebnis nicht empfangen ist. Hier ist anzumerken, dass der erste Anzeigemodus und der zweite Anzeigemodus verschieden sind.
14 zeigt eine Übersicht des Betriebs des Anzeigesystems 500. In diesem Fall werden die erste Person 460a und die zweite Person 460b durch die Erfassungsvorrichtung 270 als das Objekt 410 erfasst. Daher veranlasst die Erfassungsvorrichtung 270, dass ein erstes manifestes Informationsdarstellungsbild 750a für die erste Person 460a und ein zweites manifestes Informationsdarstellungsbild 750b für die zweite Person 460b im anzeigefähigen Bereich 50 angezeigt wird. Da das Erfassungsergebnis von der Erfassungsvorrichtung 270 empfangen wird, veranlasst die Anzeigesteuerung 260 auch, dass das potenzielle Informationsdarstellungsbild 760 im anzeigefähigen Bereich 50 im ersten Anzeigemodus angezeigt wird. Der erste Anzeigemodus zeigt ein Bild in einer helleren Farbe oder einer niedrigeren Helligkeit an als der zweite Anzeigemodus an. Dies macht das manifeste Informationsdarstellungsbild 750 auffälliger und macht das potenzielle Informationsdarstellungsbild 760 weniger auffällig.
Wenn andererseits die Erfassungsvorrichtung 270 das Objekt 410 nicht erfasst, veranlasst die Erfassungsvorrichtung 270 nicht, dass das manifeste Informationsdarstellungsbild 750 im anzeigefähigen Bereich 50 angezeigt wird. Ferner veranlasst die Anzeigesteuerung 260, dass das potenzielle Informationsdarstellungsbild 760 im anzeigefähigen Bereich 50 im zweiten Anzeigemodus angezeigt wird, weil das Erfassungsergebnis von der Erfassungsvorrichtung 270 nicht empfangen wird.
15A-15B zeigen eine Übersicht eines alternativen Betriebs des Anzeigesystems 500. Mit Bezugnahme auf 15A erfasst die Erfassungsvorrichtung 270 das Objekt 410 nicht. Daher veranlasst die Erfassungsvorrichtung 270 nicht, dass das manifeste Informationsdarstellungsbild 750 im anzeigefähigen Bereich 50 angezeigt wird, und veranlasst, dass das potenzielle Informationsdarstellungsbild 760 im anzeigefähigen Bereich 50 angezeigt wird. Mit Bezugnahme auf 15B erfasst die Erfassungsvorrichtung 270 das Objekt 410. Daher veranlasst die Erfassungsvorrichtung 270, dass das manifeste Informationsdarstellungsbild 750 für die Person 460 im anzeigefähigen Bereich 50 angezeigt wird, und die Anzeigesteuerung 260 veranlasst, dass das potenzielle Informationsdarstellungsbild 760 auf der Instrumentenanzeige 700 angezeigt wird. Mit anderen Worten, wenn das manifeste Informationsdarstellungsbild 750 angezeigt wird, wird das potenzielle Informationsdarstellungsbild 760 auf einer Anzeige angezeigt, die verschieden ist von der Anzeige, die das manifeste Informationsdarstellungsbild 750 anzeigt.
Gemäß dieser Ausführungsform wird der Anzeigemodus des potenziellen Informationsdarstellungsbildes abhängig davon geändert, ob das manifeste Informationsdarstellungsbild angezeigt wird. Daher kann eine Störung zwischen dem manifesten Informationsdarstellungsbild und dem potenziellen Informationsdarstellungsbild vermieden werden.
(Ausführungsform 6)
Im Folgenden ist die Ausführungsform 6 beschrieben. Die Ausführungsform 6 betrifft das Anzeigesystem 500 wie dasjenige der vorangehenden Ausführungsformen. Die oben beschriebene Anzeigesteuervorrichtung 200 enthält die Erfassungseinheit 240 oder ist mit der Erfassungsvorrichtung 270 verbunden. Indessen enthält die Anzeigesteuervorrichtung 200 gemäß der Ausführungsform 6 nicht die Erfassungseinheit 240 und ist nicht mit der Erfassungsvorrichtung 270 verbunden. Die Erfassungsvorrichtung 270 kann das manifeste Informationsdarstellungsbild 750 anzeigen, und die Anzeigesteuerung 260 kann das potenzielle Informationsdarstellungsbild 760 anzeigen. Daher erkennt die Anzeigesteuervorrichtung 200 nicht, ob die Erfassungsvorrichtung 270 das manifeste Informationsdarstellungsbild 750 anzeigt, wenn die Anzeigesteuervorrichtung 200 das potenzielle Informationsdarstellungsbild 760 anzeigt. In einer derartigen Situation ist es erforderlich, das potenzielle Informationsdarstellungsbild 760 so anzuzeigen, dass es die Anzeige des manifesten Informationsdarstellungsbildes 750 nicht stört. Die nachstehende Beschreibung hebt einen Unterschied zu der vorangehenden Ausführungsform hervor.
16 zeigt einen Aufbau des Anzeigesystems 500. Das Anzeigesystem 500 enthält eine vordere Bildaufnahmevorrichtung 110, eine Anzeigesteuervorrichtung 200 und eine Anzeigevorrichtung 300. Die Anzeigesteuervorrichtung 200 enthält eine Eingabeeinheit 210, einen Speicher 220, einen Erzeuger 230, einen Vergleicher 250 und eine Anzeigesteuerung 260. Anders als bei der Anordnung von 9 enthält das Anzeigesystem 500 nicht die Erfassungsvorrichtung 270.
17 zeigt einen alternativen Aufbau des Anzeigesystems 500. Das Anzeigesystem 500 enthält eine hintere Bildaufnahmevorrichtung 120, die Anzeigesteuervorrichtung 200 und die Anzeigevorrichtung 300. Die hintere Bildaufnahmevorrichtung 120 ist die Bildaufnahmevorrichtung 100, die ein Bild hinter dem Fahrzeug 1000 einfängt. Die Anzeigesteuervorrichtung 200 enthält eine Eingabeeinheit 210, einen Speicher 220, einen Erzeuger 230, einen Vergleicher 250 und eine Anzeigesteuerung 260. Anders als bei der Anordnung von 9 enthält das Anzeigesystem 500 nicht die Erfassungsvorrichtung 270.
18A-18B zeigen eine Übersicht des Betriebs des Anzeigesystems 500. 18A zeigt ein im anzeigefähigen Bereich 50 und auf der Instrumentenanzeige 700 angezeigtes Bild. Die Erfassungsvorrichtung 270 erzeugt das manifeste Informationsdarstellungsbild 750 durch ein Erfassen des Objekts 410. Die Erfassungsvorrichtung 270 veranlasst, dass ein erstes manifestes Informationsdarstellungsbild 750a für die erste Person 460a und ein zweites manifestes Informationsdarstellungsbild 750b für die zweite Person 460b im anzeigefähigen Bereich 50 angezeigt wird. Die Anzeigesteuerung 260 der Anzeigesteuervorrichtung 200 veranlasst, dass das potenzielle Informationsdarstellungsbild 760 auf der Instrumentenanzeige 700 auf Grundlage des Prognosefehlers angezeigt wird, der ein Unterschied zwischen dem ersten Bild und dem dritten Bild ist. Das Erzeugen des potenziellen Informationsdarstellungsbildes 760 durch die Anzeigesteuerung 260 geschieht wie bereits beschrieben, und eine Beschreibung davon ist weggelassen. Wenn die Instrumentenanzeige 700 als die erste Anzeigevorrichtung bezeichnet wird, wird der anzeigefähige Bereich 50 als die zweite Anzeigevorrichtung bezeichnet. Die erste Anzeigevorrichtung unterscheidet sich von der zweiten Anzeigevorrichtung.
18B zeigt ein im anzeigefähigen Bereich 50 und auf der Säulenanzeige 710 angezeigtes Bild. Die Erfassungsvorrichtung 270 erzeugt das manifeste Informationsdarstellungsbild 750 durch ein Erfassen des Objekts 410. Die Erfassungsvorrichtung 270 veranlasst, dass ein erstes manifestes Informationsdarstellungsbild 750a für die erste Person 460a und ein zweites manifestes Informationsdarstellungsbild 750b für die zweite Person 460b im anzeigefähigen Bereich 50 angezeigt wird. Die Anzeigesteuerung 260 der Anzeigesteuervorrichtung 200 veranlasst, dass das potenzielle Informationsdarstellungsbild 760 auf der Säulenanzeige 710 auf Grundlage des Prognosefehlers angezeigt wird, der ein Unterschied zwischen dem ersten Bild und dem dritten Bild ist. In diesem Fall wird das potenzielle Informationsdarstellungsbild 760 auf der ersten Säulenanzeige 710a angezeigt. Das Erzeugen des potenziellen Informationsdarstellungsbildes 760 durch die Anzeigesteuerung 260 geschieht wie bereits beschrieben, und eine Beschreibung davon ist weggelassen. Wenn die Säulenanzeige 710 als die erste Anzeigevorrichtung bezeichnet wird, wird der anzeigefähige Bereich 50 als die zweite Anzeigevorrichtung bezeichnet. Die erste Anzeigevorrichtung unterscheidet sich von der zweiten Anzeigevorrichtung.
19 zeigt eine Übersicht des Betriebs eines alternativen Betriebs des Anzeigesystems 500. Die Erfassungsvorrichtung 270 erzeugt das manifeste Informationsdarstellungsbild 750 durch ein Erfassen des Objekts 410. Die Erfassungsvorrichtung 270 veranlasst, dass ein erstes manifestes Informationsdarstellungsbild 750a für die erste Person 460a und ein zweites manifestes Informationsdarstellungsbild 750b für die zweite Person 460b im anzeigefähigen Bereich 50 angezeigt wird. Die Anzeigesteuerung 260 der Anzeigesteuervorrichtung 200 erzeugt einen Ton, der dem potenziellen Informationsdarstellungsbild 760 entspricht (im Folgenden als „potenzieller Informationsdarstellungston“ bezeichnet), auf Grundlage des Prognosefehlers, der ein Unterschied zwischen dem ersten Bild und dem dritten Bild ist. Die Anzeigesteuerung 260 gibt den potenziellen Informationsdarstellungston aus dem Lautsprecher 712 aus. Die Anzeigesteuerung 260 kann in diesem Fall eine Steuerung genannt werden.
Gemäß dieser Ausführungsform werden das manifeste Informationsdarstellungsbild und das potenzielle Informationsdarstellungsbild auf verschiedenen Anzeigevorrichtungen angezeigt, sodass eine Störung zwischen dem manifesten Informationsdarstellungsbild und dem potenziellen Informationsdarstellungsbild vermieden werden kann.
(Ausführungsform 7)
Im Folgenden ist die Ausführungsform 7 beschrieben. Die Ausführungsform 7 betrifft das Anzeigesystem 500 wie dasjenige der vorangehenden Ausführungsformen. Bei der Ausführungsform 7 ist die Anzeigesteuervorrichtung 200 im Fahrzeug 1000 eingebaut, und die Ausführungsform ist nicht einschränkend hinsichtlich dessen, ob die Erfassungseinheit 40 oder die Erfassungsvorrichtung 270 in dem Fahrzeug 1000 eingebaut ist. Es ist daher möglich, das potenzielle Informationsdarstellungsbild 760 anzuzeigen, ungeachtet dessen, ob es möglich ist, das manifeste Informationsdarstellungsbild 750 anzuzeigen. Die Anzeigevorrichtung 300 gemäß der Ausführungsform 7 ist von demselben Typ wie diejenigen von 12 und 17. Die nachstehende Beschreibung hebt einen Unterschied zu der vorangehenden Ausführungsform hervor.
Der Vergleicher 250 der Anzeigesteuervorrichtung 200 leitet einen Prognosefehler, der ein Unterschied zwischen dem ersten Bild und dem dritten Bild ist, durch ein Vergleichen des ersten Bildes und des dritten Bildes ab. Die Anzeigesteuerung 260 veranlasst die Anzeigevorrichtung 300, das potenzielle Informationsdarstellungsbild 760 auf Grundlage des Prognosefehlers anzuzeigen. Wenn sich der Prognosefehler ändert, ändert die Anzeigesteuerung 260 den Anzeigemodus des potenziellen Informationsdarstellungsbildes 760.
20A-20E zeigen eine Übersicht der Anzeige auf der LED-Anzeige 708. 20A zeigt, wie die Anzeigesteuerung 206 die Anzeige steuert, wenn der Prognosefehler im gesamten vorderen Bereich kleiner ist als ein vorgegebener Wert. In diesem Fall ist der Prognosefehler klein, aber das Fehlen des Objekts 410 führt tendenziell dazu, dass die Fahrerin/der Fahrer in der Aufmerksamkeit nachlässt. Daher wird die Fahrerin/der Fahrer durch ein Aufleuchten des mittleren Teils der LED-Anzeige 708 aufgefordert, sich auf das vorausfahrende Fahrzeug zu konzentrieren. 20B zeigt, wie die Anzeigesteuerung 206 die Anzeige steuert, wenn der Prognosefehler im vorderen linken Bereich kleiner ist als ein vorgegebener Wert. In diesem Fall macht das Fehlen des Objekts 410 den Prognosefehler ungleichmäßig und führt tendenziell dazu, die Aufmerksamkeit der Fahrerin/des Fahrers unausgeglichen zu machen. Daher wird die Fahrerin/der Fahrer durch ein Aufleuchten des linken Teils der LED-Anzeige 708 aufgefordert, sich auf den vorderen linken Bereich zu konzentrieren.
20C zeigt, wie die Anzeigesteuerung 260 die Anzeige steuert, wenn der Prognosefehler im vorderen rechten Bereich kleiner ist als der Prognosefehler im vorderen linken Bereich und der Prognosefehler im vorderen linken Bereich kleiner ist als ein vorgegebener Wert. In diesem Fall leuchten der linke Teil und der rechte Teil der LED-Anzeige 708 in verschiedenen Farben auf. 20D zeigt, wie die Anzeigesteuerung 260 die Anzeige steuert, wenn der Prognosefehler im vorderen linken Bereich größer ist als ein vorgegebener Wert. In diesem Fall kann die Wahrnehmung der Fahrerin/des Fahrers beim Fehlen des Objekts 410 nicht nachkommen. Daher wird die Fahrerin/der Fahrer durch ein Aufleuchten des linken Teils der LED-Anzeige 708 aufgefordert, sich auf den vorderen linken Bereich zu konzentrieren. 20E zeigt, wie die Anzeigesteuerung 260 die Anzeige steuert, wenn der Prognosefehler im gesamten vorderen Bereich größer ist als ein vorgegebener Wert. In diesem Fall ist die Belastung der Fahrerin/des Fahrers übermäßig groß. (Die Anforderung an die Fahrerin/den Fahrer ist übermäßig hoch.) Daher wird die Fahrerin/der Fahrer durch ein Aufleuchten der gesamten LED-Anzeige 708 aufgefordert, zu verzögern oder zu verlangsamen.
21A-21D zeigen die Einzelheiten der Anzeige auf der LED-Anzeige 708. 21A zeigt Farben, in denen die LED-Anzeige 708 aufleuchtet. Die LED-Anzeige 708 kann in einer beliebigen Farbe aus Rot, Orange und Grün aufleuchten. Die LED-Anzeige 708 kann auch nicht leuchten. 21B zeigt die Steuerung, um die LED-Anzeige 708 blinken zu lassen. Die LED-Anzeige 708 blinkt durch ein Wiederholen des leuchtenden Zustands mit einer Helligkeit „100“ und des erloschenen Zustands mit einer Helligkeit „0“. Der Prozentanteil des Leuchtzeitraums an der Blinkperiode ist als eine relative Einschaltdauer definiert. Die relative Einschaltdauer kann verändert werden, wie im oberen und im unteren Teil gezeigt.
21C zeigt eine Anordnung, in der eine erste Farbe 770 und eine zweite Farbe 772 alternierend in der LED-Anzeige 708 angeordnet sind. Die erste Farbe 770 und die zweite Farbe 772 sind voneinander verschiedene Farben. Wie im oberen Teil und im unteren Teil gezeigt, können die Positionen der ersten Farbe 770 und der zweiten Farbe 772 vertauscht werden. 21D zeigt eine Steuerung zum Ändern der Farbe der LED-Anzeige 708. Die LED-Anzeige 708 leuchtet auf, wobei sie die erste Farbe 770 und die zweite Farbe 772 wiederholt. Die Leuchtzeit der ersten Farbe 770 und die Leuchtzeit der zweiten Farbe 772 können gleich sein.
22A-22E zeigen eine Übersicht der Anzeige auf dem HUD 702. 22A zeigt, wie die Anzeigesteuerung 206 die Anzeige steuert, wenn der Prognosefehler im gesamten vorderen Bereich kleiner ist als ein vorgegebener Wert. In diesem Fall ist der Prognosefehler klein, aber das Fehlen des Objekts 410 führt tendenziell dazu, dass die Fahrerin/der Fahrer in der Aufmerksamkeit nachlässt. Daher wird die Fahrerin/der Fahrer durch ein Aufleuchten des ersten potenziellen Informationsdarstellungsbildes 760a im linken Teil des HUD 702 und des zweiten potenziellen Informationsdarstellungsbildes 760b im rechten Teil aufgefordert, sich auf das vorausfahrende Fahrzeug zu konzentrieren. Ferner kann das potenzielle Informationsdarstellungsbild 760 im unteren Teil des HUD 702 aufleuchten. 22B zeigt, wie die Anzeigesteuerung 206 die Anzeige steuert, wenn der Prognosefehler im vorderen linken Bereich kleiner ist als ein vorgegebener Wert. In diesem Fall macht das Fehlen des Objekts 410 den Prognosefehler ungleichmäßig und führt tendenziell dazu, die Aufmerksamkeit der Fahrerin/des Fahrer unausgeglichen zu machen. Daher wird die Fahrerin/der Fahrer durch ein Aufleuchten des potenziellen Informationsdarstellungsbildes im linken Teil des HUD 702 aufgefordert, sich auf den vorderen linken Bereich zu konzentrieren. Das potenzielle Informationsdarstellungsbild 760 kann vertikal länglich oder horizontal länglich sein.
22C zeigt, wie die Anzeigesteuerung 260 die Anzeige steuert, wenn der Prognosefehler im vorderen rechten Bereich kleiner ist als der Prognosefehler im vorderen linken Bereich und der Prognosefehler im vorderen linken Bereich kleiner ist als ein vorgegebener Wert. In diesem Fall leuchten das erste potenzielle Informationsdarstellungsbild 760a im linken Teil des HUD 702 und das zweite potenzielle Informationsdarstellungsbild 760b im rechten Teil in verschiedenen Farben auf. Das potenzielle Informationsdarstellungsbild 760 kann vertikal länglich oder horizontal länglich sein. 22D zeigt, wie die Anzeigesteuerung 260 die Anzeige steuert, wenn der Prognosefehler im vorderen linken Bereich größer ist als ein vorgegebener Wert. In diesem Fall kann die Wahrnehmung der Fahrerin/des Fahrers beim Fehlen des Objekts 410 nicht nachkommen. Daher wird die Fahrerin/der Fahrer durch ein Aufleuchten des potenziellen Informationsdarstellungsbildes 760 im linken Teil des HUD 702 in der ersten Farbe 770 und der zweiten Farbe 772 aufgefordert, sich auf den vorderen linken Bereich zu konzentrieren. Das potenzielle Informationsdarstellungsbild 760 kann vertikal länglich oder horizontal länglich sein. 22E zeigt, wie die Anzeigesteuerung 260 die Anzeige steuert, wenn der Prognosefehler im gesamten vorderen Bereich größer ist als ein vorgegebener Wert. In diesem Fall ist die Belastung der Fahrerin/des Fahrers übermäßig groß. (Die Anforderung an die Fahrerin/den Fahrer ist übermäßig hoch.) Daher wird die Fahrerin/der Fahrer durch ein Aufleuchten des potenziellen Informationsdarstellungsbildes 760 mit einer Rahmenform entlang der Kante des HUD 702 aufgefordert, zu verzögern oder zu verlangsamen.
23A-23D zeigen die Einzelheiten der Anzeige auf dem HUD 702. 23A zeigt Farben, in denen das potenzielle Informationsdarstellungsbild 760 im HUD 702 aufleuchtet. Das HUD 702 kann in einer beliebigen Farbe aus Rot, Orange und Grün aufleuchten. Das HUD 702 kann auch nicht leuchten. 23B zeigt die Steuerung, um das potenzielle Informationsdarstellungsbild 760 im HUD 702 blinken zu lassen. Das HUD 702 blinkt durch ein Wiederholen des leuchtenden Zustands mit einer Helligkeit „100“ und des erloschenen Zustands mit einer Helligkeit „0“. Der Prozentanteil des Leuchtzeitraums an der Blinkperiode ist als eine relative Einschaltdauer definiert. Die relative Einschaltdauer kann verändert werden, wie im oberen und im unteren Teil gezeigt.
23C zeigt eine Anordnung, in der eine erste Farbe 770 und eine zweite Farbe 772 alternierend in dem potenziellen Informationsdarstellungsbild 760 auf dem HUD 702 angeordnet sind. Die erste Farbe 770 und die zweite Farbe 772 sind voneinander verschiedene Farben. Wie im oberen Teil und im unteren Teil gezeigt, können die Positionen der ersten Farbe 770 und der zweiten Farbe 772 vertauscht werden. 23D zeigt die Steuerung, um die Farbe des potenziellen Informationsdarstellungsbildes 760 auf dem HUD 702 zu ändern. Das HUD 702 leuchtet auf, wobei es die erste Farbe 770 und die zweite Farbe 772 wiederholt. Die Leuchtzeit der ersten Farbe 770 und die Leuchtzeit der zweiten Farbe 772 können gleich sein.
24A-24B zeigen einen Aufbau der Instrumentenanzeige 700. 24A zeigt, dass die Instrumentenanzeige 700, die eine Informationszentrale ist, zwischen einem ersten Instrument 720a und einem zweiten Instrument 720b vorgesehen ist, die horizontal angeordnet sind. 24B zeigt, dass ein erstes Instrumentenbild 722a und ein zweites Instrumentenbild 722b auf der Instrumentenanzeige 700 dargestellt sind.
25A-25E zeigen eine Übersicht der Anzeige auf der Instrumentenanzeige 700. 25A zeigt, wie die Anzeigesteuerung 206 die Anzeige steuert, wenn der Prognosefehler im gesamten vorderen Bereich kleiner ist als ein vorgegebener Wert. In diesem Fall ist der Prognosefehler klein, aber das Fehlen des Objekts 410 führt tendenziell dazu, dass die Fahrerin/der Fahrer in der Aufmerksamkeit nachlässt. Daher wird die Fahrerin/der Fahrer durch ein Aufleuchten des ersten potenziellen Informationsdarstellungsbildes 760a im linken Teil der Instrumentenanzeige 700 und des zweiten potenziellen Informationsdarstellungsbildes 760b im rechten Teil aufgefordert, sich auf das vorausfahrende Fahrzeug zu konzentrieren. Ferner kann das potenzielle Informationsdarstellungsbild 760 im unteren Teil der Instrumentenanzeige 700 aufleuchten. 25B zeigt, wie die Anzeigesteuerung 206 die Anzeige steuert, wenn der Prognosefehler im vorderen linken Bereich kleiner ist als ein vorgegebener Wert. In diesem Fall macht das Fehlen des Objekts 410 den Prognosefehler ungleichmäßig und führt tendenziell dazu, die Aufmerksamkeit der Fahrerin/des Fahrers unausgeglichen zu machen. Daher wird die Fahrerin/der Fahrer durch ein Aufleuchten des potenziellen Informationsdarstellungsbildes 760 im linken Teil der Instrumentenanzeige 700 aufgefordert, sich auf den vorderen linken Bereich zu konzentrieren. Das potenzielle Informationsdarstellungsbild 760 kann vertikal länglich oder horizontal länglich sein.
25C zeigt, wie die Anzeigesteuerung 260 die Anzeige steuert, wenn der Prognosefehler im vorderen rechten Bereich kleiner ist als der Prognosefehler im vorderen linken Bereich und der Prognosefehler im vorderen linken Bereich kleiner ist als ein vorgegebener Wert. In diesem Fall leuchten das erste potenzielle Informationsdarstellungsbild 760a im linken Teil der Instrumentenanzeige 702 und das zweite potenzielle Informationsdarstellungsbild 760b im rechten Teil in verschiedenen Farben auf. Das potenzielle Informationsdarstellungsbild 760 kann vertikal länglich oder horizontal länglich sein. 25D zeigt, wie die Anzeigesteuerung 260 die Anzeige steuert, wenn der Prognosefehler im vorderen linken Bereich größer ist als ein vorgegebener Wert. In diesem Fall kann die Wahrnehmung der Fahrerin/des Fahrers beim Fehlen des Objekts 410 nicht nachkommen. Daher wird die Fahrerin/der Fahrer durch ein Aufleuchten des potenziellen Informationsdarstellungsbildes 760 im linken Teil der Instrumentenanzeige 700 in der ersten Farbe 770 und der zweiten Farbe 772 aufgefordert, sich auf den vorderen linken Bereich zu konzentrieren. Das potenzielle Informationsdarstellungsbild 760 kann vertikal länglich oder horizontal länglich sein. 25E zeigt, wie die Anzeigesteuerung 260 die Anzeige steuert, wenn der Prognosefehler im gesamten vorderen Bereich größer ist als ein vorgegebener Wert. In diesem Fall ist die Belastung der Fahrerin/des Fahrers übermäßig groß. (Die Anforderung an die Fahrerin/den Fahrer ist übermäßig hoch.) Daher wird die Fahrerin/der Fahrer durch ein Aufleuchten des potenziellen Informationsdarstellungsbildes 760 mit einer Rahmenform entlang der Kante der Instrumentenanzeige 700 aufgefordert, zu verzögern oder zu verlangsamen.
26A-26E zeigen eine Übersicht der Anzeige auf der Säulenanzeige 710. 26A zeigt, wie die Anzeigesteuerung 206 die Anzeige steuert, wenn der Prognosefehler im gesamten vorderen Bereich kleiner ist als ein vorgegebener Wert. In diesem Fall ist der Prognosefehler klein, aber das Fehlen des Objekts 410 führt tendenziell dazu, dass die Fahrerin/der Fahrer in der Aufmerksamkeit nachlässt. Daher wird die Fahrerin/der Fahrer durch ein Aufleuchten des ersten potenziellen Informationsdarstellungsbildes 760a auf der ersten Säulenanzeige 710a und ein Aufleuchten des zweiten potenziellen Informationsdarstellungsbildes 760b auf der zweiten Säulenanzeige 710b aufgefordert, sich auf das vorausfahrende Fahrzeug zu konzentrieren. 26B zeigt, wie die Anzeigesteuerung 206 die Anzeige steuert, wenn der Prognosefehler im vorderen linken Bereich kleiner ist als ein vorgegebener Wert. In diesem Fall macht das Fehlen des Objekts 410 den Prognosefehler ungleichmäßig und führt tendenziell dazu, die Aufmerksamkeit der Fahrerin/des Fahrers unausgeglichen zu machen. Daher wird die Fahrerin/der Fahrer durch ein Aufleuchten des potenziellen Informationsdarstellungsbildes 760 auf der ersten Säulenanzeige 710a aufgefordert, sich auf den vorderen linken Bereich zu konzentrieren. In der zweiten Säulenanzeige 710b leuchtet das potenzielle Informationsdarstellungsbild 760 nicht auf.
26C zeigt, wie die Anzeigesteuerung 260 die Anzeige steuert, wenn der Prognosefehler im vorderen rechten Bereich kleiner ist als der Prognosefehler im vorderen linken Bereich und der Prognosefehler im vorderen linken Bereich kleiner ist als ein vorgegebener Wert. In diesem Fall leuchten das erste potenzielle Informationsdarstellungsbild 760a auf der ersten Säulenanzeige 710a und das zweite potenzielle Informationsdarstellungsbild 760b auf der zweiten Säulenanzeige 710b in verschiedenen Farben auf. 26D zeigt, wie die Anzeigesteuerung 260 die Anzeige steuert, wenn der Prognosefehler im vorderen linken Bereich größer ist als ein vorgegebener Wert. In diesem Fall kann die Wahrnehmung der Fahrerin/des Fahrers beim Fehlen des Objekts 410 nicht nachkommen. Daher wird die Fahrerin/der Fahrer durch ein Aufleuchten des potenziellen Informationsdarstellungsbildes 760 auf der ersten Säulenanzeige 710a in der ersten Farbe 770 und der zweiten Farbe 772 aufgefordert, sich auf den vorderen linken Bereich zu konzentrieren. 26E zeigt, wie die Anzeigesteuerung 260 die Anzeige steuert, wenn der Prognosefehler im gesamten vorderen Bereich größer ist als ein vorgegebener Wert. In diesem Fall ist die Belastung der Fahrerin/des Fahrers übermäßig groß. (Die Anforderung an die Fahrerin/den Fahrer ist übermäßig hoch.) Daher wird die Fahrerin/der Fahrer durch ein Aufleuchten des ersten potenziellen Informationsdarstellungsbildes 760a auf der ersten Säulenanzeige 710a und ein Aufleuchten des zweiten potenziellen Informationsdarstellungsbildes 760b auf der zweiten Säulenanzeige 710b aufgefordert, zu verzögern oder zu verlangsamen.
27A-27E zeigen eine Übersicht der Anzeige auf der Spiegelanzeige 704. 27A zeigt, wie die Anzeigesteuerung 206 die Anzeige steuert, wenn der Prognosefehler im gesamten vorderen Bereich kleiner ist als ein vorgegebener Wert. In diesem Fall ist der Prognosefehler klein, aber das Fehlen des Objekts 410 führt tendenziell dazu, dass die Fahrerin/der Fahrer in der Aufmerksamkeit nachlässt. Daher wird die Fahrerin/der Fahrer durch ein Aufleuchten des ersten potenziellen Informationsdarstellungsbildes 760a im linken Teil der Spiegelanzeige 740 und des zweiten potenziellen Informationsdarstellungsbildes 760b im rechten Teil aufgefordert, sich auf das vorausfahrende Fahrzeug zu konzentrieren. Ferner kann das potenzielle Informationsdarstellungsbild 760 im unteren Teil der Spiegelanzeige 704 aufleuchten. 27B zeigt, wie die Anzeigesteuerung 206 die Anzeige steuert, wenn der Prognosefehler im vorderen linken Bereich kleiner ist als ein vorgegebener Wert. In diesem Fall macht das Fehlen des Objekts 410 den Prognosefehler ungleichmäßig und führt tendenziell dazu, die Aufmerksamkeit der Fahrerin/des Fahrers unausgeglichen zu machen. Daher wird die Fahrerin/der Fahrer durch ein Aufleuchten des potenziellen Informationsdarstellungsbildes 760 im linken Teil der Spiegelanzeige 704 aufgefordert, sich auf den vorderen linken Bereich zu konzentrieren. Das potenzielle Informationsdarstellungsbild 760 kann vertikal länglich oder horizontal länglich sein.
27C zeigt, wie die Anzeigesteuerung 260 die Anzeige steuert, wenn der Prognosefehler im vorderen rechten Bereich kleiner ist als der Prognosefehler im vorderen linken Bereich und der Prognosefehler im vorderen linken Bereich kleiner ist als ein vorgegebener Wert. In diesem Fall leuchten das erste potenzielle Informationsdarstellungsbild 760a im linken Teil der Spiegelanzeige 704 und das zweite potenzielle Informationsdarstellungsbild 760b im rechten Teil in verschiedenen Farben auf. Das potenzielle Informationsdarstellungsbild 760 kann vertikal länglich oder horizontal länglich sein. 27D zeigt, wie die Anzeigesteuerung 260 die Anzeige steuert, wenn der Prognosefehler im vorderen linken Bereich größer ist als ein vorgegebener Wert. In diesem Fall kann die Wahrnehmung der Fahrerin/des Fahrers beim Fehlen des Objekts 410 nicht nachkommen. Daher wird die Fahrerin/der Fahrer durch ein Aufleuchten des potenziellen Informationsdarstellungsbildes 760 im linken Teil der Spiegelanzeige 704 in der ersten Farbe 770 und der zweiten Farbe 772 aufgefordert, sich auf den vorderen linken Bereich zu konzentrieren. Das potenzielle Informationsdarstellungsbild 760 kann vertikal länglich oder horizontal länglich sein. 27E zeigt, wie die Anzeigesteuerung 260 die Anzeige steuert, wenn der Prognosefehler im gesamten vorderen Bereich größer ist als ein vorgegebener Wert. In diesem Fall ist die Belastung der Fahrerin/des Fahrers übermäßig groß. (Die Anforderung an die Fahrerin/den Fahrer ist übermäßig hoch.) Daher wird die Fahrerin/der Fahrer durch ein Aufleuchten des potenziellen Informationsdarstellungsbildes 760 mit einer Rahmenform entlang der Kante der Spiegelanzeige 704 aufgefordert, zu verzögern oder zu verlangsamen.
Gemäß der Ausführungsform wird der Anzeigemodus des Informationsdarstellungsbildes geändert, wenn sich der Prognosefehler ändert, sodass es möglich ist, Informationen zum Mitteilen einer potenziellen Gefahr vorzusehen, die mit einer Szenerie oder einem Objekt verknüpft ist, die/das für Menschen schwierig wahrzunehmen ist.
Die Ausführungsformen gemäß der vorliegenden Offenbarung sind detailliert unter Bezugnahme auf die Zeichnung beschrieben. Die Funktionen der oben beschriebenen Vorrichtungen und Verarbeitungseinheiten können jedoch auch durch ein Computerprogramm realisiert werden. Ein Computer, der die oben beschriebenen Funktionen mittels eines Programms realisiert, ist versehen mit: einer Eingabevorrichtung, wie etwa einer Tastatur, Maus und einem Berührungsbildschirm; einer Ausgabevorrichtung, wie etwa einem Bildschirm oder einem Lautsprecher; einer Zentraleinheit (CPU); einer Speichervorrichtung, wie etwa einem ROM, RAM, einem Festplattenlaufwerk oder einem Halbleiterlaufwerk (SSD); einem Lesegerät, das Informationen aus einem Aufzeichnungsmedium, wie etwa einem Digital Versatile Disk Read Only Memory (DVD-ROM) oder einem USB-Speicher ausliest; einer Netzwerkkarte, die über ein Netzwerk kommuniziert. Die Komponenten sind über einen Bus miteinander verbunden.
Das Lesegerät liest das Programm aus dem Aufzeichnungsmedium aus, auf dem das Programm gespeichert ist, und veranlasst die Speichervorrichtung, das ausgelesene Programm zu speichern. Alternativ kann die Netzwerkkarte mit einer mit dem Netzwerk verbundenen Servervorrichtung kommunizieren und die Speichervorrichtung veranlassen, das von der Servervorrichtung heruntergeladene Programm zu speichern und die Funktionen der Vorrichtungen zu realisieren. Die CPU kopiert das in der Speichervorrichtung gespeicherte Programm ins RAM, und die Funktionen der oben beschriebenen Vorrichtungen werden realisiert, indem im Programm enthaltene Befehle nacheinander aus dem RAM ausgelesen und die Befehle ausgeführt werden.
Eine Anzeigesteuervorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung enthält: eine Eingabeeinheit, die ein erstes Bild empfängt, das eine Szenerie vor einem Fahrzeug oder eine Szenerie vor einem Benutzer an Bord eines Fahrzeugs zu einem ersten Zeitpunkt einfängt; einen Erzeuger, der ein drittes Bild, das ein Ergebnis der Prognose der Szenerie voraus zu dem ersten Zeitpunkt zeigt, auf Grundlage eines zweiten Bildes erzeugt, das die Szenerie voraus zu einem zweiten Zeitpunkt einfängt, der dem ersten Zeitpunkt vorausging; und eine Anzeigesteuerung, die eine Informationsdarstellung auf Grundlage eines Ergebnisses eines Vergleichs zwischen dem ersten Bild und dem dritten Bild unter Verwendung eines vorgegebenen Kriteriums steuert.
Gemäß dieser Ausführungsform wird das Informationsdarstellungsbild auf Grundlage des Ergebnisses des Vergleichs zwischen dem ersten Bild und dem dritten Bild angezeigt, sodass es möglich ist, den Benutzer zu warnen, während auch die Irritation über die Anzeige reduziert wird.
Das vorgegebene Kriterium kann sein:

„Der Unterschied zwischen dem ersten Bild und dem dritten Bild ist größer als ein vorgegebener Schwellenwert (z.B. der erste Schwellenwert)“;
„der Unterschied zwischen dem ersten Bild und dem dritten Bild ist kleiner als ein vorgegebener Schwellenwert (z.B. der zweite Schwellenwert)“;
„ein Zustand, in dem der Unterschied zwischen dem ersten Bild und dem dritten Bild größer (oder kleiner) ist als ein vorgegebener Schwellenwert (z.B. der erste Schwellenwert), besteht über einen vorgegebenen Zeitraum oder länger“;
„wenn die Verteilung von Unterschiedswerten zwischen Pixeln des ersten Bildes und des dritten Bildes eine besondere Verteilung ist“; oder
„der Streuungswert des Unterschieds, der erlangt ist durch ein Vergleichen einer Reihe von ersten Bildern und einer Reihe von dritten Bildern in einer Zeiteinheit, wird größer als ein dritter Schwellenwert (oder wird kleiner als der dritte Schwellenwert)“ usw.

Die Anzeigesteuervorrichtung enthält ferner: einen Vergleicher, der das erste Bild und das dritte Bild unter Verwendung des vorgegebenen Kriteriums vergleicht. In diesem Fall werden das erste Bild und das dritte Bild unter Verwendung eines vorgegebenen Kriteriums verglichen, sodass ein Unterschied oder ein Fehlen davon erkannt werden kann.
Das vorgegebene Kriterium besteht darin, ob ein Unterschied zwischen dem ersten Bild und dem dritten Bild größer ist als ein erster Schwellenwert; der Vergleicher erkennt einen ersten Bereich, in dem der Unterschied zwischen dem ersten Bild und dem dritten Bild größer ist als der erste Schwellenwert, und der einen Bildaufnahmebereich eines ersten Objekts enthält, und die Informationsdarstellung ist ein Bild, das vor dem ersten Bereich oder dem ersten Objekt warnt. In diesem Fall wird das Informationsdarstellungsbild, das den ersten Bereich enthält, in dem der Unterschied zwischen dem ersten Bild und dem dritten Bild größer ist als der Schwellenwert, und in dem das erste Bild das erste Objekt enthält, so angezeigt, dass es möglich ist, den Benutzer zu warnen, während auch die Irritation über die Anzeige reduziert wird.
Die Anzeigesteuerung kann einen Anzeigemodus der Informationsdarstellung gemäß einer Größe des Unterschieds zwischen dem ersten Bild und dem dritten Bild ändern. In diesem Fall wird der Anzeigemodus des Informationsdarstellungsbildes gemäß der Größe des Unterschieds geändert, sodass es möglich ist, die Größe des Prognosefehlers mitzuteilen, d.h. eine potenzielle Gefahr, die mit einer Szenerie oder einem Objekt verknüpft ist, die/das für Menschen schwierig wahrzunehmen ist.
Die Anzeigesteuerung veranlasst, dass die Informationsdarstellung so angezeigt wird, dass die Informationsdarstellung dem durch den Vergleicher erkannten ersten Bereich überlagert wird. In diesem Fall wird das Informationsdarstellungsbild so angezeigt, dass es dem erkannten ersten Bereich überlagert ist, sodass das Objekt, vor dem der Benutzer durch das Informationsdarstellungsbild gewarnt wird, leicht erkennbar gemacht werden kann.
Die Anzeigesteuerung veranlasst, dass die Informationsdarstellung in einem Teilbereich aus einer Vielzahl von Teilbereichen angezeigt wird, die abgeleitet sind durch ein Aufteilen eines anzeigefähigen Bereiches, der den durch den Vergleicher erkannten ersten Bereich enthält. In diesem Fall wird das Informationsdarstellungsbild in dem Teilbereich angezeigt, der den erkannten ersten Bereich enthält, sodass der Vorgang vereinfacht sein kann.
Das erste Bild, das zweite Bild und das dritte Bild sind Bilder einer Szenerie vor dem Fahrzeug, die Eingabeeinheit empfängt ein viertes Bild, das eine Szenerie in einem Fahrzeuginneren des Fahrzeugs zu einem ersten Zeitpunkt einfängt, der Erzeuger erzeugt ein sechstes Bild, das eine Szenerie im Fahrzeuginneren zu dem ersten Zeitpunkt aus einem fünften Bild prognostiziert, das eine Szenerie im Fahrzeuginneren zu dem zweiten Zeitpunkt einfängt, der Vergleicher erkennt, ob es einen zweiten Bereich gibt, in dem ein Unterschied zwischen dem vierten Bild und dem sechsten Bild größer ist als ein zweiter Schwellenwert, und der ein zweites Objekt enthält, und die Anzeigesteuerung ändert einen Anzeigemodus der Informationsdarstellung abhängig davon, ob der zweite Bereich erkannt ist. In diesem Fall wird der Anzeigemodus der Informationsdarstellung abhängig davon geändert, ob es einen zweiten Bereich gibt, in dem der Unterschied zwischen dem vierten Bild und dem sechsten Bild größer ist als ein zweiter Schwellenwert, und in dem das vierte Bild das zweite Objekt enthält, sodass der Benutzer gewarnt werden kann.
Der zweite Schwellenwert könnte ein von dem ersten Schwellenwert verschiedener Wert sein. Der zweite Schwellenwert kann an den ersten Schwellenwert angepasst definiert sein. Ferner kann der zweite Schwellenwert gemäß dem ersten Schwellenwert und einer vorgegebenen Berechnungsformel definiert sein.
Die Anzeigesteuervorrichtung kann ferner enthalten: einen Vergleicher, der das erste Bild und das dritte Bild vergleicht. Die Anzeigesteuerung kann ein Ergebnis eines Erfassens eines Abstands zwischen dem Fahrzeug und dem Objekt empfangen und veranlassen, dass die Informationsdarstellung auf Grundlage des Abstands und eines Unterschieds zwischen dem ersten Bild und dem dritten Bild angezeigt wird, die durch den Vergleicher verglichen wurden, und die Anzeigesteuerung kann einen Anzeigemodus der Informationsdarstellung ändern, wenn sich der Abstand oder der Unterschied zwischen dem ersten Bild und dem dritten Bild ändert. In diesem Fall wird der Anzeigemodus des Informationsdarstellungsbildes geändert, wenn sich der Unterschied zwischen dem ersten Bild und dem dritten Bild ändert, sodass es möglich ist, eine potenzielle Gefahr mitzuteilen, die mit einer Szenerie oder einem Objekt verknüpft ist, die/das für Menschen schwierig wahrzunehmen ist.
Die Anzeigesteuervorrichtung kann ferner enthalten: einen Vergleicher, der das erste Bild und das dritte Bild vergleicht. Die Anzeigesteuerung kann auf Grundlage eines Unterschieds zwischen dem ersten Bild und dem dritten Bild, die durch den Vergleicher verglichen wurden, veranlassen, dass ein potenzielles Informationsdarstellungsbild zum Mitteilen einer potenziellen Gefahr angezeigt wird, die mit einer Szenerie oder einem Objekt verknüpft ist, die/das für Menschen schwierig wahrzunehmen ist, die Anzeigesteuerung kann veranlassen, dass das potenzielle Informationsdarstellungsbild in einem ersten Anzeigemodus angezeigt wird, wenn ein Ergebnis des Erfassens eines Objekts empfangen wird, und veranlassen, dass das potenzielle Informationsdarstellungsbild in einem zweiten Anzeigemodus angezeigt wird, wenn ein Ergebnis des Erfassens eines Objekts nicht empfangen wird, und ein manifestes Informationsdarstellungsbild zum Mitteilen einer manifesten Gefahr kann angezeigt werden, wenn ein Ergebnis des Erfassens eines Objekts empfangen wird, und der erste Anzeigemodus und der zweite Anzeigemodus können verschieden sein. In diesem Fall werden das offenkundige Informationsdarstellungsbild und das potenzielle Informationsdarstellungsbild auf verschiedenen Anzeigevorrichtungen angezeigt, sodass eine Störung zwischen dem manifesten Informationsdarstellungsbild und dem potenziellen Informationsdarstellungsbild vermieden werden kann.
Die Anzeigesteuervorrichtung kann ferner enthalten: einen Vergleicher, der das erste Bild und das dritte Bild vergleicht. Die Anzeigesteuerung kann auf Grundlage eines Unterschieds zwischen dem ersten Bild und dem dritten Bild, die durch den Vergleicher verglichen wurden, veranlassen, dass ein potenzielles Informationsdarstellungsbild zum Mitteilen einer potenziellen Gefahr, die mit einer Szenerie oder einem Objekt verknüpft ist, die/das für Menschen schwierig wahrzunehmen ist, auf einer ersten Anzeigevorrichtung angezeigt wird, wobei die erste Anzeigevorrichtung von einer zweiten Anzeigevorrichtung verschieden sein kann, die ein manifestes Informationsdarstellungsbild zum Mitteilen einer manifesten Gefahr anzeigt, wenn ein Objekt erfasst wird. In diesem Fall werden das offenkundige Informationsdarstellungsbild und das potenzielle Informationsdarstellungsbild auf verschiedenen Anzeigevorrichtungen angezeigt, sodass eine Störung zwischen dem manifesten Informationsdarstellungsbild und dem potenziellen Informationsdarstellungsbild vermieden werden kann.
Die Anzeigesteuervorrichtung kann ferner enthalten: einen Vergleicher, der das erste Bild und das dritte Bild vergleicht. Die Anzeigesteuerung kann veranlassen, dass ein Informationsdarstellungsbild auf Grundlage eines Unterschieds zwischen dem ersten Bild und dem dritten Bild angezeigt wird, die durch den Vergleicher verglichen wurden, und wenn sich der Unterschied zwischen dem ersten Bild und dem dritten Bild ändert, kann die Anzeigesteuerung einen Anzeigemodus des Informationsdarstellungsbildes ändern. In diesem Fall wird der Anzeigemodus des Informationsdarstellungsbildes geändert, wenn sich der Unterschied zwischen dem ersten Bild und dem dritten Bild ändert, sodass es möglich ist, eine potenzielle Gefahr geeignet mitzuteilen, die mit einer Szenerie oder einem Objekt verknüpft ist, die/das für Menschen schwierig wahrzunehmen ist.
Eine weitere Ausführungsform der vorliegenden Offenbarung betrifft ein Anzeigesystem. Das Anzeigesystem enthält: eine Bildaufnahmevorrichtung; und eine mit der Bildaufnahmevorrichtung verbundene Anzeigesteuervorrichtung. die Anzeigesteuervorrichtung enthält: eine Eingabeeinheit, die ein erstes Bild empfängt, das eine Szenerie vor einem Fahrzeug oder eine Szenerie vor einem Benutzer an Bord eines Fahrzeugs zu einem ersten Zeitpunkt einfängt; einen Erzeuger, der ein drittes Bild, das ein Ergebnis der Prognose der Szenerie voraus zu dem ersten Zeitpunkt zeigt, auf Grundlage eines zweiten Bildes erzeugt, das die Szenerie voraus zu einem zweiten Zeitpunkt einfängt, der dem ersten Zeitpunkt vorausging; und eine Anzeigesteuerung, die eine Informationsdarstellung auf Grundlage eines Ergebnisses eines Vergleichs zwischen dem ersten Bild und dem dritten Bild unter Verwendung eines vorgegebenen Kriteriums steuert.
Noch eine weitere Ausführungsform der vorliegenden Offenbarung bezieht sich auf ein Anzeigesteuerverfahren. Das Verfahren enthält: Empfangen eines ersten Bildes, das eine Szenerie vor einem Fahrzeug oder eine Szenerie vor einem Benutzer an Bord eines Fahrzeugs zu einem ersten Zeitpunkt einfängt; Erzeugen eines dritten Bildes, das ein Ergebnis der Prognose der Szenerie voraus zu dem ersten Zeitpunkt zeigt, auf Grundlage eines zweiten Bildes, das die Szenerie voraus zu einem zweiten Zeitpunkt einfängt, der dem ersten Zeitpunkt vorausging; und Steuern einer Informationsdarstellung auf Grundlage eines Ergebnisses eines Vergleichs zwischen dem ersten Bild und dem dritten Bild unter Verwendung eines vorgegebenen Kriteriums.
Vorstehend ist eine Erläuterung auf Grundlage von beispielhaften Ausführungsformen gegeben. Die Ausführungsformen sollen nur veranschaulichend sein, und der Fachmann auf dem Gebiet wird verstehen, dass bei Bestandteilen und Prozessen verschiedene Abwandlungen entwickelt werden könnten, und dass solche Abwandlungen ebenfalls im Schutzumfang der vorliegenden Offenbarung liegen.
Bei den Ausführungsformen ist das Informationsdarstellungsbild hauptsächlich beispielhaft als derart angezeigt beschrieben, dass es dem Vordergrund überlagert ist. Jedoch ist die vorliegende Offenbarung nicht auf die Ausführungsformen beschränkt. Zum Beispiel kann das Armaturenbrett 10 in dem Fahrzeug 1000 mit einer Vielzahl von LEDs in einer einzigen horizontalen Reihe ausgestattet sein. In diesem Fall kann die LED nahe dem Ort des Auftretens eines Prognosefehlers aufleuchten (anstelle oder zusätzlich zu einem Anzeigen des Informationsdarstellungsbildes). Gleichzeitig kann ein vorgegebenes Bild (ein Informationsdarstellungsbild usw.) in der zentralen Informationsanzeige (CID) angezeigt werden. Gemäß dieser Variante kann die Flexibilität der Anordnung verbessert sein.
Bei den Ausführungsformen ist hauptsächlich das Beispiel des Steuerns des Anzeigemodus des Informationsdarstellungsbildes beschrieben. Jedoch ist die vorliegende Offenbarung nicht auf die Ausführungsformen beschränkt. Zum Beispiel können die Helligkeit, der Farbton usw. der Beleuchtung in dem Fahrzeuginneren gesteuert werden, um die Fahrerin/den Fahrer zu warnen. Gemäß dieser Variante kann die Flexibilität der Anordnung verbessert sein.
Die Ausführungsformen können ausgelegt sein zum Vorsehen von Informationen geringster Priorität oder Vorsehen von am wenigsten kritischen oder am wenigsten dringlichen Informationen bei der Priorisierung von Alarmen und Warnungen, die empfohlen sind, wie nachstehend in den internationalen Normen oder bei der Integration von Alarmen und Warnungen nach Kritikalität und Dringlichkeit behandelt.
Referenzmaterial 1: ISO/TS 1695 Straßenfahrzeuge - Ergonomische Aspekte von Transportinformationen und Steuersystemen (TICS) - Verfahren zum Bestimmen der Priorität von Bordmeldungen, die Fahrern dargeboten werden
Das Referenzmaterial 1 sagt: „Es ist notwendig, die Priorität von Informationen unter Berücksichtigung von Kritikalität und Dringlichkeit zu bestimmen und das Darbietungsverfahren und den Zeitpunkt zu betrachten, sodass die Information dem Fahrer umso schneller und energischer mitgeteilt wird, je höher die Priorität ist.“ Das Darbieten gemäß den Ausführungsformen, um eine potenzielle Gefahr mitzuteilen, die mit einer Szenerie oder einem Objekt verknüpft ist, die/das für Menschen schwer wahrzunehmen ist, ist als ein Darbieten mit niedrigerer Priorität und Dringlichkeit definiert als Alarme und Warnungen in Fahrerassistenzsystemen.
Referenzmaterial 2: ISO/TS 12204:2012 Straßenfahrzeuge - Ergonomische Aspekte von Transportinformationen und Steuersystemen - Einführung zum Integrieren sicherheitskritischer und zeitkritischer Warnsignale
Das Referenzmaterial 2 sagt: „Beim Darbieten mehrerer Alarme ist es notwendig, bei dem Darbietungsverfahren bedachtsam zu sein, sodass ein Wettbewerb unter Alarmen (eine Unfähigkeit, mehrere Alarme zu verstehen, aufgrund eines Maskierens eines Alarms oder einer Verwirrung des Fahrers aufgrund gleichzeitiger Darbietung) nicht eintritt.“
Ein Wettbewerb unter Alarmen kann eintreten:

1) wenn dasselbe Darbietungsmittel (visuell, auditiv, haptisch usw.) bei mehreren Alarmen verwendet wird;
2) wenn mehrere visuelle Alarme an räumlich nahen Orten dargeboten werden;
3) wenn mehrere Alarme mit ähnlichen Eigenschaften (im Falle von auditiven Alarmen der Frequenz; im Falle von visuellen Alarmen der Anzeige, Symbolform usw.) dargeboten werden; und
4) ein häufiger Alarm und ein weniger häufiger Alarm. (Weniger häufige Informationen können als häufige Informationen missverstanden werden.)

Ansätze, einen Wettbewerb zu vermeiden, um einen Fall des Wettbewerbs zwischen einer Darbietung zum Mitteilen einer potenziellen Gefahr, die mit einer Szenerie oder einem Objekt verknüpft ist, die/das für Menschen schwer wahrzunehmen ist, und einem Alarm können sein:

a) wenn die Darbietung später in der Zeit veranlasst wird, ein Ändern eines Schwellenwerts oder eines Parameters, der den Zeitpunkt der Darbietung bestimmt;
b) wenn der Alarm eine höhere Priorität hat, ein Darbieten von Informationen für die visuelle Wahrnehmung, was durch eine langsamere Reaktionszeit charakterisiert ist als in dem Fall auditiver oder haptischer Informationsdarbietung; und
c) ein Ändern des Darbietungsmodus, um verstehen zu geben, dass zwei oder mehr Alarme und eine Darbietung zum Mitteilen einer mit einer Szenerie oder einem Objekt verknüpfte potenziellen Gefahr, die für Menschen schwierig wahrzunehmen ist, verschieden sind.

Zum Beispiel kann/können (ein) Parameter so geändert werden, dass sie den Alarm nicht stören und/oder die Unterscheidbarkeit erhöhen. Parameter umfassen: Tonlage, Frequenz, Wellenform, Lautstärke usw. im Falle auditiver Wahrnehmung; i) Position, Blinkrate und ii) Gestaltung, Farbe, Größe usw. von Symbolen und Icons im Falle visueller Wahrnehmung; und Amplitude, Frequenz, Wellenform usw. im Falle taktiler Wahrnehmung.

d) Sogar wenn das Ziel eines Alarms und der Informationsdarbietung zum Mitteilen einer potenziellen Gefahr, die mit einer Szenerie oder einem Objekt verknüpft ist, die/das für Menschen schwer wahrzunehmen ist, verschieden sind, kann eine gemeinsame Darbietung verwendet werden, sofern die Richtungen des Auftretens identisch sind.

Der Inhalt bei der potenziellen Informationsdarstellung gemäß den Ausführungsformen kann die Anzeige zum Erhöhen der Aufmerksamkeit, die Anzeige zum angemessenen Aufteilen der Aufmerksamkeit oder die Anzeige zum Auffordern, zu verlangsamen, sein. Das Mittel der potenziellen Informationsdarstellung gemäß den Ausführungsformen kann visuelle Wahrnehmung, auditive Wahrnehmung, taktile Wahrnehmung, olfaktorische Wahrnehmung oder eine Kombination davon sein. Hinsichtlich olfaktorischer Wahrnehmung kann Aroma mit entspannender Wirkung verbreitet werden, wenn ein großer Prognosefehler auftritt, und Aroma mit alarmierendem Einfluss kann verbreitet werden, wenn ein Zustand mit kleinem Prognosefehler fortbesteht. Ein Alarm kann im mittleren Blickfeld angezeigt werden oder aus einem vorderen Lautsprecher ausgegeben werden. Ein Alarm kann im peripheren Blickfeld angezeigt werden oder aus linken und rechten Lautsprechern ausgegeben werden. Ein Alarm kann außerhalb des peripheren Blickfelds angezeigt werden oder im gesamten Feld angezeigt werden Ferner kann die potenzielle Informationsdarstellung dauerhaft angezeigt werden oder dauerhaft ertönen. Die potenzielle Informationsdarstellung kann nur einmal angezeigt werden oder nur für einen Moment ertönen. Die potenzielle Informationsdarstellung kann mehrmals angezeigt werden, kann blinken oder kann durch einen Auslöser gelöscht werden. Die Häufigkeit und Anzahl von Elementen potenzieller Informationsdarstellung kann gesteuert werden. Der Anzeigemodus umfasst Text, Symbol, Grafik, Lichtaussendung, Kontrast, Standbild, Bewegtbilder und Computergrafik (CG). Im Anzeigemodus kann die Form, wie etwa Höhe, Länge und Fläche, oder die Farbe, der Farbton, die Durchsichtigkeit (durchlässige Anzeige) oder die Transparenz (nichtdurchlässige Anzeige) gesteuert werden. Gemäß dieser Variante kann die Flexibilität der Anordnung verbessert sein.
Anstelle der TTC in den Ausführungsformen kann die THW oder die Risikowahrnehmung verwendet werden. 28A-28C stellen Ergebnisse des Erfassens eines Abstands zwischen dem Fahrzeug 1000 und dem Objekt 410 dar. In diesen Figuren ist das Fahrzeug 1000 als ein Fahrzeug 1010 des Fahrers gezeigt, und das Objekt 410 ist als ein weiteres Fahrzeug (eine weitere Person) 1012 gezeigt. 28A zeigt eine Übersicht der TTC, 28B zeigt eine Übersicht der THW, und 28C zeigt eine Übersicht der Risikowahrnehmung. Referenzmaterial 3: Kondoh, Yamamura, Kitazaki, Kuge, Boer, „Identification of Visual Cues and Quantification of Drivers' Perception of Proximity Risk to the Lead vehicle in Car-Following situations“ (Erkennen visueller Hinweise und Quantifizierung der Wahrnehmung von Fahrern der Gefahr aus Nähe zum vorausfahrenden Fahrzeug in Situationen des Kolonnenverkehrs), Journal of Mechanical Systems for Transportation and Logistics, Vol. 1, No. 2, S. 170-180, 2008. Gemäß dem Referenzmaterial 3 umfassen die subjektiven Risikoindizes des Fahrers außer der TTC die Zeitlücke (THW) und die Risikowahrnehmung, was durch eine Summe des Kehrwerts der TTC und des Kehrwerts der THW dargestellt ist. Wenn ein Zusammenstoß nicht vermieden werden kann, oder wenn ein Zusammenstoß wahrscheinlich ist, kann die TTC verwendet werden. Wenn ein Zusammenstoßrisiko manifest ist, oder wenn ein Zusammenstoßrisiko nicht manifest ist, kann die Risikowahrnehmung oder die THW verwendet werden. Gemäß dieser Variante kann die Flexibilität der Anordnung verbessert sein.
[Gewerbliche Anwendbarkeit]
Gemäß der vorliegenden Offenbarung ist es möglich, eine Szenerie oder ein Objekt zu erkennen, die/das für Menschen schwierig wahrzunehmen ist, und entsprechende Informationen vorzusehen.
Bezugszeichenliste

10: Armaturenbrett,
12: Frontscheibe,
14: Säule,
16: Lenkung,
18: Instrument,
20: Mittelkonsole,
30: Monitor,
50: anzeigefähiger Bereich,
52: Teilbereich,
100: Abbildungsvorrichtung,
200: Anzeigesteuervorrichtung,
210: Eingabeeinheit,
220: Speicher,
230: Erzeuger,
240: Erfassungseinheit,
250: Vergleicher,
260: Anzeigesteuerung,
300: Anzeigevorrichtung,
1000: Fahrzeug

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2018173944 [0004]

Claims

Anzeigesteuervorrichtung, umfassend: eine Eingabeeinheit, die ein erstes Bild empfängt, das eine Szenerie vor einem Fahrzeug oder eine Szenerie vor einem Benutzer an Bord eines Fahrzeugs zu einem ersten Zeitpunkt einfängt; einen Erzeuger, der ein drittes Bild, das ein Ergebnis der Prognose der Szenerie voraus zu dem ersten Zeitpunkt zeigt, auf Grundlage eines zweiten Bildes erzeugt, das die Szenerie voraus zu einem zweiten Zeitpunkt einfängt, der dem ersten Zeitpunkt vorausging; und eine Anzeigesteuerung, die eine Informationsdarstellung auf Grundlage eines Ergebnisses eines Vergleichs zwischen dem ersten Bild und dem dritten Bild unter Verwendung eines vorgegebenen Kriteriums steuert.
Anzeigesteuervorrichtung nach Anspruch 1, weiter umfassend: einen Vergleicher, der das erste Bild und das dritte Bild unter Verwendung des vorgegebenen Kriteriums vergleicht.
Anzeigesteuervorrichtung nach Anspruch 2, wobei das vorgegebene Kriterium darin besteht, ob ein Unterschied zwischen dem ersten Bild und dem dritten Bild größer ist als ein erster Schwellenwert, der Vergleicher einen ersten Bereich erkennt, in dem der Unterschied zwischen dem ersten Bild und dem dritten Bild größer ist als der erste Schwellenwert, und der einen Bildaufnahmebereich eines ersten Objekts enthält, und die Informationsdarstellung ein Bild ist, das vor dem ersten Bereich oder dem ersten Objekt warnt.
Anzeigesteuervorrichtung nach Anspruch 3, wobei die Anzeigesteuerung einen Anzeigemodus der Informationsdarstellung gemäß einer Größe des Unterschieds zwischen dem ersten Bild und dem dritten Bild ändert.
Anzeigesteuervorrichtung nach Anspruch 3 oder 4, wobei die Anzeigesteuerung veranlasst, dass die Informationsdarstellung so angezeigt wird, dass die Informationsdarstellung dem durch den Vergleicher erkannten ersten Bereich überlagert wird.
Anzeigesteuervorrichtung nach einem beliebigen der Ansprüche 3 bis 5, wobei die Anzeigesteuerung veranlasst, dass die Informationsdarstellung in einem Teilbereich aus einer Vielzahl von Teilbereichen angezeigt wird, die abgeleitet sind durch ein Aufteilen eines anzeigefähigen Bereiches, der den durch den Vergleicher erkannten ersten Bereich enthält.
Anzeigesteuervorrichtung nach einem beliebigen der Ansprüche 2 bis 5, wobei das erste Bild, das zweite Bild und das dritte Bild Bilder einer Szenerie vor dem Fahrzeug sind, die Eingabeeinheit ein viertes Bild empfängt, das eine Szenerie in einem Fahrzeuginneren des Fahrzeugs zu einem ersten Zeitpunkt einfängt, der Erzeuger ein sechstes Bild erzeugt, das eine Szenerie im Fahrzeuginneren zu dem ersten Zeitpunkt aus einem fünften Bild prognostiziert, das eine Szenerie im Fahrzeuginneren zu dem zweiten Zeitpunkt einfängt, der Vergleicher erkennt, ob es einen zweiten Bereich gibt, in dem ein Unterschied zwischen dem vierten Bild und dem sechsten Bild größer ist als ein zweiter Schwellenwert, und der ein zweites Objekt enthält, und die Anzeigesteuerung einen Anzeigemodus der Informationsdarstellung abhängig davon ändert, ob der zweite Bereich erkannt ist.
Anzeigesteuervorrichtung nach Anspruch 1, weiter umfassend: einen Vergleicher, der das erste Bild und das dritte Bild vergleicht, wobei die Anzeigesteuerung ein Ergebnis eines Erfassens eines Abstands zwischen dem Fahrzeug und dem Objekt empfängt und veranlasst, dass die Informationsdarstellung auf Grundlage des Abstands und eines Unterschieds zwischen dem ersten Bild und dem dritten Bild angezeigt wird, die durch den Vergleicher verglichen wurden, und die Anzeigesteuerung einen Anzeigemodus der Informationsdarstellung ändert, wenn sich der Abstand oder der Unterschied zwischen dem ersten Bild und dem dritten Bild ändert.
Anzeigesteuervorrichtung nach Anspruch 1, weiter umfassend: einen Vergleicher, der das erste Bild und das dritte Bild vergleicht, wobei die Anzeigesteuerung auf Grundlage eines Unterschieds zwischen dem ersten Bild und dem dritten Bild, die durch den Vergleicher verglichen wurden, veranlasst, dass ein potenzielles Informationsdarstellungsbild zum Mitteilen einer potenziellen Gefahr angezeigt wird, die mit einer Szenerie oder einem Objekt verknüpft ist, die/das für Menschen schwierig wahrzunehmen ist, die Anzeigesteuerung veranlasst, dass das potenzielle Informationsdarstellungsbild in einem ersten Anzeigemodus angezeigt wird, wenn ein Ergebnis des Erfassens eines Objekts empfangen wird, und veranlasst, dass das potenzielle Informationsdarstellungsbild in einem zweiten Anzeigemodus angezeigt wird, wenn ein Ergebnis des Erfassens eines Objekts nicht empfangen wird, und ein manifestes Informationsdarstellungsbild zum Mitteilen einer manifesten Gefahr angezeigt wird, wenn ein Ergebnis des Erfassens eines Objekts empfangen wird, und der erste Anzeigemodus und der zweite Anzeigemodus verschieden sind.
Anzeigesteuervorrichtung nach Anspruch 1, weiter umfassend: einen Vergleicher, der das erste Bild und das dritte Bild vergleicht, wobei die Anzeigesteuerung auf Grundlage eines Unterschieds zwischen dem ersten Bild und dem dritten Bild, die durch den Vergleicher verglichen wurden, veranlasst, dass ein potenzielles Informationsdarstellungsbild zum Mitteilen einer potenziellen Gefahr, die mit einer Szenerie oder einem Objekt verknüpft ist, die/das für Menschen schwierig wahrzunehmen ist, auf einer ersten Anzeigevorrichtung angezeigt wird, die erste Anzeigevorrichtung von einer zweiten Anzeigevorrichtung verschieden ist, die ein manifestes Informationsdarstellungsbild zum Mitteilen einer manifesten Gefahr anzeigt, wenn ein Objekt erfasst wird.
Anzeigesteuervorrichtung nach Anspruch 1, weiter umfassend: einen Vergleicher, der das erste Bild und das dritte Bild vergleicht, wobei die Anzeigesteuerung veranlasst, dass ein Informationsdarstellungsbild auf Grundlage eines Unterschieds zwischen dem ersten Bild und dem dritten Bild angezeigt wird, die durch den Vergleicher verglichen wurden, und wenn sich der Unterschied zwischen dem ersten Bild und dem dritten Bild ändert, die Anzeigesteuerung einen Anzeigemodus des Informationsdarstellungsbildes ändert.
Anzeigesystem, umfassend: eine Bildaufnahmevorrichtung; und eine Anzeigesteuervorrichtung, die mit der Bildaufnahmevorrichtung verbunden ist, wobei die Anzeigesteuervorrichtung enthält: eine Eingabeeinheit, die ein erstes Bild empfängt, das eine Szenerie vor einem Fahrzeug oder eine Szenerie vor einem Benutzer an Bord eines Fahrzeugs zu einem ersten Zeitpunkt einfängt; einen Erzeuger, der ein drittes Bild, das ein Ergebnis der Prognose der Szenerie voraus zu dem ersten Zeitpunkt zeigt, auf Grundlage eines zweiten Bildes erzeugt, das die Szenerie voraus zu einem zweiten Zeitpunkt einfängt, der dem ersten Zeitpunkt vorausging; und eine Anzeigesteuerung, die eine Informationsdarstellung auf Grundlage eines Ergebnisses eines Vergleichs zwischen dem ersten Bild und dem dritten Bild unter Verwendung eines vorgegebenen Kriteriums steuert.
Anzeigesteuerverfahren, umfassend: Empfangen eines ersten Bildes, das eine Szenerie vor einem Fahrzeug oder eine Szenerie vor einem Benutzer an Bord eines Fahrzeugs zu einem ersten Zeitpunkt einfängt; Erzeugen eines dritten Bildes, das ein Ergebnis der Prognose der Szenerie voraus zu dem ersten Zeitpunkt zeigt, auf Grundlage eines zweiten Bildes, das die Szenerie voraus zu einem zweiten Zeitpunkt einfängt, der dem ersten Zeitpunkt vorausging; und Steuern einer Informationsdarstellung auf Grundlage eines Ergebnisses eines Vergleichs zwischen dem ersten Bild und dem dritten Bild unter Verwendung eines vorgegebenen Kriteriums.