DE112021004648T5

DE112021004648T5 - Anzeigesteuervorrichtung, Fahrzeug und Anzeigesteuerverfahren

Info

Publication number: DE112021004648T5
Application number: DE112021004648.9T
Authority: DE
Inventors: Yudai Ishibashi; Yoshimasa Okabe
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: PANASONIC AUTOMOTIVE SYSTEMS CO., LTD., YOKOHA, JP
Priority date: 2020-05-28
Filing date: 2021-02-19
Publication date: 2023-06-29
Also published as: CN115996864A; WO2022044374A1; JP2021190981A; US20230199137A1

Abstract

Diese Anzeigesteuervorrichtung ist mit einem Fahrzeugerfassungsteil und einem Bildverarbeitungsteil versehen, wobei der Bildverarbeitungsteil ein Fahrzeug-Hintergrundbild erzeugt, und wenn ein umgebendes Fahrzeug in einem vorgegebenen Bereich erfasst wird, eine zweite Projektionsebene an die Position setzt, wo das umgebende Fahrzeug erfasst wurde, ein Umgebungsfahrzeugbild erzeugt durch ein Projizieren einer Vielzahl von aufgenommenen Bildern auf die zweite Projektionsebene und das Umgebungsfahrzeugbild auf dem Hintergrundbild überlagert.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft eine Anzeigesteuervorrichtung, ein Fahrzeug und ein Anzeigesteuerverfahren.
Technischer Hintergrund
Die Patentschrift 1 offenbart eine Anzeigesteuervorrichtung, die Bilder kombiniert, die durch jeweils auf der rechten, linken und hinteren Seite eingebaute Kameras aufgenommen werden und zeigt dann das sich ergebende Bild auf einer Anzeigevorrichtung an. Die herkömmliche Technik dieser Art setzt eine Projektionsebene an eine Position eines nachfolgenden Fahrzeugs und legt eine Grenze eines Sichtfelds jeder der Kameras so fest, dass es zu der Position des nachfolgenden Fahrzeugs passt, wodurch eine Doppeldarstellung des nachfolgenden Fahrzeugs vermieden wird.
Liste der Anführungen
Patentliteratur
Patentschrift 1 Japanische Patentoffenlegungsschrift Nr. 2020-052671
Zusammenfassung der Erfindung
Lösung der Aufgabe
Ein Setzen einer Projektionsebene an eine Position eines nachfolgenden Fahrzeugs bewirkt jedoch eine Doppeldarstellung eines Hintergrundbereichs mit einer weiter entfernten Position als der Position des nachfolgenden Fahrzeugs. Wenn die Ebene für die Projektion dann an eine weiter entfernte Position als die Position des nachfolgenden Fahrzeugs gesetzt wird, um die Doppeldarstellung des Hintergrundbereichs zu vermeiden, kann das nachfolgende Fahrzeug aus einem sich aus einer Kombination ergebenden Bild verschwinden, obwohl die Doppeldarstellung des Hintergrundbereichs vermieden werden kann. Somit besteht nach der herkömmlichen Technik Raum für Verbesserung beim Kombinieren von durch eine Vielzahl von Kameras aufgenommenen Bildern hinter dem Fahrzeug.
Eine nicht einschränkende und beispielhafte Ausführungsform der vorliegenden Offenbarung ermöglicht das Vorsehen einer Anzeigesteuervorrichtung, eines Fahrzeugs und eines Anzeigesteuerverfahrens, die jeweils in der Lage sind zu verhindern, dass ein nachfolgendes Fahrzeug aus einem kombinierten Bild verschwindet.
Eine Anzeigevorrichtung gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung enthält: einen Fahrzeug-Detektor, der ein umgebendes Fahrzeug erfasst, das sich um ein Fahrzeug befindet, auf Grundlage einer Vielzahl von aufgenommenen Bildern um das Fahrzeug, die durch eine Vielzahl von an dem Fahrzeug montierten Bildaufnahmevorrichtungen aufgenommen sind; und einen Bildprozessor, der ein Anzeigebild erzeugt, das auf einer in dem Fahrzeug montierten Anzeige anzuzeigen ist, indem er die Vielzahl von aufgenommenen Bildern kombiniert, wobei der Bildprozessor ein Hintergrundbild des Fahrzeugs erzeugt, indem er die Vielzahl von aufgenommenen Bildern auf eine erste Projektionsebene projiziert, die hinter das Fahrzeug gesetzt ist, wenn das umgebende Fahrzeug in einem vorgegebenen Bereich erfasst ist, eine zweite Projektionsebene an eine Position setzt, an der das umgebende Fahrzeug erfasst ist, ein Umgebungsfahrzeugbild erzeugt, das ein Bild des umgebenden Fahrzeugs ist, indem er mindestens eins aus der Vielzahl von aufgenommenen Bildern auf die zweite Projektionsebene projiziert, und das Umgebungsfahrzeugbild auf das Hintergrundbild überlagert.
Ein Fahrzeug gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung enthält die oben beschriebene Anzeigesteuervorrichtung.
Ein Anzeigeverfahren gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung enthält: ein Erfassen eines umgebenden Fahrzeugs, das sich um ein Fahrzeug befindet, auf Grundlage einer Vielzahl von aufgenommenen Bildern um das Fahrzeug, die durch eine Vielzahl von an dem Fahrzeug montierten Bildaufnahmevorrichtungen aufgenommen sind; ein Erzeugen eines Hintergrundbildes des Fahrzeugs durch ein Projizieren der Vielzahl von aufgenommenen Bildern auf eine erste Projektionsebene, die hinter das Fahrzeug gesetzt ist; ein Setzen, wenn das umgebende Fahrzeug in einem vorgegebenen Bereich erfasst ist, einer zweiten Projektionsebene an eine Position, an der das umgebende Fahrzeug erfasst ist; ein Erzeugen eines Umgebungsfahrzeugbildes, das ein Bild des umgebenden Fahrzeugs ist, durch ein Projizieren mindestens eines aus der Vielzahl von aufgenommenen Bildern auf die zweite Projektionsebene; und ein Überlagern des Umgebungsfahrzeugbildes auf das Hintergrundbild.
Vorteilhafte Wirkungen der Erfindung
Gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung können eine Anzeigesteuervorrichtung, ein Fahrzeug und ein Anzeigesteuerverfahren gebaut werden, die jeweils in der Lage sind zu verhindern, dass ein nachfolgendes Fahrzeug aus einem kombinierten Bild verschwindet.
Zusätzliche Nutzen und Vorteile der offenbarten Ausführungsformen gehen aus der Beschreibung und der Zeichnung hervor. Die Nutzen und/oder Vorteile können einzeln durch die verschiedenen Ausführungsformen und Merkmale der Beschreibung und der Zeichnung erlangt werden, die nicht alle vorgesehen sein müssen, um einen oder mehrere aus diesen Nutzen und/oder Vorteilen zu erlangen.
Figurenliste

1 stellt einen beispielhaften Aufbau eines Fahrzeugs 100 gemäß einer Ausführungsform der vorliegenden Offenbarung dar;
2 stellt einen beispielhaften Aufbau einer Anzeigesteuervorrichtung 200 gemäß der Ausführungsform der vorliegenden Offenbarung dar;
3 stellt ein beispielhaftes Kombinationsbild dar, das auf der Anzeige 7 angezeigt wird;
4 ist ein Diagramm zum Beschreiben einer Beziehung zwischen der Projektionsumwandlung und der Blickpunktumwandlung;
5 stellt ein beispielhaftes Blickpunktumwandlungsbild dar, das sich aus der Blickpunktumwandlung ergibt;
6 ist ein Diagramm zum Beschreiben eines Ablaufs zum Erzeugen eines Anzeigebildes durch ein Kombinieren von durch drei Kameras aufgenommenen Bildern;
7 ist ein Diagramm zum Beschreiben eines Ablaufs zum Erzeugen eines virtuellen Blickpunktbildes, das wie eine Ansicht aus der Vogelperspektive auf das Objektfahrzeug herabschaut;
8 ist ein Diagramm zum Beschreiben einer Situation, wo ein nachfolgendes Fahrzeug 11 aus dem Anzeigebild verschwindet;
9 ist ein Diagramm zum Beschreiben einer Situation, wo ein einzelnes Objekt im Anzeigebild doppelt abgebildet wird;
10 ist ein Diagramm zum Beschreiben eines Verfahrens zum Setzen einer Einblendungsprojektionsebene 13A durch die Anzeigesteuervorrichtung 200 gemäß der vorliegenden Ausführungsform;
11 ist ein Diagramm zum Beschreiben eines Bereichs, wo die Einblendungsprojektionsebene 13A angebracht wird (d. h. der Einblendungsprojektionsanbringungsbereiche 16);
12 ist ein Diagramm zum Beschreiben einer Höhe der Einblendungsprojektionsebene 13A;
13 ist ein Diagramm zum Beschreiben eines Blending-Verfahrens für einen Grenzbereich zwischen der Einblendungsprojektionsebene 13A und der Projektionsebene 10;
14 ist ein Diagramm zum Beschreiben eines Verfahrens zum dynamischen Steuern der Umgrenzungsbereiche 17a und 17b;
15 ist ein Diagramm zum Beschreiben der Steuerung einer Breite eines Umgrenzungsbereichs gemäß einer Position des nachfolgenden Fahrzeugs 11;
16 ist ein Diagramm zum Beschreiben der Steuerung eines Blending-Verhältnisses in einem Umgrenzungsbereich;
17 ist ein Diagramm zum Beschreiben eines Steuerungsverfahrens für eine Position des virtuellen Blickpunkts 20 abhängig vom Vorhandensein oder Nichtvorhandensein des nachfolgenden Fahrzeugs 11;
18 ist ein Diagramm zum Beschreiben eines Steuerungsverfahrens für eine Position des virtuellen Blickpunkts 20 gemäß einer Geschwindigkeit des Objektfahrzeugs;
19 ist ein Diagramm zum Beschreiben eines Steuerverfahrens einer Neigung der Projektionsebene 10;
20 ist ein weiteres Diagramm zum Beschreiben eines Steuerverfahrens einer Neigung der Projektionsebene 10;
21 ist ein Diagramm zum Beschreiben eines Steuerverfahrens zum Einbeziehen einer Fahrbahnfläche in die Projektionsebene 10;
22 ist ein Diagramm zum Beschreiben eines Steuerverfahrens zum Zufügen einer sanften Schräge 18 zu einem unteren Bereich der Projektionsebene 10;
23 stellt eine Projektionsebene 10 dar, die eine schüsselähnliche Form aufweist; und
24 stellt Beispiele der Projektionsebene 10 und der Einblendungsprojektionsebene 13A dar, die jeweils eine zylindrisch gekrümmte Form aufweisen.

Beschreibung von Ausführungsformen
Nachstehend sind bevorzugte Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf die beigefiigte Zeichnung genau beschrieben. Anzumerken ist, dass Elemente mit im Wesentlichen denselben Funktionen in der Beschreibung und der Zeichnung mit denselben Bezugsnummern versehen sind, um doppelte Beschreibungen davon zu vermeiden.
(Ausführungsform)
1 stellt einen beispielhaften Aufbau eines Fahrzeugs 100 gemäß der Ausführungsform der vorliegenden Offenbarung dar. Das Fahrzeug 100 enthält eine rechte Kamera 1, eine linke Kamera 2, eine Heckkamera 3 und eine Anzeigesteuervorrichtung 200.
Jede aus der rechten Kamera 1, der linken Kamera 2 und der Heckkamera 3 ist ein Bildgeber, der einen Bildaufnahmesensor, wie etwa einen CCD-Sensor (Charge Coupled Device) und/oder einen CMOS-Sensor (Complementary Metal Oxide Semiconductor) enthält und die Umgebung des Fahrzeugs 100 abbildet.
Die rechte Kamera 1 ist beispielsweise auf einer rechten Seite bezüglich einer Fahrtrichtung des Fahrzeugs 100 eingebaut, ist gewöhnlich an einer Position eines rechten Seitenspiegels, schräg nach rechts hinten und etwas nach unten, vorgesehen und gibt Bildinformationen, die einen Inhalt eines aufgenommenen Bildes des Sichtfeldbereichs 1a (rechten Bildes) angeben, in die Anzeigesteuervorrichtung 200 ein. Der Sichtfeldbereich 1a ist ein bestimmter Bereich auf einer rechten hinteren Seite (schräg nach rechts hinten) des Fahrzeugs 100.
Die linke Kamera 2 ist beispielsweise auf einer linken Seite bezüglich einer Fahrtrichtung des Fahrzeugs 100 eingebaut, ist gewöhnlich an einer Position eines linken Seitenspiegels, schräg nach links hinten und etwas nach unten, vorgesehen und gibt Bildinformationen, die einen Inhalt eines aufgenommenen Bildes des Sichtfeldbereichs 2a (linken Bildes) angeben, in die Anzeigesteuervorrichtung 200 ein. Der Sichtfeldbereich 2a ist ein bestimmter Bereich auf einer linken hinteren Seite (schräg nach links hinten) des Fahrzeugs 100.
Die Heckkamera 3 ist beispielsweise etwas nach unten auf einer hinteren Seite bezüglich einer Fahrtrichtung des Fahrzeugs 100 vorgesehen und gibt Bildinformationen, die einen Inhalt eines aufgenommenen Bildes des Sichtfeldbereichs 3a (eines Bildes hinter dem Fahrzeug; das im Folgenden auch als „hinteres Bild“ bezeichnet sein kann) angeben, in die Anzeigesteuervorrichtung 200 ein. Der Sichtfeldbereich 3a ist ein bestimmter Bereich hinter dem Fahrzeug 100.
Die Anzeigesteuervorrichtung 200 ist eine Vorrichtung, die jeweils aus dem rechten Bild, dem linken Bild und dem hinteren Bild ausgeschnittene Bilder auf der Anzeige 7 anzeigt.
Als Nächstes ist ein beispielhafter Aufbau der Anzeigesteuervorrichtung 200 unter Bezugnahme auf 2 beschrieben. 2 stellt einen beispielhaften Aufbau einer Anzeigesteuervorrichtung 200 gemäß der Ausführungsform der vorliegenden Offenbarung dar.
Die Anzeigesteuervorrichtung 200 ist eine Steuerung, die beispielsweise aufgebaut ist aus einer oder mehreren elektronischen Steuereinheiten (ECUs) und verschiedene Anzeigesteuervorgänge in der Anzeige 7 durchführt.
Die rechte Kamera 1, die linke Kamera 2, die Heckkamera 3, die Bedieneinheit 4, die Navigationsvorrichtung 5 und eine Anzeige 7 sind mit der Anzeigesteuervorrichtung 200 verbunden, und verschiedene Sensoren 8 sind auch über das Controller Area Network (CAN) verbunden, das ein Fahrzeug-Bordnetzwerk ist.
Die Bedieneinheit 4 ist eine Benutzerschnittstelle (wie etwa ein Blinkerhebel und/oder -schalter), der eine Eingabebedienung von einem Insassen des Fahrzeugs 100 empfängt. Die Anzeige 7 ist beispielsweise eine Flüssigkristallanzeige, die ein kombiniertes Bild anzeigt. Jeder der verschiedenen Sensoren 8 ist beispielsweise ein Fahrzeuggeschwindigkeitssensor, ein Lenkwinkelsensor, ein Schaltungsstellungssensor und dergleichen.
Die Anzeigesteuervorrichtung 200 enthält einen Bildprozessor 61, einen Fahrzeug-Detektor 62, einen Situationsbestimmer 63, eine Bildsteuerung 64 und einen CAN-Kommunikator 65.
Der Bildprozessor 61 kombiniert durch die rechte Kamera 1, die linke Kamera 2 und die Heckkamera 3 aufgenommene Bilder und zeigt das kombinierte Bild auf der Anzeige 7 an.
Der Fahrzeug-Detektor 62 erfasst auf Grundlage der durch die rechte Kamera 1, die linke Kamera 2 und die Heckkamera 3 aufgenommenen Bilder ein nachfolgendes Fahrzeug und dergleichen, das sich hinter dem Fahrzeug 100 befindet, erfasst eine Position des nachfolgenden Fahrzeugs und gibt Folgefahrzeuginformationen, die angeben, ob ein nachfolgendes Fahrzeug erfasst worden ist, sowie die Position des nachfolgenden Fahrzeugs aus.
Der Situationsbestimmer 63 gibt die vom Fahrzeug-Detektor 62 ausgegebenen Folgefahrzeuginformationen und Bedienungsinformationen ein, die angeben, dass die Eingabebedienung in der Bedieneinheit 4 durchgeführt wurde, und bestimmt einen Anzeigemodus in der Anzeige 7 auf Grundlage dieser Informationselemente.
Die Bildsteuerung 64 steuert Umwandlungs- und Kombinationsparameter von Bildern gemäß dem durch den Situationsbestimmer 63 bestimmten Anzeigemodus. Im Bildprozessor 61 werden die durch die rechte Kamera 1, die linke Kamera 2 und die Heckkamera 3 aufgenommenen Bilder gemäß den durch die Bildsteuerung 64 gesteuerten Parametern kombiniert.
Als Nächstes folgen mit Bezugnahme auf 3 bis 9 Beschreibungen eines Hintergrunds, der zum Erstellen der Ausführungsform gemäß der vorliegenden Offenbarung geführt hat, eines herkömmlichen Problems beim Kombinieren von aufgenommenen Bildern und desgleichen.
<Blending>
3 stellt ein beispielhaftes kombiniertes Bild dar, das auf der Anzeige 7 angezeigt wird. 3 stellt auf ihrer linken Seite ein Bild dar, wie jeweils durch die rechte Kamera 1, die linke Kamera 2 und die Heckkamera 3 aufgenommene Bilder kombiniert werden. Auf einer rechten Seite von 3 ist ein auf der Anzeige 7 angezeigtes kombiniertes Bild dargestellt.
Wenn eine Landschaft hinter dem Fahrzeug 100 durch drei Kameras aufgenommen wird, werden die durch die jeweiligen Kameras aufgenommenen Bilder zu Bildern, die von verschiedenen Blickpunktpositionen aus aufgenommen sind. Daher variiert, sogar wenn durch diese Kameras aufgenommen Objekte untereinander identisch sind, eine Figurform des Objekts aufgrund eines Unterschieds in der Blickpunktposition, was eine Diskontinuität oder Verzerrung eines Bildes an einer Anschlussstelle verursacht, wenn diese Bilder kombiniert werden.
Zum Beispiel erstreckt sich der Zaun 6, der an einer relativ weit entfernten Stelle von einem Heck des Fahrzeugs 100 aufgebaut ist, im realen Raum linear in einer Richtung parallel zu einer seitlichen Richtung des Fahrzeugs 100. Wenn sich jedoch eine Höhe einer Figur des Zauns 6 an einer Anschlussposition eines Kombinationsbildes beim Kombinieren des aufgenommenen rechten Bildes und des aufgenommenen hinteren Bildes unterscheidet, ist die Figur des Zauns verzerrt, ohne ausgerichtet zu sein.
Als Maßnahme dagegen wird, wenn beispielsweise ein Anzeigebild so erzeugt wird, dass das hintere Bild zwischen das rechte Bild und das linke Bild gesetzt wird, beispielsweise ein Umgrenzungsbereich an einem Grenzbereich (Anschlussbereich) zwischen dem rechten Bild und dem hinteren Bild vorgesehen, und ein Umgrenzungsbereich wird auch an einem Anschlussbereich zwischen dem linken Bild und dem hinteren Bild vorgesehen. Dann werden in diesen Umgrenzungsbereichen Pixelwerte von zwei Bildern (dem rechten Bild und dem hinteren Bild oder dem linken Bild und dem hinteren Bild) gemischt, um ein Anzeigebild zu bilden. Dies ist allgemein als „Blending“ bezeichnet.
Bei diesem Blending kann die Unnatürlichkeit des Umgrenzungsbereichs weniger auffällig gemacht werden, indem bei der Annäherung von einem der beiden benachbarten Bilder zu dem anderen Bild (z. B. zu dem rechten Bild von dem hinteren Bild in 3) ein Mischverhältnis (Blending-Verhältnis) eines Pixelwerts des einen zum anderen verringert wird.
<Projektionsumwandlung und Blickpunktumwandlung>
4 ist ein Diagramm zum Beschreiben einer Beziehung zwischen der Projektionsumwandlung und der Blickpunktumwandlung. Beim Aufnehmen mit einer Kamera werden optische Informationen in einem dreidimensionalen Raum, gesehen von einem tatsächlichen Blickpunkt (einer Kameraposition) aus, in Informationen auf einem zweidimensionalen Bild (aufgenommenen Bild) umgewandelt. Ferner wird ein Projizieren eines zweidimensionalen Bildes auf eine Ebene in einem dreidimensionalen Raum (Projektionsebene) Projektion genannt. Wenn die Projektionsebene bezüglich des tatsächlichen Blickpunkts geneigt ist, wird ein Bild auf der Projektionsebene gestreckt.
Ein Vorgang des Zuordnens von Pixeln auf dem aufgenommenen Bild zu Pixeln auf der Projektionsebene wird Mapping genannt. Das Mapping ermöglicht es, das aufgenommene Bild in ein aus einer anderen Position gesehenes Bild umzuwandeln. Dieser Umwandlungsvorgang wird als Blickpunktumwandlung oder Blickpunktbewegung bezeichnet, und ein durch diesen Umwandlungsvorgang erhaltenes Bild wird als Blickpunktumwandlungsbild bezeichnet. Ein Vorgang des Zuordnens von Pixeln auf der Projektionsebene zu Pixeln auf dem Blickpunktumwandlungsbild kann auch Mapping genannt werden.
In dem Bild auf der Projektionsebene wird ein Bereich, wo ein Abstand zu dem Blickpunkt durch die Blickpunktumwandlung verkürzt wird, auf dem Blickpunktumwandlungsbild vergrößert, und wird ein Bereich, wo der Abstand zu dem Blickpunkt durch die Blickpunktumwandlung vergrößert wird, auf dem Blickpunktumwandlungsbild verkleinert. Das heißt, ein Bild wird auch durch die Blickpunktumwandlung umgewandelt.
Wenn indessen die Projektion und die Blickpunktumwandlung durchgeführt werden, anstatt das Mapping in der Blickpunktumwandlung nach dem Durchführen des Mappings in der Projektion durchzuführen, ist auch ein Mapping möglich, um die Pixel auf dem aufgenommenen Bild den Pixeln auf dem Blickpunktumwandlungsbild direkt zuzuordnen. Eine dabei für das Mapping verwendete Tabelle wird Mapping-Tabelle genannt. Das heißt, die Projektion und die Blickpunktumwandlung ergeben einen Vorgang des Umwandelns eines Bildes unter Verwendung der Mapping-Tabelle.
<Wahrheit/Falschheit des virtuellen Blickpunkts>
5 stellt ein beispielhaftes Blickpunktumwandlungsbild dar, das sich aus der Blickpunktumwandlung ergibt. Wenn die Vorderfläche 51 des in 5 dargestellten Würfels 50 von dem tatsächlichen Blickpunkt auf der Zeichnung aus aufgenommen wird, wird ein Bild erstellt, auf dem die Vorderfläche 51 sichtbar ist, während die Seitenfläche 52 unsichtbar ist. In einem Fall, wo das von dem tatsächlichen Blickpunkt aus aufgenommene Bild dann in ein von einem virtuellen Blickpunkt rechts, wie in der Zeichnung, aus gesehenes Bild umgewandelt wird, d. h. ein Blickpunktumwandlungsbild, das den Würfel 50 virtuell aus einer schrägen Richtung aufnimmt, wird die Vorderfläche 51 in dieselbe Figur umgewandelt wie das von dem virtuellen Blickpunkt rechts, wie in der Zeichnung, aus gesehene Bild, d. h. eine Figur mit einer verkürzten linken Seite, die aufgrund der Blickpunktbewegung weiter weg ist. Anzumerken ist, dass die Seitenfläche 52 des Würfels 50, die beim Blick von dem tatsächlichen Blickpunkt aus nicht erscheint, auf dem Blickpunktumwandlungsbild nicht abgebildet ist.
Das heißt, da die Blickpunktumwandlung eine virtuelle Blickpunktbewegung ist, kann in einem Blickpunktumwandlungsbild nicht dasselbe Bild erhalten werden wie ein durch ein tatsächliches Bewegen des Blickpunkts aufgenommenes Bild. Folglich sind die Projektion und die Blickpunktumwandlung nur Umwandlungen der aufgenommenen Bilder.
<Erzeugen von virtuellem Blickpunktbild und Kombinationsbild durch Blickpunktumwandlung>
6 ist ein Diagramm zum Beschreiben eines Ablaufs zum Erzeugen eines Anzeigebildes durch ein Kombinieren von durch drei Kameras aufgenommenen Bildern.
Bei dem Vorgang des Erzeugens eines Anzeigebildes wird zuerst jedes aus dem rechten Bild, dem hinteren Bild und dem linken Bild der Blickpunktumwandlung unterzogen und dadurch in ein virtuelles Blickpunktbild mit einer Position der Anzeige 7 als virtuellem Blickpunkt umgewandelt.
Als Nächstes werden diese virtuellen Blickpunktbilder kombiniert, um ein einziges Anzeigebild zu erzeugen. Bei diesem Vorgang werden die durch die drei Kameras aufgenommenen Bilder zu einem Bild, wie von einem einzigen virtuellen Blickpunkt aus gesehen, kombiniert, aber der Unterschied in den Figuren abhängig von der Position des tatsächlichen Blickpunkts, wie oben beschrieben, bleibt bestehen, was eine Diskontinuität an einer Anschlussstelle des Bildes verursachen kann.
<Aufwärtsbewegung des virtuellen Blickpunkts und überlagernde Kombination eines Modellbildes des Objektfahrzeugs auf dem virtuellen Blickpunktbild>
7 ist ein Diagramm zum Beschreiben eines Ablaufs zum Erzeugen eines virtuellen Blickpunktbildes, das wie eine Ansicht aus der Vogelperspektive auf das Objektfahrzeug herabschaut. Bei dem Erzeugungsvorgang wird zuerst, wie auf einer linken Seite von 7 angegeben, der virtuelle Blickpunkt 20 nach vom und oben bezüglich des Objektfahrzeugs bewegt. Dies ermöglicht es, drei virtuelle Blickpunktbilder zu erhalten, die auf das Objektfahrzeug herabschauen.
Als Nächstes werden diese virtuellen Blickpunktbilder kombiniert, und somit wird schließlich ein Bild erzeugt, in dem ein Modellbild des Objektfahrzeugs (z. B. ist ein Trapez im unteren Teil der Zeichnung auf der rechten Seite von 7 ein Bild, das das Dach des Fahrzeugs 100 simuliert) dem kombinierten virtuellen Blickpunktbild überlagert, wie in der Zeichnung auf einer rechten Seite von 7 angegeben.
In der tatsächlichen Fahrsituation eines mit einem normalen Rückspiegel ausgestatteten Fahrzeugs schaut der Fahrer auf einen hinteren Bereich des Fahrzeugs 100 und hinter dem Fahrzeug 100, die im Rückspiegel reflektiert werden, um eine Position eines nachfolgenden Fahrzeugs zu erfassen, wobei er sich auf den im Rückspiegel reflektierten hinteren Bereich des Objektfahrzeugs bezieht (z. B. die obere Fläche des Gepäckraums). Sogar in einem Fahrzeug, das eine Kamera ohne einen Spiegel benutzt, wie in 7 dargestellt, kann ein Kriterium zum Begreifen einer Positionsbeziehung mit einem nachfolgenden Fahrzeug hergestellt werden, indem ein Rückbereichsbild des Objektfahrzeugs (in 7 das das Dach simulierende Bild) virtuell überlagert und kombiniert wird, wenn drei virtuelle Blickpunktbilder kombiniert werden.
<Fall, wo ein nachfolgendes Fahrzeug 11 aus dem Anzeigebild verschwindet>
8 ist ein Diagramm zum Beschreiben einer Situation, wo ein nachfolgendes Fahrzeug 11 aus dem Anzeigebild verschwindet. Wenn die Projektionsebene 10 fern vom Fahrzeug 100 gesetzt ist und die drei virtuellen Blickpunktbild bezüglich der Projektionsebene 10 in einer seitlichen Richtung angrenzend projiziert werden, wird ein Teil jedes der drei Kamerabilder ausgeschnitten.
Anzumerken ist, dass die Projektionsebene 10 nicht auf eine flache Fläche beschränkt ist und beispielsweise eine schüsselförmige Fläche oder gekrümmte Fläche sein kann, wie weiter unten beschrieben. Ferner kann die Projektionsebene 10 eine zylindrische Fläche sein, die den gesamten Umfang des Fahrzeugs 100 umgibt, oder kann eine konische Fläche sein, die den gesamten Umfang des Fahrzeugs 100 umgibt.
Die Blickfeldbereiche der jeweiligen drei Kamerabilder weisen überlappende Bereiche auf, wie beim Blickfeldbereich 1a, beim Blickfeldbereich 2a und beim Blickfeldbereich 3a von 1 dargestellt. In einem Fall, wo ein Anzeigebild durch ein Kombinieren der drei Kamerabilder, wie sie sind, erstellt wird, wird ein Objekt, das in einem überlappenden Blickfeldbereich erscheint, mehr als einmal auf dem Anzeigebild dargestellt, was den Fahrer beim Begreifen der Position des Objekts verwirren kann. Daher wird, um eine auf dem Anzeigebild auftretende Überlappung zu vermeiden, ein Ausschneidevorgang durchgeführt, um ein Bild eines aus dem Blickfeldbereich jedes der Kamerabilder ausgeschnittenen Teils zu erzeugen. Der Ausschnittsbereich 1a1 von 8 ist der Teil, der aus dem rechten Bild des Blickfeldbereichs 1a von 1 ausgeschnitten ist. Der Ausschnittsbereich 2a1 von 8 ist der Teil, der aus dem linken Bild des Blickfeldbereichs 2a von 1 ausgeschnitten ist. Der Ausschnittsbereich 3a1 von 8 ist der Teil, der aus dem hinteren Bild des Blickfeldbereichs 3a von 1 ausgeschnitten ist.
Hier wird, wenn sich das vor der Position der Projektionsebene 10 vorhandene nachfolgende Fahrzeug 11 in einem nicht aus den Kamerabildern ausgeschnittenen Bereich (nicht auf dem Hintergrundbild dargestellten Bereich 12 eines blinden Flecks) befindet, der Bereich 12 eines blinden Flecks zu einem blinden Fleck für den auf das Anzeigebild schauenden Fahrer, und somit verschwindet das nachfolgende Fahrzeug 11 aus dem Anzeigebild. Das heißt, das nachfolgende Fahrzeug 11 kann aus dem kombinierten Bild verschwinden, wenn die Projektionsebene 10 an eine fernere Position als die Position des nachfolgenden Fahrzeugs 11 gesetzt ist.
<Fall, wo ein einzelnes Objekt doppelt abgebildet ist>
9 ist ein Diagramm zum Beschreiben einer Situation, wo ein einzelnes Objekt auf dem Anzeigebild doppelt abgebildet wird. Im Folgenden sind Probleme des Falls beschrieben, wo die Projektionsebene 10 nah zum Fahrzeug 100 gesetzt ist.
In dem Beispiel in 9 sind das rechte Bild, das linke Bild und das hintere Bild so ausgeschnitten, dass sich drei hintere Bilder in einer seitlichen Richtung angrenzend auf der nah zum Fahrzeug 100 gesetzten Projektionsebene 10 befinden. Die Breite jedes aus dem Ausschnittsbereich 1a1, dem Ausschnittsbereich 3a1 und dem Ausschnittsbereich 2a1 ist breiter als diejenige in dem Beispiel von 8. In diesem Fall überlappen der Ausschnittsbereich 1a1, der Ausschnittsbereich 3a1 und der Ausschnittsbereich 2a1 einander nicht an der Position der Projektionsebene 10, aber überlappende Bereiche sind an weiter weg als die Projektionsebene 10 befindlichen Positionen vorhanden; demgemäß wird, wenn sich das Objekt 13 weiter weg als die Projektionsebene 10 in einem überlappenden Bereich befindet, das Objekt in jedem von zwei ausgeschnittenen Bereichen angezeigt.
In dem Beispiel von 9 überlappen sich ein Teil des Ausschnittsbereichs 1a1 und ein Teil des Ausschnittsbereichs 3a1 an einer weiter weg als die Projektionsebene 10 befindlichen Position, sodass das dem rechten Bild und dem hinteren Bild gemeinsame Objekt 13 angezeigt wird. Das heißt, auf dem kombinierten Anzeigebild wird ein einziges Objekt 13 als zwei Objekte 13a und 13b dargestellt. In einem Fall, wo das Objekt 13 ein einziges Motorrad ist, werden zwei Motorräder auf der nah zum Fahrzeug 100 gesetzten Projektionsebene 10 angezeigt. Dies macht es für den Fahrer schwierig, eine tatsächliche Position des Motorrads korrekt zu begreifen.
Ferner wird beispielsweise in einem Fall des Objekts 13 als eines einzigen Motorrads, wenn das sich das Motorrad, das sich in einem Bereich befunden hat, wo sich die Ausschnittsbereiche 3a1 und 1a1 überlappen, zu einer Position bewegt, die nur im Ausschnittsbereich 1a1 enthalten ist, nur das im Ausschnittsbereich 1a1 befindliche Motorrad auf der Anzeige 7 angezeigt. Da der Fahrer das Vorhandensein von zwei Motorrädern wahrnimmt, kann er dann in diesem Fall verwirrt werden und denken, dass eins der Motorräder hinter dem Fahrzeug 100 verschwunden ist.
Als Nächstes sind mit Bezugnahme auf 10 und dergleichen Beispiele zum Lösen der oben beschriebenen Probleme beschrieben.
(Beispiel 1)
<Beispiel 1-1: Setzen einer Einblendungsprojektionsebene 13A>
10 ist ein Diagramm zum Beschreiben eines Verfahrens zum Setzen einer Einblendungsprojektionsebene 13A durch die Anzeigesteuervorrichtung 200 gemäß der vorliegenden Ausführungsform.
Wenn sie ein nachfolgendes Fahrzeug 11 erfasst, setzt die Anzeigesteuervorrichtung 200 in einen vorderen Bereich des nachfolgenden Fahrzeugs 11 eine einblendungsartige Projektionsebene (die Einblendungsprojektionsebene 13A) von einer Größe, die das nachfolgende Fahrzeug 11 abdecken kann. Die Anzeigesteuervorrichtung 200 projiziert dann einen Bereich, der eine Figur des nachfolgenden Fahrzeugs 11 enthält, innerhalb eines aufgenommenen Bereichs auf die Einblendungsprojektionsebene 13A und erzeugt dadurch ein Einblendungsbild. Dabei können, wenn kein aufgenommenes Bild die gesamte Figur des nachfolgenden Fahrzeugs 11 enthält, zwei aufgenommene Bilder auf die Einblendungsprojektionsebene 13A projiziert werden, um ein Kombinieren der gesamten Figur des nachfolgenden Fahrzeugs 11 auf der Einblendungsprojektionsebene 13A durchzuführen. Wenn ein aufgenommenes Bild die gesamte Figur des nachfolgenden Fahrzeugs 11 enthält, kann das einzelne aufgenommene Bild auf die Einblendungsprojektionsebene 13A projiziert werden. Wenn nur ein aufgenommenes Bild auf die Einblendungsprojektionsebene 13A projiziert wird, kann das Auftreten einer Diskontinuität aufgrund eines Kombinierens vermieden werden, sodass ein vorteilhafteres Einblendungsbild erzeugt werden kann. Ein Bereich, wohin die Einblendungsprojektionsebene 13A gesetzt wird, ist weiter unten beschrieben.
Die Anzeigesteuervorrichtung 200 setzt auch die Projektionsebene 10 weiter weg als die Einblendungsprojektionsebene 13A und projiziert eine Vielzahl von aufgenommenen Bildern auf die Projektionsebene 10, um ein Hintergrundbild zu erzeugen (z. B. ein Bild, das das Objekt 13 enthält).
Die Anzeigesteuervorrichtung 200 setzt dann das Einblendungsbild auf das Hintergrundbild und erzeugt dadurch ein einziges Anzeigebild.
Übrigens können die Einblendungsprojektionsebene 13A und die Projektionsebene 10 eine flache rechteckige Fläche oder eine gekrümmte Flache sein, wie etwa eine sphärische Fläche.
Somit wird das Bild des nachfolgenden Fahrzeugs 11 auf das kontinuierliche Hintergrundbild geklebt, was das Verschwinden des nachfolgenden Fahrzeugs 11 und die Doppelabbildung des nachfolgenden Fahrzeugs 11 beseitigen kann. Das heißt, um das Doppelabbilden zu verhindern, werden im Hintergrundbild Bilder ausgeschnitten und kombiniert, sodass die Bilder auf der Projektionsebene 10 an einer fernen Stelle angrenzend sind, und die Figur des nachfolgenden Fahrzeugs 11 wird durch das Einblendungsbild eingefangen und dem Hintergrundbild überlagert, wodurch kein Verschwinden des nachfolgenden Fahrzeugs 11 bewirkt wird.
Wenn sie übrigens kein nachfolgendes Fahrzeug 11 erfasst, führt die Anzeigesteuervorrichtung 200 kein Setzen einer Einblendungsprojektionsebene 13A durch, noch projiziert sie auf die Einblendungsprojektionsebene 13A, und sie legt das Hintergrundbild als das Anzeigebild fest.
<Beispiel 1-2: Bereich, auf den Einblendungsprojektionsebene 13A gesetzt wird>
11 ist ein Diagramm zum Beschreiben eines Bereichs, wo die Einblendungsprojektionsebene 13A angebracht wird (d. h. der Einblendungsprojektionsanbringungsbereiche 16).
11 stellt die folgenden Kanten dar, wenn eine Vielzahl von aufgenommenen Bildern um das Fahrzeug auf die Projektionsebene projiziert werden, um ein Hintergrundbild zu erzeugen: Kante a nahe einer Mitte des Ausschnittsbereichs 1a1 des durch die rechte Kamera aufgenommenen Bildes, Kante b in einer Mitte des Ausschnittsbereichs 2a1 des durch die linke Kamera aufgenommenen Bildes und Kante c1 rechts und Kante c2 links des Ausschnittsbereichs 3a1 des durch die Heckkamera aufgenommenen Bildes. Das Ausschneiden, das in einem Fall des Projizierens der Vielzahl von aufgenommenen Bilder um das Fahrzeug auf diese Projektionsebene durchgeführt wird, ist ein Ausschneiden, das einen Bereich zum Projizieren aus der Vielzahl von aufgenommenen Bildern um das Fahrzeug begrenzt, um das Hintergrundbild zu einem kontinuierlichen Bild zu machen; genauer wird das Ausschneiden so durchgeführt, dass ein Bereich, der ein angrenzendes Bild überschneidet, aus dem zu projizierenden Bereich ausgeschlossen wird. Übrigens wird in dem Beispiel von 11 unter der Annahme des Blendings das Ausschneiden so durchgeführt, dass schmale überlappende Bereiche als Ränder für das Blending verbleiben. Einblendungsprojektionsanbringungsbereiche 16 werden jeweils so gesetzt, dass sie einen Bereich enthalten, der im Blickfeldbereich 3a der Heckkamera enthalten ist, der aber nicht auf dem Hintergrundbild angezeigt wird, wenn das Ausschneiden durchgeführt wird, um das Hintergrundbild zu einem kontinuierlichen Bild zu machen.
Als Beispiel, wenn das Ausschneiden durchgeführt wird, um das Hintergrundbild zu einem kontinuierlichen Bild zu machen, ist auch auf 8 Bezug zu nehmen. Wie in 8 dargestellt, wird, wenn das Ausschneiden, das den Bereich zum Projizieren aus der Vielzahl von aufgenommenen Bildern um das Fahrzeug begrenzt, um das Hintergrundbild zu einem kontinuierlichen Bild zu machen, ein Bereich 12 eines blinden Flecks vergrößert, der nicht auf dem Hintergrundbild dargestellt ist. Folglich verschwindet, wenn das Motorrad hier hineinfährt, das Motorrad 11 aus dem Hintergrundbild. Sogar in dem Beispiel von 11 ist ein Bereich zwischen einer Kante des Ausschnittsbereichs 1a1 und der Kante c1 des Ausschnittsbereichs 3a1 ein nicht auf dem Hintergrundbild dargestellter Bereich 12 eines blinden Flecks; der Bereich weist jedoch eine viel kleineres Ausmaß auf als der Bereich 12 eines blinden Flecks von 8 und ist auf eine unmittelbare Nachbarschaft des Fahrzeugs 100 beschränkt. Ein Bild des nachfolgenden Fahrzeugs 11, das in diesen Bereich 12 des blinden Flecks eingefahren ist, kann aus dem Hintergrundbild verschwinden, aber der blinde Fleck wird unvermeidlich durch die Einschränkungen bei einer Anordnung der Kameras erzeugt, und man kann sagen, dass ein nachfolgendes Fahrzeug mit einem normalen Fahrzeugabstand dort nicht einfährt. Demgemäß ist der Bereich 12 des blinden Flecks von 11 nicht in den Einblendungsprojektionsanbringungsbereichen 16 enthalten.
Wie oben beschrieben, setzt die Anzeigesteuervorrichtung 200 jeden Einblendungsprojektionsanbringungsbereich 16 so, dass er einen Bereich enthält, der im Blickfeldbereich 3a der Heckkamera enthalten ist, der aber nicht auf dem Hintergrundbild angezeigt wird, wenn das Ausschneiden durchgeführt wird, um das Hintergrundbild zu einem kontinuierlichen Bild zu machen, und setzt dann die oben beschriebene Einblendungsprojektionsebene 13A an einen vorderen Endbereich des gesetzten Einblendungsprojektionsanbringungsbereichs 16. Der Grund, warum der Einblendungsprojektionsanbringungsbereich 16 breiter gesetzt wird als der Bereich, der im Blickfeldbereich 3a der Heckkamera enthalten ist, der aber nicht auf dem Hintergrundbild angezeigt wird, wenn das Ausschneiden durchgeführt wird, um das Hintergrundbild zu einem kontinuierlichen Bild zu machen, ist es, um einen Fall zu vermeiden, wo ein Teil einer Fahrzeugkarosserie des nachfolgenden Fahrzeugs unsichtbar wird und der Fahrer somit gehindert ist, eine Situation aufgrund einer Anwendung der Einblendungsprojektion zu begreifen, sogar wenn der Teil der Fahrzeugkarosserie des nachfolgenden Fahrzeugs in den nicht auf dem Hintergrundbild anzuzeigenden Bereich einfährt.
Übrigens verschwindet im Hintergrundbild in einem Bereich, wohin ein durch eine einzige Kamera aufgenommener Bereich allein projiziert wird (z. B. dem Ausschnittsbereich 1a1 von 11), das nachfolgende Fahrzeug 11 nicht, noch wird es doppelt abgebildet, sogar wenn das Ausschneiden durchgeführt wird, um das Hintergrundbild zu einem kontinuierlichen Bild zu machen. Daher besteht keine Notwendigkeit, einen Einblendungsprojektionsanbringungsbereich 16 auf dem Bereich zu setzen. In 11 wird ein Bereich direkt hinter dem Fahrzeug 100, zwischen zwei Einblendungsprojektionsanbringungsbereichen 16 liegend, immer auf dem Hintergrundbild angezeigt, und es tritt hier keine Doppelabbildung auf; somit ist der Bereich aus dem Setzen von Einblendungsprojektionsanbringungsbereichen 16 ausgenommen.
Darüber hinaus besteht, sogar wenn ein Einblendungsprojektionsanbringungsbereich 16 an einer Position nahe der Projektionsebene 10 oder einer Position weiter weg als die Projektionsebene 10 angewendet wird, kein bedeutender Unterschied, verglichen mit dem Fall, wenn er nicht angewendet wird; somit braucht der Einblendungsprojektionsanbringungsbereich 16 an diesen Positionen nicht gesetzt zu werden.
<Beispiel 1-3: Festlegen der Höhe der Einblendungsprojektionsebene 13A>
12 ist ein Diagramm zum Beschreiben einer Höhe der Einblendungsprojektionsebene 13A.
Die Höhe der Einblendungsprojektionsebene 13A ist so festgelegt, dass sie einen Bereich von einem oberen Emde bis zu einem unteren Ende eines nachfolgenden Fahrzeugs 11 umfasst, wenn das nachfolgende Fahrzeug 11 von einem virtuellen Blickpunkt 20 aus gesehen wird.
Ein Bild des nachfolgenden Fahrzeugs 11 braucht oberhalb des oberen Endes der Einblendungsprojektionsebene 13A nicht angezeigt zu werden, sodass das Hintergrundbild auf der Anzeigebildprojektionsebene 10 für den Bereich gewählt wird. Somit wird in einem Bereich oberhalb der Einblendungsprojektionsebene 13A das Hintergrundbild angezeigt, ohne durch die Einblendungsprojektionsebene 13A versperrt zu werden. Das Hintergrundbild wird auch in einem Bereich unterhalb der Einblendungsprojektionsebene 13A gewählt, und somit wird ein Bereich angezeigt, wo die Fahrbahnfläche erscheint, ohne durch die Einblendungsprojektionsebene 13A versperrt zu werden.
Da es gemäß dem Beispiel 1 das Setzen der Einblendungsprojektionsebene 13A ermöglicht, ein Bild des nachfolgenden Fahrzeugs 11 auf die Einblendungsprojektionsebene 13A zu projizieren, kann das Verschwinden des nachfolgenden Fahrzeugs 11 verhindert werden.
Ferner kann, sogar wenn die Einblendungsprojektionsebene 13A gesetzt ist, in der Projektionsebene 10 insgesamt das Hintergrundbild, ohne doppelt abgebildet zu werden, zumindest in dem Bereich kontinuierlich gesehen werden, der nicht durch die Einblendungsprojektionsebene 13A versperrt ist, was für den Fahrer kein Gefühl der Unstimmigkeit bezüglich des Hintergrundbildes verursacht.
Darüber hinaus ist, sogar wenn ein entferntes Objekt in der Nachbarschaft eines Bildes des nachfolgenden Fahrzeugs 11 doppelt abgebildet wird, der Bereich der Doppelabbildung relativ schmal, und daher ist die visuelle Erkennung nicht behindert.
<Beispiel 1-4: Blending eines Grenzbereichs zwischen der Einblendungsprojektionsebene 13A und der Projektionsebene 10>
13 ist ein Diagramm zum Beschreiben eines Blending-Vorgangs für einen Grenzbereich zwischen der Einblendungsprojektionsebene 13A und der Projektionsebene 10.
Wenn die Einblendungsprojektionsebene 13A gesetzt ist, werden das Einblendungsprojektionsbild auf der Einblendungsprojektionsebene 13A und das Hintergrundbild auf der Projektionsebene 10 diskontinuierlich; demgemäß kann die Anzeigesteuervorrichtung 200 in einem Randbereich des Einblendungsprojektionsbildes auf der Einblendungsprojektionsebene 13A einen Umgrenzungsbereich 17c zwischen dem Einblendungsprojektionsbild und dem Hintergrundbild vorsehen und kann ein Blending so durchführen, dass im Umgrenzungsbereich 17c die Transparenz des Einblendungsprojektionsbildes fortlaufend ansteigt und somit das Einblendungsprojektionsbild allmählich in das Hintergrundbild übergeht, während sich das Einblendungsprojektionsbild nach außen erstreckt.
Ein Grenzbereich verschiedener Bilder kann auch beim Erzeugen des Hintergrundbildes diskontinuierlich sein, sodass ein Umgrenzungsbereich zum Blending vorgesehen sein kann. Zum Beispiel ist in einer oberen Zeichnung von 14, die weiter unten beschrieben ist, der Umgrenzungsbereich 17a ein Umgrenzungsbereich zwischen einem rechten Bild und einem hinteren Bild, und der Umgrenzungsbereich 17b ist ein Umgrenzungsbereich zwischen einem linken Bild und einem hinteren Bild. Ein Vorsehen der Umgrenzungsbereiche 17a und 17b und ein Berechnen eines Pixelwerts eines Kombinationsbildes durch eine gewichtete Addition, bei der die Gewichtung umso geringer ist, je näher das angrenzende Bild ist, ermöglichen es, ein Pixel-Blending so durchzuführen, dass angrenzende Bilder ineinander übergehen, und eine Grenzlinie (Grenze) zwischen dem Hintergrundbild und dem Einblendungsbild kann dadurch weniger bemerkbar gemacht werden. Ferner können, wenn eine Vielzahl von Kamerabildern zum Erzeugen des Einblendungsprojektionsbildes verwendet wird, Umgrenzungsbereiche zum Blending in Grenzbereichen der Bilder vorgesehen sein. Somit kann ein Durchführen des Blendings für einen Grenzbereich von Bildern, die diskontinuierlich sein können, verhindern, dass ein Grenzbereich unnatürlich ist und die Aufmerksamkeit des Fahrers auf sich zieht.
<Beispiel 1-5: Setzen einer Vielzahl von Einblendungsprojektionsebenen 13A>
Die Anzeigesteuervorrichtung 200 kann ausgelegt sein, eine Vielzahl von Einblendungsprojektionsebenen 13Azu setzen, abhängig von der Anzahl von nachfolgenden Fahrzeugen 11.
Beispielsweise wird in einer Situation, wo eine Einblendungsprojektionsebene 13A nur für ein bestimmtes nachfolgendes Fahrzeug 11 unter der Vielzahl von nachfolgenden Fahrzeugen 11 gesetzt ist, wenn eine Vielzahl von nachfolgenden Fahrzeugen 11 vorhanden ist, ein Bild des nachfolgenden Fahrzeugs 11, für das die Einblendungsprojektionsebene 13A gesetzt ist, auf die Einblendungsprojektionsebene 13A projiziert, und ein Bild eines weiteren nachfolgenden Fahrzeugs 11 wird auf die Hintergrund-Projektionsebene projiziert. Als Ergebnis wird das Bild eines nachfolgenden Fahrzeugs, für das die Einblendungsprojektionsebene 13A nicht gesetzt ist, in einem Umgrenzungsbereich eines Grenzbereichs des Bildes verdoppelt oder wird gestreckt, indem es weiter weg projiziert wird als die ursprüngliche Position.
Um ein solches Problem zu lösen, wenn eine Vielzahl von nachfolgenden Fahrzeugen 11 erfasst wird, setzt die Anzeigesteuervorrichtung 200 in einem vorderen Bereich jedes der erfassten nachfolgenden Fahrzeuge 11 eine einblendungsartige Projektionsebene (eine Einblendungsprojektionsebene 13A) von einer Größe, die ein entsprechendes der nachfolgenden Fahrzeuge 11 abdecken kann.
Somit werden die Bilder der Vielzahl von nachfolgenden Fahrzeugen 11 auf die tatsächlichen Positionen der nachfolgenden Fahrzeuge 11 projiziert, und ein Verdoppeln oder Strecken in Umgrenzungsbereichen kann vermieden werden.
(Beispiel 2)
<Beispiel 2-1: Dynamische Steuerung für den Umgrenzungsbereich>
Im Beispiel 2 erfolgt eine Beschreibung eines Beispiels zum Beseitigen des Verschwindens des nachfolgenden Fahrzeugs 11 durch ein dynamisches Steuern eines Grenzbereichs (der Umgrenzungsbereiche 17a und 17b) zwischen einem Bild auf der Einblendungsprojektionsebene 13A und einem Bild auf der Projektionsebene 10, anstelle des Setzens einer Einblendungsprojektionsebene 13A.
14 ist ein Diagramm zum Beschreiben eines Verfahrens zum dynamischen Steuern der Umgrenzungsbereiche 17a und 17b. Das nachfolgende Fahrzeug 11 verschwindet, wenn das nachfolgende Fahrzeug 11 beispielsweise in die Nähe einer Grenze zwischen dem hinteren Bild und dem rechten Bild einfährt.
Die Anzeigesteuervorrichtung 200 ist so ausgelegt, dass die Umgrenzungsbereiche 17a und 17b einen Bereich enthalten, in dem das nachfolgende Fahrzeug 11 verschwinden kann. Genauer wird in einem Fall, wo eine Figur des nachfolgenden Fahrzeugs 11 nahe dem Umgrenzungsbereich 17a positioniert ist, wie in der unteren Zeichnung von 14 dargestellt, der Umgrenzungsbereich 17a verbreitert, sodass die Figur des nachfolgenden Fahrzeugs 11 in dem Umgrenzungsbereich 17a enthalten ist. In diesem Umgrenzungsbereich werden Pixel des hinteren Bildes und Pixel des rechten Bildes gemischt, um Pixel des Anzeigebildes zu erzeugen; daher wird die Figur des nachfolgenden Fahrzeugs 11 auf dem Anzeigebild angezeigt, solange die Figur des nachfolgenden Fahrzeugs 11 in mindestens einem aus dem hinteren Bild und dem rechten Bild enthalten ist. Dies kann das Verschwinden des nachfolgenden Fahrzeugs 11 nahe der Grenze zwischen dem hinteren Bild und dem rechten Bild vermeiden.
In 14 wird eine rechte Kante des Umgrenzungsbereichs 17a festgehalten, und eine linke Kante des Umgrenzungsbereichs 17a wird nach links bewegt, um die Figur des nachfolgenden Fahrzeugs 11 in den Umgrenzungsbereich aufzunehmen, aber es kann eine Steuerung so durchgeführt werden, dass auch die rechte Kante des Umgrenzungsbereichs 17a gemäß einer Position der Figur des nachfolgenden Fahrzeugs 11 bewegt wird. Zum Beispiel kann, indem auch die rechte Kante des Umgrenzungsbereichs 17a nach links bewegt wird, eine Position des gesamten Umgrenzungsbereichs bewegt werden, sodass die Figur des nachfolgenden Fahrzeugs 11 in einer Mitte des Umgrenzungsbereichs 17a angeordnet wird. Obwohl 14 das Beispiel angibt, in dem die Figur des nachfolgenden Fahrzeugs 11 nahe der Grenze zwischen dem hinteren Bild und dem rechten Bild angeordnet ist, kann, wenn die Figur des nachfolgenden Fahrzeugs 11 nahe einer Grenze zwischen dem hinteren Bild und dem linken Bild angeordnet ist, der Umgrenzungsbereich 17b so verbreitert werden, dass er die Figur des nachfolgenden Fahrzeugs 11 enthält, und in diesem Umgrenzungsbereich können die Pixel des hinteren Bildes und die Pixel des linken Bildes gemischt werden, um Pixel des Anzeigebildes zu erzeugen. Somit enthält die Anzeigesteuervorrichtung 200 das Bild des nachfolgenden Fahrzeugs 11 im Umgrenzungsbereich 17a oder 17b und führt ein Blending in den Umgrenzungsbereichen 17a und 17b durch und kann dadurch ein Verschwinden des nachfolgenden Fahrzeugs 11 nahe der Grenze zwischen dem hinteren Bild und dem linken oder rechten Bild vermeiden, während sie die Unnatürlichkeit der Umgrenzungsbereiche 17a und 17b weniger bemerkbar macht. Als der Bereich nahe der Grenze zwischen dem hinteren Bild und dem linken oder rechten Bild kann derselbe Bereich als der Bereich festgelegt werden, auf dem die Einblendungsprojektionsebene 13A angebracht wird (der Einblendungsprojektionsanbringungsbereich 16), wie mit Bezugnahme auf 11 beschrieben.
<Beispiel 2-2: Steuerung der Breiten der Umgrenzungsbereiche 17a und 17b abhängig vom Vorhandensein oder Nichtvorhandensein des nachfolgenden Fahrzeugs 11>
Die Anzeigesteuervorrichtung 200 kann ausgelegt sein, die Umgrenzungsbereiche 17a und 17b nicht zu verbreitern, wenn kein nachfolgendes Fahrzeug 11 erfasst ist, und die Umgrenzungsbereiche zu verbreitern, wenn ein nachfolgendes Fahrzeug 11 erfasst ist. Ferner misst die Anzeigesteuervorrichtung 200 eine Breite der Figur des nachfolgenden Fahrzeugs 11 und kann gemäß der Breite der Figur des nachfolgenden Fahrzeugs 11 bestimmen, ob Breiten der Umgrenzungsbereiche 17a und 17b zu erweitern sind.
Wenn beispielsweise das nachfolgende Fahrzeug 11 erfasst ist, bestimmt die Anzeigesteuervorrichtung 200 eine Breite des nachfolgenden Fahrzeugs 11 und einen Bereich, in dem das nachfolgende Fahrzeug 11 erscheint. In einem Fall, wo das nachfolgende Fahrzeug 11 schmaler ist als eine vorgegebene Breite, bestimmt die Anzeigesteuervorrichtung 200, dass das nachfolgende Fahrzeug 11 ein Motorrad ist, während sie das nachfolgende Fahrzeug 11 in einem Fall als ein vierrädriges Fahrzeug bestimmt, wo das nachfolgende Fahrzeug 11 breiter ist als eine vorgegebene Breite.
In einem Fall, wo das nachfolgende Fahrzeug 11 ein vierrädriges Fahrzeug ist, ist es, da eine Fahrzeugbreite eines vierrädrigen Fahrzeugs breiter ist als eine Fahrzeugbreite eines Motorrads, unwahrscheinlich, dass die gesamte Figur des vierrädrigen Fahrzeugs aus dem Anzeigebild verschwindet, und es wird angenommen, dass, sogar wenn ein Teil des vierrädrigen Fahrzeugs aus dem Anzeigebild verschwindet, kein Übersehen des nachfolgenden Fahrzeugs 11 verursacht wird. Daher kann die Anzeigesteuervorrichtung 200, wenn sie das nachfolgende Fahrzeug 11 wegen seiner breiten Breite als ein vierrädriges Fahrzeug bestimmt, eine solche Steuerung durchführen, dass eine Breite eines Umgrenzungsbereichs in der Nähe des vierrädrigen Fahrzeugs konstant gehalten wird.
In einem Fall, wo das nachfolgende Fahrzeug 11 ein Motorrad ist, ist es, da eine Fahrzeugbreite eines Motorrads schmaler ist als eine Fahrzeugbreite eines vierrädrigen Fahrzeugs, wahrscheinlich, dass die gesamte Figur des Motorrads aus dem Anzeigebild verschwindet. Daher kann die Anzeigesteuervorrichtung 200, wenn sie das nachfolgende Fahrzeug 11 wegen seiner schmalen Breite als ein Motorrad bestimmt, eine solche Steuerung durchführen, dass eine Breite eines Umgrenzungsbereichs in der Nähe des Motorrads verbreitert wird.
Ferner kann die Anzeigesteuervorrichtung 200 einen Abstand von der Figur des nachfolgenden Fahrzeugs 11 auf dem Bild zu einer Grenze zwischen dem hinteren Bild und dem linken oder rechten Bild bewerten und kann den Umgrenzungsbereich nur verbreitern, wenn sich die Figur des nachfolgenden Fahrzeugs 11 nahe der Grenze befindet. In einem Fall, wo die Position der Figur des nachfolgenden Fahrzeugs 11 entfernt von der Grenze ist, kann ein anschließender Erfordernisbestimmungsvorgang weggelassen werden, was eine Arbeitslast zum Bestimmen, ob ein Umgrenzungsbereich zu verbreitern ist, verringern kann.
Übrigens kann die Anzeigesteuervorrichtung 200 ausgelegt sein, einen Abstand zum nachfolgenden Fahrzeug 11 und eine Näherungsgeschwindigkeit zu bewerten und das oben beschriebene Blending bezüglich eines Umgrenzungsbereichs in der Nähe des nachfolgendes Fahrzeugs 11 nur durchzuführen, wenn die Möglichkeit eines Konflikts mit dem Fahrzeug 100 erkannt ist. Wenn beispielsweise ein Fahrzeugabstand untereinander mit dem nachfolgenden Fahrzeug 11 größer ist als ein vorgegebener Wert und sich der Fahrzeugabstand nicht verringert, wird bestimmt, dass das nachfolgende Fahrzeug 11 keine Möglichkeit eines Konflikts mit dem Fahrzeug 100 aufweist, und auch eine Verbreiterung des Umgrenzungsbereichs kann als unnötig bestimmt werden. Dies kann ein unnötiges Verschwimmen (eine Unschärfe) des Bildes aufgrund der Doppelabbildung im Umgrenzungsbereich vermeiden.
<Beispiel 2-3: Steuerung einer Breite eines Umgrenzungsbereichs gemäß einer Position des nachfolgenden Fahrzeugs 11>
15 ist ein Diagramm zum Beschreiben der Steuerung einer Breite eines Umgrenzungsbereichs gemäß einer Position des nachfolgenden Fahrzeugs 11.
Da ein Bild aufgrund der Doppelabbildung in einem Umgrenzungsbereich verschwommen ist, ist eine Breite des Umgrenzungsbereichs vorzugsweise schmal. Indessen wird ein Bewegungsbetrag des nachfolgenden Fahrzeugs 11 auf dem Bild, wenn sich ein um das Objektfahrzeug vorhandenes nachfolgendes Fahrzeug 11 in einer seitlichen Richtung bewegt, größer als der Bewegungsbetrag des nachfolgenden Fahrzeugs 11 auf dem Bild, wenn sich ein entfernt von dem Objektfahrzeug befindliches nachfolgendes Fahrzeug 11 in einer seitlichen Richtung bewegt. Wenn dann die Steuerung einer Breite des Umgrenzungsbereichs der seitlichen Bewegung des nachfolgenden Fahrzeugs 11 nicht folgt, ist es wahrscheinlicher, dass die Figur des nachfolgenden Fahrzeugs 11 aus dem Umgrenzungsbereich abschwenkt und aus dem Anzeigebild verschwindet.
Daher kann die Anzeigesteuervorrichtung 200, wenn sich das nachfolgende Fahrzeug 11 mit einer schmalen Breite an einer vom Objektfahrzeug entfernten Position befindet, eine solche Steuerung durchführen, dass eine Breite eines Umgrenzungsbereichs in der Nähe des nachfolgenden Fahrzeugs 11 verschmälert wird und die Breite des Umgrenzungsbereichs allmählich oder schrittweise verbreitert wird, während sich das nachfolgende Fahrzeug 11 dem Obj ektfahrzeug nähert.
Dies ermöglicht es zu verhindern, dass die Figur des nachfolgenden Fahrzeugs 11 aus dem Umgrenzungsbereich abschwenkt und aus dem Anzeigebild verschwindet, sowie ein Verschwimmen des Bildes aufgrund der Doppelabbildung zu unterdrücken.
Ferner ist es, sogar wenn der Erfassungsvorgang für das nachfolgende Fahrzeug 11 verzögert ist, möglich zu verhindern, dass das nachfolgende Fahrzeug 11 aus dem Umgrenzungsbereich verschwindet, indem die Breite des Umgrenzungsbereichs in der Nähe des nachfolgenden Fahrzeugs 11 erhöht wird.
<Beispiel 2-4: Steuerung des Blending-Verhältnisses im Umgrenzungsbereich>
16 ist ein Diagramm zum Beschreiben der Steuerung eines Blending-Verhältnisses in einem Umgrenzungsbereich.
Die Anzeigesteuervorrichtung 200 kann eine Mittelposition der Figur des nachfolgenden Fahrzeugs 11 oder eine Position des Gesichts (oder Kopfes) des Fahrers des nachfolgenden Fahrzeugs 11 erfassen und dann eine Steuerung so durchführen, dass ein Übergangspunkt, an dem das Blending-Verhältnis zwischen einem Bild auf der rechten Seite und einem Bild auf der linken Seite bezüglich des Umgrenzungsbereichs eins zu eins beträgt, mit der Mittelposition des nachfolgenden Fahrzeugs 11 oder der Position des Gesichts (oder Kopfes) des Fahrers des nachfolgenden Fahrzeugs 11 übereinstimmt. Während die Technik der Gesichtserkennung zum Erfassen eines Gesichtsbildes aus einem Bild allgemein bekannt ist und eine Beschreibung davon weggelassen ist, wird die Gesichtserkennung durch einen Mustervergleich durchgeführt, der ein Übereinstimmungsmaß mit einem Katalogbild bewertet und ein Algorithmus sein kann, der das Übereinstimmungsmaß mit einer Vielzahl von Katalogbildern bewertet und ein Gesicht erkennt, wenn es mit irgend einem davon übereinstimmt. Obwohl ein Tragen eines Helms Teile des Gesichts des Fahrers unsichtbar macht, ist es möglich, das Gesicht (oder den Kopf) des den Helm tragenden Fahrers zu erfassen und die Position durch ein Anfügen eines Katalogbildes anzugeben, das mit einem Bild der Schulter und oberhalb des den Helm tragenden Fahrers übereinstimmt.
Das Blending-Verhältnis an einem Umgrenzungsbereich variiert abhängig von einer Position der Figur bezüglich des Umgrenzungsbereichs. Zum Beispiel wird in einem Fall, wo sich die Figur eines Motorrads an einer Position mit einem niedrigeren Blending-Verhältnis (z. B. nahe 0 %) nahe einer Kante des Umgrenzungsbereichs befindet, ein Anzeigebild gebildet, in das die Figur des Motorrads extrem dünn gemischt ist und ein Hintergrundbild ohne das Motorrad damit dicht gemischt ist. Folglich kann der Fahrer das Motorrad übersehen, da das Motorrad dünn angezeigt wird.
Somit wird, indem das Blending-Verhältnis eins zu eins gemacht wird an einer Mittelposition des Bildes des nachfolgenden Fahrzeugs 11 oder einer Position des Gesichts des Fahrers des nachfolgenden Fahrzeugs 11, welche die beachtete Position ist, wenn der Fahrer das Motorrad visuell erkennt, das Bild des Motorrads mit annähernd der halben Dichte angezeigt, wodurch die Gefahr des Übersehens des nachfolgenden Fahrzeugs 11 verringert ist. Ferner, da das Gesicht des Fahrers visuell erkannt werden kann, ist es auch leicht, die nächste Bewegung des Motorrads vorauszusagen.
<Wirkung des Beispiels 2>
Wie oben beschrieben, ist es, wenn das Motorrad in einen zwischen einem Blickfeldbereich des linken oder rechten Kamerabildes und einem Blickfeldbereich der Heckkamera auf dem Anzeigebild gebildeten blinden Fleck einfährt und die Figur des Motorrads möglicherweise aus dem Anzeigebild verschwindet, möglich, das Verschwinden des Bildes des Motorrades durch ein Verbreitern einer Breite eines Umgrenzungsbereichs zu verhindern, in dem das Kamerabild der linken oder rechten Kamera und das Kamerabild der Heckkamera gemischt und angezeigt werden, um die Figur des Motorrads einzuschließen.
Ferner ist, da das Steuern des Umgrenzungsbereichs die Bildanzeige ermöglicht, die nur eine einzige Projektionsebene 10 verwendet, ein Bildverarbeitungsaufwand klein, verglichen mit dem Fall des Verwendens sowohl der Einblendungsprojektionsebene 13A als auch der Projektionsebene 10, wodurch die Anzeigeverzögerungszeit vom Erfassen des nachfolgenden Fahrzeugs 11 bis zum Anzeigen des Anzeigebildes auf der Anzeige 7 verkürzt ist.
Ferner ermöglicht es das Verkürzen der Anzeigeverzögerungszeit, die Zeit vom Ändern einer umgebenden Situation des Objektfahrzeugs bis zu einem Fahrvorgang zu verkürzen, der einer umgebenden Situation nach dem Durchführen der Änderung entspricht.
(Beispiel 3)
Als Nächstes erfolgt eine Beschreibung des Beispiels 3 mit Bezugnahme auf 17 und dergleichen. Übrigens kann das Beispiel 3 mit Beispiel 1 oder Beispiel 2 kombiniert werden.
<Beispiel 3-1: Positionssteuerung für einen virtuellen Blickpunkt 20 abhängig vom Vorhandensein oder Nichtvorhandensein des nachfolgenden Fahrzeugs 11>
17 ist ein Diagramm zum Beschreiben eines Steuerungsverfahrens für eine Position des virtuellen Blickpunkts 20 abhängig vom Vorhandensein oder Nichtvorhandensein des nachfolgenden Fahrzeugs 11.
Die Anzeigesteuervorrichtung 200 führt die Steuerung so aus, dass der virtuelle Blickpunkt 20, wenn ein nachfolgendes Fahrzeug 11 vorhanden ist, auf eine höhere Position bezüglich der Fahrbahnfläche gesetzt wird, während der virtuelle Blickpunkt 20, wenn kein nachfolgendes Fahrzeug 11 vorhanden ist, auf eine niedrigere Position bezüglich der Fahrbahnfläche als derjenigen in einem Fall gesetzt wird, wo ein nachfolgendes Fahrzeug 11 vorhanden ist.
Ein Setzen des virtuellen Blickpunkts 20 auf eine höhere Position bezüglich der Fahrbahnfläche ermöglicht es, ein Bild vorzusehen, das von einer höheren Position auf das Fahrzeug herabschaut, sodass die Bewegungen des Objektfahrzeugs und des nachfolgenden Fahrzeugs 11 auf der Fahrbahnfläche leicht erkannt werden können.
Indessen verursacht ein Setzen des virtuellen Blickpunkts 20 auf eine höhere Position bezüglich der Fahrbahnfläche eine Situation, wo auf einem Anzeigebildschirm eine Bewegung eines festen Objekts, wie etwa einer Fahrbahnmarkierung, die durch die Bewegung des Fahrzeugs erzeugt wird, eine größere Bewegung zu sein scheint, was die Aufmerksamkeit des Fahrers auf sich zieht. Anders ausgedrückt, das Höhersetzen des virtuellen Blickpunkts 20 führt zu einer höheren Blickablenkung. Da der Fahrer bei der Fahrt nach vorn schauen soll, ist es besser, einen Blick nicht unnötig abzulenken. In einem Fall, wo kein nachfolgendes Fahrzeug 11 vorhanden ist, verringert ein Setzen des virtuellen Blickpunkts 20 auf eine niedrigere Position bezüglich der Fahrbahnfläche eine Bewegung der Fahrbahnfläche auf der Anzeige 7 und verhindert dadurch eine unnötige Blickablenkung.
<Beispiel 3-2:Positionssteuerung für einen virtuellen Blickpunkt 20 gemäß der Geschwindigkeit des Objektfahrzeugs>
18 ist ein Diagramm zum Beschreiben eines Steuerverfahrens für eine Position des virtuellen Blickpunkts 20 gemäß einer Geschwindigkeit des Objektfahrzeugs.
Die Anzeigesteuervorrichtung 200 kann ausgelegt sein, den virtuellen Blickpunkt 20 gemäß einer Geschwindigkeit des Objektfahrzeugs auf eine höhere Position oder eine niedrigere Position bezüglich der Fahrbahnfläche zu setzen.
Wenn die Geschwindigkeit des Objektfahrzeugs niedrig ist, wird, da eine Bewegung der Fahrbahnfläche auf einem Bildschirm verringert ist, ein Blick weniger wahrscheinlich auf die sich bewegende Fahrbahnfläche gelenkt. Daher setzt die Anzeigesteuervorrichtung 200 den virtuellen Blickpunkt 20 auf eine höhere Position bezüglich der Fahrbahnfläche, wenn die Geschwindigkeit des Objektfahrzeugs gleich oder geringer als eine vorgegebene Geschwindigkeit ist, während die Anzeigesteuervorrichtung 200, wenn die Geschwindigkeit des Objektfahrzeugs die vorgegebene Geschwindigkeit übersteigt, den virtuellen Blickpunkt 20 auf eine niedrigere Position bezüglich der Fahrbahnfläche setzt, als wenn die Geschwindigkeit des Objektfahrzeugs gleich oder geringer als die vorgegebene Geschwindigkeit ist.
Dies erleichtert es, die Bewegung des Objektfahrzeugs und des nachfolgenden Fahrzeugs 11 zu begreifen, während vermieden ist, dass der Blick unnötig auf die sich bewegende Fahrbahnfläche gelenkt wird. Diese Steuerung gemäß der Geschwindigkeit des Objektfahrzeugs kann in Kombination mit der Steuerung abhängig von dem Vorhandensein oder Nichtvorhandensein eines nachfolgenden Fahrzeugs 11 durchgeführt werden. Zum Beispiel kann eine Steuerung so durchgeführt werden, dass der virtuelle Blickpunkt 20 auf eine höhere Position in einem Fall gesetzt wird, wo die Geschwindigkeit des Objektfahrzeugs niedrig ist und ein nachfolgendes Fahrzeug 11 vorhanden ist, während der virtuelle Blickpunkt 20 in anderen Fällen auf eine niedrigere Position gesetzt wird, oder eine Steuerung kann so durchgeführt werden, dass der virtuelle Blickpunkt 20 auf eine niedrigere Position nur in einem Fall gesetzt wird, wo die Geschwindigkeit des Objektfahrzeugs hoch ist und ein nachfolgendes Fahrzeug 11 nicht vorhanden ist, während der virtuelle Blickpunkt 20 in anderen Fällen auf eine höhere Position gesetzt wird. Die erstere ist eine Steuerung mit Betonung auf dem Unterdrücken des Ablenkens des Blicks, und die letztere ist eine Steuerung mit Betonung auf dem Erleichtern der Überwachung nach hinten, und beide können abhängig vom Entwurfskonzept des Fahrzeugs angewendet werden.
<Beispiel 3-3: Neigungssteuerung für die Projektionsebene 10 gemäß der Bewegung des virtuellen Blickpunkts 20>
19 und 20 sind jeweils Diagramme zum Beschreiben eines Steuerverfahrens einer Neigung der Projektionsebene 10.
Wie in 19 dargestellt, wird in einem Fall, wo sich die Projektionsebene 10 vertikal nach oben und unten bezüglich der Fahrbahnfläche erstreckt, ein Bild eines Teils des nachfolgenden Fahrzeugs 11 nahe der Fahrbahnfläche auf die Projektionsebene 10 unterhalb der Fahrbahnfläche projiziert. Wenn dieses Bild auf der Projektionsebene 10 von dem virtuellen Blickpunkt 20 aus gesehen wird, der auf eine höhere Position gesetzt ist als die tatsächliche Kameraposition, erscheint das Bild des nachfolgenden Fahrzeugs 11 vertikal verformt (verzerrt).
Daher setzt die Anzeigesteuervorrichtung 200, wie in 20 dargestellt, wenn sie den virtuellen Blickpunkt 20 unter Verwendung der Steuerung von Beispiel 3-1 oder Beispiel 3-2 auf eine höhere Position setzt, die Projektionsebene 10 an eine Position, wo sich vermutlich ein nachfolgendes Fahrzeug 11 befindet, und neigt die Projektionsebene 10 schräg bezüglich der Fahrbahnfläche. Dabei setzt die Anzeigesteuervorrichtung 200 die Projektionsebene 10 so, dass sie senkrecht zu dem virtuellen Blick 15 ist, der sich von dem virtuellen Blickpunkt 20 zu einer Position erstreckt, wo sich das nachfolgende Fahrzeug 11 vermutlich befindet.
Anzumerken ist, dass der Abstand vom Fahrzeug 100 zur Projektionsebene 10 annähernd gemäß der Geschwindigkeit des Fahrzeugs 100 geändert werden kann und erhöht werden kann, wenn das Fahrzeug 100 beispielsweise mit hoher Geschwindigkeit fährt. Es ist sinnvoll, den Abstand vom Fahrzeug 100 zur Projektionsebene 10 gemäß der Fahrzeuggeschwindigkeit zu ändern, weil ein typischer Fahrzeugabstand bei der hohen Fahrzeuggeschwindigkeit lang ist und bei der niedrigen Fahrzeuggeschwindigkeit kurz ist.
Wenn ein Bild, das von einer höheren Position auf das Fahrzeug herabschaut, zu dem Zweck vorgesehen ist, das Begreifen der Bewegung des Objektfahrzeugs und des nachfolgenden Fahrzeugs 11 auf der Fahrbahnfläche zu erleichtern, kann die Verzerrung des Bildes des nachfolgenden Fahrzeugs 11 durch ein Neigen der Projektionsebene 10 schräg bezüglich der Fahrbahnfläche beseitigt werden.
Ferner kann die Anzeigesteuervorrichtung 200, wenn sie den virtuellen Blickpunkt 20 unter Verwendung der Steuerung von Beispiel 3-1 oder Beispiel 3-2 auf eine niedrigere Position setzt, die Projektionsebene 10 an eine Position setzen, wo sich vermutlich ein nachfolgendes Fahrzeug 11 befindet, und die Projektionsebene 10 senkrecht zur Fahrbahnfläche setzen.
Ein Setzen der Projektionsebene 10 senkrecht zur Fahrbahnfläche verringert eine Bewegung der Fahrbahnfläche auf der Anzeige 7 und verhindert dadurch eine unnötige Blickablenkung.
Somit ändert die Anzeigesteuervorrichtung 200 einen Neigungswinkel der Projektionsebene 10 abhängig vom Vorhandensein oder Nichtvorhandensein eines nachfolgenden Fahrzeugs 11 oder gemäß einer Geschwindigkeit des Objektfahrzeugs und ermöglicht es dadurch, die Verzerrung eines auf die Projektionsebene projizierten Bildes, während ein Blick des Fahrers weniger wahrscheinlich darauf gelenkt wird.
<Beispiel 3-4: Steuerung zum Einbeziehen einer Fahrbahnfläche in die Projektionsebene 10>
21 ist ein Diagramm zum Beschreiben eines Steuerverfahrens zum Einbeziehen einer Fahrbahnfläche in die Projektionsebene 10.
Wie in 21, dargestellt, kann die Anzeigesteuervorrichtung 200 ausgelegt sein, die Fahrbahnfläche in die Projektionsebene 10 einzubeziehen.
Wenn die Fahrbahnfläche in die Projektionsebene 10 einbezogen ist, bleibt eine Position einer Fahrbahnmarkierung (z. B. einer Geschwindigkeitsbeschränkungsanzeige auf der Fahrbahnfläche) unverändert und unabhängig von der Projektion, was eine Verzerrung (Verformung) aufgrund der Projektion beseitigen kann. Ferner wird die Fahrbahnmarkierung leichter sichtbar durch ein Schauen auf die die Fahrbahnfläche einbeziehende Projektionsebene 10 von einem auf eine höhere Position gesetzten virtuellen Blickpunkt 20 aus.
Ferner kann die Anzeigesteuervorrichtung 200 so ausgelegt sein, dass, wenn die Höhe über Boden des virtuellen Blickpunkts 20 vergrößert wird, das Bild der Fahrbahnfläche in die Projektionsebene 10 einbezogen wird, während, wenn die Höhe über Boden des virtuellen Blickpunkts 20 verringert wird, ein Bereich der in der in die Projektionsebene 10 einbezogenen Fahrbahnfläche kleiner gemacht wird als ein Bereich der in die Projektionsebene 10 einbezogenen Fahrbahnfläche, wenn die Höhe über Boden des virtuellen Blickpunkts 20 vergrößert wird.
Übrigens kann in einem Fall, wo ein nachfolgendes Fahrzeug 11 nicht vorhanden ist und der virtuelle Blickpunkt 20 auf eine niedrigere Position gesetzt ist, ein Anzeigebild, wie es tatsächlich durch en Fahrer gesehen wird, sogar erhalten werden, wenn ein Bild auf die Projektionsebene 10 projiziert wird, das die Fahrbahnfläche nicht enthält; demgemäß braucht in diesem Fall die Fahrbahnfläche der Projektionsebene 10 nicht zugefügt zu werden.
<Beispiel 3-5: Steuerung zum Zufügen einer sanften Schräge 18 zu einem unteren Bereich der Projektionsebene 10>
22 ist ein Diagramm zum Beschreiben eines Steuerverfahrens zum Zufügen einer sanften Schräge 18 zu einem unteren Bereich der Projektionsebene 10.
Die Anzeigesteuervorrichtung 200 kann ausgelegt sein, eine sanfte Schräge 18 zwischen die Projektionsebene 10 und die Fahrbahnfläche einzufügen und die Gesamtheit von Projektionsebene 10 und sanfter Schräge 18 als eine Projektionsebene festzulegen.
Eine Neigung der sanften Schräge 18 bezüglich der Fahrbahnfläche ist kleiner als die Neigung der Projektionsebene 10 bezüglich der Fahrbahnfläche. Obwohl 22 einen Fall darstellt, wo die sanfte Schräge 18 eben ist, ist die sanfte Schräge 18 nicht darauf beschränkt und kann eine gekrümmte Fläche sein, die glatt zwischen der Projektionsebene 10 und der Fahrbahnfläche verbindet.
Wenn ein Bild einer weiter entfernten Fahrbahnfläche als die Projektionsebene 10 auf die Projektionsebene 10 projiziert wird, die so geneigt ist, dass sie sich gegen die Fahrbahnfläche erhebt, ist das Bild verzerrt und schwierig zu sehen. Als Ergebnis werden das Bild der Fahrbahnfläche vor der Projektionsebene 10 und Bild der Fahrbahnfläche weiter entfernt als die Projektionsebene 10 diskontinuierlich, was das Gefühl der Unstimmigkeit der Erscheinung verstärkt.
Das Zufügen der sanften Schräge 18 zwischen die Projektionsebene 10 und die Fahrbahnfläche verringert die Diskontinuität zwischen der Fahrbahnfläche und der Projektionsebene 10, und somit kann die Verzerrung des Bildes der Fahrbahnfläche weiter weg als die Projektionsebene 10 verringert sein.
<Beispiel 3-6: Steuerung zum Festlegen der Position der sanften Schräge 18, um die Sichtbarkeit des nachfolgenden Fahrzeugs 11 nicht zu behindern>
Abhängig von einer Position, wo die sanfte Schräge 18 vorgesehen ist, kann die Sichtbarkeit des nachfolgenden Fahrzeugs 11 behindert sein. Zum Beispiel ist in einem Fall, wo sich ein nachfolgendes Fahrzeug 11 in der Nähe der Projektionsebene 10 befindet, in der Figur des nachfolgenden Fahrzeugs 11 ein auf die sanfte Schräge 18 projizierter Bereich verzerrt, und eine Gerade, die den auf die sanfte Schräge 18 projizierten Bereich und einen auf die obige Projektionsebene projizierten Bereich überspannt, scheint gebogen zu sein. Als Maßnahme dagegen ist es denkbar, eine Höhe eines oberen Endes der sanften Schräge 18 auf einen Bereich zu beschränken, innerhalb dessen eine Unterstruktur eines vermuteten nachfolgenden Fahrzeugs liegt. Ein Beispiel der Unterstruktur des nachfolgenden Fahrzeugs enthält einen Teilbereich unterhalb einer Stoßstange eines vierrädrigen Fahrzeugs oder einen Teilbereich unterhalb einer Achse eines Motorrads.
Dann ist der Teilbereich, der verzerrt wird, auf den unteren Teilbereich des Bildes des nachfolgenden Fahrzeugs 11 beschränkt. Wenn der Fahrer das nachfolgende Fahrzeug visuell erkennt, ist der Bereich, auf den zu achten ist, ein oberer Teilbereich einer Fahrzeugkarosserie, und somit besteht, sogar wenn der untere Teilbereich des Bildes des nachfolgenden Fahrzeugs 11 verzerrt ist, ein geringes Hindernis, das nachfolgende Fahrzeug 11 visuell zu erkennen.
Demgemäß kann die Anzeigesteuervorrichtung 200 an einer Position, wo sich das nachfolgende Fahrzeug 11 vermutlich befindet, das obere Ende der sanften Schräge 18 an eine Position der Stoßstange oder Achse des nachfolgenden Fahrzeugs 11 setzen, sodass die sanfte Schräge 18 mit der Projektionsebene 10 verbunden ist.
Somit ist der gebogene Teil der Projektionsebene 10 (die sanfte Schräge 18) auf den unteren Teil des nachfolgenden Fahrzeugs 11 gesetzt, und das Bild eines oberen Teils des nachfolgenden Fahrzeugs 11 ist nicht mehr diskontinuierlich und verbessert dadurch die Sichtbarkeit des nachfolgenden Fahrzeugs 11.
Ferner kann bei der Draufsichtanzeige, um eine Kontinuität mit dem Fall vorzusehen, wo das nachfolgende Fahrzeug 11 erfasst ist, die Fahrbahnfläche in die Projektionsebene 10 sogar aufgenommen sein, wenn kein nachfolgendes Fahrzeug 11 erfasst ist. Da jedoch eine Verringerung der Blickablenkung erforderlich ist, kann ein Anreiz für den Blick verringert sein, wenn die Fahrbahnfläche in die Projektionsebene 10 aufgenommen ist, indem der Bereich der in der Projektionsebene 10 enthaltenen Fahrbahnfläche eingeengt wird oder ein Teil der Fahrbahnfläche unscharf gemacht wird.
(Beispiel 4)
Die Anzeigesteuervorrichtung 200 kann ausgelegt sein, ein Bild des nachfolgenden Fahrzeugs 11, das auf die Einblendungsprojektionsebene 13A projiziert worden ist, neu auf die Projektionsebene 10 zu projizieren, und wenn sie das Bild des nachfolgenden Fahrzeugs 11 neu projiziert, das auf die Einblendungsprojektionsebene 13A projizierte Bild des nachfolgenden Fahrzeugs 11 abhängig von dem Abstand von der Einblendungsprojektionsebene 13A zur Projektionsebene 10 zu vergrößern.
Es sei beispielsweise angenommen, dass sich ein vierrädriges Fahrzeug direkt neben dem in 12 dargestellten nachfolgenden Fahrzeug 11 befindet und der Abstand von diesem vierrädrigen Fahrzeug zum Objektfahrzeug gleich dem Abstand von dem nachfolgenden Fahrzeug 11 zum Objektfahrzeug ist. Darüber hinaus sei angenommen, dass die Höhe des vierrädrigen Fahrzeugs annähernd dieselbe ist wie diejenige des nachfolgenden Fahrzeugs 11, aber die Breite des vierrädrigen Fahrzeugs größer ist als die Breite des nachfolgenden Fahrzeugs 11.
Hier wird die Einblendungsprojektionsebene 13A auf eine minimale Größe festgelegt, die es ermöglicht, dass ein ganzes Bild des nachfolgenden Fahrzeugs 11 projiziert wird, und somit wird das vierrädrige Fahrzeug, das die Größe der Einblendungsprojektionsebene 13A überschreitet, dem Setzen der Einblendungsprojektionsebene 13A nicht unterzogen.
Daher kann sich das folgende Problem in einem Fall erheben, wo die Einblendungsprojektionsebene 13A nicht vor das vierrädrige Fahrzeug gesetzt ist, sondern die Einblendungsprojektionsebene 13A nur vor das nachfolgende Fahrzeug 11 gesetzt ist. Das heißt, der Abstand von der Einblendungsprojektionsebene 13A zu einem auf die Einblendungsprojektionsebene 13A projizierten Objekt (z. B. dem nachfolgenden Fahrzeug 11) ist verschieden von dem Abstand von der weiter entfernt als die Einblendungsprojektionsebene 13A gesetzten Projektionsebene 10 zu einem auf die Projektionsebene 10 projizierten Objekt (z. B. dem oben erwähnten vierrädrigen Fahrzeug). Demgemäß ist eine Vergrößerungsrate für das Objekt des auf die Einblendungsprojektionsebene 13A projizierten Einblendungsbildes verschieden von einer Vergrößerungsrate für das Objekt des auf die Projektionsebene 10 projizierten Hintergrundbildes.
Mit anderen Worten, das nachfolgenden Fahrzeugs 11 wird auf die unmittelbar vor das nachfolgende Fahrzeug 11 gesetzte Einblendungsprojektionsebene 13A projiziert, sodass die Größe seines Bildes verringert ist, um in die Maße der Einblendungsprojektionsebene 13A zu fallen, während das direkt neben dem nachfolgenden Fahrzeug 11 befindliche vierrädrige Fahrzeug auf die Projektionsebene 11 an einer entfernten Stelle projiziert wird, sodass sein Bild vergrößert und überhöht ist.
Daher ermöglicht es ein Legen des Einblendungsbildes auf das Hintergrundbild, dass das vergrößerte Bild des vierrädrigen Fahrzeugs neben dem verkleinerten Bild des nachfolgenden Fahrzeugs 11 ausgerichtet wird, wie oben beim Erzeugen eines einzigen Anzeigebildes beschrieben. Somit kann der Fahrer ein Gefühl der Unstimmigkeit in dem erzeugten Bild empfinden oder kann irrtümlich erkennen, dass sich das nachfolgende Fahrzeug 11 weiter weg befindet als das direkt neben dem nachfolgenden Fahrzeug 11 befindliche vierrädrige Fahrzeug.
Übrigens ist eine Vergrößerungsrate eines ein Objekt (z. B. das oben erwähnte vierrädrige Fahrzeug) enthaltenden Bildes, das als Hintergrundbild auf die Projektionsebene 11 zu projizieren ist, durch das Verhältnis des Abstands vom Fahrzeug 100 zu dem Objekt zu dem Abstand vom Fahrzeug 100 zu der Projektionsebene 11 bestimmt. Wenn sich daher das nachfolgende Fahrzeug 11 dem Fahrzeug 100 nähert, erhöht sich ein Unterschied der Vergrößerungsrate zwischen den beiden, und somit wird das Gefühl der Unstimmigkeit aufgrund des Unterschieds in der Größe von Bildern zwischen den beiden merklich.
Um ein solches Problem zu lösen, projiziert die Anzeigesteuervorrichtung 200 ein Bild des nachfolgenden Fahrzeugs 11, das auf die Einblendungsprojektionsebene 13A projiziert worden ist, neu auf die Projektionsebene 10, und wenn sie das Bild des nachfolgenden Fahrzeugs 11 neu projiziert, vergrößert sie das auf die Einblendungsprojektionsebene 13A projizierte Bild des nachfolgenden Fahrzeugs 11 abhängig vom Abstand von der Einblendungsproj ektionsebene 13A zur Projektionsebene 10.
Bei dieser Anordnung kann die Vergrößerungsrate des das Objekt (z. B. das oben beschriebene vierrädrige Fahrzeug) enthaltenden Bildes, das als das Hintergrundbild auf die Projektionsebene 11 zu projizieren ist, im Wesentlichen dieselbe sein wie die Vergrößerungsrate des das Objekt (z. B. das nachfolgende Fahrzeug 11) enthaltenden Bildes, das als das Einblendungsbild auf die Einblendungsprojektionsebene 13A zu projizieren ist.
Anzumerken ist, dass eine Fläche für die Neuprojektion nicht auf die Projektionsebene 10 beschränkt ist, und die Anzeigesteuervorrichtung 200 kann beispielsweise eine von der Projektionsebene 10 verschiedene Projektionsebene an eine Position setzen, die im Wesentlichen um denselben Abstand von der Einblendungsprojektionsebene 13A entfernt ist wie derjenige von der Einblendungsprojektionsebene 13A zur Projektionsebene 10, und kann das Einblendungsbild auf die Projektionsebene neu projizieren.
Indessen kann die Anzeigesteuervorrichtung 200, statt ein Einblendungsbild, das auf die Einblendungsprojektionsebene 13A projiziert worden ist, auf die Projektionsebene 10 neu zu projizieren, ausgelegt sein, das Einblendungsbild wie folgt zu projizieren. Zum Beispiel berechnet die Anzeigesteuervorrichtung 200 zuerst den Abstand von dem nachfolgenden Fahrzeug 11 zur Einblendungsprojektionsebene 13A und den Abstand von dem nachfolgenden Fahrzeug zur Projektionsebene 10 und berechnet dann das Verhältnis dieser Abstände. Als Nächstes zoomt die Anzeigesteuervorrichtung 200 das Einblendungsbild, indem sie das berechnete Verhältnis auf eine Vergrößerungsrate des Einblendungsbildes setzt und dann dieses Einblendungsbild auf das Hintergrundbild legt, um ein Kombinationsbild zu erzeugen. In der oben beschriebenen Weise ist es nicht mehr notwendig, das durch ein Projizieren des nachfolgenden Fahrzeugs 11 auf die Einblendungsprojektionsebene 13A erhaltene Einblendungsbild auf die Projektionsebene neu zu projizieren.
Übrigens kann die Anzeigesteuervorrichtung 200 den Abstand von dem nachfolgenden Fahrzeug 11 zur Einblendungsprojektionsebene 13A und den Abstand von dem nachfolgenden Fahrzeug 11 zur Projektionsebene 10 auf Grundlage einer beispielsweise durch einen Entfernungsmesser, wie etwa ein Sonar (Hindernis-Sonar), erfassten Messinformation berechnen. Da diese Messinformation den Abstand vom Fahrzeug 100 zum nachfolgenden Fahrzeug 11 vorsieht, kann die Anzeigesteuervorrichtung 200 den Abstand vom nachfolgenden Fahrzeug 11 zur Einblendungsprojektionsebene 13A und den Abstand vom nachfolgenden Fahrzeug zur Projektionsebene 10 auf Grundlage dieser Informationen und der bekannten Informationen berechnen, die zuvor festgelegt wurden (Abstand vom Fahrzeug 100 zur Einblendungsprojektionsebene 13A und Abstand vom Fahrzeug 100 zur Projektionsebene 10). Die Anzeigesteuervorrichtung 200 kann die Abstandsinformation auf Grundlage einer anderen Messvorrichtung als eines Sonars berechnen (z. B. eines Millimeterwellenradars oder einer Kamera).
Indessen kann die Anzeigesteuervorrichtung 200, wenn sie das Einblendungsbild neu projiziert oder das Kombinationsbild durch ein Zoomen des Einblendungsbildes erzeugt, wie oben beschrieben, das Bild hervorheben, das das nachfolgende Fahrzeug 11 enthält. Insbesondere wenn sie das Kombinationsbild durch ein Zoomen des Einblendungsbildes erzeugt, kann die Anzeigesteuervorrichtung 200 das Bild des nachfolgenden Fahrzeugs 11 auffällig machen, indem sie eine Zoomrate erhöht oder die Rate verändert.
Dies ermöglicht es dem Fahrer, visuell zu erkennen, dass sich das nachfolgende Fahrzeug 11 dem Fahrzeug 100 nähert.
Übrigens ist als Verfahren zum Hervorheben des Bildes, das das nachfolgende Fahrzeug 11 enthält, ein beliebiges Verfahren denkbar, wie etwa ein Verfahren zum Anzeigen des nachfolgenden Fahrzeugs 11, während es mit einer Linie umgeben ist, ein Verfahren zum Blinken des Bildes, das das nachfolgende Fahrzeug 11 enthält, und dergleichen. Ferner kann dem Fahrer zusätzlich zu dem Hervorheben des Bildes, das das nachfolgende Fahrzeug 11 enthält, getrennt durch Sprache oder Vibration mitgeteilt werden, dass sich das nachfolgende Fahrzeug 11 dem Fahrzeug 100 nähert.
Das Hervorheben des Bildes, das das nachfolgende Fahrzeug 11 enthält, kann angewendet werden, wenn der Abstand zwischen dem nachfolgenden Fahrzeug 11 und dem Fahrzeug 100 geringer ist als ein vorgegebener Abstand, oder wenn sich der Abstand zwischen dem nachfolgenden Fahrzeug 11 und dem Fahrzeug 100 rapide verringert (d. h. sich das nachfolgende Fahrzeug 11 dem Fahrzeug 100 rapide nähert).
(Wirkungen der vorliegenden Offenbarung)
Die Wirkungen der vorliegenden Offenbarung sind nachstehend im Vergleich mit dem Stand der Technik beschrieben.
<Beispiel 1>
In einem Beispiel offenbart die japanische ungeprüfte Patentanmeldungsschrift (Übersetzung der PCT-Anmeldung) Nr. 2014-531078 ein Verfahren, bei dem, wenn ein erhabenes Objekt in der Umgebung des Fahrzeugs erfasst wird, eine Projektionsebene nahe dem erhabenen Objekt so umgeformt wird, dass die Projektionsebene über die Breite des erhöhten Objekts angehoben wird.
Wenn bei der Technik der japanischen ungeprüften Patentanmeldungsschrift (Übersetzung der PCT-Anmeldung) Nr. 2014-531078 , ein bestimmter Teil der Projektionsebene stark umgeformt wird, wird eine Neigung der Projektionsebene um den umgeformten Teil erhöht, was eine starke Verformung des zu projizierenden Bildes, eine Verzerrung der Form und Schwierigkeiten bei der visuellen Erkennung verursacht. Das oben beschriebene Beispiel 2 ist ein Schema, bei dem ein Bild eines sich nähernden nachfolgenden Fahrzeugs auf eine Einblendungsprojektionsebene 13A projiziert wird, ein Bild des Hintergrunds auf eine weitere, unabhängige und entfernte Projektionsebene projiziert wird und schließlich ein Anzeigebild durch ein Kombinieren von Bildern auf den beiden Projektionsebenen erhalten wird; somit werden demgemäß die Figur des nachfolgenden Fahrzeugs sowie das Bild des Hintergrunds nicht verzerrt, und die visuelle Erkennung wird nicht durch Verzerrung behindert. Dieser Effekt der vermiedenen Verzerrung und des unbehinderten visuellen Erkennens wird ähnlich erhalten in einem Umgrenzungsbereich, der durch ein Blending doppelt abzubilden ist, und der an einen Kantenbereich der Einblendungsprojektionsebene 13A zu setzen ist. Das heißt, es besteht kein Teil, wo eine Verzerrung aufgrund der Verformung der Projektionsebene erzeugt wird, und der schwierig visuell zu erkennen ist.
<Beispiel 2>
Der Mensch hat ein Sehvermögen, das imstande ist, Objekte zu trennen und einzeln zu erkennen, die doppelt abgebildet sind, wie etwa ein Ausstellungsstück in einer Vitrine und sein eigenes, in der Vitrine reflektiertes Gesicht.
Das oben beschriebene Beispiel 2 ist ein Schema, das die Fähigkeit des menschlichen Sehvermögens nachgerade nutzt und das Problem des Verschwindens der Figur des nachfolgenden Fahrzeugs an einer Anschlussstelle der Blickfelder der beiden Kamerabilder löst, indem es das Blending durchführt, um die Figur des nachfolgenden Fahrzeugs auf den doppelt abgebildeten Umgrenzungsbereich zu legen. Zum Beispiel ermöglicht es das Legen des Gesichts des Fahrers des nachfolgenden Motorrads in den dem Blending unterzogenen Umgrenzungsbereich, das Bild des Gesichts visuell zu erkennen, solange es nicht verformt ist, sogar wenn das Gesicht des Fahrers mit dem Hintergrund gemischt ist, und es kann erwartet werden, dass auch eine Orientierung des Gesichts bestimmt wird.
Bei dem Schema der japanischen ungeprüften Patentanmeldungsschrift (Übersetzung der PCT-Anmeldung) Nr. 2014-531078 kann beispielsweise, wenn ein Bereich des Gesichts stark verformt ist, nicht erwartet werden, dass es als ein Gesicht identifiziert wird, und dass eine Orientierung des Gesichts bestimmt wird. Das heißt, eine visuelle Funktion der menschlichen Natur unterstützt eine Erkennung in einem Fall der Doppelabbildung, aber die visuelle Funktion kann in einem Fall der Verformung nicht benutzt werden, und die Erkennung ist somit behindert; demgemäß weist das Schema der vorliegenden Anwendung eine exzellentere Wirkung auf.
<Beispiel 2-4>
Zum Beispiel bewegt die in der japanischen Patentoffenlegungsschrift Nr. 2019-185381 offenbarte Fahrzeugumgebungs-Bilderzeugungsvorrichtung den einer gewichteten Additionsmittelung unterzogenen Bereich zur Seite des anderen Draufsichtbildes, wenn eine Bewegungsrichtung eines stereoskopischen Objekts eine Richtung ist, die sich einem der Draufsichtbilder nähert, während sie den einer gewichteten Additionsmittelung unterzogenen Bereich zur Seite des eines der Draufsichtbilder bewegt, wenn eine Bewegungsrichtung des stereoskopischen Objekts eine Richtung ist, die sich dem anderen Draufsichtbild nähert. Jedoch ist die Verteilung von Gewichten in dem einer gewichteten Additionsmittelung unterzogenen Bereich ungeachtet des stereoskopischen Objekts konstant. Daher befindet sich, abhängig von der Steuerung des einer gewichteten Additionsmittelung unterzogenen Bereichs ein wichtiger Teil zum Steuern der Bewegung des Fahrzeugs 100, z. B. der Gesichtsbereich des Fahrers des nachfolgenden Fahrzeugs, an einem Ende des einer gewichteten Additionsmittelung unterzogenen Bereichs, und das Gewicht des Bereichs wird klein, was das dünne Darstellen des Bereichs auf dem Anzeigebild verursacht, und er kann schwierig visuell zu erkennen sein.
Dagegen wird in dem oben beschriebenen Beispiel 2 eine Mittelposition der Figur des nachfolgenden Fahrzeugs 11, oder wenn das nachfolgende Fahrzeug 11 ein Motorrad ist, eine Position des Gesichts (oder Kopfes) des Fahrers des Motorrads erfasst, und die Steuerung wird so durchgeführt, dass das Blending-Verhältnis zwischen einem Bild auf der rechten Seite und einem Bild auf der linken Seite bezüglich eines Umgrenzungsbereichs an der Mittelposition der Figur oder der Position des Gesichts eins zu eins beträgt. Die verringert die Gefahr des Übersehens, weil die Figur des nachfolgenden Fahrzeugs 11 oder das Gesicht des Fahrers mit annähernd halber Dichte angezeigt wird, sowie da es leicht ist, die nächste Bewegung in einem Fall vorauszusagen, wo das Blending-Verhältnis auf Grundlage der Position des Gesichts des Fahrers gesteuert wird.
23 stellt eine Projektionsebene 10 dar, die eine schüsselähnliche Form aufweist. 24 stellt Beispiele der Projektionsebene 10 und der Einblendungsprojektionsebene 13A dar, die jeweils eine zylindrisch gekrümmte Form aufweisen. Bei Verwendung der Projektionsebene 10 oder der Einblendungsprojektionsebene 13A, die jeweils eine solche Form aufweisen, wird der Abstand vom Fahrzeug 100 zur Projektionsebene 10 oder zur Einblendungsprojektionsebene 13A konstant an einer beliebigen Position hinter dem Fahrzeug 100 und verringert dadurch die Verzerrung eines Bildes des nachfolgenden Fahrzeugs 11 und dergleichen.
Anzumerken ist, dass es sich beispielsweise auch versteht, dass die folgenden Aspekte in den Geltungsbereich der vorliegenden Offenbarung fallen.

1. Eine Anzeigesteuervorrichtung enthält: einen Fahrzeug-Detektor, der ein umgebendes Fahrzeug, das sich um ein Fahrzeug befindet, auf Grundlage einer Vielzahl von aufgenommenen Bildern um das Fahrzeug erfasst, die durch eine Vielzahl von an dem Fahrzeug montierten Bildaufnahmevorrichtungen aufgenommen sind; und einen Bildprozessor, der ein Anzeigebild erzeugt, das auf einer in einem Fahrzeug montierten Anzeige anzuzeigen ist, indem er die Vielzahl von aufgenommenen Bildern kombiniert, wobei der Bildprozessor ein Hintergrundbild des Fahrzeugs erzeugt, indem er die Vielzahl von aufgenommenen Bildern auf eine erste Projektionsebene projiziert, die hinter das Fahrzeug gesetzt ist, wenn das umgebende Fahrzeug in einem vorgegebenen Bereich erfasst ist, eine zweite Projektionsebene an eine Position setzt, an der das umgebende Fahrzeug erfasst ist, ein Umgebungsfahrzeugbild erzeugt, das ein Bild des umgebenden Fahrzeugs ist, indem er mindestens eines aus der Vielzahl von aufgenommenen Bildern auf die zweite Projektionsebene projiziert, und das Umgebungsfahrzeugbild auf das Hintergrundbild überlagert.
2. Der Bildprozessor erzeugt in einem Grenzbereich zwischen dem Umgebungsfahrzeugbild und dem Hintergrundbild das Anzeigebild durch ein Blending eines Pixelwerts des Umgebungsfahrzeugbildes und eines Pixelwerts des Hintergrundbildes.
3. Das Umgebungsfahrzeugbild enthält einen Umgrenzungsbereich zum Blending von Pixelwerten der Vielzahl von aufgenommenen Bilder, und der Bildprozessor ändert einen Übergangspunkt, an dem ein Mischverhältnis beim Blending der Pixelwerte im Umgrenzungsbereich eins zu eins beträgt, abhängig von eines Position des umgebenden Fahrzeugs oder einer Position eines Gesichts oder eines Kopfes eines Fahrers des umgebenden Fahrzeugs.
4. Der vorgegebene Bereich ist festgelegt bezüglich eines Bereichs, der nicht auf dem Hintergrundbild angezeigt wird, wenn ein Bereich zum Projizieren aus der Vielzahl von aufgenommenen Bildern um das Fahrzeug begrenzt ist, um das Hintergrundbild zu einem kontinuierlichen Bild zu machen in einem Fall des Projizierens der Vielzahl von aufgenommenen Bildern um das Fahrzeug auf die hinter das Fahrzeug gesetzte erste Projektionsebene.
5. Der Bildprozessor führt einen Blickpunktumwandlungsvorgang durch, um mindestens eines aus der Vielzahl von aufgenommenen Bildern um das Fahrzeug in ein von einem virtuellen Blickpunkt aus gesehenes Bild umzuwandeln, der verschieden ist von einer Position einer entsprechenden aus der Vielzahl von Bildaufnahmevorrichtungen, der Fahrzeug-Detektor erfasst das Vorhandensein oder Nichtvorhandensein eines umgebenden Fahrzeugs in einem vorgegebenen Bereich, der mit dem Fahrzeug als Bezugsposition festgelegt ist, und der Bildprozessor legt eine Höhe über Boden des virtuellen Blickpunkts, wenn das umgebende Fahrzeug in dem vorgegebenen Bereich nicht erfasst ist, niedriger fest als eine Höhe über Boden des virtuellen Blickpunkts, wenn das umgebende Fahrzeug in dem vorgegebenen Bereich erfasst ist.
6. Der Bildprozessor legt in einem Fall, wo eine Fahrtgeschwindigkeit des Fahrzeugs gleich oder geringer ist als ein vorgegebener Wert, eine Höhe über Boden des virtuellen Blickpunkts höher fest als eine Höhe über Boden in einem Fall, wo die Fahrtgeschwindigkeit des Fahrzeugs den vorgegebenen Wert überschreitet.
7. Eine Neigung der ersten Projektionsebene bezüglich einer Fahrbahnfläche, wenn die Höhe über Boden des virtuellen Blickpunkts erniedrigt ist, ist größer als eine Neigung der ersten Projektionsebene bezüglich der Fahrbahnfläche, wenn die Höhe über Boden des virtuellen Blickpunkts erhöht ist.
8. Der Bildprozessor bezieht eine Fahrbahnfläche in die erste Projektionsebene ein, wenn er die Höhe über Boden des virtuellen Blickpunkts erhöht, und bezieht keine Fahrbahnfläche in die erste Projektionsebene ein, wenn er die Höhe über Boden des virtuellen Blickpunkts verringert.
9. Der Bildprozessor bezieht eine Fahrbahnfläche in die erste Projektionsebene ein, wenn er die Höhe über Boden des virtuellen Blickpunkts erhöht, und der Prozessor macht, wenn er die Höhe über Boden des virtuellen Blickpunkts verringert, einen Bereich der Fahrbahnfläche, der in die erste Projektionsebene einbezogen ist, kleiner als einen Bereich der Fahrbahnfläche, der in die erste Projektionsebene einbezogen ist, wenn er die Höhe über Boden des virtuellen Blickpunkts erhöht.
10. Bei der ersten Projektionsebene mit einer Position als Bezugspunkt, die einer vorgegebenen Höhe über Boden entspricht, ist ein Winkel, der gebildet ist zwischen einer Geraden, die zwischen dem Bezugspunkt und dem virtuellen Blickpunkt verbindet, und einer Geraden senkrecht zur ersten Projektionsebene, die durch den Bezugspunkt verläuft, gleich oder kleiner als ein vorgegebener Wert.
11. Eine Neigung einer Projektionsebene bezüglich einer Fahrbahnfläche in einem Bereich unterhalb des Bezugspunkts in der ersten Projektionsebene ist kleiner als eine Neigung einer Projektionsebene bezüglich der Fahrbahnfläche in einem Bereich oberhalb des Bezugspunkts in der ersten Projektionsebene.
12. Ein Fahrzeug enthält die oben beschriebene Anzeigesteuervorrichtung.
13. Ein Anzeigesteuerverfahren umfasst: ein Erfassen eines umgebenden Fahrzeugs, das sich um ein Fahrzeug befindet, auf Grundlage einer Vielzahl von aufgenommenen Bildern um das Fahrzeug, die durch eine Vielzahl von an dem Fahrzeug montierten Bildaufnahmevorrichtungen aufgenommen sind; ein Erzeugen eines Hintergrundbildes des Fahrzeugs durch ein Projizieren der Vielzahl von aufgenommenen Bildern auf eine erste Projektionsebene, die hinter das Fahrzeug gesetzt ist; ein Setzen, wenn das umgebende Fahrzeug in einem vorgegebenen Bereich erfasst ist, einer zweiten Projektionsebene an eine Position, an der das umgebende Fahrzeug erfasst ist; ein Erzeugen eines Umgebungsfahrzeugbildes, das ein Bild des umgebenden Fahrzeugs ist, durch ein Projizieren mindestens eines aus der Vielzahl von aufgenommenen Bildern auf die zweite Projektionsebene; und ein Überlagern des Umgebungsfahrzeugbildes auf das Hintergrundbild.

Die bestimmten Beispiele der vorliegenden Erfindung sind oben genau beschrieben, aber diese bestimmten Beispiele sind nur Beispiele und schränken die beigefiigten Ansprüche nicht ein. Die in den beigefügten Ansprüchen beschriebene Technik umfasst verschiedene Abwandlungen und Änderungen in Übereinstimmung mit den oben beschriebenen speziellen Beispielen.
Diese Anmeldung ist berechtigt zum und beansprucht den Nutzen der japanischen Patentanmeldung Nr. 2020-145674, eingereicht am 31. August 2020, deren Offenbarung einschließlich der Beschreibung, der Zeichnung und der Zusammenfassung hierin durch Bezugnahme in ihrer Gesamtheit aufgenommen ist.
Gewerbliche Anwendbarkeit
Eine beispielhafte Ausführungsform der vorliegenden Offenbarung eignet sich für eine Anzeigesteuervorrichtung und ein Fahrzeug.
Bezugszeichenliste

1: Rechte Kamera
1a: Sichtfeldbereich
1a1: Ausschnittsbereich
2: Linke Kamera
2a: Sichtfeldbereich
2a1: Ausschnittsbereich
3: Heckkamera
3a: Sichtfeldbereich
3a1: Ausschnittsbereich
4: Bedieneinheit
5: Navigationsvorrichtung
6: Zaun
7: Anzeige
8: Sensor
10: Projektionsebene
11: Nachfolgendes Fahrzeug
12: Bereich eines blinden Flecks
13: Objekt
13A: Einblendungsprojektionsebene
13a: Objekt
13b: Objekt
15: Virtueller Blick
16: Einblendungsprojektionsanbringungsbereich
17a: Umgrenzungsbereich
17b: Umgrenzungsbereich
17c: Umgrenzungsbereich
18: Sanfte Schräge
20: Virtueller Blickpunkt
50: Würfel
51: Vorderfläche
52: Seitenfläche
61: Bildprozessor
62: Fahrzeug-Detektor
63: Situationsbestimmer
64: Bildsteuerung
65: CAN-Kommunikator
100: Fahrzeug
200: Anzeigesteuervorrichtung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2020052671 [0003]
JP 2014531078 [0151, 0152, 0155]

Claims

Anzeigesteuervorrichtung, umfassend: einen Fahrzeug-Detektor, der ein umgebendes Fahrzeug, das sich um ein Fahrzeug befindet, auf Grundlage einer Vielzahl von aufgenommenen Bildern um das Fahrzeug erfasst, die durch eine Vielzahl von an dem Fahrzeug montierten Bildaufnahmevorrichtungen aufgenommen sind; und einen Bildprozessor, der ein Anzeigebild, das auf einer in dem Fahrzeug montierten Anzeige anzuzeigen ist, durch ein Kombinieren der Vielzahl von aufgenommenen Bildern erzeugt, wobei der Bildprozessor ein Hintergrundbild des Fahrzeugs erzeugt, indem er die Vielzahl von aufgenommenen Bildern auf eine erste Projektionsebene projiziert, die hinter das Fahrzeug gesetzt ist, wenn das umgebende Fahrzeug in einem vorgegebenen Bereich erfasst ist, eine zweite Projektionsebene an eine Position setzt, an der das umgebende Fahrzeug erfasst ist, ein Umgebungsfahrzeugbild erzeugt, das ein Bild des umgebenden Fahrzeugs ist, indem er mindestens eines aus der Vielzahl von aufgenommenen Bildern auf die zweite Projektionsebene projiziert, und das Umgebungsfahrzeugbild auf das Hintergrundbild überlagert.
Anzeigesteuervorrichtung nach Anspruch 1, wobei der Bildprozessor in einem Grenzbereich zwischen dem Umgebungsfahrzeugbild und dem Hintergrundbild das Anzeigebild erzeugt durch ein Blending eines Pixelwerts des Umgebungsfahrzeugbildes und eines Pixelwerts des Hintergrundbildes.
Anzeigesteuervorrichtung nach Anspruch 1, wobei: das Umgebungsfahrzeugbild einen Umgrenzungsbereich zum Blending von Pixelwerten der Vielzahl von aufgenommenen Bilder enthält, und der Bildprozessor einen Übergangspunkt, an dem ein Mischverhältnis beim Blending der Pixelwerte im Umgrenzungsbereich eins zu eins beträgt, abhängig von einer Position des umgebenden Fahrzeugs oder einer Position eines Gesichts oder eines Kopfes eines Fahrers des umgebenden Fahrzeugs ändert.
Anzeigesteuervorrichtung nach Anspruch 1, wobei der vorgegebene Bereich festgelegt ist bezüglich eines Bereichs, der nicht auf dem Hintergrundbild angezeigt wird, wenn ein Bereich zum Projizieren aus der Vielzahl von aufgenommenen Bildern um das Fahrzeug begrenzt ist, um das Hintergrundbild zu einem kontinuierlichen Bild zu machen in einem Fall des Projizierens der Vielzahl von aufgenommenen Bildern um das Fahrzeug auf die hinter das Fahrzeug gesetzte erste Projektionsebene.
Anzeigesteuervorrichtung nach Anspruch 1, wobei: der Bildprozessor einen Blickpunktumwandlungsvorgang durchführt, um mindestens eines aus der Vielzahl von aufgenommenen Bildern um das Fahrzeug in ein von einem virtuellen Blickpunkt aus gesehenes Bild umzuwandeln, der verschieden ist von einer Position einer entsprechenden aus der Vielzahl von Bildaufnahmevorrichtungen, der Fahrzeug-Detektor das Vorhandensein oder Nichtvorhandensein eines umgebenden Fahrzeugs in einem vorgegebenen Bereich erfasst, der mit dem Fahrzeug als Bezugsposition festgelegt ist, und der Bildprozessor eine Höhe über Boden des virtuellen Blickpunkts, wenn das umgebende Fahrzeug in dem vorgegebenen Bereich nicht erfasst ist, niedriger festlegt als eine Höhe über Boden des virtuellen Blickpunkts, wenn das umgebende Fahrzeug in dem vorgegebenen Bereich erfasst ist.
Anzeigesteuervorrichtung nach Anspruch 5, wobei der Bildprozessor in einem Fall, wo eine Fahrtgeschwindigkeit des Fahrzeugs gleich oder geringer ist als ein vorgegebener Wert, eine Höhe über Boden des virtuellen Blickpunkts höher festlegt als eine Höhe über Boden in einem Fall, wo die Fahrtgeschwindigkeit des Fahrzeugs den vorgegebenen Wert überschreitet.
Anzeigesteuervorrichtung nach Anspruch 5, wobei eine Neigung der ersten Projektionsebene bezüglich einer Fahrbahnfläche, wenn die Höhe über Boden des virtuellen Blickpunkts erniedrigt ist, größer ist als eine Neigung der ersten Projektionsebene bezüglich der Fahrbahnfläche, wenn die Höhe über Boden des virtuellen Blickpunkts erhöht ist.
Anzeigesteuervorrichtung nach Anspruch 5, wobei der Bildprozessor eine Fahrbahnfläche in die erste Projektionsebene einbezieht, wenn er die Höhe über Boden des virtuellen Blickpunkts erhöht, und keine Fahrbahnfläche in die erste Projektionsebene einbezieht, wenn er die Höhe über Boden des virtuellen Blickpunkts erniedrigt.
Anzeigesteuervorrichtung nach Anspruch 5, wobei der Bildprozessor eine Fahrbahnfläche in die erste Projektionsebene einbezieht, wenn er die Höhe über Boden des virtuellen Blickpunkts erhöht, und der Prozessor, wenn er die Höhe über Boden des virtuellen Blickpunkts erniedrigt, einen Bereich der Fahrbahnfläche, der in die erste Projektionsebene einbezogen ist, kleiner macht als einen Bereich der Fahrbahnfläche, der in die erste Projektionsebene einbezogen ist, wenn er die Höhe über Boden des virtuellen Blickpunkts erhöht.
Anzeigesteuervorrichtung nach Anspruch 5, wobei bei der ersten Projektionsebene mit einer Position als Bezugspunkt, die einer vorgegebenen Höhe über Boden entspricht, ein Winkel, der gebildet ist zwischen einer Geraden, die zwischen dem Bezugspunkt und dem virtuellen Blickpunkt verbindet, und einer Geraden senkrecht zur ersten Projektionsebene, die durch den Bezugspunkt verläuft, gleich oder kleiner als ein vorgegebener Wert ist.
Anzeigesteuervorrichtung nach Anspruch 10, wobei eine Neigung einer Projektionsebene bezüglich einer Fahrbahnfläche in einem Bereich unterhalb des Bezugspunkts in der ersten Projektionsebene kleiner ist als eine Neigung einer Projektionsebene bezüglich der Fahrbahnfläche in einem Bereich oberhalb des Bezugspunkts in der ersten Projektionsebene.
Fahrzeug, umfassend die Anzeigesteuervorrichtung nach Anspruch 1.
Anzeigesteuerverfahren, umfassend: Erfassen eines umgebenden Fahrzeugs, das sich um ein Fahrzeug befindet, auf Grundlage einer Vielzahl von aufgenommenen Bildern um das Fahrzeug, die durch eine Vielzahl von an dem Fahrzeug montierten Bildaufnahmevorrichtungen aufgenommen sind; Erzeugen eines Hintergrundbildes des Fahrzeugs durch ein Projizieren der Vielzahl von aufgenommenen Bildern auf eine erste Projektionsebene, die hinter das Fahrzeug gesetzt ist; Setzen, wenn das umgebende Fahrzeug in einem vorgegebenen Bereich erfasst ist, einer zweiten Projektionsebene an eine Position, an der das umgebende Fahrzeug erfasst ist; Erzeugen eines Umgebungsfahrzeugbildes, das ein Bild des umgebenden Fahrzeugs ist, durch ein Projizieren mindestens eines aus der Vielzahl von aufgenommenen Bildern auf die zweite Projektionsebene; und Überlagern des Umgebungsfahrzeugbildes auf das Hintergrundbild.