DE102010038825B4

DE102010038825B4 - Bildanzeigesteuervorrichtung

Info

Publication number: DE102010038825B4
Application number: DE102010038825.4A
Authority: DE
Inventors: Hideki Ootsuka; Bingchen Wang; Masayuki Imanishi
Original assignee: Denso Corp; Nippon Soken Inc
Current assignee: Denso Corp; Soken Inc
Priority date: 2009-08-05
Filing date: 2010-08-03
Publication date: 2019-07-11
Anticipated expiration: 2030-08-04
Also published as: DE102010038825A1; JP5077307B2; JP2011035816A

Abstract

Eine Bildanzeigesteuervorrichtung für ein Fahrzeug, wobei die Vorrichtung aufweist:eine Bilderlangungseinheit (110) zur Erlangung von Bildern, welche jeweils von einer rückwärtigen Kamera, einer rechten Kamera und einer linken Kamera ausgegeben werden, wobei die rückwärtige Kamera ein hinteres Feld des Fahrzeugs als hinteres aufgenommenes Bild aufnimmt, die rechte Kamera ein hinteres rechtes Feld als rechtes Feldbild aufnimmt und die linke Kamera ein hinteres linkes Feld als linkes Feldbild aufnimmt;eine Grenzensetzeinheit (130) zum Setzen einer Grenze in einem von einem Insassen betrachtbaren Bild (10), das für einen Insassen des Fahrzeugs dargestellt wird, wobei die Grenze eine rechte Grenze (21) und eine linke Grenze (22) enthält;eine Bildsynthetisierungseinheit (140-180) zum Synthetisieren eines synthetisierten Bilds, das aus einem rechten Abschnitt, einem linken Abschnitt und einem mittigen Abschnitt zusammengesetzt ist, wobei im rechten Abschnitt auf der rechten Seite der rechten Grenze (21) in dem vom Insassen betrachtbaren Bild (10) ein rechtsseitiges betrachtbares Bild, gemacht aus dem rechten Feldbild, positioniert ist, im linken Abschnitt auf der linken Seite der linken Grenze (22) in dem vom Insassen betrachtbaren Bild (10) ein linksseitiges betrachtbares Bild, gemacht aus dem linken Feldbild, positioniert ist und in dem mittigen Abschnitt zwischen der rechten Grenze (21) und der linken Grenze (22) in dem vom Insassen betrachtbaren Bild (10) ein hinteres betrachtbares Bild, gemacht aus dem hinteren aufgenommenen Bild, positioniert ist; undeine Bildsteuereinheit (190), um auf der Bildanzeigeeinheit (5) das für den Insassen betrachtbare Bild (10) darzustellen, das durch die Bildsynthetisierungseinheit aus dem rechtsseitigen betrachtbaren Bild, dem linksseitigen betrachtbaren Bild und dem hinteren betrachtbaren Bild zusammengesetzt ist, wobeidie Grenzensetzeinheit die rechte Grenze (21) setzt, die sich von einem ersten rechten Punkt (21a) zu einem zweiten rechten Punkt (21b) in dem vom Insassen betrachtbaren Bild (10) erstreckt, um eine Fahrbahnoberfläche abzudecken, die sich im Wesentlichen parallel zur Vorwärts/Rückwärts-Richtung des Fahrzeugs erstreckt, unddie Grenzensetzeinheit die rechte Grenze (21) setzt, die sich diagonal nach oben rechts ausgehend vom zweiten rechten Punkt (21b) zu einem dritten rechten Punkt (21c) nach einer Abbiegung am zweiten rechten Punkt (21b) erstreckt.

Description

Die vorliegende Erfindung betrifft allgemein ein Bildanzeigesystem zur Verwendung in einem Fahrzeug.
Üblicherweise haben Bildanzeigesysteme drei Kameras zur Beobachtung eines hinteren Gebiets oder Felds des Fahrzeugs, eines rechten Gebiets oder Felds und eines linken Gebiets oder Felds, so dass ein Weitwinkelbild eines hinteren, d. h. hinterhalb des Fahrzeugs liegenden Gebiets oder Felds synthetisierbar ist. Diese herkömmlichen Bildanzeigesysteme stellen das synthetisierte Bild in einer Anzeigeeinheit dar. Ein derartiges System ist beispielsweise in der JP H10-257482 A beschrieben.
Ein Verfahren zum Synthetisieren oder Zusammensetzen der Bilder beim herkömmlichen System hat jedoch ein „Randproblem“. Das heißt, gemäß den 9 und 11 bei der genannten JP H10-257482 A liegt der Rand oder die Grenze zwischen zwei Teilbildern, welche ein synthetisiertes Bild bilden, in dem dann synthetisierten Bild auf einem hinteren Fahrzeug, das hinter dem Eigenfahrzeug in einer benachbarten Fahrspur fährt (das heißt, in oder auf dem nachfolgenden Fahrzeug auf der rechten Spur oder der linken Spur). Das synthetisierte Bild hat somit unterschiedliche Verzerrungen auf der rechten Seite und linken Seite der Grenze oder des Rands. Dies bedeutet, dass das synthetisierte Bild und das hintere Fahrzeug in dem synthetisierten Bild nicht problemlos betrachtbar sind, da es eine Diskontinuität in dem synthetisierten Bild über die Grenze hinweg gibt. Im Ergebnis kann das hintere Fahrzeug nicht ohne Weiteres in dem synthetisierten Bild erkannt werden, was sich zu einem Problem beim Wechsein der Fahrspur durch den Fahrer des Eigenfahrzeugs entwickeln kann.
Weiterer relevanter Stand der Technik ist bekannt aus den Druckschriften US 2004/0085447 A1 , US 2007/0165108 A1 , US 2008/0246843 A1 , US 2009/0079553 A1 , und US 7 366 595 B1 .
Angesichts hiervon und angesichts weiterer Probleme schafft die vorliegende Erfindung eine verbesserte Sichtbarkeit oder Betrachtbarkeit für ein synthetisiertes Bild in einem Bildanzeigesystem mit drei Kameras, die nach hinten, rechts und links gerichtet sind, um jeweils Teilbilder aufzunehmen und ein synthetisiertes Bild oder Gesamtbild darzustellen, wobei die Diskontinuität aufgrund des Rands oder der Grenze in einem hinteren Fahrzeug des synthetisierten Bild vermieden ist, um effektiv den Fahrer des Eigenfahrzeugs beispielsweise beim Wechseln der Fahrspur oder dergleichen zu unterstützen.
Weiterhin schafft, wenn das hintere Fahrzeug auf der benachbarten Spur sich bis zu einem Grad an das Eigenfahrzeug herannähert, dass es für einen Fahrspurwechsel des Eigenfahrzeugs problematisch wird, das Bildanzeigesystem das synthetisierte Bild, um den Fahrer effektiv derart zu warnen, dass die Gefahr, die von dem näherkommenden Fahrzeug ausgeht, hervorgehoben wird.
Gemäß einem Aspekt der vorliegenden Erfindung weist in einer Bildanzeigesteuervorrichtung für ein Fahrzeug besagte Steuerung auf: eine Bilderlangungseinheit, um Bilder zu erlangen, die entsprechend von einer hinteren Kamera, einer rechten Kamera und einer linken Kamera ausgegeben werden, wobei die hintere Kamera ein hinteres Feld oder Gebiet des Fahrzeugs (Feld oder Gebiet hinterhalb des Fahrzeugs) als hinteres aufgenommenes Bild ausgibt, die rechte Kamera ein hinteres rechtes Gebiet oder Feld (Feld oder Gebiet rechts hinterhalb des Fahrzeugs) als rechtes Bild ausgibt und die linke Kamera ein hinteres linkes Feld oder Gebiet (Feld oder Gebiet links hinterhalb des Fahrzeugs) als linkes Bild ausgibt; eine Rand- oder Grenzensetzeinheit zum Festsetzen eines Rands oder einer Grenze in einem von einem Insassen betrachtbaren Bild, das für einen Insassen des Fahrzeugs dargestellt wird, wobei die Grenze eine rechte Grenze und eine linke Grenze beinhaltet; eine Bildsynthetisierungseinheit zur Synthetisierung eines synthetisierten oder zusammengesetzten Bilds, das aus einem rechten Abschnitt, einem linken Abschnitt und einem mittigen Abschnitt synthetisiert wird, wobei in dem rechten Abschnitt auf der rechten Seite der rechten Grenze in dem vom Insassen sichtbaren Bild ein rechtsseitiges sichtbares Bild, gemacht aus dem rechten Bild, positioniert ist, in dem linken Abschnitt auf der linken Seite der linken Grenze in dem vom Insassen sichtbaren Bild ein linksseitiges sichtbares Bild, gemacht aus dem linken Bild, positioniert ist und in dem mittigen Abschnitt zwischen der rechten Grenze und der linken Grenze in dem vom Insassen sichtbaren Bild ein hinteres sichtbares Bild, gemacht aus dem hinteren aufgenommen Bild, positioniert ist; und eine Bildsteuereinheit zur Darstellung des für den Insassen sichtbaren Bilds, synthetisiert aus dem rechtsseitigen sichtbaren Bild, dem linksseitigen sichtbaren Bild und dem hinteren sichtbaren Bild durch die Bildsynthetisierungseinheit, auf einer Bildanzeigeeinheit. Weiterhin setzt die Grenzensetzeinheit die rechte Grenze, die sich von einem ersten rechten Punkt zu einem zweiten rechten Punkt erstreckt, um eine Fahrbahn- oder Straßenoberfläche abzudecken, die sich im Wesentlichen parallel zu der Vorwärts/RückwärtsRichtung des Fahrzeugs in dem vom Insassen sichtbaren Bild erstreckt, und die Grenzensetzeinheit setzt die rechte Grenze, die sich diagonal nach oben/rechts vom zweiten rechten Punkt zu einem dritten rechten Punkt nach einer Abbiegung im zweiten rechten Punkt erstreckt.
Die rechte Grenze zwischen dem rechtsseitigen sichtbaren Bild und dem hinteren sichtbaren Bild erstreckt sich vom ersten rechten Punkt zum zweiten rechten Punkt, und ein linearer Abschnitt einer Straßenoberfläche entsprechend der rechten Grenze zwischen dem ersten und zweiten rechten Punkt ist im Wesentlichen parallel zur Vorwärts/Rückwärts-Richtung des Fahrzeugs.
Solange das Eigenfahrzeug entlang der Fahrspur (d. h. parallel zu dieser) fährt, erstreckt sich die rechte Grenze zwischen dem ersten rechten Punkt und dem zweiten rechten Punkt im Wesentlichen parallel zur tatsächlichen oder momentanen Fahrspur in dem sichtbaren Bild. Somit liegt der oben beschriebene Abschnitt der rechten Grenze kaum in der benachbarten Fahrspur. Mit anderen Worten, die rechte Grenze verschlechtert nicht die Betrachtbarkeit (Sichtbarkeit, Erkennbarkeit) des hinteren Fahrzeugs auf der rechten Spur.
Weiterhin biegt die rechte Grenze in Richtung des zweiten rechten Punkts nach rechts ab, um sich diagonal nach oben/rechts zu erstrecken, um den dritten rechten Punkt zu erreichen. Das synthetisierte Bild hat üblicherweise eine größere Verzerrung in den rechtsseitigen und linksseitigen Bildern im Vergleich zum mittigen Bild, und die verzerrten Bilder sind stark sichtbar. Mit der oben beschriebenen Anordnung des synthetisierten Bilds wird das hintere Bild mit der höheren Betrachtbarkeit oder Sichtbarkeit größenmäßig vergrößert, ohne die Sichtbarkeit des hinteren Fahrzeugs zu verschlechtern, indem die rechte Grenze in dem synthetisierten Bild in eine Position „weit hinten“ gebogen wird. Mit anderen Worten, im synthetisierten Bild wird ein Einfluss der rechten Grenze aufgrund einer Wechselwirkung mit dem hinteren Fahrzeug verringert, so dass es weniger wahrscheinlich wird, dass sich ein Problem während des Fahrspurwechsels aufgrund einer verschlechterten Sichtbarkeit des hinteren Fahrzeugs ergibt.
In diesem Fall ist oben/unten/rechts/links in dem synthetisierten Bild, das in einer Anzeige dargestellt wird, basierend auf oben/unten/rechts/links für den Fahrer, der im Eigenfahrzeug sitzt, definiert. Zusätzlich bedeutet „im Wesentlichen parallel“, dass die rechte Grenze zwischen dem ersten rechten Punkt dem zweiten rechten Punkt in Fluchtung mit der Fahrspurgrenze bis zu einer Genauigkeit ist, welche die Sichtbarkeit des hinteren Fahrzeugs auf der rechten Spur nicht beeinflusst.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung weist bei einer Bildanzeigesteuervorrichtung für ein Fahrzeug besagte Vorrichtung auf: eine Bilderlangungseinheit zum Erlangen von Bildern, welche von einer hinteren Kamera, einer rechten Kamera und einer linken Kamera ausgegeben werden, wobei die hintere Kamera ein hinteres Gebiet oder Feld des Fahrzeugs als hinteres aufgenommenes Bild aufnimmt, die rechte Kamera ein rechtes hinteres Gebiet oder Feld als rechtes Bild aufnimmt und die linke Kamera ein linkes hinteres Gebiet oder Feld als linkes Bild aufnimmt; eine Rand- oder Grenzensetzeinheit zum Festsetzen einer Grenze in einem von einem Insassen sichtbaren Bild, das für einen Insassen des Fahrzeugs dargestellt wird, wobei die Grenze eine rechte Grenze und eine linke Grenze enthält; eine Bildzusammensetz- oder Bildsynthetisierungseinheit zum Synthetisieren eines zusammengesetzten oder synthetisierten Bilds, das aus einem rechten Abschnitt, einem linken Abschnitt und einem mittigen Abschnitt zusammengesetzt ist, wobei in dem rechten Abschnitt auf der rechten Seite der rechten Grenze in dem vom Insassen sichtbaren Bild ein rechtsseitiges sichtbares Bild, gemacht aus dem rechten Bild, positioniert ist, in dem linken Abschnitt auf der linken Seite der linken Grenze in dem vom Insassen sichtbaren Bild ein linksseitiges sichtbares Bild, gemacht aus dem linken Bild, positioniert ist und in dem mittigen Abschnitt zwischen der rechten Grenze und der linken Grenze in dem vom Insassen sichtbaren Bild ein hinteres sichtbares Bild, gemacht aus dem hinteren aufgenommenen Bild, angeordnet ist; und eine Bildsteuereinheit zur Darstellung des für den Insassen sichtbaren Bilds, synthetisiert aus dem rechtsseitigen sichtbaren Bild, dem linksseitigen sichtbaren Bild und dem hinteren sichtbaren Bild durch die Bildsynthetisierungseinheit, auf einer Bildanzeigeeinheit. Weiterhin setzt die Grenzensetzeinheit die rechte Grenze so, dass sich diese diagonal nach oben/links von einem ersten rechten Punkt zu einem zweiten rechten Punkt in dem vom Insassen sichtbaren Bild erstreckt.
Bei der Anordnung der rechten Grenze, die sich diagonal nach oben/links zwischen dem ersten rechten Punkt und dem zweiten rechten Punkt erstreckt, ist es weniger wahrscheinlich, dass die rechte Grenze in die rechte Fahrspur eindringt oder in die rechte Fahrspur in einer Position an einer weit hinten liegenden Seite eindringt. Somit ist die Darstellbarkeit bzw. Sichtbarkeit des hinteren Fahrzeugs auf der rechten Spur verbessert oder zumindest an einer Verschlechterung gehindert, indem die rechte Spur so weit hinten wie möglich eindringt, so dass der Einfluss der rechten Grenze verringert ist.
Hierbei ist oben/unten/rechts/links in dem synthetisierten Bild auf der Anzeige basierend auf oben/unten/rechts/links für den Fahrer in dem Eigenfahrzeug definiert.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung weist bei einer Bildanzeigesteuervorrichtung für ein Fahrzeug besagte Vorrichtung auf: eine Bilderlangungseinheit zum Erlangen von Bildern, die entsprechend von einer hinteren Kamera, einer rechten Kamera und einer linken Kamera ausgegeben werden, wobei die hintere Kamera ein hinteres Gebiet oder Feld des Fahrzeugs als hinteres aufgenommenes Bild aufnimmt, die rechte Kamera ein hinteres rechtes Gebiet oder Feld als rechtes Bild aufnimmt und die linke Kamera ein hinteres linkes Gebiet oder Feld als linkes Bild aufnimmt; eine Rand- oder Grenzensetzeinheit zum Festsetzen eines Rands in einem für einen Insassen sichtbaren Bild, das für einen Insassen des Fahrzeugs dargestellt wird, wobei die Grenze eine rechte Grenze und eine linke Grenze enthält; eine Bildsynthetisierungseinheit zum Synthetisieren oder Zusammensetzen eines synthetisierten Bilds, das aus einem rechten Abschnitt, einem linken Abschnitt und einem mittigen Abschnitt zusammengesetzt ist, wobei in dem rechten Abschnitt an der rechten Seite der rechten Grenze in dem für den Insassen sichtbaren Bild ein rechtsseitiges sichtbares Bild, gemacht aus dem rechten Bild, positioniert ist, in dem linken Abschnitt an der linken Seite der linken Grenze in dem für den Insassen sichtbaren Bild ein linksseitiges sichtbares Bild, gemacht aus dem linken Bild, positioniert ist und in dem mittigen Abschnitt zwischen der rechten Grenze und der linken Grenze in dem für den Insassen sichtbaren Bild ein hinteres sichtbares Bild, gemacht aus dem hinteren aufgenommenen Bild, positioniert ist; und eine Bildsteuereinheit zur Darstellung des für den Insassen sichtbaren Bilds, synthetisiert aus dem rechtsseitigen sichtbaren Bild, dem linksseitigen sichtbaren Bild und dem hinteren sichtbaren Bild durch die Bildsynthetisierungseinheit, auf einer Bildanzeigeeinheit. Weiterhin erstreckt sich die rechte Grenze nach rechts von einem ersten rechten Punkt zu einem zweiten rechten Punkt in dem für den Insassen sichtbaren Bild und erstreckt sich vertikal nach oben oder diagonal nach oben/rechts vom zweiten rechten Punkt aus. Weiterhin sind die ersten und zweiten rechten Punkte in dem für den Insassen sichtbaren Bild in einer vertikalen Position angeordnet, die einer Position auf der Fahrbahnoberfläche in einem Bereich von 3 bis 7 Metern ausgehend von einem hinteren Ende des Fahrzeugs entlang der Fahrzeugrichtung entspricht, und die Bildsynthetisierungseinheit enthält ein Linienbild, das in dem für den Insassen sichtbaren Bild die rechte Grenze darstellt.
Die Anordnung eines Linienbilds (Bild einer Linie) an der rechten Grenze in dem synthetisierten Bild, sich zuerst horizontal nach rechts erstreckend, um dann gerade nach oben oder diagonal nach oben/rechts zu verlaufen, macht es für den Fahrer des Eigenfahrzeugs einfacher, die Nähe des hinteren Fahrzeugs in der rechten Spur zu bestimmen, da der sich horizontal erstreckende Abschnitt der rechten Grenze eine Position des hinteren Gebiets oder Felds 3 Meter gerade hinterhalb des hinteren Endes des Eigenfahrzeugs anzeigt.
Der Abstand von 3 Metern ist beispielsweise im ISO-Standard als ein Kriterium definiert, um die Schwierigkeit eines Fahrspurwechsels zu definieren. Das heißt, wenn sich das hintere Fahrzeug innerhalb von 3 bis 7 Metern (was ein paar Meter Toleranz erlaubt) von dem Eigenfahrzeug in dem synthetisierten Bild gemäß dem Abstandsmarkierungsbild befindet, kann der Fahrer problemlos erkennen, dass der Fahrspurwechselvorgang schwierig und unsicher ist. Weiterhin befindet sich ein hinteres Fahrzeug, das dem Eigenfahrzeug näher beabstandet ist als die Abstandsmarkierung, vollständig in dem rechtsseitigen sichtbaren Bild, so dass eine verbessertes Sichtbarkeit aufgrund einer nicht vorhandenen Störung oder Wechselwirkung mit der Abstandsmarkierung vorliegt. Im Ergebnis hat der Fahrer des Eigenfahrzeugs einen verstärkten Eindruck von der Nähe eines sich nähernden hinteren Fahrzeugs. Das heißt, es wird einfacher vom Fahrer des Eigenfahrzeugs wahrgenommen, dass die Nähe oder der geringe Abstand des hinteren Fahrzeugs den Wechsel auf die rechte Fahrspur schwierig macht.
In den Ausführungsformen gemäß den Ansprüchen und der nachfolgenden Beschreibung der vorliegenden Erfindung sind „rechts“ und „links“ austauschbar. Das heißt, die vorliegende Erfindung ist sowohl bei Links- als auch Rechtsfahrverkehrssystemen in den unterschiedlichen Ländern weltweit anwendbar.
Weitere Einzelheiten, Aspekte und Vorteile der vorliegenden Erfindung ergeben sich besser aus der nachfolgenden detaillierten Beschreibung unter Bezugnahme auf die beigefügte Zeichnung.
Es zeigt:

1 als Blockdiagramm den Aufbau eines Bildanzeigesystems (Gesichtsfeldbild, zu überblickendes oder zu überwachendes Gebiet oder Feld) gemäß einer Ausführungsform der vorliegenden Erfindung;
2 die Darstellung der Anordnung von vier Kameras und einer Anzeigeeinheit an bzw. in einem Fahrzeug;
3 ein Flussdiagramm eines von einer Bildsynthetisierungs-ECU durchgeführten Programms;
4 ein Bezugsdiagramm, welches eine Relation oder Beziehung zwischen Blinkerbetätigungsbedingungen und Betriebsbedingungen der Bildsynthetisierungs-ECU darstellt;
5A bis 5C jeweils Darstellungen von Bildern, die zur Synthetisierung eines sichtbaren oder darstellbaren Bilds verwendet werden;
6A bis 6C jeweils Darstellungen rechter und linker Grenzen in einem mittigen/rechts verschobenen/links verschobenen Bilds;
7 eine Darstellung eines globalen Koordinatensystems für eine Umwandlung Gesichtspunkt/Blickrichtung;
8 eine Darstellung eines hinteren Bereichs, rechten Bereichs und linken Bereichs in einem sichtbaren Bild;
9 eine Darstellung eines sichtbaren Bilds, zusammengesetzt aus hinterem Bild, rechtem Bild und linkem Bild;
10 eine Darstellung von Maskierungsbereichen in einem sichtbaren Bild;
11 eine Darstellung von Abstandsmarkierungsbildern, die dem sichtbaren Bild hinzugefügt werden;
12 eine Darstellung einer Fahrzeugzwischendistanz zwischen Eigenfahrzeug und hinterem Fahrzeug;
13 eine Darstellung von Abstandsmarkierungsbildern für einen Fahrspurwechsel nach rechts;
14 eine Darstellung von Abstandsmarkierungsbildern für einen Fahrspurwechsel nach links;
15 eine Darstellung rechter und linker Grenzen; und
16 eine Darstellung einer anderen Abwandlung rechter und linker Grenzen.

Eine Ausführungsform der vorliegenden Erfindung wird nachfolgend erläutert. Der Gesamtaufbau eines Bildanzeigesystems für ein (bestimmtes) Fahrzeuggesichts- oder -blickfeld gemäß der vorliegenden Erfindung ist in 1 gezeigt. Das Bildanzeigesystem ist in ein Fahrzeug eingebaut und umfasst eine vordere Kamera oder Frontkamera 1, eine hintere Kamera oder Heckkamera 2, eine rechtsseitige Kamera 3, eine linksseitige Kamera 4, eine Anzeige 5, eine Zeichenerkennungs-ECU 6, ein Navigationssystem 7, eine Fahrzeuginformationsausgabeeinheit 8 und eine Bildsynthetisierungs-ECU 9. 2 zeigt die Anordnung von Frontkamera 1, Heckkamera 2, rechtsseitiger Kamera 3, linksseitiger Kamera 4 und Zeichenerkennungs-ECU 6 im Fahrzeug. In der nachfolgenden Beschreibung bedeutet oben/unten/rechts/links entsprechend oben/unten/ rechts/links des Fahrzeugs, also vorne/hinten/rechts/links, soweit nicht anders angegeben. Weiterhin ist die nachfolgende Beschreibung und sind die beigefügten Ansprüche bei Fällen anwendbar oder treffen auf Fälle zu, wo rechte Seite und linke Seite vertauscht sind. Das heißt mit anderen Worten, die Konfiguration der vorliegenden Erfindung ist bezüglich einer Längsmittelachse von vorne nach hinten des Fahrzeugs liniensymmetrisch.
Die Frontkamera 1 ist in einem vorderen Teil des Fahrzeugs (nachfolgend auch als „Eigenfahrzeug“ bezeichnet) eingebaut, in welchem sich das erfindungsgemäße Bildanzeigesystem befindet, und nimmt wiederholt Bilder eines vorderhalb des Eigenfahrzeugs liegenden Gebiets oder Felds auf. Das vordere Feld- oder Gebietsbild wird Aufnahme für Aufnahme an die Zeichenerkennungs-ECU 6 ausgegeben.
Die Heckkamera 2 ist in einem hinteren Teil des Eigenfahrzeugs oder im Dachbereich eingebaut und nimmt wiederholt Bilder eines hinterhalb des Eigenfahrzeugs liegenden Felds oder Gebiets auf. Das hintere Feld- oder Gebietsbild wird jeweils einzeln an die Bildsynthetisierungs-ECU 9 ausgegeben. Die Heckkamera 2 hat eine Weitwinkellinse und der Aufnahmebereich umfasst das rechte hintere Feld oder Gebiet, das linke hintere Feld oder Gebiet und ein mittiges Feld oder Gebiet bezüglich des Eigenfahrzeugs.
Die rechtsseitige Kamera 3 ist an einer rechten Seitenfläche (beispielsweise einem unteren Endabschnitt des rechten Außenspiegels) des Eigenfahrzeugs angeordnet und nimmt wiederholt das rechte/hintere Feld oder Gebiet des Eigenfahrzeugs auf, um ein rechtes Feld- oder Gebietsbild nacheinander an die Bildsynthetisierungs-ECU 9 auszugeben. Die rechtsseitige Kamera 3 hat eine Weitwinkellinse und der Aufnahmebereich umfasst einen Bereich rechts/vorne, rechts/seitlich und rechts/hinten des Eigenfahrzeugs.
Die linksseitige Kamera 4 ist an einer linken Seitenfläche (beispielsweise einem unteren Endabschnitt des linken Außenspiegels) des Eigenfahrzeugs angeordnet und nimmt wiederholt das linke/hintere Gebiet oder Feld des Eigenfahrzeugs auf, um ein linkes Feld- oder Gebietsbild nacheinander an die Bildsynthetisierungs-ECU 9 auszugeben. Die linksseitige Kamera 4 hat eine Weitwinkellinse und der Aufnahmebereich umfasst die Seite links/vorne, die Seite links/seitlich und die Seite links/hinten des Eigenfahrzeugs.
Die Anzeige 5 ist eine Vorrichtung, die für einen Insassen (insbesondere Fahrer des Fahrzeugs) ein Bild darstellt, wobei sich der Insasse in dem Fahrzeug befindet. Die Lage der Anzeige 5 ist beispielsweise die Mitte des Instrumentenbretts im Fahrgastraum, wie in 2 gezeigt.
Die Zeichenerkennungs-ECU 6 erhält wiederholt ein Bild von der Frontkamera 1 und ermittelt ein Geschwindigkeitsbegrenzungszeichen aus dem erlangten Bild unter Verwendung einer allgemein bekannten Bildverarbeitungstechnologie (beispielsweise Schablonenanpassung) und erkennt die Geschwindigkeitsbegrenzung auf der jeweiligen Straße unter Verwendung allgemein bekannter Texterkennungsverarbeitungen. Die Zeichenerkennungs-ECU 6 gibt die Information betreffend einer erkannten Geschwindigkeitsbegrenzung an die Bildsynthetisierungs-ECU 9 aus. Die Zeichenerkennungs-ECU 6 kann unter Verwendung eines Mikrocomputers realisiert werden, der ein Programm zur Durchführung der genannten Funktionen enthält.
Das Navigationssystem 7 spezifiziert eine Position des Eigenfahrzeugs basierend auf dem Ausgang von Positionserfassungsvorrichtungen, beispielsweise nicht dargestellten GPS-Empfängern, und zeigt ein Kartenbild um die momentane Position des Fahrzeugs herum an. Zusätzlich berechnet das Navigationssystem 7 die am besten geeigneten Strecken von der momentanen Fahrzeugposition zu einem Ziel, welches vom Fahrzeuginsassen eingegeben wurde, und liefert eine Streckenführung für die berechnete Strecke. Zusätzlich speichert das Navigationssystem 7 Kartendaten, und die Kartendaten werden für eine Kartendarstellung, Streckenberechnung und Streckenführung verwendet. Die Informationen bezüglich einer Geschwindigkeitsbegrenzung auf jeder Straße und die Informationen bezüglich der Breite der Fahrspur auf jeder Straße sind in den Kartendaten enthalten. Wenn ein Signal von der Bildsynthetisierungs-ECU 9 empfangen wird, welches eine Geschwindigkeitsbegrenzung oder Fahrspurbreite abfragt, gibt das Navigationssystem 7 an die Bildsynthetisierungs-ECU 9 die benötigten Informationen hinsichtlich Geschwindigkeitsbegrenzung an der momentanen Position der befahrenen Straße oder die Fahrspurbreite aus, indem die relevanten Informationen aus den Kartendaten gelesen werden.
Die Fahrzeuginformationsausgabeeinheit 8 gibt erlangte Fahrzeugbetriebsinformationen an die Bildsynthetisierungs-ECU 9 durch Erhalt von Informationen von verschiedenen Sensoren in dem Fahrzeug aus. Die erlangten Informationen umfassen unter anderem eine Schaltpositionsinformation (oder Fahrhebelpositionsinformation), eine Blinkerzustandsinformation (Fahrtrichtungsanzeige), eine Geschwindigkeitsinformation des Eigenfahrzeugs etc.
Die Bildsynthetisierungs-ECU 9 (z. B. eine Bildanzeigesteuervorrichtung) erhält oder erlangt wiederholt ein rückwärtiges Bild von der Heckkamera 2, ein rechtsseitiges Bild (d. h. ein Bild vom rechten Gesichtsfeld) von der rechtsseitigen Kamera 3 und ein linksseitiges Bild (d. h. ein Bild vom linken Gesichtsfeld) von der linksseitigen Kamera 4 und synthetisiert und liefert für den Fahrer/Insassen des Fahrzeugs ein betrachtbares oder sichtbares Bild basierend auf einem Satz der erhaltenen rechten/linken/hinteren Bilder für eine Darstellung auf der Anzeigeeinheit 5.
Die Bildsynthetisierungs-ECU 9 für den obigen Vorgang wird realisiert durch einen Mikrocomputer mit CPU, RAM und ROM. In diesem Fall erfolgt eine gewünschte Verarbeitung durch die CPU, die ein Programm abarbeitet, das aus dem ROM ausgelesen wird, und unter Verwendung eines Abschnitts des RAM. Während der Durchführung des Programms werden Informationen aus RAM und ROM sowie anderen Komponenten erhalten, beispielsweise den Kameras 2 bis 4, der Zeichenerkennungs-ECU 6, dem Navigationssystem 7 und der Fahrzeuginformationsausgabeeinheit 8, und Signale werden an die Anzeige 5 und das Navigationssystem 7 nach Bedarf ausgegeben.
Die Details der Arbeitsweise der Bildsynthetisierungs-ECU 9 werden nachfolgend erläutert. Ein Flussdiagramm eines Programms 100, das von der Bildsynthetisierungs-ECU 9 durchgeführt wird, ist in 3 gezeigt. Die Bildsynthetisierungs-ECU 9 führt das Programm 100 wiederholt durch, wenn eine Schaltpositionsinformation (oder Antriebspositionsinformation) von der Fahrzeuginformationsausgabeeinheit 8 zeigt, dass eine Position eines Schalthebels oder Gangwählers dem Fahrbetrieb (d. h. der Vorwärtsfahrt) entspricht.
Die Bildsynthetisierungs-ECU 9 erhält im Schritt 110 bei der Durchführung des Programms 100 ein aufgenommenes Bild. Genauer gesagt, die ECU 9 wartet vor Durchführung des Schritts 120 zur Erlangung eines hinteren Bilds, rechtsseitigen Bilds und linksseitigen Bilds in Form eines Bilds von der Heckkamera 2, der rechtsseitigen Kamera 3 und der linksseitigen Kamera 4.
Im Schritt 120 wird die Geschwindigkeitsbegrenzung an der momentanen Position festgelegt. Die Geschwindigkeitsbegrenzung kann basierend auf einem Informationsausgang von der Zeichenerkennungs-ECU 6 identifiziert werden oder sie kann durch erhaltene Informationen vom Navigationssystem 7 basierend auf einem Geschwindigkeitsbegrenzungsabfragesignal an das Navigationssystem 7 identifiziert werden.
Im Schritt 122 wird der Betriebszustand des Blinkers oder Fahrtrichtungsanzeigers basierend auf einem Signal von der Fahrzeuginformationsausgabeeinheit 8 festgelegt. Der Blinkerbetriebszustand enthält drei Zustände, das heißt, Abbiegen nach rechts (Rechtsabbiegezustand), Abbiegen nach links (Linksabbiegezustand) und weder Abbiegen nach rechts noch nach links (AUS-Zustand).
Im Schritt 124 wird der wie oben angegeben spezifizierte Betriebszustand des Blinkers verwendet, um einen virtuellen Blickpunkt und eine virtuelle Blickrichtung festzusetzen.
Wie später noch im Detail beschrieben wird, wird die Bildumwandlung und -synthetisierung für das hintere Bild, das rechtsseitige Bild und das linksseitige Bild so durchgeführt, dass das synthetisierte Bild als ein aufgenommenes Bild wahrgenommen wird, welches den virtuellen Blickpunkt und die virtuelle Blickrichtung hat.
Der virtuelle Blickpunkt und die virtuelle Blickrichtung werden jeweils relativ zum Eigenfahrzeug festgesetzt. Genauer gesagt, der virtuelle Blickpunkt wird als eine bestimmte Koordinate in einem festen Koordinatensystem des vorliegenden Eigenfahrzeugs (nachfolgend als globales Koordinatensystem bezeichnet) festgesetzt und die virtuelle Blickrichtung wird als ein Einheitsvektor in dem globalen Koordinatensystem festgesetzt.
Aus einem mittigen Blickpunkt, nach rechts verschobenen Blickpunkt und nach links verschobenen Blickpunkt wird einer dieser drei Blickpunkte als virtueller Blickpunkt festgesetzt.
Die Lage des mittigen Blickpunkts liegt im Mittelpunkt des Eigenfahrzeugs in einer Richtung von rechts nach links sowie vorderhalb des Eigenfahrzeugs. Das heißt, wenn das globale Koordinatensystem ein dreidimensionales orthogonales Koordinatensystem ist mit wie nachfolgend aufgeführt definierten drei Achsen, hat der virtuelle Blickpunkt Positionskoordinaten von (X, Y, Z) = (L/2 + α, 0, h), wobei die X-Achse als Fahrtrichtung (Längsrichtung) des Fahrzeugs mit einem positiven Wert nach vorne definiert ist, die Y-Achse als horizontale Richtung des Fahrzeugs (von rechts nach links) mit einem positiven Wert nach rechts definiert ist und die Z-Achse als vertikale Richtung (von oben nach unten) mit einem positiven Wert nach oben definiert ist. Der Ursprung der globalen Koordinaten ist als Mitte des Fahrzeugs in Richtung der X- und Y-Achsen und auf der Fahrbahnoberfläche, auf der sich das Fahrzeug befindet, in Richtung der Z-Achse definiert. Weiterhin ist L die Länge des Fahrzeugs in einer Richtung von vorne nach hinten, und α ist ein fester Wert (z. B. 1 m) und h ist ein Wert, der größer als die Höhe des Fahrzeugs ist (z. B. 3 m). Die Werte von α und h können auf unterschiedliche Werte festgesetzt werden.
Die Position des nach rechts verschobenen Blickpunkts ist eine Position, die um einen Betrag P vom mittigen Blickpunkt aus nach rechts verschoben ist. Die Distanz P kann als ein Betrag halb der Breite des Fahrzeugs gewählt werden. In dem oben erwähnten globalen Koordinatensystem sind die Positionskoordinaten des nach rechts verschobenen Blickpunkts (X, Y, Z) = (L/2 + α, P, h). Die Position des nach links verschobenen Blickpunkts ist eine Position, die um den bestimmten Betrag oder die bestimmte Distanz P vom mittigen Blickpunkt aus nach links verschoben ist. In dem oben erwähnten globalen Koordinatensystem sind die Positionskoordinaten des nach links verschobenen Blickpunkts (X, Y, Z) = (L/2 + α, -P, h).
Der Blickpunkt wird abhängig von dem Blinkerbetriebszustand aus Schritt 122 gewählt. Im Blinker-Aus-Zustand wird der mittige Blickpunkt gemäß 4 angewendet, und zum Zeitpunkt einer Fahrt nach rechts wird der nach rechts verschobene Blickpunkt angewendet und zum Zeitpunkt einer Fahrt nach links wird der nach links verschobene Blickpunkt angewendet.
Die virtuelle Blickrichtung ist als eine Richtung definiert, die entlang des Eigenfahrzeugs nach unten blickt und die als eine voreingestellte Blickrichtung gewählt ist. Genauer gesagt, die virtuelle Blickrichtung ist eine Richtung gerade nach hinten bezüglich des Fahrzeugs. Die Vektorkomponenten der virtuellen Blickrichtung sind definiert als (X, Y, Z) = (-a, 0, -b), wobei die Werte „a“ und „b“ die Beziehung a² + b² = 1 erfüllen, und ein Blickwinkel nach unten („look-down angle“), also ein Depressionswinkel θ, erfüllt die Bedingung tan θ = b/a (wobei a ein positiver Wert für den Winkel nach unten aus einer horizontalen Richtung ist). Der Depressionswinkel θ kann 10 Grad oder auch andere Werte betragen.
Der virtuelle Blickpunkt und die virtuelle Blickrichtung werden somit abhängig von dem Blinkerbetriebszustand auf folgende Weise geändert: Wenn der Blinker des Eigenfahrzeugs eine Fahrt nach rechts anzeigt (wenn der Fahrzeuginsasse darangeht, das Fahrzeug auf die rechte Spur zu bewegen), bewegt sich der virtuelle Blickpunkt im Vergleich zum Blinker-Aus-Zustand zur rechten Seite des Fahrzeugs, wobei die virtuelle Blickrichtung unverändert bleibt. Wenn der Blinker des Eigenfahrzeugs eine Fahrt nach links anzeigt (wenn der Fahrzeuginsasse darangeht, das Fahrzeug auf die linke Spur zu bewegen), bewegt sich der virtuelle Blickpunkt im Vergleich zum Blinker-Aus-Zustand zur linken Seite des Fahrzeugs, wobei die virtuelle Blickrichtung unverändert bleibt.
Im Schritt 126 wird ein betrachtbares oder sichtbares Bild zur Darstellung für den Insassen erzeugt. Das sichtbare Bild ist ein auf der Anzeige 5 im Schritt 190 darstellbares Bild, nachdem verschiedene weitere Prozesse in den Schritten 130 bis 180 durchgeführt wurden.
Das im Schritt 126 erzeugte Bild ist ein zu bearbeitendes Bild. Das Bild wird aus drei Arten von vorgefertigten Bildern gewählt, die im ROM gespeichert sind, um als betrachtbares Bild angewendet zu werden. Die drei Bilder sind (a) ein vorgefertigtes Mittenbild, (b) ein vorgefertigtes nach rechts verschobenes Bild und (c) ein vorgefertigtes nach links verschobenes Bild.
Eines der drei vorgefertigten Bilder wird abhängig von dem Blinkerbetriebszustand aus Schritt 122 gewählt. Genauer gesagt, wenn der Blinkerbetriebszustand AUS ist, wird das mittige vorgefertigte Bild gewählt, wie in 4 gezeigt, und wenn der Blinkerbetriebszustand eine Fahrt nach rechts angibt, wird das nach rechts verschobene vorgefertigte Bild gewählt. Weiterhin, wenn der Blinkerbetriebszustand eine Fahrt nach links anzeigt, wird das nach links verschobene vorgefertigte Bild gewählt.
Das mittige vorgefertigte Bild 10a, das nach rechts verschobene vorgefertigte Bild und das nach links verschobene vorgefertigte Bild 10c sind in den 5A bzw. 5B bzw. 5C gezeigt.
Das mittige vorgefertigte Bild 10a enthält ein Bild des Eigenfahrzeugs 11, aufgenommen in einem Winkel der voreingestellten Blickrichtung vom mittigen Blickpunkt aus. Das heißt, ein virtuelles Bild des Eigenfahrzeugs 11, gesehen in virtueller Blickrichtung vom mittigen Blickpunkt aus, erscheint in dem mittigen vorgefertigten Bild 10a.
Das nach rechts verschobene vorgefertigte Bild 10b enthält ein Bild des Eigenfahrzeugs 11, aufgenommen in einem Winkel der voreingestellten Blickrichtung vom nach rechts verschobenen Blickpunkt aus. Das heißt, ein virtuelles Bild des Eigenfahrzeugs 11, gesehen in virtueller Blickrichtung vom nach rechts verschobenen Blickpunkt aus, erscheint in dem nach rechts verschobenen vorgefertigten Bild 10b.
Das nach links verschobene vorgefertigte Bild 10c enthält ein Bild des Eigenfahrzeugs 11, aufgenommen in einem Winkel der voreingestellten Blickrichtung vom nach links verschobenen Blickpunkt aus. Das heißt, ein virtuelles Bild des Eigenfahrzeugs 11, gesehen in virtueller Blickrichtung vom nach lins verschobenen Blickpunkt aus, erscheint in dem nach links verschobenen vorgefertigten Bild 10c.
In jedem dieser vorgefertigten Bilder 10a bis 10c sind Bereiche anders als das Bild des Fahrzeugs 11 in einer Standardfarbe eingefärbt, beispielsweise in Schwarz, Weiß oder dergleichen. Mit anderen Worten, die vorgefertigten Bilder 10a bis 10c werden jeweils als hinteres Bereichsbild erzeugt, aufgenommen in einer Richtung gerade nach hinten ausgehend vom mittigen/nach rechts verschobenen/nach links verschobenen Blickpunkt mit dem Fahrzeug 11 ohne Einfärbung (d. h. ungelöscht) im Bild.
Zusätzlich kann das nach rechts verschobene vorgefertigte Bild 10b gemäß 5B auf den ersten Blick als ein Bild erkannt werden, das vom nach links verschobenen Blickpunkt (d. h. einem Blickpunkt in einem linken vorderen Feld des Fahrzeugs 11) anstelle des nach rechts verschobenen Blickpunkts (d. h. eines Blickpunkts in einem rechten vorderen Feld des Fahrzeugs 11) aufgenommen wurde. Jedoch ist das nach rechts verschobene vorgefertigte Bild 10b ein Bild, das vom nach rechts verschobenen Blickpunkt im rechten vorderen Feld des Fahrzeugs 11 aufgenommen wurde. Das nach rechts verschobene vorgefertigte Bild 10b wird von dem Insassen (z. B. Fahrer) des Fahrzeugs 11, der nach vorne blickend im Fahrzeug 11 sitzt, verwendet, eine Position eines sich nähernden Fahrzeugs oder dergleichen im hinteren Feld zu verifizieren oder zu bestätigen.
Daher schafft die Darstellung der rechten Seite des Eigenfahrzeugs auf der rechten Seite im dargestellten Bild auf der Anzeige 5 eine intuitiv besser verständliche Darstellung für den Fahrer. Daher ist das nach rechts verschobene vorgefertigte Bild 10b ein vom nach rechts verschobenen Blickpunkt aufgenommenes Bild nach einer Bildbearbeitung, bei der rechte und linke Seiten auf die andere Seite umgeschlagen wurden, was auf den ersten Blick im Gegensatz zur Intuition erscheinen mag. Beispielsweise ist das nach rechts verschobene vorgefertigte Bild 10b ohne Zweifel ein Bild mit dem nach rechts verschobenen Blickpunkt im rechten vorderen Feld des Fahrzeugs 11.
Das mittige vorgefertigte Bild 10a und das nach links verschobene vorgefertigte Bild 10c sind aus dem gleichen Grund Bilder, deren rechte und linke Seiten nach Aufnahme von entweder dem mittigen Blickpunkt oder dem nach links verschobenen Blickpunkt aus umgedreht wurden.
Im Schritt 130 werden zwei Grenzen in dem Bild gesetzt, das im vorherigen Schritt 126 erzeugt wurde. Die beiden Grenzen, die in diesem Schritt gesetzt werden, sind eine rechte Grenze und eine linke Grenze gemäß dem Blinkerbetriebszustand aus Schritt 122. Die rechte Grenze 21 und die linke Grenze 22 entsprechen einem Zustand AUS, einem Zustand einer Fahrt nach rechts und einem Zustand einer Fahrt nach links und sind entsprechend in den 6A, 6B und 6C gezeigt.
Zusätzlich und wie später noch genauer beschrieben wird, wird an der rechten Seite der rechten Grenze 21 ein rechtsseitiges sichtbares Bild, erstellt aus dem rechtsseitigen Bild, positioniert und an der linken Seite der linken Grenze 22 wird ein linksseitiges sichtbares Bild, erstellt aus dem linksseitigen Bild, positioniert und zwischen der rechten Grenze 21 und der linken Grenze 22 wird ein rückwärtiges sichtbares Bild, erstellt aus dem rückwärtigen Bild, positioniert.
Die rechte Grenze 21 und die linke Grenze 22, die im Blinker-Aus-Zustand gesetzt werden, werden unter Bezugnahme auf 6A erläutert. Wie bereits oben beschrieben, wird der virtuelle Blickpunkt auf den mittigen Blickpunkt gesetzt, wenn der Blinker abgeschaltet ist.
Die rechte Grenze 21 im Bild 10 wird auf folgende Weise gesetzt. Zwischen einem ersten rechten Punkt 21a und einem zweiten rechten Punkt 21b wird die rechte Grenze 21 als gerade Linie diagonal nach links oben gezogen, und zwischen dem zweiten rechten Punkt 21b und einem dritten rechten Punkt 21c wird die rechte Grenze 21 als eine gerade Linie diagonal nach rechts oben gezogen, nachdem im zweiten rechten Punkt 21b abgebogen (abgeknickt) wurde. Der erste rechte Punkt 21a berührt ein hinteres Ende des Eigenfahrzeugs 11 und der dritte rechte Punkt 21c berührt ein oberes Ende des Bilds 10. Mit anderen Worten, die rechte Grenze 21 biegt oder knickt am zweiten rechten Punkt 21b des Bilds 10 ab, um die Form von „<“ (d. h. das Zeichen von „kleiner als“) zu haben, und verläuft vom hinteren Ende des Fahrzeugs 11 zum oberen Ende des Bilds 10.
Die linke Grenze 22 im Bild 10 wird auf folgende Weise gesetzt. Zwischen einem ersten linken Punkt 22a und einem zweiten linken Punkt 22b verläuft die Grenze 22 als gerade Linie diagonal nach rechts oben, und zwischen dem zweiten linken Punkt 22b und einem dritten linken Punkt 22c verläuft die linke Grenze 22 als gerade Linie diagonal nach links oben, nachdem im zweiten linken Punkt 22b abgebogen wurde. Der erste linke Punkt 21a berührt das hintere Ende des Eigenfahrzeugs 11 und der dritte linke Punkt 22c berührt das obere Ende des Bilds 10. Mit anderen Worten, die linke Grenze 22 biegt oder knickt am zweiten linken Punkt 22b des Bilds 10 ab, um die Form von „>“ (d. h. das Zeichen von „größer als“) zu haben, und verläuft vom hinteren Ende des Fahrzeugs 11 zum oberen Ende des Bilds 10.
Die rechte Grenze 21 und die linke Grenze 22, die im Blinkerbetriebszustand einer Fahrt nach rechts gesetzt sind, werden unter Bezug auf 6B erläutert. Wie bereits oben beschrieben, wird der virtuelle Blickpunkt auf den nach rechts verschobenen Blickpunkt gesetzt, wenn der Blinker eine Fahrt nach rechts (Abbiegen nach rechts etc.) anzeigt.
In diesem Fall wird die rechte Grenze 21 als eine gerade nach oben verlaufende Linie entweder vertikal oder diagonal nach links oder rechts zwischen dem ersten rechten Punkt 21a und dem zweiten rechten Punkt 21b gezogen, und nach Abbiegung am zweiten rechten Punkt 21b verläuft die rechte Grenze 21 als gerade Linie nach oben diagonal nach rechts zwischen dem zweiten rechten Punkt 21b und dem dritten rechten Punkt 21c. Der erste rechte Punkt 21a berührt das hintere Ende des Eigenfahrzeugs 11 und der dritte rechte Punkt 21c berührt das obere Ende des Bilds 10. Mit anderen Worten, die rechte Grenze 21 biegt am zweiten rechten Punkt 21b im Bild 10 ab, um die Form von „<“ (d. h. das Zeichen von „kleiner als“) zu haben, und erstreckt sich vom hinteren Ende des Fahrzeugs 11 zum oberen Ende des Bilds 10.
Die linke Grenze 22 wird als gerade Linie vom ersten linken Punkt 22a zum dritten linken Punkt 22c im Bild 10 gleichförmig nach oben und nach links gezogen. Der erste linke Punkt 22a kontaktiert das hintere Ende des Eigenfahrzeugs 11 und der dritte linke Punkt 22c berührt das obere Ende des Bilds 10.
Die rechte Grenze 21 und die linke Grenze 22, die im Blinkerbetriebszustand entsprechend der Fahrt nach links (Abbiegen nach links etc.) gesetzt sind, werden unter Bezug auf 6C erläutert. Wie bereits oben beschrieben, wird der virtuelle Blickpunkt auf den nach links verschobenen Blickpunkt gesetzt, wenn der Blinker eine Fahrt nach links (Abbiegen nach links etc.) anzeigt.
Die rechte Grenze 21 wird in diesem Fall als eine gerade Linie vom ersten rechten Punkt 21a zum dritten rechten Punkt 21c nach oben und rechts im Bild 10 gezogen. Der erste rechte Punkt 21a berührt das hintere Ende des Eigenfahrzeugs 11 und der dritte rechte Punkt 21c berührt das obere Ende des Bilds 10.
In diesem Fall wird die linke Grenze 22 als eine gerade Linie entweder vertikal oder diagonal nach rechts oder links zwischen dem ersten linken Punkt 22a und dem zweiten linken Punkt 22b gezogen, und nach Abbiegung am zweiten linken Punkt 22b verläuft die linke Grenze 22 als gerade Linie nach oben diagonal nach links zwischen dem zweiten linken Punkt 22b und dem dritten linken Punkt 22c. Der erste linke Punkt 22a berührt das hintere Ende des Eigenfahrzeugs 11 und der dritten linke Punkt 22c berührt das obere Ende des Bilds 10. Mit anderen Worten, die linke Grenze 22 biegt am zweiten linken Punkt 22b im Bild 10 ab, um die Form von „>“ (d. h. das Zeichen von „größer als“) zu haben, und erstreckt sich vom hinteren Ende des Fahrzeugs 11 zum oberen Ende des Bilds 10.
Um die rechte Grenze 21 und die linke Grenze 22 auf obige Weise zu ziehen, speichert das ROM der Bildsynthetisierungs-ECU 9 als Informationseinträge die ersten bis dritten rechten Punkte 21a bis 21c und die ersten bis dritten linken Punkte 22a bis 22c für den mittigen Blickpunkt, die ersten bis dritten rechten Punkte 21a bis 21c und die ersten und dritten linken Punkte 22a, 22c für den nach rechts verschobenen Blickpunkt und die ersten und dritten rechten Punkte 21a, 21c und die ersten bis dritten linken Punkte 22a bis 22c für den nach links verschobenen Blickpunkt.
Zusätzlich wird als Festsetzung im ROM ein gerader Abschnitt der rechten Grenze 21 vom ersten rechten Punkt 21a zum zweiten rechten Punkt 21b für den mittigen Blickpunkt und den nach rechts verschobenen Blickpunkt in dem sichtbaren Bild 10 in Fluchtung zu einer geraden Linie gesetzt, die sich hinterhalb des Eigenfahrzeugs 11 auf der tatsächlichen Straße erstreckt, so dass der gerade Abschnitt der rechten Grenze 21 und die gerade Linie auf der Straße einander im Bild 10 überlappen. Mit anderen Worten, das sichtbare oder betrachtbare Bild 10 hat einen sichtbaren oder betrachtbaren Bereich, der sich im Wesentlichen parallel zu einer Vorwärts/Rückwärts-Richtung des Eigenfahrzeugs 11 in einem geradlinig dargestellten Abschnitt zwischen dem ersten rechten Punkt 21a und dem zweiten rechten Punkt 21b erstreckt.
Auf gleiche Weise wird als Festsetzung im ROM ein gerader Abschnitt der linken Grenze 22 vom ersten linken Punkt 22a zum zweiten linken Punkt 22b für den mittigen Blickpunkt und den nach links verschobenen Blickpunkt in dem sichtbaren Bild 10 in Fluchtung zu einer geraden Linie gesetzt, die sich hinterhalb des Eigenfahrzeugs 11 auf der tatsächlichen Straße erstreckt, so dass der gerade Abschnitt der linken Grenze 22 und die gerade Linie auf der Straße einander im Bild 10 überlappen. Mit anderen Worten, das sichtbare oder betrachtbare Bild 10 hat einen sichtbaren oder betrachtbaren Bereich, der sich im Wesentlichen parallel zu einer Vorwärts/Rückwärts-Richtung des Eigenfahrzeugs 11 in einem geradlinig dargestellten Abschnitt zwischen dem ersten linken Punkt 22a und dem zweiten linken Punkt 22b erstreckt.
Ein Neigungswinkel für die obige Konfiguration wird basierend auf dem virtuellen Blickpunkt und der virtuellen Blickrichtung definiert. In der vorliegenden Ausführungsform können die Positionskoordinaten für den zweiten rechten Punkt 21b und den zweiten linken Punkt 22b entsprechend jeweils dem mittigen Blickpunkt, dem nach rechts verschobenen Blickpunkt und dem nach links verschobenen Blickpunkt vorab festgelegt werden, da die virtuelle Blickrichtung festgelegt ist. Wie der Neigungswinkel und die Positionskoordinaten bestimmt werden, wird nachfolgend noch beschrieben.
Im ROM der Bildsynthetisierungs-ECU 9 werden der erste rechte Punkt 21a, der dritte rechte Punkt 21c, der erste linke Punkt 22a und der dritte linke Punkt 22c entsprechend jeweils Kandidaten für die virtuellen Blickpunkte als feste Koordinaten aufgezeichnet, die Positionskoordinaten für den zweiten rechtsseitigen Punkt 21b und den zweiten linken Punkt 22b für jeweils Kandidaten für die virtuellen Blickpunkte werden definiert und aufgezeichnet als variable Werte, die sich abhängig von der Geschwindigkeitsbegrenzung der Straße ändern.
Die Bildsynthetisierungs-ECU 9 liest die Koordinaten für den zweiten rechten Punkt 21b und den zweiten linken Punkt 22b, die im ROM für den virtuellen Blickpunkt aus Schritt 124 definiert wurden, und ändert die gelesenen Koordinaten gemäß der im Schritt 120 bestimmten Geschwindigkeitsbegrenzung und verwendet die geänderten Koordinaten als zweiten rechten Punkt 21b der rechten Grenze 21 und zweiten linken Punkt 22b der linken Grenze 22.
Die Relation zwischen (a) den Koordinaten des zweiten rechten Punkts 21b und des zweiten linken Punkts 22b und (b) der Geschwindigkeitsbegrenzung sind wie folgt definiert: Laterale oder seitliche Komponentenkoordinaten (Richtung „r“ in 6) des zweiten rechten Punkts 21b und des zweiten linken Punkts 22b nehmen einen Konstantwert an ungeachtet der Geschwindigkeitsbegrenzung, und vertikale Komponentenkoordinaten (Richtung „S“ in den 6A bis 6C) des zweiten rechten Punkts 21b und des zweiten linken Punkts 22b nehmen einen größeren Wert an, wenn die Geschwindigkeitsbegrenzung zunimmt. Das heißt, wenn die Geschwindigkeitsbegrenzung (= zulässige Höchstgeschwindigkeit) größer ist, bewegen sich die Positionen der zweiten rechten/linken Punkte 21b, 22b im Bild 10 nach oben.
Genauer gesagt, die Position des zweiten rechten Punkts 21b und des zweiten linken Punkts 22b im Bild 10 wird so definiert, dass eine Distanz zwischen einem markierten Punkt auf der tatsächlichen Straße durch die zweiten rechten/linken Punkte 21b, 22b und dem hinteren Ende des Fahrzeugs gleich T Metern ist. Der Wert von T ist größer, wenn die Geschwindigkeitsbegrenzung auf der Straße höher ist.
Im Schritt 140 wird ein hinteres oder rückwärtiges Bild aus einem aufgenommenen Bild des hinteren Felds oder Gebiets gemacht, und das hintere Bild wird zwischen der rechten Grenze 21 und der linken Grenze 22 im Bild 10 angeordnet. Der hintere Bereich 25 ist gemäß 8 ein Bereich, der eingefasst ist von der rechten Grenze 21, der linken Grenze 22, dem oberen Ende des sichtbaren Bilds 10 und dem hinteren Endabschnitt des vorgefertigten Bilds des Eigenfahrzeugs 11.
Ein Verfahren zur Herstellung des hinteren Bilds aus dem Bild des hinteren Felds wird nachfolgend beschrieben. Das aufgenommene Bild wird in das sichtbare oder darstellbare Bild durch Durchführung einer allgemein bekannten Verzerrungskorrektur an dem aufgenommenen Bild umgewandelt, und dann erfolgt für das korrigierte Bild eine Umwandlung für Blickpunkt/Blickrichtung. Das Bild wird dann als sichtbares oder betrachtbares Bild verwendet.
Die Blickpunkt/Blickrichtungsumwandlung ist eine Art von Bildtransformation. Das hintere Feldbild (Bild des hinteren Gebiets) wird umgewandelt, um als ein Bild zu dienen, das vom virtuellen Blickpunkt in virtueller Blickrichtung aufgenommen wird (gesetzt im vorherigen Schritt 124).
Eine Zusammenfassung der Blickpunkt/Blickrichtungsumwandlung wird unter Bezugnahme auf 7 beschrieben. Die X-, Y- und Z-Achsen in 7 stellen das oben erwähnte globale Koordinatensystem dar. In 7 ist ein Punkt 31 der virtuelle Blickpunkt und eine Richtung 32 die virtuelle Blickrichtung. Zusätzlich ist ein Punkt 33 der reale Blickpunkt der Heckkamera 2 und eine Richtung 34 ist die reale Blickrichtung der Heckkamera 2.
Wenn angenommen wird, dass alle im hinteren Feldbild 35 von der Heckkamera 2 aufgenommenen Objekte (nach der Verzerrungskorrektur) auf einer horizontalen Ebene 37 von Z = 0 existieren, kann die Position eines beliebigen Punkts in dem hinteren Feldbild 35 eindeutig als eine Kombination von X- und Y-Koordinaten der Ebene 37 bestimmt werden. Beispielsweise stellt ein Punkt 36 im hinteren Feldbild 35 einen Punkt 38 in der horizontalen Ebene 37 dar, aufgenommen von der Kamera 2. Die Umwandlung vom Punkt (p, q) im Bild 35 zum Punkt (X, Y) auf der Ebene 37 erfolgt unter Verwendung einer linearen Matrize T0. $(\frac{p}{q}) = T 0 (\frac{X}{Y})$
Der Blickpunkt 33 und die Blickrichtung 34 der Heckkamera 2 werden zum Zeitpunkt der Gestaltung des Fahrzeugs bestimmt. Somit wird gleichzeitig hiermit die lineare Matrix T0 bestimmt.
Zusätzlich wird eine Beziehung zwischen (a) beliebigen Koordinaten (r, s) im aufgenommenen Bild 39, aufgenommen von einer virtuellen Kamera am virtuellen Blickpunkt 31 in virtueller Blickrichtung 32, und (b) einem Punkt (X, Y) auf der Ebene 37 durch eine lineare Matrix T1 bestimmt. $(\frac{r}{s}) = T 1 (\frac{X}{Y})$
Der Wert der Matrix T1 ist eindeutig bestimmt, sobald der virtuelle Blickpunkt 31 und die virtuelle Blickrichtung 32 bestimmt sind. Weiterhin wird der Wert der Matrix T1 entsprechend einem jeden der drei virtuellen Kandidatenblickpunkte 31 im ROM der Bildsynthetisierungs-ECU 9 gespeichert. Basierend auf der oben beschriebenen Beziehung kann die Beziehung zwischen (a) der Koordinate (r, s) im aufgenommenen Bild 39 (virtuelle Kamera 31) und den Koordinaten (p, q) im hinteren Feldbild 35 entsprechend dem gleichen Punkt auf der Ebene 37 durch die folgende Gleichung ausgedrückt werden: $(\frac{p}{q}) = T 0 {(T 1)}^{- 1} (\frac{r}{s})$
Durch die Matrix T2 = T0(T1)^-1 ist die Relation zwischen den Koordinaten (p, q) und den Koordinaten (r, s) eindeutig definiert. Die Matrix T2 ist eindeutig bestimmt, wenn der Blickpunkt 33 und die Blickrichtung 34 der Heckkamera 2 und der virtuelle Blickpunkt 31 und die virtuelle Blickrichtung 32 der virtuellen Kamera bestimmt sind. Im ROM der Bildsynthetisierungs-ECU 9 werden drei Werte der Matrix T2 für die Umwandlung von den Koordinaten (r, s) im aufgenommenen Bild 39 der virtuellen Kamera in die Koordinaten (p, q) im aufgenommenen hinteren Feldbild 35 der Heckkamera 2 für drei Kandidaten des virtuellen Blickpunkts 31 gespeichert, das heißt, für den mittigen Blickpunkt, den nach rechts verschobenen Blickpunkt und den nach links verschobenen Blickpunkt. Mit anderen Worten, drei Matrizen T2 (Matrixwerte) werden für die Heckkamera 2 aufgezeichnet oder gespeichert.
Die Bildsynthetisierungs-ECU 9 liest die Umwandlungsmatrix T2 der Heckkamera 2 für den virtuellen Blickpunkt aus dem vorherigen Schritt 124 und berechnet für jeden Punkt (r, s) in dem hinteren Bereich 25 zwischen der rechten Grenze 21 und der linken Grenze 22 im sichtbaren Bild 10 einen entsprechenden Punkt (p, q) im hinteren Feldbild 35, aufgenommen durch die Heckkamera 2, unter Verwendung der obigen „Nummer 3“ und verwendet die berechneten Pixel am Punkt (p, q) als die Pixel eines entsprechenden Punkts im sichtbaren Bild 10. Durch Durchführen des obigen Vorgangs für alle Pixel im hinteren Bereich 25 wird das hintere Feldbild umgewandelt, um als ein Bild zu dienen, das vom virtuellen Blickpunkt in virtueller Blickrichtung aufgenommen worden ist, um zwischen der rechten Grenze 21 und der linken Grenze 22 im sichtbaren Bild 10 für eine Darstellung des Insassen des Eigenfahrzeugs angeordnet zu werden.
Im Schritt 150 wird als rechtsseitiges sichtbares Bild aus dem rechten Feldbild erzeugt und das erzeugte Bild wird auf der rechten Seite der rechten Grenze 21 im Bild 10 positioniert. Ein rechter Bereich 26, der als eine Position für das erzeugte Bild dient, ist gemäß 8 eingefasst von der rechten Grenze 21, dem oberen Ende des sichtbaren Bilds 10, dem rechten Ende des sichtbaren Bilds 10 und dem hinteren Ende des Bilds des Eigenfahrzeugs 11.
Ein Verfahren zur Erzeugung des rechtsseitigen sichtbaren Bilds aus dem rechten Feldbild ist im Wesentlichen gleich wie das oben beschriebene Verfahren der Erzeugung des hinteren Bilds. Das heißt, eine allgemein bekannte Verzerrungskorrektur an dem rechten Feldbild wird durchgeführt, und nach der Verzerrungskorrektur erfolgt eine Blickpunkt/Blickrichtungsumwandlung und das sich ergebende Bild aus der Blickpunkt/Blickrichtungsumwandlung wird dann als rechtsseitiges sichtbares Bild verwendet.
Eine Blickpunkt/Blickrichtungsumwandlung, die hier durchgeführt wird, ist eine Bildumwandlung, um das Bild in einen Zustand zu versetzen, der annimmt, dass das rechte Feldbild vom virtuellen Blickpunkt in virtueller Blickrichtung gemäß der Festsetzung im vorherigen Schritt 124 aufgenommen wurde.
Das Verfahren zur Blickpunkt/Blickrichtungsumwandlung für das rechtsseitige Bild ist das gleiche wie das Verfahren zur Umwandlung des hinteren Feldbilds. Jedoch ist der Wert der Umwandlungsmatrix T2 unterschiedlich, da die Kamera für die Bildaufnahme unterschiedlich ist. Im ROM der Bildsynthetisierungs-ECU 9 sind drei Werte der Matrix T2 zur Umwandlung von den Koordinaten (r, s) im aufgenommenen Bild 39 der virtuellen Kamera in die Koordinaten (p, q) in dem aufgenommenen Bild (d. h. dem rechten Feldbild) der rechtsseitigen Kamera 3 für drei Kandidaten des virtuellen Blickpunkts 31 aufgezeichnet, das heißt, für den mittigen Blickpunkt, den nach rechts verschobenen Blickpunkt und den nach links verschobenen Blickpunkt. Mit anderen Worten, drei Werte der Matrize T2 sind für die rechtsseitige Kamera 3 aufgezeichnet.
Die Bildsynthetisierungs-ECU 9 liest die Umwandlungsmatrix T2 der rechtsseitigen Kamera 3 für den virtuellen Blickpunkt aus dem vorherigen Schritt 124 und berechnet für jeden Punkt (r, s) im rechten Bereich 26 auf der rechten Seite der rechten Grenze 21 im sichtbaren Bild 10 einen entsprechenden Punkt (p, q) in dem rechten Feldbild, aufgenommen von der rechtsseitigen Kamera 3 unter Verwendung der obigen „Nummer 3“, und verwendet die berechneten Pixel am Punkt (p, q) als Pixel eines entsprechenden Punkts im sichtbaren Bild 10.
Eine derartige Umwandlung erfolgt für alle Pixel im rechten Bereich 26. Bei Durchführung der obigen Umwandlung wird für jedes Pixel in einem Nichtbildaufnahmebereich 26a des rechten Bereichs 26 eine Standardfarbe wie Schwarz, Weiß oder dergleichen gesetzt, da entsprechende Pixel nicht in dem rechten Feldbild der rechtsseitigen Kamera 3 enthalten sind.
Auf diese Weise wird das rechte Feldbild umgewandelt, um als ein Bild zu dienen, das vom virtuellen Blickpunkt in virtueller Blickrichtung aufgenommen wurde, um an der rechten Seite der rechten Grenze 21 im rechten Bereich 26 (mit Ausnahme des Nichtbildaufnahmebereichs 26a) des sichtbaren Bilds 10 positioniert zu werden.
Im Schritt 160 wird ein linksseitiges sichtbares Bild aus dem linken Feldbild erzeugt und das erzeugte Bild wird an der linken Seite der linken Grenze 22 im Bild 10 positioniert. Ein linker Bereich 27, der als Position für das erzeugte Bild dient, ist gemäß 8 von der linken Grenze 22, dem oberen Ende des sichtbaren Bilds 10, dem linken Ende des sichtbaren Bilds 10 und dem hinteren Ende des Bilds des Eigenfahrzeugs 11 begrenzt.
Das Verfahren zur Erzeugung des linksseitigen sichtbaren Bilds aus dem linken Feldbild ist im Wesentlichen gleich wie das obige Verfahren zur Erzeugung des hinteren Bilds. Das heißt, eine allgemein bekannte Verzerrungskorrektur am linken Feldbild wird durchgeführt, und nach der Verzerrungskorrektur erfolgt am Bild eine Blickpunkt/Blickrichtungsumwandlung und das sich ergebende Bild aus der Blickpunkt/Blickrichtungsumwandlung wird dann als das linksseitige sichtbare Bild verwendet.
Eine Blickpunkt/Blickrichtungsumwandlung, die hier durchgeführt wird, ist eine Bildumwandlung, die das Bild in einen Zustand versetzt, der annimmt, dass das linksseitige Feldbild vom virtuellen Blickpunkt in virtueller Blickrichtung gemäß der Einstellung aus Schritt 124 aufgenommen wurde.
Das Verfahren zur Blickpunkt/Blickrichtungsumwandlung für das linke Feldbild ist gleich dem Verfahren der Umwandlung für das hintere Feldbild. Jedoch ist der Wert für die Umwandlungsmatrix T2 unterschiedlich, da die Kamera, die zur Bildaufnahme verwendet wird, unterschiedlich ist. Im ROM der Bildsynthetisierungs-ECU 9 sind drei Werte der Matrix T2 zur Umwandlung aus den Koordinaten (r, s) im aufgenommenen Bild 39 der virtuellen Kamera in die Koordinaten (p, q) im aufgenommenen Bild (d. h. linken Feldbild) der linksseitigen Kamera 4 für drei Kandidaten des virtuellen Blickpunkts 31 aufgezeichnet, das heißt, für den mittigen Blickpunkt, den nach rechts verschobenen Blickpunkt und den nach links verschobenen Blickpunkt. Mit anderen Worten, drei Werte der Matrix T2 sind für die linksseitige Kamera 4 aufgezeichnet.
Die Bildsynthetisierungs-ECU 9 liest die Umwandlungsmatrix T2 der linksseitigen Kamera 4 für den virtuellen Blickpunkt (gesetzt im vorherigen Schritt 124) und berechnet für jeden Punkt (r, s) im linken Bereich 27 an der linken Seite der linken Grenze 22 im sichtbaren Bild 10 einen entsprechenden Punkt (p, q) im linken Feldbild, aufgenommen von der linksseitigen Kamera 4 unter Verwendung der obigen „Nummer 3“, und verwendet die Pixel am berechneten Punkt (p, q) als Pixel eines entsprechenden Punkts im sichtbaren Bild 10.
Eine derartige Umwandlung erfolgt für alle Pixel im linken Bereich 27. Während der obigen Umwandlung für alle Pixel in einem Nichtbildaufnahmebereich 27a des linken Bereichs 27 wird eine Standardfarbe wie Schwarz, Weiß oder dergleichen für diese Pixel festgelegt, da entsprechende Pixel nicht im Umfang des linken Feldbilds enthalten sind, das von der linksseitigen Kamera 4 aufgenommen wird.
Auf diese Weise wird das linke Feldbild umgewandelt, um als ein Bild zu dienen, das vom virtuellen Blickpunkt in virtueller Blickrichtung zur Anordnung auf der linken Seite der linken Grenze 22 im linken Bereich 27 (mit Ausnahme des Nichtbildaufnahmebereichs 27a) des sichtbaren Bilds 10 aufgenommen wird.
Im Schritt 170 wird das Bild der durchgezogenen Linien, welche die rechte Grenze 21 und die linke Grenze 22 aus dem vorherigen Schritt 130 ausdrücken, dem sichtbaren oder betrachtbaren Bild 10 hinzugefügt. Im sichtbaren Bild 10, das auf der Anzeige 5 dargestellt wird, kann der Insasse die Lagen der rechten Grenze 21 und der linken Grenze 22 erkennen.
Ein Beispiel des sichtbaren Bilds 10 bestehend aus den drei Bildern ist in 9 gezeigt, wo die durchgezogenen Linien hinzugefügt sind, um die Position einer Grenze zwischen dem hinteren sichtbaren Bild und dem rechtsseitigen sichtbaren Bild und eine Grenze zwischen dem hinteren sichtbaren Bild und dem linksseitigen sichtbaren Bild zu zeigen, wobei diese Linien die rechte Grenze 21 und die linke Grenze 22 sind. In dem sichtbaren Bild 10 wird die Kontinuität über die Grenze hinweg einer außerhalb liegenden Szenerie an diesen beiden Grenzen zwischen den drei Bildern bis zu einem gewissen Betrag beibehalten, da die Blickpunkt/Blickrichtungsumwandlung für den gleichen Blickpunkt/die gleiche Blickrichtung für das hintere sichtbare Bild, das rechtsseitige sichtbare Bild und das linksseitige sichtbare Bild angewendet wird.
Im Schritt 175 erfolgt ein Maskierungsprozess für den rechten Bereich 26 und den linken Bereich 27 im sichtbaren Bild 10. Genauer gesagt, ein dreieckförmiger Bereich 26b an der oberen rechten Ecke des rechten Bereichs 26 und ein dreieckförmiger Bereich 27b an der oberen linken Ecke des linken Bereichs 27 werden mit einer Standardfarbe eingefärbt, wie in 10 gezeigt.
Die Bildsynthetisierungs-ECU 9 zeigt das rechtsseitige sichtbare Bild in dem dreieckförmigen Teil an der oberen rechten Ecke des sichtbaren Bilds 10 nicht und zeigt auch nicht das linksseitige sichtbare Bild in dem dreieckförmigen Teil an der oberen linken Ecke des sichtbaren Bilds 10.
Das Bild entsprechend dieser dreieckförmigen Eckposition im sichtbaren Bild 10 hat üblicherweise eine größere Verzerrung und einen größeren Unschärfegrad. Weiterhin ist dieser Teil des Bilds nicht unmittelbar relevant für die Sicherheit des Insassen. Indem somit das rechtsseitige/linksseitige sichtbare Bild in dem jeweiligen dreieckförmigen Teil nicht gezeigt wird, wird die Gesamtqualität des sichtbaren Bilds 10 verbessert, ohne negative Auswirkungen für die Insassensicherheit zu haben.
Im Schritt 180 wird ein Abstandsmarkierungsbild dem sichtbaren Bild 10 hinzugefügt. Ein Beispiel der Abstandsmarkierungsbilder 41 bis 44, die dem sichtbaren Bild 10 hinzugefügt werden, ist in 11 gezeigt. Jedes der Abstandsmarkierungsbilder 41 bis 44 ist ein Bild, das sich geradlinig erstreckt, um einen Fahrzeugfahrer dabei zu unterstützen, den Risikograd bei einem Fahrspurwechsel unmittelbar zu erfassen.
Genauer gesagt, die Markierungsbilder sind (a) ein erstes rechtes Abstandsmarkierungsbild 41 und ein zweites rechtes Abstandsmarkierungsbild 42, welche sich jeweils horizontal von der Nähe der rechten Grenze 21 an zwei vertikal unterschiedlichen Positionen nach rechts erstrecken, und (b) ein erstes linkes Abstandsmarkierungsbild 43 und ein zweites linkes Abstandsmarkierungsbild 44, die sich horizontal von der Nähe der linken Grenze 22 an zwei vertikal unterschiedlichen Positionen nach links erstrecken. Die Umgebung der rechten/linken Grenzen 21 und 22 beträgt grob ein Zehntel (d. h. 10 %) der maximalen horizontalen Länge des sichtbaren Bilds 10, um ein Beispiel zu nennen.
Indem im sichtbaren Bild 10 das erste rechte Abstandsmarkierungsbild 41 und das zweite rechte Abstandsmarkierungsbild 42 enthalten sind, die sich jeweils von der Nähe der rechten Grenze 21 an zwei vertikal unterschiedlichen Positionen horizontal nach rechts erstrecken, ist der Fahrer in der Lage, die Position des hinteren Fahrzeugs relativ zu diesen Bildern 41 und 42 festzustellen, und in der Lage, einen richtigen und sicheren Zeitpunkt eines Spurwechselvorgangs auf die rechte Fahrspur zu bestimmen. Auf ähnliche Weise ist durch Aufnehmen des ersten linken Abstandsmarkierungsbilds 43 und des zweiten linken Abstandsmarkierungsbilds 44 im sichtbaren Bild 10, die sich jeweils von der Nähe der linken Grenze 22 an zwei vertikal unterschiedlichen Positionen horizontal nach links erstrecken, der Fahrer in der Lage, die Position des hinteren Fahrzeugs relativ zu diesen Bildern 43 und 44 festzustellen, und in der Lage, einen richtigen und sicheren Zeitpunkt eines Spurwechselvorgangs auf die linke Spur zu bestimmen.
Zusätzlich sind die Markierungsbilder eine Abfolge von horizontal langgestreckten Parallelogrammen, die nach rechts oder links verlaufend im Bild 10 angeordnet sind. Die beiden Langseiten der Parallelogramme erstrecken sich zu den Seiten.
Die beiden kürzeren Seiten der Parallelogramme in den rechten Abstandsmarkierungsbildern 41 und 42 erstrecken sich diagonal nach links oben und die beiden kürzeren Seiten der Parallelogramme in den linken Abstandsmarkierungsbildern 43 und 44 erstrecken sich diagonal nach rechts oben.
Mit diesen Ausgestaltungen werden diese Parallelogramme vom Fahrer als Rechtecke auf der Fahrbahnoberfläche wahrgenommen, die senkrecht zur Richtung der Fahrspur angeordnet sind, da eine optische Täuschung des menschlichen Auges vorliegt. Im Ergebnis wird die Perspektive im Bild 10 verbessert und intensiviert, so dass eine Abstandswahrnehmung im Bild 10 verbessert wird.
Zusätzlich können bei den Parallelogrammen der Abstandsmarkierungsbilder 41 bis 44 die Neigungswinkel der kürzeren Seiten eingestellt sein, so dass die Parallelogramme noch mehr wie sich tatsächlich auf der Fahrbahnoberfläche befindliche Rechtecke aussehen. Auf diese Weise wird die perspektivische Wirkung im Bild 10 verstärkt.
Um zu ermöglichen, dass die Parallelogramme wie Rechtecke auf der echten Fahrbahnoberfläche aussehen, arrangiert die Bildsynthetisierungs-ECU 9 eine Mehrzahl von Teilen von Rechtecken seitlich in rechten und linken Richtungen vom Eigenfahrzeug auf der virtuellen horizontalen Ebene 37 gemäß 7 und wendet die oben genannte Umwandlungsmatrix T1 (d. h. eine Umwandlungsmatrix T1 entsprechend einem momentan verwendeten virtuellen Blickpunkt) an, um die X- und Y-Koordinaten jeder Seite dieser Rechtecke in r- und s-Koordinaten im aufgenommenen hinteren Feldbild 35 vom virtuellen Blickpunkt 31 in virtueller Blickrichtung 32 umzuwandeln, und verwendet die umgewandelten Koordinaten als Koordinaten (r, s) der Parallelogramme im sichtbaren Bild 10.
Weiterhin ist die seitliche Länge der beiden Abstandsmarkierungsbilder 41 und 42 im Bild 10 unterschiedlich. Genauer gesagt, das erste rechtsseitige Abstandsmarkierungsbild 41 weit entfernt vom Eigenfahrzeug 11 ist kürzer als das zweite rechtsseitige Abstandsmarkierungsbild 42.
Die Bilder 41 und 42 liegen jedoch auf der Fahrbahnoberfläche, die in dem rechtsseitigen sichtbaren Bild im Bild 10 enthalten ist. Mit anderen Worten, in der Ansicht für den Fahrer sind die Bilder 41 und 42 eine Projektion einer Rechteckform auf die Fahrbahnoberfläche im sichtbaren Bild 10, aufgenommen von der rechtsseitigen Kamera 3. Somit nehmen die Seitenlängen der Fahrbahnoberfläche, die entsprechend von den projizierten Bildern 41 und 42 abgedeckt sind, an diesen projizierten Positionen den gleichen Wert ein.
Weiterhin sind für den Fahrer die Bilder 43 und 44 Projektionen einer Rechteckform auf die Fahrbahnoberfläche im sichtbaren Bild 10, das von der linksseitigen Kamera 4 aufgenommen wird. Das heißt, die Seitenlängen der Fahrbahnoberfläche, die jeweils von den projizierten Bildern 43 und 44 bedeckt sind, nehmen an diesen projizierten Positionen den gleichen Wert ein.
Auf diese Weise wird im sichtbaren Bild 10 der dreidimensionale perspektivische Effekt durch die Beziehung zwischen dem ersten rechtsseitigen Abstandsmarkierungsbild 41 und dem zweiten rechtsseitigen Abstandsmarkierungsbild 42 sowie durch die Beziehung zwischen dem ersten linksseitigen Abstandsmarkierungsbild 43 und dem zweiten linksseitigen Abstandsmarkierungsbild 44 verstärkt.
Zur Realisierung der obigen Effekte steuert die Bildsynthetisierungs-ECU 9 die Markierungsbilder 41 bis 44 im sichtbaren Bild 10 auf eine seitliche Länge von W Metern an der projizierten Position der tatsächlichen Fahrbahnoberfläche. Genauer gesagt, die Größen der Markierungsbilder 41 bis 44 werden auf folgende Weise bestimmt. Auf der virtuellen horizontalen Ebene 37 von 7 wird eine Linie von W Metern Länge parallel zu einer Rechts/Links-Richtung des Eigenfahrzeugs positioniert, und X- und Y-Koordinaten der Linie werden durch die obige Umwandlungsmatrix T1 (d. h. die Umwandlungsmatrix T1 entsprechend dem momentan verwendeten virtuellen Blickpunkt) gewandelt, um r- und s-Koordinaten in dem aufgenommenen hinteren Feldbild 35 vom virtuellen Blickpunkt 31 in virtueller Blickrichtung 32 zu werden, und die umgewandelten Koordinaten werden als Koordinaten (r, s) der Markierungsbilder 41 bis 44 im sichtbaren Bild 10 verwendet.
Der Wert von W kann beispielsweise 3 betragen, was eine Standardspurbreite auf einer Fahrbahn ist. Alternativ kann der Wert von W erhöht werden, wenn die Fahrspurbreite der momentan befahrenen Straße zunimmt. In diesem Fall kann die Fahrspurbreite bei Bedarf vom Navigationssystem 7 erhalten werden.
Zusätzlich nehmen, das die vertikale Position im sichtbaren Bild 10 betrifft, das erste rechtsseitige Abstandsmarkierungsbild 41 und das erste linksseitige Abstandsmarkierungsbild 43 die gleiche Position ein, und das zweite rechtsseitige Abstandsmarkierungsbild 42 und das zweite linksseitige Abstandsmarkierungsbild 44 nehmen die gleiche Position ein.
Die Vertikalpositionen der Markierungsbilder 41 bis 44 werden auf folgende Weise bestimmt: Der tatsächliche Abstand in Metern zwischen dem hinteren Ende des Fahrzeugs und der Markierungsprojektionsposition auf der Fahrbahnoberfläche wird entlang der Vorwärts/Rückwärts-Richtung des Fahrzeugs auf einen Wert D gesetzt.
Dann bestimmt die Bildsynthetisierungs-ECU 9 die X- und Y-Koordinaten der Position bei D Metern hinter dem hinteren Ende des Fahrzeugs auf der virtuellen horizontalen Ebene 37 von 7 und wandelt die Koordinaten durch die oben genannte Umwandlungsmatrix T1 (d. h. die Umwandlungsmatrix T1 entsprechend einem momentan verwendeten virtuellen Blickpunkt) um, um r- und s-Koordinaten in dem aufgenommenen hinteren Feldbild 35 vom virtuellen Blickpunkt 31 in virtueller Blickrichtung 32 zu erhalten, und verwendet die s-Komponente der gewandelten Koordinaten (r, s) als vertikale Position der Markierungsbilder 41 bis 44 im sichtbaren Bild 10.
Der Wert von D ist für die Bilder 41 und 43 gleich und ist für die Bilder 42 und 44 gleich, jedoch unterschiedlich für die Bilder 41 und 42 bzw. die Bilder 43 und 44. Der Wert von D wird abhängig von der Geschwindigkeitsbegrenzung auf der Straße bestimmt, wie aus vorherigem Schritt 120 bestimmt. Der Wert D wird größer, wenn die zulässige Höchstgeschwindigkeit zunimmt.
Wenn die Geschwindigkeitsbegrenzung (zulässige Höchstgeschwindigkeit) auf der befahrenen Straße hoch ist, gibt es eine größere Geschwindigkeitsdifferenz zwischen schnelleren Fahrzeugen und langsameren Fahrzeugen. Mit anderen Worten, das hintere Fahrzeug (d. h. das nachfolgende Fahrzeug) und das Eigenfahrzeug können gelegentlich eine größere Geschwindigkeitsdifferenz haben. Im Ergebnis nimmt der „sichere“ Abstand für den Spurwechselvorgang des Eigenfahrzeugs zu, wenn die zulässige Höchstgeschwindigkeit auf der Straße höher ist.
Daher wird der Abstand der projizierten Position eines jeden Markierungsbilds 41 bis 44 gemäß der Geschwindigkeitsbegrenzung oder zulässigen Höchstgeschwindigkeit der momentan befahrenen Straße erhöht, um auf geeignete Weise die momentane Verkehrssituation in Form der Markierungspositionen für einen sicheren Fahrspurwechselvorgang zu reflektieren.
Der Wert von D, wie oben erwähnt, kann für die Markierungsbilder 41 und 43 auf 30 gesetzt werden und für die Markierungsbilder 42 und 44 im Bereich von 4 bis 7 liegen.
12 zeigt eine Darstellung eines Fahrzeugzwischenabstands zwischen dem Eigenfahrzeug 11 und dem nachfolgenden Fahrzeug 12 auf der rechten Fahrspur. Ein Wert von 30 Metern wird als sichere Distanz in internationalen Standards wie ISO definiert. Indem die Markierungsbilder 41 und 43 auf die Distanz von 30 Metern gesetzt werden, um ein Beispiel zu nennen, kann somit der Fahrer des Eigenfahrzeugs 11 ohne Weiteres den Abstand zum nachfolgenden Fahrzeug 12 feststellen und kann bestimmen, ob das nachfolgende Fahrzeug 12 näher als der Sicherheitsabstand ist.
Zusätzlich wird ein Wert von 3 Metern in internationalen Standards, beispielsweise ISO, definiert. Wenn daher das nachfolgende Fahrzeug 12 in der nächsten Fahrspur innerhalb von 3 Metern beabstandet zum Eigenfahrzeug 11 fährt, macht es dies dem Fahrzeug 11 unmöglich, auf diese Spur zu wechseln. Mit anderen Worten, indem die Markierungsbilder 42 und 44 auf einen Abstand von 3 bis 7 Metern gesetzt werden, wobei einige Meter als Sicherheitsspielraum verwendet werden, kann der Fahrer feststellen und erkennen, ob es möglich ist, auf die benachbarte Fahrspur zu wechseln, indem er auf den erkannten Abstand Bezug nimmt.
Weiterhin kann basierend auf dem Blinkerbetriebszustand aus Schritt 122 bestimmt werden, wie viele Abstandsmarkierungen aus den Markierungsbildern 41 bis 44 im sichtbaren Bild vorliegen. Das heißt, gemäß 4 können alle vier Markierungsbilder 41 bis 44 im sichtbaren Bild 10 enthalten sein, wenn der Blinker nicht betrieben wird (d. h. AUS ist), oder gemäß 13 können die rechtsseitigen Abstandsmarkierungsbilder 41 und 22 im sichtbaren Bild 10 enthalten sein, ohne die linksseitigen Abstandsmarkierungsbilder 43 und 44 im sichtbaren Bild 10 darzustellen, wenn der Blinker für eine Fahrt nach rechts betätigt wird, oder gemäß 14 können die linksseitigen Abstandsmarkierungsbilder 43 und 44 im sichtbaren Bild 10 ohne die rechtsseitigen Abstandsmarkierungsbilder 41 und 42 enthalten sein, wenn der Blinker eine Fahrt nach links anzeigt.
Wenn der Blinker eine Fahrt (Spurwechsel, Abbiegen etc.) nach rechts anzeigt, ist der Fahrer bereit, auf die rechte Spur zu wechseln. In diesem Fall wird die Aufmerksamkeit des Fahrers auf die rechte Seite des Fahrzeugs gelenkt, d. h. den rechten Verkehr und die rechte Fahrspur, indem nur die rechtsseitigen Abstandsmarkierungsbilder 41 und 42 im sichtbaren Bild 10 enthalten sind, wie oben beschrieben, ohne dass die linksseitigen Abstandsmarkierungsbilder 43 und 44 zur Anzeige gelangen. Gleiches trifft bei einer möglichen Fahrzeugbewegung nach links zu. Das heißt, indem nur die linksseitigen Abstandsmarkierungsbilder 43 und 44 ohne die rechtsseitigen Abstandsmarkierungsbilder 41 und 42 enthalten sind, wird die Aufmerksamkeit des Fahrers auf die linke Seite des Fahrzeugs im sichtbaren Bild 10 gelenkt.
Durch Durchführen der Schritte 140 bis 180 wird das rechtsseitige sichtbare Bild, gemacht aus dem rechten Feldbild, an der rechten Seite der rechten Grenze 21 positioniert, der linksseitige sichtbare Bild, gemacht aus dem linken Feldbild, wird an der linken Seite der linken Grenze 22 positioniert, und das hintere sichtbare Bild, gemacht aus dem hinteren Feldbild, wird zwischen der rechten Grenze 21 und der linken Grenze 22 in dem sichtbaren Bild 10 positioniert. Auf diese Weise werden das rechte Feldbild, das linke Feldbild und das hintere Feldbild im sichtbaren Bild 10 synthetisiert oder zusammengesetzt. Mit anderen Worten, die drei Bilder werden zusammengefügt, um das eine sichtbare Bild 10 zu bilden.
Im Schritt 190 wird das sichtbare Bild 10, das aus den drei Einzelbildern und den Zusatzinformationen zusammengesetzt ist (Schritte 140 bis 180) dargestellt, das heißt, das Bild 10 wird auf der Anzeige 5 zur Anzeige gebracht. Der Fahrer oder Insasse des Eigenfahrzeugs kann dann die Position des hinteren Fahrzeugs mit Blick auf das sichtbare Bild 10 überprüfen.
Wie oben erwähnt, wenn der Blinker im ausgeschalteten Zustand oder in einem Rechtsabbiegezustand ist, erstreckt sich die rechte Grenze 21, die eine Grenze oder Grenzlinie zwischen dem rechtsseitigen sichtbaren Bild und dem hinteren sichtbaren Bild bildet, vom ersten rechten Punkt 21a zum zweiten rechten Punkt 21b, wie in den 11 und 13 gezeigt, und ein Bereich einer Fahrbahnoberfläche unter der rechten Grenze 21 zwischen den Punkten 21a und 21b erstreckt sich im Wesentlichen parallel zur Vorwärts/Rückwärts-Richtung des Eigenfahrzeugs 11.
Solange damit das Eigenfahrzeug 11 entlang der Fahrspur fährt, verläuft die rechte Grenze 21 zwischen dem ersten rechten Punkt 21a und dem zweiten rechten Punkt 21b im Wesentlichen parallel zur tatsächlichen Fahrspur im sichtbaren Bild 10. Somit tritt ein Abschnitt der rechten Grenze 21 zwischen dem ersten rechten Punkt 21a und dem zweiten rechten Punkt 21b kaum in die benachbarte Fahrspur ein. Mit anderen Worten, es kommt selten vor, dass ein Abschnitt der rechten Grenze 21 zwischen dem ersten rechten Punkt 21a und dem zweiten rechten Punkt 21b die Wahrnehmbarkeit des hinteren Fahrzeugs in der benachbarten Verkehrsspur auf der rechten Seite des Eigenfahrzeugs 11 beeinträchtigt.
Zusätzlich, wenn der Blinker ausgeschaltet ist oder für ein Linksabbiegen blinkt, erstreckt sich die linke Grenze 22, die eine Grenze zwischen dem linksseitigen sichtbaren Bild und dem hinteren sichtbaren Bild bildet, von dem ersten linken Punkt 22a zum zweiten linken Punkt 22b, wie in den 11 und 14 gezeigt, und ein Bereich einer Fahrbahnoberfläche unter der linken Grenze 22 zwischen den Punkten 22a und 22b erstreckt sich im Wesentlichen parallel zur Vorwärts/Rückwärts-Richtung des Eigenfahrzeugs 11.
Solange somit das Eigenfahrzeug 11 entlang der Fahrspur fährt, verläuft die linke Grenze 22 zwischen dem ersten linken Punkt 22a und dem zweiten linken Punkt 22b im Wesentlichen parallel zur tatsächlichen Verkehrsspur im sichtbaren Bild 10. Somit tritt ein Abschnitt der linken Grenze 22 zwischen dem ersten linken Punkt 22a und dem zweiten linken Punkt 22b nur selten in die benachbarte Verkehrsspur ein. Mit anderen Worten, es kommt selten vor, dass der Abschnitt der linken Grenze 22 zwischen dem ersten linken Punkt 22a und dem zweiten linken Punkt 22b die Wahrnehmbarkeit des hinteren Fahrzeugs auf der benachbarten Verkehrsspur auf der linken Seite des Eigenfahrzeugs 11 verschlechtert.
„im Wesentlichen parallel“ in obiger Beschreibung bedeutet, dass der Abschnitt der rechten Grenze 21 zwischen dem ersten rechten Punkt 21a und dem zweiten rechten Punkt 21b sich parallel mit einer Genauigkeit erstreckt, welche die Sichtbarkeit des hinteren Fahrzeugs auf der rechten Verkehrsspur nicht verschlechtert, und der Abschnitt der linken Grenze 22 zwischen dem ersten linken Punkt 22a und dem zweiten linken Punkt 22b sich parallel mit einer Genauigkeit erstreckt, welche die Sichtbarkeit des hinteren Fahrzeugs auf der linken Verkehrsspur nicht verschlechtert. In der Praxis kann die Genauigkeit von „im Wesentlichen parallel“ als ein Winkelbereich von ±10 Grad relativ zu einer „perfekt“ parallelen Lage definiert werden.
Wenn der Blinker ausgeschaltet ist oder ein Rechtsabbiegen anzeigt, biegt die rechte Grenze 21 im zweiten rechten Punkt 21b ab und erstreckt sich vom zweiten rechten Punkt 21b zum dritten rechten Punkt 21c diagonal nach rechts oben, wie in den 11 und 13 gezeigt.
Weiterhin, wenn der Blinker ausgeschaltet ist oder ein Linksabbiegen anzeigt, biegt die linke Grenze 22 in dem zweiten linken Punkt 22b ab und erstreckt sich vom zweiten linken Punkt 22b zum dritten linken Punkt 22c diagonal nach links oben, wie in den 11 und 14 gezeigt.
In dem synthetisierten Bild ist eine Verzerrung größer im rechtsseitigen sichtbaren Bild und im linksseitigen sichtbaren Bild als im hinteren sichtbaren Bild, und die Sichtbarkeit ist auf der rechten/linken Seite größer. Dies deshalb, als der hintere Teil des nachfolgenden Fahrzeugs an einem peripheren Aufnahmebereich der rechtsseitigen Kamera 3 oder der linksseitigen Kamera 4 aufgenommen wird, wo sich eine größere Verzerrung ergibt im Vergleich zu dem hinteren Teil des nachfolgenden Fahrzeugs, das von einem nahe mittigen Abschnitt des Aufnahmebereichs der Heckkamera 2 aufgenommen wird, wo eine kleinere Verzerrung vorliegt.
Somit wird im obigen Aufbau das hintere sichtbare Bild mit der höheren Sichtbarkeit (Erkennbarkeit) für einen größeren Abschnitt im sichtbaren Bild 10 herangezogen, ohne dass die Wahrscheinlichkeit einer Wahrnehmbarkeitsverschlechterung erhöht wird. Das heißt, die rechte Grenze 21 und die linke Grenze 22 sind so angeordnet, dass diese Grenzen 21 und 22 in die benachbarte Fahrspur in einer so weit wie möglich hinten liegenden Position des Bilds 10 eindringen.
Weiterhin, wenn der Blinker im abgeschalteten Zustand ist, wird die rechte Grenze 21 als eine gerade Linie diagonal nach links oben zwischen dem ersten rechten Punkt 21a und dem zweiten rechten Punkt 21b gezogen und tritt somit weder in die benachbarte Fahrspur noch in die benachbarte Fahrspur in einer weiter hinten liegenden Position im Vergleich zur herkömmlichen Position ein. Insofern wird eine Wahrnehmbarkeitsverschlechterung für das nachfolgende Fahrzeug auf der rechten benachbarten Spur vermieden oder zumindest verringert, so dass die Wahrscheinlichkeit verringert ist, dass diese Verschlechterung der Wahrnehmbarkeit oder Sichtbarkeit ein Problem beim Fahrspurwechsel (z. B. auf die rechte Spur) ergibt. Diese Problemverringerung wird erreicht, da, wenn das nachfolgende Fahrzeug näher am Eigenfahrzeug ist, der Einfluss auf den Fahrspurwechsel des Eigenfahrzeugs größer ist. Mit anderen Worten, da die Grenze 21 oder 22 in die benachbarte Spur in einer weiter hinten liegenden Position auf der Straße eintritt, wird das hintere Fahrzeug nur in einer weiter hinten liegenden Position beeinflusst, d. h. beschränkt beeinflusst.
Weiterhin, wenn der Blinker abgeschaltet ist, verläuft die linke Grenze 22 als gerade Linie diagonal nach rechts oben zwischen dem ersten linken Punkt 22a und dem zweiten linken Punkt 22b und tritt somit weder in die benachbarte Fahrspur noch in die linke benachbarte Fahrspur in einer weiter hinten liegenden Position im Vergleich zur herkömmlichen Position ein. Daher wird die Verschlechterung der Wahrnehmbarkeit des hinteren oder nachfolgenden Fahrzeugs in der benachbarten Fahrspur vermieden oder zumindest verringert, so dass die Wahrscheinlichkeit verringert ist, dass die verschlechterte Wahrnehmbarkeit ein Problem beim Fahrspurwechsel (d. h. auf die linke Spur) verursacht.
Die vertikale Position des zweiten rechten Punkts 21b (oder des zweiten linken Punkts 22b) im sichtbaren Bild 10 wird weiterhin so bestimmt, dass der tatsächliche Abstand auf der Fahrbahnoberfläche zwischen der Markierungsprojektionsposition und dem hinteren Ende des Fahrzeugs in Vorwärts/Rückwärts-Richtung des Fahrzeugs zu T Metern wird. Der Wert von T wird erhöht, wenn die zulässige Höchstgeschwindigkeit auf der Straße erhöht wird.
Wenn die zulässige Geschwindigkeit auf der Straße hoch ist, liegt eine größere Geschwindigkeitsdifferenz zwischen schnelleren und langsameren Fahrzeugen vor. Mit anderen Worten, das nachfolgende Fahrzeug (hintere Fahrzeug) und das Eigenfahrzeug können eine große Geschwindigkeitsdifferenz haben. Im Ergebnis wird die „sichere“ Distanz für den Fahrspurwechselvorgang des Eigenfahrzeugs erhöht, wenn die zulässige Höchstgeschwindigkeit der Straße zunimmt.
Der Abstand der Vorstehposition des zweiten rechten Punkts 21b (oder des zweiten linken Punkts 22b) wird auf T Meter hinterhalb des Eigenfahrzeugs gesetzt und der Wert von T wird abhängig von der zulässigen Höchstgeschwindigkeit der momentan befahrenen Straße erhöht, um auf geeignete Weise den Sicherheitsabstand in der Anordnung des zweiten rechten Punkts 21b (oder des zweiten linken Punkts 22b) wiederzugeben.
Weiterhin erstreckt sich die rechte Grenze 21 gleichförmig nach oben links in dem sichtbaren Bild 10, wenn der Blinker eine Fahrt nach links anzeigt. Die linke Grenze 22 erstreckt sich gleichförmig nach oben rechts in dem sichtbaren Bild 10, wenn der Blinker eine Fahrt nach rechts anzeigt.
Wenn daher der Blinker des Fahrzeugs ein Abbiegen nach links (oder rechts) anzeigt, erstreckt sich die rechte Grenze 21 gegenüber der linken (oder die linke Grenze 22 gegenüber der rechten) gleichförmig nach oben rechts (oder oben links). Der Betrieb des Blinkers bei einem Abbiegen nach links (oder einem Abbiegen nach rechts) zeigt, dass der Fahrer dabei ist, auf die benachbarte Fahrspur nach links (oder rechts) zu wechseln, und somit ist eine Information bezüglich eines nachfolgenden Fahrzeugs auf der rechten Spur (oder linken Spur) weniger nötig. Selbst wenn daher die rechte Grenze 21 (oder linke Grenze 22) im Bild des hinteren Fahrzeugs auf der benachbarten rechten (oder linken) Spur stört, ist es für den Fahrer angenehmer, insgesamt ein breiteres sichtbares Bild nach hinten mit geringerer Verzerrung zu haben.
Weiterhin setzt die Bildsynthetisierungs-ECU 9 einen virtuellen Blickpunkt, der als bestimmte Relativposition des tatsächlichen Eigenfahrzeugs auf der Fahrbahn definiert ist, und setzt eine virtuelle Blickrichtung, die als vorbestimmte relative Richtung relativ zur tatsächlichen Richtung des Eigenfahrzeugs definiert ist, und wendet die Umwandlung von Blickpunkt/Blickrichtung auf das hintere Feldbild, das rechtsseitige Feldbild und das linksseitige Feldbild an, um diese Bilder umzuwandeln, damit sie den definierten virtuellen Blickpunkt/die definierte virtuelle Blickrichtung haben, und verwendet diese umgewandelten Bilder als jeweiliges hinteres sichtbares Bild, rechtsseitiges sichtbares Bild und linksseitiges sichtbares Bild. Wenn weiterhin der Blinker des Eigenfahrzeugs ein Abbiegen nach rechts anzeigt, verschiebt die Bildsynthetisierungs-ECU 9 den virtuellen Blickpunkt ausgehend vom Blickpunkt für ausgeschalteten Blinker nach rechts, ohne die Blickrichtung zu ändern (siehe 13), und wenn der Blinker des Eigenfahrzeugs ein Abbiegen nach links anzeigt, verschiebt die Bildsynthetisierungs-ECU 9 den virtuellen Blickpunkt ausgehend vom Blickpunkt für ausgeschalteten Blinker nach links, ohne die Blickrichtung zu ändern (siehe 14).
Wenn somit des Blinker des Eigenfahrzeugs ein Abbiegen nach rechts anzeigt, das heißt, wenn der Fahrer das Fahrzeug nach rechts bewegt oder bewegen wird, wird der Blickpunkt ohne Änderung der Blickrichtung nach rechts verschoben, so dass das hintere Feldbild einen größeren Abschnitt im sichtbaren Bild 10 einnimmt. Das heißt, die Blickpunktverschiebung erhöht die Wahrnehmbarkeit des rechten hinteren Felds, wo sich das Fahrzeug hinbewegen wird. Gleiches trifft entsprechend auf eine Linksbewegung des Fahrzeugs zu.
Nachfolgend wird ein Verfahren zum Festsetzen eines Abstands zu einem entsprechenden Abschnitt der rechten Grenze 21 erläutert. In diesem Fall wird die Position des zweiten rechten Punkts 21b, d. h. die Positionskoordinaten r und s des Punkts 21b im sichtbaren Bild 10, so gesetzt, dass ein tatsächlicher Abstand vom hinteren Ende des Fahrzeugs zu der Position des zweiten rechten Punkts 21b, projiziert auf die Fahrbahnoberfläche, T wird. Mit anderen Worten, der Abstand zum projizierten Punkt wird in einer Richtung gemessen, die im Wesentlichen parallel zur Vorwärts/Rückwärts-Richtung des Eigenfahrzeugs ist.
Um dies zu erreichen, wird in der virtuellen horizontalen Ebene 37 von 7 eine Position von T Metern hinterhalb einer rechten Seite des hinteren Endes des Eigenfahrzeugs in Vorwärts/Rückwärts-Richtung des Fahrzeugs mit Koordinaten X und Y definiert und die Umwandlungsmatrix T1 (d. h. die Umwandlungsmatrix T1 entsprechend einem momentan eingenommenen virtuellen Blickpunkt) wird an diesen Koordinaten X und Y angewendet, und die umgewandelten Koordinaten r und s werden verwendet, den zweiten rechten Punkt 21b in dem aufgenommenen hinteren Feldbild 35 zu definieren, welches vom virtuellen Blickpunkt 31 in der virtuellen Blickrichtung 32 aufgenommen wurde.
Ein Fahren zum Festsetzen einer Distanz zu einem Abschnitt der linken Grenze 22 wird nachfolgend erläutert. In diesem Fall wird die Position des zweiten linken Punkts 22, d. h. die Positionskoordinaten r und s des Punkts 22b im sichtbaren Bild 10, so gesetzt, dass ein tatsächlicher Abstand vom hinteren Ende des Fahrzeugs zur Position des zweiten linken Punkts 22b, projiziert auf die Fahrbahnoberfläche, T wird. Der Abstand zum projizierten Punkt wird in einer Richtung gemessen, die im Wesentlichen parallel zur Vorwärts/Rückwärts-Richtung des Eigenfahrzeugs ist.
Hierbei wird auf der virtuellen horizontalen Ebene 37 von 7 eine Position von T Metern hinterhalb einer linken Seite des hinteren Endes des Eigenfahrzeugs in Vorwärts/Rückwärts-Richtung des Fahrzeugs mit Koordinaten X und Y definiert und die Umwandlungsmatrix T1 (d. h. die Umwandlungsmatrix T1 entsprechend einem momentan eingenommenen virtuellen Blickpunkt) wird an diesen Koordinaten X und Y angewendet, und die umgewandelten Koordinaten r und s werden verwendet, den zweiten linken Punkt 22b in dem aufgenommenen hinteren Feldbild 35 zu definieren, das vom virtuellen Blickpunkt 31 in der virtuellen Blickrichtung 32 aufgenommen worden ist.
<Andere Ausführungsformen>
Obgleich die vorliegende Erfindung im Zusammenhang mit einer bevorzugten Ausführungsform hiervon und unter Bezugnahme auf die beigefügte Zeichnung beschrieben worden ist, sei festzuhalten, dass diese Ausführungsform als nicht einschränkend zu verstehen ist und eine Vielzahl von Änderungen und Abwandlungen im Rahmen der vorliegenden Erfindung möglich ist.
Beispielsweise können die rechte Grenze 21 und die linke Grenze 22 unterschiedlich zu der oben beschriebenen Form ausgebildet werden. Beispielsweise können diese Grenzen die Formen in den Darstellungen der 15 und 16 haben.
Im Beispiel von 15 erstreckt sich die rechte Grenze 21 vom ersten rechten Punkt 21a zum zweiten rechten Punkt 21b im sichtbaren Bild 10 nach links oben und die linke Grenze 22 erstreckt sich vom ersten linken Punkt 22a zum zweiten linken Punkt 22b im sichtbaren Bild 10 nach rechts oben. Dies erinnert an die Ausbildung der Grenzen im abgeschalteten Blinkerzustand.
Im Fall von 15 sind jedoch die Position des zweiten rechten Punkts 21b und die Position des zweiten linken Punkts 22b gleich, und die rechte Grenze 21 und die linke Grenze 22 erstrecken sich vertikal nach oben, nachdem sie im zweiten rechten Punkt 21b (zweiten linken Punkt 22b) zusammengetroffen sind. Auf diese Weise sind das rechtsseitige sichtbare Bild und das linksseitige sichtbare Bild so angeordnet, dass sie größere Bereiche haben, so dass rechte und linke benachbarte Fahrspuren mit verbesserter Sichtbarkeit oder Wahrnehmbarkeit vorliegen.
In 16 erstreckt sich die rechte Grenze 21 vom ersten rechten Punkt 21a zum zweiten rechten Punkt 21b horizontal nach rechts im sichtbaren Bild 10 und biegt dann vom zweiten rechten Punkt 21b zum dritten rechten Punkt 21c entweder diagonal nach oben rechts oder vertikal nach oben ab. Auf ähnliche Weise erstreckt sich die linke Grenze 22 vom ersten linken Punkt 22a zum zweiten linken Punkt 22b horizontal nach links im sichtbaren Bild 10 und biegt dann vom zweiten linken Punkt 22b zum dritten linken Punkt 22c entweder diagonal nach oben links oder vertikal nach oben ab. Das heißt, die rechte Grenze 21 und die linke Grenze 22 haben im Bild 10 jeweils eine abgekröpfte Form.
Der erste rechte Punkt 21a, der zweite rechte Punkt 21b, der erste linke Punkt 22a und der zweite linke Punkt 22b haben hierbei jeweils gleiche vertikale Position. Genauer gesagt, der tatsächliche Abstand von den Projektionspositionen des ersten rechten Punkts 21a, des zweiten rechten Punkts 21b, des ersten linken Punkts 22a und des zweiten linken Punkts 22b zum hinteren Ende des Eigenfahrzeugs entlang der Vorwärts/Rückwärts-Richtung des Eigenfahrzeugs wird auf einen gewissen Wert im Bereich von 3 bis 7 Metern gesetzt.
Die Bildsynthetisierungs-ECU 9 ist so konfiguriert, dass Linienbilder der rechten Grenze 21 und der linken Grenze 22 in das sichtbare Bild integriert werden.
Die rechte Grenze 21 und die linke Grenze 22 im sichtbaren Bild 10 erstrecken sich als Linienbilder zunächst horizontal und dann vertikal oder diagonal nach oben. Die sich horizontal erstreckenden Abschnitte der rechten und linken Grenzen 21 und 22 entsprechen der tatsächlichen Fahrbahnoberfläche in einem Abstand von 3 bis 7 Metern hinterhalb des hinteren Endes des Eigenfahrzeugs.
Der Wert von 3 Metern ist in internationalen Standards, beispielsweise ISO, definiert. Wenn somit das nachfolgende Fahrzeug in der benachbarten Fahrspur innerhalb des Abstands von 3 Metern ausgehend vom Eigenfahrzeug fährt, macht es dies dem Eigenfahrzeug unmöglich, auf diese Fahrspur zu wechseln. Mit anderen Worten, indem die horizontalen rechten und linken Grenzen 21 und 22 auf den tatsächlichen Abstand von 3 bis 7 Metern gesetzt sind, wobei einige Meter als Sicherheitsgrenze vorliegen können, kann der Fahrer problemlos feststellen und bestimmen, ob es möglich ist, auf die nächste Fahrspur zu wechseln, indem er auf eine Beziehung zwischen dem markierungsäquivalenten Linienbild und dem hinteren Fahrzeug Bezug nimmt. Die rechten und linken Grenzen 21 und 22 dienen somit als Abstandsmarkierungsbilder. Weiterhin ist das hintere Fahrzeug, das näher als das Linienbild ist, vollständig in dem rechtsseitigen/linksseitigen sichtbaren Bild enthalten, so dass keine Störung durch die Grenzen 21 und 22 erfolgt und somit eine vollständige Sichtbarkeit oder Wahrnehmbarkeit vorliegt. Die Lage des sich nähernden hinteren Fahrzeugs in einer derartigen Nähe, dass Gefahr vorliegt, wird somit in dem synthetisierten sichtbaren Bild für den Fahrer des Eigenfahrzeugs verstärkt.
In obiger Ausführungsform sind Linien, welche die rechte Grenze 21 und die linke Grenze 22 darstellen, im sichtbaren Bild 10 enthalten. Diese die Grenzen 21 und 22 darstellenden Linien sind jedoch nicht notwendigerweise in dem sichtbaren Bild 10 vorhanden.
In obiger Ausführungsform ändert die Bildsynthetisierungs-ECU 9 den virtuellen Blickpunkt, die virtuelle Blickrichtung, das vorgefertigte Bild, die Form der Grenze und die Aufnahme zusätzlicher Markierungsbilder oder nicht gemäß dem Blinkerbetriebszustand, wie in 4 gezeigt. Der virtuelle Blickpunkt, die virtuelle Blickrichtung, das vorgefertigte Bild, die Form der Grenze und die Aufnahme zusätzlicher Markierungsbilder oder nicht müssen jedoch nicht notwendigerweise abhängig vom Blinkerbetriebszustand geändert werden. Der virtuelle Blickpunkt, die virtuelle Blickrichtung, das vorgefertigte Bild, die Form der Grenze und das Hinzufügen zusätzlicher Markierungsbilder oder nicht können ungeachtet des Blinkerbetriebszustands gleich bleiben.
Die Bildsynthetisierungs-ECU 9 kann auf der Anzeige die Bilder und Grenzen in obiger Ausführungsform nur dann darstellen, wenn der Blinkerbetriebszustand ein Abbiegen (Spurwechsel) nach rechts oder links anzeigt.
Die Vertikalpositionen des zweiten rechten Punkts 21b und des zweiten linken Punkts 22b im Bild 10, die abhängig von der zulässigen Höchstgeschwindigkeit auf der Straße in obiger Ausführungsform geändert werden, können unterschiedliche Ausgestaltung haben.
Das heißt, eine Ausgestaltung des zweiten rechten Punkts 21b und des zweiten linken Punkts 22b derart, dass diese im Bild 10 bei höherer Geschwindigkeitsbegrenzung in einer höheren Position liegen, kann zu einer Ausgestaltung geändert werden, bei der der zweite rechte Punkt 21b und der zweite linke Punkt 22b im Bild 10 in einer höheren Position liegen, wenn die Fahrzeuggeschwindigkeit höher ist.
Weiterhin können der zweite rechte Punkt 21b und der zweite linke Punkt 22b ungeachtet der zulässigen Höchstgeschwindigkeit oder ungeachtet der Fahrzeuggeschwindigkeit im Bild 10 in einer gleichen Position sein. Das heißt, der zweite rechte Punkt 21b und der zweite linke Punkt 22b können in dem Bild 10 in einer Position liegen, welche stets 30 Meter hinter dem hinteren Ende des Fahrzeugs auf der Fahrbahnoberfläche entspricht.
Der Wert von 30 Metern wird in internationalen Standards, beispielsweise ISO, als Sicherheitsabstand definiert. Durch Definition des Sicherheitsabstands auf 30 Meter stört ein nachfolgendes Fahrzeug, das näher als 30 Meter am Eigenfahrzeug ist, nicht die rechte Grenze 21 oder die linke Grenze 22. Mit anderen Worten, die Sichtbarkeit oder Wahrnehmbarkeit des hinteren Fahrzeugs, das näher als der Sicherheitsabstand ist, wird von der rechten Grenze 21 oder der linken Grenze 22 nicht beeinträchtigt.
Eine Verzerrungskorrektur für das hintere Feldbild gemäß obiger Ausführungsform kann weggelassen werden. Auch kann die Umwandlung Blickpunkt/Blickrichtung für das hintere Feldbild gemäß obiger Ausführungsform weggelassen werden. Eine Verzerrungskorrektur und eine Vergrößerungs-Nerkleinerungsumwandlung kann nur am hinteren Feldbild durchgeführt werden. Auf diese Weise lassen sich Verzerrungen im hinteren Feldbild weiter verringern.
In obiger Ausführungsform werden Bilder von der linksseitigen Kamera, der rechtsseitigen Kamera und der Heckkamera kombiniert. Es kann jedoch auch ein Bild von einer anderen Kamera, beispielsweise einer Frontkamera, mit aufgenommen werden. In der vorliegenden Erfindung werden Bilder von wenigstens der linksseitigen Kamera, der rechtsseitigen Kamera und der Heckkamera zum Zusammensetzen eines sichtbaren oder darstellbaren Bilds verwendet.
Zusätzlich dient die Bildsynthetisierungs-ECU 9 als Bilderlangungseinheit in den beigefügten Ansprüchen zur Durchführung von Schritt 110 des Programms 100, dient als Grenzensetzeinheit in den beigefügten Ansprüchen zur Durchführung von Schritt 130, dient als Bildsynthetisierungseinheit in den beigefügten Ansprüchen zur Durchführung der Schritte 140 bis 180 und dient als Bildsteuereinheit in den beigefügten Ansprüchen zur Durchführung von Schritt 190 in obiger Ausführungsform.
Jeder der Schritte im Programm 100, durchgeführt von der Bildsynthetisierungs-ECU 9, kann jedoch auch durch Anwenden einer Hardwarelogik, beispielsweise FPGA, ersetzt werden, beispielsweise in Form einer programmierbaren Schaltung.
Weiterhin kann der Sicherheitsabstand sowie können die Vertikalpositionen von Abstandsmarkierungen, die abhängig von der zulässigen Höchstgeschwindigkeit auf der befahrenen Straße gesetzt werden, einen bestimmten Wert annehmen, wenn die befahrene Straße keine festgelegte Höchstgeschwindigkeit hat.
Derartige Änderungen, Abwandlungen und Weiterbildungen liegen im Rahmen der vorliegenden Erfindung, wie er durch die nachfolgenden Ansprüche und deren Äquivalente definiert ist.

Claims

Eine Bildanzeigesteuervorrichtung für ein Fahrzeug, wobei die Vorrichtung aufweist: eine Bilderlangungseinheit (110) zur Erlangung von Bildern, welche jeweils von einer rückwärtigen Kamera, einer rechten Kamera und einer linken Kamera ausgegeben werden, wobei die rückwärtige Kamera ein hinteres Feld des Fahrzeugs als hinteres aufgenommenes Bild aufnimmt, die rechte Kamera ein hinteres rechtes Feld als rechtes Feldbild aufnimmt und die linke Kamera ein hinteres linkes Feld als linkes Feldbild aufnimmt; eine Grenzensetzeinheit (130) zum Setzen einer Grenze in einem von einem Insassen betrachtbaren Bild (10), das für einen Insassen des Fahrzeugs dargestellt wird, wobei die Grenze eine rechte Grenze (21) und eine linke Grenze (22) enthält; eine Bildsynthetisierungseinheit (140-180) zum Synthetisieren eines synthetisierten Bilds, das aus einem rechten Abschnitt, einem linken Abschnitt und einem mittigen Abschnitt zusammengesetzt ist, wobei im rechten Abschnitt auf der rechten Seite der rechten Grenze (21) in dem vom Insassen betrachtbaren Bild (10) ein rechtsseitiges betrachtbares Bild, gemacht aus dem rechten Feldbild, positioniert ist, im linken Abschnitt auf der linken Seite der linken Grenze (22) in dem vom Insassen betrachtbaren Bild (10) ein linksseitiges betrachtbares Bild, gemacht aus dem linken Feldbild, positioniert ist und in dem mittigen Abschnitt zwischen der rechten Grenze (21) und der linken Grenze (22) in dem vom Insassen betrachtbaren Bild (10) ein hinteres betrachtbares Bild, gemacht aus dem hinteren aufgenommenen Bild, positioniert ist; und eine Bildsteuereinheit (190), um auf der Bildanzeigeeinheit (5) das für den Insassen betrachtbare Bild (10) darzustellen, das durch die Bildsynthetisierungseinheit aus dem rechtsseitigen betrachtbaren Bild, dem linksseitigen betrachtbaren Bild und dem hinteren betrachtbaren Bild zusammengesetzt ist, wobei die Grenzensetzeinheit die rechte Grenze (21) setzt, die sich von einem ersten rechten Punkt (21a) zu einem zweiten rechten Punkt (21b) in dem vom Insassen betrachtbaren Bild (10) erstreckt, um eine Fahrbahnoberfläche abzudecken, die sich im Wesentlichen parallel zur Vorwärts/Rückwärts-Richtung des Fahrzeugs erstreckt, und die Grenzensetzeinheit die rechte Grenze (21) setzt, die sich diagonal nach oben rechts ausgehend vom zweiten rechten Punkt (21b) zu einem dritten rechten Punkt (21c) nach einer Abbiegung am zweiten rechten Punkt (21b) erstreckt.
Die Bildanzeigesteuervorrichtung nach Anspruch 1, wobei der zweite rechte Punkt (21b) in dem vom Insassen betrachtbaren Bild (10) in einer vertikalen Position angeordnet ist, die auf einer Fahrbahnoberfläche 30 Meter hinter dem Ende des Fahrzeugs entspricht.
Die Bildanzeigesteuervorrichtung nach Anspruch 1, wobei der zweite rechte Punkt (21b) in dem vom Insassen betrachtbaren Bild (10) in einer vertikalen Position angeordnet ist, die auf einer Fahrbahnoberfläche T Meter hinter dem Ende des Fahrzeugs entspricht, wobei der Wert T erhöht wird, wenn eine zulässige Höchstgeschwindigkeit auf einer momentan befahrenen Straße erhöht wird.
Die Bildanzeigesteuervorrichtung nach einem der Ansprüche 1 bis 3, wobei die Bildsynthetisierungseinheit (140-180) in dem vom Insassen betrachtbaren Bild (10) eine Mehrzahl von sich nach rechts erstreckenden rechtsseitigen Abstandsmarkierungsbildern an einer Mehrzahl von vertikal unterschiedlichen Positionen nahe der rechten Grenze (21) aufnimmt.
Die Bildanzeigesteuervorrichtung nach Anspruch 4, wobei seitliche Längen der rechtsseitigen Abstandsmarkierungsbilder (41, 42) in dem vom Insassen betrachtbaren Bild (10) entsprechend so gesetzt werden, dass sie einer gleichen tatsächlichen Länge auf der Fahrbahnoberfläche entsprechen.
Die Bildanzeigesteuervorrichtung nach Anspruch 4 oder 5, wobei jedes der rechtsseitigen Abstandsmarkierungsbilder (41, 42) aus einer Mehrzahl von in seitlicher Richtung angeordneten Parallelogrammen gemacht ist, wobei sich die beiden langen Seiten eines jeden Parallelogramms seitlich erstrecken und die beiden kurzen Seiten eines jeden Parallelogramms diagonal nach links oben erstrecken.
Die Bildanzeigesteuervorrichtung nach einem der Ansprüche 4 bis 6, wobei ein erstes rechtsseitiges Abstandsmarkierungsbild (41) aus der Mehrzahl der rechtsseitigen Abstandsmarkierungsbilder (41, 42) in dem von Insassen betrachtbaren Bild (10) in einer vertikalen Position angeordnet ist, die auf der Fahrbahnoberfläche 30 Meter hinter dem Ende des Fahrzeugs entspricht.
Die Bildanzeigesteuervorrichtung nach einem der Ansprüche 4 bis 7, wobei ein zweites rechtsseitiges Abstandsmarkierungsbild (42) unterschiedlich zum ersten rechtsseitigen Abstandsmarkierungsbild (41) aus der Mehrzahl der rechtsseitigen Abstandsmarkierungsbilder (41, 42) in dem vom Insassen betrachtbaren Bild (10) in einer vertikalen Position angeordnet ist, die auf der Fahrbahnoberfläche 3 bis 7 Meter hinter dem Ende des Fahrzeugs entspricht.
Die Bildanzeigesteuervorrichtung nach einem der Ansprüche 4 bis 6, wobei jedes aus der Mehrzahl der rechtsseitigen Abstandsmarkierungsbilder (41, 42) in dem vom Insassen betrachtbaren Bild (10) an vertikalen Positionen entsprechend der Fahrbahnoberfläche D Meter hinter dem Ende des Fahrzeugs positioniert ist, wobei der Wert von D für jedes aus der Mehrzahl der rechtsseitigen Abstandsmarkierungsbilder (41, 42) entsprechen unterschiedlich ist und der Wert von D erhöht wird, wenn die zulässige Höchstgeschwindigkeit auf einer momentan befahrenen Straße erhöht wird.
Die Bildanzeigesteuervorrichtung nach einem der Ansprüche 1 bis 9, wobei die Bildsynthetisierungseinheit (140-180) die Darstellung des rechtsseitigen betrachtbaren Bilds in einem dreieckförmigen Abschnitt an einer oberen rechten Ecke des vom Insassen betrachtbaren Bilds (10) unterbindet und die Bildsynthetisierungseinheit die Darstellung des rechtsseitigen betrachtbaren Bilds in einem dreieckförmigen Abschnitt in einer oberen linken Ecke des vom Insassen betrachtbaren Bilds (10) unterbindet.
Die Bildanzeigesteuervorrichtung nach einem der Ansprüche 1 bis 10, weiterhin aufweisend: eine Blickpunkt- und Blickrichtungssetzeinheit (124), zum Festsetzen eines Blickpunkts in einer bestimmten Relativposition des Fahrzeugs und zum Festsetzen einer Blickrichtung in einer vorbestimmten relativen Richtung der Fahrzeugrichtung, wobei die Bildsynthetisierungseinheit (140-180) eine Bildumwandlung an dem rechtsseitigen Feldbild und dem linksseitigen Feldbild derart durchführt, dass die aufgenommenen Bilder als vom Blickpunkt und in Blickrichtung der obigen Festsetzung aufgenommen konfiguriert werden; die Bildsynthetisierungseinheit (140-180) die umgewandelten Bilder entsprechend als rechtsseitiges betrachtbares Bild und linksseitiges betrachtbares Bild verwendet; und wenn ein Blinker des Fahrzeugs ein Abbiegen nach rechts anzeigt, die Blickpunkt- und Blickrichtungssetzeinheit (124) ohne Änderung der Blickrichtung den Blickpunkt ausgehend von einem Blickpunkt bei keiner Blinkerbetätigung zur rechten Seite verschiebt.
Die Bildanzeigesteuervorrichtung nach einem der Ansprüche 1 bis 11, wobei, wenn ein Blinker des Fahrzeugs weder ein Abbiegen nach rechts noch ein Abbiegen nach links anzeigt, dann die linke Grenze (22) in dem vom Insassen betrachtbaren Bild (10) so gesetzt wird, dass sie sich von einem ersten linken Punkt zu einem zweiten linken Punkt diagonal nach rechts oben erstreckt, und so gesetzt wird, dass sie sich vom zweiten linken Punkt zu einem dritten linken Punkt diagonal nach oben links erstreckt, und wenn ein Blinker des Fahrzeugs ein Abbiegen nach rechts anzeigt, dann die linke Grenze (22) in dem vom Insassen betrachtbaren Bild (10) so gesetzt wird, dass sie sich gleichförmig nach oben links erstreckt, wobei die Festsetzungen durch die Grenzensetzeinheit (130) erfolgen.
Die Bildanzeigesteuervorrichtung nach einem der Ansprüche 1 bis 12, wobei, wenn ein Blinker des Fahrzeugs weder ein Abbiegen nach rechts noch ein Abbiegen nach links anzeigt, die Bildsynthetisierungseinheit (140-180) zusätzlich zu einer Mehrzahl von sich nach rechts erstreckenden rechtsseitigen Abstandsmarkierungsbildern (41, 42) an vertikal unterschiedlichen mehreren Positionen in der Nähe der rechten Grenze (21) eine Mehrzahl von sich nach links erstreckenden linksseitigen Abstandsmarkierungsbildern (43, 44) an vertikal unterschiedlichen mehreren Positionen in der Nähe der linken Grenze (22) in das vom Insassen betrachtbare Bild (10) aufnimmt, und wenn ein Blinker des Fahrzeugs an Abbiegen nach rechts anzeigt, die Bildsynthetisierungseinheit (140-180) in das vom Insassen betrachtbare Bild (10) die Mehrzahl von rechtsseitigen Abstandsmarkierungsbildern (41, 42) aufnimmt, ohne die Mehrzahl von linksseitigen Abstandsmarkierungsbildern (43, 44) aufzunehmen.
Eine Bildanzeigesteuervorrichtung für ein Fahrzeug, wobei die Vorrichtung aufweist: eine Bilderlangungseinheit (110) zur Erlangung von Bildern, welche jeweils von einer rückwärtigen Kamera, einer rechten Kamera und einer linken Kamera ausgegeben werden, wobei die rückwärtige Kamera ein hinteres Feld des Fahrzeugs als hinteres aufgenommenes Bild aufnimmt, die rechte Kamera ein hinteres rechtes Feld als rechtes Feldbild aufnimmt und die linke Kamera ein hinteres linkes Feld als linkes Feldbild aufnimmt; eine Grenzensetzeinheit (130) zum Setzen einer Grenze in einem von einem Insassen betrachtbaren Bild (10), das für einen Insassen des Fahrzeugs dargestellt wird, wobei die Grenze eine rechte Grenze (21) und eine linke Grenze (22) enthält; eine Bildsynthetisierungseinheit (140-180) zum Synthetisieren eines synthetisierten Bilds, das aus einem rechten Abschnitt, einem linken Abschnitt und einem mittigen Abschnitt zusammengesetzt ist, wobei im rechten Abschnitt auf der rechten Seite der rechten Grenze (21) in dem vom Insassen betrachtbaren Bild (10) ein rechtsseitiges betrachtbares Bild, gemacht aus dem rechten Feldbild, positioniert ist, im linken Abschnitt auf der linken Seite der linken Grenze (22) in dem vom Insassen betrachtbaren Bild (10) ein linksseitiges betrachtbares Bild, gemacht aus dem linken Feldbild, positioniert ist und in dem mittigen Abschnitt zwischen der rechten Grenze (21) und der linken Grenze (22) in dem vom Insassen betrachtbaren Bild (10) ein hinteres betrachtbares Bild, gemacht aus dem hinteren aufgenommenen Bild, positioniert ist; und eine Bildsteuereinheit (190), um auf der Bildanzeigeeinheit (5) das für den Insassen betrachtbare Bild (10) darzustellen, das durch die Bildsynthetisierungseinheit aus dem rechtsseitigen betrachtbaren Bild, dem linksseitigen betrachtbaren Bild und dem hinteren betrachtbaren Bild zusammengesetzt ist, wobei die Grenzensetzeinheit die rechte Grenze (21) setzt, die sich von einem ersten rechten Punkt (21a) zu einem zweiten rechten Punkt (21b) in dem vom Insassen betrachtbaren Bild (10) erstreckt, um eine Fahrbahnoberfläche abzudecken, die sich im Wesentlichen parallel zur Vorwärts/Rückwärts-Richtung des Fahrzeugs erstreckt, und die Grenzensetzeinheit die rechte Grenze (21) so setzt, dass sie sich diagonal nach oben links ausgehend vom einem ersten rechten Punkt (21a) zu einem zweiten rechten Punkt (21b) in dem vom Insassen betrachtbaren Bild (10) erstreckt.
Die Bildanzeigesteuervorrichtung nach Anspruch 14, wobei die Grenzensetzeinheit (130) die linke Grenze (22) so setzt, dass sie sich nach rechts oben von einem ersten linken Punkt zu einem zweiten linken Punkt in dem vom Insassen betrachtbaren Bild (10) erstreckt; der zweite rechte Punkt (21b) und der zweite linke Punkt der gleiche Punkt sind; und die rechte Grenze (21) und die linke Grenze (22) sich zusammen vom zweiten rechten Punkt (21b) zu einem dritten Punkt nach Zusammenlaufen am zweiten rechten Punkt (21b) erstrecken.
Eine Bildanzeigesteuervorrichtung für ein Fahrzeug, wobei die Vorrichtung aufweist: eine Bilderlangungseinheit (110) zur Erlangung von Bildern, welche jeweils von einer rückwärtigen Kamera, einer rechten Kamera und einer linken Kamera ausgegeben werden, wobei die rückwärtige Kamera ein hinteres Feld des Fahrzeugs als hinteres aufgenommenes Bild aufnimmt, die rechte Kamera ein hinteres rechtes Feld als rechtes Feldbild aufnimmt und die linke Kamera ein hinteres linkes Feld als linkes Feldbild aufnimmt; eine Grenzensetzeinheit (130) zum Setzen einer Grenze in einem von einem Insassen betrachtbaren Bild (10), das für einen Insassen des Fahrzeugs dargestellt wird, wobei die Grenze eine rechte Grenze (21) und eine linke Grenze (22) enthält; eine Bildsynthetisierungseinheit (140-180) zum Synthetisieren eines synthetisierten Bilds, das aus einem rechten Abschnitt, einem linken Abschnitt und einem mittigen Abschnitt zusammengesetzt ist, wobei im rechten Abschnitt auf der rechten Seite der rechten Grenze (21) in dem vom Insassen betrachtbaren Bild (10) ein rechtsseitiges betrachtbares Bild, gemacht aus dem rechten Feldbild, positioniert ist, im linken Abschnitt auf der linken Seite der linken Grenze (22) in dem vom Insassen betrachtbaren Bild (10) ein linksseitiges betrachtbares Bild, gemacht aus dem linken Feldbild, positioniert ist und in dem mittigen Abschnitt zwischen der rechten Grenze (21) und der linken Grenze (22) in dem vom Insassen betrachtbaren Bild (10) ein hinteres betrachtbares Bild, gemacht aus dem hinteren aufgenommenen Bild, positioniert ist; und eine Bildsteuereinheit (190), um auf der Bildanzeigeeinheit (5) das für den Insassen betrachtbare Bild (10) darzustellen, das durch die Bildsynthetisierungseinheit aus dem rechtsseitigen betrachtbaren Bild, dem linksseitigen betrachtbaren Bild und dem hinteren betrachtbaren Bild zusammengesetzt ist, wobei die rechte Grenze (21) sich von einem ersten rechten Punkt (21a) zu einem zweiten rechten Punkt (21b) in dem vom Insassen betrachtbaren Bild (10) nach rechts erstreckt und sich von dem zweiten rechten Punkt (21b) vertikal nach oben oder diagonal nach rechts/oben erstreckt; die ersten und zweiten rechten Punkte (21a, 21b) in dem vom Insassen betrachtbaren Bild (10) in einer vertikalen Position entsprechend einer Position der Fahrbahnoberfläche 3 bis 7 Meter hinterhalb des Fahrzeughecks entlang der Vorwärts/Rückwärtsrichtung des Fahrzeugs liegen; und die Bildsynthetisierungseinheit ein Linienbild enthält, welches die rechte Grenze (21) in dem vom Insassen betrachtbaren Bild (10) darstellt.