-
[Technischer Bereich]
-
Die vorliegende Erfindung bezieht sich auf ein Bildverarbeitungssystem und eine Vorrichtung davon und insbesondere ein Bildverarbeitungssystem, das in einem Fahrzeug montiert ist und Bilder verarbeitet, die von einer Kamera aufgenommen werden, die einen Umgebungsbereich des Fahrzeugs abbildet.
-
[Stand der Technik]
-
Herkömmlicherweise sind Techniken bekannt, bei denen die Abbildung um ein Fahrzeug herum unter Verwendung einer Vielzahl von Kameras durchgeführt wird, die an einem Fahrzeug angebracht sind, und ein Bild von jeder Kamera wird zu einem einzigen Bild synthetisiert, das an einen Bildmonitor ausgegeben wird. Die Bilder von jeder Kamera können unterschiedliche Luminanz und Chrominanz haben, obwohl die gleichen Objekte erfasst werden. In dieser Hinsicht schlägt Patentdokument 1 vor, durch Verwenden von Pixeldaten eines überlappenden Bereichs von benachbarten erfassten Bildern zu kompensieren und die Differenz der Pixeldaten zwischen jedem Bild zu verringern (siehe Patentdokument 1).
-
[Literaturliste]
-
[Patentliteratur]
-
- [Patentdokument 1] JP2002-324235A .
-
[Technisches Problem]
-
Jedoch kann bei der in der Patentdokument 1 offenbarten Technik eine Korrektur eines Bilds nicht durchgeführt werden, wenn ein eingefangener Winkelbereich der Kamera nicht benachbart ist und ein überlappender Bereich nicht vorhanden ist. Unter solchen Umständen fühlt der Benutzer häufig, dass die Bilder aufgrund der Luminanz und Chrominanz unnatürlich erscheinen. Angesichts der obigen Probleme ist es eine Aufgabe der vorliegenden Erfindung, eine Technik bereitzustellen, um das unnatürliche Erscheinungsbild von Bildern eines Fahrzeugs, die durch eine Vielzahl von Abbildungsvorrichtungen aufgenommen werden, zu verringern.
-
ÜBERBLICK ÜBER DIE ERFINDUNG
-
Einer der typischen Moden der vorliegenden Erfindung ist ein Bildverarbeitungssystem (1). Das Bildverarbeitungssystem (1) ist ein in einem Fahrzeug angebrachtes System, das mit einem ersten Abbildungsmittel (3a, 3b) und einem zweiten Abbildungsmittel (3a, 3b), einem Informationserlangungsabschnitt (13e), einem Verarbeitungsbestimmungsabschnitt (13f) und einem Bilderzeugungsabschnitt (13g) versehen ist. Das erste Abbildungsmittel erfasst einen ersten Winkelbereich außerhalb eines Fahrzeugs bzw. fängt diesen ein. Das zweite Abbildungsmittel erfasst einen zweiten Winkelbereich, in dem sich mindestens ein Abschnitt davon von dem ersten Winkelbereich unterscheidet. Der Informationserlangungsabschnitt erlangt Differenzinformationen, die Informationen sind, die sich auf einen Pixelparameter eines Bereichs beziehen, der durch dasselbe Abbildungsobjekt des Bilds der ersten Zeit und des Bilds der zweiten Zeit dargestellt wird.
-
Das Bild der ersten Zeit ist ein Bild eines eines aufgenommenen Bilds, das von dem ersten Abbildungsmittel aufgenommen wurde, und eines erzeugten Bilds, das auf dem aufgenommenen Bild basiert. Das erste Bild ist ein Bild, das zu einem ersten Zeitpunkt durch das erste Abbildungsmittel aufgenommen wurde.
-
Das Bild der zweiten Zeit ist eines eines aufgenommenen Bilds, das von dem zweiten Abbildungsmittel aufgenommen wurde, und eines erzeugten Bilds, das auf dem aufgenommenen Bild basiert. Das zweite Bild ist ein Bild, das vor dem ersten Zeitpunkt zu einem zweiten Zeitpunkt durch das zweite Abbildungsmittel aufgenommen wurde und das gleiche Abbildungsobjekt wie das Bild der ersten Zeit hat.
-
Der Verarbeitungsbestimmungsabschnitt ist ein Bildverarbeitung, die die Pixelparameterdifferenz zwischen dem Bild der ersten Zeit und dem Bild der zweiten Zeit auf der Grundlage der an dem Informationserlangungsabschnitt erfassten Differenzinformationen verringern kann, und bestimmt mindestens eine einer Bildverarbeitung für das erste Bild und einer Bildverarbeitung für das zweite Bild.
-
Der Bilderzeugungsabschnitt führt einen Bildverarbeitung für mindestens eines des ersten Bilds und des zweiten Bilds aus, die an dem Verarbeitungsbestimmungsabschnitt bestimmt wird, und erzeugt ein korrigiertes Bild, das durch den Pixelparameter korrigiert wird. Das wie beschrieben konfigurierte Bildverarbeitungssystem erlangt die Differenz in Information des Pixelparameters unter Verwendung von Bildern des gleichen Abbildungsobjekts, die bei zwei verschiedenen Abbildungszeitpunkten erfasst werden. Da ein Bild basierend auf der Bildgebung unter Verwendung jedes Abbildungsmittels korrigiert wird, um diese Differenz zu verringern, wird auch eine visuelle Differenz jedes Bilds verringert. Als Ergebnis wird jedes Bild bei der visuellen Erkennung davon natürlicher.
-
Es wird angemerkt, dass der Pixelparameter nicht speziell auf die beschriebenen wie beispielsweise Luminanz und Farbabstufung beschränkt ist, sondern auch andere verschiedene Parameter verwendet werden können. Darüber hinaus ist der Inhalt der Differenzinformationen nicht besonders beschränkt. Beispielsweise kann der vorgegebene Pixelparameter eine Pixelparameterdifferenz zwischen dem Bild der ersten Zeit und dem Bild der zweiten Zeit und die Information der maximalen und minimalen Parameterwerte umfassen.
-
Ein typischer zweiter Aspekt der vorliegenden Erfindung ist eine Bildverarbeitungsvorrichtung (7). Die Bildverarbeitungsvorrichtung (13) ist mit einem ersten Erlangungsmittel (13), einem zweiten Erlangungsmittel (13), einem Bildspezifikationsabschnitt (13d), einem Informationserlangungsabschnitt (13e), einem Verarbeitungsbestimmungsabschnitt (13f) und einem Bilderzeugungsabschnitt (13g) versehen. Das erste Erlangungsmittel erfasst bzw. erlangt ein aufgenommenes Bild, das von dem ersten Abbildungsmittel erfasst wird, das den ersten Winkelbereich eines Fahrzeugs außerhalb des Fahrzeugs erfasst bzw. einfängt. Das zweite Erlangungsmittel erlangt ein aufgenommenes Bild, das von dem zweiten Abbildungsmittel aufgenommen wird, das den zweiten Winkelbereich erfasst bzw. einfängt, in dem sich mindestens ein Abschnitt davon von dem ersten Winkelbereich unterscheidet.
-
Der Informationserlangungsabschnitt, der Verarbeitungsbestimmungsabschnitt und der Bilderzeugungsabschnitt sind gleich zum Bildverarbeitungssystem. Die auf diese Weise ausgestaltete Bildverarbeitungsvorrichtung löst den gleichen Effekt wie das Bildverarbeitungssystem nach Anspruch 1 aus.
-
Es wird angemerkt, dass Symbole in der Zusammenfassung und den Ansprüchen verwendet werden, um eine entsprechende Beziehung zwischen spezifischen Mitteln als einen in einer bevorzugten Ausführungsform beschriebenen Modus zu zeigen, und dass sie einen technischen Bereich der vorliegenden Erfindung nicht beschränken.
-
[Kurzbeschreibung der Zeichnungen]
-
Es zeigen:
-
1 ein Blockschaltbild, das eine Konfiguration eines Bildverarbeitungssystems einer bevorzugten Ausführungsform zeigt;
-
2 eine erläuternde Zeichnung der bevorzugten Ausführungsform; 2(A) eine erläuternde Zeichnung, die eine Frontkamera und eine Heckkamera zeigt, 2(B) eine erläuternde Zeichnung der Frontkamera und der Heckkamera, die ein gleiches Abbildungsobjekt mit einer vorgegebenen Zeitdifferenz abbilden, und 2(C) eine erläuternde Zeichnung, die einen Abstand zwischen dem Frontkamera- und dem Heckkamerabildgebungsbereich zeigt;
-
3 ein Ablaufdiagramm, das ein Verarbeitungsmittel einer Bildanzeigeverarbeitung beschreibt; und
-
4 ein Diagramm, das schematisch ein synthetisches Bild beschreibt; 4(A) eine schematische Ansicht eines hinteren Bilds ohne Korrektur und 4(B) eine schematische Ansicht eines hinteren Bilds mit Korrektur.
-
[Bevorzugte Ausführungsform]
-
Eine bevorzugte Ausführungsform eines Bildverarbeitungssystems der vorliegenden Erfindung wird nun unter Verwendung der Figuren beschrieben. Das Bildverarbeitungssystem 1 ist ein System, das in einem Fahrzeug wie beispielsweise einem Kraftfahrzeug angebracht ist, das mit einer Frontkamera 3a, einer Heckkamera 3b, einem Monitor 5 und einer ECU 7 (elektronische Steuereinheit) versehen ist.
-
Das Bildverarbeitungssystem 1 synthetisiert Bilder von der Fahrzeugaußenseite, die von der Frontkamera 3a und der Heckkamera 3b abgebildet wird, und Bilder, die zuvor von den Kameras aufgenommen wurden, in ein einzelnes Bild nach der Umwandlung in Vogelperspektivbilder und stellt das synthetische Bild am Monitor 5 dar.
-
Die Frontkamera 3a und die Heckkamera 3b sind an dem Fahrzeug angebrachte Bildvorrichtungen wie beispielsweise ein bekannter CCD-Bildsensor (Charged Coupled Device, ladungsgekoppeltes Bauelement) und CMOS-Bildsensor (Complementary Metal-Oxide Semiconductor, sich ergänzender Metall-Oxid-Halbleiter).
-
Wie in 2(A) dargestellt ist, erfasst die Frontkamera 3a, die an einem vorderen Ende eines Fahrzeugs 31 angebracht ist, einen Bereich vor dem Fahrzeug 31 und insbesondere eine Straße vor dem Fahrzeug. Im Gegensatz dazu nimmt die Heckkamera 3b, die an einem hinteren Ende des Fahrzeugs 31 angebracht ist, einen Bereich hinter dem Fahrzeug 31 und insbesondere eine Straße hinter dem Fahrzeug auf. Die eingefangenen bzw. aufgenommenen Winkelbereiche der Frontkamera 3a und der Heckkamera 3b überlappen sich nicht. Jede Kamera fotografiert um das Fahrzeug herum in einem vorbestimmten Intervall (als Beispiel 1/15 einer Sekunde) und gibt die fotografierten Bilder an die ECU 7 aus.
-
Gemäß 1 ist der Monitor 5 eine Anzeige, die beispielsweise mit einem Flüssigkristall- oder einem organischen Elektrolumineszenzfeld versehen ist. Der Monitor 5 zeigt ein Bild gemäß einer Signaleingabe von der ECU 7 an. Die ECU 7 ist durch einen Mikrocomputer wie beispielsweise eine CPU (zentrale Verarbeitungseinheit), ein ROM (Nur-Lese-Speicher) und ein RAM (Speicher mit wahlfreiem Zugriff) konfiguriert, die in den Figuren nicht dargestellt sind, und funktioniert als Kameraeingangssignalprozessor 11, ein Bord-LAN-Eingangssignalprozessor 12, der Bildprozessor 13, ein Ausgangssignalprozessor 14, ein Speicher 15 und eine Stromquelle 16.
-
Der Kameraeingangssignalprozessor 11 wandelt ein analoges Signal, das von der Frontkamera 3a und der Heckkamera 3b eingegeben wird, in ein digitales Signal um und gibt das digitale Signal an den Bildprozessor 13 aus.
-
Der Bord-LAN-Eingangssignalprozessor 12 extrahiert fahrzeugbezogene Informationen, die von jedem Typ von ECU und Sensoren (in den Figuren nicht gezeigt) ausgegeben werden, die mit dem Fahrzeug-LAN verbunden sind, und gibt die extrahierten Informationen an den Bildprozessor 12 aus. Insbesondere enthalten die extrahierten Informationen beispielsweise Informationen über einen Schaltbereich, Fahrzeuggeschwindigkeit, Lenkungsbetrag (Lenkungsbedienungsbetrag) und Gierrate.
-
Der Bildprozessor 13 funktioniert beispielsweise als Überblickkonverter 13a, ein Historiensynthetisierungsabschnitt 13b und der Luminanz-/Chrominanzkorrekturabschnitt 13c. Der Luminanz-/Chrominanzkorrekturabschnitt 13c funktioniert im Detail beispielsweise als ein Bildspezifikationsabschnitt 13d, ein Informationserlangungsabschnitt 13e, ein Verarbeitungsbestimmungsabschnitt 13f, einen Bilderzeugungsabschnitt 13g und eine Anzeigesteuerung 13h. Der Bildprozessor 13 wird später in den Spezifikationen näher beschrieben.
-
Der Ausgangssignalprozessor 14 wandelt ein digitales Signal eines synthetischen Bilds, das von dem Bildprozessor 13 ausgegeben wird, in ein analoges Signal um und gibt das analoge Signal an den Monitor 5 aus. Das synthetische Bild wird später in den Spezifikationen ausführlich beschrieben.
-
Der Speicher 15, der eine Speichereinrichtung ist, die Daten speichern kann, speichert die im Bildprozessor 13 erzeugten Vogelperspektivbilder. Es ist auch anzumerken, dass die ECU 7 und das RAM mit einer Funktion des Speichers 15 versehen sein können.
-
Die Stromquelle 16 gibt eine Stromversorgung von einer Fahrzeugbatterie ein, die in den Figuren nicht dargestellt ist, und gibt eine entsprechend umgewandelte Stromversorgung an jeden Abschnitt der ECU 7 aus. Eine Bildanzeigeverarbeitung, die von der ECU 7 ausgeführt wird, wird nun auf der Grundlage eines in 1 gezeigten Ablaufdiagramms beschrieben. 3. Die Verarbeitung wird ausgelöst, wenn ein Fahrer einen voreingestellten Vorgang ausführt (z. B. wenn ein vorbestimmter Schalter betätigt wird oder wenn ein Schalthebel in einen vorbestimmten Schaltbereich versetzt wird).
-
Bei Schritt 1 erfasst die ECU 7 ein fotografiertes Bild, das an der Frontkamera 3a und der Heckkamera 3b aufgenommen wurde, über einen Kameraeingangssignalprozessor 11.
-
Bei Schritt S2 erzeugt die ECU 7 ein umgewandeltes Vogelperspektivbild eines Bilds, das von einem vorbestimmten virtuellen Punkt der Bilder betrachtet wird, das heißt, von jedem der aufgenommenen Bilder, die bei Schritt S1 erlangt werden. Das von der ECU erzeugte Vogelperspektivbild wird mit einer entsprechenden erfassten Zeit bzw. Erfassungszeit im Speicher 15 gespeichert.
-
Der virtuelle Punkt in der bevorzugten Ausführungsform liegt direkt über dem Fahrzeug. Die ECU
7 erzeugt das Vogelperspektivbild, das vertikal eine Straßenoberfläche überblickt, wobei eine vorbestimmte Konversionsgleichung gemäß einer Montageposition jeder Kamera verwendet wird. Ein Verfahren zur Erzeugung des Vogelperspektivbildes ist ein bekanntes Verfahren und es kann beispielsweise ein in Patentdokument
JP1998-211849A (
JP-H10-211849A ) beschriebenes Verfahren verwendet werden.
-
Wie in 4(A) dargestellt ist, besteht ein synthetisches Bild 41 aus einem vorderen Bild 43, das ein Vogelperspektivbild ist, das aus einem von der Frontkamera 3a aufgenommenen Bild erzeugt wird, einem hinteren Bi 44, das aus einem von der Heckkamera 3b aufgenommen Bild erzeugt wird, und einem linken Bild 45 einer linken Seite und einem rechten Bild 46 einer rechten Seite eines Fahrzeugs 42, wenn das Fahrzeug 42 ein Mittelpunkt ist.
-
Das linke Bild 45 und das rechte Bild 46 haben relativ geringe visuelle Unterschiede in der Luminanz und der Chrominanz, da das Bild auf der Grundlage des vorderen Bilds 43 erzeugt wird, das später detailliert beschrieben wird. Andererseits kann das hintere Bild 44 eine visuelle Differenz zu dem linken Bild 45 und dem rechten Bild 46 aufweisen, da das Bild auf einem aufgenommenen Bild basiert, das von einer anderen Kamera aufgenommen wird als das vordere Bild 43. An dieser Stelle wird somit ein Einstellvorgang zur Anpassung an die Luminanz und Chrominanz des hinteren Bilds 44 durchgeführt, was nachfolgend gemäß Schritt S3 bis Schritt S7 beschrieben wird.
-
Es wird angemerkt, dass ein Vogelperspektivbild, das auf der Grundlage des von der Heckkamera 3b aufgenommenen Bilds erzeugt wird, auch hier einfach als ein Heckbild 44 bezeichnet wird. Ein Vogelperspektivbild, das auf der Grundlage des von der Frontkamera 3a aufgenommenen Bilds erzeugt wird, wird auch einfach als das Front 43 bezeichnet.
-
In Schritt S3 berechnet die ECU 7 eine Zeitdifferenz des gleichen Abbildungsobjekts, das von der Frontkamera 3a und der Heckkamera 3b erfasst wird, basierend auf der Fahrzeuggeschwindigkeit und der Verschiebung. Die ECU 7 spezifiziert eine Fahrtrichtung des Fahrzeugs unter Verwendung der Verschiebungsinformationen. Das Fahrzeug, das vorwärts in eine Vorwärtsrichtung fährt, wird nun beschrieben.
-
In 2(B) bewegt sich das Fahrzeug 31 in Vorwärtsrichtung (siehe Pfeil in 2(B)). Zum Zeitpunkt T1 hat das Fahrzeug 31 einen Bereich 33 auf einer Straßenoberfläche in einem eingefangenen Winkelbereich der Frontkamera 3a beinhaltet und die Frontkamera 3a erfasst den Bereich 33. Das Fahrzeug 31, das in der Vorwärtsrichtung fährt, hat den Bereich 33 auf der Straßenoberfläche in einem eingefangenen Winkelbereich der Heckkamera 33b zum Zeitpunkt T2 beinhaltet und die Heckkamera 3b erfasst den Bereich 3b.
-
Eine Zeitdifferenz (T2 – T1) jeder Kamera, die das gleiche Abbildungsobjekt erfasst, welches der Bereich 33 ist, wird auf der Grundlage des erfassten Winkelbereichs und der Geschwindigkeit jeder Kamera mit dem Fahrzeug 31 als Referenz berechnet. Beispielsweise kann ein Abstand ('L' in 2(C)) zwischen einer ersten Position (insbesondere der Bereich 33 bei T2 in 2(C)), die eine designierte Position des eingefangenen Winkelbereichs der Heckkamera 3b ist, und einer zweite Position (insbesondere der Bereich 33 bei T1 in der gleichen Figur), die eine designierte Position des eingefangenen Winkelbereichs der Frontkamera 3a ist, durch Division durch die Geschwindigkeit ermittelt werden.
-
Wenn das Fahrzeug in der Vorwärtsrichtung fährt, ist in dem Bereich, der durch die erste Position des hinteren Bilds 44 dargestellt ist, nur die Zeitdifferenz (T2 – T1) das gleiche Abbildungsobjekt wie der Bereich, der durch die zweite Position eines zuvor aufgenommenen Frontbilds 43 dargestellt ist.
-
Es wird angemerkt, dass von T1 Zeit zu T2 Zeit, da eine zeitliche Verzögerung zwischen der ersten Position und der zweiten Position beispielsweise aufgrund einer Änderung der Fahrzeuggeschwindigkeit oder eines Zustands des Fahrzeugrollens und Fahrzeugnickens auftreten kann, eine Konfiguration, in der so eine zeitliche Verzögerung, die aus dem Zustand des Fahrzeugs auftritt, korrigiert werden kann, oder auch eine Konfiguration ohne Ausführung einer solchen Korrektur verwendet werden kann.
-
Jetzt geht es zurück zu 3. In Schritt 4 spezifiziert die ECU 7 ein Referenzbild, auf das Bezug genommen wird, wenn eine Korrektur der Luminanz oder der Farbe des hinteren Bilds 44 durchgeführt wird. Wenn in Schritt 1 ein erfasster Winkelbereich der aufgenommenen Bilder, die von der Heckkamera 3b aufgenommen wurden, ein erster Zeitpunkt ist, dann ist das Referenzbild ein Vogelperspektivbild, das aus dem aufgenommenen Bild erzeugt wird, das von der Frontkamera 3a zu einem zweiten Zeitpunkt aufgenommen wird, was ein vorheriger Zeitpunkt ist, das heißt, eine Zeit, die vor dem ersten Zeitpunkt liegt, mit einer Zeitdifferenz, die in Schritt S3 von dem ersten Zeitpunkt berechnet wurde.
-
Mit anderen Worten ist in 2(B) das Referenzbild des Vogelperspektivbildes (hinteres Bild 44) auf der Grundlage des erfassten Winkelbereichs, der von der Heckkamera 3b zum Zeitpunkt T2 erfasst wird, das Vogelperspektivbild auf der Grundlage des erfassten Winkelbereichs, der von der Frontkamera 3a zum Zeitpunkt T1 aufgenommen wird (Frontbild 43).
-
In Schritt 4 wird ein Referenzbild als ein extrahiertes Frontbild 43 spezifiziert. Das extrahierte Frontbild 43 basiert auf dem aufgenommenen Bild, das bei dem zweiten Zeitpunkt aufgenommen wurde, unter den in dem Speicher 12 gespeicherten Frontbildern 43.
-
Es wird angemerkt, dass das Vogelperspektivbild (hinteres Bild 44, Zeitpunkt T2), das aus dem aufgenommenen Bild erzeugt wird, das von der Heckkamera 3b in Schritt S1 erfasst wird, auch einfach als ein Bild einer ersten Zeit angesehen wird. Zusätzlich wird ein Referenzbild, das dem ersten Bild (dem vorderen Bild 43 der Zeit T1) entspricht, auch einfach als ein Bild einer zweiten Zeit bezeichnet.
-
In Schritt 5 erfasst die ECU 7 Differenzinformationen des Pixelparameters eines Objektbereichs, der ein Bereich auf dem durch das gleiche Abbildungsobjekt gezeigten Bild ist, sowohl von dem Bild der ersten Zeit als auch dem Bild der zweiten Zeit.
-
Die ECU 7 berechnet einen Durchschnittswert von Luminanzpixeln, die den Objektbereich in jedem des Bilds der ersten Zeit und des Bilds der zweiten Zeit konfigurieren, und einen durchschnittlichen Abstufungswert jeder Farbe entsprechend dem Farbraum. Zusätzlich berechnet die ECU 7 ein Maximum und Minimum eines Durchschnittswerts der Luminanz und die Differenz dazwischen und ein Maximum und Minimum eines Durchschnittswerts eines Gradationswerts (Farbabstufungswert) jeder Farbe und die Differenz dazwischen, berechnet aus jedem Bild der ersten Zeit und Bild der zweiten Zeit.
-
Übrigens ist es unnötig, genau zu bestimmen, ob die Abbildungsobjekte gleich sind, das heißt, der oben beschriebene Objektbereich kann ein Bereich sein, der durch Berechnung geschätzt wird, wenn das gleiche Abbildungsobjekt dargestellt ist. Ein Verfahren zum Einstellen eines Winkelbereichs des Objektbereichs ist nicht besonders eingeschränkt. Beispielsweise kann Einstellen eines vorbestimmten Radius eines Kreises in Betracht gezogen werden, der einen Punkt als Mittelpunkt in einem Bereich aufweist, der als der Bereich geschätzt wird, der das gleiche Abbildungsobjekt für jedes Bild zeigt.
-
In Schritt 6 bestimmt die ECU 7 einen Inhalt einer Bildverarbeitung, die bei Schritt S7 ausgeführt wird, basierend auf den in Schritt S5 berechneten Differenzinformationen. Die Bildverarbeitung standardisiert jeden Pixelparameter zu jedem Pixelparameter der Zeit-T2-Bilder, wenn eine Bildverarbeitung des Bilds der ersten Zeit ausgeführt wird.
-
In Schritt S7 führt die ECU 7 die bei Schritt S6 bestimmte Bildverarbeitung aus und erzeugt ein korrigiertes Bild, das das Bild der ersten Zeit mit korrigierter Luminanz und Farbe ist. Wie mit einem synthetischen Bild 41a in 4(B) dargestellt ist, kann unter Verwendung eines korrigierten Bilds 44a, das in Schritt S7 erzeugt wird, alternativ zu dem hinteren Bild 44 beispielsweise eine Luminanz und Chrominanz eines gesamten Bilds ähnlich eingestellt werden.
-
In Schritt S8 erzeugt die ECU 7 das linke Bild 45 und das rechte Bild 46 aus in dem Speicher 15 gespeicherten Frontbildern. An diesem Punkt extrahiert die ECU 7 ein geeignetes vorheriges Bild 43 aus in dem Speicher 15 gespeicherten Bildern basierend auf einer Fahrzeuggeschwindigkeit und einer Lenkbedienung oder einer Gierrate und stellt beispielsweise die Bildrichtung und Bildposition ein, um das linke Bild 45 und das rechte Bild 46 zu erzeugen.
-
In Schritt S9 erzeugt die ECU 7 das synthetische Bild 41a durch Integration des Frontbildes 43, des korrigierten Bilds 44a und des linken Bilds 45 und des rechten Bilds 46, die in Schritt S8 erzeugt werden. Das synthetische Bild 41a ist ein Vogelperspektivbild, das als fotografiert direkt über dem Fahrzeug betrachtet werden kann.
-
In Schritt S10 gibt die ECU 7 das in Schritt S9 erzeugte synthetische Bild 41a an den Monitor 5 aus und die Verarbeitung ist abgeschlossen. Dieser Vorgang wird in kurzen Zeitintervallen durchgeführt, beispielsweise mit 1/30 Sekunde, und Überblicke um das Fahrzeug werden sofort auf dem Monitor 5 angezeigt.
-
Bei der beschriebenen Bildanzeigeverarbeitung ist die Schritt-S1-Verarbeitung eine Verarbeitung des Bildverarbeitungsabschnitts 13, die Schritt-S2-Verarbeitung ist eine Verarbeitung der Übersichtskonversion 13a, die Schritt-S3-Verarbeitung und die Schritt-S4-Verarbeitung sind eine Verarbeitung des Bildspezifikationsabschnitts 13d, die Schritt-S5-Verarbeitung ist eine Verarbeitung des Informationserlangungsabschnitts 13e, die Schritt-S6-Verarbeitung ist eine Verarbeitung des Verarbeitungsbestimmungsabschnitts 13f, der Schritt S7 ist eine Verarbeitung des Bilderzeugungsabschnitts 13g, der Schritt S8 und der Schritt S9 sind eine Verarbeitung des Historiensynthetisierungsabschnitts 13b und die Schritt-S10-Verarbeitung ist eine Verarbeitung der Anzeigesteuerung 13h.
-
[Entsprechungsbeziehung]
-
In der bevorzugten Ausführungsform ist die ECU 7 ein Beispiel für eine Bildverarbeitungsvorrichtung der vorliegenden Erfindung. Der Bildprozessor 13 ist ein Beispiel für das erste Erlangungsmittel und das zweite Erlangungsmittel der vorliegenden Erfindung. Der Speicher 15 ist ein Beispiel eines Speicherabschnitts der vorliegenden Erfindung. Zusätzlich ist der Historiensynthetisierungsabschnitt 13b ein Beispiel des Bildsynthetisierungsabschnitts der vorliegenden Erfindung.
-
Wenn das hintere Bild 44 mit dem als Referenz bezeichneten Frontbild 43 korrigiert wird, ist die Heckkamera 3b ein Beispiel für das erste Abbildungsmittel der vorliegenden Erfindung, wobei die Frontkamera 3a ein Beispiel für das zweite Abbildungsmittel der vorliegenden Erfindung ist, ein Bereich an der Rückseite des Fahrzeugs, der von der Heckkamera 3b fotografiert wird, ist ein Beispiel für den ersten Winkelbereich der vorliegenden Erfindung und ein Bereich an der Vorderseite des Fahrzeugs, der von der Frontkamera 3a fotografiert wird, ist ein Beispiel für den zweiten Winkelbereich der vorliegenden Erfindung.
-
Zusätzlich ist ein Vogelperspektivbild, basierend auf einem aufgenommenen Bild, das von der Heckkamera 3b aufgenommen wird, ein Beispiel für das erste Bild und ein Vogelperspektivbild, basierend auf einem aufgenommenen Bild, das von der Frontkamera 3a erfasst wird, ist ein Beispiel für das zweite Bild.
-
Die nachstehend beschriebenen Effekte können aus der bevorzugten Ausführungsform erhalten werden. Das Bildverarbeitungssystem 1 korrigiert den Pixelparameter des hinteren Bilds 44 und des zuvor aufgenommenen Frontbilds 43, die das gleiche Abbildungsobjekt aufweisen, um die Differenz zwischen diesen zu verringern. Die Parameter sind Luminanzpixel und Farbabstufung (Gradation), so dass auch eine visuelle Differenz zwischen dem korrigierten Bild und dem vorherigen Frontbild 43 verringert wird. Der visuelle Unterschied ist hierbei ein Unterschied in Bezug auf die Luminanz und die Chrominanz und enthält keine Form oder Position eines fotografierten Objekts.
-
Das vorherige Frontbild 43 und ein aktuelles Frontbild 43 sind Bilder, die mit derselben Kamera aufgenommen wurden und einen kleinen visuellen Unterschied aufweisen. Als Ergebnis kann das Bildverarbeitungssystem 1 Unterschiede zwischen dem Frontbild 43 und dem korrigierten Bild des hinteren Bilds 44 verringern, das dasselbe Abbildungsobjekt wie das Bild 43 erfasst, die durch einen Unterschied in der Luminanz und der Chrominanz verursacht werden.
-
Die Frontkamera 3a bildet kontinuierlich einen vorbestimmten Winkelbereich ab und die auf dem erfassten Bild erzeugten Vogelperspektivbilder werden in dem Speicher 15 gespeichert. Der Bildspezifikationsabschnitt 13d des Bildprozessors 13 spezifiziert das Zeit-T2-Bild, das eine Referenz ist, aus den in dem Speicher 15 gespeicherten Vogelperspektivbildern.
-
Auf diese Weise wird gemäß dem Bildverarbeitungssystem 1, obwohl es eine Zeitdifferenz zwischen der erfassten Zeit des Bilds der ersten Zeit und des Bilds der zweiten Zeit gibt, eine Wartezeit nicht benötigt und eine schnelle Verarbeitung kann verwirklicht werden, da das Bild der zweiten Zeit, welches die Referenz ist, aus den im Speicher 15 gespeicherten Vogelperspektivbildern gesucht werden kann.
-
Wenn die ECU 7 das Bild der zweiten Zeit aus den gespeicherten Vogelperspektivbildern spezifiziert, berechnet jede Kamera eine erfasste Zeitdifferenz des Abbildungsobjekts auf der Grundlage der Fahrzeugbewegungsgeschwindigkeit und somit kann die Spezifikation des Referenzbildes mit hoher Genauigkeit durchgeführt werden, da das Bild der zweiten Zeit basierend auf der Zeitdifferenz spezifiziert wird.
-
In dem Bildverarbeitungssystem 1 erzeugt die ECU 7 ein synthetisches Bild aus den korrigierten Bildern auf der Grundlage eines von der Heckkamera 3b aufgenommenen Bilds, ein Vogelperspektivbild, das auf einem von der Frontkamera 3a aufgenommenen Bild basiert, und auch ein rechtes Bild und ein linkes Bild auf der Grundlage von Vogelperspektivbildern und gibt das synthetische Bild auf dem Monitor 5 aus.
-
Da das korrigierte Bild mit dem Vogelperspektivbild auf der Grundlage des aufgenommenen Bilds, das zuvor von der Frontkamera 3a aufgenommen wurde, als Referenz korrigiert wird, ist es möglich, dass die Luminanz und die Chrominanz gleich sind. Die ECU 7 kann so ein synthetisches Bild ohne Eigentümlichkeit und visuell klar erzeugen.
-
[Weitere Ausführungsformen]
-
Die bevorzugten Ausführungsformen für die vorliegende Erfindung wurden beschrieben, sind aber nicht auf die beschriebenen beschränkt. Das heißt, es können verschiedene Modifikationen verwendet werden, ohne vom Umfang der Erfindung abzuweichen.
-
Die bevorzugten Ausführungsformen beschreiben eine Konfiguration, in der Differenzinformationen durch den Farbabstufungswert bzw. Gradationswert jeder Farbe der Luminanz und des Farbraums als die Pixelparameter veranschaulicht sind, um eine Korrektur durchzuführen, wobei jedoch die Konfiguration nicht auf die beschriebenen beschränkt ist. Das heißt, verschiedene Parameter können als Differenzinformation verwendet werden. Zusätzlich können Differenzinformationen auch nur die Luminanz oder die Chrominanz sein.
-
Die bevorzugten Ausführungsformen beschreiben eine Konfiguration des Korrekturbildes durch Zusammenführen des Parameters des Bilds der ersten Zeit und des Parameters des Bilds der zweiten Zeit. Solange jedoch das korrigierte Bild mit einer kleinen Differenz im Pixelparameter erzeugt wird, ist es nicht essentiell, Parameter zusammenzuführen. Bei der Verringerung der Parameterdifferenz kann auch ein unnatürliches Erscheinungsbild des Bilds verringert werden.
-
Die bevorzugten Ausführungsformen werden beispielhaft durch ein Bild veranschaulicht, das von jeder Kamera aufgenommen wird und bei Schritt 2 in ein Vogelperspektivbild umgewandelt wird, worauf eine Verarbeitung von Schritt S3 folgt. Jedoch ist eine Zeit der Umwandlung des Vogelperspektivbildes nicht spezifisch beschränkt, zum Beispiel kann das synthetische Bild 41a nach dem Schritt S8 erzeugt werden.
-
In diesem Fall verwendet der Informationserlangungsabschnitt 13e ein aufgenommenes Bild, das von jeder Kamera aufgenommen wird, als die Bilder, die dem Erlangen von Differenzinformationen unterworfen sind. Das heißt, der Informationserlangungsabschnitt 13e erlangt Differenzinformationen unter Verwendung des aufgenommenen Bild, das von jeder Kamera aufgenommen wird, oder des verarbeiteten Bilds, das auf den Bildern basiert, die durch jede Kamera aufgenommen werden.
-
Die bevorzugten Ausführungsformen werden durch die Konfiguration des Umwandelns eines aufgenommenen Bilds in ein Vogelperspektivbild veranschaulicht. Jedoch kann ein aufgenommenes Bild in ein anderes Bild als das Vogelperspektivbild umgewandelt werden. Ein virtueller Punkt kann auch an einer anderen Position als direkt über dem Fahrzeug angeordnet sein.
-
Die bevorzugten Ausführungsformen sind durch eine Konfiguration des Erzeugens des korrigierten Bilds 44a mit einer verringerten visuellen Differenz zwischen sich selbst und dem vorderen Bild 43 veranschaulicht, indem Ausführen der Bildverarbeitung des Bilds der ersten Zeit beispielhaft dargestellt ist. Jedoch kann auch eine Verarbeitung ausgeführt werden, bei der eine visuelle Differenz von Bildern, die nicht das Bild der ersten Zeit sind, verringert wird. Das heißt, es kann beispielsweise eine Bildverarbeitung zum Verringern einer Parameterdifferenz des Frontbildes 43 durchgeführt werden.
-
Die bevorzugten Ausführungsformen werden durch eine Konfiguration veranschaulicht, in der die ECU 7 den Inhalt der Bildverarbeitung durch Erfassen von Differenzinformation für jedes aufgenommene Bild, das bei Schritt S1 erlangt wird. Jedoch kann auch eine Konfiguration, bei der die Bestimmung eines Inhalts einer Bildverarbeitung einer erfassten Differenzinformationen jedes aufgenommenen Bilds nicht ausgeführt wird, sobald der Inhalt einer Bildverarbeitung bestimmt ist, auch verwendet werden. Das heißt, eine Konfiguration, bei der eine bestimmte Bildverarbeitung für eine festgelegte Zeitspanne ausgeführt wird, kann verwendet werden.
-
Die Verarbeitung kann auch so konfiguriert werden, dass eine erste Verarbeitung zur Erzeugung des synthetischen Bilds durch Umwandlung eines aufgenommenen Bilds in ein Vogelperspektivbild (Schritt S1, Schritt S2 und Schritt S7 bis Schritt S10) und eine zweite Verarbeitung zur Bestimmung des Inhalts der Bildverarbeitungen durch Erlangen von Differenzinformationen (Schritt S1 bis S6) als eine andere Verarbeitung bereitgestellt werden, wobei die zweite Verarbeitung weniger häufig ausgeführt wird als die erste Verarbeitung.
-
Gemäß dem oben beschriebenen Bildverarbeitungssystem kann, da es nicht notwendig ist, einen Inhalt der Bildverarbeitung für jedes ausgeführte Bild zu bestimmen, eine verringerte Verarbeitungslast der ECU 7 erreicht werden.
-
Die bevorzugten Ausführungsformen sind beispielhaft durch eine Konfiguration des Bildbereichs der Heckkamera 3b und der Frontkamera 3a, die sich nicht überlappen, dargestellt, wobei jedoch die beiden verwendeten Kameras mit Aufnahmebereichen versehen sein können, die sich teilweise überlappen.
-
Die Heckkamera 3b und die Frontkamera 3a sind vorgesehen, um in der jeweiligen hinteren und vorderen Position des Fahrzeugs angeordnet zu sein, wobei jedoch die Position der beiden Abbildungsmittel nicht auf die beschriebenen beschränkt ist. Im Gegensatz dazu kann ein Aufnahmebereich eines Abbildungsmittels so festgelegt werden, dass ein eingefangener Winkelbereich, der zuvor von einem anderen Abbildungsmittel erfasst wurde, als Ergebnis einer Fahrzeugbewegung eingefangen wird.
-
In den bevorzugten Ausführungsformen wird die Bildanzeigeverarbeitung beschrieben, wenn sich ein Fahrzeug in einer Vorwärtsrichtung bewegt, jedoch kann derselbe Vorgang ausgeführt werden, wenn sich ein Fahrzeug in einer Rückwärtsrichtung bewegt. In diesem Fall wird angenommen, dass die Bildanzeigeverarbeitung durch Tauschen eines von der Heckkamera 3b aufgenommenen Bilds und eines von der Frontkamera 3a aufgenommenen Bilds durchgeführt wird.
-
Ein in den bevorzugten Ausführungsformen funktionierendes Konfigurationselement kann in mehrere Konfigurationselemente unterteilt sein und eine Vielzahl von funktionierenden Konfigurationselementen können auch zu einem Konfigurationselement zusammengefasst werden. Eine bekannte Konfiguration kann alternativ für zumindest einen Teil der Konfiguration der bevorzugten Ausführungsformen verwendet werden. Ein Teil der bevorzugten Ausführungsformen kann auch weggelassen werden. Zusätzlich kann zumindest ein Teil der bevorzugten Ausführungsformen zur Konfiguration anderer Ausführungsformen hinzugefügt oder durch diese ersetzt werden. Es wird darauf hingewiesen, dass alle Aspekte, die in den durch den Umfang der Ansprüche angegebenen technischen Ideen enthalten sind, Ausführungsformen der vorliegenden Erfindung sind.
-
Neben dem oben beschriebene Bildverarbeitungssystem 1, der Abbildungsverarbeitungsvorrichtung (ECU 7), einem Programm, das verwendet wird, um einen Computer als Bildverarbeitungsvorrichtung zu funktionalisieren, und einem Medium, das das Programm speichert, können beispielsweise andere verschiedene Modi auch die vorliegende Erfindung verwirklichen.
-
[Symbole]
-
- 1 Bildverarbeitungssystem, 3a Frontkamera, 3b Heckkamera, 5 Monitor, 7 ECU, 13 Bildprozessor, 13a Überblickkonverter, 13b Historiensyntheseabschnitt, 13c Luminanz-/Chrominanzkorrekturabschnitt, 13d Bildspezifikationsabschnitt, 13e Informationserlangungsabschnitt, 13f Verarbeitungsbestimmungsabschnitt, 13g Bilderzeugungsabschnitt, 13f Anzeigesteuerung, 14 Ausgangssignalverarbeitungsabschnitt, 15 Speicher.
