DE112019007225B4

DE112019007225B4 - Fahrzeugumgebungsbilderzeugungsvorrichtung, Fahrzeugumgebungsanzeigesystem und Fahrzeugumgebungsanzeigeverfahren

Info

Publication number: DE112019007225B4
Application number: DE112019007225.0T
Authority: DE
Inventors: Kenta Onishi; Kohei Mori; Nariaki TAKEHARA
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-04-18
Filing date: 2019-04-18
Publication date: 2023-12-07
Anticipated expiration: 2039-04-19
Also published as: CN113678433A; JPWO2020213111A1; DE112019007225T5; US11926263B2; JP7203205B2; US20220118907A1; WO2020213111A1; CN113678433B

Abstract

Eine Fahrzeugumgebungsbilderzeugungsvorrichtung (2) zum Erzeugen eines Übersichtsbildes (13a), das ein Fahrzeug (7) und einen Fahrzeugumgebungsbereich einschließt, auf der Grundlage einer Vielzahl von Bildern, die von einer Vielzahl von Abbildungsvorrichtungen (1), die an dem Fahrzeug (7) angebracht sind, aufgenommen wurden, wobei die Fahrzeugumgebungsbilderzeugungsvorrichtung (2) umfasst:eine Objektabstandsbestimmungseinheit (22) zum Bestimmen, ob ein Abstand zwischen einem Objekt (8, 9) und dem Fahrzeug (7) innerhalb eines Schwellenwerts liegt, auf der Grundlage von Objektinformationen, die von einem Sensor (4) zum Detektieren des Objekts (8, 9) in dem Fahrzeugumgebungsbereich erfasst werden;eine Bildumwandlungseinheit (24) zum Umwandeln jedes der Vielzahl von Bildern in ein Bild für ein Übersichtsbild;eine Bildaufteilungseinheit (26) zum Aufteilen des überlappenden Abschnitts (10BR, 10FR) in dem Bild für ein Übersichtsbild in ein Straßenoberflächenbild und ein Objektbild, wenn das Objekt (8, 9) in einem überlappenden Abschnitt (10BR, 10FR) von Abbildungsbereichen (10B, 10F, 10R) der Vielzahl von Abbildungsvorrichtungen (1) vorhanden ist;eine Bildkombinationseinheit (27) zum Kombinieren des gesamten oder eines Teils des Bildes für ein Übersichtsbild, das durch die Bildumwandlungseinheit (24) erhalten wurde, und des Straßenoberflächenbildes bzw. des Objektbildes, die durch die Bildaufteilungseinheit (26) erhalten wurden, um das Übersichtsbild (13a) zu erzeugen; undeine Framesynchronisationseinheit (21) zum Synchronisieren von Bildinformationen, die von den Abbildungsvorrichtungen (1) erfasst wurden, von Objektinformationen, die von dem Sensor (4) erfasst wurden, und von Fahrzeugbewegungsinformationen, die eine Fahrtrichtung und eine Geschwindigkeit des Fahrzeugs (7) umfassen.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft eine Fahrzeugumgebungsbilderzeugungsvorrichtung, ein Fahrzeugumgebungsanzeigesystem und ein Fahrzeugumgebungsanzeigeverfahren.
STAND DER TECHNIK
In einem Fahrzeugumgebungsanzeigesystem, das eine Fahrzeugumgebungsbilderzeugungsvorrichtung enthält, werden Bilder einer Fahrzeugumgebung, die von einer Vielzahl von Kameras im Fahrzeug aufgenommen wurden, kombiniert, um ein Übersichtsbild zu erzeugen, das das Fahrzeug und die Fahrzeugumgebung enthält. Der Fahrer erkennt eine Person, ein Objekt oder ähnliches, das sich in der Umgebung des Fahrzeugs befindet, anhand des auf einer Anzeigevorrichtung angezeigten Übersichtsbildes. JP 2003-169323 A zeigt zum Beispiel, dass die Pixelinformationen jedes Eingangsbildes abwechselnd nach einer bestimmten Regel für denselben Bildbereich, der in einer Vielzahl von Eingangsbildern enthalten ist, übernommen werden und ein zusammengesetztes Bild ausgegeben wird.
Wenn mehrere Bilder kombiniert werden, um ein Übersichtsbild zu erzeugen, überschneiden sich die Bilder im Grenzbereich zwischen den Abbildungsbereichen zweier Kameras.
Bei dem herkömmlichen Kombinationsverfahren wird ein Kombinationsverhältnis jedes Bildes (im Folgenden als α-Wert bezeichnet) für diesen Überlappenden Abschnitt auf 0<α<1 gesetzt. Die oben beschriebene Technik der Kombination zweier Bilder mit einem bestimmten α-Wert wird als Alpha-Blending bezeichnet. Beim Alpha-Blending wird beispielsweise bei einem α-Wert von 0,5 eine Farbe erzeugt, die eine Mischung aus 50 % der Farben der Pixel des überlappenden Abschnitts in jedem der beiden Bilder ist, und ein Durchschnittsbild wird synthetisiert.
DE 10 2011 088 332 A1 betrifft ein Verfahren zur Wiedergabe von erhabenen Objekten, die sich in einem kritischen Bereich befinden oder auf diesen zubewegen. DE 10 2009 036 200 A1 betrifft ein Verfahren zur Überwachung einer Umgebung eines Fahrzeugs, wobei die Umgebung und in dieser vorhandene Objekte mittels Bilderfassungseinheiten erfasst werden, deren Erfassungsbereiche sich (teilweise) überlappen und einen Überlappungsbereich bilden, wobei aus den erfassten Einzelbildern ein Gesamtbild erzeugt wird, welches das Fahrzeug und dessen Umgebung aus einer Vogelperspektive zeigt.
ZUSAMMENFASSUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
Wenn ein Übersichtsbild in der herkömmlichen Fahrzeugumgebungsbilderzeugungsvorrichtung synthetisiert wird, werden zwei Bilder durch Alpha-Blending kombiniert, wobei der überlappende Abschnitt in jedem der beiden Bilder transparent gemacht wird. In diesem Fall wird der α-Wert unabhängig davon festgelegt, ob ein Objekt im Bild vorhanden ist. Daher besteht das Problem, dass ein Teil eines Objekts, das sich im überlappenden Abschnitt des Bildbereichs jeder Kamera befindet, im Übersichtsbild unscharf ist und das Übersichtsbild somit zu einem unklaren Bild wird. Darüber hinaus kann beim Alpha-Blending ein Objekt auch dann unscharf werden, wenn der überlappende Abschnitt proportional zum Abstand vom Zentrum des Bildbereichs gewichtet wird.
Die vorliegende Offenbarung wurde gemacht, um das obige Problem zu lösen, und ein Ziel der vorliegenden Offenbarung ist es, eine Fahrzeugumgebungsbilderzeugungsvorrichtung zu erhalten, die in der Lage ist, ein klares Übersichtsbild zu erzeugen, ohne ein Objekt zu verwischen, das in einem überlappenden Abschnitt der Abbildungsbereiche einer Vielzahl von Abbildungsvorrichtungen vorhanden ist. Darüber hinaus besteht ein weiteres Ziel der vorliegenden Offenbarung darin, ein Anzeigesystem für die Umgebung eines Fahrzeugs und ein Verfahren zur Anzeige der Umgebung eines Fahrzeugs zu erhalten, das in der Lage ist, ein Objekt, das sich in dem überlappenden Abschnitt der Abbildungsbereiche befindet, klar anzuzeigen.
LÖSUNG DER PROBLEME
Die Probleme werden erfindungsgemäß durch den Gegenstand der unabhängigen Ansprüche gelöst. Die abhängigen Ansprüche bezeichnen weitere bevorzugte Ausführungsformen, und diese Offenbarung erläutert beispielhaft wie die Erfindung ausgeführt werden kann. Eine Fahrzeugumgebungsbereichsbilderzeugungsvorrichtung gemäß der vorliegenden Offenbarung ist eine Fahrzeugumgebungsbereichsbilderzeugungsvorrichtung zum Erzeugen eines Übersichtsbildes, das ein Fahrzeug und einen Fahrzeugumgebungsbereich enthält, auf der Grundlage einer Vielzahl von Bildern, die von einer Vielzahl von Abbildungsvorrichtungen, die an dem Fahrzeug angebracht sind, aufgenommen wurden, wobei die Fahrzeugumgebungsbereichsbilderzeugungsvorrichtung umfasst: eine Objektabstandsbestimmungseinheit zum Bestimmen, ob ein Abstand zwischen einem Objekt und dem Fahrzeug innerhalb eines Schwellenwerts liegt, auf der Grundlage von Objektinformationen, die von einem Sensor zum Detektieren des Objekts in dem Fahrzeugumgebungsbereich erfasst werden; eine Bildumwandlungseinheit zum Umwandeln jedes der mehreren Bilder in ein Bild für ein Übersichtsbild; eine Bildaufteilungseinheit, um, wenn das Objekt in einem überlappenden Abschnitt von Abbildungsbereichen der Vielzahl von Abbildungsvorrichtungen existiert, den überlappenden Abschnitt in dem Bild für ein Übersichtsbild in ein Straßenoberflächenbild und ein Objektbild aufzuteilen; und eine Bildkombinationseinheit zum Kombinieren des gesamten oder eines Teils des Bildes für ein Übersichtsbild, das durch die Bildumwandlungseinheit erhalten wurde, und des Straßenoberflächenbildes bzw. des Objektbildes, das durch die Bildaufteilungseinheit erhalten wurde, um das Übersichtsbild zu erzeugen.
Ein Fahrzeugumgebungsanzeigesystem gemäß der vorliegenden Offenbarung ist ein Fahrzeugumgebungsanzeigesystem, das umfasst: eine Vielzahl von Abbildungsvorrichtungen, die an einem Fahrzeug angebracht sind, um ein Bild eines Fahrzeugumgebungsbereichs aufzunehmen; einen Sensor zum Detektieren eines Objekts in dem Fahrzeugumgebungsbereich; eine Fahrzeugumgebungsbereichsbilderzeugungsvorrichtung zum Erzeugen eines Übersichtsbildes, das das Fahrzeug und den Fahrzeugumgebungsbereich enthält, auf der Grundlage einer Vielzahl von Bildern, die von den Abbildungsvorrichtungen aufgenommen wurden und eine Anzeigeeinheit zum Anzeigen des von der Fahrzeugumgebungsbilderzeugungsvorrichtung erzeugten Übersichtsbildes, wobei die Fahrzeugumgebungsbilderzeugungsvorrichtung eine Objektabstandsbestimmungseinheit zum Bestimmen, ob ein Abstand zwischen dem Objekt und dem Fahrzeug innerhalb eines Schwellenwerts liegt, auf der Grundlage von durch den Sensor erfassten Objektinformationen, eine Bildumwandlungseinheit zum Umwandeln jedes der mehreren Bilder in ein Bild für ein Übersichtsbild eine Bildunterteilungseinheit, um, wenn das Objekt in einem überlappenden Abschnitt von Abbildungsbereichen der Vielzahl von Abbildungsvorrichtungen vorhanden ist, den überlappenden Abschnitt in dem Bild für ein Übersichtsbild in ein Straßenoberflächenbild und ein Objektbild zu unterteilen, und eine Bildkombinationseinheit, um das gesamte oder einen Teil des Bildes für ein Übersichtsbild, das durch die Bildumwandlungseinheit erhalten wurde, und das Straßenoberflächenbild bzw. das Objektbild, das durch die Bildunterteilungseinheit erhalten wurde, zu kombinieren, um das Übersichtsbild zu erzeugen.
Ein Fahrzeugumgebungsbereichsanzeigeverfahren gemäß der vorliegenden Offenbarung ist ein Fahrzeugumgebungsbereichsanzeigeverfahren zum Erzeugen und Anzeigen eines Übersichtsbildes, das ein Fahrzeug und einen Fahrzeugumgebungsbereich enthält, wobei das Fahrzeugumgebungsbereichsanzeigeverfahren umfasst: einen Informationserfassungsschritt des Erfassens von Bildinformationen einer Vielzahl von aufgenommenen Bildern des Fahrzeugumgebungsbereichs, von Objektinformationen, die Positionsinformationen eines Objekts in dem Fahrzeugumgebungsbereich enthalten, und von Fahrzeugbewegungsinformationen, die eine Fahrtrichtung und eine Geschwindigkeit des Fahrzeugs enthalten; einen Bildumwandlungsschritt des Umwandelns jedes der Vielzahl von Bildern, die in dem Informationserfassungsschritt erfasst wurden, in ein Bild für ein Übersichtsbild; einen Straßenoberflächenfarbdetektionsschritt des Detektierens einer Straßenoberflächenfarbe des überlappenden Abschnitts, wenn das Objekt in einem überlappenden Abschnitt der Vielzahl von Bildern existiert und ein Abstand zwischen dem Objekt und dem Fahrzeug innerhalb eines Schwellenwerts liegt; einen Bildaufteilungsschritt des Aufteilens des überlappenden Abschnitts in dem Bild für ein Übersichtsbild in ein Straßenoberflächenbild und ein Objektbild auf der Basis der Straßenoberflächenfarbe, die in dem Straßenoberflächenfarbdetektionsschritt detektiert wurde; einen Bildkombinationsschritt des Kombinierens aller oder eines Teils des Bildes für ein Übersichtsbild, das in dem Bildumwandlungsschritt erhalten wurde, und des Straßenoberflächenbildes bzw. des Objektbildes, die in dem Bildaufteilungsschritt erhalten wurden, um das Übersichtsbild zu erzeugen; und einen Anzeigeschritt des Anzeigens des Übersichtsbildes, das in dem Bildkombinationsschritt erzeugt wurde.
WIRKUNG DER ERFINDUNG
In der Fahrzeugumgebungsbilderzeugungsvorrichtung gemäß der vorliegenden Offenbarung wird, wenn ein Objekt in dem überlappenden Abschnitt der Abbildungsbereiche einer Vielzahl von Kameras vorhanden ist, der überlappende Abschnitt in ein Straßenoberflächenbild und ein Objektbild unterteilt, und ein Bild für ein Übersichtsbild, das Straßenoberflächenbild und das Objektbild werden kombiniert, um ein Übersichtsbild zu erzeugen. Auf diese Weise ist es möglich, ein klares Übersichtsbild zu erzeugen, ohne das im überlappenden Abschnitt vorhandene Objekt zu verwischen.
In dem Fahrzeugumgebungsanzeigesystem gemäß der vorliegenden Offenbarung wird, wenn ein Objekt in dem überlappenden Abschnitt der Abbildungsbereiche einer Vielzahl von Kameras vorhanden ist, der überlappende Abschnitt in ein Straßenoberflächenbild und ein Objektbild unterteilt, und ein Bild für ein Übersichtsbild, das Straßenoberflächenbild und das Objektbild werden kombiniert, um ein Übersichtsbild zu erzeugen. Auf diese Weise ist es möglich, ein klares Übersichtsbild anzuzeigen, ohne das im überlappenden Abschnitt vorhandene Objekt zu verwischen.
In dem Fahrzeugumgebungsanzeigeverfahren gemäß der vorliegenden Offenbarung wird, wenn ein Objekt in dem überlappenden Abschnitt der Abbildungsbereiche der mehreren Kameras vorhanden ist und der Abstand zwischen dem Objekt und dem Fahrzeug innerhalb des Schwellenwerts liegt, der überlappende Abschnitt in ein Straßenoberflächenbild und ein Objektbild unterteilt, und ein Bild für ein Übersichtsbild, das Straßenoberflächenbild und das Objektbild werden kombiniert, um ein Übersichtsbild zu erzeugen. Auf diese Weise ist es möglich, ein klares Übersichtsbild anzuzeigen, ohne das Objekt im überlappenden Abschnitt zu verwischen.
Andere als die oben genannten Objekte, Merkmale, Aspekte und Wirkungen der vorliegenden Offenbarung werden aus der folgenden detaillierten Beschreibung unter Bezugnahme auf die Zeichnungen deutlicher werden.
KURZBESCHREIBUNG DER ZEICHNUNGEN

[1] 1 ist ein Blockdiagramm, das die Konfiguration eines Fahrzeugumfeldanzeigesystems gemäß Ausführungsform 1 zeigt.
[2] 2 ist ein Blockdiagramm, das die Konfiguration einer Fahrzeugumgebungsbilderzeugungsvorrichtung gemäß Ausführungsform 1 zeigt.
[3] 3 ist ein Diagramm, das ein Beispiel für die Hardwarekonfiguration der Fahrzeugumgebungsbilderzeugungsvorrichtung gemäß Ausführungsform 1 zeigt.
[4] 4 ist ein Diagramm, das ein Bildkombinationsverfahren durch die Fahrzeugumgebungsbilderzeugungsvorrichtung gemäß Ausführungsform 1 zeigt.
[5] 5 ist ein Diagramm, das das Bildkombinationsverfahren durch die Fahrzeugumgebungsbilderzeugungsvorrichtung gemäß Ausführungsform 1 veranschaulicht.
[6] 6 ist ein Diagramm, das ein Beispiel eines Übersichtsbildes zeigt, das auf einer Anzeigeeinheit des Fahrzeugumfeldanzeigesystems gemäß Ausführungsform 1 angezeigt wird.
[7] 7 ist ein Diagramm, das ein Beispiel eines Übersichtsbildes zeigt, das auf einer Anzeigeeinheit eines Fahrzeugumfeldanzeigesystems gemäß einem Vergleichsbeispiel angezeigt wird.
[8] 8 ist ein Diagramm, das den Ablauf der Verarbeitung durch das Fahrzeugumgebungsanzeigesystem gemäß Ausführungsform 1 zeigt.
[9] 9 ist ein Diagramm, das ein Verfahren zur Auswahl eines Bildkombinationsverfahrens durch eine Fahrzeugumgebungsbilderzeugungsvorrichtung gemäß Ausführungsform 2 veranschaulicht.
[10] 10 ist ein Diagramm, das das Verfahren zur Auswahl eines Bildkombinationsverfahrens durch die Fahrzeugumgebungsbilderzeugungsvorrichtung gemäß Ausführungsform 2 veranschaulicht.
[11] 11 ist ein Diagramm, das den Ablauf der Verarbeitung durch ein Fahrzeugumgebungsanzeigesystem gemäß Ausführungsform 2 zeigt.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Ausführungsform 1
Nachfolgend werden eine Fahrzeugumgebungsbilderzeugungsvorrichtung und ein Fahrzeugumgebungsanzeigesystem gemäß Ausführungsform 1 unter Bezugnahme auf die Zeichnungen beschrieben. 1 ist ein Blockdiagramm, das die Konfiguration des Fahrzeugumgebungsanzeigesystems gemäß Ausführungsform 1 zeigt, 2 ist ein Blockdiagramm, das die Konfiguration der Fahrzeugumgebungsbilderzeugungsvorrichtung gemäß Ausführungsform 1 zeigt, 3 ist ein Diagramm, das ein Hardware-Konfigurationsbeispiel der Fahrzeugumgebungsbilderzeugungsvorrichtung zeigt, und 4 und 5 sind Diagramme, die ein Bildkombinationsverfahren durch die Fahrzeugumgebungsbilderzeugungsvorrichtung zeigen. In den Zeichnungen sind identische und korrespondierende Teile mit denselben Referenzzeichen bezeichnet.
Wie in 1 gezeigt, umfasst das Fahrzeugumgebungsanzeigesystem eine Vielzahl von Kameras 1, die Abbildungsvorrichtungen zum Aufnehmen eines Bildes einer Fahrzeugumgebung sind, eine ECU 2 (elektronische Steuereinheit), die die Fahrzeugumgebungsbilderzeugungsvorrichtung ist, eine Fahrzeugfahrinformationsdetektionseinheit 3, einen Sensor 4 zum Detektieren eines Objekts um ein Fahrzeug, eine Objektinformationsdetektionseinheit 5 und eine Anzeigeeinheit 6.
Wie in 4 gezeigt, sind die Kameras 1 beispielsweise an der Vorderseite, der Rückseite, der linken und der rechten Seite eines Fahrzeugs 7 angebracht und nehmen Bilder des vorderen, hinteren, linken und rechten Bereichs des Fahrzeugs 7 auf. Die Bildbereiche der jeweiligen Kameras 1 haben überlappende Abschnitte. In dem in 4 gezeigten Beispiel haben ein Abbildungsbereich 10B der Kamera 1 im hinteren Teil des Fahrzeugs und ein Abbildungsbereich 10R der Kamera 1 auf der rechten Seite des Fahrzeugs einen überlappenden Abschnitt 10BR in einem rechten hinteren Bereich des Fahrzeugs 7. Im Falle der Einbeziehung von vier Kameras 1 gibt es vier überlappende Abschnitte.
Die ECU 2 erzeugt ein Übersichtsbild des Fahrzeugs 7 und der Fahrzeugumgebung auf der Grundlage einer Vielzahl von Bildern der Fahrzeugumgebung, die von den Kameras 1 aufgenommen wurden. Die Funktionen der ECU 2 werden später im Detail beschrieben. Die Fahrzeugfahrinformationsdetektionseinheit 3 detektiert Fahrzeugfahrinformationen, einschließlich der Fahrtrichtung und der Geschwindigkeit des Fahrzeugs 7, von dem Fahrzeug 7. Insbesondere detektiert die Fahrzeugfahrinformationsdetektionseinheit 3 Fahrzeuginformationen wie den aktuellen Lenkwinkel, die Geschwindigkeit und Ganginformationen von einer Motorsteuereinheit und detektiert die Fahrtrichtung und die Geschwindigkeit des Fahrzeugs 7 auf der Grundlage der Fahrzeuginformationen.
Der Sensor 4 ist am Fahrzeug 7 angebracht, detektiert ein Objekt 8 in der Umgebung des Fahrzeugs und sammelt Objektinformationen. Wie in 4 gezeigt, sind beispielsweise Sensoren 4 jeweils zwischen einer Kamera 1 und einer Kamera 1 vorgesehen und jeweils so eingestellt, dass ein Erfassungsbereich durch den Sensor 4 den überlappenden Abschnitt der Abbildungsbereiche der beiden Kameras 1 einschließt. Der Typ jedes Sensors 4 ist nicht besonders beschränkt, und ein Millimeterwellenradar, ein Sonar, das ein Ultraschallsensor ist, eine Kamera oder dergleichen wird verwendet.
Die Objektinformationsdetektionseinheit 5 detektiert die Objektinformation einschließlich der Positionsinformation des vom Sensor 4 erfassten Objekts 8 und detektiert den Abstand zwischen dem Objekt 8 und dem Fahrzeug 7 auf der Grundlage der Positionsinformation. Es kann ein Sensor mit der Funktion der Objektinformationsdetektionseinheit 5 verwendet werden. Die Anzeigeeinheit 6 zeigt das von der ECU 2 erzeugte Übersichtsbild an, das das Fahrzeug 7 und die Umgebung des Fahrzeugs umfasst. Die Anzeigeeinheit 6 ist eine allgemeine Anzeige und wird im Fahrzeuginnenraum installiert, so dass der Fahrer die Anzeigeeinheit 6 leicht sehen kann.
Wie in 2 gezeigt, umfasst die ECU 2 eine Framesynchronisationseinheit 21, eine Objektabstandsbestimmungseinheit 22, eine Kombinationsverfahrensauswahleinheit 23, eine Bildumwandlungseinheit 24, eine Straßenoberflächenfarbdetektionseinheit 25, eine Bildaufteilungseinheit 26 und eine Bildkombinationseinheit 27. Nachfolgend werden die Funktionen der jeweiligen Einheiten beschrieben.
Die Framesynchronisationseinheit 21 synchronisiert die von den Kameras 1 erfassten Bildinformationen, die von der Objektinformationsdetektionseinheit 5 erfassten Objektinformationen und die Fahrzeugbewegungsinformationen, einschließlich der Fahrtrichtung und der Geschwindigkeit des Fahrzeugs 7. Die Fahrzeugfahrinformationen werden von der Fahrzeugfahrinformationsdetektionseinheit 3 detektiert. Die Framesynchronisation ist eines der Signalsynchronisationsverfahren, und bei der Framesynchronisation wird die Synchronisation gemäß einem vorgegebenen Framesynchronisationsmuster durchgeführt. Die Objektabstandsbestimmungseinheit 22, die Kombinationsverfahrensauswahleinheit 23 und die Bildumwandlungseinheit 24 führen jeweils eine Verarbeitung unter Verwendung der von der Framesynchronisationseinheit 21 synchronisierten Informationen durch.
Die Objektabstandsbestimmungseinheit 22 bestimmt auf der Grundlage der von der Objektinformationsdetektionseinheit 5 erhaltenen Objektinformationen, ob der Abstand zwischen dem Objekt 8 und dem Fahrzeug 7 innerhalb eines Schwellenwertes liegt. Ob das Objekt 8 in dem auf der Anzeigeeinheit 6 angezeigten Übersichtsbild dargestellt wird, hängt von der Position des Objekts 8 und dem Abstand zwischen dem Objekt 8 und dem Fahrzeug 7 ab. Daher wird der Schwellenwert, der in der Objektabstandsbestimmungseinheit 22 verwendet wird, auf der Grundlage des Abstands von einem Endabschnitt des Fahrzeugs 7 in dem in 4 gezeigten Übersichtsbild zu einer Bildschirmrand 6A (in 4 durch eine abwechselnde lange und kurze gestrichelte Linie angezeigt) der Anzeigeeinheit 6 eingestellt.
Die Kombinationsverfahrensauswahleinheit 23 wählt ein Kombinationsverfahren für ein Übersichtsbild in der Bildkombinationseinheit 27 auf der Grundlage der framesynchronisierten Bildinformationen, der Objektinformationen und der Fahrzeugbewegungsinformationen aus. In Ausführungsform 1 wählt die Kombinationsverfahrensauswahleinheit 23 ein erstes Kombinationsverfahren aus, wenn sich das Objekt 8 im überlappenden Abschnitt der Bildbereiche der beiden Kameras 1 befindet und der Abstand zwischen dem Objekt 8 und dem Fahrzeug 7 innerhalb des Schwellenwertes liegt. Andererseits, wenn kein Objekt 8 in dem überlappenden Abschnitt vorhanden ist oder wenn der Abstand zwischen dem Objekt 8 und dem Fahrzeug 7 größer als der Schwellenwert ist, wählt die Kombinationsverfahrenauswahleinheit 23 ein zweites Kombinationsverfahren aus. Das erste Kombinationsverfahren und das zweite Kombinationsverfahren werden später im Detail beschrieben.
Die Bildumwandlungseinheit 24 erhält Bildinformationen einer Vielzahl von Bildern, die von den Kameras 1 aufgenommen wurden, von der Framesynchronisationseinheit 21 und wandelt jedes Bild in ein Bild für ein Übersichtsbild um. Wenn die Kombinationsverfahrensauswahleinheit 23 das erste Kombinationsverfahren auswählt, werden die von der Bildumwandlungseinheit 24 erhaltenen Bilder für ein Übersichtsbild an die Straßenoberflächenfarbdetektionseinheit 25 und die Bildkombinationseinheit 27 gesendet. Wenn die Kombinationsverfahrensauswahleinheit 23 das zweite Kombinationsverfahren auswählt, werden die von der Bildumwandlungseinheit 24 erhaltenen Bilder für ein Übersichtsbild außerdem nur an die Bildkombinationseinheit 27 gesendet.
Die Straßenoberflächenfarbdetektionseinheit 25 detektiert die Straßenoberflächenfarbe des überlappenden Abschnitts in jedem Bild für ein von der Bildumwandlungseinheit 24 erzeugtes Übersichtsbild. Insbesondere, wenn die Kombinationsverfahrensauswahleinheit 23 das erste Kombinationsverfahren auswählt, schneidet die Straßenoberflächenfarbdetektionseinheit 25 den überlappenden Abschnitt aus jedem der beiden Bilder für ein Übersichtsbild aus, die den überlappenden Abschnitt haben, und detektiert die Straßenoberflächenfarbe des geschnittenen Bildes.
Als Verfahren zum Detetkieren einer Straßenoberflächenfarbe gibt es ein Verfahren, bei dem Farbinformationen eines Bildabschnitts (zum Beispiel mehrere Pixel um das Fahrzeug 7), in dem eine Straßenoberfläche zu sehen ist, aus den von den Kameras 1 erfassten Bildinformationen erfasst werden, und diese Farbinformationen als Farbinformationen einer Straßenoberflächenfarbe verwendet werden. Außerdem gibt es ein Verfahren, bei dem Positionsinformationen eines Objekts von der Objektinformationsdetektionseinheit 5 detektiert werden, Farbinformationen eines Abschnitts, in dem kein Objekt vorhanden ist, auf der Grundlage der Positionsinformationen erfasst werden und diese Farbinformationen als Farbinformationen einer Straßenoberflächenfarbe verwendet werden.
Wenn das Objekt 8 in dem überlappenden Abschnitt der Bildbereiche mehrerer Kameras 1 vorhanden ist, teilt die Bildaufteilungseinheit 26 den überlappenden Abschnitt in jedem Bild für ein Übersichtsbild in ein Straßenoberflächenbild und ein Objektbild auf. Wenn die Kombinationsverfahrensauswahleinheit 23 das erste Kombinationsverfahren auswählt, teilt die Bildaufteilungseinheit 26 den überlappenden Abschnitt in jedem Bild für ein Übersichtsbild in ein Straßenoberflächenbild und ein Objektbild auf der Grundlage der Farbinformationen der Straßenoberflächenfarbe, die von der Straßenoberflächenfarbdetektionseinheit 25 erkannt wurde. Das heißt, in der Bildaufteilungseinheit 26 werden zwei Paare eines Straßenoberflächenbildes und eines Objektbildes für einen überlappenden Abschnitt erhalten.
In einem Bildaufteilungsverfahren durch die Bildaufteilungseinheit 26 sucht die Bildaufteilungseinheit 26 beispielsweise nach Pixeln, die mit der Farbinformation der Straßenoberflächenfarbe übereinstimmen, aus dem überlappenden Abschnitt im Bild für ein Übersichtsbild, und unterscheidet zwischen einem Objektabschnitt und einem Straßenoberflächenabschnitt. Die Bildaufteilungseinheit 26 schneidet die Pixel des Objektteils als Objektbild aus und füllt diesen Teil mit den Pixeln, die mit den Farbinformationen der Straßenoberflächenfarbe übereinstimmen, wodurch ein Straßenoberflächenbild erzeugt wird.
In Ausführungsform 1 teilt die Bildaufteilungseinheit 26 den überlappenden Abschnitt im Bild in ein Straßenoberflächenbild und ein Objektbild auf der Grundlage der Farbinformationen der Straßenoberflächenfarbe auf, aber das Verfahren zum Aufteilen eines Bildes ist nicht darauf beschränkt. Als weiteres Verfahren kann beispielsweise ein Verfahren verwendet werden, bei dem die Koordinaten des Objektteils in dem überlappenden Abschnitt auf der Grundlage der von der Objektinformationsdetektionseinheit 5 detektierten Positionsinformationen des Objekts 8 berechnet werden und der überlappende Abschnitt in ein Straßenoberflächenbild und ein Objektbild unterteilt wird.
Die Bildkombinationseinheit 27 kombiniert das gesamte Bild oder einen Teil des Bildes für ein Übersichtsbild, das von der Bildumwandlungseinheit 24 erhalten wurde, und das Straßenoberflächenbild und das Objektbild, die jeweils von der Bildaufteilungseinheit 26 erhalten wurden, um ein Übersichtsbild zu erzeugen. Die Bildkombinationseinheit 27 erzeugt ein Übersichtsbild entweder durch das erste Kombinationsverfahren oder durch das zweite Kombinationsverfahren.
Beim ersten Kombinationsverfahren werden die Bilder für ein Übersichtsbild, die von der Bildumwandlungseinheit 24 erhalten wurden, und das Straßenoberflächenbild und das Objektbild, die jeweils von der Bildaufteilungseinheit 26 erhalten wurden, kombiniert, um ein Übersichtsbild zu erzeugen. Wenn das erste Kombinationsverfahren ausgewählt wird, werden, da das Objekt 8 im überlappenden Abschnitt der Bildbereiche vorhanden ist, zwei Paare eines Straßenoberflächenbildes und eines Objektbildes, die durch die Bildaufteilungseinheit 26 erhalten werden, für den überlappenden Abschnitt kombiniert, und die Bilder für ein Übersichtsbild, die durch die Bildumwandlungseinheit 24 erhalten werden, werden für den anderen Teil kombiniert. Darüber hinaus werden im zweiten Verfahren nur die Bilder für ein Übersichtsbild, die von der Bildumwandlungseinheit 24 erhalten wurden, kombiniert, um ein Übersichtsbild zu erzeugen.
Die ECU 2 ist eine elektronische Schaltung einschließlich eines Mikrocomputers und dergleichen und besteht aus einem Prozessor 100 und einer Speichervorrichtung 101, wie in 3 gezeigt. Die Speichervorrichtung 101 umfasst eine flüchtige Speichervorrichtung, wie z.B. einen Direktzugriffsspeicher, und eine nichtflüchtige Zusatzspeichervorrichtung, wie z.B. einen Flash-Speicher. Darüber hinaus kann die Speichervorrichtung 101 eine Hilfsspeichervorrichtung enthalten, die eine Festplatte anstelle des Flash-Speichers ist.
Der Prozessor 100 führt ein Programm aus, das von der Speichervorrichtung 101 eingegeben wurde. In diesem Fall wird das Programm von der Hilfsspeichereinrichtung über die flüchtige Speichereinrichtung in den Prozessor 100 eingegeben. Darüber hinaus kann der Prozessor 100 Daten, wie beispielsweise ein Berechnungsergebnis, an die flüchtige Speichervorrichtung der Speichervorrichtung 101 ausgeben oder die Daten in der Hilfsspeichervorrichtung über die flüchtige Speichervorrichtung speichern.
Darüber hinaus bestehen die Fahrzeugfahrinformationsdetektionseinheit 3 und die Objektinformationsdetektionseinheit 5 in ähnlicher Weise aus einem Prozessor und einer Speichervorrichtung, die in dem Fahrzeugumgebungsanzeigesystem (nicht dargestellt) installiert sind. Ein Programm, das die Funktionen der Fahrzeugfahrinformationsdetektionseinheit 3 und der Objektinformationsdetektionseinheit 5 beschreibt, wird von dem Prozessor ausgeführt.
Als nächstes wird das Kombinationsverfahren für ein Übersichtsbild durch die ECU 2 unter Bezugnahme auf 4 und 5 im Detail beschrieben. In 4 befindet sich das Objekt 8 im Überlappenden Abschnitt 10BR des Abbildungsbereichs 10B der Kamera 1 im Heck des Fahrzeugs und des Abbildungsbereichs 10R der Kamera 1 auf der rechten Seite des Fahrzeugs. Außerdem befindet sich das Objekt 8 innerhalb des Bildschirmrandes 6A der Anzeigeeinheit 6, so dass die Objektabstandsbestimmungseinheit 22 feststellt, dass der Abstand zwischen dem Objekt 8 und dem Fahrzeug 7 innerhalb des Schwellenwertes liegt. Daher wählt die Kombinationsverfahrenauswahleinheit 23 das erste Kombinationsverfahren aus.
Wenn das erste Kombinationsverfahren ausgewählt ist, schneidet die Bildumwandlungseinheit 24 das Bild eines Abschnitts 11, in dem das Objekt 8 erkannt wird, aus dem von jeder Kamera 1 aufgenommenen Bild aus und wandelt das ausgeschnittene Bild in ein Bild für ein Übersichtsbild um. Alternativ kann die Bildumwandlungseinheit 24 das von jeder Kamera 1 aufgenommene Bild in ein Bild für ein Übersichtsbild umwandeln und dann das Bild des Abschnitts 11, in dem das Objekt 8 erkannt wird, ausschneiden. Als Ergebnis erhält man, wie in 5 dargestellt, ein Übersichtsbild 11a des Abschnitts 11, der von der Kamera 1 im hinteren Teil des Fahrzeugs aufgenommen wurde, und ein Übersichtsbild 11b des Abschnitts 11, der von der Kamera 1 auf der rechten Seite des Fahrzeugs aufgenommen wurde. Diese Übersichtsbilder 11a und 11b enthalten jeweils das Objekt 8 und eine Straßenoberfläche 12.
Anschließend detektiert die Straßenoberflächenfarbdetektionseinheit 25 die Farbinformationen der Straßenoberflächenfarbe in jedem der Übersichtsbilder 11a und 11b. Die Bildaufteilungseinheit 26 extrahiert das Objekt 8 aus jedem der Übersichtsbilder 11a und 11b auf der Grundlage der von der Straßenoberflächenfarbdetektionseinheit 25 detektierten Straßenoberflächenfarbe und teilt jedes der Übersichtsbilder 11a und 11b in ein Straßenoberflächenbild, das die Straßenoberfläche 12 enthält, und ein Objektbild, das das Objekt 8 enthält. Die Bildkombinationseinheit 27 führt eine Bildkombination durch Alpha-Blending unter Verwendung dieser beiden Paare aus dem Straßenoberflächenbild und dem Objektbild durch.
Im ersten Kombinationsverfahren, wie in 5 gezeigt, wird die Kombination durchgeführt, wobei jedes der Übersichtsbilder 11a und 11b in vier Bereiche unterteilt wird. Der erste Bereich ist ein Bereich, der das Straßenoberflächenbild in beiden Übersichtsbildern 11a und 11b darstellt. Für den ersten Bereich wird jeder α-Wert auf 0,5 gesetzt. Der zweite Bereich ist ein Bereich, der das Objektbild im Übersichtsbild 11a und das Straßenoberflächenbild im Übersichtsbild 11b darstellt. Für den zweiten Bereich wird ein α-Wert für das Objektbild auf 1 und ein α-Wert für das Straßenoberflächenbild auf 0 gesetzt.
Der dritte Bereich ist ein Bereich, der das Straßenoberflächenbild im Übersichtsbild 11a und das Objektbild im Übersichtsbild 11b ist. Für den dritten Bereich wird ein α-Wert für das Objektbild auf 1 und ein α-Wert für das Straßenoberflächenbild auf 0 gesetzt. Der vierte Bereich ist ein Bereich, der das Objektbild in den beiden Übersichtsbildern 11a und 11b ist. Für den vierten Bereich wird jeder α-Wert auf 0,5 gesetzt. Für den ersten Bereich und den vierten Bereich ist die Einstellung des α-Wertes nicht darauf beschränkt.
Wie oben beschrieben, wird bei dem ersten Kombinationsverfahren, wenn das Straßenoberflächenbild und das Objektbild des überlappenden Abschnitts kombiniert werden, für den Bereich, der das Objektbild in einem der beiden Paare und das Straßenoberflächenbild in dem anderen der beiden Paare ist, der α-Wert für das Objektbild auf 1 gesetzt, und der α-Wert für das Straßenoberflächenbild wird auf 0 gesetzt. Die Straßenoberflächenbilder und die Objektbilder der vier Bereiche, für die jeweils der α-Wert bereitgestellt wird, werden kombiniert, um ein in 5 gezeigtes Übersichtsbild 11c zu erzeugen. Die folgende Gleichung (1) ist eine allgemeine Gleichung für das Alpha-Blending unter Verwendung eines α-Werts. In Gleichung (1) ist Cg die Farbinformation eines Straßenoberflächenbildes, Co ist die Farbinformation eines Objektbildes, A ist ein α-Wert, und Cr ist die Farbinformation nach der Kombination. $Cr = Cg \times (1 - A) + Co \times A$
Beim allgemeinen Alpha-Blending wird der α-Wert A in Gleichung (1) auf einen Wert zwischen 0 und 1 gesetzt, und die Farben der beiden Bilder werden gemischt, wobei die Farbe
jedes Bildes transparent gemacht wird. Wenn der α-Wert beispielsweise auf 0,5 gesetzt wird, wird ein Bild erzeugt,
bei dem die Farben beider Bilder in gleichem Maße gemischt werden. Andererseits wird in der ECU 2 gemäß Ausführungsform 1 der α-Wert für das Objektbild auf 1 für den zweiten Bereich und den dritten Bereich in 5 gesetzt, und die Kombination wird durchgeführt, ohne die Farben der Objektbilder transparent zu machen.
6 zeigt ein Beispiel eines Übersichtsbildes, das auf der Anzeigeeinheit des Fahrzeugumgebungsanzeigesystems gemäß Ausführungsform 1 angezeigt wird. Ein Übersichtsbild 13a wird erhalten, indem die Bilder des überlappenden Abschnitts in zwei Paare eines Straßenoberflächenbildes und eines Objektbildes unterteilt werden und eine Kombination durchgeführt wird, wobei der α-Wert für das Objektbild auf 1 und der α-Wert für das Straßenoberflächenbild auf 0 für den Bereich gesetzt wird, der das Objektbild in einem der beiden Paare und das Straßenoberflächenbild in dem anderen der beiden Paare ist. Im Übersichtsbild 13a, das auf der Anzeigeeinheit 6 angezeigt wird, sind die stabförmigen Objekte 9 vor dem Fahrzeug 7 deutlich und ohne Unschärfe zu erkennen.
7 zeigt ein Beispiel eines Übersichtsbildes, das auf einer Anzeigeeinheit eines Fahrzeugumgebungsanzeigesystems gemäß einem Vergleichsbeispiel angezeigt wird. In dem Vergleichsbeispiel werden Bilder für ein Übersichtsbild von zwei Kameras 1 kombiniert, wobei jeder α-Wert auf 0,5 gesetzt wird, ohne jedes Bild eines überlappenden Abschnitts in ein Straßenoberflächenbild und ein Objektbild zu unterteilen. Auf diese Weise werden die Farben der Objektteile von zwei Bildern für ein Übersichtsbild jeweils um 50 % transparent gemacht, und die stangenförmigen Objekte 9, die in einem Übersichtsbild 13b zu sehen sind, werden verschwommen.
Als nächstes wird der Ablauf der Verarbeitung durch das Fahrzeugumgebungsanzeigesystem gemäß Ausführungsform 1 unter Bezugnahme auf ein Flussdiagramm von 8 beschrieben. Zunächst werden in Schritt S1 Bildinformationen aus einer Vielzahl von aufgenommenen Bildern der Fahrzeugumgebung, Objektinformationen einschließlich Positionsinformationen eines Objekts in der Fahrzeugumgebung und Fahrzeugfahrinformationen einschließlich der Fahrtrichtung und der Geschwindigkeit des Fahrzeugs erfasst (Informationserfassungsschritt). Anschließend werden in Schritt S2 die in Schritt S1 erfassten Informationen framesynchronisiert (Framesynchronisationsschritt).
In Schritt S3 wird ein Kombinationsverfahren für ein Übersichtsbild auf der Grundlage der in Schritt S1 erhaltenen und in Schritt S2 framesynchronisierten Informationen ausgewählt (Kombinationsverfahrensauswahlschritt). Zunächst wird in Schritt S3-1 bestimmt, ob ein Objekt in dem überlappenden Abschnitt der Bildbereiche in der Vielzahl der aufgenommenen Bilder der Fahrzeugumgebung vorhanden ist. Wenn ein Objekt in dem überlappenden Abschnitt vorhanden ist (JA), wird in Schritt S3-2 der Abstand zwischen dem Fahrzeug und dem Objekt erfasst. Als nächstes wird in Schritt S3-3 bestimmt, ob der Abstand zwischen dem Objekt und dem Fahrzeug innerhalb der Schwelle liegt. Wenn der Abstand zwischen dem Objekt und dem Fahrzeug innerhalb des Schwellenwertes liegt (JA), wird in Schritt S3-5 das erste Kombinationsverfahren ausgewählt.
Andererseits, wenn kein Objekt in dem überlappenden Abschnitt in Schritt S3-1 (NEIN) existiert, oder wenn der Abstand zwischen dem Objekt und dem Fahrzeug größer als der Schwellenwert in Schritt S3-3 (NEIN) ist, wird das zweite Kombinationsverfahren in Schritt S3-6 ausgewählt.
Wenn das erste Kombinationsverfahren in Schritt S3-5 ausgewählt wird, wird jedes der mehreren aufgenommenen Bilder in Schritt S4 in ein Bild für ein Übersichtsbild umgewandelt (Bildumwandlungsschritt). Als nächstes wird in Schritt S5 die Straßenoberflächenfarbe des überlappenden Abschnitts in jedem Bild für ein Übersichtsbild erkannt (Straßenoberflächenfarbdetektionschritt). Darüber hinaus wird in Schritt S6 der überlappende Abschnitt in jedem Bild für ein Übersichtsbild in ein Straßenoberflächenbild und ein Objektbild auf der Grundlage der Straßenoberflächenfarbe, die in dem Straßenoberflächenfarbdetektionschritt (S5) erkannt wurde, unterteilt (Bildunterteilungsschritt).
Anschließend werden in Schritt S7 unter Verwendung der in dem Bildteilungsschritt (S6) erhaltenen Bilder des überlappenden Abschnitts, d.h. zweier Paare des Objektbildes und des Straßenoberflächenbildes, die Bilder mit einem α-Wert für das Objektbild, der auf 1 gesetzt wird, und einem α-Wert für das Straßenoberflächenbild, der auf 0 gesetzt wird, für einen Bereich, der das Objektbild in einem der beiden Paare und das Straßenoberflächenbild in dem anderen der beiden Paare ist, kombiniert, um ein Übersichtsbild des überlappenden Abschnitts zu erzeugen. Als nächstes werden im Schritt S8 die im Bildumwandlungsschritt (S4) erhaltenen Bilder für ein Übersichtsbild des anderen Abschnitts kombiniert, um ein Übersichtsbild zu erzeugen, das das Fahrzeug und den Fahrzeugumgebungsbereich enthält (Bildkombinationsschritt).
Andererseits wird, wenn das zweite Kombinationsverfahren in Schritt S3-6 ausgewählt wird, jedes der mehreren aufgenommenen Bilder in ein Bild für ein Übersichtsbild in Schritt S9 (Bildumwandlungsschritt) umgewandelt. Anschließend werden in Schritt S10 die in dem Bildumwandlungsschritt (S9) erhaltenen Bilder für ein Übersichtsbild kombiniert, um ein Übersichtsbild zu erzeugen, das das Fahrzeug und die Umgebung des Fahrzeugs enthält (Bildkombinationsschritt). Schließlich wird in Schritt S11 das in dem Bildkombinationsschritt (S7, S8, S10) erzeugte Übersichtsbild angezeigt (Anzeigeschritt).
Wie oben beschrieben, wird in der ECU 2 gemäß Ausführungsform 1, wenn das Objekt 8 in dem überlappenden Abschnitt der Bildbereiche mehrerer Kameras 1 vorhanden ist, der überlappende Abschnitt in ein Straßenoberflächenbild und ein Objektbild unterteilt, und die Kombination wird durch Alpha-Blending durchgeführt, wobei ein α-Wert für das Objektbild auf 1 und ein α-Wert für das Straßenoberflächenbild auf 0 gesetzt wird, um ein Übersichtsbild zu erzeugen. Auf diese Weise ist es möglich, ein klares Übersichtsbild zu erzeugen, ohne das Objekt 8 im überlappenden Abschnitt zu verwischen. Darüber hinaus ist es mit dem Fahrzeugumgebungsanzeigesystem, das die ECU 2 gemäß Ausführungsform 1 enthält, möglich, ein klares Übersichtsbild anzuzeigen, ohne das Objekt 8, das in dem überlappenden Abschnitt vorhanden ist, zu verwischen.
Darüber hinaus wird in dem Fahrzeugumgebungsanzeigeverfahren gemäß Ausführungsform 1, wenn das Objekt 8 in dem überlappenden Abschnitt einer Vielzahl von Bildern vorhanden ist und der Abstand zwischen dem Objekt 8 und dem Fahrzeug 7 innerhalb des Schwellenwerts liegt, die Straßenoberflächenfarbe des überlappenden Abschnitts jedes Bildes für ein Übersichtsbild erfasst, der überlappende Abschnitt wird auf der Grundlage der Straßenoberflächenfarbe in ein Straßenoberflächenbild und ein Objektbild unterteilt, und das Bild für ein Übersichtsbild, das Straßenoberflächenbild und das Objektbild werden kombiniert, um ein Übersichtsbild zu erzeugen. Auf diese Weise ist es möglich, ein klares Übersichtsbild anzuzeigen, ohne das im Überlappenden Abschnitt vorhandene Objekt 8 zu verwischen.
Ausführungsform 2
Die Konfigurationen einer Fahrzeugumgebungsbilderzeugungsvorrichtung und eines Fahrzeugumgebungsanzeigesystems gemäß Ausführungsform 2 sind die gleichen wie in der oben beschriebenen Ausführungsform 1. Daher werden 1 und 2 wieder verwendet, und nur die Unterschiede werden hier beschrieben. 9 und 10 sind Diagramme, die ein Verfahren zur Auswahl eines Bildkombinationsverfahrens durch die Fahrzeugumgebungsbilderzeugungsvorrichtung gemäß Ausführungsform 2 zeigen. In 9 und 10 zeigt ein Pfeil A die Fahrtrichtung des Fahrzeugs 7 an.
In 9 befindet sich ein Objekt 8 in einem Abschnitt 11 eines überlappenden Abschnitts 10FR eines Abbildungsbereichs 10F der Kamera 1 an der Vorderseite des Fahrzeugs und des Abbildungsbereichs 10R der Kamera 1 an der rechten Seite des Fahrzeugs. Außerdem ist in 10 ein Objekt 8 in dem Abschnitt 11 des überlappenden Abschnitts 10BR des Abbildungsbereichs 10B der Kamera 1 im hinteren Teil des Fahrzeugs und des Abbildungsbereichs 10R der Kamera 1 auf der rechten Seite des Fahrzeugs vorhanden.
In jedem dieser Fälle befindet sich das Objekt 8 innerhalb des Bildschirmrands 6A der Anzeigeeinheit 6, und der Abstand zwischen dem Objekt 8 und dem Fahrzeug liegt innerhalb des Schwellenwerts, aber die Beziehung zwischen der Position des Objekts 8 und der Fahrtrichtung des Fahrzeugs 7 sind in diesen Fällen unterschiedlich. Das heißt, in 9 befindet sich das Objekt 8 auf der Seite der Fahrtrichtung des Fahrzeugs 7, so dass das Fahrzeug 7 mit hoher Wahrscheinlichkeit mit dem Objekt 8 in Berührung kommen wird. Andererseits befindet sich das Objekt 8 in 10 auf der der Fahrtrichtung des Fahrzeugs 7 entgegengesetzten Seite, so dass es unwahrscheinlich ist, dass das Fahrzeug 7 mit dem Objekt 8 in Berührung kommt.
Wenn das Objekt 8 in dem überlappenden Abschnitt vorhanden ist, der Abstand zwischen dem Objekt 8 und dem Fahrzeug 7 innerhalb des Schwellenwerts liegt und das Objekt 8 in der Fahrtrichtung des Fahrzeugs 7 vorhanden ist, wählt die Kombinationsverfahrensauswahleinheit 23 gemäß Ausführungsform 2 das erste Kombinationsverfahren aus, bei dem ein Bild für ein Übersichtsbild, ein Straßenoberflächenbild und ein Objektbild verwendet werden. Andererseits, wenn kein Objekt 8 in dem überlappenden Abschnitt vorhanden ist, wenn der Abstand zwischen dem Objekt 8 und dem Fahrzeug 7 größer als der Schwellenwert ist, oder wenn kein Objekt 8 in der Fahrtrichtung des Fahrzeugs 7 vorhanden ist, wählt die Kombinationsverfahrensauswahleinheit 23 das zweite Kombinationsverfahren aus, bei dem ein Bild für ein Übersichtsbild verwendet wird.
In der oben beschriebenen Ausführungsform 1 wird selbst dann, wenn das Objekt 8 auf der der Fahrtrichtung des Fahrzeugs 7 entgegengesetzten Seite vorhanden ist, wie in 10, das erste Kombinationsverfahren ausgewählt, so dass die Rechenlast der ECU 2 erhöht wird. In Ausführungsform 2 wird, wenn sich das Objekt 8 auf der der Fahrtrichtung des Fahrzeugs 7 entgegengesetzten Seite befindet, das zweite Kombinationsverfahren ausgewählt, so dass das Objekt 8 in einem erzeugten Übersichtsbild verschwommen ist. Das Objekt 8, das sich auf der der Fahrtrichtung entgegengesetzten Seite befindet, wird jedoch mit geringerer Wahrscheinlichkeit mit dem Fahrzeug 7 in Kontakt kommen und muss daher nicht so deutlich sein.
11 ist ein Flussdiagramm, das den Ablauf der Verarbeitung durch das Fahrzeugumgebungsanzeigesystem gemäß Ausführungsform 2 zeigt. Der Unterschied zwischen 11 und dem Flussdiagramm von 8, das oben in Ausführungsform 1 beschrieben wurde, besteht nur darin, dass der Schritt S3-4 zum Kombinationsverfahrenauswahlschritt (S3) hinzugefügt wurde. Das heißt, die Schritte S1, S2 und S4 bis S11 sind die gleichen wie im Flussdiagramm von 8, und daher entfällt deren Beschreibung.
In dem Kombinationsverfahrenauswahlschritt (S3) gemäß Ausführungsform 2 wird, wenn ein Objekt in dem überlappenden Abschnitt der Abbildungsbereiche in Schritt S3-1 (JA) existiert, der Abstand zwischen dem Fahrzeug und dem Objekt in Schritt S3-2 erfasst. Wenn der Abstand zwischen dem Objekt und dem Fahrzeug in Schritt S3-3 (JA) innerhalb des Schwellenwerts liegt, wird in Schritt S3-4 bestimmt, ob das Objekt in der Fahrtrichtung des Fahrzeugs vorhanden ist. Wenn das Objekt in Fahrtrichtung des Fahrzeugs vorhanden ist (JA), wird in Schritt S3-5 das erste Kombinationsverfahren ausgewählt.
Andererseits, wenn kein Objekt in dem überlappenden Abschnitt in Schritt S3-1 (NEIN) vorhanden ist, wenn der Abstand zwischen dem Objekt und dem Fahrzeug größer als der Schwellenwert in Schritt S3-3 (NEIN) ist, oder wenn das Objekt nicht in der Fahrtrichtung des Fahrzeugs in Schritt S3-4 (NEIN) vorhanden ist, wird das zweite Kombinationsverfahren in Schritt S3-6 ausgewählt.
In Ausführungsform 2 wird zusätzlich zu den gleichen Effekten wie in Ausführungsform 1, die oben beschrieben wurden, die Berechnungslast der ECU 2 reduziert, da das erste Kombinationsverfahren nur ausgewählt wird, wenn festgestellt wird, dass das Objekt 8 in Fahrtrichtung des Fahrzeugs 7 existiert.
Obwohl die vorliegende Offenbarung oben in Form von verschiedenen beispielhaften Ausführungsformen beschrieben wird, sollte verstanden werden, dass die verschiedenen Merkmale, Aspekte und Funktionen, die in einer oder mehreren der einzelnen Ausführungsformen beschrieben werden, in ihrer Anwendbarkeit auf die spezielle Ausführungsform, mit der sie beschrieben werden, nicht beschränkt sind, sondern stattdessen allein oder in verschiedenen Kombinationen auf eine oder mehrere der Ausführungsformen der Offenbarung angewendet werden können. Es versteht sich daher, dass zahlreiche Modifikationen, die nicht beispielhaft dargestellt wurden, entwickelt werden können, ohne den Anwendungsbereich der vorliegenden Offenbarung zu verletzen. Zum Beispiel kann mindestens einer der Bestandteile modifiziert, hinzugefügt oder eliminiert werden. Mindestens einer der in mindestens einer der bevorzugten Ausführungsformen genannten Bestandteile kann ausgewählt und mit den in einer anderen bevorzugten Ausführungsform genannten Bestandteilen kombiniert werden.
BESCHREIBUNG DER REFERENZZEICHEN

1: Kamera
2: ECU
3: Fahrzeugfahrinformationsdetektionseinheit
4: Sensor
5: Objektinformationsdetektionseinheit
6: Anzeigeeinheit
6A: Bildschirmrand
7: Fahrzeug
8, 9: Objekt
10B, 10F, 10R: Abbildungsbereich
10BR, 10FR: Überlappender Bereich
11: Ausschnitt
11a, 11b, 11c, 13a, 13b: Übersichtsbild
12: Straßenoberfläche
21: Framesynchronisationseinheit
22: Objektabstandsbestimmungseinheit
23: Kombinationsverfahrenauswahleinheit
24: Bildumwandlungseinheit
25: Straßenoberflächenfarbdetektionseinheit
26: Bildaufteilungsdeinheit
27: Bildkombinationseinheit

Claims

Eine Fahrzeugumgebungsbilderzeugungsvorrichtung (2) zum Erzeugen eines Übersichtsbildes (13a), das ein Fahrzeug (7) und einen Fahrzeugumgebungsbereich einschließt, auf der Grundlage einer Vielzahl von Bildern, die von einer Vielzahl von Abbildungsvorrichtungen (1), die an dem Fahrzeug (7) angebracht sind, aufgenommen wurden, wobei die Fahrzeugumgebungsbilderzeugungsvorrichtung (2) umfasst: eine Objektabstandsbestimmungseinheit (22) zum Bestimmen, ob ein Abstand zwischen einem Objekt (8, 9) und dem Fahrzeug (7) innerhalb eines Schwellenwerts liegt, auf der Grundlage von Objektinformationen, die von einem Sensor (4) zum Detektieren des Objekts (8, 9) in dem Fahrzeugumgebungsbereich erfasst werden; eine Bildumwandlungseinheit (24) zum Umwandeln jedes der Vielzahl von Bildern in ein Bild für ein Übersichtsbild; eine Bildaufteilungseinheit (26) zum Aufteilen des überlappenden Abschnitts (10BR, 10FR) in dem Bild für ein Übersichtsbild in ein Straßenoberflächenbild und ein Objektbild, wenn das Objekt (8, 9) in einem überlappenden Abschnitt (10BR, 10FR) von Abbildungsbereichen (10B, 10F, 10R) der Vielzahl von Abbildungsvorrichtungen (1) vorhanden ist; eine Bildkombinationseinheit (27) zum Kombinieren des gesamten oder eines Teils des Bildes für ein Übersichtsbild, das durch die Bildumwandlungseinheit (24) erhalten wurde, und des Straßenoberflächenbildes bzw. des Objektbildes, die durch die Bildaufteilungseinheit (26) erhalten wurden, um das Übersichtsbild (13a) zu erzeugen; und eine Framesynchronisationseinheit (21) zum Synchronisieren von Bildinformationen, die von den Abbildungsvorrichtungen (1) erfasst wurden, von Objektinformationen, die von dem Sensor (4) erfasst wurden, und von Fahrzeugbewegungsinformationen, die eine Fahrtrichtung und eine Geschwindigkeit des Fahrzeugs (7) umfassen.
Die Fahrzeugumgebungsbilderzeugungsvorrichtung (2) nach Anspruch 1, ferner umfassend eine Kombinationsverfahrensauswahleinheit (23) zum Auswählen eines Kombinationsverfahrens für das Übersichtsbild (13a) in der Bildkombinationseinheit (27) auf der Grundlage der Bildinformationen, der Objektinformationen und der Fahrzeugbewegungsinformationen, die durch die Framesynchronisationseinheit (21) synchronisiert werden.
Die Fahrzeugumgebungsbilderzeugungsvorrichtung (2) nach Anspruch 2, wobei wenn das Objekt (8, 9) in dem überlappenden Abschnitt (10BR, 10FR) existiert und der Abstand zwischen dem Objekt (8, 9) und dem Fahrzeug (7) innerhalb des Schwellenwerts liegt, die Kombinationsverfahrensauswahleinheit (23) ein erstes Kombinationsverfahren auswählt, bei dem das Bild für ein Übersichtsbild, das Straßenoberflächenbild und das Objektbild verwendet werden, und wenn das Objekt (8, 9) nicht in dem überlappenden Abschnitt (10BR, 10FR) vorhanden ist oder wenn der Abstand zwischen dem Objekt (8, 9) und dem Fahrzeug (7) größer als der Schwellenwert ist, wählt die Kombinationsverfahrensauswahleinheit (23) ein zweites Kombinationsverfahren aus, bei dem das Bild für ein Übersichtsbild verwendet wird.
Die Fahrzeugumgebungsbilderzeugungsvorrichtung (2) nach Anspruch 3, wobei wenn das Objekt (8, 9) in der Fahrtrichtung des Fahrzeugs (7) vorhanden ist, wählt die Kombinationsverfahrensauswahleinheit (23) das erste Kombinationsverfahren aus, und wenn das Objekt (8, 9) nicht in der Fahrtrichtung des Fahrzeugs vorhanden ist, wählt die Kombinationsverfahrensauswahleinheit (23) das zweite Kombinationsverfahren aus.
Die Fahrzeugumgebungsbilderzeugungsvorrichtung (2) nach einem der Ansprüche 1 bis 4, ferner umfassend eine Straßenoberflächenfarbendetektionseinheit (25) zum Detektieren einer Straßenoberflächenfarbe des überlappenden Abschnitts (10BR, 10FR), wobei die Bildaufteilungseinheit (26) den überlappenden Abschnitt (10BR, 10FR) in das Straßenoberflächenbild und das Objektbild auf der Grundlage der von der Straßenoberflächenfarbdetektionseinheit (25) detektierten Straßenoberflächenfarbe aufteilt.
Die Fahrzeugumgebungsbilderzeugungsvorrichtung (2) nach einem der Ansprüche 1 bis 5, wobei die Bildkombinationseinheit (27) eine Bildkombination durch Alpha-Blending durchführt, und wenn das Objekt (8, 9) in dem überlappenden Abschnitt (10BR, 10FR) existiert, die Bildkombinationseinheit (27) zwei Paare des Straßenoberflächenbildes und des Objektbildes verwendet, die durch die Bildaufteilungseinheit (26) erhalten wurden, und einen α-Wert für das Objektbild auf 1 setzt und einen α-Wert für das Straßenoberflächenbild auf 0 setzt für einen Bereich, der das Objektbild in einem der zwei Paare und das Straßenoberflächenbild in dem anderen der zwei Paare ist.
Die Fahrzeugumgebungsbilderzeugungsvorrichtung (2) nach einem der Ansprüche 1 bis 6, wobei der in der Objektabstandsbestimmungseinheit (22) verwendete Schwellenwert auf der Grundlage eines Abstands von einem Endabschnitt des Fahrzeugs (7) in dem Übersichtsbild (13a) zu einem Bildschirmrand (6A) einer Anzeigeeinheit (6), auf der das Übersichtsbild (13a) angezeigt wird, eingestellt wird.
Ein Fahrzeugumgebungsanzeigesystem, das umfasst: eine Vielzahl von Abbildungsvorrichtungen (1), die an einem Fahrzeug (7) angebracht sind, um ein Bild einer Fahrzeugumgebung aufzunehmen; einen Sensor (4) zum Detektieren eines Objekts (8, 9) in der Fahrzeugumgebung; eine Fahrzeugumgebungsbilderzeugungsvorrichtung (2) nach einem der Ansprüche 1 bis 7; und eine Anzeigeeinheit (6) zum Anzeigen des Übersichtsbildes (13a), das von der Fahrzeugumgebungsbilderzeugungsvorrichtung (2) erzeugt wird.
Das Fahrzeugumgebungsanzeigesystem nach Anspruch 8, ferner umfassend eine Fahrzeugfahrinformationsdetektionseinheit (3) zum Detektieren von Fahrzeugfahrinformationen, einschließlich einer Fahrtrichtung und einer Geschwindigkeit des Fahrzeugs (7), von dem Fahrzeug (7).
Das Fahrzeugumgebungsanzeigesystem nach Anspruch 8 oder 9, wobei der Sensor (4) ein Millimeterwellen-Radar, ein Sonar oder eine Kamera ist und ein Erfassungsbereich durch den Sensor (4) den überlappenden Abschnitt (10BR, 10FR) umfasst.
Ein Fahrzeugumgebungsanzeigeverfahren zum Erzeugen und Anzeigen eines Übersichtsbildes (13a), das ein Fahrzeug (7) und eine Fahrzeugumgebung enthält, wobei das Fahrzeugumgebungsanzeigeverfahren umfasst einen Informationserfassungsschritt des Erfassens von Bildinformationen einer Vielzahl von aufgenommenen Bildern des Fahrzeugumgebungsbereichs, von Objektinformationen, die Positionsinformationen eines Objekts (8, 9) in dem Fahrzeugumgebungsbereich enthalten, und von Fahrzeugbewegungsinformationen, die eine Fahrtrichtung und eine Geschwindigkeit des Fahrzeugs (7) enthalten; einen Bildumwandlungsschritt des Umwandelns jedes der Vielzahl von Bildern, die in dem Informationserfassungsschritt erfasst wurden, in ein Bild für ein Übersichtsbild; einen Straßenoberflächenfarbdetektionsschritt zum Detektieren einer Straßenoberflächenfarbe des überlappenden Abschnitts (10BR, 10FR), wenn das Objekt (8, 9) in einem überlappenden Abschnitt (10BR, 10FR) der Vielzahl von Bildern existiert und ein Abstand zwischen dem Objekt (8, 9) und dem Fahrzeug (7) innerhalb eines Schwellenwerts liegt; einen Bildaufteilungsschritt des Aufteilens des überlappenden Abschnitts (10BR, 10FR) in dem Bild für ein Übersichtsbild in ein Straßenoberflächenbild und ein Objektbild auf der Grundlage der Straßenoberflächenfarbe, die in dem Straßenoberflächenfarbdetektionsschritt detektiert wurde; einen Bildkombinationsschritt zum Kombinieren des gesamten oder eines Teils des Bildes für ein Übersichtsbild, das in dem Bildumwandlungsschritt erhalten wurde, und des Straßenoberflächenbildes bzw. des Objektbildes, die in dem Bildaufteilungsschritt erhalten wurden, um das Übersichtsbild (13a) zu erzeugen; und einen Anzeigeschritt des Anzeigens des im Bildkombinationsschritt erzeugten Übersichtsbildes (13a).
Das Fahrzeugumgebungsanzeigeverfahren nach Anspruch 11, ferner umfassend einen Kombinationsverfahrensauswahlschritt zum Auswählen eines Kombinationsverfahrens für das Übersichtsbild (13a) in dem Bildkombinationsschritt auf der Grundlage der in dem Informationserfassungsschritt gewonnenen Informationen.
Das Fahrzeugumgebungsanzeigeverfahren nach Anspruch 12, wobei in dem Kombinationsverfahrensauswahlschritt ein erstes Kombinationsverfahren, in dem das Bild für ein Übersichtsbild, das Straßenoberflächenbild und das Objektbild verwendet werden, ausgewählt wird, wenn das Objekt (8, 9) in dem überlappenden Abschnitt (10BR, 10FR) existiert, der Abstand zwischen dem Objekt (8, 9) und dem Fahrzeug (7) innerhalb des Schwellenwerts liegt und das Objekt (8, 9) in der Fahrtrichtung des Fahrzeugs (7) existiert.
Das Fahrzeugumgebungsanzeigeverfahren nach Anspruch 12 oder 13, wobei in dem Kombinationsverfahrensauswahlschritt ein zweites Kombinationsverfahren ausgewählt wird, bei dem das Bild für ein Übersichtsbild verwendet wird, wenn das Objekt (8, 9) nicht in dem überlappenden Abschnitt (10BR, 10FR) vorhanden ist, wenn der Abstand zwischen dem Objekt (8, 9) und dem Fahrzeug (7) größer als der Schwellenwert ist oder wenn das Objekt (8, 9) nicht in der Fahrtrichtung des Fahrzeugs (7) vorhanden ist.
Das Fahrzeugumgebungsanzeigeverfahren nach einem der Ansprüche 11 bis 14, wobei in dem Bildkombinationsschritt, die Bildkombination durch Alpha-Blending durchgeführt wird, und wenn das Objekt (8, 9) in dem überlappenden Abschnitt existiert, zwei Paare des Straßenoberflächenbildes (10BR, 10FR) und des Objektbildes, die in dem Bildaufteilungsschritt erhalten wurden, verwendet werden, und ein α-Wert für das Objektbild auf 1 gesetzt wird und ein α-Wert für das Straßenoberflächenbild auf 0 gesetzt wird für einen Bereich, der das Objektbild in einem der zwei Paare und das Straßenoberflächenbild in dem anderen der zwei Paare ist.