-
Die Erfindung betrifft eine Anzeigesteuertechnik zum Bereitstellen von Fahrunterstützungsbildern für einen Fahrer eines Fahrzeugs, und bezieht sich insbesondere auf eine Anzeigesteuertechnik, welche einem Fahrer auf der Grundlage von von einer Vielzahl von Abbildungsvorrichtungen erhaltenen Bilddaten Fahrunterstützungsbilder bereitstellt, wobei jede Abbildungsvorrichtung Bilder in jeder Region aufnimmt, welche teilweise mit einer anderen, das Fahrzeug, in welchem die Abbildungsvorrichtungen verbaut sind, umgebenden Region überlappt.
-
Konventionell gibt es eine bekannte Technik des Steuerns einer fahrzeugeigenen Anzeige durch Abbilden jeder Abbildungsregion, welche ein Fahrzeug umgebend teilweise überlappt ist, unter Verwendung einer Vielzahl von an dem Fahrzeug verbauten Kameras. Ein Zusammenfügen konvertierter Bilder der Vielzahl von aufgenommenen Bildern generiert ein einzelnes Anzeigebild, und das Anzeigebild wird als ein Fahrunterstützungsbild an die fahrzeugeigene bzw. fahrzeuginterne Anzeige ausgegeben.
-
Zum Beispiel wird, nachdem die Vielzahl von aufgenommenen Bildern durch Zusammenfügen bzw. Verbinden der Bilder in ein Vogelperspektivenansichtsbild konvertiert ist, ein einzelnes Vogelperspektivenansichtsanzeigebild generiert bzw. erzeugt. An diesem Punkt gibt es jedoch Fälle, in denen ein Objekt in einer Abbildungsregion erfasst wird, die dem zusammengefügten bzw. verbundenen Abschnitt des Vogelperspektivenansichtsanzeigebilds entspricht. In einem solchen Fall schlägt eine in der
JP2007-41791A vorgeschlagene Technik eine Technik des Änderns einer Position einer Bildgrenzlinie, welche der Verbindungsabschnitt des Vogelperspektivenanzeigebilds ist, vor.
-
Ferner offenbart die Druckschrift
JP 2014 - 090 349 A ein Bildverarbeitungssystem und ein Bildverarbeitungsverfahren, bei dem ein Bilderfassungsabschnitt Bildmerkmalswerte aus Bildern einzelner Kameras extrahiert. Ein Bildumwandlungsabschnitt 105 berechnet eine Überblendungsrate in Übereinstimmung mit den Bildmerkmalen und synthetisiert Bilder in überlagerten Bereichen, in denen eine Vielzahl von Kamerabildern überlappt werden. Wenn die Korrelation der Bildmerkmalswerte der einzelnen Bilder in den überlagerten Bereichen bestimmt wird und die Korrelation schwach ist, wird festgestellt, dass ein dreidimensionales Objekt existiert. Wenn es einen Bereich gibt, in dem sich die Bildmerkmale der Einzelbilder überlagern, wird das dreidimensionale Objekt innerhalb der überlagerten Bereiche als vorhanden erkannt. In diesem Fall wird die Überblendungsrate des Bildes, dessen Bildmerkmalmenge größer ist, auf einen größeren Wert eingestellt und die Bilder werden synthetisiert.
-
Jedoch kann in Übereinstimmung mit konventionellen Techniken durch Anzeigen des zusammengefügten Abschnitts des Bilds als die Grenzlinie in dem Fahrunterstützungsbild ein Problem eines Anzeigens unnatürlicher, zum Beispiel verzerrter, Fahrunterstützungsbilder für einen Fahrer auftreten.
-
In dieser Hinsicht wird erwogen, dass das Problem eines solchen unnatürlichen Aussehens des Anzeigebilds durch Zusammenfügen zweier konvertierter Bilder zum Synthetisieren einer überlappenden Bildregion gelöst werden kann. Wenn jedoch ein Objekt in einem überlappenden Bildbereich eines synthetisierten Bilds existiert, wird eine Verschlechterung der Sichtbarkeit des Objekts ebenfalls als potenziell störend für den Fahrer erachtet.
-
In Anbetracht der vorstehenden Probleme liegt der Erfindung als eine Aufgabe zugrunde, eine Anzeigesteuertechnik bereitzustellen, welche ein unnatürliches Aussehen zusammengefügter Abschnitte eines angezeigten Bilds durch Synthese von Bildregionsbereichen, welche jedes konvertierte Bild überlappen, auflöst und eine Verschlechterung der Sichtbarkeit eines Objekts in den überlappenden Bildregionsbereichen unterdrückt.
-
Diese Aufgabe wird durch eine Anzeigesteuervorrichtung mit den Merkmalen des Patentanspruchs 1, ein Anzeigesteuerverfahren mit den Merkmalen des Patentanspruchs 4, eine Verarbeitungsvorrichtung mit den Merkmalen des Patentanspruchs 5 und ein Aufzeichnungsmedium mit den Merkmalen des Patentanspruchs 8 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der beigefügten Unteransprüche.
-
Ein Aspekt der Erfindung ist eine Anzeigesteuervorrichtung, die in einem Fahrzeug installiert ist. Die Anzeigesteuervorrichtung ist mit einer Bilderkennungseinheit, einer Bildsyntheseeinheit, einer Bildfestlegeeinheit und einer Bildausgabeeinheit versehen. Die Bilderkennungseinheit erkennt vorbestimmte Objekte aus Bildern, die von einer Vielzahl von Abbildungseinrichtungen aufgenommen wurden, die an dem Fahrzeug verbaut sind, um Bilder in jeder teilweise überlappenden und das Fahrzeug umgebenden Abbildungsregion aufzunehmen.
-
Eine Abbildungsregion, welche ein von der Abbildungserkennungseinheit erkanntes Objekt in der Region enthält, kann eine überlappende Region sein, in welcher beide zweier Abbildungsvorrichtungen dazu betreibbar sind, Bilder aufzunehmen. In diesem Fall konvertiert die Bildsyntheseeinheit jedes aufgenommene Bild der beiden Abbildungsvorrichtungen zu Bildern, von welchen jedes von einem voreingestellten virtuellen Blickpunkt aus gesehen wird, und erzeugt bzw. generiert ein zusammengefügtes synthetisiertes Bild durch teilweises Überlappen jedes konvertierten Bilds. Die Bildsyntheseeinheit synthetisiert jeden konvertierten Bildbereich in den überlappenden Bildregionen unter Verwendung eines voreingestellten Überblendverhältnisses, wenn das synthetische Bild durch Zusammenfügen jedes der konvertierten Bilder zum Bereitstellen teilweise überlappter Abschnitte synthetisiert wird. Das heißt, die überlappenden Bildregionen sind Regionen, in welchen jedes konvertierte Bild so überlappt ist, dass es zu einem anderen konvertierten Bild passt.
-
Wenn sich eine Warnprioritätsebene eines Objekts nicht unterscheidet, und für ein aufgenommenes Bild, in welchem vorbestimmte Objektpositionsbedingungen, welche Bezug zu der Objektposition haben, zwischen jedem konvertierten Bild in den überlappenden Bildregionen erfüllt sind, legt die Bildfestlegeeinheit das Überblendverhältnis jedes von konvertierten Bildbereichen in den überlappenden Bildregionen auf der Grundlage von Erkennungsergebnissen aus der Bilderkennungseinheit fest. In dieser Weise wird jeder der konvertierten Bildbereiche in den überlappenden Bildregionen durch die Bildsyntheseeinheit unter Verwendung eines von der Bildfestlegeeinheit festgelegten Überblendverhältnisses synthetisiert. Das synthetisierte Bild wird von der Bildausgabeeinheit als ein Fahrunterstützungsbild an eine in dem Fahrzeug installierte Anzeigevorrichtung ausgegeben.
-
In Übereinstimmung mit dieser Konfiguration werden die konvertierten Bildbereiche in den überlappenden Bildregionen durch teilweise überlappendes Zusammenfügen jedes der konvertierten Bilder synthetisiert, und werden die konvertierten Bildbereiche unter Verwendung eines Überblendverhältnisses auf der Grundlage des Erkennungsergebnisses eines Objekts synthetisiert. Ferner kann ein Bild ohne Verbessern der zusammengefügten Abschnitte dargestellt werden, und kann folglich eine klarere Darstellung eines Objekts in überlappenden Bildregionsbereichen, welche einen zusammengefügten Abschnitt beinhalten, erzielt werden.
-
Erfindungsgemäß wird ein unnatürliches Aussehen, wie beispielsweise eine Verzerrung eines zusammengefügten Abschnitts, durch Synthese der überlappenden Bildregionsbereiche aufgelöst, und kann auch eine visuelle Verschlechterung eines Objekts in den überlappenden Bildregionsbereichen unterdrückt werden.
-
Darüber hinaus kann dieselbe Wirkung wie bei dem vorangehenden Aspekt der Anzeigesteuervorrichtung, die in einem Fahrzeug verbaut ist, aus denselben, vorstehend erwähnten Gründen mit dem Anzeigesteuerverfahren gemäß einem anderen Aspekt der Erfindung erhalten werden.
-
Es versteht sich, dass Symbole in der Zusammenfassung und in den Ansprüchen dazu verwendet werden, eine entsprechende Beziehung zwischen bestimmten Mitteln als einer in bevorzugten Ausführungsbeispielen beschriebenen Ausführungsform aufzuzeigen, und eine technische Reichweite der Erfindung nicht beschränken.
-
In den beigefügten Zeichnungen:
- 1 ist ein Blockdiagramm, das eine Konfiguration einer Anzeigesteuervorrichtung, die in einem Fahrzeug verbaut ist, gemäß einem Ausführungsbeispiel zeigt;
- 2 ist eine beschreibende Zeichnung, die jede Abbildungsregion einer Vielzahl von Kameras, die an einem Gastfahrzeug verbaut sind, gemäß dem Ausführungsbeispiel zeigt;
- 3 ist ein Blockdiagramm, das eine funktionelle Konfiguration einer Anzeigesteuereinheit gemäß dem Ausführungsbeispiel zeigt;
- 4 ist ein beschreibendes Diagramm, welches eine grundlegende Entsprechungstabelle (in Figur (A)) und eine ergänzende Entsprechungstabelle (in Figur (B)) beinhaltet;
- 5 ist ein beschreibendes Diagramm, welches eine Beschreibung eines virtuellen Blickpunkts in einer Front- und Heck-Richtung des Gastfahrzeugs (in Figur (A)), eine Beschreibung des virtuellen Blickpunkts in einer Links-Rechts-Richtung (in Figur (B)) und ein beschreibendes Diagramm des virtuellen Blickpunkts in einer Neigungsrichtung des Gastfahrzeugs (gleiche Figur (C)) beinhaltet;
- 6 beinhaltet ein Bild, das ein synthetisiertes Bild (in Figur (A)) zeigt, und ein Bild, das ein Fahrunterstützungsbild mit einem zu diesem hinzugefügten verbesserten Bild zeigt;
- 7 ist ein Ablaufdiagramm, das einen Festlegeprozess eines virtuellen Blickpunkts des Ausführungsbeispiels zeigt;
- 8 ist ein Ablaufdiagramm, das einen vereinfachten Tabellenauswahlprozess gemäß dem Ausführungsbeispiel zeigt;
- 9 ist ein Ablaufdiagramm, das beispielhaft einen Überblendungsverhältnisfestlegeprozess gemäß dem Ausführungsbeispiel darstellt; und
- 10 ist ein beschreibendes Diagramm, das ein Bild eines blickpunktkonvertierten Bildbereichs eines Objekts auf der Grundlage eines von einer Heckkamera (in Figur (A)), ein beispielhaftes Bild des blickpunktkonvertierten Bildbereichs des Objekts auf der Grundlage des aufgenommenen Bilds einer rechtsseitigen Kamera (in Figur (B)), ein beispielhaftes Bild eines überlappenden Bildbereichs beider blickpunktkonvertierter Bildbereiche, synthetisiert bei einem Überblendverhältnis von 50% (in Figur (C)) und ein beispielhaftes Bild des überlappenden Bildbereichs der beiden blickpunktkonvertierter Bildbereiche, synthetisiert bei einem Überblendverhältnis von 70%:30% (in Figur (D)) beinhaltet.
-
Nachstehend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf Figuren beschrieben.
-
[Erstes Ausführungsbeispiel]
-
Eine Anzeigesteuervorrichtung 1, die in einem Fahrzeug verbaut ist, weist eine Vielzahl von Kameras 10, eine Anzeigesteuereinheit 20 und eine Anzeige 30 auf. Obwohl in den Figuren nicht gezeigt, ist die in einem Fahrzeug verbaute Anzeigesteuereinheit 1 mit einem fahrzeuginternen Lokalbereichsnetzwerk (hierin als ein fahrzeuginternes LAN bezeichnet) verbunden. Das LAN ist dazu konfiguriert, fahrzeugbezogene Information zu teilen, zum Beispiel Information, die von jeder Sensorart zwischen anderen elektronischen Steuereinheiten (hierin als ECU bezeichnet), welche mit dem fahrzeuginternen LAN verbunden sind, erfasst wurde.
-
Ein Fahrzeug, in welchem konfigurierende Elemente verbaut sind, wird als ein Host- bzw. Gastfahrzeug bezeichnet. Es versteht sich, dass die Anzeigesteuereinheit 20 in dem ersten Ausführungsbeispiel eine Verarbeitungsvorrichtung ist, welche Bilddaten verarbeitet, die von der Vielzahl von Kameras 10 (im Einzelnen nachstehend beschrieben) aufgenommen wurden.
-
Es wird angemerkt, dass das fahrzeuginterne LAN ein Lokalbereichsnetzwerk ist, das innerhalb des Gastfahrzeugs genutzt wird. Das LAN verwendet ein Funkkommunikationsprotokoll wie beispielsweise CAN (Controller Area Network), FlexRay, LIN (Local Interconnect Network), MOST (Motor Oriented Systems Transport Network), AVC-LAN (Audio and Video Communication LAN), um zum Beispiel jede Art von fahrzeugbezogener Information zu übertragen. In dem ersten Ausführungsbeispiel wird Information, die eine Fahrtrichtung des Gastfahrzeugs zeigt (zum Beispiel eine Schalthebelposition, eine Lenkrichtung und andere manipulierte Variablen wie beispielsweise eine Beschleunigerpedalvariable), als fahrzeugbezogene Information von einer anderen ECU an die Anzeigesteuervorrichtung 1 übertragen, die in dem Fahrzeug verbaut ist.
-
Die Kameras 10 sind eine Vielzahl von an dem Fahrzeug verbauten Abbildungsvorrichtungen, die zum Abbilden der Umgebung des Gastfahrzeugs verwendet werden. Genauer ist jede Kamera 10 an einer jeweiligen vorderen, hinteren, linken und rechten Position des Gastfahrzeugs angebracht. In dem ersten Ausführungsbeispiel ist jede Kamera 10 in Übereinstimmung mit der Montageposition und der Abbildungsregion jeder an dem Gastfahrzeug verbauten Kamera allgemein als eine Frontkamera 2, eine Heckkamera 4, eine Rechtsseitenkamera 6 und eine Linksseitenkamera 8 klassifiziert. Wie in 2 gezeigt ist, ist die Frontkamera 2 an einem vorderen Abschnitt des Gastfahrzeugs (zum Beispiel in einer Mitte des Frontabschnitts) angebracht und bildet eine Frontregion A1 des Gastfahrzeugs ab. Es wird angemerkt, dass die Heckkamera 4 an einem hinteren Abschnitt des Gastfahrzeugs (zum Beispiel in einer Mitte des Heckabschnitts) angebracht ist und eine Heckregion A2 des Gastfahrzeugs abbildet. Die Rechtsseitenkamera 6 ist an einem rechtsseitigen Abschnitt des Gastfahrzeugs (zum Beispiel einem rechtseitigen Rückspiegelabschnitt) angebracht und bildet eine Rechtsseitenregion A3 des Gastfahrzeugs ab. Die Linksseitenkamera 8 ist an einem linksseitigen Abschnitt des Gastfahrzeugs (zum Beispiel einem linksseitigen Rückspiegelabschnitt) angebracht und bildet eine Linksseitenregion A4 des Gastfahrzeugs ab.
-
Jede Kamera 10 ist so an dem Gastfahrzeug verbaut, dass ein Teil jeder Abbildungsregion mit einem Teil einer Abbildungsregion zumindest einer anderen Kamera 10 überlappt (in der Spezifikation der Erfindung hierin als eine überlappende Region bzw. Überlappungsregion bezeichnet). Zum Beispiel beinhaltet, wie in 2 gezeigt, die Frontregion A1, welche die Abbildungsregion der Frontkamera 2 ist, eine vordere rechte Überlappungsregion OA1 und eine vordere linke Überlappungsregion OA2. Die vordere rechte Überlappungsregion OA1 überlappt speziell mit einem Teil der Rechtsseitenregion A3, welche die Abbildungsregion der Rechtsseitenkamera 6 ist, und die vorderen linke Überlappungsregion OA2 überlappt speziell mit einem Teil der Linksseitenregion A4, welche die Abbildungsregion der Linksseitenkamera 8 ist. In derselben Weise beinhaltet die Heckregion A2, welche die Abbildungsregion der Heckkamera 4 ist, eine hintere rechte Überlappungsregion OA3 und einen hinteren linken Überlappungsbereich OA4. Die hintere rechte Überlappungsregion OA3 überlappt speziell mit einem Teil der Rechtsseitenregion A3, welche eine Abbildungsregion der Rechtsseitenkamera 6 ist, und die hintere linke Überlappungsregion OA4 überlappt speziell mit einem Teil der Linksseitenregion A4, welche eine Abbildungsregion der Linksseitenkamera 8 ist. Das heißt, die Überlappungsregionen sind Regionen, in welchen zumindest eine der zwei Kameras 10 dazu betreibbar ist, Bilder aufzunehmen.
-
Wie in 2 gezeigt ist, wird in der Frontregion A1 eine andere Region als die vordere rechte Überlappungsregion OA1 und die vordere linke Überlappungsregion OA2 als eine vordere einzelne Region bzw. Einzelregion SA1 bezeichnet. In der Heckregion A2 wird eine andere Region als die hintere rechte Überlappungsregion OA3 und die hintere linke Überlappungsregion OA4 als eine hintere einzelne Region SA2 bezeichnet. In derselben Weise wird in der Rechtsseitenregion A3 eine andere Region als die vordere rechte Überlappungsregion OA1 und die hintere rechte Überlappungsregion OA3 als eine rechtsseitige einzelne Region SA3 bezeichnet. In der Linksseitenregion A4 wird eine andere Region als die vordere linke Überlappungsregion OA2 und die hintere linke Überlappungsregion OA4 als eine linksseitige einzelne Region SA4 bezeichnet. Das heißt, ein Abbilden in der Frontregion A1, welches nur durch die Frontkamera 2 durchgeführt werden kann, wird als die vordere einzelne Region SA1 bezeichnet, und ein Abbilden in der Heckregion A2, welches nur durch die Heckkamera durchgeführt werden kann, wird als die hintere einzelne Region SA2 bezeichnet. Ferner wird ein Abbilden in der Rechtsseitenregion A3, welches nur durch die Rechtsseitenkamera 6 durchgeführt werden kann, als die rechtsseitige einzelne Region SA3 bezeichnet, und wird ein Abbilden in der Linksseitenregion A4, welches nur durch die Linksseitenkamera 8 durchgeführt werden kann, als die linksseitige einzelne Region SA4 bezeichnet.
-
Die Anzeige 30 ist in dem Gastfahrzeug als zum Beispiel als eine Anzeigevorrichtung installiert. Zum Beispiel ist die Anzeige 30 aus einer Flüssigkristallanzeige, einer Blickfelddarstellungsanzeige bzw. Head-Up-Anzeige, oder beiden der erwähnten Anzeigen kombiniert, konfiguriert und an einer Position verbaut, welche von dem Fahrer des Gastfahrzeugs leicht einsehbar ist.
-
Die Anzeigesteuereinheit 20, das heißt, eine Verarbeitungsvorrichtung, ist hauptsächlich aus einem bekannten Mikrocomputer und einer fahrzeuginternen LAN-Kommunikationssteuereinrichtung konfiguriert. Der Mikrocomputer weist eine CPU 12 (zentrale Verarbeitungseinheit) und ein RAM 14A (Direktzugriffsspeicher), ein ROM 14B (Nurlesespeicher) und einen Halbleiterspeicher 14C wie beispielsweise einen Flash-Speicher auf. Das jeweilige RAM 14A, ROM 14B und der Halbleiterspeicher 14C werden hierin der Einfachheit halber als ein ‚Speicher 14‘ bezeichnet. Die CPU 12 führt jede Art von Prozess auf der Grundlage eines in dem Speicher 14 gespeicherten digitalen Computerprogramms aus. Genauer führt dieses Programm ein Verfahren entsprechend zum Beispiel einem Anzeigesteuerprogramm aus.
-
Es versteht sich, dass ein Mikrocomputer oder eine Vielzahl von Mikrocomputern in der Anzeigesteuereinheit 20 bereitgestellt sein können, wobei jeder Anbringungsort des einzelnen oder der mehreren Mikrocomputer(s) beliebig irgendwo innerhalb des Gastfahrzeugs bereitgestellt sein kann. Es wird ebenfalls angemerkt, dass das ROM 14B des Speichers 14 als ein nicht flüchtiges Speichermedium arbeitet.
-
Die Anzeigesteuereinheit 20 ist funktionell mit einer Bilderkennungseinheit 21, einer Blickpunktkonversionseinheit 22, einer Bildsyntheseeinheit 23, einer Bildfestlegeeinheit 24, einer Bildverbesserungseinheit 25 und einer Bildausgabeeinheit 26 versehen, welche durch Ausführung jeder von der CPU 12 durchgeführten Prozessart funktionell aktualisiert wird. Die Anzeigesteuereinheit 20 kann darüber hinaus konfigurierte Hardware zum Ausführen dieser Funktion in Teilen oder insgesamt unter Verwendung einer oder mehrerer elektronischer Schaltungen(en), zum Beispiel logischer Schaltungen oder integrierter bzw. IC-Schaltungen, sein.
-
Die Bilderkennungseinheit 21 ist mit einer Funktion versehen zum Erkennen vorbestimmter Objekte in jedem Bild. Das Objekt ist zum Beispiel ein Fußgänger oder ein anderes Fahrzeug. Es kommt in Betracht, dass der Fahrer des Gastfahrzeugs in Anbetracht einer Fahrunterstützung in erwünschter Weise über das Vorhandensein des Objekts informiert wird. Die Erkennung eines Objekts beinhaltet einen Prozess, in welchem zum Beispiel die Berechnung eines Kandidatenwerts, der eine Wahrscheinlichkeit des Objekts als ein Kandidatenobjekt angibt (eines Werts, welcher eine Erkennungswahrscheinlichkeit des Objekts angibt), und eines Bewegungswerts, der die Geschwindigkeit des Kandidatenobjekts angibt, durch Erfassung und Nachverfolgung des Kandidatenobjekts durchgeführt wird.
-
Die Erfassung des Kandidatenobjekts zieht die Erfassung eines Teils eines Objekts nach sich, welcher in einem Bild einem kennzeichnenden Element genügt, das für jedes Objekt vorbestimmt ist. Eine kennzeichnende Größe, die eine qualitative und eine quantitative Ebene des kennzeichnenden Elements bis zu einem Grad des erfassten Kandidatenobjekts angibt, wird in dem Speicher 14 gespeichert. Das Nachverfolgen des Kandidatenobjekts wird zum Beispiel unter Verwendung einer Vielzahl von Bildern, die zeitseriell kontinuierlich aufgenommen wurden, durchgeführt, um einen optischen Flusswert zu erhalten, der als ein Bewegungsvektor des Kandidatenobjekts in den kontinuierlich aufgenommenen Bildern dargestellt ist, wodurch der der optische Flusswert als der Bewegungswert des Kandidatenobjekts in dem Speicher 14 gespeichert wird. Genauer wird das Kandidatenobjekt als das Objekt erkannt, wenn vorbestimmte Bedingungen auf der Grundlage der Information erfüllt sind. Es wird angemerkt, dass ein Erkennungsverfahren eines Objekts ein dem Fachmann bekanntes Verfahren ist, so dass daher eine detaillierte Erklärung weggelassen wird.
-
Identifizierungsinformation, welche ein aufgenommenes Bild, welches ein erkanntes Objekt beinhaltet, aus anderen aufgenommenen Bildern identifiziert, und Information einer Bildposition, welche eine Position mit Bezug zu dem erkannten Objekt in einem Bild angibt, zum Beispiel, wird in dem Speicher 14 gespeichert. Es wird angemerkt, die Bildpositionsinformation Information beinhaltet, die zumindest eine der einzelnen Regionen SA1 bis SA4 und der Überlappungsregionen OA1 bis OA4 als eine Abbildungsregion spezifiziert, welche ein von der Bilderkennungseinheit erkanntes Bild beinhaltet.
-
Die Blickpunktkonversionseinheit 22 spezifiziert eine oder eine Vielzahl von Kamera(s) 10, welche Bilder mit einem erkannten Objekt, das von der Bilderkennungseinheit erkannt wurde, aufnimmt, als eine Bilderkennungsvorrichtung (hierin auch als eine Erkennungskamera bezeichnet). Die Blickpunktkonversionseinheit 22 weist eine Funktion zum Umwandeln bzw. Konvertieren eines aufgenommenen Bilds in ein von einem virtuellen Blickpunkt aus gesehenes Blickpunktbild, welches für die Erkennungskamera vordesigniert ist. Es wird angemerkt, dass ein Prozess, welcher eine Funktion zur Spezifikation der Erkennungskamera und Festlegen des virtuellen Blickpunkts aktualisiert, nachstehend beschrieben wird. Die Blickpunktkonversionseinheit 22 gemäß dem ersten Ausführungsbeispiel konvertiert aufgenommene Bilder von allen der Kameras 10 als blickpunktkonvertierte Kandidatenbilder, und jedes blickpunktkonvertierte Bild wird dann der Bildsyntheseeinheit 23 zugeführt.
-
Das blickpunktkonvertierte Bild kann auch als ein Koordinatenkonversionsbild bezeichnet werden. Das Koordinatenkonversionsbild ist ein aufgenommenes Bild, das aus einem Blickpunkt der Kamera 10 gesehen wird, welche Koordinaten hat, die zu dem virtuellen Kamerablickpunkt konvertiert wurden. Zum Beispiel werden dann, wenn eine optische Achse einer Kamerakoordinate als Referenz herangezogen wird, Koordinatenpositionen aller Punkte in einem Bild durch einen Winkel und einen Abstand der Punkte von der optischen Achse berechnet, so dass daher die Blickpunktkonversion des Bilds durch Drehung und Verschiebung der Koordinatenpositionen auf der Grundlage der optischen Achse der virtuellen Kamera durchgeführt werden kann. Genauer kann dann, wenn die Position und die Richtung des virtuellen Blickpunkts als die optische Achse der virtuellen Kamera festgelegt ist, ein gewünschtes blickpunktkonvertiertes Bild erhalten werden.
-
Es wird angemerkt, dass eine detaillierte Beschreibung weggelassen wird, da Blickpunktkonversionstechniken bekannt sind.
-
Eine Entsprechungstabelle, welche vorab in dem Speicher 14 gespeichert wird, wird dazu verwendet, eine Position und eine Richtung der virtuellen Blickpunkte festzulegen. Diese Tabelle wird in eine grundlegende Entsprechungstabelle bzw. Grundentsprechungstabelle und eine ergänzende Entsprechungstabelle bzw. Ergänzungsentsprechungstabelle aufgeteilt. Die grundlegende Entsprechungstabelle stelle jede Kamera 10 und den relativen virtuellen Blickpunkt in einer Eins-zu-Eins-Entsprechung bereit, wie beispielhaft in 4(A) dargestellt. Die grundlegende Entsprechungstabelle ermöglicht folglich eine eindeutige Festlegung des virtuellen Blickpunkts, wenn eine der Kameras 10 als die Erkennungskamera spezifiziert ist.
-
Demgegenüber stellt, wie in 4(B) gezeigt ist, die ergänzende Tabelle eine Eins-zu-Eins-Entsprechung jeder Kombination der Kameras 10 und eines virtuellen Blickpunkts bereit. Zum Beispiel haben die Kameras 10 vier Kombinationsmuster, welche beinhalten: Eine Kombination der Frontkamera 2 und der Rechtsseitenkamera 6 (vgl. 5(C), virtueller Blickpunkt E5), eine Kombination der Frontkamera 2 und der Linksseitenkamera 8 (vgl. 5(C), virtueller Blickpunkt E6), eine Kombination der Heckkamera 4 und der Rechtsseitenkamera 6 (vgl. 5(C) und den virtuellen Blickpunkt E7), und eine Kombination der Heckkamera 4 und der Linksseitenkamera 8 (vgl. 5(C) und den virtuellen Blickpunkt E8). Das heißt, die ergänzende Tabelle ermöglicht eine eindeutige Festlegung des virtuellen Blickpunkts für die spezifizierte Kamera 10 als die Erkennungskamera in zumindest einem der vorstehend erwähnten Kombinationsmuster. Es wird angemerkt, dass jede der vier Kombinationen dieselbe ist wie die beiden Kameras 10, die zum Beschreiben der Überlappungsregionen verwendet werden.
-
Genauer wird dann, wenn nur die Frontkamera 2 als die Erkennungsvorrichtung spezifiziert ist, der virtuelle Blickpunkt E1 unter Verwendung der grundlegenden Entsprechungstabelle festgelegt. Der virtuelle Blickpunkt E1 ist ein vorbestimmter Winkel ausgehend von einem Punkt auf der Heckseite, schräg oberhalb des Fahrzeugs, zu der Frontseite, schräg hin zu einem unteren Teil desselben, welcher das Gastfahrzeug beinhaltet (vgl. 5(A)). In einem Fall dann, wenn nur die Heckkamera 4 als die Erkennungsvorrichtung spezifiziert ist, wird der virtuelle Blickpunkt E2 als ein vorbestimmter Winkel festgelegt, ausgehend von einem Punkt an der Frontseite, schräg oberhalb des Fahrzeugs, zu der Rückseite, schräg hin zu einem unteren Teil desselben, welcher das Gastfahrzeug beinhaltet (vgl. 5(A)).
-
In derselben Weise wird dann, wenn die spezifizierte Kamera 10 nur die Rechtsseitenkamera 6 ist, der virtuelle Blickpunkt E3 als ein vorbestimmter Winkel festgelegt, ausgehend von einem Punkt auf der linken Seite schräg oberhalb des Fahrzeugs zu der rechten Seite schräg hin zu einem unteren Teil desselben, welcher das Gastfahrzeug beinhaltet. Darüber hinaus wird dann, wenn nur die Linksseitenkamera 8 als die Erkennungsvorrichtung spezifiziert ist, der virtuelle Blickpunkt E4 als ein Winkel festgelegt, ausgehend von einem Punkt auf der rechten Seite, schräg oberhalb des Gastfahrzeugs, zu der linken Seite, schräg hin zu einem unteren Teil, welcher das Fahrzeug beinhaltet (vgl. 5 (B)).
-
Auch die Festlegung eines virtuellen Blickpunkts unter Verwendung der Ergänzungstabelle entspricht der Festlegung des virtuellen Blickpunkts unter Verwendung der grundlegenden Entsprechungstabelle. Das heißt, durch Festlegen der Blickpunkte unter Verwendung der Entsprechungstabellen, speziell der grundlegenden Entsprechungstabelle und der ergänzenden Entsprechungstabelle, werden die virtuellen Blickpunkte E5 bis E8 jeder als die vorbestimmten Winkel von einer Position schräg oberhalb der Erkennungskamera auf einer gegenüberliegenden Seite derselben schräg hin zu einem tiefer liegenden Teil der Seite der Erkennungskamera festgelegt.
-
Es versteht sich, dass eine Richtung des virtuellen Blickpunkts als ein vorbestimmter Winkel innerhalb eines Bereichs (zum Beispiel zwischen 0 und 80°) voreingestellt ist, der in zumindest einer Fahrzeughöhenrichtung des Gastfahrzeugs einem rechten Winkel (das heißt, einer dazu senkrechten Richtung) nicht genügt. Der Grund für derartige Winkelfestlegungen besteht darin, dass dann, wenn ein blickpunktkonvertiertes Bild als ein Vogelperspektivenansichtsbild mit dem in einer senkrechten Richtung (das heißt 90°) bereitgestellten virtuellen Blickpunkt produziert wird, die Neigung des Objekts in dem Bild, sich in einer vertikalen Richtung zu dehnen, wenn sich das Objekt von einer Mitte des Bilds wegbewegt, hochgradig erhöht wird. Demgegenüber wird dann, wenn die Richtung des virtuellen Blickpunkts eine flache Richtung (das heißt 0°) ist, wird eine Blindfleckregionsgröße, die von dem Gastfahrzeug in dem Bild verursacht wird, maximiert. Daher liegt in dem ersten Ausführungsbeispiel ein festgelegter Winkel mit Bezug zu der Richtung des virtuellen Blickpunkts innerhalb eines Winkelbereichs, in welchem eine senkrechte Richtung oder eine flache Richtung des Gastfahrzeugs nicht erfüllt wird (zum Beispiel ein Bereich zwischen 10 und 80°).
-
Die Bildsyntheseeinheit 23 ist mit einer Funktion des Erzeugens bzw. Generierens eines zusammengesetzten bzw. synthetisierten Bilds versehen. Das synthetisierte Bild wird unter Verwendung jedes von der Blickpunktkonversionseinheit 22 partiell überlappend zusammengefügt gelieferten Blickpunktbilds generiert. In dem ersten Ausführungsbeispiel ist eine Region, welche einen zusammengefügten Abschnitt in dem synthetisierten Bild beinhaltet, eine überlappende Bildregion. Genauer werden eine überlappende Bildregion, welche die teilweise überlappten blickpunktkonvertierten Bilder jeweils der Frontkamera 2 und der Rechtsseitenkamera ist, und eine überlappende Bildregion, welche die teilweise überlappten blickpunktkonvertierten Bilder jeweils der Frontkamera 2 und der Linksseitenkamera 8 ist, erzeugt. Darüber hinaus wird eine überlappende Bildregion, welche die teilweise überlappten blickpunktkonvertierten Bilder jeweils der Heckkamera 4 und der Rechtsseitenkamera 6 ist, und eine überlappende Bildregion, welche die teilweise überlappten blickpunktkonvertierten Bilder jeweils der Heckkamera 4 und der Linksseitenkamera 8 ist, erzeugt. Die vorstehend beschriebenen Überlappungsregionen sind folglich die Regionen, welche die zusammengefügten Abschnitte der blickpunktkonvertierten Bilder in dem synthetisierten Bild beinhalten.
-
Es versteht sich, dass jede Überlappungsregion den Überlappungsregionen OA1 bis OA4 (vgl. 2) der Abbildungsregionen jeder Kamera 10 entspricht.
-
Die Bildsyntheseeinheit 23 ist mit der Funktion des Zusammensetzens bzw. Synthetisierens jedes blickpunktkonvertierten Bilds der überlappenden Bildregion unter Verwendung eines voreingestellten Überblendverhältnisses (Prozentsatz) versehen, wenn das synthetisierte Bild generiert wird. Der Grund dafür besteht darin, dass durch Synthetisieren jedes blickpunktkonvertierten Bilds der überlappenden Bildregion, die in dem zusammengefügten Abschnitt des synthetisierten Bilds enthalten ist, die zusammengefügten Abschnitte in dem synthetisierten Bild weniger offensichtlich werden, so dass daher ein unnatürliches Aussehen, zum Beispiel eine Verzerrung der zusammengefügten Abschnitte, reduziert werden kann.
-
Es wird angemerkt, dass in dem ersten Ausführungsbeispiel, da ein synthetisiertes Bild mit den gesamten, durch partielles Überlappen zusammengefügten Blickpunktbildern jeder Kamera 10 erzeugt wird, ein Rundumsichtbild mit verringerter Verzerrung produziert werden kann. Das Rundumsichtbild ist, wie in 6 (A) gezeigt ist, ein Bild, welches einen gesamten umgebenden Bereich des Gastfahrzeugs zusätzlich zu dem Gastfahrzeug selbst anzeigen kann.
-
Die Bildfestlegeeinheit 24 ist mit einer Funktion des Festlegens des Überblendverhältnisses (Prozentsatz) jedes blickpunktkonvertierten Bilds (hierin auch als ein überlappender Bildregionsbereich bzw. Überlappungsbildregionsbereich bezeichnet) der überlappenden Bildregionen auf der Grundlage des Erkennungsergebnisses eines von der Bilderkennungseinheit erkannten Objekts versehen. Das von der Bildfestlegeeinheit 24 festgelegte Überblendverhältnis wird für die Synthese der überlappenden Bildregionsbereiche verwendet, die von der Bildsyntheseeinheit 23 durchgeführt wird. Es versteht sich, dass ein Prozess, welcher eine Funktion der Bildfestlegeeinheit 24 aktualisiert (hierin als ein Überblendverhältnisfestlegeprozess bezeichnet), nachstehend im Einzelnen beschrieben wird.
-
Die Bildverbesserungseinheit 25 ist mit einer Funktion des visuellen Verbesserns eines Bildbereichs eines Objekts (hierin als ein Objektbildbereich bezeichnet), der in dem von der Blickpunktkonversionseinheit 22 konvertierten blickpunktkonvertierten Bild enthalten ist, versehen. Genauer wird in dem ersten Ausführungsbeispiel ein Prozess zum visuellen Verbessern des Objektbildbereichs des an der Bildsyntheseeinheit 23 generierten synthetisierten Bilds durchgeführt. Der Prozess wird durch Spezifizieren einer Bildposition des Objekts auf der Grundlage der in dem Speicher 14 gespeicherten Bildpositionsinformation verwirklicht. Bezüglich der visuellen Verbesserung eines Objektbildbereichs kann zum Beispiel ein ein Objekt umgebendes Bild oder ein verbessertes Bild, welches ein Objekt in dem Bild visuell verbessert, zu dem synthetisierten Bild hinzugefügt werden. Ein Prozess, in welchem eine Helligkeit des Objektbildbereichs auf höher als die anderer umgebender Bildbereiche erhöht werden kann, oder ein Kontrast zumindest eines des Objektbildbereichs und des synthetisierten Bilds können ebenfalls geändert werden.
-
Die Bildausgabeeinheit 26 ist mit einer Funktion des Ausgebens eines synthetisierten Bilds, welches durch die überlappenden Bildregionsbereiche unter Verwendung der Bildsyntheseeinheit 23 synthetisiert wird, versehen. Das synthetisierte Bild hat ein an der Bildfestlegeeinheit 24 festgelegtes Überblendverhältnis und wird als das Fahrunterstützungsbild an die Anzeige 30 ausgegeben. Das Fahrunterstützungsbild ist ein Anzeigebild, welches den Fahrer über ein existierendes Objekt, zum Beispiel ein anderes Fahrzeug oder einen Fußgänger, benachrichtig, so dass daher das Fahrunterstützungsbild ein angezeigtes Bild ist, welches das Fahren des Gastfahrzeugs unterstützt.
-
[Prozess]
-
[Virtuellblickpunktfestlegeprozess]
-
Als Nächstes wird ein Virtuellblickpunktfestlegeprozess, der von der CPU 12 ausgeführt wird, um eine teilweise Funktion der Blickpunktkonversionseinheit 22 zu verwirklichen, unter Verwendung eines in 7 gezeigten Ablaufdiagramms beschrieben. Es versteht sich, dass der Prozess in einem vorbestimmten Zeitverhalten für jede Funktion innerhalb der Anzeigesteuereinheit 20 während einer Zeitspanne, in welcher ein (nicht gezeigter) Schalter der Anzeigesteuervorrichtung 1, die in einem Fahrzeug verbaut ist, eingeschaltet ist, wiederholt wird.
-
Wenn der Prozess startet, werden zunächst an der Blickpunktkonversionseinheit 22 aufgenommene Bilder von allen der Kameras 10 zugeführt, und wird in Schritt S110 eine Ermittlung, ob ein aufgenommenes Bild ein Objekt aufweist, von der Bilderkennungseinheit durchgeführt. Die Ermittlung wird zum Beispiel auf der Grundlage dessen durchgeführt, ob Identifikationsinformation in dem Speicher 14 gespeichert ist. Falls ermittelt wird, dass ein aufgenommenes Bild, welches ein Objekt in dem Bild beinhaltet (unter den aufgenommenen Bildern) existiert, schreitet der Prozess zu Schritt S120 fort, und falls ermittelt wird, dass ein solches Bild nicht existiert, schreitet der Prozess zu Schritt S150 fort.
-
In Schritt S120 wird ein Prozess des Auswählens entweder der grundlegenden Entsprechungstabelle oder der ergänzenden Entsprechungstabelle, die dazu verwendet wird, den virtuellen Blickpunkt festzulegen, durchgeführt (der Prozess wird hierin als ein vereinfachter Tabellenauswahlprozess bezeichnet), und der Prozess schreitet zu Schritt S130 fort. Es wird angemerkt, dass auch die Erkennungskamera spezifiziert wird, wenn entweder die grundlegende Entsprechungstabelle oder die ergänzende Entsprechungstabelle in dem vereinfachten Tabellenauswahlprozess ausgewählt wird. Der vereinfachte Tabellenauswahlprozess wird nachstehend im Einzelnen beschrieben.
-
In Schritt S130 wird ermittelt, ob die Auswahl von entweder der grundlegenden Entsprechungstabelle oder der ergänzenden Entsprechungstabelle in Schritt S120 durchgeführt wurde. Die hier erwähnte Auswahl wird unter Verwendung des vereinfachten Tabellenauswahlprozesses durchgeführt. In Schritt S130 schreitet dann, wenn ermittelt wird, dass irgendeine der Entsprechungstabellen ausgewählt ist, der Prozess zu Schritt S140 fort, und schreitet demgegenüber dann, wenn keine der Entsprechungstabellen ausgewählt sind, der Prozess zu Schritt S150 fort.
-
In Schritt S140 wird der virtuelle Blickpunkt unter Verwendung der in Schritt S120 durch den vereinfachten Tabellenauswahlprozess ausgewählten Entsprechungstabelle festgelegt, und wird der Prozess abgeschlossen. Es wird angemerkt, dass in dem ersten Ausführungsbeispiel der virtuelle Blickpunkt als ein vorbestimmter Winkel von einer Position schräg oberhalb der Erkennungskamera auf einer gegenüberliegenden Seite derselben und schräg hin zu einem tiefer liegenden Teil der Erkennungskameraseite festgelegt.
-
Demgegenüber wird in Schritt S150 eine Kamera mit dem höchsten Prioritätsniveau bzw. der höchsten Prioritätsebene durch ein Verfahren ausgewählt, welches sich von dem vereinfachten Tabellenprozess von Schritt S120 unterscheidet. Ein Prozess, welcher die ausgewählte Prioritätskamera als die Erkennungskamera spezifiziert (hierin als ein ‚Erkennungskameraprioritätsprozess‘ bezeichnet), wird durchgeführt, und der Prozess schreitet zu Schritt S160 fort. Genauer wird für jeden Grund, aus dem die erkannte Kamera nicht erkannt werden konnte, eine Prioritätskamera unter Verwendung eines anderen Verfahrens ausgewählt.
-
Das heißt, dass in dem vorliegenden Ausführungsbeispiel in einem Fall des Ermittelns in Schritt S110, dass kein Objekt in den Bildern existiert, eine oder zwei Kameras als Prioritätskameras ausgewählt werden. Es wird angemerkt, dass eine Fahrtrichtung des Gastfahrzeugs auf der Grundlage von Fahrzeuginformation spezifiziert wird, die zum Beispiel durch bzw. über das fahrzeuginterne LAN von anderen ECUs übertragen wird. In einem anderen Beispiel wird dann, wenn die Anzahl von Erkennungskameras 3 oder mehr beträgt, oder falls es zwei Erkennungskameras und nachstehend beschriebene Abbildungsregionsbedingungen gibt, die nicht erfüllt sind, eine Prioritätskamera 10 wie nachstehend beschrieben als die Prioritätskamera ausgewählt. Das heißt, die Prioritätskamera in diesem Fall ist zum Beispiel die Kamera 10, welche ein Bild mit der höchsten Anzahl von Objekten aufnimmt, die Kamera 10, welche Bilder einschließlich eines Objekts in einer Abbildungsregion entsprechend der Fahrtrichtung des Gastfahrzeugs aufnimmt, und die Kamera 10, welche zu zwei von drei Kameras 10 mit einem aufgenommenen Bild mit einem in dem Bild enthaltenen Objekt benachbart ist. Die Prioritätskamera wird auf der Grundlage der Identifikationsinformation und der Bildpositionsinformation, gespeichert in dem Speicher 14, spezifiziert.
-
In Schritt S160 wird irgendeine der entsprechenden Tabellen unter der grundlegenden Entsprechungstabelle und der ergänzenden Entsprechungstabelle in Übereinstimmung mit der in Schritt S150 durch den Erkennungskameraprioritätsprozess spezifizierten Prioritätskamera ausgewählt. Danach wird der virtuelle Blickpunkt unter Verwendung der ausgewählten Entsprechungstabelle festgelegt, und endet der Prozess. Das heißt, dass in dem ersten Ausführungsbeispiel, da die spezifizierte Prioritätskamera die Erkennungskamera ist, ein virtueller Blickpunkt als der vorbestimmte Winkel von einer Position schräg oberhalb der Erkennungskamera auf einer gegenüberliegenden Seite derselben und schräg hin zu einem tiefer liegenden Teil der Erkennungskameraseite festgelegt.
-
[Vereinfachter Tabellenauswahlprozess]
-
Als Nächstes wird der von der CPU 12 in Schritt S120 ausgeführte vereinfachte Tabellenprozess unter Verwendung des in 8 gezeigten Ablaufdiagramms beschrieben.
-
In Schritt S210 wird, nachdem der Prozess begonnen ist, zunächst die Erkennungskamera an der Blickpunktkonversionseinheit 22 auf der Grundlage der in dem Speicher 14 gespeicherten Identifikationsinformation spezifiziert, und wird ermittelt, ob die spezifizierte Kamera nur eine Kamera oder mehr als eine Kamera ist. Falls eine Erkennungskamera ermittelt wird, schreitet der Prozess zu Schritt S220 fort, wird die grundlegende Entsprechungstabelle ausgewählt, und endet der Prozess. Demgegenüber schreitet dann, wenn die Erkennungskamera als nicht nur 1 Kamera ermittelt wird (in dem ersten Ausführungsbeispiel ist die Erkennungskamera zwei oder mehr), der Prozess zu Schritt S230 fort, und wird ermittelt, ob die Anzahl spezifizierter Kameras 2 Kameras ist. Ferner schreitet dann, wenn die Anzahl spezifizierter Kameras als zwei ermittelt wird, der Prozess zu Schritt S240 fort, jedoch endet der Prozess, wenn die spezifizierte Kamera als 3 oder mehr Kameras ermittelt wird.
-
Eine abgebildete Region, welche ein von der Bilderkennungseinheit 21 erkanntes Objekt beinhaltet, ist eine objekt-abgebildete Region. In Schritt S240 wird ermittelt, ob vorbestimmte Bildregionsbedingungen der objekt-abgebildeten Region erfüllt sind. Falls ermittelt wird, dass die Abbildungsregionsbedingungen erfüllt sind, schreitet der Prozess zu Schritt S250 fort, wird die ergänzende Entsprechungstabelle ausgewählt, und endet der Prozess. Falls ermittelt wird, dass die Abbildungsregionsbedingungen nicht erfüllt sind, endet der Prozess ohne Auswahl einer Entsprechungstabelle. Genauer wird in dem ersten Ausführungsbeispiel die objekt-abgebildete Region auf der Grundlage der in dem Speicher 14 gespeicherten Bildpositionsinformation spezifiziert.
-
Zum Beispiel kann eine der überlappenden Regionen unter den überlappenden Regionen OA1 bis OA4 eine objekt-abgebildete Regionsbedingung sein. Das heißt, falls ein von der Bilderkennungseinheit 21 erkanntes Objekt in einer der überlappenden Regionen OA1 bis OA4 auch in einem Fall existiert, in dem zwei Erkennungskameras spezifiziert sind, kann ein virtueller Blickpunkt, welcher den beiden kombinierten Erkennungskameras entspricht, festgelegt werden. Dies kann durch Auswahl der ergänzenden Tabelle durchgeführt werden, da beide Erkennungskameras das Objekt aufnehmen.
-
In einem anderen Beispiel können auch zwei der einzelnen Regionen SA1 bis SA4, die beide zu einer der überlappenden Regionen OA1 bis OA4 benachbart sind, eine Abbildungsregionsbedingung erfüllen. Das heißt, falls zwei oder mehr Objekte als in zwei der einzelnen Regionen SA1 bis SA4 verteilt erkannt werden, zwischenliegend zwischen einer der überlappenden Regionen OA1 bis OA4, welche unterschiedliche Abbildungsregionen sind, kann ein virtueller Blickpunkt entsprechend zwei der Kameras kombiniert festgelegt werden.
-
Es wird angemerkt, dass die Abbildungsregionsbedingungen nicht auf das beispielhafte Ausführungsbeispiel beschränkt sind, und dass eine Vielzahl von Bedingungen vorbestimmt sein kann.
-
[Überblendverhältnisfestlegeprozess]
-
Als Nächstes wird ein von der CPU 12 zum Verwirklichen der Funktion der Bildfestlegeeinheit 24 durchgeführter Virtuellblickpunktfestlegeprozess unter Bezugnahme auf das in 9 gezeigte Ablaufdiagramm beschrieben. Es wird angemerkt, dass der Prozess zum Beispiel zu vorbestimmten Zeitpunkten für jede Funktion der Anzeigesteuereinheit 20 während einer Zeit, in welcher ein Schalter der Anzeigesteuervorrichtung 1 eingeschaltet ist, wiederholt initiiert bzw. begonnen werden kann.
-
Nachdem der Prozess startet, wird zunächst in Schritt S310 an der Bildfestlegeeinheit 24 ermittelt, ob das von der Bilderkennungseinheit 21 erkannte Objekt in einer der überlappenden Regionen OA1 bis OA4 existiert. Die Ermittlung kann zum Beispiel auf der Grundlage der in dem Speicher 14 gespeicherten Bildpositionsinformation durchgeführt werden. Wenn ermittelt wird, dass ein Objekt in einer der überlappenden Bereiche OA1 bis OA4 existiert, schreitet die Prozedur zu Schritt S320 fort.
-
Demgegenüber schreitet dann, wenn ermittelt wird, dass ein Objekt an den überlappenden Regionen OA1 bis OA4 nicht existiert, der Prozess zu Schritt S360 fort, wird eine anfängliche Festlegung von 50% Überblendverhältnis fortwährend für jeden blickpunktkonvertierten Bildbereich für die gesamten überlappenden Bildregionen festgelegt, und endet der Prozess. Das Überblendverhältnis ist ein Synthetisierungsprozentsatz eines Pixelwerts (zum Beispiel RGB-Werts) jedes blickpunktkonvertierten Bildbereichs in den überlappten Abbildungsregionen. Infolge dessen werden dann, wenn das Überblendverhältnis auf 50% für jedes blickpunktkonvertierte Bild festgelegt ist, und jeder blickpunktkonvertierte Bildbereich als der jeweilige Bildbereich B1 und Bildbereich C1 gegeben ist, bevor die überlappenden Bildregionen synthetisiert werden, jeweils ein Bildbereich B2 jedes den Bildbereich B1 konfigurierenden Pixelwerts multipliziert mit 50% und ein Bildbereich C2 jedes den Bildbereich C1 konfigurierenden Pixelwerts multipliziert mit 50% hinzugefügt.
-
In Schritt S320 werden die Erkennungsergebnisse eines als existierend ermittelten Objekts beschafft, und schreitet der Prozess zu Schritt S330 fort. Genauer können in dem vorliegenden Ausführungsbeispiel die Erkennungsergebnisse eines Objekts durch Lesen zum Beispiel eines Kandidatenwerts und eines optischen Flussvektorwerts, die Bezug zu dem bzw. einem in dem Speicher 14 gespeicherten Objekt haben, erhalten werden.
-
In Schritt S330 wird eine Region, welche in Schritt S310 als ein zwischen bzw. unter den überlappenden Regionen OA1 bis OA4 existierendes Objekt habend ermittelt wird, als eine objektüberlappende Region definiert. Eine Erkennungsgenauigkeit eines Objekts in jedem aufgenommenen Bild der zwei Kameras 10, welche Bilder in diesen Regionen aufnehmen, wird verglichen. Genauer wird die Erkennungsgenauigkeit eines Objekts in jeder der objektüberlappenden Regionen, aufgenommen durch die beiden Kameras 10, verglichen. In Schritt S330 wird ermittelt, ob die Erkennungsgenauigkeit eines Objekts in beiden aufgenommenen Bildern unterschiedlich ist. Genauer kann in dem vorliegenden Ausführungsbeispiel ermittelt werden, dass ein Objekt mit einem größeren Kandidatenwert in dem in Schritt S320 beschafften Erkennungsergebnis eine höhere Erkennungsgenauigkeit hat.
-
Es wird angemerkt, dass Schritt S320 eine Erkennungsergebnisbeschaffungseinrichtung ist, welche das Erkennungsergebnis unter funktionellem Verwenden eines unter Verwendung der CPU 12 ausgeführten Prozesses beschafft.
-
In dieser Weise schreitet dann, wenn ermittelt wird, dass sich die Erkennungsgenauigkeit von Objekten zwischen jedem aufgenommenen Bild ändert, die Prozedur zu Schritt S370 fort. In Schritt S370 wird das Überblendverhältnis der überlappenden Bildregion, in welcher ein Objekt verteilt ist, einstellbar festgelegt, und endet der Prozess. Genauer wird unter den blickpunktkonvertierten Bildern in den überlappenden Regionen der bzw. ein blickpunktkonvertierter Bildbereich basierend auf einem aufgenommenen Bild mit einer bzw. der höchsten Erkennungsgenauigkeit auf höher als das Überblendverhältnis anderer blickpunktkonvertierter Bildbereiche festgelegt. Zum Beispiel kann in dem vorliegenden Ausführungsbeispiel in Übereinstimmung mit der Erkennungsgenauigkeit jedes Objekts in beiden aufgenommenen Bildbereichen das Überblendverhältnis umso größer festgelegt werden, je höher die Erkennungsgenauigkeit ist.
-
Das heißt, dass es bei den beschriebenen Festlegungen notwendig ist, das Überblendverhältnis so festzulegen, dass die Überblendverhältnisse beider aufgenommener Bilder zusammenaddiert 100% ergeben. Zum Beispiel können der Bildbereich B2, bei dem jeder Pixelwert, welcher den Bildbereich B1 konfiguriert, mit 70% multipliziert wird, und der Bildbereich C2, bei dem jeder Pixelwert, welcher den Bildbereich C1 konfiguriert, mit 30% multipliziert wird, zusammenaddiert werden. In diesem Fall ist unter jedem blickpunktkonvertierten Bildbereich in den überlappenden Bereichen der Bildbereich B1 der Abbildungsbereich, welcher die höchste Erkennungsgenauigkeit hat, und ist der Bildbereich C1 der Abbildungsbereich, welcher die niedrigste Erkennungsgenauigkeit hat.
-
Demgegenüber schreitet dann, wenn ermittelt wird, dass sich die Erkennungsgenauigkeit eines Objekts zwischen jedem der aufgenommenen Bilder nicht unterscheidet, die Prozedur zu Schritt S340 fort. In Schritt S340 wird für jede Objektüberlappungsregion ein Warnprioritätsniveau bzw. eine Warnprioritätsebene eines Objekts in jedem aufgenommenen Bild der beiden Kameras 10, welche diese Regionen aufnehmen, verglichen und wird ermittelt, ob die Warnprioritätsebene der Objekte in beiden Bildern verschieden ist. Genauer kann in dem vorliegenden Ausführungsbeispiel unter den erkannten Ergebnissen, die in Schritt S320 beschafft wurden, ermittelt werden, dass die Warnprioritätsebene umso höher ist, je höher der auf ein Objekt bezogene optische Flusswert ist. Es wird angemerkt, dass der Vergleich der Warnprioritätsebenen nicht auf das vorstehend beschriebene Verfahren beschränkt ist. Das heißt, die Warnprioritätsebene kann zum Beispiel durch eine Objektart bzw. einen Objekttyp in dem Bild und andere Indikatoren ermittelt werden.
-
Der vorstehend beschriebene Schritt S340 ist eine Warnprioritätsebenenermittlungseinrichtung, welche die Prioritätsebene eines Objekts mittels eines von der CPU 12 ausgeführten Prozesses ermittelt.
-
In dieser Weise schreitet auch dann, wenn ermittelt wird, dass sich die Warnprioritätsebene eines Objekts zwischen Bildern unterscheidet, die Prozedur zu Schritt S370 fort, wird das Überblendverhältnis des überlappenden Bildregionsbereichs, in welchem das Objekt in dem Bild positioniert ist, eingestellt, und endet der Prozess. Genauer wird auf der Grundlage eines aufgenommenen Bilds, welches unter jedem der blickpunktkonvertierten Bilder in den überlappenden Bildregionen die höchste Warnprioritätsebene hat, das Überblendverhältnis des blickpunktkonvertierten Bildbereichs auf höher festgelegt bzw. eingestellt als das Überblendverhältnis anderer blickpunktkonvertierter Bilder. Zum Beispiel kann in dem vorliegenden Ausführungsbeispiel in Übereinstimmung mit jeder Warnprioritätsebene eines Objekts in beiden aufgenommenen Bildbereichen das Überblendverhältnis umso höher festgelegt werden, je höher die Warnprioritätsebene ist.
-
Demgegenüber schreitet dann, wenn ermittelt wird, dass sich die Warnprioritätsebene eines Objekts zwischen jedem aufgenommenen Bild nicht unterscheidet, der Prozess zu Schritt S350 fort und wird die Bildposition des Objekts zwischen jedem aufgenommenen Bildbereich der beiden Kameras 10, die Abbildungsregionen der aufgenommenen Bilder zugewiesen bzw. für diese designiert sind, verglichen. In Schritt S350 wird bezogen auf die Position des Objekts ermittelt, ob einer der aufgenommenen Bildbereiche unter den beiden aufgenommenen Bildbereichen die vorbestimmten Objektpositionsbedingungen erfüllt. Genauer wird in dem vorliegenden Ausführungsbeispiel für die Position des Objekts in dem Bild eine Entfernung von einer Mitte des Bilds auf der Grundlage der in dem Speicher 14 gespeicherten Bildpositionsinformation verglichen. Zum Beispiel kann als ein Erfordernis zum Erfüllen der Objektpositionsbedingungen ermittelt werden, dass die Entfernung kleiner ist als ein vorbestimmter Schwellenwert.
-
Die Objektpositionsbedingungen sind nicht auf die vorstehend beschriebenen Beispiele beschränkt, das heißt, Bedingungen mit Bezug zu einer tatsächlichen Position eines Objekts und einer Position eines Objekts in dem Bild können ebenfalls vorgeschrieben sein.
-
Die Implementierung von Bedingungen, welche direkt die Position des Objekts auf der Grundlage einer Position in dem Bild ermitteln kann, kann die Last des Durchführens eines Prozesses verringern.
-
In dieser Weise schreitet auch dann, wenn unter bzw. in jedem der aufgenommenen Bilder das Vorhandensein eines aufgenommenen Bildbereichs, welcher die Objektpositionsbedingung erfüllt, ermittelt wird, der Prozess zu Schritt S370 fort, wird das Überblendverhältnis der überlappenden Bildregionsbereiche, in welchen das Objekt positioniert ist, einstellbar festgelegt, und endet der Prozess. Genauer wird unter bzw. in jedem der blickpunktkonvertierten Bilder der überlappenden Bildregionen ein blickpunktkonvertierter Bildbereich, der auf einem Bild mit erfüllten Objektpositionsbedingungen basiert, so festgelegt, dass er ein höheres Überblendverhältnis hat als die anderen blickpunktkonvertierten Bildbereiche. Zum Beispiel kann in dem ersten Ausführungsbeispiel in Übereinstimmung mit der Bildposition des Objekts in beiden aufgenommenen Bildern das Überblendverhältnis umso höher festgelegt werden, je kürzer der Abstand des Objekts von der Mitte jedes aufgenommenen Bilds ist.
-
Wenn ermittelt wird, dass aufgenommene Bildbereiche, welche die Objektpositionsbedingung erfüllen, zwischen jedem der aufgenommenen Bilder nicht existieren, schreitet die Prozedur zu Schritt S360 fort, wird die anfängliche Einstellung bzw. Festlegung, in welcher das Überblendverhältnis (%) jedes blickpunktkonvertierten Bilds auf 50% festgelegt ist, für alle der überlappenden Bildregionen beibehalten bzw. fortgesetzt, und endet der Prozess.
-
In dieser Weise wird das Überblendverhältnis jedes blickpunktkonvertierten Bildbereichs der überlappenden Bildregion in Übereinstimmung mit der Erkennungsgenauigkeit, der Warnprioritätsebene und den Objektpositionsbedingungen in dem vorstehend beschriebenen Prozess festgelegt.
-
10 zeigt eine Situation, in welcher ein Fußgänger von der Heckkamera 4 und der Rechtsseitenkamera 6 als das Objekt aufgenommen wird. Das heißt, 10 zeigt eine Situation, in welcher die Heckkamera 4 (vgl. 10(A)) eine höhere Erkennungsgenauigkeit beider aufgenommener Bilder hat als die Rechtsseitenkamera 6 (10(B)). Unter Bezugnahme auf 10(B) verschlechtern sich in diesem Beispiel dann, wenn das Überblendverhältnis (%) auf 50% für jeden blickpunktkonvertierten Bildbereich der überlappenden Bildregionen festgelegt ist, die Fahrunterstützungsbilder visuell leicht, wenn bzw. da der Fußgänger synthetisiert und in beiden blickpunktkonvertierten Bildern mit demselben Überblendverhältnis gezeigt wird. Demgegenüber wird dann, wenn das Überblendverhältnis auf 70% für die Heckkamera 4, welche eine hohe Erkennungsgenauigkeit hat, festgelegt wird, und auf 30% für die Rechtsseitenkamera 6, welche eine geringe Erkennungsgenauigkeit hat, die visuelle Verschlechterung des Fahrunterstützungsbilds unterdrückt, wenn bzw. da das Bild mit der hohen Erkennungsgenauigkeit so synthetisiert wird, dass der Fußgänger in dem Bild hervortritt (vgl. 10(D)).
-
[Wirkung]
-
Die folgenden Wirkungen können aus dem ersten Ausführungsbeispiel erhalten werden. Es wird angemerkt, dass das blickpunktkonvertierte Bild und der blickpunktkonvertierte Bildbereich einfachheitshalber jeweils als ein konvertiertes Bild und ein konvertierter Bildbereich bezeichnet werden.
-
Jeder konvertierte Bildbereich in einer überlappenden Bildregion wird durch partielles bzw. teilweises Überlappen bzw. Überlagern synthetisiert, um jeden konvertierten Bildbereich zusammenzufügen. Ferner entfällt, da jeder konvertierte Bildbereich mit einem festgelegten Überblendverhältnis auf der Grundlage der Erkennungsergebnisse eines Objekts synthetisiert wird, eine Verstärkung des zusammengefügten Abschnitts, so dass ein Objekt in der überlappenden Bildregion, welche den zusammengefügten Abschnitt beinhaltet, klar dargestellt werden kann.
-
Als ein weiteres Ergebnis kann ein unnatürliches Aussehen, wie beispielsweise eine Verzerrung der zusammengefügten Abschnitte, durch Synthetisieren der überlappenden Bildregionsbereiche jedes konvertierten Bilds aufgelöst werden, und kann eine Störung der Sichtbarkeit eines Objekts in den überlappenden Bildregionsbereichen verringert werden.
-
In dem Überblendverhältnisfestlegeprozess wird unter bzw. in jedem der konvertierten Bildbereiche in den überlappenden Bildregionen das Überblendverhältnis eines konvertierten Bilds auf der Grundlage eines aufgenommenen Bilds mit der höchsten Erkennungsgenauigkeit eines Objekts so festgelegt, dass es höher ist als ein Überblendverhältnis anderer konvertierter Bildbereiche. Infolge dessen kann ein Objekt mit dem der höchsten Warnprioritätsebene in dem Fahrunterstützungsbild so angezeigt werden, dass es hervorgehoben ist.
-
Auch in dem Überblendverhältnisfestlegeprozess wird unter bzw. in jedem der konvertierten Bildbereiche in den überlappenden Bildregionen das Überblendverhältnis eines konvertierten Bildbereichs auf der Grundlage eines aufgenommenen Bilds mit einem Objekt mit der höchsten Warnpriorität auf höher festgelegt als das Überblendverhältnis anderer konvertierte Bildbereiche.
-
Infolge dessen kann das Fahrunterstützungsbild so bereitgestellt werden, dass ein Objekt, welches die höchste Warnpriorität hat, so dargestellt werden kann, dass es in dem Fahrunterstützungsbild hervorgehoben ist.
-
Das Überblendverhältnis (%) des konvertierten Bildbereichs wird unter bzw. in jedem konvertierten Bildbereich in den überlappenden Bildregionen für ein aufgenommenes Bild, in welchem die vorbestimmten Objektpositionsbedingungen erfüllt sind, auf höher festgelegt als das Überblendverhältnis anderer konvertierter Bildbereiche. In diesem Fall beziehen sich die vorbestimmten Objektbedingungen speziell auf eine Position des Objekts. Als ein weiteres Ergebnis kann das Fahrunterstützungsbild so dargestellt werden, dass ein Objekt, welches die höchste Möglichkeit bzw. Wahrscheinlichkeit hat, vollständig aufgenommen zu werden, so bereitgestellt wird, dass es in einem Bild visuell hervorgehoben ist.
-
[Andere Ausführungsbeispiele]
-
Ein bevorzugtes Ausführungsbeispiel der Erfindung wurde hierin vorstehend beschrieben, jedoch ist die Erfindung nicht auf das bevorzugte Ausführungsbeispiel beschränkt und können andere verschiedenartige Ausführungsformen angepasst werden.
-
In dem bevorzugten Ausführungsbeispiel werden die aufgenommenen Bilder jeder Kamera 10 zu blickpunktkonvertierten Bildern mit konvertierten Blickpunkten synthetisiert, und werden die synthetisierten Bilder als das Fahrunterstützungsbild ausgegeben, jedoch ist das Fahrunterstützungsbild nicht auf den vorstehend beschriebenen Prozess beschränkt. Zum Beispiel kann zumindest ein aufgenommenes Bild aus jeder Kamera 10 zu einem blickpunktkonvertierten Bild konvertiert und als das Fahrunterstützungsbild ausgegeben werden.
-
Ein konfigurierendes Element des bevorzugten Ausführungsbeispiels mit einer Vielzahl von Funktionen kann durch eine Vielzahl von Elementen verwirklicht sein, und eine Vielzahl von konfigurierenden Elementen, die mit einer Funktion versehen sind, kann zu einem Element vereint sein. Manche der konfigurierenden Elemente des bevorzugten Ausführungsbeispiels können weggelassen sein, und zumindest einige der konfigurierenden Elemente des bevorzugten Ausführungsbeispiels können zu den anderen Ausführungsbeispielen hinzugefügt oder durch ein anderes Element ersetzt sein. Es versteht sich, dass alle in der durch den Schutzbereich der Ansprüche spezifizierten technischen Idee enthaltenen Ausführungsformen die Ausführungsbeispiele der Erfindung sind.
-
Zusätzlich zu der in einem Fahrzeug installierten Anzeigesteuervorrichtung 1 können in Übereinstimmung mit der Erfindung zum Beispiel ein die Anzeigesteuervorrichtung 1 konfigurierendes System, ein oder mehrere Programme zum Konfigurieren eines Computers dazu, als die Anzeigesteuervorrichtung 1 zu arbeiten, ein oder mehrere Aufzeichnungsmedien (genauer ein nicht flüchtiges Aufzeichnungsmedium, zum Beispiel ein Halbleiterspeicher) und ein Anzeigesteuerverfahren durch eine Vielzahl von Ausführungsformen verwirklicht werden.
-
Bezugszeichenliste
-
- 1
- Anzeigesteuervorrichtung, installiert in einem Fahrzeug
- 2
- Frontkamera
- 4
- Heckkamera
- 6
- Rechtsseitenkamera
- 8
- Linksseitenkamera
- 10
- Kamera
- 12
- CPU
- 14
- Speicher
- 20
- Anzeigesteuereinheit
- 21
- Bilderkennungseinheit
- 22
- Blickpunktkonversionseinheit
- 23
- Bildsyntheseeinheit
- 24
- Bildfestlegeeinheit
- 25
- Bildverbesserungseinheit
- 26
- Bildausgabeeinheit
- 30
- Anzeige
- A1
- Frontregion
- A2
- Heckregion
- A3
- rechtsseitige Region
- A4
- linksseitige Region
- E1 bis E8
- virtuelle Blickpunkte
- OA1
- vordere rechtsseitige Überlappungsregion
- OA2
- vordere linksseitige Überlappungsregion
- OA3
- hintere rechtsseitige Überlappungsregion
- OA4
- hintere linksseitige Überlappungsregion
- SA1
- vordere einzelne Region
- SA2
- hintere einzelne Region
- SA3
- rechtsseitige einzelne Region
- SA4
- linksseitige einzelne Region
