-
[Technisches Gebiet]
-
Die vorliegende Erfindung bezieht sich auf eine Vogelperspektiveansichtsbildgenerierungsvorrichtung mit verbesserter Anzeigequalität eines Fernansichtsabschnittes und bezieht sich vorwiegend auf eine Verbesserung einer Vogelperspektiveansichtsbildgenerierungsvorrichtung, die ein Bild einer fahrzeugeigenen Kamera in ein Vogelperspektiveansichtsbild transformiert und das Vogelperspektiveansichtsbild zum Zwecke einer Fahrerassistenz anzeigt.
-
[Hintergrund]
-
Unter fahrzeugeigenen Kameras, die zum Zwecke einer Fahrerassistenz beim Rückfahren eines Fahrzeugs und dergleichen verwendet werden, gibt es eine, die eine Funktion zum Transformieren eines Bildes, das aus einem Fahrzeugheckabschnitt aufgenommen ist, hat und zum Anzeigen des transformierten Bildes als ein Vogelperspektiveansichtsbild, in welchem auf Zielparklinien und Heckende des Fahrzeugs virtuell von über dem Fahrzeug herabgesehen wird. Ein solches Vogelperspektiveansichtsbild hat ein Problem darin, wenn eine Gegend hinter dem Fahrzeug (Hintergrund) in einer großen Größe angezeigt wird, dass das angezeigte Bild stark verformt wird und unnatürlich wirkt.
-
In Patentdokument 1 wird, für eine Nahansicht, ein Fernansichtsbild über dem Horizont über einem Vogelperspektiveansichtsbild durch Setzen einer virtuellen Projektionsebene angezeigt, die in Bezug auf eine Bodenoberfläche geneigt ist, zusätzlich zu einer virtuellen Projektionsebene, die auf die Bodenoberfläche gesetzt ist. Dieses Verfahren hat jedoch das folgende Problem. Das Vogelperspektiveansichtsbild wird durch Ausführen einer dreidimensionalen Koordinatentransformation für zwei virtuelle Projektionsebenen erzeugt. Dies bewirkt eine Komplikation einer Berechnungsverarbeitung, wie Matrix- und inverse Matrixberechnung, und eine Zunahme von Verarbeitungsumfang, und dabei nimmt die Last zu.
-
[Stand der Technik]
-
[Patentdokument]
-
- [Patentdokument 1] JP 4257356 B
-
[Übersicht über die Erfindung]
-
[Probleme, die von der Erfindung gelöst werden sollen]
-
Die vorliegende Erfindung wurde mit Blick auf die oben beschriebene Situation gemacht und eine Zielsetzung davon ist es, eine Vogelperspektiveansichtsbildgenerierungsvorrichtung bereitzustellen, die fähig ist, Anzeigeverformung in einem Fernansichtsbereich zu ergänzen und ein Transformationsbild mit einem zugenommenen anzeigbaren Bereich zu generieren, während eine Komplikation einer Berechnungsverarbeitung und eine Zunahme von Last vermieden werden.
-
[Mittel zum Lösen der Probleme]
-
Um die oben beschriebenen Probleme zu lösen, stellt die vorliegende Erfindung eine Vogelperspektiveansichtsbildgenerierungsvorrichtung bereit, umfassend: eine Bildaufnahmeeinrichtung (2) zum Aufnehmen eines Bildes von Ansichten von einer Nahansicht zu einer Fernansicht, welche eine Bodenoberfläche enthält; eine Bildverarbeitungseinheit (4), die dazu ausgelegt ist, ein Vogelperspektiveansichtsbild von einem eingegebenen Bild, das von der Bildaufnahmeeinrichtung aufgenommen ist, zu synthetisieren; und eine Anzeigeeinrichtung (6) zum Anzeigen des Vogelperspektiveansichtsbildes, wobei die Bildverarbeitungseinheit eine Speichereinrichtung zum Speichern einer Bildpunktbezugs-Umsetzungstabelle (42) enthält zur Ausführung einer planaren projektiven Transformation des eingegebenen Bildes (10) in das Vogelperspektiveansichtsbild (20a) und zum Synthetisieren eines Fernansichtsbereiches (10b) des eingegebenen Bildes an einer Fernansichtsseite des Vogelperspektiveansichtsbild in einer vergrößerten Weise (20b), und eine Gewichtung in der Umsetzungstabelle derart ausgeführt wird, dass ein Verhältnis des eingegebenen Bildes (20b) von einer Nahansichtsseite in Richtung einer Peripherie und der Fernansichtsseite des Vogelperspektiveansichtsbildes zunimmt.
-
[Vorteilhafte Wirkungen der Erfindung]
-
Die Vogelperspektiveansichtsbildgenerierungsvorrichtung der vorliegenden Erfindung hat die folgenden Wirkungen aufgrund der oben beschriebenen Konfiguration.
-
Da die Vogelperspektiveansicht aus dem eingegebenen Bild durch Ausführen einer zweidimensionalen planaren projektiven Transformation synthetisiert wird, ist es möglich, eine Komplikation der Berechnung und eine Zunahme von Verarbeitungslast, welche bei einer dreidimensionalen Koordinatentransformation auftritt, zu vermeiden.
-
Da die Fernansichtsseite der Vogelperspektiveansicht durch Synthetisieren des eingegebenen Bildes in einer vergrößerten Weise erhalten wird, wird Verformung und Verzerrung, welche häufig bei einem allgemeinen Vogelperspektiveansichtsbild auftreten, unterdrückt und ein Vogelperspektiveansichtsbild, in welchem Ansichten von einer Nahansicht zu einer Fernansicht natürlich angezeigt werden, kann erhalten werden.
-
Da Verarbeitung für die planare projektive Transformation zu dem Vogelperspektiveansichtsbild und eine vergrößerte gewichtete Synthese des Fernansichtsbereichs unter Bezugnahme auf die Umsetzungstabellen ausgeführt wird, die im Vorhinein vorbereitet wurden, wird die Berechnungsverarbeitung weiter vereinfacht.
-
In einer bevorzugten Art der Erfindung, wird die Gewichtung bei einem Verteilen von konzentrischen Superellipsemustern, deren Zentrum an der Nahansichtsseite des Vogelperspektiveansichtsbild liegt, angewendet. In dem Vogelperspektiveansichtsbild, das dadurch erhalten wird, dass das eingegebene Bild Gegenstand der planaren projektiven Transformation ist, wird eine Verformung größer von der Nahansichtsseite in Richtung der Peripherie und der Fernansichtsseite. Demgemäß kann ein natürliches Bild durch Übergang von dem Vogelperspektiveansichtsbild der Nahansicht zu dem eingegebenen Bild der Fernansicht in der Verteilung des konzentrischen Superellipsemusters erhalten werden. Zusätzlich bestehen Vorteile derart, dass die Superellipsen durch eine relativ einfache Formel ausgedrückt werden können und es möglich ist, die Krümmung der Superellipsen durch Erhöhen und Verringern eines Exponenten (Potenz Index) der Formel zu ändern und Bildeigenschaften abhängig von einer Ausgabeverwendung anzupassen.
-
Ferner, in einer Art, in welcher die Gewichtung bei der Verteilung des konzentrischen superelliptischen Musters durch Verwenden einer Gewichtungsabbildung angewendet wird, die derart Gegenstand einer Glättungsverarbeitung ist, dass sie mit koaxialen Superellipsen angenähert wird, die jeweils einen Radius haben, der mit der Anzahl von Malen verbunden ist, bei denen auf jeden der Bildpunkte des eingegebenen Bildes als Interpolationsbildpunkt des Vogelperspektiveansichtsbildes in der planaren projektiven Transformation des eingegebenen Bildes zu dem Vogelperspektiveansichtsbild Bezug genommen wird, wird das eingegebene Bild der Fernansicht verwendet, wobei es gemäß einem Grad von Verformung und Verzerrung in dem Vogelperspektiveansichtsbild gewichtet wird. Folglich ist es möglich, ein exzellentes synthetisiertes Bild zu generieren, das Gebrauch macht von Eigenschaften des Vogelperspektiveansichtsbildes der Nahansicht und des eingegebenen Bildes der Fernansicht.
-
In einer bevorzugten Art der vorliegenden Erfindung ist die Bildpunktbezugs-Umsetzungstabelle durch Formel 1 als registrierte Werte f(u, v) entsprechend zu Bildpunkten einer synthetisierten Umsetzungstabelle einer Vogelperspektiveansichts-Umsetzungstabelle zur Ausführung der planaren projektiven Transformation des eingegebenen Bildes zu dem Vogelperspektiveansichtsbildes und einer Hintergrund-Umsetzungstabelle zum Synthetisieren des Fernansichtsbereiches des eingegebenen Bildes in einer vergrößerten Weise gegeben. [Formel 1]
in welcher g(u, v) registrierte Werte entsprechend zu Bildpunkten der Vogelperspektiveansichts-Umsetzungstabelle darstellt, h(u, v) registrierte Werte entsprechend zu Bildpunkten der Hintergrundumsetzungstabelle darstellt, α einen Gewichtungskoeffizienten basierend auf der Gewichtungsabbildung darstellt, vorausgesetzt dass 0 ≤ α ≤ 1, und β eine Gewichtungssteuervariable zum dynamischen Anpassen einer Gewichtung der Bildpunktbezugs-Umsetzungstabelle darstellt, vorausgesetzt dass 0 ≤ β ≤ 1. In dieser Art ist es möglich, die Verhältnisse des Vogelperspektiveansichtsbildes der Nahansicht und des eingegebenen Bildes in der Fernansicht gemäß einer Fahrsituation und dergleichen durch Erhöhen und Verringern der Gewichtungssteuervariable β zu ändern und ein geeignetes Bild bereitzustellen.
-
In einer bevorzugten Ausführungsform der vorliegenden Erfindung, ist die Bildaufnahmeeinrichtung eine fahrzeugeigene Kamera, ist die Bildverarbeitungseinrichtung fähig einen Lenkwinkel eines Fahrzeugs zu erhalten, ist die Bildpunktbezugs-Umsetzungstabelle in der Speichereinrichtung als eine asymmetrische Bildpunktbezugs-Umsetzungstabelle gespeichert, in der Krümmungen von Superellipsen unterschiedlich auf linken und rechten Seiten unter Verwendung einer asymmetrischen Gewichtungsabbildung gesetzt sind, in welcher Exponenten der Superellipsen verschieden auf den linken und rechten Seiten sind, und ist die Vogelperspektiveansichtsbildgenerierungsvorrichtung derart konfiguriert, dass sie fähig ist, ein Vogelperspektiveansichtsbild zu generieren, in welchem Verhältnisse der Nahansicht und der Fernansicht unterschiedlich auf inneren und äußeren Seiten in einer Abbiegerichtung sind, während das Fahrzeug abbiegt. In diesem Modus kann ein natürliches Bild nahe einer eigentlichen Sicht bereitgestellt werden durch unterschiedliches Ausführen von Gewichtung auf der Innenseite und der Außenseite in der Abbiegerichtung gemäß des Lenkwinkels des Fahrzeugs.
-
[Kurze Beschreibung der Figuren]
-
1 ist ein Blockdiagramm, das eine Vogelperspektiveansichtsbildgenerierungsvorrichtung in einer ersten Ausführungsform der vorliegenden Erfindung zeigt.
-
2 ist ein Blockdiagramm, das eine Vogelperspektiveansichtsbildgenerierungsvorrichtung in einer zweiten Ausführungsform der vorliegenden Erfindung zeigt.
-
3 ist eine Ansicht, die ein Konzept einer Vogelperspektiveansichtsbildgenerierung in der vorliegenden Erfindung zeigt.
-
4 enthält ein Bildpunktbezugsfrequenzverteilungsdiagramm in einer planaren projektiven Transformation von einem eingegebenen Bild zu einem Vogelperspektiveansichtsbild und eine Gewichtungsabbildung, die dadurch erhalten wird, dass das Bildpunktbezugsfrequenzverteilungsdiagramms Gegenstand einer Glättungsverarbeitung ist.
-
5 ist eine Ansicht, die eine gewichtete Synthese von Umsetzungstabellen zeigt.
-
6 enthält Umsetzungstabellen, die Gewichtungssteuervariablen β und ausgegeben Bildern entsprechen.
-
7 ist eine Ansicht, die Beziehungen zwischen einer Abbiegerichtung und einer synthetisierten asymmetrischen Umsetzungstabelle entsprechend einer asymmetrischen Gewichtungsabbildung zeigt.
-
8 ist eine Seitenansicht, die Beziehungen zwischen dynamischer Gewichtung des Vogelperspektiveansichtsbildes und einem Anzeigebereich zeigt.
-
[Ausführungsarten der Erfindung]
-
Ausführungsformen der vorliegenden Erfindung werden ausführlich mit Bezug auf die Figuren beschrieben.
-
In 1 wir eine Vogelperspektiveansichtsbildgenerierungsvorrichtung 1 in einer ersten Ausführungsform der vorliegenden Erfindung hauptsächlich aus einer Kamera 2 (Rückkamera), einem fahrzeugeigenen Sensor 3, einer Bildverarbeitungseinheit 4, einem Bildausgabespeicher (VRAM) 5 und einer Anzeige 6 (fahrzeugeigener Bildschirm) gebildet.
-
Die Kamera 2 ist vorzugsweise eine Digitalkamera, die eine Weitwinkellinse und einen Halbleiterbildsensor, wie etwa CMOS und CCD verwendet. In der folgenden Erklärung, wird eine Beschreibung einer Rückkamera gegeben, welche an einem Fahrzeugheckabschnitt befestigt ist und welche einen Bildfeldwinkel hat, der ein Gebiet von einem Fahrzeugkörperheckabschnitt zu einer Bodenoberfläche enthält und Ansichten von einer Nahansicht zu einer Fernansicht enthält. Die Kamera 2 (Rückkamera) ist mit einer Rückfahrsignalausgabe eines Dienstwählers eines Fahrzeugs verbunden und wird in Verbindung mit einem Rückwärtsgang aktiviert. Außerdem verändert sich ein Bild der Anzeige 6 in ein Videobild der Rückkamera in Verbindung mit der Aktivierung der Rückkamera. Die Anzeige 6 ist ein Bildanzeigebildschirm, der in einer Instrumententafel installiert ist, und kann als fahrzeugeigener Fernseher, als Bildschirm eines Automobilnavigationssystems und dergleichen verwendet werden.
-
Ein Bewegungsgeschwindigkeits-/Beschleunigungssensor, ein Lenkwinkel-/Steuerungsgeschwindigkeitssensor und dergleichen werden als der fahrzeugeigene Sensor 3 ausgewählt, abhängig von einem gewünschten System. Außerdem können ein Sensor, der ausgelegt ist, Fahrzeugverhalten zu fühlen, wie etwa ein Giergeschwindigkeitssensor und ein Kreiselsensor hinzugefügt werden. Wie später beschrieben wird, kann der fahrzeugeigene Sensor 3 das angezeigte Bild abhängig von einer Fahrsituation verändern, oder ein Fahrer kann manuell Parameter mit einer Fahrerbedienungs SW anpassen, um ein bevorzugtes Bild anzuzeigen.
-
Die Bildverarbeitungseinheit 4 ist gebildet aus: einem Bildeingabespeicher (VRAM) 41, der Bilddaten speichert, die von der Rückkamera 2 in Einheiten von Frames gesendet werden; eine synthetisierte Normalgeschwindigkeits-Umsetzungstabelle (ROM) 42 zum Generieren eines Vogelperspektiveansichtsbildes durch Ausführen planarer projektiver Transformation auf dem eingegebenen Bild und zum Synthetisieren eines Fernansichtsbereiches des eingegebenen Bildes auf der Fernansichtsseite des Vogelperspektiveansichtsbildes in einer vergrößerten Weise; einer Normallenkwinkel-Umsetzungstabelle (ROM) 43 zum Widerspiegeln eines Erfassungswertes des Lenkwinkelsensors in einem synthetisierten Ausgabebild; einer Vorhersageberechnungs-Umsetzungstabelle (RAM) 44 zum Ausführen einer Korrektur basierend auf einer Vorhersage des Fahrzeugverhaltens; einem Bildverarbeitungsprozessor (CPU) 45, welcher Berechnungsverarbeitung unter Bezugnahme auf die Umsetzungstabellen 42 bis 44 ausführt; und dergleichen.
-
Die synthetisierte Normalgeschwindigkeits-Umsetzungstabelle 42 ist eine Umsetzungstabelle, in welcher eine Umsetzungstabelle (Vogelperspektiveansichtsbild-Umsetzungstabelle 42a) zum Generieren des Vogelperspektiveansichtsbildes durch Ausführen einer planaren projektive Transformation auf dem eingegeben Bild und eine Umsetzungstabelle (Hintergrundbild-Umsetzungstabelle 42b) zum Synthetisieren des Fernansichtsbereiches des eingegebenen Bildes an der Fernansichtsseite des Vogelperspektiveansichtsbildes in einer vergrößerten Weise derart gewichtet synthetisiert sind, dass das Verhältnis eines Hintergrundbildes von der Nahansichtsseite in Richtung einer Peripherie und der Fernansichtsseite des Vogelperspektiveansichtsbildes zunimmt, wobei eine untere Seite eines Ansichtsbereiches des Vogelperspektiveansichtsbildes der Nahansicht und eine obere Seite davon das Hintergrundbild ist, und dass das Bild natürlich bei einer normalen Rückfahrgeschwindigkeit angezeigt wird. Die Normalgeschwindigkeits-Umsetzungstabelle 42 wird in einem Nur-Lese-Speicher (ROM) gespeichert.
-
Zu bemerken ist, dass, anstelle die synthetisierte Normalgeschwindigkeits-Umsetzungstabelle 42 zu verwenden, die folgende Konfiguration wie in einer Vogelperspektiveansichtsbildegenerierungsvorrichtung 1' einer zweiten Ausführungsform, die in 2 gezeigt ist, benutzt werden kann. Die Vogelperspektiveansichtsbild-Umsetzungstabelle (ROM) 42a und die Hintergrundbild-Umsetzungstabelle (ROM) 42b werden getrennt bereitgestellt und sind direkt Gegenstand einer Berechnung, wobei sie unter Verwendung einer Bezugsfrequenztabelle 43c für einen Normallenkwinkel gewichtet werden, um das synthetisierte Ausgabebild zu generieren.
-
Als Nächstes wird eine Beschreibung von Vorgehensweisen zum Generieren des Vogelperspektiveansichtsbildes basierend auf der ersten Ausführungsform, die oben beschrieben wird, gegeben:
3 zeigt ein Konzept der Vogelperspektiveansichtsbildgenerierung in der vorliegenden Erfindung und ein eingegebenes Bild 10, das von der Kamera 2 aufgenommen ist, wird auf der linken Seite von 3 gezeigt. Das eingegebene Bild 10 ist ein Weitwinkelbild, in welchem Ansichten von der Nahansicht zu der Fernansicht einschließlich des Fahrzeugheckabschnittes und der Bodenoberfläche nahe des Fahrzeugheckabschnittes in dem Ansichtswinkel enthalten sind und Verzerrung unvermeidbar in dem Bild auftritt. Jedoch, wie in 8 gezeigt, da Ebenekoordinaten einer Bodenoberfläche 11 in dem eingegebenen Bild 10 gemäß der installierten Höhe und dem installierten Winkel der Kamera 2 bestimmt werden, kann ein Vogelperspektiveansichtsbild 20a durch Entfernen der Verzerrung einer Weitwinkellinse von den Ebenekoordinaten und durch Ausführen der planaren projektiven Transformation erhalten werden.
-
Da das Vogelperspektiveansichtsbild 20a einem im wesentlichen trapezförmigen Bereich 10a in dem eingegeben Bild 10 in der planaren projektiven Transformation entspricht und Koordinaten von jedem der Bildpunkte in einer zwei-dimensionalen Ebene in der planaren projektiven Transformation bewegt werden, kann die Umsetzungstabelle 42a verwendet werden, die die Bewegung g(u, v) von jedem Bildpunkt spezifiziert. In dem Vogelperspektiveansichtsbild 20a wird der Grad der Streckung des Bildes größer in Richtung der Peripherie und der Fernansicht in dem Bereich, und Interpolation wird ausgeführt durch mehrmalige Bezugnahme auf den gleichen Bildpunkt des ursprünglichen Bildes 10a, abhängig von dem Grad der Streckung. Hier ist Verformung auf der Fernansichtsseite groß.
-
Zwischenzeitlich tritt in dem eingegebenen Bild 10 keine Verformung wie eine oben beschriebene auf, welche nicht Gegenstand der planaren projektiven Transformation ist. Demgemäß kann, durch Synthetisieren eines Hintergrundbildes 20b, welches durch Ausschneiden und Vergrößern eines fernen Ansichtsbereiches 10b des eingegebenen Bildes 10 erhalten wird, zu einem fernen Ansichtsbereich des Vogelperspektiveansichtsbildes 20a, ein synthetisiertes Vogelperspektiveansichtsbild 52 erhalten werden, das Vorteile beider Bilder hat. In diesem Fall kann das synthetisierte Vogelperspektiveansichtsbild 52 unmittelbar ausgegeben werden durch: Vorbereiten der synthetisierten Umsetzungstabelle 42, in welcher die Umsetzungstabelle 42a für das Vogelperspektiveansichtsbild 20a und die Umsetzungstabelle 42b, die Bewegung h(u, v) von jedem Bildpunkt bei der Verarbeitung von Ausschneiden und Vergrößern des fernen Ansichtsbereiches 10b des eingegebenen Bildes angibt, gewichtet synthetisiert werden, um miteinander fortlaufend übergangslos in der Zwischenansichts- oder Fernansichtsbereich zu sein, wobei ein Teil der Umsetzungstabelle 42b hauptsächlich auf einer oberen Seite bereitgestellt wird und ein Teil der Umsetzungstabelle 42a hauptsächlich auf einer unteren Seite bereitgestellt wird; und durch Anwenden der synthetisierten Umsetzungstabelle 42 auf jeden Bildpunkt des eingegebenen Bildes 10. Zu bemerken ist, dass die Umsetzungstabellen in den Figuren zur Dienlichkeit in einer vereinfachten Weise dargestellt sind.
-
Als Nächstes wird eine Beschreibung der gewichteten Synthese des Vogelperspektiveansichtsbildes 20a und des Hintergrundbildes 20b gegeben.
-
4 zeigt eine Entsprechung zwischen dem eingegebenen Bild 10 und dem Vogelperspektiveansichtsbild 20a, das dadurch erhalten wird, dass das Eingabebild 10 Gegenstand der planaren projektiven Transformation ist. Wie oben beschrieben, wird in dem Vogelperspektiveansichtsbild 20a der Grad der Streckung des Bildes größer in Richtung der Peripherie und der Fernansicht. Wenn der Grad der Streckung größer wird, wird die Anzahl der Male, die auf den gleichen Bildpunkt des Originalbildes 10a Bezug genommen wird, größer und die Verformung des Bildes wird größer. Ferner nimmt die Auflösung des Bildes ab und eine Anzeige wird grob.
-
Betreffend eine Pylone 10c, zum Beispiel, die weit weg in einer kleinen Größe in dem eingegebenen Bild 10 angezeigt ist, wenn ein Bildpunkt in dem eingegebenen Bild 10 auf vier Bildpunkte in dem Vogelperspektiveansichtsbild 20a vergrößert wird, wird auf den gleichen Bildpunkt 4 Mal wiederholt Bezug genommen, und die Pylone 10c wird in einer gestreckten Form in 4-facher Größe angezeigt. Aufzeichnen von Zählwerten der Anzahl von Malen von wiederholtem Bezug als eine Tabelle (Bezugsfrequenz-Tabelle) zum Ausführen von Gewichtung der synthetisierten Umsetzungstabelle 42 ermöglicht das Hintergrundbild 20b gemäß der Grobheit der Anzeige des Vogelperspektiveansichtsbildes 20a zu synthetisieren und eine minimal erforderliche Gewichtung, die eine Zweckbestimmung erfüllt, auszuführen.
-
Die Bewegungsrichtungen der Bildpunkte in der planaren projektiven Transformation sind im Wesentlichen radial, wobei die Bildverarbeitung für ein viereckiges Gitternetzbildpunktanordnungsmuster ausgeführt wird. Demgemäß sind die oben beschriebenen Zählwerte, die in der Bezugsfrequenztabelle registriert sind, in einem diskreten Zustand, welcher diskontinuierlich ist, wie in einer Abbildung (Farbabbildung) 30 in einem unteren linken Abschnitt von 4 gezeigt, ist. Wenn die Gewichtung in dem diskreten Zustand ausgeführt wird, werden diskrete Bildpunkte auch in dem synthetisierten Bild erzeugt und ein unnatürliches Bild wird generiert. Angesichts dessen wird Glätten (Optimierung) durch Ausführen von Näherungsverarbeitung auf der Abbildung 30 derart ausgeführt, dass die Bezugsfrequenztabelle fortlaufende Zählwerte hat.
-
Eine Abbildung (Farbkarte) 31 in einem unteren rechten Abschnitt von 4 zeigt einen Zustand, in welchem die Abbildung 30 derart Gegenstand der Glättungsverarbeitung ist, dass sie mit koaxialen Superellipsen angenähert wird, die jeweils einen Radius haben, der mit der Anzahl von Malen der Bezugnahme verbunden ist. Jede der Superellipsen wird durch die folgende Formel ausgedrückt, in welcher eine Krümmung durch Verändern des Exponenten n verändert werden kann, und eine Gruppe von koaxialen Superellipsen durch verschiedentliches Ändern von Nennern der Variablen u, v erhalten werden kann.
-
[Formel 2]
-
-
Hier wird, in einem Fall in welchem n = 2 erfüllt ist, eine gewöhnliche Ellipse ohne flache Abschnitte erhalten. Wenn n größer wird, werden die flachen Abschnitte länger und Eigenschaften einer winkeligen Superellipse werden spürbar. Es ist daher möglich, nicht nur eine hoch genaue Annäherung und Optimierung durch Anpassen dieser Parameter auszuführen, sondern auch, selbstverständlich, verschiedene Anwendungen durch aktiveres Anpassen der Parameter zu implementieren. Zu bemerken ist, dass eine andere Annäherungsverarbeitung als diejenige, die Superellipsen verwendet, geometrische Verarbeitung, Filterverarbeitung oder dergleichen als Glättungsverarbeitung verwendet werden können.
-
In einem Fall von Generieren der synthetischen Umsetzungstabelle 42 basierend auf der oben beschriebenen Bezugsfrequenztabelle (Abbildung 31) können Gewichtungskoeffizienten (Zählwerte) der Bezugsfrequenztabelle direkt verwendet werden. Es ist jedoch vorteilhaft für die Verhältnisse des Vogelperspektiveansichtsbildes 20a der Nahansicht und des Hintergrundbildes 20b, dynamisch anpassbar in Abhängigkeit von einer Fahrsituation zu sein, wobei solche natürliche Gewichtung erhalten bleibt. Generierung der synthetischen Umsetzungstabelle 42 unter Verwendung eines dynamischen Gewichtungskoeffizienten β wird nachfolgend mit Bezug auf 5 und 6 beschrieben.
-
Eine Transformation zur Generierung der synthetischen Umsetzungstabelle
42 wird wie folgt ausgedrückt [Formel 1]
in welcher g(u, v) Transformationskoordinateninformationen darstellt, die in jeder der Zellen (a) der Vogelperspektiveansichtsbild-Umsetzungstabelle
42a in
5 registriert ist, h(u, v) Transformationskoordinateninformationen darstellt, die in jeder der Zellen (b) der Hintergrundbild-Umsetzungstabelle
42b in
5 registriert ist, f(u, v) Transformationskoordinateninformationen darstellt, die in jeder der Zellen (a, b, m) der synthetisierten Umsetzungstabelle
42 in
5 registriert ist, α einen Gewichtungskoeffizienten basierend auf der Anzahl von Malen von wiederholter Bezugnahme auf das eingegebene Bild
10 für das Vogelperspektiveansichtsbild
20a darstellt, vorausgesetzt dass 0 ≤ α ≤ 1 ist, und β einen Gewichtungskoeffizienten zum dynamischen Anpassen der synthetisierten Umsetzungstabelle
42 darstellt, vorausgesetzt dass 0 ≤ β ≤ 1 ist.
-
In der synthetisierten Umsetzungstabelle 42 wird das Vogelperspektiveansichtsbild 20a in einem Nahansichtsbereich (a) angezeigt, wird das Hintergrundbild 20b in einem Fernansichtsbereich (b) angezeigt, und ein Zwischenbereich (m) zwischen den zuvor genannten Bereichen ist ein Wandlungsbereich (m). Wie in 8 gezeigt, ändert sich das Bild nahtlos von dem Vogelperspektiveansichtsbild 20a zu dem Hintergrundbild 20b. Aufgrund dessen ist es möglich, ein Parkassistenzsystem zu erhalten, das einem Fahrer erlaubt, ein Entfernungsgefühl nahe dem Fahrzeug zu fassen, während eine Rückansicht mit einem kleinen Grad von Verzerrung gesichert ist.
-
Ferner ändert sich, bei einem konkreten Parkvorgang, ein Punkt auf welchen der Fahrer sorgfältig zu blicken wünscht in Abhängigkeit von der Situation. Angesichts dessen ist es möglich, die synthetisierte Umsetzungstabelle 42 dynamisch durch Anpassen des dynamischen Gewichtungskoeffizienten β in Abhängigkeit von dem Fahrzustand zu verändern, wie etwa Geschwindigkeit und zum Beispiel dem/r Fahrer/-in ein geeignetes Bild in Abhängigkeit von der Position seines/ihres Autos während des Parkens in dem Parkassistenzsystem bereitzustellen.
-
6. zeigt ein Beispiel dieser Operation.
- 1) Wenn der dynamische Gewichtungskoeffizient: β = 0 auf das eingegebene Bild 10 angewendet wird, wird eine synthetische Umsetzungstabelle 420 nur von der Vogelperspektiveansichtsbild-Umsetzungstabelle 42a gebildet und ein synthetisiertes Vogelperspektiveansichtsbild 50, das nur von dem Vogelperspektiveansichtsbild 20a gebildet ist, wird angezeigt.
- 2) Wenn der dynamische Gewichtungskoeffizient: β = 0,015 auf das eingegebene Bild 10 angewendet wird, wird eine synthetisierte Umsetzungstabelle 421 generiert, in welcher die Gewichtung der Vogelperspektiveansichtsbild-Umsetzungstabelle 42a hoch ist, und ein Vogelperspektiveansichtsbild 51, mit einem kleinen Abschnitt des Hintergrundbildes 20b, das hinter dem Vogelperspektiveansichtsbild 20a eingefügt ist, wird angezeigt.
- 3) Wenn der dynamische Gewichtungskoeffizient: β = 0,03 auf das eingegebene Bild 10 angewendet wird, wird eine synthetisierte Umsetzungstabelle 422 generiert, in welcher die Vogelperspektiveansichtsbild-Umsetzungstabelle 42a und die Hintergrund-Umsetzungstabelle 42b in relativ ähnlichen Verhältnissen synthetisiert sind, und ein Vogelperspektiveansichtsbild 52, in welchem das Vogelperspektiveansichtsbild 20a und das Hintergrundbild 20b nahtlos kontinuierlich miteinander sind und welches einen großen Abschnitt der Rückansicht enthält, wird angezeigt.
-
Als Nächstes wird eine dynamische Bildumschaltungsanzeige gemäß dem Lenkwinkel als ein Beispiel einer dynamischen Bildumschaltungsanzeigefunktion gemäß dem Fahrzeugverhalten mit Bezug auf 7 beschrieben.
-
Wie oben beschrieben, können in der Abbildung 31, die durch Ausführen der Glättungsverarbeitung durch Annähern der Gewichtungsbezugsfrequenztabelle (Abbildung 30) mit den koaxialen Superellipsen erhalten wird, die Krümmungen durch Verändern des Exponenten n verändert werden. 7(b) zeigt Fälle von einem Fall, in welchem n = 2 (Ellipse) erfüllt ist, bis zu einem Fall, in welchem n = 5 erfüllt ist.
-
Wie in 7(a) gezeigt, wird eine asymmetrische Gewichtungsabbildung 33, die durch Synthetisieren der Gewichtungsbezugsfrequenztabelle mit den Gewichtungsabbildungen 33L, 33R, in welchen Variablen n von den Superellipsen verschieden auf linken und rechten Seiten sind, erhalten wird, angewendet, um eine asymmetrische synthetisierte Umsetzungstabelle 43 zu generieren. Wenn das Fahrzeug abbiegt, wird eine linke oder rechte synthetisierte Umsetzungstabelle 43 abhängig von der Abbiegerichtung angewendet und ein Bild, in welchem die Verhältnisse der Nahansicht und der Fernansicht verschieden zwischen einer inneren Seite und einer äußeren Seite in der Abbiegerichtung sind, wird ausgegeben. Betreffend eine Bewegung (Trajektorie = Bewegungsbetrag) des Hintergrundes beim Abbiegen, erlaubt dieses eine derartige Anzeige, dass der Hintergrund sich bewegt wobei die Differenz des Abbiegeradius berücksichtigt wird. Ferner kann Anwenden der synthetisierten Umsetzungstabelle 43, in welcher die Krümmungen derart gemacht sind, dass sie sich gemäß dem Lenkwinkel unterscheiden, ein natürliches Bild nahe einer tatsächlichen Ansicht bereitstellen.
-
In der Vogelperspektiveansichtsbildgenerierungsvorrichtung 1 der ersten Ausführungsform, die oben beschrieben ist, werden die Registrierung der Koordinatentransformationsinformation g(u, v), h(u, v) in der Vogelperspektiveansicht-Umsetzungstabelle 42a und der Hintergrundbild-Umsetzungstabelle 42b, sowie die Generierung der Gewichtungsbezugsfrequenztabelle (Abbildung 30) und die Glättungsverarbeitung davon (Abbildung 31) im Vorhinein in einer Vorbereitungsstufe vervollständigt. Ferner werden die synthetisierte Normalgeschwindigkeits-Umsetzungstabelle 42 und die Normallenkwinkel-Umsetzungstabelle 43, die für das dynamische Umschalten des angezeigten Bildes erforderlich sind, im Vorhinein in der Bildverarbeitungseinheit 4 registriert. In einer Echtzeitverarbeitung, d. h. während des Fahrens des Fahrzeugs, wird die Koordinateninformation, die zur Bildtransformation erforderlich ist, durch Verwendung der synthetisierten Normalgeschwindigkeits-Umsetzungstabelle 42 und der Normallenkwinkel-Umsetzungstabelle 43, die der Information von dem fahrzeugeigenen Sensor 3 entsprechen, erhalten und ein Parkassistenzbild wird angezeigt.
-
Ferner werden in der Vogelperspektiveansichtsbildgenerierungsvorrichtung 1' der zweiten Ausführungsform, die Registrierung der Koordinatentransformationinformation in der Vogelperspektiveansicht-Umsetzungstabelle 42a und
der Hintergrundbild-Umsetzungstabelle 42b, sowie die Generierung der Gewichtungsbezugsfrequenztabelle (Abbildung 30) und die Glättungsverarbeitung davon (Abbildung 31) im Vorhinein in einer Vorbereitungsstufe wie in der ersten Ausführungsform vervollständigt. Jedoch wird bei der Echtzeitverarbeitung die Koordinateninformation, die für die Bildtransformation notwendig ist, basierend auf der der Vogelperspektiveansicht-Umsetzungstabelle 42a, der Hintergrundbild-Umsetzungstabelle 42b, der Gewichtungsbezugsfrequenztabelle 43c und der Information von dem fahrzeugeigenen Sensor 3 direkt berechnet.
-
Obgleich einige Ausführungsformen der vorliegenden Erfindung oben beschrieben wurden, ist die vorliegende Erfindung nicht auf die Ausführungsformen, die oben beschrieben sind, eingeschränkt. Verschiedene Modifikationen und Veränderungen können ferner gemacht werden, basierend auf der technischen Idee der vorliegenden Erfindung.
-
Zum Beispiel wird, bei den oben beschriebenen Ausführungsformen, eine Beschreibung des Falles gegeben, in welchem die vorliegende Erfindung als die Parkassistenzbildgenerierungsvorrichtung ausgeführt ist, wobei die Rückkamera an dem Fahrzeugheckabschnitt befestigt ist. Die vorliegende Erfindung kann jedoch als Vogelperspektiveansichtsbildgenerierungsvorrichtung ausgeführt sein, in welcher die Rückkamera mit einer Frontkamera, Seitenkameras und der gleichen kombiniert ist und welche Rundansichtsanzeige ausführt. Ferner kann die vorliegende Erfindung als ein Vogelperspektiveansichtsbildanzeigesystem für andere Ausrüstungen als Fahrzeuge ausgeführt sein.
-
Bezugszeichenliste
-
- 1
- Vogelperspektiveanssichtsbildgenerierungvorrichtung
- 2
- Kamera (Rückkamera, Bildaufnahmeeinrichtung)
- 3
- fahrzeugeigener Sensor
- 4
- Bildverarbeitungseinheit
- 5
- Bildausgabe VRAM
- 6
- Anzeige
- 10
- eingegebenes Bild
- 11
- Bodenoberfläche
- 20a
- Vogelperspektiveanssichtsbild
- 20b
- Hintergrundbild
- 30, 31, 33
- Abbildung (Farbkarte)
- 41
- Bildeingabe VRAM
- 42
- synthetisierte Normalgeschwindigkeitsumsetzungstabelle
- 42a
- Vogelperspektiveansichtsbildumsetzungstabelle
- 42b
- Hintergrundbildumsetzungstabelle
- 43
- synthetisierte Normallenkwinkelumsetzungstabelle
- 43c
- Bezugsfrequenzgewichtungstabelle
- 44
- Vorhersageberechnungsumsetzungstabelle
- 45
- CPU
- 50, 51, 52
- synthetisiertes Vogelperspektiveansichtsbild
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
