DE112010005737T5

DE112010005737T5 - Bildsynthesevorrichtung

Info

Publication number: DE112010005737T5
Application number: DE112010005737T
Authority: DE
Inventors: Yoshiyuki Kato; Akira Torii; Masaki Hamada; Eisuke Yonezawa; Takafumi Kasuga; Kiyotaka Kato
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2010-07-14
Filing date: 2010-07-14
Publication date: 2013-06-06
Anticipated expiration: 2030-07-15
Also published as: WO2012007993A1; JP5178961B2; DE112010005737B4; CN102986210B; CN102986210A; US8896699B2; US20130107055A1; JPWO2012007993A1

Abstract

Es ist eine Bildsynthesevorrichtung offenbart, die eine bereichsbestimmende Einheit 3 zum Auswählen einer fahrzeugangebrachten Kamera 1, die für eine Erzeugung eines Vogelperspektivenbilds, das von einem beliebigen Ansichtspunkt gesehen wird, verwendet wird, aus fahrzeugangebrachten Kameras 1a bis 1d, die an unterschiedlichen Positionen angebracht sind, und zum Bestimmen eines Bereichs, der dem Vogelperspektivenbild entspricht, in einem Bild, das durch die fahrzeugangebrachte Kamera 1 eingefangen wurde, und eine Eingangsvideosignalsteuereinheit 4 zum Empfangen von Bilddaten über den Bereich, der durch die bereichsbestimmende Einheit 3 bestimmt wurde, aufweist, wobei die Bilddaten in den Bilddaten, die das Bild, das durch die fahrzeugangebrachte Kamera 1 eingefangen wurde, zeigen, umfasst sind, um die Bilddaten in einem Eingangsrahmenpuffer 5 zu speichern, in dem eine bildverarbeitende Vorrichtung 6 ein Vogelperspektivenbild aus den Bilddaten, die in dem Eingangsrahmenpuffer 5 gespeichert sind, erzeugt.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung bezieht sich auf eine Bildsynthesevorrichtung, die aus einem Bild, das durch eine Kamera, die an einem peripheren Abschnitt des Fahrzeugs angebracht ist, eingefangen wird, ein Vogelaugenansicht- bzw. Vogelperspektivenbild, das von einem beliebigen Ansichtspunkt in der Nachbarschaft eines Fahrzeugs gesehen wird, erzeugt, und das Vogelperspektivenbild anzeigt.
HINTERGRUND DER ERFINDUNG
Eine Bildsynthesevorrichtung, die beispielsweise durch die folgende Patentbezugnahme 1 offenbart ist, empfängt Bilddaten, die Bilder, die durch eine Mehrzahl von Kameras, die an einem peripheren Abschnitt eines Fahrzeugs angebracht sind, eingefangen werden, zeigen, und speichert die Bilddaten in einem Eingangsrahmenpuffer. Diese Bildsynthesevorrichtung nimmt auf Abbildungsdaten, die eine Entsprechung zwischen Pixeln in einem Vogelperspektivenbild, das von einem beliebigen Ansichtspunkt gesehen wird, und Pixeln in jedem der Bilder, die durch die Kameras eingefangen werden, zeigen, Bezug, um aus der Mehrzahl von Bilddaten, die in dem Eingangsrahmenpuffer gespeichert sind, ein Vogelperspektivenbild zu erzeugen.
Wenn aus der Mehrzahl von Bilddaten, die in dem Eingangsrahmenpuffer gespeichert sind, ein Vogelperspektivenbild erzeugt wird, verwendet die im Vorhergehenden erwähnte Bildsynthesevorrichtung lediglich die Bilddaten über einen Bereich in jedem der Bilder, die durch die Kameras eingefangen werden, jedoch nicht die Bilddaten über einen anderen Bereich als der im Vorhergehenden erwähnte Bereich, während alle Bilddaten, die die Bilder, die durch die Kameras eingefangen werden, zeigen, in dem Eingangsrahmenpuffer gespeichert werden. Der Eingangsrahmenpuffer, der in der im Vorhergehenden erwähnten Bildsynthesevorrichtung angeordnet ist, muss daher eine große Speichergröße haben.
Eine Bildsynthesevorrichtung, die durch die folgende Patentbezugnahme 2 offenbart ist, weist eine spezielle Kamera, die an einem Objekt installiert ist und fähig ist, einen Ausgabebereich zu ändern, auf und steuert den Ausgabebereich der Kamera gemäß dem Ansichtspunkt eines Vogelperspektivenbilds (steuert das Gebiet eines Bilds, das durch die Kamera eingefangen wird), um in der Lage zu sein, lediglich Bilddaten, die für eine Erzeugung eines Vogelperspektivenbilds verwendet werden, in einem Eingangsrahmenpuffer zu speichern, und die Speichergröße des Eingangsrahmenpuffers zu reduzieren.
Dokument der verwandten Technik
Patentbezugnahme

Patentbezugnahme 1: W000/064175 (S. 5)
Patentbezugnahme 2: Ungeprüfte japanische Patentanmeldung Veröffentlichungs-Nr. 2006-287826 (Absatz Nummer [0020])

KURZFASSUNG DER ERFINDUNG
Da die herkömmlichen Bildsynthesevorrichtungen wie vorher aufgebaut sind, können lediglich die Bilddaten, die für die Erzeugung eines Vogelperspektivenbilds verwendet werden, in dem Eingangsrahmenpuffer gespeichert werden, und daher kann die Speichergröße des Eingangsrahmenpuffers reduziert werden, sofern eine spezielle Kamera, die fähig ist, einen Ausgabebereich zu ändern, installiert ist und der Ausgabebereich der Kamera gemäß dem Ansichtspunkt des Vogelperspektivenbilds gesteuert wird. Ein Problem besteht jedoch darin, dass in einem Fall, bei dem eine spezielle Kamera, die fähig ist, einen Ausgabebereich zu ändern, aus Gründen eines Ausrüstungsaufwands und von Kameraspezifikationen nicht installiert werden kann, kein Vogelperspektivenbild, das von einem beliebigen Ansichtspunkt gesehen wird, erzeugt werden kann, es sei denn, dass ein Eingangsrahmenpuffer, der eine große Speichergröße hat, installiert ist (das Erteilen einer Erlaubnis für eine Verschlechterung der Bildqualität eines Vogelperspektivenbilds und für eine Reduzierung der Rahmenrate ermöglicht, dass ein Vogelperspektivenbild, das von einem beliebigen Ansichtspunkt gesehen wird, selbst dann erzeugt wird, wenn ein Eingangsrahmenpuffer, der eine kleine Speichergröße hat, installiert ist).
Die vorliegende Erfindung ist gemacht, um das im Vorhergehenden erwähnte Problem zu lösen, und eine Aufgabe der vorliegenden Erfindung besteht daher darin, eine Bildsynthesevorrichtung zu schaffen, die ein Vogelperspektivenbild erzeugen kann, das eine hohe Qualität und eine hohe Rahmenrate hat, ohne dass ein Eingangsrahmenpuffer, der eine große Speichergröße hat, installiert werden muss.
Gemäß der vorliegenden Erfindung ist eine Bildsynthesevorrichtung geschaffen, die eine bereichsbestimmende Einheit zum Auswählen einer Kamera, die für eine Erzeugung eines Vogelperspektivenbilds, das von einem beliebigen Ansichtspunkt gesehen wird, verwendet ist, aus einer Mehrzahl von Kameras, die an unterschiedlichen Positionen angebracht sind, und zum Bestimmen eines Bereichs, der dem Vogelperspektivenbild entspricht, in einem Bild, das durch die dadurch ausgewählte Kamera eingefangen wurde, und eine Bilddateneingangseinheit zum Empfangen von Bilddaten über den Bereich, der durch die bereichsbestimmende Einheit bestimmt ist, aufweist, wobei die Bilddaten in Bilddaten, die das Bild, das durch die Kamera eingefangen wurde, zeigen, umfasst sind, um die Bilddaten in einem Rahmenpuffer zu speichern, in dem eine Vogelperspektivenbild erzeugende Einheit aus den Bilddaten, die in dem Rahmenpuffer gespeichert sind, ein Vogelperspektivenbild erzeugt.
Da die Bildsynthesevorrichtung gemäß der vorliegenden Erfindung auf eine solche Weise aufgebaut ist, dass die Bildsynthesevorrichtung die bereichsbestimmende Einheit zum Auswählen einer Kamera, die für die Erzeugung eines Vogelperspektivenbilds, das von einem beliebigen Ansichtspunkt gesehen wird, verwendet ist, aus der Mehrzahl von Kameras, die an unterschiedlichen Positionen angebracht sind, und zum Bestimmen eines Bereichs, der dem Vogelperspektivenbild entspricht, in dem Bild, das durch die dadurch ausgewählte Kamera eingefangen wurde, und die Bilddateneingangseinheit zum Empfangen von den Bilddaten über den Bereich, der durch die bereichsbestimmende Einheit bestimmt wurde, aufweist, wobei die Bilddaten in den Bilddaten, die das Bild, das durch die Kamera eingefangen wurde, zeigen, umfasst sind, um die Bilddaten in dem Rahmenpuffer zu speichern, und die Vogelperspektivenbild erzeugende Einheit aus den Bilddaten, die in dem Rahmenpuffer gespeichert sind, ein Vogelperspektivenbild erzeugt, wird ein Vorteil geliefert, in der Lage zu sein, ein Vogelperspektivenbild zu erzeugen, das eine hohe Qualität und eine hohe Rahmenrate hat, ohne einen Rahmenpuffer, der eine große Speichergröße hat, installieren zu müssen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Blockdiagramm, das eine Bildsynthesevorrichtung gemäß einem Ausführungsbeispiel 1 der vorliegenden Erfindung zeigt;
2 ist ein Flussdiagramm, das eine Verarbeitung, die durch die Bildsynthesevorrichtung gemäß dem Ausführungsbeispiel 1 der vorliegenden Erfindung ausgeführt wird, zeigt;
3 ist eine erläuternde Zeichnung, die ein Beispiel eines Ansichtspunktes und einer Neuanordnungstabelle zeigt;
4 ist ein Flussdiagramm, das ein Verfahren zum Bestimmen eines Bereichs in einem eingefangenen Bild, das einem Vogelperspektivenbild entspricht, zeigt, wobei das Verfahren durch eine bereichsbestimmende Einheit 3 ausgeführt wird;
5 ist ein Flussdiagramm, das ein Verfahren zum Aktualisieren eines aktuell eingestellten Bereichs, der einem Vogelperspektivenbild entspricht, zeigt;
6 ist eine erläuternde Zeichnung, die die Bereiche von Bildern, die durch fahrzeugangebrachte Kameras 1a bis 1d eingefangen werden, zeigt; und
7 ist ein Blockdiagramm, das eine Bildsynthesevorrichtung gemäß einem Ausführungsbeispiel 2 der vorliegenden Erfindung zeigt.
AUSFÜHRUNGSBEISPIELE DER ERFINDUNG
Im Folgenden sind, um diese Erfindung in einem stärkeren Detail zu erläutern, unter Bezugnahme auf die beigefügten Zeichnungen die bevorzugten Ausführungsbeispiele der vorliegenden Erfindung beschrieben.
Ausführungsbeispiel 1
1 ist ein Blockdiagramm, das eine Bildsynthesevorrichtung gemäß dem Ausführungsbeispiel 1 der vorliegenden Erfindung zeigt. Bezug nehmend auf 1 ist eine fahrzeugangebrachte Kamera 1a an einem vorderen Abschnitt eines Fahrzeugs (dieser Ausdruck „Fahrzeug” umfasst nicht nur Autos, sondern ferner Züge, Schiffe, Flugzeuge usw.) angebracht und fängt einen Bereich vor dem Fahrzeug ein und gibt Bilddaten, die ein Bild des Bereichs vor dem Fahrzeug zeigen, zu einer Eingangsvideosignalsteuereinheit 4 aus. Eine fahrzeugangebrachte Kamera 1b ist an einem hinteren Abschnitt des Fahrzeugs angebracht und fängt einen Bereich hinter dem Fahrzeug ein und gibt Bilddaten, die ein Bild des Bereichs hinter dem Fahrzeug zeigen, zu der Eingangsvideosignalsteuereinheit 4 aus. Eine fahrzeugangebrachte Kamera 1c ist an einem rechten Seitenabschnitt des Fahrzeugs angebracht und fängt einen Bereich auf einer rechten Seite des Fahrzeugs ein und gibt Bilddaten, die ein Bild des Bereichs auf der rechten Seite des Fahrzeugs zeigen, zu der Eingangsvideosignalsteuereinheit 4 aus. Eine fahrzeugangebrachte Kamera 1d ist an einem linken Seitenabschnitt des Fahrzeugs angebracht und fängt einen Bereich auf einer linken Seite des Fahrzeugs ein und gibt Bilddaten, die ein Bild des Bereichs auf der linken Seite des Fahrzeugs zeigen, zu der Eingangsvideosignalsteuereinheit 4 aus. 6 ist eine erläuternde Zeichnung, die den Bereich des Bilds, das durch jede der fahrzeugangebrachten Kameras 1a bis 1d eingefangen wird, zeigt.
Ein Neuanordnungstabellen speichernder Puffer 2 ist ein aufzeichnendes Medium, wie zum Beispiel ein RAM oder eine Festplatte. Für jeden Ansichtspunkt, der spezifiziert werden kann, speichert der Neuanordnungstabellen speichernde Puffer eine Neuanordnungstabelle, in der Kamerainformationen, die eine fahrzeugangebrachte Kamera 1, die jedem feinen Bereich, der ein Vogelperspektivenbild, das von dem Ansichtspunkt gesehen wird, aufbaut, entspricht, zeigen, Bereichsinformationen, die einen Bereich in einem Bild, das durch die fahrzeugangebrachte Kamera 1 eingefangen wurde, zeigen, wobei der Bereich dem Vogelperspektivenbild entspricht, und eine Koordinatentransformationsmatrix, die zum Wandeln des Bilds, das durch die fahrzeugangebrachte Kamera 1 erfasst wurde, in das Vogelperspektivenbild verwendet ist, aufgezeichnet sind. In einem Fall, bei dem beispielsweise die Zahl der Ansichtspunkte, von denen jeder spezifiziert werden kann, 100 ist, und die Zahl der feinen Bereiche, die ein Vogelperspektivenbild, das von jedem Ansichtspunkt gesehen wird, aufbauen, 200 bei der Bildsynthesevorrichtung ist, sind 20.000 (= 100 × 200) Neuanordnungstabellen in dem Neuanordnungstabellen speichernden Puffer 2 als Neuanordnungstabellen gespeichert, die jeweils den feinen Bereichen entsprechen. Der Neuanordnungstabellen speichernde Puffer 2 baut eine Tabellen speichernde Einheit auf.
Eine bereichsbestimmende Einheit 3 besteht aus einer integrierten Halbleiterschaltung, einem Ein-Chip-Mikrocomputer, einem Personalcomputer oder dergleichen, in der/dem beispielsweise eine CPU angebracht ist. Die bereichsbestimmende Einheit 3 führt ein Verfahren zum Bezug Nehmen auf die Neuanordnungstabellen, die in dem Neuanordnungstabellen speichernden Puffer 2 gespeichert sind, aus, wenn Ansichtspunktpositionsinformationen empfangen werden, die den Ansichtspunkt eines Vogelperspektivenbilds zeigen, um eine fahrzeugangebrachte Kamera 1, die für eine Erzeugung eines Vogelperspektivenbilds verwendet ist, das von dem Ansichtspunkt gesehen wird, der durch die Ansichtspunktpositionsinformationen gezeigt ist, aus den fahrzeugangebrachten Kameras 1a bis 1b auszuwählen, zum Bestimmen eines Bereichs, der dem Vogelperspektivenbild entspricht, in dem Bild, das durch die fahrzeugangebrachte Kamera 1 eingefangen wurde, und zum Ausgeben von erforderlichen Bereichsinformationen, die den Bereich zeigen, zu der Eingangsvideosignalsteuereinheit 4 aus. Die bereichsbestimmende Einheit 3 baut eine bereichsbestimmende Einheit auf.
Die Eingangsvideosignalsteuereinheit besteht aus einer integrierten Halbleiterschaltung, einem Ein-Chip-Mikrocomputer, einem Personalcomputer oder dergleichen, in der/dem beispielsweise eine CPU angebracht ist. Die Eingangsvideosignalsteuereinheit 4 führt ein Verfahren zum Empfangen von Bilddaten (Daten einer vorderen Kamera, Daten einer rechten Kamera, Daten einer linken Kamera oder Daten einer hinteren Kamera) über den Bereich, der durch die erforderlichen Bereichsinformationen, die von der bereichsbestimmenden Einheit 3 ausgegeben werden, gezeigt sind, wobei die Bilddaten in den Bilddaten, die die Bilder, die durch die fahrzeugangebrachten Kameras 1a bis 1d eingefangen wurden, zeigen, umfasst sind, und zum Speichern der Bilddaten in einem Eingangsrahmenpuffer 5 aus. Die Eingangsvideosignalsteuereinheit 4 baut eine Bilddateneingangseinheit auf.
Der Eingangsrahmenpuffer 5 ist ein aufzeichnendes Medium, wie zum Beispiel ein Rahmenspeicher, und speichert die Bilddaten (Daten der vorderen Kamera, Daten der rechten Kamera, Daten der linken Kamera oder Daten der hinteren Kamera) über den Bereich, der von der Eingangsvideosignalsteuereinheit 4 darin ausgegeben wird.
Eine bildverarbeitende Vorrichtung 6 besteht beispielsweise aus einer GPU (= Graphics Processing Unit = Grafik verarbeitenden Einheit) oder dergleichen. Die bildverarbeitende Vorrichtung 6 führt ein Verfahren zum Ausführen einer Koordinatentransformation an dem Bild, das durch die Bilddaten, die in dem Eingangsrahmenpuffer 5 gespeichert sind, gezeigt ist, unter Verwendung einer Koordinatentransformationsmatrix in einer Neuanordnungstabelle, die in dem Neuanordnungstabellen speichernden Puffer 2 gespeichert ist, aus, um ein Vogelperspektivenbild zu erzeugen. Die bildverarbeitende Vorrichtung 6 baut eine Vogelperspektivenbild erzeugende Einheit auf.
Ein Ausgangsrahmenpuffer 7 ist ein aufzeichnendes Medium, wie zum Beispiel ein Rahmenspeicher, und speichert das Vogelperspektivenbild, das durch die bildverarbeitende Vorrichtung 6 erzeugt wird. Eine Bildanzeigevorrichtung 8 ist eine Anzeigeeinheit, in der eine Flüssigkristallanzeige oder dergleichen angebracht ist, und führt ein Verfahren zum Anzeigen des Vogelperspektivenbilds, das in dem Ausgangsrahmenpuffer 7 gespeichert ist, aus. Die Bildanzeigevorrichtung 8 baut eine Bildanzeigeeinheit auf. Obwohl bei dem Beispiel von 1 die Bildanzeigevorrichtung 8 außerhalb der Bildsynthesevorrichtung angeordnet ist, kann die Bildsynthesevorrichtung darin die Bildanzeigevorrichtung 8 installieren.
Obwohl bei dem Beispiel von 1 angenommen ist, dass der Neuanordnungstabellen speichernde Puffer 2, die bereichsbestimmende Einheit 3, die Eingangsvideosignalsteuereinheit 4, der Eingangsrahmenpuffer 5, die bildverarbeitende Vorrichtung 6 und der Ausgangsrahmenpuffer 27, die die Komponenten der Bildsynthesevorrichtung sind, jeweils aus Stücken von Hardware für eine ausschließliche Verwendung bestehen, kann die Bildsynthesevorrichtung alternativ aus einem Computer bestehen. In diesem Fall kann ein Programm, in dem die Verfahren, die durch den Neuanordnungstabellen speichernden Puffer 2, die bereichsbestimmende Einheit 3, die Eingangsvideosignalsteuereinheit 4, den Eingangsrahmenpuffer 5, die bildverarbeitende Vorrichtung 6 und den Ausgangsrahmenpuffer 7 ausgeführt werden, beschrieben sind, in einem Speicher des Computers gespeichert sein, und eine CPU des Computers kann veranlasst werden, das Programm, das in dem Speicher gespeichert ist, auszuführen. 2 ist ein Flussdiagramm, das die Verarbeitung, die durch die Bildsynthesevorrichtung gemäß dem Ausführungsbeispiel 1 der vorliegenden Erfindung ausgeführt wird, zeigt.
3 ist eine erläuternde Zeichnung, die ein Beispiel eines Ansichtspunkts und einer Neuanordnungstabelle zeigt. Bei der Bildsynthesevorrichtung sind Neuanordnungstabellen, deren Zahl gleich der Zahl der feinen Bereiche, die ein Vogelperspektivenbild, das von allen Ansichtspunkten, die spezifiziert werden können, gesehen wird, aufbauen, ist, im Voraus vorbereitet. Bei dem Fall, bei dem beispielsweise die Zahl der Ansichtspunkte, die jeweils spezifiziert werden können, 100 ist, und die Zahl der feinen Bereiche, die ein Vogelperspektivenbild, das von jedem Ansichtspunkt gesehen wird, aufbauen, 200 ist, werden 20.000 (= 100 × 200) Neuanordnungstabellen im Voraus vorbereitet. 3(a) zeigt ein Vogelperspektivenbild, das von einem Ansichtspunkt gesehen wird, und jedes Dreieck in dem Vogelperspektivenbild zeigt einen feinen Bereich, der das Vogelperspektivenbild aufbaut (bei dem Beispiel von 3(a) kann, obwohl die Form von jedem der feinen Bereiche ein Dreieck ist, jeder der feinen Bereiche irgendeine Form haben. Jeder der feinen Bereiche kann beispielsweise ein Rechteck sein). In der Neuanordnungstabelle sind für jeden der feinen Bereiche, die das Vogelperspektivenbild, das von dem Ansichtspunkt gesehen wird, aufbauen, Kamerainformationen, die die fahrzeugangebrachte Kamera 1, die dem Ansichtspunkt entspricht, zeigen, aufgezeichnet. Bei dem Beispiel von 3(b) zeigt die Neuanordnungstabelle, dass die fahrzeugangebrachte Kamera 1, die dem 0ten feinen Bereich entspricht, die „fahrzeugangebrachte Kamera 1a” ist, und die fahrzeugangebrachte Kamera 1, die dem nten feinen Bereich entspricht, die „fahrzeugangebrachte Kamera 1c” ist.
In der Neuanordnungstabelle sind ferner Bereichsinformationen, die den Bereich in dem Bild, das durch die fahrzeugangebrachte Kamera 1 eingefangen wurde, den Bereich, der dem Vogelperspektivenbild, das von dem Ansichtspunkt gesehen wird, entspricht, zeigen, aufgezeichnet, das heißt Bereichsinformationen, die jeden feinen Bereich, der das Vogelperspektivenbild, das von dem Ansichtspunkt gesehen wird, aufbaut, zeigen, sind aufgezeichnet (zum Beispiel Scheitel- bzw. Ecken-Koordinaten (u0(n), v0(n), (u1(n), v1(n)) und (u2(n), v2(n)) sind für den nten feinen Bereich aufgezeichnet). Bei dem Beispiel von 3(b) zeigt die Neuanordnungstabelle das (u0(n), v0(n)) (200, 100) ist, (u1(n), v1(n)) (200, 105) ist, und (u2(n), v2(n)) (205, 105) ist.
In der Neuanordnungstabelle ist ferner eine Koordinatentransformationsmatrix M(n), die zum Wandeln des Bilds, das durch die fahrzeugangebrachte Kamera 1 eingefangen wird, in das Vogelperspektivenbild verwendet ist (eine Matrix, die zum Ausführen einer Koordinatentransformation zwischen einem Koordinatensystem u–v des eingefangenen Bilds und einem Koordinatensystem x–y des Vogelperspektivenbilds verwendet ist), aufgezeichnet. M(n) = ( a / c b / d) (1)
Die Komponenten a, b, C und d der Koordinatentransformationsmatrix M(n) sind Konstanten, die durch die Position eines Anbringens und die Richtung eines Einfangens von jeder der fahrzeugangebrachten Kameras 1a bis 1d, den Ansichtspunkt des Vogelperspektivenbilds und eine Vergrößerung/Reduzierung des Bilds bestimmt sind. Wenn beispielsweise das Bild, das durch die fahrzeugangebrachte Kamera 1 eingefangen wird, durch Drehen des Bilds um einen Winkel theta um eine X-Achse in das Vogelperspektivenbild gewandelt wird, kann die Koordinatentransformationsmatrix M(n) durch die folgende Gleichung (2) angegeben sein. M(n) = ( cosθ / –sinθ sinθ / cosθ) (2)
Wenn alternativ das Bild, das durch die fahrzeugangebrachte Kamera 1 eingefangen wird, durch Drehen des Bilds um einen Winkel theta um eine Y-Achse in das Vogelperspektivenbild gewandelt wird, kann die Koordinatentransformationsmatrix M(n) durch die folgende Gleichung (3) gegeben sein. M(n) = ( cosθ / sinθ –sinθ / cosθ) (3)
Die Koordinatentransformationsmatrix M(n), die in Gleichung (2) gezeigt ist, und dieselbe, die in Gleichung (3) gezeigt ist, sind lediglich Beispiele, und eine andere Koordinatentransformationsmatrix kann alternativ verwendet sein. Obwohl bei diesem Ausführungsbeispiel das Beispiel eines Wandelns des Bilds, das durch die fahrzeugangebrachte Kamera 1 eingefangen wird, in das Vogelperspektivenbild durch Drehen des Bilds um einen Winkel theta gezeigt ist, ist dieses Ausführungsbeispiel nicht auf dieses Beispiel begrenzt. Es kann beispielsweise einen Fall eines Wandelns des Bilds, das durch die fahrzeugangebrachte Kamera 1 eingefangen wird, in das Vogelperspektivenbild durch Ausführen einer parallelen Translation an dem Bild und einen Fall eines Wandelns des Bilds, das durch die fahrzeugangebrachte Kamera 1 erfasst wird, in das Vogelperspektivenbild durch Vergrößern oder Reduzieren des Bilds geben. In diesen Fällen ist es lediglich notwendig, eine Koordinatentransformationsmatrix M(n) zu verwenden, die einer dieser Transformationen entspricht.
Der Betrieb der Bildsynthesevorrichtung ist als Nächstes erläutert. Wenn Ansichtspunktpositionsinformationen, die einen Ansichtspunkt eines Vogelperspektivenbilds, das zu erzeugen ist, zeigen, empfangen werden (beispielsweise einem Benutzer erlaubt ist, durch Betreiben einer nicht gezeigten Mensch-Maschinen-Schnittstelle (zum Beispiel einer Maus, einer Tastatur oder eines Berührungsfelds) Ansichtspunktinformationen einzugeben, um einen gewünschten Ansichtspunkt eines Vogelperspektivenbilds zu spezifizieren) (Schritt ST1 von 2), bestimmt die bereichsbestimmende Einheit 3, ob der Ansichtspunkt des Vogelperspektivenbilds aus einem aktuellen geändert oder nicht geändert wird (Schritt ST2).
Wenn der Ansichtspunkt des Vogelperspektivenbilds von dem aktuellen (einschließlich der Zeit, zu der ein Ansichtspunkt eines Vogelperspektivenbilds zum ersten Mal spezifiziert wird) geändert ist, durchsucht die bereichsbestimmende Einheit 3 die Mehrzahl von Neuanordnungstabellen, die in dem Neuanordnungstabellen speichernden Puffer 2 gespeichert sind, nach der Neuanordnungstabelle, die jedem feinen Bereich, der das Vogelperspektivenbild, das von dem Ansichtspunkt gesehen wird, aufbaut, entspricht. Nach einem Suchen nach der Neuanordnungstabelle, die jedem feinen Bereich entspricht, nimmt die bereichsbestimmende Einheit 3 auf die Kamerainformationen, die in der Neuanordnungstabelle aufgezeichnet sind, Bezug, um die fahrzeugangebrachte Kamera 1, die für eine Erzeugung des Vogelperspektivenbilds, das von dem Ansichtspunkt, der durch die Ansichtspunktpositionsinformationen gezeigt ist, gesehen wird, verwendet wird, aus den fahrzeugangebrachten Kameras 1a bis 1d auszuwählen (Schritt ST3).
Wenn beispielsweise die Kamerainformationen, die in der Neuanordnungstabelle aufgezeichnet sind, die „fahrzeugangebrachte Kamera 1a” zeigen, wählt die bereichsbestimmende Einheit die fahrzeugangebrachte Kamera 1a als die fahrzeugangebrachte 1 aus, die für eine Erzeugung des Vogelperspektivenbilds verwendet wird, und wenn die Kamerainformationen, die in der Neuanordnungstabelle aufgezeichnet sind, die „fahrzeugangebrachte Kamera 1b” zeigen, wählt dieselbe die fahrzeugangebrachte Kamera 1b als die fahrzeugangebrachte Kamera 1 aus, die für eine Erzeugung des Vogelperspektivenbilds verwendet wird. In dem Fall von 3(a) wählt, da die Kamerainformationen die „fahrzeugangebrachte Kamera 1c” in jedem feinen Bereich beispielsweise auf der rechten Seite des Fahrzeugs zeigen, die bereichsbestimmende Einheit die fahrzeugangebrachte Kamera 1c als die fahrzeugangebrachte Kamera 1 aus, die für eine Erzeugung des Vogelperspektivenbilds verwendet wird, und da die Kamerainformationen die „fahrzeugangebrachte Kamera 1d” in jedem feinen Bereich beispielsweise auf der linken Seite des Fahrzeugs zeigen, wählt die bereichsbestimmende Einheit die fahrzeugangebrachte Kamera 1d als die fahrzeugangebrachte Kamera 1 aus, die für eine Erzeugung des Vogelperspektivenbilds verwendet wird.
Nach einem Auswählen einer fahrzeugangebrachten Kamera 1, die für eine Erzeugung des Vogelperspektivenbilds verwendet wird, nimmt die bereichsbestimmende Einheit 3 auf die Bereichsinformationen, die in der Neuanordnungstabelle aufgezeichnet sind, Bezug, um den Bereich, der dem Vogelperspektivenbild in dem Bild, das durch die fahrzeugangebrachte Kamera 1 eingefangen wird, entspricht, zu bestimmen, und gibt die erforderlichen Bereichsinformationen, die den Bereich zeigen, zu der Eingangsvideosignalsteuereinheit 4 aus (Schritt ST4).
Das Verfahren zum Bestimmen des Bereichs in dem eingefangenen Bild, der dem Vogelperspektivenbild entspricht, das Verfahren, das durch die bereichsbestimmende Einheit 3 ausgeführt wird, ist im Folgenden konkret erläutert. Das Verfahren zum Bestimmen des Bereichs, das im Folgenden gezeigt ist, ist lediglich ein Beispiel, und die bereichsbestimmende Einheit kann alternativ den Bereich in dem eingefangenen Bild, der dem Vogelperspektivenbild entspricht, durch Ausführen eines anderen bestimmenden Verfahrens bestimmen. 4 ist ein Flussdiagramm, das das Verfahren zum Bestimmen des Bereichs in dem eingefangenen Bild, der dem Vogelperspektivenbild entspricht, zeigt, das Verfahren, das durch die bereichsbestimmende Einheit 3 ausgeführt wird. 5 ist ferner ein Flussdiagramm, das ein Verfahren zum Aktualisieren des aktuell eingestellten Bereichs, der dem Vogelperspektivenbild entspricht, zeigt.
Wenn die Ansichtspunktpositionsinformation, die den Ansichtspunkt des Vogelperspektivenbilds, das zu erzeugen ist, zeigen, empfangen werden, und der Ansichtspunkt, der durch die Ansichtspunktpositionsinformationen gezeigt ist, von dem aktuellen geändert ist, oder der Ansichtspunkt des Vogelperspektivenbilds zum ersten Mal spezifiziert wird, durchsucht die bereichsbestimmende Einheit 3 die Mehrzahl von Neuanordnungstabellen, die in dem Neuanordnungstabellen speichernden Puffer 2 gespeichert sind, nach der Neuanordnungstabelle, die jedem feinen Bereich, der das Vogelperspektivenbild, das von dem Ansichtspunkt, der durch die Ansichtspunktpositionsinformation gezeigt ist, gesehen wird, aufbaut, entspricht, wie es im Vorhergehenden erwähnt ist (Schritt ST21 von 4).
Nach dem Suchen nach der Neuanordnungstabelle, die jedem feinen Bereich, der das Vogelperspektivenbild, das von dem Ansichtspunkt gesehen wird, aufbaut, entspricht, wählt die bereichsbestimmende Einheit 3 die fahrzeugangebrachte Kamera 1, die für eine Erzeugung des Vogelperspektivenbilds, das von dem Ansichtspunkt, der durch die Ansichtspunktpositionsinformationen gezeigt ist, gesehen wird, verwendet wird, aus den fahrzeugangebrachten Kameras 1a bis 1d unter Bezugnahme auf die Kamerainformationen, die in der Neuanordnungstabelle, die dem feinen Bereich entspricht, aufgezeichnet sind, aus (Schritt ST22). Bei dem Beispiel von 3 wählt die bereichsbestimmende Einheit jede der fahrzeugangebrachten Kameras 1a, 1b, 1c und 1d als die fahrzeugangebrachte Kamera 1, die für eine Erzeugung des Vogelperspektivenbilds verwendet wird, aus.
Nach einem Auswählen einer fahrzeugangebrachten Kamera 1, die für eine Erzeugung des Vogelperspektivenbilds verwendet wird, nimmt die bereichsbestimmende Einheit 3 auf die Bereichsinformationen, die in der Neuanordnungstabelle, die jedem feinen Bereich entspricht, aufgezeichnet sind, Bezug, um die Scheitelkoordinaten des Bereichs, der dem Vogelperspektivenbild in dem Bild, das durch die fahrzeugangebrachte Kamera 1 eingefangen wird, entspricht, zu bestimmen (Schritt ST23). Wenn beispielsweise der nte feine Bereich verarbeitet wird, wählt die bereichsbestimmende Einheit die fahrzeugangebrachte Kamera 1c als die fahrzeugangebrachte Kamera 1 aus, die für eine Erzeugung des Vogelperspektivenbilds verwendet wird, und bestimmt (u0(n), v0(n)), (u1(n), v1(n)) und (u2(n), v2(n)) in dem Bild, das durch die fahrzeugangebrachte Kamera 1 eingefangen wird, als die Scheitelkoordinaten des Bereichs, der dem Vogelperspektivenbild entspricht. Bei dem Beispiel von 3(b) ist (u0(n), V0(n)) (200, 100), (u1(n), v1(n)) ist (200, 105) und (u2(n), v2(n)) ist (205, 105).
Nach dem Bestimmen der Scheitelkoordinaten jedes Bereichs, der dem Vogelperspektivenbild entspricht, gibt die bereichsbestimmende Einheit 3 die Scheitelkoordinaten des Bereichs zu der Eingangsvideosignalsteuereinheit 4 als die erforderlichen Bereichsinformationen aus, die den Bereich, der dem Vogelperspektivenbild entspricht, zeigen (Schritt ST24). Wenn die erforderlichen Bereichsinformationen zu der Eingangsvideosignalsteuereinheit 4 ausgegeben werden, schließt die bereichsbestimmende Einheit 3 die Kamerainformationen, die die fahrzeugangebrachte Kamera 1, die für eine Erzeugung des Vogelperspektivenbilds verwendet wird, zeigen, (das heißt die Kamerainformationen, die in der Neuanordnungstabelle, die jedem feinen Bereich, der das Vogelperspektivenbild, das von dem Ansichtspunkt gesehen wird, aufbaut, entspricht, aufgezeichnet sind) in die erforderlichen Bereichsinformationen ein und gibt die erforderlichen Bereichsinformationen zu der Eingangsvideosignalsteuereinheit 4 aus. Als eine Alternative kann die bereichsbestimmende Einheit die Kamerainformationen getrennt von den erforderlichen Bereichsinformationen zu der Eingangsvideosignalsteuereinheit 4 ausgeben.
Obwohl bei diesem Ausführungsbeispiel das Beispiel, bei dem die bereichsbestimmende Einheit 3 die Scheitelkoordinaten jedes Bereichs, der dem Vogelperspektivenbild entspricht, zu der Eingangsvideosignalsteuereinheit 4 als die erforderlichen Bereichsinformationen, die den Bereich zeigen, ausgibt, gezeigt ist, kann die bereichsbestimmende Einheit alternativ das folgende Verfahren durchführen.
Die bereichsbestimmende Einheit 3 vergleicht genauer gesagt den Bereich, den die bereichsbestimmende Einheit dieses Mal bestimmt und der dem Vogelperspektivenbild entspricht, mit dem Bereich, den die bereichsbestimmende Einheit das letzte Mal bestimmt hat und der dem Vogelperspektivenbild entspricht (das heißt dem aktuell eingestellten Bereich, der dem Vogelperspektivenbild entspricht (auf den von nun an einfach als ein „aktuell eingestellter Bereich” Bezug genommen ist)), um zu bestimmen, ob der Bereich, den die bereichsbestimmende Einheit dieses Mal bestimmt und der dem Vogelperspektivenbild entspricht, in dem Gebiet des aktuell eingestellten Bereichs umfasst ist oder nicht. Wenn dann bestimmt wird, dass der Bereich, den die bereichsbestimmende Einheit dieses Mal bestimmt und der dem Vogelperspektivenbild entspricht, nicht in dem Gebiet des aktuell eingestellten Bereichs umfasst ist, aktualisiert die bereichsbestimmende Einheit 3 den aktuell eingestellten Bereich auf die folgende Weise und gibt die Koordinaten, die den eingestellten Bereich zeigen, aktualisiert (das heißt die minimale X-Koordinate, die maximale X-Koordinate, die minimale Y-Koordinate und die maximale Y-Koordinate des eingestellten Bereichs) zu der Eingangsvideosignalsteuereinheit 4 als die erforderlichen Bereichsinformationen, die den Bereich, der dem Vogelperspektivenbild entspricht, zeigen, aus.
Durch die bereichsbestimmende Einheit 3 ausgeführtes Verfahren eines Aktualisierens des eingestellten Bereichs
Wenn die minimale X-Koordinate SXmin des Bereichs, der dieses Mal bestimmt wird und dem Vogelperspektivenbild entspricht, kleiner als die minimale X-Koordinate EXmin des aktuell eingestellten Bereichs ist (Schritt ST31 von 5), aktualisiert die bereichsbestimmende Einheit 3 die minimale X-Koordinate EXmin des eingestellten Bereichs auf die minimale X-Koordinate SXmin (Schritt ST32). Wenn die minimale Y-Koordinate SYmin des Bereichs, der dieses Mal bestimmt wird und dem Vogelperspektivenbild entspricht, kleiner als die minimale Y-Koordinate EYmin des aktuell eingestellten Bereichs ist (Schritt ST33), aktualisiert die bereichsbestimmende Einheit 3 die minimale Y-Koordinate EYmin des eingestellten Bereichs auf die minimale Y-Koordinate SYmin (Schritt ST34).
Wenn die maximale X-Koordinate SXmax des Bereichs, der dieses Mal bestimmt wird und dem Vogelperspektivenbild entspricht, größer als die maximale X-Koordinate EXmax des aktuell eingestellten Bereichs ist (Schritt ST35), aktualisiert die bereichsbestimmende Einheit 3 die maximale X-Koordinate EXmax des eingestellten Bereichs auf die maximale X-Koordinate SXmax (Schritt ST36). Wenn die maximale Y-Koordinate SYmax des Bereichs, der dieses Mal bestimmt wird und dem Vogelperspektivenbild entspricht, größer als die maximale Y-Koordinate EYmax des aktuell eingestellten Bereichs ist (Schritt ST37), aktualisiert die bereichsbestimmende Einheit 3 die maximale Y-Koordinate EYmax des eingestellten Bereichs auf die maximale Y-Koordinate SYmax (Schritt ST38).
Wenn die erforderlichen Bereichsinformationen, die jeden Bereich, der dem Vogelperspektivenbild entspricht, zeigen, von der bereichsbestimmenden Einheit 3 empfangen werden, empfängt die Eingangsvideosignalsteuereinheit 4 die Bilddaten in dem Bereich, der durch die erforderlichen Bereichsinformationen gezeigt ist (das heißt die Bilddaten in dem eingestellten Bereich), die Bilddaten, die in den Bilddaten umfasst sind, die das Bild zeigen, das durch die fahrzeugangebrachte Kamera 1 eingefangen wird, die durch die Kamerainformationen gezeigt ist, die in den erforderlichen Bereichsinformationen umfasst sind, (zum Beispiel, wenn die fahrzeugangebrachte Kamera 1c als die fahrzeugangebrachte Kamera 1, die für eine Erzeugung des Vogelperspektivenbilds verwendet wird, ausgewählt ist, die Bilddaten, die das Bild, das durch die fahrzeugangebrachte Kamera 1c eingefangen wird, zeigen) und speichert die Bilddaten in dem Eingangsrahmenpuffer 5 (Schritt ST5 von 2).
Nachdem die Eingangsvideosignalsteuereinheit 4 die Bilddaten in dem Eingangsrahmenpuffer 5 gespeichert hat, führt die bildverarbeitende Vorrichtung 6 an dem Bild, das durch die Bilddaten, die in dem Eingangsrahmenpuffer 5 gespeichert sind, gezeigt ist, durch Verwenden der Koordinatentransformationsmatrix M(n) in der Neuanordnungstabelle (das heißt der Neuanordnungstabelle, die jedem feinen Bereich, der das Vogelperspektivenbild, das von dem Ansichtspunkt, der durch die Ansichtspunktpositionsinformationen gezeigt ist, gesehen wird, aufbaut, entspricht), die in dem Neuanordnungstabellen speichernden Puffer 2 gespeichert ist, eine Koordinatentransformation aus, um das Vogelperspektivenbild zu erzeugen (Schritt ST6). Die bildverarbeitende Vorrichtung 6 transformiert genauer gesagt durch Verwenden der Koordinatentransformationsmatrix M(n), die in der im Vorhergehenden erwähnten Gleichung (1) gezeigt ist, die Koordinaten (u(n), v(n)) jedes Pixels in dem Bild, das durch die Bilddaten, die in dem Eingangsrahmenpuffer gespeichert sind, gezeigt ist, in die Koordinaten (x(n), y(n)) eines entsprechenden Pixels in dem Vogelperspektivenbild, um das Vogelperspektivenbild zu erzeugen. ( x(n) / y(n)) = M(n)·( u(n) / v(n)) = ( a / c b / d)( u(n) / v(n)) (4)
Nach einem Erzeugen des Vogelperspektivenbilds, das von dem Ansichtspunkt, der durch die Ansichtspunktpositionsinformationen gezeigt ist, gesehen wird, speichert die bildverarbeitende Vorrichtung 6 das Vogelperspektivenbild in dem Ausgangsrahmenpuffer 7 (Schritt ST7). Nachdem die bildverarbeitende Vorrichtung 6 das Vogelperspektivenbild in dem Ausgangsrahmenpuffer 7 gespeichert hat, zeigt die Bildanzeigevorrichtung 8 das Vogelperspektivenbild auf der Anzeige oder dergleichen an (Schritt ST8).
Obwohl die Bildsynthesevorrichtung zu dem Verfahren eines Schritts ST10 wechselt, wenn das Anzeigen des Vogelperspektivenbilds fortgesetzt wird, beendet die Bildsynthesevorrichtung die Reihe von Verfahren, wenn ein Signal oder dergleichen, um ein Ende der Anzeige des Vogelperspektivenbilds anzufragen, in dieselbe eingegeben wird (Schritt ST9). Wenn Ansichtspunktpositionsinformationen während der fortgesetzten Anzeige des Vogelperspektivenbilds neu empfangen werden, bevor ein vorbestimmtes Zeitintervall, nachdem die Bildanzeigevorrichtung 8 das Vogelperspektivenbild angezeigt hat, verstrichen ist (Schritt ST10), bestimmt die bereichsbestimmende Einheit 3, ob der Ansichtspunkt des Vogelperspektivenbilds von dem aktuellen geändert wurde oder nicht (Schritt ST2). Die bereichsbestimmende Einheit 3 vergleicht genauer gesagt den Ansichtspunkt, der durch die Ansichtspunktpositionsinformationen, die das letzte Mal eingegeben wurden, gezeigt ist, mit dem Ansichtspunkt, der durch die Ansichtspunktpositionsinformationen, die dieses Mal eingegeben werden, gezeigt ist, um zu bestimmen, ob der Ansichtspunkt des Vogelperspektivenbilds von dem aktuellen geändert wurde oder nicht.
Wenn der Ansichtspunkt des Vogelperspektivenbilds von dem aktuellen geändert wurde, führt die Bildsynthesevorrichtung die Verfahren in den im Vorhergehenden erwähnten Schritten ST3 bis ST8 aus, um das Vogelperspektivenbild, das von dem geänderten Ansichtspunkt gesehen wird, zu erzeugen und anzuzeigen. Da im Gegensatz dazu die Bereiche, die für eine Erzeugung des Vogelperspektivenbilds erforderlich sind, nicht geändert wurden, wenn der Ansichtspunkt des Vogelperspektivenbilds von dem aktuellen nicht geändert wurde, oder wenn keine Ansichtspunktpositionsinformationen eingegeben wurden, bevor das vorbestimmte Zeitintervall verstrichen ist, lässt die Bildsynthesevorrichtung die Verfahren der Schritte ST3 und ST4 aus, wechselt zu dem Verfahren des Schritts ST5 und führt die im Vorhergehenden erwähnten Verfahren der Schritte ST5 bis ST8 aus. In diesem Fall empfängt die Eingangsvideosignalsteuereinheit 4 erneut die Bilddaten in dem Bereich, der durch die erforderlichen Bereichsinformationen, die das letzte Mal von der bereichsbestimmenden Einheit 3 ausgegeben wurden, gezeigt ist (das heißt die Bilddaten in dem eingestellten Bereich) und speichert die Bilddaten in dem Eingangsrahmenpuffer 5.
Wie aus der vorhergehenden Beschreibung zu erkennen ist, ist, da die Bildsynthesevorrichtung gemäß diesem Ausführungsbeispiel 1 auf eine solche Weise aufgebaut ist, dass die Bildsynthesevorrichtung die bereichsbestimmende Einheit 3 zum Auswählen einer fahrzeugangebrachten Kamera 1, die für eine Erzeugung eines Vogelperspektivenbilds, das von einem beliebigen Ansichtspunkt gesehen wird, verwendet ist, aus den fahrzeugangebrachten Kameras 1a bis 1d, die an unterschiedlichen Positionen angebracht sind, und zum Bestimmen eines Bereichs, der dem Vogelperspektivenbild entspricht, in einem Bild, das durch die fahrzeugangebrachte Kamera 1 eingefangen wird, und die Eingangsvideosignalsteuereinheit 4 zum Empfangen von Bilddaten über den Bereich, der durch die bereichsbestimmende Einheit 3 bestimmt ist, aufweist, wobei die Bilddaten in Bilddaten umfasst sind, die das Bild, das durch die fahrzeugangebrachte Kamera 1 eingefangen wurde, zeigen, um die Bilddaten in dem Eingangsrahmenpuffer 5 zu speichern, und die bildverarbeitende Vorrichtung 6 das Vogelperspektivenbild aus den Bilddaten, die in dem Eingangsrahmenpuffer gespeichert sind, erzeugt, ein Vorteil geliefert, in der Lage zu sein, ein Vogelperspektivenbild zu erzeugen, das eine hohe Qualität und eine hohe Rahmenrate hat, ohne einen Eingangsrahmenpuffer 5, der eine große Speichergröße hat, installieren zu müssen.
Da ferner die Bildsynthesevorrichtung gemäß diesem Ausführungsbeispiel 1 auf eine solche Weise aufgebaut ist, dass jedes Mal, wenn der Ansichtspunkt des Vogelperspektivenbilds von dem aktuellen geändert wurde, die bereichsbestimmende Einheit 3 das Verfahren zum Bestimmen eines Bereichs, der dem Vogelperspektivenbild, das von dem neuen Ansichtspunkt gesehen wird, entspricht, ausführt und die erforderlichen Bereichsinformationen, die den Bereich zeigen, zu der Eingangsvideosignalsteuereinheit 4 liefert, ist ein Vorteil geliefert, in der Lage zu sein, eine Änderung des Ansichtspunkts des Vogelperspektivenbilds zu akzeptieren, ohne eine Erhöhung der Speichergröße des Eingangsrahmenpuffers 5 zu bewirken.
Die Bildsynthesevorrichtung gemäß diesem Ausführungsbeispiel 1 wählt zwei oder mehr fahrzeugangebrachte Kameras 1, die für eine Erzeugung des Vogelperspektivenbilds verwendet werden, aus der Mehrzahl von fahrzeugangebrachten Kameras 1a bis 1d aus, und, wenn das Vogelperspektivenbild durch Ausführen einer Koordinatentransformation an jedem der Bilder, die durch die Mehrzahl von Bilddaten, die in dem Eingangsrahmenpuffer 5 gespeichert sind, gezeigt sind, erzeugt wird, dann setzt die bildverarbeitende Vorrichtung 6 eine Mehrzahl von Bildern (Vogelperspektivenbildern), an denen jeweils die Koordinatentransformation ausgeführt ist, in ein endgültiges Vogelperspektivenbild zusammen. Welches Verfahren eines Zusammensetzens der Mehrzahl von Bildern auch immer verwendet wird. Da ein bekanntes Verfahren verwendet werden kann, um die Mehrzahl von Bildern zusammenzusetzen, ist eine detaillierte Erläuterung des Verfahrens im Folgenden weggelassen.
Obwohl bei diesem Ausführungsbeispiel 1 die Mehrzahl von fahrzeugangebrachten Kameras 1a bis 1d ferner an einem peripheren Abschnitt eines Fahrzeugs angebracht ist, und die bildverarbeitende Vorrichtung 6 ein Vogelperspektivenbild, das von einem beliebigen Ansichtspunkt in der Nachbarschaft des Fahrzeugs gesehen wird, aus den Bilddaten, die in dem Eingangsrahmenpuffer 5 gespeichert sind, wie es vorausgehend erwähnt ist, erzeugt, ist die Mehrzahl von Kameras nicht notwendigerweise an einem peripheren Abschnitt eines Fahrzeugs angebracht. Die Mehrzahl von Kameras kann beispielsweise an einem peripheren Abschnitt eines Gebäudes oder dergleichen angebracht sein.
Obwohl bei diesem Ausführungsbeispiel 1 ferner die vier fahrzeugangebrachten Kameras 1a bis 1d an einem peripheren Abschnitt eines Fahrzeugs angebracht sind, kann irgendeine Zahl von fahrzeugangebrachten Kameras 1 angebracht sein.
Ausführungsbeispiel 2
Obwohl bei dem im Vorhergehenden erwähnten Ausführungsbeispiel 1 die Bildsynthesevorrichtung, bei der der Neuanordnungstabellen speichernde Puffer 2, der Eingangsrahmenpuffer 5 und der Ausgangsrahmenpuffer 7 installiert sind, gezeigt ist, kann statt des Neuanordnungstabellen speichernden Puffers 2, des Eingangsrahmenpuffers 5 und des Ausgangsrahmenpuffers 7 ein gemeinsamer Speicher in der Bildsynthesevorrichtung installiert sein, um eine Aufwandsreduzierung der Bildsynthesevorrichtung zu erreichen.
7 ist ein Blockdiagramm, das eine Bildsynthesevorrichtung gemäß dem Ausführungsbeispiel 2 der vorliegenden Erfindung zeigt. In der Fig. ist, da die gleichen Bezugsziffern wie jene, die in 1 gezeigt sind, die gleichen Komponenten oder ähnliche Komponenten bezeichnen, die Erläuterung dieser Komponenten im Folgenden weggelassen. Eine Speicherzugriffssteuereinheit 9 besteht aus einer integrierten Halbleiterschaltung, einem Ein-Chip-Mikrocomputer, einem Personalcomputer oder dergleichen, in der/dem eine CPU installiert ist, und führt ein Verfahren zum Schreiben von Bilddaten, die aus einer Eingangsvideosignalsteuereinheit 4 ausgegeben werden, (das heißt Bilddaten in einem Bereich, der durch erforderliche Bereichsinformationen gezeigt ist) in einen Speicher 10 und ferner zum Schreiben eines Vogelperspektivenbilds, das aus einer bildverarbeitenden Vorrichtung 6 ausgegeben wird, in den Speicher 10 aus und führt ferner ein Verfahren zum Lesen einer Neuanordnungstabelle, die in dem Speicher 10 gespeichert ist, und zum Ausgeben der Neuanordnungstabelle zu einer bereichsbestimmenden Einheit 3 und der bildverarbeitenden Vorrichtung 6 und ferner zum Lesen des Vogelperspektivenbilds, das in dem Speicher 10 gespeichert ist, und zum Ausgeben des Vogelperspektivenbilds zu einer Bildanzeigevorrichtung 8 aus. Der Speicher 10 ist ein aufzeichnendes Medium, wie zum Beispiel ein RAM oder eine Festplatte, und speichert die Neuanordnungstabelle, die Bilddaten und das Vogelperspektivenbild.
Obwohl bei dem Beispiel von 7 angenommen ist, dass die bereichsbestimmende Einheit 3, die Eingangsvideosignalsteuereinheit 4, die bildverarbeitende Vorrichtung 6, die Speicherzugriffseinheit 9 und der Speicher 10, die die Komponenten der Bildsynthesevorrichtung sind, jeweils aus Stücken von Hardware für eine ausschließliche Verwendung bestehen, kann die Bildsynthesevorrichtung alternativ aus einem Computer bestehen. In diesem Fall kann ein Programm, in dem die Verfahren, die durch die bereichsbestimmende Einheit 3, die Eingangsvideosignalsteuereinheit 4, die bildverarbeitende Vorrichtung 6, die Speicherzugriffssteuereinheit 9 und den Speicher 10 ausgeführt werden, beschrieben sind, in einem Speicher des Computers gespeichert sein, und eine CPU des Computers kann veranlasst werden, das Programm, das in dem Speicher gespeichert ist, auszuführen.
Der Betrieb der Bildsynthesevorrichtung ist als Nächstes erläutert. Wenn Ansichtspunktpositionsinformationen, die einen Ansichtspunkt eines Vogelperspektivenbilds, das zu erzeugen ist, zeigen, empfangen werden, bestimmt die bereichsbestimmende Einheit 3, ob der Ansichtspunkt des Vogelperspektivenbilds von einem aktuellen geändert wurde oder nicht, wie dieselbe gemäß den im Vorhergehenden erwähnten Ausführungsbeispiel 1 (Schritt ST1 von 2) (Schritt ST2).
Wenn der Ansichtspunkt des Vogelperspektivenbilds von dem aktuellen (einschließlich der Zeit, zu der ein Ansichtspunkt eines Vogelperspektivenbilds zum ersten Mal spezifiziert wird) geändert wurde, durchsucht die bereichsbestimmende Einheit 3 über die Speicherzugriffssteuereinheit 9 eine Mehrzahl von Neuanordnungstabellen, die in dem Speicher 10 gespeichert sind, nach der Neuanordnungstabelle, die jedem feinen Bereich, der das Vogelperspektivenbild, das von dem Ansichtspunkt gesehen wird, aufbaut, entspricht. Nach einem Suchen nach der Neuanordnungstabelle, die jedem feinen Bereich entspricht, nimmt die bereichsbestimmende Einheit 3 auf die Kamerainformationen, die in der Neuanordnungstabelle aufgezeichnet sind, Bezug, um die fahrzeugangebrachte Kamera 1, die für eine Erzeugung des Vogelperspektivenbilds, das von dem Ansichtspunkt, der durch die Ansichtspunktpositionsinformationen gezeigt ist, gesehen wird, verwendet wird, aus den fahrzeugangebrachten Kameras 1a bis 1d auszuwählen (Schritt ST3).
Nach einem Auswählen einer fahrzeugangebrachten Kamera 1, die für eine Erzeugung des Vogelperspektivenbilds verwendet wird, nimmt die bereichsbestimmende Einheit 3 auf die Bereichsinformationen, die in der Neuanordnungstabelle aufgezeichnet sind, Bezug, um den Bereich zu bestimmen, der dem Vogelperspektivenbild in dem Bild, das durch die fahrzeugangebrachte Kamera 1 eingefangen wurde, entspricht, und gibt die erforderlichen Bereichsinformationen, die den Bereich zeigen, zu der Eingangsvideosignalsteuereinheit 4 aus (Schritt ST4). Wenn die erforderlichen Bereichsinformationen zu der Eingangsvideosignalsteuereinheit 4 ausgegeben werden, schließt die bereichsbestimmende Einheit 3 die Kamerainformationen, die die fahrzeugangebrachte Kamera 1, die für eine Erzeugung des Vogelperspektivenbilds verwendet ist, zeigen, (das heißt die Kamerainformationen, die in der Neuanordnungstabelle, die jedem feinen Bereich, der das Vogelperspektivenbild, das von dem Ansichtspunkt gesehen wird, aufbaut, entspricht, aufgezeichnet sind) in den erforderlichen Bereichsinformationen ein und gibt die erforderlichen Bereichsinformationen zu der Eingangsvideosignalsteuereinheit 4 aus. Als eine Alternative kann die bereichsbestimmende Einheit die Kamerainformationen getrennt von den erforderlichen Bereichsinformationen zu der Eingangsvideosignalsteuereinheit 4 ausgeben.
Wenn die erforderlichen Bereichsinformationen, die jeden Bereich, der dem Vogelperspektivenbild entspricht, zeigen, von der bereichsbestimmenden Einheit 3 empfangen werden, empfängt die Eingangsvideosignalsteuereinheit 4 die Bilddaten in dem Bereich, der durch die erforderlichen Bereichsinformationen gezeigt ist, (das heißt die Bilddaten in dem eingestellten Bereich) wobei die Bilddaten in den Bilddaten umfasst sind, die das Bild zeigen, das durch die fahrzeugangebrachte Kamera 1 eingefangen wird, die durch die Kamerainformationen, die in den erforderlichen Bereichsinformationen umfasst sind, gezeigt ist, wie dieselbe gemäß dem im Vorhergehenden erwähnten Ausführungsbeispiel 1. Die Eingangsvideosignalsteuereinheit 4 speichert dann über die Speicherzugriffssteuereinheit 9 die Bilddaten in dem eingestellten Bereich in dem Speicher 10 (Schritt ST5).
Wenn die Eingangsvideosignalsteuereinheit 4 über die Speicherzugriffssteuereinheit 9 die Bilddaten in dem eingestellten Bereich in dem Speicher 10 speichert, liest die bildverarbeitende Vorrichtung 6 die Neuanordnungstabelle (das heißt die Neuanordnungstabelle, die jedem feinen Bereich, der das Vogelperspektivenbild, das von dem Ansichtspunkt, der durch die Ansichtspunktpositionsinformationen gezeigt ist, gesehen wird, aufbaut, entspricht), die in dem Speicher 10 gespeichert ist, über die Speicherzugriffssteuereinheit 9 und liest ferner die Bilddaten in dem eingestellten Bereich, der in dem Speicher 10 gespeichert ist. Die bildverarbeitende Vorrichtung 6 führt dann eine Koordinatentransformation an dem Bild, das durch die Bilddaten gezeigt ist, durch Verwenden einer Koordinatentransformationsmatrix M(n), die in der Neuanordnungstabelle aufgezeichnet ist, aus, um das Vogelperspektivenbild zu erzeugen (Schritt ST6). Die bildverarbeitende Vorrichtung 6 transformiert genauer gesagt durch Verwenden der Koordinatentransformationsmatrix M(n), die in der im Vorhergehenden erwähnten Gleichung (1) gezeigt ist, die Koordinaten (u(n), v(n)) jedes Pixels in dem Bild, das durch die Bilddaten, die in dem Speicher 10 gespeichert sind, gezeigt ist, in die Koordinaten (x(n), y(n)) eines entsprechenden Pixels in dem Vogelperspektivenbild, um das Vogelperspektivenbild zu erzeugen.
Nach einem Erzeugen des Vogelperspektivenbilds, das von dem Ansichtspunkt, der durch die Ansichtspunktpositionsinformationen gezeigt ist, gesehen wird, speichert die bildverarbeitende Vorrichtung 6 das Vogelperspektivenbild über die Speicherzugriffssteuereinheit 9 in dem Speicher 10 (Schritt ST7). Nachdem die bildverarbeitende Vorrichtung 6 über die Speicherzugriffssteuereinheit 9 das Vogelperspektivenbild in dem Speicher 10 gespeichert hat, liest die Bildanzeigevorrichtung 8 das Vogelperspektivenbild, das in dem Speicher 10 gespeichert ist, über die Speicherzugriffssteuereinheit 9 und zeigt das Vogelperspektivenbild auf einer Anzeige oder dergleichen an (Schritt ST8).
Obwohl die Bildsynthesevorrichtung zu dem Verfahren des Schritts ST10 wechselt, wenn ein Anzeigen des Vogelperspektivenbilds fortgesetzt wird, beendet die Bildsynthesevorrichtung die Reihe von Verfahren, wenn ein Signal oder dergleichen, um ein Ende des Anzeigens des Vogelperspektivenbilds anzufragen, in dieselbe eingegeben wird (Schritt ST9). Wenn Ansichtspunktpositionsinformationen während der fortgesetzten Anzeige des Vogelperspektivenbilds neu empfangen werden, bevor ein vorbestimmtes Zeitintervall, nachdem die Bildanzeigevorrichtung 8 das Vogelperspektivenbild angezeigt hat, verstrichen ist (Schritt ST10), bestimmt die bereichsbestimmende Einheit 3, ob der Ansichtspunkt des Vogelperspektivenbilds von dem aktuellen geändert wurde oder nicht (Schritt ST2). Die bereichsbestimmende Einheit 3 vergleicht genauer gesagt den Ansichtspunkt, der durch die Ansichtspunktpositionsinformationen, die das letzte Mal eingegeben wurden, gezeigt ist, mit dem Ansichtspunkt, der durch die Ansichtspunktpositionsinformationen, die dieses Mal eingegeben werden, gezeigt ist, um zu bestimmen, ob der Ansichtspunkt des Vogelperspektivenbilds von dem aktuellen geändert wurde oder nicht.
Wenn der Ansichtspunkt des Vogelperspektivenbilds von dem aktuellen geändert wurde, führt die Bildsynthesevorrichtung bei den im Vorhergehenden erwähnten Schritten ST3 bis ST8 Verfahren aus, um das Vogelperspektivenbild, das von dem geänderten Ansichtspunkt gesehen wird, zu erzeugen und anzuzeigen. Da im Gegensatz dazu die Bereiche, die für eine Erzeugung des Vogelperspektivenbilds erforderlich sind, nicht geändert werden, wenn der Ansichtspunkt des Vogelperspektivenbilds von dem aktuellen nicht geändert wird, oder wenn keine neuen Ansichtspunktpositionsinformationen eingegeben werden, bevor das vorbestimmte Zeitintervall verstrichen ist, lässt die Bildsynthesevorrichtung die Verfahren der Schritte ST3 und ST4 aus, wechselt zu dem Verfahren des Schritts ST5 und führt die im Vorhergehenden erwähnten Verfahren der Schritte ST5 bis ST8 aus. In diesem Fall empfängt die Eingangsvideosignalsteuereinheit 4 die Bilddaten in dem Bereich, der durch die erforderlichen Bereichsinformationen, die das letzte Mal von der bereichsbestimmenden Einheit 3 ausgegeben wurden, gezeigt ist, (das heißt die Bilddaten in dem eingestellten Bereich) neu und speichert die Bilddaten über die Speicherzugriffssteuereinheit 9 in dem Speicher 10.
Wie aus der vorausgehenden Beschreibung zu erkennen ist, wird selbst in dem Fall, bei dem der gemeinsame Speicher 10 statt des Neuanordnungstabellen speichernden Puffers 2, des Eingangsrahmenpuffers 5 und des Ausgangsrahmenpuffers 7 in der Bildsynthesevorrichtung installiert ist, um eine Kostenreduzierung der Bildsynthesevorrichtung zu erreichen, ein Vorteil geliefert, in der Lage zu sein, ein Vogelperspektivenbild zu erzeugen, das eine hohe Qualität und eine hohe Rahmenrate hat, ohne eine Erhöhung der Speichergröße zu bewirken.
GEWERBLICHE ANWENDBARKEIT
Die Bildsynthesevorrichtung gemäß der vorliegenden Erfindung ist für eine Verwendung als eine Bildsynthesevorrichtung geeignet, die ein Vogelperspektivenbild, das von einem beliebigen Ansichtspunkt gesehen wird, aus Bildern, die durch eine Mehrzahl von Kameras eingefangen werden, erzeugt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 00/064175 [0005]
JP 2006-287826 [0005]

Claims

Bildsynthesevorrichtung mit: einer bereichsbestimmenden Einheit zum Auswählen einer Kamera, die für eine Erzeugung eines Vogelperspektivenbilds, das von einem beliebigen Ansichtspunkt gesehen wird, verwendet ist, aus einer Mehrzahl von Kameras, die an unterschiedlichen Positionen angebracht sind, und zum Bestimmen eines Bereichs, der dem Vogelperspektivenbild entspricht, in einem Bild, das durch die Kamera, die dadurch ausgewählt ist, eingefangen wird; und einer Bilddateneingangseinheit zum Empfangen von Bilddaten über den Bereich, der durch die bereichsbestimmende Einheit bestimmt ist, wobei die Bilddaten in Bilddaten, die das Bild, das durch die Kamera eingefangen wird, zeigen, umfasst sind, um die Bilddaten in einem Rahmenpuffer zu speichern; und einer Vogelperspektivenbild erzeugenden Einheit zum Erzeugen eines Vogelperspektivenbilds aus den Bilddaten, die in dem Rahmenpuffer gespeichert sind.
Bildsynthesevorrichtung nach Anspruch 1, bei der die Bildsynthesevorrichtung eine Bildanzeigeeinheit zum Anzeigen des Vogelperspektivenbilds, das durch die Vogelperspektivenbild erzeugende Einheit erzeugt wird, aufweist.
Bildsynthesevorrichtung nach Anspruch 1, bei der die Mehrzahl von Kameras an einem peripheren Abschnitt eines Fahrzeugs angebracht ist, und die Vogelperspektivenbild erzeugende Einheit das Vogelperspektivenbild, das von dem beliebigen Ansichtspunkt in einer Nachbarschaft des Fahrzeugs gesehen wird, aus den Bilddaten, die in dem Rahmenpuffer gespeichert sind, erzeugt.
Bildsynthesevorrichtung nach Anspruch 1, bei der in einem Fall, in dem eine Tabellen speichernde Einheit zum Speichern von Neuanordnungstabellen, in denen jeweils Kamerainformationen, die eine Kamera, die einem Ansichtspunkt eines Vogelperspektivenbilds entspricht, zeigen, Bereichsinformationen, die einen Bereich in einem Bild, das durch die Kamera erfasst wurde, zeigen, wobei der Bereich dem Vogelperspektivenbild entspricht, und eine Koordinatentransformationsmatrix, die zum Wandeln eines Bilds, das durch die Kamera erfasst wurde, in ein Vogelperspektivenbild verwendet ist, aufgezeichnet sind, angeordnet ist, die bereichsbestimmende Einheit auf eine Neuanordnungstabelle, die in der Tabellen speichernden Einheit gespeichert ist, Bezug nimmt, um eine Kamera, die einem Ansichtspunkt, der durch Ansichtspunktpositionsinformationen, die von außerhalb der Bildsynthesevorrichtung geliefert wurden, gezeigt ist, entspricht, auszuwählen und ferner einen Bereich, der einem Vogelperspektivenbild, das von dem Ansichtspunkt gesehen wird, entspricht, aus einem Bild, das durch die Kamera erfasst wurde, bestimmt.
Bildsynthesevorrichtung nach Anspruch 4, bei der die Vogelperspektivenbild erzeugende Einheit durch Verwenden einer Koordinatentransformationsmatrix, die in einer Neuanordnungstabelle aufgezeichnet ist, an dem Bild, das durch die Bilddaten, die in dem Rahmenpuffer gespeichert sind, gezeigt ist, eine Koordinatentransformation ausführt, um das Vogelperspektivenbild zu erzeugen.
Bildsynthesevorrichtung nach Anspruch 1, bei der die bereichsbestimmende Einheit das Verfahren zum Bestimmen des Bereichs, der dem Vogelperspektivenbild, das von dem beliebigen Ansichtspunkt gesehen wird, entspricht, jedes Mal ausführt, wenn der beliebige Ansichtspunkt geändert wurde, und ein Resultat des bereichsbestimmenden Verfahrens für die Bilddateneingangseinheit liefert.