DE69713243T2

DE69713243T2 - Bilderzeugungsgerät

Info

Publication number: DE69713243T2
Application number: DE69713243T
Authority: DE
Inventors: Hiroshi Akagi; Yoshihiro Kitamura; Mitsuaki Nakamura
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1996-10-17
Filing date: 1997-10-16
Publication date: 2003-01-23
Anticipated expiration: 2017-10-17
Also published as: JPH10178564A; EP0837428B1; US6005987A; EP0837428A2; EP0837428A3; DE69713243D1

Description

Hintergrund der Erfindung

1. Gebiet der Erfindung

Die vorliegende Erfindung betrifft eine Bilderzeugungsvorrichtung zum Erzeugen eines zusammengesetzten Panoramabilds aus einer Vielzahl von digitalen Standbildern in Übereinstimmung mit den Oberbegriffen der unabhängigen Ansprüche 1, 6, 10 bzw. 11.

2. Beschreibung des verwandten Sachstandes

Es sind Verfahren zum Verbinden eines Paars digitaler Bilder bekannt, die Abbildungen eines gleichen Objekts einschließen und Überlappungsbereiche aufweisen, wo die Vielzahl digitaler Bilder einander überlappen, um ein Panoramabild oder ein in hohem Maße feines (hohe Auflösung) Bild zu erzeugen, beispielsweise ein Verfahren, das in der ungeprüften japanischen Patentanmeldung JP-A3-182976 (1991) offenbart ist, in welchem zwei charakteristische Partikel, die granulare Abschnitte mit einer hohen Konzentration in einem Bild sind, in jedem eines Paars von Bildern, die Überlappungsbereiche aufweisen, abgetastet werden, und die Bilder zusammen mit einer Linie verbunden werden, die diese als eine Verbindungslinie verbindet, ung ein Verfahren, das in der ungeprüften japanischen Patentanmeldung JP-A5-122606 (1993) offenbart ist, in welchem das Paar der Bilder in einem Bereich miteinander verbunden wird, der einen Unterschied in einer Konzentration minimiert.
Es ist ein Verfahren offenbart, das in dem "Picture Image Analysis Handbook", S. 466, herausgegeben von der Tokyo University Publication Association, beschrieben ist, wo, indem ein Paar von Bildern verbunden wird, die Bilder nicht durch eine Linie, wie etwa eine Verbindungslinie verbunden werden, sondern eine Farbtönung derart geglättet wird, dass eine Änderung in den Konzentrationen der beiden Bilder in den Umgebungsbereichen der Verbindungslinie nicht diskontinuierlich wird.
Es wird angenommen, dass eine Kamera ein Bild, das eine Ansicht in einem Abbildungsbereich beschreibt, durch einen Abbildungsvorgang bereitstellt. Bei einem Abbilden eines digitalen Bilds unter Verwendung der Kamera gibt es den Fall, wo eine Schwenkabbildung handgehalten ausgeführt wird, ein Fall, wo ein Schwenkabbildung unter Verwendung eines Stativs ausgeführt wird, ein Fall, wo eine Abbildung durch ein Einrichten einer Vielzahl von Kameras mit überlappenden Abbildungsbereichen ausgeführt wird.
Eine Schwenabbildung zeigt mehrfache Male eines Abbildungsvorgangs auf, wo der Abbildungsbereich der Kamera in der horizontalen Richtung bewegt wird, wobei bei jedem Abbildungsvorgang Abschnitte eines Objekts in den Abbildungsbereich bei einem Durchführen eines vorangehenden oder nachfolgenden Abbildungsvorgangs eingeschlossen werden.
Beispielsweise sind, wie in Fig. 4 gezeigt, Kameras 301 und 302, die ein Objekt abbilden können, das in Abbildungsbereichen 307 und 308, die jeweils eine vorbestimmte Größe durch einen Abbildungsvorgang aufweisen, derart angeordnet, dass sich die Abbildungsbereiche 307 und 308 überlappen, um Objekte 309 und 310 abzubilden. In diesem Fall schneiden die optischen Achsen 303 und 304 der Linsen 301a und 302a der Kameras einander, indem sie einen Winkel 305 ausbilden. In Fig. 4 ist ein Abschnitt 311, wo sich die Abbildungsbereiche 307 und 308 überlappen, durch aufgebrachte schraffierte Linien angezeigt. Die Objekte 309 und 310 sind in dem Abschnitt 311 angeordnet. Abstände (nachstehend als Tiefe bezeichnet) von der Kamera 301 zu den Objekten 309 und 310 unterscheiden sich von den Tiefen von der Kamera 302 zu den Objekten 309 bzw. 310. Überlappte Zustände der Objekte 309 und 310 unterscheiden sich in einer Ansicht von den Kameras 301 und 302, und deswegen wird ein Abschnitt 321 des Objekts 310 nicht von der Kamera 301 gesehen und von der Kamera 302 gesehen.
Die Fig. 5A und 5B zeigen Bilder 313 und 314, die von den Kameras 301 und 302 durch den Abbildungsvorgang erhalten werden. Das Bild 313 schließt Objektabbildungen 317 und 318 ein, die die Objekte 309 und 310 darstellen. Das Bild 314 schließt Objektabbildungen 319 und 320 der Objekte 309 und 310 ein.
Alternativ kann nur eine Kamera in der gleichen Weise wie die Kamera 301 der Fig. 4 angeordnet werden. Zuerst werden die Objekte 309 und 310 von der Kamera abgebildet, und dann wird die Kamera von der Position, wo die optische Achse der Linse mit der optischen Achse 303 zusammenfällt, zu der Position bewegt, wo die optische Achse der Linse mit der optischen Achse 304 zusammenfällt, um die Objekte 309 und 310 in der letzteren Position abzubilden. In diesem Fall ist die positionsmäßige Beziehung zwischen der Kamera und den Objekten 309 und 310 in dem ersten Abbildungsvorgang gleich zu jener zwischen der Kamera 301 und den Objekten 309 und 310, und die positionsmäßige Beziehung zwischen der Kamera und den Objekten 309 und 310 in dem zweiten Abbildungsvorgang ist gleich zu jener zwischen der Kamera 302 und den Objekten 309 und 310. Folglich sind die beiden Bilder, die in diesem Fall erhalten werden, gleich den beiden Bildern, die von den Kameras 301 und 302 erhalten werden.
Bei einem Ausführen einer handgehaltenen Schwenkabbildung oder einem Abbilden durch eine Vielzahl von Kameras sind Positionen der Linsen 301a und 302a der Kameras 301 und 302, wie in Fig. 4 gezeigt, verschoben. Weiter fällt in vielen der Kombinationen von Kamera und Stativ das Drehzentrum einer Kamera nicht mit dem Linsenzentrum der Kamera zusammen, und deswegen wird eine mehr oder weniger große Bewegung der Position der Linse auch in dem Fall verursacht, wo eine Schwenkabbildung unter Verwendung eines Stativs ausgeführt wird. Diese Unterschiede in der Position einer Linse erhöhen eine Parallaxe, die durch einen Unterschiede in Tiefen von Objekten in dem Bild verursacht wird.
Beispielsweise wird, wie in den Fig. 5A und 5B gezeigt, obwohl der Abschnitt 321 in dem Bild 320 des Objekts 310 in das Bild 314 abgebildet wird, der Abschnitt 321 nicht in das Bild 318 des Objekts 310 in dem Bild 313 abgebildet. Deswegen fallen gemäß der Bilder 313 und 314 jeweilige Formen und überlappte Zustände der Bilder 317, 318; 319, 320 der Objekte 309 und 310 in dem überlappten Bereich 311 der Abbildungsbereiche 307 und 308 nicht miteinander zusammen.
Dementsprechend fallen, wenn ein Panoramabild 323, das in Fig. 5C gezeigt ist, durch ein Verbinden der Bilder 313 und 314 derart erzeugt wird, dass die Positionen der Bilder 313 und 314 miteinander zusammenfallend ausgeführt werden, um die Bilder 317 und 319 des Objekts 309 miteinander zusammenfallend auszuführen, die Bilder 318 und 320 des Objekts 310 nicht miteinander zusammen, sondern sind voneinander verschoben. Umgekehrt fallen, wenn ein Panoramabild 324, das in Fig. 5D gezeigt ist, durch ein Verbinden der Bilder 313 und 314 derart erzeugt wird, dass die Positionen der Bilder 313 und 314 zusammenfallend miteinander ausgeführt werden, um die Bilder 318 und 320 des Objekts 310 miteinander zusammenfallend auszuführen, die Bilder 317 und 319 des Objekts 309 nicht miteinander zusammen, sondern sind voneinander verschoben. Weiter werden, wenn ein sich bewegender Körper ein Objekt ist, in dem Fall, wo jeweilige Abbildungsvorgänge mit der Zeit verschoben werden, mit der Bewegung des Körpers die Position und die Form des Bilds des Objekts in den jeweiligen Bildern geändert, und deswegen fallen die Abbildungen des Objekts nicht miteinander zusammen, auch in dem Fall, wo ein Panoramabild aus diesen Bildern wie oben beschrieben erzeugt wird.
Weiter werden, gemäß der herkömmlichen Bildverbindungstechnologie, Bilder durch eine Verbindungslinie einer geraden Linie oder einer geraden Linie, die eine Breite aufweist, verbunden. Jedoch können, wenn Unterschiede unter den Bildern, wie oben beschrieben, vorhanden sind, Bilder oft nicht adäquat zusammengesetzt werden. Insbesondere wenn Abschnitte der Bilder in natürlicher Weise verbunden sind, wird durch eine Verschiebung oder eine verdoppelte Abbildung an den Verbindungslinien bezüglich der Abschnitte verursacht, was zu einer Parallaxe oder einem Einschließen eines sich bewegenden Körpers führt, wodurch eine beträchtliche Verschlechterung in der Qualität eines Panoramabilder verursacht wird.
Die EP-A-0 605 045 zielt auf eine Vorrichtung zum Erzeugen eines Panoramabilds aus benachbarten Bildern ab. Diese benachbarten Bilder werden von mehreren Kameras aus unterschiedlichen Positionen aufgenommen, während der gleiche Beobachtungspunkt der Kameras aufrechterhalten wird, und das Panoramabild wird durch ein Eliminieren einer Grenzstörung zwischen benachbarten Bildern erzeugt. Um die Störung eines Überlappungsbereichs zwischen Bildern zu absorbieren, transformiert die bekannte Vorrichtung die Gesamtheit jedes ursprünglichen Bilds.
Die US-A-5,465,163 offenbart ein Bildverarbeitungsverfahren und eine Vorrichtung zum Verarbeiten übergroßer Originalbilder und zum Synthetisieren mehrfacher Abbildungen. Die Vorrichtung erzeugt ein Panoramabild durch ein Berechnen eines Überlappungsbereichs von Bildern und ein Springen über die Abbildungen zur Zeit einer Ausgabe. Eine Verbindungslinie, die von der Vorrichtung berechnet wird, ist immer eine gerade Linie und kommt mit einer komplexen Kontur eines abzubildenden Objekts nicht zurecht.

Zusammenfassung der Erfindung

Um die oben erwähnten Probleme der herkömmlichen Technologie zu lösen, ist es eine Aufgabe der Erfindung, eine Bilderzeugungsvorrichtung bereitzustellen, in welcher bei einem Abbilden einer Szene durch eine Kamera oder dergleichen in dem Fall, wo eine Bewegung des Linsenzentrums der Kamera unvermeidbar ist, von einer Kamera aufgenommene Bilder, die eine Parallaxe einschließen, die durch einen Unterschied in einer Tiefe eines Objekts oder von Objekten verursacht wird, zusammengesetzt werden, um ein zusammengesetztes Bild zu erhalten, das eine unerhebliche Verschlechterung in einer Bildqualität aufweist, die durch eine Verschiebung in der Abbildung des Objekts oder der Objekte oder ein doppeltes Abbilden der Bilder des Objekts oder der Objekte verursacht wird.
Weiter ist es eine Aufgabe der Erfindung, eine Bilderzeugungsvorrichtung bereitzustellen, wobei bei einem Abbilden einer Szene durch eine Kamera oder dergleichen, in dem Fall, wo eine Bewegung des Linsenzentrums der Kamera unvermeidlich ist, oder in einem Fall, dass ein Objekt eines sich bewegenden Körpers unvermeidlich ist, Bilder, die eine Parallaxe aufweisen, die durch einen Unterschied in einer Tiefe verursacht ist, oder ein Bild eines sich bewegenden Körpers einschließen, zusammengesetzt werden, wodurch ein zusammengesetztes Bild erhalten wird, das eine unbeträchtliche Störung der Bildqualität, die durch eine Verschiebung in der Abbildung eines Objekts oder ein doppeltes Abbilden von Bildern des Objekts oder der Objekte hervorgerufen wird, aufweist.
Gemäß einem ersten Aspekt der Erfindung ist eine Bilderzeugungsvorrichtung zum Erzeugen eines zusammengesetzten Panoramabilds von einer Vielzahl von digitalen Standbildern bereitgestellt, wobei die Vorrichtung eine Abbildungseinrichtung zum Erhalten eines Paars geteilter Bilder, die Parallaxen aufweisen, durch ein Abbilden eines Objekts oder einer Vielzahl von Objekten, die unterschiedliche Entfernungen von der Abbildungseinrichtung aufweisen, und einer Peripherie des Objekts oder der Objekte, um so einen gleichen Teil des Objekts oder der Objekte in Abbildungsbereichen für das Paar geteilter Bilder einzuschließen, eine Berechnungseinrichtung zum Berechnen von Überlappungsbereichen der jeweiligen geteilten Bilder einschließlich der Abbildungen des Objekts oder der Objekte, eine Parallaxenabtasteinrichtung zum Abtasten der Parallaxen von den Abbildungen des Objekts oder der Objekte in den zwei Überlappungsbereichen, und eine Bildzusammensetzungseinrichtung zum Bereitstellen eines zusammengesetzten Bilds durch ein Zusammensetzen des Paars geteilter Bilder derart, dass die Überlappungsbereiche überlappen, umfasst, wobei Zwischenbilderzeugungseinrichtungen bereitgestellt sind, um Zwischenbilder zu erzeugen, die bereitzustellen sind, indem das Objekt oder die Objekte von einer Vielzahl von Punkten, die unterschiedlich voneinander sind, zwischen Beobachtungspunkten, von welchen die jeweiligen geteilten Bilder abgebildet werden, auf der Grundlage der Abbildungen des Objekts in den Überlappungsbereichen des Paars geteilter Bilder und der abgetasteten Parallaxe abgebildet werden, die Parallaxenabtasteinrichtung den Überlappungsbereich eines ersten der Bilder teilt, die jeweiligen als Referenzbereiche bestimmt und Anpassbereiche von dem zweiten Bild in Übereinstimmung mit den jeweiligen Referenzbereichen des zweiten Bilds durch Verwenden des Verfahrens einer Musteranpassung sucht, und die Bildzusammensetzungseinrichtung das zusammengesetzte Bild durch ein Interpolieren der Parallaxen der Abbildungen des Objekts oder der Objekte in den beiden Überlappungsbereichen durch die erzeugten Zwischenbilder bereitstellt.
Gemäß dem ersten Aspekt der Erfindung wird die Parallaxe, die durch die Tiefe des Objekts verursacht ist, auf der Grundlage der Abbildungen des Objekts in den Überlappungsbereichen der geteilten Bilder berechnet, und die Abblidungen des Objekts in den Überlappungsbereichen werden durch ein Verwenden der Zwischenbilder zum Interpolieren der Positionen eines Abbildens der Bilder auf der Grundlage der Berechnung interpoliert, wodurch ein Effekt erreicht wird, der ein Panoramabild erzeugen kann, das natürlicher ist als in der herkömmlichen Technologie, auch in dem Fall, wo die Parallaxe durch die Tiefe des Objekts verursacht wird.
Die Bildzusammensetzungseinrichtung interpoliert die Parallaxen der Abbildungen des Objekts in den beiden Überlappungsbereichen durch Verwenden der Vielzahl von Zwischenbildern. Dadurch kann, da Unterschiede in Parallaxen der Bilder der Vielzahl von Objekten in den jeweiligen Überlappungsbereichen weiter als in dem Fall eines Erzeugens eines Zwischenbilds abgemildert werden, ein natürlicheres zusammengesetztes Bild erhalten werden. Je größer die Anzahl der Zwischenbilderist, desto mehr kann der Unterschied in einer Parallaxe abgesenkt werden.
Der zweite Aspekt der Erfindung stellt eine Bilderzeugungsvorrichtung bereit, wobei, wenn eine Vielzahl von Objekten, die unterschiedliche Entfernungen von der Abbildungseinrichtung zu den Objekten aufweisen, die Parallaxenabtasteinrichtung Parallaxen von Abbildungen der jeweiligen Objekte derart korrigiert, dass die Parallaxe der Abbildung irgendeines der Objekte unter den Parallaxen, die von den Bildern der jeweiligen Objekte abgetastet werden, ausgeglichen wird.
Gemäß dem zweiten Aspekt der Erfindung korrigiert die Parallaxenabtasteinrichtung die abgetasteten Parallaxen, wie oben beschrieben. Dadurch werden, wenn die Parallaxen der Abbildungen der Objekte in den beiden Überlappungsbereichen durch eine Verwendung der Zwischenbilder, die auf der Grundlage der Parallaxen und des Paars geteilter Bilder erzeugt werden, in das zusammengesetzte Bild zusammengesetzt werden, die Abbildungen jedwedes der Objekte natürlich verbunden. Dementsprechend kann ein natürlicheres zusammengesetztes Bild erhalten werden.
Ein dritter Aspekt der Erfindung stellt eine Bilderzeugungsvorrichtung bereit, wobei die Berechnungseinrichtung der Bilderzeugungsvorrichtung Unterschiede in einem Winkel der Abbildungen des Objekts in den beiden geteilten Bildern berechnet und die geteilten Bilder einer Rotationstransformation unterwirft, derart, dass die berechneten Unterschiede der Winkel einander aufheben.
Gemäß dem dritten Aspekt der Erfindung korrigiert die Berechnungseinrichtung die geteilten Bilder, wie oben beschrieben, indem diese gedreht werden. Dadurch werden, auch in dem Fall, wo nicht nur die Unterschiede in den Parallaxen, sondern die Unterschiede in einem Winkel der Abbildungen des Objekts in den geteilten Bildern eingeschlossen sind, die Unterschiede korrigiert, und dementsprechend können die Bilder feiner zusammengesetzt werden.
Ein vierter Aspekt der Erfindung stellt eine Bilderzeugungsvorrichtung bereit, wobei die Berechnungseinrichtung der Bilderzeugungsvorrichtung Unterschiede in einer Größe der Abbildungen des Objekts in den geteilten Bildern berechnet, und die beiden geteilten Bilder derart vergrößert oder verkleinert werden, dass die berechneten Unterschiede in einer Größe einander aufheben.
Gemäß dem vierten Aspekt der Erfindung korrigiert die Berechnungseinrichtung die geteilten Bilder derart, dass diese vergrößert oder verkleinert werden, wie oben beschrieben. Dadurch werden, auch wenn die geteilten Bilder nicht nur Unterschiede in den Parallaxen, sondern Unterschiede in einer Größe der Abbildungen des Objekts einschließen, die Unterschiede korrigiert, und die Bilder können dementsprechend feiner zusammengesetzt werden.
Ein fünfter Aspekt der Erfindung stellt eine Bilderzeugungsvorrichtung bereit, wobei die Berechnungseinrichtung Unterschiede in einem Winkel und einer Größe der Abbildungen des Objekts in den beiden geteilten Bilder berechnet, und die geteilten Bilder einer Rotationstransformation und einer Vergrößerung oder einer Verkleinerung derart unterwirft, dass die berechneten Unterschiede in einem Winkel und einer Größe einander jeweils aufheben.
Gemäß dem fünften Aspekt der Erfindung korrigiert die Berechnungseinrichtung, wie oben erwähnt, die beiden geteilten Bilder, indem diese rotationsmäßig transformiert und vergrößert oder verkleinert werden. Dadurch werden, auch wenn die geteilten Bilder nicht nur die Unterschiede in einer Parallaxe, sondern auch Unterschiede in einem Winkel und einer Größe der Abbildungen des Objekts einschließen, die Unterschiede korrigiert, und dementsprechend können die Bilder feiner zusammengesetzt werden.
Gemäß einem sechsten Aspekt der Erfindung ist eine Bilderzeugungsvorrichtung zum Erzeugen eines zusammengesetzten Panoramabilds von einer Vielzahl von digitalen Standbildern bereitgestellt, wobei die Vorrichtung eine Abbildungseinrichtung zum Bereitstellen eines Paars geteilter Bilder, eine Berechnungseinrichtung zum Berechnen von Überlappungsbereichen, die die Abbildungen der Objekte in den jeweiligen geteilten Bildern einschließen, eine Verbindungslinien-Einstelleinrichtung zum Einstellen von Verbindungslinien in den jeweiligen Überlappungsbereichen und eine Bildzusammensetzungseinrichtung zum Bereitstellen zusammengesetzter Bilder durch ein Zusammensetzen des Paars geteilter Bilder aufweist, derart, dass die Verbindungslinien überlappen, wobei die Abbildungseinrichtung das Paar geteilter Bilder bereitstellt, um so Parallaxen in den Abbildungen der Objekte durch ein Abbilden der gleichen Objekte jeweils von zwei unterschiedlichen Beobachtungspunkten aufzuweisen, eine Parallaxenabtasteinrichtung bereitgestellt ist, um die Parallaxen von den Abbildungen der Objekte in den berechneten Überlappungsbereichen abzutasten, indem der Überlappungsbereich eines ersten der Bilder geteilt wird, die jeweiligen als Referenzbereiche bestimmt werden, und entsprechende Anpasspositionen von dem zweiten Bild durch Verwenden des Verfahrens der Musteranpassung gesucht werden, und die Verbindungslinien-Einstelleinrichtung die Verbindungslinien auf einem Profil der Abbildung der zu der Abbildungseinrichtung nächstgelegenen Objekte auf der Grundlage der abgetasteten Parallaxen einstellt.
Gemäß dem sechsten Aspekt der Erfindung werden die Parallaxen, die durch die Tiefe des Objekts oder eine Verschiebung in einer Position des Bilds eines sich bewegenden Objekts in dem Bild verursacht werden, in den Überlappungsbereichen der geteilten Bilder berechnet, und die Linien, die Abschnitte nicht einschließen, die große Parallaxen aufweisen, die durch die Tiefen der Objekte in den beiden geteilten Bilder verursacht werden, werden als Verbindungslinien verwendet, durch welche, auch in dem Fall eines Auftretens der Parallaxen, die durch die Tiefen der Objekte verursacht werden, und in dem Fall eines Einschließens der Abbildung, die einen sich bewegenden Körper darstellt, ein Effekt, der ein natürliches zusammengesetztes Bild erzeugen kann, das eine Qualität aufweist, die jener in der herkömmlichen Technologie überlegen ist und mit einer kleinen Störung versehen ist, erreicht wird.
Ein Einstellen der Verbindungslinien ermöglicht es nämlich, die Abbildung eines anderen Objekts, das hinter dem Objekt liegt, das am nächsten zu der Abbildungseinrichtung liegt und von Zeit zu Zeit in einer Nähe des Umfangs der Abbildung des Objekts, das am nächsten zu der Abbildungseinrichtung liegt, unsichtbar wird, durch die Abbildung des Objekts, das am nächsten zu der Abbildungseinrichtung liegt, abzudecken, und dementsprechend kann die Bildqualität des zusammengesetzten Bilds verbessert werden.
Ein siebter Aspekt der Erfindung stellt eine Bilderzeugungsvorrichtung bereit, wobei die Verbindungslinien-Einstelleinrichtung der Bilderzeugungsvorrichtung Verbindungslinien auf Profilen einstellt, die am nächsten zu den Rändern der geteilten Bilder unter den Profilen der Abbildungen der Objekte in den jeweiligen Überlappungsbereichen liegen.
Gemäß dem siebten Aspekt der Erfindung wird, auch in dem Fall, wo ein verbundenes Bild, das durch die Verbindung des siebten Aspekts erzeugt wird, unnatürlich wird, wie etwa in dem Fall, wo Abbildungen einer Vielzahl von Objekten, die unterschiedliche Tiefendimensionen aufweisen, in der Überlappungsbereichen vorhanden sind, indem Verbindungslinien auf den Profilen der Abbildung des Objekts, die den Rändern der geteilten Bilder am nächsten liegt, ein Effekt, der ein natürliches zusammengesetztes Bild mit einer guten Qualität und einer unbeträchtlichen Störung erzeugen kann, erreicht.
Ein achter Aspekt der Erfindung stellt eine Bilderzeugungsvorrichtung bereit, wo die Verbindungslinien-Einstelleinrichtung der Bilderzeugungsvorrichtung Kandidaten einer Vielzahl von Verbindungslinien berechnet, indem jeweilige Verbindungslinien-Bestimmungsverfahren verwendet werden, und einer der Kandidaten der Verbindungslinien wird ausgewählt und bestimmt, die Verbindungslinie zu sein.
Gemäß dem achten Aspekt der Erfindung wird der neunte Aspekt im Hinblick auf den Fall durchgeführt, wo, in Abhängigkeit von den Positionen der Abbildungen der Objekte in den Überlappungsbereichen, die Erfindung nicht adäquat durchgeführt werden kann, wenn das Bild als eine Referenz immer an einem des Paars geteilter Bilder gemäß den siebten und den achten Aspekten der Erfindung fixiert ist. In diesem Fall werden die Kandidaten der Vielzahl von Verbindungslinien gewählt, die berechnet werden, indem unterschiedliche Verbindungslinien- Bestimmungsverfahren verwendet werden, wie etwa eine Auswahl von Bildern als Referenzen, eine Kombination der siebten und der achten Verbindungslinien-Einstellverfahren oder dergleichen, und eine optimale Verbindungslinie, die die Unterschiede in den Abbildungen der Objekte auf der Verbindungslinie am weitestgehenden minimiert, wird aus den Kandidaten gewählt, durch welche ein Effekt, der ein natürliches zusammengesetztes Bild erzeugen kann, das eine stabilere, verbesserte Qualität und eine unbeträchtliche Störung aufweist, erreicht wird.
Ein neunter Aspekt der Erfindung stellt eine Bilderzeugungsvorrichtung bereit, wobei die Parallaxenabtasteinrichtung die Parallaxen der Bilder der jeweiligen Objekte korrigiert, derart, dass eine kleinste Parallaxe unter den Parallaxen, die von den Bildern der jeweiligen Objekte abgetastet werden, ausgeglichen wird.
Gemäß dem neunten Aspekt der Erfindung korrigiert die Parallaxenabtasteinrichtung die abgetasteten Parallaxen wie oben beschrieben. Ein Objekt einer Abbildung, die die kleinste Parallaxe aufweist, ist ein Objekt am weitesten entfernt von der Abbildungseinrichtung. Eine Verbindungslinie wird auf dem Profil der Abbildung des Objekts eingestellt, das die größte Parallaxe aufweist, nämlich dem Objekt neben der Abbildungseinrichtung. In der Bilderzeugungsvorrichtung wird, so dass in dem zusammengesetzten Bild die Abbildung eines fernen Objekts auf der Verbindungslinie wenig versetzt wird, die Parallaxe der Abbildung des entferntesten Objekts auf null korrigiert. Weiter wird, da die Verbindungslinie auf dem Profil der Abbildung eines nahen Objekts eingestellt ist, die Abbildung kaum versetzt. Die Verbindungslinie wird in der Erfindung nämlich auf dem Profil der Abbildung des Objekts neben der Abbildungseinrichtung eingestellt, so dass in dem zusammengesetzten Bild die Abbildung eines anderen Objekts, das in der Nähe des Rands der Abbildung des Objekts, das nahe der Abbildungseinrichtung liegt, erscheint und verschwindet und hinter dem Objekt liegt, durch das Bild des Objekts nahe der Abbildungseinrichtung verdeckt wird, und zusätzlich die Abweichung der Abbildung des Objekts fern der Abbildungseinrichtung null wird. Dadurch können unnatürliche Formen, Positionen, etc. der Abbildung des Objekts innerhalb des zusammengesetzten Bilds beseitigt werden, und ein natürlicheres zusammengesetztes Bild kann bereitgestellt werden.
Gemäß einem zehnten Aspekt stellt die vorliegende Erfindung ein Speichermedium bereit, das befähigt ist, von einem Computer gelesen zu werden und ein Programm zu speichern, um es zuzulassen, dass der Computer die folgenden Verarbeitungsschritte ausführt: Eingeben eines Paars geteilter Bilder, die Parallaxen aufweisen, durch ein Abbilden eines Objekts oder einer Vielzahl von Objekten, die unterschiedliche Entfernungen von der Abbildungseinrichtung aufweisen, und einer Peripherie des Objekts oder der Objekte, um so den gleichen Teil des Objekts oder der Objekte in den Abbildungsbereichen für das Paar geteilter Bilder einzuschließen, Berechnung von Überlappungsbereichen in den jeweiligen geteilten Bildern, die die Abbildungen des Objekts oder der Objekte einschließen, Abtasten der Parallaxen von den Abbildungen des Objekts oder der Objekte in den beiden Überlappungsbereichen, und Bereitstellen eines zusammengesetzten Bilds durch Bereitstellen des Paars geteilter Bilder derart, dass die Überlappungsbereiche überlappen, wobei das Speichermedium ferner ein Programm speichert, um es dem Computer zu gestatten, die folgenden Verarbeitungsschritte auszuführen: Erzeugen von Zwischenbildern, die bereitzustellen sind, indem das Objekt oder die Objekte von den Punkten zwischen den Beobachtungspunkten, von welchen die jeweiligen geteilten Bilder abgebildet werden, auf der Grundlage der Abbildungen des Objekts oder der Objekte in den Überlappungsbereichen des Paars geteilter Bilder und der abgetasteten Parallaxen abgebildet werden, wobei das Verarbeiten des Abtastens der Parallaxe von den Abbildungen des Objekts oder der Objekte in den beiden Überlappungsbereichen durch ein Teilen des Überlappungsbereichs des ersten der Bilder, ein Bestimmen der jeweiligen als Referenzbereiche und ein Suchen von Anpassbereichen von dem zweiten Bild in Übereinstimmung mit den jeweiligen Referenzbereichen von dem zweiten Bild durch Verwenden des Verfahrens einer Musteranpassung ausgeführt wird, und das zusammengesetzte Bild durch ein Interpolieren der Parallaxen des Abbildungen des Objekts oder der Objekte in den beiden Überlappungsbereichen durch die Zwischenbilder bereitgestellt wird.
Gemäß dem zehnten Aspekt der Erfindung wird das Programm, das in dem oben erwähnten Speichermedium gespeichert ist, durch den Computer, durch den es auszuführen ist, gelesen, wodurch die oben erwähnten Verarbeitungsschritte sequenziell ausgeführt werden können. Dadurch berechnet der Computer eine Parallaxe des Bilds des Objekts auf der Grundlage des Bilds des Objekts innerhalb der Überlappungsbereiche und erzeugt Zwischenbilder, die auf der Grundlage der Parallaxe hergestellt werden, um dadurch das Paar der Bilder durch ein Interpolieren der Parallaxe des Bilds des Objekts zu kombinieren. Dementsprechend ist es, auch wenn das Bild des Objekts in einem Eingangsbild eine Parallaxe aufweist, möglich, ein natürlicheres zusammengesetztes Bild im Vergleich zu dem Stand der Technik zu erzeugen.
Gemäß einem elften Aspekt stellt die vorliegende Erfindung ein Speichermedium bereit, das befähigt ist, von einem Computer gelesen zu werden und ein Programm zu speichern, um es zuzulassen, dass der Computer die folgenden Verarbeitungsschritte ausführt: Eingeben eines Paars geteilter Bilder, Berechnen von Überlappungsbereichen, die die Abbildungen der Objekte in den jeweiligen geteilten Bildern einschließen, Einstellen von Verbindungslinien in den jeweiligen Überlappungsbereichen und Bereitstellen eines zusammengesetzten Bilds durch ein Bereitstellen des Paars geteilter Bilder derart, dass die eingestellten Verbindungslinien überlappen, wobei das Speichermedium ferner ein Programm speichert, das es dem Computer gestattet, die folgenden Verarbeitungsschritte auszuführen: Eingeben des Paars geteilter Bilder, um so Parallaxen in Bildern von Objekten durch ein Abbilden der gleichen Objekte jeweils von zwei unterschiedlichen Beobachtungspunkten aufzuweisen, Abtasten der Parallaxen von den Abbildungen der Objekte in den berechneten Überlappungsbereichen durch ein Teilen des Überlappungsbereichs eines ersten der Bilder, Bestimmen der jeweiligen als Referenzbereiche und Suchen entsprechenden Anpasspositionen von dem zweiten Bild durch Verwendung des Verfahrens einer Musteranpassung und Einstellen der Verbindungslinien auf einem Profil der Abbildung der Objekte, die am nächsten zu den Beobachtungspunkten in den jeweiligen Überlappungsbereichen gelegen sind, auf Grundlage der abgetasteten Parallaxen.
Gemäß dem elften Aspekt der Erfindung wird das Programm, das in dem oben erwähnten Speichermedium gespeichert ist, durch den Computer gelesen, der die oben erwähnten Verarbeitungsschritte sequenziell ausführt. Dadurch kann der Computer die Verbindungslinie so einstellen, dass die Verbindungslinie nicht durch eine Position läuft, wo die Abbildung des Objekts eine große Parallaxe aufweist, um das Paar von Bildern zusammenzusetzen. Dementsprechend kann, auch wenn Abbildungen des Paars von Bildern aufgrund der Parallaxe, die durch einen Unterschied in einer Tiefe oder einer Bewegung des Objekts verursacht wird, abweichen, ein natürliches zusammengesetztes Bild einer hohen Qualität erzeugt werden, das weniger deformiert wird.

Kurze Beschreibung der Zeichnungen

Andere und weitere Aufgaben, Merkmale und Vorteile der Erfindung werden aus der folgenden detaillierten Beschreibung, die unter Bezugnahme auf die Zeichnungen zu nehmen ist, expliziter werden.
In den Zeichnungen zeigen:
Fig. 1 ein Blockdiagramm, das den elektrischen Aufbau einer Panoramabild-Erzeugungsvorrichtung gemäß einer ersten Ausführungsform der Erfindung zeigt;
Fig. 2 ein Blockdiagramm, das den elektrischen Aufbau einer Panoramabild-Erzeugungsvorrichtung gemäß einer zweiten Ausführungsform der Erfindung zeigt;
Fig. 3 eine Ansicht, die eine Ausführungsform eines RAMs 112 in Fig. 1 zeigt;
Fig. 4 eine Ansicht, die ein Verhalten von Bildern zeigt, die Überlappungsbereiche aufweisen, indem eine Kamera oder eine Vielzahl von Kameras bewegt wird;
Fig. 5A und 5B Ansichten, die Bilder 313 und 314 zeigen, die in dem Aufbau der Fig. 4 abgebildet sind, Fig. 5C und 5D Ansichten, die zeigen, dass bei einem Erzeugen eines Panoramabilds durch eine herkömmliche Technologie, Abb. 317, 319; 318, 320 Objekte in Überlappungsbereichen der Bilder 313 und 314 sind, die nicht miteinander aufgrund eines Unterschieds in den Tiefen der Objekte zusammenfallen;
Fig. 6A bis 6C Ansichten, die ein Verhalten eines Anpassens zum Erfassen von Abweichungen in Abbildungen von Objekten, die durch ihre Tiefen hervorgerufen werden, zeigen;
Fig. 7A bis 7E Ansichten, die ein Verhalten eines Erzeugens eines Zwischenbilds IIk(1) zeigen;
Fig. 8A bis 8D Ansichten, die einen Fluss von Verarbeitungsschritten bei einem Erzeugen eines Panoramabilds gemäß einer Bildverarbeitungseinrichtung in der ersten Ausführungsform der Erfindung zeigen;
Fig. 9A bis 9E Ansichten, die ein Verhalten eines Berechnens eines sich parallel bewegenden Betrags und Unterschiede in einem Winkel und einer Größe von Bildern I(k) und (k + 1) zeigen;
Fig. 10 einen Graphen, der eine Beziehung zwischen einem Abweichungsbetrag eines Anpassens zwischen Bildern und einer Tiefe von einer Kamera zeigt;
Fig. 11A bis 11E Ansichten, die einen Fluss von Verarbeitungsschritten bei einem Erzeugen eines Panoramabilds gemäß der Panoramabild-Verarbeitungseinrichtung in der ersten Ausführungsform der Erfindung zeigen;
Fig. 12A und 12B Ansichten, die ein Verhalten eines Bestimmens einer Verbindungslinie durch ein Verwenden eines zweiten Abtastverfahrens einer Verbindungslinie zeigen;
Fig. 13A bis 13C Ansichten, die ein Verhalten eines Bestimmens einer Verbindungslinie durch eine Verwenden eines dritten Abtastverfahrens einer Verbindungslinie zeigen; und
Fig. 14 eine Ansicht, die ein Interpolationsverfahren von Umgebungen undefinierter Pixel bei einem Erzeugen des Zwischenpixels IIk(1) zeigt.

Detaillierte Beschreibung der bevorzugten Ausführungsformen

Nun werden untenstehend unter Bezugnahme auf die Zeichnungen bevorzugte Ausführungsformen der Erfindung beschrieben werden.
Fig. 1 ist ein Blockdiagramm, das den elektrischen Aufbau einer Panoramabild-Erzeugungsvorrichtung 100 gemäß einer ersten Ausführungsform der Erfindung zeigt. Fig. 8A bis 8D sind Ansichten zum Erklären einer Skizzierung von Panaromabild- Erzeugungsverarbeitungen in der Panoramabild-Erzeugungsvorrichtung 100. Eine Erklärung davon wird unter Bezugnahme auf sowohl Fig. 1 als auch Fig. 8A bis 8D gegeben werden.
Die Panoramabild-Erzeugungsvorrichtung 100 schließt eine Bildeingabeeinrichtung 101, einen Rahmenspeicher 102, eine Bildausgabeeinrichtung 103, eine Bildeingabeverarbeitungseinheit 104, eine Bildvorverarbeitungseinheit 105, eine Bildpositionsberechnungseinheit 106, eine Bildparallaxenabtast- und -verarbeitungseinheit 107, eine Zwischenbilderzeugungs- und -verarbeitungseinheit 108, eine Bildzusammensetzungs- und -verarbeitungseinheit 109, eine Bildausgabeverarbeitungseinheit 110, eine Zeitgebungssteuereinheit 111 und einen RAM 112 ein.
Die Bildeingabeeinrichtung 101 nimmt eine Vielzahl von Bildern auf, die Objekte eines Zusammensetzens ausbilden. Es sei angenommen, dass die Bilder, die Objekte einer Zusammensetzung ausbilden, beispielsweise durch eine Schwenkabbildung, wie in der herkömmlichen Technologie erklärt, bereitgestellt werden. Die Vielzahl von Bildern werden jeweils mit Bereichen versehen, die Abbildungen eines Objekts aufweisen, das das gleiche wie ein Objekt in anderen Bildern ist, die als Überlappungsbereiche bezeichnet werden. Die Abbildungen des Objekts schließen eine Abweichung durch eine Parallaxe und eine Störung ein. Obwohl ein Bild gemäß der Panoramabild-Erzeugungsvorrichtung 100 in einem Modus eines Bildsignals zum Darstellen des Bilds behandelt wird, kann das Bildsignal als ein "Bild" in der Spezifikation bezeichnet werden.
In der folgenden Erklärung sei angenommen, dass eine Vielzahl von Bildern, die Objekte einer Zusammensetzung ausbilden, Bilder I(k) und I(k + 1) sind, die in Fig. 8A gezeigt sind. Die Bilder I(k) und I(k + 1) sind die gleichen wie die Bilder 313 und 314 in den Fig. 5A und 5B, und eine Erklärung der Bezeichnungen wird weggelassen werden. Ein Abschnitt des Bilds I(k) rechts von dem zentralen Abschnitt und ein Abschnitt des Bilds I(k + 1) links von dem zentralen Abschnitt bilden Überlappungsbereiche W1 und W2 aus. Eine Anzahl der Vielzahl von Bildern, die Objekte einer Zusammensetzung ausbilden, kann natürlich 3 oder mehr sein.
Die Bildeingabeverarbeitungseinheit 104 stellt die Vielzahl der Bilder, die Objekte einer Zusammensetzung von der Bildeingabeeinrichtung ausbilden, bereit und speichert sie in den Rahmenspeicher 102. Die Bildvorverarbeitungseinheit 105 führt ein Vorverarbeiten einzeln bezüglich der jeweiligen Bilder, die in den Rahmenspeicher 102 gespeichert sind, durch. Die Bildpositionsberechnungseinheit 106 berechnet parallel bewegte Beträge des Paars von Bildern I(k) und I(k + 1), die in den Rahmenspeicher 102 gespeichert sind.
Die Bildparallaxenabtast- und -verarbeitungseinheit 107 berechnet Abweichungen von Position in den Bildern I(k) und I(k + 1) bezüglich der Bilder des gleichen Objekts in den jeweiligen des Paars von Bildern I(k) und I(k + 1) und erzeugt Parallaxenbilder, die die Größe der Abweichung in der Einheit von Pixeln für jedes der Bilder I(k) und I(k + 1) darstellen. Danach wird die Abweichung als "Abweichung zwischen Bildern eines Objekts" bezeichnet. Ein Parallaxenbild 701 des Bilds I(k) mit einer Bezugnahme auf das Bild I(k + 1) und ein Parallaxenbild 702 des Bilds I(k + 1) mit einer Bezugnahme auf das Bild I(k) sind in Fig. 8B gezeigt.
Die Zwischenbilderzeugungs- und -verarbeitungseinheit 108 teilt die Überlappungsbereiche W1 und W2 jeweils in n einer Vielzahl von kleinen Bereichen in der horizontalen Richtung, kombiniert die kleinen Bereiche des Überlappungsbereichs W1 mit den kleinen Bereichen des Überlappungsbereichs W2 und erzeugt die Zwischenbilder IIk(l) bis IIk(n), wie durch Fig. 8C gezeigt, mit den Abweichungen der Bilder der Objekts als Parameter. Das Zwischenbild ist gleich einem Bild, das durch ein Anbringen der Kamera an einen der Punkte zu erhalten ist, die durch ein internes Teilen eines Intervalls zwischen Positionen der Kamera bereitgestellt werden, indem das Paar von Bildern I(k) und I(k + 1) durch ein Verhältnis von p : n-p(p = 1 ~ n - 1) abgebildet wird und das Objekt, das das Objekt eines Abbildens in jedem der Abbildungsvorgänge ausbildet, abgebildet wird, und wird durch eine Berechnung erhalten.
Die Bildzusammensetzungs- und -verarbeitungseinheit 109 setzt die Vielzahl der Bilder, die in dem Rahmenspeicher 102 gespeichert sind, nacheinander zusammen, indem die parallel bewegten Beträge des Paars der Bilder und der Zwischenbilder verwendet werden, wodurch eine Lage eines Panoramabilds erhalten wird. Wie durch Fig. 8D gezeigt, ist ein Panoramabild ein Bild, wo ein Abschnitt 706 des Bilds I(k) außer dem Überlappungsbereich W1, die Zwischenbilder IIk(l) bis IIk(n) und ein Abschnitt 707 des Zwischenbilds I(k + 1) außer dem Überlappungsbereich W2 von der linken Seite in dieser Reihenfolge angeordnet sind. Die Bildausgabeverarbeitungseinheit 110 stellt die Panoramabilder, die durch die Bildzusammensetzungs- und -verarbeitungseinheit 109 erzeugt werden, der Bildausgabeeinrichtung 103 bereit und zeigt diese an. Die Zeitgebungssteuereinheit 111 steuert Zeitgebungen eines Betriebs in den jeweiligen Einheiten 104 bis 110.
Fig. 3 ist eine Ansicht, die ein Beispiel des Speicheraufbaus von RAM 112 zeigt, und RAM 112 wird verwendet, um eine Information zu erhalten, die in den Bereichen gespeichert ist, die durch vorbestimmte Adressen oder Speicherinformationen bezeichnet sind, die durch jeweilige Verarbeitungsschritte in Übereinstimmung mit einigen, unten stehend erklärten Verarbeitungsschritten erzeugt werden.
Zu diesem Zweck ist der Speicherraum des RAM 112 in eine Vielzahl von Bereichen in gleichen Intervallen geteilt, und eine Adresse, die eine Position des Anfangs des Bereichs in den Speicherraum darstellt, wird jedem Bereich hinzugefügt. In Fig. 3 sind Adresse 1, Adresse 2, Adresse 3 ... zu den jeweiligen Bereichen hinzugefügt, die von dem obersten Bereich zu dem untersten Bereich hin angeordnet sind. In der folgenden Erklärung werden Schreibe-, Lese- und Speicherinformationen bezüglich eines einzigen oder einer Vielzahl von Bereichen des RAMs 112 als "schreibe, lies und speichere in Adresse" bezeichnet.
Beispielsweise wird eine Anzahl von Rahmen von Bildern, die in dem Rahmenspeicher 102 gespeichert sind, in einem vorderen Bereich 201 gespeichert. Adressen der vorderen Bereiche unter einem einzigen oder einer Vielzahl von Bereichen, die die ersten bis n-ten Bilder in dem Rahmenspeicher 102 speichern, werden in den jeweiligen Bereichen einer Gruppe erster Bereiche 202 gespeichert, die durch eine Vielzahl von Bereichen von dem zweiten Bereich zu einem Bereich bei einer vorbestimmten Ordnungszahl ausgebildet sind. Die Adresse der vorderen Bereiche unter einem einzigen oder einer Vielzahl von Bereichen, die ein Panoramabild in den Rahmenspeicher 102 speichern, werden in jeweilige Bereiche einer zweiten Gruppe von Bereichen 203 gespeichert, die durch eine Vielzahl von Bereichen von einem Bereich neben der ersten Gruppe von Bereichen 202 zu einem Bereich bei einer vorbestimmten Ordnungszahl ausgebildet. Adressen von vorderen Bereichen unter einem einzigen oder einer Vielzahl von Bereichen, die Zwischenbilder in den Rahmenspeicher 102 speichern, werden in die jeweiligen Bereiche einer dritten Gruppe von Bereichen 201 gespeichert, die durch eine Vielzahl von Bereichen von einem Bereich neben der zweiten Gruppe von Bereichen 203 zu einem Bereich bei einer vorbestimmten Ordnungszahl ausgebildet. Parallel bewegte Beträge unter jeweiligen Bildern werden in jeweilige Bereiche einer vierten Gruppe von Bereichen 205 gespeichert, die durch einen Bereich neben der dritten Gruppe von Bereichen 204 zu einem Bereich bei einer vorbestimmten Ordnungszahl ausgebildet sind. Abweichungen von Abbildungen von Objekten unter jeweiligen Bildern werden jeweils über einer Vielzahl von Bereichen in eine fünfte Gruppe von Bereichen 206 gespeichert, die durch eine Vielzahl von Bereichen von einem Bereich neben der vierten Gruppen von Bereichen 205 zu einem Bereich bei einer vorbestimmten Ordnungszahl ausgebildet sind.
Ein detaillierte Erklärung bezüglich der Verarbeitungsschritte bei einem Erzeugen eines Panoramabilds durch ein Verwenden der Panoramabild-Erzeugungsvorrichtung 100 unter Bezugnahme auf Fig. 1 wird wie folgt gegeben werden.
Wenn das Gesamtsystem gestartet wird, sendet die Zeitgebungssteuereinheit 111 Rücksetzsignale zu der Bildeingabeverarbeitungseinheit 104, der Bildvorverarbeitungseinheit 105, der Bildpositionsberechnungseinheit 106, der Bildparallaxenabtast- und -verarbeitungseinheit 107, der Zwischenbilderzeugungs- und -verarbeitungseinheit 108, der Bildzusammensetzungs- und -verarbeitungseinheit 109 und der Bildausgabeverarbeitungseinheit 110. Die Verarbeitungsschritte in den jeweiligen Einheiten 104 bis 110 treten in einen Wartezustand in Abhängigkeit von den Rücksetzsignalen ein, bis sie Startsignale von der Zeitgebungssteuereinheit 111 empfangen.
Zuerst gibt die Zeitgebungssteuereinheit 111 das Startsignal zu der Bildeingabeverarbeitungseinheit 104 aus, um Bilder in den Rahmenspeicher 102 zu speichern, und gibt einen Wartezustand ein, bis die Zeitgebungssteuereinheit 111 ein Beendigungssignal von der Bildeingabeverarbeitungseinheit 104 empfängt.
Auf ein Empfangen des Startsignals von der Zeitgebungseinheit 111 hin führt die Bildeingabeverarbeitungseinheit 104 eine Verarbeitung zum Speichern einer Vielzahl von Bildern in den Rahmenspeicher 102 bezüglich der Bildeingabeeinrichtung 101 durch.
Wenn Bilder online zusammengesetzt werden, d. h., wenn ein Abbilden eines Objekts und eine Zusammensetzung von Bildern kontinuierlich durchgeführt werden, umfasst die Bildeingabeeinrichtung 101 eine Bildeingabeeinrichtung, beispielsweise eine Kamera und eine A/D-Konvertierungseinrichtung zum Konvertieren analoger Bildsignale, die von der Bildeingabeeinrichtung erhalten werden, in digitale Bildsignale, und die Verarbeitung ist eine Verarbeitung, wo die Bildeingabeeinrichtung ein Abbilden des Bilds durch das Signal von der Bildeingabeeinrichtung 104 ausführt, die analogen Bildsignale, die dadurch erhalten werden, in die digitalen Bildsignale durch die A/D- Konvertierungseinrichtung konvertiert und die digitalen Bildsignale zu vorbestimmten Adressen des Rahmenspeichers 102 sendet.
Wenn Bilder off-line zusammengesetzt werden, d. h., wenn ein Abbilden eines Objekts und eine Zusammensetzung der Bilder getrennt ausgeführt werden, ist die Bildeingabeeinrichtung 101 eine Einrichtung zum Speichern von Bildern, und die Verarbeitung ist eine Verarbeitung, wo die Bildeingabeverarbeitungseinheit 104 die Bildsignale, die in der Bildeingabeeinrichtung 101 gespeichert sind, zu vorbestimmten Adressen des Rahmenspeichers 102 sendet.
Auf ein Beendigen der Übertragung sämtlicher der Bilder in den Rahmenspeicher 104 hin schreibt die Bildeingabeverarbeitungseinheit 104 eine Anzahl von Rahmen der Bilder, die in den Rahmenspeicher 104 gesendet sind, und Adressen, an welchen die Bilder in dem Rahmenspeicher 102 gespeichert sind, sequentiell in vorbestimmte Adressen des RAM 112 und sendet danach ein Bildeingabe-Beendigungssignal zu der Zeitgebungssteuereinheit 111, wodurch die Verarbeitung beendet wird.
In der folgenden Erklärung sei angenommen, dass zwei Rahmen von Bildern I(k) und I(k + 1)(k = 1, 2, ... n), die kontinuierliche Bereiche aufweisen, die in den Rahmenspeicher 102 gespeichert sind, ein Paar von Bildern sind, die ein Bild des gleichen Objekts einschließen. Die Anzahl von Rahmen von Bildern, die in den Rahmenspeicher 102 gespeichert sind, wird als die Anzahl von Rahmen von Bildern gelesen, die in den folgenden Verarbeitungsschritten zu verarbeiten sind.
Auf ein Empfangen eines Beendigungssignals einer Übertragung der eingegebenen Bilder in den Rahmenspeicher hin sendet die Zeitgebungssteuereinheit 111 das Startsignal zu der Bildvorverarbeitungseinheit 105 und gibt einen Wartezustand ein, bis die Bildvorverarbeitungseinheit 105 ein Beendigungssignal von der Bildvorverarbeitungseinheit 106 empfängt.
Auf ein Empfangen des Startsignals von der Zeitgebungssteuereinheit 111 hin liest die Bildvorverarbeitungseinheit 105 die Anzahl von Rahmen von Bildern, die zu verarbeiten sind, aus dem RAM 112 und speichert die Anzahl von Rahmen. Weiter setzt die Bildvorverarbeitungseinheit 105 einen Zähler k auf 1. Die Bildvorverarbeitungseinheit 105 liest eine Adresse in den Rahmenspeicher 102 des Bilds I(k), das dem Zähler k entspricht, aus dem RAM 112. Die Bildvorverarbeitungseinheit 105 liest das Bild I(k) von der Adresse in dem Rahmenspeicher 102. Die Bildvorverarbeitungseinheit 105 führt eine bekannte Verarbeitung eines Entfernens einer Störung bezüglich des gelesenen Bilds I(k) aus. Die Verarbeitung schließt beispielsweise eine Korrektur einer Aberration einer Linse der Abbildungseinrichtung oder dergleichen ein. Bilder, die von der Störung befreit sind, werden wieder in die gleiche Adresse des Rahmenspeichers 105 geschrieben. Die Vorverarbeitung bezüglich des Bilds I(k) umfasst die Verarbeitung von einem Lesen der Adresse des Bilds I(k) zu einem Wiedereinschreiben des Bilds. Der Zähler k wird um 1 hochgesetzt und mit der Anzahl von Rahmen der Bilder verglichen, und wenn der Zähler gleich oder geringer als die Anzahl von Rahmen von Bildern ist, wird die Vorverarbeitung bezüglich eines nächsten Bilds ausgeführt. Wenn der Zähler k größer als die Anzahl von Rahmen von Bildern wird, sendet die Bildvorverarbeitungseinheit 105 ein Bildvorverarbeitungs- Beendigungssignal zu der Zeitgebungssteuereinheit 111, wodurch die Verarbeitung beendet wird.
Auf ein Empfangen des Beendigungssignals von der Bildvorverarbeitungseinheit 105 hin sendet die Zeitgebungssteuereinheit 111 das Startsignal zu der Bildpositionsberechnungseinheit 106 und gibt einen Wartezustand ein, bis die Zeitgebungssteuereinheit 111 ein Beendigungssignal von der Bildpositionsberechnungseinheit 106 empfängt.
Auf ein Empfangen des Startsignals von der Zeitgebungssteuereinheit 111 hin liest die Bildpositionsberechnungseinheit 106 die Anzahl von Rahmen von Bildern, die zu verarbeiten sind, von dem RAM 112, speichert diese und setzt den Zähler k auf 1. Als Nächstes liest die Bildpositionsberechnungseinheit 106 aus dem RAM 112 die Adresse in dem Rahmenspeicher 102 des Bilds I(k) in Übereinstimmung mit dem Zähler k und liest einen Abschnitt (Rx0, Ry0) - (Rx1, Ry1), der einen Referenzbereich R1 einer Musteranpassung ausbildet, wie durch Fig. 9A gezeigt, der in dem vorbestimmten Bild I(k) innerhalb des Rahmenspeichers 102 in Übereinstimmung mit der Adresse eingeschlossen ist. Der Referenzbereich R1 wird auf beispielsweise eine vorbestimmte Position eingestellt, die in dem Überlappungsbereich des Bilds I(k) eingeschlossen ist.
Weiter liest die Bildpositionsberechnungseinheit 106 in ähnlicher Weise einen Suchbereich BL; (Sx0, Sy0) - (Sx1, Sy1) des Bilds I(k + 1) neben dem Bild. Was den Suchbereich BL anbetrifft, wird, wenn eine Positionsbeziehung zwischen den Bildern I(k) und I(k + 1) in einem bestimmten Ausmaß bekannt ist, d. h., wenn das Abbilden unter einer konstanten positionsmäßigen Beziehung ausgeführt wird oder wenn ein Umriss einer positionsmäßigen Beziehung von außen nach dem Abbildungsvorgang vorgegeben wird, der Suchbereich restriktiv in Übereinstimmung mit der Information derart eingestellt, dass der Suchbereich kleiner als der Gesamtbereich des Bilds I(k + 1) ist, oder wenn die positionsmäßige Beziehung noch nicht bestimmt ist, wird der Gesamtbereich des Bilds als der Suchbereich gelesen.
Die Musteranpassung wird auf der Grundlage der Referenzbereiche und der Suchbereiche der jeweiligen gelesenen Bilder ausgeführt, wodurch Referenzpositionen der Bereiche, wo die Referenzbereiche in die Suchbereiche passen, d. h. Referenzpositionen von Bereichen (mx0, my0) die höchsten Korrelationswerte bezüglich der Referenzbereiche in den Suchbereichen aufweisen, berechnet werden. Der Korrelationswert wird beispielsweise durch ein Berechnen in Übereinstimmung mit der folgenden Gleichung berechnet. In Fig. 9B wird der Bereich als ein Anpassbereich BM bezeichnet, als ein Bereich kongruent in dem Referenzbereich mit der Position (mx0, my0) als einer der Scheitelpunkte.
Hier kennzeichnet die Bezeichnung Rarea den Referenzbereich, R(x, y) kennzeichnet einen Helligkeitswert bei den Koordinaten (x, y) des Referenzbereichs, S(x, y) kennzeichnet einen Helligkeitswert bei den Koordinaten (x, y) in dem Suchbereich und (offsetx, offsets) kennzeichnet den Versatz des gesuchten Bilds von dem Ursprungspunkt (0, 0).
Hier kennzeichnet, wie durch Fig. 9B gezeigt, die berechnete Position (mx0, my0) eine Position bei jeweiligen Bildern des Referenzbereichs und des Suchbereichs, die aus den ursprünglichen Bildern ausgeschnitten sind, und dementsprechend wird eine Korrektur durch die folgenden Gleichungen (2) und (3) durchgeführt, wobei die parallel bewegten Beträge der Bilder I(k) und I(k + 1) (xmove, ymove) berechnet werden. Die parallel bewegten Beträge werden in vorbestimmte Adressen des RAM 111 geschrieben. Die Position, die von dem Ursprungspunkt (0, 0) des Bilds I(k) um die parallel bewegten Beträge (xmove, ymove) verschoben ist, ist eine Position, die mit dem Ursprungspunkt des Bilds I(k + 1) zu überlappen ist, wenn das Bild I(k) das Bild I(k + 1) überlappt, indem die Abbildungen des gleichen Objekts überlappt werden.
xmove = Rx0 - (mx0 + Sx0) (2)
ymove = Ry0 - (my0 + Sy0) (3)
wobei Rx0 und Ry0 jeweils die x- und y-Koordinaten eines Referenzpunkts des Referenzbereichs R1 sind, und Sx0 und Sy0 jeweils die x- und y-Koordinaten eines Referenzpunkts des Suchbereichs BL sind. In der Ausführungsform werden die oberen linken Scheitel der Bereich R1 und BL als die Referenzpunkte betrachtet.
Durch den obigen Betrieb können die parallel bewegten Beträge berechnet werden. Die Verarbeitung eines Berechnens der Position der Bilder reicht von einem Lesen der Adresse des Bilds I(k) bis zu einem Scheiben des parallel bewegten Betrags.
Weiter wird, falls es nötig ist, wie durch die Fig. 9D und 9E gezeigt, dass 2 oder mehr Referenzbereiche bereitgestellt werden, die Musteranpassung für die jeweiligen Referenzbereiche ausgeführt, und durch Verwendung des Ergebnisses kann eine Änderung in dem Maßstab der Abbildung des Objekts aus Änderungen in Entfernungen unter den Referenzbereichen und Entfernungen unter den Anpassbereichen berechnet werden, und ein relativer Drehwinkel der Abbildung oder dergleichen kann durch einen Unterschied in den Richtungen, die durch die Anordnung der Referenzbereiche und die Anordnung der Anpassbereiche erzeugt wird, berechnet werden. Beispielsweise wird, wenn die Bezeichnung Vr einen Vektor kennzeichnet, der beide Enden aufweist, die Mittelpunkte der beiden Referenzbereiche sind, und die Bezeichnung Vm einen Vektor kennzeichnet, der beide Enden aufweist, die Mittelpunkte der beiden Anpassbereiche sind, der Maßstab S(k) durch die Gleichung (4) berechnet, und der Drehwinkel q(k) wird durch die Gleichung (5) berechnet. Vr kennzeichnet den Betrag des Vektors Vr, und Vm kennzeichnet den Betrag des Vektors Vm.
S(k) = Vm / Vr (4)
θ(k) = cos&supmin;¹{Vm_Vr/( Vm _ Vr )} (5)
Die Verarbeitung wird vor und nach der Verarbeitung eines Berechnens der Position des Bilds ausgeführt, und aus dem Maßstab 5(k) und dem Drehwinkel θ(k) des Bilds I(k + 1) bezüglich des Bilds I(k) wird das Bild I(k + 1) mit 1/S(k) multipliziert, und das Bild I(k + 1) wird um -θ(k) gedreht und das multiplizierte und gedrehte Bild I(k + 1) kann auch in die Adresse des ursprünglichen Bilds I(k + 1) in den Rahmenpuffer geschrieben werden.
Nach einem Durchführen der oben beschriebenen Verarbeitung wird der Zähler k um 1 hochgesetzt, mit der Anzahl von Rahmen von Bildern verglichen, und wenn der Zähler k kleiner als die Anzahl von Rahmen von Bildern ist, wird eine Verarbeitung eines Berechnens einer nächsten Bildposition ausgeführt. Wenn der Zähler k gleich oder größer als die Anzahl von Rahmen von Bildern ist, sendet die Bildpositionsberechnungseinheit 106 ein Bildpositionsberechnungs-Beendigungssignal zu der Zeitgebungssteuereinheit 111, durch welches die Verarbeitung beendet wird.
Auf ein Empfangen des Beendigungssignals von der Bildpositionsberechnungseinheit 106 hin sendet die Zeitgebungssteuereinheit 111 das Startsignal zu der Bildparallaxenabtast- und -verarbeitungseinheit 107 und gibt einen Wartezustand ein, bis die Zeitgebungssteuereinheit 111 ein Beendigungssignal von der Bildparallaxenabtast- und -verarbeitungseinheit 107 empfängt.
Auf ein Empfangen des Startsignals von der Zeitgebungssteuereinheit 111 hin liest die Bildparallaxenabtast- und -verarbeitungseinheit 107 die Anzahl von Rahmen von Bildern, die zu verarbeiten sind, von dem RAM 112, speichert diese und setzt den Zähler k auf 1. Als Nächstes liest die Bildparallaxenabtast- und -verarbeitungseinheit 107 aus dem RAM 112 die Adresse in den Rahmenspeicher 102 des Bilds I(k) in Übereinstimmung mit dem Zähler k und liest das Bild in den Rahmenspeicher 102 durch die Adresse. Weiter liest die Bildparallaxenabtast- und -verarbeitungseinheit 107 ein nächstes Bild (in Übereinstimmung mit dem Zähler k + 1) neben dem Bild.
Danach liest die Bildparallaxenabtast- und -verarbeitungseinheit 107 von dem RAM 112 die parallel bewegten Beträge, die von der Bildpositionsberechnungseinheit 107 berechnet sind, und berechnet jeweils die Bereiche W1 und W2, wo das Bild I(k) und das Bild I(k + 1) bezüglich des Bilds I(k) und des Bilds I(k + 1) überlappen.
Weiter teilt die Bildparallaxenabtast- und -verarbeitungseinheit 107 den Überlappungsbereich W1 des Bilds I(k), bestimmt die jeweiligen als Referenzbereiche und sucht Anpassbereiche in Übereinstimmung mit dem jeweiligen Referenzbereichen von dem Bild I(k + 1) durch Verwenden des Verfahrens einer Musteranpassung. Bei dieser Gelegenheit wird die Suche ausgeführt, um eine Abweichung zwischen den Abbildungen des Objekts, die durch eine Parallaxe verursacht werden, zu berechnen, und deswegen kann der Bereich zum Berechnen des Suchkorrelationswerts nur in der horizontalen Richtung bewegt werden. Der Abweichungsbetrag ist ein Betrag eines scheinbaren Bewegens eines Körpers aufgrund der Parallaxe, und der Betrag wird durch die Tiefe verursacht, und dementsprechend kann die Tiefe des Körpers, der durch die Abbildungen des Objekts in den Referenzbereichen dargestellt wird, von der Richtung einer Abweichung und dem Betrag einer Abweichung geschätzt werden.
Es sei angenommen, dass, wenn die Bilder I(k) und I(k + 1) überlappend ausgeführt werden, indem bestimmte Punkte in der Tiefe zusammenfallen, die Abweichung der Abbildungen des gleichen Objekts in den Überlappungsbereichen der Bilder I(k) und I(k + 1) berechnet wird. In diesem Fall wird, wenn ein Körper, der näher an der Kamera als die Punkte liegt, das Objekt ist, die Abbildung des Objekts des Bilds I(k + 1) weiter nach links versetzt als die Abbildung des Objekts des Bilds I(k). Weiter wird, wenn ein Körper, der entfernter von der Kamera als die Punkte liegt, das Objekt ist, die Abbildung des Objekts des Bilds I(k + 1) weiter nach rechts versetzt als die Abbildung des Objekts des Bilds I(k).
Fig. 10 ist ein Graph, der eine Beziehung zwischen einem Abweichungsbetrag zwischen Abbildungen eines Objekts und einer tatsächlichen Tiefe des Objekts zeigt, wenn ein Betrag einer scheinbaren Bewegung eines Objekts bei einem unendlich entfernten Punkt 0 ist. Die Ordinate ist der Betrag einer Abweichung zwischen den Abbildungen des Objekts (Einheit; Punkt), und die Abszisse ist die Tiefe (Einheit; m). Der Betrag einer Abweichung zwischen den Bildern des Objekts wird umgekehrt proportional zu der Tiefe verringert.
D. h., wenn die Bilder I(k) und I(k + 1) überlappend ausgeführt werden, indem bestimmte Punkte von Tiefen davon zusammenfallen, wird, auch mit dem Überlappungsbereich, der die gleiche Tiefe aufweist, aufgrund der Parallaxen je näher zu einer Kamera ein Körper verglichen mit den Punkten angeordnet ist, desto größer der Abweichungsbetrag zur Linken, und je entfernter von der Kamera der Körper verglichen mit den Punkten angeordnet ist, desto größer der Abweichungsbetrag zur Rechten. Hier kann, obwohl gemäß der vorliegenden Erfindung die Tiefe einer Entfernung in Übereinstimmung mit dem parallel bewegten Betrag ist, der in der Bildpositionsberechnungseinheit 106 berechnet ist, in diesem Fall die Entfernung auf der Grundlage des berechneten Abweichungsbetrags in dem Überlappungsbereich korrigiert werden. Beispielsweise wird, unter der Annahme, dass eine Abweichung auf einer linken Seite positiv ist und eine Abweichung auf einer rechten Seite negativ ist, wenn die Entfernung einem Ort der Abbildung des Objekts angepasst ist, das die größte Tiefe in dem Bild aufweist, der Referenzwert als ein Minimalwert des Abweichungsbetrags bestimmt, und wenn die Entfernung an einen Ort der Abbildung des Objekts angepasst ist, der die geringste Tiefe in dem Bild aufweist, wird der Referenzwert als ein Maximalwert des Abweichungsbetrags bestimmt, oder der Referenzwert kann als ein Mittelwert der Abweichungsbeträge bestimmt werden. Der Abweichungsbetrag wird durch ein Hinzufügen des berechneten Referenzwerts zu dem parallel bewegten Betrag in dem RAM 112 und ein Berechnen von Unterschieden zwischen den jeweiligen Abweichungsbeträgen und dem Referenzwert in dem Überlappungsbereich, die gegenwärtig berechnet werden, und ein Schreiben der Unterschiede in den RAM 112 als Abweichungsbeträge korrigiert. Dadurch kann der Abweichungsbetrag als ein Referenzwert auf 0 korrigiert werden.
Gemäß der Verarbeitung wird die genaue Tiefe nicht berechnet, sondern die Parallaxe, die mit dem Unterschied in der Tiefe einhergeht, d. h. der Abweichungsbetrag per se zwischen den Abbildungen des Objekts wird in den RAM 112 für die jeweiligen Referenzbereiche und die jeweiligen Anpassbereiche oder die jeweiligen Pixel gespeichert.
Die Fig. 6A, 6B und 6C sind Ansichten, die einen Fluss spezifischer Verarbeitungsschritte zum Ausführen des Parallaxenabtastens zeigen. Jedes Quadrat einer Kreuzungsregel des Bilds I(k), das durch die Fig. 6A gezeigt ist, entspricht dem Referenzbereich, und ein Kreis in dem Bereich kennzeichnet ein Zentrum des Bereichs. Ein Rahmen in dem Bild I(k + 1) kennzeichnet den Überlappungsbereich, und ein Kreis entspricht dem Kreis, der das Zentrum des Bereichs des Bilds I(k) zeigt, und ein Pfeilzeichen, das daraus verläuft, kennzeichnet die Richtung einer Abweichung und den Betrag einer Abweichung zwischen den Abbildungen des Objekts in jedem Referenzbereich, der durch den Anpassbetrieb berechnet wird. Hier ist, wenn das Bild I(k + 1) der rechten Seite durch die Kamera in einer Position auf der rechten Seite einer Position des Abbildens des Bilds I(k) auf der Linken, wie durch Fig. 6A und Fig. 6(B) gezeigt, bezüglich der Abweichung in der rechten Seite, abgebildet wird, je größer der Abbildungsbetrag, desto tiefer die Tiefe, und bezüglich der Abweichung in der linken Richtung, je größer der Abbildungsbetrag, desto geringer die Tiefe. Fig. 6C zeigt ein Parallaxenbild 401, das durch Helligkeitswerte von Pixeln mit einer positiven Richtung des Abweichungsbetrags in die linke Richtung gezeigt ist. Je dunkler die Helligkeit der Pixel, desto kleiner die Parallaxe, d. h., je größer die Tiefe und je heller ein Abschnitt, desto größer die Parallaxe, d. h. desto geringer die Tiefe. Durch ein weiteres Teilen der Referenzbereiche kann ein feineres Parallaxenabtasten ausgeführt werden.
In einer ähnlichen Weise wird das Tiefenabtasten mit dem Bild I(k + 1) als die Referenzseite und dem Bild I(k) als die Suchseite ausgeführt. Das Ergebnis eines Abtastens der Parallaxe des Bilds I(k + 1) wird in ähnlicher Weise in den RAM 112 gespeichert. Die Parallaxenabtastverarbeitung schließt Verarbeitungsschritte von einem Lesen der Adresse des Bilds I(k) bis zu einem Speichern des Ergebnisses des Parallaxenabtastens hin ein.
Wenn die Parallaxenabtastverarbeitung des Bilds I(k) und des Bilds I(k + 1) beendet worden ist, wird dem Zähler k 1 hinzugefügt. Wenn der Zähler k kleiner als die Anzahl von Rahmen der Bilder ist, wird die Parallaxenabtastverarbeitung bezüglich des Bilds I(k) und des Bilds I(k + 1) ausgeführt. Wenn der Zähler k gleich oder größer als die Anzahl von Rahmen von Bildern ist, sendet die Bildparallaxenabtast- und -verarbeitungseinheit 107 ein Beendigungssignal zu der Zeitgebungssteuereinheit 111, durch welches die Verarbeitung beendet wird.
Auf ein Empfangen des Beendigungssignals von der Bildparallaxenabtast- und -verarbeitungseinheit 107 hin sendet die Zeitgebungssteuereinheit 111 das Startsignal zu der Zwischenbilderzeugungseinheit 108 und gibt einen Wartezustand ein, bis die Zeitgebungssteuereinheit 111 ein Beendigungssignal von der Zwischenbilderzeugungseinheit 108 empfängt.
Auf ein Empfangen des Startsignals von der Zeitgebungssteuereinheit 111 hin liest die Zwischenbildererzeugungs- und -verarbeitungseinheit 108 die Anzahl von Rahmen von Bildern, die zu verarbeiten sind, von dem RAM 112, speichert diese und setzt den Zähler k auf 1. Als Nächstes liest die Zwischenbilderzeugungs- und -verarbeitungseinheit 108 von dem RAM 112 eine Adresse in den Rahmenspeicher 102 eines Bilds in Übereinstimmung mit dem Zähler k und liest das Bild I(k) in den Rahmenspeicher 102 von der Adresse. Weiter liest die Zwischenbilderzeugungs- und -verarbeitungseinheit 108 das Bild I(k + 1) (in Übereinstimmung mit dem Zähler k + 1), das am nächsten zu dem Bild ist.
Danach liest die Zwischenbilderzeugungs- und -verarbeitungseinheit 108 von dem RAM 112 den parallel bewegten Betrag, der in der Bildpositionsberechnungseinheit 107 berechnet ist, und berechnet jeweils den Überlappungsbereich des Bilds I(k) und den Überlappungsbereich des Bilds I(k + 1).
Ein Zwischenbild ist ein Bild, das aus 2 Rahmen der Bilder erzeugt wird, die an Positionen abgebildet sind, die unterschiedliche Beobachtungspunkte aufweisen, indem ein Bild, das abzubilden ist, in einer Position an einem Mittelpunkt der beiden Beobachtungspunkte berechnet wird.
Position einer Kamera werden, wenn die Bilder I(k) und I(k + 1) abgebildet werden, als Abbildungspositionen Tk und Tk + 1 gekennzeichnet. In diesem Fall werden die Überlappungsbereiche W1 und W2 der Bilder I(k) und I(k + 1) jeweils in n-1 von kleinen Bereichen in der horizontalen Richtung geteilt. Durch ein Verwenden der jeweiligen kleinen Bereiche werden Zwischenbilder IIk(l) (l = 1, 2, 3, ... n-1) erzeugt. Beispielsweise ist ein Zwischenbild IIk(l), das durch ein Verwenden eines kleinen Bereichs an dem linken Ende erzeugt wird, das gleiche wie ein Bild, das durch die Kamera bereitzustellen ist, die an einer Position angebracht ist, die ein Intervall zwischen den Abbildungspositionen Tk und Tk + 1 in einem Verhältnis von 1 zu n-1 intern teilt. In ähnlicher Weise sind Zwischenbilder IIk(l), die durch ein Verwenden der 2-ten von der linken bis hin zu (n-1)-ten kleinen Bereiche erzeugt werden, die gleichen wie Bilder, die durch die Kamera bereitzustellen sind, die an den Positionen angebracht ist, die das Intervall zwischen den Abbildungspositionen Tk und Tk + 1 in den Verhältnissen 2 zu n-2 bis hin zu n-1 zu 1 intern teilen. Für jedes des Paars der Bilder I(k) und I(k + 1) sind n-1 der Zwischenbilder IIk(l) bereitgestellt.
Ein Verfahren zum Erzeugen eines Zwischenbilds, wobei das Zwischenbild an einer Position erzeugt wird, die das Intervall zwischen der Abbildungsposition Tk und der Abbildungsposition Tk + 1 in einem Verhältnis von 1 zu (n-1) intern teilt, ist unten gezeigt. Die Abweichung zwischen den Abbildungen des Objekts bezüglich des Bilds I(k) und des Bilds I(k + 1), die in der Parallaxenabtast- und -verarbeitungseinheit 107 berechnet werden, werden aus dem RAM 112 für jedes Pixel oder für jeden Bereich gelesen.
Wie durch Fig. 7A und Fig. 7B gezeigt, sind die Koordinaten eines Punkts P1 in dem Überlappungsbereich R1 (rx0, ry0) - (rx1, ry1) des Bilds I(k) bezüglich des Bilds I(k + 1) definiert als (x1, y1), der Helligkeitswert an der Koordinate des Punkts P1 ist als D(P1) definiert, der Abweichungsbetrag zwischen den Abbildungen des Objekts an den Koordinaten des Punkts P1 ist definiert als M(P1) (Pfeilzeichen der Fig. 7A), und die Koordinaten eines Punkts P2 in dem Überlappungsbereich R2 (rx2, ry2) - (rx3, ry3) des Bilds I(k + 1) bezüglich des Bilds I(k) sind definiert als (x2, y2), und der Helligkeitswert an den Koordinaten des Punkts P2 ist definiert als D(P2), und der Abweichungsbetrag zwischen den Bildern des Objekts an dem Punkt P2 ist definiert als M(P2) (Pfeilzeichen der Fig. 7B)
Zuerst wird das Zwischenbild IIk(1) (Fig. 7C) unter Bezugnahme auf das Bild I(k) erzeugt. Es sei angenommen, dass der Helligkeitswert D(P1) des jeweiligen Punkts P1 (x, y), (rx0 ≤ x ≤ rx1, ry0 ≤ y ≤ ry1) in dem Überlappungsbereich R1 gleich dem Helligkeitswert eines Punkts (x + M(P1)_1/n-rx0, y-ry0) auf dem Zwischenbild IIk(l) ist. Der Helligkeitswert D(P1) wird in den RAM 111 als der Helligkeitswert des oben beschrieben Punkts des Zwischenbilds IIk(l) geschrieben. Diese Verarbeitung wird bezüglich sämtlicher der Punkte in dem Überlappungsbereich R1 ausgeführt.
Wenn das Zwischenbild IIk(l)nur durch das Bild I(k) aufgrund des Unterschieds in den Abweichungsbeträgen, die durch einen Unterschied in den Parallaxen für jedes Pixel an einem Abschnitt des Zwischenbilds verursacht werden, erzeugt wird, kann eine Vielzahl von Helligkeitswerten eines Pixels geschrieben werden, oder ein undefiniertes Pixel, wo der Helligkeitswert nicht bestimmt werden kann, kann erzeugt werden, wie durch einen schwarzen Pixelabschnitt Px in Fig. 7C gezeigt.
Bei einem Erzeugen des Zwischenbilds wird, wenn der Helligkeitswert bereits geschrieben worden ist, der Helligkeitswert eines Pixels, das einen großen Abweichungsbetrag M(P1) aufweist, mit einer Priorität geschrieben. Der Grund besteht darin, dass, je größer der Abweichungsbetrag M(P1) ist, desto näher zu der Kamera ein Körper angeordnet ist, und ein Schreiben eines Helligkeitswerts eines Körpers, der tiefer angeordnet ist als jener eines Hintergrunds, ist unnatürlich, Weiter wird, bezüglich des undefinierten Pixels, wie später erwähnt, das undefinierte Pixel durch das Zwischenbild II'k+1(l) interpoliert, das von dem Bild I(k + 1) erzeugt wird.
Ähnlich zu der Erzeugung des Zwischenbilds IIk(l) wird das Zwischenbild II'k+1(l) mit einer Bezugnahme auf das Bild I(k + 1) erzeugt (Fig. 7D). Spezifisch werden die jeweiligen Punkte P2 (x, y) (rx2 ≤ x ≤ rx3), ry2 ≤ y ≤ ry3) in dem Überlappungsbereich W2 in den RAM 111 als der Helligkeitswert D(P2) von Punkten (x + M(P2)_(n-1)/n-rx0, y-ry0) auf das Zwischenbild II'k+1(l) geschrieben. Jedoch wird, wie oben erwähnt, wenn der Helligkeitswert bereits geschrieben worden ist, dem Helligkeitswert des Pixels, das einen größeren Abweichungsbetrag M(P1) aufweist, eine Priorität gegeben.
Danach wird, durch ein Verwenden des Zwischenbilds II'k+1(l), das durch das Bild I(k + 1) und den Abweichungsbetrag für jedes Pixel erzeugt wird, das undefinierte Pixel in dem Zwischenbild IIk(l), das durch das Bild I(K) und dem Abweichungsbetrag für jedes Pixel erzeugt wird, durch das Pixel des entsprechenden Zwischenbilds II'k+1(l) interpoliert.
Spezifisch sei bezüglich der Interpolation zuerst ein Zustand angenommen, wo die Zwischenbilder IIk(l) und II'k+1(l) derart überlappen, dass die Abbildungen des gleichen Objekts überlappen. In diesem Zustand wird der Helligkeitswert des Pixels des Zwischenbilds Iik+1(l), das das undefinierte Pixel Px des Zwischenbilds IIk(l) überlappt, in eine vorbestimmte Adresse des RAM 111 als der Helligkeitswert des undefinierten Pixels geschrieben.
Schließlich wird, wenn ein Abschnitt vorhanden ist, wo der Helligkeitswert nicht in das Zwischenbild geschrieben wird, eine Interpolation durch den Helligkeitswert ausgeführt, der in die Umgebung geschrieben ist. Fig. 14 ist eine Ansicht, die ein Verhalten einer Interpolation zeigt. Jedes Quadrat entspricht einem Pixel, und ein Pixel, das einen Kreis in der Mitte aufweist, ist ein undefiniertes Pixel. Nun wird angenommen, dass der Helligkeitswert eines undefinierten Pixels 501, das durch fette Linien umgeben ist, ein Mittelwert von Helligkeitswerten bereits definierter Pixel oder, gemäß Fig. 14, von Pixeln ist, die dreieckige Markierungen in ihrer Mitte in der Nähe 8 umgeben durch gestrichelte fette Linien 502 haben. Der oben erwähnte Betrieb wird bezüglich sämtlicher undefinierter Pixel wiederholt. Wenn sämtliche Pixel in der Nähe 8 undefiniert sind, wird der Interpolationsbetrieb wieder nach einem Beendigen einer Interpolation anderer undefinierter Pixel ausgeführt und wiederholt, bis die undefinierten Pixel nicht vorhanden sind.
Ein interpoliertes Bild, das eine bessere Qualität aufweist, kann bereitgestellt werden, indem der Interpolationsbetrieb von undefinierten Pixeln ausgeführt wird, die eine große Anzahl von Pixeln in bereits definierten Pixeln in der Nähe 8 aufweisen.
Auf diese Weise werden die Zwischenbilder IIk(l) erzeugt, und unter ihnen ist ein Bereich 601, der für einen Zusammensetzungsbetrieb verwendet wird (dx_(l-1), 0)-(dx_1, (ry1- ry0)). Zu diesem Zweck wird nur der Bereich 601 in den Rahmenspeicher 102 als die Zwischenbilder IIk(l) geschrieben, durch welche die Erzeugung des Zwischenbilds von 1 bis n-1 bei den Überlappungsbereichen des Bilds I(k) und des Bilds I(k + 1) beendet wird. Eine Bezeichnung dx kennzeichnet eine Breite von 1/(n-1) der Breite des Überlappungsbereichs. Dadurch wird das Zwischenbild IIk(l), das durch Fig. 7E gezeigt ist, bereitgestellt.
Wenn die Verarbeitung eines Erzeugens der oben beschriebenen Zwischenbilder bei l = 1, ..., n beendet worden ist, wird die Anzahl von Rahmen der erzeugten Zwischenbilder in eine vorbestimmte Adresse des RAM 112 geschrieben, und dem Zähler k wird 1 hinzugefügt. Wenn der Zähler k kleiner als die Anzahl von Rahmen der Bilder ist, wird die Zwischenbildverarbeitung bezüglich der Bilder, die dem aktualisierten Zähler entsprechend, ausgeführt. Wenn der Zähler k gleich der Anzahl von Rahmen der Bilder ist, sendet die Zwischenbilderzeugungs- und -verarbeitungseinheit 108 ein Zwischenbilderzeugungs- und -verarbeitungs-Beendigungssignal zu der Zeitgebungssteuereinheit 111, durch welches die Verarbeitung beendet wird.
Auf ein Empfangen des Beendigungssignals von der Zwischenbilderzeugungs- und -verarbeitungseinheit 108 hin sendet die Zeitgebungssteuereinheit 111 das Startsignal zu der Bildzusammensetzungs- und -verarbeitungseinheit 109 und gibt einen Wartezustand ein, bis die Zeitgebungssteuereinheit 111 ein Beendigungssignal von der Bildzusammensetzungs- und -verarbeitungseinheit 109 empfängt.
Auf ein Empfangen des Startsignals von der Zeitgebungseinheit 111 hin liest die Bildzusammensetzungs- und -verarbeitungseinheit 109 die Anzahl von Rahmen der Bilder, die zu verarbeiten sind, von dem RAM 112, speichert diese und setzt den Zähler k auf 1. Als Nächstes liest die Bildzusammensetzungs- und -verarbeitungseinheit 109 von dem RAM 112 eine Adresse in den Rahmenspeicher 102 eines Bilds in Übereinstimmung mit dem Zähler k und liest das Bild I(k) in den Rahmenspeicher 102 von der Adresse. Wenn der Zähler k 1 ist, schreibt die Bildzusammensetzungs- und -verarbeitungseinheit 109 das Bild I(k) in eine vorbestimmte Position eines Ausgangsbildbereichs in den Rahmenspeicher 102.
Wenn der Zähler k größer als 1 ist, ruft die Bildzusammensetzungs- und -verarbeitungseinheit 109 einen Abweichungsbetrag M(k) von dem RAM 112 bezüglich eines Bilds I(k - 1). Durch Verwenden des Abweichungsbetrags wird ein Überlappungsbereich Rk bezüglich des Bilds I(k - 1) für (rx0, ry0) - (rx1, ry1) berechnet. Weiter wird die Anzahl von Rahmen von Zwischenbildern n bezüglich des Bilds I(k - 1) und des Bilds I(k), die in der Zwischenbilderzeugungs- und -verarbeitungseinheit 108 erzeugt worden sind, von dem RAM 112 aufgerufen. Positionen P&sub1; eines zusammengesetzten Bildspeichers zum Schreiben der Zwischenbilder IIk(i), i = 1, ... n in dem Ausgangsbildbereich können durch die folgende Gleichung berechnet werden,
Pi = ( M(i) + rx0 + ((rx1 - rx0)/n)*i, ry0), i = 1, ..., n
Dadurch werden die Zwischenbilder IIk(i), i = 1, ..., n in die Positionen Pi des zusammengesetzten Bildspeichers in dem Ausgangsbildbereich kopiert. Ein Abschnitt rechts von der x- Koordinate ry1 des Bilds I(k) und danach wird in die Position (_ki=1M(i) + rx1, ry1) des Ausgangsbildbereichs kopiert. Wenn die oben beschriebene Verarbeitung beendet ist, wird dem Zähler k 1 hinzugefügt, und wenn der Zähler k gleich oder kleiner als die Anzahl von Rahmen des Bilds ist, wird die oben beschriebene Verarbeitung bezüglich des aktualisierten Bilds I(k) sukzessive durchgeführt. Weiter wird, wenn der Zähler k größer als die Anzahl von Rahmen des Bilds ist, das Bildzusammensetzungs-Beendigungssignal zu der Zeitgebungssteuereinheit 111 übertragen, durch welches die Verarbeitung beendet wird.
Auf ein Empfangen des Beendigungssignals von der Bildzusammensetzungs- und -verarbeitungseinheit 109 hin sendet die Zeitgebungssteuereinheit 111 das Startsignal zu der Bildausgabeverarbeitungseinheit 110 und gibt einen Wartezustand ein, bis die Zeitgebungssteuereinheit 111 ein Beendigungssignal von der Bildausgabeverarbeitungseinheit 110 empfängt.
Auf ein Empfangen des Startsignals von der Zeitgebungssteuereinheit 111 hin liest die Bildausgabeverarbeitungseinheit 111 eine Adresse eines Ausgangsbilds in dem Rahmenspeicher 102 aus dem RAM 112. Als Nächstes sendet die Bildausgabeverarbeitungseinheit 110 ein Bildausgabe-Startsignal zu der Bildausgabeeinrichtung 103, liest das Ausgangsbildsignal sukzessive von dem Rahmenspeicher 102 und gibt das Signal zu der Bildausgabeeinrichtung 103 aus.
Wenn die Bildausgabeverarbeitungseinheit 110 ein Ausgeben des Ausgangsbilds von der Bildausgabeeinrichtung 103 beendet, sendet die Bildausgabeverarbeitungseinheit 110 ein Beendigungssignal der Verarbeitung zu der Zeitgebungssteuereinheit 111, durch welches die Verarbeitung beendet wird.
Die Zeitgebungssteuereinheit 111 beendet den gesamten Betrieb, wenn die Zeitgebungssteuereinheit 111 das Beendigungssignal von der Bildausgabeverarbeitungseinheit 110 empfängt.
Durch den oben beschriebenen Fluss einer Reihe von Verarbeitungsschritten wird ein Unterschied in den Parallaxen zwischen den unterschiedlichen Abbildungen des Objekts in den Überlappungsbereichen der beiden Bilder abgemildert, indem Zwischenbilder erzeugt werden und das vollständige zusammengesetzt Bild mit einer Abweichung oder einem doppelten Zusammensetzen, wie in der herkömmlichen Technologie, selbst an Abschnitten befreit wird, wo der Unterschied in den Parallaxen vorhanden ist. Ein natürlicheres Panoramabild kann in natürlicher Weise durch ein Erhöhen einer Erzeugungsanzahl der Zwischenbilder erhalten werden, d. h. der Anzahl eines Teilens des Überlappungsbereichs.
Weiter wird, gemäß der vorliegenden Erfindung, um die Abbildungen der Objekte zusammenzusetzen, die unterschiedliche Abweichungsbeträge aufweisen, die durch die Parallaxen verursacht sind, derart, dass die Abbildungen in den Überlappungsbereichen W1 und W2 eingeschlossen sind, die die gleiche Breite aufweisen, und eine Gesamtheit der Breiten der Zwischenbilder II(l) bis II(n) gleich der Breite der Überlappungsbereiche W1 und W2 ist, ein Körper nahe bei einer Kamera mit einer engen Breite zusammengesetzt, und ein Körper entfernt von der Kamera wird mit einer weiten Breite zusammengesetzt. Wenn beabsichtigt ist, dass der Abschnitt nahe bei der Kamera natürlich aussieht, wird in der Bildparallaxenabtast- und -verarbeitungseinheit 107 ein Abweichungsbetrag eines Körpers nahe bei der Kamera als ein Referenzwert bestimmt, durch welchen der Abweichungsbetrag der Gesamtheit korrigiert wird, und wenn beabsichtigt ist, dass ein Abschnitt entfernt von der Kamera natürlich aussieht, wird in der Bildparallaxenabtast- und -verarbeitungseinheit 107 ein Körper entfernt von der Kamera als ein Referenzwert bestimmt, durch welche der Abweichungsbetrag der Gesamtheit korrigiert wird.
Eine Erklärung einer zweiten Ausführungsform der Erfindung unter Bezugnahme auf die Zeichnungen wird wie folgt gegeben werden. Fig. 2 ist ein Blockdiagramm, das den elektrischen Aufbau einer Panoramabild-Erzeugungsvorrichtung 100a zeigt, die eine zweite Ausführungsform der Erfindung ist.
Die Panoramabild-Erzeugungsvorrichtung 100a schließt die Bildeingabeeinrichtung 101, den Rahmenspeicher 102, die Bildausgabeeinrichtung 103, die Bildeingabeverarbeitungseinheit 104, die Bildvorverarbeitungseinheit 105, die Bildpositionsberechnungseinheit 106, eine Bildparallaxenabtast- und -verarbeitungseinheit 107a, eine Verbindungslinienbestimmungs- und -verarbeitungseinheit 108a, eine Bildzusammensetzungs- und -verarbeitungseinheit 109a, die Bildausgabeverarbeitungseinheit 110, die Zeitgebungssteuereinheit 111 und den RAM 112 ein.
Eine Erklärung wird bezüglich der Verarbeitungsschritte in der Bildeingabeverarbeitungseinheit 104, der Bildvorverarbeitungseinheit 105 und der Bildpositionsberechnungseinheit 106 weggelassen werden, da die gleichen Verarbeitungsschritte wie in der ersten Ausführungsform der Erfindung durchgeführt werden.
Auf ein Empfangen des Beendigungssignals von der Bildpositionsberechnungseinheit 106 hin sendet die Zeitgebungssteuereinheit 111 das Startsignal zu der Bildparallaxenabtast- und -verarbeitungseinheit 107a und gibt einen Wartezustand ein, bis die Zeitgebungssteuereinheit 111 das Beendigungssignal von der Bildparallaxenabtast- und -verarbeitungseinheit 107a empfängt.
Auf ein Empfangen des Startsignals von der Zeitgebungssteuereinheit 111 hin liest die Bildparallaxenabtast- und -verarbeitungseinheit 107a die Anzahl von Rahmen von Bildern, die zu verarbeiten sind, aus dem RAM 112, speichert diese und setzt den Zähler k auf 1. Als Nächstes liest die Bildparallaxenabtast- und -verarbeitungseinheit 107a eine Adresse in dem Rahmenspeicher 102 eines Bilds aus dem RAM 112 in Übereinstimmung mit dem Zähler k und liest das Bild I(k) in den Rahmenspeicher 102 von der Adresse. Weiter liest die Bildparallaxenabtast- und -verarbeitungseinheit 107a das Bild I(k + 1) (in Übereinstimmung mit dem Zähler k + 1) neben dem Bild.
Danach liest die Bildparallaxenabtast- und -verarbeitungseinheit 107a aus dem RAM 112 den parallel verschobenen Betrag, der in der Bildpositionsberechnungseinheit 106 berechnet wurde, und berechnet jeweils den Überlappungsbereich W1 des Bilds I(k) und den Überlappungsbereich W2 des Bilds I(k + 1).
Weiter teilt die Bildparallaxenabtast- und -verarbeitungseinheit 107a den Überlappungsbereich W1 des Bilds I(k) und bestimmt die jeweiligen als Referenzbereiche und sucht entsprechende Positionen aus dem Bild I(k + 1) durch ein Verwenden des Verfahrens der Musteranpassung. In diesem Fall ist das, was gesucht ist, die Abweichung zwischen den Bildern des Objekts, die durch die Parallaxen verursacht wird, und dementsprechend kann der Suchbetrieb nur aus der horizontalen Richtung ausgeführt werden. Der Abweichungsbetrag ist ein Betrag einer scheinbaren Bewegung eines Körpers, der durch die Parallaxe verursacht wird, und der Betrag wird durch die Tiefe verursacht, und dementsprechend kann die Tiefe des Körpers in einem Referenzbereich durch die Richtung einer Abweichung und den Betrag einer Abweichung geschätzt werden. Weiter ist, wenn Punkte in einer bestimmten Tiefe zusammenfallend miteinander ausgeführt werden, auch wenn der Überlappungsbereich die gleiche Breite aufgrund einer Parallaxe aufweist, je näher zu einer Kamera von einem bestimmten Punkt ein Körper angeordnet ist, desto größer der Abweichungsbetrag zu der linken Seite, und je entfernter von der Kamera von einem bestimmten Punkt ein Körper angeordnet ist, desto größer der Abweichungsbetrag zu der rechten Seite.
Hier wird, wenn einer der berechneten Bereiche oder Pixel, die die größte Tiefe aufweisen, berechnet ist, d. h. wenn die linke Richtung positiv ausgeführt ist, der Abweichungsbetrag des Bereichs, der den geringsten Abweichungsbetrag aufweist, von einer Entfernung zwischen den jeweiligen Bereichen oder Pixeln abgezogen, und die Differenz wird zu dem parallel bewegten Betrag addiert, der in der Bildpositionsberechnungseinheit 106 berechnet ist. Dadurch wird die Abweichung der Abbildungen des Objekts in einem Abschnitt, der die größte Tiefe an der Innenseite des Bilds aufweist, als eine Referenzabweichung berechnet, um welche der parallel bewegte Betrag in dem RAM 112 und die jeweiligen Abweichungsbeträge in den Überlappungsbereichen korrigiert werden.
In einer ähnliche Weise wird die Parallaxenabtastung mit dem Bild I(k + 1) als die Referenzseite und dem Bild I(k) als die Suchseite ausgeführt. Das Ergebnis der Parallaxenabtastung des Bilds I(k + 1) wird ähnlich korrigiert und in den RAM 112 gespeichert.
Wenn die Parallaxenabtastverarbeitung des Bilds I(k) und des Bilds I(k + 1) beendet worden ist, wird dem Zähler k 1 hinzugefügt. Wenn der Zähler k kleiner als die Anzahl von Rahmen von Bildern ist, wird die Parallaxenabtastung und -verarbeitung bezüglich des Bilds T(k) und des Bilds I(k + 1) ausgeführt. Wenn der Zähler k gleich oder größer als die Anzahl von Rahmen von Bildern ist, sendet die Bildparallaxenabtast- und -verarbeitungseinheit 107a das Beendigungssignal zu der Zeitgebungssteuereinheit 111, durch welche die Verarbeitung beendet wird.
Auf ein Empfangen des Beendigungssignals von der Bildparallaxenabtast- und -verarbeitungseinheit 107 hin sendet die Zeitgebungssteuereinheit 111 das Startsignal zu der Verbindungslinienbestimmungs- und -verarbeitungseinheit 108a und gibt einen Wartezustand ein, bis die Zeitgebungssteuereinheit 111 das Beendigungssignal von der Verbindungslinienbestimmungs- und -verarbeitungseinheit 108a empfängt.
Auf ein Empfangen des Startsignals von der Zeitgebungssteuereinheit 111 hin liest die Verbindungslinienbestimmungs- und -verarbeitungseinheit 108a die Anzahl von Rahmen von Bildern, die zu verarbeiten sind, aus dem RAM 112, speichert diese und setzt den Zähler k auf 1. Als Nächstes liest die Verbindungslinienbestimmungs- und -verarbeitungseinheit 108a aus dem RAM 112 eine Adresse in den Rahmenspeicher 102 des Bilds I(k) in Übereinstimmung mit dem Zähler k und liest das Bild I(k) in den Rahmenspeicher 102 von der Adresse. Weiter liest die Verbindungslinienbestimmungs- und -verarbeitungseinheit 108a das Bild I(k + 1) neben dem Bild.
Danach liest die Verbindungslinienbestimmungs- und -verarbeitungseinheit 108a aus dem RAM 112 den Abweichungsbetrag von Bildern des Objekts (Parallaxenbetrag) des Bilds I(k) und des Bilds I(k + 1), die in der Bildparallaxenabtast- und -verarbeitungseinheit 107a berechnet sind.
Eine Erklärung bezüglich eines Verfahrens eines Berechnens einer Verbindungslinie aus dem Bild I(k) in Bezugnahme auf die Fig. 11A bis 11I, 12A, 12B und 13A bis 13C wird gegeben werden.
Durch die Bildparallaxenabtast- und -verarbeitungseinheit wird aus dem Parallaxenbild (Fig. 11C) bezüglich des Bilds I(k), das von dem Bild I(k) (Fig. 11A) und dem Bild I(K + 1) (Fig. 11B) berechnet ist, ein Punkt einer Änderung, um die Parallaxe des Bilds, gesehen von dem rechten Ende des Bilds, zu vergrößern, d. h. ein Punkt, der der folgenden Gleichung genügt, extrahiert.
E(x, y) - E(x + 1, y) > Schwelle
Hier kennzeichnet E(x, y) einen Parallaxenbetrag oder eine Konzentration eines Pixels des Parallaxenbilds bei Koordinaten (x, y) des Bilds, und "Schwelle" kennzeichnet einen geeigneten Schwellwert.
Gemäß dem Beispiel der Fig. 11A bis 11I wird der Punkt durch einen weißen Kreis in Fig. 11E dargestellt. Diese Punkte sind Punkte auf einer Konturlinie auf der rechten Seite der Abb. 317 und 319 des Objekts. Die Bilder 317 und 319 sind horizontal angeordnet, und dementsprechend sind Punkte der Konturlinien der Objekte 317 und 319 horizontal unter den Punkten angeordnet.
Diese Punktzeilen kennzeichnen eine Konturlinie auf der rechten Seite der Abbildungen des Objekts und auf der linken Seite der Zeile von Punkten, die den oben beschriebenen Punktzeilen des Bilds I(k + 1) entsprechen, ein unsichtbarer Abschnitt des Bilds I(k) wird sichtbar, und der Unterschied zwischen den Bildern I(k) und I(k + 1) wird groß, insbesondere in der linken Seite in der Nähe dieser Punkte. Weiter wird das gleiche durch die beiden Bilder in der Nähe der rechten Seite dieser Punkte sichtbar, und dementsprechend wird der Unterschied zwischen den Bildern I(k) und I(k + 1) klein.
Gemäß einem ersten Verfahren eines Abtasten einer Verbindungslinie in Anbetracht der oben beschriebenen Situation werden Punkte, die Parallaxen so ähnlich wie möglich aufweisen, von Punktzeilen abgetastet, die eine als groß berechnete Änderung in einer Parallaxe aufweisen, d. h. die Konturlinie des gleichen Körpers in der Nähe der Kamera wird abgetastet und als die Verbindungslinie bestimmt. Weiter wird, wenn kein Abschnitt vorhanden ist, der eine große Änderung in einer Parallaxe in der Aufwärts- und der Abwärtsrichtung aufweist, wie in Fig. 11E gezeigt, eine Linie, die von einem Ende einer dazu am nächsten gelegenen Konturlinie zu dem oberen oder unteren Ende des Bilds herabläuft, als eine Verbindungslinie bestimmt.
Entsprechend einem zweiten Verfahren eines Abtastens einer Verbindungslinie wird eine Linie, die Punktezeilen auf der am weitesten rechts liegenden Seite verbindet, die einen bestimmten Schwellwert "Schwelle" in dem Überlappungsbereich unter Punktzeilen überschreitet, die die große Änderung in einer Parallaxe aufweisen, die in ähnlicher Weise zu dem ersten Abtastverfahren berechnet wird, wie in Fig. 12A gezeigt, als eine Verbindungslinie L(k) bestimmt.
Ein drittes Abtastverfahren einer Verbindungslinie ist wie folgt. Die ersten und zweiten Abtastverfahren einer Verbindungslinie sind in ähnlicher Weise anwendbar, indem Punktzeilen berechnet werden, die die große Änderung in einer Parallaxe von links nach rechts mit dem Bild I(k + 1) als eine Referenz aufweisen. D. h., dass, indem Verbindungslinien von dem Bild I(k) und dem Bild I(k + 1) in Übereinstimmung mit den beiden Verfahren berechnet werden, eine Vielzahl von Kandidaten von Verbindungslinien berechnet wird. Kandidaten einer Vielzahl von Verbindungslinien können weiter durch ein Ändern des Werts des Schwellwerts "Schwelle" erhalten werden. In den Fig. 13A und 13B sind Kandidaten von Verbindungslinien Li(k), i = 1, 2, ... durch weiße, fett gedruckte Linien dargestellt.
Die geeignetste unter den Verbindungslinienkandidaten Li(k), 1 = 1, 2, ... ist eine Verbindungslinie, die den folgenden Wert a minimiert. Die folgende Gleichung berechnet eine Integration eines Unterschied in Helligkeitswerten von Punkten auf den Verbindungslinien.
a = c Li(k)(x,y) - Li'(k)(x',y')
Hier kennzeichnet die Bezeichnung C Pfade auf den Verbindungslinien Li(k), und Li(k) (x, y) kennzeichnet einen Helligkeitswert an einem Punkt (x, y) auf einer Verbindungslinie in dem Bild I(k) (oder einen Vektor jedes Werts aus RGB), und Li'(k) (x', y') kennzeichnet einen Helligkeitswert auf einem Punkt (x', y') auf einer Verbindungslinie Li(k) in dem Bild I(k + 1) in Übereinstimmung mit dem Punkt (x, y) des oben erwähnten Bilds I(k) (oder einen Vektor jedes Werts aus RBG). Ein Kandidat Li(k) einer Verbindungslinie, die die obige Gleichung minimiert, wird berechnet und als die Verbindungslinie bestimmt, wie durch Fig. 13C gezeigt.
Die oben berechneten Verbindungslinien L(k) werden sukzessive in vorbestimmten Adressen des RAM 112 geschrieben, wodurch die Verarbeitung eines Bestimmens von Verbindungslinien beendet wird.
Wenn die Verarbeitung eines Bestimmens der Verbindungslinien des Bilds I(k) und des Bilds I(k + 1) beendet worden ist, wird dem Zähler k 1 hinzugefügt. Wenn der Zähler k kleiner als die Anzahl von Rahmen von Bildern ist, wird die Verarbeitung eines Bestimmens von Verbindungslinien bezüglich des Bilds I(k) und des Bilds I(k + 1) durchgeführt. Wenn der Zähler k gleich oder größer als die Anzahl von Rahmen der Bilder ist, sendet die Verbindungslinienbestimmungs- und -verarbeitungseinheit 108a das Beendigungssignal zu der Zeitgebungssteuereinheit 111, durch welches die Verarbeitung beendet wird.
Auf ein Empfangen des Beendigungssignals von der Verbindungslinienbestimmungs- und -verarbeitungseinheit 108a hin sendet die Zeitgebungssteuereinheit 111 das Startsignal zu der Bildzusammensetzungs- und -verarbeitungseinheit 109a und gibt einen Wartezustand ein, bis die Zeitgebungssteuereinheit 111 das Beendigungssignal von der Bildzusammensetzungs- und -verarbeitungseinheit 109a empfängt.
Auf einen Empfang des Startsignals von der Zeitgebungssteuereinheit 111 hin liest die Bildzusammensetzungs- und -verarbeitungseinheit 109a die Anzahl von Rahmen von Bildern, die zu verarbeiten sind, aus dem RAM 112, speichert diese und setzt den Zähler k auf 1. Als Nächstes liest die Bildzusammensetzungs- und -verarbeitungseinheit 109a aus dem RAM 112 eine Adresse in den Rahmenspeicher 102 des Bilds in Übereinstimmung mit dem Zähler k und liest das Bild I(k) in den Rahmenspeicher 102 von der Adresse.
Wenn der Zähler k 1 ist, schreibt die Bildzusammensetzungs- und -verarbeitungseinheit 109a das Bild I(k) in eine vorbestimmte Position in den Ausgangsbildbereich des Rahmenspeichers 102.
Wenn der Zähler k größer als 1 ist, ruft die Bildzusammensetzungs- und -verarbeitungseinheit 109a von dem RAM 112 einen parallel bewegten Betrag M(k) und eine Verbindungslinie L(k - 1) bezüglich des Bilds I(k - 1) auf.
Eine Position Pk zum Schreiben des Bilds I(k) des Ausgangsbildbereichs wird durch die folgende Gleichung bereitgestellt.
Pk = M(i)
Weiter wird die Verbindungslinie in eine Position korrigiert, die von der ursprünglichen Position um Pk-1 abweicht.
Bei einem Kopieren des Bilds I(k) in den Ausgangsbildbereich wird der Betrieb unter den folgenden drei Bedingungen ausgeführt, durch welche eine Zusammensetzung von Bildern ausgeführt wird.
(1) Bilder auf der linken Seite der Verbindungslinie Lk-1 werden nicht geschrieben.
(2) Komponenten von w Punkten auf der rechten Seite der Verbindungslinie Lk-1 werden bezüglich des Bilds I(k) durch ein Konzentrationsglätten geglättet.
(3) Pixel werden so wie sie sind in eine Position folgend auf die w Punkte auf der rechten Seite der Verbindungslinie Lk-1 geschrieben.
Hier wird eine Bezeichnung w mit einem geeigneten konstanten Wert bereitgestellt. Durch ein Ausführen des Konzentrationsglättens durch die w Punkte sieht die Verbindung natürlicher aus.
Gemäß dem Beispiel der Fig. 11A bis 111 sind bezüglich der Verarbeitung in der Bildzusammensetzungs- und -verarbeitungseinheit 109a durch ein Abdecken einer Maske 801 auf das Bild I(k + 1), wie durch Fig. 11H gezeigt, Pixel auf der linken Seite der Verbindungslinie Lk-1 als schwarze Pixel ausgeführt. Weiter wird ein Bereich 802 der Komponenten von w Punkten auf der rechten Seite der Verbindungslinie Lk-1 umfasst, als ein Bereich zum Durchführen eines Konzentrationsglättens bestimmt, und Konzentrationen von Pixeln in dem Bereich 802 werden einem Konzentrationsglätten derart unterworfen, dass beispielsweise. Konzentrationen von Pixeln, die in Kontakt mit der Verbindungslinie Lk-1 stehen, im Wesentlichen gleich den Konzentrationen von Pixeln ausgeführt werden, die in Kontakt mit der Verbindungslinie Lk-1 des Bilds I(k + 1) stehen, und Konzentrationen von Pixeln, die am entferntesten von der Verbindungslinie Lk-1 des Bereichs 802 liegen, sind im Wesentlichen gleich der ursprünglichen Konzentration. Ein Abschnitt 804 auf der rechten Seite der Verbindungslinie Lk-1 des Bilds I(k + 1) nach einem Durchführen der Verarbeitung wird mit einem Abschnitt 803 auf der linken Seite der Verbindungslinie Lk des Bilds I(k), das in Fig. 11G gezeigt ist, verbunden. Dadurch kann ein zusammengesetztes Bild, das durch Fig. 111 gezeigt ist, bereitgestellt werden.
Nach einem Durchführen der oben erwähnten Verarbeitungsschritte wird dem Zähler k 1 hinzugefügt, und wenn der Zähler k gleich oder geringer als die Anzahl von Rahmen von Bildern ist, wird die oben beschriebene Verarbeitung bezüglich eines aktualisierten Bilds I(k) sukzessive durchgeführt. Weiter wird, wenn der Zähler k größer als die Anzahl von Rahmen von Bildern ist, ein Bildzusammensetzungs-Beendigungssignal zu der Zeitgebungssteuereinheit 111 gesendet, durch welches die Verarbeitung beendet wird. Auf ein Empfangen des Beendigungssignals von der Bildzusammensetzungs- und -verarbeitungseinheit 109a hin sendet die Zeitgebungssteuereinheit 111 das Startsignal zu der Bildausgabeverarbeitungseinheit 110 und gibt einen Wartezustand ein, bis die Zeitgebungssteuereinheit 111 das Beendigungssignal von der Bildausgabeverarbeitungseinheit 110 empfängt.
Auf ein Empfangen des Startsignals von der Zeitgebungssteuereinheit 111 hin liest die Bildausgabeverarbeitungseinheit 110 aus dem RAM 112 eine Ausgangsbildadresse in den Rahmenspeicher 102. Als Nächstes sendet die Bildausgabeverarbeitungseinheit 110 das Bildausgabestartsignal zu der Bildausgabeeinrichtung 103, liest das Ausgangsbildsignal von dem Rahmenspeicher 102 sukzessive und gibt das Signal zu der Bildausgabeeinrichtung 103 aus.
Wenn die Bildausgabeverarbeitungseinheit 110 ein Ausgeben des Ausgangsbilds von der Bildausgabeeinrichtung 103 beendet, sendet die Bildausgabeverarbeitungseinheit 110 das Beendigungssignal der Verarbeitung zu der Zeitgebungssteuereinheit 111, durch welches die Verarbeitung beendet wird.
Auf ein Empfangen des Beendigungssignals von der Bildausgabeverarbeitungseinheit 110 hin beendet die Zeitgebungssteuereinheit 111 den gesamten Betrieb. Obwohl, je näher an der Kamera ein Objekt angeordnet ist, desto größer der Unterschied in der Parallaxe in den Überlappungsbereichen der beiden Rahmen der Bilder ist, und wenn der Zusammensetzungsbetrieb an diesem Punkt ausgeführt wird, eine Abweichung oder ein doppeltes Abbilden verursacht werden können, werden, indem Verbindungslinien auf der Kontur eines Objekts nahe bei der Kamera durch den oben beschriebenen Fluss einer Reihe von Verarbeitungsschritten bereitgestellt werden, wenige Abschnitte, die beträchtlich unterschiedliche Parallaxen aufweisen, verbunden, und das verbundene Bild sieht natürlicher als in der herkömmlichen Technologie aus, wodurch die Qualität verbessert wird.
Weiter wird, gemäß der Panoramabild-Zusammensetzungsvorrichtung 101a der zweiten Ausführungsform, auch wenn eine Abbildung eines sich bewegenden Körpers in dem Bild eingeschlossen ist, in dem Betrieb eines Abtastens einer Parallaxe die Bewegung als eine Parallaxe gezeigt werden, und dementsprechend kann ein Verbinden einer hohen Qualität in ähnlicher Weise durchgeführt werden.
Gemäß den Panoramabild-Erzeugungsvorrichtungen 100 und 100a der ersten und zweiten Ausführungsformen ist eine Zusammensetzung des Paars von Bildern I(k) und I(k + 1) als ein Beispiel gegeben. Wenn eine Zusammensetzung von Bildern aus drei Rahmen oder mehr durch ein Verwenden der Panoramabild-Erzeugungsvorrichtungen ausgeführt wird, können die oben beschriebenen Verarbeitungsschritte für jedes der Paare von Bildern einschließlich Bildern des gleichen Objekts ausgeführt werden, und schließlich können sämtliche der Bilder sukzessive miteinander verbunden werden. Weiter sind, obwohl die Bilder I(k) und I(K + 1), die durch eine Schwenkabbildung bereitgestellt werden, Objekte eines Zusammensetzungsbetriebs sind, wenn Abbildungen des gleichen Objekts in den Bildern der Objekte eines Zusammensetzungsbetriebs eingeschlossen sind, die Objekte eines Zusammensetzungsbetriebs nicht auf Bilder beschränkt, die durch eine Schwenkabbildung bereitgestellt sind, sondern Bilder, die durch andere Verfahren bereitgestellt werden, können verwendet werden. Beispielsweise können Bilder durch eine Schrägabbildung bereitgestellt werden, wo eine Kamera in der vertikalen Richtung bewegt wird. Weiter können, wenn Abbildungsbereiche in einer Matrix angeordnet sind und jeweilige Abbildungsbereiche Abschnitte anderer Abbildungsbereiche jeweils in der horizontalen Richtung und der vertikalen Richtung überlappen, Bilder jeweils in den horizontalen und vertikalen Richtungen zusammengesetzt werden.
Zusätzlich kann, um herbeizuführen, dass ein Computer, der eine zentrale Verarbeitungseinheit und einen Speicher einschließt, ein Paar von Bildern zusammensetzt, in welchen Abbildungen eines Objekts eine Parallaxe aufweisen, indem die Parallaxe interpoliert wird, ein Programm, das den Computer veranlasst, das Erzeugen und Verarbeiten eines Panoramabilds, wie in den ersten und zweiten Ausführungsformen beschrieben, auszuführen, in einem Speichermedium gespeichert werden, das befähigt ist, von dem Computer gelesen zu werden. Als ein derartiges Speichermedium können Disketten, Festplatten, Magnetbänder, CD-ROMs, optische Platten, photomagnetische Platten, Minidisks, ROMs, RAMs, etc. verwendet werden.
Ein erstes Beispiel eines Programms umfasst eine Reihe von Prozeduren, um herbeizuführen, dass die zentrale Verarbeitungseinheit anstelle der Einheiten 104 bis 111 der Panoramabild-Erzeugungsvorrichtung 100 die Verarbeitungsschritte ausführt, die von den Einheiten 104 bis 111 auszuführen sind. Die Verarbeitungsschritte sind wie folgt:
Instruieren der Abbildungseinrichtung, geteilte Bilder aufzunehmen, die durch ein Überlappen von Teilen von Bildern erhalten werden, mittels einer Vielzahl von Abbildungseinrichtungen oder durch ein mehrmaliges Bewegen einer Abbildungseinrichtung, und Instruieren einer Speichereinrichtung, die geteilten Bilder, die von der Abbildungseinrichtung aufgenommen sind, unter einer gerichteten Adresse zu speichern;
Berechnen einer Position einer Zusammensetzung der geteilten Bilder;
Abtasten einer Parallaxeninformation aus einem Bild einschließlich einer Parallaxe innerhalb eines Überlappungsbereichs zwischen benachbarten geteilten Bildern;
Erzeugen einer Vielzahl von Zwischenbildern aus den Bildern, die die Parallaxe einschließen, innerhalb des Überlappungsbereichs; und
Erzeugen eines zusammengesetzten Panoramabilds aus den geteilten Bildern.
In der Verarbeitung einer Abtastparallaxeninformation führt die zentrale Verarbeitungseinheit den Betrieb eines Korrigierens von Abweichungen der Bilder innerhalb des Überlappungsbereichs aus, und in der Verarbeitung eines Zusammensetzens der geteilten Bilder führt die zentrale Verarbeitungseinheit den Betrieb eines Interpolierens von Abweichungen der Bilder aus, indem die Zwischenbilder verwendet werden, um ein Panoramabild zu erzeugen.
Ein zweites Beispiel eines Programms umfasst eine Reihe von Prozeduren, um herbeizuführen, dass die zentrale Verarbeitungseinheit anstelle der Einheiten 104 bis 106, 107a bis 109a, 110 und 111 der Panoramabild-Erzeugungsvorrichtung 100a die Verarbeitungsschritte ausführt, die von den Einheiten auszuführen sind. Die Verarbeitungsschritte sind wie folgt:
Instruieren der Abbildungseinrichtung, geteilte Bilder aufzunehmen, die durch ein Überlappen von Teilen von Bildern erhalten werden, durch eine Vielzahl von Abbildungseinrichtungen oder durch ein mehrfaches Bewegen einer Abbildungseinrichtung, und Instruieren einer Speichereinrichtung, die geteilten Bilder, die von den Abbildungseinrichtungen aufgenommen sind, unter einer gerichteten Adresse zu speichern;
Berechnen einer Position einer Zusammensetzung der geteilten Bilder;
Abtasten einer Parallaxeninformation von einem Bild, das eine Parallaxe einschließt, innerhalb eines Überlappungsbereichs zwischen benachbarten geteilten Bildern;
Einstellen der Verbindungslinie auf dem Profil des Objekts, das am nächsten zu der Abbildungseinrichtung des Bilds liegt, innerhalb des Überlappungsbereichs, auf der Grundlage der Parallaxeninformation; und
Erzeugen eines zusammengesetzten Panoramabilds aus den geteilten Bildern.
Bei dem Verarbeiten der Abtastparallaxeninformation führt die zentrale Verarbeitungseinheit den Betrieb eines Korrigierens von Abweichungen der Bilder innerhalb des Überlappungsbereichs aus, und in dem Betrieb eines Zusammensetzens der geteilten Bilder führt die zentrale Verarbeitungseinheit den Betrieb eines Verbindens der geteilten Bilder auf der Grundlage der Verbindungslinie aus, um ein zusammengesetztes Panoramabild zu erzeugen.
Das Programm, das in dem Speichermedium gespeichert ist, ist in dem Computer installiert, um herbeizuführen, dass die zentrale Verarbeitungseinheit das Programm ausführt. In dem Fall des ersten Beispiels eines Programms verwendet die zentrale Verarbeitungseinheit einen Speicher als den Rahmenspeicher 102 und den RAM 112, um die Einheit 104 bis 110 wie auch den Zeitgebungs-Controller 111 zu betreiben. In dem Fall des zweiten Beispiels eines Programms verwendet die zentrale Verarbeitungseinheit einen Speicher als den Rahmenspeicher 102 und den RAM 112, um die Einheit 104 bis 106, 107a bis 109a und 110 wie auch den Zeitgebungs-Controller 111 sequenziell zu betreiben. Der Computer kann somit ein Panoramabild wie in den ersten und zweiten Ausführungsformen der Panoramabild-Erzeugungsvorrichtung 100 und 100a erzeugen. Dementsprechend sind die Panoramabild-Erzeugungsvorrichtungen 100 und 100a durch den Computer verwirklicht.
Wie oben beschrieben, ermöglicht es die Verwendung des oben beschriebenen Speichermediums, die Programme der Erfindung nicht nur in Personalcomputern, sondern auch in verschiedenen Informationsvorrichtungen, wie etwa mobilen Informationsterminals und in einer Kamera eingeschlossenen Bilderzeugungsvorrichtungen, auszuführen.

Claims

1. Bilderzeugungsvorrichtung zum Erzeugen eines zusammengesetzten Panoramabildes von einer Vielzahl von digitalen Standbildern, wobei die Vorrichtung umfasst:

eine Abbildungseinrichtung (101) zum Erhalten eines Paars geteilter Bilder (I(k), I(k + 1)), die Parallaxen aufweisen, durch ein Abbilden eines Objekts oder einer Vielzahl von Objekten, die unterschiedliche Entfernungen von der Abbildungseinrichtung aufweisen, und einer Peripherie des Objekts oder der Objekte, um so einen gleichen Teil des Objekts oder der Objekte in Abbildungsbereichen für das Paar geteilter Bilder (I(k), I(k + 1)) einzuschließen;

eine Berechnungseinrichtung (106) zum Berechnen von Überlappungsbereichen (W1, W2) der jeweiligen geteilten Bilder (I(k), I(k + 1)) einschließlich der Abbildungen des Objekts oder der Objekte;

eine Parallaxen-Abtasteinrichtung (107) zum Abtasten der Parallaxen von den Abbildungen des Objekts oder der Objekte in den zwei Überlappungsbereichen (W1, W2); und

eine Bildzusammensetzungseinrichtung (109) zum Bereitstellen eines zusammengesetzten Bildes durch ein Zusammensetzen des Paars geteilter Bilder derart, dass die Überlappungsbereiche (W1, W2) überlappen;

dadurch gekennzeichnet, dass

Zwischenbild-Erzeugungseinrichtungen (108) bereitgestellt sind, um Zwischenbilder (IIk(1)-IIk(n)) zu erzeugen, die bereitzustellen sind, indem das Objekt oder die Objekte von einer Vielzahl von Punkten, die unterschiedlich voneinander sind, zwischen Beobachtungspunkten, von welchen die jeweiligen geteilten Bilder abgebildet werden, auf der Grundlage der Abbildungen des Objekts in den Überlappungsbereichen (W1, W2) des Paars geteilter Bilder (I(k), I(k + 1)) und der abgetasteten Parallaxe abgebildet werden;

die Parallaxen-Abtasteinrichtung (107) den Überlappungsbereich eines ersten (I(k)) der Bilder teilt, die jeweiligen als Referenzbereiche bestimmt und Anpassbereiche von dem zweiten Bild (I(k + 1)) in Übereinstimmung mit den jeweiligen Referenzbereichen des zweiten Bildes (I(k), I(k + 1)) durch Verwenden des Verfahrens einer Musteranpassung sucht, und

die Bildzusammensetzungseinrichtung (109) das zusammengesetzte Bild durch ein Interpolieren der Parallaxen der Abbildungen des Objekts oder der Objekte in den beiden Überlappungsbereichen (W1, W2) durch die erzeugten Zwischenbilder (IIk(1)-IIk(n)) bereitstellt.

2. Bilderzeugungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass, wenn eine Vielzahl von Objekten vorhanden ist, die unterschiedliche Entfernungen von der Abbildungseinrichtung (101) zu den Objekten aufweisen, die Parallaxen-Abtasteinrichtung (107) Parallaxen von Abbildungen der jeweiligen Objekte derart korrigiert, dass die Parallaxe des Abbildung irgendeines Objekts unter den Parallaxen, die von den Abbildungen der jeweiligen Objekte abgetastet werden, Null gesetzt wird.

3. Bilderzeugungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Berechnungseinrichtung (106) Unterschiede in einem Winkel (6(k)) der Abbildungen des Objekts oder der Objekte in den beiden geteilten Bildern (I(k), I(k + 1)) berechnet, und die geteilten Bilder (I(k), I(k + 1)) einer Rotationstransformation unterwirft, derart, dass die berechneten Unterschiede in dem Winkel (θ(k)) einander aufheben.

4. Bilderzeugungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Berechnungseinrichtung Unterschiede in einer Größe (S(k)) der Abbildungen des Objekts oder der Objekte in den geteilten Bildern (I(k), I(k + 1)) berechnet und die beiden geteilten Bilder (I(k), I(k + 1)) derart vergrößert oder verkleinert werden, dass die berechneten Unterschiede in der Größe (S(k)) einander aufheben.

5. Bilderzeugungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Berechnungseinrichtung (106) Unterschiede in einem Winkel und einer Größe (θ(k), S(k)) der Abbildungen des Objekts oder der Objekte in den beiden geteilten Bildern (I(k), I(k + 1)) berechnet und die geteilten Bilder (I(k), I(k + 1)) einer Rotationstransformation und einer Vergrößerung oder einer Verkleinerung unterwirft, derart, dass die berechneten Unterschiede in dem Winkel und der Größe (θ(k), S(k)) einander jeweils aufheben.

6. Bilderzeugungsvorrichtung zum Erzeugen eines zusammengesetzten Panoramabildes von einer Vielzahl von Standbildern, wobei die Vorrichtung umfasst:

eine Abbildungseinrichtung (101) zum Bereitstellen eines Paars geteilter Bilder (I(k), I(k + 1));

eine Berechnungseinrichtung (106) zum Berechnen von Überlappungsbereichen (W1, W2), die die Abbildungen der Objekte in den jeweiligen geteilten Bildern einschließen;

eine Verbindungslinien-Einstelleinrichtung (108) zum Einstellen von Verbindungslinien (L(k)) in den jeweiligen Überlappungsbereichen (W1, W2), und

eine Bildzusammensetzungseinrichtung zum Bereitstellen zusammengesetzter Bilder durch ein Zusammensetzen des Paars geteilter Bilder (I(k), I(k + 1)) derart, dass die Verbindungslinien (L(k)) überlappen,

dadurch gekennzeichnet, dass

die Abbildungseinrichtung (101) das Paar geteilter Bilder (I(k), I(k + 1)) bereitstellt, um so Parallaxen in den Abbildungen der Objekte durch ein Abbilden der gleichen Objekte jeweils von zwei unterschiedlichen Beobachtungspunkten (Tk, Tk + 1) aufzuweisen;

eine Parallaxen-Abtasteinrichtung (107a) bereitgestellt ist, um die Parallaxen von den Abbildungen der Objekte in den berechneten Überlappungsbereichen (W1, W2) abzutasten, indem der Überlappungsbereich (W1) eines ersten (I(k)) der Bilder geteilt wird, die jeweiligen als Referenzbereiche bestimmt werden und entsprechende Anpasspositionen von dem zweiten Bild (I(k + 1)) durch Verwenden des Verfahrens der Musteranpassung gesucht werden, und

die Verbindungslinien-Einstelleinrichtung (108a) die Verbindungslinien (L(k)) auf einem Profil der Abbildung der zu der Abbildungseinrichtung (101) nächstgelegenen Objekte auf der Grundlage der abgetasteten Parallaxen einstellt.

7. Bilderzeugungsvorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die Verbindungslinien-Einstelleinrichtung (108a) Verbindungslinien auf einem Profil, das am nächsten zu den Rändern der geteilten Bilder (I(k), I(k + 1)) unter den Profilen der Abbildungen der Objekte gelegen ist, in den jeweiligen Überlappungsbereichen (W1, W2) einstellt.

8. Bilderzeugungsvorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die Verbindungslinien-Einstelleinrichtung (108a) Kandidaten (Li(k)) einer Vielzahl von Verbindungslinien durch Verwenden jeweiliger unterschiedlichen Verbindungslinien-Bestimmungsverfahren berechnet, und einer der Kandidaten von Verbindungslinien gewählt und bestimmt wird, die Verbindungslinie (L(k)) zu sein.

9. Bilderzeugungsvorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die Parallaxen-Abtasteinrichtung (107a) die Parallaxen der Bilder der jeweiligen Objekte derart korrigiert, dass eine geringste Parallaxe unter den Parallaxen, die von den Abbildungen der jeweiligen Objekte abgetastet werden, Null gesetzt wird.

10. Speichermedium, befähigt, durch einen Computer ausgelesen zu werden und ein Programm zu speichern, um es dem Computer zu gestatten, die folgenden Verarbeitungen auszuführen: Eingeben eines Paars geteilter Bilder (I(k), I(k + 1)), die Parallaxen aufweisen, durch ein Abbilden eines Objekts oder einer Vielzahl von Objekten, die unterschiedlichen Entfernungen von der Abbildungseinrichtung aufweisen, und einer Peripherie des Objekts oder der Objekte, um so einen gleichen Teil des Objekts oder der Objekte in Abbildungsbereichen für das Paar geteilter Bilder (I(k), I(k + 1)) einzuschließen;

Berechnen von Überlappungsbereichen (W1, W2) der jeweiligen geteilten Bilder (I(k), I(k + 1)), die die Abbildungen des Objekts oder der Objekte einschließen;

Abtasten der Parallaxen von den Abbildungen des Objekts oder der Objekte in den beiden Überlappungsbereichen (W1, W2), und

Bereitstellen eines zusammengesetzten Bilds durch Bereitstellen des Paars geteilter Bilder derart, dass die Überlappungsbereiche (W1, W2) überlappen,

dadurch gekennzeichnet, dass

das Speichermedium ferner ein Programm speichert, um es dem Computer zu gestatten, die folgenden Verarbeitungen auszuführen:

Erzeugen von Zwischenbildern (IIk(1)-II(k(n)), die bereitzustellen sind, indem das Objekt oder die Objekte von Punkten zwischen den Beobachtungspunkten, von welchen die jeweiligen geteilten Bilder abgebildet werden, auf der Grundlage der Abbildungen des Objekts oder der Objekte in den Überlappungsbereichen (W1, W2) des Paars geteilter Bilder (I(k), I(k + 1)) und der abgetasteten Parallaxen abgebildet werden, wobei

das Verarbeiten des Abtastens der Parallaxe von den Abbildungen des Objekts oder der Objekte in den beiden Überlappungsbereichen (W1, W2) durch ein Teilen des Überlappungsbereiches des ersten (I(k)) der Bilder, ein Bestimmen der jeweiligen als Referenzbereiche und ein Suchen von Anpassbereichen von dem zweiten Bild (I(k) + 1)) in Übereinstimmung mit den jeweiligen Referenzbereichen von dem zweiten Bild I(k + 1) durch Verwenden des Verfahrens einer Musteranpassung ausgeführt wird, und das zusammengesetzte Bild durch ein Interpolieren der Parallaxen der Abbildungen des Objekts oder der Objekte in den beiden Überlappungsbereichen (W1, W2) durch die Zwischenbilder (IIk(1)-IIk(n)) bereitgestellt wird.

11. Speichermedium, befähigt, durch einen Computer ausgelesen zu werden und ein Programm zu speichern, das es dem Computer gestattet, die folgenden Verarbeitungen auszuführen:

Eingeben eines Paars geteilter Bilder (I(k), I(k + 1));

Berechnen von Überlappungsbereichen (W1, W2), die die Abbildungen der Objekte in den jeweiligen geteilten Bildern (I(k), I(k + 1)) einschließen;

Einstellen von Verbindungslinien in den jeweiligen Überlappungsbereichen (W1, W2) und Bereitstellen eines zusammengesetzten Bildes durch ein Zusammensetzen des Paars geteilter Bilder (I(k), I(k + 1)) derart, dass die eingestellten Verbindungslinien (L(k)) überlappen,

dadurch gekennzeichnet, dass

das Speichermedium ferner einer Programm speichert, das es dem Computer gestattet, die folgenden Verarbeitungen auszuführen:

Eingeben des Paars geteilter Bilder (I(k), I(k + 1)), um so Parallaxen in Bildern von Objekten durch ein Abbilden der gleichen Objekte jeweils von zwei unterschiedlichen Beobachtungspunkten (Tk, Tk + 1) aufzuweisen, Abtasten der Parallaxen von den Abbildungen der Objekte in den berechneten Überlappungsbereichen (W1, W2) durch ein Teilen des Überlappungsbereichs (W1) eines ersten (I(k)) der Bilder, Bestimmen der jeweiligen als Referenzbereiche und Suchen entsprechender Anpasspositionen von dem zweiten Bild (I(k + 1)) durch Verwenden des Verfahrens einer Musteranpassung, und

Einstellen der Verbindungslinien (L(k)) auf einem Profil der Abbildung der Objekte, die am nächsten zu den Beobachtungspunkten (T(k), T(k + 1)) in den jeweiligen Überlappungsbereichen gelegen sind, auf Grundlage der abgetasteten Parallaxen.