DE69432692T2

DE69432692T2 - Bildverarbeitungsvorrichtung und -verfahren.

Info

Publication number: DE69432692T2
Application number: DE69432692T
Authority: DE
Inventors: Katsumi Ohta-ku Iijima; Masakazu Ohta-ku Matsugu; Kotaro Ohta-ku Yano; Toshiaki Ohta-ku Kondo; Katsuhiko Ohta-ku Mori
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-09-24
Filing date: 1994-09-23
Publication date: 2004-04-08
Anticipated expiration: 2014-09-24
Also published as: JP2883265B2; US5973726A; EP0645926B1; JPH0795467A; EP0645926A1; DE69432692D1

Description

Die vorliegende Erfindung betrifft eine Bildverarbeitungsvorrichtung unter Verwendung einer Bildaufnahmevorrichtung mit entsprechenden Bildaufnahmeeinrichtungen wie einer Ladungskopplungseinheit CCD, und insbesondere eine Bildverarbeitungsvorrichtung unter Verwendung einer mehräugigen Bildaufnahmevorrichtung bestehend aus einer Vielzahl von Bildaufnahmeeinrichtungen und optischen Abbildungssystemen wie Linsen und dergleichen.
In der Druckschrift EP-A-0 534 438 ist ein Abbildungssystem zum Aufnehmen eines breiten Bildfelds beschrieben. Das System umfasst einen Bildsensor, der über das Bildfeld geneigt wird zur Erzeugung einer Anzahl von sich überlappenden Teilbildern, ausgehend von einem einzigen Standpunkt bzw. Beobachtungspunkt, und eine Verarbeitungsschaltung zum Bestimmten relativer Versetzungen zwischen den aufeinanderfolgenden Teilbildern und zum Überlagern derselben zur Bildung einer zusammengesetzten Darstellung.
In jüngster Zeit wurden mehräugige Bildaufnahmevorrichtungen vorgeschlagen zur Bildung eines breiten Panoramabilds oder eines hochauflösenden Bilds, mit einer Vielzahl von Bildaufnahmesystemen, von denen jedes aus einem optischen Bildaufnahmesystem und einer Bildaufnahmeeinrichtung besteht, mittels denen ein gemeinsames Objekt aufgenommen werden kann, wobei von den jeweiligen Bildaufnahmeeinrichtungen erhaltene Bildsignale zur Bildung eines Kombinationsbilds verwendet werden.
Ein Verfahren zum Erhalten eines Panoramabilds ist beispielsweise ein Verfahren, bei dem eine Vielzahl von Bildaufnahmesystemen gleichzeitig eine Vielzahl von Bildern in unterschiedlichen Objektbereichen aufnimmt, dasselbe Objekt in jedem der Bilder herausgegriffen wird und die Bilder auf der Basis einer Information bezüglich relativer Positionen zwischen den Objektbildern kombiniert werden, so dass ein kombiniertes Panoramabild erhalten wird. Ein Verfahren zum Erhalten eines hochauflösenden Bilds ist ein Verfahren, bei dem dasselbe in den Bildern vorliegende Objekt in gleicher Weise wie im Falle des Panoramabilds herausgegriffen wird und eine Interpolationsverarbeitung auf der Basis einer Information bezüglich der relativen Positionen in dem Bild durchgeführt wird, um erneut ein hochauflösendes Bild zu erhalten.
12 zeigt ein Beispiel einer mehräugigen Bildaufnahmevorrichtung auf der Basis des Prinzips des Verfahrens zum Erhalten eines hochauflösenden Bilds, in der ein linkes Bildaufnahmesystem 1010_L und ein rechtes Bildaufnahmesystem 1010_R vorgesehen sind und Bilder eines Objekts 1101 mittels des linken Bildaufnahmesystems 1010_L und des rechten Bildaufnahmesystems 1010_R aufgenommen werden. Eine Bildverarbeitungseinrichtung 1120 führt eine entsprechende Punktextraktion aus einem linken, durch das linke Bildaufnahmesystem 1010_L erhaltenen Bild I_L und einem rechten, durch das rechte Bildaufnahmesystem 1010_R erhaltenen Bild I_R zum Kombinieren derselben miteinander durch, wobei ein einzelnes höher auflösendes Ausgabebild I_out im Vergleich zu einem Bild erhalten wird, das durch ein einziges Bildaufnahmesystem erzeugt wird.
Die vorstehend beschriebene mehräugige Bildaufnahmevorrichtung wies jedoch die folgenden Probleme auf. Da die Vorrichtung zum Erhalten des Panoramabilds eine Vielzahl von Bildern miteinander verbindet, ist das sich ergebende Bild nicht auf ein Bild innerhalb eines maximalen Darstellungswinkels eines einzelnen Bildaufnahmesystems beschränkt. Ferner kann eine flexible Bildaufnahmevorrichtung mit einer derartigen Anordnung erhalten werden, bei der eine Vielzahl von Bildaufnahmesystemen kombiniert ist zum Überdecken eines gewünschten Objektbereichs einschließlich eines beweglichen Objekts, da ein Panoramabild aus einer Vielzahl von zur gleichen Zeit aufgenommenen Bildern rekonstruiert wird. Des Weiteren werden die Bilder parallel mit Ausnahme einiger überlappender Bereiche erzeugt, und es sind wohl die meisten Bildbereiche Kopien ohne korrespondierende Punkte. In diesem Fall können zwei einander entsprechende Objekte in Bildverbindungsbereichen auf einem erzeugten zu verdoppelnden Bild wie einem so genannten Doppelbild nicht übereinstimmen, sodass die Kontinuität der Bilder verloren geht und die Qualität des Bilds verschlechtert wird. Die Diskussion betrifft daher im Wesentlichen einen Verbindungsprozess der Bilder. Obwohl diese Probleme zum Erhalten der Kontinuität der Bilder gelöst werden konnten, sind weitere Probleme in der Weise aufgetreten, dass eine Anzeige ohne Verlust des Panoramaeffekts schwieriger wurde, falls der Darstellungswinkel bzw. der Blickwinkel größer als derjenige eines einzelnen Bildaufnahmesystems ist.
Angesichts der vorstehend angegebenen Probleme betrifft die Erfindung die Bereitstellung einer Bildaufnahmevorrichtung mit einer hervorragenden Kontinuität zwischen den Bildern zur Erzeugung eines Panoramabilds mit einem ausreichenden Panoramaeffekt.
Gemäß einem ersten Aspekt ist eine Bildaufnahmevorrichtung vorgesehen, mit:
einer Bildaufnahmeeinrichtung zur Verwendung für eine Panoramabildaufnahme durch Erfassen eines ersten Bilds und eines zweiten Bilds,
einer ersten und einer zweiten Speichereinrichtung zum jeweiligen Speichern des von der Bildaufnahmeeinrichtung erfassten ersten Bilds und zweiten Bilds, wobei sich das erste und das zweite Bild teilweise überlappen,
einer Panoramabildkombiniereinrichtung zum Bilden eines Panoramabilds durch Kombinieren der überlappenden Teile des ersten und des zweiten Bilds zur Bildung eines Mittelbereichs des Panoramabilds, wobei die nichtüberlappenden Teile des ersten und des zweiten Bilds die Außenbereiche des Panaromabilds darstellen, und
einer Panoramabildspeichereinrichtung zum Speichern des Panoramabilds,
dadurch gekennzeichnet, dass die Bildverarbeitungsvorrichtung ferner eine Extrahiereinrichtung aufweist zur Durchführung eines Herausgreifens (Extraktion) korrespondierender Punkte zwischen dem ersten und dem zweiten Bild in dem Überlappungsbereich zwischen dem ersten und dem zweiten Bild, wie es mittels der ersten und zweiten Speichereinrichtung gespeichert ist, und dadurch, dass die Bildkombiniereinrichtung vorgesehen ist zur Bildung eines Mittelbereichs des Panoramabilds als ein Bild, dass keine stereoskopische Parallaxe-Information behält entsprechend einer Betrachtung von einem Betrachtungspunkt zwischen den Betrachtungspunkten, aus denen das erste und zweite Bild mittels der ersten und zweiten Bildaufnahmeeinrichtung erfasst wurde, auf der Basis der herausgegriffenen korrespondierenden Punkte, und
die Vorrichtung ferner eine Bildausgabeeinrichtung umfasst zum Aufteilen des gespeicherten Panoramabilds in ein erstes und ein zweites Anzeigebild zur Ausgabe des ersten und zweiten Anzeigebilds.
Gemäß einem zweiten Aspekt ist ein Bildverarbeitungsverfahren vorgesehen, mit dem:
Durchführen einer Panoramabildaufnahme unter Verwendung einer Bildaufnahmeeinrichtung zum Erfassen eines ersten Bilds und eines zweiten Bilds,
Speichern des ersten, durch die Bildaufnahmeeinrichtung erfassten Bilds in einer ersten Speichereinrichtung,
Speichern des zweiten, durch die Bildaufnahmeeinrichtung erfassten Bilds in einer zweiten Speichereinrichtung, wobei sich die ersten und zweiten Bilder teilweise überlappen,
Bilden eines Panoramabilds durch Kombinieren der überlappenden Teile des ersten und zweiten Bilds in einer Panoramabildkombiniereinrichtung zur Bildung eines Mittelbereichs des Panoramabilds, wobei die nichtüberlappenden Bereiche des ersten und zweiten Bilds die Randbereiche des Panoramabilds darstellen,
Speichern des Panoramabilds in einer Panoramabildspeichereinrichtung,
dadurch gekennzeichnet, dass das Verfahren ferner umfasst
das Durchführen eines Herausgreifens mittels einer Extrahiereinrichtung der korrespondierenden Punkte zwischen dem ersten und zweiten Bild in dem Überlappungsbereich zwischen dem ersten und zweiten Bild, wie es mittels der ersten und zweiten Speichereinrichtung gespeichert ist, und
Bilden in einer Panoramabildkombiniereinrichtung eines Mittelbereichs des Panoramabilds als ein Bild, das keine stereoskopische Parallaxe-Information behält entsprechend einer Betrachtung von einem Betrachtungspunkt zwischen den Betrachtungspunkten, von denen aus das erste und zweite Bild mittels der Bildaufnahmeeinrichtung erfasst wurde, auf der Basis der Information der herausgegriffenen korrespondierenden Punkte,
und das Aufteilen des gespeicherten Panoramabilds in ein erstes und zweites Anzeigebild zur Ausgabe des ersten und zweiten Anzeigebilds in einer Bildausgabeeinrichtung.
Vorzugsweise ist die Bildaufnahmeeinrichtung eine mehräugige Kamera, extrahiert die Bildkombinationseinrichtung Paare von entsprechenden Punkten für einen gleichen Bereich eines Objekts aus den in der Speichereinrichtung gespeicherten Bildern zum Zusammensetzen eines einzigen Bilds, auf der Basis des auf diese Weise herausgegriffenen Paars korrespondierender Punkte, so dass eine Verbindung zwischen den beiden Bildern hervorragend ausgestaltet werden kann, oder dass die Bildausgabeeinrichtung das kombinierte Bild in Teilbilder aufteilt, so dass die Teilbilder einen gemeinsamen Bereich aufweisen.
Die Bildkombiniereinrichtung erzeugt in befriedigender Weise ein kombiniertes Bild aus der Vielzahl der Bilder, die mittels der Bildaufnahmeeinrichtung erzeugt wurden, auf der Basis der Bestimmung durch die Bestimmungseinrichtung. Das mittels der Bildkombiniereinrichtung erzeugte Kombinationsbild wird mittels der Bildausgabeeinrichtung aufgeteilt zur Erzeugung eines natürlichen Panoramabilds, und es werden die Teilbilder als diejenigen zum Aufbau des Panoramabilds ausgegeben. Somit kann das natürliche Panoramabild erzeugt werden durch Kombinieren der Teilbilder.
Ein Ausführungsbeispiel der Erfindung wird nachstehend im Einzelnen unter Bezugnahme auf die zugehörigen Zeichnungen beschrieben.
1 ist ein Blockschaltbild zur Veranschaulichung eines Ausführungsbeispiels der Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung;
2 ist eine Darstellung zur Veranschaulichung des Aufbaus einer mehräugigen Bildaufnahmeeinrichtung in dem Ausführungsbeispiel gemäß 1;
3 ist eine Darstellung zur Veranschaulichung eines wesentlichen Teils optischer Systeme in der in 2 gezeigten mehräugigen Bildaufnahmeeinrichtung, in einer Ansicht senkrecht zu einer Ebene einschließlich der optischen Achsen der Bildaufnahmelinsengruppen;
4 ist eine Darstellung zur Veranschaulichung einer Positionsbeziehung eines durch die mehräugige Bildaufnahmeeinrichtung gemäß 2 aufzunehmenden Objekts, wobei eine Position des Objekts gemäß einer Beobachtung in der Richtung senkrecht zu der Ebene einschließlich der optischen Achsen der Bildaufnahmelinsengruppen gezeigt ist;
4B ist eine Darstellung zur Veranschaulichung von effektiven Lichtempfangsteilen des linken und rechten CCD-Sensors gemäß 4 in einer von der Seite der Bildaufnahmelinsengruppe gesehenen Darstellung;
5 ist eine Darstellung zur Veranschaulichung des Verfahrens der Triangulation;
6 ist eine schematische Darstellung zur Veranschaulichung eines kombinierten Bilds;
7 ist ein Blockschaltbild zur Veranschaulichung der Eingabe und Ausgabe eines Bildausgabeteils;
8 ist eine Darstellung zur Veranschaulichung eines Verfahrens zum Trennen einer Ausgabe, wobei der Bildausgabeteil gemäß 7 das kombinierte Bild in getrennte Bilder aufteilt;
9 ist eine Darstellung zur Veranschaulichung eines weiteren Verfahrens des Trennens einer Ausgabe eines kombinierten Bilds, das erhalten wird, wenn überlappende Bereiche α' beim Kombinieren von Bildern berücksichtigt werden;
10 ist eine Darstellung zur Veranschaulichung eines weiteren Verfahrens zum Trennen einer Ausgabe in ähnlicher Weise wie in 9, wobei ein Fall angegeben ist, bei dem betreffende Bilder keinen Überlappungsbereich aufweisen;
11 ist eine Darstellung zur Veranschaulichung eines Beispiels eines Kombinationsbilds, das auf zwei Bildschirmen als zwei getrennte Bilder mit demselben Seitenverhältnis darzustellen ist, und
12 ist eine Darstellung zur Veranschaulichung des Prinzips einer mehräugigen Bildaufnahmeeinrichtung, bei der zwei Bildaufnahmesysteme verwendet werden zum Aufnehmen von Bildern eines gemeinsamen Objekts und Kombinieren der beiden derart aufgenommenen Bilder zur Erzeugung eines hochauflösenden Bilds.
In der Zeichnung zeigt 1 ein Blockschaltbild zur Veranschaulichung des ersten Ausführungsbeispiels einer Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung, und 2 zeigt eine Darstellung des Aufbaus einer mehräugigen Bildaufnahmeeinrichtung gemäß dem Ausführungsbeispiel von 1. Wie es in 1 dargestellt ist, besteht das vorliegende Ausführungsbeispiel aus einer mehräugigen Bildaufnahmeeinrichtung 10 zum Ausgeben eines Bedienersignals eines linken Bildaufnahmesystems 10_L und eines rechten Bildaufnahmesystems 10_R , einem Bildverarbeitungsteil 30 zum Verarbeiten des von der mehräugigen Bildaufnahmeeinrichtung 10 ausgegebenen Bildsignals zum Ausgeben des verarbeiteten Bildsignals, und einem Teilbildverarbeitungs- und -ausgabeteil 40 zum Aufteilen eines von dem Bildverarbeitungsteil 30 ausgegebenen Bilds in zwei Bilder, wobei die zwei Bildaufnahmesysteme des rechten Bildaufnahmesystems 10_R und des linken Bildaufnahmesystems 10_L verwendet werden zum Aufnehmen zweier Bilder, und wobei die beiden in dieser Weise aufgenommenen Bilder parallel miteinander verbunden werden zum Erhalten eines einzigen Panorama-Kombinationsbilds.
Die mehräugige Bildaufnahmeeinrichtung 10 wird nachstehend unter Bezugnahme auf 2 beschrieben. Zuerst wird das linke Bildaufnahmesystem 10_L beschrieben. Das linke Bildaufnahmesystem 10_L umfasst eine Bildaufnahmelinsengruppe 11_L als ein in einem (nicht gezeigten) Objektivtubus angeordnetes optisches Abbildungssystem, ein an der Bildaufnahmelinsengruppe 11_L angeordnetes Farbtrennprisma 12_L zum Trennen von Licht von dem Objekt in drei Primärfarben, und drei CCD-Sensoren 13_L (von denen lediglich einer gezeigt ist) als Bildaufnahmeeinrichtungen für jeweils durch das Farbtrennprisma 12_L getrennte Farben, wobei jeder einen rechteckigen effektiven Lichtempfangsteil aufweist.
Die Bildaufnahmelinsengruppe 11_L besteht aus einer Vielzahl von Linsen einschließlich einer Fokussierungslinsengruppe 15_L , die mittels eines Fokussierungsmotors 14_L angetrieben wird, sowie eine mittels eines Zoommotors 16_L angetriebene Zoomlinsengruppe 17_L . Jeder Motor 14_L und 16_L wird entsprechend einem Steuerungssignal von einem Gesamtsteuerungsteil 21 und einem Fokussierungs- und Zoomsteuerungsteil 22 in einer Steuerungseinheit 10 zur Steuerung des optischen Systems betätigt.
Andererseits ist das rechte Bildaufnahmesystem 10_R in gleicher Weise wie das linke Bildaufnahmesystem 10_L aufgebaut, und die optische Achse L_R der Bildaufnahmelinsengruppe 11_R in dem rechten Bildaufnahmesystem 10_R ist vorgesehen entsprechend einer Anordnung in einer Ebene einschließlich der optischen Achse L_L der Bildaufnahmelinsengruppe 11_L in dem linken Bildaufnahmesystem 10_L .
Ferner ist jeder Objektivtubus, in dem jede Bildaufnahmelinsengruppe 11_L und 11_R angeordnet ist, mit einer drehbaren Welle eines Konvergenzwinkelmotors 18_L und 18_R verbunden und wird entsprechend eines Steuerungssignals von einem Konvergenzwinkelsteuerungsteil 23 in der Steuerungseinheit 20 gesteuert. Die drehbaren Wellen der Konvergenzwinkelmotoren 18_L und 18_R erstrecken sich in Richtung senkrecht zur Ebene einschließlich der optischen Achsen L_L und L_R der Bildaufnahmelinsengruppen 11_L und 11_R . Wird jeder Konvergenzwinkelmotor 18_L und 18_R angetrieben, dann wird die Bildaufnahmelinsengruppe 11_L und 11_R zusammen mit den Farbtrennprismen 12_L und 12_R und den daran angeordneten CCD-Sensoren 13_L und 13_R gedreht, wodurch ein Winkel (Konvergenzwinkel) zwischen den optischen Achsen L_L und L_R der Bildaufnahmelinsengruppe 11_L und 11_R eingestellt wird.
Ferner umfasst jedes Bildaufnahmesystem 10_L und 10_R einen Fokussierungskodierer 24_L und 24_R zur Erfassung einer Position der Fokussierungslinsengruppe 15_L und 15_R , einen Zoomkodierer 25_L und 25_R zur Erfassung einer Position der Zoomlinsengruppe 17_L und 17_R , und einen Konvergenzwinkelkodierer 26_L und 26_R zur Erfassung des Konvergenzwinkels. Diese Kodierer können beispielsweise ersetzt werden durch externe Teile wie Potentiometer oder durch Teile zur Erfassung der jeweiligen Positionen und der Winkel aus einer dem Antriebssystem selbst zugeführten Signalinformation, wie in Verbindung mit Schrittmotoren.
Nachstehend wird unter Bezugnahme auf 1 der Bildverarbeitungsteil 30 und ein Bildausgabeteil 40, die die Merkmale der vorliegenden Erfindung bilden, beschrieben. Ein Bildeingabeteil 32 speichert die Videosignale als Bildsignale der CCD-Sensoren 13_L und 13_R (2) in den Bildaufnahmesystemen 10_L und 10_R jeweils in einem linken Bildspeicher 31_L und einem rechten Bildspeicher 31_R . Ein Bildumwandlungsteil 38 bildet ein kombiniertes Bild auf der Basis der linken und rechten Bilder, die in dem linken Bildspeicher 31_L und dem rechten Bildspeicher 31_R in dem Bildeingabeteil 32 gespeichert sind. Ein Kombinationsbildspeicher 39 behält das durch den Bildumwandlungsteil 38 kombinierte Bild und gibt dieses an den Bildausgabeteil 40 aus. Der Bildumwandlungsteil 38 gemäß dem vorstehenden Ausführungsbeispiel besteht aus einem entsprechenden Punktextrahierteil 33 zum Extrahieren eines Paars von entsprechenden Punkten zwischen den zwei Bildern aus den in den Bildeingabeteil 32 eingegebenen beiden Bildern, und einem Kombinierumwandlungsteil 410 zum Berechnen einer dreidimensionalen Position (Entfernungsinformation) jedes korrespondierenden Paars von Punkten aus den Ergebnissen der Extraktion der entsprechenden Punktepaare und dem Kombinieren der Bilder auf der Basis der in dieser Weise berechneten Information.
3 zeigt eine Darstellung zur Veranschaulichung eines Hauptteils des optischen Systems in der mehräugigen Bildaufnahmevorrichtung gemäß der Darstellung in 2, wobei dies in Richtung senkrecht zu der Ebene einschließlich der optischen Achsen L_L und L_R der Bildaufnahmelinsengruppen 11_L und 11_R gesehen ist. Zur Vereinfachung der Beschreibung sind die Teile der Farbtrennprismen 12_L und 12_R (2) weggelassen und es ist lediglich ein Sensor für jeden der linken und rechten CCD-Sensoren 13_L und 13_R gezeigt. Gemäß der Darstellung in 3 umfassen die Bildaufnahmelinsengruppe 11_R und der CCD-Sensor 13_R in dem rechten Bildaufnahmesystems 10_R eine Fokussierungsobjektebene 50_R , und ein fotografierbarer Bereich ist auf einen Bereich zwischen einer Endebene 51_R und einer Endebene 52_R infolge des effektiven Lichtempfangsteils des CCD-Sensors 13_R beschränkt. Ein wirksamer Objektbereich liegt daher zwischen einer Schnittlinie B_R und einer Schnittlinie A, bei der die Fokussierungsobjektebene 50_R sich jeweils mit der Endebene 51_R und der Endebene 52_R schneidet. In gleicher Weise ist für das linke Bildaufnahmesystem 10_L ein wirksamer Objektbereich der Bereich zwischen der Schnittlinie A und einer Schnittlinie B_L in der Fokussierungsobjektebene 50_L .
Die Fokussierungsmotoren 14_L und 14_R (2) und die Zoommotoren 16_L und 16_R (2) in den linken und rechten Bildaufnahmesystemen 10_L und 10_R werden in der Weise gesteuert, dass die Abstände zwischen der Fokussierungsobjektebene 50_L und 50_R und dem CCD-Sensor 13_L und 13_R jeweils gleich zueinander sind, und zum Aufrechterhalten der Vergrößerung des Bilds des linken Systems in gleicher Weise wie diejenige des rechten Systems. Ferner werden die Konvergenzwinkelmotoren 18_L und 18_R (2) in der Weise gesteuert, dass die Ränder der effektiven Objektbereiche der jeweiligen Bildaufnahmesysteme 10_L und 10_R bei der Schnittlinie A übereinstimmen. Eine Steuerung jedes Motors 14_L , 14_R , 16_L , 16_R , 18_L und 18_R wird durch die Steuerungseinheit 20 ( 2) durchgeführt, wobei ein Signal von jedem Kodierer 24_L , 24_R , 25_L , 25_R , 26_L , 26_R (2) erhalten wird. Insbesondere werden die Konvergenzwinkelmotoren 18_L und 18_R in Verbindung mit Signalen zur Angabe der Position der Fokussierungsobjektebene 50_L und 50_A und der Position des Rands des effektiven Objektbereichs gesteuert, berechnet aus den Ausgabesignalen der Fokussierungskodierer 24_L und 24_R und der Zoomkodierer 25_L und 25_R .
Der Verarbeitungsablauf des Teils des Kombinationsablaufs wird nachstehend kurz beschrieben. Der in 1 gezeigte entsprechende Punktextrahierteil 33 greift ein Paar korrespondierender Punkte zwischen den Bildern heraus. Eine typische Vorgehensweise zum Herausgreifen (Extrahieren) ist das Schablonenübereinstimmungsverfahren. Bei diesen Verfahren wird eine Schablone beispielsweise um einen Punkt in dem linken Bild eingestellt, und es wird ein dazu entsprechender Punkt bestimmt durch Vergleichen von Ähnlichkeiten in dem rechten Bild mit dem Schablonenbild. Das Korrelationsverfahren ist eines der Verfahren zum Vergleichen der Ähnlichkeiten, wobei eine Korrelation durchgeführt wird zwischen einem Pixelwert in dem Bild der Schablone und einem Pixelwert in einem Suchbild, und es wird ein entsprechender Punkt als Koordinaten bestimmt, der den maximalen Wert angibt. Die Beziehung wird durch die nachfolgende Formel (1) dargestellt.
In der Formel (1) bezeichnen R (m_R, n_R) oder L (m_L, n_L) Pixelwerte in dem rechten oder linken Bild, und σ (m_R, n_R, m_L, n_L) den Grad der Korrelation. Ferner sind m_R, n_R, m_L, n_L Koordinatenwerte der Pixel. Die Gründe dafür, dass die Vorzeichen vor i und j der Quadratsumme oder in der Produktsumme für das linke Bild entgegensetzt zu denjenigen für das rechte Bild sind, besteht darin, dass die Pixelkoordinatenachsen gemäß der Darstellung in 4B in der Weise definiert sind, dass sie in Spiegelsymmetrie zueinander stehen. Der Maximalwert beträgt 1 für die normalisierte Korrelation der Formel (1).
Aus der erhaltenen Information bezüglich der korrespondierenden Punkte wird eine Position des dreidimensionalen Raums für jedes korrespondierende Punktepaar mittels des Triangulationsverfahrens erhalten. Gemäß der Darstellung in 5 sind die Mittelpunkte O_L und O_R der objektseitigen Grundebenen der linken und rechten Bildaufnahmelinsengruppen 11_L und 11_R (3) in Liniensymmetrie bezüglich der Z-Achse auf der X-Achse angeordnet, und eine Länge der Grundlinie zur Verbindung der Mittelpunkte O_L und O_R wird als eine Basislänge b definiert. Sodann werden die Koordinaten der Mittelpunkte O_L und O_R jeweils durch (–b/2,0,0) und (b/2,0,0) dargestellt.
Wird ein Punkt P in dem dreidimensionalen Raum in Richtung des Mittelpunkts O_L oder O_R projiziert, dann ergibt sich ein Projektionspunkt auf dem linken und rechten CCD-Sensor 13_L und 13_R zu P_L oder P_R . Die Koordinaten der Punkte P, P_L und P_R werden jeweils dargestellt durch (X, Y, Z), (X_L , Y_L , Z_L ) und (X_R , Y_R , Z_R ). Hierbei wird eine Ebene einschließlich der drei Punkte P, P_L und P_R in dem dreidimensionalen Raum als eine epipolare Ebene bezeichnet, und eine Schnittlinie zwischen der epipolaren Ebene und einer CCD-Sensoroberfläche wird als eine epipolare Linie bezeichnet. Sodann werden die Koordinaten (X, Y, Z) des Punkts P jeweils durch die nachfolgenden Formeln (2), (3) und (4) dargestellt.
Es sei Θ ein Winkel, den optischen Achsen L_L und L_R jeder linken und rechten Bildaufnahmelinsengruppe 11_L und 11_R mit einer geraden Linie bilden, die durch die Mittelpunkte O_L und O_R der objektseitigen Grundebene und parallel zu der Z-Achse verläuft (und den so genannten Konvergenzwinkel bildet), und f eine Brennweite jeder Bildaufnahmelinsengruppe 11_L und 11_R . Dann sind die nachfolgenden Beziehungen der Formeln (5) und (6) erfüllt. ZR = {XR – (b/2) + f·sin(Θ)}tan(Θ) + f·cos(Θ) (5) ZL = –{XL + (b/2) – f·sin(Θ)}tan(Θ) + f·cos(Θ) (6)
Die Koordinaten (X, Y, Z) des Punkts P werden durch die vorstehenden Formeln (2) bis (6) erhalten. Auf der Basis dieser Koordinaten wird eine Koordinatentransformation in dem Bild aus der Sicht von einem bestimmten Blickpunkt durchgeführt, beispielsweise in einem Bild aus einem Blick von einem Mittelpunkt zwischen den beiden Kameras. Ein kombiniertes Bild wird erhalten durch eine Kombination einer Verschiebungstransformation und einer drehenden Transformation.
Das erhaltene kombinierte Bild (Kombinationsbild) wird erhalten, wie es vorstehend beschrieben wurde. Nachstehend wird nun beschrieben, wie das Bild in einer angemessenen Weise auszugeben ist, beispielsweise wie das Bild an eine am Kopf angeordnete Anzeige (head-mounted display, HMD) mit einer Vielzahl von Anzeigeeinrichtungen ausgegeben wird. Dabei wird in dieser Beschreibung angenommen, dass die beiden Bilder in dem NTSC-Format angeordnet sind. Es gibt eine große Vielfalt typischer NTSC-Signale mit Pixeln von 525 × 910, 480 × 640, 480 × 720, 480 × 768, und dergleichen, die insgesamt nachfolgend als NTSC-Signal bezeichnet werden.
Es wird nun ein Beispiel von 480 × 640 betrachtet und es wird ferner angenommen, dass die Größe des Bereichs der überlappenden Teile bei dem Aufnehmen der Bilder α Pixel in der horizontalen Richtung beträgt. In diesem Fall ist das Seitenverhältnis des kombinierten Bilds ungefähr 480:(640 + 640 – α') gemäß der Darstellung in 6. Hierbei wird α' verwendet, da α in gewissem Umfang durch das Kombinierverfahren geändert wurde. In einem Extremfall werden beide Bilder aufgenommen, so dass sie an der Nahtstelle zusammenpassen, ohne dass ein Teil verloren geht. In diesem Fall gilt α' = α = 0, wobei 480:(640 + 640 – α) = 3 : 8.
Zur Bezeichnung des Bilds aus den Anzeigeeinrichtungen in der auf dem Kopf angeordneten Anzeige oder dergleichen muss das zuerst erhaltene kombinierte Bild 501 in einer Vielzahl von Bildern mittels des Bildausgabeteils 40 gemäß der Darstellung in 7 aufgeteilt werden. Die getrennten Bilder werden als Bildsignale 411 und 412 ausgegeben.
Im Fall des vorstehenden Beispiels werden beispielsweise zwei Bilder mit einem Verhältnis von 4 : 3 gemäß der Darstellung in 8 erzeugt, d. h. das Bild mit 8 : 3 wird in zwei Teile aufgeteilt zur Bildung zweier NTSC-Bildsignale mit 4 : 3. Die beiden Bilder werden sodann zu den am Kopf angeordneten Anzeigeeinrichtungen oder dergleichen übertragen. Unter Verwendung der beiden Bildschirme können die Bilder mit einem breiten Blickwinkel und mit allen Angaben zur Anzeige gebracht werden.
Obwohl in dem vorstehenden Beispiel angenommen wurde, dass α = 0 für die Überlappungsteile gilt, ist im Allgemeinen α > 0. In diesem Fall werden zwei Bildsignale gemäß der Darstellung in 9 aus dem Bild von 480:(640 + 640 – α') erzeugt. Das Seitenverhältnis der erzeugten Bilder beträgt 3 : 4. Insbesondere entsprechen die Bilder 480 : 640.
Zur Vermeidung von Missverständnissen ist angegeben, dass die derart erhaltenen beiden Bilder unterschiedlich zu den ursprünglichen, mit den beiden Bildaufnahmesystemen erhaltenen Bildsignale sind, da die Bilder in den überlappenden Teilen einer Transformation in dem Kombinationsverarbeitungsteil unterzogen wurden. Es tritt selbstverständlich der Fall auf, dass die Transformation keine Änderung der unter bestimmten Bedingungen aufgenommenen Bilder bewirkt, beispielsweise ein Fall, bei dem ein ebenes Objekt unter einer Unendlich-Einstellung aufgenommen wird.
Die derart erhaltenen Bildsignale mit 480 : 640 werden auf den beiden Anzeigeeinrichtungen in der an dem Kopf angeordneten Anzeigeeinrichtung oder dergleichen zur Anzeige gebracht, wobei diese als Panoramabild angezeigt werden können. In diesem Fall umfassen beide Bilder bei der Anzeige denselben Teil. Da die überlappenden Teile (der schraffierte Teil in 4A) in den beiden Bildern keine stereoskopische Parallaxe-Information infolge des vorherigen Kombinationsablaufs zurückbehält, werden die Bilder der beiden überlappenden Teile miteinander verschmolzen, sodass sie als eine Ebene erfasst werden können ohne Wahrnehmen des stereoskopischen Effekts, und werden mit den Bildern in den nichtüberlappenden Teilen gemischt zur Vergrößerung des Blickwinkels, sodass eine gesamte Anzeige eines Panoramabilds dargestellt wird. Im Falle der Anzeigeeinrichtungen in der an einem Kopf angeordneten Anzeigeeinrichtung oder dergleichen wird eine Anzeige mit denselben Teilen (schraffierter Bereich) gemäß 4A bevorzugt, da ein gewünschtes Bild angezeigt werden kann und ferner ein visuelles Erkennen der Kanten oder dergleichen an der Nahtstelle unterdrückt werden kann.
Das zweite Ausführungsbeispiel ist ein Beispiel, in dem zwei Bildsignale gemäß der Darstellung in 10 erzeugt werden. In diesem Fall erzeugt der Aufteilungssignalbildverarbeitungsteil Bildsignale, so dass die beiden Bilder angezeigt werden ohne positive Bereitstellung eines gleichen Teils. In entsprechender Weise wird ein Bild, beispielsweise ein Schwarzpegel in einem Bereich des schraffierten Teils 480 × α'/2 in 10 in einem Bild eingesetzt, und eine Hälfte des kombinierten Bilds wird in dem Bereich 480 × (640 – α'/2) angezeigt.
Im Fall des vorliegenden Ausführungsbeispiels sind die Bilder in gleicher Weise wie in dem Fall von α' = α = 0 gemäß dem ersten Ausführungsbeispiel angezeigt. Da kein gleiches Bild zwischen den beiden Anzeigen besteht, kann die Grenze in gewissem Umfang für Menschen erkennbar sein, da ein Verschmelzungsbereich fehlt. Das vorliegende Ausführungsbeispiel hat ferner die gleiche Wirkung des Erweiterns des Blickwinkels.
Das dritte Ausführungsbeispiel ist ein Beispiel, in dem ein Bereich positiv eingegeben wird für zwei Anzeigen. Insbesondere teilt der Aufteilungsbildsignalverarbeitungsteil das darin eingegebene kombinierte Bild mit 480 × (640 + 640 – α') in zwei Bildsignale mit 240 × {(640 + 640 – α')/2} mit demselben Seitenverhältnis und einer Größe von Pixeln, die in einer Anzeigeeinrichtung eingestellt werden kann, auf.
11 zeigt diese Anordnung. Der Teil (A) in 11 zeigt ein eingegebenes kombiniertes Bild und der Teil (B) in 11 zeigt zwei getrennte auszugebende Bildsignale. In dem Teil (B) gemäß 11 bezeichnen die schraffierten Teile Bereiche, in welche Bildsignale, beispielsweise mit dem Schwarzpegel eingesetzt sind.
Obwohl die vorstehend beschriebenen Beispiele als typische Beispiel für Bilder mit 640 × 480 des NTSC-Signals beschrieben wurden und die Figuren ebenfalls diese Bilder zeigen, ist es offensichtlich, dass die vorliegende Erfindung in keine Weise auf diese Beispiele beschränkt ist. In gleicher Weise ist eine Anwendung bei dem PAL-Format und den Formaten gemäß EDTV und HDTV möglich. Ferner kann die Erfindung bei anderen Formaten als diesen verwendet werden. Ferner wurde die Erfindung mit Beispielen von Anzeigeeinrichtungen in einer an einen Kopf angeordneten Anzeigeeinrichtung beschrieben, wobei jedoch die Erfindung in keiner Weise auf die Anzeigeeinrichtungen in einer auf dem Kopf angeordneten Anzeigeeinrichtung beschränkt ist.
Gemäß der vorstehenden Beschreibung ergibt die vorliegende Erfindung die nachstehenden Wirkungen durch Bereitstellung der Bildkombiniereinrichtung zum Erzeugen eines Panoramabilds und der Bildausgabeeinrichtung zum angemessenen Aufteilen des kombinierten Panoramabilds in Teilbilder zur Ausgabe derselben.
Ein erhaltenes Bild ist in der Nähe der Verbindung zwischen den beiden Bildern infolge der Anordnung hochwertig, da entsprechende Punktepaare für denselben Teil eines Objekts aus den Bildsignalen extrahiert werden und eine Kombinationstransformation auf der Basis der entsprechenden und derart extrahierten Punktepaare durchgeführt wird.
Ferner trennt der Bildausgabeteil das Bild in gewünschte Bildsegmente, so dass die auf diese Weise aufgeteilten Bilder auf einer Vielzahl von Anzeigeeinrichtungen zur Anzeige gebracht werden können, wobei die positive Wirkung der Darstellung eines sanften Panoramabilds gewährleistet ist.

Claims

Bildverarbeitungsvorrichtung, mit; einer Bildaufnahmeeinrichtung (10L, 10R) zur Verwendung für eine Panoramabildaufnahme durch Erfassen eines ersten Bilds und eines zweiten Bilds, einer ersten und einer zweiten Speichereinrichtung (31L, 31R) zum jeweiligen Speichern des von der Bildaufnahmeeinrichtung (10L, 10R) erfassten ersten Bilds und des zweiten Bilds, wobei sich das erste und zweite Bild teilweise überlappen, einer Panoramabildkombiniereinrichtung (410) zum Bilden eines Panoramabilds durch Kombinieren der überlappenden Teile des ersten und des zweiten Bilds zur Bildung eines Mittelbereichs des Panoramabilds, wobei die nicht überlappenden Teile des ersten und zweiten Bilds die Außenbereiche des Panoramabilds darstellen, und einer Panoramabildspeichereinrichtung (39) zum Speichern des Panoramabilds, dadurch gekennzeichnet, dass die Bildverarbeitungsvorrichtung ferner eine Extrahiereinrichtung (33) aufweist zur Durchführung eines Herausgreifens korrespondierender Punkte zwischen dem ersten und dem zweiten Bild in dem Überlappungsbereich zwischen dem ersten und dem zweiten Bild, wie es mittels der ersten und zweiten Speichereinrichtung gespeichert ist, und dadurch, dass die Bildkombiniereinrichtung (410) vorgesehen ist zur Bildung eines Mittelbereichs des Panoramabilds als ein Bild, das keine stereoskopische Parallaxe-Information behält entsprechend einer Betrachtung von einem Betrachtungspunkt zwischen den Betrachtungspunkten, aus denen das erste und zweite Bild mittels der Bildaufnahmeeinrichtung (10L, 10R) erfasst wurde, auf der Basis der Information der herausgegriffenen korrespondierenden Punkte, und die Vorrichtung ferner eine Bildausgabeeinrichtung (40) umfasst zum Aufteilen des gespeicherten Panoramabilds in ein erstes und zweites Anzeigebild zur Ausgabe des ersten und zweiten Ausgabebilds.
Vorrichtung nach Anspruch 1, wobei das Panoramabild aus einem Mittelbereich, einem ersten Randbereich, der auf einer Seite des Mittelbereichs vorliegt, und einem zweiten Randbereich besteht, der auf der anderen Seite des Mittelbereichs vorliegt, und wobei die Bildausgabevorrichtung (40) das Panoramabild in das erste und zweite Anzeigebild aufteilt, so dass das erste Anzeigebild den ersten Randbereich und den Mittelbereich des Panoramabilds und das zweite Anzeigebild den zweiten Randbereich und den Mittelbereich des Panoramabilds umfasst.
Vorrichtung nach einem der vorhergehenden Ansprüche, ferner mit einer an einem Kopf angebrachten Anzeigeeinrichtung, wobei die an dem Kopf angebrachte Anzeigeeinrichtung das erst und zweite Anzeigebild zur Anzeige bringt.
Vorrichtung nach Anspruch 1, wobei das Panoramabild aus einem Mittelbereich, einem ersten Randbereich, der auf einer Seite des Mittelbereichs vorliegt, und einem zweiten Randbereich, der an der anderen Seite des Mittelbereichs vorliegt, besteht, und die Bildausgabeeinrichtung (40) das Panoramabild in das erste und zweite Anzeigebild aufteilt, so dass das erste Anzeigebild den ersten Randbereich und eine erste Hälfte des Mittelbereichs umfasst, und das zweite Anzeigebild den zweiten Randbereich und die verbleibende Hälfte des Mittelbereichs umfasst.
Vorrichtung nach Anspruch 1, wobei das erste und zweite Anzeigebild das gesamte Panoramabild in verminderter Größe umfasst.
Bildverarbeitungsverfahren, mit den Schritten: Durchführen einer Panoramabildaufnahme unter Verwendung einer Bildaufnahmeeinrichtung (10L, 10R) zum Erfassen eines ersten Bilds und eines zweiten Bilds, Speichern des ersten, durch die Bildaufnahmeeinrichtung (10L) erfassten Bilds in einer ersten Speichereinrichtung (31L), Speichern des zweiten, durch die Bildaufnahmeeinrichtung (10R) erfassten Bilds in einer zweiten Speichereinrichtung (31R), wobei sich die ersten und zweiten Bilder teilweise überlappen, Bilden eines Panoramabilds durch Kombinieren der überlappenden Teile des ersten und zweiten Bilds in einer Panoramabildkombiniereinrichtung (33, 410) zur Bildung eines Mittelbereichs des Panoramabilds, wobei die nicht überlappenden Bereiche des ersten und zweiten Bilds die Randbereiche des Panoramabilds darstellen, Speichern des Panoramabilds in einer Panoramabildspeichereinrichtung (39), dadurch gekennzeichnet, dass das Verfahren ferner umfasst: Durchführen eines Herausgreifens mittels einer Extrahiereinrichtung (33) der korrespondierenden Punkte zwischen dem ersten und zweiten Bild in dem Überlappungsbereich zwischen dem ersten und zweiten Bild, wie es mittels der ersten und zweiten Speichereinrichtung gespeichert ist, und Bilden in einer Panoramabildkombiniereinrichtung (410) eines Mittelsbereichs des Panoramabilds als ein Bild, das keine stereoskopische Parallaxe-Information behält entsprechend einer Betrachtung von einem Betrachtungspunkt zwischen den Betrachtungspunkten, von denen aus das erste und zweite Bild mittels der Bildaufnahmeeinrichtung (10L, 10R) erfasst wurde, auf der Basis der Information der herausgegriffenen korrespondierenden Punkte, und Aufteilen des gespeicherten Panoramabilds in ein erstes und zweites Anzeigebild zur Ausgabe des ersten und zweiten Anzeigebilds in einer Bildausgabeeinrichtung (40).
Verfahren nach Anspruch 6, wobei das Panoramabild aus einem Mittelbereich, einem ersten Randbereich, der an einer Seite des Mittelbereichs vorliegt, und einem zweiten Randbereich, der an der anderen Seite des Mittelbereichs vorliegt, besteht, und wobei die Bildausgabeeinrichtung (40) das Panoramabild in das erste und zweite Anzeigebild aufteilt, so dass das erste Anzeigebild den ersten Randbereich und den Mittelbereich des Panoramabilds aufweist, und das zweite Anzeigebild den zweiten Randbereich und den Mittelbereich des Panoramabild aufweist.
Verfahren nach Anspruch 6, wobei das Panoramabild aus einem Mittelbereich, einem ersten Randbereich, der an einer Seite des Mittelbereichs vorliegt, und einem zweiten Randbereich, der an der anderen Seite des Mittelbereichs vorliegt, besteht, und wobei die Bildausgabeeinrichtung (40) das Panoramabild in das erste und zweite Anzeigebild aufteilt, so dass das erste Anzeigebild den ersten Randbereich und eine erste Hälfte des Mittelbereichs umfasst, und das zweite Anzeigebild den zweiten Randbereich und die verbleibende Hälfte des Mittelbereichs umfasst.
Verfahren nach Anspruch 6, wobei die Bildausgabeeinrichtung jedes des ersten und zweiten Ausgabebilds erzeugt durch Vermindern des gesamten Panoramabilds in seiner Größe.
Verfahren nach einem der Ansprüche 6 bis 9, wobei das erste und zweite Anzeigebild mittels einer auf einem Kopf angebrachten Anzeigeeinrichtung zur Anzeige gebracht wird.