DE69531583T2

DE69531583T2 - Bildverarbeitungsverfahren und -gerät

Info

Publication number: DE69531583T2
Application number: DE69531583T
Authority: DE
Inventors: Akihiro Ohta-ku Katayama; Hiroaki Ohta-ku Sato; Koichiro Ohta-ku Tanaka; Eita Ohta-ku Ono; Shinya Ohta-ku Urisaka
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1994-10-14
Filing date: 1995-10-13
Publication date: 2004-06-24
Anticipated expiration: 2015-10-14
Also published as: DE69531583D1; US6608622B1; EP0707288A3; EP0707288A2; EP0707288B1

Description

Die vorliegende Erfindung bezieht sich auf ein Bildverarbeitungsverfahren und -gerät, und insbesondere auf ein Bildverarbeitungsgerät und -verfahren, das Bilder interpoliert, die aus einer Vielzahl von Bildaufnahmemitteln (beispielsweise aus Kameras) gewonnen sind, um ein Bild zu erzeugen, das von einem Sehpunkt aufgenommen ist, der sich von den Sehpunkten der Bildaufnahmemittel unterscheidet.
Als Gerät zur stereoskopischen Anzeige von aus einer Vielzahl von Sehpunkten gesehenen Bildern stehen eine Stereoanzeige, eine linsenförmige Anzeige und dergleichen zur Verfügung. Die obige Stereoanzeige ist eingerichtet zum abwechselnden Anzeigen von Bildern, die zwei Kameras aufgenommen haben, durch Hochgeschwindigkeitsumschalten. Ein Betrachter kann ein stereoskopisches Bild unter Verwendung von Verschlußgläsern oder Polarisationsgläsern betrachten, die mit der Hochgeschwindigkeitsumschaltoperation synchronisiert sind.
Bei der linsenförmigen Anzeige sind beispielsweise Bilder A, B, C und D, gewonnen aus vier Kameras, in Einheiten von Pixeln angeordnet, wie in 1 gezeigt, vorausgesetzt, daß die Pixelposition (1,1) des ersten Bildes A ausgedrückt ist als A(1,1). Ein Blatt, das ein linsenförmiges Blatt genannt wird, gewonnen durch Anordnen einer großen Anzahl von halbzylindrischen Linsen, ist an eine Vorderoberfläche gebondet, um einen stereoskopischen Ausdruck von Bildern zu ermöglichen, die aus vier Sehpunkten gesehen sind.
Im obigen herkömmlichen Gerät können jedoch nur stereoskopische Bilder in der Richtung betrachtet werden, in der die Kameras eingerichtet sind. Das heißt, wenn bei der stereoskopischen Anzeige ein Gegenstand photographiert wird, während zwei Kameras an festen Orten stehen, sieht der Betrachter immer dasselbe Bild, selbst wenn er seinen Sehpunkt verändert.
Im Gegensatz dazu kann der Betrachter bei der linsenförmigen Anzeige den Sehpunkt in seitlicher Richtung verändern. Der Betrachter kann jedoch nur Bilder sehen, die für einige der Kameras gesehen sind, und zwar zu Intervallen. Das heißt, der Sehpunkt vom Betrachter kann nicht stetig in seitlicher Richtung oder in einem Raum verändert werden (das heißt der Sehpunkt kann nicht zu einer beliebigen Stelle in einem Raum bewegt werden, um den Sehpunkt in eine willkürliche Richtung zu haben).
Das Dokument GB-A-2 244 621 offenbart ein Verfahren einer Maschinenstereovisionsanpassung, bei der zugehörige Punkte wenigstens zweier unterschiedlicher Bilder einer Szene angepaßt werden durch die Verwendung von epipolaren Linien. Ein Punkt auf dem Bild wird ausgewählt, und die Position der sich ergebenden epipolaren Linie wird errechnet unter Verwendung von Matrizen, die Parameter festlegen, die der Aufnahme des Bildes zugehörig sind. Die epipolare Linie wird verwendet zum Identifizieren von Punkten in einem anderen Bild, da das Potential dem ausgewählten Punkt angepaßt ist. Weitere Beschränkungen sind den identifizierten Punkten auferlegt, um den Punkt herauszufinden, der am besten zum ausgewählten Punkt paßt.
Das Dokument US 4 654 872 offenbart ein System zu Erkennen eines dreidimensionalen Gegenstands. Bilder vom Gegenstand werden aufgezeichnet aus wenigstens drei Richtungen, und Merkmalspunkte werden ausgelesen für jedes der wenigstens der drei Bilder. Zwei Sätze von Merkmalspunkten auf epipolaren Linien werden gebildet. Ein Satz von Merkmalspunkten wird ausgewählt, der einer Beschränkungsbedingung genügt, die bestimmt ist durch die Beziehung der Abbildungsrichtungen. Basierend auf den Positionen der Merkmalspunkte in den Bildern werden die Positionen der zugehörigen Merkmalspunkte auf dem Gegenstand errechnet und verwendet zum Erkennen der Gestalt, der Größe, der Position vom Gegenstand.
Die vorliegende Erfindung ist unter Berücksichtigung des oben Dargelegten entstanden.
Nach der vorliegenden Erfindung vorgesehen ist ein Verfahren der Verarbeitung von Daten, wie es im Patentanspruch 1 angegeben ist.
Die vorliegende Erfindung sieht auch ein Verfahren der Verarbeitung von Daten vor, wie es im Patentanspruch 2 angegeben ist.
Die vorliegende Erfindung sieht auch ein Gerät zur Verarbeitung von Daten vor, wie es im Patentanspruch 5 angegeben ist.
Die vorliegende Erfindung sieht auch ein Gerät zur Verarbeitung von Daten vor, wie es im Patentanspruch 6 angegeben ist.
Die vorliegende Erfindung sieht auch ein Computerprogrammprodukt vor, wie es im Patentanspruch 9 angegeben ist.
Die vorliegende Erfindung sieht des weiteren ein Computerprogrammprodukt vor, wie es im Patentanspruch 10 angegeben ist.
Optionale Merkmale sind in den Patentansprüchen 3, 4, 7, 8 und 11 angegeben.
Ausführungsbeispiele der vorliegenden Erfindung sehen ein Bildverarbeitungsgerät und -verfahren vor, das genau interpolierte Bilder bei der Bildinterpolationsverarbeitung erzeugen kann.
Nachstehend beschrieben sind Ausführungsbeispiele anhand der beiliegenden Zeichnung, in der gleiche Bezugszeichen dieselben oder gleiche Teile in allen Figuren bedeuten.
KURZE BESCHREIBUNG DER ZEICHNUNG
1 ist eine perspektivische Ansicht zur Erläuterung einer linsenförmigen Anzeige;
2 ist eine Ansicht, die eine Sequenz einer Zwischensehpunktinterpolationsverarbeitung als Hintergrunderläuterung zeigt;
3 ist ein Blockdiagramm, das die Hardwareanordnung eines Bildverarbeitungsgerätes nach einem Ausführungsbeispiel der vorliegenden Erfindung zeigt;
4 ist ein Ablaufdiagramm, das eine Prozedur zur Bildverarbeitung zeigt, einschließlich Bildinterpolationsverarbeitung in einem Ausführungsbeispiel;
5 ist eine Ansicht, die das Rechenprinzip eines zugehörigen Punktsuchbereichs von photographischen Parametern in Schritt S122 zeigt;
6 ist ein Ablaufdiagramm, das eine Sequenz zugehöriger Punktsuchverarbeitung in Schritt S123 zeigt;
7 ist eine Ansicht eines Formats, das das j-te epipolare ebene Bild zeigt;
8 ist ein Ablaufdiagramm, das eine Sequenz gerader Linienfeststellung in Schritt S123 zeigt;
9 ist eine Ansicht zur Erläuterung eines Interpolationsverarbeitungsalgorithmus;
10 ist eine Ansicht zur Erläuterung des Interpolationsverarbeitungsalgorithmus; und
11 ist eine Ansicht zur Erläuterung des Interpolationsverarbeitungsalgorithmus.
ALLGEMEINER STAND DER TECHNIK
Auf dem Wege der Erläuterung des Standes der Technik ist ein Verfahren beschrieben, das ein epipolares ebenes Bild (wird nachstehend als EPI bezeichnet) als Verfahren der Verwendung einer Vielzahl von Bildern beschrieben, die aus einer Vielzahl von Sehpunktpositionen photographiert sind, um Bilder zu erzeugen, die aus anderen Positionen als die jeweiligen Photographierpositionen gesehen werden.
In diesem Verfahren, wie es in 2 gezeigt ist, werden Linien (101a, 102a, 103a, 104a) in jeweiligen Bildern (101, 102, 103, 104) zur selben Position ausgelesen und zusammengesetzt in ein Bild (2000). Eine Geradelinienrichtung wird dann auf diesem EPI ausgeführt, und eine Interpolationsverarbeitung erfolgt, um interpolierte Linien (101a', 102a', 103a') zu erhalten, wodurch man Punkte (zugehörige Punkte) gewinnt gemäß den Zielpunkten. Aus jedem zugehörigen Punkt wird ein aus einer Position gesehenes Bild gewonnen, das sich von der Photographierposition unterscheidet.
In einem solchen Verfahren wird eine Sequenz von Punkten, die eine gerade Linie auf einem EPI als diskrete Daten als zugehörige Punkte angesehen. Wenn aus diesem Grund beispielsweise gerade Linien derselben Farbe zu gleichen Intervallen auf einem EPI auftreten, um ein streifiges Muster zu bilden, oder dünne Linien in einem einheitlichen Bereich vorgesehen sind, wird eine Sequenz von Punkten nicht als zugehörige Punkte angesehen und kann fälschlicherweise als gerade Linie festgestellt werden. Ein Bild wird folglich auf der Grundlage von Informationen aufgebaut, die fälschliche zugehörige Punkte enthalten, was zum Zusammensetzen eines verzerrten Bildes führt, beispielsweise zu einem Bild, dessen Vorwärts/Rückwärtslagebeziehung umgekehrt ist, oder zu einem Bild mit einem verzerrten Muster.
DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
Nachstehend anhand der beiliegenden Zeichnung detailliert beschrieben sind bevorzugte Ausführungsbeispiele der vorliegenden Erfindung.
3 stellt die Hardwareanordnung dar, in der vier Kameras als Bildeingabeeinheiten verwendet werden, um die Bildverarbeitung in einem Ausführungsbeispiel erfolgen zu lassen.
Bezugszeichen 1020 bis 1023 bedeuten Bildeingabeeinheiten wie Kameras; Bezugszeichen 1024 bedeutet einen Eingabeport; Bezugszeichen 1025 bedeutet eine CPU; Bezugszeichen 1026 bedeutet einen RAM; Bezugszeichen 1027 bedeutet einen ROM; Bezugszeichen 1028 bedeutet einen Platten-I/O-Port; Bezugszeichen 1029 bedeutet eine Festplatte; Bezugszeichen 1030 bedeutet einen VRAM; Bezugszeichen 1031 bedeutet eine Videosignalausgabe-I/F; und Bezugszeichen 1032 bedeutet eine linsenförmige Anzeige. In diesem Ausführungsbeispiel werden vier Kameras verwendet. Jedoch ist die Anzahl der Kameras nicht auf vier beschränkt, sondern kann eine beliebige Anzahl sein.
Bildverarbeitungsprogramme sind im RAM 1026 oder im ROM 1027 gespeichert. Die CPU liest aus, interpretiert und führt diese Programm aus.
Angemerkt sei, daß sich diese Programme in einer Festplatte 1029 speichern lassen, und können in den RAM 1026 erforderlichenfalls zur Ausführung geladen werden.
Ein Verfahren gemäß diesem Ausführungsbeispiel nach der vorliegenden Erfindung gestattet eine geeignete Korrekturverarbeitung, selbst wenn das photographierte Bild Störungen, einen Versatz oder Rauschen enthält. Hauptsächlich dieses Verfahren ist nachstehend beschrieben.
4 ist ein Ablaufdiagramm, das eine Verarbeitungssequenz in diesem Ausführungsbeispiel zeigt. In Schritt S121 werden Originalbilder, die aus den Bildeingabeeinheiten 1020 bis 1023, wie Kameras im in 3 gezeigten System kommen, der geometrischen Korrekturverarbeitung unterzogen, beispielsweise der chromatischen Abberation oder Verzerrung einer jeden Linse, ein Versatz von der optischen Achse, die Positur/Position einer jeden Kamera und die Korrekturverarbeitung für Empfindlichkeitstungleichförmigkeiten eines CCD-Sensors und dergleichen. Wenn Korrekturdaten kalibriert und gespeichert werden in einem ROM 1027 und in einem RAM 1026 (3) im voraus, kann eine derartige Korrekturverarbeitung mit hoher Geschwindigkeit unter Bezug auf Tabellen in diesen Speichern ausgeführt werden. Wenn darüber hinaus diese Korrekturdaten zuvor bei jeder Bildeingabeoperation gewonnen werden, kann eine genaue Korrektur realisiert werden.
Diese Korrekturverarbeitung ist abgeschlossen, der Ablauf schreitet fort zu Schritt S122, um einen zugehörigen Punktsuchbereich (ist später zu beschreiben) aus photographischen Parametern zu bestimmen. Der Ablauf schreitet dann fort zu Schritt S123, um nach zugehörigen Punkten zwischen den jeweiligen Bildern zu suchen, unter Verwendung des Bestimmungsergebnisses. Wenn die zugehörige Punktsuchverarbeitung abgeschlossen ist, schreitet der Ablauf fort zu Schritt S124, um die Bildinterpolationsverarbeitung auszuführen. In Schritt S125 werden danach die eingegebenen Bilder unter ausgeführter Korrektur und die interpolierten Bilder auf einer linsenförmigen Anzeige 1 dargestellt.
Nachstehend beschrieben ist die Verarbeitung in jedem Schritt in detaillierter Form.
Die zugehörige Punktsuchbereich-Rechenverarbeitung (Schritt S122) ist nachstehend als erstes anhand 5 beschrieben.
5 zeigt das Rechenprinzip für einen zugehörigen Punktsuchbereich. Bezüglich 5 bedeutet Bezugszeichen 101 eine Ebene, an deren rückwärtigem Ende ein Raum zum Photographieren ist; Bezugszeichen 102 bedeutet einen Photographierraum Ω; Bezugszeichen 103 bedeutet eine Ebene am Vorderende des zu photographierenden Raumes; Bezugszeichen 104 bedeutet eine Entfernung zur Ebene am rückwärtigen Ende des zu photographierenden Raumes; Bezugszeichen 105 bedeutet eine Entfernung (Lf) zur Ebene am vorderen Ende des zu photographierenden Raumes; Bezugszeichen 106 bedeutet einen Winkel α, der festgelegt ist durch die vertikale Linie, die sich von der Photographierposition P1 (108) bis zu einer Aufnahmeebene erstreckt und einer geraden Linie, die sich von einer Photographierposition P2 (110), separiert von der Photographierposition P1 um einen Abstand d (109), zu einem Gegenstand a (112), auf der Ebene am Vorderende des photographischen Raums Ω erstreckt; Bezugszeichen 107 bedeutet einen Winkel β, der festgelegt ist durch eine gerade Linie, die sich zu einem Gegenstand b (113) auf der Ebene 101 am rückwärtigen Ende des photographischen Raumes Ω erstreckt und einer Vertikallinie, die sich von der Sehpunktposition P1 erstreckt, und Bezugszeichen 111 bedeutet eine Brennweite f. Bezugszeichen a' (114) und b' (115) bedeuten die Positionen eines Gegenstands a (112) bzw. des Gegenstands b(113) auf der Aufnahmeebene. Der Abstand zwischen den Positionen a' und b' in der Bildebene als ein zugehöriger Punktsuchbereich wird gemäß dem in 5 gezeigten geometrischen Muster gewonnen.
Ein Abstand d1 (der Abstand zwischen einer Position auf der Aufnahmeebene, der einem Gegenstandspunkt entspricht, und einer Position, bei der die Aufnahmeebene und die optische Achse sich kreuzen) zu einem Gegenstand a (112) am Vorderende des photographischen Raumes Ω auf der Aufnahmeebene an den photographischen Positionen P1 (108) und P2 (110). Den Abstand d1 erhält man nach der folgenden Gleichung gemäß 5: d1 = f/tanα = f/(d/Lf) (1)
In gleicher Weise erhält man den Abstand zum Gegenstand (113) am rückwärtigen Ende des photographischen Raumes Ω bei jedem der Sehpunkte P1 (108) und P2 (110): d2 = f/tanβ = f/(d/Le) (2)
Wie zuvor beschrieben, kann der zugehörige Punktsuchbereich gewechselt werden innerhalb des Intervalls zwischen d1 bis d2, welches den Neigungsbereich der geraden Liniesuche als zugehörige Punktsuche entspricht.
Ein Suchpunkt s im Intervall zwischen d1 und, d2 kann eingesetzt werden aus der Anzahl (N) von Kameras gemäß folgender Gleichung: s = 1/N (3)
Eine zugehörige Punktsuchverarbeitung (Schritt S123) auf der Grundlage der gewonnenen zugehörigen Suchpunktparameter ist nachstehend anhand 6 beschrieben.
6 ist ein Ablaufdiagramm, das die zugehörige Punktsuchverarbeitung im zuvor beschriebenen Schritt 123 zeigt. In Schritt S131 wird die Initialisierung zum Einstellen eines Zielrasters ausgeführt, für das erste Raster eines jeden Bildes. In Schritt S132 wird das Zielraster eines jeden Bildes (jedes Raster verläuft parallel zu einer epipolaren Ebene) wird in einem Arbeitsspeicher gespeichert, um virtuell das j-te epipolare ebene Bild (EPI) zu erzeugen. In diesem Falle, wie er in 7 gezeigt ist, wird das j-te EPI eingestellt aus Punkten Epj(x, i) auf der Bildebene gemäß Epj(x, i) = Ni(x, j) (4)wobei Ni(x, j) der Pixelwert auf dem j-ten Raster vom i-ten Bild (i = 1 bis 4) ist, das heißt, der Wert von einem Pixel vom i-ten Bild, das durch die Koordinaten (x, j) aufgezeigt ist.
Wenn Bildeingabeeinheiten, wie Kameras, parallel zu gleichen Intervallen aufgestellt sind, sind alle zugehörigen Punkte auf einer geraden Linie auf diesem EPI angeordnet. Aus diesem Grund können zugehörige Punkte festgestellt werden durch Nachweis einer geraden Linie auf dem EPI in Schritt S133. Darüber hinaus kann eine Bildinterpolation auf der festgestellten geraden Linie ausgeführt werden. Folglich werden in Schritt S124 zugehörige Punkte aus der gewonnenen Linie errechnet und gespeichert. Da die festgestellte gerade Linie direkt die Bildqualität beeinflußt, werden genauere zugehörige Punkte vorzugsweise in der zugehörigen Punktsuchverarbeitung in Schritt 123 nachgewiesen. In diesem Falle wird eine gerade Linie mit einer Breite festgelegt als Gliederung gerader Linien mit derselben Neigung, und Feststellen einer geraden Linie mit einer Breite, die die Richtung einen Parallelogrammbereichs aufzeigt, in dem jede gerade Linie einer Bestimmungsbedingung für gerade Linien genügt. Beispielsweise bilden vier Parallele eine gerade Linie mit einer Breite von 4. Wenn die Breite der geraden Linie anwächst, wird die Möglichkeit genauer zugehöriger Punkte höher. Derartige gerade Linien werden vorzugsweise als zugehörige Punkte festgestellt. Eine Priorität wird beispielsweise gemäß einer Entsprechungsbeziehung, festgestellt durch Geradelinienfeststellung einer geraden Linie mit einer Breite von 4 über derjenigen, die festgestellt ist durch Geradelinienfeststellung einer geraden Linie mit einer Breite von 2.
Nachstehend anhand des Ablaufdiagramms in 5 detailliert beschrieben ist der Algorithmus.
In Schritt S150 wird die Suchgeradelinienbreite W = h eingestellt. Wenn der Anfangswert der Suchgeradelinienbreite exzessiv groß ist, kann die Verarbeitung nicht innerhalb einer vernünftigen Rechenzeit abgeschlossen werden. Aus diesem Grunde wird beispielsweise der Wert für h = 8 gewählt. In Schritt S151 werden Prioritätsrang n = 1 und Zielpixellinie r = 1 eingestellt. In Schritt S152 wird unter der Annahme, daß Epj(x, r) als Zielpixel eingesetzt ist, der Wertbereich von m des Abstands vom Zielpixel, der der Neigung der geraden Linie entspricht, eingesetzt als m = d1 bis d2, und daß der Wert von x vom Zielpixel eingesetzt wird als x = 1 bis nx, wobei nx die Größe der Aufnahmeebene in Hauptabtastrichtung ist. Alle Werte in diesem Falle von m, die den Neigungen gerader Linien entsprechen und der nachstehenden Gleichung genügen, werden somit gewonnen, und die Anzahl festgestellter gerader Linien wird als L gespeichert:
Da m auf die Suchbreite s in Schritt S122 geändert wird, kann ein realer Zahlenwert angenommen werden. Obwohl Gleichung (5) einen Fall darstellt, bei dem gerade Linien gewonnen werden aus dem Wertebereich von i von 1 bis 4, das heißt, von vier Bildern, ist es offensichtlich, daß gerade Linien gewonnen werden können auch aus fünf oder mehr Bildern, das heißt, der Wertebereich erstreckt sich im Bereich von i von 1 bis 4.
In der obigen Gleichung wird der Wert von x + w + m x (i – r) abgerundet, um eine zugehörige x-Koordinate zu bestimmen. TH2 ist ein Schwellwert für entsprechende Punkte. Dieser Schwellwert TH2 kann 1200 × W sein. Dieser Schwellwert "1200 × W" basiert auf drei Rechnungen von Differenzen, wegen der epipolaren Ebene EPI mit vier Linien. Wenn die jeweiligen Differenzwerte folglich 20 oder weniger sind, wird 3 × 202 = 1200 unter der Annahme eingesetzt, daß zugehörige Punkte in ihrer Farbe fast gleich sind, und der sich ergebende Wert wird multipliziert mit der Breite W vom Parallelogramm. Das heißt, es wird 1200 × W eingesetzt. Wenn im obigen Verfahren ein Pixelwert auf Signalen R, G und B basiert, diese stammen aus den primären Farben, wird die obige Operation für jedes Signal ausgeführt. Dieses Verfahren kann jedoch mit einem Fall zu Rande kommen, bei dem ein Pixelwert umgesetzt ist in einen Wert verschiedener kolorimetrischer Systeme, wie YIQ oder HSI, und geeignete Schwellwerte für das jeweilige kolorimetrische System können verwendet werden.
Wenn Epj (x + w + mx (i – r) , i) nicht gegeben ist, wird überprüft, ob die Bedingung der Geradenlinienbestimmung zwischen dem Zielpunkt Epj (x, r) und Epj (x + mx (i – 2), r – 1) erfüllt ist. Wird dieser Bedingung genügt, kann eine Parallelogrammfläche festgestellt werden. Wenn der Bedingung nicht genügt wird, wird bestimmt, daß keine zugehörigen Punkte mit dieser Neigung m vorhanden sind, und die Verarbeitung wird fortgesetzt.
In Schritt S153 werden zugehörige Punkte der Prioritätsreihenfolge n aus den geraden Linien gewonnen, die die Neigung m haben, die in den Schritten S151 und S152 erzielt wurden, und die gesuchte Geradelinienbreite h und die Farben der geraden Linien ( eine Anordnung von h Arten von Farben, wenn die Feststellung mit der Breite h ausgeführt wird) werden im Speicher gespeichert.
Die Verarbeitung in den Schritten S152 und S153 wird als Zyklus betrachtet. Dieser Zyklus wird solange wiederholt, bis in Schritt S154 bestimmt ist, daß die Anzahl unverarbeiteter Pixel nicht mehr ansteigt. In diesem Fall wird der Wert der Prioritätsreihenfolge n um eins in Schritt S155 inkrementiert. Wenn Epj(x + mx(i – r), i) bereits verarbeitet ist in Schritt S155, wird die Verarbeitung jedoch fortgesetzt, während Epj(x + mx (i – r) i) – Epj(x, r) = 0 gilt.
Wenn die Anzahl unverarbeiteter Pixel nicht ansteigt, selbst nicht nach der Verarbeitung der Schritte S152 bis S154, schreitet der Ablauf fort zu Schritt S157, um eins der Ziellinie hinzuzufügen, und dieselbe Verarbeitung wie diejenige in den Schritten S152 bis S155 wird ausgeführt, wobei Epj(x, r + 1) als Zielpixel eingesetzt ist. Angemerkt sei, daß x = 1 bis n = x ist.
Wenn in Schritt 156 bestimmt ist, daß die letzte Linie verarbeitet ist, wird die Suche breiter gerader Linien in Schritt S159 um ΔW erhöht. Danach wird die Verarbeitung in den Schritten 151 bis 157 ausgeführt.
Wenn in Schritt S158 bestimmt ist, daß die gesuchte Geradelinienbreite kleiner als eins ist, dann endet die zugehörige Punktsuchverarbeitung.
Danach wird in Schritt S135 in 6 dem Wert vom Raster j eins hinzugefügt, und dann wird die Verarbeitung der Schritte 132 in derselben Weise wie zuvor beschrieben ausgeführt. Wenn in Schritt 136 bestimmt ist, daß das letzte Raster verarbeitet ist, endet die zugehörige Punktsuchverarbeitung.
Mit der obigen Verarbeitung können zugehörige Punkte, die aus Bildern?? nicht erzielbar sind, festgestellt werden, und ein Verdeckung oder dergleichen kann exakt verarbeitet werden. Die zugehörige Punktsuchverarbeitung wird aus diesem Grund verbessert. Darüber hinaus kann die Häufigkeit der Feststellung fehlerhafter entsprechender Punkte durch vorzugsweise Feststellen gerader Linien mit größerer Breite verringert werden. Im Verfahren des Feststellens einer geraden Linie mit einer Breite von eins in einem monochromen Parallelogramm werden mehrere gerade Linien pro Zielpunkt festgestellt, was zu einer exzessiven Rechenzeit führt. Im Verfahren dieses Ausführungsbeispiels kann das Feststellen ausgeführt werden durch Suchverarbeitung in Hinsicht auf einen Zielpunkt. Die Rechenzeit läßt sich folglich verkürzen, und der Speicherbereich zum Speichern von Daten über die gerade Linie läßt sich verringern.
Der Ablauf schreitet fort zu Schritt S124 in 4 zum Ausführen einer Bildinterpolationsverarbeitung. Die Bildinterpolationsverarbeitung erfolgt unter Verwendung zugehöriger Punkte, die in Schritt 123 gewonnen wurden. Ein Algorithmus für diese Verarbeitung ist in Einzelheiten anhand der 9 und 10 beschrieben.
9 zeigt das j-te EPI. Bezugszeichen a, b und c bedeuten jeweilige Pixelwerte. Der mit der dicken durchgehenden Linie eingeschlossene Bereich stellt den Abschnitt dar, der als Parallelogrammfläche mit einer Breite von 5 festgestellt wurde, und der mit der dicken Strichlinie eingeschlossene Bereich stellt einen Abschnitt dar, der als Parallelogrammfläche mit einer Breite von 3 festgestellt wurde. Im Falle, bei dem n Bilder zwischen eingegebenen Bildern zu gleichen Intervallen interpoliert werden, ist nachstehend beschrieben. Um die Beschreibung zu erleichtern wird n mit 2 angenommen. Berücksichtigt ist das j-te EPI. Wie in 10 gezeigt, können zwei Linien zwischen den jeweiligen Linien des EPI interpoliert werden. Als Pixelwert einer interpolierten Linie einer geraden Linie, die zugehörige Punkte eines Originalbildes verbindet, kann der Durchschnittswert der zugehörigen Punkte der geraden Linie eingesetzt werden. Zu diesem Zwecke wird die folgende Verarbeitung B1 bis B4 ausgeführt.

B1. Betrachtet wird eine gerade Linie, die die Punkte in der Prioritätsreihenfolge 1 verbindet. Der Pixelwert einer interpolierten Linie dieser geraden Linie wird eingestellt auf den Durchschnittswert der Pixelwerte auf dem Originalbild der geraden Linie. Wenn jedoch die zugehörigen Punkte festgestellt werden als gerade Linie (Parallelogrammbereich) mit einer Breite, wird eine Vielzahl gerader Linien gemeinsam verarbeitet. Der Parallelogrammbereich mit einer Breite von 5 in 9 wird angesehen als 5 parallele gerade Linien "cccaa" für eine gerade Linie mit einer Breite von 5 Pixeln. Wie in 10 gezeigt, ist im Interpolationsbereich ein Parallelogrammbereich, ein Kreuzungsabschnitt zwischen interpolierten Linien und ein Parallelogramm ausgefüllt mit einer Anordnung von Durchschnittswerten (cccaa in diesem Falle) auf den geraden Linien, die den Parallelogrammbereich bilden.
B2. Wenn die Verarbeitung der zugehörigen Punkte der Prioritätsfolge 1 abgeschlossen ist, wird die Verarbeitung der zugehörigen Punkte mit der Prioritätsordnung 2 ausgeführt. Obwohl diese Verarbeitung grundsätzlich dieselbe ist wie die von B1, werden Pixel nicht verarbeitet, die in der Verarbeitung von B1 bereits verarbeitet wurden.
B3. Wenn die Verarbeitung der zugehörigen Punkte der Prioritätsordnung 2 abgeschlossen ist, beginnt die Verarbeitung der zugehörigen Punkte der Prioritätsordnung 3. Ebenso wie in der Verarbeitung von B2 werden Pixel nicht verarbeitet, die der Interpolationsverarbeitung bereits unterzogen wurden. Nachfolgend wird die Verarbeitung bis zu den zugehörigen Punkten der letzten Prioritätsordnung in derselben zuvor beschriebenen Weise ausgeführt.
B4. In Hinsicht auf die Pixel, die noch nicht verarbeitet sind, selbst nach der Verarbeitung von B1 bis B3, wird die Interpolation aus benachbarten Pixeln ausgeführt. Die Verfahren für diese Verfahren enthalten ein Verfahren, das den Durchschnittswert benachbarter Pixelwerte enthält, und ein Verfahren direkten Verwendens vom Wert des nächsten Pixels.
B5. Die Verarbeitung von B1 bis B4 wird für j = 1 bis ny ausgeführt, und das interpolierte Bild wird gewonnen unter Verwendung von j2, j3, j5, j6, j8 und j9. Wie in 10 gezeigt, werden in diesem Falle die von der Verarbeitung B1 bis B4 interpolierten Linien jeweils dargestellt durch j2, j3, j5, j6, j8 und j9.

Beispielsweise kann ein interpoliertes Bild 2 aufgebaut sein durch Anordnen interpolierter Linien j2 (j = 1 bis ny), wie in 11 gezeigt. Dieselbe Verarbeitung wird für interpolierte Bilder 3, 5, 6, 8, 9 ausgeführt.
Durch Erzeugen eines interpolierten Bildes aus vielen eingegebenen Bildern unter Verwendung der obigen Anordnung und des obigen Verfahrens kann gemäß den zugehörigen Punkten, die nicht aus den beiden Bildern zu erhalten sind, eine Feststellung erfolgen. Die Interpolationsgenauigkeit ist folglich verbessert. Da Suchparameter unter Verwendung von photographischen Parametern automatisch bestimmt werden können, selbst bei der zugehörigen Punktsuchverarbeitung, kann die Suchverarbeitung mit hoher Geschwindigkeit ausgeführt werden. Da darüber hinaus zugehörige Punkte aus vielen Bildern gewonnen werden, kann das Problem des Verdeckens gelöst werden, wie zuvor beschrieben. Da die Korrespondenzbeziehung zwischen den Pixeln bei den jeweiligen Sehpunkten vorzugsweise festgestellt wird durch Anpassen der Muster einschließlich benachbarter Pixel anstelle der Anpassung in Einheiten von Pixeln, kann des weiteren eine genaue Entsprechungspunktfeststellung realisiert werden, wodurch eine Verschlechterung der Bildqualität eines durch Interpolation erzeugten Bildes unterdrückt wird.
Die obige Beschreibung erging ohne Berücksichtigung der Vertikaldisparität. Ein Bild kann jedoch erzeugt werden unter Berücksichtigung der Vertikaldisparität auf folgende Weise. Mehrsehpunktbilder, photographiert aus photographischen Sehpunkten, die zu großen Intervallen auf einer Ebene angeordnet sind, um ein Gitter zu bilden. Diese Mehrsehpunktbilder werden zunächst der Zwischensehpunktinterpolation in seitlicher Richtung unterzogen. Zwischensehpunktinterpolation wird dann in Vertikalrichtung ausgeführt.
Wie zuvor beschrieben, werden in einem Ausführungsbeispiel aus einer Vielzahl von Positionen photographierte Bilder eingegeben, und eingegebene Mehrfachsehpunktdaten werden zerlegt in EPI. Ein gerade Linie wird festgestellt auf der Grundlage der Breite der geraden Linie auf diesem EPI, und zugehörige Punkte zwischen Bildern werden festgestellt aus dieser geraden Linie. Ein Bild, das sich erzielen läßt durch Ausführen einer Photographieroperation aus verschiedenen Positionen wird erzeugt unter Verwendung der festgestellten zugehörigen Punkte. Selbst im Falle, bei dem die Vorwärts/Rückwärtsbeziehung von Bildern eines Gegenstands umgekehrt ist oder ein Feinmuster gestört ist wie beim Stand der Technik, kann mit dieser Anordnung ein interpoliertes Bild hoher Genauigkeit erzeugt werden.
Gemäß dem Ausführungsbeispiel kann durch automatisches Bestimmen zugehöriger Suchparameter die Geschwindigkeit der Interpolationsverarbeitung erhöht werden durch Feststellung einer geraden Linie mit einer Breite. Darüber hinaus sind Bilder gemäß der Bewegung des Sehpunktes in Vorwärts- und Rückwärtsrichtung aufgebaut unter Verwendung vieler Bilder, die man durch Interpolationsverarbeitung erhält, und Mehrsehpunktbilder, die photographiert sind, während sich der Sehpunkt in hinreichend kleinen Intervallen bewegt, wodurch die Bewegung des Sehpunktes in Rück- und Vorwärtsrichtung möglich ist, was nach dem Stand der Technik nicht handhabbar ist.
Ausführungsbeispiele können ein System enthalten, das aus einer Vielzahl von Einrichtungen aufgebaut ist, oder ein Gerät mit nur einer Signaleinrichtung.
Ausführungsbeispiele können des weiteren über ein Programm zum Anliefern an ein System oder an ein Gerät verfügen, beispielsweise ein Speichermedium, das ein Programm speichert.
Das Gerät, das mit dem Programm versehen ist, liest aus dem Medium und realisiert die Funktionen gemäß der Erfindung.

Claims

Verfahren zur Verarbeitung von Daten, die eine Vielzahl von Bildern eines Gegenstands festlegen, der bei wechselseitig unterschiedlichen Sehpunktpositionen auf einer geraden Linie aufgenommen ist, um Daten zu erzeugen, aus denen ein Bild vom Gegenstand aus einem neuen Sehpunkt erzeugt werden kann, gekennzeichnet durch: Kombinieren von Bilddaten aus jeweiligen eingegebenen Bildern bei unterschiedlichen Sehpunktpositionen eines auf einer geraden Linie aufgezeichneten Gegenstands, um kombinierte Bilddaten in einem zweidimensionalen Koordinatenraum zu ergeben durch Anordnen einer jeweiligen Linie von Pixeln aus derselben Rasterposition in jedem eingegebenen Bild als parallele Linien von Pixeln im zweidimensionalen Koordinatenraum, wobei jede Linie von Pixeln im zweidimensionalen Koordinatenraum eine Position hat, die relativ zu anderen Linien von der Sehpunktsposition abhängig ist, bei der es aufgezeichnet und aufgenommen wurde; und Suchen der zusammengesetzten Bilddaten im zweidimensionalen Koordinatenraum, um die wechselseitig zugehörigen Pixel zu identifizieren, die denselben Teil des Gegenstands darstellen, wobei die Suche zum Identifizieren zugehöriger Pixel erfolgt, die auf benachbarten parallelen Linien liegen, die Parallelogrammbereiche von unterschiedlichen Breiten im zweidimensionalen Koordinatenraum bilden.
Verfahren zur Verarbeitung von Daten, die Pixel in einer Vielzahl von Parallelogrammbereichen mit unterschiedlichen Breiten in einem zweidimensionalen Koordinatenraum festlegen, der Pixeldaten aus jeweiligen Bildern eines Gegenstands enthält, der bei wechselseitig unterschiedlichen Sehpunktspositionen auf einer geraden Linie aufgezeichnet wurde, so daß eine jeweilige Linie von Pixeln von derselben Rasterposition in jedem eingegeben Bild als parallele Linien in einem zweidimensionalen Koordinatenraum angeordnet sind, wobei jede Pixellinie im zweidimensionalen Koordinatenraum eine Position bezüglich der anderen Linien darin hat, die abhängig ist von der Sehpunktposition, bei der das Bild aufgezeichnet und aufgenommen wurde, wobei jeder Parallelogrammbereich zugehörige Pixel enthält, die auf benachbarten parallelen geraden Linien innerhalb des zweidimensionalen Koordinatenraums liegen, um Bilddaten für ein Bild des Gegenstands aus unterschiedlichen Sehpunktpositionen zu erzeugen, mit Interpolieren der Pixeldaten zugehöriger Pixel in Abhängigkeit von den Parallelogrammbereichen, in denen die Pixel liegen, um interpolierte Pixeldaten zur Anzeige im Bild aus der neuen Sehpunktsposition zu erzeugen.
Verfahren nach Anspruch 2, bei dem wechselseitig entsprechende Pixel innerhalb eines weiteren Parallelogrammbereichs vorzugsweise zu wechselseitig zugehörigen Pixeln in einem Parallelogrammbereich engerer Breite als zugehörige Pixel ausgewählt werden, die zum Erzeugen der Bilddaten für das Bild des Gegenstands aus der anderen Sehpunktsposition zu verwenden sind.
Verfahren nach einem der vorstehenden Ansprüche, das Daten für Bilder empfängt, die bei unterschiedlichen Sehpunktpositionen auf einer Vielzahl gerader Linien aufgezeichnet sind, die ein Gitter auf einer Ebene bilden, und wobei Daten für auf einer der geraden Linien im Gitter aufgezeichnete Bilder zur Verarbeitung ausgewählt werden.
Gerät zur Verarbeitung von Daten, die eine Vielzahl von Bildern auf einem Gegenstand festlegen, aufgezeichnet bei wechselseitig unterschiedlichen Sehpunktspositionen auf einer geraden Linie, um Daten zu erzeugen, aus denen ein Bild vom Gegenstand aus der neuen Sehpunktposition erzeugt werden kann, gekennzeichnet durch: ein Mittel zum Kombinieren von Bilddaten aus jeweiligen eingegebenen Bildern eines Gegenstands, aufgezeichnet bei unterschiedlichen Sehpunktspositionen auf einer geraden Linie, um zusammengesetzte Bilddaten in einem zweidimensionalen Koordinatenraum durch Anordnen einer jeweiligen Linie für Pixel von derselben Rasterposition in jedem eingegebenen Bild als parallele Linien von Pixeln im zweidimensionalen Koordinatenraum zu ergeben, wobei jede Pixellinie im zweidimensionalen Koordinatenraum eine Position relativ zu den anderen Linien darin hat, abhängig von der Sehpunktposition, bei der das Bild aufgezeichnet und aufgenommen wurde, und durch ein Suchmittel zum Suchen der zusammengesetzten Bilddaten im zweidimensionalen Koordinatenraum, um wechselseitig zugehörige Pixel zu identifizieren, die denselben Teil des Gegenstands darstellen, wobei das Suchmittel eingerichtet ist zum Ausführen der Suche durch Identifizieren entsprechender Pixel, die auf benachbarten parallelen geraden Linien liegen, die Parallelogrammbereiche von unterschiedlichen Breiten im zweidimensionalen Koordinatenraum festlegen.
Gerät zur Verarbeitung von Daten, die Pixel in einer Vielzahl von Parallelogrammbereichen unterschiedlicher Breite in einem zweidimensionalen Koordinatenraum festlegen, der Pixeldaten aus jeweiligen Bildern von einem bei wechselseitig unterschiedlichen Sehpunktspositionen aufgezeichneten Gegenstand auf einer geraden Linie enthält, so daß eine jeweilige Linie von Pixeln aus derselben Rasterposition in jedem eingegebenen Bild als parallele Linien in einem zweidimensionalen Koordinatenraum angeordnet sind, wobei jede Linie von Pixeln im zweidimensionalen Koordinatenraum eine Position relativ zu anderen Linien darin hat, abhängig von der Sehpunktsposition, bei der die Bilddaten, aus denen sie aufgenommen und aufgezeichnet wurden, wobei jeder Parallelogrammbereich zugehörige Pixel enthält, die auf benachbarten parallelen geraden Linien innerhalb des zweidimensionalen Koordinatenraums liegen, um Bilddaten für ein Bild des Gegenstands aus einer anderen Sehpunktsposition zu erzeugen, mit einem Mittel zum Interpolieren der Pixeldaten zugehöriger Pixel in Abhängigkeit von Parallelogrammbereichen, in denen die Pixel liegen, um interpolierte Pixeldaten zur Anzeige im Bild aus der neuen Sehpunktsposition zu erzeugen.
Gerät nach Anspruch 6, das eingerichtet ist zur Auswahl wechselseitig entsprechender Pixel innerhalb eines Parallelogrammbereichs größerer Breite vorzugsweise für wechselseitig zugehörige Pixel in einem Parallelogrammbereich engerer Breite als die zugehörigen Pixel, die zum Erzeugen der Bilddaten für das Bild des Gegenstands aus der anderen Sehpunktsposition zu verwenden sind.
Gerät nach einem der Ansprüche 5 bis 7, das betriebsbereit ist zum Aufnehmen von Daten für Bilder, die bei unterschiedlichen Sehpunktspositionen auf einer Vielzahl von geraden Linien aufgezeichnet wurden, die ein Gitter auf einer Ebene bilden, und zur Auswahl von Daten für Bilder, die auf einer der geraden Linien im Gitter zur Verarbeitung aufgezeichnet sind.
Computerprogrammprodukt mit Befehlen zum Veranlassen eines programmierbaren Verarbeitungsgerätes, betriebsbereit zu werden, um ein Verfahren auszuführen, wie es in Patentanspruch 1 angegeben ist.
Computerprogrammprodukt mit Befehlen zum Veranlassen eines programmierbaren Verarbeitungsgerätes, betriebsbereit zu werden, um eine Verfahren auszuführen, wie es wenigstens in einem der Ansprüche 2 bis 4 angegeben ist.
Computerprogrammprodukt nach Anspruch 9 oder 10, sofern als Datenspeichereinrichtung verkörpert, die die Befehle speichert.