DE69736342T2

DE69736342T2 - Bilderzeugung unter Verwendung eines Lichtraums

Info

Publication number: DE69736342T2
Application number: DE69736342T
Authority: DE
Inventors: Akihiro Ohta-ku Katayama; Shinji Ohta-ku Uchiyama
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-09-20
Filing date: 1997-09-17
Publication date: 2007-08-30
Anticipated expiration: 2017-09-18
Also published as: JPH1097642A; US6256035B1; EP0831423A3; EP0831423B1; EP0831423A2; DE69736342D1

Description

Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitung zur Ausbildung eines Bildes an einer willkürlichen Blickpunktposition unter Verwendung von Bildern, die durch Fotografieren eines Objekts an verschiedenen Blickpunktpositionen erhalten werden.
Im Fall der Erzeugung eines Bildes an einer willkürlichen Blickpunktposition unter Verwendung einer tatsächlichen Bildgruppe, die an einer Vielzahl von Blickpunktpositionen fotografiert ist, gibt es ein Verfahren, wodurch Daten der tatsächlich fotografierten Bildgruppe zuvor in Lichtraumdaten umgewandelt und dann aus dem Lichtraum abgetastet werden, wodurch ein willkürliches Blickpunktbild erzeugt wird.
Zuerst wird das Konzept des Lichtraums beschrieben. In einem dreidimensionalen Raum wird Licht von einer Lichtquelle emittiert oder ist Reflexionslicht eines Objekts. Das einen bestimmten Punkt im dreidimensionalen Raum kreuzende Licht ist zwingend durch fünf seine Position (x, y, z) und Richtung (θ, ϕ) angebende Variablen bestimmt. Wird eine die Lichtintensität des Lichts angebende Funktion mit f definiert, sind Lichtgruppendaten im dreidimensionalen Raum durch f(x, y, z, θ, ϕ) ausgedrückt. Wird eine Zeitänderung der Lichtgruppendaten berücksichtigt, sind die Lichtgruppendaten durch f(x, y, z, θ, ϕ; t) ausgedrückt, und die Lichtgruppe im dreidimensionalen Raum ist als sechsdimensionaler Raum beschrieben. Dieser Raum wird Lichtraum genannt. Da das normale zweidimensionale Bild als Bild betrachtet wird, das durch Aufzeichnung einer Lichtgruppe erhalten wird, die an einem einzelnen Blickpunkt betrachtet wird, ist es möglich, dass das zweidimensionale Bild ein Bild ist, das durch die Aufzeichnung zweidimensionaler Daten erhalten wird zu: f (θ, ϕ) | x = x0, y = y0, z = z0, t = t0
Dabei wird eine Lichtgruppe berücksichtigt, die eine Ebene passiert, wenn Z = z zu t = 0 ist. Die Ebene wird Referenzebene genannt. Nun wird angenommen, dass eine horizontale Ebene (X-Z-Ebene), die senkrecht zur Y-Achse steht, betrachtet wird, und eine Parallaxe in der vertikalen Richtung nicht berücksichtigt wird (y = 0, ϕ = 0), wodurch ein realer Raum sich wie in 11 gezeigt ergibt. Die von der Referenzebene emittierte Lichtgruppe ist mit f(x, θ) unter Verwendung von zwei Variablen aus einer Position x und einem Winkel θ beschrieben. Daher ist hinsichtlich der Lichtgruppe, die durch einen bestimmten Punkt (X, Z) im realen Raum läuft, eine durch die folgende Gleichung ausgedrückte Beziehung erfüllt. X = x + Z·tanθ (1)
Wird eine Variable wie u = tanθ definiert, ergibt sich Gleichung (1) wie folgt. X = x + uZ (2)
Wird die an einer Blickpunktposition (X, Z) betrachtete Lichtgruppe in einen (x-u)-Raum des Lichtraums projiziert, wird eine gerade Ortslinie, wie in 12 gezeigt, erhalten. Wird die (x-u)-Ebene des Lichtraums mit den geraden Ortslinien auf der Grundlage der an vielen Blickpunktposition fotografierten Bildern gefüllt, kann ein Bild an einer willkürlichen Blickpunktposition durch Abtasten der Lichtraumdaten anhand der (x-u)-Ebene entlang der geraden Linie beruhend auf Gleichung (2) erzeugt werden.
Allerdings wird im Stand der Technik eine arithmetische Operation zum Umwandeln aller Bildelemente des fotografierten Bildes in eine Lichtgruppe durchgeführt. Das heißt, unter der Annahme, dass es (E) fotografierte Bilder gibt und die Anzahl der Bildelemente jedes Bildes gleich (m × n) ist, werden die Bildelemente in eine Lichtgruppe durch (E × m × n)-malige Durchführung der Berechnung umgewandelt, so dass ein Problem dahingehend entsteht, dass der Berechnungsumfang extrem groß ist.
Wird die Lichtgruppe in den Lichtraum projiziert, um eine Auflösung eines Eingabebildes beizubehalten, und werden die Lichtraumdaten in diskrete Daten umgewandelt, gibt es ein Problem dahingehend, dass die Menge diskreter Daten enorm groß ist.
Da die diskreten Lichtraumdaten Daten enthalten, die keinen Wert haben (undefiniert), entsteht ein Problem dahingehend, dass selbst bei einer erneuten Abtastung der Lichtraumdaten zur Erzeugung eines willkürlichen Blickpunktbildes ein gewünschtes Bild nicht erzeugt werden kann. Zum Vermeiden dieses Problems der Abtastung eines Bildelements, dessen Wert undefiniert ist, wird ein Verfahren betrachtet, wodurch das nächste Datum mit einem Wert erhalten wird und ein undefinierter Wert durch dieses Datum ersetzt wird. Wird dieses Verfahren verwendet, gibt es allerdings ein Problem dahingehend, dass es überflüssige Zeit zur Erzeugung des willkürlichen Blickpunktbildes erfordert.
Light Field Rendering von Levoy und Hanrahan in Computer Graphics Proceedings, Annual Conference Series, 1996, Seiten 31-42, beschreibt ein Verfahren zur Erzeugung neuer Ansichten von willkürlichen Kamerapositionen ohne tiefe Informations- oder Merkmalsabbildung, einfach durch Kombinieren und Neuabtasten der verfügbaren Bilder. Der Schlüssel zu dieser Technik liegt im Interpretieren der eingegebenen Bilder als 2D-Schnitte einer 4D-Funktion, dem Lichtfeld. Diese Funktion charakterisiert den Lichtfluss durch unbehinderten Raum in einer statischen Szene mit fester Beleuchtung vollständig.
Der Lumigraph von Gortler et al. in Computer Graphics Proceedings, Annual Conference Series, 1996, Seiten 43-54, beschreibt ein Verfahren zur Aufnahme der vollständigen Erscheinung sowohl synthetischer als auch realer Objekte und Szenen, Darstellung dieser Informationen und dann Verwendung dieser Darstellung zum Rendern von Bildern des Objekts von neuen Kamerapositionen aus. Der Ansatz beruht nicht auf geometrischen Darstellungen. Stattdessen wird eine Lumigraph genannte 4D-Funktion abgetastet und rekonstruiert. Der Lumigraph ist eine Untergruppe der vollständigen plenoptischen Funktion, die den Lichtfluss an allen Positionen in allen Richtungen beschreibt. Mit dem Lumigraph können neue Bilder des Objekts sehr schnell unabhängig von der Geometrie oder Beleuchtungskomplexität der Szene oder des Objekts erzeugt werden.
Erfindungsgemäß ist ein Bildverarbeitungsverfahren nach Patentanspruch 1 ausgestaltet.
Die Erfindung stellt auch eine Bildverarbeitungsvorrichtung nach Patentanspruch 10 bereit.
Die Erfindung stellt ferner ein Computerprogrammprodukt nach Patentanspruch 19 bereit.
Optionale Merkmale sind in den weiteren Ansprüchen definiert.
1 zeigt ein schematisches Blockschaltbild einer Bildverarbeitungsvorrichtung des ersten Ausführungsbeispiels,
2 zeigt ein Ablaufdiagramm der Arbeitsabläufe der Bildverarbeitungsvorrichtung des ersten Ausführungsbeispiels,
3 zeigt eine Darstellung zur Beschreibung eines Vorgangs zum Zerlegen eines Eingabebildes in eine Lichtgruppe,
4 zeigt eine Darstellung eines Beispiels von zu einem Zeitpunkt quantisierten Lichtraumdaten, wenn eine Interpolationszusammensetzung des Lichtraums abgeschlossen ist,
5 zeigt eine Darstellung einer Übereinstimmungsbeziehungstabelle, die durch Projizieren des Eingabebildes in den Lichtraum und Durchführen von Quantisierungs- und Interpolationsprozessen erhalten wird,
6 zeigt eine Darstellung zur Beschreibung einer Position eines durch {k, h, j} beschriebenen Bildelements,
7 zeigt eine Darstellung zur Beschreibung eines Korrekturvorgangs in der Y-Achsen-Richtung,
8 zeigt eine Darstellung einer Fotografiersituation,
9 zeigt ein Ablaufdiagramm von Arbeitsabläufen gemäß dem zweiten Ausführungsbeispiel,
10 zeigt eine Beispieldarstellung für den Fall der Verwendung von vier Referenzebenen,
11 zeigt eine Darstellung zur Beschreibung einer durch einen Punkt im realen Raum laufenden Lichtgruppe, und
12 zeigt eine Darstellung eines Zustands, in dem die durch einen Punkt im realen Raum laufende Lichtgruppe auf eine gerade Linie im Lichtraum projiziert ist.
(a) Erstes Ausführungsbeispiel
1 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung zur Erzeugung und Anzeige eines Bildes an einer willkürlichen Blickpunktposition anhand einer tatsächlichen fotografierten Bildgruppe, die an einer Vielzahl von Blickpunktpositionen fotografiert ist.
In der Darstellung bezeichnet Bezugszeichen 101 eine Bildeingabevorrichtung zum Fotografieren einer tatsächlichen fotografierten Bildgruppe. In der Bildeingabevorrichtung kann eine Vielzahl von Bildern durch Ablenken einer Kamera oder durch Einstellen einer Vielzahl von Kameras fotografiert werden. Anstelle der Bildeingabevorrichtung 101 kann auch eine Datenbank verwendet werden, in der eine Anzahl fotografierter Bilder zuvor gespeichert wurde. Bezugszeichen 102 bezeichnet eine CPU zur Durchführung von Abläufen entsprechend einer in einer Speichereinrichtung 103 gespeicherten Verarbeitungsprozedur. 103 bezeichnet die Speichereinrichtung, in der Bilddaten der tatsächlichen fotografierten Bildgruppe, Lichtraumdaten, die aus einem Multiblickpunktbild gebildet sind, ein die Verarbeitungsprozedur der CPU zeigendes Programm und dergleichen gespeichert sind, und von der ein Teil als Arbeitsspeicher verwendet wird, und 104 eine Blickpunkt- und Blickrichtungserfassungseinrichtung zur Erfassung einer Blickpunktposition und einer Richtung einer Blickgeraden des Betrachters. Als Blickpunkt- und Blickrichtungserfassungseinrichtung kann eine Eingabeeinrichtung wie eine Tastatur, Maus oder dergleichen oder eine Einrichtung wie eine HMD (Kopfbefestigungsanzeige) mit einem Sensor oder dergleichen verwendet werden. Bezugszeichen 105 bezeichnet eine Bildausgabevorrichtung zur Anzeige eines entsprechend der Blickpunktposition und Blickrichtung des Betrachters erzeugten Bildes. Als Bildausgabeeinrichtung kann eine allgemeine zweidimensionale Anzeige wie CRT, Flüssigkristall oder dergleichen oder eine dreidimensionale Anzeige wie eine Linse, HMD oder dergleichen verwendet werden. Für ein Programm reicht es aus, dass das Programm auf einem Speichermedium wie einer FD (Diskette), CD-ROM, einem Magnetband oder dergleichen aufgezeichnet ist und durch eine Speichermediumleseeinrichtung 106 ausgelesen und auf der Speichereinrichtung 103 gespeichert wird.
Ein Verfahren zum Bilden einer Übereinstimmungsbeziehungstabelle zwischen fotografierten Multiblickpunktbildern und den Lichtraumdaten und ein Verfahren zur Erzeugung und Anzeige eines Bildes mit der gegebenen Blickpunktposition und Blickrichtung unter Bezugnahme auf die gebildete Übereinstimmungsbeziehungstabelle wird nachstehend unter Bezugnahme auf das Ablaufdiagramm in 2 beschrieben.
Die CPU 102 führt Verarbeitungen entsprechend dem in der Speichereinrichtung 103 gespeicherten Programm aus. Ein Block (A) in 2 bezeichnet einen Abschnitt in einem Bereich vom Fotografieren von Multiblickpunktbildern bis zur Ausbildung eines Lichtraums, und die Verarbeitungsvorgänge werden offline durchgeführt. Ein Block (B) in 2 bezeichnet einen Abschnitt, in dem das Bild an einer willkürlichen Blickpunktposition aus dem Lichtraum erzeugt und angezeigt wird, wobei die Verarbeitungsvorgänge online durchgeführt werden.
Zuerst wird der Vorgang des Fotografierens der Multiblickpunktbilder und der Ausbildung des Lichtraums beschrieben. In Schritt S201 werden (E) Bilder an einer Vielzahl von Blickpunktpositionen unter Verwendung der Bildeingabevorrichtung 101 fotografiert und in Schritt S202 in der Speichereinrichtung 103 gespeichert. In Schritt S203 werden die Daten einer Zeile am Anfang in jeden Bilddaten, die in der Speichereinrichtung 103 gespeichert sind, in eine Lichtgruppe zerlegt, und die Lichtgruppe wird in den Lichtraum entsprechend Gleichungen (1) und (2) projiziert. Diese Vorgänge werden anhand von 3 beschrieben.
3 zeigt eine Situation, in der ein Bild durch Einstellen einer Kamera an einer Position fotografiert ist, wo ein Abweichwinkel einer optischen Achse für die Z-Achse gleich α ist, und die Position des Mittelpunkts der Linse gleich Q (x0, z0) ist (diese Position wird als Blickpunktposition bezeichnet). In der Darstellung bezeichnet das Bezugszeichen 301 eine Blickpunktposition Q(x0, z0), 302 eine Fotografieebene, 303 ein j-tes Bildelement auf einer willkürlichen Geraden in der Fotografieebene, 304 eine X-Achse, 305 eine Z-Achse, 306 einen Winkel α, der zwischen der optischen Achse und der Z-Achse gebildet ist, 307 einen Winkel θ, der zwischen der Z-Achse und einem Lichtstrahl gebildet ist, der durch die Blickpunktposition 301 und das Bildelement 303 läuft, 308 einen Winkel ω des Kamerablicks und 309 einen Punkt, an dem der Lichtstrahl, der durch das j-te Bildelement geht, die X-Achse schneidet. Unter der Annahme, dass die Anzahl der Bildelemente auf jeder Geraden in der Fotografieebene gleich (m) ist, kann der Winkel θ 307 durch Lösen folgender Gleichung erhalten werden. (m/2) tan (θ – α) = (j – m/2) tan (ω/2) 3
Unter Verwendung der Gleichung (3) werden jeweils die Richtungen der Lichtstrahlen der Daten (so viele wie (E × m) Bildelemente) einer Zeile am Anfang in jedem in der Speichereinrichtung 103 gespeicherten Bilddatum erhalten (Schritt S203). Eine derartige Lichtgruppe wird entsprechend den Gleichungen (1) und (2) in den Lichtraum projiziert (Schritt S204). Wird für Daten, die im Lichtraum aufgezeichnet sind, angenommen, dass das von einem h-ten Bildelement in Hauptabtastrichtung in einem k-ten Bild erzeugte Licht an eine Position (x1, u1) im Lichtraum projiziert wird, wird ein Wert (k,h) an dieser Position im Lichtraum aufgezeichnet. Aus dem Grund, warum lediglich die Daten einer Zeile am Anfang in jedem Bilddatum in den Lichtraum projiziert werden, was aus den Gleichungen (1) und (2) ersichtlich ist, ist in diesem Fall ein Element der Richtung einer Höhe (y) des Bildes nicht in diesen Gleichungen enthalten. Daher werden auch die Daten der zweiten und folgenden Zeilen an dieselbe Position (im Lichtraum) wie die Daten der Anfangszeile projiziert. Solange lediglich die Kopfzeile in jedem Bild berechnet wird, kann demnach die Position im Lichtraum, an die die anderen Daten projiziert werden, automatisch ohne Berechnung erhalten werden. Durch Berechnung lediglich der Kopfzeile wie vorstehend beschrieben kann eine hohe Verarbeitungsgeschwindigkeit realisiert werden. In Schritt S205 werden ferner eine (x)-Achse und eine (u)-Achse der projizierten Lichtraumdaten quantisiert, um eine Auflösung ähnlich der des eingegebenen Bildes zu erhalten. Durch eine derartige Quantisierung kann die Erzeugung nutzloser Daten unterdrückt werden.
4 zeigt ein Beispiel quantisierter Lichtraumdaten zu einem Zeitpunkt, wenn die Verarbeitungsvorgänge bis zu Schritt S205 beendet sind. Der Einfachheit halber sind in diesem Beispiel die x-Achse und die u-Achse quantisiert und es gibt (11 × 5) Elemente. Ein Satz von [Bildnummer, Bildelementnummer] entsprechend jedem Lichtstrahl ist in jedem Element aufgezeichnet. Da in diesem Zustand Elemente vorhanden sind, deren Werte undefiniert sind (leere Abschnitte in 4), werden die Werte der Elemente, deren Werte undefiniert sind, angenommen. Obwohl ein Nächster-Nachbar-Verfahren nun als Annahmeverfahren angewendet wird, ist die Erfindung nicht auf dieses Verfahren beschränkt, und die Werte können auch unter Verwendung eines beliebigen anderen Verfahrens unterstellt werden. Die unterstellten Werte werden im entsprechenden Element als Satz [Bildnummer, Bildelementnummer] aufgezeichnet. Durch Halten der Lichtraumdaten in dieser Form kann die Erzeugung eines willkürlichen Blickpunktbildes wie nachstehend beschrieben, unter Bezugnahme auf eine Tabelle (Übereinstimmungsbeziehungstabelle) durchgeführt werden, so dass der Vorgang mit hoher Geschwindigkeit ausgeführt werden kann.
Nachstehend wird ein Verfahren der Erzeugung eines Bildes an einer gewünschten Blickpunktposition durch Verwendung der Übereinstimmungsbeziehungstabelle beschrieben. Zuerst werden in Schritt S207 eine Blickpunktposition eines zu erzeugenden Bildes, beispielsweise eine Position, eine Richtung eines Blicks und dergleichen des Betrachters eingegeben. Als Mittel zur Eingabe der Position und der Richtung des Blicks des Betrachters gibt es einen Magnetsensor, eine Blickrichtungserfassungseinrichtung oder dergleichen. Allerdings können beliebige Mittel verwendet werden, solange die vorstehende Aufgabe bewirkt wird. In Schritt S208 wird eine virtuelle Kamera an der eingegebenen Blickpunktposition und Blickrichtung aufgestellt. In Schritt S209 wird jedes Bildelement der Kopfzeile des virtuellen Kamerabildes in eine Lichtgruppe zerlegt. In Schritt S210 wird unter Verwendung der Gleichungen (1) und (2) erhalten, an welche Position im Lichtraum jeder Lichtstrahl der in Schritt S209 erhaltenen Lichtgruppe projiziert wird. Zu diesem Zeitpunkt werden die Daten auf ähnliche Weise wie im Vorgang in Schritt S205 quantisiert. In Schritt S211 wird ein Bild durch Lesen des Elements an der in Schritt S210 projizierten Position aus dem Lichtraum erzeugt. Dieser Vorgang wird nun genauer anhand von 5 beschrieben.
5 zeigt eine Übereinstimmungsbeziehungstabelle, die durch Projizieren des Eingabebildes in den Lichtraum und Durchführen der Quantisierungs- und Interpolationsvorgänge erhalten wird. In jedem Element geschriebene numerische Werte sind ein Satz [Eingabebildnummer, Bildelementnummer] in der Hauptabtastrichtung. Die Positionen in den x- und u- Richtungen des Elements sind, wie in der Darstellung gezeigt, gegeben. Beispielsweise sind die Werte von Element (0, 0) gleich [2, 3], und die Werte von Element (1, 2) gleich [3, 2]. Unter der Annahme, dass nun die Lichtstrahlen (fünf Lichtstrahlen in diesem Fall) auf die Positionen der Elemente (–2, 2), (–1, 1), (0, 0), (1, –1) und (2, –2) im Lichtraum projiziert sind, werden in Schritt S210 die in diesen Elementen aufgezeichneten Werte ausgelesen, d.h. [5, 1], [2, 2], [2, 3], [4, 5] und [3, 4]. In Schritt S211 wird ein Bild unter Verwendung der ausgelesenen Werte rekonstruiert. Ein an der Position des Bildelements h in der Hauptabtastrichtung im k-ten Bild vorhandenes Bildelement und das Bildelement j in der Unterabtastrichtung sind durch {k, h, j} ausgedrückt (siehe 6). Obwohl es aussieht, als ob es ausreichen würde, dieselben Werte {5, 1, 1} für das Bildelement (1, 1) des rekonstruierten Bildes, {2, 2, 1} für das Bildelement (2, 1),..., und {3, 4, 1} für das Bildelement (5, 1) anzugeben, ist das rekonstruierte Bild tatsächlich ziemlich verzerrt, da zum Zeitpunkt der Projektion in den Lichtraum eine vertikale Parallaxe ignoriert wird. Nachstehend ist ein Verfahren zur Korrektur dieser Verzerrung beschrieben.
7 zeigt eine Darstellung des Prinzips zur Korrektur der Verzerrung des rekonstruierten Bildes. In der Darstellung bezeichnet das Bezugszeichen 701 ein zu fotografierendes Objekt, 702 ein zu rekonstruierendes Bild an einer Blickpunktposition P und 703 ein Eingabebild an einer Blickpunktposition S.
Nun wird ein Punkt B im Objekt 701 betrachtet. Es wird angenommen, dass der Punkt B nahe der Y-Achse ist, oder die z-Koordinatenwerte des Bildes 702 an der zu rekonstruierenden Blickpunktposition P und das Bild 703 an der Blickpunktposition S ausreichend groß sind oder die z-Koordinatenwerte des Bildes 702 an der zu rekonstruierenden Blickpunktposition P und das Bild 703 an der Blickpunktposition S ungefähr dieselben Werte haben. In diesem Fall wird vom Punkt B emittiertes Licht an der m'-ten Zeile im Bild 702 an der zu rekonstruierenden Blickpunktposition P und die n'-te Zeile im Bild 703 an der Blickpunktposition S aufgezeichnet. Daher werden folgende Gleichungen erhalten. Pz·tanγ = Sz·tanβ (4) tanγ = d·(n/2 – m')/f (5) tanβ = d·(n/2 – n')/f (6),mit

d:: Bildelementabstand der virtuellen Kamera
f:: Brennweite
n:: Gesamtanzahl an Zeilen
Sz:: Entfernung zwischen dem Fotografierpunkt des Eingabebildes und der Referenzebene
Pz:: Entfernung zwischen der Position des rekonstruierten Bildes und der Referenzebene

Aus den Gleichungen (4), (5) und (6) wird folgende Gleichung (7) erhalten. n' = n/2 + (m' – n/2)·Sz/Pz (7)
Wie vorstehend beschrieben ist der Wert der m'-ten Abtastzeile des Bildes 702 an der zu rekonstruierenden Blickpunktposition P gleich dem Wert der n'-ten Abtastzeile des Bildes 703 an der Blickpunktposition S, der durch die Gleichung (7) gegeben ist. Daher reicht es aus, dieselben Bildelementwerte {5, 1, R_5_1} für das Bildelement (1, 1) des rekonstruierten Bildes, {2, 2, R_2_1} für das Bildelement (2, 2),..., und {3, 4, R_3_1} für das Bildelement (5, 1) zu vergeben. R i j bezeichnet einen Wert, der durch Gleichung (7) anhand der i-ten Eingabebildposition, der rekonstruierten Bildposition und der im rekonstruierten Bild zu erhaltenden Zeilenposition berechnet wird. Auch hinsichtlich der Bildelemente der zweiten und folgenden Zeilen des rekonstruierten Bildes sind diese Werte beispielsweise gleich den Werten des Bildelements, das durch {2, 2, R_2_4} im Fall des Bildelements (2, 4) oder {2, 3, R_2_7} im Fall des Bildelements (3, 7) gegeben ist. Daher kann das rekonstruierte Bild durch Erhalten der Bildelementwerte wie vorstehend beschrieben bezüglich aller Bildelemente erhalten werden. Erfüllt allerdings der Wert von n', der durch Gleichung (7) gegeben ist, die Beziehung (n' ≤ 0) oder (n' > n), werden vorbestimmte Bildelementwerte verwendet.
Schließlich wird das erzeugte Bild in Schritt S212 angezeigt.
Wie vorstehend beschrieben wird die Position, wo das Eingabebild in den Lichtraum projiziert ist, zuvor berechnet und in Tabellenformat (Übereinstimmungsbeziehungstabelle) gehalten. Wird das Bild an einer willkürlichen Blickpunktposition erzeugt, werden gewünschte Bildelementwerte aus dem Eingabebild unter Bezugnahme auf die Übereinstimmungsbeziehungstabelle ausgelesen und ein Bild wird unter Korrektur einer Verzerrung rekonstruiert, so dass ein willkürliches Blickpunktbild mit hoher Geschwindigkeit erzeugt werden kann.
(b) Zweites Ausführungsbeispiel
Obwohl das erste Ausführungsbeispiel unter der Annahme beschrieben ist, dass die Referenzebene eine flache Fläche darstellt, ist es mit einer Anzahl von Bezugsebenen gleich eins unmöglich, eine Betrachtung während eines Umrundens zur Rückseite des Objekts durchzuführen (das rekonstruierte Bild an der Position auf der Rückseite zu erzeugen), da die Lichtrichtung, die beschrieben werden kann, eine Richtung ist. Daher wird nachstehend ein Beispiel zur Lösung dieses Problems unter Verwendung einer Vielzahl von Referenzebenen beschrieben.
Der Aufbau einer Bildverarbeitungsvorrichtung gemäß dem zweiten Ausführungsbeispiel gleicht dem in 1.
8 zeigt eine Beispieldarstellung eines Verfahrens zum Erhalten von Multiblickpunktbildern in der Bildeingabevorrichtung 101 der Bildverarbeitungsvorrichtung des zweiten Ausführungsbeispiels. In dieser Darstellung bezeichnet das Bezugszeichen 801 ein Objekt, das für das Fotografieren verwendet wird, 802 einen drehbaren Tisch, der sich mit dem Objekt 801 darauf dreht, um das Objekt 801 von den Positionen darum herum zu fotografieren, und 803 eine CCD-Kamera, die zum Fotografieren des Objekts 801 verwendet wird.
Das Objekt 801 wird auf den drehbaren Tisch 802 gestellt und Multiblickpunktbilder werden durch die CCD-Kamera 803 unter Drehung des Tisches 802 fotografiert. Die durch die CCD-Kamera 803 fotografierten Multiblickpunktbilder werden in der Speichereinrichtung 103 gespeichert.
Nachstehend wird die Arbeitsweise des Ausführungsbeispiels beschrieben. Der Einfachheit halber wird lediglich ein Fall betrachtet, in dem die Parallaxe in der y-Achsenrichtung weggelassen ist. Es ist ersichtlich, dass selbst dann, wenn eine Parallaxe in der y-Achsenrichtung vorhanden ist, das Verfahren gleichermaßen erweitert werden kann. Grundzüge des Vorgangs werden zuerst unter Bezugnahme auf 9 beschrieben.
9 zeigt ein Ablaufdiagramm von Verarbeitungen der Bildverarbeitungsvorrichtung des zweiten Ausführungsbeispiels.
Zuerst werden Multiblickpunktbilder von der Bildeingabevorrichtung 101 in Schritt S901 erhalten und in der Speichereinrichtung 103 in Schritt S902 gespeichert. Die Anzahl der Referenzebenen des Lichtraums und ihre Anordnung werden in Schritt S903 bestimmt. In diesem Fall können vorbestimmte Werte verwendet werden, oder ein Verfahren kann verwendet werden, bei dem der Bediener die Werte anhand einer (nicht gezeigten) Dateneingabeeinrichtung zum Zeitpunkt des Beginns der Verarbeitungen eingibt. Wenn eine betrachtbare Ebene begrenzt ist, können auch Referenzebenen mit der Anzahl entsprechend einer derartigen begrenzten Ebene eingestellt werden. Die Erfindung ist nicht auf den vorstehenden Wert beschränkt. In diesem Beispiel sind die Referenzebenen radial angeordnet, so dass die u-Achsen von vier Referenzebenen überlappen und die Referenzebenen jeweils um 90° um die u-Achse als Zentrum verschoben sind. Dieser Zustand ist in 10 gezeigt. Obwohl ein Beispiel mit vier Referenzebenen bei diesem Ausführungsbeispiel verwendet wird, ist die Anzahl der Referenzebenen nicht auf vier beschränkt, sondern es kann eine beliebige Anzahl an Referenzebenen verwendet werden. Obwohl die Referenzebenen in regelmäßigen Intervallen von jeweils 90° bei diesem Beispiel angeordnet sind, ist es nicht immer erforderlich, diese in regelmäßigen Intervallen anzuordnen.
Nachstehend wird der Fall beschrieben, in dem der Lichtraum unter Verwendung der Referenzebenen ausgedrückt wird, die radial angeordnet sind. Der Aufbau mit der radialen Anordnung ergibt, dass sich alle Referenzebenen auf einer Geraden schneiden (Rotationsachse zum Zeitpunkt des Fotografierens des Objekts. In diesem Fall ist die Gerade die Y-Achse.), die durch das Objekt läuft, und alle durch die angrenzenden Referenzebenen gebildeten Winkel sind gleich, und ein Winkel zwischen einer Referenzebene und der Z-Achse ist gleich δ/2 (wobei δ einen Winkel zwischen den benachbarten Referenzebenen bezeichnet). Ein Winkel zwischen jeder der Referenzebenen, die wie vorstehend beschrieben angeordnet sind, und dem durch die Referenzebene fallenden Licht wird untersucht, und das Licht wird im Lichtraum entsprechend der Referenzebene aufgezeichnet, wo ein derartiger Winkel dem rechten Winkel am Nächsten kommt. Nachstehend wird ein Fall beschrieben, in dem die vier Referenzebenen verwendet werden, die radial angeordnet sind. In 10 bezeichnet das Bezugszeichen 1001 eine Referenzebene 1 entsprechend dem Lichtraum zum Aufzeichnen einer Ortslinie des Lichts, das vom Objekt 801 ankommt, und dessen Winkel in einem Bereich von (0° ≤ ϕ < 90°) liegt, 1002 eine Referenzebene 2 entsprechend dem Lichtraum zur Aufzeichnung einer Ortslinie des Lichts, das vom Objekt 801 ankommt, und dessen Winkel in einem Bereich von (90° ≤ ϕ < 180°) liegt, 1003 eine Referenzebene 3 entsprechend dem Lichtraum zur Aufzeichnung einer Ortslinie des Lichts, das vom Objekt 801 ankommt und dessen Winkel in einem Bereich von (180° ≤ ϕ < 270°) liegt, und 1004 eine Referenzebene 4 entsprechend dem Lichtraum zur Aufzeichnung einer Ortslinie des Lichts, das vom Objekt 801 ankommt und dessen Winkel in einem Bereich (270° ≤ ϕ < 360°) liegt.
Danach werden in Schritt S904 auf ähnliche Weise wie in Schritt S203 die Daten einer Zeile am Anfang in jedem Bilddatum, das in der Speichereinrichtung 103 gespeichert ist, in eine Lichtgruppe zerlegt, und es wird anhand eines Werts in der Richtung θ jedes erhaltenen Lichtstrahls bestimmt, für welche der vier Referenzebenen jeder Lichtstrahl aufgezeichnet ist. Zu diesem Zeitpunkt wird jeweils bestimmt, dass bei einem Winkel (Richtung) θ des erhaltenen Lichts in einem Bereich von (0° ≤ θ < 90°) das Licht von der Referenzebene 1001 erhalten wird, bei (90° ≤ θ < 180°) das Licht von der Referenzebene 1002 erhalten wird, bei (180° ≤ θ < 270°) das Licht von der Referenzebene 1003 erhalten wird, und bei (270° ≤ θ < 360°) das Licht von der Referenzebene 1004 erhalten wird. In Schritt S905 wird [Bildnummer, Bildelementnummer] dieses Lichtstrahls an der Position, die durch die Gleichungen (1) und (2) gegeben ist, im x-u-Raum entsprechend der Referenzebene aufgezeichnet. Da aber die Gleichungen (1) und (2) die Gleichungen für den Fall sind, in dem die Referenzebene auf z=0 eingestellt ist, wird die folgende Vorverarbeitung durchgeführt.
Wird Licht von der Referenzebene 1003 erhalten, wird die Position des Linsenmittelpunkts 301 der Kamera um 225° gedreht, und die Richtung θ des Lichts wird nur um 225° subtrahiert. So wird die Referenzebene 1003 eine flache Oberfläche mit z=0, und die Gleichungen (1) und (2) können angewendet werden. Im Fall der Referenzebenen 1001, 1002 und 1004 können durch jeweilige Ausführung ähnlicher Vorgänge um lediglich 45°, 135° und 315° auch die Gleichungen (1) und (2) angewendet werden. (Allgemein wird der Drehwinkel und der zu subtrahierende Winkel durch (c1 + c2)/2 mit c1 ≤ θ < c2 erhalten.) Die vorstehenden Verarbeitungen werden bei Licht ausgeführt, das durch alle Bildelemente (0 ≤ j < N) fällt, und Bildnummern der Multiblickpunktbilder, die dem entsprechenden x-u-Raum entsprechen, und Bildelementpositionen (Bildelementnummern) in der ersten Zeile der Bilder werden aufgezeichnet. Des Weiteren werden die vorstehenden Verarbeitungsvorgänge wiederholt für alle eingegebenen Multiblickpunktbilder ausgeführt. Alle von den eingegebenen Multiblickpunktbildern erhaltenen Lichtstrahlen werden in den vier x-u-Räumen mittels der vorstehenden Prozesse aufgezeichnet. Nun werden die Verarbeitungsvorgänge bei lediglich der ersten Zeile der Multiblickpunktbilder durchgeführt, und keine Verarbeitung wird bei den verbleibenden Zeilen durchgeführt. Der Grund dafür ist, dass im Fall des Weglassens der vertikalen (y-Richtungs-)Parallaxe bei der Verarbeitung lediglich der ersten Zeile die verbleibenden Zeilen auf dieselbe Position im selben x-u-Raum wie jene in der ersten Zeile abgebildet werden, und solange die Verarbeitungen bei der ersten Zeile in jedem Bild durchgeführt werden, können gewünschte Daten gleichermaßen hinsichtlich der anderen Zeilen erhalten werden.
Ferner wird der Lichtraum in Schritt S906 quantisiert. In Schritt S907 werden undefinierte Bildelementwerte im Lichtraum unterstellt, und unterstellte Ergebnisse werden als Satz [Bildnummer, Bildelementnummer] für das entsprechende Element im Lichtraum aufgezeichnet. Da die Verarbeitungen in den Schritten S906 und S907 ähnlich den im ersten Ausführungsbeispiel durchgeführten Verarbeitungen sind, wird auf ihre Beschreibung hier verzichtet.
In Schritt S908 werden eine Blickpunktposition und eine Blickrichtung des Betrachters danach erfasst. Obwohl die Blickpunktposition des Betrachters hier erfasst wird, kann auch eine willkürliche Position eingegeben werden, und die Erfindung ist nicht auf das vorstehende Verfahren beschränkt. Unter der Annahme, dass die Blickpunktposition des Betrachters auf (x, z) eingestellt ist, und die Blickrichtung auf α eingestellt ist, und der Blickwinkel auf ω eingestellt ist, ist nun ein Bild, das vom Betrachter gesehen werden kann, äquivalent zu einem durch eine virtuelle Kamera fotografierten Bild, wobei die Position des Linsenmittelpunkts der Kamera gleich (x, z) ist und die optische axiale Richtung auf α und der Blickwinkel auf ω eingestellt sind. In Schritt S909 wird die virtuelle Kamera an der Blickpunktposition und in der Blickrichtung aufgestellt, die erfasst wurden. In Schritt S910 wird jedes Bildelement der Kopfzeile des Bildes der virtuellen Kamera in eine Lichtgruppe zerlegt. In Schritt S911 wird berechnet, an welche Position im x-u-Raum die Lichtgruppe projiziert ist. Die Berechnungsgleichungen in diesem Fall sind dieselben wie die Gleichungen (1) und (2). Da somit die an den entsprechenden Positionen aufgezeichnete Bildnummer und Bildelementnummer im x-u-Raum bekannt sein können, kann daraufhin die Zeilennummer berechnet werden. Eine Berechnung der Zeilennummer kann auf ähnliche Weise wie im Fall des ersten Ausführungsbeispiels unter Verwendung von Gleichung (7) durchgeführt werden. Wird die Zeilennummer erhalten, wird die Farbe des Bildelements Bildelementen des virtuellen Kamerabildes gegeben, die dem vorhergehenden Licht entsprechen, da das Bildelement in der Eingabebildgruppe zwingend bestimmt ist.
Durch die Ausführung der vorstehenden Verarbeitungen bezüglich aller Bildelemente des virtuellen Kamerabildes kann in Schritt S912 ein der Blickpunktposition und der Blickrichtung des Betrachters entsprechendes Bild erzeugt werden. In Schritt S913 kann das in Schritt S912 erzeugte Bild auch angezeigt werden.
Durch den vorstehend beschriebenen Aufbau kann selbst eine Ebene ausgedrückt werden, die durch eine Referenzebene nicht ausgedrückt werden kann. Durch die Verwendung einer Vielzahl von Referenzebenen ist ein Winkel zwischen jeder Referenzebene und dem dort verlaufenden Licht nahe dem rechten Winkel. Daher verkleinert sich die Ebene des x-u-Raums entsprechend jeder Referenzebene, woraus sich ein Vorteil dahingehend ergibt, dass die aufzubewahrende Datenmenge verkleinert wird.
Als Blickpunkt- und Blickrichtungserfassungseinrichtung 104 kann eine beliebige Vorrichtung verwendet werden, solange sie die Blickpunktposition und die Blickrichtung erfassen kann. Eine Stereoskopanzeigeeinheit wird verwendet, wie ein Linsensystem, Brillensystem oder dergleichen, das mit beiden Augen stereoskop betrachten kann, und die den Positionen des rechten und des linken Auges des Betrachters entsprechenden Bilder werden in Schritt S211 oder S912 erzeugt, so dass eine Zwei-Augen-Stereoskopanzeigevorrichtung erhalten wird, die der Bewegung des Blickpunkts des Betrachters nachkommen kann.
Da gemäß dem vorstehend ausführlich beschriebenen Ausführungsbeispiel kein Erfordernis der Durchführung einer arithmetischen Operation zum Umwandeln aller Bildelemente der tatsächlich fotografierten Bilder in Lichtgruppen besteht, ergibt sich ein Vorteil dahingehend, dass der Berechnungsaufwand gering ist.
Da für ein Element, für das im diskreten Lichtraum kein Wert vorhanden ist (undefiniert), ein Wert durch Vorabausführung des Interpolationsvorgangs bestimmt wird, ergibt sich ein Vorteil dahingehend, dass der Berechnungsvorgang bei der Erzeugung eines willkürlichen Blickpunktbildes (während des Betriebs) verkürzt ist, und die Bilderzeugung und Anzeige mit hoher Geschwindigkeit durchgeführt werden können.
Ausführungsbeispiele der Erfindung können ein System mit einer Vielzahl von Einrichtungen oder eine Vorrichtung mit einer Einrichtung umfassen. Ein Ausführungsbeispiel umfasst die Zufuhr eines Programms zu einem System oder einer Vorrichtung. In diesem Fall ist das Programm auf einem Speichermedium gespeichert, das im System oder der Vorrichtung installiert ist, und das Programm wird aus dem Speichermedium in das System oder die Vorrichtung gelesen, so dass das System oder die Vorrichtung entsprechend einem vorbestimmten Verfahren arbeitet.

Claims

Bildverarbeitungsverfahren mit: einem Bildeingabeschritt (S202, S902) der Eingabe einer Vielzahl von an einer Vielzahl von Blickpunktpositionen fotografierten Bildern, (a) Projizieren (S203, S904) jeweiliger fiktiver Lichtstrahlen durch Bildelemente in jedem eingegebenen Bild zum Definieren jeweiliger Strahlen in einer vorbestimmten zweidimensionalen Referenzebene (X-Z) in einem dreidimensionalen Raum (X-Y-Z), gekennzeichnet durch (b) Bestimmen (S204; S905) der jeweiligen Richtung (θ), die jeder Strahl mit einer vorbestimmten Achse des Koordinatensystems der Referenzebene einnimmt, und eines jeweiligen Punktes für jeden Strahl, der einen Punkt auf einer vorbestimmten Achse des Koordinatensystems der Referenzebene umfasst, durch den der Strahl läuft, (c) einen Übereinstimmungsbeziehungserzeugungsschritt (S204; S905) der Erzeugung einer Übereinstimmungsbeziehungstabelle, die eine Beziehung zwischen Bildelementen in den eingegebenen Bildern und Positionen in einem Lichtraum definiert, wobei der Lichtraum einen zweidimensionalen Raum umfasst, der durch ein zweidimensionales Koordinatensystem mit einer ersten Achse, entlang der sich Werte in Abhängigkeit von der Richtung (θ) ändern, die der Strahl mit der vorbestimmten Achse der Referenzebene einnimmt, und einer zweiten Achse definiert ist, entlang der sich Werte in Abhängigkeit von dem Wert der Koordinate des Schnittpunkts des Strahls mit der vorbestimmten Achse der Referenzebene ändern, wobei der zweidimensionale Raum des Lichtraums in eine Vielzahl von Elementen unterteilt ist, und wobei die Übereinstimmungsbeziehungstabelle erzeugt wird durch Definieren eines jeweiligen Elements für jeden Strahl in dem Lichtraum, das das Element umfasst, das durch die für den Strahl der bestimmten Richtung und den Schnittpunkt mit der vorbestimmten Achse der Referenzebene berechneten Koordinaten definiert ist, und Speichern von Daten für ein jeweiliges für einen Strahl definiertes Element in dem Lichtraum, wobei die gespeicherten Daten das eingegebene Bild und das darin enthaltene Bildelement definieren, von dem der Strahl stammt, (d) einen Bilderzeugungsschritt (S208; S209, S210, S211; S909; S910; S911; S912) der Erzeugung eines Bildes an einer willkürlichen Blickpunktposition auf der Grundlage der in der Entsprechungsbeziehungstabelle gespeicherten Entsprechungsbeziehung, und (e) einen Bildanzeigeschritt (S212; S913) der Anzeige des in dem Erzeugungsschritt erzeugten Bildes.
Verfahren nach Anspruch, wobei in dem Bildeingabeschritt Bilder aus einer gesamten umlaufenden Richtung eines Objekts fotografiert werden, während das Objekt auf einem drehbaren Tisch liegt und der drehbare Tisch gedreht wird.
Verfahren nach Anspruch 1, wobei in dem Projektionsschritt fiktive Lichtstrahlen durch jedes Bildelement der ersten Zeile in jedem eingegebenen Bild projiziert werden.
Verfahren nach Anspruch 1, wobei der Bilderzeugungsschritt einen Korrekturschritt der Korrektur einer Verzerrung des erzeugten Bildes durch Korrigieren einer vertikalen Parallaxe zwischen der willkürlichen Blickpunktposition und einer Blickpunktposition der Vielzahl der Blickpositionen umfasst.
Verfahren nach Anspruch 4, wobei in dem Korrekturschritt die vertikale Parallaxe beider Blickpunktpositionen, die einem willkürlichem Punkt auf dem zu fotografierenden Objekt entsprechen, unter Verwendung von Abtastzeilen von beiden Blickpunktpositionen korrigiert wird.
Verfahren nach Anspruch 1, ferner mit einem Einstellschritt der Einstellung einer Vielzahl von Referenzebenen und einem Ausdrucksschritt des Ausdrückens der vorbestimmten zweidimensionalen Referenzebene (X-Z) auf der Grundlage der Vielzahl eingestellter Referenzebenen.
Verfahren nach Anspruch 6, wobei der Ausdrucksschritt einen Schritt der Quantisierung der vorbestimmten zweidimensionalen Referenzebene durch Aufzeichnen eines durch ein Bildelement mit einem Winkel laufenden Strahls umfasst, der einem rechten Winkel mit der Referenzebene am nächsten ist.
Verfahren nach Anspruch 1, wobei die willkürliche Blickpunktposition durch einen Positionssensor erhalten wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Verarbeitung zur Erzeugung des Bildes an der willkürlichen Blickpunktposition umfasst Projizieren (S209, S910) eines jeweiligen fiktiven Lichtstrahls durch jedes Bildelement zumindest einiger Bildelemente in dem zu erzeugenden Bild zum Definieren eines jeweiligen Strahls in der vorbestimmten Referenzebene (X-Y) in dem dreidimensionalen Raum (X-Y-Z), Bestimmen (S210, S911) des jeweiligen Winkels, den ein jeweiliger Strahl mit der vorbestimmten Achse der Referenzebene einnimmt, und eines jeweiligen Punkts für jeden Strahl, der einen Punkt auf der vorbestimmten Achse der Referenzebene umfasst, durch den der Strahl läuft, Definieren (S210; S911) eines jeweiligen Elements für jeden Strahl in dem Lichtraum, das das durch die Koordinaten des bestimmten Winkels (θ) und des Schnittpunkts mit der vorbestimmten Achse definierte Element umfasst, Lesen (S211, S912) von Daten aus der Übereinstimmungsbeziehungstabelle für die definierten Elemente in dem Lichtraum, die eingegebene Bildelemente definieren, und Erzeugen (S211, S912) von Bilddaten unter Verwendung der Werte der Bildelemente aus den eingegebenen Bildern, die durch die aus der Übereinstimmungsbeziehungstabelle gelesenen Daten definiert sind.
Bildverarbeitungsvorrichtung mit einer Bildeingabeeinrichtung (101) zur Eingabe einer Vielzahl von Bildern, die an einer Vielzahl von Blickpunktpositionen fotografiert sind, (a) einer Projektionseinrichtung (102, 103) zum Projizieren jeweiliger fiktiver Lichtstrahlen durch Bildelemente in jedem eingegebenen Bild zum Definieren jeweiliger Strahlen in einer vorbestimmten zweidimensionalen Referenzebene (X-Z) in einem dreidimensionalen Raum (X-Y-Z), gekennzeichnet durch (b) eine Bestimmungseinrichtung (102, 103) zur Bestimmung (S204; S904) der jeweiligen Richtung (θ), die jeder Strahl mit einer vorbestimmten Achse des Koordinatensystems der Referenzebene einnimmt, und eines jeweiligen Punkts für jeden Strahl, der einen Punkt auf einer vorbestimmten Achse des Koordinatensystems der Referenzebene umfasst, durch den der Strahl läuft, (c) einer Übereinstimmungsbeziehungserzeugungseinrichtung (102, 103) zur Erzeugung einer Übereinstimmungsbeziehungstabelle, die eine Beziehung zwischen Bildelementen in den eingegebenen Bildern und Positionen in einem Lichtraum definiert, wobei der Lichtraum einen zweidimensionalen Raum umfasst, der durch ein zweidimensionales Koordinatensystem mit einer ersten Achse, entlang der Werte sich in Abhängigkeit von der Richtung (θ) ändern, die der Strahl mit der vorbestimmten Achse der Referenzebene einnimmt, und einer zweiten Achse definiert ist, entlang der sich Werte in Abhängigkeit von dem Wert der Koordinate des Schnittpunkts des Strahls mit der vorbestimmten Achse der Referenzebene ändern, wobei der zweidimensionale Raum des Lichtraums in eine Vielzahl von Elementen unterteilt ist, und wobei die Übereinstimmungsbeziehungserzeugungseinrichtung zur Erzeugung der Übereinstimmungsbeziehungstabelle eingerichtet ist durch Definieren eines jeweiligen Elements für jeden Strahl in dem Lichtraum mit dem durch die Koordinaten definierten Element, die für den Strahl der bestimmten Richtung und den Schnittpunkt mit der vorbestimmten Achse der Referenzebene berechnet sind, und Speichern von Daten für jedes für einen Strahl definierte Element in dem Lichtraum, wobei die gespeicherten Daten das eingegebene Bild und das darin vorhandene Bildelement definieren, von dem der Strahl stammt, (d) eine Bilderzeugungseinrichtung (102, 103) zur Erzeugung eines Bildes an einer willkürlichen Blickpunktposition auf der Grundlage der in der Übereinstimmungsbeziehungstabelle gespeicherten Übereinstimmungsbeziehung, und (e) eine Bildanzeigeeinrichtung (105) zur Anzeige des erzeugten Bildes.
Vorrichtung nach Anspruch 10, wobei die Bildeingabeeinrichtung eine Einrichtung (803) zur Aufzeichnung von Bildern eines Objekts und einen drehbaren Tisch (802) umfasst, auf dem das Objekt zur Drehung platziert werden kann.
Vorrichtung nach Anspruch 10, wobei die Projektionseinrichtung zur Projektion von fiktiven Lichtstrahlen durch jedes Bildelement der ersten Zeile in jedem eingegebenen Bild eingerichtet ist.
Vorrichtung nach Anspruch 10, wobei die Bilderzeugungseinrichtung eine Korrektureinrichtung zur Korrektur einer Verzerrung des erzeugten Bildes durch Korrigieren einer vertikalen Parallaxe zwischen der willkürlichen Blickpunktposition und einer Blickpunktposition der Vielzahl der Blickpunktpositionen umfasst.
Vorrichtung nach Anspruch 13, wobei die Korrektureinrichtung zur Korrektur der vertikalen Parallaxe beider Blickpunktpositionen, die einem willkürlichen Punkt auf dem zu fotografierenden Objekt entsprechen, unter Verwendung von Abtastzeilen von beiden Blickpunktpositionen eingerichtet ist.
Vorrichtung nach Anspruch 10, ferner mit einer Einstelleinrichtung zur Einstellung einer Vielzahl von Referenzebenen und einer Ausdruckseinrichtung zum Ausdrücken der vorbestimmten zweidimensionalen Referenzebene (X-Z) auf der Grundlage der Vielzahl eingestellter Referenzebenen.
Vorrichtung nach Anspruch 15, wobei die Ausdruckseinrichtung eine Einrichtung zum Quantisieren der vorbestimmten zweidimensionalen Referenzebene durch Aufzeichnung eines ein Bildelement mit einem Winkel durchlaufenden Strahls umfasst, der einem rechten Winkel mit der Referenzebene am nächsten ist.
Vorrichtung nach Anspruch 10, ferner mit einem Positionssensor (104) zum Erhalten der willkürlichen Blickpunktposition.
Vorrichtung nach einem der Ansprüche 10 bis 17, wobei die Bilderzeugungseinrichtung zur Erzeugung des Bildes an der willkürlichen Blickpunktposition eingerichtet ist durch Projizieren (S209, S910) eines jeweiligen fiktiven Lichtstrahls durch jedes Bildelement zumindest einiger Bildelemente in dem zu erzeugenden Bild, um einen jeweiligen Strahl in der vorbestimmten Referenzebene (X-Y) in dem dreidimensionalen Raum (X-Y-Z) zu definieren, Bestimmen (S210, S) des jeweiligen Winkels, den ein jeweiliger Strahl mit der vorbestimmten Achse der Referenzebene einnimmt, und eines jeweiligen Punkts für jeden Strahl, der einen Punkt auf der vorbestimmten Achse der Referenzebene umfasst, durch den der Strahl läuft, Definieren (S210; S911) eines jeweiligen Elements für jeden Strahl in dem Lichtraum, das das durch die Koordinaten des bestimmten Winkels (θ) und des Schnittpunkts mit der vorbestimmten Achse definierte Element umfasst, Lesen (S211, S912) von Daten aus der Übereinstimmungsbeziehungstabelle für die definierten Elemente in dem Lichtraum, die eingegebene Bildelemente definieren, und Erzeugen (S211, S912) von Bilddaten unter Verwendung der Werte der Bildelemente aus den eingegebenen Bildern, die durch die aus der Übereinstimmungsbeziehungstabelle gelesenen Daten definiert sind.
Computerprogrammprodukt mit einem Träger, der ein Computerprogramm zum Programmieren einer programmierbaren Verarbeitungsvorrichtung trägt, um die programmierbare Verarbeitungsvorrichtung zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 9 funktionsfähig zu machen.