DE69811050T2

DE69811050T2 - Rekonstruktionsverfahren, Vorrichtung und Dekodierungssystem für dreidimensionalen Szenen.

Info

Publication number: DE69811050T2
Application number: DE69811050T
Authority: DE
Inventors: Cecile Dufour
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1997-07-29
Filing date: 1998-06-25
Publication date: 2003-11-06
Anticipated expiration: 2018-06-26
Also published as: JP2001501348A; WO1999006956A1; KR20000068660A; EP0928460A1; US6351572B1; DE69811050D1; EP0928460B1; US6661914B2; US20020110273A1

Description

Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Rekonstruieren einer dreidimensionalen Szene aus einer zweidimensionalen Videosequenz entsprechend N aufeinander folgenden Bildern einer reellen Szene, und auf eine entsprechende Rekonstruktionsanordnung, sowie auf ein Decodierungssystem.
Im Lichte der jüngsten Entwicklungen in der Technologie (und im Rahmen von all dem, was sich auf die künftige MPEG-4-Norm bezieht, vorgesehen zum Schaffen von Mitteln zum Codieren von graphischem und Videomaterial als Gegenstände mit einer bestimmten Beziehung zu Raum und Zeit) wird alles, was sich auf Stereo-Bilder und virtuelle Umgebung bezieht, ein wichtiges Werkzeug, beispielsweise beim Entwickeln, Entwerfen oder Herstellen. Stereo-Bilder, die meistens durch Aufzeichnung zweier etwas voneinander abweichender Gesichtwinkel derselben Szene hergestellt werden, werden in drei Dimensionen erfahren (3D), wenn die genannten Bilder paarweise betrachtet werden und wenn jedes Bild eines Stereo-Paares mit dem betreffenden Auge betrachtet wird. Weiterhin ist in einem derartigen Stereo- und virtuellen Kontext ein freier Spaziergang in die geschaffenen Umgebungen erforderlich und möglich. Diese Schaffung virtueller Umgebungen erfolgt mit Hilfe von Bildsynthese-Werkzeugen, typischerweise entsprechend den nachfolgenden Verfahrensschritten:
(a) ein Wiederherstellungsschritt eines 3D geometrischen Modells der betreffenden Szene (beispielsweise durch Verwendung einer Facettendarstellung);
(b) einen Bildaufbereitungsschritt, vorgesehen zum Berechnen von Bildern nach spezifischen Gesichtspunkten, wobei alle bekannten Elemente berücksichtigt werden (beispielsweise Leuchten, Reflexionseigenschaften der Facetten, Übereinstimmung zwischen Elementen der reellen Bilder, ...).
Die Rekonstruktion eines 3D geometrischen Modells eines Szene erfordert aber, dass eine Bilddeckung unter allen verfügbaren Bildern durchgeführt wird. In dem Dokument "Multiframe image point matching and 3D surface reconstruction", R. Y. Tsai, "IEEE Trans. on Pattern Analysis and Machine Intelligence" Heft PAMI-5, Nr. 2, März 1983, Seiten 159-174, wird ein derartiges Übereinstinimungsproblem durch Berechnu8≠ einer Korrelationsfunktion gelöst, wobei (innerhalb eines definierten Suchfensters längs einer Achse entsprechend dem Abtastgitter des Eingangsbildes) die Information aller anderen Bilder in einem einzigen Durchgang berücksichtigt werden, wodurch auf diese Weise ein ziemlich robustes VerVerfahrengenüber Störungen und periodischen Strukturen geschaffen wird. Das Minimum dieser Funktion schafft eine Schätzung der Tiefe des Pixels in der Mittel des Suchfensters. Unglücklicherweise hat diese Tiefenschätzung eine nicht lineare Abhängigkeit (in 1/x in dem einfachsten Fall) von dem Abtastgitter. Weiterhin kann die Tiefenabbildungsschätzung für eine Oberfläche, erhalten von einem Bild nicht auf einfache Weise mit der Tiefenabbildungsschätzung der gleichen Oberfläche, erhalten von einem anderen Bild verglichen werden, weil sie sich nicht dasselbe Bezugsgitter teilen (sie haben nur eine Beziehung zueinander durch ihr betreffendes Bildabtastgitter).
Es ist nun u. a. eine erste Aufgabe der vorliegenden Erfindung ein Szenenrekonstruktionsverfahren vorzuschlagen, das nicht länger diese Nachteile aufweist.
Dazu bezieht sich die vorliegende Erfindung auf ein Rekonstruktionsverfahren, wie dies in der Einleitung der Beschreibung definiert worden ist und das weiterhin das Kennzeichen aufweist, dass es in Reihe für jedes Bild segmentiert in dreieckige Gebiete der Sequenz Folgendes umfasst:
(A) einen ersten Tiefenbezeichnungsschritt, in dem, wenn jedes Bild als die Projektion eines kontinuierlichen 3D Blattes betrachtet wird, eine Mehrfachbildübereinstimmung durchgeführt wird, unabhängig von jedem Bild, damit eine Ungleichheitsabbildung entsprechend der Tiefenabbildung des genannten 3D Blattes erhalten wird;
(B) einen zweiten 3D Modell-Extraktionsschritt, in dem eine Octree-Unterteilung des 3D Tiefenraums durchgeführt wird und die Voxel (Volumenelemente), die in dem Schnittpunkt aller 3D Tiefenblätter liegen, geführt werden. Ein Octree ist eine Baumstrukturierte Darstellung, die benutzt wird zum Beschreiben eines Satzes binär bewerteter Volumendaten, eingeschlossen durch einen Begrenzungswürfel und dadurch konstruiert, dass jeder Würfel rekursiv in acht Subwürfel aufgeteilt wird, ausgehend von dem Wurzenknotenpunkt, der ein einziger großer Würfel ist: Octrees sind eine effiziente Darstellung für viele Volumengegenstände, da es einen großen Grad an Kohärenz gibt zwischen benachbarten Voxeln in einem typischen Gegenstand.
Mit einer derartigen Annäherung wird eine Korrelationsfunktion längs einer Achse entsprechend abgetasteten Tiefenwerten in dem Koordinatensystem der 3D Welt berechnet (wobei ein Tiefenabtastgitter gebildet wird, das nach Belieben des Benutzers vorgesehen wird), wobei alle Bilder berücksichtigt werden, und der Minimalwert dieser Funktion unmittelbar an einen genauen Tiefenwert in dem genannten Koordinatensystem relatiert wird (dies ist von großem Vorteil, wenn mehrere Tiefenschätzungen von verschiedenen Gesichtspunkten erhalten werden). Das Tiefelabtastgitter wird auf Wunsch von dem Benutzer vorgesehen und wird vorteilhafterweise mit regelmässigen Zwischenräumen gewählt, wobei aber bestimmte Vorkenntnisse über die zu rekonstruierende Oberfläche berücksichtigt werden (beispielsweise wenn die genannte Oberfläche bekannterweise innerhalb eines vorbestimmten Begrenzungskastens liegt, was bei Innen-Szenen der Fall ist).
Das Dokument USP 5598515 beschreibt ein System und ein Verfahren zum Rekonstruieren einer dreidimensionalen Szene oder von Elementen einer derartigen Szene aus einer Anzahl zweidimensionaler Bilder der genannten Szene, aber entsprechend einer komplexen Prozedur, die, im Falle der vorliegenden Erfindung, durch eine einfachere Prozedur ersetzt wird, die aufeinander folgenden Verfeinerungen ausgesetzt wird, bis Konvergenz erhalten wird.
Nach der vorliegenden Erfindung umfasst der genannte Tiefelbezeichungsschritt vorzugsweise in Reihe nacheinander einen Initialisierungs-Subschritt, vorgesehen um während einer ersten Wiederholung ein vorbereitendes 3D Tiefenblatt für das betreffende Bild zu definieren, und einen Verfeinerungs-Subschritt, vorgesehen um für jeden Scheitelpunkt jedes Gebietes einen Fehlervektor zu definieren, für jede abgetastete Tiefe entsprechend der Summierung korrelierter Kosten zwischen jedem der (N-1) Paare von Bildern (für eine Sequenz von N Bildern) an einem Fenster, speziell definiert für den genannten Scheitelpunkt und wobei der Index gespeichert wird, der die minimalen Korrelationskosten schafft, wobei ein zusätzlicher Vorgang durchgeführt wird um nach der ersten Wiederholung den Initialisierungs-Subschritt durch einen Projektions-Subschritt zu ersetzen, erstens vorgesehen zum Einstellen der Position und des Gesichtsfeldes der Bildanforderungsanordnung entsprechend den Parametern und der Scheitelpunktabbildung in der Nähe der Bildebene, und zweitens um für jeden Scheitelpunkt die Voxel aufzulisten, welche die Linie schneiden, die durch den Scheitelpunkt und den optischen Mittelpunkt der genannten Anforderungsanordnung gehen, und zwar in der Sehrichtung, und um das der Bildebene am nächsten liegende Voxel zu selektieren. Was den genannten 3D Modellexraktionsschritt anbelangt umfasst dieser vorzugsweise in Reihe einen Auflösungsdefinitions-Subschritt, vorgesehen zum Definieren der Auflösung des Voxelgitters, und einen Voxelselektions-Subschritt, vorgesehen um für jedes Bild die Voxel zu behalten, die innerhalb der nicht leeren Räume liegen, vorgesehen durch jede Tiefenabbildung und danach nur diejenigen Voxel zu behalten, die an der Kreuzung aller nicht leeren Räume liegen.
Es ist eine andere Aufgabe der vorliegenden Erfindung eine Rekonstruktionsanordnung vorzuschlagen, wodurch es möglich ist, dieses Verfahren durchzuführen.
Dazu bezieht sich die vorliegende Erfindung auf eine Anordnung zum Rekonstruieren einer dreidimensionalen Szene aus einer zweidimensionalen Videosequenz entsprechend N aufeinander folgenden Bildern einer Realszene, dadurch gekennzeichnet, dass:
(I) jedes der N Bilder der Sequenz in dreieckige Gebiete segmentiert ist;
(II) die genannte Anordnung zum Verarbeiten jedes Bildes der genannten Sequenz die nachfolgenden Elemente umfasst:
(A) ein Tiefenbezeichnungs-Subsystem, das an sich wieder nacheinander die folgenden Anordnungen aufweist:
(1) eine Initialisierungsanordnung, vorgesehen um während einer ersten Wiederholung einen Fehlervektor zu definieren für einen Satz abgetasteter Tiefen entsprechend der Summierung von Korrelationskosten zwischen jedem der (N-1) Bilderpaare und dem Index, der die minimalen Korrelationskosten schafft, wobei der Tiefenwert jedes Scheitelpunktes der Gebiete durch Interpolation zwischen den für die benachbarten Gebiete erhaltenen Tiefen berechnet wird;
(2) eine Verfeinerungsanordnung, vorgesehen um auf gleiche Weise für jeden Scheitelpunkt einen Fehlervektor in einem vorher begrenzten Fenster zu definieren und auf entsprechende Weise den Index, der die minimalen Korrelationskosten schafft, zu definieren;
(B) ein Rekonstruktions-Subsystem, vorgesehen zum Selektieren der Auflösung des Voxelgitters und um für jedes Bild diejenigen Voxel zu behalten, die innerhalb der nicht leeren Räume liegen, vorgesehen durch jede Tiefenabbildung, und zum Schluss nur diejenigen Voxel zu behalten, die auf der Kreuzung aller nicht leeren Räume liegen;
(III) das genannte Tiefenbezeichnungs-Subsystem ebenfalls eine Projektionsanordnung aufweist um während der nachfolgenden Wiederholungen die Initialisierungsanordnung zu ersetzen und vorgesehen zum Einstellen der Position und des Gesichtsfeldes der Bildanforderungsanordnung, und der Scheitelpunktabbildung sehr nahe bei der Bildebene, und für jeden Scheitelpunkt diejenigen Voxel aufzulisten, welche die Linie durch den Scheitelpunkt und den optischen Mittelpunkt der genannten Anforderungsanordnung gehen, und zwar in der Sehrichtung und die der Bildebene am nächsten liegende Voxel zu selektieren. Die vorliegende Erfindung bezieht sich ebenfalls auf ein Video-Decodierungssystem mit einer derartigen Rekonstruktionsanordnung.
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im vorliegenden Fall näher beschrieben. Es zeigen:
Fig. 1 das globale Schema einer Rekonstruktionsanordnung nach der vorliegenden Erfindung,
Fig. 2 eine Darstellung der Vorgänge, durchgeführt in der Initialisierungsanordnung der Anordnung nach Fig. 1,
Fig. 3 eine Darstellung der Vorgänge, durchgeführt in der Verfeinerungsanordnung der Anordnung nach Fig. 1,
Fig. 4 eine Darstellung der Vorgänge, durchgeführt in dem 3D Rekonstruktions-Subsystem der Anordnung nach Fig. 1,
Fig. 5 eine Darstellung der Vorgänge, durchgeführt in der Projektionsanordnung der Anordnung nach Fig. 1.
Die in Fig. 1 dargestellte Anordnung hat die Aufgabe nach der vorliegenden Erfindung die Rekonstruktion von Szenen in dreidimensionaler Form (3D) zu ermöglichen, und zwar auf Basis einer Sequenz von N aufeinander folgender zweidimensionaler Bilder (2D) der genannten Szenen. Die genannte Wiederherstellung wird in zwei Subsystemen 11 und 12 entsprechend einer Implementierung in zwei Schritten, die wiederholt werden sollen, verwirklicht. Der erste Schritt ist ein Tiefenbezeichnungsschritt: Jedes Bild wird als die Projektion eines kontinuierlichen 3D-Blattes betrachtet, und eine Mehrfach-Bilddeckung wird unabhängig an jedem Bild durchgeführt um eine Ungleichheitsabbildung zu erhalten, wobei jede Ungleichheitsabbildung dann der Tiefenabbildung des 3D Blattes entspricht (die Ungleichheit, deren Messung eine Tiefenschätzung ergibt, ist die Verschiebung einer Stelle auf dem linken (rechten) Bild gegenüber dem rechten (linken) Bild und die Lösung jedes Übereinstimmungsproblems ist eine Ungleichheitsabbildung). Der zweite Schritt ist ein 3D Modellextraktionsschritt: es wird ein Octree-Unterteilung des 3D-Raums durchgeführt und Voxel, die in der Kreuzung aller 3D Tiefenblätter liegen, werden beibehalten.
Die Anordnung nach Fig. 1 wird dazu in zwei Teile aufgeteilt: das Tiefenbezeichnungs-Subsystem 11, zum Durchführen des ersten Tiefenbezeichnungsschrittes, und das 3D Rekonstruktions-Subsystem 12, zum Durchführen des 3D Modellextraktionsschrittes. Das Tiefenbezeichnungs-Subsystem 11 umfasst an sich eine Initialisierungsanordnung, eine Projektionsanordnung 112 und eine Verfeinerungsanordnung 113.
Die Initialisierungsanordnung umfasst, wie in Fig. 1 dargestellt, eine Testschaltung 1111, der eine Initialisierungsschaltung 1112 folgt. Die Testschaltung 1111 ist vorgesehen um entweder in Richtung der Schaltungsanordnung 1112 (YES) zu schalten, wenn es sich um die erste Wiederholung handelt, und zwar am Anfang der Prozedur, oder in Richtung der Anordnung 112 (NO), wenn die Initialisierung bereits durchgeführt worden ist.
Wenn I das Bild ist, für das man wünscht, dass ein Tiefenblatt wiederhergestellt wird, und wenn I1 bis IN die Bilder sind, die für eine Mehrfach-Bilddeckung benutzt werden, wird vorausgesetzt, dass innerhalb des betreffenden Gesichtsfeldes I in dreieckige Gebiete segmentiert wird, von denen vorausgesetzt wird, dass sie sich parallel zu der Bildebene von I erstrecken. Für jedes Gebiet R(I) werden dann nacheinander drei Vorgänge in Subschritten 1112a, 1112b und 1112c (dargestellt in Fig. 2) durchgeführt, damit in dem aktuellen Gesichtsfeld die Tiefe dieses Gebietes unter einem Satz S vorbestimmter Tiefen D1, D2, ..., Di, ...., DM erhalten wird.
Der Subschritt 1112a (Fig. 2, oberen Teil) ermöglicht es, für jedes Gebiet einen Fehlervektor V(i) definierter Länge zu berechnen, wobei der genannte Vektor für jede abgetastete Tiefe (C ist der optische Bezugsmittelpunkt) der Summierung von Korrelationskosten zwischen jedem der (N-1) Bilderpaare (Bild 1, Bild j) entspricht, was durch die nachfolgende Gleichung ausgedrückt werden kann:
V(i) = err(i)[Ii,Ij]
Jede Koordinate i von V(i) entspricht der Summe der Fehler aufgetreten bei der Tiefe Di in jedem Bild. Das Korrelationsmaß err(i)[Ii, Ij] ist ein statistischer Gesamtfehler zwischen Pixeln von R(I) und Pixeln des Gebietes R(Ij) in dem Bild Ij, von dem vorausgesetzt wird, dass es auf einer Tiefe Di liegt und erhalten unter Verwendung der Projektionsmatrix, die sich auf das Koordinatensystem der Bilder I und Ij bezieht. Der Subschritt 1112b (Fig. 2, mittleren Teil) ermöglicht es, für jedes Gebiet den Index zu finden, der die minimalen Korrelationskosten schafft, und dass der Subschritt 1112c (Fig. 2 unteren Teil) für jeden Scheitelpunkt jedes Gebietes den Tiefenwert dadurch berechnet, dass zwischen den Tiefen, erhalten für die Nachbargebiete (d. h. die Tiefe jedes Scheitelpunktes der dreieckigen Gebiete wird der mittlere Wert der Tiefen der Gebiete sein, die sich den Scheitelpunkt teilen).
Durch die Initialisierung wird ein vorbereitendes 3D Tiefenblatt für das Bild I erhalten. Jedes Gebiet R(I) hat nun eine Schätzung seiner 3D Position und Orientierung, gegeben durch die 3D Koordinaten der drei Scheitelpunkte. Die genannte Orientierung der Gebiete entspricht aber nicht länger der Ausgangsvoraussetzung, dass sie sich parallel zu der Bildebene des Bildes I erstrecken.
Die Initialisierungsanordnung könnte dann iterativ benutzt werden und wieder laufen, wobei dann aber die neuen Schätzungen der Orientierungen jedes Gebiet in dem Bild I berücksichtigt werden. Eine andere Annäherung ist zum Schluss bevorzugt worden: stattdessen, dass unabhängig von jedem Gebiet nach Fehlervektoren gesucht wird, werden Fehlervektoren unabhängig für die Scheitelpunkte in I gesucht (Tiefenschätzungen werden nun für jeden Scheitelpunkt gesucht, während die Tiefenschätzungen an benachbarten Scheitelpunkten ungeändert bleiben). Diese Annäherung wird in der Verfeinerungsanordnung 113 durchgeführt.
Diese Anordnung 113, die, wie in Fig. 1 dargestellt, (und wobei Fig. 3 die in der genannten Anordnung durchgeführten Subschritte zeigt) die Tiefenabbildungen an dem Ausgang der Schaltungsanordnung 1112 empfängt, umfasst zunächst eine Vektorberechnungsschaltung 1131, in der für jeden Scheitelpunkt ein Fenster W definiert wird, an dem Korrelationskosten gemessen werden (Fig. 3, oberen Teil). Für jeden Scheitelpunkt wird dann ein Fehlervektor berechnet (Fig. 3, mittleren Teil), der für jede abgetastete Tiefe der Summierung von Korrelationskosten zwischen jedem der (N-1) Paare von Bildern (Bild i, Bild j) an dem begrenzten Fenster entspricht. In einer Entscheidungsschaltung 1132wird dann der Index gefunden (Fig. 3, unteren Teil), der die minimalen Korrelationskosten für jeden Scheitelpunkt schafft. Nun ist ein verfeinertes 3D Tiefenblatt verfügbar.
Die an dem Ausgang der Anordnung 113 verfügbaren Tiefenabbildungen sind die Ausgangssignale des Tiefenbezeichnungssubsystems 11 und werden dem 3D Rekonstruktionssubsystem 12 zugeführt, das, wie in Fig. 1 dargestellt (und in Fig. 4, welche die Subschritte zeigt, die in der genannten Anordnung durchgeführt werden), eine Auflösungsdefinitionsanordnung 121 umfasst, der in Reihe eine Voxelselektionsanordnung 122 und eine Testschaltung 123 folgen. In der Anordnung 121 wird die Auflösung des Voxelgitters gewählt (Fig. 4, oberen Teil). In der Anordnung 122 werden für jedes Bild die Voxel, die innerhalb der nicht leeren Räume liegen, die durch jede Tiefenabbildung geschaffen werden, beibehalten (Fig. 4, mittleren Teil) und nur die Voxel, die auf der Kreuzung aller nicht leeren Räume liegen, werden zum Schluss beibehalten (Fig. 4, unteren Teil). Danach wird in der Testschaltung 123 ein Test der Konvergenz durchgeführt, wobei einige der vorhergehenden Schritte wiederholt werden sollen, bis die genannte Konvergenz erhalten wird.
Da die Initialisierung während der oben beschriebenen ersten Wiederholung durchgeführt wurde, schaltet am Anfang der zweiten Wiederholung die Testschaltung 1111 zu der Projektionsanordnung 112. In Bezug auf die ersten Subschritte 1112a, 1112b und 1112c, die in der Schaltungsanordnung 1112 durchgeführt worden sind, ermöglichen nun die Subschritte 1121a, 1121b, vorgesehen in der Anordnung 112 und dargestellt in Fig. 5: (a) die Position und das Gesichtsfeld der Kamera entsprechend den Kameraparametern einzustellen (Fig. 5, oberen Teil) sowie die Scheitelpunktabbildung sehr nahe bei der Bildebene, und: (b) für jeden Scheitelpunkt (Fig. 5, mittleren Teil) die Voxel aufzulisten, welche die Linie durch den Scheitelpunkt und den optischen Mittelpunkt der Kamera schneiden, in der Sehrichtung und die Voxel zu selektieren, die der Bildebene am nächsten liegen. Der Ausgang der genannten Anordnung 112, dargestellt in Fig. 5, unteren Teil, wird danach der Verfeinerungsanordnung 113 zugeführt (wie der Ausgang der Anordnung 112 im Falle der ersten Wiederholung), die funktioniert, wie bereits beschrieben worden ist.

Claims

1. Verfahren zum Rekonstruieren einer dreidimensionalen Szene aus einer zweidimensionalen Videosequenz entsprechend N aufeinander folgenden Bildern einer reellen Szene, wobei dieses Verfahren für jedes Bild die nachfolgenden Verfahrensschritte umfasst:

(A) einen Segmentierungsschritt, in dem das Bild in dreieckige Gebiete segmentiert wird,

(B) einen Tiefenbezeichnungsschritt, in dem das Bild an andere Bilder angepasst wird, damit eine Ungleichheitsabbildung entsprechend der Tiefenabbildung des genannten Bildes erhalten wird;

(C) einen 3D Modell-Extraktionsschritt, in dem eine Octree-Unterteilung des 3D Raums durchgeführt wird und die Voxel, die in dem Schnittpunkt aller Tiefenabbildungen liegen, beibehalten werden.

2. Verfahren nach Anspruch 1, wobei der genannte Tiegenbezeichnungsschritt in Reihe nacheinander die folgenden Schritte umfasst: einen Initialisierungs-Subschritt, vorgesehen um während einer ersten Wiederholung eine vorbereitende 3D Tiefenabbildung für das betreffende Bild zu definieren, und einen Verfeinerungs-Subschritt, vorgesehen um für jeden Scheitelpunkt jedes Gebietes einen Fehlervektor zu definieren, für jede abgetastete Tiefe entsprechend der Summierung korrelierter Kosten zwischen jedem der (N-1) Paare von Bildern an einem Fenster, speziell definiert für den genannten Scheitelpunkt und wobei der Index gespeichert wird, der die minimalen Korrelationskosten schafft, wobei ein zusätzlicher Vorgang durchgeführt wird um nach der ersten Wiederholung den Initialisierungs-Subschritt durch einen Projektions-Subschritt zu ersetzen, erstens vorgesehen zum Einstellen der Position und des Gesichtsfeldes der Bildanforderungsanordnung entsprechend den Parametern und der Scheitelpunktabbildung in der Nähe der Bildebene, und zweitens um für jeden Scheitelpunkt die Voxel aufzulisten, welche die Linie schneiden, die durch den Scheitelpunkt und den optischen Mittelpunkt der genannten Anforderungsanordnung gehen, und zwar in der Sehrichtung, und um das der Bildebene am nächsten liegende Voxel zu selektieren.

3. Verfahren nach Anspruch 2, wobei der genannte 3D Modellextraktionsschritt in Reihe einen Auflösungsdefinitionsschritt umfasst, vorgesehen zum Definieren der Auflösung des Voxelgitters, und einen Voxelselektions-Subschritt, vorgesehen um für jedes Bild die Voxel zu behalten, die innerhalb der nicht leeren Räume liegen, vorgesehen durch jede Tiefenabbildung und danach nur diejenigen Voxel zu behalten, die an der Kreuzung aller nicht leeren Räume liegen.

4. Anordnung zum Rekonstruieren einer dreidimensionalen Szene aus einer zweidimensionalen Videosequenz entsprechend N aufeinander folgender Bilder einer reellen Szene, wobei:

(I) jedes der N Bilder der Sequenz in dreieckige Gebiete segmentiert wird;

(II) die genannte Anordnung zum Verarbeiten jedes Bildes der genannten Sequenz die nachfolgenden Elemente umfasst:

(A) ein Tiefenbezeichnungssubsystem, das an sich wieder nacheinander die folgenden Anordnungen aufweist:

(1) eine Initialisierungsanordnung, vorgesehen um während einer ersten Wiederholung einen Fehlervektor zu definieren für einen Satz abgetasteter Tiefen entsprechend der Summierung von Korrelationskosten zwischen jedem der (N-1) Bilderpaare und dem Index, der die minimalen Korrelationskosten schafft, wobei der Tiefenwert jedes Scheitelpunktes der Gebiete durch Interpolation zwischen den für die benachbarten Gebiete erhaltenen Tiefen berechnet wird;

(2) eine Verfeinerungsanordnung, vorgesehen um auf gleiche Weise für jeden Scheitelpunkt einen Fehlervektor in einem vorher begrenzten Fenster zu definieren und auf entsprechende Weise den Index, der die minimalen Korrelationskosten schafft, zu definieren;

(B) ein Rekonstruktions-Subsystem, vorgesehen zum Selektieren der Auflösung des Voxelgitters und um für jedes Bild diejenigen Voxel zu behalten, die innerhalb der nicht leeren Räume liegen, vorgesehen durch jede Tiefenabbildung, und zum Schluss nur diejenigen Voxel zu behalten, die auf der Kreuzung aller nicht leeren Räume liegen;

(III) das genannte Tiefenbezeichnungs-Subsystem ebenfalls eine Projektionsanordnung aufweist um während der nachfolgenden Wiederholungen die Initialisierungsanordnung zu ersetzen und vorgesehen ist zum Einstellen der Position und des Gesichtsfeldes der Bildanforderungsanordnung, und der Scheitelpunktabbildung sehr nahe bei der Bildebene, und für jeden Scheitelpunkt diejenigen Voxel aufzulisten, welche die Linie, die durch den Scheitelpunkt und den optischen Mittelpunkt der genannten Anforderungsanordnung geht, und zwar in der Sehrichtung, schneidet und die der Bildebene am nächsten liegende Voxel zu selektieren.

5. Videodecodierungssystem mit einer Rekonstruktionsanordnung nach Anspruch 4.