DE112011100538T5

DE112011100538T5 - Verfahren zur Darstellung einer dreidimensionalen Anfangsszene aufgrund der Bildaufnahmeergebnisse in einer zweidimensionalen Projektion (Ausgestaltungen)

Info

Publication number: DE112011100538T5
Application number: DE112011100538T
Authority: DE
Inventors: Georgiy Ruslanovich Viakhirev
Original assignee: Individual
Current assignee: Individual
Priority date: 2010-02-12
Filing date: 2011-02-07
Publication date: 2012-11-29
Also published as: WO2011099896A1; RU2010105103A; RU2453922C2

Abstract

Verfahren zur Darstellung einer dreidimensionalen Anfangsszene aufgrund der Bildaufnahmeergebnisse in einer zweidimensionalen Projektion, welches auf der Darstellung der Aufnahmeobjekte unter Berücksichtigung der Informationen über das Bild und über die Tiefe in Bezug auf jeden Bildpunkt beruht. Das Verfahren zeichnet sich dadurch aus, dass das Rekonstruieren der dreidimensionalen Szene anhand von einer oder mehreren Aufnahmen erfolgt, die in einem Schärfebereich des Objektivs erzeugt werden, welches auf das Aufnahmeobjekt mit einem bestimmten Schärfentiefebereich fokussiert wird, wobei ein oder mehrere Aufnahmeobjekte oder ein Teil davon in diesem Schärfebereich angeordnet wird; danach wird das mit hoher Schärfe aufgenommene Objekt mittels digitaler Verarbeitung von dem Bildhintergrund mit anderer Schärfe getrennt, wobei diese Trennung aufgrund des Vergleichs von wenigstens zwei Bildern mit verschiedenem Schärfentiefebereich erfolgt; aufgrund der Information über den Fokusabstand und die Kennwerte der Aufnahmeeinrichtung wird eine Tiefenkarte erstellt, mit deren Hilfe die dreidimensionale Szene rekonstruiert wird; die Aufnahme des ersten Objektes erfolgt dabei mit minimalem Schärfentiefebereich, und das Hintergrundbild wird unter Anwendung von einer einzelnen Aufnahme mit großem Schärfentiefebereich erzeugt; dabei wird das vom Hintergrundbild gelöste Objekt anhand von einem anderen Hintergrundbild erzeugt, oder das Hintergrundbild wird anhand eines künstlichen dreidimensionalen Modells ersetzt

Description

Technisches Gebiet
Das angemeldete Verfahren betrifft die Verfahren zur Darstellung von Informationen anhand der vorher durchgeführten Bildaufzeichnung in allen Bereichen der menschlichen Tätigkeit, z. B. in Systemen für industrielle Objektmodelierung, in PC-Betriebssystemen, in der Software und Computerspielen, in der medizinischen Gerätetechnik, in Industrie-Anlagen, TV, Mobiltelefonen und Kommunikationsgeräten, d. h. überall, wo die Informationen für einen Benutzer auf einem Projektorbildschirm oder einem elektronischen Anzeigebildschirm ausgegeben werden.
Stand der Technik
Das Rekonstruieren einer dreidimensionalen Anfangsszene anhand der Ergebnisse einer vorherigen Aufnahme in der zweidimensionalen Projektion ist ein wichtiges und trendiges erfinderisches Thema. Die Hauptaufgaben der Erfindungen auf diesem Erfindungsgebiet sind dabei die Verbesserung der Zuverlässigkeit und der Aussagekraft beim Rekonstruieren der dreidimensionalen Anfangsszene, die Erhöhung der Visualisierungsgeschwindigkeit der dreidimensionalen Szene, die Sicherstellung der kompakten Bildinformationsspeicherung sowie die Ersparnis der Mittel, welche für die Ausführung erforderlich sind.
Bei Systemen der Visualisierung von Stereo- oder Dreidimensionsbildern ist ein Bildprojizierungsverfahren für jedes menschliche Auge bekannt, wobei die Bilder von verschiedenen räumlich in der waagerechten Ebene auseinander stehenden Standpunkten aus aufgenommen werden, ähnlich wie es bei den auseinander stehenden menschlichen Augen der Fall ist. Das Gehirn des Menschen vergleicht diese Bilder und baut eine Abbildungstiefenkarte auf, und hilft auf diese Weise, die räumliche Lage der Gegenstände zu bestimmen. Dieser Effekt beruht darauf, dass die Augen das gleiche Bild unterschiedlich wahrnehmen. Aufgrund dieses optischen Effektes kann der Mensch meistens bestimmen, welcher der Gegenstände näher und welcher ferner gelegen ist, indem die Gegenstände mit beiden Augen einfach betrachtet werden. Da die Augen bei einem Menschen nur einige Zentimeter räumlich auseinander stehen, beträgt der effektive Abstand bei Bestimmung der Bildtiefe max. 25 Meter
(http://www.sigchi.org/chi95/proceedings/papers/cw_bdy.htm, engl.).
Durch RU 2267161 ist auch ein Verfahren zur Datenkodierung von dreidimensionalen Objekten bekannt, welche die Punktexturdaten, Voxeldaten oder Octree-Daten enthalten. Dabei umfasst dieses Verfahren folgende Schritte: Generierung von Daten von dreidimensionalen Objekten mit Baumstruktur, deren Knoten Marken zugewiesen sind, welche ihre jeweiligen Typen angeben; Kodierung der Datenknoten von dreidimensionalen Objekten, wonach die Kodierung der Knoteninformationen erfolgt, diese Information gibt an, ob der aktuelle Knoten ein 'S'- oder ein 'P'-Knoten ist oder nicht, und Kodierung der Daten mit Detailinformationsbits (detailed information bits – DIB) des 'S'-Knotens, wenn die Knoteninformation darauf hinweist, daß der aktuelle Knoten ein 'S'-Knoten ist, sowie Kodierung der DIB-Daten des 'P'-Knotens, wenn die Knoteninformation darauf hinweist, dass der aktuelle Knoten ein 'P'-Knoten ist; und schließlich die Generierung der Daten von dreidimensionalen Objekten, deren Knoten zu einer Bitreihe kodiert worden sind.
Das technische Ergebnis dieses Verfahrens ist die Sicherstellung von einem höheren Komprimierungsgrad der Tiefbilddaten. Das kann sowohl für die Speicherplatzersparnis bei Datenträgern als auch für die Verbesserung der Visualisierungsqualität nutzvoll sein, wenn der gleiche Speicherplatz auf den Datenträgern wiederholt benutzt wird.
Die Mängel dieses Verfahrens sind hohe Anforderungen an die benötigten Ressourcen sowie eine relativ geringe Visualisierungsgeschwindigkeit von dreidimensionalen Objekten.
Aus der Patentschrift RU 2216781 ist auch ein Verfahren zur Darstellung und Visualisierung von einem dreidimensionalen Objekt bekannt. Das Verfahren schließt folgende Schritte ein: Umsetzung der Ausgangsdaten eines dreidimensionalen Objektes in eine Zwischendarstellung, Umsetzung der Zwischendarstellungsdaten in eine Darstellung für die Visualisierung in Form von einem beschreibenden Würfel, wobei jeder Würfelfläche eine Mehrlagen-Tiefabbildung zugewiesen ist, und Visualisierung der erzielten Darstellung, wo die sichtbaren Flächen des beschreibenden Würfels unter Berücksichtigung der Lage des Beobachters bestimmt werden; danach wird für jede der sichtbaren Flächen eine Umsetzung der Mehrlagen-Tiefabbildung in eine Textur vorgenommen, und die sichtbaren Flächen mit Textur werden im Endeffekt visualisiert.
Das genannte Verfahren sorgt für eine kompakte Anfangsdatenspeicherung eines dreidimensionalen Objektes und eine hohe Visualisierungsgeschwindigkeit. Das ist bei der Visualisierung von dreidimensionalen Animationsobjekten besonders wichtig.
Dieses Verfahren zur Darstellung und Visualisierung eines dreidimensionalen Objektes wird auf folgende Weise ausgeführt.
Im ersten Schritt wird ein Modell des dreidimensionalen Objektes in eine Zwischendarstellung umgesetzt. Die Zwischendarstellung wird als ein Satz aus sechs Paaren von Karten, die jeweils aus einem Halbtonbild und einem Farbbild bestehen, oder als eine Mehrlagen-Tiefabbildung erzeugt. Im ersten Fall wird nur die Information über jenen Teil der Modelloberfläche in der Zwischendarstellung erhalten, die an der Fläche des beschreibenden Würfels sichtbar ist. Im zweiten Fall erhält die Zwischendarstellung die vollständigen Informationen über die Modelloberfläche, weil jedem Pixel des Mehrlagenbildes ein Satz von Modellpunkten zugewiesen wird, welche auf dieses Pixel projiziert werden, wobei jedem Punkt im Satz die Farbe und die Tiefe eines Punktes auf der Modelloberfläche und eine Normale zur Modelloberfläche in diesem Punkt entspricht.
In der zweiten Stufe wird eine Darstellung für die Visualisierung in Form von einer Mehrlagen-Tiefabbildung für jede Fläche des beschreibenden Würfels erzeugt.
In der dritten Stufe werden die Texturen generiert, die für die Visualisierung anhand bekannter Mittel erforderlich sind. Dabei werden zuerst die sichtbaren Flächen des beschreibenden Würfels unter Berücksichtigung der aktuellen Lage des Beobachters bestimmt. Danach wird ein Bild für jede Fläche generiert. Dieses Bild in Form von einer Textur deckt in der vierten Stufe die jeweilige Fläche ab.
Dieses Verfahren ist durch die hohen Anforderungen an die Ressourcen bemängelt.
Offenbarung der Erfindung
Die Aufgabe der vorliegenden Erfindung ist die Entwicklung von einem besonderen Bildaufnahmemodus, um die Bilder nachher in dreidimensionalen Systemen zur Darstellung von Informationen benutzen zu können, z. B. in Cyberhelmen, Dreidimensionsdisplays (sowie für dynamische Systeme wie das sog. „Taubenauge”, welche den dreidimensionalen Effekt auf zweidimensionalen Bildschirmen wiedergeben [Erfindungsanmeldung RU 2007135972 vom 28.09.2007]), und zwar unter Berücksichtigung von solchem Effekt der optischen Systeme für Bilderfassung wie Schärfentiefebereich. Dabei kann das erzeugte Bild in eine dreidimensionale Szene leicht verwandelt werden, darunter eventuell mit einem begrenzten Blickwinkel auf diese Szene für den Benutzer (das heißt, mit begrenzter Verlagerung der virtuellen Kamera).
Der technische Effekt der vorliegenden Erfindung besteht in der verbesserten Genauigkeit und Geschwindigkeit der Visualisierung der dreidimensionalen Szene, in der erhöhten Genauigkeit bei der Erstellung der Tiefenkarte der dreidimensionalen Szene sowie in der Ersparnis der benutzten Betriebsmittel. Dadurch wird der Anwendungsbereich des Verfahrens zum Rekonstruieren der dreidimensionalen Szene wesentlich und zwar bis zum Gebrauch im Alltagsleben erweitert.
Der angemeldete technische Effekt wird wie folgt erreicht.
Das bekannte Verfahren zur Darstellung einer dreidimensionalen Anfangsszene aufgrund der Bildaufnahmeergebnisse in der zweidimensionalen Projektion beruht auf der Darstellung der Aufnahmeobjekte unter Berücksichtigung der Informationen über das Bild und über die Tiefe in Bezug auf jeden Bildpunkt. Gemäß der Erfindung erfolgt das Rekonstruieren einer dreidimensionalen Szene anhand von einer oder mehreren Aufnahmen, die in einem Schärfebereich (SB) des Objektivs erzeugt werden. Das Objektiv wird dabei auf das Aufnahmeobjekt mit einem bestimmten Schärfentiefebereich fokussiert. Dabei wird ein oder mehrere Aufnahmeobjekte oder ein Teil davon in diesem SB angeordnet. Danach wird das mit hoher Schärfe aufgenommene Objekt mittels digitaler Verarbeitung von dem Bildhintergrund mit anderer Schärfe getrennt, wobei diese Trennung aufgrund des Vergleichs von wenigstens zwei Bildern mit verschiedenem Schärfentiefebereich erfolgt, und aufgrund der Information über den Fokusabstand und die Kennwerte der Aufnahmeeinrichtung wird eine Tiefenkarte erstellt, mit deren Hilfe die dreidimensionale Szene rekonstruiert wird. Die Aufnahme des ersten Objektes erfolgt dabei mit minimalem Schärfentiefebereich. Das Hintergrundbild wird unter Anwendung von einer einzelnen Aufnahme mit großem Schärfentiefebereich erzeugt. Dabei wird das vom Hintergrundbild gelöste Objekt anhand von einem anderen Hintergrundbild erzeugt oder das Hintergrundbild wird anhand eines künstlichen dreidimensionalen Modells ersetzt.
Gemäß einer anderen Ausgestaltung der Ausführung des Verfahrens zur Darstellung einer dreidimensionalen Anfangsszene aufgrund der Bildaufnahmeergebnisse in der zweidimensionalen Projektion, welches auf der Darstellung der Aufnahmeobjekte unter Berücksichtigung der Informationen über das Bild und über die Tiefe in Bezug auf jeden Bildpunkt beruht, wird das Rekonstruieren der dreidimensionalen Szene anhand von einem Bild vorgenommen, das in einem Schärfebereich (SB) des Objektivs erzeugt wird, welches auf das Aufnahmeobjekt mit einem bestimmten Schärfentiefebereich fokussiert wird. Dabei wird ein oder mehrere Aufnahmeobjekte oder ein Teil davon in diesem SB positioniert. Danach wird das mit hoher Schärfe aufgenommene Objekt mittels digitaler Verarbeitung von dem Bildhintergrund mit anderer Schärfe getrennt, indem die Bildgröße vermindert wird, die Nachbarpixels des Bildes vereinigt werden, und die Bildauflösung somit vermindert wird. Das mit hoher Schärfe aufgenommene Objekt wird vom verwaschenen Hintergrund abgelöst, indem die Information über das Bild vor und nach der Umsetzung verarbeitet wird. Aufgrund der Information über den Fokusabstand und die Kennwerte der Aufnahmeeinrichtung wird eine Tiefenkarte erstellt, mit deren Hilfe die dreidimensionale Szene rekonstruiert wird. Das Hintergrundbild wird anhand von der Anfangsaufnahme oder anhand von einem anderen Hintergrundbild erstellt oder das Hintergrundbild wird anhand eines künstlichen dreidimensionalen Modells ersetzt.
Bei der nächsten Ausgestaltung des Verfahrens zur Darstellung einer dreidimensionalen Anfangsszene aufgrund der Bildaufnahmeergebnisse in der zweidimensionalen Projektion, welches auf der Darstellung der Aufnahmeobjekte unter Berücksichtigung der Informationen über das Bild und über die Tiefe in Bezug auf jeden Bildpunkt beruht, wird die dreidimensionale Szene anhand von zwei oder mehr Aufnahmebildern rekonstruiert, die im SB des Objektivs aufgenommen sind, welches auf das Aufnahmeobjekt mit bestimmtem Schärfentiefebereich fokussiert ist. Dabei wird ein oder mehrere Aufnahmeobjekte oder ein Teil davon in diesem SB angeordnet. Danach wird der Abstand auf das nächste Objekt usw. umgestellt. Danach werden die mit unterschiedlichen Fokusabständen aufgenommenen Objekte nach einem Verfahren für digitale Bildverarbeitung voneinander getrennt. Dann wird aufgrund der Information über den Fokusabstand und die Kennwerte der Aufnahmeeinrichtung eine Tiefenkarte erstellt, mit deren Hilfe die dreidimensionale Szene rekonstruiert wird. Das Hintergrundbild wird dabei unter Anwendung von einer einzelnen Aufnahme mit großem Schärfentiefebereich erzeugt, indem das Hintergrundbild von den Objekten abgelöst wird oder indem die hervorgehobenen Objekte auf einem anderen Hintergrundbild oder auf dem Hintergrund der Objekte eines künstlichen dreidimensionalen Modells angeordnet werden.
Bei der nächsten Ausgestaltung des Verfahrens zur Darstellung einer dreidimensionalen Anfangsszene aufgrund der Bildaufnahmeergebnisse in der zweidimensionalen Projektion, welches auf der Darstellung der Aufnahmeobjekte unter Berücksichtigung der Informationen über das Bild und über die Tiefe in Bezug auf jeden Bildpunkt beruht, wird die dreidimensionale Szene anhand von einem Bild rekonstruiert, das im SB des Objektivs aufgenommen wird, welches auf dem Aufnahmeobjekt mit bestimmtem Schärfentiefebereich fokussiert wird. Dabei wird ein oder mehrere Aufnahmeobjekte oder ein Teil davon in diesem SB angeordnet. Danach wird das mit hoher Schärfe aufgenommene Objekt mittels digitaler Verarbeitung aufgrund des Vergleiches von wenigstens zwei Bildern von dem Bildhintergrund mit anderer Schärfe getrennt. Dabei wird das zweite Bild mit kleinerem Schärfentiefebereich dadurch erzeugt, dass der Streufleckdurchmesser des lichtempfindlichen Sensors dafür verringert wird, dass die Redundanzinformation (RAW) verarbeitet wird, welche in jedem einzelnen Pixel aus der Trias RGB enthalten ist. Aufgrund der Information über den Fokusabstand und die Kennwerte der Aufnahmeeinrichtung wird eine Tiefenkarte erstellt, mit deren Hilfe die dreidimensionale Szene rekonstruiert wird. Das Hintergrundbild wird anhand von der Anfangsaufnahme oder anhand von einem anderen Hintergrundbild oder anhand von einem künstlichen dreidimensionalen Modell erstellt.
Um die Blickwinkel der rekonstruierten dreidimensionalen Szene zu vergrößern, sollte die Aufnahmeeinrichtung bei allen oben genannten Ausgestaltungen bevorzugt in der waagerechten und senkrechten Ebene so weit verlagert werden, dass der Disparitätseffekt auf den Bildern entsteht.
Bei der nächsten Ausgestaltung des Verfahrens zur Darstellung einer dreidimensionalen Anfangsszene aufgrund der Bildaufnahmeergebnisse in einer zweidimensionalen Projektion, welches auf der Darstellung der Aufnahmeobjekte unter Berücksichtigung der Informationen über das Bild und über die Tiefe in Bezug auf jeden Bildpunkt beruht, erfolgt das Rekonstruieren der dreidimensionalen Szene anhand von einer wenigstens von zwei Kameras erstellten Videosequenz und zwar im SB des Objektivs, welches auf dem Aufnahmeobjekt mit bestimmtem Schärfentiefebereich fokussiert wird. Dabei wird ein oder mehrere Aufnahmeobjekte oder ein Teil davon in diesem SB angeordnet. Danach wird ein Objekt mittels eines digitalen Bildverarbeitungsverfahrens aufgrund der Vergleichsergebnisse von wenigstens zwei Bildaufnahmen (Video-Einzelbildern) mit unterschiedlichen Fokusdistanzen oder unterschiedlichen Schärfentiefebereichen vom Bildhintergrund gelöst. Aufgrund der Information über den Fokusabstand und die Kennwerte der Aufnahmeeinrichtung wird eine Tiefenkarte erstellt, mit deren Hilfe die dreidimensionale Szene rekonstruiert wird. Dabei wird die Objektaufnahme mit der ersten Kamera beim minimalen benötigten Schärfentiefebereich durchgeführt. Das Hintergrundbild wird unter Einsatz der Video-Einzelbilder von beliebiger Kamera oder anhand von einem anderen Hintergrundbild oder anhand von einem künstlichen dreidimensionalen Modell erzeugt.
Bei der nächsten Ausgestaltung des Verfahrens zur Darstellung einer dreidimensionalen Anfangsszene aufgrund der Bildaufnahmeergebnisse in der zweidimensionalen Projektion, welches auf der Darstellung der Aufnahmeobjekte unter Berücksichtigung der Informationen über das Bild und über die Tiefe in Bezug auf jeden Bildpunkt beruht, erfolgt das Rekonstruieren der dreidimensionalen Szene anhand von den wenigstens von einer Kamera erstellten Bildern, die im SB des Objektivs aufgenommen werden, welches auf dem Aufnahmeobjekt mit bestimmtem Schärfentiefebereich fokussiert wird. Dabei wird ein oder mehrere Aufnahmeobjekte oder ein Teil davon in diesem SB angeordnet. Das mit hoher Schärfe aufgenommene Objekt wird mittels digitaler Bildverarbeitung vom Hintergrundbild abgelöst, welches mittels Erzeugung eines sekundären Bildes mit anderer Schärfe (anderem Kontrast usw.) und anderem Schärfentiefebereich im Vergleich zum Anfangsbild durch die Verringerung des Streuflecks des Bildsensors und/oder durch der Verarbeitung der Überauflösung des Sensors generiert worden ist. Diese zwei Bilder mit unterschiedlichem Schärfentiefebereich werden unter Rücksicht auf die Angaben über den Fokusabstand und die Kennwerte der Aufnahmeeinrichtung verglichen. Aufgrund dieser Ergebnisse wird eine Tiefenkarte erstellt, mit deren Hilfe die dreidimensionale Szene rekonstruiert wird. Das Hintergrundbild wird entweder aus dem Anfangsbild in Form von einem Video-Einzelbild einer Videosequenz oder anhand von einem anderen Hintergrundbild oder anhand von einem künstlichen dreidimensionalen Modell erzeugt.
Der angemeldete technische Effekt wird dank der Anwendung des Effektes des Schärfentiefebereiches erreicht.
Die angemeldete Erfindung wird mit Hilfe von folgenden Zeichnungen näher veranschaulicht:
1 – Funktionsbild des Binokularsehens beim Betrachten von zwei Gegenständen.
2 – Erläuterungsbild zur Definition des Begriffs Disparität.
3 – eine der Möglichkeiten für aktive Stereoaufnahme.
4 – schematische Darstellung eines anderen möglichen Beispiels für aktive Stereoaufnahme.
5 und 6 – Erläuterungsbilder zum Begriff Schärfentiefebereich.
7 – Verteilung von lichtempfindlichen Farbzellen eines Sensors der Fa. Samsung.
8 – Beispiel für ein Bild mit geringem Schärfentiefebereich.
Das Verfahren zur Darstellung einer dreidimensionalen Anfangsszene aufgrund der Bildaufnahmeergebnisse in der zweidimensionalen Projektion wird wie folgt ausgeführt.
Das Kameraobjektiv wird so eingestellt, dass ein oder mehr Objekte der dreidimensionalen Szene oder ein Teil eines solchen Objektes in den Schärfebereich (SB) des Objektivs gesetzt werden können. Der Schärfentiefebereich wird minimal eingestellt. Danach wird eine oder mehrere Aufnahmen unter Anwendung dieser Kenndaten des Objektivs gemacht. Anschließend wird eine oder mehrere Aufnahmen mit maximalem Schärfentiefebereich gemacht. Danach wird das mit hoher Schärfe aufgenommene Objekt mit Hilfe von digitalen Bildverarbeitungsverfahren vom Bildhintergrund mit einer anderen Schärfe gelöst. Dafür werden wenigstens zwei Bildaufnahmen und zwar wenigstens ein Bild mit minimalem Schärfentiefebereich und wenigstens ein Bild mit maximalem Schärfentiefebereich verglichen. Dann wird aufgrund der Information über den Fokusabstand und die Kennwerte der Aufnahmeeinrichtung eine Tiefenkarte erstellt, mit deren Hilfe nachher die dreidimensionale Szene rekonstruiert wird. Dabei wird der Hintergrund der zu rekonstruierenden dreidimensionalen Szene anhand des Aufnahmebildes mit maximalem Schärfentiefebereich oder anhand von einem anderen Hintergrundbild oder aufgrund eines dreidimensionalen Modells erzeugt.
Um die Blickwinkel der zu rekonstruierenden dreidimensionalen Szene in dieser und allen anderen Ausgestaltungen der Erfindung, wo Photoaufnahme angewendet wird, zu vergrößern, ist es sinnvoll, die Aufnahmeeinrichtung während der Aufnahme in horizontaler und vertikaler Ebene zu verschieben, bis der Disparitätseffekt auf den Aufnahmebildern erscheint.
Bei einer anderen Ausgestaltung der Erfindung wird das Verfahren zur Darstellung einer dreidimensionalen Anfangsszene aufgrund der Bildaufnahmeergebnisse in der zweidimensionalen Projektion folgenderweise durchgeführt. Das Objektiv wird so eingestellt, dass sein SB ein oder mehr Objekte der dreidimensionalen Szene oder ein Teil eines solchen Objektes umfasst. Dabei wird der Schärfentiefebereich gegenüber der vorherigen Ausgestaltung beliebig eingestellt. Danach wird eine oder mehrere Aufnahmen unter Anwendung dieser Kenndaten des Objektivs gemacht. Danach wird der Schärfentiefebereich künstlich mittels digitaler Bildauflösungsverminderung verringert, indem dafür die Nachbarpixel der Bildaufnahme vereinigt werden. Danach wird das scharf aufgenommene Objekt unter Einsatz des Anfangsbildes (oder -bilder) und des Bildes (Bilder) mit niedrigerem Schärfentiefebereich mit Hilfe der digitalen Bildverarbeitungsverfahren vom Hintergrund gelöst. Danach wird aufgrund der Angaben über die Aufnahmekenndaten eine Tiefenkarte erstellt, mit deren Hilfe ferner die dreidimensionale Szene rekonstruiert wird. Dabei wird der Hintergrund der zu rekonstruierenden dreidimensionalen Szene anhand der Anfangsaufnahme oder anhand von einem anderen Hintergrundbild oder aufgrund des dreidimensionalen Modells erzeugt.
Gemäß einer weiteren Ausgestaltung der Erfindung wird das Verfahren zur Darstellung einer dreidimensionalen Anfangsszene aufgrund der Bildaufnahmeergebnisse in der zweidimensionalen Projektion wie folgt durchgeführt. Das Kameraobjektiv wird so eingestellt, dass ein oder mehr Objekte der dreidimensionalen Szene oder ein Teil eines solchen Objektes in sein SB hineinpassen. Dabei wird der Schärfentiefebereich beliebig eingestellt. Danach wird eine oder mehrere Aufnahmen unter Einsatz dieser Objektivkenndaten gemacht. Darauf hin wird die Einstellung des Objektivs so geändert, dass ein anderes Objekt (oder Objekte) der dreidimensionalen Szene in seinen SB hineinpasst. Weiterhin wird der gleiche Ablauf für alle übrigen Objekte der dreidimensionalen Szene durchgeführt. Dann werden die mit verschiedener Fokusdistanz aufgenommenen Objekte mittels eines Verfahrens für digitale Bildbearbeitung und unter Anwendung der Information über die Aufnahmekenndaten voneinander getrennt. Anschließend wird aufgrund der Information über den Fokusabstand und die Kennwerte der Aufnahmeeinrichtung eine Tiefenkarte erstellt, mit deren Hilfe ferner die dreidimensionale Szene rekonstruiert wird. Dabei wird der Hintergrund der zu rekonstruierenden dreidimensionalen Szene anhand von einer Einzelaufnahme mit hohem Schärfentiefebereich oder anhand von einem anderen Hintergrundbild oder anhand von einem dreidimensionalen Modell generiert.
Bei einer anderen Ausgestaltung der Erfindung wird das Verfahren zur Darstellung einer dreidimensionalen Anfangsszene aufgrund der Bildaufnahmeergebnisse in der zweidimensionalen Projektion wie folgt durchgeführt. Das Kameraobjektiv wird so eingestellt, daß ein oder mehr Objekte der dreidimensionalen Szene oder ein Teil eines solchen Objektes in sein SB hineinpassen. Dabei wird der Schärfentiefebereich beliebig eingestellt. Dann wird das zweite Bild mit kleinerem Schärfentiefebereich erzeugt, indem der Streufleckdurchmesser des lichtempfindlichen Sensors dafür verringert wird und die Redundanzinformation (RAW), die in jedem einzelnen Pixel aus der RGB Trias (rot-grün-blau) enthalten ist, verarbeitet wird. Danach wird das hochscharf aufgenommene Objekt mit Hilfe eines Verfahrens für digitale Bildverarbeitung vom Bildhintergrund mit einer anderen Schärfe gelöst. Dann wird aufgrund der Information über den Fokusabstand und die Kennwerte der Aufnahmeeinrichtung eine Tiefenkarte erstellt, mit deren Hilfe ferner die dreidimensionale Szene rekonstruiert wird. Dabei wird der Hintergrund der zu rekonstruierenden dreidimensionalen Szene anhand der Anfangsaufnahme oder anhand von einem anderen Hintergrundbild oder aufgrund des dreidimensionalen Modells erzeugt.
Gemäß einer weiteren Ausgestaltung der Erfindung wird das Verfahren zur Darstellung einer dreidimensionalen Anfangsszene aufgrund der Bildaufnahmeergebnisse in der zweidimensionalen Projektion wie folgt durchgeführt. Das Objektiv der Videokamera wird so eingestellt, dass ein oder mehr Objekte der dreidimensionalen Szene oder ein Teil eines solchen Objektes in ihr SB gesetzt wird. Der Schärfentiefebereich wird auf Minimum eingestellt. Danach wird die Videoaufnahme mit dieser Kamera durchgeführt. Weiterhin wird die zweite Videokamera so eingestellt, daß ihr SB ein oder mehr Objekte der dreidimensionalen Szene oder ein Teil eines solchen Objektes einschließt. Der Schärfentiefebereich wird wesentlich größer als das Minimum eingestellt. Dann wird das Objekt mit Hilfe eines Verfahrens für digitale Bildverarbeitung aufgrund der Vergleichsergebnisse von wenigstens zwei Bildaufnahmen (Video-Einzelbilder) mit unterschiedlichen Fokusdistanzen oder unterschiedlichen Schärfentiefebereichen vom Bildhintergrund gelöst. Danach wird aufgrund der Information über den Fokusabstand und die Kennwerte der Aufnahmeeinrichtung eine Tiefenkarte erstellt, mit deren Hilfe ferner die dreidimensionale Szene rekonstruiert wird. Dabei wird der Hintergrund der zu rekonstruierenden dreidimensionalen Szene anhand von Video-Einzelbildern einer beliebigen der Kameras oder anhand von einem anderen Hintergrundbild oder anhand von einem dreidimensionalen Modell erzeugt.
Gemäß einer weiteren Ausgestaltung der Erfindung wird das Verfahren zur Darstellung einer dreidimensionalen Anfangsszene aufgrund der Bildaufnahmeergebnisse in der zweidimensionalen Projektion wie folgt durchgeführt. Das Objektiv der Videokamera wird so eingestellt, dass ein oder mehr Objekte der dreidimensionalen Szene oder ein Teil eines solchen Objektes in ihr SB gesetzt wird. Dabei wird der Schärfentiefebereich beliebig eingestellt. Danach wird die Videoaufnahme mit dieser Kamera durchgeführt. Es wird eine sekundäre Videosequenz mit anderer Schärfe (Kontrast usw.) und dem Schärfentiefebereich hergestellt, welcher sich vom Schärfentiefebereich der Anfangs-Videosequenz unterscheidet. Das wird durch die Verringerung des Streuflecks des Bildsensors und/oder durch die Bearbeitung der Überauflösung des Sensors erreicht. Dann wird das Objekt mit Hilfe eines Verfahrens für digitale Bildverarbeitung aufgrund der Vergleichsergebnisse von wenigstens zwei Bildaufnahmen (Video-Einzelbildern) mit unterschiedlichen Fokusdistanzen oder unterschiedlichen Schärfentiefebereichen vom Bildhintergrund getrennt. Daraufhin wird aufgrund der Informationen über den Fokusabstand und die Kennwerte der Aufnahmeeinrichtung eine Tiefenkarte erstellt, mit deren Hilfe ferner die dreidimensionale Szene rekonstruiert wird. Dabei wird der Hintergrund der zu rekonstruierenden dreidimensionalen Szene anhand von einem der Video-Einzelbilder oder anhand von einem anderen Hintergrundbild oder anhand von einem dreidimensionalen Modell erzeugt.
Eine ausführlichere Vorstellung über die Durchführung der beanspruchten Ausgestaltungen des Verfahrens kann der nachstehenden Beschreibung entnommen werden.
Aus 1 ist es klar ersichtlich, dass verschiedene Augen die unterschiedlich entfernten Gegenstände so sehen, als ob diese unterschiedlich voneinander abstehen (h₁ ist ungleich h₂).
Der eigentliche Abstand bis zum Gegenstand wird geometrisch mit Hilfe der Auswertung der durch verschiedene Augen erzeugten Bilder bestimmt. Die Bildpunkte, welche auf der Netzhaut der Augen die jeweilige geometrische Position von denselben Gegenständen bestimmen, haben einen unterschiedlichen Abstand, und deren Summe wird als Disparität (2) bezeichnet.
Beim direkten Einblick mit einem Auge auf den Punkt „A” sollte dieser Punkt in der Projektion auf der Netzhaut mit dem „a” Punkt zusammenfallen. Da man aber mit zwei Augen sieht, gehen die Augen um D/2 seitlich nach links und nach rechts auseinander, und der „A” Punkt wird jeweils um „C” und „C'” verlagert. Das heißt, gemäß 2 beträgt die Disparität: Disp = |C| + |C'|
Aus der Verallgemeinerung des oben Dargelegten lässt sich der Rückschluss ableiten, dass die Tiefe der Elemente der aufgenommenen Szene anhand von Disparität, und zwar unter Inanspruchnahme von zwei (speziell mit Aufnahmebasis (Parallaxabstand) aufgenommenen) Aufnahmen und durch die Bestimmung der Position der dieselben Details einer Bildszene aus zwei verschiedenen Aufnahmen anzeigenden Punkte mit Hilfe von einem Algorithmus, ungefähr berechnet werden kann. Die Gegenstände einer Szene können anhand des gegenseitigen Abstandes zwischen den Gegenständen auf verschiedenen. Aufnahmen (mit Rücksicht auf die Lage in Bezug auf den Mittelpunkt der Aufnahme) noch genauer positioniert werden. Sollte der Abstand zwischen den Gegenständen sowie in der linken als auch in der rechten Aufnahme gleich sein, so handelt es sich um die äquidistanten Gegenstände in Bezug auf den Aufnahmestandpunkt. Ist dieser Abstand nicht gleich, so sind die Gegenstände unterschiedlich entfernt, und dementsprechend sollten diese Gegenstände in der dreidimensionalen Szene (in der Tiefenkarte) hintereinander angeordnet werden (s. 1, Abstand h₁ kleiner als h₂).
Das oben beschriebene Verfahren zur Erzeugung von Stereobildern wird als „passives Stereoverfahren” bezeichnet. Zur Zeit gibt es nicht nur optische Systeme, die mit Hilfe von zwei Kameras für die Aufzeichnung und die nachfolgende Erzeugung von einem Stereobild (oder einer dreidimensionalen Szene mit begrenztem Blickwinkel, was im Grunde genommen das gleiche ist) aufgebaut werden, sondern auch Kombi-Systeme, wie z. B. das System aus 3. Solches System besteht aus einem „Abtastungsstrahl” einer Laserlichtquelle und einem lichtempfindlichen Sensor mit einem Optiksystem und wird als „aktives Stereo” bezeichnet
(http://www.sigchi.org/chi95/proceeding/papers/cw_bdy.htm, engl.). Die Tiefenkarte wird z. B. nach dem Triangulationsverfahren berechnet.
Aus dem Stand der Technik sind Systeme (s. 4) bekannt, wo das Stereorekonstruieren mit Hilfe von einem Einzelbild erfolgt, dafür wird aber das Aufnahmeobjekt mit Hilfe von einem Licht mit spezieller Struktur ausgeleuchtet. Dieses System gilt ebenfalls als „aktives Stereo” (ebenda).
Um den Blickwinkel der dreidimensionalen Szene zu vergrößern und die vollwertigen Dreidimensionsfiguren mittels der Aufnahme von irgendeinem Objekt zu erstellen, werden Systeme mit Kreisaufnahme des Objektes angewendet. In solchen Systemen dreht sich die Kamera langsam rings um das Aufnahmeobjekt oder das Objekt wird vor der Kamera gedreht.
Weiter unten wird der Begriff „Schärfentiefebereich” näher betrachtet. Als Tiefenschärfe wird die Eigenschaft des Objektivs bezeichnet, die vom Objektiv unterschiedlich entfernten Gegenstände in einer Ebene und praktisch mit gleicher Schärfe darzustellen.
Aus dem Schulphysikkurs ist bekannt, dass die Linsenbrennweite wie folgt berechnet wird:
wobei

L: für den Abstand zwischen dem Aufnahmeobjekt und der Linse,
F: für die Brennweite des Objektivs, und
f: für den Abstand zwischen der Linse und der Bildprojektionsebene (Sensor)

Aus dieser Formel geht hervor, dass es bei einer und derselben Brennweite „F” des Objektivs nur eine Ebene im Raum (Abstand zwischen dem Objektiv und dem Aufnahmeobjekt) gibt, welche sich scharf in der Projektionsebene oder im Bildsensor spiegeln wird. Als Sensor kann ein Fotofilm oder z. B. ein Halbleitersensor wie z. B. CMOS (für das behandelte Beispiel S5K3A1EA03 – 1/3” SXGA CMOS IMAGE SENSOR, Hersteller SAMSUNG) verwendet werden.
Der S5K3A1EA03 Sensor hat folgende Hauptkenndaten:

– Process Technology: 0,18 μm Dual Gate Oxide SPQM CMOS
– Optical Size: 1/3 inch
– Unit Pixel: 3,8 μm × 3,8 μm
– Effective Resolution: 1280X1024, SXGA

Der Begriff der Tiefenschärfe ist als solcher in der betrachteten Formel (1.1) nicht vorhanden, aber er ist aus der Praxis bekannt. Als Veranschaulichung der physikalischen Bedeutung von Schärfentiefebereich kann 8 mit einem Beispiel eines Bildes mit kleinem Schärfentiefebereich dienen. Um den physikalischen Sinn des Schärfentiefebereiches und des Verfahrens für seine Berechnung detaillierter zu verstehen, seien 5 und 6 näher betrachtet.
Der Begriff „Schärfentiefebereich” ist weithin bedingt, und seine Bedeutung nimmt mit der Vergrößerung des Durchmessers des zulässigen Streukreises (d₁ und d₂ in 5 oder d₁ und d₃ in 6) zu.
In 6 ist geometrisch angezeigt, dass beim Abblenden des Objektivs (des optischen Systems) der Durchmesser d₁ des Streukreises bis d₃ vermindert wird.
Nun sei die Formel zur Berechnung des Ist-Schärfentiefebereiches unter Berücksichtigung des durch die Blende in das optische System eingebrachten Effektes bestimmt. Die Blende hat eine Öffnung mit Durchmesser D. Die nächste Ebene des Schärfentiefebereiches (L₂) lässt sich wie folgt bestimmen: L₂ = L·D·f / D·f + (L – f)·d (1.2) wo

L: – Distanz bis zum Aufnahmeobjekt,
f: – Hauptbrennweite des Objektivs,
d: – zulässiger Durchmesser des Streukreises,
D: – Objektivöffnung

Die ferner gelegene Ebene des Schärfentiefebereiches (L₁) wird durch folgende Formel festgelegt: L₁ = L·D·f / D·f – (L – f)·d (1.3)
Als Beispiel werden ein Objektiv und ein Bildsensor mit folgenden Kenndaten genommen:
f = 0,2 m (Brennweite des Objektivs für einen endlos entfernten Gegenstand);
d = 0,0000076 m oder Doppeldurchmesser vom Unit Pixel Sensor S5K3A1EA03
Die Objektivblendenöffnung D wird direkt nicht verwendet. Stattdessen wird solcher Begriff wie Objektivöffnungsverhältnis verwendet: 1 / k = D / f (1.4)
Das Objektivöffnungsverhältnis ist eine normierte Größe und wird normalerweise aus folgender Reihe gewählt: 1 / 0,7; 1 / 1; 1 / 1,4; 1 / 2; 1 / 2,8; 1 / 4; 1 / 5,6; 1 / 8; 1 / 11; 1 / 16; 1 / 22; 1 / 32; 1 / 49; 1 / 64.
Diese Reihe entspricht der zweifachen Lichtveränderung der Bildprojektion bei der Veränderung des Objektivöffnungsverhältnisses um einen Schritt in der Reihe.
Nun werden zwei Werte für das Objektivöffnungsverhältnis 1 / 2,8 und 1 / 16 gewählt.
Es wird der Öffnungsdurchmesser D für die gewählten Werte nach der Formel (1.4) berechnet: D_2,8 = f / k = 0,02 / 2,8 = 0,0071429 m; D₁₆ = f / k = 0,02 / 16 = 0,00125 m.
Angenommen, dass der Abstand zum Objekt L = 3 m. Die nähere L₂ und die fernere L₁ Grenze des Tiefenschärfebereiches wird wie folgt berechnet. Tabelle 1

D_2,8 D₁₆

L 3,0 m 3,0 m

f 0,02 m 0,02 m

D 0,0071429 m 0,00125 m

d 0,0000076 m 0,0000076 m

L₂ 2,589475 m 1,574043 m

L₁ 3,5652149 m 31,8877551 m
Aus der Tabelle 1 kann rückgeschlossen werden (was auch durch die Praxis bestätigt wird), dass der Schärfentiefebereich bei vorgegebenen Kennwerten L, f und d von der Lichtstärke des Objektivs k abhängig ist. Die Analyse der Formel (1.3) ergibt auch, dass, wenn der Nenner gegen Null strebt, L₁ gegen unendlich (∞) strebt. Dieser Effekt wird oft in der Praxis bei der Planung von einfachen optischen Systemen angewendet, z. B. für Foto- und Videokameras, Handys usw. Solche Kameras brauchen keine mechanische Steuerung des optischen Systems und lassen sich ganz durch Kennwerte des optischen Sensors elektronisch regeln. Dabei erstreckt sich der Tiefenschärfebereich von einigen 15 Dutzenden Zentimeter bis in die Unendlichkeit.
Des Weiteren wird solcher Wert für die Blende berechnet, bei dem L₁ gleich ist. Dafür wird der Nenner aus (1.3) gleich Null gesetzt: D·f – (L – f)·d = 0 (1.5); D = (L – f)·d / f ≈ L / f (1.6)
Die Annahme (1.6) trifft zu, wenn D >> d.
Wenn die Objektivöffnung bekannt ist, so kann aus (1.4) und (1.6) der k Wert berechnet werden, bei dem die fernere Grenze gleich ∞ sein wird: 1 / k = L·d / f² (1.7); k = f² / L·d (1.8)
Im vorliegenden Beispiel: k = 0,02² / 3·0,0000076 = 17,6
Dieses Objektivöffnungsverhältnis ist physikalisch realisierbar und beweist die Erreichbarkeit und die Anwendbarkeit der Umstellung der ferneren Schärfegrenze des Objektivs aufs Unendliche bei genormten (oben vorgegebenen) Aufnahmebedingungen.

Weiter unten werden die Schärfentiefebereich-Berechnungen aus Tabelle 2 betrachtet. Tabelle 2 unterscheidet sich von der Tabelle 1 dadurch, dass hier die Schärfentiefebereichsgrenzen nicht nur für verschiedene Objektivöffnungsverhältnisse sondern auch für verschiedene Streuflecke berechnet sind. Tabelle 2

	D_2,8	D₁₆		D₁₆'
L	3,0 m	3,0 m	L'	3,0 m
f	0,02 m	0,02 m	f'	0,02 m
D	0,0071429 m	0,00125 m	D'	0,00125 m
d	0,0000076 m	0,0000076 m	d'	0,0000016 m

L₂	2,589475 m	1,574043 m	L₂'	2,519484 m
L₁	3,5652149 m	31,8877551 m	L₁'	3,7069988 m

Wenn man die Formeln (1.2), (1.3) und (1.8) aufmerksam betrachtet, kann man sehen, daß der Schärfentiefebereich nicht nur vom Objektivöffnungsverhältnis sondern auch vom Durchmesser d des Streuflecks abhängt. Dementsprechend lässt sich daraus der Rückschluss ableiten, dass, um den Schärfentiefebereich bei einem vorgegebenen D zu vergrößern, d vergrößert werden kann. Und umgekehrt, um den Schärfentiefebereich zu verringern, sollte d verkleinert werden. Für das Beispiel aus Tabelle 1 wurde der Schärfentiefebereich für Spalte D₁₆' (d. h. bei k = 16) und mit dem viermal kleineren Streufleck als in Spalte D₁₆ berechnet.
Aus dem Vergleich der errechneten Schärfentiefebereiche ist Folgendes ersichtlich: Wird der Streufleck viermal verkleinert, so rückt der Schärfentiefebereich von D₁₆ (1,5 Meter – 32 Meter) an den Wert D₁₆' (2,5 Meter – 3,7 Meter) heran, der praktisch D_2,8 (2,6 Meter – 3,6 Meter) gleich ist.
Wird d 4mal kleiner genommen, so sollte die Matrix-Auflösung 16mal größer gesetzt werden, und anstatt 0,5 MP (d = 2·UnitPixel) am Anfang des Beispiels wird er 8 MP betragen. Das ist für die modernen Matrizen der digitalen Fotokameras bei vorgegebener Sensordimension (z. B.: 1/3'') gut erreichbar. Es sei auch bemerkt, dass die Auflösung der Stereobilder (Fotos mit einer 3D-Szene) die Bildschirmauflösung nicht überschreiten wird, sie wird also max. 1920·1080 (FullHD) oder 2 MP sein. Jedoch braucht die Dichte der empfindlichen Sensorzellen nicht unbedingt so stark vergrößert zu werden. Die Matrix besteht aus drei lichtempfindlichen Zellen (rot, grün und blau). Um die Tiefenkarte des Bildes zu erstellen, können die Farbkanäle getrennt benutzt werden (das sog. „Roh-Bild” im RAW-Format; es geht also um ein Bild mit kleinsten Datenkomprimierungsverlusten). Das ermöglicht es, den Streufleck theoretisch bis um das Dreifache (tatsächlich zweimal) kleiner zu machen und folglich den Schärfentiefebereich mit Hilfe von der Umsetzung der von einzelnen lichtempfindlichen Zellen des Fotosensors empfangenen Signale und nicht von der Umsetzung der Zellengruppen (rot, grün und blau) zu verringern. Somit wird es möglich, das Signal im Leuchtdichtekanal jeder Zelle zu zerlegen, indem die Farbkomponente mit Hilfe von irgendeinem Algorithmus ausgeglichen (oder ignoriert) wird. Auf diese Weise wird ein Schwarzweißbild erzeugt, aber seine Auflösung ist dreimal größer als die des Farbbildes. Solche Umsetzung ermöglicht es, aus einem Bild zwei Aufnahmen mit verschiedenem Schärfentiefebereich zu bekommen, wobei nur die Software für digitale Bildbearbeitung in Anspruch genommen wird, ohne dass jegliche Hardwarelösungen benötigt werden. In diesem Fall wird aber eine Optimierung des Aufnahmemodus erforderlich sein, um die maximale Streuung von Schärfentiefebereich zu bekommen, damit der Schärfentiefebereich nach der Umsetzung der Aufnahme in den Pixel-für-Pixel-Modus ohne Rücksicht auf die Farbe und mit dreifacher Auflösung der Aufnahme beim kleineren Streufleck so klein wie möglich und im Farbmodus so groß wie möglich ist. Die Verteilung der lichtempfindlichen Farbzellen des Sensors von der Fa. Samsung ist in 7 abgebildet.
Aus der Verallgemeinerung der obigen Berechnungen lässt sich der Rückschluß ableiten, daß aus den Formeln zur Berechnung von Schärfentiefebereich L₁ und L₂ Folgendes hervorgeht:

1) Der Schärfentiefebereich kann verändert werden, indem die Objektivöffnung (Objektivöffnungsverhältnis) verändert wird;
2) Der Schärfentiefebereich kann verändert werden, indem der Streufleck des lichtempfindlichen Elementes (Fotofilm, Matrix von SMOS Sensor⁶ usw.) verändert wird;
3) Der Schärfentiefebereich kann softwaremäßig während der Bearbeitung des von der digitalen Matrix generierten Bildes (z. B. des CMOS Sensors mittels der softwaregestützten Auswertung des Helligkeitspegels jedes lichtempfindlichen Elements (evtl. ohne dass die Farbe berücksichtigt wird) und nicht des Pixels verändert werden, welches eine Gruppe von drei Elementen (rot, grün und blau) ist.
4) Der Schärfentiefebereich kann verändert werden, indem die Auflösung der Anfangsaufnahme variiert (vermindert) wird (wobei es eine Reserve an Auflösung der Aufnahme in Bezug auf die Auflösung des Bildschirmes oder einer anderen Einrichtung zur Darstellung von Informationen gibt). Dies erfolgt aufgrund der Analyse der Nachbarpixel in Bezug auf die „Verschwommenheit” der Bildabschnitte. Die statistische Analyse der Bilder vor und nach der Verminderung der Auflösung erlaubt es, solche Bildabschnitte anhand von Kontrast im Hinblick auf die Filtergröße (z. B. 4×4 Pixel, 8×8 Pixel usw.) zu erkennen, die im Fokus und außerhalb davon liegen. Ist die Fokusdistanz bekannt, so kann die Abbildungstiefenkarte leicht erstellt oder die dreidimensionale Szene rekonstruiert werden.

Wird es angenommen, dass die Beleuchtungsbedingungen der Szene und die Sensorempfindlichkeit es ermöglichen, die Bilder in einem ausreichenden Bereich der Objektivöffnungsverhältnisse aufzunehmen, und dass die aufgenommene Szene im Bereich von einem Meter bis zur Unendlichkeit liegt (in diesem Fall wird eine „Lochkamera” (Camera obscura) anstelle von Makroobjektiv bevorzugt), so kann aufgrund der Formeln (1.2), (1.3), (1.8) und der für das obige Beispiel durchgeführten Berechnungen Folgendes rückgeschlossen werden:

1) Im Bereich der baumäßig möglichen Werte gibt es eine solche Objektivöffnung, bei der der Schärfentiefebereich sich von Unendlichkeit bis zur Nahebene erstrecken wird;
2) Im Bereich der baumäßig möglichen Werte gibt es eine solche Objektivöffnung, bei der der Schärfentiefebereich für die Aufnahme von einem zu betonenden Objekt oder Subjekt minimal ausreichend sein wird. In diesem Aufnahmemodus wird die übrige Fläche „verschwommen” oder unscharf aussehen;
3) Es gibt einen solchen Streufleck, bei dem Punkte 1 und 2 zutreffen;
4) Bei der Vergrößerung des Streuflecks wird die fernere Ebene (Grenze) des Tiefenschärfebereiches gegen unendlich streben (die Auflösung der Aufnahme wird dabei natürlich abnehmen, das ist aber bei ausreichend redundanter Auflösung nicht kritisch), die Nahebene wird geringfügig ans Objektiv heranrücken.

Die obigen Schlussfolgerungen (P. 1, P. 2, P. 3 und P. 4) ermöglichen die Erstellung von einem Algorithmus für räumliche Auswahl der Objekte der aufzunehmenden dreidimensionalen Szene anhand von wenigstens einem Bild z. B. im RAW-Format oder wenigstens zwei Bildern, die je nach den Aufnahmemodi optimiert worden sind, um ein Paar der Bilder mit dem Schärfentiefebereich zu bekommen, wo die Schärfentiefebereich-Grenzen nur das Aufnahmeobjekt hervorheben, und das zweite Bild enthält die maximal zugängliche Menge von Objekten und der Fernaufnahme in der Zone des Tiefenschärfebereiches (die Nahebene des Schärfentiefebereiches ist minimal und die Fernebene ist maximal oder unendlich). Dieser Effekt kann erreicht werden, wenn bei der Aufnahme des Bildes solche Objektivöffnung eingestellt wird, bei der der Schärfentiefebereich minimal (z. B. D_2,8) und dann maximal (z. B. D₁₆) ist. Darüber hinaus kann dieser Effekt dadurch erreicht werden, dass die Aufnahme mit solcher Objektivöffnung gemacht wird, bei der der Schärfentiefebereich minimal (D_2,8) ist, und dass die Aufnahme danach anhand aller Farbkanäle bearbeitet wird (evtl. ohne Rücksicht auf die Farbkomponente), so dass der Streufleck auf diese Weise 2mal kleiner gemacht und der Schärfentiefebereich somit vergrößert wird. Der Farbverlust ist in diesem Fall nicht kritisch, weil das Bild ohne seine Farbkomponente in einem Algorithmus benutzt sein wird, welcher die Tiefe der aufgenommenen Szene berechnet.
Die räumliche Auswahl der Objekte kann verbessert werden, indem eine Sequenz von Aufnahmen gemacht wird, wobei mit mindest möglichem Schärfentiefebereich auf einige Distanzen fokussiert wird (vorzugsweise mit einem „Schritt”, der dem Schärfentiefebereich gleich oder größer ist). In diesem Fall kann ein Hauptmangel der „passiven” Systeme des räumlichen Stereos beseitigt werden und zwar dass es nicht möglich ist, den Abstand für Objekte mit geringem Kontrast zu berechnen (z. B. eine Wand im Hintergrund oder Himmel usw.). Solche Objekte lassen sich leicht in einer Aufnahmesequenz logisch ermitteln und sich automatisch auf der rekonstruierten dreidimensionalen Szene z. B. als Hintergrundobjekte machen.
Um nicht nur die Abbildungstiefenkarte zu bekommen sondern auch die dreidimensionale Szene auf dem 3D-Bildschirm zu wiedergeben oder die dreidimensionale Szene zu drehen, um sie von verschiedenen Aufnahmestandpunkten der virtuellen Kamera aus auf dem 2D- (oder 3D-)Bildschirm anzuzeigen, soll eine Aufnahme in der Aufnahmebasis gemacht werden, d. h., es muss wenigstens zwei Aufnahmen geben, die wenigstens mit solchem Abstand gemacht worden sind, der dem Abstand der menschlichen Augen (6 bis 8 cm) entspricht. Wenn die Tiefenkarte vorliegt, kann jener Teil des Bildes, welcher durch die anderen Objekte abgedeckt wird und jedoch für jedes Auge nur getrennt sichtbar ist (es wird eine künstliche Aufnahmebasis erzeugt), optional einfach nachgezeichnet (ausgedacht) werden.
Dem Hauptunterschied des vorliegenden Verfahrens zur Erstellung der Tiefenkarte des Bildes gegenüber den allgemein bekannten Verfahren liegen die Eigenschaften des optischen Systems zugrunde, die räumliche Auswahl der Objekte einer aufzunehmenden Szene dank den vorhandenen Grenzen des Tiefenschärfebereiches zu machen. Durch die Wahl der physikalischen Parameter des optischen Systems und des Sensors kann diese räumliche Auswahl der Objekte aufgrund von mindestens einer gemachten Aufnahme erfolgen. Zusätzlich kann jedoch die erhöhte Genauigkeit und die Herstellung einer tatsächlichen Aufnahmebasis erzielt werden: Dafür muss eine Sequenz von Aufnahmen gemacht werden (am besten mit minimaler Verlagerung um wenigstens einige Zentimeter, so daß die Aufnahmebasis der menschlichen Augen nachgebildet oder sogar wesentlich überschreitet wird). Somit kann mit der heutzutage vorhandenen digitalen Fotografie-Ausrüstung ein solcher Aufnahmemodus für digitale Fotos entwickelt werden, der es ermöglicht, bei der Bearbeitung (mittels der digitalen Bildbearbeitung) von den in diesem Modus gemachten Bildern die dreidimensionale Szene (wenigstens teilweise) zu rekonstruieren, um diese in den dreidimensionalen (3D-) oder zweidimensionalen (2D-)Bildschirmen mit einem Benutzerüberwachungssystem anzuzeigen. Dieses System sorgt für den 3D-Effekt bei der Betrachtung der dreidimensionalen Szene (Erfindungsanmeldung RU 2007135972 , 28.09.2007).
Die Aufnahme der Bilder in der 2D-Projektion zwecks nachfolgenden Rekonstruierens einer dreidimensionalen Anfangsszene beruht auf dem Effekt des Schärfentiefebereiches der optischen Systeme. Sie ermöglicht es, die zur Zeit vorhandene Hardware für die Erfassung von Video- und unbeweglichen Bilder an die Anforderungen an die digitale Erfassung von dreidimensionalen Szenen und deren nachfolgende Übertragung zwecks Bearbeitung und Anzeige auf 2D- und 3D-Bildschirmen anzupassen, um die dreidimensionalen Anfangsszene wenigstens teilweise zu visualisieren. Die modernen Systeme zur Darstellung von Informationen sind in der Regel auf die Darstellung der 3D-Umwelt als eine Projektion auf die 2D-Displays ausgelegt. Die immer zunehmende Verbreitung der Technologien zur Herstellung von 3D-Displays (unter Anwendung von 3D- und Polarisationssystemen des dreidimensionalen Sehens, der Mikrolinsentechnologie usw.), Cyberhelmen sowie das Erscheinen der sog. „Folgesysteme” müssen beachtet werden. Die „Folgesysteme” ermöglichen es, bei den dynamischen Bewegungen des Benutzers, der sich vor dem 2D-Bildschirm befindet, die Betrachtung des dreidimensionalen Bildes vorzutäuschen, wobei der Monitor als „Fenster” in die dreidimensionale Welt wirkt. Deswegen werden sich die Verfahren zur 3D-Bildaufnahme und -übertragung vom Aufnahmegerät an die Visualisierungseinrichtung demnächst sprunghaft entwickeln. Die Erfindung ist auf die Entwicklung von Verfahren zur Simulation der dreidimensionalen Aufnahme von Videobildern und Fotos und ihre möglichst schnelle Überleitung in die Produktion abgezielt. Zur Zeit sind die Geräte für 3D-Bildaufnahme im Handel nicht vertreten. Es werden nur die 3D-Anzeigemittel angeboten. Die Erfindung ermöglicht es, Foto- und Videokameras an die 3D-Bildaufnahme, wenn auch mit einem begrenzten Blickwinkel, anzupassen, indem sie hard- und softwaremäßig anwendungsspezifisch eingestellt werden. Bei der Erfindung gemäß der Anmeldung RU 2007135972 (28.09.2007) stehen die begrenzten Blickwinkel einer dreidimensionalen Szene auf dem 2D- (oder 3D-)Bildschirm in keinem Widerspruch mit der eigentlichen technischen Lehre der Anmeldung, passen organisch hinein und sorgen für die Herstellung von einem ausreichenden räumlichen Effekt für die Szene.
Der Vorgang zur Generierung der dreidimensionalen Szene aus einer 2D-Aufnahme stellt eine Synthese der Schichten dar, die mit der Bildschirmebene gleichläufig sind und aus Rasterabschnitten (2D) der Bilder bestehen, wobei ihnen die „Tiefe” (Distanz vom Bildschirm) in der dreidimensionalen Karte des virtuellen Raums zugewiesen wird, welcher nachher dem Benutzer durch das dreidimensionale Visualisierungssystem angezeigt wird. Um diesen Effekt zu erreichen, werden zur Zeit die Verfahren zur Bearbeitung von (zwei bis mehrere) 2D-Aufnahmen eingesetzt, die von verschiedenen Aufnahmepunkten aus aufgenommen werden, sowie die Verfahren zum Ausleuchten des Bildes mit irgendeiner Lichtstruktur oder mit einem Abtaststrahl (Laser). Diese Maßnahmen ermöglichen es, den erforderlichen 3D-Effekt zu erreichen. Jedoch sind diese Verfahren zur Zeit wegen ihrer Nachteile in der Praxis nur wenig anwendbar. Der Hauptmangel dieser Verfahren besteht darin, dass sie die Mittel zur räumlichen Auswahl der Distanz zu den Aufnahmeobjekten mit Hilfe von optischen Systemen nicht direkt benutzen. Die Anwendung solcher Eigenschaften der optischen Systeme wie Schärfentiefebereich und seine Anpassung an die Aufnahme der Objekte der realen 3D-Welt mit Hilfe von speziellen Methoden erlauben das Rekonstruieren der Dreidimensionalität (Erstellung einer Tiefenkarte) unter Anwendung von bereits bekannten Verfahren zum Rekonstruieren der 3D-Szenen anhand von 2D-Aufnahmen.
Der Schärfentiefebereich der optischen Systeme ist so flexibel, daß man im Rahmen eines anwendungsspezifisch und aufgabegebunden optimierten optischen Systems die räumliche Auswahl automatisch und mit Hilfe von Softwareeinstellungen der Aufnahmemodi ausführen kann (wenigstens die Fokusdistanz kann eine bekannte Größe sein), und die modernen optischen Halbleitersensoren zeichnen sich durch eine sehr hohe Schnellwirkung aus, so dass eine ganze Sequenz von Aufnahmen innerhalb von einer sehr kurzen Zeitspanne aufgenommen werden kann. Dadurch kann eine Tiefenkarte sehr einfach erstellt werden. Die Blickwinkel der rekonstruierten dreidimensionalen Szene können beachtlich vergrößert werden, wenn die in den Fotokameras bereits vorhandenen Mittel zur Rundblickaufnahme berücksichtigt werden, und wenn dem Benutzer die Möglichkeit gewährt wird, die Kamera zu versetzen (anstatt dass sie um ihre Achse gedreht wird), damit in den Aufnahmen Disparität (Verschiebung des Bildaufnahmestandortes um einen Abstand, der den Augenabstand des Menschen nicht unterschreitet) erscheint.
Das angemeldete Verfahren zur Darstellung einer dreidimensionalen Anfangsszene aufgrund der Bildaufnahmeergebnisse in der zweidimensionalen Projektion (seine Ausgestaltungen) ergänzt und ersetzt wirksam die zur Zeit bestehenden Verfahren, zeichnet sich durch hohe Genauigkeit aus und hat keine ausgeprägte Mängel.
Gewerbliche Anwendbarkeit
Das angemeldete Verfahren kann seine Anwendung in allen Bereichen der menschlichen Tätigkeit finden, z. B. in Systemen für industrielle Objektmodelierung, in PC-Betriebssystemen, in der Software und Computerspielen, in der medizinischen Gerätetechnik, in Industrieanlagen, TV-Technik, Mobiltelefonen und Kommunikationsgeräten, d. h. überall, wo die Informationen für einen Benutzer auf einem Projektorbildschirm oder einem elektronischen Anzeigebildschirm ausgegeben werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

RU 2267161 [0004]
RU 2216781 [0007]
RU 2007135972 [0014, 0080, 0081]

Zitierte Nicht-Patentliteratur

http://www.sigchi.org/chi95/proceedings/papers/cw_bdy.htm [0003]
http://www.sigchi.org/chi95/proceeding/papers/cw_bdy.htm [0046]

Claims

Verfahren zur Darstellung einer dreidimensionalen Anfangsszene aufgrund der Bildaufnahmeergebnisse in der zweidimensionalen Projektion, welches auf der Darstellung der Aufnahmeobjekte unter Berücksichtigung der Informationen über das Bild und über die Tiefe in Bezug auf jeden Bildpunkt beruht, dadurch gekennzeichnet, dass das Rekonstruieren der dreidimensionalen Szene anhand von einer oder mehreren Aufnahmen erfolgt, die in einem Schärfebereich des Objektivs erzeugt werden, welches auf das Aufnahmeobjekt mit einem bestimmten Schärfentiefebereich fokussiert wird, wobei ein oder mehrere Aufnahmeobjekte oder ein Teil davon in diesem SB angeordnet wird, dass danach das mit hoher Schärfe aufgenommene Objekt mittels digitaler Verarbeitung von dem Bildhintergrund mit anderer Schärfe getrennt wird, wobei diese Trennung aufgrund des Vergleichs von wenigstens zwei Bildern mit verschiedenem Schärfentiefebereich erfolgt, und dass aufgrund der Information über den Fokusabstand und die Kennwerte der Aufnahmeeinrichtung eine Tiefenkarte erstellt wird, mit deren Hilfe die dreidimensionale Szene rekonstruiert wird, wobei die Aufnahme des ersten Objektes mit minimalem Schärfentiefebereich erfolgt, und dass das Hintergrundbild unter Anwendung von einer einzelnen Aufnahme mit großem Schärfentiefebereich erzeugt wird, wobei das vom Hintergrundbild gelöste Objekt entweder anhand von einem anderen Hintergrundbild (erzeugt) oder das Hintergrundbild anhand eines künstlichen dreidimensionalen Modells ersetzt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass, um die Blickwinkel der rekonstruierten dreidimensionalen Szene zu vergrößern, die Aufnahmeeinrichtung in der waagerechten und senkrechten Ebene so weit versetzt wird, dass der Disparitätseffekt auf den Bildern entsteht.
Verfahren zur Darstellung einer dreidimensionalen Anfangsszene aufgrund der Bildaufnahmeergebnisse in der zweidimensionalen Projektion, welches auf der Darstellung der Aufnahmeobjekte unter Berücksichtigung der Informationen über das Bild und über die Tiefe in Bezug auf jeden Bildpunkt beruht, dadurch gekennzeichnet, dass das Rekonstruieren der dreidimensionalen Szene anhand von einem Bild vorgenommen wird, welches in einem Schärfebereich des Objektivs erzeugt wird, wobei das Objektiv auf das Aufnahmeobjekt mit einem bestimmten Schärfentiefebereich fokussiert wird und wobei ein oder mehrere Aufnahmeobjekte oder ein Teil davon in diesem Schärfebereich angeordnet wird, dass das mit hoher Schärfe aufgenommene Objekt danach mittels digitaler Verarbeitung von dem Bildhintergrund mit anderer Schärfe gelöst wird, indem die Bildgröße vermindert wird, die Nachbarpixel des Bildes vereinigt werden, und die Bildauflösung somit vermindert wird, dass das mit hoher Schärfe aufgenommene Objekt vom verwaschenen Hintergrund abgelöst wird, indem die Information über das Bild vor und nach der Umsetzung verarbeitet wird, und dass aufgrund der Information über den Fokusabstand und die Kennwerte der Aufnahmeeinrichtung eine Tiefenkarte wird erstellt, mit deren Hilfe die dreidimensionale Szene rekonstruiert wird, und dass das Hintergrundbild anhand der Anfangsaufnahme, oder anhand von einem anderen Hintergrundbild erzeugt wird, oder das Hintergrundbild anhand eines künstlichen dreidimensionalen Modells ersetzt wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass, um die Blickwinkel der rekonstruierten dreidimensionalen Szene zu vergrößern, die Aufnahmeeinrichtung in der waagerechten und senkrechten Ebene so weit verlagert wird, dass der Disparitätseffekt auf den Bildern entsteht.
Verfahren zur Darstellung einer dreidimensionalen Anfangsszene aufgrund der Bildaufnahmeergebnisse in der zweidimensionalen Projektion, welches auf der Darstellung der Aufnahmeobjekte unter Berücksichtigung der Informationen über das Bild und über die Tiefe in Bezug auf jeden Bildpunkt beruht, dadurch gekennzeichnet, dass die dreidimensionale Szene anhand von zwei oder mehr Aufnahmebildern rekonstruiert wird, die im SB des Objektivs aufgenommen sind, welches auf das Aufnahmeobjekt mit bestimmtem Schärfentiefebereich fokussiert ist, wobei ein oder mehrere Aufnahmeobjekte oder ein Teil davon in diesem SB angeordnet wird, dass danach der Abstand auf das nächste Objekt usw. umgestellt wird, dass danach die mit unterschiedlichen Fokusabständen aufgenommenen Objekte nach einem Verfahren für digitale Bildverarbeitung voneinander getrennt werden, und dass dann aufgrund der Information über den Fokusabstand und die Kennwerte der Aufnahmeeinrichtung eine Tiefenkarte erstellt wird, mit deren Hilfe die dreidimensionale Szene rekonstruiert wird, dass das Hintergrundbild unter Anwendung von einer einzelnen Aufnahme mit großem Schärfentiefebereich erzeugt wird, indem das Hintergrundbild von den Objekten abgelöst wird oder indem die hervorgehobenen Objekte auf einem anderen Hintergrundbild oder auf dem Hintergrund der Objekte eines künstlichen dreidimensionalen Modells angeordnet werden.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass, um die Blickwinkel der rekonstruierten dreidimensionalen Szene zu vergrößern, die Aufnahmeeinrichtung in der waagerechten und senkrechten Ebene so weit verlagert wird, dass der Disparitätseffekt auf den Bildern entsteht.
Verfahren zur Darstellung einer dreidimensionalen Anfangsszene aufgrund der Bildaufnahmeergebnisse in der zweidimensionalen Projektion, welches auf der Darstellung der Aufnahmeobjekte unter Berücksichtigung der Informationen über das Bild und über die Tiefe in Bezug auf jeden Bildpunkt beruht, dadurch gekennzeichnet, dass die dreidimensionale Szene anhand von einem Bild rekonstruiert wird, das im SB des Objektivs aufgenommen wird, welches auf dem Aufnahmeobjekt mit bestimmtem Schärfentiefebereich fokussiert wird, wobei ein oder mehrere Aufnahmeobjekte oder ein Teil davon in diesem SB angeordnet wird, dass danach das mit hoher Schärfe aufgenommene Objekt mittels digitaler Verarbeitung aufgrund des Vergleiches von wenigstens zwei Bildern von dem Bildhintergrund mit anderer Schärfe getrennt wird, wobei das zweite Bild mit kleinerem Schärfentiefebereich dadurch erzeugt wird, dass der Streufleckdurchmesser des lichtempfindlichen Sensors dafür verringert wird, dass die Redundanzinformation (RAW) verarbeitet wird, welche in jedem einzelnen Pixel aus der Trias RGB enthalten ist, dass aufgrund der Information über den Fokusabstand und die Kennwerte der Aufnahmeeinrichtung eine Tiefenkarte erstellt wird, mit deren Hilfe die dreidimensionale Szene rekonstruiert wird, und dass das Hintergrundbild anhand von der Anfangsaufnahme oder anhand von einem anderen Hintergrundbild oder anhand von einem künstlichen dreidimensionalen Modell erstellt wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass, um die Blickwinkel der rekonstruierten dreidimensionalen Szene zu vergrößern, die Aufnahmeeinrichtung in der waagerechten und senkrechten Ebene so weit verlagert wird, dass der Disparitätseffekt auf den Bildern entsteht.
Verfahren zur Darstellung einer dreidimensionalen Anfangsszene aufgrund der Bildaufnahmeergebnisse in der zweidimensionalen Projektion, welches auf der Darstellung der Aufnahmeobjekte unter Berücksichtigung der Informationen über das Bild und über die Tiefe in Bezug auf jeden Bildpunkt beruht, dadurch gekennzeichnet, dass das Rekonstruieren der dreidimensionalen Szene anhand von einer wenigstens von zwei Kameras erstellten Videosequenz innerhalb von SB des Objektivs erfolgt, welches auf dem Aufnahmeobjekt mit bestimmtem Schärfentiefebereich fokussiert wird, wobei ein oder mehrere Aufnahmeobjekte oder ein Teil davon in diesem SB angeordnet wird, dass danach ein Objekt mittels eines digitalen Bildverarbeitungsverfahrens aufgrund der Vergleichsergebnisse von wenigstens zwei Bildaufnahmen (Video-Einzelbildern) mit unterschiedlichen Fokusdistanzen oder unterschiedlichen Schärfentiefebereichen vom Bildhintergrund gelöst wird, und dass aufgrund der Information über den Fokusabstand und die Kennwerte der Aufnahmeeinrichtung eine Tiefenkarte erstellt wird, mit deren Hilfe die dreidimensionale Szene rekonstruiert wird, und dass die Objektaufnahme dabei mit der ersten Kamera beim minimalen benötigten Schärfentiefebereich durchgeführt wird, und dass Hintergrundbild unter Einsatz der Video-Einzelbilder von beliebiger Kamera oder anhand von einem anderen Hintergrundbild oder anhand von einem künstlichen dreidimensionalen Modell erzeugt wird.
Verfahren zur Darstellung einer dreidimensionalen Anfangsszene aufgrund der Bildaufnahmeergebnisse in der zweidimensionalen Projektion, welches auf der Darstellung der Aufnahmeobjekte unter Berücksichtigung der Informationen über das Bild und über die Tiefe in Bezug auf jeden Bildpunkt beruht, dadurch gekennzeichnet, dass die dreidimensionale Szene anhand von den wenigstens von einer oder mehr Kamera erstellten Bildern innerhalb von SB des Objektivs rekonstruiert wird, welches auf dem Aufnahmeobjekt mit bestimmtem Schärfentiefebereich fokussiert wird, wobei ein oder mehrere Aufnahmeobjekte oder ein Teil davon in diesem SB angeordnet wird, dass danach das mit hoher Schärfe aufgenommene Objekt mittels digitaler Bildverarbeitung vom Hintergrundbild abgelöst wird, welches mittels Erzeugung eines sekundären Bildes mit anderer Schärfe (anderem Kontrast usw.) und anderem Schärfentiefebereich im Vergleich zum Anfangsbild generiert worden ist, wobei diese Ablösung durch die Verringerung des Streuflecks des Bildsensors und/oder durch die Bearbeitung der Überauflösung des Sensors vorgenommen wird, und dass diese zwei Bilder mit unterschiedlichem Schärfentiefebereich unter Rücksicht auf die Angaben über den Fokusabstand und die Kennwerte der Aufnahmeeinrichtung verglichen werden, und dass aufgrund dieser Ergebnisse eine Tiefenkarte erstellt wird, mit deren Hilfe die dreidimensionale Szene rekonstruiert wird, und dass das Hintergrundbild entweder anhand von einem Anfangsbild in Form von einem der Video-Einzelbilder einer Videosequenz oder anhand von einem anderen Hintergrundbild oder anhand von einem künstlichen dreidimensionalen Modell erzeugt wird.