DE10063980A1

DE10063980A1 - Virtual observing animation / Berechnete Beobachter Bewegung

Info

Publication number: DE10063980A1
Application number: DE10063980A
Authority: DE
Inventors: Markus Silberschmidt
Original assignee: Individual
Current assignee: Individual
Priority date: 2000-12-14
Filing date: 2000-12-14
Publication date: 2002-11-14

Abstract

Anstelle einer realen Bewegung einer Film- oder Videokamera auf Schienen oder mit einem Kran im Raum wird eine virtuelle (gedachte) Kamera in einem virtuellen Abbild des Raumes bewegt. Die Perspektive dieser virtuellen Kamera wird im virtuellen Abbild (dreidimensionaler Film) des realen Raumes in Mono- oder Stereobilder berechnet. DOLLAR A Der dreidimensinale virtuelle Raum wird aus zahlreichen zweidimensionalen Bildern realer, synchronisierten Kameras berechnet. Diese realen Kameras müssen alle an bekannten Positionen mit bekannter Perspektive positioniert werden. DOLLAR A Die Bewegung der virtuellen Kamera kann vor, gleichzeitig oder nach der Aufnahme des realen Raumes festgelegt werden. Es kann auch dem Betrachter die Möglichkeit der individuellen Kamerabewegung eingeräumt werden. DOLLAR A Die Zeit im virtuellen Raum kann in Realzeit, beschleunigt, verlangsamt oder eingefroren werden. Nicht alle Gegenstände und Personen müssen die gleiche Zeitbasis haben. DOLLAR A Es können auch Gegenstände aus dem virtuellen Raum entfernt oder eingefügt werden. Größenverhältnisse können verändert und verschiedene Räume und Gegenstände können kombiniert werden.

Description

1.1. Prinzip

Patentiert wird das Prinzip, das die Perspektive eines bewegten Beobachters (Kamera bewegung) in einem realen Raum nicht wie herkömmlich durch Bewegung einer realen Kamera erhalten wird, sondern durch Berechnung einer gedachten Bewegung (virtueller Kamerabewegung) in einem virtuellen Abbild des realen Raumes.

Dieser dreidimensionale virtuelle Raum (oder der relevante Teil dieses Raumes) wird aus den zweidimensionalen Bildern zahlreicher fest verankerter Kameras in dem realen Raum berechnet.

Der Betrachter sieht also eine Folge von Bildern (Film, Video, Internet etc.), die nicht von der Stelle aufgenommen wurden von der er sie sieht. Vielmehr wird aus einem virtuellen Raum mit einer virtuellen Kameraposition die gedachte Perspektive berechnet. Dabei ist entscheidend, dass das subjektive Bild der gedachten virtuellen Kamera nicht aus einer Mischung real gefilmter Bilder erhalten wird, sondern das aus den Bildern der realen Kameras ein virtueller dreidimensionaler Raum berechnet wird, und die virtuelle Kamera diesen virtuellen Raum betrachtet.

Anstelle einer Kamerabewegung können auch zwei Bewegungen mit konstantem Abstand berechnet werden. So erhält man eine dreidimensionale virtuelle Kamerabewegung.

1.2. Was ist neu?

Im Gegensatz zu einer realen Bewegung eines realen Beobachters (Kamera) im Raum, sind in der folgenden Beschreibung alle Beobachter (Fotos, Kameras) relativ zueinander in Ruhe. Der Betrachter kann sich durch die Berechnung eines virtuellen Abbildes des Raumes, der Gegenstände und Personen darin, virtuell durch diesen Raum frei bewegen. Die virtuelle Kamera ist weder an Schienen noch Kran gebunden, kann sich somit gefahrlos beliebig bewegen, ohne dass sie das Geschehen im Raum stört.

Darüber hinaus ist sie noch zu viel mehr fähig als eine reale Kamera im realen Raum. Die virtuelle Kamera kann durch Gegenstände fliegen, kann sich außerhalb der Studio begrenzung aufhalten oder beliebige Sprünge ausführen.

Die Kamerabewegung ist nach der Aufnahme beliebig veränderbar, auch vom Zuschauer, falls diesem das ermöglicht werden soll.

1.3. Vorteile

Zur Aufzeichnung einer Kamerabewegung werden keine Schienen und kein Kamerakran benötigt. Jede Kamerabewegung kann beliebig ausgeführt und nachträglich auch noch verändert werden. Die Kamerabewegungen können auch sehr kompliziert und schnell sein. Eine Situation im einem Raum kann verlangsamt oder gar angehalten werden. Dabei kann man alles aus beliebiger Perspektive betrachten.

Die Bewegung kann vor, während oder nach der Aufzeichnung festgelegt und später auch noch verändert werden. Oder der Betrachter wählt seine Kamerabewegung beim Betrachten einer Szene selbst. So ist es beispielsweise möglich, dass der Zuschauer oder Internet-Benutzer die Kameraposition, Kamerabewegung und Blickrichtung zu jeder Zeit frei selbst bestimmen kann.

2. Beschreibung 2.1. Erfassen des realen Raumes

Die am Rand und im Raum fest verankerten realen Kameras im realen Raum müssen in Position, Blickrichtung und Bildwinkel klar definiert sein, damit ein virtueller drei dimensionaler Raum aus den zweidimensionalen Bildern berechnet werden kann. Sie müssen deshalb jede Stelle des zu betrachtenden Raumes mit allen Gegenständen und Personen darin von mindestens zwei Positionen aufnehmen.

2.2. Positionen der beobachtenden Kameras im realen Raum

Die Kameras sind fest verankert oder an definierten Positionen. Jede Fläche, jeder Gegenstand und jede Person muss von mindestens zwei Kameras aus zwei verschiedenen Winkeln erfasst werden. Deshalb ist mit der Positionierung der realen Kameras auch die Begrenzung des virtuellen Bewegungsbereiches der virtuellen Kamera bestimmt.

Die virtuelle Kamera kann sich beispielsweise nicht unterhalb der untersten nach oben gerichteten beobachtenden Kameras mit Blickrichtung nach oben bewegen, da sie sonst möglicherweise eine nicht erfasste Fläche eines Gegenstandes im Raum betrachten würde.

2. 3. Berechnen des virtuellen Raumes

Durch eine derartige Erfassung des Raumes kann die berechnende Maschine (Computer) einen dreidimensionalen virtuellen Raum erstellen, der dem realen Raum so weit wie nötig entspricht. Diese Entsprechung umfasst nicht nur Form und Farben, sondern auch die Oberflächenstruktur (Textur), Glanz, Spiegelungen (Reflexion) und Transparenz jeder Oberfläche im gesamten benötigten virtuellen Raum.

Die Position, die Perspektive und der Bildwinkel aller Kameras im realen Raum müssen der Maschine, die den virtuellen Raum berechnet, bekannt sein. Entweder werden sie anfangs genau ausgemessen, oder die Maschine errechnet sich die Koordinaten beispielsweise mit Hilfe von Korrelationsalgorithmen selbst.

2.4. Virtuelle Kamera

In diesem virtuell abgebildeten Raum kann dann eine virtuelle Kamera positioniert werden und anhand ihrer Position, Blickrichtung und Bildwinkel ein virtuelles Bild berechnet werden. Dieses virtuelle berechnete Bild der virtuellen Kamera entspricht genau dem, was eine reale Kamera im realen Raum an dieser Position, in dieser Blick richtung und mit diesem Bildwinkel aufnehmen würde.

Wird dieses virtuelle Bild mit einem beliebigen Speichermedium gespeichert, so ist es von da ab unveränderter. Wird hingegen der virtuelle Raum auf einem Speichermedium gespeichert, kann die Kameraposition und Blickrichtung und Bildwinkel nachträglich beliebig verändert werden.

2.5. Bewegte Bilder, bewegter Raum

Um ein bewegtes Bild zu erhalten, war es bisher immer nötig, einzelne Moment aufnahmen (Fotos) zu erstellen und diese beim Betrachten in schneller Folge zu zeigen. Beim beschriebenen Verfahren werden genauso einzelne Momentaufnahmen durch die fest verankerten Kameras im realen Raum erstellt. Diese Momentaufnahmen sind aber nicht mehr zweidimensionale Abbilder des Raumes, sondern dreidimensionale virtuelle Abbilder. Deshalb müssen alle Kameras im realen Raum gleichzeitig eine Belichtung ausführen (Synchronisation der realen Kameras). Somit gibt es für jede Aufnahme der virtueller Kamera auch einen virtuellen Raum zu berechnen. Dieser virtuelle Raum kann natürlich weitgehend dem vorhergehenden ähnlich sein. Es müssen lediglich die Anderungen von Personen und Gegenständen neu berechnet werden.

2.6. Bewegter Betrachter

Sollte sich der Betrachter durch den realen Raum bewegen, so musste bisher ein Auf nahmeapparat (Kamera) genau so durch den Raum geführt werden, wie der Betrachter dies später sieht. Bewegung und Blickrichtung wurde bei der Aufnahme festgelegt und waren nachträglich nicht mehr zu ändern.

Das neue Verfahren ermöglicht eine gedachte Bewegung durch ein virtuelles Abbild des realen Raumes, ohne das für die Aufnahme eine Kamera bewegt werden muss. Wenn der reale Raum als ganzes erfasst und gespeichert ist, kann eine Bewegung und Blickrichtung nachträglich beliebig verändert werden.

2.7. Virtuell bewegte Betrachtung

Die Bewegung des Beobachters kann im virtuellen Raum beliebig ausgeführt werden. Die virtuelle Kamera kann sich entlang einer Linie bewegen und dabei in alle Richtungen schwenken. Sie kann sich auch entlang einer Kreisbahn oder Kurve durch den Raum bewegen. Sie kann Sprünge ausführen und dabei Filmschnitte simulieren.

Es können aber auch komplexe Bewegungen analysiert und bei Bedarf abgerufen werden wie beispielsweise Schulterkamera, Reiss-Schwenk oder die Begleitung fliegender Objekte.

Es können auch Bewegungen ausgeführt werden, die mit einer realen Kamera unmöglich wären. Die virtuelle Kamera kann beispielsweise durch Feuer, Glas oder Wände fliegen. Für die Steuerung der Bewegung ergeben sich folgende Möglichkeiten: die genaue Position und Bewegung der virtuellen Kamera wird vor der Aufzeichnung des Geschehens festgelegt. Wenn die Berechnung des virtuellen Raumes schnell genug ist, kann diese Festlegung auch während der Aufnahme erfolgen. Sie kann aber auch erst in der Nachbearbeitung bestimmt oder verändert werden. Wird der virtuelle Raum als ganzes aufgezeichnet, kann der Zuschauer die Kamerabewegung auch selber zum Beispiel mit einem Joystick oder durch Kopfbewegung beeinflussen.

Durch zwei Bewegungsbahnen in definiertem Abstand erhält man eine stereoskopische dreidimensionale Bewegung durch den Raum. Dabei ist sicherzustellen, dass jedes Auge des Betrachters nur eine virtuelle Kameraperspektive sieht.

2.8. Bildauflösung

Relevant ist die Bildauflösung der virtuellen Kamera. Die Auflösung der realen Kameras ist nur mittelbar relevant. Deshalb muss die Auflösung der virtuellen Objekte des virtuellen Raumes betrachtet werden.

Je besser der virtuelle Raum und die Gegenstände darin an einer Stelle aufgelöst sind, desto näher kann ihnen die virtuelle Kamera bei vorgegebener Auflösung und Bildwinkel ohne Qualitätsverlust an dieser Stelle kommen.

In einem virtuellen Raum kann eine hochauflösende virtuelle Kamera den Gegenständen, Personen und Raumbegrenzungen weniger nah kommen als eine weniger hochauflösende Kamera.

Zusätzliche reale Kameras helfen nicht nur den virtuellen Raum besser zu beschreiben, sie helfen auch die Auflösung zu verbessern, und somit den Bewegungsbereich der virtuellen Kamera zu vergrößern.

Desgleichen kann man mit Hilfe von Interpolationen den Raum besser Auflösen. Es ist jedoch auch denkbar, dass die den virtuellen Raum berechnende Maschine einzelne oder auch alle realen Kameras so bewegt (Schwenk und Zoom), dass immer die Region des Raumes, welche für die virtuelle Betrachtung relevant ist, besser aufgelöst wird.

2.9. Schärfentiefe

Die fest verankerten Kameras im realen Raum müssen alles so scharf wie möglich abbilden, damit der virtuelle Raum auch scharf berechnet werden kann. Wenn eine Unschärfe erwünscht ist, muss diese bei der Berechnung des Abbildes der virtuellen Kamera im virtuellen Raumes künstlich hinzugefügt werden. Dies ist möglich, da alle Gegenstände im Raum zu jeder Zeit klar definiert sind, und die Unschärfe eine direkte Funktion des Abstandes der virtuellen Objekte zur virtuellen Kamera ist.

Damit sind aber auch gezielte Unschärfen zu erreichen, die ein reales Objektiv im realen Raum so nicht hätte.

3. Weitere Möglichkeiten 3.1. Veränderungen am virtuellen Raum

Der virtuelle Raum kann verzerrt oder schief abgebildet werden. Das heißt eine Bewegung im virtuellen Raum kann auch ein vollkommen anderes Bild ergeben als eine real auf genommene Szene.

Es können Gegenstände oder der ganze Raum viel größer oder kleiner als die Darsteller virtuell abgebildet werden, eckige Räume werden rund oder verzerrt, der Raum verändert seine Form oder Größe zu Vergleichsobjekte oder der Raum/die Gegenstände lösen sich auf und entstehen.

Beispiel

Zwei Menschen könnten sich unterhalten und dabei unter einem Bonsai sitzen. Oder sie könnten an Deck eines Schiffsmodells spazieren, während die Kamera sie umkreist.

3.2. Veränderungen in der Zeit

Die Betrachtung des virtuellen Raumes muss nicht in der gleichen Geschwindigkeit wie der Aufnahme erfolgen. Es kann ein Ereignis beschleunigt, verlangsamt oder angehalten werden, während sich der Betrachter mit beliebiger Geschwindigkeit durch den virtuellen Raum bewegt.

Beispiel

Es könnte bei einer Sportübertragung vom Fechten der Moment eines Treffers eingefroren werden. Man könnte sich jetzt nacheinander in die Perspektive beider Sportler und des Schiedsrichters bewegen und alles in Ruhe betrachten.

3.3. Kombination verschiedener virtueller Räume

Der virtuelle Raum muss nicht zwangsläufig ein direktes Abbild eines realen Raumes sein. Er kann auch aus einer Kombination von verschiedenen realen Räumen virtuell erstellt werden.

Beispiel

Mit verschiedenen Kameras wird ein Bergpanorama dreidimensional erfasst. Bei einer Gesprächsgruppe in einem Studio werden die Wände des Raumes dann virtuell durch das Bergpanorama ersetzt. Dabei sind wiederum alle denkbaren virtuellen Kamera bewegungen möglich, und der Zuschauer hat den Eindruck, die Gesprächsrunde sitze tatsächlich im Bergpanorama.

3.4. Retuschen

Da im virtuellen Raum alle Objekte dreidimensional bekannt sind, kann man sie auch einfach entfernen. Auch Gegenstände, die in einem anderen Raum oder zu einer anderen Zeit aufgenommen wurden, können hinzugefügt werden.

Beispiel

Die beobachtenden Kameras des realen Raums können retuschiert werden. Beleuchtungskörper, Seile oder andere Hilfsmittel können in gleicher Weise entfernt werden.

3.5. Virtuelle Objekte

Nicht alle Objekte und Räume müssen real gefilmt werden. Reale und virtuelle Objekte sind beliebig kombinierbar.

Beispiel

Ein Schauspieler kämpft gegen ein virtuelles Ungeheuer, welches nach der Aufzeichnung des Schauspielers rein grafisch im virtuellen Raum erstellt wird.

3.6. Zwei- und dreidimensionale virtuelle Bilder

Da der virtuelle Raum dreidimensional bekannt ist, kann dieselbe Situation sowohl mit einer virtuellen Kamera, als auch mit zwei parallelen Kameras stereophon berechnet werden.

Beispiel

Dieselbe Situation in einem Restaurant wird zur Videoauswertung mit einer virtuellen Kamera betrachtet. Dazu legt der Regisseur Perspektive und Bewegung fest. Im Internet kann der Zuschauer die gleiche Situation mit Hilfe von Joystick, Kopfbewegung und Betrachtungsbrille aus beliebiger Perspektive stereoskopisch anschauen und dabei bei jeder Betrachtung selbst entscheiden, was er aus welcher Position sehen will.

3.7. Ein bewegter Raum in einem Raum

Nicht alle realen Kameras müssen immer in Ruhe sein. Wenn einige Kameras sich durch den Raum bewegen, kann auch diese Bewegung in den virtuellen Raum übernommen werden.

Beispiel

Ein Auto fährt durch die Landschaft. Wenn sowohl im, am und außerhalb des Autos genügend reale Kameras installiert sind, kann die virtuelle Kamera auf einer Bahn von außen mit dem fahrenden Auto im Bild, durch die Scheibe ins innere fliegen.

Anschließend kann sie alles im und außerhalb des fahrenden Autos betrachten, wie eine Fliege im Raum.

Claims

Patentiert wird das Prinzip, das die Perspektive eines bewegten Beobachters (Kamera bewegung) in einem realen Raum nicht wie herkömmlich durch Bewegung einer realen Kamera erhalten wird, sondern durch Berechnung einer gedachten Bewegung (virtueller Kamerabewegung) in einem dreidimensionalen, zeitlich und räumlich veränderlichen, virtuellen Abbild des realen Raumes.
Dieser dreidimensional virtuell abgebildete Raum (oder der relevante Teil dieses Raumes) wird berechnet aus zweidimensionalen Bildern zahlreicher realen, synchronisierten Kameras die im realen Raum mit definierter Position und Perspektive zeitgleich Bilder aufnehmen.
Die Position und Bewegung des Beobachters (Kamerabewegung) wird aus diesem virtuell abgebildeten Raum mit einer virtuellen Kameraposition in einer gewünschten Perspektive berechnet. Der Betrachter sieht also eine Folge von Bildern (Film, Video, Internet etc.), die nicht von der Stelle aufgenommen wurden von der er sie sieht, sondern von einer gedachten Position im virtuellen Abbild dieses Raumes berechnet wurde. Anstelle einer Kamera bewegung können auch zwei Bewegungen mit konstantem Abstand für Stereoskope dreidimensionale virtuelle Kamerabewegungen berechnet werden. Der virtuelle Raum und alles was sich darin befindet kann zeitlich und in seinen Proportionen nach belieben verändert werden. Gegenstände können entfernt, zugefügt und in der Größe variiert werden.