DE69819181T2

DE69819181T2 - Positionserfassungssystem in virtuellem studio

Info

Publication number: DE69819181T2
Application number: DE69819181T
Authority: DE
Inventors: Michael Tamir; Avi Sharir
Original assignee: Orad Hi Tec Systems Ltd
Current assignee: Orad Hi Tec Systems Ltd
Priority date: 1997-09-12
Filing date: 1998-08-28
Publication date: 2004-08-12
Anticipated expiration: 2018-08-29
Also published as: EP1013080A1; GB2329292A; WO1999014939A1; DE69819181D1; EP1013080B1; US6559884B1; AU8874998A; GB9719379D0

Description

Die Erfindung bezieht sich auf ein virtuelles Studio und insbesondere auf ein Positionserfassungssystem für solch ein Studio. In virtuellen Studiosystemen wird ein Chromakeyhintergrund bereitgestellt, vor dem ein Auftretender steht. In dem Fernsehbild, das von einem Betrachter gesehen wird, ist der Chromakeyhintergrund durch eine virtuelle Szene ersetzt. Solch ein System wird in der PCT-Patentanmeldung Nr. WO 95/30312 des vorliegenden Anmelders beschrieben.
In dem obigen bekannten System ist die Position der Kamera durch Verwendung eines codierten Musters auf dem Chromakeyhintergrund berechenbar. Dies ermöglicht es, die Position der Kamera sowie ihre Orientierung und die Objektivvergrößerung kontinuierlich zu berechnen, und dadurch kann die Perspektive des virtuellen 3D-Hintergrunds korrekt eingestellt werden, um zu der Kameraposition zu passen.
Dies funktioniert perfekt bei Kameras, die einen festen Fokus und eine feste Vergrößerung oder eine feste Position aufweisen, aber es können Probleme in Situationen auftreten, in denen der Kameramann frei ist, gleichzeitig die Kameraposition und die Objektivvergrößerung zu verändern. Wenn z. B. die optische Achse der Kamera senkrecht (oder nahezu senkrecht) zu der gemusterten Wand verläuft, sind Änderungen bei dem aufgenommenen Muster aufgrund einer Vergrößerungsänderung des Objektivs und aufgrund einer Änderung des Abstands der Kamera von der Wand identisch (oder nahezu identisch), und das System kann die korrekte Lösung aus dem aufgenommenen Muster nicht extrahieren.
Das System der WO 95/30312 arbeitet auch gut, wenn vorausgesetzt ist, dass das Hintergrundpaneel ein gemustertes Chromakeypaneel ist. Das System arbeitet jedoch nicht, wenn ein normaler Studio- oder Bühnenaufbau mit einem realen Hintergrund verwendet wird. So kann, falls es erwünscht ist, ein virtuelles 3D-Objekt in einem normalen Bühnenaufbau zu positionieren, dies nur bei einer statischen Kamera geschehen, weil die Position der Kamera relativ zu der Bühne nicht berechnet werden kann, wenn sich die Kamera bewegt.

1. Die US 5,227,985 offenbart ein System zum Berechnen der Position und Orientierung eines starren Körpers bezüglich einer Kamera mit fester Position unter Verwendung eines Felds von Quellen für sichtbares Licht an dem starren Körper.
2. Die DE 9,418,382 offenbart ein System zum Integrieren von Bildern von demselben Kamerablickpunkt in ein einziges Bild.
3. Die WO 96/32697 offenbart ein Videoproduktionssystem mit einem virtuellen Studioaufbau, bei dem die Position und die Orientierung einer Kamera durch ein magnetisches Verfolgungssystem bereitgestellt werden.

Es ist ein erster Gegenstand der vorliegenden Erfindung, das Berechnen der Position einer Kamera in einem normalen Bühnenaufbau zu ermöglichen, wobei der Bühnenaufbau einen realen Hintergrund aufweisen kann.
Es ist ein weiterer Gegenstand, es zu ermöglichen, dass virtuelle 3D-Objekte in einem normalen Bühnenaufbau positioniert werden können.
Die vorliegende Erfindung stellt einen weiteren Gegenstand bereit, um es Auftretenden, die Vordergrundobjekte darstellen, zu ermöglichen, Farben zu tragen, die anderenfalls mit normalen Chromakeyhintergrundpaneelen kollidieren würden. So können, angenommen, dass ein Chromakeyhintergrundpaneel in einer Anordnung wie bei der WO 95/30312 eine Kombination von hellen und dunklen blauen Mustern bei einer solchen bisherigen Anordnung ist, die Auftretenden kein blau tragen, was extrem beschränkend ist.
Bei der vorliegenden Erfindung können die Auftretenden jede Farbe tragen, und der reale Hintergrundaufbau kann jede Farbe haben.
Der reale Hintergrundaufbau muss nicht flach sein.
Gemäß der vorliegenden Erfindung wird eine Mehrzahl von LEDs in einem realen Hintergrundaufbau positioniert, wobei die LEDs ein Muster ausbilden, das von einer anfänglichen Messung der Position jeder LED bekannt ist.
Die LEDs arbeiten vorzugsweise im nicht sichtbaren Spektrum, so dass sie durch eine normale Videokamera nicht detektierbar sind.
Die LED-Ausgaben werden von einer Detektorkamera detektiert, die an einer Fernsehkamera gelagert ist, wobei das von den LEDs gebildete Muster verwendet wird, um die Position der Fernsehkamera zu berechnen.
Die vorliegende Erfindung stellt deshalb ein System der virtuellen Realität für eine Szene mit einem realen dreidimensionalen Hintergrundbild bereit, wie es im Anspruch 1 beansprucht ist.
Vorzugsweise weist die Detektorvorrichtung eine Detektorkamera auf, die vorzugsweise justiert ist, um zu der Kamera ausgerichtet zu sein.
In einer bevorzugten Ausführungsform arbeiten die LEDs im infraroten Bereich bei einer Frequenz außerhalb des Frequenzbereichs der Fernsehkamera.
Vorzugsweise emittiert jede LED Licht in codierter Form, wodurch jede Lichtquelle individuell identifizierbar ist.
Vorzugsweise sind die LEDs sämtlich in einer Ebene oder in einer Mehrzahl von Ebenen angeordnet.
Die reale Szene kann eine Szene sein, die auf einen Hintergrund aufgemalt ist, wie es in Theatern üblich ist, oder sie kann ein tatsächlicher Ort sein.
Die Hintergrundszene kann jede Farbe oder Kombination von Farben haben.
Eine Mehrzahl von Fernsehkameras kann vor der Hintergrundszene angeordnet werden, wobei jede Kamera mit einer Detektionsvorrichtung versehen ist.
Die Erfindung stellt weiterhin ein Verfahren zum Erzeugen eines kombinierten Videobilds bereits, das eine von einer Fernsehkamera betrachtete reale Hintergrundszene aufweist, wie es in Anspruch 7 beansprucht ist.
Ausführungsformen der vorliegenden Erfindung werden jetzt unter Bezugnahme auf die beigefügten Zeichnungen beschrieben werden, in denen:
1 schematisch eine reale Hintergrundszene mit zwei Kameras zeigt, die positioniert sind, um die Hintergrundszene zu fotografieren oder zu filmen;
2 eine schematische Darstellung eines alternativen Studioaufbaus in der Draufsicht zeigt;
3 den Studioaufbau gemäß 3 im Aufriss zeigt;
4 ein Blockschaltbild der Schaltungen zeigt, die für das Zweikamerasystem gemäß 1 geeignet sind;
5 Codiersequenzen zeigt, die für die LEDs geeignet sind;
6 die Szene gemäß 4 in der Draufsicht zeigt, und
7 eine alternative Hintergrundszene im Aufriss zeigt.
Bezugnehmend jetzt auf die Zeichnungen zeigt 1 in schematischer Form einen Studioaufbau 10, der einen Hintergrundbehang 12 und mögliche Seitenbehänge 14, 16 aufweist. Diese Behänge können wie bei Bühnenaufbauten üblich, bemalte Behänge aufweisen, oder sie können tatsächliche reale Objekte, wie beispielsweise Treppen aufweisen.
In der Ausführungsform gemäß 1 soll der Aufbau flache Hintergrund- und Seitenbehänge aufweisen, aber es könnten auch reale Aufbauten mit festen Objekten verwendet werden, wie den 2 und 3 zu entnehmen ist.
Bezugnehmend auf 1 wird der Aufbau durch eine oder mehrere Kameras 20, 22 betrachtet. Sowohl die erste als auch die zweite Kamera 20 bzw. 22 ist mit LEDs A und B (200, 220) versehen.
Eine erste und eine zweite statische Kamera 30 bzw. 32 sind vorzugsweise oberhalb des gezeigten Aufbaus gelagert vorgesehen. Sie können an Schienen 300, 320 gelagert sein, um longitudinal und auch bezüglich ihres Blickwinkels einstellbar zu sein.
Das Betreiben der LEDs A und B und der Kamera 30, 32 dient dazu, die Position der Kameras 20 und 22 in der x-, der y- und der z-Ebene zu identifizieren und zu verfolgen. Diese Operation ist in der parallel anhängigen britischen Patentanmeldung Nr. 97 02 636.3 des vorliegenden Anmelders beschrieben, auf die Bezug genommen werden sollte bezüglich der Berechnung der Position der Kameras 20, 30 relativ zu dem Aufbau 10. Der technische Inhalt dieser früheren Anmeldung wird hier auf dem Wege der technischen Erklärung einbezogen.
In dieser parallel anhängigen Patentanmeldung sowie in der PCT-Nr. WO 95/30312 weist der "Hintergrundbehang" ein Chromakeypaneel auf, das mit einem Muster versehen ist, das es ermöglicht, die Perspektive des Kamerablickfelds relativ zu den Paneelen kontinuierlich zu berechnen. Bezüglich der Berechnung der Perspektive wird auf die PCT-Nr. WO 95/30312 Bezug genommen, deren technischer Inhalt hier auf dem Wege der technischen Erklärung einbezogen wird.
Beide vorherigen Erfindungen haben ein praktisches Problem, weil beide erfordern, dass die Hintergrundpaneele Chromakeypaneele sind. Dies verhindert es, reale Aufbauten zu verwenden, und es hindert Auftretende, die Vordergrundobjekte darstellen, auch daran, Farben zu tragen, die dieselben sind, wie diejenigen der Chromakeypaneele.
Bei der vorliegenden Erfindung weist der Aufbau, wie in 1 gezeigt ist, ein Hintergrundpaneel auf, das aufgemalte reale Ansichten/Szene trägt. Diese sind als Beispiel durch Bäume 120, 122 wiedergegeben.
Bei der vorliegenden Erfindung ist eine Mehrzahl von weiteren LEDs 130 in dem Paneel angeordnet. Wenn das Paneel ein flaches Paneel ist, dann können die LEDs in die Oberfläche des Paneels eingelassen sein. Wenn das Paneel wie in 1 ein Hintergrundpaneel 12 und zwei Seitenpaneele 14, 16 aufweist, dann sind die LEDs 130 vorzugsweise innerhalb solcher Paneele angeordnet.
Jede LED kann identisch sein, aber jede LED wird vorzugsweise in einer codierte Abfolge geschaltet, wodurch ihre Identität lesbar gemacht wird. Jede LED arbeitet vorzugsweise im Infrarotbereich, um dadurch für das Auge oder die Kameras 20, 22 nicht sichtbar zu sein.
Jede Kamera 20, 22 ist vorzugsweise mit einer Infrarotkamera 202, 222 ausgestattet, die zu der Kamera 20 bzw. 22 justiert ist (d. h. zu der Hauptfokusachse ausgerichtet ist). Die Kameras 202, 222 stellen ein Bild des Felds der LEDs 130 bereit, wobei die Anzahl der abgebildeten LEDs von dem Abstand abhängt, den die Kamera 20, 22 von dem Paneel 12, 13, 16 entfernt ist.
Um in der Lage zu sein, die Position und die Perspektive der Kamera 20, 22 relativ zu dem Paneel korrekt zu analysieren, muss eine Mehrzahl von LEDs abgebildet werden. So ist, wenn von der Kamera vorauszusetzten ist, dass sie nur einen Teil des Paneels zeigt, eine größere Anzahl von LEDs erforderlich. Im allgemeinen werden sieben LEDs als ausreichend angesehen, und deshalb kann ein Paneel zwischen sieben (7) und dreißig (30) oder mehr LEDs aufweisen, um korrekte Ausrichtungsberechnungen sicherzustellen.
Das System kann auch mit einem Theateraufbau arbeiten, wie er in den 2 und 3 gezeigt ist.
In den 2 und 3 weist der Aufbau eine im allgemeinen kreisförmige Bühne 500 (oder eine außer-Haus-Anordnung) mit zwei Pfeilern 502, 504 und Stufen 506, 508, 510 auf.
Die LEDs 130 sind in einer Ebene angeordnet, aber die Ebene weist Teile der Stufen 510 und der Pfeiler 502, 504 auf, wie in 3 gezeigt ist.
Unter Bezugnahme auf 2, sind die den Stufen 510 zugeordneten LEDs wie gezeigt etwas vor den Stufen angeordnet. Dies dient dazu, eine Ebene der LEDs zu etablieren, selbst wenn kein aktuelles Stück des Szenenbilds an diesem genauen Punkt existiert.
Es ist auch möglich, die LEDs auf den Seitenstufen 506, 508 zu positionieren, vorausgesetzt, dass der Winkel zwischen den Seitenstufen und der Hauptebene der LEDs, die bei 502, 504 und den Stufen 510 gefunden werden, bekannt ist. Durch mathematische Winkelanalyse kann die Position der LEDs 130 in beiden Ebenen bestimmt werden, wie es auch für LEDs bei den Stufen 508 der Fall sein kann.
So können in dem Fall der 1 und 2, 3 virtuelle Objekte, wie beispielsweise ein Tisch 132, Stühle 134, 136 (1) oder ein Auto 138 wie in 3 positioniert werden. Es ist in gleicher Weise möglich, animierte Objekte oder Anzeigen in ausgewählten Bereichen zu positionieren, und für diese ist es möglich, sich natürlich in neue Positionen zu bewegen, wenn sich die Kameras 20, 22 bewegen.
Unter Bezugnahme jetzt auf 4 werden die Eingaben von den Kameras 30, 32, 202, 222 in eine Computereinheit 400 und eine Verfolgungseinheit 402 gegeben. Die Einheit 400 kann zwischen den Kameras 20, 22 umschalten, um Positionsinformationen für eine oder beide Kameras bereitzustellen.
Die Einheit 400 puffert die Eingabe von den Kameras 30, 32 um eine Ausgabe an die Verfolgungseinheit 402 bereitzustellen, die auf der Leitung 4022 ein Ausgabesignal von den Überkopfkameras 30, 32 bereitstellt, das einer Positionserfassungseinheit 4 zugeführt wird, deren Ausgabe auf der Leitung 4042 x-y- und z-Koordinaten für jede Kamera 20 bzw. 22 bereitstellt. Bezug genommen wird hier für eine weitere Erklärung der Berechnung der Kamerakoordinaten auf die oben erwähnte parallel anhängige britische Patentanmeldung.
Die Ausgaben der Kameras 202, 222 weisen eine Karte der LEDs 130, wie sie gesehen werden, auf, und diese Ausgaben werden auf der Leitung 4024 an eine Kameradrehung-/-neigungs-/-verkippungsberechnungseinheit 406 gegeben; diese Einheit empfängt auf der Leitung 4042 zudem die x-, y- und z-Koordinaten. Die Ausgabe der Einheit 406 wird auf einer Leitung 4062 einer Perspektiventransformationseinheit 408 zugeführt, die auf einer Leitung 4082 auch die Kameravergrößerungs-/-fokussensorinformationen von jeder Kamera 20, 22 empfängt.
Eine Mehrzahl von virtuellen Objekten/Animationen ist in einem geeigneten Speicher 410 gespeichert, und hiervon ausgewählte werden durch eine Einheit 408 auf der Leitung 4102 in die korrekte Perspektive transformiert, um mit der Kameraausgabe 20, 22 kombiniert zu werden, um eine zusammengesetzte Bildausgabe zu bilden, so dass der Betrachter den realen Aufbau mit realen Objekten und darin auch positionierten virtuellen Objekte sieht. Eine Graphikeinheit 412 kann zudem graphische Informationen auf eine Leitung 4122 geben, um in der kombinierten Videoausgabe zu erscheinen. Geeignete Steuersysteme, wie beispielsweise eine Tastatur 414 oder ein Joystick 416 können verwendet werden, um die Positionierung der virtuellen Objekte oder Graphiken auf dem Bildschirm zu steuern. Die Ausgaben der Einheit 408 werden einer kombinierten Chromakeyeinheit 480 auf Leitungen 4082, 4084 und 4086 zugeführt, so dass die eingesetzten virtuellen Objekte wie folgt in der korrekten Perspektive, Position und Größe mit dem Vordergrundvideo kombiniert werden können.
Die Ausgabe jeder Kamera wird auf Leitungen 2022, 2222 zu einem Umschalter 420 geführt, der es ermöglicht, dass die Ausgabe einer ausgewählten Kamera 20 oder 22 von dem Produzenten eines Programms verwendet wird. Die Ausgabe der ausgewählten Kamera, die über den Umschalter 420 auf einer Leitung 422 zugeführt wird, wird von einer Verzögerungsschaltung 422 verzögert, wobei die Verzögerung auf die Verzögerung bei der Berechnung der Kameraposition/-orientierung über die Einheiten 400 bis 408 entspricht, wodurch sichergestellt wird, dass die Vordergrundinformationen und jegliche virtuellen Einsetzungsinformationen in der korrekten Abfolge in der Kombinierereinheit 418 miteinander kombiniert werden.
Der Vorteil des Systems gemäß der vorliegenden Erfindung ist, dass virtuelle Objekte innerhalb eines realen Aufbaus positioniert werden können, weil, da die Größe und die Perspektive der virtuellen Objekte und auch ihre Position relativ zu dem Aufbau bekannt sind, die virtuellen Objekte innerhalb des Aufbaus positioniert werden können. Wenn das Objekt vor einem Teil des Aufbaus liegt, dann wird es den Aufbau verdecken, und wenn es dahinter liegt, wird es durch den Aufbau verdeckt werden.
Bezugnehmend jetzt auf 5 sind vereinfachte digitale Codes gezeigt, um eine bevorzugte Ausführungsform zu illustrieren. Bei dieser Ausführungsform sind nur vier Codes a), b), c) und d) gezeigt. Jede LED wird durch eine Steuereinheit 424 gesteuert, um gemäß einem definierten Code geschaltet zu werden.
In 5 sind vier digitale Codes gezeigt 10000000, 10100000, 10010000 und 101010100. Offensicht können andere Kombinationen ausgewählt werden, um für eine Mehrzahl von LEDs bereitgestellt werden, von denen alle durch die Einheit 400 identifizierbar sind.
Die Position jeder LED 130 muss in dem realen Aufbau bekannt sein, und dies kann dadurch erreicht werden, dass die Kamera 20 in eine feste bekannte Position mit bekanntem Fokus und bekannter Vergrößerung bewegt wird, und dass dann die Position jeder LED unter Bezugnahme auf die Ausgabe des Kamera 202 berechnet wird. Alternativ können die LEDs in bekannten Positionen angeordnet werden.
Unter Bezugnahme auf die 6 und 7 kann der Vorteil der vorliegenden Erfindung bei einem Bühnenaufbau 600 gesehen werden, der einen Haupthintergrundbehang 602 und erste und zweite Seiten-(Flügel-)behänge 604, 606 und dritte und vierte Seiten-(Flügel)behänge 608, 610 aufweist.
Jeder Behang 602 bis 610 kann bemalt sein, wie es bei Bühnenaufbauten üblich ist.
Auf jedem Behang 602 bis 610 kann eine Anzahl von LEDs positioniert sein. Jene auf dem Behang 602 sind mit 130 bezeichnet, und jede auf den Behängen 604, 606 sind mit 130', und jene auf den Behängen 608, 610 sind mit 130'' bezeichnet.
Jede LED hat eine codierte Ausgabe im Infrarotbereich, die nicht nur ihre Position in dem Behang 602, 604, 606, 608 bzw. 610 bestimmt, sondern auch in welchem Behang sie angeordnet ist. So kann das Computerprogramm die Position der Kamera unter Bezugnahme auf die LEDs in mehr als einer Ebene bestimmen.
Ein Vorteil ist hier, dass Auftretende von den Flügeln her durch Öffnungen, welche durch Pfeile 612, 614 angezeigt sind, in der üblichen Weise eintreten und abtreten können, und dass virtuelle Objekte dazu gebracht werden können, einzutreten und abzutreten. Deshalb ist das System viel universeller als bisher bekannte Chromakeysysteme.
Bei einer weiteren Ausführungsform, wie sie in 1 illustriert ist, sind zwei LEDs 221, 223 an den Kameras 20, 22 parallel zu der optischen Achse 225 der Kamera gelagert. Zur Vereinfachung der Erklärung wird nur die Kamera 22 beschrieben. Dies ermöglicht es, die Position und die Drehung/Neigung der Kamera zu messen.
Um Informationen über die Vergrößerung und den Fokus der Kamera zu erhalten, sind Sensoren an dem Objektiv montiert. Alternativ kann die Ausgabe von Objektivpotentiometern, die bei vielen Standardstudioobjektiven vorliegen, gelesen werden, um Informationen über den Vergrößerungs-/Fokusstatus der Kamera zu erhalten.
Zusätzlich kann durch Montieren von drei weiteren LEDs 227, 229, 231 an der Kamera in einem Dreieck die Verkippung der Kamera detektiert werden, wodurch es ermöglicht wird, schultergestützte Kameras zu verwenden.
Die Ausgabe der zusätzlichen LEDs 221, 223, 227, 229 und 231 werden vorzugsweise codiert, um eine korrekte Identifikation durch die Positionserfassungsausrüstung sicherzustellen, um es zu ermöglichen, die Position und die Drehung/NeigungNerkippung der Kamera korrekt zu messen.
Wenn mehr als eine Kamera verwendet wird, dann können alle Kameras so ausgerüstet werden.

Claims

System der virtuellen Realität für eine Szene mit einem realen dreidimensionalen Hintergrundbild, wobei das System eine Fernsehkamera (20), die eine Videoausgabe der Szene bereitstellt, und eine Hilfsdetektionseinrichtung (202), die an der Fernsehkamera (20) montiert ist, aufweist, wobei in dem System eine Mehrzahl von Licht emittierenden Einrichtungen (Light Emitting Devices = LEDs) (130) in bekannten festen Positionen an relevanten Teilen des realen dreidimensionalen Hintergrundbilds oder in bekannter fester Relativbeziehung relativ zu den relevanten Teilen des realen dreidimensionalen Hintergrundbilds befestigt ist, um ein definiertes Feld auszubilden, und wobei das System elektronische Detektionsmittel (402, 406, 408) aufweist, die an die Detektionseinrichtung angeschlossen sind, wobei die Detektionsmittel Positionserfassungsanalysemittel (408) zum Analysieren der Perspektive des definierten Felds aufweisen, so wie es von der Detektoreinrichtung detektiert wird, um einen Positionsauslesewert bereitzustellen, der die Position der Fernsehkamera (20) relativ zu dem realen dreidimensionalen Hintergrundbild und die Position jeder LED aus der Mehrzahl von LEDs relativ zu der Fernsehkamera definiert, wodurch die Position jedes der relevanten Teile des realen dreidimensionalen Hintergrundbilds definiert wird, und wobei das System einen Speicher (410) für virtuelle Objekte, eine Perspektiventransformationseinheit und eine Kombinierereinheit (418) aufweist, wobei der Positionsauslesewert von den Positionserfassungsanalysemitteln an die Perspektiventransformationseinheit angeschlossen ist, um einen Transformationswert bereitzustellen, wobei der Speicher für virtuelle Objekte über die Perspektiventransformationseinheit an die Kombinierereinheit angeschlossen ist, um die Perspektive und die Größe eines virtuellen Objekts, das in die Kombinierereinheit einzusetzen ist, zu transformieren, und wobei die Videoausgabe der Szene, die von der Videokamera bereitgestellt wird, an die Kombiniererschaltung angeschlossen ist und wobei die Kombinierereinheit als Ausgabe ein kombiniertes Videobild bereitstellt, in dem das virtuelle Objekt in der Szene angeordnet und in dem realen dreidimensionalen Hintergrundbild relativ zu der Kamera in solcher Weise beweglich ist, so dass es von einem Betrachter realistisch gesehen werden kann, wie es vor oder hinter einem Teil des realen dreidimensionalen Hintergrundbilds erscheint und wie es von einem Teil des realen dreidimensionalen Hintergrundbilds verdeckt wird, so wie es der Fall wäre, falls das virtuelle Objekt tatsächlich ein reales Objekt innerhalb des realen dreidimensionalen Hintergrundbilds wäre, wobei die Hilfsdetektoreinrichtung (202) eine Detektorkamera aufweist, die justiert ist, um zur Kamera (20) ausgerichtet zu sein, wobei die LEDs (130) im Infrarotbereich bei einer Frequenz außerhalb des Frequenzbereichs der Kamera arbeiten und wobei jede LED (130) Licht in einer codierten Form emittiert, wodurch jede Lichtquelle individuell identifizierbar ist.
Kamerapositioniersystem nach Anspruch 1, wobei die LEDs (130) sämtlich in einer Ebene oder in einer Mehrzahl von Ebenen angeordnet sind.
Kamerapositioniersystem nach Anspruch 2, wobei die reale Szene (12) eine Szene ist, die auf einen Hintergrund aufgemalt ist, wie er in Theatern verwendet wird, oder ein tatsächlicher Ort ist.
Kamerapositioniersystem nach einem der Ansprüche 1 bis 3, wobei eine Mehrzahl von Fernsehkameras (20, 22) vor der Hintergrundszene angeordnet ist, wobei jede Kamera mit einer detektierenden Einrichtung (202, 222) versehen ist.
Kamerapositioniersystem nach einem der Ansprüche 1 bis 4, das weiterhin zwei LEDs (221, 223) aufweist, die auf jeder Kamera in Positionen parallel zu der optischen Achse der Kamera montiert sind, um die Position und die Drehung/Neigung jeder Kamera messbar zu machen.
Kamerapositioniersystem nach einem der Ansprüche 1 bis 5, wobei drei weitere LEDs (227, 229, 231) auf jeder Kamera in einem Dreieck montiert sind, um die Verkippung der Kamera messbar zu machen.
Verfahren zum Erzeugen eines kombinierten Videobilds, das eine reale dreidimensionale Hintergrundszene aufweist, die von einer Fernsehkamera (20) betrachtet wird, welche eine Videoausgabe der Szene bereitstellt, wobei eine Hilfsdetektionseinrichtung (202) an der Fernsehkamera (20) montiert ist, wobei das Verfahren umfasst: Positionieren einer Mehrzahl von Licht emittierenden Einrichtungen (LEDs) (130), die in bekannten festen Positionen an relevanten Teilen des dreidimensionalen Hintergrundbilds oder in bekannter fester Beziehung relativ zu den relevanten Teilen des realen dreidimensionalen Hintergrundbilds zu montieren sind, um ein definiertes Feld auszubilden, und Einschließen von elektronischen Detektionsmitteln (402, 406, 408), die an die Detektionseinrichtung angeschlossen sind, wobei in dem Verfahren, die Detektionsmittel Positionsertassungsanalysemittel (408) zum Analysieren der Perspektive des definierten Felds, so wie es von der Detektoreinrichtung detektiert wird, aufweisen, um einen Positionsauslesewert bereitzustellen, der die Position der Fernsehkamera (20) relativ zu dem realen dreidimensionalen Hintergrundbild und die Position jeder LED aus der Mehrzahl von LEDs relativ zu der Fernsehkamera definiert, wodurch die Position von jedem der relevanten Teile des realen dreidimensionalen Hintergrundbilds definiert wird, und Bereitstellen eines Speichers (410) für virtuelle Objekte, einer Perspektiventransformationseinheit und einer Kombinierereinheit (418), wobei das Positionsauslesesignal von den Positionsertassungsanalysemitteln an die Perspektiventransformationseinheit angeschlossen wird, um einen Transformationswert bereitzustellen, wobei der Speicher für virtuelle Objekte über die Perspektiventransformationseinheit an die Kombinierereinheit angeschlossen wird, um die Perspektive und die Größe eines virtuellen Objekts, das in die Kombinierereinheit einzusetzen ist, zu transformieren, und wobei die Videoausgabe der Szene, die von der Fernsehkamera bereitgestellt wird, an die Kombiniererschaltung angeschlossen wird, wobei in dem Verfahren die Kombiniererschaltung eine Ausgabe eines kombinierten Videobilds bereitstellt und wobei in dem Verfahren das virtuelle Objekt so in der Szene positioniert wird und in dem realen dreidimensionalen Hintergrundbild relativ zu der Kamera in solcher Weise beweglich ist, dass es von einem Betrachter realistisch gesehen werden kann, wie es vor oder hinter einem oder mehreren der relevanten Teile des realen dreidimensionalen Hintergrundbilds erscheint und wie es durch einen oder mehrere Teile des realen dreidimensionalen Hintergrundbilds verdeckt wird, so wie es der Fall wäre, falls das virtuelle Objekt tatsächlich ein reales Objekt wäre, das von dem realen dreidimensionalen Hintergrundbild umfasst wird, wobei die Hilfsdetektoreinrichtung (202) eine Detektorkamera aufweist, die justiert wird, um zu der Kamera (20) ausgerichtet zu sein, wobei die LEDs (130) im Infrarotbereich bei einer Frequenz außerhalb des Frequenzbereichs der Kamera arbeiten und wobei jede LED (130) Licht in codierter Form emittiert, wodurch jede Lichtquelle individuell identifizierbar ist.