-
Diese Erfindung betrifft ein optisches Navigations- und Positionierungssystem, das für die Verwendung mit Kameras geeignet ist, und insbesondere, aber ohne Einschränkung, optische Navigationssysteme für Kameras, die in Film- und Fernsehfilmumgebungen, wie z.B. in Studios, am Drehort oder in Außenstudios, verwendet werden.
-
Videokameras werden häufig in Studios verwendet und sind heutzutage oft mit Computer Generated Imagery (CGI)-Systemen integriert, durch die computergenerierte Bilder mit dem tatsächlich aufgenommenen Material zusammengesetzt werden können, um ein erweitertes Bild im ausgegebenen Video zu erzeugen. Die Verwendung von CGI ist extrem weit verbreitet und ersetzt in vielen Film- und Fernsehproduktionen die Verwendung von physischen „Sets“ und Kulissen. CGI bietet eine Reihe von Vorteilen gegenüber traditionellen Sets, was Realismus, Vielseitigkeit und Kosten betrifft. Wenn die Kamera statisch ist, ist es relativ einfach, das aufgenommene Filmmaterial mit CGI-Bildern zusammenzusetzen, um die endgültige gerenderte Aufnahme zu erstellen.
-
Wenn sich die Kameras jedoch am Set bewegen müssen, so wie beim Schwenken und Tracken z.B., muss die CGI-Compositing-Software die genaue Position der Kamera relativ zu festen Punkten kennen, um realistische CGI-Aufnahmen zu erstellen. Wenn die Position der Kamera nicht genau bekannt ist, kann die CGI-Software z.B. Perspektive, Maßstab und Schatten nicht realistisch rendern, was die Bildqualität des zusammengesetzten Videomaterials verschlechtern kann.
-
Bestehende CGI-Systeme werden daher in die Kamerahalterungen integriert, die Trackinggeräte umfassen, sodass die momentanen Positionen der Kameras in die CGI-Software eingespeist werden können, um das Rendern präziser CGI-Aufnahmen zu erleichtern. Bestehende Kamera-Tracking-Systeme umfassen digitale Encoder, die Gierung, Neigung und Drehung der Kamera, ihre Brennweite, Zoomeinstellung usw. überwachen. Bestehende Kamera-Tracking-Systeme können zusätzlich Kugel-Tracker umfassen, die eine Kugel haben, die über den Boden rollt, wobei die Drehung dieser mit Hilfe von Encodern überwacht wird, um den Standort der Kamera durch Koppelnavigation zu bestimmen. Durch die Montage einer Vielzahl von Kugel-Trackern an der Halterung einer Kamera ist es möglich, die Position und Drehung der Halterung z.B. relativ zu einem Studioboden zu berechnen.
-
Kugel-Tracker müssen jedoch regelmäßig neu kalibriert werden, da sie dazu neigen, zu „driften“, d.h. unzuverlässige Daten zu liefern, falls eine der Kugeln auf der Bodenoberfläche rutscht. Im Laufe der Zeit muss daher jede Kamera in Intervallen in eine bekannte Position zurückgebracht und „zurückgesetzt“ werden, damit die akkumulierten Fehler und Drift in den Messungen ihres Kugel-Trackers „ausgeglichen“ werden können. Die Tatsache, dass die Positionsmessung der Kamera anfällig für Fehler und Drift ist, macht Kugel-Tracker in vielen Aufnahmesituationen unzuverlässig oder zumindest unzureichend robust.
-
Eine bekannte Alternative zu mechanischen Messtechniken, wie z.B. Kugel-Trackern, ist, optische Navigationssysteme zu nutzen, bei denen eine spezielle Kamera die Studiodecke nach vorher platzierten Markierungen oder Zielen absucht. Die Pixelpositionen der Markierungen in den Bildern der auf die Decke gerichteten Kamera können auf ein 3D-Computermodell des Studios oder das 3D-Modell der Markierungen abgebildet werden, um zu erlauben, dass der Standort der Kamera präzise trianguliert wird. Optische Navigationssysteme dieser Art sind im Allgemeinen zuverlässiger als Kugel-Tracker, da sie nicht anfällig für Drift sind und die Positionen der Markierungen im Raum fixiert sind. Bestehende optische Navigationssysteme sind jedoch auf die exakte Platzierung der Markierungen und die genaue Einfügung der Position jeder Markierung in das 3D-Modell angewiesen: Selbst kleine Ungenauigkeiten können zu großen Fehlern in der berechneten Position der Kamera führen. Daher müssen für bestehende optische Navigationssysteme für Kameras Markierungen auf einem genauen Rastersystem installiert werden, was mit Hilfe spezieller Vermessungsgeräte, wie z.B. Theodoliten, durchgeführt werden muss. In den meisten Fällen funktionieren bestehende optische Navigationssysteme relativ gut, aber in einer Studioumgebung, in der die Deckenbeleuchtung usw. regelmäßig angepasst wird und in der die Wahrscheinlichkeit von Kollisionen zwischen den Deckenmarkierungen und Kränen oder Technikern, die z.B. Leuchten oder andere an der Decke hängende Geräte umordnen, hoch ist, können sie fehleranfällig sein.
-
Es besteht daher ein Bedarf an einem optischen Navigationssystem, das nicht auf einem absoluten Bezugssystem beruht, sondern eines, das „natürliche Markierungen“, wie z.B. vorhandene Merkmalen der Decke eines Raumes, benutzen kann und das sich an Änderungen des Bezugssystems anpassen kann.
-
Nicht-absolute optische Navigationssysteme sind auch bekannt, die sich des sogenannten „SLAM“ (Simultaneous Localization and Mapping) bedienen, wodurch ein dreidimensionales Modell eines Raumes, das beispielsweise auf einer Reihe von Bildern der Raumdecke basiert, sich selbst kalibrieren und aktualisieren kann, wenn sich die Kamera umherbewegt. Im Allgemeinen funktioniert SLAM, indem es misst, wie sich der Winkel mehrerer interessierender Punkte in einem Bild relativ zueinander verschiebt, wenn sich der Blickpunkt bewegt. Die Winkel werden berechnet, indem die Pixelpositionen der interessierenden Punkte im Bild mit den mittleren Pixelpositionen verglichen werden, wobei davon ausgegangen wird, dass sie ungefähr auf der optischen Achse des Blickpunktes liegen, um Vektoren zu den interessierenden Punkten zu erhalten. Anstatt sich auf einen bildbasierten (Bitmap-)Analyseprozess zu verlassen, wie es bei absoluten optischen Navigationssystemen der Fall ist, bauen SLAM-Systeme ein dreidimensionales Modell auf, das auf Vektorwinkeln basiert, das wesentlich genauer ist und nicht nur die Position der Kamera auf dem Boden (X & Y-Koordinaten), sondern auch ihre Drehung relativ zum Raum und ihre Höhe (Y-Koordinate) tracken kann. SLAM-Systeme können sehr genau sein.
-
Ein Problem, das besonders bei SLAM-Systemen, die in Studiofilmumgebungen eingesetzt werden, auftritt, ist die „Blendung“ der zur Decke gerichteten optischen Navigationskamera durch die Setbeleuchtung. Filmsetbeleuchtung neigt dazu, sehr hell zu sein, was die sichtbaren Merkmale, die zur Decke gerichtete SLAM-Systeme benötigen, um effektiv zu arbeiten, auslöschen kann.
-
Daher besteht ein Bedarf an einem verbesserten und/oder alternativen optischen Navigationssystem, das eines oder mehrere der oben genannten Probleme löst oder überwindet.
-
Gemäß einem ersten Aspekt der Erfindung wird ein optisches Navigationssystem bereitsgestellt, das eine Kamera umfasst, die so ausgerichtet ist, dass sie auf eine Vielzahl von Markierungen gerichtet ist, die sich an von der Kamera beabstandeten Stellen befinden, sowie Berechnungsmittel, die angepasst sind, in einer Reihe von durch die Kamera aufgenommenen Bildern die Pixelpositionen der Markierungen zu überwachen, wobei das optische Navigationssystem zusätzlich Mittel zur Erstellung eines dreidimensionalen Modells der Position und Orientierung der Kamera relativ zu den Markierungen umfasst, indem Änderungen der relativen Positionen der Markierungen in den aufgenommenen Bildern überwacht werden, um durch Überwachen von Änderungen der scheinbaren Perspektive der Markierungen, die Änderungen der Orientierung und Position der Markierungen anzeigen, zu bestimmen.
-
Entsprechend werden die Markierungen zufällig platziert oder positioniert, d.h. nicht präzise ausgemessen.
-
Die Erfindung stellt also ein optisches Navigationssystem bereit, das irgendwo zwischen ein präzises Triangulationssystem, bei dem die Markierungen an präzisen und bekannten Stellen angebracht werden, und ein SLAM-System fällt, das natürliche Merkmale wie die Ecken eines Raumes oder Deckenmerkmale nutzt, um die Position und/oder den Standort der Kamera zu bestimmen. Die Erfindung bietet dagegen eine Lösung, die irgendwo zwischen diese Extreme fällt und die es ermöglicht, zufällig platzierte Markierungen zur Verbesserung der Effektivität von SLAM zu verwenden, ohne dass die Markierungen genau platziert werden müssen, wie es bei einem Triangulationssystem der Fall ist. In bestimmten Ausführungsformen überwindet die Erfindung daher einen oder mehrere der Nachteile bekannter Systeme, wie oben beschrieben.
-
Gemäß einem zweiten Aspekt der Erfindung wird ein optisches Navigationssystem bereitgestellt, das eine Kamera umfasst, die so ausgerichtet ist, dass sie auf eine Vielzahl von Markierungen gerichtet ist, die sich an von der Kamera beabstandeten Stellen befinden, sowie Berechnungsmittel, die angepasst sind, einen Winkel zu berechnen, der zwischen Paaren von Markierungen aufgespannt ist, wobei die aufgespannten Winkel durch Überwachung der Pixelpositionen der Markierungen in einer Reihe von Bildern berechnet werden, die von der Kamera aufgenommen wurden, wobei das optische Navigationssystem zusätzlich Mittel zur Erzeugung eines dreidimensionalen Modells umfasst, wodurch die Position der Kamera relativ zu den Markierungen durch Triangulation der aufgespannten Winkel in dem dreidimensionalen Modell bestimmt wird.
-
Ein dritter Aspekt der Erfindung stellt ein optisches Navigationssystem bereit, das eine Kamera umfasst, die so ausgerichtet ist, dass sie auf eine Vielzahl von Markierungen gerichtet ist, die sich an von der Kamera beabstandeten Stellen befinden, sowie Berechnungsmittel, die angepasst sind, einen Winkel zu berechnen, der zwischen Paaren von Markierungen aufgespannt ist, wobei die aufgespannten Winkel durch Überwachen der Pixelpositionen der Markierungen in einer Reihe von Bildern berechnet werden, die von der Kamera aufgenommen wurden, wobei das optische Navigationssystem zusätzlich Mittel zum Erzeugen eines dreidimensionalen Modells umfasst, wodurch die Position der Kamera relativ zu den Markierungen durch Triangulation der aufgespannten Winkel in dem dreidimensionalen Modell bestimmt wird, und wobei das optische Navigationssystem ferner eine Lichtquelle umfasst, die sich in der Nähe der Kamera befindet und so angeordnet ist, dass sie Licht von der Kamera weg in Richtung der Markierungen projiziert, und wobei die Markierungen retroreflektierend sind.
-
Ein vierter Aspekt der Erfindung stellt ein optisches Navigationssystem bereit, das zwei oder mehr voneinander beabstandete Kameras umfasst, die so ausgerichtet sind, dass sie auf eine Vielzahl von Markierungen gerichtet sind, die sich an von den Kamera beabstandeten Stellen befinden, sowie Berechnungsmittel, die angepasst sind, einen zwischen den Paaren von Markierungen aufgespannten Winkel zu berechnen, wobei die aufgespannten Winkel durch Überwachen der Pixelpositionen der Markierungen in einer Reihe von durch die Kameras aufgenommenen Bildern berechnet werden, wobei das optische Navigationssystem zusätzlich Mittel zum Erzeugen eines dreidimensionalen Modells umfasst, wodurch die Position jeder Kamera relativ zu den Markierungen durch Triangulation der aufgespannten Winkel in dem dreidimensionalen Modell bestimmt wird. Entsprechend ist eine der Kameras so angeordnet, dass sie auf platzierte Markierungen zeigt oder natürliche Markierungen verwendet.
-
Ein fünfter Aspekt der Erfindung stellt ein optisches Navigationssystem bereit, das eine Kamera umfasst, die so ausgerichtet ist, dass sie auf eine Vielzahl von Markierungen gerichtet ist, die sich an von der Kamera beabstandeten Stellen befinden, sowie Berechnungsmittel, die angepasst sind, einen Winkel zu berechnen, der zwischen Paaren von Markierungen aufgespannt ist, wobei die aufgespannten Winkel durch Überwachen der Pixelpositionen der Markierungen in einer Reihe von Bildern berechnet werden, die von der Kamera aufgenommen wurden, wobei das optische Navigationssystem zusätzlich Mittel zum Erzeugen eines dreidimensionalen Modells umfasst, wodurch die Position der Kamera relativ zu den Markierungen durch Triangulation der aufgespannten Winkel in dem dreidimensionalen Modell bestimmt wird, und wobei das optische Navigationssystem zusätzlich einen Lagesensor umfasst.
-
Entsprechend umfasst der Lagesensor entweder einen optischen Lagesensors oder ein Gyroskop oder beides.
-
Es wurde überraschenderweise festgestellt, dass durch Bereitstellen einer Lichtquelle neben der Kamera und indem die Markierungen retroreflektierend ausgebildet werden, die Markierungen in den von der Kamera aufgenommenen Bildern „hervorstechen“, selbst wenn sich die Markierungen in der Nähe von Lichtquellen befinden, die der Kamera des optischen Navigationssystems zugewandt sind. Es wurde herausgefunden, dass eine solche Anordnung das Problem der Blendung der Kamera durch helles Deckenlicht, das in Film- und Fernsehstudios häufig anzutreffen ist, überwindet.
-
Die bekannte Lösung für das Problem der „Blendung“ der Kamera des optischen Navigationssystems durch die Deckenbeleuchtung bestand darin, einige oder alle Markierungen auf dem Boden oder an den Wänden des Studios zu positionieren, aber dadurch können die Markierungen in den Aufnahmen erscheinen, was höchst unerwünscht ist. Durch die Verwendung retroreflektierender Markierungen können die Markierungen an der Decke platziert werden, selbst wo Deckenbeleuchtung verwendet wird.
-
Insbesondere können die Markierungen an beliebigen Orten positioniert oder sogar bewegt werden, und das Berechnungsmittel kann seine Position durch die scheinbare Bewegung der Markierungen „erlernen“, wenn die Kamera im dreidimensionalen Raum bewegt wird. Somit ist das System in der Lage, selbst dort, wo bestimmte Markierungen entfernt oder hinzugefügt werden, dies zu bemerken und entsprechend zu kompensieren. Damit überwindet die Erfindung das Problem der Notwendigkeit einer präzisen, festen Installation der Markierungen.
-
Wenn das optische Navigationssystem zwei oder mehr Kameras umfasst, wird die Messung der Kameraposition in Stereo durchgeführt, wodurch eine gewisse Redundanz bereitgestellt wird. Ein weiterer Vorteil des Einsatzes von zwei oder mehr Kameras, insbesondere wenn sie so angeordnet sind, dass sie in verschiedene Richtungen gerichtet sind, besteht darin, dass die Genauigkeit des Navigationssystems erheblich verbessert werden kann, da beide Kameras zur gleichzeitigen Bestimmung der Position und/oder der Lage des Systems mit Hilfe von Differenzmarkierungen eingesetzt werden können.
-
Eine der zusätzlichen Kameras kann so angeordnet werden, dass sie auf ein Objekt zeigt, das von einer Filmkamera gefilmt wird, in diesem Fall kann ein stereoskopisches Bild des Subjekts, z.B. eines Schauspielers, erhalten werden, um die dreidimensionale Form des Subjekts zu ermitteln. Durch Messen der Form des Subjekts zum Zeitpunkt der Aufnahme des Videomaterials ist es möglich, diese zusätzliche Information in ein angeschlossenes CGI-System zu integrieren, um ein verbessertes Rendering von Schatten und Lichteffekten usw. in den zusammengesetzten Aufnahmen zu erhalten.
-
Wird ein optischer Lagesensor verwendet, umfasst der optische Lagesensor entsprechend ein Beleuchtungssystem, das ein gitterartiges Muster von z.B. Infrarotlicht auf eine Bodenfläche projiziert. Durch Verwendung von „unsichtbarem“ Licht beeinflusst das projizierte Lichtmuster nicht, und zeigt sich auch nicht, in damit gleichzeitig aufgenommenem Filmmaterial.
-
Der optische Lagesensor umfasst entsprechend einen Lichtdetektor, wie z.B. eine IR-Kamera, der das IR-Gitter, wie es vom Lichtdetektor gesehen wird, interpretiert, um den Abstand zu einer Oberfläche und die Lage des Systems relativ zu der Oberfläche zu ermitteln. Durch Bereitstellung z.B. eines auf den Boden gerichteten optischen Lagesensors in Verbindung mit einem optischen Navigationssystem wie hier beschrieben kann die Robustheit der Messung von Position, Höhe und Lage der Kamera verbessert werden. Der optische Lagesensor besteht in geeigneter Weise aus einem MicrosoftRTM Kinect™-System.
-
Zusätzlich oder alternativ kann der Lagesensor ein starr an der Kamera befestigtes Gyroskop umfassen. Ein Gyroskop kann unter bestimmten Umständen eine sehr genaue und fast sofortige Messung der Lage der Kamera ermöglichen. Gyroskope sind jedoch anfällig für „Drift“ über einen bestimmten Zeitraum. Andererseits ist ein optisches Navigationssystem wie das hier beschriebene im Laufe der Zeit genauer, kann aber aufgrund der damit verbundenen Berechnung langsamer reagieren. Daher kann die Erfindung durch die Kombination eines Gyroskops mit einem optischen System wie hier beschrieben das Beste aus beiden Welten bieten, d.h. die Option, die Outputs miteinander zu vergleichen, um eine Korrektur des einen oder anderen Systems in Echtzeit zu ermöglichen.
-
Bevorzugte Ausführungsformen der Erfindung sollen nun nur beispielhaft anhand der beiliegenden Zeichnungen beschrieben werden, in denen:
- 1 eine schematische perspektivische Darstellung eines optischen Navigationssystems gemäß der Erfindung ist;
- 2 eine Reihe von schematischen Bildern der Markierungen ist, wie sie von den Kameras des optischen Navigationssystems von 1 betrachtet werden; und
- 3 ein schematischer Aufbau der Bilder aus 2 ist.
-
In 1 umfasst ein erfindungsgemäßes optisches Navigationssystem 10 eine Filmkamera 12, die zur Bewegung auf einem Dreibeinstativ auf Rädern 14 montiert ist, sodass die Filmkamera X, Y tracken, Z heben, P schwenken, R rollen und T neigen kann, entsprechend den Eingaben eines Bedieners (nicht dargestellt). Die Filmkamera 12 ist mit einem optischen Navigationssystem 10 ausgestattet, das eine zur Decke gerichtete Kamera 16 und eine nach vorne gerichtete Kamera 18 umfasst, wobei letztere fest, aber versetzt zur optischen Achse 20 der Filmkamera 12 ausgerichtet ist, sodass ihre optische Achse 22 parallel zu der der Filmkamera 20 verläuft. Die Filmkamera 12 kann somit Videomaterial von einem Subjekt 24 aufnehmen.
-
Das Studio, in dem das optische Navigationssystem installiert ist, umfasst zusätzlich eine zufällige oder regelmäßige Anordnung von Markierungen 26, die an der Decke (nicht abgebildet), Beleuchtungsschienen (nicht abgebildet) oder an anderen Objekten, die sich über der Kamera 12 befinden, angebracht sind. Einige der Markierungen 26 sind retroreflektierend, und die zur Decke gerichtete Kamera 16 ist mit einem ringförmigen Ring von LEDs 28 um ihre Linse herum ausgestattet, wobei die LEDs einen Strahl sichtbaren Lichts auf die Markierungen 26 projizieren, um diese zu beleuchten.
-
Die LEDs sind auf einer selbstnivellierenden Halterung montiert, die aktiv von Sensoren oder Encodern angesteuert werden kann, oder sie kann angepasst sein, unter Einwirkung der Schwerkraft selbst zu nivellieren (z.B. ein Gimbal). Der Nivelliermechanismus, wo vorhanden, stellt sicher, dass die LEDs nach oben zur Decke zeigen, selbst wenn die Hauptkamera 12 nach oben oder unten gekippt oder gerollt wird. Ein Vorteil dieser Konfiguration besteht darin, dass die LEDs die Schauspieler nicht verwirren oder blenden oder die Setbeleuchtung stören.
-
In einer alternativen Ausführungsform der Erfindung sind mehrere LEDs auf einer gekrümmten oder bogenförmigen Oberfläche, wie z.B. einer Kuppel, angeordnet. Das System ist entsprechend mit einem Lagesensor versehen und die LEDs sind einzeln oder in Gruppen schaltbar, sodass zu einem bestimmten Zeitpunkt nur die nach oben gerichteten LEDs leuchten. Eine solche Konfiguration stellt sicher, dass zumindest einige nach oben gerichtete LEDs beleuchtet werden, um über dem System angebrachte Markierungen zu beleuchten, während gleichzeitig vermieden wird, dass die LEDs in Richtung der zu drehenden Szene, d.h. in Richtung der Schauspieler, leuchten, was verwirrend, ablenkend oder anderweitig unerwünscht sein könnte, z.B. die Setbeleuchtung stören würde, wenn die Kamera geschwenkt, gekippt oder gerollt wird.
-
Die zur Decke gerichtete Kamera 16 nimmt Videomaterial des Bereichs über der Kamera 12 auf, das auch Aufnahmen der Markierungen 26 enthält. Durch Bewegen der Kamera X, Y, Z, P, R, T ändern sich die Positionen der Markierungen 26 im Sichtfeld der zur Decke gerichteten Kamera 16, wie im Folgenden erläutert wird.
-
In 1 der Zeichnungen ist auch ein zum Boden gerichteter, optischer Lagesensor 30 gezeigt, der ein Raster 32 aus Infrarotlicht auf den Boden projiziert. Der optische Lagesensor 30 umfasst zusätzlich eine Infrarotkamera und einen Prozessor, um das Gittermuster, das er „sieht“, zu interpretieren, um den Schwenk- P, den Roll- R und den Kippwinkel T der Kamera 12 zu bestimmen. Zusätzlich kann der optische Lagesensor, wenn er richtig kalibriert ist, das Infrarotgitter 32 interpretieren, um die Höhe Y der Kamera 12 über dem Boden zu bestimmen.
-
Der optische Lagesensor 30 ist im Wesentlichen ein Tiefensensor, der an verschiedenen Positionen in seinem Sichtfeld Punkte mit Abstand angibt. Durch Richten des optischen Lagesensors 30 auf den Boden ist es möglich, einen Normalenvektor zum Boden zu erhalten, indem man davon ausgeht, dass die größte Ebene der Boden ist. Die größte Ebene ist eine Ebene, die durch einen am weitesten entfernten Punkt im Bild verläuft, oder eine Ebene, die durch die größte Anzahl koplanarer Punkte verläuft. Messen des Normalenvektors liefert Schwenk-, Roll- und Höheninformationen. Durch Verwendung einer Ebene, die den Boden darstellt, ist es möglich, Punkte, die Hindernissen im Sichtfeld des optischen Lagesensors 30 entsprechen, wie z.B. die Beine des Dreibeinstativs, zuverlässig zu vernachlässigen, wie in 1 gezeigt.
-
2 ist eine Reihe von Bildern, wie sie von der zur Decke gerichteten Kamera 16 aufgenommen wurden, in denen die Markierungen 26 und andere „natürliche“ Merkmale 34 der Decke sichtbar sind. Das aufgenommene Videomaterial ist im Wesentlichen ein Bitmap-Bild, in dem die Markierungen 26 an bestimmten Pixelpositionen platziert sind. Wenn der Blickwinkel der Kamera bekannt ist, wird der Winkelabstand der interessierenden Punkte in den aufgenommenen Bildern, in diesem Fall die Mittelpunkte der Markierungen 26, eine Funktion der Anzahl der Pixel zwischen diesen Mittelpunkten sein. Entscheidend ist, dass die Entfernung zu jedem interessierenden Punkt weder bekannt ist noch benötigt wird, da das Bild in einer virtuellen Ebene liegt, in der die scheinbaren Positionen der Markierungen 26 in bekannten Winkelabständen liegen, sodass sich ein Zeigevektor von der zur Decke gerichteten Kamera 16 zu jedem interessierenden Punkt ergibt.
-
Das optische Navigationssystem „trackt“ die Bewegung der Markierungen 26, 36 in den Bildern und kann ihre scheinbaren Positionen von Frame zu Frame des aufgenommenen Materials vergleichen, sodass ihre relativen Positionen durch Triangulation der Vektoren berechnet werden können. Wenn sich die Kamera also direkt auf eine bestimmte Markierung zubewegt, bleibt die scheinbare Position dieser Markierung im Wesentlichen konstant.
-
Es wird jedoch ein „Zoom“-Effekt in Bezug auf die anderen Markierungen sichtbar sein, der es ermöglicht, die Positionen der anderen Markierungen im dreidimensionalen Raum zu berechnen. Ebenso wird eine Drehung der zur Decke gerichteten Kamera 16, z.B. während der Kameraschwenks, als Drehung der Markierungen 26 in dem aufgenommenen Material um verschiedene Loci in Abhängigkeit von deren relativen Positionen im tatsächlichen Raum erkannt werden. So ist die zur Decke gerichtete Kamera 16 des optischen Navigationssystems in der Lage, die Bewegung der Filmkamera 12 im dreidimensionalen Raum in allen sechs Achsen X, Y, Z, P, R und T zu erkennen.
-
In 3 ist zu sehen, wie sich die scheinbaren Positionen 26' der Markierungen 26 ändern, wenn sich die Kamera 16 von einer ersten Position zu einer zweiten Position 16' bewegt. Die Kamera 16 identifiziert im abgebildeten Beispiel zwei Markierungen 26, die sich in unterschiedlichen Abständen von der Kamera 16 befinden. Die Kamera 16 ist jedoch nur in der Lage, die Sichtlinie und nicht die Entfernung zu erkennen, sodass die scheinbaren Positionen 26' der Markierungen 26 in einer virtuellen Ebene angezeigt werden, die der Bildebene entspricht. In der virtuellen Ebene bezieht sich der Abstand d1 zwischen den scheinbaren Positionen der Markierungen 26' auf den Trennwinkelwinkel θ im dreidimensionalen Raum zwischen den tatsächlichen Markierungen 26, wie gemessen vom Blickpunkt der Kamera 16.
-
Im zweiten Frame von 2 hat sich die Kamera 16 in eine andere Position bewegt, die in 3 als 16' dargestellt ist. Die tatsächlichen Positionen der Markierungen 26 im dreidimensionalen Raum bleiben gleich, aber ihre scheinbaren Positionen 26" in der virtuellen Bildebene sind aufgrund des Blickpunktwechsels verschoben. So ist der Winkel Φ, der zwischen den Markierungen 26 aufgespannt wird, durch eine Änderung des Abstands d2 im von der Kamera 16 aufgenommenen Bild ersichtlich. Durch Wiederholen dieses Vorgangs von Frame zu Frame und unter der Annahme, dass die Positionen der Markierungen 26 im Wesentlichen konstant bleiben, ist es möglich, die Position der Kamera 12 relativ zu den Markierungen 26 zu triangulieren.
-
Die Verwendung retroreflektierender Markierungen 26 lindert oder überwindet das Problem, dass die Markierungen unsichtbar werden, wenn sie in der Nähe von zum Boden gerichteten Leuchten positioniert werden, d.h. entgegen der zur Decke gerichteten Kamera 16. Sie ermöglicht auch die Verwendung der Markierungen bei niedrigeren Lichtverhältnissen.
-
Eine oder mehrere der platzierten Markierungen 26 können charakteristische Merkmale aufweisen, z.B. eine bestimmte Form haben oder einen Strichcode umfassen, sodass sie von einem Bildverarbeitungssystem automatisch identifiziert werden können. Diese Markierungen können präzise positioniert werden, um die Skalierung aller übrigen Markierungen zu erleichtern oder um eine Neukalibrierung nach dem Verschieben oder Entfernen eines oder mehrerer der anderen Markierungen zu vereinfachen.
-
Überraschenderweise wurde herausgefunden, dass es durch das Anbringen einer charakteristischen Markierung in jeder Ecke des Raumes/Studios/Sets möglich ist, das System schneller neu zu kalibrieren.
-
Die nach vorne gerichtete Kamera 18 nimmt ein zweites Bild des Subjekts 24 auf und liefert wertvolle Tiefeninformationen, die von einem angeschlossenen CGI-Compositing-System (nicht abgebildet) zum genaueren Rendering von CGI-Schatten und Lichteffekten verwendet werden können. Darüber hinaus kann die nach vorne gerichtete Kamera auch eine sekundäre optische Navigationsroutine implementieren, ähnlich der oben in Bezug auf die zur Decke gerichtete Kamera 16 beschriebenen, wobei sie sich jedoch ausschließlich auf „natürliche“ Merkmale in ihrem aufgenommenen Material verlässt, da es nicht wünschenswert ist, das Subjekt des Filmmaterials mit Markierungen 26 zu „überladen“, obwohl diese ebenfalls bereitgestellt werden können.
-
Die nach vorne gerichtete Kamera 18 wird benutzt, um natürliche oder platzierte Markierungen im Sichtfeld der Hauptkamera 12 zu überwachen, die brauchbare Informationen über die Objektivmerkmale der Hauptkamera 12 liefern können. Die nach vorne gerichtete Kamera 18 ist entsprechend genau kalibriert, während die Hauptkamera 12 oft nicht so genau kalibriert ist, weil am Set keine Zeit dafür bleibt und weil Zoom-Objektive beim Zoomen und Fokussieren ihre Eigenschaften verändern. Während der Hauptkamera 12 Encoder zur Bestimmung der Zoom- und Fokuseinstellungen zugeordnet werden können, fehlt den Encodern im Allgemeinen der Grad an Genauigkeit, der von CGI-Systemen benötigt wird. Durch Verwendung der nach vorne gerichteten Kamera 18 in Verbindung mit der Hauptkamera 12 ist es möglich, die momentane Objektivverzerrung der Hauptkamera 12 zu berechnen, was dazu beiträgt, die scheinbare Verzerrung der Hauptkamera 12 in das zusammengesetzte CGI-Bild oder Modell einzufügen: d.h. die CGI-Verzerrung kann so gestaltet werden, dass sie mit jeder der Hauptkamera 12 übereinstimmt, um ein realistischeres Ergebnis zu erzielen.
-
Zusätzlich kann man mit einer nach vorne gerichteten Kamera 18 natürliche oder platzierte Markierungen oder reflektierende 3D-Information verwenden, um die virtuelle (CGI) Welt an Merkmale der realen Welt anzupassen. Beispielsweise ist es möglich, einen virtuellen Fußboden an einen Boden der Umgebung anzuheften, eine virtuelle Wand an eine reale Wand anzuheften oder eine virtuelle Tischplatte an eine reale anzuheften.
-
Das optische Navigationssystem der Erfindung kann genutzt werden, um ein konventionelles Kugel-Tracker-Navigationssystem zu ergänzen oder zu ersetzen. Die Daten des optischen Navigationssystems werden in geeigneter Weise in einen CGI-Compositer als die Kamerapositions- und Lagedaten eingespeist, die das CGI-System benötigt, um realistisches CGI-Material zusammensetzen zu können.
-
Es existieren Anwendungen für die Erfindung auf anderen technischen Gebieten als Studiofilmen, z.B. bei medizinischen Bildgebungsanwendungen. Insbesondere könnte die Position der Spitze eines Endoskops mit Hilfe eines erfindungsgemäßen Systems bestimmbar sein, z.B. durch Anbringen einer Kamera am Griff oder Schaft des Endoskops, das auf den Körper des Patienten gerichtet ist. Am Körper des Patienten könnten in der Umgebung der Einführungsstelle des Endoskops Markierungen angebracht werden, sodass die Position der Spitze des Endoskops, die relativ zur Kamera fixiert sein kann, durch Überwachung der relativen Positionen der Markierungen von Frame zu Frame in den Bildern der Kamera ermittelt werden könnte. Die Positionsdaten der Spitze des Endoskops könnten z.B. in ein 3D-MRT-Bild des Körpers des Patienten übertragen werden, sodass der Chirurg eine virtuelle Darstellung der Spitze des Endoskops im MRT-Bild in Echtzeit sehen kann. Ein solches System könnte die Notwendigkeit, den Patienten tatsächlich mit dem Endoskop vor Ort abzubilden, reduzieren oder vermeiden.
-
Die Erfindung ist nicht auf die Einzelheiten der vorgenannten Ausführungsformen beschränkt, die nur beispielhaft für die Erfindung sind. Beispielsweise kann das optische Navigationssystem eine nach vorne gerichtete Kamera enthalten oder nicht, die „nach vorne gerichtete“ Kamera kann von der optischen Achse der Hauptfilmkamera oder der zur Decke gerichteten Kamera weggewinkelt sein, der optische Lagesensor kann weggelassen werden, die Filmkamera kann an einer anderen Art von Befestigungssystem, wie z.B. einer Deckenschiene usw., montiert werden, ohne dass dies vom Umfang der Erfindung abweicht.
