-
Die
Erfindung betrifft allgemein das Zusammensetzen von Realweltbildern,
die durch eine Kamera betrachtet werden, mit Szenenelementen von einer
anderen Quelle. Mehr im einzelnen schafft die Erfindung ein Verfahren
zum Kalibrieren einer Kamera und einer Linse in der Weise, daß komputergenerierte
Bilder, wenn sie in eine Realweltszene inkorporiert werden, immer
korrekt bezüglich
der Realweltobjekte positioniert werden.
-
Der
Stand der Technik des Zusammensetzens von Realwelt-Bildmaterial
mit zusätzlichem Bildmaterial,
das von einer anderen Quelle geliefert wird, ist ein Prozeß, der beträchtliche
Präzision
erfordert. Typisch ist die andere Quelle von zusätzlichem Bildmaterial komputergeneriert
oder eine andere Art von synthetischem Bildmaterial. Präzision wird
benötigt
bei der Plazierung von synthetischem Bildmaterial in der Weise,
daß die
Zusammensetzung als Ganzes betrachtet realistisch erscheint. Damit
das komputergenerierte Bildmaterial richtig in einer zusammengesetzten
Szene angeordnet wird, muß ein
Bezugsbild gemeinsam von dem Realwelt-Bildmaterial und dem komputergenerierten
Bildmaterial verwendet werden.
-
Es
gibt wenigstens zwei unterschiedliche Arten von komputergeneriertem
Bildmaterial, welches eingefügt
werden kann in eine Szene von Realwelt-Bildmaterial, das von einer
Kamera fotografiert oder gefilmt wird (wobei die Kamera im allgemeinen eine
Quelle von Videodaten umfaßt).
Bei der ersten Art von Bildmaterial sind Realweltobjekte angeordnet im
Vordergrund vor einem Studioprospekthintergrund, der allgemein unter
Verwendung einer blauen oder grünen
Wand oder eines entsprechendes Schirmes aufgebaut ist. Ein synthetischer
Schirm wird dann anstelle des blauen oder grünen Schirmes zugefügt. Bei
der zweiten Art scheinen Realweltobjekte von den komputergenerierten
Objekten umgeben zu sein. Zum Beispiel ist eine Zeichentrickgestalt
imstande, scheinbar mit den Realweltgestalten in Wechselwirkung
zu treten.
-
Es
ist häufig
wünschenswert,
Liveszenenelemente erscheinen zu lassen, als ob sie tatsächlich Teil
des Hintergrundes sind und nicht nur davor stehen. In solchen Fällen ist
es notwendig, mit beachtlicher Präzision genügend Information über die
Kamera zu besitzen, um die synthetische Szene zu generieren, als
ob sie wirklich Teil der Filmumgebung der Kamera wäre. Ein
Synthetikelementgenerator, oder in diesem Fall ein Komputerbildgenerator,
muß wissen,
was die Kamera "sieht", um die Synthetikelemente
genau in der Szene anzuordnen unter Verwendung einer Datenbank virtueller
Information. Damit der Komputerbildgenerator weiß, was die Kamera sieht, müssen wenigstens
sieben Parameter mit einem relativ hohen Genauigkeitsgrad bestimmt
werden. Diese umfassen die Orientierung der Kamera (auch bekannt
als Schwenken, Kippen und Rollen des Kamerakopfes), die Kameraposition
relativ zu einer dreidimensionalen Koordinatenachse (von Fachleuten
auch als die XYZ-Position bezeichnet) und das Blickfeld (field of
view (FOV), auch als die Zoomeinstellung bekannt).
-
Was
hinsichtlich der XYZ-Position genauer benötigt wird, ist die XYZ-Position
des Kameraknotenpunktes. Der Knotenpunkt ist der exakte Punkt im Raum,
von dem aus die perspektivische Szene, welche die Kamera sieht,
gezeichnet zu werden scheint. Er liegt allgemein bei einem Punkt
entlang der optischen Achse der Zoomlinse, aber seine genaue Position
bewegt sich vor und zurück
als Funktion der Zoom- und Brennpunkteinstellungen der Linse. Er kann
sich um viele Zoll verschieben, wenn die Zoom- und Brennpunktsteuerungen
betätigt
werden.
-
Um
die Schwenk- und Kippinformation (pan and tilt) zu erhalten, ist
der Kamerakopf instrumentiert mit Sensoren, welche die Drehung der
Kamera um die Schwenk- und Kippachsen des Kamerakopfes messen. Diese
Schwenk- und Kippinformation sagt dem Komputerbildgenerator die
momentane "Blickrichtung" der Kamera. Das
Rollen des Kamerakopfes wird als Null angenommen für eine Kamera, die
an einem Ständer
montiert ist, obwohl dies instrumentell sein und ebenfalls berücksichtigt
werden kann.
-
In
einer Patentanmeldung von einem anderen Erfinder, die gleichzeitig
mit diesem Dokument eingereicht worden ist, sind mehr im einzelnen
ein Verfahren und eine Vorrichtung zum Bestimmen der XYZ-Position
des Ständers
(und damit der Kamera) offenbart. Der Prozess verwendet eine schnelle
und einfache Ausrichtungsmethode, welche eine Triangulation zu bekannten
vormarkierten Studiobezugspunkten nutzt. Der Ausrichtungsprozess
wird jedes Mal durchgeführt,
wenn der Ständer
an einen neuen Standort bewegt wird. Es ist zu bemerken, dass der wahre "Augenpunkt"-Standort nicht nur
durch die Ständerposition
bestimmt wird, sondern auch dadurch, wie die Kamera an dem Ständer montiert
ist, und auch durch die Position des Kamera/Linsen-Knotenpunktes
in jedem speziellen Moment. Was für dieses Dokument am meisten
relevant ist, sind ein Verfahren und eine Vorrichtung zum Messen der
Kamera/Linsen-Knotenpunkt-Position und des Blickfeldes (FOV), für jede Einstellung
der Zoom- und Fokusringe an der Kameralinse. Der Prozess zum Bestimmen
der Kamera- und Linsen-Knotenpunktversetzung und des Blickfeldes
als Funktion der Linsenzoom- und fokuseinstellungen wird im folgenden als
Linsenkalibrierprozess bezeichnet.
-
N.
M. und D. Thalmann: Animating Virtual Actors in Real Environments,
ACM Multimedia Systems, Springer, Vol. 5, No. 2 (March 1997), 1997,
pp. 113-125, offenbart ein Verfahren zum Animieren virtueller Schauspieler
in echten Umgebungen. Parameter einer Kamera werden mit Hilfe eines
Iterationsverfahrens bestimmt, bei dem Punkte mit bekannten 3D-Koordinaten in Bildern,
die mit der Kamera aufgenommen wurden, identifiziert werden.
-
Eric
rose et al.: Annotating Real-World Objects Using Augmented Reality,
European Computer-Industry Research Centre, 1994, ECRC-94-41, pp.
I-II, 1-17, offenbart ein Verfahren um Objekte in der wirklichen
Welt mit Hilfe der Augmented Reality mit Anmerkungen zu versehen.
Eine Kamera wird kalibriert, indem die Kamera auf ein Kalibriermuster
gerichtet wird, dessen Position bekannt ist. Die Position der Kamera
und ihre spezifischen Parameter werden berechnet, indem ein Bild
der Kamera festgehalten wird und ein Benutzer bekannte Punkte im
Bild mit einer Maus auswählt.
Diese Parameter werden dann verwendet, um eine virtuelle Kamera,
die der wirklichen Kamera entspricht, einzurichten.
-
P.
Milgram et al.: Merging Real and Virtual Worlds, Proceedings of
IMAGINA '95, Monte
Carlo, Feb 1-3 1995, Seiten 1-9, ist eine Einführung in das Konzept der Augmented
Reality. Es wird offenbart, dem Betrachter einen virtuellen Zeiger
zu präsentieren,
der in einer entfernten Szene zu schweben scheint. Durch Ausrichten
des virtuellen Zeigers an Objekten in der entfernten Szene kann
der Benutzer dreidimensionale Koordinaten eingeben.
-
Die
Verfahren nach dem Stand der Technik zum Durchführen des Linsenkalibrierprozesses
sind im allgemeinen auf sehr mühsame
Messungen angewiesen. Genauer gesagt erfordert das Verfahren allgemein
die Verwendung einer optischen Werkbank, das Vornehmen sorgfältiger Messungen
und das manuelle Aufzeichnen von Datenpunkten. Der oben beschriebene
Prozess ist zeitaufwendig und erfordert manuelle Messungen und die
manuelle Eingabe von Datenpunkten. Folglich ist der Prozess anfällig für menschliche
Fehler.
-
Der
Prozess nach dem Stand der Technik ist mühsam, da die Kameralinsen-Knotenpunktversetzung
und das Blickfeld für
jede Zoom- und Fakuseinstellung der Kamera und Linse bestimmt werden müssen. In
einer vertikalen Einstellung zu verwendende Kameras und Linsen sehen
Zoom- und Fokusringe vor mit Instrumentkodierern, welche die Ringeinstellungen
liefern. Diese Ringeinstellungen liefern jedoch nicht direkt die
Kameralinsens-Knoten-Punktversetzung und das Blickfeld. Wenn die
Kamera und Linse in Echtzeit verwendet werden, wird die Knotenpunktversetzung
(und das Blickfeld) erhalten, indem die laufenden Zoom- und Fokusringeinstellungen
genommen werden und unter Verwendung eines Satzes von speziell für die besondere
Kamera und Linse erzeugten Kalibrierdaten verarbeitet werden. Daher besitzt
jede Kamera-und-Linsen-Kombination einen eindeutigen Kalibrierdatensatz,
der vor der Verwendung bestimmt werden muss. Dies ist ein einmaliger Ausrichtungs-und-Kalibrierprozess
zum Erzeugen des Kalibrierdatensatzes für jede besondere Kamera-und-Linsenkombination.
Typisch benötigt
der Kalibrierprozess zur Zeit viele Stunden zur Durchführung.
-
Es
wäre eine
Verbesserung, ein neues Verfahren zu schaffen zum Messen von Kamera-und Linseneigenschaften
in einem Kalibrierprozess, welcher mehr automatisiert ist als der
Stand der Technik. Der neue Prozess sollte auch die manuelle Eingabe von
Daten eliminieren, um dadurch die Möglichkeit für menschliche Fehler in dem
Linsenkalibrierprozess zu reduzieren. Der neue Kalibrierprozess
sollte auch den Zeitbedarf zum Erzeugen eines Kalibrierdatensatzes
für jedes
Kamera-und-Linsenpaar vermindern.
-
Ein
Ziel der Erfindung ist die Schaffung eines Verfahrens und einer
Vorrichtung zum Messen physikalischer Parameter einer Kamera-und-Linsen-Kombination.
-
Ein
weiteres Ziel ist die Schaffung eines Linsenkalibrierprozesses.
-
Ein
weiteres Ziel ist die Schaffung eines Linsenkalibrierprozesses,
welcher dreidimensionale Positionsinformation des Knotenpunktes
der Kamera für jede
Einstellung der Zoom- und
Fokusringe schafft.
-
Ein
weiteres Ziel ist die Schaffung eines Linsenkalibrierprozesses,
welcher Blickfeldinformation für
jede Einstellung der Zoom- und Fokusringe schafft.
-
Ein
weiteres Ziel ist die Schaffung eines Linsenkalibrierprozesses,
welcher die Kameralinsen-Knotenpunktversetzung und das Blickfeld
bestimmt unter Verwendung von Kameralinsen-Zoom- und Fokuseinstellungen.
-
Ein
weiteres Ziel ist die Schaffung eines Linsenkalibrierprozesses,
welcher das Nutzen von Komponenten aus einem virtuellen Studiosatz
umfasst, um die Information über
die Kameralinsen-Knotenpunktversetzung und das Blickfeld zu generieren.
-
Die
Erfindung wird verwirklicht in einem Verfahren nach Anspruch 1 oder
23 und einer Vorrichtung nach Anspruch 24.
-
Weitere
vorteilhafte Ausgestaltungen der Erfindung sind in den abhängigen Ansprüchen definiert.
-
Im
folgenden wird die Erfindung anhand eines in der Zeichnung gezeigten
Ausführungsbeispiels
näher beschrieben.
In der Zeichnung zeigen:
-
1A eine
Vorderansicht der gegenwärtig bevorzugten
erfindungsgemäßen Ausführungsform, worin
die vordere Skala und die hintere Skala in einer vertikalen Position
gezeigt sind, und wo der Abstand von der Kameralinse zu der vorderen
Skala gleich dem Abstand von der vorderen Skala zu der hinteren Skala
ist;
-
1B eine
Draufsicht der in 1A gezeigten derzeitig bevorzugten
Ausführungsform,
um so den Knotenpunkt, die vordere Skala und die hintere Skala zu
zeigen;
-
2A eine
Vorderansicht der vorderen Skala und der hinteren Skala, worin der
Knotenpunkt der Kamera näher
bei der vorderen Skala liegt als die vordere Skala bei der hinteren
Skala liegt;
-
2B eine
Vorderansicht der vorderen Skala und der hinteren Skala, worin der
Knotenpunkt der Kamera weiter weg von der vorderen Skala liegt als
die vordere Skala von der hinteren Skala;
-
3 eine
perspektivische Zeichnung der physischen Bauteile der Vorrichtung
der derzeit bevorzugten Ausführungsform
der Erfindung;
-
4 eine
typische grafische Darstellung der Blickfeld(FOV)-Fläche für eine wirkliche
Kamera relativ zu Fokus- und Zoomeinstellungen der wirklichen Kamera;
-
5 eine
Erläuterung
des Expansionsfokus, der relativ zu dem Fadenkreuz der Kamera versetzt
ist;
-
6 eine
Erläuterung
der richtigen Kameraausrichtung zur Kalibrierung relativ zu den
vertikalen Markierungen, welche den Expansionsfokus über dem
Punkt angeord net zeigt, wo die zentrale Markierung der hinteren
Skala benachbart der zentralen Markierung der vorderen Skala und
ausgerichtet auf diese liegt; und
-
7 eine
Darstellung einer Aufzeichnung von Blickfelddaten mit einem darin
erscheinenden fraglichen Datenpunkt.
-
Nun
wird auf die Figuren bezug genommen, in denen den verschiedenen
Elemente der Erfindung numerische Bezeichnungen gegeben werden,
und in denen die Erfindung diskutiert wird, um auf diese Weise dem
Fachmann zu ermöglichen,
die Erfindung auszuführen
und zu verwenden. Es versteht sich, daß die folgende Beschreibung
nur beispielhaft für die
Prinzipien der Erfindung ist und nicht als Beschränkung der
Ansprüche
angesehen werden sollte.
-
Das
endgültige
Ziel der Erfindung ist ein Verfahren zum Kalibrieren einer wirklichen
Kamera und Linse und virtueller Objekte, die durch eine "virtuelle Kamera" wiedergegeben werden,
so daß die
virtuellen Objekte in einem Verbundbild wirklicher und virtueller
Umgebungen angeordnet werden können.
Damit dies geschieht, müssen
die Knotenpunktposition und das Blickfeld der wirklichen und der
virtuellen Kamera die gleichen sein. Im Idealfall kann das resultierende
zusammengesetzte Bild in Echtzeit justiert werden. Dieser Kamera-und-Linsen-Kalibrierprozeß ist erforderlich
wegen der Variationen, die in Kamera-und-Linsen-Kombinationen vorhanden sind, die die
Blickfeld- und Zoomcharakterisrtiken für jede Kamera-und-Linsenpaarung
eindeutig machen. Daher besteht das Ziel des Linsenkalibrierprozesses
darin, zwei Parameter des wirklichen Kamera-und-Linsen-Systems zu
messen (im folgenden als die Kamera bezeichnet). Die zwei Parameter
sind das Blickfeld und die Knotenpunktposition. Wie vorher angegeben, ist
der Knotenpunkt der exakte Punkt im Raum, von dem aus eine perspektivische
Szene, welche die Kamera "sieht", gezeichnet zu sein
scheint. Der Knotenpunkt funktioniert als ein gemeinsamer Bezugspunkt zwischen
einer wirklichen Umgebung und einer virtuellen Umgebung. Das Blickfeld
ist der horizontale Winkel, der aufgespannt ist zwischen der linken
und rechten Kante des von der Kamera gesehenen Bildes. Es sollte
jedoch erkannt werden, daß der
Punkt, von dem aus der horizontale Winkel gemessen wird, noch nicht
bekannt ist, da er der Knotenpunkt ist. Nachteiligerweise ist der
Knotenpunkt nicht eine fixierte Position relativ zu der Kamera,
sondern bewegt sich statt dessen nach vorn oder zurück entlang
einer optischen Achse, wobei die optische Achse eine koaxial von
der Kameralinse verlaufende Linie ist. Allgemein ist sie annähernd ein
Zentrum eines von der Kamera gesehenen Bildes. Der Knotenpunkt verschiebt
sich nach vorn und nach hinten entlang der optischen Achse als Funktion
wechselnder Zoom- und/oder Fokuseinstellungen. Indem gemessen wird, wie
das Blickfeld und die Knotenpunktposition der Kamera sich verändern, wenn
die Zoom- und Fokuseinstellungen der Kamera verändert werden, wird die wirkliche
Kamera auf die virtuelle Kamera kalibriert.
-
1A ist
vorgesehen zur Einführung
eines Satzes von Skalen, die in dem bevorzugten Verfahren zum Messen
des Blickfeldes und des Knotenpunktes der Kamera verwendet werden. 1A zeigt
zwei Skalen, eine vordere Skala 10 und eine hintere Skala 12.
Die hintere Skala 12 ist allgemein horizontal an einer
flachen Wand angebracht, wobei eine Bodenkante 14 allgemein
bei einer nominellen Kamerahöhe 16 angeordnet
ist. Die vordere Skala 10 ist in einem Abstand D 18 (siehe 1B)
vor der hinteren Skala 12 aufgehängt. Die vordere Skala 10 kann
zum Beispiel zwischen zwei Dreibeinstativen (nicht gezeigt) aufgehängt werden.
Die obere Kante 20 der vorderen Skala 10 sollte
so angeordnet werden, daß sie
benachbart der Bodenkante 14 der hinteren Skala 12 oder
etwas niedriger zu liegen scheint, bei Betrachtung durch die Kamera.
-
Die
vordere Skala 10 und die hintere Skala 12 sind
markiert mit einer Mehrzahl vertikaler Linien 22 bei genau
gemessenen Intervallen. Die relative Länge und Vertikallinienabstands-Intervallbeziehung zwischen
der vorderen Skala 10 und der hinteren Skala 12 ist
derart, daß die
vordere Skala genau die Hälfte
der hinteren Skala beträgt.
Folglich fluchten, wenn die Skalen 10 und 12 durch
die Kamera betrachtet werden, wie in 1A gezeigt,
die vertikalen Markierungen 22 der vorderen Skala 10 und
der hinteren Skala 12 allgemein perfekt, als ob die Länge der
Skalen und der Abstand zwischen den vertikalen Markierungen 22 die
gleiche wäre.
-
1B veranschaulicht
die tatsächlichen Abstände zwischen
der vorderen Skala 10 und der hinteren Skala 12 in
einer Draufsicht. Um die vertikalen Markierungen 22 auszurichten,
wie in 1A gezeigt, müssen die
Abstände 18 die
gleichen sein zwischen dem Knotenpunkt 26 und der vorderen
Skala 10 sowie zwischen der vorderen Skala und der hinteren
Skala 12. Die Linien 24 schneiden die vertikalen Markierungen 22 auf
den Skalen 10 und 12.
-
Der
Knotenpunkt 26 verändert
sich, wenn die Kamera entlang der optischen Achse 28 vorwärts und
rückwärts bewegt
wird. Wenn der Knotenpunkt 26 sich verändert, erscheinen die Skalen 10 und 12 nicht
mehr, wie in 1A gezeigt. Wenn der Knotenpunkt 26 zu
der vorderen Skala 10 verschoben wird, können die
Skalen 10 und 12 erscheinen, wie in 2A gezeigt.
In dieser Figur scheint die vordere Skala 10 jetzt größer zu sein
als die hintere Skala 12.
-
Im
Gegensatz dazu veranschaulicht 2B die
Situation, in der die Kamera entlang der optischen Achse 28 nach
hinten verschoben wird, so daß der Abstand
zwischen dem Knotenpunkt 26 und der vorderen Skala 10 kürzer ist
als der Abstand zwischen der vorderen Skala und der hinteren Skala 12.
-
Die
in den 1A, 1B, 2A und 2B gezeigten
Skalen 10 und 12 werden erzeugt zu dem Zweck,
ein Bild zu schaffen, was später
im einzelnen zu erläutern
ist. Es ist jedoch nützlich
zu wissen, daß zwei
Bilder der Skalen 10 und 12 übereinander zu überlagern
sind. Ein Bild ist von einer wirklichen Umgebung, wie durch die
wirkliche Kamera gesehen. Ein zweites Bild ist ein virtuelles Bild
von der virtuellen Umgebung, in der virtuelle Skalen angeordnet
sind, welche in Größe, Gestalt
und Proportion identisch sind mit den Skalen 10 und 12,
die sich in der wirklichen Umgebung finden. Wegen der scharfen und
relativ genauen Kanten der Skalen 10 und 12 wird
der Prozeß zum
Bestimmen, wann die wirklichen und virtuellen Bilder ausgerichtet
sind, leichter gemacht.
-
Übergehend
zu dem Prozeß der
Erzeugung einer virtuellen Umgebung wird ein Softwareprogramm, das
zu diesem Zeitpunkt als FuseBox bekannt ist, dazu verwendet, eine
virtuelle Umgebung zu erzeugen und zu steuern. Wenigstens eine virtuelle
Kamera wird erzeugt, um so wenigstens einen virtuellen Knotenpunkt 30 (nicht
gezeigt) zu erzeugen. Es kann angenommen werden, daß das Layout
der virtuellen Umgebung identisch ist mit der in den 1A und 1B gezeigten
wirklichen Umgebung und daher nicht in einer getrennten Figur wiedergezeichnet
wird
-
Sowohl
die virtuelle wie auch die wirkliche Kamera werden "auf Luft" plaziert, um zentriert
zu werden, wie in den 1A und 1B gezeigt.
Eine einzelne Bezugsmessung von der wirklichen Skala zu einem Punkt
auf der Kamera wird aufgezeichnet, um die Versetzung (offset) jedes
gemessenen Knotenpunktes von diesem Bezugspunkt zu berechnen. Die
wenigstens eine virtuelle Kamera ist imstande, zu "sehen", was sich in der
virtuellen Umgebung befindet. Identische Stützen (props) werden in der
wirklichen sowie der virtuellen Umgebung erzeugt. Zu Kalibrierzwecken
umfassen diese Stützen
eine virtuelle vordere Skala und eine virtuelle hintere Skala.
-
Das
derzeit bevorzugte Verfahren der Erfindung umfaßt daher den Schritt der Erzeugung
der wirklichen Umgebung als einen Satz und der virtuellen Umgebung
als einen virtuellen Satz, der eine Kopie der wirklichen Umgebung
ist, umfassend die virtuellen vorderen und hinteren Skalen mit den
virtuellen Markierungen. Der nächste
Schritt in dem Verfahren ist die Darstellung eines Bildes von der
wirklichen Kamera auf einem Monitor. Dann wird die Ansicht der virtuellen
Umgebung auf dem gleichen Monitor überlagert, so daß die virtuelle
Umgebung gleichzeitig mit der wirklichen Umgebung gesehen wird.
Ein Bediener ist imstande, den Monitor zu betrachten und das virtuelle
Blickfeld und die virtuelle Knotenpunktposition des Bildgenerators
zu manipulieren oder zu verstellen. Die Aufgabe der Kalibrierung
umfaßt
dann den Schritt, eine erste Einstellung für die Zoom- und Fokusringe
der wirklichen Kamera zu wählen.
Der Bediener manipuliert die Zoom- und Fokusringe auf eine gewünschte Einstellung.
Was am wichtigsten ist, der Bediener justiert dann das virtuelle
Blickfeld und die virtuelle Knotenpunktposition des Bildgenerators, bis
das zusammengesetzte Bild auf dem Monitor, das die virtuelle Umgebung
und die wirkliche Umgebung zeigt, identisch sind.
-
Da
das von der wirklichen Kamera sowie der virtuellen Kamera dargestellte
Bild ein Bild der vorderen und hinteren Skalen (wirklich und virtuell)
ist, ist es eine relativ einfache Angelegenheit, die Skalen und
die Markierungen auszurichten, bis sie übereinstimmen. Eine erfolgreiche
Ausrichtung des wirklichen und virtuellen Bildes führt zu dem,
was als eine einzige vordere und hintere Skala erscheint. Wenn die
Bilder übereinstimmen,
werden das virtuelle Blickfeld und die virtuelle Knotenpunktposition
aufgezeichnet als ein Datenpunkt, der einer Zoomringeinstellung
und einer Fokusringeinstellung der wirklichen Kamera entspricht.
Die Ringeinstellwerte werden gleichzeitig aufgezeichnet durch die
Komputersoftware von Kodierern, die mit jedem Ring verknüpft sind.
-
An
diesem Punkt können
verschiedene Beobachtungen angestellt werden. Erstens ist das Aufzeichnen
des Datenpunktes keine manuelle Eingabe von Daten. Der Bediener
hat nur eine Taste zu drücken
oder eine Maustaste zu klicken. Dieses Tun fügt den Datenpunkt einer virtuellen
Datenbank hinzu, wo eine virtuelle Kamera-Zoom- und Fokuseinstellung und
damit der Knotenpunkt und das Blickfeld jetzt einer wirklichen Kamera-Zoom-und-Fokuseinstellung und
dem resultierenden Knotenpunkt und dem Blickfeld entsprechen. Es
sollte erkannt werden, daß deshalb,
weil jedes Kamera-und-Linsenpaar eindeutig verschieden ist von anderen
Kamera-und-Linsen-Kombinationen, die virtuellen Kamera-Zoom-und-Fokuseinstellungen
für jede
Kombination etwas variieren.
-
Zweitens
führt das
obige Verfahren zu der Fähigkeit,
wirkliche und virtuelle Elemente mit einem hohen Grad an Präzision zusammenzubringen.
Dies trifft zu, obwohl nur eine diskrete Anzahl von Datenpunkten
aufgezeichnet wird. Daher umfaßt
das obige Verfahren auch den Schritt, die Realkamera-Zoom-und-Fokuseinstellungen
durch einen Bereich von Werten zu bewegen. Ideal werden die Datenpunkte
für viele
diskrete Zoom- und Fokuseinstellungen an der wirklichen Kamera erzeugt.
Man sollte sich jedoch darüber
im klaren sein, daß es
typisch Tausende von Einstellungen gibt, die in relativ kleinen Inkrementen
erhältlich
sind. Die Methode umfaßt
daher ein Verfahren zum Erzeugen einer kontinuierlichen Fläche von
Blickfeld, Knotenpunktversetzung, horizontalen oder vertikalen Bildversetzungswerten als
Funktion von Zoom und Fokus bei Echtzeitraten auf der Grundlage
einer relativ kleinen Anzahl von Datenpunkten.
-
Drittens
kann das zusammengesetzte Bild der wirklichen Umgebung und der virtuellen
Umgebung auf zahlreiche Weisen erzeugt werden, die dem Fachmann
bekannt sind. Zum Beispiel kann der Prozeß so einfach sein wie das Mischen
wirklicher und virtueller Videoquellen, anstatt eine mehr ausgeklügelte Bildzusammensetzervorrichtung
zu verwenden.
-
Viertens
ist die spezielle Implementierung des obigen Verfahrens in der FuseBox-Software
implementiert. Die FuseBox-Software bildet eine Dialogbox zum Eingeben
von Datenpunkten. Insbesondere wird eine FuseBox-Projektdatei erzeugt,
genannt "lenscal.fbx,
welche die virtuellen vorderen und hinteren Skalen enthält. Nachdem
das Projekt in den Bildgenerator geladen ist, ermöglicht die
Dialogbox dem Bediener, einen Dateinamen zum Speichern der Kalibrierergebnisse
einzugeben, für
die besondere zu kalibrierende Kamera-und-Linsenkombination, den Abstand von der
hinteren Skala zu einer gewählten Kamerabezugsebene
einzugeben, die notwendigen Einstellungen der Knotenpunktposition
und des Blickfeldes für
jede Realkamera-Zoom- und Fokuseinstellung vorzunehmen, und zum
Speichern der Ergebnisse.
-
Fünftens ist
es wichtig zu erkennen, daß die Kamera
nicht bewegt zu werden braucht noch bewegt oder in irgendeiner Weise
neu positioniert werden darf zwischen Datenpunktmessungen. Es ist
ferner nicht notwendig, daß jeder
Datenpunkt manuell geschrieben oder in die FuseBox-Software eingetippt wird.
Es ist für
jede Realkamera-Zoom-und Fokuseinstellung lediglich erforderlich,
die FuseBox-Steuerjustierungen mit den Bildern von der wirklichen
Kamera und dem Bildgenerator in Übereinstimmung
zu bringen und dann die Einstellungen mit einem Mausklick oder einer
Tastenbetätigung
zu speichern. Mit anderen Worten "besichtigt" der Bediener das zusammengesetzte Bild,
bis es wie ein einziges Bild der Skalen aussieht.
-
Sechstens
erfordert das Manipulieren der Einstellungen der virtuellen Kamera
so, daß die
wirklichen und virtuellen Bilder übereinstimmen, spezifisch nicht
nur das Justieren des Blickfeldes und der Knotenpunktposition des
Bildgenerators, es kann auch eine Justierung einer horizontalen
und vertikalen Versetzung erfordern, um das Zentrum der virtuellen
und wirklichen Bilder ausgerichtet zu halten. Wenn das System verwendet
wird zum Generieren von Echtzeitbildern, werden daher das Blickfeld,
die Knotenpunktposition und die Bildversetzung sämtlich justiert für eine beliebige
Variation der Zoom- und Fokuseinstellungen der wirklichen Kamera.
-
Die
wesentlichen Baueinheiten der Erfindung sind alle erwähnt, aber
nicht speziell dargestellt worden. Daher umfaßt die Erfindung, wie in 3 gezeigt,
eine wirkliche Kamera (Realkamera) 40 und Linse 42 mit
einem Zoomring 44 und einem Fokusring 46. Die
Kamera 40 umfaßt
ein erstes Videokabel 48, welches das wirkliche Bild zu
einem Zusammensetzer 50 oder einer anderen Mischeinrichtung überträgt. Der
Zusammensetzer 50 ist über
ein zweites Videokabel 54 auch mit einem Bildgenerator 59 gekoppelt.
Der Bildgenerator 59 ist seinerseits über ein Kabel 57 mit
einem Komputer 52 verbunden, wobei der Komputer die Linsenkalibriersoftware
betätigt.
In der derzeit bevorzugten Ausführungsform
ist die Software als FuseBox bekannt. FuseBox, der Komputer 52 und
der Bildgenerator 59 erzeugen die virtuelle Umgebung und
die Stützen
(props) darin wie die virtuellen vorderen und hinte ren Skalen, die
in dem Kalibrierprozeß verwendet
werden. FuseBox steuert auch das Blickfeld und die Knotenpunkteinstellungen der
virtuellen Kamera. Schließlich
ist der Zusammensetzer 50 über ein Videokabel 58 mit
einem Darstellungsmonitor 56 gekoppelt, welcher das virtuelle
und das wirkliche Bild gleichzeitig zeigt.
-
Im
Idealfall schiene es vorteilhaft, einen Kalibrierdatenpunkt für jede und
jede mögliche Zoom-und-Fokuseinstellung
der wirklichen Kamera zu erhalten. Dies ist nicht praktisch, da Zoom-und-Fokuseinstellungen
jeweils mit Zehntausenden von Genauigkeitsstufen gemessen werden. Jeder
Kamera- und Linsenparameter, zum Beispiel Blickfeld, kann durch
eine Fläche
als Funktion von Zoom und Fokus repräsentiert werden. 4 zeigt eine
typische Grafik der Blickfeldfläche
für eine
Kamera. Das Blickfeld ist auf einer Skala von 0 bis 60 Grad gezeigt,
wobei Datenpunkte auf jeder Achse sich über einen willkürlich eingeteilten
Bereich von 0 bis 30 erstrecken.
-
Da
die Fläche
erhalten wird unter Verwendung eines diskreten Satzes von Datenpunkten,
die bei besonderen Werten von Zoom und Fokus aufgenommen werden,
ist es erforderlich, eine Funktion vorzusehen, welche eine glatte
und kontinuierliche Fläche
berechnet auf der Grundlage von Werten, die während des Kalibrierprozesses
gemessen werden. Eine wünschenswerte
Eigenschaft für
diese Glättungsfunktion
ist die, daß sie
durch die gemessenen Werte an den besonderen Zoom/Fokus-Datenpunkten
hindurchgeht. Man beachte, daß aus
Gründen der
Leistung es auch wünschenswert
sein kann, in einer alternativen Ausführungsform eine Schnellnachschlage-Tabellenversion
der glatten Fläche
vorzusehen. Dies liegt daran, daß Flächengenerieralgorithmen unpraktisch
sein können
zum Betreiben mit Realzeitgeschwindigkeiten.
-
Während 4 eine
Fläche
für Blickfeld
als Funktion von Zoom- und Fokuseinstellungen der wirklichen Kamera
darstellt, werden auch ähnliche Flächen generiert
für Knotenpunktversetzung,
horizontale Bildversetzung und vertikale Bildversetzung, alle als
Funktion von Zoom und Fokus.
-
Das
oben beschriebene Verfahren für
den Kalibrierprozeß sollte
es allen Fachleuten ermöglichen,
die Erfindung auszuführen
und zu praktizieren. Es gibt jedoch zusätzliche Information, welche
hilfreich sein kann. Daher wird die folgende Information geboten.
-
Bei
dem Aufstellen der wirklichen vorderen Skala 10 und der
hinteren Skala 12 ist es wichtig, die Skalen auf steifen
und flachen Flächen
anzubringen. Kein Durchhang, keine Biegung oder Krümmung sollte
vorhanden sein. Die hintere Skala 12 sollte auf einer flachen
Wand montiert sein, wo sie gut beleuchtet ist und guten Kamerazugang
besitzt. Die vordere Skala 10 kann zum Beispiel angebracht
werden an einer Metallstange oder einem anderen Material, das die
Skala 10 gerade und flach hält, ohne einen Durchhang aufgrund
der Schwerkraft.
-
Im
Idealfall wird in der bevorzugten Ausführungsform die vordere Skala 10 genau
100 cm vor einer vorderen Fläche
der hinteren Skala 12 montiert. Es ist wichtig, daß der Abstand
von 100 cm bei der linken sowie rechten Kante und der Mitte der
Skalen 10 und 12 aufrechterhalten wird. Die vordere
Skala 10 muß auch
relativ zu der hinteren Skala 12 zentriert werden. Dies
kann verifiziert werden durch Messen des diagonalen Abstands zwischen
einer Markierung 60 (siehe 1B) auf
der vorderen Skala 10 und einem Paar Markierungen 62 in
gleichem Abstand links und rechts auf der hinteren Skala 12.
Diese zwei diagonalen Abstände
müssen
gleich sein. Diese Diagonalen sind in 1B mit
einem großen
X 64 bezeichnet.
-
Jede
Skala muß auch
waagerecht angebracht werden. Ideal sollte die Bodenkante 14 der hinteren
Skala 12 sich auf der gleichen Höhe befinden wie die optische
Achse 28 der Kamera. Die Oberkante 13 der vorderen
Skala 10 sollte gerade etwas niedriger (etwa 3,2 mm (!/8
inch)) liegen, so daß die
Kamera die Bodenkante 14 der hinteren Skala 12 sehen
kann, ohne durch die vordere Skala 10 blockiert zu sein.
-
In
einer alternativen Ausführungsform
könnte
eine Ausrichtungsspannvorrichtung konstruiert werden, welche diese
Skalen 10 und 12 starr anbringt unter Verwendung
einer stabilen Sperrholzplatte als Basis, wobei die Skalen auf geraden
Längen
von Holzplatten montiert werden, die an die Sperrholzbasis in den
benötigten
relativen Positionen angefügt
werden.
-
Die
Beleuchtung der Skalen 10 und 12 sollte angemessen
sein, um eine ziemlich enge Kamerairiseinstellung zu ermöglichen,
da dies für
ein schärferes
Bild über
einen breiten Schärfentiefenbereich sorgt.
Wenn die Iris zu weit geöffnet
werden muß,
ist es schwieriger, ein angemessen scharfes Bild der vertikalen
Markierungen 22 auf der vorderen und hinteren Skala 10 und 12 zu
erhalten, insbesondere mit sehr schmalen Zoomwinkeln und nahen Fokuseinstellungen.
-
Eine
wichtige Beobachtung über
den obigen Linsenkalibrierprozeß schließt eine
Kodiererkalibrierung oder Initialisierung ein. Zoom- und Fokusringe weisen
oft Kodierer auf, die einfach digitale Repräsentationen einer laufenden
Einstellung sind. Bei vielen Kodierern ist es der Fall, daß es kein
Indexsignal gibt. Dies bedeutet, daß die Zoom- und Fokusringkodierer
nicht automatisch zurückgestellt
werden können
auf einen bekannten absoluten Wert bei einer bekannten Ringposition,
indem die Ringe lediglich ihre Bereiche überstreichen. Daher ist es
erforderlich, manuell einen absoluten Wert in die Kodierer zwangsläufig einzugeben
nach dem Einstellen der Ringe auf bekannte Positionen. Dies schließt die Schritte
ein, 1) den Zoomring zu seinem mechanischen Anschlag bei maximalem
Blickfeld zu bewegen, 2) den Fokusring zu seinem mechanischen Anschlag
bei unendlich zu bewegen, und 3) die Kodierer-Absolutwerte auf Null
zu stellen durch den Einstelleigenschaften-Dialog der FuseBox. Mit
anderen Worten wird, wenn die Ringe zu einer extremen Minimalposition
bewegt werden, der Software gesagt, abzulesen, welcher Zufallswert
sich auf den Kodierern befindet. Dann werden die Ringe zu einer
extremen Maximalposition bewegt, und der Software wird gesagt, den
Wert in den Kodierern zu lesen, der nun um einen bestimmten Wert
inkrementiert worden ist. Auf diese Weise lernt die Software, welche
Zoom- und Fokuseinstellung relativ zu den extremen möglichen Positionen
verwendet wird.
-
Die
Kodierer-Initialisierungsprozedur muß vor jedem Kalibrierprozeß durchgeführt werden.
Diese Prozedur muß auch
durchgeführt
werden, bevor die Kamera nach dem Einschalten betrieben werden kann.
-
Eine
weitere wichtige Beobachtung ist zu machen, daß nämlich ein wichtiger Teil der
Linsenkalibrierung darin besteht, den "Expansionsfokus" (focus of expansion) der Linse zu erklären. Anders
ausgedrückt
scheint bei einer Zoomlinse ein einzelner Punkt in dem Bild vorhanden
zu sein, der während
einer Zoomoperation stationär
ist. Ideal wäre
dieser Punkt das Zentrum des Bildes. Aufgrund von Fertigungstoleranzen
und anderen Faktoren weist jedoch dieser Punkt allgemein eine kleine
Versetzung auf, vielleicht ein paar Pixel, von dem exakten Zentrum des
Bildes. Ferner kann sich dieser Punkt während der Zoomoperation etwas
verschieben. Es ist wichtig zu wissen, wo sich dieser Punkt in dem
Bild der Kamera befindet, so daß der
Bildgenerator angewiesen werden kann, diesen gleichen Punkt als Zentrum
seiner Zoomoperationen zu verwenden.
-
Es
ist erforderlich, diesen Punkt experimentell zu bestimmen durch
Ein-und-Aus-Zoomen und Beobachten, wo dieser Expansionsfokus sich
für eine
spezielle Kamera befindet. Ein einfaches Verfahren, das allgemein
angemessen ist, besteht darin, einen Klebepapierpunkt an einer Wand
anzubringen und dann den Zoom ein und aus zu verstellen. Wenn der
Punkt nicht bei dem Expansionsfokus liegt, bewegt er sich in der
Schirmposition, wenn der Zoom manipuliert wird. Verstellen Sie unter
Verwendung des Schwenkens und Kippens der Kamera die Position des
Punktes, bis er sich nicht zu bewegen scheint, wenn Sie den Zoom
verstellen. Der Ort des Punktes, bei dem er sich nicht bewegt, ist
der Expansionsfokus.
-
Viele
Kameras weisen eingebaute elektronische Ausrichtungsmarkierer oder "Fadenkreuze" auf, die eingeschaltet
werden können.
Sie möchten
vielleicht das Fadenkreuz einschalten und dann bestimmen, wo der
Expansionsfokus sich befindet relativ zu dem durch die Kameramarkierung
generierten Fadenkreuz. Zum Beispiel wird in 5 der Expansionsfokus
bestimmt, sich dort zu befinden, wo das X 70 bezeichnet
ist – ein
wenig links und unterhalb der Fadenkreuzmarkierung 72 der
Kamera. Ob Sie nun ein Fadenkreuz 72 besitzen oder nicht,
möchten
Sie vielleicht diese Stelle kennzeichnen, vielleicht mit einer Marke
oder einem kleinen Stück
Klebeband auf dem Monitor. Denken Sie daran, immer geradeaus zu schauen
bei Verwendung einer Bezugsmarkierung auf der Frontfläche der
Monitorglasscheibe, um Parallaxenfehler zu vermeiden.
-
Es
ist wichtig, zu verstehen, wie die Kameraposition und die Orientierung
auszurichten sind, um korrekte Datenpunktmessungen vorzunehmen.
Daher ist es wichtig, daß die
optische Achse 28 der Kamera waagerecht liegt, und genau
zu dem Bodenzentrum der hinteren Skala 12 zu blicken, wobei
auch die zentralen vertikalen Markierungen horizontal ausgerichtet
sind. Um dies zu tun, muß die
Kamera sich genau an der korrekten Position befinden, mit den korrekten
Schwenk-und Kippwinkeln. Der genaue Abstand von der Wand ist nicht
kritisch. Jedoch sollte er nah genug sein, daß ziemlich viel wahrnehmbare Parallaxe
zwischen der vorderen und der hinteren Skala 10 und 12 vorhanden
ist, aber weit genug, daß die
Schärfentiefe
der Kamera die vordere sowie die hintere Skala angemessen erfassen
kann. Es wird vorgeschlagen, die Bezugsebene der Kamera in etwa
2,5 m von der hinteren Skala 12 anzuordnen. Die Kamera
sollte auch eine Neigung von Null aufweisen. Mit anderen Worten
sollte sie waagerecht sein.
-
Der
nächste
Schritt ist das Ausrichten der Kamera in der Weise, daß das Bodenzentrum
der hinteren Skala 12 sich genau über dem Expansionsfokus befindet
und sie auch horizontal ausgerichtet ist auf die zentralen Markierungen
der vorderen und hinteren Skala 10 und 12, wie
in 6 gezeigt. Es sollte nur einen Weg geben, die
gewünschte
Ausrichtung zu erzielen. Um diesen Zustand zu erreichen, ist es
erforderlich, die horizontale und vertikale Position der Kamera
iterativ zu verstellen, ebenso die Schwenk- und Kippachse.
-
Sobald
die Kamera ausgerichtet ist, um die Ansicht zu erzielen, wie sie
in 6 gezeigt ist, sollte die Kamera so verriegelt
werden, daß sie
sich nicht bewegen kann während
des Kalibrierverfahrens. Nach dem Verriegeln ist zu verifizieren,
daß das
Bild unverändert
bleibt gegenüber
dem in 6 gezeigten.
-
Wenn
die virtuellen Bilder und die wirklichen Bilder erhältlich sind,
stellen Sie den Zusammensetzer 50 so ein, daß die Kamerabilder
sowie die virtuellen Bilder deutlich überlagert in dem Monitor zu
sehen sind. Der Abstand von der hinteren Skala 12 zu dem
Bezugsort auf der Kamera sollte jetzt gemessen werden. Dieser Abstand
wird in die FuseBox-Software eingegeben. Dieser Wert wird dazu verwendet,
die Versetzung von der Bezugsebene gegen den Knotenpunkt zu bestimmen,
da dieser Wert, zusammen mit dem laufenden Blickfeld, die Werte
sind, die wir messen und speichern wollen.
-
Das
Ziel des Kalibrierprozesses besteht darin, einen Satz von Datenpunkten
zu erhalten, der den Bereich von Zoom und Fokus in einer ziemlich gleichförmigen Art überdeckt.
In der bevorzugten Ausführungsform
wird empfohlen, zehn Datenpunkte über den Bereich der Zoom- und
Fokusringe aufzunehmen. Dies führt
zu insgesamt 100 Datenpunkten. Die Zoomwerte können zum Beispiel bei 0, 11,
22, 33, 44, 55, 66, 77, 88 und 100 Prozent aufgenommen werden. Die
genauen Werte sind nicht kritisch, sind aber einfach so gewählt, daß sie etwa
gleichmäßig über den
Bereich jeder Steuerung verteilt sind.
-
Für jede Zoom-
und Fokuseinstellung gibt es vier Steuerungen in der FuseBox-Software,
die justiert werden können,
um die zwei überlagerten
Bilder in die bestmögliche Übereinstimmung
zu bringen: Knotenpunktposition, Blickfeld, horizontale Versetzung
und vertikale Versetzung. Justieren Sie diese Steuerungen, bis die
bestmögliche Übereinstimmung zwischen
den virtuellen und den wirklichen Bildern erhalten wird.
-
In
der Praxis sind einige Fokus- und Zoomeinstellungen schwieriger
einzustellen, da das Bild unscharf wird. Bis zu einem gewissen Maß kann dies verbessert
werden durch Verwenden von mehr Licht und Reduzieren der Irisöffnung,
ebenso wie Schielen zu fokussieren hilft. Die Erfahrung hat gezeigt,
daß sinnvolle
Ablesungen noch mit etwas unscharfen Linien erhalten werden können, da
das menschliche Auge eine gute Arbeit leisten kann bei dem Zentrieren
eines verschwommenen Bildes relativ zu dem Bildgenerator.
-
Wenn
der Linsenkalibrierprozeß des
bevorzugten Verfahrens fertiggestellt ist, ist ein Satz von 100
Datenpunkten vorhanden, welche die Kamera-und-Linsenkombination
charakterisieren. Die Anzahl von Datenpunkten ist nicht kritisch,
aber natürlich
wird das Ergebnis um so genauer, je mehr Kalibrierpunkte erhalten
werden.
-
Es
ist auch möglich,
die resultierende virtuelle Datenbank zu analysieren und zu editieren.
Obwohl dieser Schritt nicht erforderlich ist, kann er als eine schnelle
Qualitätsprüfung von
Resultaten dienen, um sicherzugehen, daß sie sinnvoll erscheinen. Die
Kalibrierergebnisse werden in einer Komputerdatei gespeichert. Die
Datei kann typisch in ein Spreadsheet-Programm importiert werden. Das Dateiformat
für die
bevorzugte Ausführungsform
ist Zoom_Wert, Fokus_Wert, Knotenpunkt_Versetzung, Blickfeld, horizontale
Versetzung, vertikale Versetzung. Daher weist jede Zeile sechs Zahlen
auf. Zoom_Wert und Fokus_Wert sind ganze Zahlen, wogegen Knotenpunkt_Versetzung,
Blickfeld und die beiden Versetzungswerte Gleitkommazahlen sind. Sobald
die Daten importiert sind, können
die Aufzeichnungsfähigkeiten
des Spreadsheet-Programms dazu verwendet werden, die Ergebnisse
grafisch aufzutragen. Wie in 7 gezeigt,
sind die Blickfeldwerte grafisch dargestellt.
-
7 zeigt;
daß der
erste Datenpunkt links das weiteste Blickfeld ist mit der Einstellung
auf unendliche Brennweite. Jede Gruppe von 10 Datenpunkten entspricht
einer besonderen Einstellung der Zoomlinse. Eine Aufzeichnung der
Daten ermöglicht eine
grafische Prüfung,
bei der irgendwelche offensichtlich schlechten Datenpunkte erkannt
werden können,
da sie außer
der Reihe mit dem Rest der Ergebnisse liegen. Wenn Datenpunkte nicht
an der richtigen Stelle liegen wie der Datenpunkt bei 74, kann
der Datenpunkt 74 noch einmal gemessen werden, oder eine
manuelle Korrektur kann an der Datei selbst vorgenommen werden.
-
Es
versteht sich, daß die
oben beschriebenen Anordnungen nur erläuternd für die Anwendung der Prinzipien
der Erfindung sind. Zahlreiche Modifikationen und alternative Anordnungen
können
vom Fachmann ersonnen werden, ohne von dem Gedanken und Rahmen der
Erfindung abzuweichen. Die Ansprüche
sollen solche Modifikationen und Anordnungen abdecken.