DE19815106A1

DE19815106A1 - Verfahren zum Messen von Kamera- und Linseneigenschaften zur Kameranachführung

Info

Publication number: DE19815106A1
Application number: DE19815106A
Authority: DE
Inventors: Thomas R Rohlfing
Original assignee: Evans and Sutherland Computer Corp
Current assignee: Evans and Sutherland Computer Corp
Priority date: 1997-04-04
Filing date: 1998-04-03
Publication date: 1998-10-22
Anticipated expiration: 2018-04-04
Also published as: GB2325579A; US5990935A; GB2325579B; DE19815106B4; CA2233708A1; GB9806729D0; IL123942A; CA2233708C

Description

Die Erfindung betrifft allgemein das Zusammensetzen von Realweltbildern, die durch eine Kamera betrachtet werden, mit Szenenelementen von einer anderen Quelle. Mehr im einzel nen schafft die Erfindung ein Verfahren zum Kalibrieren einer Kamera und einer Linse in der Weise, daß computergenerierte Bilder, wenn sie in eine Realweltszene inkorporiert werden, immer korrekt bezüglich der Realweltobjekte positioniert werden.

Der Stand der Technik des Zusammensetzens von Realwelt-Bildmaterial mit zusätzlichem Bildmaterial, das von einer anderen Quelle geliefert wird, ist ein Prozeß, der beträchtliche Präzision erfordert. Typisch ist die andere Quelle von zusätzlichem Bildmaterial computer generiert oder eine andere Art von synthetischem Bildmaterial. Präzision wird benötigt bei der Plazierung von synthetischem Bildmaterial in der Weise, daß die Zusammensetzung als ganzes betrachtet realistisch erscheint. Damit das computergenerierte Bildmaterial richtig in einer zusammengesetzten Szene angeordnet wird, muß ein Bezugsbild gemeinsam von dem Realwelt-Bildmaterial und dem computergenerierten Bildmaterial verwendet werden.

Es gibt wenigstens zwei unterschiedliche Arten von computergeneriertem Bildmaterial, welches eingefügt werden kann in eine Szene von Realwelt-Bildmaterial, das von einer Ka mera fotografiert oder gefilmt wird (wobei die Kamera im allgemeinen eine Quelle von Vi deodaten umfaßt). Bei der ersten Art von Bildmaterial sind Realweltobjekte angeordnet im Vordergrund vor einem Studioprospekthintergrund, der allgemein unter Verwendung einer blauen oder grünen Wand oder eines entsprechendes Schirmes aufgebaut ist. Ein syntheti scher Schirm wird dann anstelle des blauen oder grünen Schirmes zugefügt. Bei der zweiten Art scheinen Realweltobjekte von den computergenerierten Objekten umgeben zu sein. Zum Beispiel ist eine Zeichentrickgestalt imstande, scheinbar mit den Realweltgestalten in Wechselwirkung zu treten.

Es ist häufig wünschenswert, Liveszenenelemente erscheinen zu lassen, als ob sie tatsächlich Teil des Hintergrundes sind und nicht nur davor stehen. In solchen Fällen ist es notwendig, mit beachtlicher Präzision genügend Information über die Kamera zu besitzen, um die syn thetische Szene zu generieren, als ob sie wirklich Teil der Filmumgebung der Kamera wäre. Ein Synthetikelementgenerator, oder in diesem Fall ein Computerbildgenerator, muß wis sen, was die Kamera "sieht", um die Synthetikelemente genau in der Szene anzuordnen un ter Verwendung einer Datenbank virtueller Information. Damit der Computerbildgenerator weiß, was die Kamera sieht, müssen wenigstens sieben Parameter mit einem relativ hohen Genauigkeitsgrad bestimmt werden. Diese umfassen die Orientierung der Kamera (auch bekannt als Schwenken, Kippen und Rollen des Kamerakopfes), die Kameraposition relativ zu einer dreidimensionalen Koordinatenachse (von Fachleuten auch als die XYZ-Position bezeichnet) und das Blickfeld (field of view (FOV), auch als die Zoomeinstellung bekannt).

Was hinsichtlich der XYZ-Position genauer benötigt wird, ist die XYZ-Position des Kame raknotenpunktes. Der Knotenpunkt ist der exakte Punkt im Raum, von dem aus die per spektivische Szene, welche die Kamera sieht, gezeichnet zu werden scheint. Er liegt allge mein bei einem Punkt entlang der optischen Achse der Zoomlinse, aber seine genaue Positi on bewegt sich vor und zurück als Funktion der Zoom- und Brennpunkteinstellungen der Linse. Er kann sich um viele Zoll verschieben, wenn die Zoom- und Brennpunktsteuerungen betätigt werden.

Um die Schwenk- und Kippinformation (pan and tilt) zu erhalten, ist der Kamerakopf in strumentiert mit Sensoren, welche die Drehung der Kamera um die Schwenk- und Kippach sen des Kamerakopfes messen. Diese Schwenk- und Kippinformation sagt dem Computer bildgenerator die momentane "Blickrichtung" der Kamera. Das Rollen des Kamerakopfes wird als Null angenommen für eine Kamera, die an einem Ständer montiert ist, obwohl dies instrumentell sein und ebenfalls berücksichtigt werden kann.

In einer Patentanmeldung von einem anderen Erfinder, die gleichzeitig mit diesem Doku ment eingereicht worden ist, sind mehr im einzelnen ein Verfahren und eine Vorrichtung zum Bestimmen der XYZ-Position des Ständers (und damit der Kamera) offenbart. Der Prozeß verwendet eine schnelle und einfache Ausrichtungsmethode, welche eine Triangula tion zu bekannten vormarkierten Studiobezugspunkten nutzt. Der Ausrichtungsprozeß wird jedesmal durchgeführt, wenn der Ständer an einen neuen Standort bewegt wird. Es ist zu bemerken, daß der wahre "Augenpunkt"-Standort nicht nur durch die Ständerposition be stimmt wird, sondern auch dadurch, wie die Kamera an dem Ständer montiert ist, und auch durch die Position des Kamera/Linsen-Knotenpunktes in jedem speziellen Moment. Was für dieses Dokument am meisten relevant ist, sind ein Verfahren und eine Vorrichtung zum Messen der Kamera/Linsen-Knotenpunkt-Position und des Blickfeldes (FOV), für jede Ein stellung der Zoom- und Fokusringe an der Kameralinse. Der Prozeß zum Bestimmen der Kamera- und Linsen-Knotenpunktversetzung und des Blickfeldes als Funktion der Linsen-Zoom- und -Fokuseinstellungen wird im folgenden als Linsenkalibrierprozeß bezeichnet.

Die Verfahren nach dem Stand der Technik zum Durchführen des Linsenkalibrierprozesses sind im allgemeinen auf sehr mühsame Messungen angewiesen. Genauer gesagt erfordert das Verfahren allgemein die Verwendung einer optischen Werkbank, das Vornehmen sorg fältiger Messungen und das manuelle Aufzeichnen von Datenpunkten. Der oben beschriebe ne Prozeß ist zeitaufwendig und erfordert manuelle Messungen und die manuelle Eingabe von Datenpunkten. Folglich ist der Prozeß anfällig für menschliche Fehler.

Der Prozeß nach dem Stand der Technik ist mühsam, da die Kameralinsen-Knotenpunkt versetzung und das Blickfeld für jede Zoom- und Fokuseinstellung der Kamera und Linse bestimmt werden müssen. In einer vertikalen Einstellung zu verwendende Kameras und Lin sen sehen Zoom- und Fokusringe vor mit Instrumentkodierern, welche die Ringeinstellun gen liefern. Diese Ringeinstellungen liefern jedoch nicht direkt die Kameralinsen-Knoten punktversetzung und das Blickfeld. Wenn die Kamera und Linse in Echtzeit verwendet werden, wird die Knotenpunktversetzung (und das Blickfeld) erhalten, indem die laufenden Zoom- und Fokusringeinstellungen genommen werden und unter Verwendung eines Satzes von speziell für die besondere Kamera und Linse erzeugten Kalibrierdaten verarbeitet wer den. Daher besitzt jede Kamera- und Linsen-Kombination einen eindeutigen Kalibrierdaten satz, der vor der Verwendung bestimmt werden muß. Dies ist ein einmaliger Ausrichtungs- und Kalibrierprozeß zum Erzeugen des Kalibrierdatensatzes für jede besondere Kamera- und Linsenkombination. Typisch benötigt der Kalibrierprozeß zur Zeit viele Stunden zur Durchführung.

Es wäre eine Verbesserung, ein neues Verfahren zu schaffen zum Messen von Kamera- und Linseneigenschaften in einem Kalibrierprozeß, welcher mehr automatisiert ist als der Stand der Technik. Der neue Prozeß sollte auch die manuelle Eingabe von Daten eliminieren, um dadurch die Möglichkeit für menschliche Fehler in dem Linsenkalibrierprozeß zu reduzieren. Der neue Kalibrierprozeß sollte auch den Zeitbedarf zum Erzeugen eines Kalibrierdatensat zes für jedes Kamera- und Linsenpaar vermindern.

Ein Ziel der Erfindung ist die Schaffung eines Verfahrens und einer Vorrichtung zum Mes sen physikalischer Parameter einer Kamera- und Linsen-Kombination.

Ein weiteres Ziel ist die Schaffung eines Linsenkalibrierprozesses.

Ein weiteres Ziel ist die Schaffung eines Linsenkalibrierprozesses, welcher dreidimensionale Positionsinformation des Knotenpunktes der Kamera für jede Einstellung der Zoom- und Fokusringe schafft.

Ein weiteres Ziel ist die Schaffung eines Linsenkalibrierprozesses, welcher Blickfeldinfor mation für jede Einstellung der Zoom- und Fokusringe schafft.

Ein weiteres Ziel ist die Schaffung eines Linsenkalibrierprozesses, welcher die Kameralin sen-Knotenpunktversetzung und das Blickfeld bestimmt unter Verwendung von Kameralin sen-Zoom- und Fokuseinstellungen.

Ein weiteres Ziel ist die Schaffung eines Linsenkalibrierprozesses, welcher das Nutzen von Komponenten aus einem virtuellen Studiosatz umfaßt, um die Information über die Kame ralinsen-Knotenpunktversetzung und das Blickfeld zu generieren.

Die Erfindung wird verwirklicht in einem Verfahren und einer Vorrichtung zum Durchfüh ren eines Linsenkalibrierprozesses, welcher für jedes Kamera- und Linsenpaar ausgeführt wird. Der Linsenkalibrierprozeß wird durchgeführt, um die Kamera- und Linsen-Knoten punktversetzung und das Blickfeld als Funktion der Linsen-Zoom- und Fokuseinstellungen zu bestimmen. Das Verfahren umfaßt den Schrift, eine Vorrichtung vorzusehen, welche die automatische und rasche Eingabe von Datenpunkten ermöglicht, die Information zur Linsen-Zoom- und Fokuseinstellung repräsentiert, wodurch eine Fehlerquelle eliminiert wird.

Das allgemeine Verfahren umfaßt die Schritte der Erzeugung einer wirklichen (realen) Um gebung und einer virtuellen Umgebung, die eine Kopie der wirklichen Umgebung ist, ein schließlich der vorderen und hinteren Skalen, um eine entsprechende Parallaxe mit den Be zugsmarkierungen aufzudecken. Ein Bild wird dargestellt von der wirklichen Kamera auf einem Monitor, welches in dem Blickfeld die vorderen und hinteren Skalen umfaßt. Indem ein Bildgenerator verwendet wird, um eine virtuelle vordere Skala und eine virtuelle hintere Skala zu generieren, wird das Bild von der virtuellen Umgebung überlagert auf dem Moni tor, der die wirkliche Umgebung darstellt, unter Verwendung eines Bildzusammensetzers oder durch anderweitiges Mischen der wirklichen und virtuellen Umgebungsvideoquellen. Die Zoom- und Fokusringe der Kamera werden so betätigt, daß sie sich um diskrete Schritte durch eine Mehrzahl von Werten bewegen. Für jeden Wert werden die Bildgene rator-Steuerungen betätigt, bis die Bilder identisch sind. Die Werte von dem Bildgenerator werden dann aufgezeichnet als ein Datenpunkt, der einer speziellen Kameralinsen-Zoom- und Fokuseinstellung entspricht. Eine Mehrzahl von Datenpunkten wird dann aufgezeich net, um die virtuelle Datenbank zu erzeugen.

In einem Aspekt der bevorzugten Ausführungsform der Erfindung werden mehrere vertikale Linien auf einer vorderen und einer hinteren horizontalen Skala markiert, wobei jede Ab messung der vorderen Skala die Hälfte der entsprechenden Abmessung der hinteren Skala beträgt, und wobei eine Anzahl der vertikalen Markierungen auf der vorderen Skala gleich einer Anzahl vertikaler Markierungen auf der hinteren Skala ist. Daher beträgt der Abstand zwischen den vertikalen Markierungen auf der vorderen Skala die Hälfte des Abstands zwi schen den Markierungen auf der hinteren Skala.

In einem anderen vorteilhaften Aspekt der Erfindung kann das System in Echtzeit betrieben werden, um Echtzeitbilder zu erzeugen. Das System verwendet die Kalibrierdatenpunkte aus der virtuellen Datenbank, um zu bestimmen, was das korrekte Blickfeld, die Knoten punktposition und die Bildversetzung sein sollte für die virtuelle Umgebung für eine beliebi ge Zoom- und Fokuseinstellung der wirklichen Kamera und Linse.

In einem anderen vorteilhaften Aspekt wird das Erzeugen der virtuellen Datenbank weiter vereinfacht durch die Verwendung spezialisierter Steuersoftware des Virtuellbildgenerators. Während des Kalibrierprozesses werden Datenpunkte aufgezeichnet. Anstatt die Daten ma nuell einzugeben, liefert die Virtuellbildgenerator-Software die notwendigen Daten, wenn das Blickfeld, die Knotenpunktposition und die Bildversetzung manipuliert (verstellt) wer den, um die identischen Bilder zu erzeugen. Wenn die Bilder der wirklichen Umgebung und der virtuellen Umgebung identisch sind, klickt der Benutzer eine Maus oder Tastatur, was die Datenpunkteinstellungen einem Kalibrierdatensatz für die bekannten wirklichen Kame ralinsen-Zoom- und Fokuseinstellungen hinzufügt.

Im folgenden wird die Erfindung anhand eines in der Zeichnung gezeigten Ausführungsbei spiels näher beschrieben. In der Zeichnung zeigen:

Fig. 1A eine Vorderansicht der gegenwartig bevorzugten erfindungsgemaßen Ausfüh rungsform, worin die vordere Skala und die hintere Skala in einer vertikalen Po sition gezeigt sind, und wo der Abstand von der Kameralinse zu der vorderen Skala gleich dem Abstand von der vorderen Skala zu der hinteren Skala ist;

Fig. 1B eine Draufsicht der in Fig. 1A gezeigten derzeitig bevorzugten Ausführungs form, um so den Knotenpunkt, die vordere Skala und die hintere Skala zu zeigen;

Fig. 2A eine Vorderansicht der vorderen Skala und der hinteren Skala, worin der Kno tenpunkt der Kamera näher bei der vorderen Skala liegt als die vordere Skala bei der hinteren Skala liegt;

Fig. 2B eine Vorderansicht der vorderen Skala und der hinteren Skala, worin der Kno tenpunkt der Kamera weiter weg von der vorderen Skala liegt als die vordere Skala von der hinteren Skala;

Fig. 3 eine perspektivische Zeichnung der physischen Bauteile der Vorrichtung der der zeit bevorzugten Ausführungsform der Erfindung;

Fig. 4 eine typische grafische Darstellung der Blickfeld(FOV)-Fläche für eine wirkliche Kamera relativ zu Fokus- und Zoomeinstellungen der wirklichen Kamera;

Fig. 5 eine Erläuterung des Expansionsfokus, der relativ zu dem Fadenkreuz der Kame ra versetzt ist;

Fig. 6 eine Erläuterung der richtigen Kameraausrichtung zur Kalibrierung relativ zu den vertikalen Markierungen, welche den Expansionsfokus über dem Punkt angeord net zeigt, wo die zentrale Markierung der hinteren Skala benachbart der zentralen Markierung der vorderen Skala und ausgerichtet auf diese liegt; und

Fig. 7 eine Darstellung einer Aufzeichnung von Blickfelddaten mit einem darin erschei nenden fraglichen Datenpunkt.

Nun wird auf die Figuren bezug genommen, in denen den verschiedenen Elemente der Er findung numerische Bezeichnungen gegeben werden, und in denen die Erfindung diskutiert wird, um auf diese Weise dem Fachmann zu ermöglichen, die Erfindung auszuführen und zu verwenden. Es versteht sich, daß die folgende Beschreibung nur beispielhaft für die Prinzi pien der Erfindung ist und nicht als Beschränkung der Ansprüche angesehen werden sollte.

Das endgültige Ziel der Erfindung ist ein Verfahren zum Kalibrieren einer wirklichen Kame ra und Linse und virtueller Objekte, die durch eine "virtuelle Kamera" wiedergegeben wer den, so daß die virtuellen Objekte in einem Verbundbild wirklicher und virtueller Umgebun gen angeordnet werden können. Damit dies geschieht, müssen die Knotenpunktposition und das Blickfeld der wirklichen und der virtuellen Kamera die gleichen sein. Im Idealfall kann das resultierende zusammengesetzte Bild in Echtzeit justiert werden. Dieser Kamera- und Linsen-Kalibrierprozeß ist erforderlich wegen der Variationen, die in Kamera- und Linsen-Kom binationen vorhanden sind, die die Blickfeld- und Zoomcharakteristiken für jede Ka mera- und Linsenpaarung eindeutig machen. Daher besteht das Ziel des Linsenkalibrierpro zesses darin, zwei Parameter des wirklichen Kamera- und -Linsen-Systems zu messen (im folgenden als die Kamera bezeichnet). Die zwei Parameter sind das Blickfeld und die Kno tenpunktposition. Wie vorher angegeben, ist der Knotenpunkt der exakte Punkt im Raum, von dem aus eine perspektivische Szene, welche die Kamera "sieht", gezeichnet zu sein scheint. Der Knotenpunkt funktioniert als ein gemeinsamer Bezugspunkt zwischen einer wirklichen Umgebung und einer virtuellen Umgebung. Das Blickfeld ist der horizontale Winkel, der aufgespannt ist zwischen der linken und rechten Kante des von der Kamera gesehenen Bildes. Es sollte jedoch erkannt werden, daß der Punkt, von dem aus der hori zontale Winkel gemessen wird, noch nicht bekannt ist, da er der Knotenpunkt ist. Nachteili gerweise ist der Knotenpunkt nicht eine fixierte Position relativ zu der Kamera, sondern bewegt sich statt dessen nach vorn oder zurück entlang einer optischen Achse, wobei die optische Achse eine koaxial von der Kameralinse verlaufende Linie ist. Allgemein ist sie annähernd ein Zentrum eines von der Kamera gesehenen Bildes. Der Knotenpunkt verschiebt sich nach vorn und nach hinten entlang der optischen Achse als Funktion wech selnder Zoom- und/oder Fokuseinstellungen. Indem gemessen wird, wie das Blickfeld und die Knotenpunktposition der Kamera sich verändern, wenn die Zoom- und Fokuseinstel lungen der Kamera verändert werden, wird die wirkliche Kamera auf die virtuelle Kamera kalibriert.

Fig. 1A ist vorgesehen zur Einführung eines Satzes von Skalen, die in dem bevorzugten Verfahren zum Messen des Blickfeldes und des Knotenpunktes der Kamera verwendet wer den. Fig. 1A zeigt zwei Skalen, eine vordere Skala 10 und eine hintere Skala 12. Die hinte re Skala 12 ist allgemein horizontal an einer flachen Wand angebracht, wobei eine Boden kante 14 allgemein bei einer nominellen Kamerahöhe 16 angeordnet ist. Die vordere Skala 10 ist in einem Abstand D 18 (siehe Fig. 1B) vor der hinteren Skala 12 aufgehängt. Die vordere Skala 10 kann zum Beispiel zwischen zwei Dreibeinstativen (nicht gezeigt) aufge hängt werden. Die obere Kante 20 der vorderen Skala 10 sollte so angeordnet werden, daß sie benachbart der Bodenkante 14 der hinteren Skala 12 oder etwas niedriger zu liegen scheint, bei Betrachtung durch die Kamera.

Die vordere Skala 10 und die hintere Skala 12 sind markiert mit einer Mehrzahl vertikaler Linien 22 bei genau gemessenen Intervallen. Die relative Länge und Vertikallinienabstands-In tervallbeziehung zwischen der vorderen Skala 10 und der hinteren Skala 12 ist derart, daß die vordere Skala genau die Hälfte der hinteren Skala beträgt. Folglich fluchten, wenn die Skalen 10 und 12 durch die Kamera betrachtet werden, wie in Fig. 1A gezeigt, die verti kalen Markierungen 22 der vorderen Skala 10 und der hinteren Skala 12 allgemein perfekt, als ob die Länge der Skalen und der Abstand zwischen den vertikalen Markierungen 22 die gleiche wäre.

Fig. 1B veranschaulicht die tatsächlichen Abstände zwischen der vorderen Skala 10 und der hinteren Skala 12 in einer Draufsicht. Um die vertikalen Markierungen 22 auszurichten, wie in Fig. 1A gezeigt, müssen die Abstände 18 die gleichen sein zwischen dem Knoten punkt 26 und der vorderen Skala 10 sowie zwischen der vorderen Skala und der hinteren Skala 12. Die Linien 24 schneiden die vertikalen Markierungen 22 auf den Skalen 10 und 12.

Der Knotenpunkt 26 verändert sich, wenn die Kamera entlang der optischen Achse 28 vor wärts und rückwärts bewegt wird. Wenn der Knotenpunkt 26 sich verändert, erscheinen die Skalen 10 und 12 nicht mehr, wie in Fig. 1A gezeigt. Wenn der Knotenpunkt 26 zu der vorderen Skala 10 verschoben wird, können die Skalen 10 und 12 erscheinen, wie in Fig. 2A gezeigt. In dieser Figur scheint die vordere Skala 10 jetzt größer zu sein als die hintere Skala 12.

Im Gegensatz dazu veranschaulicht Fig. 2B die Situation, in der die Kamera entlang der optischen Achse 28 nach hinten verschoben wird, so daß der Abstand zwischen dem Kno tenpunkt 26 und der vorderen Skala 10 kürzer ist als der Abstand zwischen der vorderen Skala und der hinteren Skala 12.

Die in den Fig. 1A, 1B, 2A und 2B gezeigten Skalen 10 und 12 werden erzeugt zu dem Zweck, ein Bild zu schaffen, was später im einzelnen zu erläutern ist. Es ist jedoch nützlich zu wissen, daß zwei Bilder der Skalen 10 und 12 übereinander zu überlagern sind. Ein Bild ist von einer wirklichen Umgebung, wie durch die wirkliche Kamera gesehen. Ein zweites Bild ist ein virtuelles Bild von der virtuellen Umgebung, in der virtuelle Skalen angeordnet sind, welche in Größe, Gestalt und Proportion identisch sind mit den Skalen 10 und 12, die sich in der wirklichen Umgebung finden. Wegen der scharfen und relativ genauen Kanten der Skalen 10 und 12 wird der Prozeß zum Bestimmen, wann die wirklichen und virtuellen Bilder ausgerichtet sind, leichter gemacht.

Übergehend zu dem Prozeß der Erzeugung einer virtuellen Umgebung wird ein Software programm, das zu diesem Zeitpunkt als FuseBox bekannt ist, dazu verwendet, eine virtuelle Umgebung zu erzeugen und zu steuern. Wenigstens eine virtuelle Kamera wird erzeugt, um so wenigstens einen virtuellen Knotenpunkt 30 (nicht gezeigt) zu erzeugen. Es kann ange nommen werden, daß das Layout der virtuellen Umgebung identisch ist mit der in den Fig. 1A und 1B gezeigten wirklichen Umgebung und daher nicht in einer getrennten Figur wiedergezeichnet wird.

Sowohl die virtuelle wie auch die wirkliche Kamera werden "auf Luft" plaziert, um zentriert zu werden, wie in den Fig. 1A und 1B gezeigt. Eine einzelne Bezugsmessung von der wirklichen Skala zu einem Punkt auf der Kamera wird aufgezeichnet, um die Versetzung (offset) jedes gemessenen Knotenpunktes von diesem Bezugspunkt zu berechnen. Die we nigstens eine virtuelle Kamera ist imstande, zu "sehen", was sich in der virtuellen Umgebung befindet. Identische Stützen (props) werden in der wirklichen sowie der virtuellen Umge bung erzeugt. Zu Kalibrierzwecken umfassen diese Stützen eine virtuelle vordere Skala und eine virtuelle hintere Skala.

Das derzeit bevorzugte Verfahren der Erfindung umfaßt daher den Schritt der Erzeugung der wirklichen Umgebung als einen Satz und der virtuellen Umgebung als einen virtuellen Satz, der eine Kopie der wirklichen Umgebung ist, umfassend die virtuellen vorderen und hinteren Skalen mit den virtuellen Markierungen. Der nächste Schritt in dem Verfahren ist die Darstellung eines Bildes von der wirklichen Kamera auf einem Monitor. Dann wird die Ansicht der virtuellen Umgebung auf dem gleichen Monitor überlagert, so daß die virtuelle Umgebung gleichzeitig mit der wirklichen Umgebung gesehen wird. Ein Bediener ist im stande, den Monitor zu betrachten und das virtuelle Blickfeld und die virtuelle Knoten punktposition des Bildgenerators zu manipulieren oder zu verstellen. Die Aufgabe der Kali brierung umfaßt dann den Schritt, eine erste Einstellung für die Zoom- und Fokusringe der wirklichen Kamera zu wählen. Der Bediener manipuliert die Zoom- und Fokusringe auf eine gewünschte Einstellung. Was am wichtigsten ist, der Bediener justiert dann das virtuelle Blickfeld und die virtuelle Knotenpunktposition des Bildgenerators, bis das zusammenge setzte Bild auf dem Monitor, das die virtuelle Umgebung und die wirkliche Umgebung zeigt, identisch sind.

Da das von der wirklichen Kamera sowie der virtuellen Kamera dargestellte Bild ein Bild der vorderen und hinteren Skalen (wirklich und virtuell) ist, ist es eine relativ einfache An gelegenheit, die Skalen und die Markierungen auszurichten, bis sie übereinstimmen. Eine erfolgreiche Ausrichtung des wirklichen und virtuellen Bildes führt zu dem, was als eine einzige vordere und hintere Skala erscheint. Wenn die Bilder übereinstimmen, werden das virtuelle Blickfeld und die virtuelle Knotenpunktposition aufgezeichnet als ein Datenpunkt, der einer Zoomringeinstellung und einer Fokusringeinstellung der wirklichen Kamera ent spricht. Die Ringeinstellwerte werden gleichzeitig aufgezeichnet durch die Computersoft ware von Kodierern, die mit jedem Ring verknüpft sind.

An diesem Punkt können verschiedene Beobachtungen angestellt werden. Erstens ist das Aufzeichnen des Datenpunktes keine manuelle Eingabe von Daten. Der Bediener hat nur eine Taste zu drücken oder eine Maustaste zu klicken. Dieses Tun fügt den Datenpunkt einer virtuellen Datenbank hinzu, wo eine virtuelle Kamera-Zoom- und Fokuseinstellung und damit der Knotenpunkt und das Blickfeld jetzt einer wirklichen Kamera-Zoom- und Fokuseinstellung und dem resultierenden Knotenpunkt und dem Blickfeld entsprechen. Es sollte erkannt werden, daß deshalb, weil jedes Kamera- und Linsenpaar eindeutig verschie den ist von anderen Kamera- und Linsen-Kombinationen, die virtuellen Kamera-Zoom- und Fokuseinstellungen für jede Kombination etwas variieren.

Zweitens führt das obige Verfahren zu der Fähigkeit, wirkliche und virtuelle Elemente mit einem hohen Grad an Präzision zusammenzubringen. Dies trifft zu, obwohl nur eine diskrete Anzahl von Datenpunkten aufgezeichnet wird. Daher umfaßt das obige Verfahren auch den Schritt, die Realkamera-Zoom- und -Fokuseinstellungen durch einen Bereich von Werten zu bewegen. Ideal werden die Datenpunkte für viele diskrete Zoom- und Fokuseinstellungen an der wirklichen Kamera erzeugt. Man sollte sich jedoch darüber im klaren sein, daß es ty pisch Tausende von Einstellungen gibt, die in relativ kleinen Inkrementen erhältlich sind. Die Methode umfaßt daher ein Verfahren zum Erzeugen einer kontinuierlichen Fläche von Blickfeld, Knotenpunktversetzung, horizontalen oder vertikalen Bildversetzungswerten als Funktion von Zoom und Fokus bei Echtzeitraten auf der Grundlage einer relativ kleinen Anzahl von Datenpunkten.

Drittens kann das zusammengesetzte Bild der wirklichen Umgebung und der virtuellen Um gebung auf zahlreiche Weisen erzeugt werden, die dem Fachmann bekannt sind. Zum Bei spiel kann der Prozeß so einfach sein wie das Mischen wirklicher und virtueller Videoquel len, anstatt eine mehr ausgeklügelte Bildzusammensetzervorrichtung zu verwenden.

Viertens ist die spezielle Implementierung des obigen Verfahrens in der FuseBox-Software implementiert. Die FuseBox-Software bildet eine Dialogbox zum Eingeben von Daten punkten. Insbesondere wird eine FuseBox-Projektdatei erzeugt, genannt "lenscal.fbx", wel che die virtuellen vorderen und hinteren Skalen enthält. Nachdem das Projekt in den Bildge nerator geladen ist, ermöglicht die Dialogbox dem Bediener, einen Dateinamen zum Spei chern der Kalibrierergebnisse einzugeben, für die besondere zu kalibrierende Kamera- und Linsenkombination, den Abstand von der hinteren Skala zu einer gewählten Kamerabezugsebene einzugeben, die notwendigen Einstellungen der Knotenpunktposition und des Blickfeldes für jede Realkamera-Zoom- und Fokuseinstellung vorzunehmen, und zum Speichern der Ergebnisse.

Fünftens ist es wichtig zu erkennen, daß die Kamera nicht bewegt zu werden braucht noch bewegt oder in irgendeiner Weise neu positioniert werden darf zwischen Datenpunktmes sungen. Es ist ferner nicht notwendig, daß jeder Datenpunkt manuell geschrieben oder in die FuseBox-Software eingetippt wird. Es ist für jede Realkamera-Zoom- und Fokuseinstellung lediglich erforderlich, die FuseBox-Steuerjustierungen mit den Bildern von der wirklichen Kamera und dem Bildgenerator in Übereinstimmung zu bringen und dann die Einstellungen mit einem Mausklick oder einer Tastenbetätigung zu speichern. Mit anderen Worten "besichtigt" der Bediener das zusammengesetzte Bild, bis es wie ein einziges Bild der Ska len aussieht.

Sechstens erfordert das Manipulieren der Einstellungen der virtuellen Kamera so, daß die wirklichen und virtuellen Bilder übereinstimmen, spezifisch nicht nur das Justieren des Blickfeldes und der Knotenpunktposition des Bildgenerators, es kann auch eine Justierung einer horizontalen und vertikalen Versetzung erfordern, um das Zentrum der virtuellen und wirklichen Bilder ausgerichtet zu halten. Wenn das System verwendet wird zum Generieren von Echtzeitbildern, werden daher das Blickfeld, die Knotenpunktposition und die Bildver setzung sämtlich justiert für eine beliebige Variation der Zoom- und Fokuseinstellungen der wirklichen Kamera.

Die wesentlichen Baueinheiten der Erfindung sind alle erwähnt, aber nicht speziell darge stellt worden. Daher umfaßt die Erfindung, wie in Fig. 3 gezeigt, eine wirkliche Kamera (Realkamera) 40 und Linse 42 mit einem Zoomring 44 und einem Fokusring 46. Die Kame ra 40 umfaßt ein erstes Videokabel 48, welches das wirkliche Bild zu einem Zusammenset zer 50 oder einer anderen Mischeinrichtung überträgt. Der Zusammensetzer 50 ist über ein zweites Videokabel 54 auch mit einem Bildgenerator 59 gekoppelt. Der Bildgenerator 59 ist seinerseits über ein Kabel 57 mit einem Computer 52 verbunden, wobei der Computer die Linsenkalibriersoftware betätigt. In der derzeit bevorzugten Ausführungsform ist die Soft ware als FuseBox bekannt. FuseBox, der Computer 52 und der Bildgenerator 59 erzeugen die virtuelle Umgebung und die Stützen (props) darin wie die virtuellen vorderen und hinte ren Skalen, die in dem Kalibrierprozeß verwendet werden. FuseBox steuert auch das Blick feld und die Knotenpunkteinstellungen der virtuellen Kamera. Schließlich ist der Zusam mensetzer 50 über ein Videokabel 58 mit einem Darstellungsmonitor 56 gekoppelt, welcher das virtuelle und das wirkliche Bild gleichzeitig zeigt.

Im Idealfall schiene es vorteilhaft, einen Kalibrierdatenpunkt für jede und jede mögliche Zoom- und Fokuseinstellung der wirklichen Kamera zu erhalten. Dies ist nicht praktisch, da Zoom- und Fokuseinstellungen jeweils mit Zehntausenden von Genauigkeitsstufen gemessen werden. Jeder Kamera- und Linsenparameter, zum Beispiel Blickfeld, kann durch eine Flä che als Funktion von Zoom und Fokus repräsentiert werden. Fig. 4 zeigt eine typische Grafik der Blickfeldfläche für eine Kamera. Das Blickfeld ist auf einer Skala von 0 bis 60 Grad gezeigt, wobei Datenpunkte auf jeder Achse sich über einen willkürlich eingeteilten Bereich von 0 bis 30 erstrecken.

Da die Fläche erhalten wird unter Verwendung eines diskreten Satzes von Datenpunkten, die bei besonderen Werten von Zoom und Fokus aufgenommen werden, ist es erforderlich, eine Funktion vorzusehen, welche eine glatte und kontinuierliche Fläche berechnet auf der Grundlage von Werten, die während des Kalibrierprozesses gemessen werden. Eine wün schenswerte Eigenschaft für diese Glättungsfunktion ist die, daß sie durch die gemessenen Werte an den besonderen Zoom/Fokus-Datenpunkten hindurchgeht. Man beachte, daß aus Gründen der Leistung es auch wünschenswert sein kann, in einer alternativen Ausfüh rungsform eine Schnellnachschlage-Tabellenversion der glatten Fläche vorzusehen. Dies liegt daran, daß Flächengenerieralgorithmen unpraktisch sein können zum Betreiben mit Realzeitgeschwindigkeiten.

Während Fig. 4 eine Fläche für Blickfeld als Funktion von Zoom- und Fokuseinstellungen der wirklichen Kamera darstellt, werden auch ähnliche Flächen generiert für Knotenpunkt versetzung, horizontale Bildversetzung und vertikale Bildversetzung, alle als Funktion von Zoom und Fokus.

Das oben beschriebene Verfahren für den Kalibrierprozeß sollte es allen Fachleuten ermög lichen, die Erfindung auszuführen und zu praktizieren. Es gibt jedoch zusätzliche Informati on, welche hilfreich sein kann. Daher wird die folgende Information geboten.

Bei dem Aufstellen der wirklichen vorderen Skala 10 und der hinteren Skala 12 ist es wich tig, die Skalen auf steifen und flachen Flächen anzubringen. Kein Durchhang, keine Biegung oder Krümmung sollte vorhanden sein. Die hintere Skala 12 sollte auf einer flachen Wand montiert sein, wo sie gut beleuchtet ist und guten Kamerazugang besitzt. Die vordere Skala 10 kann zum Beispiel angebracht werden an einer Metallstange oder einem anderen Materi al, das die Skala 10 gerade und flach hält, ohne einen Durchhang aufgrund der Schwerkraft.

Im Idealfall wird in der bevorzugten Ausführungsform die vordere Skala 10 genau 100 cm vor einer vorderen Fläche der hinteren Skala 12 montiert. Es ist wichtig, daß der Abstand von 100 cm bei der linken sowie rechten Kante und der Mitte der Skalen 10 und 12 auf rechterhalten wird. Die vordere Skala 10 muß auch relativ zu der hinteren Skala 12 zentriert werden. Dies kann verifiziert werden durch Messen des diagonalen Abstands zwischen einer Markierung 60 (siehe Fig. 1B) auf der vorderen Skala 10 und einem Paar Markierungen 62 in gleichem Abstand links und rechts auf der hinteren Skala 12. Diese zwei diagonalen Abstände müssen gleich sein. Diese Diagonalen sind in Fig. 1B mit einem großen X 64 bezeichnet.

Jede Skala muß auch waagerecht angebracht werden. Ideal sollte die Bodenkante 14 der hinteren Skala 12 sich auf der gleichen Höhe befinden wie die optische Achse 28 der Kame ra. Die Oberkante 13 der vorderen Skala 10 sollte gerade etwas niedriger (etwa 3,2 mm (!/8 inch)) liegen, so daß die Kamera die Bodenkante 14 der hinteren Skala 12 sehen kann, ohne durch die vordere Skala 10 blockiert zu sein.

In einer alternativen Ausführungsform könnte eine Ausrichtungsspannvorrichtung konstru iert werden, welche diese Skalen 10 und 12 starr anbringt unter Verwendung einer stabilen Sperrholzplatte als Basis, wobei die Skalen auf geraden Längen von Holzplatten montiert werden, die an die Sperrholzbasis in den benötigten relativen Positionen angefügt werden.

Die Beleuchtung der Skalen 10 und 12 sollte angemessen sein, um eine ziemlich enge Ka merairiseinstellung zu ermöglichen, da dies für ein schärferes Bild über einen breiten Schär fentiefenbereich sorgt. Wenn die Iris zu weit geöffnet werden muß, ist es schwieriger, ein angemessen scharfes Bild der vertikalen Markierungen 22 auf der vorderen und hinteren Skala 10 und 12 zu erhalten, insbesondere mit sehr schmalen Zoomwinkeln und nahen Fokuseinstellungen.

Eine wichtige Beobachtung über den obigen Linsenkalibrierprozeß schließt eine Kodierer kalibrierung oder Initialisierung ein. Zoom- und Fokusringe weisen oft Kodierer auf, die einfach digitale Repräsentationen einer laufenden Einstellung sind. Bei vielen Kodierern ist es der Fall, daß es kein Indexsignal gibt. Dies bedeutet, daß die Zoom- und Fokusringkodie rer nicht automatisch zurückgestellt werden können auf einen bekannten absoluten Wert bei einer bekannten Ringposition, indem die Ringe lediglich ihre Bereiche überstreichen. Daher ist es erforderlich, manuell einen absoluten Wert in die Kodierer zwangsläufig einzugeben nach dem Einstellen der Ringe auf bekannte Positionen. Dies schließt die Schritte ein, 1) den Zoomring zu seinem mechanischen Anschlag bei maximalem Blickfeld zu bewegen, 2) den Fokusring zu seinem mechanischen Anschlag bei unendlich zu bewegen, und 3) die Kodie rer-Absolutwerte auf Null zu stellen durch den Einstelleigenschaften-Dialog der FuseBox. Mit anderen Worten wird, wenn die Ringe zu einer extremen Minimalposition bewegt wer den, der Software gesagt, abzulesen, welcher Zufallswert sich auf den Kodierern befindet. Dann werden die Ringe zu einer extremen Maximalposition bewegt, und der Software wird gesagt, den Wert in den Kodierern zu lesen, der nun um einen bestimmten Wert inkremen tiert worden ist. Auf diese Weise lernt die Software, welche Zoom- und Fokuseinstellung relativ zu den extremen möglichen Positionen verwendet wird.

Die Kodierer-Initialisierungsprozedur muß vor jedem Kalibrierprozeß durchgeführt werden. Diese Prozedur muß auch durchgeführt werden, bevor die Kamera nach dem Einschalten betrieben werden kann.

Eine weitere wichtige Beobachtung ist zu machen, daß nämlich ein wichtiger Teil der Lin senkalibrierung darin besteht, den "Expansionsfokus" (focus of expansion) der Linse zu erklären. Anders ausgedrückt scheint bei einer Zoomlinse ein einzelner Punkt in dem Bild vorhanden zu sein, der während einer Zoomoperation stationär ist. Ideal wäre dieser Punkt das Zentrum des Bildes. Aufgrund von Fertigungstoleranzen und deren Faktoren weist jedoch dieser Punkt allgemein eine kleine Versetzung auf, vielleicht ein paar Pixel, von dem exakten Zentrum des Bildes. Ferner kann sich dieser Punkt während der Zoomoperation etwas verschieben. Es ist wichtig zu wissen, wo sich dieser Punkt in dem Bild der Kamera befindet, so daß der Bildgenerator angewiesen werden kann, diesen gleichen Punkt als Zentrum seiner Zoomoperationen zu verwenden.

Es ist erforderlich, diesen Punkt experimentell zu bestimmen durch Ein- und Aus-Zoomen und Beobachten, wo dieser Expansionsfokus sich für eine spezielle Kamera befindet. Ein einfaches Verfahren, das allgemein angemessen ist, besteht darin, einen Klebepapierpunkt an einer Wand anzubringen und dann den Zoom ein und aus zu verstellen. Wenn der Punkt nicht bei dem Expansionsfokus liegt, bewegt er sich in der Schirmposition, wenn der Zoom manipuliert wird. Verstellen Sie unter Verwendung des Schwenkens und Kippens der Ka mera die Position des Punktes, bis er sich nicht zu bewegen scheint, wenn Sie den Zoom verstellen. Der Ort des Punktes, bei dem er sich nicht bewegt, ist der Expansionsfokus.

Viele Kameras weisen eingebaute elektronische Ausrichtungsmarkierer oder "Fadenkreuze" auf, die eingeschaltet werden können. Sie möchten vielleicht das Fadenkreuz einschalten und dann bestimmen, wo der Expansionsfokus sich befindet relativ zu dem durch die Kame ramarkierung generierten Fadenkreuz. Zum Beispiel wird in Fig. 5 der Expansionsfokus bestimmt, sich dort zu befinden, wo das X 70 bezeichnet ist - ein wenig links und unterhalb der Fadenkreuzmarkierung 72 der Kamera. Ob Sie nun ein Fadenkreuz 72 besitzen oder nicht, möchten Sie vielleicht diese Stelle kennzeichnen, vielleicht mit einer Marke oder ei nem kleinen Stück Klebeband auf dem Monitor. Denken Sie daran, immer geradeaus zu schauen bei Verwendung einer Bezugsmarkierung auf der Frontfläche der Monitorglas scheibe, um Parallaxenfehler zu vermeiden.

Es ist wichtig, zu verstehen, wie die Kameraposition und die Orientierung auszurichten sind, um korrekte Datenpunktmessungen vorzunehmen. Daher ist es wichtig, daß die optische Achse 28 der Kamera waagerecht liegt, und genau zu dem Bodenzentrum der hinteren Skala 12 zu blicken, wobei auch die zentralen vertikalen Markierungen horizontal ausge richtet sind. Um dies zu tun, muß die Kamera sich genau an der korrekten Position befin den, mit den korrekten Schwenk- und Kippwinkeln. Der genaue Abstand von der Wand ist nicht kritisch. Jedoch sollte er nah genug sein, daß ziemlich viel wahrnehmbare Parallaxe zwischen der vorderen und der hinteren Skala 10 und 12 vorhanden ist, aber weit genug, daß die Scharfentiefe der Kamera die vordere sowie die hintere Skala angemessen erfassen kann. Es wird vorgeschlagen, die Bezugsebene der Kamera in etwa 2,5 m von der hinteren Skala 12 anzuordnen. Die Kamera sollte auch eine Neigung von Null aufweisen. Mit anderen Worten sollte sie waagerecht sein.

Der nächste Schritt ist das Ausrichten der Kamera in der Weise, daß das Bodenzentrum der hinteren Skala 12 sich genau über dem Expansionsfokus befindet und sie auch horizontal ausgerichtet ist auf die zentralen Markierungen der vorderen und hinteren Skala 10 und 12, wie in Fig. 6 gezeigt. Es sollte nur einen Weg geben, die gewünschte Ausrichtung zu er zielen. Um diesen Zustand zu erreichen, ist es erforderlich, die horizontale und vertikale Position der Kamera iterativ zu verstellen, ebenso die Schwenk- und Kippachse.

Sobald die Kamera ausgerichtet ist, um die Ansicht zu erzielen, wie sie in Fig. 6 gezeigt ist, sollte die Kamera so verriegelt werden, daß sie sich nicht bewegen kann während des Kalibrierverfahrens. Nach dem Verriegeln ist zu verifizieren, daß das Bild unverändert bleibt gegenüber dem in Fig. 6 gezeigten.

Wenn die virtuellen Bilder und die wirklichen Bilder erhältlich sind, stellen Sie den Zusam mensetzer 50 so ein, daß die Kamerabilder sowie die virtuellen Bilder deutlich überlagert in dem Monitor zu sehen sind. Der Abstand von der hinteren Skala 12 zu dem Bezugsort auf der Kamera sollte jetzt gemessen werden. Dieser Abstand wird in die FuseBox-Software eingegeben. Dieser Wert wird dazu verwendet, die Versetzung von der Bezugsebene gegen den Knotenpunkt zu bestimmen, da dieser Wert, zusammen mit dem laufenden Blickfeld, die Werte sind, die wir messen und speichern wollen.

Das Ziel des Kalibrierprozesses besteht darin, einen Satz von Datenpunkten zu erhalten, der den Bereich von Zoom und Fokus in einer ziemlich gleichförmigen Art überdeckt. In der bevorzugten Ausführungsform wird empfohlen, zehn Datenpunkte über den Bereich der Zoom- und Fokusringe aufzunehmen. Dies führt zu insgesamt 100 Datenpunkten. Die Zoomwerte können zum Beispiel bei 0, 11, 22, 33, 44, 55, 66, 77, 88 und 100 Prozent auf genommen werden. Die genauen Werte sind nicht kritisch, sind aber einfach so gewählt, daß sie etwa gleichmäßig über den Bereich jeder Steuerung verteilt sind.

Für jede Zoom- und Fokuseinstellung gibt es vier Steuerungen in der FuseBox-Software, die justiert werden können, um die zwei überlagerten Bilder in die bestmögliche Überein stimmung zu bringen: Knotenpunktposition, Blickfeld, horizontale Versetzung und vertikale Versetzung. Justieren Sie diese Steuerungen, bis die bestmögliche Übereinstimmung zwi schen den virtuellen und den wirklichen Bildern erhalten wird.

In der Praxis sind einige Fokus- und Zoomeinstellungen schwieriger einzustellen, da das Bild unscharf wird. Bis zu einem gewissen Maß kann dies verbessert werden durch Ver wenden von mehr Licht und Reduzieren der Irisöffnung, ebenso wie Schielen zu fokussieren hilft. Die Erfahrung hat gezeigt, daß sinnvolle Ablesungen noch mit etwas unscharfen Linien erhalten werden können, da das menschliche Auge eine gute Arbeit leisten kann bei dem Zentrieren eines verschwommenen Bildes relativ zu dem Bildgenerator.

Wenn der Linsenkalibrierprozeß des bevorzugten Verfahrens fertiggestellt ist, ist ein Satz von 100 Datenpunkten vorhanden, welche die Kamera- und Linsenkombination charakteri sieren. Die Anzahl von Datenpunkten ist nicht kritisch, aber natürlich wird das Ergebnis um so genauer, je mehr Kalibrierpunkte erhalten werden.

Es ist auch möglich, die resultierende virtuelle Datenbank zu analysieren und zu editieren. Obwohl dieser Schritt nicht erforderlich ist, kann er als eine schnelle Qualitätsprüfung von Resultaten dienen, um sicherzugehen, daß sie sinnvoll erscheinen. Die Kalibrierergebnisse werden in einer Computerdatei gespeichert. Die Datei kann typisch in ein Spreadsheet-Pro gramm importiert werden. Das Dateiformat für die bevorzugte Ausführungsform ist Zoom_Wert, Fokus_Wert, Knotenpunkt_Versetzung, Blickfeld, horizontale Versetzung, vertikale Versetzung. Daher weist jede Zeile sechs Zahlen auf. Zoom_Wert und Fokus_Wert sind ganze Zahlen, wogegen Knotenpunkt_Versetzung, Blickfeld und die beiden Ver setzungswerte Gleitkommazählen sind. Sobald die Daten importiert sind, können die Auf zeichnungsfähigkeiten des Spreadsheet-Programms dazu verwendet werden, die Ergebnisse grafisch aufzutragen. Wie in Fig. 7 gezeigt, sind die Blickfeldwerte grafisch dargestellt.

Fig. 7 zeigt; daß der erste Datenpunkt links das weiteste Blickfeld ist mit der Einstellung auf unendliche Brennweite. Jede Gruppe von 10 Datenpunkten entspricht einer besonderen Einstellung der Zoomlinse. Eine Aufzeichnung der Daten ermöglicht eine grafische Prüfung, bei der irgendwelche offensichtlich schlechten Datenpunkte erkannt werden können, da sie außer der Reihe mit dem Rest der Ergebnisse liegen. Wenn Datenpunkte nicht an der richti gen Stelle liegen wie der Datenpunkt bei 74, kann der Datenpunkt 74 noch einmal gemessen werden, oder eine manuelle Korrektur kann an der Datei selbst vorgenommen werden.

Es versteht sich, daß die oben beschriebenen Anordnungen nur erläuternd für die Anwen dung der Prinzipien der Erfindung sind. Zahlreiche Modifikationen und alternative Anord nungen können vom Fachmann ersonnen werden, ohne von dem Gedanken und Rahmen der Erfindung abzuweichen. Die Ansprüche sollen solche Modifikationen und Anordnungen abdecken.

Claims

1. Verfahren zum Kalibrieren einer Kamera und einer Linse relativ zu einer virtuellen Umgebung, um dadurch zu ermöglichen, daß wenigstens ein virtuelles Objekt darin korrekt angeordnet wird relativ zu wenigstens einem wirklichen Objekt in kombinierten Bildern einer wirklichen Umgebung und einer virtuellen Umgebung, gekennzeichnet durch die Schritte,

(1) daß die Betrachtungseinstellungen der Kamera und der Linse gewählt werden,
(2) daß die wirkliche Umgebung durch die Kamera und die Linse fotografiert wird und ein erstes Videosignal, das die wirkliche Umgebung repräsentiert, zu einer gemeinsa men Displayeinrichtung übertragen wird,
(3) daß die virtuelle Umgebung generiert wird unter Verwendung eines Virtuellbild generators und ein zweites Videosignal, das die virtuelle Umgebung repräsentiert, zu der gemeinsamen Displayeinrichtung übertragen wird,
(4) daß die wirkliche Umgebung und die virtuelle Umgebung als kombinierte Bilder auf der gemeinsamen Displayeinrichtung sichtbar gemacht werden,
(5) daß Parameter des Virtuellbildgenerators justiert werden, bis die kombinierten Bilder die virtuelle Umgebung als allgemein ausgerichtet auf die wirkliche Umgebung anzei gen und die Betrachtungseinstellungen als ein Datenpunkt aufgezeichnet werden, und
(6) daß die Schritte (1) bis (5) wiederholt werden, um eine Datenbank zu generieren, die eine Mehrzahl von Datenpunkten enthält, welche ermöglichen, daß das wenigstens eine virtuelle Objekt angeordnet wird an einer wählbaren Position innerhalb der wirklichen Um gebung, wie in dem kombinierten Bildern gesehen.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Schritt des Wählens der Betrachtungseinstellungen der Kamera und der Linse den Schritt umfaßt, daß eine Zoomeinstellung justiert wird, die partiell eine Knotenpunktposition der Kamera und der Linse entlang einer optischen Achse und ein Blickfeld bestimmt.

3. Verfahren nach Anspruch 1, gekennzeichnet durch den Schritt, daß eine Fokusein stellung justiert wird, die partiell eine Knotenpunktposition der Kamera und der Linse ent lang einer optischen Achse und ein Blickfeld bestimmt.

4. Verfahren nach Anspruch 1, gekennzeichnet durch den Schritt, daß wenigstens ein Objekt in der wirklichen Umgebung angeordnet wird, welches das Ausrichten der wirkli chen um und der virtuellen Umgebung erleichtert.

5. Verfahren nach Anspruch 4, gekennzeichnet durch den Schritt, daß zwei Objekte angeordnet werden, wobei ein erstes Objekt eine vordere Skala umfaßt und ein zweites Objekt eine hintere Skala umfaßt, und dadurch gekennzeichnet, daß die vordere Skala näher an der Kamera und der Linse angeordnet ist als die hintere Skala.

6. Verfahren nach Anspruch 5, gekennzeichnet durch den Schritt, daß eine erste Skala erzeugt wird, welche halb so lang ist wie die hintere Skala, und dadurch gekennzeichnet, daß die vordere Skala und die hintere Skala eine gleiche Anzahl virtueller Markierungen darauf auf ihrer Vorderseite aufweisen.

7. Verfahren nach Anspruch 6, gekennzeichnet durch den Schritt, daß die Mehrzahl vertikaler Markierungen derart angeordnet wird, daß ein Abstand zwischen jeder der Mehr zahl vertikaler Markierungen auf der vorderen Skala die Hälfte des Abstands zwischen jeder der Mehrzahl vertikaler Markierungen auf der hinteren Skala beträgt.

8. Verfahren nach Anspruch 7, gekennzeichnet durch den Schritt, daß die hintere Skala auf einer allgemein flachen Fläche angeordnet wird, wobei eine untere Kante der hinteren Skala allgemein bei einer nominellen Linsenhöhe angeordnet wird, und dadurch gekenn zeichnet, daß eine obere Kante der vorderen Skala so angeordnet wird, daß sie annähernd angrenzend an die untere Kante der hinteren Skala erscheint, bei Betrachtung durch die Kamera und die Linse.

9. Verfahren nach Anspruch 8, gekennzeichnet durch den Schritt, daß eine zentrale vertikale Markierung auf der vorderen Skala auf eine zentrale vertikale Markierung auf der hinteren Skala ausgerichtet wird, bei Betrachtung durch die Kamera und die Linse.

10. Verfahren nach Anspruch 9, gekennzeichnet durch den Schritt, daß ein visuelles Zentrum der Linse so angeordnet wird, daß es waagerecht ist und durch den tiefsten Teil der zentralen vertikalen Markierung auf der hinteren Skala hindurchgeht.

11. Verfahren nach Anspruch 10, gekennzeichnet durch den Schritt, daß Parameter der Kamera und der Linse verstellt werden, um dadurch das visuelle Zentrum der Linse auf dem feststehenden Punkt anzuordnen, wenn das visuelle Zentrum sich bewegt, wenn die Kamera und die Linse den Zoom nach vorn oder hinten entlang der optischen Achse bewegen, wenn eine Zoomfunktion genutzt wird.

12. Verfahren nach Anspruch 11, gekennzeichnet durch den Schritt, daß eine horizon tale Versetzung und eine vertikale Versetzung justiert werden.

13. Verfahren nach Anspruch 1, gekennzeichnet durch den Schritt, daß das erste Video signal und das zweite Videosignal gemischt werden, um das zusammengesetzte Bild auf der gemeinsamen Displayeinrichtung zu generieren.

14. Verfahren nach Anspruch 13, gekennzeichnet durch den Schritt, daß das erste Vi deosignal und das zweite Videosignal gemischt werden unter Verwendung eines Zusam mensetzers.

15. Verfahren nach Anspruch 1, gekennzeichnet durch den Schritt, daß eine virtuelle Knotenpunktposition, ein virtuelles Blickfeld,, eine virtuelle horizontale Versetzung und eine virtuelle vertikale Versetzung justiert werden, um dadurch die virtuelle Umgebung auf die wirkliche Umgebung auszurichten.

16. Verfahren nach Anspruch 1, gekennzeichnet durch den Schritt, daß ein Zoomring kodierer auf der Linse initialisiert wird, indem ein Zoomring zu einem ersten extremen Ein stellwert bewegt wird und dann der erste extreme Wert von dem Zoomringkodierer gelesen wird, und indem dann der Zoomring zu einem entgegengesetzten extremen Einstellwert bewegt wird und dann der entgegengesetzte extreme Wert von dem Zoomringkodierer gele sen wird.

17. Verfahren nach Anspruch 1, gekennzeichnet durch den Schritt, daß ein Fokusring kodierer auf der Linse initialisiert wird, indem ein Fokusring zu einem minimalen Einstell wert bewegt wird und dann ein minimaler Wert von dem Fokusringkodierer gelesen wird, und indem dann der Fokusring zu einem maximalen Einstellwert bewegt wird und dann ein maximaler Wert von dem Fokusringkodierer gelesen wird.

18. Verfahren nach Anspruch 2, gekennzeichnet durch den Schritt, daß die Zoomein stellung justiert wird und Datenpunktmessungen vorgenommen werden über eine im allge meinen gleichförmige Verteilung eines Bereichs von Zoomeinstellwerten.

19. Verfahren nach Anspruch 3, gekennzeichnet durch den Schritt, daß die Zoomein stellung justiert wird und Datenpunktmessungen vorgenommen werden über eine im allge meinen gleichförmige Verteilung eines Bereichs von Zoomeinstellwerten.

20. Verfahren nach Anspruch 1, gekennzeichnet durch den Schritt, daß ein Abstand von der hinteren Skala zu einer Bezugsebene an der Kamera gemessen wird, wobei der Abstand dazu verwendet wird, einen Versetzungswert von der Bezugsebene zu einem Knotenpunkt zu bestimmen.

21. Verfahren nach Anspruch 15, gekennzeichnet durch den Schritt, daß eine mathema tisch definierte Fläche generiert wird aus einem diskreten Satz von Datenpunkten für die virtuelle Knotenpunktversetzung, das virtuelle Blickfeld, die virtuelle horizontale Bildver setzung und die virtuelle vertikale Bildversetzung.

22. Verfahren nach Anspruch 21, gekennzeichnet durch den Schritt, daß eine Nach schlagetabelle generiert wird, um die mathematisch definierte Fläche zu repräsentieren, in dem die mathematisch definierte Fläche mit ähnlicher oder größerer Dichte wiederabgetastet wird und dann zwischen den wiederabgetasteten Datenpunkten interpoliert wird, um da durch ein Echtzeitdisplay des wenigstens einen Objektes in dem zusammengesetzten Bild der wirklichen Umgebung und der virtuellen Umgebung zu ermöglichen.

23. Verfahren zum Kalibrieren einer Kamera und einer Linse, um dadurch ein Echtzeit display wenigstens eines virtuellen Objektes zu ermöglichen, welches selektiv angeordnet wird in einem zusammengesetzten Bild einer wirklichen Umgebung und einer identischen virtuellen Umgebung, gekennzeichnet durch die Schritte

(1) daß eine Datenbank generiert wird, welche Parametereinstellungen für eine vir tuelle Kamera und eine virtuelle Linse umfassen, die Parametereinstellungen für die Kamera und Linse entsprechen, wodurch ermöglicht wird, die virtuelle Kamera und die virtuelle Linse auf die Kamera und die Linse auszurichten, und
(2) daß das wenigstens eine virtuelle Objekt in der virtuellen Umgebung angeordnet wird unter Verwendung eines Virtuellbildgenerators in der Weise, daß das eine virtuelle Objekt in einer entsprechenden Position in dem zusammengesetzten Bild der virtuellen und der wirklichen Umgebungen plaziert wird.

24. Verfahren zum Kalibrieren einer Kamera und einer Linse, um dadurch zu ermögli chen, daß ein Virtuellbildgenerator wenigstens ein virtuelles Objekt generiert, welches dann verwendet wird, um ein zusammengesetztes Bild einer wirklichen Umgebung zu erzeugen, die das wenigstens eine virtuelle Objekt enthält, gekennzeichnet durch die Schritte

(1) daß wenigstens ein Objekt in der wirklichen Umgebung angeordnet wird,
(2) daß das Objekt unter Verwendung der Kamera und der Linse fotografiert wird und ein Videosignal des Objektes zu einer gemeinsamen Displayeinrichtung übertragen wird,
(3) daß eine mit der wirklichen Umgebung identische virtuelle Umgebung generiert wird, wie von der Kamera und der Linse gesehen,
(4) daß ein zusammengesetztes Bild des wenigstens einen Objektes von der wirkli chen Umgebung und einer virtuellen Kopie des Objektes von der virtuellen Umgebung sichtbar gemacht wird,
(5) daß Parameter des Virtuellbildgenerators justiert werden, bis das Objekt und die virtuelle Kopie des Objektes allgemein ausgerichtet sind, um ein Bild des Objektes anzuzei gen,
(6) daß die Parameter des Virtuellbildgenerators aufgezeichnet werden, welche zu dem ausgerichteten Bild führten, wobei die Parameter einen Datenpunkt erzeugen,
(7) daß die Parameter der Kamera und der Linse variiert werden, um ein unter schiedliches Bild des Objektes anzuzeigen, und
(8) daß die Schritte (4) bis (7) wiederholt werden, um eine Datenbank zu generie ren, die Parameter des Virtuellbildgenerators enthält, welche es ermöglichen, das wenig stens eine virtuelle Objekt an einer wählbaren Position in der wirklichen Umgebung anzu ordnen, wie in dem zusammengesetzten Bild gesehen.

25. System zum Kalibrieren einer Kamera und einer Linse, um dadurch zu ermöglichen, wenigstens ein virtuelles Objekt selektiv anzuordnen in einem zusammengesetzten Bild einer wirklichen Umgebung und einer identischen virtuellen Umgebung, gekennzeichnet durch
die Kamera (40) und die Linse (42) zum Fotografieren der wirklichen Umgebung,
eine Bildmischeinrichtung (50) zum Mischen von Videosignalen von der wirklichen Umgebung und der virtuellen Umgebung,
eine gemeinsame Displayeinrichtung (56) zum Anzeigen des zusammengesetzten Bildes,
ein erstes Videokabel (48) zwischen der Kamera (40) und der Verbundbildmischein richtung (50),
eine Einrichtung zum Generieren der virtuellen Umgebung,
ein zweites Videokabel (54) zwischen der Einrichtung zum Generieren der virtuellen Umgebung und der Verbundbildmischeinrichtung (50),
eine Einrichtung zum Justieren von Parametern der virtuellen Umgebung, bis das zusammengesetzte Bild auf der gemeinsame Displayeinrichtung (56) die virtuelle Umgebung als allgemein ausgerichtet auf die wirkliche Umgebung anzeigt, und
eine Einrichtung zum Aufzeichnen der justierten Parameter als einen Datenpunkt.

26. System nach Anspruch 25, dadurch gekennzeichnet, daß die Einrichtung zum Gene rieren der virtuellen Umgebung einen Virtuellbildgenerator (59) umfaßt.

27. System nach Anspruch 26, dadurch gekennzeichnet, daß der Virtuellbildgenerator (59) aus einem auf einem Universalcomputer laufenden Softwareprogramm besteht, wel ches einen Bestandteil des Bildgenerators (59) bildet.

28. System nach Anspruch 25, dadurch gekennzeichnet, daß die Einrichtung zum Justie ren von Parametern der virtuellen Umgebung aus einem auf einem Universalcomputer lau fenden Softwareprogramm besteht, welches einen Bestandteil des Bildgenerators (59) bil det.

29. System nach Anspruch 25, dadurch gekennzeichnet, daß die Einrichtung zum Auf zeichnen der justierten Parameter als einen Datenpunkt aus einem Computerspeicher in einem Speichersystem besteht.