DE19714101C2 - Verfahren und Vorrichtung zum Bearbeiten von Bilddaten - Google Patents

Description

Die vorliegende Erfindung bezieht sich auf Verfahren und Vorrichtungen zum Bearbeiten von Bilddaten, bei denen von einer Kamera erzeugte Daten eines reelen Bildes mit Daten eines synthetisch gebildeten Bildes kombiniert werden.

Aufgrund der ständigen Abnahme der Kosten von Bearbei­ tungskomponenten mit hoher Leistungsfähigkeit und der ständigen Fortschritte in der Kunst der grafischen Bear­ beitungsverfahren werden Techniken zum Erzeugen realisti­ scher dreidimensionaler synthetisch gebildeter Bilder in einer zunehmenden Anzahl verschiedener Anwendungen einge­ führt. Mit fortschreitender Realitätsnähe der synthetisch gebildeten Bilder wird die klare Forderung erhoben, syn­ thetisch gebildete Bilder herzustellen, die nicht von re­ ellen Bildern unterscheidbar sind. Obwohl dieses Ziel vielleicht erreichbar ist, wenn ein einziges Bild erzeugt werden soll, erfordert die schnelle Erzeugung einer Folge von Einzelbildern in Echtzeit, die komplizierte sich be­ wegende und miteinander wechselwirkende Objekte darstel­ len, einen erheblichen Aufwand hinsichtlich der zur Ver­ fügung zu stellenden Rechenleistung. Dieses Ziel ist noch schwerer zu erreichen, wenn reelle Bilder in Echtzeit mit synthetisch gebildeten Bildern kombiniert werden, da das menschliche Auge empfindlich für subtile Unterschiede zwischen Eigenschaften von Bildern ist.

Ein sich entwickelnder Anwendungsbereich dreidimensiona­ ler Grafik in Echtzeit ist das virtuelle Studio. In einem virtuellen Studio werden Bilder eines reellen Szenenauf­ baus, der üblicherweise einen Fernsehmoderator umfaßt, mit Bildern kombiniert, die von einem virtuellen Szenen­ aufbau erzeugt werden. Die meisten der realen Studios be­ stehen aus einem blauen Hintergrund, der dann elektro­ nisch durch den virtuellen Szenenaufbau ersetzt wird. Teile des reellen Bildes, die nicht blau gefärbt sind, werden dem virtuellen Szenenaufbau in einer solchen Weise überlagert, daß das gesamte, kombinierte Bild realistisch erscheint. Ein Studio dieser Art ist in der US-Patent­ schrift 5479597 offenbart.

Ein Vorteil des virtuellen Studios besteht darin, daß nur wenig Platz eines realen Studios benötigt wird, über den das Bild eines viel größeren virtuellen Studios überla­ gert werden kann, einschließlich verschiedener dreidimen­ sionaler Requisiten der Bühne und für ein bestimmtes Fernsehprogramm spezifischer Logos. Wenn eine Aufnahme für ein bestimmtes Programm beendet ist, kann der gesamte virtuelle Szenenaufbau sofort ausgetauscht werden, so daß das Studio für die Verwendung in einem vollständig ande­ ren Fernsehprogramm bereit ist. In einem herkömmlichen Studio werden dagegen vielleicht verschiedene Gegenstände in der Form von Requisiten der Bühne usw. für jedes ver­ schiedene Programm benötigt. Im Laufe einer Woche werden vielleicht viele Dutzend verschiedener Fernsehprogramme mit unterschiedlichen Requisiten für die Bühne benötigt, die entweder sorgfältig aufbewahrt oder alternativ von Neuem aufgebaut werden müßten.

Eine wesentliche Einschränkung beim Betrieb eines virtu­ ellen Studios ist das Erfordernis, eine präzise Abstim­ mung zwischen den Merkmalen und der Position der reellen Kamera und der virtuellen Kamera, die in dem das Bild synthetisierenden Computer modelliert wird, aufrecht zu erhalten. Das menschliche Auge ist leicht in der Lage, subtile Unterschiede zwischen reellen und virtuellen Bil­ dern, beispielsweise eine Fehlanpassung im Fokus, zu er­ kennen, was dann zu einer weniger überzeugenden Wahrneh­ mung des kombinierten Bildes des Studios führen wird.

Aus der Druckschrift Fukui, Kazuo; Hayashi, Masaki; Yama­ nouchi, Yuko: A Virtual Studio System for TV Program Pro­ duction. SMPTE Journal, Juni 1994, Seiten 386-390, ist ein virtuelles Studio-System bekannt, das ein Verfahren zum Bearbeiten von Bilddaten beinhaltet, bei dem von ei­ ner Kamera erzeugte Daten eines reellen Bildes mit Daten eines synthetisch gebildeten Bildes kombiniert werden. Das Verfahren umfaßt das Erzeugen von Daten der Kamera einschließlich Positionsdaten, wobei diese Daten eine An­ gabe über die Steuerung der Brennweite beinhalten. Wei­ terhin umfaßt das Verfahren das Erzeugen eines syntheti­ schen Bildes in Abhängigkeit von den Positionsdaten der Kamera. Schließlich umfaßt das Verfahren das Einstellen des wahrgenommen Fokus des synthetischen Bildes in Abhän­ gigkeit von der Einstellung der Steuerung der Brennweite in der Weise, daß die Parameter der realen und der virtu­ ellen Kamera übereinstimmen.

Aus der Veröffentlichung Sommerhäuser, Frank: Das virtu­ elle Studio. Grundlagen einer neuen Studioproduktions­ technik. Fernseh- und Kino-Technik (FKT), Nr. 1-2, 50. Jahrgang, 1996, Seiten 11-22, ist ebenfalls ein virtuel­ les Studio bekannt. Auch hier zählen Zoom und Fokus zu den erfaßten Parametern der realen Kamera. Um ein identi­ sches Verhalten von realer Kamera und virtueller Kamera zu erzielen, wird das Analysieren der Bewegungen und Ein­ stellungen der einen Kamera und das Steuern der anderen Kamera entsprechend dieser Analyse vorgeschlagen.

Die Erfindung geht von der Aufgabenstellung aus, Ver­ fahren und Vorrichtungen zum Bearbeiten von Bilddaten, bei denen Daten eines reellen Bildes, die von einer Ka­ mera erzeugt werden, mit Daten eines synthetisch gebilde­ ten Bildes kombiniert werden, zu schaffen, mit denen eine größere Realitätsnähe des kombinierten Gesamtbildes er­ zielt wird. Ferner richtet sich die Erfindung darauf, dies in der kurzen zur Verfügung stehenden Zeit für die Erzeugung eines Einzelbildes einer Bildfolge zu errei­ chen.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Anspruchs 1 bzw. durch eine Vor­ richtung mit den Merkmalen des Anspruchs 8 gelöst. Wei­ tere vorteilhafte Merkmale sind Gegenstand der Unteran­ sprüche.

Nach einem ersten Aspekt der vorliegenden Erfindung wird ein Verfahren zum Bearbeiten von Bilddaten bereitge­ stellt, bei dem von einer Kamera erzeugte Daten eines re­ ellen Bildes mit Daten eines synthetisch gebildeten Bil­ des kombiniert werden, das einen Schritt zum Erzeugen von Positionsdaten der Kamera, die Merkmale der Kamera ein­ schließlich einer Angabe über die Steuerung der Brennweite darstellen, einen Schritt zum Erzeugen eines synthe­ tisch gebildeten Bildes in Abhängigkeit von den Posi­ tionsdaten der Kamera, und einen Schritt zum Einstellen des wahrgenommenen Fokus des synthetisch gebildeten Bil­ des in Abhängigkeit von der Einstellung der Steuerung der Brennweite, um hierdurch einen Unterschied der Fokussie­ rung zwischen einem Teil des reellen Bildes und einem Teil des synthetisch gebildeten Bildes zu bewirken, um­ faßt.

Nach einem bevorzugten Merkmal wird vorgeschlagen, daß ein Teil des synthetisch gebildeten Bildes defokussiert wird, um seine Lage hinter dem Teil des reellen Bildes zu betonen.

Die folgenden Ausführungsbeispiele der Erfindung lassen weitere vorteilhafte Merkmale und Besonderheiten erken­ nen, die anhand der Darstellung in den Zeichnungen im folgenden näher beschrieben und erläutert werden.

Es zeigen:

Fig. 1 einen realen Szenenaufbau in einem virtuellen Studio, einschließlich eines Fernsehmonitors,

Fig. 2 das auf dem in Fig. 1 dargestellten Monitor dargestellte kombinierte Bild,

Fig. 3 Einzelheiten der zum Erzeugen des in Fig. 2 dargestellten Bildes benutzten Kontrollausrü­ stung einschließlich eines Grafikprozessors,

Fig. 4 Einzelheiten der Verbindung zwischen dem in Fig. 3 dargestellten Grafikprozessor und ande­ rer, in dem virtuellen Studio benutzter Ausrü­ stung,

Fig. 5 Einzelheiten des in Fig. 3 und Fig. 4 darge­ stellten Grafikprozessors, einschließlich eines Wiedergabeprozessors und eines gemeinsam ge­ nutzten Speichers,

Fig. 6 Einzelheiten des Prozesses zum Kombinieren von Live-Kamera-Signalen mit Bildern eines virtuel­ len Szenenaufbaus, der durch den in Fig. 5 dar­ gestellten Wiedergabeprozessor durchgeführt wird,

Fig. 7 Einzelheiten von in dem in Fig. 5 dargestellten gemeinsam genutzten Speicher gespeicherten Da­ tenstrukturen, einschließlich eines Szenen­ baums, ausführbarer Manuskripte und Funktionen zur Animation von Objekten,

Fig. 8 Einzelheiten der Prozesse und Beziehungen zum Modifizieren des in Fig. 7 dargestellten Sze­ nenbaumes, einschließlich eines Prozesses zum Aufbauen einer Bildliste,

Fig. 9 Einzelheiten des in Fig. 8 dargestellten Pro­ zesses zum Aufbauen einer Bildliste,

Fig. 10 Einzelheiten einer Anordnung zum Defokussieren von Bildern, die im wesentlichen gemäß den in Fig. 8 dargestellten Operationen erzeugt wur­ den, einschließlich der Berechnung einer verän­ derten Projektionsmatrix,

Fig. 11 Einzelheiten der in Fig. 10 benutzten Projek­ tionsmatrix,

Fig. 12 Einzelheiten der Struktur einer Matrix des in Fig. 11 dargestellten Typs, die für dreidimen­ sionale grafische Manipulationen benutzt wird,

Fig. 13 Einzelheiten einer algebraischen Expansion der in Fig. 11 dargestellten Projektionsmatrix,

Fig. 14 Einzelheiten des Randes eines virtuellen Objek­ tes, das gemäß dem in Fig. 10 dargestellten Prozess defokussiert wurde und

Fig. 15 eine Aufsicht auf den Objekte defokussierenden Prozess.

Die Erfindung wird im folgenden unter Bezugnahme auf die beigefügten, vorstehend genannten Figuren beispielhaft beschrieben.

In Fig. 1 ist ein virtuelles Studio dargestellt, das einen Moderator 101 vor einem blauen Hintergrund 102 um­ faßt. Eine Fernsehkamera 103, die mit einer Linse 104 mit variabler Brennweite (Zoomlinse) ausgestattet ist, ist drehbar auf einem festen Dreibein 108 montiert. Die Ka­ mera 103 erzeugt ein Videosignal, das über ein Videokabel 105 einer Bearbeitungsausrüstung zugeführt wird. Auf der Kamera 103 und zwischen der Kamera 103 und dem Dreibein 108 montierte Sensoren erzeugen Signale, die den Schwenk, die Drehung und die Neigung der Kamera 103 definieren, sowie Brennweite und Fokus (Entfernungseinstellung) der Linse 104 mit veränderlicher Brennweite. Diese Signale werden in einer auf der Kamera montierten Schnittstellen- und Prozessorschaltung kombiniert und über ein serielles RS432 Datenkabel 106 zu der Bearbeitungsausrüstung gelei­ tet.

Der Moderator 101 kann die resultierenden kombinierten reellen und virtuellen Bilder auf einem Videomonitor 107 betrachten, der an der Seite des Szenenaufbaus aufge­ stellt ist. In manchen Fällen wird es für den Moderator notwendig sein, den Ort virtueller Objekte, die nicht physikalisch in dem reellen Szenenaufbau angeordnet sind, zu erkennen, um eine überzeugende Illusion ihres Vorhan­ denseins zu erhalten. Auf diese Weise kann der Moderator auf ein virtuelles Objekt, das nicht physikalisch exi­ stiert, zeigen und dabei seine Bewegungen mit dem resul­ tierenden, auf dem Videomonitor 107 dargestellten Bild koordinieren.

Das auf dem in Fig. 1 abgebildeten Videomonitor 107 wie­ dergegebene Bild ist in Fig. 2 detailliert dargestellt. Der Moderator 101 ist der einzige Teil des reellen Sze­ nenaufbaus, der in dem kombinierten Bild enthalten ist. Alle anderen Bereiche 102 des reellen Studios innerhalb des Sichtbereiches der Kamera 103 sind blau gefärbt und werden somit durch einen synthetisch gebildeten virtuel­ len Szenenaufbau ersetzt. Die Bestandteile des virtuellen Szenenaufbaus umfassen einen Sockel 202, auf dem eine Statue 203 plaziert ist. Dahinter ist ein zweidimensiona­ ler Hintergrund 204, der aus bewegten Bildern eines Fil­ mes besteht, angeordnet.

Der virtuelle Szenenaufbau beinhaltet somit sowohl drei­ dimensionale als auch zweidimensionale Objekte, die von einer virtuellen Kamera aus betrachtet werden. Der virtu­ elle Ort der virtuellen Kamera wird derart gewählt, daß er dem reellen Ort der reellen Kamera folgt, so daß eine Veränderung in der Blickrichtung auf den Moderator 101 zu einer passenden Änderung des Blicks auf die Objekte in dem virtuellen Szenenaufbau führt. Beispielsweise kann die reelle Kamera 103 nach links schwenken und etwas nä­ her heranzoomen, so daß das Zentrum der Ansicht von dem Moderator 101 auf die Statue 203 wechselt. Weil alle vir­ tuellen Objekte genau in drei Dimensionen modelliert wer­ den, verändert sich die Parallaxe zwischen der Statue 203 und dem Hintergrund entsprechend. Außerdem wird der auf dem virtuellen Hintergrund 204 dargestellte zweidimensio­ nale Film verschieden dargestellt, um den Zusammenhang zwischen reellen und virtuellen Bildern aufrecht zu er­ halten.

Die Kontrolle über die virtuelle Studioumgebung, ein­ schließlich der Auswahl der virtuellen Objekte, die in dem erzeugten Gesamtbild enthalten sein sollen, wird von der in Fig. 3 dargestellten Ausrüstung durchgeführt. Ein hochqualitatives Grafikterminal 301, beispielsweise ge­ fertigt von Silicon Graphics Inc., zeigt die kombinierten reellen und virtuellen Bilder an, die von dem virtuellen Studio produziert werden. Ein Grafikprozessor 302 stellt die Rechenleistung zum Erzeugen des virtuellen Szenenauf­ baus zur Verfügung. Der Grafikprozessor 302 erhält auch Videosignale von der reellen Kamera 103 und kombiniert diese mit dem synthetisch gebildeten Bild des virtuellen Szenenaufbaus. Der Grafikprozessor 302 ist ein SGI Onyx Reality Engine Two, hergestellt von Silicon Graphics In­ corporated.

Ein Bearbeitungsterminal 303 wird zum Kontrollieren des Szenenaufbaus des virtuellen Studios mittels eines Text­ editors benutzt. Das Bearbeitungsterminal 303 ist an eine SGI Indigo Workstation 304 angeschlossen, das Speicher- und Editiereinrichtungen zur Verfügung stellt. Die Work­ station 304 kommuniziert mit dem Grafikprozessor 302 über eine Ethernet-Verbindung. Auf diese Weise kann ein Benut­ zer die Grafikumgebung, die durch die Graphik Workstation 302 synthetisiert und auf dem hochqualitativen Graphikmo­ nitor 301 dargestellt wird, mit dem Terminal 303 kontrol­ lieren, das an die Workstation 304 angeschlossen ist.

Typische Operationen, die von Benutzern, welche die in Fig. 3 dargestellte Ausrüstung verwenden, ausgeführt wer­ den, betreffen bestimmte Erfordernisse beim Betrieb eines virtuellen Studios. Als erstes ist es wesentlich, daß die Orte der reellen und virtuellen Kameras in Übereinstim­ mung gebracht werden sollten. Wenn die Kamera 103 auf ih­ rem Dreibein 108 positioniert worden ist, wobei viel­ leicht ein Typ einer Linse 104, die für das zu sendende oder aufzunehmende Programm geeignet ist, ausgewählt wurde, ist es daher erforderlich, den exakten physikalischen Ort der Kamera zu bestimmen. Dies wird in zwei Schritten durchgeführt. Zuerst wird das optische Zentrum der Linse ermittelt. Beim Montieren einer Linse auf eine Kamera kann ein präziser Ort nicht mit absoluter Genauig­ keit vorhergesagt werden, obwohl die Linse fest montiert ist. Der Teil des Videobildes, der beim Auf- und Abzoomen stationär bleibt, ist daher typischerweise geringfügig nicht richtig mit dem elektronisch gemessenen Zentrum des Bildes ausgerichtet.

Beispielsweise umfaßt das Bild in einer Videokamera, die Charge Coupled Devices (CCD) als Bildsensoren benutzt, eine Matrix von Pixeln, wobei jedes Pixel drei Subpixel umfaßt, welche die rote, grüne und blaue Komponente defi­ nieren, die von drei separaten CCD-Sensoren produziert werden. Das Bild hat eine genaue Anzahl von Pixeln in der horizontalen und vertikalen Richtung. Typischerweise kann diese Anzahl in der Größenordnung von 600 Pixeln vertikal mal 800 Pixeln horizontal liegen. Das elektronische Zen­ trum des Bildes befindet sich bei den Pixelkoordinaten (400,300).

Nachdem eine Linse montiert wurde, zoomt der Kameramann auf und ab, um zu ermitteln, welcher Teil des Bildes stationär bleibt. Dieser Ort wird dann als optisches Zen­ trum der Kombination aus Kamera und Linse angesehen. Nachdem das optische Zentrum kalibriert wurde, braucht der Kameramann den physikalischen Ort der Kamera nicht zu bestimmen; dies wäre keine nützliche Messung, da die er­ forderlichen Messungen in bezug zu dem genauen Ort eines auf die CCD-Ebene fokussierten Bildes durchgeführt werden müssen, der sich an einem unbekannten oder zumindest nicht hinreichend genau bekannten Ort innerhalb des Ge­ häuses der Kamera 103 befinden kann.

Um den physikalischen Ort der Kamera genau zu kalibrie­ ren, bzw. genauer, um den Ort des fokussierten Bildes in der reellen Kamera mit dem des von der virtuellen Kamera produzierten Bildes in Übereinstimmung zu bringen, werden Zielaufnahmen verschiedener bekannter Punkte in dem reel­ len Studio durchgeführt. Daher werden zur Bestimmung des Ortes der Kamera in drei Dimensionen Zielaufnahmen von drei Punkten in dem Studio angefertigt, indem das opti­ sche Zentrum, das jetzt durch ein Kreuz auf dem Monitor markiert ist, mit Marken in dem Studio in Übereinstimmung gebracht wird. Die Orte dieser drei Punkte sind in drei Dimensionen genau bekannt und fest. Eine bessere Genauig­ keit kann durch Zielaufnahmen von vier oder mehr bekann­ ten Punkten erreicht werden, wobei Inkonsistenzen zwi­ schen den kombinierten Ergebnissen gemittelt werden, um ein Ergebnis verbesserter Genauigkeit zu erzielen.

Wenn beispielsweise fünf Punkte aufgenommen werden, wer­ den diese fünf in alle mögliche Permutationen von Gruppen zu drei aufgeteilt. Die Position der Kamera wird für jede Permutation berechnet und der Mittelwert der Ergebnisse wird zur Definition der Kameraposition benutzt. Somit liefert eine Folge von Kalibrationen, die von dem Kamera­ mann, der verschiedene Zielaufnahmen macht, und einem Bediener des Terminals, der das Terminal 303 benutzt, durchgeführt werden, geeignete Kontrollanweisungen für das System derart, daß von den Rotations-, Schwenk-, Nei­ gungs-, Fokus- und Zoom-Sensoren der Kamera erhaltene Da­ ten in geeigneter Weise während der Kalibrierprozesse kombiniert werden.

Die in Fig. 1 dargestellte Kamera 103 liefert zwei Typen elektrischer Signale. Der erste Signaltyp ist ein Video­ signal, eine elektrische Darstellung des auf den CCD-Sen­ sor in der Kamera fokussierten Bildes. Der zweite Typ elektrischer Signale definiert die Position der Kamera und ihrer Linseneinstellungen. Eine typische, auf eine Fernsehkamera montierte Linse 104 mit veränderlicher Brennweite umfaßt Einstellringe für Brennweite, Entfer­ nung (Fokus) und Blende. Von diesen sind die Brennweite und die Entfernung erforderlich, um realistisches Echt­ zeitverhalten der virtuellen Kamera zu definieren. Es sind daher Drehsensoren auf der Kameralinse montiert.

Diese Drehsensoren beinhalten optische Zwillings-Emitter und -Detektoren, die durch eine gezahnte Scheibe getrennt sind. Die Scheibe ist mechanisch an die Bewegung eines Einstellringes der Linse derart gekoppelt, daß der Durch­ gang von Licht zwischen einem Emitter-Sensor-Paar zeit­ lich vorrangig vor dem Durchgang des Lichtes zwischen dem anderen Emitter-Sensor-Paar erfolgt. Auf diese Weise kann die Drehrichtung der gezahnten Scheibe durch den Vorrang des elektrischen Signals eines der optischen Sensoren vor dem des anderen Sensors detektiert werden. Weiterhin führt die Drehung der gezahnten Scheibe zu einem wieder­ holten Unterbrechen und Freigeben des jeden der Sensoren erreichenden Lichtes und kann daher zur Bestimmung einer Veränderung der Position benutzt werden. Diese Technik ist als optische Quadraturmessung bekannt und erzeugt elektrische Pulse, die insbesondere für die Verarbeitung in digitalen elektronischen Schaltungen geeignet sind.

Jeder der Einstellringe für die Brennweite und Entfernung hat einen Rotationssensor, der elektrische Signale lie­ fert, die interpretiert werden können, um eine relative Angabe über die jeweilige Lage des Einstellringes zu lie­ fern. Durch Kalibrieren der absoluten Position der Ein­ stellringe der Linse in Bezug auf ein bekanntes sicht­ bares Ziel können die relativen zunehmenden und abneh­ menden elektrischen Signale der Rotationssensoren benutzt werden, um in Verbindung mit geeigneten Kalibrationsan­ weisungen, die von dem in Fig. 3 dargestellten Terminal 303 geliefert werden, eine absolute Position der Ein­ stellringe für Brennweite und Entfernung zu bestimmen.

Zusätzliche Rotationssensoren sind auf der Kamera und de­ ren zugehörigem Kameramontagekopf angeordnet, der vieldi­ mensional beweglich ist und die freie Bewegung der gesam­ ten Kamera in den Richtungen von Schwenk - Rotation um eine vertikale Achse, oder vertikales Panorama - und Nei­ gung - Rotation um eine horizontale Achse, oder horizon­ tales Panorama - ermöglicht. Die absoluten Werte dieser Sensoren werden während dieses oben beschriebenen Kali­ brationsverfahrens mit Zielaufnahmen bestimmt.

Die Verbindungen zwischen der Kamera 103 und der anderen Studioausrüstung sind in Fig. 4 dargestellt. Der Kamera­ zusammenbau, der schematisch mit 401 bezeichnet ist, er­ zeugt einen Videoausgang 402 und einen Positionsausgang 403. Der Positionsausgang wird einer Schnittstelle 404 zugeführt, die wiederum die Positionsdaten einem Bildsyn­ thetisierungsprozess 405 zuführt. Der Bildsynthetisie­ rungsprozess 405 erzeugt ein synthetisch gebildetes Vi­ deobild, das auf Bewegungen und Veränderungen des Kamera­ zusammenbaus 401 in ähnlicher Weise reagiert, wie ein konventionelles Videosignal auf solche Veränderungen rea­ gieren würde.

Das von dem Kamerazusammenbau 401 erzeugte konventionelle Videosignal wird einem Videotakt-Farbumsetzer-System 406 zugeführt, das ein Helligkeits- oder Maskensignal er­ zeugt, das dem gesättigten blauen Hintergrund entspricht. Das Videosignal wird auch einem Videoeingang eines Video­ umsetzers 407 zugeführt, wobei der Ausgang des Bildsyn­ theseprozesses 405 und der Ausgang der Videokamera am Videoausgang 402 in Abhängigkeit von dem von dem Farb­ umsetzer 406 erzeugten Farbsignal kombiniert oder umge­ setzt werden.

Der zusammengesetzte Ausgang kann auf einem dem Monitor 107 ähnlichen Monitor 408 betrachtet werden, und zusätz­ lich wird dieser Ausgang einem Studiomischer 409 zuge­ führt. Der Studiomischer 409 empfängt andere Videoaus­ gänge auf den Leitungen 410 und von diesen Videoeingängen wird eine Auswahl getroffen, um auf der Leitung 411 ein Sendeausgangssignal zu liefern. Dieses Ausgangssignal kann auch über einen weiteren Videomonitor 412 betrachtet werden.

Der in Fig. 4 dargestellte Grafikprozessor 302 ist in Fig. 5 im Detail beschrieben. Vier Hauptprozessoren, CPU1 501, CPU2 502, CPU3 503 und CPU4 504 führen die ver­ schiedenen Berechnungen und Datenmanipulationsprozesse durch, die notwendig sind, um den virtuellen Szenenaufbau zu erzeugen und mit Bildern von der reellen Kamera zu mi­ schen. Jeder Prozessor hat einen lokalen Hochgeschwindig­ keitsspeicher 505, 506, 507 und 508. Die CPU4 504 ist di­ rekt an einen Wiedergabeprozessor 509 angeschlossen, der für die Durchführung einer Pixelwiedergabe bei hoher Ge­ schwindigkeit spezifisch ausgebildet ist. Er weist einen lokalen Speicher 510 auf.

Alle vier Hauptprozessoren 501, 502, 503 und 504 sind über eine gemeinsame parallele Schnittstelle verbunden. Die Durchführung der Synthetisierung des Bildes ist in logische Prozessaufgaben geteilt, wobei Anfangs- und End­ bedingungen für jede Aufgabe allen Prozessoren zugänglich gemacht sein können, aber wobei die Berechnungen in jeder Aufgabe unabhängig durchgeführt werden. Dies ermöglichst es, daß jede Aufgabe mit hoher Geschwindigkeit durchgeführt wird, da es nicht erforderlich ist, mit anderen Aufgaben oder Prozessoren zu kommunizieren, bis eine be­ arbeitete Aufgabe beendet ist. Ferner können die lokalen Hochgeschwindigkeitsspeicher 505, 506, 507 und 508 zum Speichern von Daten und Instruktionen für jede Aufgabe benutzt werden, wodurch sich das Erfordernis der Kommuni­ kation über den globalen Kommunikationsbus 511 reduziert.

Beim Kommunizieren über den Bus 511 ist es erforderlich, zu gewährleisten, daß zu jeder Zeit nur ein Prozessor versucht, den Bus 511 zu kontrollieren, was Zeitbus- Zugangsprotokolle erforderlich macht. Bei vier vorhan­ denen Prozessoren wird die maximale Datenbandbreite des Busses theoretisch durch vier geteilt. In der Praxis ist die Verringerung der Bandbreite durch die Zugangsproto­ kolle größer als dieser Wert.

Eine weitere Einschränkung ist Busanordnungen, die meh­ rere Prozessoren verbinden, inhärent. Die Geschwindig­ keit, mit der Signale über eine elektrische Verbindung kommunizieren können, ist in gewissem Maße von der Ent­ fernung abhängig, die von den Signalen überbrückt werden muß. Wenn Prozessoren über mehrere Schaltkreise verteilt sind, ist die Geschwindigkeit des Busses 511 beschränkt, insbesondere im Vergleich zu der Geschwindigkeit der Da­ tenübertragung zwischen digitalen Komponenten, die in einem einzigen Schaltkreis oder in dicht benachbarten Schaltkreisen kommunizieren. Daher werden, wo immer es möglich ist, Prozesse in spezifische Aufgaben geteilt, wobei vorteilhafterweise die benutzte, besondere Prozes­ sorarchitektur berücksichtigt werden kann. Für bestimmte Typen von Aufgaben können Daten von Prozessoren gemeinsam benutzt werden. Der gemeinsam benutzte Speicher 512 ist hierfür vorgesehen. Die Kommunikation mit externen Ein­ heiten über Ethernet, RS432, und hochauflösenden Monitoren, Computertastaturen usw. wird über die Eingangs­ schnittstelle 513 bereitgestellt.

Der Bildsyntheseprozess 405 aus Fig. 4 ist in Fig. 6 de­ tailliert beschrieben. Die Positionsdaten der Kamera wer­ den einem Prozess 601 zur Konstruktion des Szenenaufbaus zugeführt, der zum Erzeugen von Einzelbildern mit einer Videotaktrate ausgebildet ist. Es ist zu bemerken, daß die Erzeugung von Einzelbildern in Echtzeit derart durch­ geführt wird, daß jedes Einzelbild einer Videosequenz in­ dividuell erzeugt wird, um zu gewährleisten, daß Bewegun­ gen und Übergänge glatt erfolgen und als ebenso reell wahrgenommen werden, wie reelle Objekte, die der virtuel­ len Szene hinzugefügt werden.

Die Positionsdaten der Kamera werden über eine Leitung 602 übermittelt und eine externe Kontrolle wird über einen Kontrollprozessor 603 empfangen.

Der Konstruktionsprozess 601 des Szenenaufbaus ist in der Lage, Oberflächen und Objekte aus polygonalen Grundformen darzustellen. Zusätzlich können voll bewegte Videobild­ ebenen in den Szenenaufbau in Abhängigkeit des Empfanges einer oder mehrerer Videostrukturen von einem Videostruk­ turierungsprozess 604 eingefügt werden. Der Szenenaufbau- Konstruktionsprozess 601 im Videotakt liefert einen syn­ thetisch gebildeten Ausgang 605.

Die in Fig. 6 dargestellten Prozeduren zur Konstruktion des Szenenaufbaus sind durch in dem in Fig. 5 dargestell­ ten gemeinsam genutzten Speicher 512 gespeicherte Daten definiert. Der virtuelle Szenenaufbau ist durch eine Da­ tenstruktur definiert, die Szenenbaum genannt wird. Eine Darstellung des Szenenbaums und anderer Schlüsseldaten­ strukturen, die in dem gemeinsam genutzten Speicher gespeichert sind, ist in Fig. 7 gezeigt. Der Szenenbaum 701 umfaßt eine Anzahl von Objekten, die rekursiv definiert sind. Dabei stellt das Objekt 702 den in Fig. 2 darge­ stellten Hintergrund 204 der Bühne dar und ein innerhalb des Hintergrundes definiertes Objekt ist ein mit einem Film, der von einer externen Echtzeit-Videoquelle bereit­ gestellt wird, verbundenes Objekt 703.

Andere einfache Objekte sind nicht-rekursiv definiert, beispielsweise der in Fig. 2 dargestellte Sockel 202, der durch das nicht rekursive Objekt 704 dargestellt wird. Komplexe Objekte wie die ebenfalls in Fig. 2 dargestellte Statue 203 sind durch viele Schichten eines rekursiven Objektes innerhalb eines die Gesamtstatue definierenden Gesamtobjektes 705 definiert. Bei einer Analyse des Sze­ nenbaums werden die Objekte umso einfacher, je niedriger das Rekursionsniveau ist. Daher sind auf dem niedrigsten Rekursionsniveau die Objekte als Grundformen definiert, mit anderen Worten als Form wie einem Polygon, deren Ba­ sisstruktur von dem Wiedergabeprozessor 509 verstanden wird, und sie müssen nicht näher definiert werden.

Die wiederholten Bezugnahmen auf ein einziges Beispiel eines einfachen Objektes wie einem Polygon ermöglicht es, komplexe dreidimensionale Strukturen aus einfacheren zu konstruieren, bis zu jedem gewünschten Grad an Detail­ liertheit. In dem gemeinsam benutzten Speicher befinden sich auch ausführbare Manuskripte 711, die zu Beginn je­ des Einzelbildes ausgeführt werden und die Manipulation von Datenstrukturen erlauben, die in dem Szenenbaum 701 definiert sind. Animationsfunktionen 712 für Objekte er­ lauben es, Objekte in dem Szenenbaum in Form einer Anima­ tion zu manipulieren, beispielsweise die Rotation eines Propellers an einem Objekt eines virtuellen Flugzeugs, während es durch den virtuellen Szenenaufbau fliegt.

Die Manipulation des Szenenbaums 701 ist in Fig. 8 zusam­ mengefaßt. Der Szenenbaum ist eine Datei, die mittels ei­ nes Texteditors 801 betrachtet und verändert werden kann, jedoch nicht in Echtzeit. Der Texteditor 801 ist auch in der Lage, Manipulationen an den ausführbaren Manuskripten 711 durchzuführen. Diese sind in der Programmiersprache C geschrieben und so kompiliert, daß sie zu Beginn jedes Konstruktionsprozesses eines Einzelbildes des virtuellen Szenenaufbaus automatisch ausgeführt werden können.

Eine Kontrollschnittstelle 802 liefert Kontrolldaten an den Szenenbaum 701 und an die Animationsfunktionen 712. Dies dient dem Zweck, eine Echtzeitkontrolle auszuüben, oder möglicherweise eine Synchronisation über verschie­ dene Aspekte des virtuellen Szenenaufbaus. Beispielsweise kann es gewünscht sein, daß ein virtuelles Flugzeug nicht zu einem vorbestimmten Zeitpunkt durch den virtuellen Szenenaufbau fliegt, sondern in Abhängigkeit von einem Befehl des Produzenten des Programms. Die Kameraschnitt­ stelle 803 kontrolliert die Art, in der der Szenenbaum 701 manipuliert wird, dadurch, daß Daten der kalibrierten reellen Kamera benutzt werden, um die perspektivische Projektion der realen Welt auf eine zweidimensionale Ebene zu definieren.

Das dreidimensionale Modellieren ist eine zeitaufwendige Aufgabe. Beispielsweise ist die in Fig. 2 dargestellte Statue 203 eine hochkomplexe Form und ist vielleicht so­ gar durch eine dreidimensionale Weißlicht-Laserabtastung eines realen Objektes bestimmt worden. Daher können drei­ dimensionale Modelle über einen Importprozess 804 für dreidimensionale Modelle in den Szenenbaum eingefügt wer­ den. Dies ermöglicht den Zugang zu einer reichhaltigen Bibliothek dreidimensionaler Formen von einer großen Anzahl von Quellen. Auf diese Weise können verschiedene Da­ ten oder elektrische Signale benutzt werden, um abhängige Aspekte der Struktur des Szenenbaums 701 zu bestimmen, bevor er als Beschreibung eines bestimmten Zeitpunktes des virtuellen Szenenaufbaus interpretiert wird. Nachdem diese externen Einflüsse berücksichtigt worden sind, wird der Szenenbaum in einem Optimierungsprozess 805 opti­ miert. Der Optimierungsprozess 805 versucht zu gewährlei­ sten, daß die Struktur des Szenenbaums, der dem Wiederga­ beprozess zugeführt wird, so effizient wie möglich ist. Nach der Optimierung wird der Szenenbaum in dem Prozess 806 in eine Bildliste konvertiert.

Der die Bildliste erzeugende Prozess 806 löst den Szenen­ baum in Scheitelpunkte (Vertices) von Grundformen von Ob­ jekten auf, die dann dem Wiedergabeprozessor 509 zuge­ führt werden können. Der Wiedergabeprozessor kann dann Scheitelpunkte mit Linien verbinden, Polygone oder andere Grundformen mit Oberflächen und Strukturen füllen, und andere mit der dreidimensionalen grafischen Wiedergabe von Grundformen von Objekten verbundene Aufgaben ausfüh­ ren.

Der Prozess 806 der Erzeugung einer Bildliste ist in Fig. 9 dargestellt. Im Prozess 901 (wähle nächstes Objekt) wird das nächste Objekt ausgewählt. Im Prozess 902 (re­ kursiv verkettete Objekttransformationen) werden Objekt­ transformationen verkettet. Jedes Objekt, egal ob es eine Grundform ist oder nicht, kann in vielfältiger Weise ma­ nipuliert werden, um Animation oder ähnliche Funktionen durchzuführen. Diese Manipulationen sind Kombinationen von Bewegungen oder Verschiebungen, Dehnungen oder Dreh­ ungen. Dieses Basistransformationen sind als affine Transformationen bekannt. Jede derartige Manipulation wird arithmetisch durch das Berechnen einer Transformationsmatrix durchgeführt, die mit den Punkten, welche die Scheitelpunkte eines Objektes darstellen, multipliziert wird. Bei Vorgabe einer Menge von Punkten im dreidimen­ sionalen virtuellen Raum, die allgemein als Scheitel­ punkte im Welt Raum bezeichnet werden, kann jeder Schei­ telpunkt nacheinander mit jeder beliebigen Anzahl von Transformationsmatrizen multipliziert werden, wodurch die Durchführung komplexer Manipulationen ermöglicht wird, ohne eine einzige Gleichung für eine der unendlichen Vielzahl möglicher geometrischer Transformationen berech­ nen zu müssen.

Weiterhin wird es durch das sequentielle Multiplizieren mit mehreren Transformationsmatrizen in der Form einer Liste von Transformationen möglich, Transformationsmatri­ zen aus der Liste zu entfernen, um so Effekte, die sich als ungewünscht herausstellen, rückgängig zu machen. Dies ist der generelle Ansatz, der in den meisten zweidimen­ sionalen und dreidimensionalen Grafik-Systemen gewählt wird. Der Prozess der Multiplikation mit einer Liste von Matrizen wird als Matrizenverkettung bezeichnet. Matrizen können für andere spezielle Operationen als die Verände­ rung der Position oder der Form im Welt Raum verwendet werden, einschließlich der Projektion einer Ansicht eines dreidimensionalen Modells in eine zweidimensionale Ebene, wie der eines Videobildes.

Ein nicht intuitiver Aspekt von Transformationsmatrizen ist, daß Matrizen für die Anwendung in zwei Dimensionen durch drei mal drei Matrizen definiert sind, und daß dreidimensionale Transformationen unter Verwendung von vier mal vier Transformationsmatrizen durchgeführt wer­ den. Das Koordinatensystem, das in einem System einer vier mal vier Matrix benutzt wird, ist nicht x, y, z, son­ dern x/w, y/w, z/w und w. Die Variable w ist keine physikalisch meßbare Größe, sondern liefert eine mathematische Darstellung, welche die allgemeine Technik der Matrixver­ kettung möglich macht.

Da in dem Prozess 902 Objekte rekursiv definiert werden können, wird das Objekt in seine kleinsten Objekt-Be­ standteile zerlegt. Dann werden bei der Rückwärtsbearbei­ tung der rekursiven Datenstruktur bei jedem Niveau Trans­ formationen auf die Liste der Scheitelpunkte verkettet, die zur Bildung des Objekts dem momentanen Niveau der Re­ kursion definiert sind. Auf diese Weise kann z. B. der Propeller eines virtuellen Modells eines Flugzeugs rotie­ ren. Dieser Propeller ist selbst Teil eines größeren Ob­ jekts, dem Flugzeug, das von einer Seite des Studios zur anderen fliegt. Somit wird eine Transformation der Rota­ tion für das Objekt des Propellers verkettet, und dann werden Transformationen für das Objekt des Flugzeugs ver­ kettet, welche die Flugbahn definieren. Betrachtet man einen einzelnen Scheitelpunkt des Propellers, so wird dieser eine Rotation und die verschiedenen damit verket­ teten Transformationen der Flugbahn aufweisen, während andere Teile des Flugzeugs nur die Transformationen der Flugbahn aufweisen werden. Dies ist daher der hoch struk­ turierte Ansatz für die dreidimensionale Modellierung, der bei der Definition von Objekten zur Benutzung in einem virtuellen Studio gewählt wird.

Im Prozess 903 (verkette Betrachtungsmatrix) wird zusätz­ lich zu den anderen Transformationen, die bereits verket­ tet wurden, eine Betrachtungsmatrix verkettet. Die Be­ trachtungsmatrix ist eine spezielle Matrix, die durch den Ort der reellen Kamera definiert ist und benötigt wird, um die Projektion des dreidimensionalen Welt Raums auf eine zweidimensionale Ebene vereinfachen, die durch den Prozess 904 durchgeführt wird.

Der Welt Raum, in dem Objekte durch den Szenenbaum defi­ niert sind, kann als ein festes Volumen betrachtet wer­ den, in dem jeder Punkt durch x,y,z-Koordinaten definiert ist; dabei ist aber das Vier-Koordinatensystem (x/w, y/w, z/w und w) bevorzugt. Der anfängliche, nicht transfor­ mierte Zustand jedes Schnittpunktes hat den Wert w = 1, so daß x/w, y/w und z/w tatsächlich gleich x, y und z sind, bevor die Transformationen angewendet wurden. Auf einer Stufe des Wiedergabeprozesses wird es notwendig sein, ein Bild auf eine zweidimensionale Ebene zu proji­ zieren, die als Ebene des fokussierten Bildes in der vir­ tuellen Kamera angesehen werden kann, und als Bild der virtuellen Welt, das auf einem Monitor angezeigt würde.

Diese zweidimensionale Projektion hat einen variablen Winkel gegenüber den x, y und z-Achsen des virtuellen Welt Raumes. Eine Gleichung kann benutzt werden, um diese Ebene in Größen der x, y und z-Koordinaten des Welt Rau­ mes zu definieren. Dann wäre es vielleicht möglich, unter Benutzung elementarer geometrischer Gleichungen dieses dreidimensionale Modell auf diesen Raum zu projizieren. In drei Dimensionen erfordert dieser Ansatz erheblichen Rechenaufwand, und eine einfachere Lösung besteht darin, alle Objekte im Welt Raum derart zu drehen und zu bewe­ gen, daß die Projektionsebene durch die xy-Achsen defi­ niert und senkrecht zu der z-Achse ist. Auf diese Weise bewirkt die im Prozess 903 durchgeführte Verkettung der Betrachtungsmatrix eine Drehung und Bewegung jedes Ob­ jekts im Welt Raum, so daß das Koordinatensystem für den Ort der Projektionsebene normalisiert ist. Eine andere Art, dies zu betrachten ist, daß die virtuelle Kamera still stehen bleibt, während die virtuelle Welt um sie herum bewegt wird; entsprechend einer festen realen Welt, die durch eine sich bewegende reale Kamera betrachtet wird. Die relativen Bewegungen sind gleich.

Im Prozess 904 (verkette Betrachtungsmatrix) wird die perspektivische Projektion des momentan ausgewählten Ob­ jekts auf die Projektionsebene durch Verkettung einer Projektionsmatrix ausgeführt. Es ist jedoch zu beachten, daß die z-Koordinate nicht verworfen oder gleich Null ge­ setzt wird, da sie benötigt wird, um das Entfernen ver­ deckter Oberflächen durchzuführen.

Im Prozess 905 (Objektauswahl) wird eine Auslese der Ob­ jekte durchgeführt. Objekte, die außerhalb des x,y-Koor­ dinatenbereichs der Projektionsebene liegen, werden ver­ worfen, ebenso wie Objekte, die zu dicht an oder zu weit entfernt von der virtuellen Kamera sind; andernfalls wer­ den beispielsweise Objekte, die hinter der virtuellen Ka­ mera sind, vielleicht in invertierter Form dargestellt, wenn sie überhaupt nicht dargestellt werden sollten.

Im Prozess 907 (füge Objekt der Bildliste hinzu) werden die resultierenden Scheitelpunkte der Bildliste hinzuge­ fügt, zusammen mit einem Verweis auf die Objektgrundfor­ men, welche sie definieren, und anderen Einzelheiten wie die Art von Oberfläche, Struktur, spiegelnde Reflektivi­ tät usw.. Diese Information wird später in dem Grafik- Wiedergabeprozessor 509 benutzt, der hoch optimierte Schaltungen für die Übersetzung dieser Information in Bildpixeldaten in Echtzeit hat.

Im Prozess 908 (weiteres Objekt?) wird die Frage ge­ stellt, ob irgendwelche weiteren Objekte verblieben sind, die der Bildliste hinzugefügt werden sollen. Wenn keine anderen Objekte vorhanden sind, wird die Bildliste der Grafikdatenleitung (pipeline) des Wiedergabeprozessors 509 zugeführt (Prozess 909, Ausgabe der Bildliste an den Wiedergabeprozessor). Der Aufbau der Bildliste nimmt eine beträchtliche Zeit in Anspruch, die von der Anzahl und der Komplexität der Objekte und Transformationen abhängt, die sie definiert. Auf diese Weise wird die Bildliste vielleicht rechtzeitig vor dem nächsten Bild produziert, oder erfordert vielleicht länger als die Dauer eines Ein­ zelbildes zur Berechnung. Die Grafikdatenleitung ist ein Konzept, das Bildlisten mit Videobildausgängen synchroni­ siert. Wenn eine Bildliste zu früh ist, wird sie somit in der Datenleitung gespeichert, bis sie benötigt wird. Wenn die Bildliste nicht rechtzeitig vor dem nächsten Bild er­ zeugt werden kann, wird die vorausgehende Bildliste be­ nutzt, wodurch die sichtbaren Effekte minimiert werden. Offensichtlich wird diese Situation soweit wie möglich vermieden, da sie die Realitätstreue des resultierenden Bildes reduziert.

Aufgrund der in dem System durchgeführten Menge an Paral­ lelbearbeitung tritt eine Verzögerung von wenigen Bildern auf. Daher ist das Bild der kombinierten virtuellen Welt und der realen Welt merklich um den Bruchteil einer Se­ kunde gegenüber der realen Zeit verzögert. Diese Verzöge­ rung ist mit der Rechenkapazität der zur Wiedergabe der virtuellen Bilder benutzten Computerhardware verknüpft und wird voraussichtlich geringer, wenn mehr Rechenlei­ stung verfügbar wird.

Die Folge der in Fig. 9 dargestellten Schritte resultiert in einem Bild, das von dem Wiedergabeprozessor 509 ge­ zeichnet wird. Alle von der virtuellen Kamera betrachte­ ten Objekte haben einen scharfen Fokus, wogegen nur die­ jenigen Objekte, die in der Schärfenebene des realen Stu­ dios liegen, einen solchen scharfen Fokus haben werden. Daher wird, wenn die reale Kamera 103 auf die in Fig. 2 dargestellte Statue 203 zoomen wird, der virtuelle Hin­ tergrund 204 perfekt im Fokus und somit scharf bleiben. Daraus resultiert eine Abweichung zu einem idealen virtu­ ellen Studio, in dem alle Objekte, egal ob real oder vir­ tuell, in einem einzigen zusammenhängenden Studio zu exi­ stieren scheinen und durch eine Kameraoptik betrachtet werden, die nicht zwischen realen und virtuellen Bildern unterscheidet.

Eine verbesserte Prozedur ist in Fig. 10 dargestellt. Im Prozess 1001 wird ein Zähler N auf den Wert Null zurück­ gesetzt. Im Prozess 1002 (lösche RGB- und z-Pufferspei­ cher) werden vier Pufferspeicher für Pixelebenen auf Null zurückgesetzt. Jeder Pufferspeicher enthält einen einzel­ nen Speicherplatz für jedes Pixel, wobei jeder Speicher­ platz von einer bestimmten Anzahl Bits definiert ist, die von der gewünschten Genauigkeit abhängt. Auf diese Weise gibt es Pufferspeicher für Pixelebenen für Pixel mit roter, grüner und blauer Farbe. Zusätzlich wird ein z-Pufferspeicher benutzt, um durch das Speichern eines z-Wertes für jedes Pixel das Entfernen verdeckter Ober­ flächen zu erleichtern. Bei der Wiedergabe jedes Objektes werden rote, grüne und blaue Pixel nur dazugeschrieben, wenn der z-Wert für das neue Objekt größer als der momen­ tan in dem z-Pufferspeicher für dieses Pixel gespeicherte z-Wert ist.

Im Prozess 1003 (berechne veränderte Projektionsmatrix) wird eine Projektionsmatrix berechnet, in der die Posi­ tion der virtuellen Kamera geringfügig in den x- und y-Ebenen verschoben ist. Die Matrix wird derart berech­ net, daß das Ausmaß der Verschiebung proportional zu dem z-Wert des projizierten Scheitelpunkts ist. Die Ebene im Fokus wird betrachtet, als ob sie einen z-Wert von Null hat. Objekte vor oder hinter der Ebene im Fokus haben zunehmend größere, in negativer oder positiver Richtung, z-Werte, was zu einer zunehmenden Größe der Verschiebung führt. Die Ebene im Fokus ist aus der Messung der Ver­ stellung des Entfernungseinstellringes der Linse 104 der realen Kamera 103 bekannt, die in Verbindung mit Kalibra­ tionsdaten für diese spezielle Linse benutzt wird, um einen speziellen z-Wert für die Ebene im Fokus für jedes Videobild, das von der Kamera erzeugt wird, zu bestimmen.

Auf diese Weise wird diese Information, wenn der Kamera­ mann den Entfernungseinstellring an der Linse manuell verstellt, an den Grafikprozessor übermittelt und für die Berechnung einer Betrachtungsmatrix benutzt, die im Schritt 903 der Fig. 9 auf Scheitelpunkte von Objekten derart verkettet wird, daß die Position der Ebene im Fokus immer auf einen z-Wert von Null normalisiert wird, bevor die Projektion im Schritt 904 durchgeführt wird.

Im Schritt 1004 (zeichne Szene) wird die Szene in Über­ einstimmung mit den in Fig. 9 dargestellten Prozessen dargestellt. Dies führt zu einem bestimmten Bild, das im Speicher gespeichert wird und die Ansicht darstellt, die durch die im Prozess 1003 berechnete Projektionsmatrix erzeugt wird. Im Prozess 1005 (sammle veränderte Projek­ tion der Szene in die Pufferspeicher) wird dieses Bild mit zuvor erzeugten, aus der veränderten Projektionsma­ trix resultierenden Bildern gesammelt. Auf diese Weise wird jedes für die momentane Iteration der Szene erzeugte Pixel mit vorherigen Iterationen der Szene angesammelt. In einem großen festen Objekt, das außerhalb der Fokus­ ebene angeordnet ist, wird der größte Teil der Fläche des wiedergegebenen Objektes das Ergebnis mehrerer Iteratio­ nen von verschiedenen angesammelten Szenendarstellungen sein. An den Rändern des Objektes wird jedoch aufgrund des geringen Versatzes in den x- und y-Richtungen jeder dargestellten Szene eine Anzahl weniger intensiver Wie­ dergaben des Objektes sein, wodurch die Illusion der De­ fokussierung hervorgerufen wird.

Im Prozess 1006 (erhöhe N) wird der Zähler N erhöht. Im Prozess 1007 (N = Qualität?) wird die Frage gestellt, ob der Wert von N jetzt gleich einem vorbestimmten Wert ist. Wenn N kleiner als dieser Wert ist, wird die Kontrolle dem Prozess 1002 übergeben, und eine andere Version der Szene wird dargestellt, und zwar diesmal von einem ge­ ringfügig anderen Betrachtungspunkt. Auf diese Weise hängt die Anzahl, wie oft diese Schleife durchlaufen wird, von der geforderten Qualität der Defokussierung ab. Offensichtlich erfordert es Zeit, um eine Szene mehrmals darzustellen, und verschiedene Qualitätsstufen können entsprechend ausgewählt werden.

Im Prozess 1008 (teile gesammelte Pufferspeicherinhalte durch N) werden die angesammelten Inhalte des Pufferspei­ chers durch N dividiert, der Anzahl von Durchläufen der Schleife. Auf diese Weise wird ein rotes Pixel, das den wahren Farbwert 15 hat, acht mal auf die angesammelte Pi­ xelebene geschrieben, so daß der resultierende gesammelte rote Pixelwert 120 sein wird. Durch Division dieses Wer­ tes durch N wird der wahre Farbwert 15 zurückgewonnen. Wenn das rote Pixel am Rand eines defokussierten Objektes war, ist es möglich, daß mehrere verschiedene Rotwerte gesammelt werden. Die Division durch N liefert den Mit­ telwert dieser Werte, der im Endbild benutzt wird, so daß auf diese Weise eine für den Defokussierungseffekt erfor­ derliche Änderung in der Farbintensität erreicht wird. Wenn die Inhalte des Pufferspeichers im Prozess 1008 durch N dividiert wurden, wird die Kontrolle an den Pro­ zess 1009 (Defokussierung beendet) übergeben, wodurch bekannt ist, daß die Defokussierung für das momentane Bild beendet ist.

Die im Prozess 1003 der Fig. 10 verwendete veränderte Projektionsmatrix ist in Fig. 11 dargestellt. Ebenfalls dargestellt sind in dieser Figur Gleichungen zur Berech­ nung von dx und dy, welche die kleinen, in x und y be­ nutzten Inkremente sind, um den Defokussierungseffekt zu erzeugen. dx und dy hängen jeweils von verschiedenen an­ deren Variablen ab, die an anderer Stelle in dem Grafik­ system definiert sind, einschließlich kx und ky. kx und ky sind experimentell bestimmte Konstanten, die das Aus­ maß der in jeder Iteration der Defokussierungsschleife erzeugten Verschiebung definieren. Andere Werte sind rechts, links, oben und unten, welche die minimalen und maximalen x- und y-Werte für die Projektionsebene sind. Die Fenster-Auflösungen in x und y werden verwendet, so daß kx und ky in Werten von Pixeleinheiten definiert wer­ den können.

Die Operation einer vier mal vier Matrix ist in den Fig. 12A, 12B und 12C dargestellt. In Fig. 12A ist eine vier mal vier Transformationsmatrix dargestellt. Wie oben erläutert, werden aus Gründen der mathematischen Berech­ nung vier Dimensionen benutzt. Die vierte Dimension ist w, und die physikalischen x, y und z-Dimensionen sind durch x/w, y/w und z/w ersetzt. Typischerweise beginnen Scheitelpunkte mit einem w-Wert von eins. Nur bei der perspektivischen Betrachtung oder bei einer bestimmten Anzahl anderer, ungewöhnlicher Transformationen tritt der Fall auf, daß ein Scheitelpunkt einen von eins abweichen­ den Wert für w aufweist.

In Fig. 12A stellen die vertikalen Spalten x'/w', y'/w', z'/w' und w' Ausgänge dar, während die horizontalen Spalten die x/w, y/w, z/w und w-Eingänge darstellen. An jedem Schnittpunkt einer Zeile und einer Spalte befindet sich ein Wert oder eine Funktion, die berechnet werden kann. Die Kombinationen dieser Funktionen definieren, wie Scheitelpunkt-Eingangs-Koordinaten x/w, y/w, z/w, w in ihre entsprechenden x'/w', y'/w', z'/w' und w'-Koordina­ ten umgeformt werden. Die Beziehungen zwischen Eingangs­ koordinaten und Ausgangskoordinaten sind gemäß den in Fig. 12B dargestellten Gleichungen definiert. Es ist zu erkennen, daß jede Ausgangskoordinate durch jede mathema­ tische Abhängigkeit von den vier Eingangskoordinaten de­ finiert werden kann.

Typischerweise werden in den meisten Matrizen viele der Matrixwerte gleich Null gesetzt, so daß z. B. x'/w' nicht von y/w abhängt, wenn b gleich Null gesetzt ist. Die Stärke der zusätzlichen w-Koordinate wird bei Betrachtung der Fig. 12C ersichtlich. Hier werden die x', y' und z'-Koordinaten aus x'/w', y'/w', z'/w' und w' zurückge­ wonnen. Die Werte x', y' und z' können alle verändert werden, wenn der Wert von w' an einer Stelle in den Ma­ trixberechnungen geändert wurde. Diese Tatsache ermög­ licht es, weitaus komplexere Gleichungen in Matrixform darzustellen, als wenn nur drei physikalische Dimensionen benutzt werden. Diese Art von Koordinaten sind als homo­ gene Koordinaten bekannt.

Es ist daher möglich, die von der in Fig. 11 abgebildeten Matrix dargestellten Operationen in direkter algebrai­ scher Form auszuschreiben. Hier ist zu erkennen, daß die Abweichung in x und y proportional zu z gemacht ist, so daß keine Abweichung für Objekte in der Ebene im Fokus auftritt, für die z gleich Null ist. Die anderen Aspekte dieser Gleichungen beziehen sich auf die Projektion einer Linie von einem Scheitelpunkt durch eine vertikale, zweidimensionale Ebene bei der Ebene im Fokus, durch den vor­ deren Knotenpunkt der Kameralinse. Der vordere Knoten­ punkt der Linse ist der Punkt, in dem Strahlen theore­ tisch konvergieren. Dieser Punkt ändert sich in Abhängig­ keit von der Brennweitenposition. Somit wird der vordere Knotenpunkt aus der momentanen Position der Zoomlinse in Verbindung mit Kalibrationsdaten für die Linse, aus denen der vordere Knotenpunkt bestimmbar ist, berechnet.

Fig. 14 zeigt den Effekt der wiederholten Verschiebung des Betrachtungspunktes auf ein Objekt, das sich außer­ halb der Ebene im Fokus befindet. Der Hauptteil des Ob­ jektes hat seinen wahren Farbwert, wogegen die Ränder hinsichtlich ihrer Intensität entsprechend der Anzahl, mit der die Rot-, Grün- und Blauwerte für das Objekt in den entsprechenden Pixelpufferspeichern gesammelt wurden, abweichen.

Fig. 15 zeigt eine Ansicht von oben auf die Ebene eines virtuellen Szenenaufbaus. Zwei (virtuelle) Kamerapositio­ nen 1501 und 1502 sind durch einen Abstand dx entfernt, der gemäß der in Fig. 11 dargestellten Gleichung berech­ net ist. Die (fokussierten virtuellen) Objekte 1504, 1505 und 1506 in der Fokusebene 1503 verschieben sich nicht, da ihre z-Koordinate Null ist. Ein weit von der Fokus­ ebene 1503 entferntes virtuelles (defokussiertes) Objekt 1507 wird beträchtlich verschoben. Fig. 15 zeigt die Si­ tuation nach zwei Iterationen der in Fig. 10 dargestell­ ten Defokussierungsschleife. In der Praxis wird üblicher­ weise eine größere Zahl von Iterationen als notwendig an­ gesehen werden, um einen geeigneten Grad an Qualität zu erreichen, wobei eine typische Anzahl im Bereich zwischen vier und acht liegt.

Claims (11)

1. Verfahren zum Bearbeiten von Bilddaten, bei dem von einer Kamera (103) erzeugte Daten eines reellen Bil­ des mit Daten eines synthetisch gebildeten Bildes kombiniert werden, umfassend folgende Schritte:

• - Erzeugen von Positionsdaten (403) der Kamera (103), die Merkmale der Kamera (103) darstellen, ein­ schließlich einer Angabe über die Steuerung der Brennweite,
• - Erzeugen eines synthetisch gebildeten Bildes in Ab­ hängigkeit von den Positionsdaten (403) und
• - Einstellen des wahrgenommenen Fokus des synthetisch gebildeten Bildes in Abhängigkeit von der Einstel­ lung der Steuerung der Brennweite, um einen Fokus­ sierungsunterschied zwischen einem Teil des reellen Bildes und einem Teil des synthetisch gebildeten Bildes zu bewirken.

2. Verfahren nach Anspruch 1, bei dem ein Bereich des synthetisch gebildeten Bildes defokussiert wird, um seinen Ort hinter dem Teil des reellen Bildes zu be­ tonen.

3. Verfahren nach Anspruch 1, bei dem ein Teil des syn­ thetisch gebildeten Bildes defokussiert wird, um sei­ nen Ort vor dem Teil des reellen Bildes zu betonen.

4. Verfahren nach den Ansprüchen 2 und 3, bei dem das Defokussieren eines synthetisch gebildeten Bildes das Defokussieren von Teilen sowohl hinter als auch vor dem reellen Bild umfaßt.

5. Verfahren nach einem der Ansprüche 1 bis 4, bei dem die Defokussierung durch eine Variation von Projekti­ onsmatrizen bewirkt wird.

6. Verfahren nach einem der Ansprüche 1 bis 5, bei dem die Defokussierung mehrmals durchgeführt wird, wobei die Anzahl der Durchführungen einstellbar ist.

7. Verfahren nach einem der Ansprüche 1 bis 6, bei dem berechnete Pixelwerte bei jeder Iteration gesammelt und die gesammelten Werte durch die Anzahl der durch­ geführten Iterationen dividiert werden.

8. Vorrichtung zum Bearbeiten von Bilddaten, umfassend
eine Kamera (103) zum Erzeugen von Daten eines reel­ len Bildes (402),
ein Synthetisierungsmittel zum synthetischen Bilden von Bilddaten,
Mittel zum Erzeugen von Positionsdaten, die Kamerapo­ sitionsdaten (403) erzeugen, die Merkmale der Kamera (103) darstellen, einschließlich einer Angabe über die Steuerung der Brennweite, wobei
das Synthetisierungsmittel zum Bilden eines synthe­ tisch gebildeten Bildes in Abhängigkeit von den Posi­ tionsdaten (403) ausgebildet ist und
das Synthetisierungsmittel zum Einstellen des wahrge­ nommenen Fokus des synthetisch gebildeten Bildes in Abhängigkeit von der Steuerung der Brennweite ausge­ bildet ist, um einen Fokussierungsunterschied zwischen einem Teil des reellen Bildes und einem Teil des synthetisch gebildeten Bildes zu bewirken.

9. Vorrichtung nach Anspruch 8, in der das Synthetisie­ rungsmittel zum Defokussieren eines Teiles des syn­ thetisch gebildeten Bildes ausgebildet ist, um seinen Ort hinter dem Teil des reellen Bildes zu betonen.

10. Vorrichtung nach Anspruch 8, in der das Synthetisie­ rungsmittel zum Defokussieren eines Teiles des syn­ thetisch gebildeten Bildes ausgebildet ist, um seinen Ort vor dem Teil des reellen Bildes zu betonen.

11. Vorichtung nach Anspruch 8, umfassend Mittel zum An­ sammeln von Pixelwerten, die von einer Mehrzahl von Defokussierungsoperationen gebildet werden.