DE3686233T2

DE3686233T2 - Videosignalverarbeitung.

Info

Publication number: DE3686233T2
Application number: DE8686307998T
Authority: DE
Inventors: David John Hedley; John William Richards
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1985-10-21
Filing date: 1986-10-15
Publication date: 1992-12-17
Anticipated expiration: 2006-10-16
Also published as: GB2181929A; GB2181929B; JP2508513B2; GB8525925D0; US4953107A; EP0221704B1; EP0221704A2; EP0221704A3; DE3686233D1; JPS6295666A

Description

Die vorliegende Erfindung bezieht sich auf eine Videosignal- Verarbeitung. Insbesondere bezieht sich die vorliegende Erfindung auf Verfahren und eine Vorrichtung für die Erzeugung sowie die Manipulation von Bildern in drei Dimensionen.
Die Bilder, die auf diese Weise erzeugt werden, können Teil einer vollständigen Szene sein, die durch Zufügen der Bilder zu einem Hintergrund-Videosignal simuliert worden ist. Die sich ergebende vollständige Szene kann z. B. als die Bewegtdarstellung in einem Simulator, wie einem Flugsimulator, als die Bewegtdarstellung in einem Videospiel und außerdem allgemeiner dort, wo eine digitale Szenensimulation erforderlich ist, z. B. beim Produzieren von Filmen, benutzt wird.
Handgezeichnete Filme, wie z. B. Disney-Zeichentrickfilme, sind allgemein seit längerer Zeit bekannt. Sie sind jedoch nur zeitaufwendig und teuer herzustellen. Seit kurzem sind in erheblichem Umfang Modelle beim Produzieren von Filmen benutzt worden, wobei die Modelle Teilbild für Teilbild manipuliert werden, um die erforderliche Animation zu erreichen. Dies ist wiederum ebenfalls zeitaufwendig und teuer.
In jüngster Vergangenheit ist eine Technik der sog. digitalen Szenensimulation benutzt worden, wobei die Aufgabe dieser Technik darin besteht, Teilbild für Teilbild innerhalb eines Rechners Bilder von Trickfilm-Szenen für Video oder Film zu erzeugen. Bei dieser Technik gilt keinerlei Einschränkung hinsichtlich der Auswahl von Szenen, obgleich eine besondere Anwendung die Erzeugung von Szenen für Science-fiction-Filme gewesen ist. Ein Merkmal der digitalen Szenensimulation ist die immense Menge von Daten die gespeichert und verarbeitet werden müssen, und das sich daraus ergebende Erfordernis einer sehr großen Rechenkapazität. Zum Beispiel deutet Upson in "Large scale digital scene simulation for feature films and commercial productions", vorgestellt bei der Computer FX'84 und veröffentlicht durch Online Publications, Pinner, Uk, 1984, darauf hin, daß für ein 2 x 10&sup7;-Bildpunkt-Teilbild bis zu 1,2 x 10¹¹ Rechenvorgänge je Teilbild erforderlich sein können. Der schnellste Universalrechner, der gegenwärtig verfügbar ist, ist wahrscheinlich der CRAY XMP, der 2 x 10&sup8; Berechnungen je Sekunde ausführen kann, so daß der Rechner sogar mehrere Sekunden benötigt, um ein einziges Teilbild zu erzeugen. Ein langsamerer, weniger teurer Rechner kann gut und gerne Stunden benötigen, um ein einziges Teilbild zu erzeugen.
Eine wesentliche Aufgabe bei der digitalen Szenensimulation besteht in der Erzeugung und Manipulation von dreidimensionalen Objekten, und die vorliegende Erfindung betrifft vor allem, jedoch nicht ausschließlich, die Lösung dieser Aufgabe.
Gemäß der vorliegenden Erfindung ist ein Verfahren vorgesehen zum Erzeugen eines Bildes, welches Schritte umfaßt zum Speichern von Adreßdaten, die die dreidimensionale Form eines Objekts definieren,
Speichern von Videodaten, die die zweidimensionalen Oberflächen-Besonderheiten des Objekts definieren,
Manipulieren der Adreßdaten, um die Orientierung des Objekts im Raum zu bewegen und/oder zu ändern,
Perspektiv-Transformation der manipulierten Adreßdaten, um transformierte Adreßdaten zu bilden, die ein zweidimensionales Bild des Objekts nach der Manipulation definieren, und
Benutzen der transformierten Adreßdaten, um das Einschreiben der Videodaten in der Form von Ausgangs-Videodaten, die ein zweidimensionales Bild des Objekts nach der Manipulation und der Transformation definieren, und mit den Oberflächen-Besonderheiten in einem Speicher zu steuern.
Gemäß der vorliegenden Erfindung ist außerdem eine Vorrichtung vorgesehen zum Erzeugen eines Bildes, welche Vorrichtung umfaßt:
einen ersten Speicher zum Speichern von Adreßdaten, die die dreidimensionale Form eines Objekts definieren,
einen zweiten Speicher zum Speichern von Videodaten, die die zweidimensionalen Oberflächen-Besonderheiten des Objekts definieren,
ein erstes Mittel zum Manipulieren der Adreßdaten, um die Orientierung des Objekts im Raum zu bewegen und/oder zu ändern,
ein zweites Mittel zum Perspektiv-Transformieren der manipulierten Adreßdaten, um transformierte Adreßdaten zu bilden, die ein zweidimensionales Bild des Objekts nach der Manipulation definieren, und
einen dritten Speicher, in den die Videodaten unter Steuerung mittels der transformierten Adreßdaten in der Form der Ausgangs-Videodaten, die ein zweidimensionales Bild des Objekts nach der Manipulation und nach der Transformation definieren, und mit den Oberflächen-Besonderheiten eingeschrieben werden.
Die ausgegebenen Videodaten können in Echtzeit erzeugt werden, um eine Folge von Bildern für eine unmittelbare Bewegtdarstellung zu bilden, oder es können die Bilder langsamer erzeugt werden und auf einem Videomagnetband, einer Videoplatte oder einem Film für eine nachfolgende Anzeige gespeichert werden.
Die Erfindung wird im folgenden mittels eines Beispiels anhand der Figuren beschrieben, bei denen durchwegs gleiche Teile mit gleichen Bezugszeichen versehen sind.
Fig. 1 zeigt ein vereinfachtes Blockschaltbild eines Ausführungsbeispiels einer Vorrichtung zum Erzeugen eines Bildes gemäß der vorliegenden Erfindung.
Fig. 2 zeigt ein vereinfachtes Blockschaltbild für ein modifiziertes Ausführungsbeispiel.
Fig. 3 zeigt ein vereinfachtes Blockschaltbild, das Teil einer weiter modifizierten Ausführungsform des Ausführungsbeispiels gemäß Fig. 2 darstellt.
Fig. 4 zeigt ein mehr ins einzelne gehendes Blockschaltbild einer Speichervorrichtung des Ausführungsbeispiels gemäß Fig. 1.
Fig. 5 zeigt ein mehr ins einzelne gehendes Blockschaltbild, das Teil des Ausführungsbeispiels gemäß Fig. 1 ist.
Fig. 6 zeigt eine dreidimensionale Form.
Fig. 7 zeigt eine zweidimensionale Oberflächeneinzelheit, die auf die Form gemäß Fig. 6 anzuwenden ist.
Fig. 8 zeigt ein mehr ins einzelne gehendes Blockschaltbild, das Teil einer Nachverarbeitungsverzeichnis-Matrix aus Fig. 5 darstellt.
Fig. 9 zeigt ein mehr ins einzelne gehendes Blockschaltbild eines weiteren Teils der Nachverarbeitungsverzeichnis- Matrix gemäß Fig. 8.
Fig. 10 zeigt ein mehr ins einzelne gehendes Blockschaltbild einer Speichereinrichtung in Fig. 4.
Fig. 11 zeigt ein mehr ins einzelne gehendes Blockschaltbild der Speichereinrichtung gemäß Fig. 10.
Fig. 12 zeigt Impuls/Zeit-Diagramme, die zur Erklärung der Arbeitsweise der Speichereinrichtung gemäß Fig. 11 benutzt werden.
Ein Ausführungsbeispiel der Vorrichtung zum Erzeugen eines Bildes und einige Modifikation desselben, wovon alle der vorliegenden Erfindung entsprechen, werden zunächst relativ kurz beschrieben, und dann werden einige Teile des Ausführungsbeispiels im einzelnen beschrieben.
Gemäß Fig. 1 umfaßt die Vorrichtung erste und zweite Grunddaten-Speicher 1 und 2. Der Speicher 1 speichert Adreßdaten, die die dreidimensionale Form zumindest eines Objekts, und vorzugsweise einer großen Anzahl von Objekten, definieren, die in den Videobildern, die zu erzeugen sind, erforderlich sind. Der Speicher 2 speichert Videodaten, die die zweidimensionale Oberflächen-Besonderheit des oder jedes Objekts definieren, die in dem Form-Speicher 1 gespeichert sind. Die Speicher 1 und 2 sind mittels betreffender Mikroprozessoren 3 und 4 mit einem Abbildungs-Speicher 5 bzw. mit einem weiteren Oberflächen-Besonderheit-Speicher 6 verbunden. Unter Steuerung des Mikroprozessors 3 können Adreßdaten, die sich auf ein ausgewähltes einzelnes Objekt beziehen, von dem Form-Speicher 1 beigebracht und in dem Abbildungs-Speicher 5 gespeichert werden. Ebenso können unter der Steuerung des Mikroprozessors 5 Videodaten, die sich auf die Oberflächen-Besonderheit des ausgewählten Objekts beziehen, von dem Oberflächen-Besonderheit-Speicher 2 beigebracht und in dem weiteren Oberflächen-Besonderheit- Speicher 6 gespeichert werden.
Der Abbildungs-Speicher 5 liefert die Adreßdaten an eine Nachverarbeitungsverzeichnis-Matrix 7, um sie zu manipulieren, um so die Orientierung des Objekts im Raum zu bewegen und/oder zu ändern. Die manipulierten Adreßdaten werden einer Perspektiv-Transformationseinrichtung 8 zugeführt, wo sie in transformierte Adreßdaten umgewandelt werden, die in zwei Dimensionen ein Bild des Objekts definieren, welche transformierten Adreßdaten einem Teilbild-Speicher 9 zugeführt werden und die X- und Y-Schreibsteuersignale bilden, durch welche die Videodaten, die sich auf die Oberflächen-Besonderheit dieses Objekts beziehen und aus dem weiteren Oberflächen-Besonderheit-Speicher 6 abgeleitet sind, in den Teilbild-Speicher 9 eingeschrieben werden, um Ausgangsvideodaten zu bilden. Die notwendige positionsmäßige Übereinstimmung wird durch Ausrichten eines Anfangs-Bildpunkts der Oberflächen-Besonderheit auf den korrekten anfänglichen Bildpunkt der Form sowie durch Speicherung der verbleibenden Adresse und von Videodaten in den Speichern 1 und 2 in entsprechenden Speicherplätzen erzielt. Die notwendige zeitliche Übereinstimmung wird durch eine Verzögerungseinrichtung 10 erzielt, die betrieben wird, um die Daten aus dem weiteren Oberflächen-Besonderheit-Speicher 6 in Synchronismus mit den Schreibsteuersignalen aus der Perspektiv- Transformationseinrichtung 8 bereitzustellen, wobei diese Schreibsteuersignale durch die Operationen verzögert worden sind, denen sie unterzogen worden sind. Der Teilbild-Speicher 9 liefert die Ausgangsvideodaten, welche eine Anzeigeeinrichtung 11, wie beispielsweise einen Fernseh-Monitor, treiben. Alternativ dazu oder zusätzlich dazu können die Ausgangsvideodaten einem mehr permanenten Speicher 12, wie einem Videomagnetband oder einer Videoplatte, zugeführt werden, und sie können anschließend auf einen kinematographischen Film übertragen werden. Der Prozeß wird dann für das nächste Teilbild wiederholt.
Die Speicher 1 und 2 können Nur-Lese-Speicher sein, sind jedoch vorzugsweise Speicher mit wahlfreiem Zugriff. Die Adreßdaten, die die Form definieren, können durch mathematische Berechnungen unter Benutzung eines Rechners - falls erforderlich - für relativ einfache Formen, wie Würfel oder Kugeln, und durch detaillierte Computeranalysen, mittels eines Modells oder eines realen Objekts sowie einen Digitalisierer im Fall von relativ komplexen Formen, wie ein Flugzeug, ein Raumschiff oder Motorfahrzeuge, abgeleitet werden. Die Videodaten, die die Oberflächen-Besonderheit definieren, bewerkstelligen dies hinsichtlich Farbe, Leuchtdichte und Sättigung.
Die Nachverarbeitungsverzeichnis-Matrix 7 kann alle der fünf Transformationen zum Verschieben (Bewegen in irgendeiner Richtung), Skalieren (Dehnen oder Komprimieren in der Größe), Rollen (Drehen), (Nickenlassen und seitliches Abweichenlassen) oder irgendeine erforderliche Kombination davon durchführen.
Die Perspektiv-Transformationseinrichtung 8 bewirkt eine perspektivische Transformation relativ zu einem vorausgewählten Betrachtungspunkt und wandelt die manipulierten Adreßdaten in transformierte Adreßdaten um, die sich auf eine zweidimensionale Betrachtungsebene beziehen. Es können zusätzlich weitere Verarbeitungen durchgeführt werden. Beispielsweise kann die Leuchtdichte in Abhängigkeit von der "Tiefe" gemäß den Daten geändert werden, um den Effekt der Perspektive durch Pseudo-Bildabschattung zu steigern.
Einige Transformationen, wie zum Beispiel solche, bei denen ein Objekt darzustellen ist, das fortgesetzt taumelt, schließt die Notwendigkeit des Versteckens von Oberflächen ein. Um dies zu steuern, ist ein Z-Speicher 13, auf den im einzelnen weiter unten eingegangen wird, vorgesehen, um Z-oder Tiefenadreßdaten aus der Perspektiv-Transformationseinrichtung 8 aufzunehmen und um Schreibfreigabesignale WEN an den Teilbild-Speicher 8 abzugeben.
Wo die Transformation ein Skalieren einschließt, ist möglicherweise einiges an weiterer Verarbeitung der Videodaten, die aus dem weiteren Oberflächen-Besonderheit-Speicher 6 abgeleitet sind, erforderlich, und für diesen Zweck sind ein Filter 14 und ein Interpolator 15 in dem Videodatenweg vor dem Teilbild-Speicher 9 vorgesehen. Das Filter 14 und der Interpolator 15 werden jeweils in Abhängigkeit von dem Ausgangssignal aus der Perspektiv-Transformationseinrichtung 8 gesteuert.
Das Filter 14 ist vorgesehen, um ein "Umfalten" zu verhindern, wo die Transformation den Effekt des Komprimierens der Größe des Objekts hat, auf welches die Oberflächen-Besonderheit anzuwenden ist. Demzufolge ist es insbesondere dort, wo eine wesentliche Kompression eingeschlossen ist, notwendig, die Menge der Oberflächen-Besonderheit-Daten, die dem Teilbild-Speicher 9 zugeführt werden, zu begrenzen, und dies wird durch eine Filterung bewerkstelligt. Die tatsächliche Filterung, die bewirkt wird, wird in Abhängigkeit von lokalen X- und Y-Richtungskompressions-Faktoren gesteuert, d. h. Faktoren, welche den Grad der Kompression in demjenigen Ortsbereich des Bildes, das augenblicklich verarbeitet wird, repräsentieren. Das Filter 14 enthält Mittel, um fortlaufend die lokalen Kompressions-Faktoren abzuleiten, nämlich eines für die X- oder Horizontalrichtung und eines für die Y- oder Vertikalrichtung, und zwar in Abhängigkeit von den X- und Y-Adreßausgangssignalen der Perspektiv-Transformationseinrichtung 8.
Der Interpolator 15 ist vorgesehen, um die Oberflächen-Besonderheit zu interpolieren, d. h. um zusätzliche Abtastwerte für die Interpolation in die Oberflächen-Besonderheit-Videodaten einfügend abzuleiten, die von dem weiteren Oberflächen- Besonderheit-Speicher 6 abgeleitet sind, wobei die Transformation den Effekt des Expandierens der Größe des Objekts, auf welches die Oberflächeneinzelheit anzuwenden ist, hat, d. h. wo eine größere Auflösung durch den Teilbild-Speicher 9 gefordert ist. Kurz gesagt wird dies durch Unterteilung der X- und Y-Adressen, die aus der Perspektiv-Transformationseinrichtung abgeleitet werden, erzielt, um auf diese Weise X- und Y-Richtungsreste zu erzeugen, die die Positionen der erforderlichen interpolierten Abtastwerte relativ zu verfügbaren Abtastwerten definieren. Dann werden, um einen erforderlichen interpolierten Abtastwert abzuleiten, verfügbare Abtastwerte eines kleinen Bereichs, angenommen 9, die die Position des erforderlichen interpolierten Abtastwerts umgeben, jeweils mit einem betreffenden Wichtungs-Koeffizienten multipliziert, und die sich ergebenden Produkte werden summiert, um den erforderlichen interpolierten Abtastwert zu erzeugen. Die Wichtungs- Koeffizienten können in sog. Nachschlag-Tabellen gespeichert werden, die in einem programmierbaren Nur-Lese-Speicher in dem Interpolator 15 bereitgestellt werden, und diese Koeffizienten werden in Abhängigkeit von den Werten der X- und Y-Reste abgeleitet. Diese Operation ist in etwa ähnlich derjenigen, die in einem Fernsehstandard-Umsetzer bewirkt wird.
In Fällen, in denen eine komplexe Szene mit einem Hintergrund, der sich bewegen kann, und einer Vielzahl von sich bewegenden Objekten zu erzeugen ist, kann das modifizierte Ausführungsbeispiel gemäß Fig. 2 benutzt werden. In diesem Fall sind der erste und der zweite Speicher 1 und 2 Computer-Disketten-Speicher, wovon jeder eine Bibliothek erster und zweiter Daten speichert, die Formen von Objekten und entsprechenden Oberflächen-Besonderheiten definieren. Dieses Ausführungsbeispiel ist im Grunde genommen das gleiche, wie dasjenige gemäß Fig. 1, enthält jedoch zusätzlich eine Hintergrund-Quelle 16, die ein Video-Magnetband oder eine Video-Platte oder eine Videokamera umfassen kann. Im Betrieb liefert die Hintergrund- Quelle 16 zunächst ein Teilbild aus Hintergrund-Daten an den Teilbild-Speicher 9. Die Hintergrund-Daten können ein Standbild oder ein Teilbild eines Bewegtbildes, wie ein Live-Video, definieren.
Die Adreßdaten für das erste Objekt werden dann durch die Perspektiv-Transformationseinrichtung 8 verarbeitet, die die X- und Y-Schreibsteuersignale für jede Bildpunktadresse der Oberflächen-Besonderheit des ersten Objekts an den Teilbild- Speicher 9 liefert, wo die Oberflächen-Besonderheit-Daten die Hintergrund-Daten, die bereits gespeichert sind, unter Steuerung der Schreibfreigabesignale WEN aus dem Z-Speicher 13 überschreiben. Zusätzlich liefert die Perspektiv-Transformationseinrichtung 8 in diesem Fall die Z-Daten für jede Bildpunktadresse der Oberflächen-Besonderheit an den Z-Speicher 13, wo sie Maximalwert-Z-Daten überschreiben, die in jede Bildpunktadresse eingeschrieben waren, wenn die Hintergrund- Daten in den Teilbild-Speicher 9 eingeschrieben waren, und verursachen, daß die Schreibfreigabesignale WEN geliefert werden. Die Daten für das zweite Objekt werden dann durch die Perspektiv-Transformationseinrichtung 8 verarbeitet, die die Z-Daten für jede Bildpunkt-Adresse der Oberflächen-Besonderheit des zweiten Objekts an den Z-Speicher 13 liefert, wo die "Tiefe" mit derjenigen der entsprechenden bereits gespeicherten Z-Daten verglichen wird, die sich auf den Hintergrund oder das erste Objekt beziehen können. In dem vorhergehenden Fall überschreiben die X- und Y-Daten die Hintergrund-Daten, die bereits in dem Teilbild-Speicher 9 gespeichert sind, und ein Schreibfreigabesignal WEN wird dem Teilbild-Speicher 9 zugeführt. Im letzteren Fall überschreiben die X- und Y-Daten für das zweite Objekt nur diejenigen des ersten Objekts in dem Teilbild-Speicher 9, und das Schreibfreigabesignal WEN wird nur dem Teilbild-Speicher 9 zugeführt, wenn die "Tiefe" dieses Bildpunkts des zweiten Objekts kleiner als die "Tiefe" des Bildpunkts des ersten Objekts ist. Diese Prozesse werden für alle verbleibenden Objekte wiederholt.
Als eine Alternative können den Hintergrund-Daten verschiedene Tiefen-Daten zugeordnet werden. Beispielsweise können dann, falls das endgültige Bild ein Flugzeug umfassen soll, das sich an einem wolkigen Himmel bewegt, die Hintergrund-Daten einen blauen Himmel, wobei jedem Bildpunkt desselben Maximal- Wert-Z-Daten zugeordnet sind, und Wolken, wobei jedem Bildpunkt derselben ausgewählte unterschiedliche Z-Daten zugeordnet sind, definieren. Unterschiedliche Wolken können selbstverständlich bei unterschiedlichen Tiefen gegeben sein, und sie können sich von Teilbild zu Teilbild bewegen. Demzufolge kann sich ein sich bewegendes Flugzeug vor einigen Wolken und hinter einigen Wolken bewegen, während ein relativ stationäres Objekt am Himmel, wie die Sonne, durch Wolken bedeckt oder unbedeckt sein kann.
Die Operation des Z-Speichers 13 in den Ausführungsbeispielen gemäß den Figuren 1 und 2 ist ähnlich, und zwar in Fällen, in denen eine Eliminierung versteckter Oberflächen, auf die weiter oben kurz eingegangen wurde, notwendig ist.
Die Verarbeitung kann in Echtzeit mit der Vorrichtung gemäß Fig. 2 ausgeführt werden, obgleich dies nicht wesentlich ist. In der Vorrichtung gemäß Fig. 2 kann die Verarbeitung wiederum in Echtzeit ausgeführt werden, falls die notwendige Verarbeitung der Daten für alle der erforderlichen Objekte ausreichend schnell bewerkstelligt werden kann. Demzufolge ist es innerhalb jeder Teilbildperiode notwendig, die Hintergrund-Daten in dem Teilbild-Speicher 9 abzulegen und der Reihe nach zu verarbeiten und die Oberflächen-Besonderheit-Daten für jedes Objekt in den Teilbild-Speicher 9 zu laden. Falls dies nicht ausreichend schnell bewerkstelligt werden kann, nichtsdestoweniger jedoch eine Echtzeitoperation erforderlich ist, kann eine Parallelverarbeitungstechnik benutzt werden.
Fig. 3 zeigt einen Teil eines modifizierten Ausführungsbeispiels, das eine Parallelverarbeitung bewirken kann. Das Ausführungsbeispiel ist so gezeigt, daß es zwei Kanäle A und B zum gleichzeitigen Verarbeiten von Daten aufweist, die sich auf zwei Objekte beziehen. Es können jedoch auch weitere Kanäle zugefügt sein, wenn dies erforderlich ist, falls Daten für weitere Objekte gleichzeitig zu verarbeiten sind. Jeder Kanal A, B umfaßt Elemente, die den Elementen 1 bis 8, 10, 14 und 15 des Ausführungsbeispiels gemäß Fig. 3 entsprechen. Für jeden Kanal A, B ist ein betreffender Teilbild-Speicher 9A, 9B mit einem betreffenden zugeordneten Z-Speicher 13A, 13B vorgesehen. Die Hintergrunddaten, sofern solche vorliegen, können in den Teilbild-Speicher 9A eingeschrieben werden, oder es kann alternativ dazu ein zusätzlicher Teilbild-Speicher (nicht gezeigt) für die Hintergrunddaten mit einem zugeordneten Z-Speicher (nicht gezeigt) vorgesehen sein.
Im Betrieb werden der Reihe nach die X- und Y-Daten für jeden Bildpunkt gleichzeitig durch jeden Teilbild-Speicher 9A, 9B einem 2:1-Wähler 21 zugeführt, während gleichzeitig Z-Daten durch jeden Z-Speicher 13A, 13B einem Komparator 22 zugeführt werden. Der Komparator 22 steuert den Wähler 21, um nur die X- und Y-Daten mit der kleinsten "Tiefe", die sich auf das Objekt (oder den Hintergrund) beziehen, zu der Anzeigeeinrichtung 11 und/oder dem permanenten Speicher 12 zu übertragen. In dieser modifizierten Vorrichtung ist es selbstverständlich notwendig, eine ausreichende Verarbeitungszeit für jeden Kanal A, B bereitzustellen, um sie in die Lage zu versetzen, die endgültigen Daten in einem einzigen Teilbild mit allen versteckten Oberflächen, die eliminiert sind, zu kombinieren.
Obwohl im allgemeinen sowohl der Hintergrund oder irgendwelche überlagernden Objekte mit derselben Auflösung, d. h. mit der gleichen Anzahl von Bildpunkten je Flächeneinheit, verarbeitet werden, ist dies nicht wesentlich, da Fälle vorliegen können, in denen eine niedrigere Auflösung akzeptabel ist oder für die eine oder die andere Auflösung erforderlich ist.
Die vorangegangene Beschreibung dürfte insoweit ausreichend sein, um die hauptsächlichen Prinzipien des Ausführungsbeispiels und der modifizierten Ausführungsbeispiele zu verstehen, jedoch werden bestimmte Teile der Ausführungsbeispiele nunmehr im einzelnen anhand der verbleibenden Figuren beschrieben.
Es sei nur als ein Beispiel angenommen, daß die Vorrichtung zu benutzen ist, um Bilder für ein hochauflösendes Videosystem zu erzeugen, das 1125 Zeilen je Teilbild und 60 Teilbilder je Sekunde mit einem Bildseitenverhältnis von 5:3 vorsieht. Dazu sind 2048 Bildpunktadressen je horizontale Abtastzeile vorhanden. Jede Bildpunktadresse in jedem Teilbild ist durch X- und Y-Daten definiert, die betreffende 11-bit- und 10-bit-Wörter umfassen. In gleicher Weise ist jede Bildpunktadresse , wenn die Verarbeitung es so erfordert, durch Tiefen- oder Z-Daten definiert, die ein 8-bit-Wort umfassen.
In Fällen, in denen ein Echtzeitbetrieb in einem Fernsehsystem erforderlich ist, wird ein Paar von abwechselnd ausgelesenen Ausgangs-Teilbild-Speichern erforderlich sein. Demzufolge können in dem Ausführungsbeispiel gemäß Fig. 1 und Fig. 2 die Teilbild-Speicher 9 doppelt vorgesehen sein, während in dem Ausführungsbeispiel gemäß Fig. 3 der Wähler 21 ein zusätzliches Paar von Ausgangs-Teilbild-Speichern versorgen kann.
Für den Fall des Ausführungsbeispiels gemäß Fig. 1 umfaßt die Anordnung, die in Fig. 4 gezeigt ist, zwei Teilbild-Speicher, nämlich einen Teilbild-0-Speicher 9' und einen Teilbild-1- Speicher 9", zusammen mit einem Schreibadressengenerator 31 und einem Leseadressengenerator 32. Diese Elemente sind durch Schalter 33, 34, 35 und 36 miteinander verbunden, wovon jeder bei der Teilbild-Frequenz betrieben wird. Eingangs-Bilddaten, die einer Eingangsklemme 37 zugeführt werden, werden wahlweise mittels des Schalters 33 an den Teilbild-0-Speicher 9' oder den Teilbild-1-Speicher 9" gesendet. Ausgangs-Bilddaten zum Liefern an die Anzeigeeinrichtung 11 oder den permanenten Speicher 12 (Fig. 1) werden wahlweise durch den Schalter 34 aus dem Teilbild-0-Speicher 9' oder dem Teilbild-1-Speicher 9" gewonnen. Der Schreibadressengenerator 31 und der Leseadressengenerator 32 werden wahlweise und alternativ mit dem Teilbild-0-Speicher 9' und dem Teilbild-1-Speicher 9" durch die Schalter 35 und 36 verbunden. Das Einschreiben erfolgt alternativ in dem Teilbild-0-Speicher 9' und dem Teilbild-1-Speicher 9" in Abhängigkeit von der Stellung des Schalters 33 und unter der Steuerung des Schreibadressengenerators 31. Wenn ein vollständiges Teilbild in den Speicher 9'oder 9" eingeschrieben ist, ändern die Schalter 33 bis 36 ihre Stellung, und die Bilddaten, die in dem Speicher 9' oder 9"gespeichert sind, werden dann sequentiell unter der Steuerung des Leseadressengenerators 32 ausgelesen und einer Ausgangsklemme 38 zugeführt, während die Bilddaten für das nächste Teilbild in den anderen Speicher 9" oder 9' eingeschrieben werden.
Der Abbildungs-Speicher 5 und die zugeordneten Schaltungen werden im folgenden im einzelnen anhand von Fig. 5 beschrieben. Der Abbildungs-Speicher 5, der die erforderliche zweidimensionale bis dreidimensionale Transformation bewirkt, hat zwei Haupteingänge, die mit X und Y bezeichnet sind, und drei Hauptausgänge, die mit α, β und Z bezeichnet sind. Die Eingangs-X-Adressen von Bildpunkten in einem Fernsehbildraster werden dem X-Eingang zugeführt. Diese Eingangs-X-Adressen werden außerdem einem Multiplizierer 41 zugeführt, der mit dem Ausgang α verbunden ist. Eingangs-Y-Adressen von Bildpunkten in dem Raster werden dem Y-Eingang zugeführt, und diese Eingangs-Y-Adressen werden außerdem einem Multiplizierer 42 zugeführt, der mit dem Ausgang β verbunden ist. X-, Y- und Z-Ausgangssignale werden jeweils aus den Multiplizierern 41 42 und dem Z-Ausgangssignal gewonnen.
Der Abbildungs-Speicher 5 ist ein Speicher mit wahlfreiem Zugriff, der als eine sog. Nachschlage-Tabelle arbeitet, und ist mit Daten vorgeladen, die der Form des Objekts, das ausgewählt ist, entsprechen, und zwar unter der Steuerung des Mikroprozessors 3 aus dem Form-Speicher 1. Demzufolge beinhaltet dann der Abbildungs-Speicher 5 die Befehle, wie die Abbildungs-X- und Y-Koordinaten, die den Bildpunktadressen in dem Raster entsprechen, für die dreidimensionale Form des Objekts abzubilden sind. Für jede Bildpunktadresse sind drei Parameter gespeichert, nämlich α und β, welche die X- und Y-Skalierungsmultiplizierer sind, und Z, welcher Parameter die Absoluttiefen-Koordinate ist. Wenn für einen Augenblick nur eine Dimension betrachtet wird, dann ist die Wirkung auf jede Bildpunktadresse in einer Horizontalzeilenabtastung zum Erzielen der erforderlichen Transformation wahrscheinlich die horizontale Bewegung dieser Bildpunktadresse hin zu einer unterschiedlichen Adresse. Diese Änderung der Adresse kann durch Multiplizieren der X-Koordinate der Originaladresse durch einen Skalierungsmultiplizierer bewirkt werden. In der Praxis ist die erforderliche Transformation wahrscheinlich so beschaffen, daß jede Bildpunktadresse durch Bewegung in zwei Dimensionen zu beeinflussen ist, so daß die Multiplikation sowohl der X- als auch der Y-Koordinaten der Originaladresse des Bildpunkts durch betreffende Skalierungsmultiplizierer erforderlich ist. Dazu wird jede Bildpunktadresse den X- und Y-Eingängen des Abbildungs-Speichers 5 zugeführt. Der Abbildungs-Speicher 5 arbeitet, um auf die passenden Skalierungsmultiplizierer α und β für diese Bildpunktadresse zuzugreifen, und liefert diese an die α- und β-Ausgänge. Außerdem ist es indessen wahrscheinlich, daß die erforderliche Transformation auch eine Bewegung der Bildpunktadresse in der dritten oder der Tiefen-Richtung erfordert, so daß eine weitere Operation des Abbildungs-Speichers 5 darin besteht, auf die Z-Ausgangssignale davon zuzugreifen und diese zuzuführen, wobei die Z-Koordinate der Adresse der Bildpunktadresse entspricht, die durch die X- und Y-Koordinaten der Eingangsadressen bezeichnet sind und zu der erforderlichen Transformation gehören.
Die Skalierungsmultiplizierer α und β, die den Eingangs-Bildpunktadressen entsprechen, werden daher den Multiplizierern 41 bzw. 42 zugeführt, die außerdem die Eingangs-X- bzw. Y-Adressen der Eingangsbildpunkte empfangen. Die Multiplizierer 41 und 42 skalieren daher die Eingangs-X und Y-Adressen zu den erforderlichen neuen Werten, die zusammen mit der Z-Adresse, die aus dem Abbildungs-Speicher 5 abgeleitet ist, den betreffenden Ausgängen zugeführt werden, wo die sich ergebenden Adressen mit X', Y' und Z' bezeichnet sind.
Dieser Teil der Operation ist vielleicht besser durch ein einfaches Beispiel verständlich, das anhand von Fig. 6 und Fig. 7 zu beschreiben ist. Es sei vorausgesetzt, daß die ersten Videodaten, die in dem Form-Speicher 1 gespeichert sind, eine ebene oder abgewickelte Würfelform, wie sie in Fig. 6 gezeigt ist, definieren. Es sei außerdem vorausgesetzt, daß die zweiten Videodaten, die in dem Oberflächen-Besonderheit- Speicher 2 (Fig. 1) gespeichert sind, eine Oberflächen-Besonderheit definieren, die den Würfel in eine Würfelform transformieren. Die notwendige Oberflächen-Besonderheit ist in Fig. 7 gezeigt und bildet eine zweidimensionale Abwicklung der dreidimensionalen Oberflächen eines Würfels. Die Bilder, die durch die ersten und zweiten Daten repräsentiert werden, sollten vorzugsweise in der Größe übereinstimmen, jedoch sind deren Positionen innerhalb des Teilbildes und in deren Orientierungen als ein vorbestimmter, zuerst zu verarbeitender Bildpunkt der Oberflächen-Besonderheit, beispielsweise der Ecke irgendeines der Quadrate in Fig. 7, relativ unwichtig und können in Koinzidenz mit einem geeigneten Bildpunkt der Form gebracht werden, d. h. mit irgendeiner Ecke irgendeiner Seite des Würfels. Die zwei Datensätze können dann in Übereinstimmung beibehalten werden.
Demzufolge repräsentieren die Ausgangs-X'-, Y'- und Z'-Adressen aus dem Abbildungs-Speicher 5 die Positionen im Raum jedes Bildpunkts der Oberflächen-Besonderheit des Würfels, und nachdem diese Adressen wie weiter unten beschrieben weiterverarbeitet worden sind, bestimmen sie, wo (und ob) jeder Bildpunkt der Oberflächen-Besonderheit in den Teilbild-Speicher 9 (Fig. 1) eingeschrieben wird, um die erforderlichen Ausgangsvideodaten zu erzeugen, die das endgültige Bild definieren. Es dürfte verständlich sein, daß die nachfolgenden Änderungen in der Orientierung des Würfels im Raum in der Nachverarbeitungsverzeichnis-Matrix 7 die Oberflächen-Besonderheit in dem endgültigen Bild sichtbar ändern.
Obgleich nur dieses einfache Beispiel eines Würfels gegeben worden ist, ist offensichtlich, daß das Verfahren leicht auf sehr komplexe Formen und gleichfalls auf komplexe Oberflächen- Besonderheiten anwendbar ist. Zum Beispiel kann die Form diejenige eines Raumschiffes sein, wobei die Adressendaten die Form definieren, von der Daten von einem Modell durch einen Digitalisierer abgeleitet und in den Form-Speicher 1 eingegeben worden sind, während die Oberflächen-Besonderheit-Videodaten des Raumschiffes gezeichnet oder fotografiert sein können und die erforderlichen Daten, die diese Form definieren, durch eine Videokamera gewonnen, digitalisiert und in den Oberflächen-Besonderheit-Speicher 2 eingegeben sein können. Darüber hinaus halten die Speicher 1 und 2 üblicherweise eine Vielfalt von unterschiedlichen Sätzen von Daten, die jeweils unterschiedlichen Objekten und unterschiedlichen entsprechenden Oberflächen-Besonderheiten entsprechen, zur Auswahl durch die Mikroprozessoren 3 und 4 wie erforderlich bereit. Außerdem ist, obwohl in der vorhergehenden Beschreibung angenommen worden ist, daß die Speicher 1 und 2 getrennte Einheiten sind, ersichtlich, daß diese durch zwei Teile eines einzigen Speichers gebildet sein können.
Fig. 5 zeigt außerdem die Nachverarbeitungsverzeichnis-Matrix 7 und die Perspektiv-Transformationeinrichtung 8 gemäß Fig. 1. Die Nachverarbeitungsverzeichnis-Matrix 7 ist betätigbar, um irgendeinen oder irgendwelche Kombination von dreidimensionalen Effekten des Verschiebens (das in nur zwei Dimensionen erfolgen kann), des Skalierens, des Rollens, des Nickenlassens und des seitlichen Abweichenlassens zu bewirken. Diese Effekte sind alle an sich bekannt, und die notwendigen Matrizen sind in "Computer Graphics and Applications" von Dennis Harris, Chapman und Hall, Computing 1984, beschrieben. Um jeden individuellen Effekt zu erzielen, ist eine 4x3-Matrix ausreichend, jedoch wird einfach eine vierte Zeile zugefügt, um die Matrizen zu 4x4-Matrizen zu machen, so daß irgendeine von zwei oder mehr Matrizen einfach multipliziert werden kann, um die erforderliche Kombination von Effekten zu erzielen, wie ein Rollen um einen Verschiebungspunkt, das ein Verschieben, ein Rollen und ein Rückwärtsverschieben beinhaltet, in welchem Fall die drei geeigneten Matrizen zusammen multipliziert werden, um eine einzige Matrize zu erhalten, die dem geforderten Effekt entspricht. Diese Multiplikation wird in einem Mikroprozessor 43 vorgenommen, und wenn erforderlich, wird die sich ergebende Matrix als ein Satz von Koeffizienten für die Nachverarbeitungsverzeichnis-Matrix 7, die Multiplizierer und Addierer umfaßt, abgelegt.
Ein Beispiel einer Videosignal-Verarbeitungsschaltung, die als die Nachverarbeitungsverzeichnis-Matrix 7 benutzt werden kann, wird nun anhand von Fig. 8 und Fig. 9 beschrieben.
Wie zuvor erwähnt, sind die mathematischen Operationen, welche die Nachverarbeitungsverzeichnis-Matrix 7 durchzuführen hat, um die dreidimensionalen Effekte des Verschiebens, des Skalierens, des Rollens, des seitlich Abweichenlassens und des Nikkenlassens zu erreichen, bekannt, beispielsweise aus "Computer Graphics and Applications" wie zuvor angegeben. Indessen kann es in dem vorliegenden Fall für die Bilder erforderlich sein, daß sie in Echtzeit verarbeitet werden, d. h. die für jedes Teilbild notwendige Verarbeitung kann erfordern, daß sie bei der Videoteilbildrate durchgeführt wird, die in dem vorliegenden Beispiel 60 Teilbilder je Sekunde ausmacht. Es ist für einen Rechner nicht notwendig, die Verarbeitung bei der erforderlichen hohen Geschwindigkeit durchzuführen. Daher umfaßt das Beispiel eine Hybrid-Anordnung, die einen Hochgeschwindigkeits-Mikroprozessor und eine Hardware-Matrixschaltung umfaßt. Grundsätzlich ist der Mikroprozessor erforderlich, um die Koeffizienten einer einzigen 4x4-Matrix zu berechnen, die -falls erforderlich -eine kombinierte Matrix ist, die die Matrizen kombiniert, welche jeweils den zwei oder mehr Effekten des Verschiebens, des Skalierens, des Rollens, des Nickenlassens oder des seitlich Abweichenlassens entsprechen.
Es sei vorausgesetzt, daß die dreidimensionale Eingangsadresse eines Bildpunkts x, y, z ist und daß die Ausgangsadresse nach der erforderlichen Transformation dieses Bildpunkts x-neu, y-neu, z-neu ist. In dem allgemeinen Fall ist dann, wenn die präzise Transformation noch nicht bestimmt worden ist:
x-neu = a&sub1;x + b&sub1;y + c&sub1;z + d&sub1;
y-neu = a&sub2;x + b&sub2;y + c&sub2;z + d&sub2;
z-neu = a&sub3;x + b&sub3;y + c&sub3;z + d&sub3;
wobei a&sub1;, a&sub2;, a&sub3;, b&sub1;, b&sub2;, b&sub3;, c&sub1;, c&sub2;, c&sub3;, d&sub1;, d&sub2; u. d&sub3; Koeffizienten sind, die durch die Transformation, die auszuführen ist, bestimmt sind. Das Schreiben der zuvor genannten Gleichungen in Matrixform ergibt:
Um die zentrale Matrix 4x4 zu bilden, um so die Multiplikation derartiger Matrizen zu erlauben, kann diese neu geschrieben werden zu:
Irgendeine oder jede Kombination der zuvor genannten dreidimensionalen linearen Effekte des Verschiebens, des Skalierens, des Rollens, des Nickenlassens und des seitlich Abweichenlassens kann durch Auswählen der geeigneten Matrix oder in dem Fall einer Kombination durch Auswählen der geeigneten Matrizen, Substituieren der erforderlichen Werte der Parameter in die Matrix oder in die Matrizen hinein und in dem Fall einer Kombination durch Multiplizieren der sich ergebenden Matrizen miteinander durchgeführt werden. Dieser erste Schritt wird durch einen Mikroprozessor 50, der in Fig. 8 gezeigt ist, unter der Steuerung eines Programms, das in einem Programm- Speicher 51 gespeichert ist, von Auswahleingangssignalen, die bestimmen, welche der Verschiebungs-, Skalierungs-, Roll-, Nickenlassen- und Seitlich-Abweichenlassen-Effekte erforderlich sind und in den passenden Fällen der Verschiebungs-Distanzen, der Skalierungs-Koeffizienten und der Roll-, Nickenlassen- und Seitlich-Abweichenlassen-Winkel ausgeführt. Unter der Steuerung des Programms wählt dann der Mikrocomputer 50 die passende 4x4-Matrix oder Matrizen aus, substituiert die Parameter und multipliziert - wenn notwendig - die sich ergebenden Matrizen miteinander, um in jedem Fall eine Ausgangs- Matrix zu erzeugen, die die erforderlichen Koeffizienten a&sub1; bis d&sub3; enthält, welche den betreffenden Ausgängen mittels betreffender Verriegelungsschaltungen 52 zugeführt werden. Während jeder Teilbildperiode des Videosignals, das zu verarbeiten ist, führt der Mikroprozessor 50 die zuvor genannten Operationen durch, so daß die erforderlichen Koeffizienten a&sub1; bis d&sub3; zur Benutzung in der nächsten Teilbildperiode verfügbar sind.
Die Koeffizienten a&sub1; bis d&sub3; werden der Hardware-Matrixschaltung zugeführt, die in Blockschaltbildform in Fig. 9 gezeigt ist. Die Matrixschaltung umfaßt neun Multiplizierer 60 bis 68 und neun Addierer 69 bis 77. Das Ausgangssignal x-neu jedes Bildpunkts in einem Teilbild wird durch Liefern der Eingangskoordinaten x, y u. z dieses Bildpunkts an die Multiplizierer 60, 61 bzw. 62 abgeleitet, wo sie mit den Koeffizienten a&sub1;, b&sub1; bzw. c&sub1; multipliziert werden, die von dem Mikroprozessor 50 (Fig. 8) am Ende des vorhergehendes Teilbildes abgelegt worden sind. Die Ausgangssignale der Multiplizierer 60 und 61 werden durch den Addierer 69 addiert, das Ausgangssignal des Addierers 69 wird zu dem Ausgangssignal des Multiplizierers 62 durch den Addierer 70 addiert, und das Ausgangssignal des Addierers 70 wird zu dem Koeffizienten d&sub1; durch den Addierer 71 addiert. Das Ausgangssignal des Addierers 71 ist x-neu. Die Ausgangssignale y-neu u. z-neu werden in ähnlicher Weise abgeleitet.
Die drei Ausgangsadressen x-neu, y-neu u. z-neu, die mit X", Y" u. Z" in Fig. 5 bezeichnet sind, werden der Perspektive- Transformationseinrichtung 8 zugeführt.
Die Perspektiv-Transformationseinrichtung führt eine geometrische Perspektiv-Darstellung durch Anpassen der X"- und Y"-Adressen in Abhängigkeit von den Z"-Adressen und von der ausgewählten Betrachtungsdistanz ein. Dies wiederum ist eine bekannte Technik, und die Art und Weise, in welcher dies ausgeführt wird, ist in "Computer Graphics and Applications", auf welche Druckschrift zuvor eingegangen wurde, beschrieben. Die Notwendigkeit, eine perspektivische Transformation zu bewirken, wird aus einem sehr einfachen Beispiel verständlich. Es sei vorausgesetzt, daß ein anfänglich zweidimensional rechteckiges Bild rückwärts um eine horizontale Achse drehbar aufgehängt ist, die mit dem oberen Rand des Bildes zusammenfällt. Wenn dies bewerkstelligt ist, wird jeder Bildpunkt in dem Bild eine Z-Adresse annehmen (die für Bildpunkte, welche längs dieser Achse liegen, Null sein wird), jedoch wird anfänglich die Länge des unteren Randes des Bildes dieselbe bleiben, wie die Länge des oberen Randes des Bildes. In anderen Worten ausgedrückt heißt dies, daß kein perspektivischer Effekt vorhanden sein wird, um das Auge dahingehend zu täuschen, daß die Bewegung in drei Dimensionen erfolgt. Die Funktion der Perspektiv-Transformationseinrichtung 8 besteht darin, den erforderlichen geometrischen perspektivischen Effekt zuzufügen, was in dem zuvor genannten einfachen Beispiel das Verkürzen des unteren Randes und das progressive Verkürzen der zwischenliegenden horizontalen Linien beinhaltet.
Als nächstes wird die Eliminierung versteckter Oberflächen, auf die weiter oben in Verbindung mit Fig. 1 bis Fig. 3 eingegangen wurde, durch weitere Beschreibung der Teilbild-Speicheranordnung gemäß Fig. 4 anhand von Fig. 10, die einen der Speicher 9' oder 9" darstellt, und des Schreibadressengenerators 31 in weiteren Einzelheiten betrachtet. Jeder der Speicher 9' und 9", umfaßt einen Leuchtdichte/Farb-Speicher 81 und einen Z-Speicher 82, obgleich, wie weiter unten erklärt, der Z-Speicher 82 vorzugsweise den Speichern 9' und 9", gemeinsam zugeordnet ist. Der Leuchtdichte/Farb-Speicher 81, der im folgenden als X/Y-Speicher 81 bezeichnet ist, speichert 8-bit-Wörter, die die pulscodemodulierten Leuchtdichte- und Farb-Abtastdaten bilden, gemäß den zweidimensionalen oder X- und Y-Adressen der individuellen Abtastproben, d. h. gemäß der Rasterposition der Abtastprobe in der Ebene eines Fernsehbildschirms. Demzufolge ist es in dem zuvor angegebenen Beispiel für den X/Y-Speicher 81 erforderlich, Daten zu speichern, die sich auf 2048 Abtastproben für jede von angenähert 520 aktiven Abtastzeilen beziehen. Es sei betont, daß die Daten, die in dem X/Y-Speicher 81 gespeichert sind, Informationsdaten sind, die sich auf die aktuellen Werte der Abtastproben beziehen, d. h. Leuchtdichte- und Farb- (U/V-) Daten.
Der Z-Speicher 82 speichert 8-bit-Wörter, die die Z-Adresse repräsentieren, oder Tiefeninformation für jedes der Leuchtdichte- und Farb-Abtastproben-Datenwörter, die in dem X/Y- Speicher 81 gespeichert sind, und wie in dem X/Y-Speicher 81 werden diese Daten in Übereinstimmung mit den zweidimensionalen X- und Y-Adressen der individuellen Abtastproben gespeichert. Es sei indessen betont, daß sich die Daten, die in dem Z-Speicher 82 gespeichert sind, nur auf die Position der Abtastprobe in der Z- oder Tiefendimension beziehen und nicht auf den aktuellen Wert der Abtastprobe. Die Wörter, die in dem Z-Speicher 82 gespeichert sind, können 8-bit-Wörter sein, dies ist jedoch nicht wesentlich, und es können Wörter kleinerer oder größerer Länge in Abhängigkeit von der Genauigkeit verwendet werden, mit welcher es erforderlich ist, die Positionen der zwei Abtastproben anzugeben, die dicht benachbart zueinander in der Z-Dimension liegen.
Der Schreibadressengenerator 31 erzeugt wie zuvor beschrieben X-, Y- und Z-Adreßsignale. Die X- und Y-Adreßsignale werden dem X/Y-Speicher 81 zugeführt, und die X-, Y-, und Z-Adreßsignale werden dem Z-Speicher 82 zugeführt. Die Eingangs-8- bit-Datenwörter, die dem X/Y-Speicher 81 über einen Eingang 83 zugeführt sind, werden darin in Abhängigkeit von einem Schreibfreigabesignal , das durch eine Komparatorschaltung erzeugt wird, die dem Z-Speicher 82 zugeordnet ist, gespeichert oder nicht gespeichert. Dieser Vergleich wird vor dem Schreiben ausgeführt, da sich die Daten, die in den X/Y- Speicher 81 eingeschrieben sind, auf das Ausgangs-Teilbild beziehen, das aus dem X/Y-Speicher 81 auszulesen ist, und demzufolge werden Daten, die versteckte Oberflächen betreffen, nicht eingeschrieben. Demzufolge prüft die Komparatorschaltung für jedes eingegebene Datenwort, das dem X/Y-Speicher 81 angeboten wird, die Daten, die in dem Z-Speicher 82 gehalten sind, in bezug auf die Abtastposition mit der Z-Adresse, die dem eingegebenen Datenwort entspricht, und das eingegebene Datenwort wird nur in den X/Y-Speicher 81 eingeschrieben, wenn die Z-Adresse angibt, daß sie näher an der Betrachtungsebene als irgendwelche Daten liegt, die bereits in den X/Y-Speicher 81 eingeschrieben sind, und mit der Abtastprobenposition übereinstimmt. Zu diesem Zweck werden alle X/Y-Speicherstellen in dem Z-Speicher 82 während des Vertikalaustastintervalls, das jedem Teilbild vorangeht, auf einen Null-Datenpegel gesetzt. Dieser Null-Datenpegel wird ausgewählt, damit er mit dem Wert von Z korrespondiert, der den Hintergrunddaten entspricht, welche bei der weitesten Distanz von der Betrachtungsebene liegen. Da all die Daten in den Z-Speicher 82 auf diese Weise vor jedem Teilbild rückgesetzt werden, ist ersichtlich, daß der Z-Speicher 82 gemeinsam für die Speicher 9' und 9", wie zuvor angegeben, angeordnet sein kann. Da die Komparatorschaltung einige Zeit benötigt, um den Vergleich zu bewirken, werden die X- u. Y-Adreßsignale dem X/Y-Speicher 81 mittels einer Verzögerungsschaltung 84 zugeführt oder werden alternativ dazu zwischengespeichert, um so verfügbar zu sein, falls und wenn das Schreibfreigabesignal geliefert wird.
Die Komparatorschaltung, die dem Z-Speicher 82 zugeordnet ist, wird nun im einzelnen anhand von Fig. 11 beschrieben.
Die X- und Y-Adreßsignale und außerdem die Z-Adreßsignale, die aus Gründen der Einfachheit im folgenden als Z-Daten bezeichnet sind, werden gemeinsam über einen vertikalen Bus 91 an eine Pufferschaltung 92 oder über einen horizontalen Bus 93 an eine Pufferschaltung 94 geliefert.
Den Pufferschaltungen 92 und 94 werden jeweils Vertikal- und Horizontalbus-Freigabesignale
zugeführt, und die Ausgänge der Pufferschaltungen 92 und 94 sind gemeinsam mit einer Verriegelungsschaltung 95, einer Verriegelungsschaltung 96 und einer Komparatorschaltung 97 verbunden. Ein Chip-Freigabesignal und ein Adressentaktsignal ADDRCLK werden der Verriegelungsschaltung 95 zugeführt, die Ausgangssignale an einen Freigabeeingang und den Adresseneingang eines Speichers mit wahlfreiem Zugriff (RAM) liefert, der den Z-Speicher 82 bildet. Die Verriegelungsschaltung 96 liefert ein Ausgangssignal an den Dateneingang des Z-Speichers 82, während ein Datenausgang des Z-Speichers 82 mit einem zweiten Eingang der Komparatorschaltung 97 verbunden ist. Ein Datenhalte-Freigabesignal wird der Verriegelungsschaltung 96 und der Komparatorschaltung 97 zugeführt, während das Schreibfreigabesignal durch die Komparatorschaltung 97 erzeugt wird und dem X/Y-Speicher 91 (Fig. 10) und außerdem einem Eingang einer OR-Schaltung 98 zugeführt wird. Einem zweiten Eingang der OR-Schaltung 98 wird ein Schreibfreigabeimpuls zugeführt, und das Ausgangssignal der OR-Schaltung 98 wird dem Schreibeingang des Z-Speichers 82 zugeführt.
Die Arbeitsweise wird nun auch anhand von Fig. 12 beschrieben, die ein Impuls/Zeit-Diagramm darstellt, das etwas mehr als eine Speicherzykluszeit angibt. Zu Anfang liefert eine der Pufferschaltungen 92 u. 94 die X- und Y-Adreßsignale, die dann in der Verriegelungsschaltung 95 gehalten werden. Danach werden die Z-Daten - oder genauer gesagt - die neuen Z-Daten, die sich auf diese Abtastprobenposition beziehen, durch die Pufferschaltung 92 oder 94 zugeführt, in der Verriegelungsschaltung 96 gehalten und außerdem an dem P-Eingang der Komparatorschaltung 97 gehalten.
Auf den Empfang des nächsten Adressentaktsignals ADDRCLK hin liefert die Verriegelungsschaltung 95 die X- und Y-Adreßsignale an den Z-Speicher 82, der nach einer Zugriffszeit die alten Z-Daten, die unter dieser Adresse gespeichert sind, an den Q-Eingang der Komparatorschaltung 97 liefert, wo sie in gleicher Weise gehalten werden. Die neuen und die alten Z-Daten werden dann durch die Komparatorschaltung 97 miteinander verglichen. Falls die neuen Z-Daten größer als die alten Z-Daten sind, d. h. falls die neuen Z-Daten, die sich auf diese Bildpunktadresse beziehen, eine Position in der Z-Richtung repräsentieren, die näher bei der Betrachterebene liegt, als entsprechend den alten Z-Daten (oder alternativ dazu, falls die ersten Eingangs-Z-Daten, die in bezug auf diese Bildpunktadresse in diesem Teilbild empfangen worden sind, in welchem Fall die neuen Z-Daten größer als die alten Z-Daten sein werden, weil die alten Z-Daten auf dem Null-Datenpegel liegen) liefert dann die Komparatorschaltung 97 das Schreibfreigabesignal .
Der Empfang des Schreibfreigabesignals durch den X/Y-Speicher 81 (Fig. 10) verursacht, daß die eingegebenen Abtastprobendaten, die sich auf diese X/Y-Position beziehen, an der passenden Stelle in den X/Y-Speicher 81 eingeschrieben werden oder überschrieben werden. Zusätzlich wird indessen dann, falls das Schreibfreigabesignal an dem ersten Eingang der OR-Schaltung 98 zu der Zeit des Schreibimpulses vorliegt, der Schreibimpuls dem Schreibeingang des Z-Speichers 82 zugeführt, und die neuen Z-Daten werden an der passenden X/Y-Stelle in dem Z-Speicher 82 überschrieben.
Aus der vorhergehenden Beschreibung ist ersichtlich, daß Ausführungsbeispiele der Erfindung benutzt werden können, um Bilder für Trickszenen in Video- oder Kinofilmen zu erzeugen. Abhängig von den Eingangsdaten, die benutzt werden, kann der Inhalt von im wesentlichen Realismus bis zur komplexen Science-fiction-Szene reichen. Solche Ausführungsbeispiele können in einigen Fällen Echtzeitbewegung und Echtzeitsteuerungen der Bewegungen von Objekten in drei Dimensionen, beispielsweise zur Benutzung in Flugsimulatoren oder anderen Echtzeitdarstellungen, wie in einem Video-Spiel, erzeugen. Eine Oberflächen-Besonderheit kann auf komplexen Formen leicht vorgesehen werden, und es kann ein großer Bereich von Objektformen und Oberflächen-Besonderheiten zur Auswahl und zur Benutzung gespeichert werden. Hintergrundbilder können leicht eingefügt werden und können aus sich bewegenden oder Live- Videos abgeleitet werden, und falls erforderlich, können unterschiedliche Auflösungen für die erzeugten Bildern von Objekten und dem Hintergrund benutzt werden.
Es ist ersichtlich, daß zahlreiche Variationen der genauen Ausführungsform der Vorrichtung, in den Bildern, die erzeugt werden, und bei den Effekten, die erzielt werden, vorgenommen werden können, ohne sich von dem Schutzumfang der Ansprüche zu entfernen.

Claims

1. Verfahren zum Erzeugen eines Bildes, welches Verfahren Schritte umfaßt zum

Speichern von Adreßdaten, die die dreidimensionale Form eines Objekts definieren,

Speichern von Videodaten, die die zweidimensionalen Oberflächen-Besonderheiten des Objekts definieren,

Manipulieren der Adreßdaten, um die Orientierung des Objekts im Raum zu bewegen und/oder zu ändern,

Perspektiv-Transformieren der manipulierten Adreßdaten, um transformierte Adreßdaten zu bilden, die ein zweidimensionales Bild des Objekts nach der Manipulation definieren, und

Benutzen der transformiertn Adreßdaten, um das Einschreiben der Videodaten in der Form von Ausgangs-Videodaten, die ein zweidimensionales Bild des Objekts nach der Manipulation und der Transformation definieren, und mit den Oberflächen-Besonderheiten in einem Speicher zu steuern.

2. Verfahren nach Anspruch 1, bei dem die Ausgangs-Videodaten in Echtzeit erzeugt werden, um eine Folge von Bildern für eine unmittelbare bewegte Darstellung zu bilden.

3. Verfahren nach Anspruch 1, bei dem die Ausgangs-Videodaten auf einem Videoband oder einer Videoplatte oder einem Film zur nachfolgenden Darstellung gespeichert werden.

4. Vorrichtung zum Erzeugen eines Bildes, welche Vorrichtung umfaßt:

einen ersten Speicher (1) zum Speichern von Adreßdaten, die die dreidimensionale Form eines Objekts definieren,

einen zweiten Speicher (2) zum Speichern von Videodaten, die die zweidimensionalen Oberflächen-Besonderheiten des Objekts defninieren,

ein erstes Mittel (7) zum Manipulieren der Adreßdaten, um die Orientierung des Objekts im Raum zu bewegen und/oder zu ändern,

ein zweites Mittel (8) zum Perspektiv-Transformieren der manipulierten Adreßdaten, um transformierte Adreßdaten zu bilden, die ein zweidimensionales Bild des Objekts nach der Manipulation definieren, und

einen dritten Speicher (9), in den die Videodaten unter Steuerung mittels der transformierten Adreßdaten in der Form der Ausgangs-Videodaten, die ein zweidimensionales Bild des Objekts nach der Manipulation und nach der Transformation definieren, und mit den Oberflächen-Besonderheiten eingeschrieben werden.

5. Vorrichtung nach Anspruch 4, die ferner eine Anzeigeeinrichtung (11) umfaßt und bei der die Ausgangs-Videodaten in Echtzeit erzeugt werden, um eine Folge von Bildern für eine unmittelbare bewegte Darstellung auf dem Bildschirm der Anzeigeeinrichtung zu bilden.

6. Vorrichtun nach Anspruch 4, die ferner einen vierten Speicher (12) umfaßt, der aus einem Videoband oder einer Videoplatte oder einem Film besteht und dem die Ausgangs-Videodaten zur Speicherung der nachfolgenden Darstellung zugeführt werden.

7. Vorrichtung nach Anspruch 4, 5 oder 6, bei der das erste Mittel (7) eine oder mehrere lineare Manipulationen der Adreßdaten bewirkt und wobei das erste Mittel (7) umfaßt:

einen Mikroprozessor (50), der einen Speicher (51) enthält, in dem eine betreffende n x m - Matrix entsprechend jeder der linearen Manipulationen gespeichert wird,

ein Mittel zum Liefern von Auswahl-Eingangssignalen an den Mikroprozessor (50), um den Mikroprozessor (50) derart, daß er die Matrix auswählt, oder für einen optischen Effekt, der eine Kombination von zwei oder mehr der linearen Manipulationen beinhaltet, wobei die Matrizen dem optischen Effekt entsprechen, zu steuern, um in die Matrix oder in die Matrizen die betreffenden Parameter des optischen Effekts für einen optischen Effekt, der eine Kombination von zwei oder mehr der linearen Manipulationen beinhaltet, einzusetzen, um die substituierten Matrizen miteinander zu multiplizieren und um aus der sich ergebenden Matrix die Koeffizienten abzuleiten, die erforderlich sind, um aus Eingangs-Bildpunktsadressen der Adreßdaten die Ausgangs-Bildpunktadressen entsprechend dem optischen Effekt zu berechnen, und

eine Hardware-Matrixschaltung (Fig. 9), der die Koeffizienten und Signale zugeführt werden, die die Koordinaten der Eingangs-Bildpunktadressen repräsentieren, und die wirksam ist, um daraus die Ausgangs-Bildpunktadressen entsprechend dem optischen Effekt abzuleiten.

8. Vorrichtung nach Anspruch 7, bei der der optische Effekt ein zweidimensionaler Effekt ist, n = 3 ist und die lineare Manipulation jede beliebige oder mehrere Operationen, wie Versetzen, Verändern der Größe und Rollen des Objekts, beinhaltet.

9. Vorrichtung nach Anspruch 7, bei der der optische Effekt ein dreidimensionaler Effekt ist, n = 4 ist und die lineare Manipulation jede beliebige oder mehrere Operationen, wie Versetzen, Verändern der Größe, Rollen, Nickenlassen und seitliches Abweichenlassen des Objekts, beinhaltet.

10. Vorrichtung nach einem der Ansprüche 4 bis 9, bei der die transformierten Adreßdaten, die dem zweiten Speicher (8) zugeführt werden, aus Daten, die sich auf Bildpunktadressen in einem Video-Teilbild beziehen, und in Zuordnung mit den Adreßdaten für jeden Bildpunkt aus zugeordneten Z-Daten, die die sichtbare Position des Bildpunkts in einer Richtung senkrecht zu einer Video-Darstellung des Video-Teilbildes angeben, bestehen und bei der der dritte Speicher (9) umfaßt:

ein erstes Speichermittel (81) zum Speichern der Videodaten, die sich auf jeden Bildpunkt in dem Video-Teilbild beziehen,

ein zweites Speichermittel (82) zum Speichern der Z-Daten, die sich auf jeden der Bildpunkte in dem Video-Teilbild beziehen,

ein Mittel zum Vergleichen des Werts der eingegebenen Z-Daten mit den Z-Daten für denjenigen Bildpunkt, der in dem zweiten Speichermittel (82) gespeichert ist, für jeden Bildpunkt in dem Video-Teilbild und zum Liefern eines Einschreib- Freigabesignals nur dann, wenn der Wert der eingegebenen Z-Daten einen Bildpunkt vor demjenigen repräsentiert, der durch die gespeicherten Z-Daten repräsentiert ist, und

ein Mittel zum Einschreiben oder Überschreiben der Videodaten in das oder in dem ersten Speichermittel (81) und zum Überschreiben der neuen Z-Daten in dem zweiten Speichermittel (82) unter Steuerung des Einschreib-Freigabesignals.

11. Vorrichtung nach Anspruch 10, bei der Z-Daten, die in dem zweiten Speichermittel (82) gespeichert sind, alle während des Vertikal-Austastintervalls zwischen allen der Video-Teilbilder rückgestellt werden.

12. Vorrichtung nach Anspruch 10 oder 11, bei der das erste Speichermittel (81) ein Paar von Speichern umfaßt, in die oder aus denen abwechselnd in sich abwechselnden Video-Teilbildern eingeschrieben und ausgelesen wird.

13. Vorrichtung nach einem der Ansprüche 4 bis 12, die ferner ein Mittel (16) umfaßt, um dem dritten Speicher (9) Hintergrund-Videodaten zum Einfügen in die Ausgangs-Videodaten zu liefern, um einen unbewegten oder sich bewegenden Hintergrund für das Bild des Objekts zu bilden.