DE60033589T2

DE60033589T2 - Bildverarbeitung

Info

Publication number: DE60033589T2
Application number: DE60033589T
Authority: DE
Inventors: Yoshikazu Kurose
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-02-05
Filing date: 2000-01-28
Publication date: 2007-10-31
Anticipated expiration: 2020-01-29
Also published as: EP1026636A3; DE60033589D1; JP4707782B2; CA2298081C; JP2000228779A; EP1026636A2; CA2298081A1; US6441818B1; EP1026636B1

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein Bildverarbeitungsgerät und ein Bildverarbeitungsverfahren.
2. Beschreibung des Standes der Technik
Computergraphiken werden häufig in verschiedenartigen computerunterstützten Entwurfssystemen (CAD-Systemen) und in Unterhaltungsmaschinen benutzt. Im Zusammenhang mit den jüngsten Fortschritten auf dem Gebiet der Bildverarbeitungsverfahren findet insbesondere eine rasche Verbreitung von Systemen statt, die dreidimensionale Computergraphiken benutzen.
In dreidimensionalen Computergraphiken wird der Farbwert jedes Pixels berechnet, wenn die Farbe des entsprechenden Pixels festgelegt wird. Dann findet ein Rendern statt, um den berechneten Wert an einer dem Pixel entsprechenden Adresse eines Anzeigepuffers (Rahmenpuffers) einzuschreiben.
Eine der Renderingmethoden ist das Polygonrendering. Bei diesem Methode wird ein dreidimensionales Modell als Kombination von dreieckigen Einheitsgraphiken (Polygonen) ausgedrückt. Durch das Zeichnen der Polygone als Einheiten werden die Farben der Pixel des Anzeigebildschirms festgelegt.
Bei dreidimensionalen Computergraphiken erfolgt auch eine Verarbeitung von verdeckten Ebenen, wobei ein z-Pufferspeicher benutzt wird.
Beim Zusammensetzen von ersten Bilddaten (Farbdaten), die bereits in einem Anzeigepufferspeicher gespeichert sind, und zweiten Bilddaten, die einer Graphikverarbeitung unterzogen werden, wird geprüft, ob ein den zweiten Bilddaten entsprechendes Bild näher an dem Betrachtungspunkt liegt als ein den ersten Bilddaten entsprechendes Bild, indem erste z-Daten, die in dem z-Pufferspeicher gespeichert sind, und zweite z-Daten, die den zweiten Bilddaten entsprechen, miteinander verglichen werden. Wenn dann festgestellt wird, daß es sich in einer näheren Position befindet, werden die ersten z-Daten, die in dem z-Pufferspeicher gespeichert sind, durch die zweiten z-Daten aktualisiert, während die in einem Anzeigepufferspeicher gespeicherten ersten Bilddaten durch die zweiten Bilddaten aktualisiert werden.
Die Bilddaten werden dann aus dem Anzeigepufferspeicher ausgelesen und einer Anzeigevorrichtung, z.B. einer Kathodenstrahlröhre (CRT), zugeführt.
Es trat die Forderung auf, ein Videosignal, das durch die Aufnahme eines natürlichen Objekts mit Hilfe eines Bildaufnahmegeräts, wie einer Videokamera, gewonnen wird, mit einem dreidimensionalen Computergraphiksystem zu verarbeiten.
Da ein Videosignal jedoch keine z-Daten enthält, tritt das Problem auf, daß das Eingangsvideosignal nicht in der gleichen Weise behandelt werden kann, wie ein Bildsignal, das durch normale Graphikverarbeitung gewonnen wird, wenn man das durch ein Bildaufnahmegerät aufgenommenes Videosignal einfach in ein dreidimensionales Computergraphiksystem eingibt. So hat ein Videosignal z.B. den Nachteil, daß eine Verarbeitung verdeckter Ebenen usw. nicht möglich ist.
Die Literaturstelle IKEDO T ET AL: "Multimedia processor architecture", MULTIMEDIA COMPUTING AND SYSTEMS, 1998, PROCEEDINGS IEEE INTERNATIONAL CONFERENCE ON AUSTIN, TX, USA, 28. Juni bis 1. Juli 1998, LOS ALAMITOS, CA, USA, IEEE COMPUT. SOC, US, 28. Juni 1998 (1998-06-228), Seiten 316-325, XP010291568 ISBN: 0-8186-8557-3 betrifft eine Multimedia-Prozessorarchitektur. Es ist ein Graphik-Renderer vorgesehen, der einen Pixel-Cache und einen Z-Wert-Cache enthält. Es sind separate Rahmenpuffer mit einem Interface zu dem Pixel-Cache vorgesehen. Es sind ferher Vorkehrungen für die Videoerfassung und -abbildung getroffen. Bitblock-Transferfunktionen (Bitblt-Funktionen), die entweder in einem x-y-Format oder in einem z-Format vorliegen können, werden unterstützt. Für die Videoerfassung wird ein Bild bis zu 2K × 2K erfaßt und in dem Rahmenpuffer als Textur-Abbildungsmuster gespeichert. Das Bild bis zu 2K × 2K als Textur-Abbildungsmuster kann einer Bildverarbeitung unterzogen werden, wobei Faltungsmodule benutzt werden. Die Faltungsmodule halten das Textur-Abbildungsmuster für die Faltung gemeinsam. Zusätzlich können separat entfernungsabhängige Funktionen für die Benutzung während der Faltung definiert werden.
JP-A-08153213 offenbart ein Verfahren und ein Gerät zur Anfertigung und zum Anzeigen eines stereoskopischen und realistischen Bewegtbilds durch Zusammensetzen eines dreidimensionalen, computergenerierten Datensatzes mit einem zweidimensionalen photographischen Bewegtbild. Es wird ein Gerät benutzt, um das photographierte Bewegtbild, einen Betrachtungspunkt, eine 3D-Information eines photographierten Objekts in dem photographischen Bild und CG-Daten zu speichern. Teile der CG-Daten können dann durch das photographierte Bild substituiert werden.
ZUSAMMENFASSUNG DER ERFINDUNG
Ein Ausführungsbeispiel der vorliegenden Erfindung zielt darauf ab, ein Bildverarbeitungsgerät und -verfahren zur Verfügung zu stellen, die eine graphische Verarbeitung, wie die Verarbeitung verdeckter Ebenen, an einem Videosignal durchführen können, das mit einer Videokamera oder dgl. gewonnen wird.
Ein Ausführungsbeispiel hat sich das Ziel gesetzt, ein Bildverarbeitungsgerät und -verfahren zur Verfügung zu stellen, die eine vielfältige graphische Verarbeitung ermöglichen, wobei ein von einem Bildaufnahmegerät aufgenommenes Videosignal benutzt wird.
Ein Bildverarbeitungsgerät nach einem Aspekt der vorliegenden Erfindung ist in Anspruch 1 angegeben.
Hiermit wird es möglich, die in dem Anzeigepuffer gespeicherten zweiten Bilddaten in der gleichen Weise zu behandeln, wie die ersten Bilddaten, die einer normalen dreidimensionalen Graphikverarbeitung unterzogen werden, indem zweite Tiefendaten benutzt werden, die in dem z-Puffer des Bildverarbeitungsgeräts gespeichert sind.
Ein Ausführungsbeispiel des Bildverarbeitungsgeräts gemäß der vorliegenden Erfindung besitzt vorzugsweise eine Schreibschaltung, die abwechselnd einen die zweiten Bilddaten enthaltenden Rahmen und einen die zweiten Tiefendaten enthaltenden Rahmen als das genannte Videoeingangssignal aufnimmt, dann den die zweiten Bilddaten enthaltenden Rahmen in den Anzeigepuffer schreibt und den die zweiten Tiefendaten enthaltenden Rahmen in den z-Puffer schreibt.
Alternativ besitzt ein Ausführungsbeispiel des Bildverarbeitungsgeräts gemäß vorliegender Erfindung vorzugsweise eine Schreibschaltung, die abwechselnd eine die zweiten Bilddaten bildende Zeile und eine die zweiten Tiefendaten bildende Zeile als das genannte Videoeingangssignal aufnimmt, die Zeile, die die zweiten Bilddaten bildet, in den Anzeigepuffer schreibt und die Zeile, die die zweiten Tiefendaten bildet, in den z-Puffer schreibt.
Alternativ besitzt ein Ausführungsbeispiel des Bildverarbeitungsgeräts gemäß vorliegender Erfindung vorzugsweise eine Schreibschaltung, die sukzessiv eine Mehrzahl von Datenblöcken, die die zweiten Bilddaten bzw. die zweiten Tiefendaten für jedes Pixel enthalten, als das genannte Videoeingangssignal aufnimmt und jedesmal, wenn die Mehrzahl von Datenblöcken eingegeben wird, die in dem Eingangsdatenblock enthaltenen zweiten Bilddaten in den Anzeigepuffer schreibt und die beiden Tiefendaten in den z-Puffer schreibt.
Alternativ besitzt ein Ausführungsbeispiel des Bildverarbeitungsgeräts gemäß vorliegender Erfindung eine Schreibschaltung, die als Eingangssignal dritte Bilddaten aufnimmt, die dritte Tiefendaten enthalten, wobei die dritten Bilddaten durch Chroma-Key-Komposition der zweiten Tiefendaten mit den zweiten Bilddaten unter Verwendung vorbestimmter Farbdaten gewonnen werden, die aus den zweiten Bilddaten extrahiert werden können, und wobei die Schreibschaltung die zweiten Bilddaten aus den dritten Bilddaten extrahiert, die extrahierten Bilddaten in den Anzeigepuffer schreibt, die zweiten Tiefendaten aus den dritten Bilddaten extrahiert und die extrahierten Tiefendaten in den z-Puffer schreibt.
Alternativ besitzt ein Ausführungsbeispiel des Bildverarbeitungsgeräts gemäß vorliegender Erfindung eine Schreibschaltung, die die zweiten Bilddaten und die zweiten Tiefendaten in den Anzeigepuffer schreibt, die zweiten Tiefendaten aus dem Anzeigepuffer ausliest und sie in den z-Puffer schreibt.
Alternativ besitzt ein Ausführungsbeispiel des Bildverarbeitungsgeräts gemäß vorliegender Erfindung eine Schreibschaltung, die die zweiten Bilddaten und die zweiten Tiefendaten in den z-Puffer schreibt und die zweiten Bilddaten aus dem z-Puffer ausliest und in den Anzeigepuffer schreibt.
Ein Bildverarbeitungsverfahren nach einem anderen Aspekt der vorliegenden Erfindung ist in Anspruch 10 angegeben.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Zum besseren Verständnis der vorliegenden Erfindung werden im folgenden unter Bezugnahme auf die anliegenden Zeichnungen illustrative Ausführungsbeispiele beschrieben.
1 zeigt eine Ansicht der Systemkonfiguration eines dreidimensionalen Computergraphiksystems nach einem ersten Ausführungsbeispiel der Erfindung,
2 zeigt eine Ansicht zur Erläuterung von Rahmendaten, die von einem Videosignalgenerator in dem dreidimensionalen Computergraphiksystem von 1 ausgegeben werden,
3 zeigt ein Flußdiagramm zur Erläuterung der Verarbeitung in einer in 1 dargestellten Speicher-Interfaceschaltung,
4 zeigt eine Systemkonfiguration eines dreidimensionalen Computergraphiksystems nach einem zweiten Ausführungsbeispiel der Erfindung,
5A und 5B zeigen Ansichten zur Erläuterung von Zeilendaten, die von einem Videosignalgenerator in dem in 4 dargestellten dreidimensionalen Computergraphiksystem ausgegeben werden,
6 zeigt ein Flußdiagramm zur Erläuterung der Bearbeitung in der in 4 dargestellten Speicher-Interfaceschaltung,
7 zeigt eine Ansicht der Systemkonfiguration eines dreidimensionalen Computergraphiksystems nach einem dritten Ausführungsbeispiel der Erfindung,
8 zeigt eine Ansicht zur Erläuterung von Bilddaten und z-Daten, die von einem Videosignalgenerator in dem in 7 dargestellten dreidimensionalen Computergraphiksystem ausgegeben werden,
9 zeigt eine Ansicht zur Erläuterung eines anderen Beispiels von Bilddaten und z-Daten, die von dem Videosignalgenerator in dem in 7 dargestellten dreidimensionalen Computergraphiksystem ausgegeben werden,
10 zeigt ein Flußdiagramm zur Erläuterung der Verarbeitung in der in 1 dargestellten Speicher-Interfaceschaltung in dem dreidimensionalen Computergraphiksystem nach einem vierten Ausführungsbeispiel der Erfindung.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
Erstes Ausführungsbeispiel
Im folgenden wird in dem vorliegenden illustrativen Ausführungsbeispiel ein Fall erläutert, bei dem die vorliegende Erfindung auf ein dreidimensionales Computergraphiksystem angewendet wird, um ein gewünschtes dreidimensionales Bild eines beliebigen dreidimensionalen Objekts als Modell mit hoher Geschwindigkeit auf einer Anzeigevorrichtung, wie einer Kathodenstrahlröhre (CRT), anzuzeigen.
1 zeigt die Systemkonfiguration eines dreidimensionalen Computergraphiksystems 1 nach dem vorliegenden Ausführungsbeispiel.
In dem dreidimensionalen Computergraphiksystem 1 wird ein dreidimensionales Modell als Kombination von dreieckigen Einheitsgrafiken (Polygonen) ausgedrückt. Durch das Zeichnen der Polygone kann das System die Farbe der einzelnen Pixel auf dem Anzeigebildschirm festlegen und das Polygon-Rendern für die Anzeige auf dem Bildschirm durchführen.
In dem dreidimensionalen Computergraphiksystem 1 wird ein dreidimensionales Objekt ausgedrückt, indem zusätzlich zu den (x-, y)-Koordinaten für die Angabe der Positionen in einer zweidimensionalen Ebene eine z-Koordinate zur Angabe der Tiefe benutzt wird. Mit den drei Koordinaten (x, y, z) läßt sich jeder beliebige Punkt des dreidimensionalen Raums ausdrücken.
Wie 1 zeigt, besitzt des dreidimensionale Computergraphiksystem 1 einen Hauptspeicher 2, eine I/O-Interfaceschaltung 3, einen Hauptprozessor 4 und eine Renderingschaltung 5, die über einen Hauptbus 6 miteinander verbunden sind.
Das dreidimensionale Computergraphiksystem 1 umfaßt außerdem einen Videosignalgenerator 30 und eine Kathodenstrahlrähre CRT 31.
Im folgenden werden die Funktionen der einzelnen Komponenten erläutert.
(Hauptprozessor 4)
Der Hauptprozessor 4 erzeugt z.B. im Zusammenhang mit der Ausführung eines Programms ein Steuersignal, um die Komponenten in der Renderingschaltung 5 zu steuern und gibt dieses Steuersignal über den Hauptbus 6 an die Renderingschaltung 5 aus.
Wenn der Hauptprozessor 4 eine vorbestimmte Instruktion in einem Programm ausführt, liest er die benötigten Graphikdaten aus dem Hauptspeicher 2 aus, führt an diesen Graphikdaten das Beschneiden, Beleuchten, die geometrische Verarbeitung usw. durch und erzeugt Polygon-Renderingdaten. Der Hauptprozessor 4 gibt die Polygon-Renderingdaten S4a über den Hauptbus 6 an die Renderingschaltung 5 aus.
Die Polygon-Renderingdaten umfassen hier Daten aller drei Scheitelpunkte (x, y, z, R, G, B, α, s, t, q, F) des Polygons.
Die (x-, y-, z)-Daten bezeichnen hier die dreidimensionalen Koordinaten eines Scheitelpunkts des Polygons, während die (R-, G-, B)-Daten die Luminanzwerte von Rot, Grün und Blau an den dreidimensionalen Koordinaten bezeichnen.
Die Daten α bezeichnen einen Koeffizienten zum Mischen der R-, G-, B-Daten eines zu zeichnenden Pixels mit denjenigen eines in dem Anzeigepuffer 21 bereits gespeicherten Pixels.
Von den (s-, t-, q)-Daten bezeichnen die Daten (s, t) homogene Koordinaten einer entsprechenden Textur, und q bezeichnet den homogenen Term. Die Texturgröße USIZE und VSIZE werden mit "s/q" bzw. "t/q" multipliziert, um Koordinatendaten (u, v) der Textur zu gewin nen. Die Texturkoordinatendaten (u, v) werden benutzt, um auf die in dem Texturpufferspeicher 20 gespeicherten Texturdaten zuzugreifen.
Die Texturdaten bedeuten hier Daten, die ein Oberflächenmuster eines Objekts angeben, das dreidimensionalen angezeigt werden soll.
Die F-Daten bezeichnen einen α-Wert für Nebel.
Das heißt, die Polygon-Renderingdaten bezeichnen physikalische Koordinatenwerte der Scheitelpunkte eines Dreiecks (Einheitsgraphik) und Farbwerte der Scheitelpunkte, ferner die Textur und Nebel.
(I/O-Interfaceschaltung 3)
Die I/O-Interfaceschaltung 3 nimmt bedarfsweise als Eingangssignal die Polygon-Renderingdaten von außen auf und gibt diese über den Hauptbus 6 an die Renderingschaltungen aus.
(Videosignalgenerator 30)
Der Videosignalgenerator 30 erzeugt Rahmendaten 100, indem er zu einem Videosignal eines natürlichen Bilds usw., das von einem Bildaufnahmegerät, wie einer Videokamera, aufgenommen wird, z-Daten hinzufügt, wobei n eine ganze Zahl 1 oder größer ist, und gibt die Rahmendaten 100_n an eine Speicher-Interfaceschaltung 13 aus, indem sie sie mit einem (vertikalen) Rahmen-Synchronisiersignal Fsync synchronisiert.
Wie 2 zeigt, bezeichnen Rahmendaten 100_2k-1 mit n als einer ungeraden Zahl Bilddaten, während Rahmendaten 100_2k mit n als einer geraden Zahl z-Daten (Tiefendaten) des durch die Rahmendaten 100_2k-1 anzeigten Bilds bezeichnen.
Dabei kann z.B. durch die Ausgabe der Rahmendaten 100 von 60 Rahmen an die Speicher-Interfaceschaltung 13 der Renderingschaltung 5 ein Videosignal zugeführt werden, dessen z-Daten den Wert von 30 Rahmen haben.
(Renderingschaltung 5)
Im folgenden wird die Renderingschaltung 5 näher erläutert.
Wie 1 zeigt, umfaßt die Renderingschaltung 5 eine Schaltung 10 zum Einrichten eines digitalen Differentialanalysierers (DDA-Setup-Schaltung), ferner eine Dreieck-DDA-Schaltung 11, eine Texturmaschinenschaltung 12 (Bildverarbeitungsschaltung), eine Speicher-Interfaceschaltung 13 (Schreibschaltung), eine CRT-Steuerschaltung 14, eine RAMDAC-Schaltung 15, ein DRAM 16 und ein SRAM 17, die auf der Basis von Steuersignalen aus dem Hauptprozessor 4 arbeiten.
Das DRAM 16 fungiert als Texturpufferspeicher 20, Anzeigepufferspeicher 21 (erster Speicher), z-Pufferspeicher 22 (zweiter Speicher) und Textur-CLUT-Pufferspeicher 23. Der Rahmenpufferspeicher wird z.B. für den Anzeigepufferspeicher 21 benutzt.
(DDA-Setup-Schaltung 10)
Die DDA-Setup-Schaltung 10 unterzieht die Werte der Scheitelpunkte eines Dreiecks in den physikalischen Koordinaten in der Dreieck-DDA-Schaltung 11 in ihrem letzten Teil einer linearen Interpolation. Bevor die DDA-Setup-Schaltung 10 eine Information über die Farbe und die Tiefe der betreffenden Pixel innerhalb des Dreiecks erhält, führt sie eine Setup-Operation aus, um die Seiten des Dreiecks und die Differenz in horizontaler Richtung für die Daten (z, R, G, B, α, s, t, q, F) zu gewinnen, die durch die Polygon-Renderingdaten S4a angegeben werden.
Diese Setup-Operation benutzt Werte ces Startpunkts und des Endpunkts sowie den Abstand zwischen den zwei Punkten, um die Änderung des Werts zu berechnen und die Bewegung für eine Einheitslänge zu ermitteln.
Die DDA-Setup-Schaltung 10 gibt die berechneten Änderungsdaten S10 an die Dreieck-DDA-Schaltung 11 aus.
(Dreieck-DDA-Schaltung 11)
Die Dreieck-DDA-Schaltung 11 benutzt die von der DDA-Setup-Schaltung 10 zugeführten Änderungsdaten, um nach der linearen Interpolation jedes Pixels innerhalb des Dreiecks die Daten (z, R, G, B, α, s, t, q, F) zu berechnen.
Die Dreieck-DDA-Schaltung 11 gibt die Daten (x, y) für jedes Pixel und die Daten (z, R, G, B, α, s, t, q, F) an den Koordinaten (x, y) als DDA-Daten (Interpolationsdaten) S11 an die Texturmaschinenschaltung 12 aus.
In dem vorliegenden Ausführungsbeispiel gibt die Dreieck-DDA-Schaltung 11 die DDA-Daten S11 von 8 (= 2×4) Pixeln aus, die innerhalb eines Blocks liegen, der in der Texturmaschinenschaltung 12 parallel verarbeitet wird.
(Texturmaschinenschaltung 12)
Die Texturmaschinenschaltung 12 führt die Berechnung von "s/q" und "t/q", die Berechnung der Texturkoordinatendaten (u, v), das Auslesen der Daten (R, G, B, a) aus dem Texturpufferspeicher 20 und das α-Mischen (Textur-α-Mischen) sukzessiv in einem Pipeline-Format aus.
Es ist zu beachten, daß die Texturmaschinenschaltung 12 die Verarbeitung an den acht Pixeln, die innerhalb eines vorbestimmten Blocks liegen, simultan parallel ausführt.
Die Texturmaschinenschaltung 12 unterzieht die durch die DDA-Daten S11 bezeichneten Daten (s, t, q) einer Rechenoperation, um die Daten s durch die Daten q zu Teilen, sowie eine Operation, um die Daten t durch die Daten q zu teilen.
Die Texturmaschinenschaltung 12 multipliziert außerdem die Texturgrößen USIZE und VSIZE mit den Ergebnissen der Division "s/q" und "t/q", um die Texturkoordinatendaten (u, v) zu erzeugen.
Die Texturmaschinenschaltung 12 gibt über die Speicher-Interfaceschaltung 13 an das SRAM 17 oder das DRAM 16 eine Leseanforderung aus, die die erzeugten Texturkoordinatendaten (u, v) enthält, und erhält über die Speicher-Interfaceschaltung 13 die Daten S17 (R, G, B, α) als Texturdaten, die aus der durch die Texturkoordinatendaten (u, v) spezifizierten Adresse in dem SRAM 17 ausgelesen werden.
In dem Texturpufferspeicher 20 sind hier Texturdaten gespeichert, die mehreren MIPMAP-Reduktionsraten (Texturen für mehrere Auflösungen) entsprechen, und in dem SRAM 17 ist eine Kopie der in dem Texturpufferspeicher 20 gespeicherten Texturdaten gespeichert.
Indem in dem vorliegenden Ausführungsbeispiel die Texturkoordinaten (u, v) in der oben beschriebenen Weise erzeugt werden, können Texturdaten einer gewünschten Reduktionsrate aus dem SRAM 17 in Einheiten von Dreiecken als Einheitsgraphiken ausgelesen werden.
Die Texturmaschinenschaltung 12 erzeugt Pixeldaten S12 durch Mischen der Daten (R, G, B) in den Lesedaten S17 (R, G, B, α) und der Daten (R, G, B), die in den DDA-Daten S11 aus der Dreieck-DDA-Schaltung 11 in der vorangehenden Stufe enthalten sind, in dem Verhältnis, das durch die α-Daten (Textur α) gegeben ist, die in den Daten S17 (R, G, B, α) enthalten sind.
Die Texturmaschinenschaltung 12 gibt die Pixeldaten S12 an die Speicher-Interfaceschaltung 13 aus.
Im Vollfarbmodus benutzt die Texturmaschinenschaltung 12 die aus dem Texturpufferspeicher 20 ausgelesenen Daten (R, G, B, α) direkt. Im Indexfarbmodus liest die Texturmaschinenschaltung 12 eine vorbereitend angefertigte Farbtabelle (CLUT) aus dem Textur-CLUT-Pufferspeicher 23 aus, transferiert und speichert dieselbe in dem eingebauten SRAM und benutzt die Farbtabelle, um die Daten (R, G, B) zu gewinnen, die dem aus dem Texturpufferspeicher 20 ausgelesenen Farbindex entsprechen.
(Speicher-Interfaceschaltung 13)
Die Speicher-Interfaceschaltung 13 liefert Anzeigedaten S21 an die CRT-Steuerschaltung 14, die aus dem Anzeigepufferspeicher 31 ausgelesen werden, wenn auf einer Kathodenstrahlröhre 31 angezeigt wird.
Die Speicher-Interfaceschaltung 13 vergleicht außerdem die z-Daten, die den aus der Texturmaschinenschaltung 12 zugeführten Pixeldaten S12 entsprechen, mit den in dem z-Pufferspeicher 22 gespeicherten z-Daten und prüft, ob das von den zugeführten Pixel(Bild)-Daten S12 gezeichnete Bild näher an dem Betrachtungspunkt liegt, als das in dem Anzeigepufferspeicher 21 gespeicherte Bild. Wenn sich zeigt, daß das von den zugeführten Pixeldaten S12 gezeichnete Bild näher liegt, aktualisiert die Speicher-Interfaceschaltung 13 die in dem z-Pufferspeicher 22 gespeicherten z-Daten durch die den Pixeldaten S12 entsprechenden z-Daten und aktualisiert die Pixeldaten in dem Anzeigepufferspeicher 21 durch die Pixeldaten S12.
Außerdem mischt die Speicher-Interfaceschaltung 13 nach Bedarf die in den Bilddaten S12 enthaltenen Daten (R, G, B) und die bereits in dem Anzeigepufferspeicher 21 gespeicherten Daten (R, G, B) in dem Mischungsverhältnis, das durch die den Pixeldaten S12 entsprechenden α-Daten gekennzeichnet ist, d.h. α-Mischung. Nach dem Mischen schreibt die Speicher-Interfaceschaltung 13 dann die Daten (R, G, B) als Anzeigedaten in den Anzeigepufferspeicher 21.
Es ist zu beachten, daß die Speicher-Interfaceschaltung 13 auf das DRAM 16 simultan für Daten mit einem Wert von 16 Pixeln zugreift.
Wenn in dem von dem Videosignalgenerator 30 zugeführten Rahmen-Synchronisiersignal Fsync ein Impuls detektiert wird, prüft die Speicher-Interfaceschaltung 13, ob die zugeführten Rahmendaten 100n als ungeradzahlige Zahl eintreffen, wie dies in 3 (Schritt S2) dargestellt ist. Wenn festgestellt wird, daß es eine ungerade Zahl ist, schreibt die Speicher-Interfaceschaltung 13 Rahmendaten 100_2k-1 mit n als einer ungeraden Zahl, die Bilddaten bezeichnen, in den Anzeigepufferspeicher 21 des DRAMs 16 in einem Datenformat, das in dem Speicher 21 definiert ist (Schritt S3). Wenn hingegen festgestellt wird, daß die Zahl nicht ungerade ist (Schritt S4), schreibt sie Rahmendaten 100_2k mit n als einer geraden Zahl in den z-Pufferspeicher 22 in dem in dem Speicher 22 definierten Format ein, die z-Daten bezeichnen.
Als Ergebnis werden die Rahmendaten 100_2k-1 , die die Bilddaten angeben, anschließend durch die normale Graphikverarbeitung in der gleichen Weise behandelt, wie die in den Anzeigepufferspeicher 21 eingeschriebenen Pixeldaten. Das heißt, an den aus einem Videosignal entnommenen Bilddaten werden die Verarbeitung verdeckter Ebenen, bei der die z-Daten benutzt werden, die α-Mischverarbeitung und die Chroma-Key-Verarbeitung durchgeführt.
(CRT-Steuerschaltung 14)
Die CRT-Steuerschaltung 14 erzeugt eine Adresse für die Anzeige auf einer nicht dargestellten Kathodenstrahlröhre (CRT) 31 und gibt an die Speicher-Interfaceschaltung 13 die Anforderung aus, die an der Adresse gespeicherten Anzeigedaten aus dem Anzeigepufferspeicher 21 auszulesen. Als Reaktion auf diese Anforderung liest die Speicher-Interfaceschaltung 13 eine gewisse Menge der Anzeigedaten aus dem Anzeigepufferspeicher 21 aus.
Die CRT-Steuerung 14 besitzt eine eingebaute FIFO-(first-in-first-out)-Schaltung zum Speichern der aus dem Anzeigepufferspeicher 21 ausgelesenen Anzeigedaten und gibt die gespeicherten Anzeigedaten durch Auslesen in bestimmten Zeitintervallen als Anzeigedaten S14a an die RAMDAC-Schaltung 15 aus.
(DRAM 16)
Das DRAM 16 umfaßt den Texturpufferspeicher 20, den Anzeigepufferspeicher 21, den z-Pufferspeicher 22 und den Textur-CLUT-Pufferspeicher 23.
Der Texturpufferspeicher 20 speichert hier Texturdaten, die mehreren Reduktionsraten, wie MIPMAP (Texturen für mehrere Auflösungen) entsprechen, wie dies oben erläutert wurde.
Der Anzeigepufferspeicher 21 speichert Anzeigedaten in einem vorbestimmten Datenformat, die R-, G-, und B-Werte jedes Pixels bezeichnen. Wie oben erläutert wurde, speichert der Anzeigepufferspeicher 21 außerdem die Rahmendaten 100_2k-1 , die Bilddaten bezeichnen, die über die Speicher-Interfaceschaltung 13 von dem Videosignalgenerator 30 zugeführt werden.
Der z-Pufferspeicher 22 speichert z-Daten jedes Pixels in einem vorbestimmten Datenformat. Außerdem speichert der z-Pufferspeicher 22, wie oben erläutert, die Rahmendaten 100_2k , die z-Daten kennzeichnen, die der Videosignalgenerator 30 über die Speicher-Interfaceschaltung 13 zuführt.
Der Textur-CLUT-Pufferspeicher 23 speichert eine Farbtabelle (CLUT).
(RAMDAC-Schaltung 15)
Die RAMDAC-Schaltung 15 speichert die den jeweiligen Indexwerten entsprechenden R-, G-, B-Daten, überträgt die von der CRT-Steuerung 14 zugeführten Anzeigedaten S14 zu einem D/A-Wandler und erzeugt RGB-Daten in einer analogen Form. Die RAMDAC-Schaltung 15 gibt die erzeugten R-, G-, B-Daten S15 an die Kathodenstrahlröhre 31 aus.
Im folgenden wird ein Beispiel für die Funktion des dreidimensionalen Computergraphik system 1 erläutert.
In dem dreidimensionalen Computergraphiksystem 1 werden in dem Videosignalgenerator 30 die Rahmendaten 100_2k-1 , die Bilddaten bezeichnen, und die Rahmendaten 100_2k , die z-Daten der durch die Rahmendaten 100_2k-1 bezeichneten Bilddaten bezeichnen, erzeugt und synchron mit dem Rahmensynchronisiersignal Fsync an die Speicher-Interfaceschaltung 13 ausgegeben.
Wenn der in dem von dem Videosignalgenerator 30 zugeführten Rahmensynchronisiersignal Fsync enthaltene Impuls in der Speicher-Interfaceschaltung 13 detektiert wird, 3 (Schritt S1), wird geprüft, ob die zugeführten Rahmendaten 100n ungeradzahlig sind oder nicht (Schritt S2). Wenn festgestellt wird, daß die Zahl ungerade ist, werden die Rahmendaten 100_2k-1 mit n als einer ungeraden Zahl, die die Bilddaten kennzeichnet, in den Anzeigepufferspeicher 21 des DRAMs 16 eingeschrieben (Schritt S3), während die Rahmendaten 100_2k mit n als einer geraden Zahl, die z-Daten anzeigt, in den z-Pufferspeicher 22 eingeschrieben werden, wenn festgestellt wird, daß es keine ungerade Zahl ist (Schritt S4).
Als Ergebnis werden anschließend die Rahmendaten 100_2k-1 , die durch ein Videosignal gewonnene Bilddaten kennzeichnen, in der gleichen Weise behandelt, wie die in dem Anzeigepufferspeicher 21 eingeschriebenen Bilddaten, nachdem sie der normalen Graphikverarbeitung unterzogen wurden. Das heißt, an dem aus einem Videosignal entnommenen Bilddaten werden eine Verarbeitung verdeckter Ebenen unter Verwendung der z-Daten, ferner das α-Mischen und die Chroma-Key-Verarbeitung durchgeführt.
Außerdem werden z.B. Polygon-Renderdaten S4a von dem Hauptprozessor 4 über den Hauptbus 6 an die DDA-Setup-Schaltung 10 ausgegeben. In der DDA-Setup-Schaltung 10 werden Änderungsdaten S10 erzeugt, die die Differenz zwischen den Seiten des Dreiecks und der horizontalen Richtung usw. kennzeichnen.
Diese Änderungsdaten S10 werden an die Dreieck-DDA-Schaltung 11 ausgegeben. In der Dreieck-DDA-Schaltung 11 werden die linear interpolierten Daten (z, R, G, B, α, s, t, q, F) für jedes Pixel innerhalb des Dreiecks berechnet. Dann werden die berechneten Daten (z, R, G, B, α, s, t, q, F) und die Daten (x, y) der Scheitelpunkte des Dreiecks von der Dreieck-DDA-Schaltung 11 als DDA-Daten S11 an die Texturmaschinenschaltung 12 ausgegeben.
Als Nächstes führt die Texturmaschinenschaltung 12 für die durch die DDA-Daten S11 gekennzeichneten Daten (s, t, q) eine Operation aus, um die Daten s durch die Daten q zu dividieren, und eine Operation, um die Daten t durch die Daten q zu dividieren.
Dabei wird die Division "s/q" und "t/q" mit Hilfe von acht Dividierschaltungen für 8 Pixel gleichzeitig ausgeführt. Die Texturgröße USIZE und VSIZE werden dann mit den Divisionsergebnissen "s/q" bzw. "t/q" multipliziert, um die Texturkoordinatendaten (u, v) zu erzeugen.
Als Nächstes wird von der Texturmaschinenschaltung 20 über die Speicher-Interfaceschaltung 13 eine Leseanforderung an das SRAM 17 ausgegeben, die die oben erzeugten Texturkoordinatendaten (u, v) enthält. Dann werden die in dem SRAM 17 gespeicherten Texturdaten S17 (R, G, B, α) über die Speicher-Interfaceschaltung 13 ausgelesen.
Als Nächstes werden in der Texturmaschinenschaltung 12 die Daten (R, G, B) in den Lesedaten S17 (R, G, B, α) und die in den DDA-Daten S11 aus der Dreieck-DDA-Schaltung 11 in der vorhergehenden Stufe enthaltenen (R-, G-, B)-Daten in dem Verhältnis gemischt, das durch die α-Daten (Textur α) angegeben wird, die in den Daten S17 (R, G, B, α) enthalten sind, um die Pixeldaten S12 zu erzeugen.
Diese Pixeldaten S12 werden von der Texturmaschinenschaltung 12 an die Hauptspeicher-Interfaceschaltung 13 ausgeben.
In der Speicher-Interfaceschaltung 13 werden die z-Daten, die den aus der Texturmaschinenschaltung 12 zugeführten Pixeldaten S12 entsprechen, und die z-Daten (z.B. die durch die Rahmendaten 100_2k gekennzeichneten z-Daten), die in dem z-Pufferspeicher 22 gespeichert sind, miteinander verglichen. Wenn festgestellt wird, daß das von den Eingangspixeldaten S12 näher an dem Betrachtungspunkt liegt als das Bild, das den Bilddaten entspricht, die durch die beim vorhergehenden Mal in dem Anzeigepufferspeicher 21 gespeicherten Rahmendaten 100_2k-1 bezeichnet werden, werden die in dem z-Pufferspeicher 22 gespeicherten z-Daten durch die den Bilddaten S12 entsprechenden z-Daten aktualisiert.
Als Nächstes werden in der Speicher-Interfaceschaltung 13 nach Bedarf die (R-, G-, B)-Daten, die in den Bilddaten S12 enthalten sind, und die (R-, G-, B)-Daten, die durch die als in dem Anzeigepufferspeicher 21 gespeicherten Rahmendaten 100_2k-1 gekennzeichnet sind, in dem Verhältnis gemischt, das durch die den Pixeldaten S12 entsprechenden α-Daten (in den DDA-Daten S11 enthaltenen α-Daten) angegeben wird. Die gemischten Daten (R, G, B) werden dann als Anzeigedaten in den Anzeigepuffer 21 eingeschrieben.
Die in dem Anzeigepuffer 21 gespeicherten (R-, G-, B)-Daten werden von der Speicher-Interfaceschaltung 13 als Anzeigedaten S21 ausgelesen und an die CRT-Steuerschaltung 14 ausgegeben.
Nachdem die Anzeigedaten S21 in der CRT-Steuerschaltung 14 zeitlich ausgerichtet wurden, werden sie als Anzeigedaten S14 an die RAMDAC-Schaltung 15 ausgegeben.
Die Anzeigedaten S14 werden dann in der RAMDAC-Schaltung 15 in R-, G-, B-Daten S15 umgewandelt und die R-, G-, B-Daten S15 werden an die Kathodenstrahlröhre 31 ausgegeben.
Zweites Ausführungsbeispiel
Das vorliegende Ausführungsbeispiel ist im Grunde das gleiche wie das in 1 dargestellte dreidimensionale Computergraphiksystem 1 mit der Ausnahme, daß die Funktionen der Speicher-Interfaceschaltung 13 und des Videosignalgenerators von 1 abweichen.
4 zeigt eine Ansicht der Systemkonfiguration des dreidimensionalen Computergraphiksystems 201 des vorliegenden Ausführungsbeispiels.
In 4 sind diejenigen Komponenten, die gleiche Bezugszeichen haben, die gleichen wie diejenigen, die in dem ersten Ausführungsbeispiel erläutert wurden.
Das heißt, in dem dreidimensionalen Computergraphiksystem 201 unterscheiden sich die Speicher-Interfaceschaltung 213 und der Videosignalgenerator 230 von den entsprechenden Komponenten in dem obigen ersten Ausführungsbeispiel.
Der Videosignalgenerator 230 erzeugt Zeilendaten 200n, indem er z-Daten zu einem von einem Bildaufnahmegerät, wie einer Videokamera, gewonnenen Bildsignal hinzufügt, wobei n eine ganze Zahl 1 oder größer ist, und gibt die Zeilendaten 200n synchron mit einem horizontalen Synchronisiersignal Hsync an die Speicher-Interfaceschaltung 213 aus, wie dies in 5(A) und (B) dargestellt ist.
Wie 5 zeigt, kennzeichnen Zeilendaten 200_2k-1 mit n als ungerade Zahl Bilddaten, während die Zeilendaten 200_2k mit n als einer geraden Zahl die z-Daten von Bilddaten bezeichnen, die durch die Zeilendaten 200_2k-1 bezeichnet werden.
Der Videosignalgenerator 230 gibt in jeder horizontalen Synchronisierperiode abwechselnd Bilddaten und den Bilddaten entsprechende z-Daten an die Speicher-Interfaceschaltung 213 aus.
Wenn ein in dem von dem Videosignalgenerator 30 (?? 230) zugeführten horizontalen Synchronisiersignal Hsync enthaltener Impuls detektiert wird, wie dies in 6 (Schritt S11) dargestellt ist, prüft die Speicher-Interfaceschaltung 213, ob die Eingangszeilendaten 200n ungeradzahlig sind (Schritt S12). Wenn eine ungerade Zahl festgestellt wird, werden die Zeilendaten 200_2k-1 mit n als ungerader Zahl, die Bilddaten kennzeichnen, in den Anzeigepufferspeicher 21 des DRAMs 16 eingeschrieben (Schritt S13), während die Zeilendaten 200_2k mit n als gerader Zahl, die z-Daten kennzeichnen, in den z-Pufferspeicher 22 eingeschrieben werden (Schritt S14), wenn keine ungerade Zahl festgestellt wird. 200_2k
In dem vorliegenden Ausführungsbeispiel werden die Zeilendaten 200_2k-1 , die aus einem Videosignal gewonnene Bilddaten kennzeichnen, in der gleichen Weise behandelt wie die Bilddaten, die einer normalen Graphikverarbeitung unterzogen werden, und in den Anzeigepufferspeicher 21 eingeschrieben. Die Verarbeitung verdeckter Ebenen unter Verwendung der z-Daten, das α-Mischen und die Chroma-Key-Verarbeitung werden an den aus einem Videosignal herausgezogenen Bilddaten durchgeführt.
Drittes Ausführungsbeispiel
Das vorliegende Ausführungsbeispiel ist grundsätzlich das gleiche, wie das dreidimensionale Computergraphiksystem 1 von 1 des ersten Ausführungsbeispiels mit der Ausnahme, daß die Funktionen der Speicher-Interfaceschaltung 13 und des Videosignalgenerators von 1 unterschiedlich sind.
7 zeigt eine Ansicht der Systemkonfiguration eines dreidimensionalen Computergraphiksystems 301 des vorliegenden Ausführungsbeispiels. In 7 sind diejenigen Komponenten, die gleiche Bezugszeichen haben, die gleichen wie diejenigen, die in dem ersten Ausführungsbeispiel erläutert wurden.
In dem dreidimensionalen Computergraphiksystem 301 weichen die mit 313 bezeichnete Speicher-Interfaceschaltung und der mit bezeichnete 330 Videosignalgenerator von den entsprechenden Komponenten des obigen ersten Ausführungsbeispiel ab.
Der Videosignalgenerator 330 erzeugt z.B. mehrere Datenblöcke, die Bilddaten enthalten, die aus einem von einem Bildaufnahmegerät, wie einer Videokamera, erzeugten Videosignal gewonnen werden, sowie z-Daten für jedes Pixel, und gibt Daten, die den Datenblock enthalten, simultan an die Speicher-Interfaceschaltung 313 aus.
Dabei speichern die oberen 24 Bits in einem 40-Bit-Datenblock Bilddaten, während die unteren 16 Bits den Bilddaten entsprechende z-Daten speichern, wie dies in 8 dargestellt ist.
Die Speicher-Interfaceschaltung 313 schreibt für jeden von dem Videosignalgenerator 330 zugeführten Datenblock die in den oberen 24 Bits des Datenblocks gespeicherten Bilddaten in den Anzeigepufferspeicher 21 des DRAMs 16, während sie die in den unteren 16 Bits gespeicherten z-Daten in den z-Pufferspeicher 22 schreibt.
In dem vorliegenden Ausführungsbeispiel werden die aus einem Videosignal gewonnenen Bilddaten wie bei dem obigen ersten Ausführungsbeispiel genauso behandelt, wie die einer normalen Graphikverarbeitung unterzogenen Bilddaten und in den Anzeigepufferspeicher 21 eingeschrieben. Das heißt, die aus einem Videosignal herausgezogenen Bilddaten werden einer Verarbeitung verdeckter Ebenen unter Verwendung der z-Daten, der α-Mischung und der Chroma-Key-Verarbeitung unterzogen.
Es ist zu beachten, daß der Videosignalgenerator 330 einen 32-Bit-Datenblock, der aus R-, G-, B-Daten mit jeweils 8 Bit und z-Daten besteht, an die Speicher-Interfaceschaltung 313 ausgeben kann, wie dies z.B. in 9 dargestellt ist.
Wie 7 zeigt, wird es dadurch möglich, das Datenformat der R-, G-, B-Daten in den aus R-, G-, B-, z-Daten bestehenden 8-Bit-Bilddaten S12 und den von dem Videosignalgenerator 330 zugeführten Blockdaten aneinander anzupassen, so daß die Verarbeitung der R-, G-, B-Daten gemeinsam erfolgen kann, wenn die Bilddaten S12 und die Blockdaten eingegeben werden.
Als Beispiel für eine Modifizierung kann der Videosignalgenerator in Ausführungsbeispielen der Erfindung durch Chroma-Key-Komposition von z-Daten mit den aus einem Videosignal gewonnenen Bilddaten unter Verwendung vorbestimmter Farbdaten auch solche Bilddaten erzeugen, die z-Daten enthalten, wobei die vorgegebenen Farbdaten in der Speicher-Interfaceschaltung aus den von dem Videosignalgenerator zugeführten Bilddaten extrahiert werden können, um z-Daten zu gewinnen, wobei die z-Daten in den z-Pufferspeicher 22 eingeschrieben werden können und die Bilddaten nach Entfernung der z-Daten auf der Basis der Ergebnisse des z-Vergleichs in den Anzeigepufferspeicher 21 eingeschrieben werden können.
Viertes Ausführungsbeispiel
Das dreidimensionale Computergraphiksystem des vorliegenden Ausführungsbeispiels hat die gleiche Konfiguration wie das oben erläuterte dreidimensionale Computergraphiksystem 1, das in 1 dargestellt ist, allerdings unterscheidet sich die Verbeitung in der Speicher-Interfaceschaltung 13 teilweise von derjenigen des ersten Ausführungsbeispiels.
In dem obigen ersten Ausführungsbeispiel schrieb die Speicher-Interfaceschaltung 13 die ungeradzahligen Rahmendaten 100_2k-1 in den von dem Videosignalgenerator 30 zugeführten Rahmendaten 100n in den Anzeigepufferspeicher 21 des DRAMs 16 und geradzahlige Rahmendaten 100_2k in den z-Pufferspeicher 22, wie dies anhand von 3 erläutert wurde.
10 zeigt ein Flußdiagramm zur Erläuterung der Verarbeitung in der Speicher-Interfaceschaltung 13 in dem dreidimensionalen Computergraphiksystem des vorliegenden Ausführungsbeispiels.
Wie 10 zeigt, schreibt die Speicher-Interfaceschaltung 13 in dem vorliegenden Ausführungsbeispiel alle von dem Videosignalgenerator 30 zugeführten Rahmendaten 100n temporär in den Anzeigepufferspeicher 21 des DRAMs 16 in einem Speicherformat, das durch den Speicher 21 definiert ist (Schritt S21). Nach dem Einschreiben einer vorbestimmten Menge von Rahmendaten 100n in den Anzeigepufferspeicher 21 (Schritt S22) wird eine Steuerung durchgeführt, um geradzahlige Rahmendaten 100_2k in den eingeschriebenen Rahmendaten 100n durch Übertragung zwischen Puffern in einem durch den Speicher 22 definierten Format zu dem z-Pufferspeicher zu übertragen und dort zu speichern (Schritt S23).
Durch diese Art der Steuerung in der Speicher-Interfaceschaltung 13 können bei dem vorliegenden Ausführungsbeispiel die Rahmendaten 100_2k , die z-Daten kennzeichnen, nicht mehr in Echtzeit in den z-Pufferspeicher 22 eingeschrieben werden. Es ist jedoch nicht notwendig, in der Speicher-Interfaceschaltung 13 die von dem Videosignalgenerator 30 zugeführten Rahmendaten 100n auf den Anzeigepufferspeicher 21 und den z-Pufferspeicher 22 zu verteilen, so daß die Arbeitungsbelastung in der Speicher-Interfaceschaltung 13 reduziert werden kann.
Es ist zu beachten, daß in Ausführungsbeispielen der vorliegenden Erfindung z.B. die Speicher-Interfaceschaltung 13 alle von dem Videosignalgenerator 30 zugeführten Rahmendaten 100n temporär in den z-Pufferspeicher des DRAMs 16 in einem durch den Speicher 22 definierten Format einschreibt und nach dem Einschreiben einer vorbestimmten Menge an Rahmendaten 100n in den z-Pufferspeicher 22 eine Steuerung ausführen kann, um die ungeradzahligen Rahmendaten 100_2k-1 in den eingeschriebenen Rahmendaten 100n durch Transfer zwischen Puffern in dem durch den Speicher 21 definierten Format in den Anzeigepufferspeicher 21 zu transferieren und dort zu speichern.
Die Erfindung ist nicht auf die vorliegenden Ausführungsbeispiele beschränkt.
So können z.B. Bilddaten und z-Daten, die aus dem DRAM 16 eines anderen dreidimensionalen Computergraphiksystems ausgelesen werden, das die gleiche Konfiguration hat wie in 1, der Speicher-Interfaceschaltung 13 des in 1 dargestellten dreidimensionalen Computergraphiksystems 1 zugeführt und in den Anzeigepuffer 21 und den z-Puffer 22 eingeschrieben werden.
Die Konfiguration des obigen Ausführungsbeispiels, bei dem ein SRAM 17 benutzt wird, war als Beispiel dargestellt, es kann jedoch auch so konfiguriert sein, daß es das SRAM 17 nicht enthält.
Der Texturpufferspeicher 20 und der Textur-CLUT-Pufferspeicher 23, die in 1 dargestellt sind, können auch außerhalb des DRAMs 16 angeordnet sein.
In dem dreidimensionalen Computergraphiksystem 1 von 7 war außerdem als Beispiel der Fall dargestellt, daß die geometrische Verarbeitung zur Erzeugung von Polygon-Renderingdaten in dem Hauptprozessor 4 durchgeführt wurde. Das System kann jedoch auch so konfiguriert sein, daß dies in der Renderingschaltung 5 durchgeführt wird.
Wie oben erläutert wurde, ist es bei den Ausführungsbeispielen des Bildverarbeitungsgeräts und -verfahrens gemäß vorliegender Erfindung möglich, vielfältige Graphikverarbeitungen auszuführen, indem Bilddaten (Videosignal) benutzt werden, die mittels eines Bildaufnahmegeräts gewonnen werden.
Die Erfindung wurde anhand spezifischer für Veranschaulichungszwecke ausgewählter Ausführungsbeispiele erläutert, es ist jedoch offensichtlich, daß der einschlägige Fachmann zahlreiche Modifikationen vornehmen kann, ohne daß von dem Grundkonzept abgewichen und der Rahmen der Erfindung verlassen wird, wie er in den anliegenden Ansprüchen definiert ist.
Insoweit als die oben beschriebenen Ausführungsbeispiele der Erfindung zumindest teilweise unter Verwendung eines softwaregesteuerten Datenverarbeitungsgeräts implementiert sind, sei darauf hingewiesen, daß ein Computerprogramm, das eine solche Softwaresteuerung zur Verfügung stellt, und ein Speichermedium, in dem ein solches Computerprogramm gespeichert ist, als Teile dieser Erfindung betrachtet werden.

Claims

Bildverarbeitungsgerät (1, 201; 301), das aufweist: einen Anzeigepuffer (219) zum Speichern von Bilddaten für die Ausgabe an eine Anzeigevorrichtung, einen Z-Puffer (22) zum Speichern von Tiefendaten, die mit den genannten Bilddaten verknüpft sind, eine Bildverarbeitungsschaltung (10, 11, 12) zur Durchführung einer dreidimensionalen grafischen Verarbeitung von vorbestimmten Daten für die Erzeugung von dreidimensionalen Bilddaten, die erste Bilddaten sowie mit den ersten Bilddaten verknüpfte Tiefendaten enthalten, und eine Schreibschaltung (13; 213; 313), um die ersten Bilddaten und die ersten Tiefendaten als die genannten Bilddaten und die ersten Tiefendaten in den Anzeigepuffer bzw. den Z-Puffer einzuschreiben, und Videoeingangsdaten aufzunehmen, die zweite Bilddaten und mit den zweiten Bilddaten verknüpfte zweite Tiefendaten umfassen, und um die zweiten Bilddaten und die zweiten Tiefendaten als die genannten Bilddaten und die genannten Tiefendaten in den Anzeigepuffer bzw. den Z-Puffer einzuschreiben, wobei die Schreibschaltung ferner konfiguriert ist, um die ersten Tiefendaten aus der Bildverarbeitungsschaltung mit den zweiten Tiefendaten in dem Z-Puffer zu vergleichen, um eine Verarbeitung von verdeckten Flächen durchzuführen.
Bildverarbeitungsgerät nach Anspruch 1, bei dem die ersten Bilddaten und die zweiten Bilddaten eine Vielzahl von Pixeln umfassen und bei dem die Verarbeitung von verdeckten Flächen darin besteht, dass für jedes Pixel aus den ersten Tiefendaten und den zweiten Tiefendaten ermittelt wird, ob ein Pixel der ersten Bilddaten einem Betrachtungspunkt näher liegt als ein korrespondierendes Pixel der zweiten Bilddaten, und wenn dies der Fall ist, für dieses Pixel die ersten Bilddaten in den Anzeigepuffer und die ersten Tiefendaten in den Z-Puffer eingeschrieben werden.
Bildverarbeitungsgerät nach Anspruch 1 oder 2, bei dem die Schreibschaltung als die genannten Videoeingangsdaten abwechselnd einen die zweiten Bilddaten enthaltenden Rahmen und einen die zweiten Tiefendaten enthaltenden Rahmen aufnimmt und den die zweiten Bilddaten enthaltenden Rahmen in den Anzeigepuffer schreibt und den die zweiten Tiefendaten enthaltenden Rahmen in den Z-Puffer schreibt.
Bildverarbeitungsgerät nach Anspruch 1 oder 2, bei dem die Schreibschaltung als die genannten Videoeingangsdaten abwechselnd eine die zweiten Bilddaten bildende Zeile und eine die zweiten Tiefendaten bildende Zeile aufnimmt und die Zeile, die die zweiten Bilddaten bildet, in den Anzeigepuffer schreibt und die Zeile, die die zweiten Tiefendaten bildet, in den Z-Puffer schreibt.
Bildverarbeitungsgerät nach Anspruch 1 oder 2, bei dem die Schreibschaltung als die genannten Videoeingangsdaten sukzessiv eine Mehrzahl von Datenblöcken aufnimmt, die die zweiten Bilddaten bzw. die zweiten Tiefendaten für jedes Pixel enthalten, und jedes mal, wenn die Mehrzahl von Datenblöcken eingegeben wird, die in dem Eingangsdatenblock enthaltenen zweiten Bilddaten in den Anzeigepuffer schreibt und die zweiten Tiefendaten in den Z-Puffer schreibt.
Bildverarbeitungsgerät nach Anspruch 1, bei dem die Schreibschaltung als Eingangsdaten dritte Bilddaten aufnimmt, die dritte Tiefendaten enthalten, wobei die dritten Bilddaten durch Chroma-Key-Komposition der zweiten Tiefendaten mit den zweiten Bilddaten unter Verwendung vorbestimmter Farbdaten gewonnen werden, die aus den zweiten Bilddaten extrahiert werden können, und bei dem die Schreibschaltung die zweiten Bilddaten aus den dritten Bilddaten extrahiert, die extrahierten Bilddaten in den Anzeigepuffer schreibt, die zweiten Tiefendaten aus den dritten Bilddaten extrahiert und die extrahierten Tiefendaten in den Z-Puffer schreibt.
Bildverarbeitungsgerät nach Anspruch 1, bei dem die Schreibschaltung die zweiten Bilddaten und die zweiten Tiefendaten in den Anzeigepuffer schreibt, die zweiten Tiefendaten aus dem Anzeigepuffer ausliest und sie in den Z-Puffer schreibt.
Bildverarbeitungsgerät nach Anspruch 1, bei dem die Schreibschaltung die zweiten Bilddaten und die zweiten Tiefendaten in den Z-Puffer schreibt, die zweiten Tiefendaten aus dem Z-Puffer ausliest und sie in den Anzeigepuffer schreibt.
Bildverarbeitungsgerät nach Anspruch 1, bei dem der Anzeigepuffer und der Z-Puffer getrennt in einer Halbleitervorrichtung angeordnet sind.
Bildverarbeitungsverfahren mit den Verfahrensschritten: Durchführung einer dreidimensionalen grafischen Verarbeitung zum Erzeugen von ersten Bilddaten sowie von mit den ersten Bilddaten verknüpften Tiefendaten, Einschreiben der ersten Bilddaten und der ersten Tiefendaten in einen Anzeigepuffer zum Speichern von Bilddaten, die an eine Anzeigevorrichtung ausgegeben werden sollen, bzw. in einen Z-Puffer zum Speichern von Tiefendaten der in dem ersten Speicher gespeicherten Bilddaten, Erzeugen von Videoeingangsdaten, die zweite Bilddaten und mit den zweiten Bilddaten verknüpfte zweite Tiefendaten enthalten, Einschreiben der zweiten Bilddaten und der zweiten Tiefendaten in den Anzeigepuffer bzw. in den Z-Puffer und Vergleichen der ersten Tiefendaten aus der Bildverarbeitungsschaltung mit den zweiten Tiefendaten in dem Z-Puffer während des Einschreibens, um eine Verarbeitung von verdeckten Flächen durchzuführen.
Bildverarbeitungsverfahren nach Anspruch 10, bei dem die ersten Bilddaten und die zweiten Bilddaten eine Vielzahl von Pixeln umfassen und bei dem die Verarbeitung von verdeckten Flächen darin besteht, dass aus den ersten Tiefendaten und den zweiten Tiefendaten ermittelt wird, ob ein Pixel der ersten Bilddaten einem Betrachtungspunkt näher liegt als ein korrespondierendes Pixel der zweiten Bilddaten, und wenn dies der Fall ist, Einschreiben der ersten Bilddaten in den Anzeigepuffer und der ersten Tiefendaten in den Z-Puffer für dieses Pixel.
Bildverarbeitungsverfahren nach Anspruch 10 oder 11, bei dem das Erzeugen der Videoeingangsdaten das Erzeugen eines die zweiten Bilddaten enthaltenden Rahmens und eines die zweiten Tiefendaten enthaltenden Rahmens umfasst, und bei dem das Einschreiben des die zweiten Bilddaten enthaltenden Rahmens in den Anzeigepuffer und das Einschreiben des die zweiten Tiefendaten enthaltenden Rahmens in den Z-Puffer abwechselnd durchgeführt werden.
Bildverarbeitungsverfahren nach Anspruch 10 oder 11, bei dem das Erzeugen der Videoeingangsdaten das Erzeugen einer die zweiten Bilddaten bildenden Zeile und einer die zweiten Tiefendaten bildenden Zeile umfasst, und bei dem ferner das Einschreiben der die zweiten Bilddaten bildenden Zeile in den Anzeigepuffer und das Einschreiben der die zweiten Tiefendaten bildenden Zeile in den Z-Puffer für jede horizontale Synchronisationsperiode abwechselnd durchgeführt werden.
Bildverarbeitungsverfahren nach Anspruch 10 mit den Verfahrensschritten: Erzeugen von dritten Bilddaten, die dritte Tiefendaten enthalten, wobei die dritten Bilddaten durch Chroma-Key-Komposition der zweiten Tiefendaten mit den zweiten Bilddaten unter Verwendung vorbestimmter Farbdaten gewonnen werden, die aus den zweiten Bilddaten extrahiert werden können, Extrahieren der zweiten Bilddaten aus den dritten Bilddaten und Einschreiben der extrahierten Bilddaten in den Anzeigepuffer und Extrahieren der zweiten Tiefendaten aus den dritten Bilddaten und Einschreiben der extrahierten Tiefendaten in den Z-Puffer.
Bildverarbeitungsverfahren nach Anspruch 10 mit den Verfahrensschritten: Erzeugen von dritten Bilddaten einschließlich dritten Tiefendaten, wobei die dritten Bilddaten durch Chroma-Key-Komposition der zweiten Tiefendaten mit den zweiten Bilddaten unter Verwendung vorbestimmter Farbdaten gewonnen werden, die aus den zweiten Bilddaten erhalten werden können, Extrahieren der zweiten Bilddaten aus den dritten Bilddaten und Einschreiben der extrahierten Bilddaten in den Anzeigepuffer, und Extrahieren der zweiten Tiefendaten aus den dritten Bilddaten und Einschreiben der extrahierten Tiefendaten in den Z-Puffer.
Bildverarbeitungsverfahren nach Anspruch 10 mit den Verfahrensschritten: Einschreiben der erzeugten zweiten Bilddaten und zweiten Tiefendaten in den Anzeigepuffer und Auslesen der zweiten Tiefendaten aus dem Anzeigepuffer und ihr Einschreiben in den Z-Puffer.
Bildverarbeitungsverfahren nach Anspruch 10 mit den Verfahrensschritten: Einschreiben der erzeugten zweiten Bilddaten und zweiten Tiefendaten in den Z-Puffer und Auslesen der zweiten Tiefendaten aus dem Z-Puffer und ihr Einschreiben in den Anzeigepuffer.