DE69421967T2

DE69421967T2 - Bildverarbeitung

Info

Publication number: DE69421967T2
Application number: DE69421967T
Authority: DE
Inventors: David Edward Penna; Norman Dennis Richards; Paul Anthony Winser
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1993-07-15
Filing date: 1994-07-08
Publication date: 2000-06-29
Anticipated expiration: 2014-07-09
Also published as: KR950004045A; JP3645922B2; GB9314717D0; DE69421967D1; KR100329874B1; EP0634733A2; EP0634733A3; JPH0778264A; EP0634733B1; US5784064A

Description

Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Bildverarbeitung und auf eine Bildverarbeitungsvorrichtung.
Insbesondere bezieht sich die vorliegende Erfindung auf ein Verfahren zur Bildverarbeitung, bei dem sich bewegende Ausgangsbilder als zweidimensionale Anzeige dargestellt werden, und zwar in Form von zeitlich getrennten zweidimensionalen Einzelbildern mit Bildelementen (Pixeln), wobei die genannten Ausgangsbilder aus einem ersten Bild und einem zweiten Bild zusammengesetzt werden und wobei sich das erste genannte Bild über eine Vielzahl von Einzelbildern in Bezug auf ein zweites Bild zu bewegen scheint.
Die Konstruktion von Bildern aus mehreren Komponenten, die sich relativ zueinander zu bewegen scheinen, ist auf dem Gebiet der Computergraphik bekannt, insbesondere bei der Anwendung auf Computerspiele usw. Bei derartigen Anwendungen scheint sich nicht nur die eine Komponente relativ zu der anderen zu bewegen, sondern die Bewegung unterliegt oft der interaktiven Steuerung durch einen Bediener. Das System ist daher oft so konfiguriert, dass ein Bediener mit Hilfe eines geeigneten Eingabegerätes wie eines Joysticks, eines Trackballs, eines Tastenfeldes oder einer Tastatur usw. die Steuerung einer Komponente eines angezeigten Bildes übernimmt.
Die interaktive Beschaffenheit von derartigen bekannten Computersystemen ist zwar beeindruckend, jedoch neigen die angezeigten Bilder dazu, etwas künstlich zu wirken. Ein virtueller dreidimensionaler Weltraum kann durch ein Computergraphiksystem simuliert werden, die Anzahl der Koordinatenpunkte, die innerhalb dieses Weltraums in Echtzeit manipuliert werden können, wird allerdings durch die verfügbaren Verarbeitungsmöglichkeiten begrenzt. Die meisten Computergraphiksysteme arbeiten zum Beispiel mit einem Netz von Polygonen und erzeugen in einem Bildaufbereitungsprozeß Einzelbild für Einzelbild Vollfarbenbilder. Es ist daher schwierig, die Beschaffenheit jedes Bildelementes in dem dreidimensionalen Weltraum zu spezifizieren, und die Möglichkeiten zum Erreichen von Fotorealismus sind etwas beschränkt.
Die Handhabung von fotorealistischen Videobildern in Echtzeit ist in der Technik der Videographik bekannt. Bei Videographiken werden Bildelementwerte so verarbeitet, dass Verzerrungen, Modifikationen und Spezialeffekte eingeführt werden, wobei gleichzeitig die naturgetreue Qualität des Originalbildes erhalten bleibt. Derartige Effekte werden jedoch durch den Einsatz einer erheblichen Menge von zu diesem Zweck entwickelter Hardware erreicht, die die Maschinen kostenaufwendig und sehr aufgabenspezifisch macht. Darüber hinaus ist das Videobild bei bekannten Systemen dieser Art immer blattähnlich; es kann zwar auf ein dreidimensionales Objekt abgebildet werden, aber es wirkt immer wie eine Haut. Es können also Videosequenzen geschaffen werden, in denen ein Objekt hinter einem anderen Objekt zu liegen scheint, jedoch ist dies nur eine Illusion, die durch einen Künstler geschaffen wird. Die Maschine liefert also eine Umgebung, in der ein Künstler arbeiten kann, jedoch sind immer noch die Fertigkeiten und das Urteilsvermögen des Künstlers erforderlich, um das Endresultat zu erreichen.
Ein Problem, das mit der vorliegenden Erfindung zu lösen versucht wird, besteht darin, eine Umgebung zu schaffen, die darauf hinausläuft, die Interaktivität der Computergraphik mit der Bildqualität von Videographik zu kombinieren.
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein Verfahren der Bildverarbeitung der oben erwähnten Art geschaffen, das dadurch gekennzeichnet ist, dass für jedes der genannten ersten und zweiten Bilder absolute Tiefewerte für im wesentlichen alle Bildelemente definiert werden, aus denen sich die jeweiligen Bilder zusammensetzen;
Tiefewerte des genannten ersten Bildes mit den Tiefewerten der Bildelemente des genannten zweiten Bildes verglichen werden, um Bildelement für Bildelement zu ermitteln, ob Bildelemente des ersten Bildes vor oder hinter den Bildelementen des genannten zweiten Bildes liegen;
wobei die genannten absoluten Tiefewerte mit einer höheren Auflösung verarbeitet werden, aber mit einer geringeren Auflösung gespeichert werden, und wobei die Werte mit geringerer Auflösung mit Hilfe einer Verweistabelle in Werte mit höherer Auflösung konvertiert werden; und dadurch, dass
man bevorzugte Beiträge aus den vordersten Bildelementen von entweder dem ersten Bild oder dem zweiten Bild erhält, um ein Ausgangsbild zu erzeugen, in dem sich das genannte erste Bild in eine Anzeigeebene hinein oder aus einer Anzeigeebene heraus zu bewegen scheint, so dass es vor oder hinter Elementen des genannten zweiten Bildes liegt, und zwar in Abhängigkeit von deren relativen Tiefewerten.
Die vorliegende Erfindung schafft außerdem eine Bildverarbeitungsvorrichtung mit Mitteln zum Darstellen von sich bewegenden Ausgangsbildern auf einer zweidimensionalen Anzeige in Form von zeitlich getrennten zweidimensionalen Einzelbildern aus Bildelementen, und mit Mitteln zum Konstruieren der genannten Ausgangsbilder ausgehend von einem ersten Bild und von einem zweiten Bild auf eine solche Weise, dass sich das genannte erste Bild über eine Vielzahl von Einzelbildern relativ zu dem genannten zweiten Bild zu bewegen scheint, gekennzeichnet durch:
Mittel zum Verarbeiten der genannten Daten mit einer höheren Auflösung, so dass das genannte erste Bild sich in ein Anzeige-Einzelbild hinein oder aus einem Anzeige-Einzelbild heraus zu bewegen scheint, so dass es vor oder hinter Elementen des genannten zweiten Bildes liegt, und zwar in Abhängigkeit von den für das genannte erste Bild definierten Tiefewerten, wobei für das genannte erste Bild und das genannte zweite Bild absolute Tiefewerte für im wesentlichen alle Bildelemente definiert sind, aus denen sich die jeweiligen Bilder zusammensetzen;
Mittel zum Empfangen der mit einer geringeren Auflösung gespeicherten Tiefewerte, die dazu dienen, diese mit Hilfe von Verweistabellen in die genannten Werte mit höherer Auflösung zu konvertieren;
Mittel zum Vergleichen der Tiefewerte des genannten ersten Bildes mit den Tiefewerten von Bildelementen des genannten zweiten Bildes, um Bildelement für Bildelement zu ermitteln, ob Bildelemente des genannten ersten Bildes vor oder hinter Bildelementen des genannten zweiten Bildes liegen; und
Mittel zum Kombinieren der bevorzugten Beiträge von den vordersten Bildelementen von entweder dem ersten Bild oder dem zweiten Bild, um ein Ausgangsbild zu erzeugen.
Ein Vorteil der vorliegenden Erfindung besteht also darin, dass sie eine Umgebung für dreidimensionale Interaktivität schafft, wobei Bilder auf Bildelementbasis verarbeitet werden, um auf diese Weise leichter eine gute Bildqualität zu erreichen.
In einer bevorzugten Ausführungsform werden die Tiefewerte komprimiert, bevor sie mit den Video-Informationen gespeichert werden, und während der Wiedergabe entkomprimiert. Die Komprimierung kann durch einen Prozeß der Quantisierung und zweidimensionalen Lauflängen-Codierung erfolgen, und die Komprimierung kann in Übereinstimmung mit der MPEG-Norm stattfinden.
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im folgenden näher beschrieben. Es zeigen:
Fig. 1 ein System zum Lesen von Videosequenzen von einer optischen Platte, mit einem Prozessor zum Extrahieren von Tiefe-Informationen und einem Mischer zum Kombinieren von Videosequenzen, um ein Video-Ausgangssignal zu erzeugen;
Fig. 2 eine Tiefenordnung-Auflösungsschaltung, die einen Teil des Mischers aus Fig. 1 bildet;
Fig. 3 eine Opazitäts-Berechnungsschaltung, die einen Teil des Mischers aus Fig. 1 bildet; und
Fig. 4 eine Video-Kombinationsschaltung, die einen Teil des Mischers aus Fig. 1 bildet.
In Fig. 1 ist ein System zum Lesen von Videosequenzen von einer optischen Compact Disc dargestellt. Das System ist vorgesehen, um drei Videoebenen zu kombinieren, wobei die Bildelementwerte für jede Ebene zusätzlich zu zweidimensionalen Daten und Farbdaten Tiefe- und Opazitätswerte enthalten.
Daten, die Videobilder, Audiosignale und Steuerprogramme darstellen, werden auf herkömmlichen optischen Compact Discs gespeichert. Die Daten auf den genannten Platten werden durch einen Plattenspieler 15 ausgelesen und als serieller Bitstrom mit einer Geschwindigkeit von einhundertundfünfzig Kilobytes pro Sekunde einem Controller 16 zugeführt.
Der Controller 16 ist vorgesehen, um die Beschaffenheit der zugeführten Daten zu identifizieren und die genannten Daten an die entsprechende Verarbeitungsschaltung weiterzuleiten. Steuerprogramme werden also an einen Steuerungsprozessor 17 weitergeleitet, Audiosignale werden an einen Audioprozessor 18 weitergeleitet und Videosignale werden an ein erstes Direktzugriffsspeichergerät 19 oder an ein zweites Direktzugriffsspeichergerät 20 weitergeleitet.
Die Speichergeräte 19 und 20 sind vorgesehen, um nach verschiedenen Normen codierte Videosignale zu empfangen. Das Speichergerät 19 ist also vorgesehen, um im wesentlichen nicht-komprimierte Videodaten für die Erzeugung von kleinen sich bewegenden Objekten oder Standbildern zu empfangen, während das Speichergerät 20 vorgesehen ist, um Videodaten zu empfangen, die in Übereinstimmung mit der durch die ISO Moving Picture Experts Group (MPEG) vorgeschlagenen Norm komprimiert wurden. Wie im folgenden beschrieben wird, kann bei Bedarf auch das Speichergerät 19 vorgesehen werden, um komprimierte Videodaten zu empfangen.
In Übereinstimmung mit Systemen, die unter dem Warenzeichen "COM- PACT DISC INTERACTIVE" (CD-I) verkauft werden, erhält das Speichergerät 19 Daten, die sich auf zwei Videoebenen beziehen, welche üblicherweise als Ebene "A" und Ebene "B" bezeichnet werden. Jede dieser Ebenen hat einen entsprechenden Videoprozessor 21 oder 22, der vorgesehen ist, um einem Bildmischgerät 23 Videosignale V1 und V2 zu liefern. Auf ähnliche Weise empfängt ein Videoprozessor 24 MPEG-codierte Videodaten vom Direktzugriffsspeichergerät 20, decodiert die genannten Daten und liefert wieder ein Videosignal V3 an den Mischer 23.
Der Mischer 23 ist vorgesehen, um die Videosignale V1, V2 und V3, die diesem zugeführt werden, zu kombinieren und ein digitales Video-Ausgangssignal an einen Digital-Analog-Umsetzer 25 zu liefern, der seinerseits ein herkömmliches Videosignal an einen Videomonitor oder ein Fernsehgerät 26 liefert. Auf ähnliche Weise werden Audiosignale vom Audioprozessor 18 an einen Lautsprecher 27 weitergeleitet oder mit dem Aus gangssignal vom Digital-Analog-Umsetzer 25 kombiniert, gegebenenfalls anschließend moduliert und an einen geeigneten Eingang eines Fernsehgerätes weitergeleitet.
Die Funktion des Systems hängt in erster Linie von Programmanweisungen ab, die vom Compact-Disc-Spieler 15 empfangen werden und in den Steuerungsprozessor 17 geladen werden. Die Anfangsinformationen, die von einer optischen Platte geliefert werden, würden also Programme für den Steuerungsprozessor 17 umfassen, der dann das System so konfigurieren würde, dass die weiteren Informationen in Form von Video- und Audiosignalen von dem genannten Spieler 15 in geeigneter Weise weiter verarbeitet werden.
Darüber hinaus kann die Steuerung des Systems auch durch eine bedienergesteuerte interaktive Eingabe erfolgen, die von einem Hand-Steuergerät 28 stammt.
Die durch die Videoprozessoren 21 und 22 erzeugten Videobilder stellen Vordergrundgegenstände dar, die mit Schauspielern auf einer Bühne zu vergleichen sind. Zusätzlich zur Bewegung innerhalb der beiden Dimensionen X und Y der Anzeigeebene sind die genannten Objekte auch so konfiguriert, dass sie sich in der Dimension Z bewegen und zu bewegen scheinen, das heißt in einer Richtung senkrecht zu der Ebene des Bildes.
Das durch den Videoprozessor 24 erzeugte Videobild stellt tatsächlich einen Hintergrund dar, bei dem es sich um ein volles Video-Einzelbild handelt, welches in der Lage ist, Bilder mit voller Videorate zu erzeugen. Darüber hinaus wird die wahrgenommene Bewegung der Vordergrundbilder verstärkt, da sie hinter Elemente des durch den Prozessor 24 erzeugten Hintergrundbildes zu wandern scheinen, wenn ihre Dimension Z zunimmt, das heißt, wenn sie sich weiter von der Vordergrundebene des angezeigten Bildes entfernen.
Statt eine ebene Hintergrundebene darzustellen, die von keinem der Vordergrundobjekte durchquert werden kann, läßt sich das durch den Prozessor 24 erzeugte Hintergrundbild als eine Szene denken, bei der einige Bereiche eine unterschiedliche Z- Dimension im Vergleich zu anderen Bereichen der genannten Szene aufweisen.
Es scheint sich also ein erstes durch den Videoprozessor 21 erzeugtes Bild über eine Vielzahl von Einzelbildern relativ zu einem zweiten Bild zu bewegen, das durch den Videoprozessor 24 erzeugt wurde. Möglicherweise scheint sich das erste Bild in Reaktion auf interaktive Befehle, die über das Steuergerät 28 zugeführt wurden, von der Anzeigeebene zu entfernen oder näher darauf zu zu bewegen, so dass es sich in Abhängigkeit von den durch das erste Bild definierten Tiefewerten vor oder hinter Elementen des zweiten Bildes befindet. Darüber hinaus hat auch das zweite Bild Tiefewerte, die für jedes Bildelement des genannten Bildes definiert sind. Die Tiefewerte des ersten Bildes werden also mit den Tiefewerten der Bildelemente des zweiten Bildes verglichen, um Bildelement für Bildelement zu ermitteln, ob sich das erste Bild vor oder hinter den Bildelementen des genannten zweiten Bildes befindet. Der Mischer 23 ist vorgesehen, um ein Ausgangsbild zu erzeugen, das vorwiegend aus Beiträgen von den vordersten Bildelementen des ersten oder des zweiten Bildes besteht.
Jedes Bildelement, das durch den Videoprozessor 24 erzeugt wurde, besitzt zusätzlich zu einem Mehrbit-Tiefewert auch einen Mehrbit-Wert, der die Opazität des betreffenden Bildelementes beschreibt. Wenn ein Bildelement also vollkommen undurchsichtig ist und wenn es sich in der Position des vordersten Bildelementes befindet, verdeckt es alle Bildelemente, die sich in tieferen Ebenen befinden. Wenn ein Bildelement hingegen vollkommen transparent ist, ist es nicht zu sehen und die Bilddaten werden von den darunterliegenden Bildelementen gewonnen. Da es sich bei den Opazitätswerten um Mehrbit- Werte handelt, können ihnen Zwischenwerte zugeordnet werden, so dass ein oberes und ein unteres Bildelement in bestimmtem Maß gemischt werden. Die Einbeziehung dieser Opazitätswerte an den Kanten des Objektes erleichtert also nicht nur die Transparenzeffekte wie zum Beispiel die Überblendung zwischen Bildern, sondern ermöglicht auch das Mischen von Bildern. Wenn sich Objekte aus verschiedenen Ebenen überlappen, erhalten sie weiche Kanten mit Antialiasing, so dass ein natürlich wirkendes Ergebnis erreicht wird.
Der Mischer 23 muß die Tiefe, die Opazität und die Farbe für jedes Bildelement der drei Eingangs-Videoebenen berücksichtigen, um ein Ausgangssignal zu erzeugen, welches dem Digital-Analog-Umsetzer 25 zugeführt wird. Dies wird erreicht, indem die zu jedem der Videosignale gehörenden Tiefewerte einer Tiefe-Auflösungsschaltung zugeführt werden. Diese Tiefe-Auflösungsschaltung erzeugt einen relativen Tiefe- oder Ordnungswert für jedes Bildelement der drei Ebenen, und diese Tiefewerte werden ihrerseits einer Opazitäts-Berechnungsschaltung zugeführt, um Bildfaktoren für jede der drei Ebenen zu erzeugen. Es erfolgt also eine Vermischung auf Bildelementbasis in Bezug auf die relative Tiefe der Bildelemente und die Bildelement-Opazität.
Wenn einmal Bildfaktoren für jede der drei Ebenen erzeugt sind, werden die Videosignale selbst in einer Video-Kombinationsschaltung kombiniert.
Die Tiefe-Auflösungsschaltung, die einen Teil des Mischers 23 bildet, ist in Fig. 2 genauer dargestellt. Für jedes der drei Videosignale V1, V2 und V3 steht ein Vier- Bit-Tiefewert für jedes Bildelement zur Verfügung, und die genannten Vier-Bit-Werte DV1, DV2 und DV3 werden den entsprechenden Verweistabellen 31, 32 und 33 als Eingabe zugeführt.
Nachdem Vier-Bit-Eingabewerte zugeführt wurden, besteht jede Verweistabelle aus sechszehn adressierbaren Einträgen, und jeder der genannten adressierbaren Einträge umfaßt insgesamt sechs Bits. Die Verweistabellen sind über einen Datenbus 34 programmierbar, so dass die Umwandlung der Vier-Bit-Eingabewerte in Sechs-Bit-Werte bei Bedarf auf Einzelbildbasis geändert werden kann. Die durch das System erzeugte Tiefe- Auflösung ist damit wesentlich größer als die Auflösung, die durch die anfänglichen vier Bits, die auf Bildelementbasis erzeugt werden, geliefert wird.
Jeder Sechs-Bit-Wert wird jedem der drei Komparatoren 35, 36 und 37 zugeführt, die jeweils ein Ausgangssignal auf einer Leitung 38 erzeugen können, welches angibt, dass eine der diesem zugeführten Eingaben sich vor einer anderen diesem zugeführten Eingabe befindet; alternativ können sie ein Ausgangssignal auf einer Leitung 39 erzeugen, welches angibt, dass die Ebenen gleich sind.
Die Ausgangssignale auf Leitung 38 werden einer Verweistabelle 40 zugeführt, die ausgehend von den genannten drei Eingangswerten Tiefeordnungswerte mit jeweils zwei Bits erzeugt. Eine erste Ausgangsleitung 41 identifiziert damit die relative Position der Videoebene V3, das heißt, es wird ein Zwei-Bit-Wert erzeugt, der diese Ebene als im Vordergrund, in der Mitte oder im Hintergrund befindlich bezeichnet. Auf ähnliche Weise wird auf Leitung 42 ein Zwei-Bit-Wert erzeugt, um die Position der Videoebene V2 zu identifizieren, und ein ähnlicher Zwei-Bit-Wert wird auf Leitung 43 erzeugt, um die Position der Videoebene V1 zu identifizieren. Nachdem die Sechs-Bit-Werte durch die Komparatoren 35, 36 und 37 verarbeitet würden, werden die Videoebenen auf Bildelementbasis geordnet. Während die Ausgangssignale von den Verweistabellen 31, 32 und 33 also die tatsächlichen Positionen in Z-Richtung darstellen, stellen die Ausgangssignale von der Verweistabelle 40 lediglich eine bevorzugte Ordnung dar, das heißt, die Zwei-Bit-Werte bezeichnen Verdunklungsprioritäten für die drei Videoebenen.
Die Ausgangssignale auf Leitung 39 können benutzt werden, um anzugeben, dass eine Kollision aufgetreten ist - was vor allem für Videospiele usw. nützlich ist - und die Existenz einer derartigen Kollision wird in einer Kollisions-Protokollschaltung 44 protokolliert, die ihrerseits Daten über den Datenbus 34 an den Steuerungsprozessor 17 zurückschickt. Die in Fig. 2 dargestellte Schaltung verfolgt automatisch die Bewegung der Objekte in der Tiefenrichtung. Diese Funktion muß also nicht durch ein Anwendungsprogramm vorgesehen werden. Auf ähnliche Weise werden durch die Verwendung der Schaltung 44 Daten bezüglich des Auftretens einer Kollision für das Anwendungsprogramm identifiziert, wodurch die Anforderungen an das Anwendungsprogramm weiter verringert werden.
In Fig. 3 ist eine Opazitäts-Berechnungsschaltung dargestellt, in der Vier- Bit-Opazitätswerte OV1, OV2, OV3 für jede der drei Videoebenen entsprechenden Verweistabellen 51, 52 und 53 zugeführt werden. Um eine übergangslose Vermischung an den Schnittkanten zu erhalten, sind die Verweistabellen 51, 52 und 53 jeweils acht Bit tief, und die tatsächliche Art der Konvertierung der Vier-Bit-Eingangswerte in Acht-Bit- Ausgangswerte kann auf Einzelbildbasis in Reaktion auf die vom Steuerungsprozessor 17 gelieferten Daten gesteuert werden.
Es ist zu beachten, dass die Anzahl der für die Tiefewerte und für die Opazitätswerte vorgesehenen Bits mit Hilfe der Verweistabellen erweitert wird. Die Erweiterung der Tiefewerte ermöglicht die Schaffung von mehr als sechszehn Objekttiefen. Außerdem erlaubt sie die Änderung der Tiefe eines Objektes durch Ändern seiner Tiefe- Verweistabelle, ohne dass die eigentlichen codierten Daten für das Objekt geändert werden.
Die Erweiterung der Opazitätswerte von den anfänglichen vier Bits auf acht Bits ermöglicht eine weiche Überblendung zwischen den Bildern. Um weiche Kanten mit einer Vielzahl von Opazitätswerten zu schaffen, können die Verweistabellenwerte auf Einzelbildbasis geändert werden, wodurch man ausgehend von den gleichen Eingangsdaten eventuell eine erste Position auf dem ersten Einzelbild und eine Zwischenposition auf einem zweiten Einzelbild erhält, so dass eine weiche Kante entsteht.
Eine Summierschaltung 54, eine Summierschaltung 55, ein Multiplizierer 56 und ein zweiter Multiplizierer 57 sind auf eine solche Weise konfiguriert, dass man Bildelementwerte von der ersten, der zweiten und der dritten Ebene als vordere, mittlere und hintere Werte erhält, und zwar entsprechend der Vorgabe durch die Zwei-Bit- Positionscodes aus Tabelle 40. Die Umordnung dieser Ebenen wird mit Hilfe von Multiplexern 58, 59, 60 erreicht, die jeweils vorgesehen sind, um die drei Ausgangssignale von den Verweistabellen 51, 52 und 53 zu erhalten und in Reaktion auf die genannten Zwei-Bit- Werte ein Ausgangssignal auszuwählen. Das Ausgangssignal von jedem der Multiplexer kann also mit jedem der Ausgangssignale von den drei Verweistabellen 51, 52 und 53 übereinstimmen. Auf ähnliche Weise erhalten die Multiplexer 61, 62 und 63 die auf geeignete Weise durch eine Verweistabelle 64 modifizierten Ordnungsinformationen.
Das Ausgangssignal des Multiplexers 61 besteht aus einem Bildfaktor IF (V1) für das erste Videobild, und auf ähnliche Weise besteht das Ausgangssignal von Multiplexer 62 aus einem Bildfaktor IF (V2) für das zweite Videobild und das Ausgangssignal von Multiplexer 63 aus einem Bildfaktor IF (V3) für das dritte Videobild. Die Bildfaktor- Daten tragen also der Bildelementposition in der Dimension Z und auch der Bildelement- Opazität Rechnung. Auf diese Weise können Videobilder durch einfache Addition kombiniert werden, wobei ihre Positions- und ihre Opazitätswerte durch ihre jeweiligen Bildfaktoren berücksichtigt werden.
Ein Bildfaktor für das vordere Videobild, das jedes der drei verfügbaren Videobilder sein kann, wird durch den Multiplexer 58 erzeugt und an jeden der Multiplexer 61, 62 und 63 weitergeleitet. Die Summierschaltung 54 erhält an ihrem positiven Eingang einen festen Wert von 255 und an ihrem negativen Eingang das Ausgangssignal des Multiplexers 58. Das Ausgangssignal der Summierschaltung 54 besteht also aus 255 minus dem vorderen Bildfaktor und wird seinerseits dem Multiplizierer 56 zugeführt. Dem zweiten Eingang des Multiplizierers 56 wird das Ausgangssignal des Multiplexers 59 zugeführt, und als Ausgangssignal erzeugt der Multiplizierer 56 nun den mittleren Bildfaktor.
Das Ausgangssignal des Multiplexers 58 wird auch einem negativen Eingang der Summierschaltung 55 zugeführt, die auch das Ausgangssignal des Multiplexers 56 an einem negativen Eingang erhält. Diese beiden Eingangssignale werden daher von einem festen Wert von 255 subtrahiert, und das Ausgangssignal wird seinerseits einem Eingang eines Multiplizierers 57 zugeführt wird. Der Multiplizierer 57 erhält an seinem zweiten Eingang das Ausgangssignal des Multiplexers 60, um den Hintergrund-Bildfaktor für jeden der drei Ausgangs-Multiplexer 61, 62 und 63 zu erzeugen.
Das erste Videobild ist daher rein gedanklich das Vordergrund-Videobild, das zweite Videobild ist rein gedanklich das mittlere Videobild und das dritte Videobild ist rein gedanklich das Hintergrund-Videobild. In Reaktion auf die Tiefenordnungsinformationen von der Tiefe-Auflösungsschaltung kann diese Ordnung jedoch auf Bildelementbasis angepaßt werden. Die in Fig. 3 dargestellte Schaltung berücksichtigt diese Informationen und führt darüber hinaus Vermischungsinformationen ein, um Bildfaktor-Informationen für jedes der drei Videosignale zu erzeugen. Die durch die in Fig. 3 dargestellte Schaltung erzeugten Bildfaktor-Informationen werden einer Video-Kombinationsschaltung zusätzlich zu den eigentlichen Bildinformationen für jede der Ebenen zugeführt.
Eine Video-Kombinationsschaltung, die einen Teil des Mischers 23 bildet, ist in Fig. 4 dargestellt. Es wird davon ausgegangen, dass jedes Videosignal aus acht Bits besteht, die jeder der roten, grünen und blauen Farbkomponenten zugeordnet sind, obwohl Matrixschaltungen vorhanden sein können, um alternativ codierte Videoinformationen wie Luminanz- und Farbdifferenzwerte in geeignet codierte zusätzliche Rot-, Grün- und Blau- Signale umzuwandeln.
Jedes Videosignal V1, V2, V3 wird einer Gruppe aus drei Multiplizierern 71, 72 und 73 zugeführt, die jeweils vorgesehen sind, um eine der Farbkomponenten mit dem entsprechenden Bildfaktor zu multiplizieren. Alle verarbeiteten Rot-Komponenten werden dann in einer Rot-Summierschaltung 64 kombiniert, alle verarbeiteten Grün- Komponenten werden in einer ähnlichen Summierschaltung 65 kombiniert und die verar beiteten Blau-Komponenten in einer ähnlichen Summierschaltung 66. Als Ausgangssignal jeder Summierschaltung 64, 65 und 66 erhält man - über eine geeignete Begrenzungsschaltung 67 - eines der Farbsignale.
In Bezug auf Fig. 2 und Fig. 3 ist zu beachten, dass sowohl die Tiefe- Information als auch die Opazität-Information jeweils aus vier Bits für jede Bildelementposition bestehen, wodurch die Menge der für jedes Bildelement erforderlichen Daten um weitere acht Bits erhöht wird.
In einer Umgebung des in Fig. 1 dargestellten Typs, in der alle Videoinformationen von einem herkömmlichen Speichergerät 15 auf Computerbasis, zum Beispiel von einer optischen Compact Disc stammen, ist es nicht möglich, weitere acht Bits pro Bildelement bei voller Videorate zu erhalten. Um die benötigten Informationen zu erhalten, werden bei dem vorliegenden Ausführungsbeispiel die Daten vor der Speicherung komprimiert und anschließend durch die Video-Verarbeitungsschaltungen 21, 22 und 24 entkomprimiert.
Um den Vorgang der Entkomprimierung besser nachvollziehbar zu machen, wird die Prozedur in Bezug auf die Komprimierung beschrieben, wobei davon ausgegangen wird, dass der Videoprozessor den umgekehrten Vorgang durchgeführt.
Für jedes Bildelement des Einzelbildes wird ein Tiefewert identifiziert. In dieser Phase werden die Tiefewerte tatsächlich mit einer Auflösung von sechs Bits definiert, und für das Einzelbild wird eine Quantisierungsmatrix gewählt. Ausgehend von den gewählten Sechs-Bit-Werten wird die beste Übereinstimmung für die Konvertierung dieser Sechs-Bit-Werte in Vier-Bit-Werte aus den verfügbaren Quantisierungsmatrizen identifiziert.
Die Sechs-Bit-Werte werden unter Verwendung der gewählten Quantisierungsmatrix zu vier Bits quantisiert, und die Daten, die die gewählte Matrix identifizieren, werden gespeichert, so dass sie für die Programmierung der Verweistabellen 31, 32 und 33 aus Fig. 2 benutzt werden können.
Nachdem die Tiefewerte zu vier Bits pro Bildelementposition quantisiert wurden, erfolgt eine weitere Komprimierung durch zweidimensionale Lauflängen- Codierung. Die angewendete Prozedur ähnelt der PDQ-Codierung, die von Rafael C. Gonzales und Paul Vince in ihrem Buch mit dem Titel "Digital Image Processing", veröffentlicht durch Addison Wesley, beschrieben wird.
Die Kanten der Objekte innerhalb des Einzelbildes werden tatsächlich verfolgt. Es werden zwei aufeinanderfolgende Datenzeilen betrachtet, wobei die erste Zeile zu dem Zwecke der Codierung der zweiten Zeile codiert wurde. Die Positionen, an denen Übergänge auftreten, werden für die erste Zeile aufgezeichnet, und bei der Betrachtung der zweiten Zeile werden die Positionen der Übergänge in der zweiten Zeile betrachtet und es wird versucht, eine Übereinstimmung zwischen den Übergängen der zweiten Zeile mit ähnlichen Übergängen der ersten Zeile herzustellen. Dies führt zu einer Liste von Änderungen, die anhand der aus der ersten Zeile abgeleiteteten Daten die Spezifizierung der neuen Zeile ermöglicht.
Es sind drei Arten von Änderungen möglich. Die erste, und bei weitem die häufigste, ist eine Spezifikation mit dem Inhalt, dass eine Kante mit dem gleichen Wert existiert wie bei der vorhergehenden Zeile. In diesem Fall wird ein Ausgangscode mit dem Inhalt erzeugt, dass die gleiche Kante vorhanden ist, aber mit einem bestimmten horizontalen Versatz in Bezug auf die entsprechende Kante der vorhergehenden Zeile. Ein sehr häufiges Beispiel für diese Art von Änderung bezieht sich auf den Fall, in dem die Kante tatsächlich an der gleichen Position geblieben ist.
Die zweite Art von Änderung besteht aus Daten mit dem Inhalt, dass es keine Kante in der zweiten Zeile gibt, welche mit der Kante in der ersten Zeile übereinstimmt, so dass Daten erforderlich sind, die besagen, dass die Kante ignoriert werden soll. Drittens ist es möglich, dass eine neue Kante aufgetaucht ist, die in der vorhergehenden Zeile nicht vorhanden war, und es sind Daten erforderlich, die besagen, dass eine neue Kante vorhanden ist.
Einige der Kanten-Spezifikationen treten sehr viel häufiger auf als andere, so dass diese inhärente Redundanz die Anwendung der Huffman-Codierung erleichtert und dadurch eine weitere Komprimierung ermöglicht. Die Situation, in der eine Kante an der nächsten Position wiederholt wird, kann dann zum Beispiel als ein einziges Bit codiert werden, wodurch ein maximaler Komprimierungsgrad erreicht wird.
Es ist zu beachten, dass es in einer bestimmten Phase notwendig ist, Daten in Bezug auf die Tiefe von Objekten zu generieren. Um diese Prozedur zu erleichtern, können Chroma-Key-Verfahren für die Lieferung von Tiefe-Spezifikationen genutzt werden. Bei Chroma-Key-Verfahren wird üblicherweise ein blaues Bildelement so verarbeitet, als ob es vollständig transparent sei, so dass andere Objekte in dem Einzelbild vor einem neuen Hintergrund positioniert werden können. Bei dem vorliegenden Ausführungsbeispiel könnte die transparente Farbe auf eine solche Weise verarbeitet werden, dass das Bildelement so behandelt wird, als sei es in Z-Richtung in größter Entfernung positioniert, so dass es tatsächlich hinter allen anderen Objekten angeordnet wird.
Wie zuvor erwähnt, werden Acht-Bit-Opazitätswerte, vor allem an den Übergangskanten, benötigt, um zwischen den Kanten eine weiche Vermischung mit Antialiasing zu erhalten. Als eine Alternative zur Speicherung tatsächlicher Werte für die Opazität auf Bildelementbasis wäre es möglich, Werte zu schaffen, die die Position der Kanten in der Dimension X identifizieren, das heißt entlang einer Linie, und zwar mit einer Auflösung, die größer ist als der eigentliche Bildelement-Abstand. Bei dieser Auflösung wäre es dann möglich, Opazitätswerte für die Bildelemente zu berechnen, an denen Übergänge auftreten, und daraus geeignete Bildfaktoren abzuleiten.
Aus der obigen Beschreibung wird schnell ersichtlich, dass die Erfindung auch ein Bildspeicherungs- und Codierungsverfahren umfaßt, welches die Speicherung von Bildelementwerten zusammen mit zugehörigen Tiefewerten auf einem Speichermedium wie einer optischen Platte beinhaltet, die Bildinformationen in Form von Bildelementwerten und zugehörigen Tiefewerten enthält.
Aus der Lektüre der vorliegenden Beschreibung werden dem Fachkundigen leicht weitere Abwandlung ersichtlich sein. Derartige Abwandlungen können andere Merkmale einschließen, die bereits von dem Entwurf, der Herstellung und der Verwendung von Bildverarbeitungsvorrichtungen und deren Bestandteilen her bekannt sind und anstelle oder zusätzlich zu den hier bereits beschriebenen Merkmalen eingesetzt werden können.

Claims

1. Verfahren zur Bildverarbeitung, bei dem sich bewegende Ausgangsbilder als zweidimensionale Anzeige (26) dargestellt werden, und zwar in Form von zeitlich getrennten zweidimensionalen Einzelbildern mit Bildelementen (Pixeln), wobei

die genannten Ausgangsbilder aus einem ersten Bild und einem zweiten Bild zusammengesetzt werden; und

wobei sich das erste genannte Bild über eine Vielzahl von Einzelbildern in Bezug auf ein zweites Bild zu bewegen scheint, dadurch gekennzeichnet, dass

für jedes der genannten ersten und zweiten Bilder absolute Tiefewerte (DV1, DV2, DV3) für alle Bildelemente definiert werden, aus denen sich die jeweiligen Bilder zusammensetzen;

Tiefewerte des genannten ersten Bildes mit den Tiefewerten der Bildelemente des genannten zweiten Bildes verglichen werden, um Bildelement für Bildelement zu ermitteln, ob Bildelemente des ersten Bildes vor oder hinter den Bildelementen des genannten zweiten Bildes liegen;

wobei die genannten absoluten Tiefewerte mit einer höheren Auflösung verarbeitet werden, aber mit einer geringeren Auflösung gespeichert werden, und wobei die Werte mit geringerer Auflösung mit Hilfe einer Verweistabelle (31, 32, 33) in Werte mit höherer Auflösung konvertiert werden; und dadurch, dass

man bevorzugte Beiträge aus den vordersten Bildelementen von entweder dem ersten Bild oder dem zweiten Bild erhält, um ein Ausgangsbild zu erzeugen, in dem sich das genannte erste Bild in eine Anzeigeebene hinein oder aus einer Anzeigeebene heraus zu bewegen scheint, so dass es vor oder hinter Elementen des genannten zweiten Bildes liegt, und zwar in Abhängigkeit von deren relativen Tiefewerten.

2. Verfahren nach Anspruch 1, wobei die genannte Verweistabelle für jedes Einzelbild umprogrammierbar ist.

3. Verfahren nach Anspruch 1, wobei die Tiefewerte als eine Gruppe von Werten gespeichert werden, die durch einen Prozeß der zweidimensionalen Lauflängen- Codierung komprimiert wurden und mit zeitlich und räumlich komprimierten Videodaten kombiniert wurden.

4. Verfahren nach Anspruch 3, wobei Opazitätswerte für jedes Bildelement des genannten ersten und des genannten zweiten Bildes geliefert werden und mit den genannten Tiefewerten verarbeitet werden, um einen Bildfaktor für jedes Bildelement jedes Bildes zu berechnen.

5. Verfahren nach Anspruch 1, mit einem dritten Videobild, wobei Tiefewerte Bildelement für Bildelement für jede entsprechende Bildelementposition für jedes der drei genannten Bilder betrachtet werden.

6. Bildverarbeitungsvorrichtung mit Mitteln zum Darstellen von sich bewegenden Ausgangsbildern auf einer zweidimensionalen Anzeige (26) in Form von zeitlich getrennten zweidimensionalen Einzelbildern aus Bildelementen, und mit Mitteln zum Konstruieren der genannten Ausgangsbilder ausgehend von einem ersten Bild und von einem zweiten Bild auf eine solche Weise, dass sich das genannte erste Bild über eine Vielzahl von Einzelbildern relativ zu dem genannten zweiten Bild zu bewegen scheint, gekennzeichnet durch:

Mittel (21, 22, 24) zum Verarbeiten der genannten Daten mit einer höheren Auflösung, so dass das genannte erste Bild sich in ein Anzeige-Einzelbild hinein oder aus einem Anzeige-Einzelbild heraus zu bewegen scheint, so dass es vor oder hinter Elementen des genannten zweiten Bildes liegt, und zwar in Abhängigkeit von den für das genannte erste Bild definierten Tiefewerten, wobei für das genannte erste Bild und das genannte zweite Bild absolute Tiefewerte für alle Bildelemente definiert sind, aus denen sich die jeweiligen Bilder zusammensetzen;

Mittel zum Empfangen der mit einer geringeren Auflösung gespeicherten Tiefewerte (DV1, DV2, DV3), die dazu dienen, diese mit Hilfe von Verweistabellen (31, 32, 33) in die genannten Werte mit höherer Auflösung zu konvertieren;

Mittel (35, 36, 37) zum Vergleichen der Tiefewerte des genannten ersten Bildes mit den Tiefewerten von Bildelementen des genannten zweiten Bildes, um Bildelement für Bildelement zu ermitteln, ob Bildelemente des genannten ersten Bildes vor oder hinter Bildelementen des genannten zweiten Bildes liegen; und

Mittel (23) zum Kombinieren der bevorzugten Beiträge von den vordersten Bildelementen von entweder dem ersten Bild oder dem zweiten Bild, um ein Ausgangsbild zu erzeugen.

7. Vorrichtung nach Anspruch 6, mit Mitteln zum Umprogrammieren der genannten Verweistabellen auf Einzelbildbasis.

8. Vorrichtung nach Anspruch 6, mit Mitteln zum Entkomprimieren von zweidimensionalen lauflängen-codierten Daten, die die genannten Tiefewerte definieren.

9. Vorrichtung nach Anspruch 6, mit Mitteln zum Liefern von Opazitätswerten für jedes Bildelement der Videobilder, und mit

Verarbeitungsmitteln zum Verarbeiten der genannten Opazitätswerte, um Bildfaktoren für jedes Bildelement jedes Eingangsbildes zu berechnen.

10. Vorrichtung nach Anspruch 9, mit Mitteln zum Entkomprimieren und Decodieren von Opazitätswerten, die durch Quantisierung und zweidimensionale Lauflängen- Codierung codiert wurden und von einem Speichergerät gelesen wurden.

11. Vorrichtung nach Anspruch 9, wobei die genannten Opazitätswerte aus Daten erzeugt werden, die die Position der Kantenübergänge mit einer Auflösung definieren, die größer ist als der Abstand der Bildelemente.

12. Vorrichtung nach Anspruch 6, mit Mitteln zum Erzeugen eines dritten Videobildes, wobei Tiefewerte Bildelement für Bildelement für jede Bildelementposition für jedes der genannten drei Bilder betrachtet werden.

Bildinschriften:

Fig. 1

15 Optische Platte

16 Platten-Controller

20 RAM

18 Audio

24 Videoprozessor

22 Videoprozessor

21 Videoprozessor

17 Steuerungsprozessor

23 Mischer

Fig. 2

DEPTH (D) Tiefe

LUT Verweistabelle

COMP Komparator

Collision Logger Kollisions-Protokopierer

Position von V3

Position von V2

Position von V1 (jeweils 2 Bits)

Data Bus Datenbus

Fig. 3

LUT Verweistabelle

MUX Multiplexer

Fig. 4

Image factor Bildfaktor