DE69303468T2

DE69303468T2 - Speicherbasierte verfahren und geraet fuer rechnergraphik

Info

Publication number: DE69303468T2
Application number: DE69303468T
Authority: DE
Inventors: Roberto I-38100 Trento Brunelli; Tomaso A. Wellesley Ma 02181 Poggio
Original assignee: IST TRENTINO DI CULTURA; Massachusetts Institute of Technology
Current assignee: IST TRENTINO DI CULTURA; Massachusetts Institute of Technology
Priority date: 1992-01-13
Filing date: 1993-01-08
Publication date: 1997-01-16
Anticipated expiration: 2013-01-09
Also published as: US5416899A; DK0621969T3; AU660532B2; KR950700576A; US5659692A; ATE140091T1; GR3020963T3; CA2126570A1; EP0621969B1; WO1993014467A1; DE69303468D1; EP0709810A3; AU3438093A; ES2091593T3; EP0621969A1; EP0709810A2; JPH07509081A

Description

Hintergrund der Erfindung

Die Computertechnik hat eine Vielzahl von Graphik- und Bildverarbeitungssystemen&sub1; von Graphikanimationssystemen bis zu Mustererkennungssystemen (wie z.B. neuronale Netze), hervorgebracht. Für solche Systeme ist die Genauigkeit erzeugter (Ausgabe-) Bilder und insbesondere von Bildsequenzen wichtig.
Im allgemeinen beruht eine graphische Animation heute typischerweise auf den drei Schritten (i) eines dreidimensionalen Modellierens von Oberflächen eines interessierenden Gegenstands, (ii) einer physikalisch basierten Simulation von Bewegungen und (iii) eines Wiedergebens oder einer computergestützten Illumination bzw. Ausleuchtung dreidimensionaler Bilder von berechneten Oberflächen. Der Schritt eines dreidimensionalen Modellierens beruht typischerweise auf einer dreidimensionalen Beschreibung, die Spezifikationen von x-, y-, z-Achsen und Oberflächenspezifikationen einschließt. Das resultierende 3-D-Modell betrachtet man als ein physikalisch basiertes Modell. Deshalb kann jede in Frage kommende Ansicht berechnet werden. Eine Bewegung, wie z.B. eine Drehung des ganzen Modells oder von Teilen davon, und eine Ausleuchtung werden dann durch computerunterstützte Entwurfs(CAD)-Systeme und dergleichen ausgeführt. Während dieser Ansatz eines 3-D-Modellierens und einer physikalischen Simulation zur graphischen Animation zweifellos grundsätzlich korrekt ist und leistungsfähig sein kann, sind gegenwärtige Ergebnisse noch weit vom allgemeinen Ziel entfernt, realistische Bildsequenzen zu liefern.
Vor der Verwendung dreidimensionaler, physikalisch basierter Modelle von Gegenständen zur Graphikanimation wurden zweidimensionale Bilder verwendet. In einem zweidimensionalen Bild eines Gegenstands ist nur eine einzige perspektivische Ansicht bereitgestellt, d.h. berechenbar. Grundsätzlich liefert eine Reihe von 2-D-Bildern eines Gegenstands in entsprechenden Posituren den Eindruck einer Bewegung des ganzen Gegenstands oder von Teilen des Gegenstands und daher eine graphische Animation. Dieser 2-D-Serienbildansatz zur graphischen Animation ist umständlich und erfordert oft eine Wiederholung des Zeichnens/Lieferns von Teilen von Ansichten von einer Ansicht zu nachfolgenden Ansichten und ist folglich mit vielen Unzulänglichkeiten behaftet. Der auf einem 3-D-Modell beruhende Ansatz mit Computerunterstützung wurde mit dem Aufkommen der Computertechnik entwickelt, um den Ansatz einer 2-D-Bildgraphikanimation zu verbessern und dessen Unzulänglichkeiten auszuschließen.
Eine Technik zum Erzeugen einer computerverarbeiteten Animation wird in der internationalen Patentveröffentlichung Nr. WO 89/09458 diskutiert. Dort werden graphische Bewegungsseguenzen für eine Zeichentrickfigur durch Nachahmen einer Bewegung einer Versuchsperson bzw. eines Akteurs erzeugt. Gelenke an dem Akteur sind Gelenken an der Zeichentrickfigur zugeordnet, die Segmente der Figur skizzieren. Die Segmente sind an gemeinsamen Gelenken gegeneinander beweglich. Für jedes Segment der Figur paßt eine Anzahl von Schlüsselzeichnungen in einem Speicher zu verschiedenen Orientierungen des Segments an dem Akteur. Schlüsselzeichnungen werden aus dem Speicher ausgelesen, um jedes einzelne Segment der Figur zu bilden, während sich der Akteur bewegt. Die Segmente werden an den gemeinsamen Gelenken miteinander verbunden, um die bewegte bzw. animierte Figur zu bilden.
Eine Computeranimation wird auch von T. Agui et al. in "Three-Dimensional Computer Animation by Trigonometric Approximation to Aperiodic Motion" Systems and Computers in Japan 19(5): 82 - 88 (1988) diskutiert. Der Artikel diskutiert die Verwendung einer trigonometrischen Näherung und die Anwendung einer Fourierentwicklung zur Cornputeranimation. Das Verfahren kann eine Bewegung als eine Funktion darstellen und approximiert eine Animation für die Gehbewegung eines Menschen.
Zusätzlich zu Computersystemen zum Erzeugen von Graphikanimation gibt es Computersysteme zum Kategorisieren oder Erkennen von Mustern, oder allgemeiner zum Abbilden von Mustern, in 3-D- oder 2-D-Ansichten/Bildern, okkludierten Bildern und/oder verrauschten Bildern. Diese Computersysteme werden manchmal als neuronale Netze bezeichnet. Ein neuronales Netz wird typischerweise vordefiniert oder trainiert, bei einer bestimmten Eingabe eine Zielausgabe zu erzeugen. Paare von Beispielabbildungen (bestimmte Eingabe-Zielausgabe), die zusammen der "Trainingssatz" genannt werden, werden dem neuronalen Netz während der Lernmodus bzw. Lernen genannten, vordefinierenden Stufe übergeben. Während des Lernens läßt man interne Parameter des neuronalen Netzes gegen jeweilige Werte konvergieren, die die gewünschten Abbildungen für eine beliebige spätere gegebene Eingabe erzeugen. Danach bearbeitet das neuronale Netz Eingabemuster eines Objekts und liefert gemäß der gelernten Abbildung ein Ausgabemuster.

Zusammenfassung der Erfindung

Die vorliegende Erfindung stellt ein Computerverfahren und eine Computervorrichtung zum Erzeugen einer 3-D-Graphik und -Animation, wie in den Ansprüchen 7 bzw. 1 beschrieben, zur Verfügung, die auf zweidimensionalen Ansichten und neuartigen Näherungsverfahren anstelle einer physikalisch basierten 3-D- Modellierung wie beim Stand der Technik beruht. Allgemein verwendet das Verfahren der vorliegenden Erfindung einige Bilder bzw. Ansichten eines Gegenstands, wie z.B. einer Person, um unter der Steuerung eines Parametersatzes Zwischenansichten zu erzeugen. Die Parameter sind insbesondere Punkte entlang Arbeitsachsen, und die Ansichten entsprechen verschiedenen Punkten entlang den Arbeitsachsen. Die Arbeitsachsen können irgendein geometrischer oder graphischer Aspekt zum Beschreiben eines Objekts sein. Deshalb definieren die Parameter zum Beispiel einen Winkel einer Drehung um eine longitudinale Arbeitsachse, einen Winkel einer Neigung um eine orthogonale Arbeitsachse, eine dreidimensionale Position (oder Orientierung) des Gegenstands oder die Gesichtsausdrücke der Person und dergleichen.
Die Verfahrensschritte können zusammengefaßt werden als
(1) Liefern zweidimensionaler Ansichten eines Objekts;
(2) für jede Ansicht, Vorgeben von Parametern gemäß geometrischer und/oder graphischer Merkmale (wie z.B.
Orientierung/Positur und Ausdruck) des Objekts und Zuordnen von Bezugspunktwerten zu dem Parametersatz; und
(3) Erzeugen von Zwischenansichten für gewünschte Werte der Parameter durch Verallgemeinerung/ Interpolation.
Der Satz von Ansichten, der während der Parametervorgabeschritte verwendet wird, besteht vorzugsweise aus realen, hochaufgelösten Bildern des Objekts.
In einer bevorzugten Ausführungsform schließt der Schritt eines Zuordnens von Bezugspunktwerten zu dem Satz von Parametern ein Lernen des neuronalen Netzes aus Beispielen ein, bei denen jede der gegebenen Ansichten als ein Trainingssatz dient und mit entsprechenden Parameterwerten, d.h. Punkten entlang den Arbeitsachsen, (wie z.B. der Positur und dem Ausdruck der Person) verknüpft ist. Die verwendete Lerntechnik ist die der sogenannten Hyperbasisfunktionen (HBF). Ein Spezialfall der HBFS sind die sogenannten radialen Basisfunktionen, bei denen eine unbekannte mehrdimensionale Funktion durch die Überlagerung einer gegebenen Anzahl von radialen Funktionen approximiert wird, deren Zentren auf den Punkten des Trainingssatzes (d.h. den Bezugspunkten) liegen.
Gemäß einem Aspekt der vorliegenden Erfindung umfaßt eine Vorrichtung für eine Computergraphikanimation a) eine Quelle zum Liefern von Musteransichten eines Objekts, b) einen mit der Quelle gekoppelten Vorverarbeitungsteil, c) einen mit dem Vorverarbeitungsteil gekoppelten Bildprozessor und d) ein mit dem Bildprozessor gekoppeltes Sichtgerätmittel. Die Quelle liefert Musteransichten eines Objekts, wobei jede Musteransicht das Objekt in einer verschiedenen Musterposition entlang einer oder mehreren Arbeitsachsen liefert. Jede Arbeitsachse wird aus einer Vielzahl von Punkten gebildet, wobei jeder Punkt einen verschiedenen Parameterwert hat, um eine verschiedene Position des Objekts entlang der Arbeitsachse zu definieren. Zusammen mit Zwischenpositionen liefert eine Sequenz der Musterpositionen eine Animation des Objekts in einer bestimmten Bewegung.
Der Vorverarbeitungsteil ist mit der Quelle so gekoppelt, daß er die Musteransichten empfängt, und bestimmt in jeder Musteransicht wiederum Werte (d.h. Lagen) von Bezugspunkten in einem Satz von Bezugspunkten des Objekts. Für jede Musteransicht legt der Vorverarbeitungsteil eine Zuordnung zwischen Werten der Bezugspunkte und Parameterwerten (d.h. Punkten entlang den Arbeitsachsen) fest, die die Musterposition des Objekts in dieser Musteransicht darstellen.
Der Bildprozessor ist mit dem Vorverarbeitungsteil gekoppelt und wird durch die festgelegten Zuordnungen zwischen Bezugspunktwerten und Parameterwerten der Musterpositionen des Objekts unterstützt. Insbesondere bildet der Bildprozessor Werte der Bezugspunkte für Musterpositionen des Objekts auf Werte der Bezugspunkte für gewünschte Zwischenpositionen (Punkte) entlang den Arbeitsachsen ab, um Zwischenansichten des Objekts zu bilden. Der Bildprozessor bildet aus sowohl den Musteransichten als auch den gebildeten Zwischenansichten eine Bildsequenz. Die Bildsequenz definiert einen Prototyp für eine Animation eines beliebigen Objekts in einer das Objekt enthaltenden Klasse.
Das Sichtgerätmittel ist mit dem Bildprozessor so gekoppelt, daß es die Bildsequenz vor Ort oder an einem entfernten Ort darstellt, um eine graphische Animation des Objekts in der bestimmten Bewegung zu liefern.

Kurze Beschreibung der Zeichnungen

Die bereits erwähnten und andere Ziele, Merkmale und Vorteile der Erfindung werden aus der folgenden ausführlicheren Beschreibung bevorzugter Ausführungsformen der Zeichnungen ersichtlich werden, in denen gleiche Bezugszeichen durchgehend auf die gleichen Teile bei verschiedenen Ansichten verweisen. Die Zeichnungen sind nicht notwendigerweise maßstabsgerecht, sondern statt dessen wird das Gewicht auf eine Veranschaulichung der Grundlagen der Erfindung gelegt.
Figur 1a ist eine schematische Veranschaulichung verschiedener Ansichten eines Objekts, die in dem Trainingssatz des neuronalen Netzes verwendet werden, das die Vorrichtung und das Verfahren für eine Computergraphik der vorliegenden Erfindung unterstützt.
Figur 1b ist eine schematische Veranschaulichung von für die Anfangsmusteransichten von Figur 1a erzeugten Zwischenansichten.
Figur 1c ist eine schematische Veranschaulichung von Zwischenansichten mit entsprechenden Polygonflächen zum Linienfüllen oder Füllen durch Grauskalierungstechniken.
Figur 1d ist eine schematische Veranschaulichung von Ansichten eines Objekts, aufgenommen entlang longitudinalen und orthogonalen Arbeitsachsen.
Figur 2 veranschaulicht eine durch einen Computer erzeugte Bildsequenz einer Graphikanimation, die auf fünf Muster(Trainings-) Ansichten in der Vorrichtung der vorliegenden Erfindung beruht.
Figur 3 veranschaulicht eine Graphikanimation eines neuen Objekts aus einer gemeinsamen Klasse von Objekten von demjenigen von Figur 2 unter Verwendung der für die Animation in Figur 2 gelernten Bewegungen (Bildsequenzen).
Figur 4a ist ein Blockdiagramm einer Computergraphikvorrichtung der vorliegenden Erfindung.
Figur 4b ist ein Flußdiagramm von Bild-Vorverarbeitungsund -Verarbeitungs-Subsystemen der Vorrichtung von Figur 4a.
Figur 5 ist eine schematische Veranschaulichung eines neuronalen Netzes, das durch die Computergraphikvorrichtung der vorliegenden Erfindung in den Figuren 4a und b genutzt wird.

Ausführliche Beschreibung der bevorzugten Ausführungsform

Die vorliegende Erfindung stellt eine speicherbasierte Vorrichtung und ein speicherbasiertes Verfahren zur graphischen Animation zur Verfügung. Wie in den Figuren 1a und 1b veranschaulicht ist, verwendet die vorliegende Erfindung begrifflich ausgedrückt eine begrenzte Anzahl von Anfangsbeispielen oder Musteransichten 13 eines interessierenden Gegenstands. Jede Musteransicht 13 ist ein an einem verschiedenen Punkt entlang einer Arbeitsachse (oder einem verschiedenen Satz von Punkten entlang einer Vielzahl von Arbeitsachsen) aufgenommenes Bild des Objekts. Für jede Musteransicht 13 stellt ein Parameterwert (oder Satz von Parameterwerten) den Punkt (die Punkte) entlang der Arbeitsachse (den Arbeitsachsen) dar, woraus die Musteransicht 13 definiert wird, wie später im Detail diskutiert wird. In der Abbildung von Figur 1a veranschaulicht jede Musteransicht 13 den interessierenden Gegenstand zu einer ver schiedenen Zeit t entlang einer einzigen Zeitachse und hat daher einen dies (d.h. den entsprechenden Wert von t) darstellenden Parameterwert.
Außerdem wird für jede der Musteransichten 13 des Gegenstands ein Satz zweidimensionaler Bezugspunkte 15 in der Bildebene, wie z.B. charakteristische Merkmale, Körperverbindungsstellen bzw. -gelenke etc., identifiziert und definiert. Dies schließt ein Festlegen von Lagewerten für jeden Bezugspunkt 15 in jeder der Musteransichten 13 ein.
Dann wird durch die vorliegende Erfindung eine Eingabe- Ausgabe-Abbildung zwischen Parameterwerten der gegebenen Musteransichten 13 des Gegenstands und den Lagewerten (für die Bezugspunkte 15) festgelegt. Aus dieser Abbildung kann die vorliegende Erfindung gewünschte Zwischenansichten 17 (Figur ib) zwischen zwei der Anfangsmusteransichten 13 und anschließend zwischen zwei neu erzeugten Zwischenansichten 17 und/oder Anfangsmusteransichten 13 erzeugen. Das heißt, die vorliegende Erfindung kann Lagewerte der Bezugspunkte 15 für gewünschte Parameterwerte von Zwischenpositionen des Objekts entlang den Arbeitsachsen erzeugen, um Zwischenansichten 17 zu bilden. Eine solche Erzeugung von Zwischenansichten 17 oder ein "Zwischenabbilden" wird durch eine Interpolation von Werten der Bezugspunkte 15 von Bezugspunktwerten, die den zu Anfang für die Musteransichten 13 definierten Parameterwerten zugeordnet sind, zu Bezugspunktwerten für gewünschte Parameterwerte der Zwischenansichten 17 ausgeführt.
Um eine relative Tiefe der verschiedenen Bezugspunkte 15 zu liefern, werden z-Puffertechniken, ein Linienfüllen oder eine Struktur- bzw. Texturabbildung verwendet. Insbesondere definieren die Bezugspunkte 15 in ihren bestimmten (berechneten) Lagen/Lagewerten Polygone 19 (Figur 1c), die sich von Ansicht zu Ansicht entsprechen und durch übliche Verfahren linienweise oder gemäß einer Grauskala gefüllt werden können. Folglich erhält man eine Serie von Ansichten (oder Bildern) eines Objekts und (mit einer geeigneten Wiedergabe oder Anzeige) dessen Animation ohne ein expuzites physikalisch basiertes 3- D-Modell des Objekts.
Wie erwähnt, sind die Parameterwerte Punkte entlang den Arbeitsachsen, und die Ansichten werden bestimmt, indem sie aus einem verschiedenen Satz von Punkten entlang den Arbeitsachsen erstellt werden. Die Arbeitsachsen können irgendein geometrischer oder graphischer Aspekt zum Beschreiben eines Objekts oder Gegenstands sein. Eine Arbeitsachse kann zum Beispiel eine longitudinale Achse sein, um die das Objekt gedreht werden kann. Die verschiedenen Punkte entlang der longitudinalen Achse werden durch einen Drehwinkel θ bezeichnet. Zum Beispiel kann ein gegebenes Bild eines Kopfes (a) von vorne unter θ = 0º, (b) ein wenig gedreht unter θ = 45º und (c) im Profil unter θ = 90º betrachtet werden.
Eine andere Arbeitsachse kann zum Beispiel eine orthogonale (z.B. horizontale) Achse sein, um die das Objekt geneigt werden kann. Die verschiedenen Punkte entlang dieser Achse werden durch einen Neigungswinkel φ bezeichnet. Zum Beispiel kann das Bild des Kopfes Ansichten aufweisen unter (i) φ = 0º, wobei der Kopf weder vorwärts noch rückwärts geneigt ist, (ii) φ = 45º, wobei der Kopf wie bei einem nickenden Kopf nach vorne geneigt ist, und (iii) φ = -45º wobei der Kopf nach hinten geneigt ist.
Ein Beispiel einer einen graphischen Aspekt eines Objekts definierenden Arbeitsachse ist eine Achse für einen Ausdruck. Man nehme an, daß das Kopfbild des Beispiels in der vorhergehenden Diskussion einen Gesichtsausdruck aufweist, der von einem breiten Lächeln über ein neutrales Gesicht bis zu einem Stirnrunzeln reicht. In diesem Fall ist die Arbeitsachse eine Achse für den Gesichtsausdruck, die aus drei Punkten gebildet wird, einem Punkt mit einem Parameterwert z = 1 zum Darstellen eines breiten Lächelns, einem mit einem Parameterwert z = 2 zum Darstellen eines neutralen Gesichts und einem mit einem Parameterwert z = 3 zum Darstellen eines Stimrunzeins.
Eine andere Arbeitsachse kann, wie in der Abbildung der Figuren 1a und 1b ersichtlich, die Zeit sein. Die Punkte dieser Achse markieren verschiedene Zeitpunkte, und daher zeigen die Parameterwerte dieser Punkte Positionen des Gegenstands zu dem entsprechenden Zeitpunkt an.
Die Ansichten eines Gegenstands werden dann entlang eines Satzes von Arbeitsachsen (d.h. durchgehend durch die Ansichten einer einzigen Arbeitsachse oder einer Kombination von Arbeitsachsen) folgendermaßen erstellt. Bei einem sich bewegenden Gegenstand, den man entlang einer einzigen Zeitachse betrachtet, erfaßt jede Ansicht das sich bewegende Objekt in einer verschiedenen Position zu einem Zeitpunkt t = n, einem Punkt entlang der Zeitachse. n ist ferner der der Ansicht entsprechende Parameterwert.
Für einen dreidimensionalen Gegenstand, der sich um eine longitudinale Achse dreht und um eine orthogonale (horizontale) Achse neigt, erfaßt jede Ansicht den Gegenstand in einer verschiedenen Position, die durch θ und φ (den Drehwinkel und Neigungswinkel gemäß der obigen Beschreibung) definiert ist. Das heißt, jede Ansicht hat ein verschiedenes Paar (θ, φ) von Parameterwerten, die entsprechende Punkte entlang der longitudinalen Arbeitsachse und der horizontalen Arbeitsachse angeben. Figur 1d ist eine Veranschaulichung, in der drei Ansichten eines sich um eine longitudinale und horizontale Arbeitsachse drehenden bzw. neigenden Gegenstands 12 dargestellt sind. Die erste Ansicht 14 zeigt den sich bewegenden Gegenstand 12, aufgenommen bei den Punkten θ = 90º und φ = 45º entlang der longitudinalen bzw. horizontalen Arbeitsachse. Das heißt, der Gegenstand 12 wird um 90º um eine longitudinale Arbeitsachse gedreht und um 45º um die horizontale Arbeitsachse geneigt, wobei die zweite Ansicht 16 den sich bewegenden Gegenstand 12 zeigt, aufgenommen bei (0º, 0º), d.h. nicht geneigt und nicht gedreht. Die dritte Ansicht 18 zeigt den sich bewegenden Gegenstand 12, aufgenommen bei den Punkten (0º, -45º), wo das Objekt nach hinten geneigt ist.
Für das Bild eines sich drehenden, neigenden Kopfes und sich ändernder Gesichtsausdrücke erfaßt jede Ansicht den Kopf in einer verschiedenen Position bzw. Stellung, die, wie oben beschrieben, durch θ, φ und z definiert ist. Das heißt, eine Ansicht des Kopfes von vorne, nicht geneigt und mit einem neutralen Ausdruck ist durch Triplettpunkte oder einen Dreifach- Parameterwert (0º, 0º, 2) definiert. Eine Ansicht des Kopfes im Profil, um 45º nach vorne geneigt und mit einem Stirnrunzeln ist durch Dreifach-Parameterwerte (90º, 45º, 3) definiert, usw.
Das Verfahren und die Vorrichtung der vorliegenden Erfindung wird als speicherbasiert bezeichnet, weil anstelle eines expliziten 3-D-Modells, das nach dem Stand der Technik jedesmal erstellt wird, ein Satz von 2-D-Ansichten zur Texturabbildung verwendet wird. Es wird betont, daß der Satz von Bezugspunkten 15 einem festen 3-D-Drahtmodell nicht entspricht, sondern vielmehr jeder Bezugspunkt ein 2-D-Punkt in der Bild(Ansichts)- Ebene ist. Ferner sind die Anfangsmusteransichten 13 wegen der Definition der Bezugspunkte 15 in Verbindung mit Parameterwerten mehr als zweidimensional (eine einzelne perspektivische Ansicht), sind aber weniger als ein dreidimensionales Modell, bei dem jede perspektivische Ansicht berechnet werden kann. Deshalb liefert die vorliegende Erfindung einen speicherbasierten 2½-D-Ansatz für eine 3-D-Graphik und -Animation. Es sei auch bemerkt, daß die Erfindung eine Technik zur Verfügung stellt, um ein "Zwischenabbilden" in einem mehrdimensionalen Eingaberaum (wie in Figur 1d) und nicht nur in einem eindimensionalen Eingaberaum wie in Figur 1b auszuführen.
In der Praxis verwenden Ausführungsformen der vorliegenden Erfindung zwei Abbildungen, eine erste Abbildung von einem Satz von Beispielpunkten (d.h. Bezugspunkten 15 von Musteransichten 13) eines Gegenstands auf einen Satz gewünschter Zwischenansichten 17 und eine zweite Abbildung von den erzeugten Zwischenansichten 17 auf eine Bildsecuenz des Gegenstands. Die Entsprechung zwischen einer Konfiguration der Bezugspunkte (die mit Parameterwerten verknüpft sind) und gewünschten Zwischenansichten 17 wird, wie oben erwähnt, aus Anfangsmusteransichten festgelegt. Der Raum aller perspektivischen Projektionen des Objekts ist in die Zwischenansichten 17 faktorisiert bzw. zerlegt, so daß aus den Musteransichten 13 beliebige gewünschte Zwischenansichten 17 des Gegenstands erzeugt (d.h. durch Interpolation berechnet) werden können. Die zweite Abbildung schließt eine Texturabbildung ein, um den verschiedenen Bezugspunkten eine relative Tiefe zu geben. Dort wo der Gegenstand zu einer Klasse von Gegenständen gehört, können ferner die ersten und zweiten Abbildungen von den anderen Mitgliedern (Gegenständen) der Klasse gemeinsam benutzt werden. Um diese Abbildungen gemeinsam zu benutzen, wird eine Abbildung von den Bezugspunkten der Beispiele eines gewünschten Gegenstands auf diejenigen des Klassenprototyps und deren Umkehrung verwendet.
Die Figuren 2 und 3 veranschaulichen die oben erwähnten Verfahren der vorliegenden Erfindung. Die Seguenz von Ansichten/Bildern dieser Figuren wird von rechts nach links und von oben nach unten gelesen. Gemäß Figur 2 sind fünf Musteransichten 21a, b, c, d, e gegeben, und diese stellen ein Objekt bzw. eine Person ("John") in einer bestimmten Bewegung (Gehen) dar. Die Lage beispielsweise jedes Unterarms, Schenkels, Schienbeins und Fußes wird für jede Ansicht gemäß einem Koordinatensystem in der Bildebene bestimmt. Die Koordinaten für jeden Unterarm, Schenkel, jedes Schienbein und jeden Fuß bilden einen mit {Ci} R² bezeichneten Satz von Bezugspunktwerten. Für jede verschiedene Bewegung α (z.B. Springen, Gehen, Rennen, etc.) verknüpft eine erste Abbildung Mα Bezugspunktwerte Ci mit spezifischen entsprechenden Parameterwerten (d.h. Punkten entlang den Arbeitsachsen).
Von jedem Satz {Ci} von Bezugspunktwerten werden die Absolutkoordinaten der Bezugspunkte durch übliche Verfahren und Mittel auf Schwerpunktkoordinaten transformiert. Die resultierenden Bezugspunkte in Schwerpunktkoordinaten bilden einen neuen Satz {CiB} von Bezugspunktwerten. Es ist dieser neue Satz von Bezugspunktwerten, der in der ersten Abbildung von Musteransichten 21 auf gewünschte Zwischenansichten verwendet wird. Schwerpunktkoordinaten werden verwendet, weil diese Abbildung intrinsisch für das Objekt ist, während sich eine Bewegung des Objekts auf die Umgebung bezieht.
Insbesondere besteht das Objekt S aus einer gegebenen Anzahl von Polygonelementen Ui, wobei jedes Element Ui durch eine Untermenge des Satzes von Bezugspunkten {CiB} definiert wird. Zum Beispiel wird ein Dreieckelement Ui durch Bezugspunkte 15a, b und g in dem Objekt von Figur 1a gebildet, und andere Elemente Ui in dem Objekt S von Figur 2 sind Rechtecke, Ellipsen und dergleichen. Das Objekt S wird dann mathematisch durch
S = {Ui}
bezeichnet.
Eine Animation des Objekts 5, beispielsweise unter Verwendung einer besonderen Bewegungsabbildung Mα entlang einer Zeit- Arbeitsachse, läuft darauf hinaus, eine Zeitabhängigkeit einzuführen, die durch
S(t) = {Ui(t)}
bezeichnet wird. Jedes Element Ui(t) wird unter Verwendung der Abbildung Mα für die gegebene Bewegung berechnet. Das heißt, jeder einzelne Bezugspunktwert Ci eines Elements Ui wird durch die Funktion Mα abgebildet, was das transformierte Ui ergibt, und das gleiche wird für jedes Ui (und dessen Bezugspunktwerte Ci) eines Objekts 5 ausgeführt. Es ergibt sich eine Zwischenansicht. Weitere Zwischenansichten werden ähnlich unter Verwendung der vorerwähnten Transformation jedes Elements Ui des Objekts 5 gemäß der Funktion der gewünschten Abbildung Mα erzeugt. Aus diesen Zwischenansichten wird eine Bildsecuenz für eine graphische Animation des Objekts aus Musteransichten 21 erzeugt.
Hat man Zwischenansichten aus Musteransichten 21 erzeugt, wird als nächstes eine Texturabbildung verwendet, um Bilder und insbesondere eine Bildsequenz für die graphische Animation des Objekts "John" aus den Zwischenansichten der Musteransichten 21 zu erzeugen. Die Texturabbildung wird durch Standardtechniken nach dem Stand der Technik ausgeführt. Insbesondere bildet eine Texturabbildung für jedes der zwischen den Bezugspunkten einer Musteransicht definierten Polygone Grauwerte auf die entsprechenden Polygone in den erzeugten Zwischenansichten ab.
In einer bevorzugten Ausführungsform führt die Vorrichtung der vorliegenden Erfindung die Funktion Gleichung 1
aus, worin
G(x) eine radiale Gaußfunktion ist (wie z.B. die radiale Greensche Funktion, die in "Networks for Approximation and Learning" von T. Poggio und F. Girosi, IEEE Proceedings, Band 78, Nr. 9, September 1990, definiert ist), wobei somit G(x) eine Gaußverteilung des Quadrats des Abstandes zwischen einem gewünschten x und einem vorbestimmten tα ist;
x die Position oder Punkte entlang Arbeitsachsen (Parameterwerte) ist, für die Lagewerte von Bezugspunkten gewünscht werden;
cα Koeffizienten (Gewichte) sind, die aus den bekannten/
gegebenen Bezugspunktwerten der Musteransichten 21 "gelernt" werden. Es gibt im allgemeinen viel weniger von diesen Koeffizienten, als die Anzahl N von Musteransichten (n ≤ N) beträgt;
tα ein sogenanntes "Zentrum" der Gaußverteilung ist und auf einem verschiedenen Satz von Bezugspunkten mit bekannten Parameterwerten der gegebenen Musteransichten 21 liegt; und
p (x) ein Polynom ist, das von gewählten Stetigkeitsannahmen abhängt. In vielen Fällen ist es günstig, Terme bis zu den konstanten und linearen Termen einzuschließen.
Ferner kann die Funktion G die multiguadratische Funktion G(r) = c+r² oder die "Thin-Plate-Spline"-Funktion G(r) = r²ln r oder andere spezielle Funktionen, radiale oder nicht radiale, sein. Die Norm ist eine gewichtete Norm
x - tα w² = (x - tα) TW TW (x - tα) Gleichung 2
worin W eine unbekannte Quadratmatrix ist und das hochgestellte T die Transponierte anzeigt. In dem einfachen Fall einer Diagonalmatix W ordnen die Diagonalelemente wi jeder Eingabekoordinate ein spezifisches Gewicht zu, was tatsächlich die Maßeinheiten und die Bedeutung jedes Merkmals bestimmt (die Matrix W ist besonders in Fällen wichtig, in denen die Eingabemerkmale verschiedenen Typs sind und ihre relative Bedeutung unbekannt ist).
Aus den vorhergehenden Gleichungen werden Lagewerte für Bezugspunkte in Zwischenansichten zu Zeiten t in dem Beispiel von Figur 2 (oder allgemeiner an gewünschten Punkten/Parameterwerten entlang Arbeitsachsen) genähert (interpoliert), und dann Elemente Ui von Musteransichten auf den transformierten Fall Ui(t) dieses Elements abgebildet. Als Ergebnis werden Zwischenansichten für einen ersten Bildsequenzteil 23 (Figur 2) zwischen Musteransichten 21a und 21b für einen ersten Bereich von t erzeugt. Zwischenansichten für einen zweiten Bildsequenzteil 25 zwischen Musteransichten 21b und 21c werden für einen unmittelbar folgenden Bereich von t erzeugt. Zwischenansichten für einen dritten Bildsecuenzteil 27 zwischen Musteransichten 21c und 21d werden für einen weiteren folgenden Bereich von t erzeugt. Und Zwischenansichten für einen vierten Bildsequenzteil 29 zwischen Musteransichten 21d und 21e werden für einen abschließenden Bereich von t erzeugt.
Im Ergebnis wird eine glatte bzw. stetige Bildsequenz des gehenden John, wie in Figur 2 veranschaulicht, erzeugt. Aus der vorhergehenden Diskussion versteht sich, daß für andere Bewegungen von John stetige Bildsequenzen in vergleichbarer Weise erzeugt werden. Es versteht sich gleichfalls, daß stetige Bildsequenzen für verschiedene Posituren (definiert durch eine Drehung um eine longitudinale Achse und/oder eine Neigung um eine orthogonale Achse und dergleichen) und/oder verschiedene Gesichtsausdrücke auf ähnliche Weise erzeugt werden.
Eine Ausführung des Vorhergehenden, und insbesondere eine Ausführung von Gleichung 1, wird in einer bevorzugten Ausfüh rungsform durch das in Figur 5 veranschaulichte Netzwerk bzw. Netz 51 erreicht. Ein neuronales Netz, oder genauer das Hyperbasisfunktions-Netz, 51 ist aus einer Schicht von Eingabeknoten 53 gebildet, die mit einer Schicht von Arbeitsknoten 55 gekoppelt sind, welche Aktivierungssignale an einen Summierausgabe knoten 57 senden. Die Eingabeknoten 53 übertragen ein Eingabemuster darstellende Signale. Diese Signale basieren auf den Bezugspunkten Ci, entsprechend Parameterwerten, die die Ansicht des Objekts in dem Eingabemuster definieren, und einer gewünschten Bewegung α. Jeder Eingabeknoten 53 ist mit jedem Arbeitsknoten 55 gekoppelt, d.h. man sagt, die Schicht der Eingabeknoten 53 ist mit den Arbeitsknoten 55 vollständig verbunden, um das Eingabemuster in der Arbeitsknotenschicht zu verteilen.
Die Arbeitsknoten 55 werden gemäß der (oben diskutierten) Gleichung 1 in zwei verschiedenen Modi aktiviert, zu Anfang in einem Lernmodus und danach in einem Operationsmodus, um gewünschte Muster abzubilden. Während des Lernmodus dienen die Musteransichten eines interessierenden Objekts (z.B. die fünf Musteransichten 21 von "John" in Figur 2) als ein Trainingssatz von Eingabemustern. Genauer liefern die Bezugspunkte der Musteransichten und ihre entsprechenden Parameterwerte entlang einer Arbeitsachse (oder Arbeitsachsen) für die gegebene Bewegung α eine Eingabe-Ausgabe-Abbildung Mα auf die Arbeitsknoten 55. Interne Gewichte und Netzkoeffizienten (cα, wi oder W, tα) werden für jede Eingabe-Ausgabe-Abbildung der Musteransichten eingestellt, und folglich läßt man sie gegen entsprechende Werte konvergieren. In der bevorzugten Ausführungsform schließt dies ein Finden der optimalen Werte der verschiedenen Sätze von Koeffizienten/Gewichten cα, wi und tα ein, die ein Fehlerfunktional auf den Musteransichten minimieren. Das Fehlerfunktional ist als Gleichung 3
definiert, wobei
gilt.
Ein übliches/standardmäßiges Verfahren zum Minimieren der Fehlerfunktion ist der Ansatz des steilsten Abfalls, der Berechnungen von Ableitungen erfordert. In diesem Verfahren werden die Werte von cα, t und W, die H[f*] minimieren, als die Koordinaten des stabilen Fixpunktes des folgenden dynamischen Systems betrachtet: Gleichung 4 Gleichung 5 Gleichung 6
worin ω ein Systemparameter ist.
Ein einfacheres Verfahren, das keine Berechnung von Ableitungen erfordert, ist die Suche nach statistischen bzw. zu fälligen Anderungen in den Koeffizientenwerten, die den Fehler reduzieren. Anders gesagt, werden zufällige Anderungen in den Koeffizienten/Gewichten cα, tα und W vorgenommen und akzeptiert, falls H[f*] abnimmt. Anderungen, die H[f*] erhöhen, können ebenfalls vereinzelt akzeptiert werden.
Nehmen die internen Gewichte und Netzkoeffizienten diese Werte an (d.h. werden diese zugeordnet), sagt man, daß das neuronale Netz 51 die Abbildung für die Bewegung α (oben als Mα bezeichnet) gelernt hat. Die Bewegung α kann ein Element des aus einem Gehen, Rennen, Springen etc. bestehenden Satzes mit Parameterwerten entlang einer einzigen Zeit-Arbeitsachse sein. Die Bewegung α kann ein Element in einem Satz von Posituren (Orientierung gemäß Dreh- und Neigungswinkel) mit Paaren von Parameterwerten entlang zweier Arbeitsachsen sein. Die Bewegung α kann ein Element in einem Satz von Posituren und Ausdrücken mit Parameterwerten in Tripletts entlang dreier Arbeitsachsen (einer longitudinalen, horizontalen und Ausdrucksachse) sein und so fort, im Einklang mit der vorhergehenden Diskussion der Arbeitsachsen. Die gleiche Lernprozedur wird für jede gegebene Bewegung α mit Musteransichten für dieselbe verwendet. Somit ist am Ende des Lernmodus das neuronale Netz 51 trainiert, um einen Satz von Parameterwerten entlang passenden Arbeitsachsen in zweidimensionale Ansichten des interessierenden Objekts abzubilden.
Nach Beendigung des Lernmodus und daher der Festlegung der internen Gewichte und Netzkoeffizienten W, cα, tα, werden die Arbeitsknoten 55 im Operationsmodus aktiviert. Nach dem Lernen sind speziell die Zentren tα der Basisfunktionen der obigen Gleichung 1 Prototypen ähnlich, weil sie Punkte in dem mehrdimensionalen Eingaberaum sind. Als Antwort auf die Eingabesignale (Koordinaten von Parameterwerten einer gewünschten Position oder Ansicht eines Objekts entlang den Arbeitsachsen) von den Eingabeknoten 53 berechnet jeder Arbeitsknoten 55 einen gewichteten Abstand der Eingaben von ihrem Zentrum tα, d.h. ein Maß ihrer Ähnlichkeit, und wendet darauf die radiale Funktion G an (Gleichung 1). In dem Fall der Gaußfunktion G weist ein Arbeitsknoten eine maximale Aktivierung auf, wenn die Eingabe ihrem Zentrum tα exakt entspricht. Somit werden die Arbeitsknoten 55 gemäß den gelernten Abbildungen Mα aktiviert.
Die Arbeitsknoten 55 übertragen erzeugte Aktivierungssignale G entlang von Leitungen 59 zu dem Summierausgabeknoten 57. Jede übertragungsleitung 59 multipliziert das entsprechende übertragene Aktivierungssignal mit einem während des Lernmodus des Netzes bestimmten Gewichtungswert cα. Folglich empfängt der Ausgabeknoten 57 von jedem Arbeitsknoten 55 Signale cG, was die lineare überlagerung der Aktivierungen aller Basisfunktionen in dem Netz 51 repräsentiert.
Der Ausgabeknoten 57 addiert zu den cG-Signalen direkte gewichtete Verbindungen von den Eingaben (die linearen Terme von p(x) der Gleichung 1, die durch gestrichelte Linien in Figur 5 dargestellt sind) und von einem Eingabeknoten 49 für eine Konstante (einen konstanten Term). Das Ganze liefert eine Ausgabe gemäß Gleichung 1.
Diese Ausgabe wird als die entsprechende Abbildung der gegebenen eingegebenen (gewünschten) Parameterwerte interpretiert. Das heißt, die Ausgabe definiert die Koordinaten (Lagewerte) der Bezugspunkte für Zwischenansichten und definiert letzten Endes die Bildsequenz für die Anfangsmusteransichten.
Bemerkt sei, daß in dem Grenzfall, in dem die Basisfunktionen Deltafunktionen angenähert sind, das System 51 von Figur 5 einer Nachschlagetabelle äquivalent wird. Während des Lernens werden die Gewichte c durch Minimieren eines Maßes des Fehlers zwischen der Vorhersage des Netzes und jeder der Musteransichten gefunden. Gleichzeitig werden auch die Zentren tα der radialen Funktionen und die Gewichte in der Norm während des Lernens aktualisiert. Eine Bewegung der Zentren tα ist einer Modifikation der entsprechenden Prototypen äquivalent und entspricht einer aufgabenabhängigen Clusterbildung. Ein Finden der optimalen Gewichte W für die Norm entspricht einer geeigneten Transformation, z.B. einem Skalieren, und die Eingabekoordinaten entsprechen einer aufgabenabhängigen Reduzierung der Anzahl der Dimensionen.

Software/Hardware-Unterstützung

Das Musterabbildungssystem 51 von Figur 5 ist allgemein in einem in den Figuren 4a und 4b veranschaulichten Computersystem 61 verkörpert. Gemäß Figur 4a empfängt ein digitaler Prozessor 63 des Computersystems 61 eine Eingabe 69 von einem internen Speicher, Ein-/Ausgabevorrichtungen (z.B. einer Tastatur, Maus und dergleichen) und/oder Speichervorrichtungen (z.B. importierbare Speicherdateien, Diskettenspeicher und dergleichen). In dem Fall, in dem die Eingabe Musteransichten oder Eingabemuster umfaßt, nutzt der digitale Prozessor 63 einen Bild- Vorverarbeitungsteil 65, um einen Satz von Bezugspunkten Ci und entsprechende Werte für jeden Bezugspunkt die verschiedenen Eingabemuster 69 hindurch zu bestimmen. Der Vorverarbeitungsteil 65 bestimmt auch für jedes Eingabemuster die entsprechenden Parameterwerte für eine gewünschte Bewegung α eines Objekts in dem Eingabemuster 69. Der Bild-Vorverarbeitungsteil 65 ist in Hardware, Software oder in einer Kombination daraus implementiert, wie später deutlich gemacht wird. Eine Implementierung ist das neuronale Netz 51 in seinem Lernmodus, wie in Figur 5 veranschaulicht ist. Eine allgemeinere Softwareimplementierung ist in einem Flußdiagramm von Figur 4b dargestellt.
Gemäß dem linken Teil von Figur 4b führt der Bild-Vorverarbeitungsteil 65, wenn die Eingabe 69 Musteransichten oder Eingabemuster 69 umfaßt, einen Lernmodus aus. Am Beginn des Lernmodus wird (von dem Benutzer oder anderen Quellen) eine Definition der Arbeitsachsen gegeben. Bei 81 in Figur 4b legt der Bild-Vorverarbeitungsteil 65 Parameterwerte (Punkte) entlang den Arbeitsachsen fest und weist jedem Eingabemuster (jeder Musteransicht) 69 einen verschiedenen Parameterwert (einen einzelnen Wert, ein Paar oder Triplett von Werten etc.) zu. Als nächstes extrahiert der Bild-Vorverarbeitungsteil 65 bei 83 einen Satz von Bezugspunkten Ci zur Anwendung auf jedes Eingabemuster 69 und bestimmt für jedes Eingabemuster Bezugspunktwerte.
Bei 71 legt der Bild-Vorverarbeitungsteil 65 eine Zuordnung oder Abbildung Mα zwischen Werten der Bezugspunkte und Parameterwerten der Arbeitsachsen fest. Im wesentlichen wird dies durch den die (oben diskutierten) Gleichungen 4, 5 und 6 berechnenden Bild-Vorverarbeitungsteil 65 ausgeführt, um die Koeffizienten für die Gleichung 1 (die Unterstützungsgleichung des Netzes 51 in Figur 5) zu bestimmen. Aus 71 ergeben sich die Koeffizienten cα, tα und W, und diese wiederum definieren den Operationsmodus des Hyperbasisfunktions-Netzes 51, der die Gleichung 1, wie in Figur 5 diskutiert, ausführt. Eine andere Ausführung der Funktion (Gleichung 1), die den Operationsmodus unterstützt, ist ein Bildprozessor 67, der in Form eines Flußdiagramms in dem rechten Teil von Figur 4b dargestellt ist und als nächstes diskutiert wird. Es versteht sich, daß sich auch andere Ausführungen eignen.
Wenn die Eingabe 69 eine Darstellung von von dem Benutzer gewünschten Ansichten bei Eingabeparameterwerten entlang den Arbeitsachsen ist, wird die Eingabe 69 zu einem Operationsmodus-Modul 77 übertragen. Für jede gewünschte Position (Eingabeparameterwerte) des Objekts in der gewünschten Bewegung α (entlang den Arbeitsachsen) wendet der Bildprozessor 67 gemäß dem Operationsmodus-Modul 77 (i) eine Abbildung Mα auf die Eingabeparameterwerte an und (ii) bestimmt die entsprechenden Bezugspunktwerte. Dies wird durch eine Interpolation (unter Verwendung der Gleichung 1) ausgeführt, wie bei 73 in Figur 4b angegeben ist. Der Bildprozessor 67 verwendet die resultierenden Werte der Bezugspunkte Ci, um Polygonelemente Ui zu definieren, und bildet wiederum das Objekt 5 in der gewünschten Position entlang den Arbeitsachsen. Bei 74 wendet der Bildprozessor 67 ein Linienfüllen oder eine Texturabbildung an, um eine Zwischenansicht des resultierenden Objekts 5 zu bilden. Der Bildprozessor 67 ordnet als nächstes die gebildete Ansicht mit anderen, für die gewünschte Bewegung α des Objekts 5 erzeugten Ansichten (d.h. gewünschten Positionen des Objekts) in einer Sequenz 75 an.
Das Computersystem 61 der Figuren 4a und 4b kann auch isolierte Ansichten, falls gewünscht, entsprechend Eingabeparameterwerten (einer Position des Objekts entlang den Arbeitsachsen) erzeugen, die keiner der bei dem Training verwendeten Beispielansichten entsprechen. Das Computersystem 61 kann auch Ansichten eines anderen Objekts in der gleichen Klasse des Objekts erzeugen, für das eine Sequenz von Ansichten für eine gewünschte Bewegung erzeugt worden ist, wie als nächstes diskutiert wird.
Wo die Eingabe 69 eine Ansicht eines Objekts ist, das zu einer Klasse von Objekten gehört, für die schon eine Bildsequenz gebildet worden ist, wird bei 73 eine Abbildung von den Bezugspunkten des Objekts der aktuellen Eingabe 69 auf die des Prototyps der Klasse folgendermaßen ausgeführt. Wieder mit Verweis auf Figur 2 kann in dem Fall, in dem die Person John ein Mitglied in einer Klasse von Gegenständen ist, die erzeugte Bildsequenz von John verwendet werden, um einen anderen Gegenstand dieser Klasse ähnlich zu animieren. Um einen anderen Gegenstand der gleichen Klasse zu animieren, transformiert die vorliegende Erfindung die festgelegte gewünschte Bewegung des Klassenprototyps. Zum Beispiel nehme man an, daß man Bilder einer anderen Person, beispielsweise der gehenden Jane, erzeugen möchte und die erzeugten Ansichten des gehenden John in Figur 2 ein Prototyp der John und Jane gemeinsamen Klasse sind. Natürlich kann die Prozedur von Figur 2 für Anfangsmusteransichten 35a, b, c, d, e von Jane in Figur 3 wiederholt werden, aber hier sind verkürzte Verfahren vorgesehen. Das heißt, die vorliegende Erfindung wertet die für den Prototyp John erzeugte Bildsequenz aus, um andere Gegenstände der gleichen Klasse (nämlich Jane) mit minimaler zusätzlicher Information zu animieren.
Eine der einfachsten Methoden, um Jane auf den verfügbaren Klassenprototyp (John) abzubilden, ist der einer parallelen Deformation. Der erste Schritt besteht darin, die Bezugspunkte des Bezugssystems des Prototyps und des neuen Objekts auf ihre Schwerpunktkoordinaten zu transformieren. Diese Operation erlaubt eine Trennung der Bewegung des Schwerpunktes, die man als für die gelernte Bewegung intrinsisch betrachtet, von der Bewegung um ihn, die von dem besonderen abgebildeten Fall abhängt. Der Satz der Bezugspunkte ist dann in einen 2n-dimensionalen Raum eingebettet.
Eine parallele Deformation ist durch
SB(t) = RB(-1) + [SB(0) - RB(0)] Gleichung 3
definiert, worin
R die charakteristische Referenzansicht von John (in diesem Beispiel) ist;
der untere Index B bedeutet, daß die Bezugspunkte in ihren Schwerpunktkoordinaten betrachtet werden; und
R der Prototyp ist und S das neue Objekt ist.
Die Objekte werden in einen 2n-dimensionalen Raum eingebettet betrachtet (wobei n die Anzahl der Bezugspunkte ist). Aus t kann man das Bild von Jane zur Zeit t erhalten, wobei man zuerst der Satz der Bezugspunkte zur Zeit t erhält, indem das Bild von John zur Zeit t durch die Verschiebung [SB(0) - RB(0)] transformiert wird. Dies erzeugt ein Bild von Jane in der Position (d.h. Positur) für jede Ansicht des Prototyps John in Figur 2. Somit existiert eine 1-zu-1-Entsprechung oder -Abbildung zwischen den Ansichten von Jane in Figur 3 und den Ansichten des Prototyps John in Figur 2. Die Bildsequenz, und daher die Animation der gehenden Jane, die in Figur 3 veran schaulicht ist, ergibt sich aus nur einer Musteransicht (z.B. der ersten Ansicht 37) von Jane. Bildsequenzen anderer Bewegungen von Jane werden aus den Bildsequenzen der gleichen Bewegungen, die für den Klassenprototyp John definiert wurden, ähnlich transponiert/abgebildet.
Deshalb bildet eine Transponierung durch parallele Deformation Bezugspunktwerte bei Parameterwerten eines Prototyp- Objekts auf die eines neuen Objekts für eine gemeinsame Positur ab. Obwohl eine gegebene erste Ansicht 37 (Figur 3) eines neuen Objekts nicht notwendigerweise eine Ansicht des neuen Objekts in der gleichen Positur wie der des Klassenprototyps in den Musteransichten 21 ist, die verwendet wurden, um die Bildsequenz des Klassenprototyps festzulegen, erzeugt die vorliegende Erfindung eine Bildsequenz des neuen Objekts in einer gewünschten Bewegung α aus der Bildsequenz des Klassenprototyps in der gleichen Bewegung. Die eine, gegebene erste Ansicht 37 (Figur 3) des neuen Objekts beeinflußt diese Abbildung nur, indem Bezugspunkte des neuen Objekts zu Anfang festgelegt werden.
Der Grund, warum dieser Abbildungstyp parallele Deformation genannt wird, ist der folgende. Falls man die 2n-dimensionalen Vektoren betrachtet, sieht man, daß man Ansichten von Jane erhält, indem die Differenz zwischen dem Prototyp bei t = 0 und der gegebenen ersten Ansicht von Jane bei t = 0 zu dem entsprechenden Bild (Ansicht) des Prototyps zur Zeit t addiert wird. Dies sorgt dafür, daß die Deformationen (d.h. die Dif ferenz zwischen den Objekten zur Zeit t und ihrer charakteristischen Ansicht) des Prototyps und von Jane dann gemäß Konstruktion parallel sind.
Entsprechend wird eine Serie von Arbeits- oder Zwischenansichten des Objekts in der aktuellen Eingabe 69 aus den Muster- und Zwischenansichten der Bildsequenz für den Klassenprototyp erzeugt.
Auf jeden Fall ist die Ausgabe in Figur 4b des Bildprozessors 67 eine Bildsequenz des Objekts 5 in einer gewünschten Bewegung α. Wieder mit Verweis auf Figur 4a stellt der digi tale Prozessor 63 diese Bildsequenz durch eine Sichtgeräteinheit 78 dar, um eine graphische Animation des Objekts 5 zu liefern. Alternativ speichert der digitale Prozessor 63 die Bildsequenz in einer/einem Speichervorrichtung/bereich für eine spätere Darstellung. Andere Ein-/Ausgabevorrichtungen, an die die Bildsequenz ausgegeben wird, schließen ohne eine Beschränkung Drucker, Faksimilemaschinen, Kommunikations- bzw. übertragungsleitungen zu entfernten Computer-Workstations bzw. Arbeitsplatzrechnern und dergleichen ein, die bei 81 in Figur 4a veranschaulicht sind.
Eine Software-Ausführungsform des Bild-Vorverarbeitungsteils 65 und Bildprozessors 67 ist das C-Programm mit der Bezeichnung "Shaker", das man in der Softwarebibliothek des Istituto per 1a Ricerca Scientifica e Technologica in Trient, Italien, und des Massachusetts Institute of Technology Artiticial Intelligence Laboratory in Cambridge, Massachusetts, U.S.A., findet.
Wie aus der vorhergehenden Beschreibung des Computersystems 61, das eine Vorrichtung und ein Verfahren zur Computergraphikanimation der vorliegenden Erfindung nutzt, ersichtlich ist, findet die vorliegende Erfindung Anwendungen bei einer Anima tion von Trickfilmfiguren, Videokonferenz- und anderen Bildverarbeitungsanwendungen. Was eine Animation von Trickfilmfiguren anbetrifft, kann irgendeine gewünschte Ansicht einer Trickfilmfigur aus einem "Trainingssatz" erzeugt werden, der aus einem großen Satz verfügbarer Ansichten der Trickfilmfigur besteht.
Die Videokonferenz-Anwendung, oder allgemeiner Telekonferenz-Anwendung, wird mit zwei oder mehr Computersystemen oder Arbeitsplatzrechnern 61 verwirklicht, die Parameterwerte und Bezugspunktwerte über die Systeme koppelnde Übertragungsleitungen 81 übertragen und daraus Bildsequenzen erzeugen. Entsprechende Sichtgeräteinheiten 78 an jedem Arbeitsplatzrechner liefern eine Darstellung erzeugter Bildsequenzen. Und eine übertragung von Textdateien oder Tonsignalen liefert eine Nachrichtenübermittlung zwischen Benutzern sendender und emp fangender Systeme 61. Die Fähigkeit der vorliegenden Erfindung, ein Bild unter Verwendung von Parameterwerten entlang Arbeitsachsen und einer beschränkten Anzahl von Bezugspunkten zu animieren, reduziert die Informationsmenge, die übertragen werden muß, drastisch und ermöglicht somit eine derartige Tele- Konferenz.
Es versteht sich, daß für Fachleute andere Anwendungen offensichtlich sind.

Äquivalente

Während die Erfindung mit Verweis auf eine bevorzugte Ausführungsform ausführlich dargestellt und beschrieben worden ist, versteht es sich für Fachleute, daß darin verschiedene Änderungen in der Ausgestaltung und in Einzelheiten vorgenommen werden können, ohne von der Erfindung, wie sie durch die beigefügten Ansprüche definiert ist, abzuweichen.
Zum Beispiel können andere mehrdimensionale Näherungs- und Interpolationstechniken anstelle der in der offenbarten bevorzugten Ausführungsform benutzten Hyperbasisfunktionen verwendet werden. Solche Techniken sind entweder ein Spezialfall von Hyperbasisfunktionen (wie z.B. verallgemeinerte Splinefunktionen, eine Tensorprodukt-Splinefunktion und eine lineare Tensorprodukt-Interpolation) oder Hyperbasisfunktionen (wie z.B. Mehrschichten-Perzeptronen und Kern-Techniken) ähnlich.

Claims

1. Vorrichtung zum Erzeugen von Computergraphikanimation eines Objekts mit einem Sichtgerät (78) zum Darstellen einer animierten Bildsequenz des Objekts in einer bestimmten Bewegung, wobei die Vorrichtung umfaßt:

eine Quelle (69) zum Liefern von Musteransichten (13) eines Objekts, wobei jede Musteransicht (13) das Objekt in einer verschiedenen Musterposition entlang mindestens einer Arbeitsachse liefert, jede Arbeitsachse aus einer Vielzahl von Parameterwerten gebildet wird, jeder Parameterwert eine verschiedene Position des Objekts entlang der Arbeitsachse definiert;

einen Vorverarbeitungsteil (65), der so gekoppelt ist, daß er von der Quelle (69) die Musteransichten (13) empfängt, wobei der Vorverarbeitungsteil (65) Mittel zum Bestimmen (i) eines Satzes von Bezugspunkten (15) des Objekts in jeder Musteransicht (13) und (ii) Ebenenkoordinaten der Bezugspunkte (15) in jeder Musteransicht (13) aufweist, wobei für jede Musteransicht (13) der Vorverarbeitungsteil (65) Mittel aufweist, die die Koordinaten der Bezugspunkte (15) entsprechenden Parameterwerten der mindestens einen Arbeitsachse zuordnen können, welche die Musterposition des Objekts in dieser Musteransicht (13) darstellen; und

einen Bildprozessor (67), der mit dem Vorverarbeitungsteil (65) gekoppelt ist und Mittel aufweist, die auf die Zuordnungen zwischen den Koordinaten der Bezugspunkte (15) und den Parameterwerten der Musterpositionen des Objekts ansprechen, wobei der Bildprozessor (67) Mittel umfaßt, die die Koordinaten der Bezugspunkte (15) für Musterpositionen des Objekts abbilden können, um Bezugspunkt(15)-Koordinaten für gewünschte Zwischenpositionen entlang der mindestens einen Arbeitsachse zu liefern, um Zwischenansichten (17) des Objekts zu bilden, wobei der Bildprozessor weiter Mittel enthält, die sowohl die Musteransichten (13) als auch die gebildeten Zwischenansichten (17) in einer Sequenz anordnen können, um dadurch eine Bildsequenz zu bilden, wobei die Bildsequenz einen Prototyp zur Animation eines beliebigen Gegenstands in einer das Objekt enthaltenden Klasse definiert.

2. Vorrichtung nach Anspruch 1, worin der Bildprozessor (67) aus den Musteransichten (13) und Zwischenansichten (17), die gemäß einer Sequenz der Muster- und Zwischenpositionen in einer Reihenfolge angeordnet sind, eine Bildsequenz bildet, um das Objekt in der bestimmten Bewegung zu animieren.

3. Vorrichtung nach Anspruch 1 oder 2, worin:

die Quelle (69) anschließend mindestens eine Beispielansicht (37) eines Gegenstands der Klasse liefert; und

der Bildprozessor (67) die Koordinaten der Bezugspunkte (15) der Ansichten (13, 17), die die Bildsequenz bilden, auf Bezugspunkte der Beispielansicht (37) abbildet, um für jeden Parameterwert der mindestens einen Arbeitsachse Koordinaten der Bezugspunktwerte für Zwischenansichten des Gegenstands zu bestimmen, um eine entsprechende Bildsequenz zum Animieren des Gegenstands in der bestimmten Bewegung zu erzeugen.

4. Vorrichtung nach Anspruch 1, 2 oder 3, worin das Sichtgerät (78) eine mit dem Bildprozessor (67) vernetzte Anzeigeeinheit für eine Fernanzeige der Bildsequenz umfaßt.

5. Vorrichtung nach Anspruch 1, 2, 3 oder 4, worin mindestens eine Arbeitsachse eine Position des Objekts als eine der folgenden Größen definiert: Drehung um eine longitudinale Achse, Neigung um eine orthogonale Achse, Zeitpunkt entlang einer Zeitachse und Gesichtsausdruck entlang einer entsprechenden Achse.

6. Vorrichtung nach einem der Ansprüche 1 bis 5, worin die mindestens eine Arbeitsachse eine Vielzahl von Arbeitsachsen ist.

7. Bei einem Computersystem, Verfahren zum Erzeugen von Computergraphikanimation eines Objekts und zum Darstellen einer animierten Bildsequenz des Objekts in einer bestimmten Bewegung durch ein Sichtgerät (78) des Computersystems, wobei das Verfahren die Schritte umfaßt:

Liefern von Musteransichten (13) eines Objekts, wobei jede Musteransicht (13) das Objekt in einer verschiedenen Musterposition entlang mindestens einer Arbeitsachse liefert, jede Arbeitsachse aus einer Vielzahl von Parameterwerten gebildet wird, jeder Parameterwert eine verschiedene Position des Objekts entlang den Arbeitsachsen definiert, und eine Sequenz der Musterpositionen zusammen mit Zwischenpositionen das Objekt in einer bestimmten Bewegung animiert;

Bestimmen eines Satzes von Bezugspunkten (15) des Objekts in jeder Musteransicht (13);

für jede Musteransicht (13): (i) Bestimmen von Ebenenkoordinatenwerten der Bezugspunkte (15), und (ii) Einrichten einer Zuordnung zwischen den Koordinaten der Bezugspunkte (15) und Parameterwerten der mindestens einen Arbeitsachse, die die Musterposition des Objekts in dieser Musteransicht (13) darstellen;

Abbilden der Koordinaten der Bezugspunkte (15) für Musterpositionen des Objekts auf die Koordinaten der Bezugspunkte (15) für gewünschte Zwischenpositionen entlang der mindestens einen Arbeitsachse, um Zwischenansichten (17) des Objekts zu bilden; und

Bilden einer Bildsequenz aus sowohl den Musteransichten (13) als auch den gebildeten Zwischenansichten (17) wobei die Bildsequenz einen Prototyp zur Animation eines beliebigen Gegenstands in einer das Objekt enthaltenden Klasse definiert.

8. Verfahren nach Anspruch 7, worin der Schritt des Abbildens von Koordinaten der Bezugspunkte (15) für Musterpositionen des Objekts auf Koordinaten der Bezugspunkte (15) für gewünschte Zwischenpositionen ein Interpolieren von Werten der Bezugspunkte (15) zwischen Parameterwerten der Musterpositionen und gewünschten Parameterwerten der Zwischenpositionen umfaßt.

9. Verfahren nach Anspruch 7 oder 8, worin der Schritt des Bildens einer Bildsequenz ein Anordnen der Musteransichten (13) und gebildeten Zwischenansichten (17) in einer Reihenfolge gemäß einer Sequenz der Muster- und Zwischenpositionen zum Animieren des Objekts in der bestimmten Bewegung umfaßt.

10. Verfahren nach Anspruch 7, 8 oder 9, weiter umfassend die Schritte:

Liefern mindestens einer Beispielansicht (37) eines Gegenstands der Klasse; und

Bestimmen von Koordinaten der Bezugspunkte (15) der Ansichten (13, 17), die die Bildsequenz bilden, und Abbilden dieser Koordinaten auf Bezugspunkte der Beispielansicht (37), um für jeden Parameterwert der mindestens einen Arbeitsachse Koordinaten der Bezugspunkte für Zwischenansichten des Gegenstands zu bestimmen, um eine entsprechende Bildsequenz zum Animieren des Gegenstands in der bestimmten Bewegung zu erzeugen.

11. Verfahren nach Anspruch 7, 8, 9 oder 10, worin der Schritt des Lieferns von Musteransichten (13) ein Einrichten mindestens einer Arbeitsachse als eine der folgenden Achsen umfaßt: eine longitudinale Achse, um die das Objekt in einer Ansicht gedreht werden kann, eine orthogonale Achse, um die das Objekt in einer Ansicht geneigt werden kann, eine Zeitachse, oder eine Achse zum Darstellen eines Bereichs von Gesichts ausdrücken des Objekts.

12. Verfahren nach einem der Ansprüche 7 bis 11, worin die mindestens eine Arbeitsachse eine Vielzahl von Arbeitsachsen ist.