DE69829947T2

DE69829947T2 - Ein verfahren und gerät zum synchronisieren eines computeranimierten modells mit einem audiosignal

Info

Publication number: DE69829947T2
Application number: DE69829947T
Authority: DE
Inventors: Niel Douglas TEDD
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1997-09-01
Filing date: 1998-08-07
Publication date: 2006-03-02
Anticipated expiration: 2018-08-08
Also published as: WO1999012128A1; JP2001509933A; US20010041983A1; DE69829947D1; EP0960389B1; US6408274B2; EP0960389A1

Description

HINTERGRUND DER ERFINDUNG
Die vorliegende Erfindung bezieht sich auf ein Verfahren nach dem Oberbegriff des Anspruchs 1. Bestimmte Systeme erfordern Animierung eines computererzeugten graphischen Modells zusammen mit der Auslieferung eines Audiomusters zum Schaffen des Eindrucks, dass das Modell die ausgelieferte Audioinformation wirklich spricht. Ein derartiges Verfahren ist in US 5.613.056 beschrieben worden. Das Bezugsmaterial benutzt komplexe Prozeduren, die im Allgemeinen vorher aufgezeichnete Sprache erfordert. Es sind andere Verfahren bekannt, basiert auf der Identifikation von Spracherscheinungen mit Hilfe von LPC-Analyse, beispielsweise aus EP-A-0 710 925 oder US-A-5 426 460.
Es ist nun eine Absicht der vorliegenden Erfindung, einfachere Prozeduren anzuwenden, die es u. a. ermöglichen sollen, in Echtzeit mit nicht vorher aufgezeichneter Sprache zu arbeiten, sowie in mehreren Wiedergabemoden.
ZUSAMMENFASSUNG DER ERFINDUNG
Folglich ist es u. a. eine Aufgabe der vorliegenden Erfindung, eine einfache Wirkung zu schaffen, die nur eine geringe unmittelbare Interaktion erfordert zur Steuerung des Bildes, und dem Benutzer einen ziemlich natürlichen Eindruck gibt. Dazu weist die vorliegende Erfindung nach einem der Aspekte das Kennzeichen auf entsprechend dem kennzeichnenden Teil des Anspruchs 1. Die Erfinder haben gefunden, dass ein einfaches Öffnen und Schließen des Mundes einer Bildfigur nicht ein effektives Sprechen suggeriert, und weiterhin dass es auch notwendig ist, zu gewährleisten, dass die visuelle Darstellung in einer möglichst engen Synchronisation gehalten wird, wobei das Audio ausgeliefert wird (lippensynchron) weil sogar kleine Differenzen zwischen Audio und animiertem Bildmaterial durch eine menschliche Person detektierbar ist. In diesem Zusammenhang kann "mehrwertig" entweder analog oder mehrwertig digital bedeuten. Wenn Audio unmittelbar empfangen wird, kann die Reproduktion um etwa 0,1 Sekunde versetzt werden, damit ein Gerät die Videodarstellung verbessern kann.
Die vorliegende Erfindung bezieht sich auch auf eine Anordnung, vorgesehen zum Implementieren des Verfahrens nach der vorliegenden Erfindung. Weitere vorteilhafte Aspekte der vorliegenden Erfindung sind in den Unteransprüchen erwähnt.
KURZE BESCHREIBUNG DER ZEICHNUNG
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
1 ein Diagramm einer Anordnung nach der vorliegenden Erfindung,
2 ein Abtastabschnitt einer Audio-Umhüllenden,
3 ein Beispiel eines computererzeugten graphischen Modells.
DETAILLIERTE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
1 zeigt ein Diagramm einer Anordnung nach der vorliegenden Erfindung. Am Eingang 20 empfängt die Anordnung Information eines Bildes. Diese Information kann dennoch Bilder darstellen, oder Bilder, die umher gehen können, wie gehen, fliegen oder andere charakteristische Bewegungen durchführen können. Die Bilder können in Bitmap, in Linienzeichnung oder in einer anderen nützlichen Darstellung ausgeführt werden. Insbesondere können ein oder mehrere Parameter des Bildes oder der Bilder in Termen einer assoziierten analogen oder mehrwertig digitalen Quantität ausgedrückt werden. Der Block 22 kann die Bilder zur nachfolgenden Adressierung speichern, indem jedes Bild einen bestimmten Identifizierer oder eine andere unterscheidende Qualifikation gegenüber dem System hat. Der Eingang 26 empfängt eine geeignete Audio-Darstellung. In einem einfachen Fall kann dies Sprache sein zur Darstellung über den Lautsprecher 38. In einer anderen Situation kann die Sprache entsprechend einem bestimmten Standardschema, wie LPC, codiert werden. Falls anwendbar empfängt der Eingang 24 einen bestimmten Identifizierer zur visuellen Wiedergabe, wie zur Selektion aus einer Anzahl Personenbilder, oder einen anderen, Selektionsmechanismus eines höheren Pegels zur Selektion aus einer Anzahl Bewegungsmuster oder sonst wie. Die Bildbeschreibung wird auf diese Weise am Ausgang 23 angeboten. In dem Block 28 wird die wirkliche Audio-Amplitude gemessen und der Wert bei der Verbindung 30 wird auf eine mehrwertige Weise oder auf eine analoge Weise an einem oder mehreren assoziierten Bildparametern zur synchronisierten Ausgabe dargestellt. Am Ausgang 32 werden die Audio- und die Bildinformation in gegenseitiger Syn chronisation zur Wiedergabe an dem Monitor 36 und Audioaufbereitung am Lautsprecher 38 wiedergegeben.
2 zeigt ein Muster einer Audio-Umhüllenden, die ausgeliefert wird. Die vertikale Achse stellt die Wellenamplitude dar und die horizontale Achse stellt die Zeit dar. Die Zeitperiode s ist die Abtastzeitperiode, über welche die Wellenamplitude gemessen und gemittelt wird. In der Praxis ist diese Periode oft etwas länger als die wirkliche Schrittperiode und kann in dem Gebiet von 0,01 bis 0,1 einer Sekunde liegen. Diese mittlere Amplitude a wird durch einen Skalierungsfaktor f skaliert und wird zur Animierung der Lage eines Objektes benutzt. Der Skalierungsfaktor ermöglicht einen weiteren Steuermechanismus. Auf alternative Weise kann der Faktor von der "Person" abhängen, die wirklich spricht, oder von mehreren anderen Aspekten. So kann beispielsweise eine Person, die murmelt, eine kleinere Mundöffnung erhalten.
Um zu gewährleisten, dass das Objekt synchron zu dem Zeitpunkt ist, an dem die abgetastete Audiowelle wiedergegeben wird, wird eine Prädiktionszeit p verwendet um die Abtastperiode gegenüber der aktuellen Zeit t zu versetzen. Diese Prädiktionszeit kann die Möglichkeit bieten für die Zeit, die es nimmt, dass das Gerät das graphische Objekt mit der neuen Objektlage zu zeichnen.
3 zeigt ein Beispiel eines komputererzeugten graphischen Modells, in diesem Fall einer Vorderansicht eines einfachen computererzeugten menschlichen Kopfes, der zu einem ellipsenförmigen Kopfumriss 50, zwei kreisförmigen Augen 52 und einem Unterkieferteil 54 vereinfacht worden ist. Das Modell über einen analogen oder mehrwertigen digitalen Abstand a·f zwischen dem Kieferteil und der Lage des restlichen Teils des eigentlichen Kopfes, der als (y_j – a·f) ausgedrückt wird. Der Öffnungsabstand des Unterkiefers ist verbunden mit der skalierten (a·f) Ausgangsamplitude des abgespielten Audios. In einer anderen Ausführungsform kann dies ein Öffnungswinkel des Kiefers sein, oder ein anderer Lagenparameter. Das Audio kann stimmhafte und stimmlose Intervalle haben und kann auch lautere und leisere Intervalle haben. Dies sorgt dafür, dass der Kiefer weiter geöffnet werden muss wenn die Wellenamplitude zunimmt und entsprechend geschlossen werden muss, je nachdem die Amplitude abnimmt. Der Betrag an Bewegung des sprechenden Mundes variiert mit der erzeugten Sprache, wodurch auf diese Art und Weise der Eindruck von Sprechen gegeben wird.
Außerdem ist es auch möglich, andere Eigenschaften, wie die x- und z-Koordinaten der Objekte zu animieren, ebenso wie Drehung und Skalierung des Objektes. Die Technik kann auch auf andere Visualisierungen als Sprachwiedergabe, wie Musik, angewandt werden. Der Skalierungsfaktor f ermöglicht die Anwendung des Verfahrens mehrerer verschiedener Größen. Weiterhin kann der Skalierungsfaktor auf verschiedene Pegel von "Sprechdeutlichkeit" gesetzt werden. Wenn das Modell murmelt, soll der Mund sich relativ wenig bewegen. Wenn das Modell mit Betonung spricht, soll auch die Mundbewegung mehr akzentuiert werden.
Die vorliegende Erfindung kann in mehreren Applikationen angewandt werden, wie für ein Benutzeruntersuchungssystem, und für andere Systeme, bei denen der künstliche Pegel der Darstellung relativ unwichtig ist. Das Verfahren kann in einem einseitigen System durchgeführt werden, wobei das System nur Sprache ausliefert. Auf alternative Weise kann ein Zweiwegdialog durchgeführt werden, wobei auch Spracherkennung auf Spracheingaben von einer Benutzerperson angewandt wird. Es können mehrere andere Aspekte oder Parameter des Bildes durch die aktuelle Audioamplitude beeinflusst werden. So kann beispielsweise die Farbe eines Gesichtes röter werden bei einer höheren Amplitude, Haare können sich sträuben, oder Ohren können wackeln, wenn das Bild durch erhöhte Stimme auf eine unübliche Benutzerreaktion reagiert. Weiterhin braucht die Zeitkonstante mehrerer Reaktionen durch das Bild nicht einheitlich zu sein, obschon die Mundöffnung immer weitgehend unmittelbar sein soll.

Claims

Verfahren zum Synchronisieren eines computeranimierten Modells mit einem Audiosignal, wobei das genannte Verfahren die nachfolgenden Verfahrensschritte umfasst: – das Speichern eines computeranimierten Bildes des genannten Modells, – das Empfangen einer Audiosignaldarstellung, – das dynamische Variieren des genannten Modells unter Ansteuerung des genannten Audiosignals, und – das Ausliefern des genannten dynamisch variierten Modells zusammen mit dem genannten Audiosignal, wobei das genannte Verfahren durch die nachfolgenden Verfahrensschritte gekennzeichnet ist: – das Assoziieren eines Bildparameters mit dem genannten Modell, – das Messen einer wirklichen Audiosignalamplitude, und – das Abbilden der genannten Amplitude auf eine mehrwertige oder analoge Weise auf dem genannten Bildparameter zur synchronisierten Auslieferung.
Verfahren nach Anspruch 1, wobei das genannte Audiosignal Sprache ist.
Verfahren nach Anspruch 1, wobei das genannte Audiosignal eine menschenähnliche Sprache ist.
Verfahren nach Anspruch 1, wobei der genannte Bildparameter ein Stellenparameter ist.
Verfahren nach Anspruch 1, wobei der genannte Bildparameter ein Größenparameter eines menschenähnliche Mundes ist.
Verfahren nach Anspruch 1, wobei der genannte Parameter eine Farbe, ein Gesichtsausdruck oder eine Körperbewegung ist.
Verfahren nach Anspruch 1, wobei die genannte Abbildung mit einer nicht einheitlichen Zeitkonstanten assoziiert ist.
Verfahren nach Anspruch 1, vorgesehen um in Echtzeit durchgeführt zu werden.
Verfahren nach Anspruch 1, weiterhin zum Skalieren des genannten Bildparameters um einen Skalierungsfaktor und zum Ausliefern des Audiosignals mit einer Zeitverschiebung zum berichtigen der Videodarstellung.
Anordnung zum Implementieren eines Verfahrens nach Anspruch 1.