-
Die Erfindung bezieht sich allgemein auf Verfahren zum
Ändern eines Films durch Einsetzen einer zweiten
belebten Gesichtsdarstellung statt einer ersten oder
bereits in dem Film vorhandenen Gesichtsdarstellung,
wobei die Bilder Lippenbewegungen aufweisen, die den
durch die Schauspieler benutzten Sprachen entsprechen
und die Sprachen der beiden Bilder so verschieden sind,
daß sich unterschiedliche Lippen- und/oder
Gesichtsbewegungen bei beiden Darstellungen ergeben.
-
Die Erfindung dient dem Zweck, einen bei der
Synchronisation auftretenden Effekt (dubbed-in effect)
zu vermeiden, bei dem die Lippenbewegungen nicht mit
dem gesprochenen Wort übereinstimmen. Insbesondere ist
die Erfindung anwendbar zum Ersetzen der Tonspur eines
Filmes durch eine neue Tonspur in einer
unterschiedlichen Sprache bei gleichzeitiger Änderung
der Lippenbewegungen des Schauspielers in dem Bild,
damit dieses der neuen Sprache entspricht, die auf die
Tonspur aufgebracht wird. Die Erfindung ist anwendbar
für Filme, bei denen lebende Schauspieler benutzt
werden sowie für belebte Cartoons.
-
In dem US-Patent 4 260 229, das am 7. April 1981
erteilt wurde, ist ein System und ein Verfahren
beschrieben, bei dem vorgegebene visuelle Bilder wie
Lippenbewegungen graphisch erstellt werden, damit sie
mit Sprachtönen übereinstimmen, so daß, wenn die
visuellen Bilder und Sprachklänge- oder Töne auf dem
Film, einem Videoband oder dergleichen aufgezeichnet
werden, die Lippenbewegungen für den Zuhörer oder
Betrachter der Sprache entsprechen, die benutzt wird,
und aus diesem Grunde der Film realistischer und
interessanter wird.
-
Bei dem bekannten System werden Sprachklänge
analysiert, digital verschlüsselt und auf einen
Computer übertragen. In dem Computer ist ein Programm
zur Erzeugung von Ausgangssignalen gespeichert, das
visuelle Bilder von Lippenbewegungen erzeugt, die den
Sprachklängen entsprechen. Bei Steuerung der Daten für
die Sprachklänge wird das graphische Ausgangssignal von
dem Computer in ein graphisches Ausgabegerät und eine
damit verknüpfte Anzeigeeinheit eingegeben, um das
graphische Bild zu erzeugen, das mit den Sprachklängen
verknüpft werden kann, so daß das sich ergebende
audiovisuelle Bild Lippenbewegungen enthält, die den
Sprachklängen entsprechen.
-
Ein Ziel der Erfindung ist eine verbesserte neue
Technik zur Korrektur von Lippenbewegungen auf
Filmbildern durch eine neue Verwendung eines
programmierten digitalen Computers und ausgewählter
Daten, wobei eine neue Tonspur mit den für diese
richtigen Lippenbewegungen anstelle der ursprünglichen
Tonspur in einen Film eingesetzt werden kann, bei dem
die Originaltonspur in einer fremden Sprache mit
unterschiedlichen Lippenbewegungen vorliegt und wobei
der Film Abweichungen infolge des erwähnten
"dubbed-in"-Effektes nicht aufweisen soll.
-
Ein weiteres Ziel der Erfindung ist es, ein Verfahren
und eine Anordnung so auszubilden, daß es weder
notwendig ist, Phonemcode zu speichern, noch
Zeichnungen für Mundgestalten- oder Formen vorzusehen;
insbesondere ist nur eine Anzahl von mehreren
Mundgestalten vorhanden, die in Verbindung mit einem
einzigen Algorithmus benutzt, um Änderungen der
Lippenformen entsprechend der neuen Sprache, die auf
den Film aufgegeben wird, vorzunehmen.
-
Gegenstand der Erfindung ist ein Verfahren zur Änderung
eines Filmes durch Einsetzen eines zweiten
Gesichtsausdruckes, der einer zweiten Sprache
entspricht, an die Stelle eines ersten
Gesichtsausdruckes auf einem vorhandenen Film, der
einer ersten Sprache entspricht, wobei die
Gesichtsausdrücke oder -darstellungen Lippenbewegungen
aufweisen, die der benutzten Sprache entsprechen und
das Verfahren darin besteht, einen ersten Satz von
digitalen Daten, die die Gestalt des ersten
Gesichtsausdrucks in mehreren Filmbildern wiedergeben,
und einen zweiten Satz von digitalen Daten, die die
Gestalt des zweiten Gesichtsausdruckes wiedergeben, zu
erzeugen sowie ferner durch Steuern beider Sätze von
Daten und einem programmierten Digitalcomputer die
Gestalt des ersten Gesichtsausdrucks zu ändern, um im
wesentlichen die Gestalt des zweiten Gesichtsausdrucks
zu erzeugen. Die Erfindung besteht darin, daß der
zweite Satz von Daten von dem zweiten und vorher
vorhandenen Gesichtsausdruck erzeugt wird, während die
zweite Sprache über eine zweite Anzahl von Filmbildern
gesprochen wird.
-
Im Rahmen der vorliegenden Erfindung bezieht sich die
Bezeichnung "Gesichtsausdruck" nicht notwendigerweise
auf das gesamte Gesicht, sondern kann sich nur auf
solche Teile der Gesichtsdarstellung beziehen, die im
Zusammenhang mit der Sprache stehen, insbesondere die
Lippen.
-
Ein weiteres Ziel der Erfindung ist es, ein Verfahren
und eine Vorrichtung so auszubilden, daß die Verwendung
eines Stimmencodierers zum Festlegen der Lippenformen,
die die Töne erforderlich machen, vermieden wird. Statt
dessen wird eine Aufzeichnung des Schauspielers
gemacht, dessen Stimme und Lippenbewegungen an die
Stelle der in dem Film bereits vorhandenen eingesetzt
werden sollen. Der Ton wird getrennt von dem Abschnitt
des Films oder des Videos aufgezeichnet und dieser
Abschnitt dazu benutzt, graphisch eine begrenzte Anzahl
von Messungen auf einer Bild-für-Bild Basis
durchzuführen. Es ist jedoch nicht notwendig, Messungen
an jedem Bild vorzunehmen, sondern im allgemeinen
lediglich an den Bildern, auf denen eine Veränderung in
Zusammenhang mit den Lippen auftritt, was bei einer
Zeitlupenbetrachtung der Bilder festgelegt wird. Die
Messungen an dazwischenliegenden Bildern werden in den
Computer ausgeführt, indem eine nicht lineare
algorithmische Interpolation vorgenommen wird. Diese
Messungen bringen das Verhältnis zwischen dem neuen Ton
und der ursprünglichen Lippengestalt direkter zum
Ausdruck.
-
Wenn eben möglich, ist man bemüht, Bilder auszuwählen,
auf denen der neue Ton und die ursprünglichen
Lippenbewegungen übereinstimmen. Manchmal macht dies
ein Verschieben und/oder Verdoppeln von Bildern
erforderlich. Jedoch erzeugt diese Annäherung nicht
immer annehmbar aussehende Bewegungen und viele Bilder
müssen abgeändert werden. Zu diesem Zweck gibt es
getracte Standardkurven für das Gesicht, einschließlich
Lippen und Kieferkurven. Daten für diese Standardkurven
werden in den programmierten Digitalcomputer
eingegeben, und zwar bezogen auf jeden Schauspieler.
Die Standardkurven können insbesondere eine Stellung
einschließen, bei der der Mund ganz geöffnet oder ganz
geschlossen ist sowie die normale Breite des Mundes und
eine Stellung, in der der Mund gespitzt ist. Diese
Standardkurven bilden die Basis für spätere
Interpolationen der Mund-, Kiefer- und Lippenlinien für
jedes Bild.
-
Wenn beispielsweise die Unterlippe eines Schauspielers
zu 25% geöffnet ist, entspricht ihre Kurve angenähert
der Kurve, die durch Interpolation jedes 25% Punktes
des Weges zwischen der Standardkurve für die
geschlossene Stellung und der Standardkurve für die
geöffnete Stellung für diesen Schauspieler errechnet
wird. In diesem Zusammenhang wurde gefunden, daß der
Prozentwert der offenen oder geschlossenen Stellung für
jeden einzelnen Schauspieler über die Breite des Mundes
relativ konstant ist. Diese Entdeckung führt zu einer
Vereinfachung der Geometrie und verringert die Anzahl
der Kurven, die notwendig sind, um eine annehmbar
genaue Korrektur der Lippengestalt vorzunehmen.
-
Die Bilder werden korrigiert, indem eine neue
Lippengestalt durch Änderung innerhalb des Computers
erzeugt wird. Der Computer wird in Verbindung mit einem
Bildverarbeiter benutzt, bei dem es sich um ein im
Handel erhältliches Gerät handelt. Während des
Korrekturprozesses werden Signale an den Computer und
den Bildverarbeiter und von diesen übertragen. Der
Bildverarbeiter ist in der Lage, die
aufeinanderfolgenden Videobilder in analoger Form zu
empfangen und sie zur Speicherung in digitale Form zu
wandeln. Darüber hinaus kann jedes Bild von dem
Bildverarbeiter zu einem üblichen Videomonitor zurück
übertragen werden, in dem das Bild als stehendes Bild
erscheint. Der Bildverarbeiter kann das erforderliche
Videosignal für das Bild 60mal pro Sekunde an den
Monitor senden, wobei die korrigierten Videobilder
während des Verarbeitungsprozesses betrachtet oder
bearbeitet werden können. Der Bildschirm besteht in
üblicher Weise aus Bildelementen (Pixels), wobei jedes
Bildelement in eine Reihe von Zahlen gerastert und
digitalisiert ist, die der Lichtintensität einer Anzahl
von Punkten (beispielsweise 512·480 Bildelemente oder
Punkte) auf der Originalszene entsprechen. Diese Zahlen
werden in einem großen, jedoch anderweitig bekannten
digitalen Computerspeicher gespeichert und von diesem
ausgegeben. Jede Zahl ist adressierbar durch eine
einzige Stelle, die der Stelle des Originalpunktes
entspricht. Das Bewegen der Nummern von einem Satz von
Speicherstellen zu einem anderen hat die Wirkung, daß
ein Teil des Bildes von einem Bereich zu einem anderen
bewegt wird. Wenn die Bewegung durch den Computer
erfolgt, kann sie komplexe numerische Algorithmen
enthalten, die komplexen Bewegungen entsprechen. Diese
digitale Ausgestaltung erlaubt es, die Lippen des
Schauspielers direkt auf einen dargestellten Bild zu
öffnen oder zuzuspitzen. Darüber hinaus berechnen die
Computeralgorithmen die individuellen Bewegungen für
jeden Punkt in dem Gesicht des Schauspielers in
Abhängigkeit davon, an welcher Stelle der Punkt
zwischen den Standardkurven liegt und in Abhängigkeit
von dem Grad oder dem Prozentwert der Änderung, wie sie
durch Messungen der Lippenbewegungen in der neuen
Sprache und Messungen der Lippenbewegungen in der
vorhandenen Sprache festgelegt sind.
-
Nachdem die Bildelemente des Videobildes des Gesichtes
des Schauspielers auf der Grundlage der vorstehenden
Berechnungen bewegt worden sind, sieht das
Computerprogramm vor, die Bilder von vorhergehenden
Bildern aufzufüllen oder zu ergänzen. Beispielsweise
speichert der Computer die Darstellung der Zähne des
Schauspielers bei geöffnetem Mund als Bestandteil des
Computerspeichers, so daß die Möglichkeit besteht, den
Mund aufzufüllen, wenn er in nachfolgenden Bildern
offener erscheint. Anders betrachtet betrifft die
Erfindung eine Methode, bei der eine zweite Sprache und
entsprechende Lippenbewegungen an die Stelle einer
ersten Sprache und der dazugehörigenden
Lippenbewegungen in einen Film eingesetzt werden, der
aus einer Anzahl von Bildern besteht, wobei die beiden
Sprachen unterschiedliche Lippenbewegungen aufweisen.
Die Erfindung besteht darin, Daten in digitaler Form zu
erstellen, die die Lippenbewegungen in den
entsprechenden Sprachen darstellen, diese Daten an
einem programmierten Digitalcomputer zu übertragen und
unter Steuerung dieses Computers und in Übereinstimmung
mit den Daten die Lichtintensitäten in bestimmten
Bereichen der Bilder zu verändern, um die
Lippenbewegungen so zu ändern, daß sie der zweiten
Sprache entsprechen.
-
Die Erfindung wird anhand der Zeichnung erläutert. Es
zeigen:
-
Fig. 1 ein Blockdiagramm, auf dem graphisch die Stufen
einer Ausführungsform der Erfindung dargestellt
sind,
-
Fig. 2 ein weiteres Blockdiagramm, das im Prinzip die
Hardware-Schaltungen einiger der Anfangsstufen
des erfindungsgemäßen Verfahrens zeigt,
-
Fig. 3 eine vergrößerte Darstellung der Lippengestalt
der zweiten oder neuen Sprache, die auf die
Tonspur aufgelegt werden soll und die daran
vorgenommenen Messungen.
-
Fig. 4 eine der Fig. 3 entsprechende Darstellung der
Lippengestalt, die der Originalsprache auf den
Film entspricht,
-
Fig. 5 ein weiteres Blockdiagramm, das eine Stufe der
Erfindung zeigt, die darin besteht, Daten in
digitaler Form für die Messungen gemäß den
Fig. 3 und 4 zu vergleichen,
-
Fig. 6a und 6b graphische Darstellungen, die dazu benutzt
werden, die für die Verwendung in dem
erfindungsgemäßen Verfahren am besten
geeigneten Bilder auszuwählen.
-
Fig. 7 ein Videobild des Gesichtes des Schauspielers
in der Originalsprache des Films mit
Standardkurven, deren Benutzung einen Teil der
vorliegenden Erfindung bildet,
-
Fig. 8 eine vergrößerte, der Fig. 7 ähnliche
Darstellung einer der Standardkurven und
-
Fig. 9 ein Blockdiagramm, auf dem Endstufen bei der
Korrektur des Gesichtsausdruckes dargestellt
sind.
-
Auf Fig. 1 ist ein Blockdiagramm dargestellt, das die
grundlegenden Funktionsstufen in Zusammenhang mit dem
beschriebenen Ausführungsbeispiel der Erfindung
erläutert. Das Blockdiagramm zeigt eine Anordnung zum
Einsetzen eines zweiten oder neuen Sprachdialogs mit
dem dazugehörigen Gesichtsdarstellung einschließlich
der Lippenbewegungen an die Stelle eines Abschnittes
eines Films 2 in einer Sprache, die verglichen mit der
neuen Sprache eine Fremdsprache ist. Die
fremdsprachliche Arbeit kann in Form eines Filmes oder
in Form eines Videobandes vorliegen. Es wird ein neuer
Schauspieler zum Sprechen (Ton) benutzt und
Lippenbewegungen mit dem Ton sollen an die Stelle der
Bewegungen des Schauspielers in dem Film gesetzt
werden. Der Schauspieler mit der neuen Sprache nimmt
die neue Sprache auf ein Aufnahmemedium 4, z. B. ein
Band auf; gleichzeitig werden die Lippenbewegungen
und -stellungen des Schauspielers auf ein Videoband
aufgenommen, dargestellt und gemessen. Diese
Information wird umgewandelt in digitale Form. In
ähnlicher Weise werden die Kopf- und Lippenbewegungen
des Schauspielers in dem Film zusammen mit
Kopfbewegungen gemessen. Diese Information wird in
digitale Daten umgewandelt. Die beiden Gruppen von
Daten werden miteinander in einem programmierten
Computer verglichen, um eine Messung der Größe der
Korrektur zu erhalten, die an den Lippenbewegungen des
Schauspielers in dem fremden Film vorgenommen werden
müssen, um diese Lippenbewegungen, zusammen mit
Gesichtsbewegungen in Positionen zu bringen, die dem
Ton der neuen Sprache des neuen Schauspielers
entsprechen. Derartige Daten werden in einen Computer
in digitaler Form gespeichert. Die die Daten bildenden
Messungen der Lippenbewegungen des neuen Schauspielers
und des ursprünglichen Schauspielers sind auf einer
Bild-für-Bild Basis; es ist jedoch selbstverständlich
nicht erforderlich, alle Bilder des fremden Films zu
benutzen, wie im einzelnen erläutert wird. Darüber
hinaus werden Standardkurven von ausgewählten Bilder
erstellt, die als Bezugspunkte für Korrekturen der
Lippen- und Gesichtsbewegungen dienen. Alle diese Daten
werden in eine programmierte digitale Rechenanlage
eingegeben und durch Verwendung von einmaligen
nachfolgend beschriebenen Algorithmen die Bilder des
fremden Films geändert, um die gewünschten der neuen
Sprache entsprechenden Lippenformen zu erhalten.
-
Daraufhin wird die Tonaufzeichnung in der neuen Sprache
mit den Lippenbewegungen in der neuen Sprache
verknüpft, um einen Film oder ein Videoband 6 mit einer
neuen Tonspur und abgeänderten Lippenbewegungen, die
genau mit dem Ton übereinstimmen, zu erhalten. Bei dem
Verfahren werden die Bilder des fremden Films
vorzugsweise in Videoform umgewandelt, wo die
Änderungen durch Bewegung von Bildelementen in dem
Ausmaß vorgenommen werden, wie es notwendig ist, um die
Stellung der Lippen oder andere Gesichtsformen, die
verändert werden sollen, zu korrigieren. Die geänderten
Bilder können dann erneut fotografiert werden oder es
kann alternativ der fremde Film in Form eines
Videobandes zurückerhalten werden.
-
Auf Fig. 2 ist ein Schauspieler 8 dargestellt, der in
ein Mikrofon 10 in der Sprache spricht, in die der Film
umgewandelt werden soll. Die Stimme des Schauspielers
wird auf einem Tonaufnahmegerät 12 aufgenommen;
gleichzeitig fotografiert eine Videokamera 14 die
Lippenbewegungen des Schauspielers 8. Die Videosignale
von der Kamera 14 werden auf einem Videorekorder 16
aufgezeichnet, der, wenn er betätigt wird, seine
Ausgangssignale an einen Videomonitor 18 weiterleitet.
Der Monitor 18 stellt die Videosignale auf einer
Bild-für-Bild-Basis dar oder es können durch
ausgewählte Bilder Messungen daran vorgenommen werden,
wie nachstehend beschrieben wird. Die Meßsignale, die
die Videoinformation darstellen, werden in einen
Computer 20 zum Speichern auf einer Diskette 22
eingegeben.
-
Es wurde gefunden, daß nur eine begrenzte Anzahl von
Messungen an den Lippenbewegungen in der neuen Sprache
wie in Fig. 3 dargestellt, gemacht werden müssen.
Allgemein werden die obere Höhe 26, die untere Höhe 28,
die innere Breite 30 und die äußere Breite 32 gemessen.
Während theoretisch wenigstens alle der Bilder gemessen
werden könnten, kann in der Praxis die Messung auf
ausgewählte Bilder beschränkt werden, bei denen die
Lippenbewegungen sich ändern, nämlich bei Beginn des
Öffnens, am Ende des Öffnens, beim Beginn des
Schließens und bei anderen plötzlichen Änderungen der
Form.
-
Bei der Ausführung der Messungen stellt die
Bedienungsperson jedes Bild, das gemessen werden soll,
auf dem Monitor 18 dar und mißt dann die Abstände 26,
28, 30 und 32 mit einem Lineal.
-
Die Messungen können in eine Einheitslippengröße
umgewandelt werden, indem jede Messung mit dem
maximalen Wert für den Schauspieler 8 verglichen und
erneut als absolute Größe, z. B. Inch oder Zentimeter
in % des maximalen Wertes festgelegt wird.
-
Es ergibt sich, daß auf diese Weise ein Vergleich der
Lippenbewegungen, die gegenwärtig auf dem
audiovisuellen Film vorliegen, möglich ist, so daß
Bewegungen der Lippen auf dem Film auf den gleichen
Index oder Vergleichswert festgelegt werden können.
Darüber hinaus kann der Mittelpunkt des Mundes
(graphisch X=0, Y=0), wie mit der Bezugszahl 24 auf
Fig. 3 angedeutet, bestimmt werden. Ferner können die
Messungen von den Stellungen in den
Bildschirmkoordinaten X, Y, in Öffnungsstellungen in %
umgewandelt werden, indem jede Bewegung gemessen und
mit dem maximalen Wert bei geöffnetem Mund verglichen
wird, der für den Schauspieler 8 und für jeden anderen
Schauspieler zutrifft, dessen Lippen und Sprache
verarbeitet werden.
-
Der Computer 20 kann ein übliches Modell sein,
beispielsweise ein IBM PC Model AT und die
verschiedenen Messungen, die unter Bezugnahme auf
Fig. 3 beschrieben wurden, können in den Computer durch
Verwendung einer üblichen Tastatur eingegeben werden,
die mit diesem verbunden ist, um die Daten auf der
Diskette 22 aufzuzeichnen.
-
Die vorhandennen oder "fremden" Kopf- und
Lippenbewegungen auf dem Film werden durch die
Bedienungsperson gemessen, die die Bilder von dem Film
oder von dem Bildschirm eines Videobandes betrachtet.
Die Kopf- und Lippenbewegungen werden verglichen mit
den oben beschriebenen Tonbewegungen und dazu benutzt,
die Änderung der graphischen Bilder zu steuern. Wie die
-
Lippenbewegungen der neuen Sprache werden die
vorliegenden Lippenbewegungen gemessen, um die gleichen
Werte zu erhalten wie in Fig. 3, nämlich die obere
Höhe, die untere Höhe, die innere Breite und die äußere
Breite. Zusätzlich kann die Bewegung des Kopfes durch
die X, Y-Koordinaten des Mittelpunktes des Mundes und
eine Änderung der Kopfneigung gemessen werden. Wie bei
den Bewegungen der neuen Sprache können die Messungen
auf Bilder, beschränkt werden, bei denen sich
Bewegungen ändern. Obschon alle Bilder behandelt werden
können, wird bei einer praktischen Ausführungsform der
Erfindung nur eine kleine Anzahl von Bildern verglichen
mit der Gesamtanzahl der Bilder in dem Film benutzt.
-
Wie sich am besten aus Fig. 2 ergibt, stellt ein
Filmprojektor 46, der den Film enthält, auf einer
Bild-für-Bild-Basis bei Steuerung eines Signals von
einem Computer 48 ein Bild auf einer Leinwand 44 dar.
Das Bild auf der Leinwand 44 wird mittels einer
Videokamera 42 aufgenommen und zu einem Bildverarbeiter
50 übertragen. Der Bildverarbeiter stellt das Bild
erneut auf einem Monitor 52 dar, der einen Cursor 54
enthält. Der Monitor zeigt somit das Bild auf einer
Bild-für-Bild Basis, wobei jedes Bild als
"eingefrorenes" oder stillstehendes Bild erscheint.
-
Der Bildverarbeiter 50 ist ein bekanntes Gerät; es kann
das Modell 1633 der Firma Digital Graphic Systems
Mountainview, California benutzt werden, das unter der
Bezeichnung CAT vertrieben wird und manchmal auch als
CAT Model 1633 bezeichnet wird. Dieser Bildverarbeiter
empfängt ein analoges Signal von der Videokamera 42,
wandelt das Signal in ein digitales Signal um und
speichert das Signal darin auf einer Bild-für-Bild
Basis. Die Signale von dem Bildverarbeiter werden dann
auf einen Monitor 52 erneut übertragen, der die
Abbildung jedes Bildes 60mal pro Sekunde empfängt und
auf dem ein stehendes oder "eingefrorenes" Bild zum
Betrachten und für die Korrekturarbeit erscheint. Auf
diese Weise ist der Bildverarbeiter in der Lage u. a.
ein Videosignal digital darzustellen, das Signal als
Datenfeld von Lichtintensitäten (Bildelementen oder
"Pixels") in digitaler Form zu speichern und die
Lichtintensitäten auf einem Fernsehmonitor
darzustellen sowie einen blinkenden Cursor an jeder
bestimmten Stelle der Koordinate auf einem
Bildsichtgerät zu überlagern.
-
Die Bedienungsperson rückt Bilder durch Betätigung
des Projektors 46 durch ein Signal von dem Computer 48
vorwärts, um ein Bild auf der Leinwand 44 zur
Aufnahme durch die Videokamera 42 sichtbar zu machen.
In diesem Zusammenhang wird darauf hingewiesen, daß
anstelle der Kamera 42 der Film auf einem Videoband
vorliegen kann; in diesem Fall erfolgt die Übertragung
zu dem Bildverarbeiter auf einer Bild-für-Bild Basis
von dem Videoband.
-
Die Bedienungsperson steuert durch die Ausgabe
von Steuerungsbefehlen an den Computer die
Digitalisierung und die Darstellung eines Bildes auf
dem Monitor 52. Dann veranlaßt die Bedienungsperson,
daß der Cursor 54 dargestellt und zu den ausgewählten
Schlüsselpunkten auf dem Bild bewegt wird. Die
Messungen können vereinfacht werden, indem ausgewählte
Tasten der Tastatur des Computers als spezielle
Befehlstasten verwendet werden, die benutzt werden,
um die Daten, die gespeichert werden sollen,
zu identifizieren. Die Daten, der Lippenbewegungen
für den "fremden" Film, werden in einer Diskette 56
gespeichert, die ihre Daten von dem Computer 48 erhält.
Die Messungen 26a, 28a, 30a, 32a der ursprünglichen
Lippenbewegungen auf dem Film können von den Stellungen
im X, Y-Koordinatensystem des Bildschirms in eine
prozentuale Öffnung durch Messen und Vergleichen jeder
Bewegung mit der maximalen Entfernung umgewandelt
werden, die für den Schauspieler, der in dem Film
erscheint, zutrifft. Fig. 4 zeigt die Messungen der
Lippengestalt für den Schauspieler auf dem Film auf
einem Bild des Schauspielers. Die Messungen von den
verschiedenen Bildern können von den Stellungen im
X, Y-Koordinatensystems des Bildschirms in
prozentualen Öffnungsstellungen für den besonderen
Schauspieler auf dem Film umgewandelt werden. Der
Cursor 54 kann benutzt werden, um die verschiedenen
Messungen in Fig. 4 auf Befehl in Übereinstimmung mit
üblichen Techniken für Arbeitscomputer durchzuführen.
-
Die Fig. 5 und 6 zeigen graphisch und schematisch einen
Vergleich oder "match up" der Lippenbewegungen in der
neuen Sprache im Vergleich mit den auf dem Film
vorhandenen Bewegungen. Auf diese Weise kann ein Bild
des vorhandenen Films mit einem geeigneten Bild der
Lippenbewegungen des neuen Schauspielers gepaart
werden, um die Berichtigungsmenge der vorhandenen
Lippen zu verringern. Wie auf Fig. 5 dargestellt,
werden die Daten, die die Lippenbewegung der
Originalsprache betreffen und die auf der Diskette 56
erscheinen, zusammen mit den Daten für die neue oder
zweite Sprache 22 in den Computer 60 eingegeben. Auf
diese Weise werden die beiden Gruppen von Daten auf der
Diskette 22, 56 in den programmierten Computer 60
eingegeben, um eine Diskette 62 zu erstellen, die Daten
enthält, die mit Daten für Standardkurven
zusammenwirken, um eine Darstellung von
Lippenbewegungen zu erzeugen, die der zweiten oder
neuen Sprache entsprechen.
-
Die Bedienungsperson vergleicht die Anzahl der Bilder,
die von den Lippen des Schauspielers 8 erstellt wurden,
mit der Anzahl von vorhandenen Bildern von fremden
Darstellungen. Die Bedienungsperson vergleicht die
Zählungen und errechnet die erforderliche Anpassung je
nach den Umständen. Wenn beispielsweise der Ton der
zweiten Sprache 300 Bilder erfordert und der Abschnitt
des Films 400 Bilder enthält, kann die Bedienungsperson
entscheiden, ob 1. die ersten 100 Bilder des Films, 2.
die letzten 100 Bilder des bestehenden Films, 3. eines
von jeweils vier Bildern des bestehenden Filmes
fallengelassen werden usw. Bei Szenen mit
Großaufnahmen, bei denen die Korrektur sehr wichtig
ist, kann die Bedienungsperson die Anpassung in
Abhängigkeit sowohl von den Kopf- als auch von den
Lippenbewegungen variieren.
-
Um die Auswahl oder das Paaren von Bildern zu
unterstützen, ist der Computer so programmiert, daß er
eine Graphik darstellt, wie sie Fig. 6a zeigt. Die
Graphik zeigt die Öffnung des Mundes in Abhängigkeit
von der Bildnummer. Es ergibt sich, daß die graphischen
Darstellungen 70 und 72 beispielsweise einer relativen
Öffnung des Mundes des Schauspielers 8 mit der Kurve 70
und den gleichen Daten mit der Kurve 72 für den
Schauspieler in dem Film entsprechen. Um die Anzahl der
Korrekturen zu verringern kann es wünschenswert sein,
den Punkt 76 zu verschieben, damit er mit dem Punkt 74
zusammenfällt, und den Punkt 80 zu verschieben, damit
er mit dem Punkt 78 zusammenfällt. Da der Computer es
ermöglicht, die graphischen Darstellungen 70, 72
zueinander zu verschieben, um den Punkt 74 mit dem
Punkt 76 und den Punkt 78 mit dem Punkt 80 in
vertikaler Richtung auszurichten, wie es in Fig. 6b
dargestellt ist, kann die Bedienungsperson dann die
Bilder auswählen, die zum Zwecke der Anpassung der
Lippenbewegungen an den Film gepaart werden sollen.
-
Vor dem Einbringen der den Messungen der Lippenbewegung
entsprechenden Daten, die in den Fig. 3 und 4
dargestellt ist, identifiziert und bestimmt die
Bedienungsperson Steuerpunkte für Standardkurven, um
den Schauspieler in dem Filmabschnitt, der bearbeitet
werden soll, zu kennzeichnen. Während die Messungen der
neuen und der ursprünglichen Lippenbewegung benutzt
werden, um das Ausmaß der Änderung jedes Bildes zu
steuern, steuern die Standardgesichtskurven die Stelle
der Änderungen. Nur eine geringe Anzahl von
Steuerpunkten muß bestimmt werden, um das Gesicht des
Schauspielers für die Resynchronisierung in die neue
Sprache zu charakterisieren. Zu diesem Zweck wird ein
Minimum von zwei Bildern ausgewählt, um einen
Filmabschnitt zu normieren. Ein Bild zeigt den Mund in
der völlig geöffneten, das andere Bild in der völlig
geschlossenen Stellung. Zusätzliche Bilder können
ausgewählt werden, wenn die Kopfbewegung dazu
Veranlassung gibt.
-
Die Standardkurven, die in Fig. 7 dargestellt sind,
bestehen aus einen Nasenschnitt 92, der Oberlippe 94 in
der Offenstellung, der Mittellinie 96, der oberen
Unterlippe 98, der Stellung 100 des Kinns oder des
Kiefers bei geschlossenem Mund, der Stellung 102 des
Kinns bei offenem Mund und einem Halsschnitt 104. Zwei
zusätzliche Kurven, nämlich die für die geschlossene
Oberlippe und die geschlossene Unterlippe sind auf Fig.
7 nicht dargestellt, da sie normalerweise mit der
Mittellinie 96 zusammenfallen.
-
Die Standardkurven werden durch Messen und Übertragen
der X, Y-Koordinaten von Steuerpunkten, die von der
Bedienungsperson ausgewählt werden und beispielsweise
in Fig. 8 bezogen auf die Kurve 94 der geöffneten
Oberlippe dargestellt sind, definiert. Dieselbe Methode
wird anschließend für die anderen Kurven angewandt.
Normalerweise umfassen die Steuerpunkte für die
Lippenkurven einen Schnittpunkt an den Seitenteilen
oder Wangen 1a und 7a, den Winkeln 2a, 6a, dem
Mittelpunkt 4a und an einem oder zwei Punkten 3a, 5a
auf beiden Seiten des Mittelpunktes. Steuerpunkte für
den Nasenschnitt und den Halsschnitt sind willkürlich
und normalerweise an den Änderungsbereich gebunden.
Steuerpunkte für die Kinnkurven folgen den
entsprechenden Kurven der Unterlippe.
-
Die Bedienungsperson kann die X, Y-Koordinaten der
Steuerpunkte der Standardkurve in einer Weise messen,
die der Messung der Kopf- und der Lippenbewegungen
entspricht, die bereits beschrieben wurde. Auf diese
Weise kann der Film in einer Filmabtastanordnung
befestigt werden, die die Hardware 42-54 umfaßt. Ein
für die Anordnung geeignetes Bild des Films wird
herangezogen und die Bedienungsperson steuert das
Digitalisieren in den Bildverarbeiter 50 und die
Darstellung auf dem Videomonitor 52. Die
Bedienungsperson steuert die Bewegung des Cursors 54
und die Speicherung der Koordinaten des Punktes durch
Anschlagen geeigneter Tasten auf der Tastatur des
Computers 48. Infolgedessen werden die XY-Koordinaten
für jeden Steuerpunkt an einer wirklichen
XY-Speicherplatz in bezug auf den Speicherplatz des
Mittelpunktes (X = 0, Y = 0) des Mundes lokalisiert.
Alle Daten werden in den Computer 48 auf einer
Punkt-für-Punkt-, "Kurve für Kurve"-Basis eingegeben.
Dies ermöglicht, daß jede Kurve für die
Bild-für-Bild-Bewegung beim Ändern der einzelnen Bilder
gespeichert wird.
-
Mit den beschriebenen Algorithmen und der
Programmierung des Computers sind nunmehr ausreichende
Daten vorhanden, um den Originalfilm zu ändern und einen
neuen Abschnitt des Films oder Videobandes zu
erstellen, das mit dem neuen Ton, der auf dem Rekorder
12 aufgezeichnet ist, verknüpft wird.
-
Es kann die auf Fig. 2 mit 42-54 bezeichnete Hardware
mit einer zusätzlichen Bild-für-Bild Bildaufnahmekamera
benutzt werden.
-
Alternativ kann die Hardware, den in Fig. 9
dargestellten Aufbau haben, bei dem der Film in Form
eines Videobandes vorliegt und von einem
Videobandrekorder 82 auf den Bildverarbeiter 16a
übertragen wird. Der Computer 60a, der Videomonitor 52a
und der Bildverarbeiter 16a arbeiten in der vorstehend
beschriebenen Weise. Eine Aufnahmekamera 80 kann auf
einer Bild-für-Bild-Basis die Bilder auf dem Monitor
52a aufnehmen. Die Aufnahmekamera kann eine Filmkamera
oder eine Videokamera mit einem dazugehörigen
Videorekorder sein.
-
Wie vorstehend beschrieben wandelt die
Filmabtastanordnung 42-46 oder die VCR Einheit 82 bei
Steuerung durch den Digitalcomputers 60a jedes Filmbild
in ein Videosignal um, das digitalisiert, gespeichert
und wieder dargestellt wird durch den digitalen
Bildverarbeiter 16a. Zusätzlich zu der Digitalisierung,
Speicherung und der Darstellung des Filmbildes sendet
der digitale Bildverarbeiter 16a
Lichtintensitäts-Informationen an den Computer 60a und
empfängt diese von dem Computer. Insbesondere arbeiten
der Bildverarbeiter 16a und der digitale Computer 60a
so, daß der Bildverarbeiter eine X,Y Koordinate von dem
Computer empfängt und den numerischen Wert entsprechend
der Lichtintensität an dieser Koordinatenstelle
zurücksendet. Darüber hinaus kann der Bildverarbeiter
die Lichtintensität an einem gegebenen Koordinatenplatz
durch einen neuen Wert ersetzen, der von dem digitalen
Computer gesendet wird. Jeder besondere Punkt an einem
X,Y-Platz auf einer Arbeitskurve der ursprünglichen
Lippen (Fig. 4) kann daher vorschoben oder bewegt
werden zu dem neuen Platz, der durch einen
entsprechenden Punkt auf der neuen Lippenform (Fig. 3)
identifiziert wird. Da diese Vorgänge in bezug auf alle
Punkte auf den Lippenkurven stattfinden, werden die
verschiedenen Punkte auf den Lippenkurven in Fig. 4 so
verschoben, daß sie den Lippenkurven der Fig. 3
entsprechen und neue Lippenbewegungen hervorrufen, die
dem neuen Ton entsprechen. Das Computerprogramm und die
Anordnung sind so, daß das Maß der Verschiebung in
bezug auf ein paar Standardkurven gemäß Fig. 7
gesteuert wird, insbesondere in bezug auf zwei
Standardkurven, zwischen denen der besondere X,Y Punkt
liegt.
-
Gegeben durch einen Algorithmus, der ausschließlich auf
das Verfahren der vorliegenden Erfindung angewandt
wird, kann ein wiederholtes Ersetzen von
Lichtintensitäten über die Bildelemente des
Gesichtsbereiches zwischen Nase und Hals erfolgen, um
das Bild zu verändern, so daß, wenn es wieder auf dem
Monitor dargestellt wird, der Mund des Darstellers die
durch den Ton erforderte Form oder Gestalt hat. Das
veränderte Bild, das auf dem Monitor 52a erscheint,
wird über eine Kamera 80 oder direkt auf ein Videoband
mittels eines Videorekorders aufgenommen. Der
Änderungsprozeß wird wiederholt auf einer
Bild-für-Bild-Basis, bis der gesamte Dialogabschnitt
des Films wieder aufgenommen ist.
-
Die im Rahmen der Erfindung verwendeten Algorithmen
sind in der Lage, in Anweisungen übertragen, und dann
in den Computer eingegeben, gespeichert und durch den
Computer verarbeitet zu werden. Wie vorstehend erwähnt,
verknüpfen diese Gleichungen Daten oder Informationen
von Standardkurven mit Daten der neuen Lippenbewegung
und Kopf und Lippenbewegungsdaten, die auf dem Film
vorhanden sind.
-
Die Algorithmen umfassen (1) die Interpolation der
Bilddaten für die Bewegungsinformation, (2) den Aufbau
von Arbeitskurven von den Standardkurven, (3) das
Auffinden von Kurvenschnitten, (4) den
Punkt-für-Punktersatz und (5) das Auffüllen in den
inneren Bereichen des Mundes.
-
Bilddaten für die Breite, die Höhe, die Kopfbewegung
und X=0, Y=0 (Mittelpunkt des Mundes) werden für die
Bewegungsinformation interpoliert. Um das Bemühen der
Bedienungsperson in Verbindung mit den vorstehend
beschriebenen Messungen zu verringern, wurden derartige
Messungen nur an Bildern vorgenommen, auf denen die
Bewegung sich änderte. Bewegungen für
dazwischenliegende Bilder können durch eine lineare
Interpolation interpoliert werden. Beispielsweise kann
angenommen werden, daß bei einem Bild, das 1/4 zwischen
einem Bild mit geschlossenem und einem Bild mit
geöffnetem Mund liegt, der Mund 1/4 offen ist. Jedoch
wurde empirisch ermittelt, daß Lippen- und
Kopfbewegungen dazu neigen, nicht linear abzulaufen.
Die algorithmische Interpolation, die benutzt wird,
vereint lineare und quadratische Komponenten. Es
errechnet sich ein Zwischenwert V mit drei Gleichungen
wie folgt:
-
A=(F-F1)/(F2-F1)+Q·(F-F1)·(F-F1-1)/((F2-F1)·(F2-F1))
-
B=(F2-F)/(F2-F1)+Q·(F2-F)·(F2-F1)/((F2-F1)·(F2-F1))
-
V=(V2·A+V1·B)/(A+B)
-
Dabei sind A und B temporäre Werte, die für die dritte
Gleichung benutzt werden, V ist der interpolierte Wert
(insbesondere Höhe, Breite, Kopfbewegung) an dem Bild
F, V1 ist der gegebene Wert bei dem Bild F1, V2 der
gegebene Wert bei dem Bild F2 und Q ein
Beschleunigungsfaktor, der von der Geschwindigkeit der
Bewegung abhängt und empirisch mit 0,6 gewählt wird.
-
Die mittels dieser Gleichungen interpolierten Daten für
jedes Bild umfassen:
-
Original (vor der Änderung), Höhe der Oberlippe,
Höhe der Unterlippe, innere Breite, äußere Breite,
Neigungsänderung und die X,Y Koordinaten des
Mittelpunktes des Mundes.
-
Die gewünschte neue Sprache (nach der Änderung),
die Höhe der Oberlippe, die Höhe der Unterlippe,
die innere Breite und die äußere Breite.
-
Die Höhen und Breiten werden mit Standardkurven
verknüpft, um Arbeitskurven zu bilden, die die
tatsächlichen Kurven für die in Betracht gezogenen
Mundregionen darstellen.
-
Wie vorstehend beschrieben, werden Standardkurven durch
die Bedienungsperson für die offene und geschlossene
Oberlippe, Unterlippe und das Kinn bestimmt.
Arbeitskurven, die der vorherigen und nachträglichen
Stellung der Oberlippe, der Unterlippe und des Kinns
angenähert sind, werden durch Interpolation
entsprechender Steuerpunkte der Standardkurve für die
offenen und geschlossenen Stellung durch die Höhen und
Breiten der Originalfremdsprache und der gewünschten
neuen Sprache ermittelt. Wenn beispielsweise die obere
Höhe der gewünschten neuen Sprache 0,5 (d. h. 50%
offen) ist, dann würde jeder Steuerpunkt der Oberlippe
X,Y Koordinaten von 0,5 (d. h. 50%) zwischen den
entsprechenden Steuerpunkten der Standardkurve für die
geöffnete Oberlippe und der Standardkurve für die
geschlossene Unterlippe haben. Die vorherigen und
nachträglichen Arbeitskurven für die Lippen und Kiefer
ergänzen die Standardkurven für den Nasenschnitt, die
Mittellinie und den Halsschnitt, die in Fig. 7
dargestellt sind.
-
Obwohl Arbeits- und Standardkurven durch eine begrenzte
Anzahl von Kontrollpunkten bestimmt werden, können
dazwischenliegende Punkte oder Zwischenwerte zwischen
den Kontrollpunkten durch Interpolation errechnet
werden. Obschon eine lineare Interpolation eine gute
Annäherung ergibt, haben wir empirisch festgestellt,
daß eine sogenannte "cubic spline"-Interpolation eine
bessere Annäherung an normale Lippenkurven ergibt.
"Cubic spline"-Interpolation ist eine mathematische
Grundtechnik, die beispielsweise in der
Veröffentlichung "Applied Numerical Analysis", 1980,
Seiten 474-488, Addison Wesley Publishing Co., Reading,
Mass, U.S.A. beschrieben wird. Die
"cubic spline"-Interpolationsgleichungen sind
nachstehend in dem Computerprogramm wiedergegeben, das
Teil der Beschreibung ist und unter der Überschrift
CALCULATE CUBIC COEFF'S erscheint. Die
Kurvenzwischenwerte, die durch kubische Interpolation
bestimmt wurden, werden benutzt, um senkrechte
Koordinaten für einen Punkt-für-Punkt Ersatz zu finden.
-
Punkt-für-Punkt Ersatz ist der mittlere Algorithmus bei
der Änderung. Alle Gesichtspunkte zwischen der
Nasen- und den Halsschnittkurve werden für den Ersatz
herangezogen. Der Punkt-für-Punkt Ersatz wird in Fig. 9
durch einen digitalen Computer 60a vorgenommen, der
einen digitalen Bildverarbeiter 16a steuert, um
Intensitätswerte an den digitalen Computer von
Quellen-Koordinaten X',Y' zu senden und den Wert wieder
als neue Intensitätsinformation für einen
Bestimmungspunkt mit den Koordinaten X,Y zu empfangen.
Die größere Aufgabe in dem Algorithmus ist die
Berechnung jedes Bestimmungspunktes X,Y, der für den
Ersatz in Betracht gezogen wird und über diesen die
Berechnung der Quellenpunktkoordinaten X',Y' für die
Intensitätsinformation.
-
Ein Weg, um die Werte für die Bestimmungskoordinate
für X zu errechnen, ist mit X=0 im Mittelpunkt des
Mundes zu beginnen. Dann X=-1 , X=-2, X=-3,... zu
setzen, bis X gleich dem X des ersten
Nasenschnittpunktes ist. Dann wird X=+1 , X=+2, X=+3,...
gesetzt, bis X gleich dem X des letzten
Nasenschnittpunktes ist. Dies ergibt alle möglichen
Werte für X für den Ersatz. Dann werden für jedes X
Y Werte zwischen Y1 und Y2 wie folgt errechnet: die
Ausgangsordinate Y1 kann errechnet werden als der
cubic spline Y-Schnittpunkt von X mit der Kurve des
Nasenschnittes. Der Endwert Y2 kann errechnet werden,
als der cubic spline Y-Schnittpunkt von X mit der
Halskurve. Zwischenwerte von Y können errechnet werden
durch aufeinanderfolgendes Abziehen von einem
Y-Nasenschnittpunkt, Nasenschnittpunkt -1,
Nasenschnittpunkt -2... bis Y die Halsschnittkurve
schneidet.
-
Um die senkrechte Ursprungsordinate Y1' zu errechnen,
werden Y1,Y2,Y1' und Y2' wie folgt berechnet:
Berechnung von Y1, als Y-Schnittpunkt der
"nachher"-Arbeitskurve oberhalb Y; Berechnung von Y2
als Y-Schnittpunkt, der "nachher"-Arbeitskurve
unterhalb Y. Berechnung von Y1 als Schnittpunkt der
"vorher"-Kurve entsprechend Y1 und Y2' als Schnittpunkt
der "vorher"-Arbeitskurve entsprechend Y2.
-
Als nächstes wird die Y' Koordinate zwischen Y1' und
Y2' durch lineare Interpolation errechnet:
-
Y'=Y+((Y1-Y1')·(Y-Y2)+(Y2-Y2')·(Y-Y1))/(Y2-Y1)
-
Die Berechnung dieser waagerechten Quellenkoordinate Y'
hängt von den X und Y Koordinaten des
Bestimmungspunktes und den Breiten des Mundes vor und
nach der Änderung ab.
-
1) Berechnung von XW, dem für die Breite ermittelten
X zwischen der Ober- und der Unterlippe:
-
a) Wenn X zwischen X0 der Wange und X1 dem
Mundwinkel liegt, errechnen sich XW, ein
Breitenfaktor von W0, die äußere "nachher"-Breite
und W0' der äußeren "vorher"-Breite wie folgt
-
XW=X1·(X-X0)·(W0'-W0)/(X1-X0)
-
b) Wenn X zwischen X1, dem Mundwinkel und O, dem
Mittelpunkt, liegt, errechnet sich XW' von W1, der
inneren "nachher"-Breite und W1' der inneren
"vorher" Breite wie folgt
-
XW=(X-X0)·(W1'-W1)
-
2) Wenn Y zwischen den Kurven der Ober- und der
Unterlippe liegt, wird XW, das für die Breite
ermittelte X für die Quellenkoordinate x , x' direkt
benutzt:
-
X' =X+XW
-
3) Wenn Y zwischen Y1, dem Schnittpunkt mit dem
oberen Nasenschnitt und Y2 dem Schnittpunkt mit der
Oberlippe liegt, wird XW interpoliert durch den
Abstand oberhalb der Oberlippenkurve:
-
x' =X-XW·(Y1-Y)/(Y1-Y2)
-
4) Wenn Y zwischen Y4 dem Schnittpunkt mit der
Unterlippe und Y5 dem Schnittpunkt mit der
Kieferlinie liegt, wird XW durch den Abstand
unterhalb der unteren Unterlippenkurve interpoliert:
-
X'=X+XW·(Y-YS)/(Y4-Y5)
-
5) Wenn Y zwischen dem Kiefer und dem Hals liegt,
wird keine Breiteneinstellung verwendet:
-
X'=X
-
Um es zu wiederholen: die Intensität jedes Punktes in
dem unteren Gesicht wird durch die Intensität von einem
anderen Punkt ersetzt, basierend auf a) den X,Y
Koordinaten des Punktes, der ersetzt werden soll, b)
den Standardschnittkurven, c) Arbeitskurven, die die
"vorher" und "nachher" vorliegenden Höhen und eine
horizontale Ermittlung der "vorher" und "nachher"
vorliegenden Breiten berücksichtigen.
-
Die Differenz zwischen dem ersetzten Punkt X,Y und der
Quellenkoordinate X' , Y' wird auf 0 zurückgeführt an
den Schnittkurven an der Nase, dem Mittelpunkt und dem
Hals, ebenso wie Schnittpunkte an den Wangen. Die
graduelle Verringerung auf 0 führt zu einem
unsichtbaren Saum zwischen den veränderten und den
unveränderten Bereichen des Gesichtes.
-
Die Reihenfolge, in der die Punkte ersetzt werden, ist
willkürlich. Jedoch wird das Erfordernis, Daten in den
Computer zu speichern, reduziert, wenn Lippen gegen
den Mittelpunkt geöffnet und geweitet und von dem
Mittelpunkt aus zusammengezogen und verengt werden.
-
Wenn ein Mund von der geschlossenen in die offene
Stellung bewegt wird, können Punkte innerhalb des
Mundes Intensitätsinformationen von einem
vorhergehenden Bild erforderlich machen. Beispielsweise
kann es notwendig sein, Zahnausbildungen wieder
einzusetzen. Intensitätsinformationen von einer
Reihe von Punkten einer digitalisierten, völlig
geöffneten Mundstellung werden von einem digitalen
Bildverarbeiter 16a an dem Wirtsrechner 60a geliefert
und in diesem gespeichert. Wenn ein nachfolgendes Bild
digitalisiert wird, kann der Rechner einige der
Intensitätspunkte, wie sie durch das Programm bestimmt
sind, für den Ersatz an entsprechenden Stellen in dem
"neu" geöffneten Mund liefern. Derartige Stellen
werden berechnet, indem alle Punkte auf den
Mittelpunkt des Mundes bezogen werden. Die Übertragung
ist begrenzt auf bedienungsspezifische maximale linke
und rechte Abstände von dem Mittelpunkt. Lediglich
Punkte zwischen den Ober- und Unterlippenkurven der
nachträglichen oder neuen Sprache werden ersetzt.
-
Nachdem alle Bilder aufeinanderfolgend digitalisiert,
geändert und auf einen Film oder ein Videoband
aufgezeichnet worden sind, können die geänderten
graphischen Bilder mit dem Ton der neuen Sprache
von dem Recorder verknüpft werden, um den
Filmabschnitt zu vervollständigen. Das Verknüpfen kann
beispielsweise durch übliche Techniken zum Aufbringen
einer Tonspur auf einen Film erfolgen.