DE102007014020B4

DE102007014020B4 - Automatischer Echtzeit-Gesichtsmerkmal-Austausch

Info

Publication number: DE102007014020B4
Application number: DE102007014020A
Authority: DE
Inventors: Paul Dublin McAlpine; Ravi San Ramon Punati; Ken San Carlos Erbes
Original assignee: Logitech Europe SA
Current assignee: Logitech Europe SA
Priority date: 2006-04-04
Filing date: 2007-03-23
Publication date: 2010-08-12
Anticipated expiration: 2027-03-24
Also published as: CN101051392A; DE102007014020A1; US20070230794A1

Abstract

Verfahren zum Modifizieren eines Bildes, umfassend:
Empfangen eines Quellenbildes des Gesichts einer Person, wobei das Quellenbild ein Videobild von einer Livevideozuführung ist;
Erfassen einer Vielzahl von Gesichtsmerkmalen aus dem Quellenbild;
Auswählen eines Zielbildes und mindestens eines ersten der Gesichtsmerkmale durch einen Benutzer, wobei das Zielbild ein Bild einer beliebigen Quelle ist;
Erfassen eines Zielgesichtsmerkmals im Zielbild entsprechend dem ersten Gesichtsmerkmal;
Gewinnen des ersten Gesichtsmerkmals aus dem Quellenbild;
Ändern der Größe des ersten Gesichtsmerkmals, um es in das Zielbild einzupassen;
Alpha-Blending des hinsichtlich seiner Größe veränderten ersten Gesichtsmerkmals;
Austauschen des Zielgesichtsmerkmals gegen das Alpha-Blending unterzogene erste Gesichtsmerkmal, um ein modifiziertes Zielbild zu erzeugen, wobei weniger als 20 Prozent des Zielbildes modifiziert werden;
und
Liefern des modifizierten Zielbildes zu einem Anwendungsprogramm.

Description

RÜCKVERWEISUNGEN AUF VERWANDTE ANMELDUNGEN
Verwandte Anmeldungen desselben Anmelders sind die Patentanmeldung Nr. 11/183,179 mit dem Titel ”Facial Features-Localized and Global Real-Time Video Morphing”, eingereicht am 14. Juli 2005; und die Patentanmeldung Nr. 10/767,132 mit dem Titel ”Use of Multimedia Data for Emoticons in Instant Messaging”, eingereicht am 28. Januar 2004, Veröffentlichung Nr. 2005/0163379, die hiermit in ihrer Gesamtheit hierin aufgenommen werden.
HINTERGRUND DER ERFINDUNG
Die vorliegende Erfindung betrifft die Modifikation eines Bildes in Echtzeit, insbesondere das Verändern von Merkmalen eines Bildes einer Person durch Bewegen von Lippen und Augen.
Für eine gewisse Zeit existierte eine Software, um Bilder wie z. B. das Gesicht einer Person zu modifizieren. Das US-Patent Nr. 5 825 941 ist ein Beispiel einer Software, die einem Patienten ermöglicht, die Effekte einer vorgeschlagenen plastischen Chirurgie zu sehen, bevor sie durchgeführt wird. Eine andere Software ermöglicht Benutzern, statische Bilder zu modifizieren, die gespeichert und ausgedruckt werden können, wie z. B. durch Verändern der Merkmale des Gesichts oder durch Morphen von zwei Gesichtern zusammen. Die veröffentlichte US-Anmeldung Nr. 20050026685 zeigt ein System zum Morphen von Videospielcharakteren. Die veröffentlichte US-Anmeldung Nr. 20040201666 zeigt die Verwendung der Benutzerstimme oder anderer Eingaben, um einen virtuellen Charakter zu modifizieren.
Eine Vielfalt von Anwendungen richten sich auf das Modifizieren von Avatars zur Verwendung bei der Sofortnachrichtenübermittlung. Diese Anwendungen ermöglichen einem Benutzer, das Avatarbild, das die Darstellung des Benutzers ist, zu personalisieren. Die veröffentlichte US-Anmeldung Nr. 20030043153 zeigt beispielsweise das Bestimmen von Gesichtsausdrücken von einer Webcam-Videozuführung und die Abbildung dieser Ausdrücke auf einen Avatar. Ein Animationsvektor wird auf einen Zielmischvektor abgebildet.
Jay Leno führt eine Routine durch, wobei sich sein Mund auf dem Bild einer berühmten Person bewegt. Dies wird durch Ausrichten eines Videos von Jay, der spricht, auf das Bild, und Mischen der beiden, um seine Lippen auf das Bild zu überlagern, durchgeführt. Jay sitzt vor der Kamera in genau der richtigen Position, um dies durchzuführen.
Das US-Pat. Nr. 6 580 811 beschreibt die Erfassung von Gesichtsmerkmalen in einem Livevideo und die Verwendung von diesen, um einen Avatar zu animieren. Das animierte Gesichtsbild kann auf einem photorealistischen Modell der Person, einem Zeichentrickcharakter oder einem mit dem Benutzer überhaupt nicht in Beziehung stehenden Gesicht basieren. Der Avatar wird unter Verwendung von einem von einer Anzahl von üblichen Verfahren animiert, wie in den Spalten 12-13 beschrieben: (1) Schlüsselsynchronisation und geometrische Interpolation, (2) direkte Parametrisierung, (3) Pseudomuskelmodelle, (4) Modelle auf Muskelbasis, (5) 2D- und 3D-Morphing und (6) Steuerpunkte und Modelle finiter Elemente.
Das Seiko Epson Pat. 5 850 463 beschreibt das Verändern des Ausdrucks eines synthetisierten Gesichtsbildes durch Ändern von Koordinatenwerten, um einen speziellen Punkt in einem oder mehreren Merkmalsbereichen, wie z. B. den Augen, der Nase, den Augenbrauen oder dem Mund, geringfügig zu bewegen. Ein Ausdruck kann durch Definieren von Ausdruckdaten, die beschreiben, welche Punkte im Gesichtsbild bewegt werden und in welcher Richtung, geändert werden (siehe Spalte 17, Zeilen 20-33).
Das Taarna Studios Pat. 6 163 322 beschreibt ein Verfahren zum Animieren eines synthetischen Körperteils unter Verwendung einer Datenbank von Basisstellungen.
Die Veröffentlichung „Sample-Based Talking-Head Synthesis” von E. Cosatto, PhD. Thesis, Swiss Federal Institut of Technology, 2002, Signal Processing Laborstory, S. I-III, 1-101; eHB offenbart ein Verfahren zum Animieren sprechender Köpfe. Dabei wird ein Video einer sprechenden Person aufgenommen, wobei die Aufnahmebedingungen, wie beispielsweise Hintergrund und Beleuchtung, kontrolliert werden. In dem Video wird dann nach Gesichtsmerkmalen gesucht, was in Echtzeit geschieht. Die Gesichtsmerkmale werden extrahiert und normalisiert, um eine einheitliche Position und Orientierung aller extrahierten Gesichtsmerkmale zu erreichen. Aus extrahierten Gesichtsmerkmalen wird schließlich eine Datenbank zusammengestellt. Diese Datenbank wird dann zur Animation einer sprechenden Person auf der Grundlage eines gesprochenen Textes verwendet, welche auch in Echtzeit stattfindet.
Die US 2005/0031194 A1 offenbart schließlich ein Verfahren zum Synthetisieren von Köpfen aus 3D-Modellen von Köpfen und 2D-Silhouetten von Köpfen. Bei diesem Verfahren werden so genannte „Eigen-Heads” ermittelt, aus denen ein beliebiger Kopf zusammengesetzt werden kann.
Die vorliegende Erfindung stellt ein Verfahren zum Modifizieren von ausgewählten Bereichen eines Zielbildes auf der Basis von ausgewählten Bereichen eines Quellenbildes gemäß Anspruch 1 und eine entsprechende Vorrichtung gemäß Anspruch 7 sowie ein System gemäß Anspruch 10 bereit. Erfindungsgemäß werden Gesichtsmerkmale in einem Videobild von einer Webcam erfasst. Eines oder mehrere dieser Gesichtsmerkmale werden ausgewählt und auf das Zielbild überlagert. Größenänderungs- und Alpha-Blending-Verfahren werden verwendet, um die Quellenteile in die Zielbilder zu mischen. Dies kann beispielsweise Spaßeffekte wie z. B. Bewegen der Augen und Lippen eines Bildes von Mona Lisa erzeugen.
In einem Ausführungsbeispiel wird eine Videozuführung von einer Webcam wie z. B. eine USB-Videozuführung über einen Kameratreiber zu einer Merkmalserkennungssoftware geliefert. Das Bild einer Person (Quellenbild) im Video wird aufgefunden und dann werden ausgewählte Merkmale aufgefunden. Die Merkmalserkennungssoftware findet auch die Merkmale im Zielbild auf. Die Orte der Merkmale für beide Bilder werden zu einem separaten Merkmalsaustausch-Softwaremodul geliefert. Das Merkmalsaustausch-Softwaremodul führt eine Größenänderung und Alpha-Blending durch, führt dann den Merkmalsaustausch durch, indem eine Gruppe von Pixeln, die den Merkmalen entsprechen, vom Quellenbild in das Zielbild eingesetzt werden.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Diagramm, das das System und die Benutzerebenen der Software in einem Ausführungsbeispiel eines Systems, das die Merkmalsaustauschmerkmale der vorliegenden Erfindung beinhaltet, darstellt.
2 ist ein Blockdiagramm eines Ausführungsbeispiels eines Systems, das die Merkmalsaustauschmerkmale der vorliegenden Erfindung beinhaltet.
3A und 3B sind Diagramme einer schwebenden Dialogbox und eines Drop-Down-Menüs in einem Ausführungsbeispiel der Erfindung.
4 ist ein Diagramm eines Ausführungsbeispiels eines Benutzerschnittstellenbildschirms zum Auswählen des Merkmalsaustauschs.
5 ist eine Bildschirmaufnahme eines Ausführungsbeispiels einer Sofortnachrichtenübermittlungsanwendung, die das Gesichtsmerkmal-Austauschmerkmal der Erfindung beinhaltet.
6A–6D sind Bildschirmaufnahmen, die die Modifikation der Augen und des Mundes von Mona Lisa gemäß einem Ausführungsbeispiel der Erfindung darstellen.
7 ist ein Ablaufplan eines Ausführungsbeispiels der Erfindung.
AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
System
1 stellt die Operation eines Ausführungsbeispiels der Erfindung dar. Eingehendes Video 100 wird zu einem Videokanal 102 geliefert, der vom Merkmalsaustauschprozessor 104 der vorliegenden Erfindung empfangen wird. Der Videokanal kann direkt zu Anwendungen 106 geliefert werden, wie durch den Pfeil 108 angegeben, oder kann zum Merkmalsaustauschprozessor geliefert werden. Der Merkmalsaustauschprozessor liefert einen modifizierten Videokanal zu den Anwendungen, wie durch den Pfeil 110 angegeben.
In einem Ausführungsbeispiel ist der modifizierte Videokanal 110 tatsächlich ein Standbild (weiter als ”Hintergrundbild” oder ”Zielbild” bezeichnet), wobei sich bestimmte Merkmale wie z. B. die Augen und der Mund bewegen. Ein Hintergrundbild von Mona Lisa könnte beispielsweise bereitgestellt werden. Bestimmte Gesichtsmerkmale von Mona Lisa (beispielsweise: Augen und Mund) könnten dann gegen ihre sich bewegenden Gegenstücke ausgetauscht werden, die automatisch vom Videostrom (weiter als ”Vordergrundvideo” oder ”Quellenvideo” bezeichnet) abgerufen werden, der von der USB-Webcam erhalten wird (diese Webcam wäre auf ein Gesicht eines beliebigen Sprechers gerichtet).
In einem weiteren Ausführungsbeispiel ist der modifizierte Videokanal 110 tatsächlich ein Video, das ein Gesicht oder Gesichter enthält und das von einer beliebigen Quelle eingeht (weiter als ”Hintergrundvideo” oder ”Zielvideo” bezeichnet), wobei bestimmte Gesichtsmerkmale auf diesem Hintergrundvideo gegen ihre Gegenstücke (die sich auch bewegen) vom Video (das auch ein Gesicht enthält), das von einer anderen Quelle (beispielsweise – einer USB-Webcam) eingeht, ausgetauscht sind. Das letztere Video wird weiter als ”Vordergrundvideo” bezeichnet. Die Gesichtsmerkmale im Hintergrund- und im Vordergrundvideo werden dann automatisch lokalisiert. Sobald dies erreicht ist, werden die Gesichtsmerkmale im Hintergrundvideo gegen die Gesichtsmerkmale vom Vordergrundvideo ausgetauscht.
Der Benutzer betrachtet beispielsweise einen DVD-Film mit James Bond. Auf das Gesicht des Benutzers zeigt eine Webcam. Der Benutzer kann sich frei umherbewegen (keine Anforderung, in einer bestimmten Position still zu halten, da der Merkmalsverfolgungsprozessor das Merkmal im Blickfeld verfolgt). Die Gesichtsmerkmale von James Bond, die im DVD-Videovollbild lokalisiert werden, werden gegen Gesichtsmerkmale des Benutzers ausgetauscht (wobei der letztere automatisch vom Webcam-Videostrom abgerufen wird). Die Gesichtsmerkmale des Benutzers werden zweckmäßig bemessen, gedreht und Alpha-Blending unterzogen, um ein realistisches und glaubwürdiges Ergebnis vorzusehen.
In einem weiteren Ausführungsbeispiel könnte das gesamte Gesicht vom Hintergrundbild oder vom Hintergrundvideo gegen ein Gesicht vom Vordergrundvideo ausgetauscht werden.
Der modifizierte Videokanal kann von einer beliebigen Anwendung verwendet werden, die eine Bildeingabe verwendet. Dies umfasst Sofortnachrichtenübermittlungsanwendungen (MSN Messenger, Yahoo Messenger, AOL Messenger usw.) sowie Videoaufnahmeanwendungen (wenn – beispielsweise – ein Künstler das Video auf der Platte erfasst). Dies bedeutet, dass der Merkmalsaustausch angewendet werden kann, bevor das Video auf der Platte erfasst und gespeichert wird oder bevor es zum Gesprächspartner auf der anderen Seite des Kommunikationskanals gesandt wird. Dies liegt daran, dass der Merkmalsaustauschprozessor in den Systemebenenteil der Software integriert ist, was ihn für die Anwendungen, die den Videostrom verwenden, transparent macht, die über der Systemebene auf der Benutzerebene liegen. In dieser Weise ist die vorliegende Erfindung allgemein – d. h. sie kann gemeinsam mit einer beliebigen Videoanwendung existieren und ihre Eingabe gemäß den Einstellungen am Schnellassistenten modifizieren.
2 ist ein Blockdiagramm eines Ausführungsbeispiels eines Systems, das den Merkmalsaustausch der vorliegenden Erfindung beinhaltet. Eine Webcam 10 ist über einen USB-Bus 12 mit einem Computer 14 verbunden. Der USB-Bus 12 wirkt als Videozuführung von der Kamera zum Computer. Alternativ könnte eine drahtlose USB-Zuführung bereitgestellt werden oder irgendein anderer Bus oder irgendeine andere Schnittstelle könnte verwendet werden, um das Video zu liefern. Außerdem könnte eine andere Kamera als die Webcam verwendet werden.
Der Computer 14 umfasst einen Kameratreiber 16, der das Livevideo empfängt und es zum Merkmalserkennungs-Softwaremodul 18 liefert. Das Merkmalserkennungsmodul 18 könnte eine beliebige Software sein, die Informationen hinsichtlich Gesichtsmerkmalen aus einem Videobild gewinnt, wie z. B. die Software, die von Neven Vision hergestellt wird, eine Maschinensehtechnologie-Gesellschaft mit Sitz in Santa Monica, Kalifornien.
Die erfassten Informationen hinsichtlich der Gesichtsmerkmale werden zu einem Merkmalsaustauschmodul 20 geliefert. Das Merkmalsaustauschmodul reagiert auf Benutzereingaben, um Gesichtsmerkmale auszuwählen, die Art von Merkmalsaustausch zu bestimmen und den Merkmalsaustausch anzuwenden. Die Benutzereingabe kann über ein beliebiges Peripheriegerät wie z. B. eine Tastatur 22 oder Maus 24 mit einem zugehörigen Tastaturtreiber 26 und Maustreiber 28 geliefert werden. Nachdem der Merkmalsaustausch angewendet wurde, wird die Videozuführung oder das Videobild zur Anwendungssoftware 30 geliefert. Die Anwendungssoftware könnte eine Sofortnachrichtenübermittlungsanwendung, eine Videokonferenzanwendung oder eine beliebige andere Anwendung, die Video oder Bilder verwendet, sein. In einem Ausführungsbeispiel ist die durch die Verwendung der Merkmalserkennungs- und Merkmalsaustauschsoftware verursachte Verzögerung geringer als ein Videovollbild.
Das Merkmalsaustauschmodul enthält ein Bemessungsmodul und ein Alpha-Blending-Modul. Das Bemessungsmodul stellt die Größe der Merkmale des Benutzers, die mit der Kamera erfasst werden (das Quellenbild), auf die Größe des im Zielbild auszutauschenden entsprechenden Merkmals ein. Das Bild wird dann Alpha-Blending unterzogen, um die Farbe der Pixel nahe der Kante des Quellenbildblocks auf die Pixel, die das auszutauschende Merkmal im Zielbild umgeben, einzustellen. Solche Alpha-Blending-Verfahren sind Fachleuten gut bekannt. Außerdem kann der Winkel des Austauschmerkmals und seine Leuchtdichte auch eingestellt werden, um es an das Zielbild anzupassen oder in dieses zu mischen.
Merkmalsaustausch-Schnellassistent
3A zeigt eine schwebende Dialogbox 32, die ein Schnellassistent ist, der sich öffnet und auf dem Bildschirm erscheint, wenn ein Livevideo angefordert wird. Diese automatische Aktivierung wird von der Kamera oder von der Videotreibersoftware durchgeführt, die erfasst, wenn eine Anforderung für eine Videozuführung von einer Anwendung wie z. B. einer Sofortnachrichtenübermittlungsanwendung durchgeführt wird. Der Schnellassistent erscheint nahe dem Fenster des Programms, das das Livevideo aufgerufen hat, so dass es erscheint, als ob es ein Teil dieser Anwendung wäre. Ein Beispiel für Sofortnachrichtenübermittlung ist in 5 gezeigt. Diese stellt einen Vorteil beim Ermöglichen, dass die Merkmalsaustauschanwendung mit Drittanwendungen arbeitet, die eine Videozuführung verwenden und nicht modifiziert werden müssen, um sich an den Merkmalsaustauschprozessor anzupassen, bereit. Der Benutzer nimmt typischerweise an, dass der Schnellassistent ein Teil dieser Drittanwendung ist. Dies erhöht die leichte Verwendung und Annahme der neuen Technologie.
3B stellt ein Drop-Down-Menü 34 der Schnellassistent-Dialogbox 32 dar. Beispiele von Optionen sind gezeigt, andere können in anderen Ausführungsbeispielen bereitgestellt werden. Der Benutzer kann die Gesichtsverfolgung ein- oder ausschalten und kann die Verfolgung von mehreren Gesichtern aktivieren. Die Gesichtsverfolgung kann für das Merkmalserkennungsmodul erforderlich sein oder nicht. Der Benutzer kann auf die Videoeffektauswahl klicken und eine weitere Dialogbox würde erscheinen, wie z. B. die in 4 dargelegten Beispiele. Das Menü kann Optionen umfassen, die kein Teil der Merkmalsaustauschmerkmale sind, die jedoch ein Benutzer gleichzeitig zu modifizieren wünschen kann, wie z. B. die Kameraposition. Die Optionen können dem Benutzer ermöglichen, einen Videomerkmalsaustauscheffekt zu aktivieren, einen Effekt auszuwählen oder ins Internet zu gehen, um weitere Effekte herunterzuladen.
Effektauswahl
4 ist ein Diagramm eines Ausführungsbeispiels eines Benutzerschnittstellenbildschirms 60 zum Auswählen von speziellen Ausdrücken. Ein Drop-Down-Menü 62 ist vorgesehen. Der Benutzer kann einen speziellen auswählen. Die Auswahl 63 ist beispielsweise Mona Lisa, wobei sowohl die Augen als auch der Mund ausgetauscht werden, während die Auswahl 64 Mona Lisa, wobei nur die Augen ausgetauscht werden, ist. Anstatt oder zusätzlich zu Wortbeschreibungen könnten Bildsymbole oder Bilder verwendet werden. Ein Smiley-Gesicht 65 und ein Clown-Gesicht 66 sind Beispiele. Sie können mit Worten kombiniert werden, die sagen, welche Merkmale ausgetauscht werden, oder die auszutauschenden Merkmale könnten durch Fettdarstellung, Verwenden einer anderen Farbe, Bewegenlassen derselben usw. hervorgehoben werden. Ein lachendes Gesicht könnte beispielsweise sich bewegende Augen aufweisen, was zeigt, dass nur die Augen ausgetauscht werden, wenn es ausgewählt wird. Ein anderes könnte die Augen und den Mund in rot oder fett aufweisen, was angibt, dass sowohl die Augen als auch der Mund ausgetauscht werden, wenn dieses Bildsymbol oder Bild ausgewählt wird. Die Software wendet dann automatisch die geeigneten Einstellungen auf die verschiedenen Merkmale des Gesichts an.
Jede Merkmalsauswahl besitzt dieser zugeordnete Metadaten, die das Bild im Speicher, welche Merkmale auszutauschen sind, und die Koordinaten dieser Merkmale im Bild identifizieren.
In einem nicht zur Erfindung gehörenden Ausführungsbeispiel kann, anstatt ein Merkmal auszutauschen, ein Merkmal irgendwo auf dem Bild angeordnet werden. Das linke Auge oder die Lippen des Benutzers könnten beispielsweise in der Mitte der Stirn von Mona Lisa angeordnet werden.
Vorschaubildschirm
5 stellt ein Ausführungsbeispiel eines Vorschaubildschirms dar. Ein Sofortnachrichtenübermittlungs-Fenster 70 und ein Videofenster 72 sind gezeigt. Neben ihnen befindet sich die schwebende Dialogbox oder ein Schnellassistent 32. Ein Drop-Down-Menü 74 neben dem Schnellassistenten hebt den angezeigten Effekt hervor. In dem gezeigten Beispiel wird ein Berühmtheitseffekt ”Mona Lisa” angezeigt, wobei die Augen und der Mund des Benutzers die Augen und den Mund eines Bildes von Mona Lisa ersetzen.
6A–6D sind Bildschirmaufnahmen, die die Modifikation der Augen und des Mundes von Mona Lisa gemäß einem Ausführungsbeispiel der Erfindung darstellen.
7 ist ein Ablaufplan eines Ausführungsbeispiels der Erfindung, der die Verarbeitung eines Standzielbildes 80 (z. B. Mona Lisa) und einer Videosequenz 86 von einer Webcam oder einer anderen Quelle zeigt. Das Zielbild 80 wird verarbeitet und die Software lokalisiert die Gesichtsmerkmale (z. B. Augen und Lippen). Dies wird einmal durchgeführt. Die Koordinaten der Merkmale werden dann zusammen mit den Unterbildeigenschaften gewonnen (84).
Für die Videosequenz 86 wird derselbe Lokalisierungsprozess für jedes Vollbild durchgeführt (88). Die Koordinaten von sich bewegenden Merkmalen werden zusammen mit Merkmalsunterbildeigenschaften erhalten. Die Größe der sich bewegenden Merkmale wird dann geändert (92), um sie an die Größe des Standzielbildes anzupassen. Die gewonnenen Merkmale vom Video werden auch nach Bedarf umorientiert (z. B. geneigt) und mit den Eigenschaften des Standbildes Alpha-Blending unterzogen, um ein kombiniertes Vollbild zu erzeugen. Jedes kombinierte Vollbild wird dann anstelle des Videovollbildes angezeigt (94).
Variationen
In einem Ausführungsbeispiel würde sich der auf ein Gesicht angewendete Merkmalsaustausch mit der Person bewegen. In einem Ausführungsbeispiel der vorliegenden Erfindung wird die 3D-Position des Kopfs und der Merkmale lokalisiert und der Austausch wird von einer vorderen Position auf die tatsächliche Position des Benutzers eingestellt. Selbst wenn das Gesicht nicht frontal ist, wird der Merkmalsaustausch folglich beibehalten, wenn die Person ihren Kopf dreht, so dass die Lippen oder ein anderes Merkmal immer noch natürlich aussehen würden. Dies wird mit einem 3D-Bild durchgeführt, das für jedes Merkmal gespeichert und modifiziert wird, oder wobei Algorithmen zur Einstellung in 3D im Fluge verwendet werden.
In einem Ausführungsbeispiel kann die vorliegende Erfindung die Modifikationen auf Livevideo im Fluge mit einer Verzögerung von weniger als einem Vollbild anwenden. Dies ist möglich, da nur bestimmte (oder alle) Gesichtsmerkmale (oder das gesamte Gesicht), nicht das ganze Vollbild, modifiziert werden. In einem Ausführungsbeispiel werden weniger als 20% oder weniger als 10% des Videos modifiziert. Dies begrenzt die Menge an erforderlicher Verarbeitung und erhöht die Geschwindigkeit, mit der der Merkmalsaustausch durchgeführt werden kann.
In einem weiteren Ausführungsbeispiel wählt der Benutzer den anzuwendenden Merkmalsaustausch aus, bevor das Video zum Anwendungssoftwareprogramm zugeführt wird. In einem weiteren Ausführungsbeispiel kann der Benutzer auch die Einstellungen im Fluge, den Merkmalsaustausch oder das Ändern des Videobildes mitten in einer Sofortnachrichtenübermittlungs-Konversation beispielsweise durchführen.
In einem Ausführungsbeispiel ist die Erfindung in den Videokanal integriert, so dass sie für ein beliebiges Anwendungsprogramm transparent ist. Das Anwendungsprogramm muss nicht modifiziert werden, um es an die vorliegende Erfindung anzupassen, die auf der Treiberebene der Videozuführung angewendet wird.
In einem weiteren Ausführungsbeispiel werden populäre Merkmalsaustauschkombinationen gespeichert. Diese werden auf einer Website bereitgestellt, die für Benutzer zugänglich ist, und Benutzer können ihre eigenen erzeugen und sie auf die Website hochladen, um sie mit anderen Benutzern zu teilen.
In einem Ausführungsbeispiel wie z. B. für einen Konferenzanruf, wobei mehrere Leute anwesend sind, kann der Merkmalsaustausch unabhängig angewendet werden.
Wie für Fachleute verständlich ist, könnte die vorliegende Erfindung in anderen speziellen Formen verkörpert werden, ohne von den wesentlichen Eigenschaften der Erfindung abzuweichen. Der Merkmalsaustausch könnte beispielsweise auf Merkmale des Gesichts eines Haustiers wie z. B. eines Hundes oder irgendein anderes Bild angewendet werden. Es könnte auch veranlasst werden, dass das Merkmalsaustauschmodul bei der Einleitung eines Anwendungsprogramms, das Standbilder verwendet, wie z. B. das Senden von Schnappschüssen von einem Mobiltelefon, erscheint. Es könnte auch veranlasst werden, dass der Merkmalsaustauschprozessor jederzeit, wenn eine Videozuführung von einem Anwendungsprogramm angefordert wird, oder nur für bestimmte Arten von Anwendungsprogrammen erscheint. Das Gesichtsmerkmal kann auch das gesamte Gesicht sein. Folglich sollte auf die beigefügten Ansprüche Bezug genommen werden, die den Schutzbereich der beanspruchten Erfindung darlegen.

Claims

Verfahren zum Modifizieren eines Bildes, umfassend: Empfangen eines Quellenbildes des Gesichts einer Person, wobei das Quellenbild ein Videobild von einer Livevideozuführung ist; Erfassen einer Vielzahl von Gesichtsmerkmalen aus dem Quellenbild; Auswählen eines Zielbildes und mindestens eines ersten der Gesichtsmerkmale durch einen Benutzer, wobei das Zielbild ein Bild einer beliebigen Quelle ist; Erfassen eines Zielgesichtsmerkmals im Zielbild entsprechend dem ersten Gesichtsmerkmal; Gewinnen des ersten Gesichtsmerkmals aus dem Quellenbild; Ändern der Größe des ersten Gesichtsmerkmals, um es in das Zielbild einzupassen; Alpha-Blending des hinsichtlich seiner Größe veränderten ersten Gesichtsmerkmals; Austauschen des Zielgesichtsmerkmals gegen das Alpha-Blending unterzogene erste Gesichtsmerkmal, um ein modifiziertes Zielbild zu erzeugen, wobei weniger als 20 Prozent des Zielbildes modifiziert werden; und Liefern des modifizierten Zielbildes zu einem Anwendungsprogramm.
Verfahren nach Anspruch 1, wobei das Zielbild ein Standbild ist.
Verfahren nach Anspruch 1 oder 2, wobei das Anwendungsprogramm ein Sofortnachrichtenübermittlungsprogramm ist.
Verfahren nach einem der vorangehenden Ansprüche, welches ferner umfasst: Anzeigen einer graphischen Benutzerschnittstelle, die die Verfügbarkeit des Zielbildes bei der Erfassung des Quellenbildes anzeigt.
Verfahren nach einem der Ansprüche 1 bis 3, welches ferner umfasst: Anzeigen einer graphischen Benutzerschnittstelle, die die Verfügbarkeit des Zielbildes bei der Erfassung des Anwendungsprogramms anzeigt.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Gesichtsmerkmal ein ganzes Gesicht ist.
Vorrichtung zum Modifizieren eines Bildes mit: einer Videoeingangszuführung mit einem Bild des Gesichts einer Person, wobei die Videoeingangszuführung eine Livevideozuführung ist; einem Merkmalserfassungs-Softwaremodul, das dazu ausgelegt ist, eine Vielzahl von Gesichtsmerkmalen aus der Videozuführung zu erfassen; einem Merkmalsaustausch-Softwaremodul, das dazu ausgelegt ist, eine Angabe von erfassten Gesichtsmerkmalen von der Merkmalserfassungssoftware zu empfangen und die Auswahl von mindestens einem ersten der Gesichtsmerkmale, die Auswahl eines Zielbildes, auf das das erste Gesichtsmerkmal angewendet werden soll, wobei das Zielbild ein Bild einer beliebigen Quelle ist, und die Anwendung des ersten Gesichtsmerkmals auf das Zielbild, um eine modifizierte Videozuführung zu erzeugen, zu ermöglichen; wobei das Merkmalsaustausch-Softwaremodul ein Größenänderungsmodul zur Größenänderung des Gesichtsmerkmals, um es in das Zielbild einzupassen; und ein Alpha-Blending-Modul zum Alpha-Blending des Gesichtsmerkmals umfasst; und die Anwendung des ersten Gesichtsmerkmals auf das Zielbild in einem Austausch eines dem ersten Gesichtsmerkmal entsprechenden Gesichtsmerkmals im Zielbild gegen das erste Gesichtsmerkmal besteht, wobei das Merkmalsaustausch-Softwaremodul weniger als 20 Prozent des Zielbildes modifiziert; und einem modifizierten Videozuführungsausgang, der an ein Anwendungsprogramm gerichtet ist.
Vorrichtung nach Anspruch 7, welche ferner einen Schnellassistenten zum Zugreifen auf das Merkmalsaustausch-Softwaremodul umfasst.
Vorrichtung nach Anspruch 8, wobei der Schnellassistent dazu ausgelegt ist, nahe dem Anwendungsprogramm, das die Videozuführung verwendet, zu schweben.
System zum Modifizieren eines Bildes mit: einer Videokamera, die eine Videoeingangszuführung mit einem Bild des Gesichts einer Person liefert, wobei die Videoeingangszuführung eine Livevideozuführung ist; und einem Computer mit einem Merkmalserfassungs-Softwaremodul, das dazu ausgelegt ist, eine Vielzahl von Gesichtsmerkmalen von der Videozuführung zu erfassen; einem Merkmalsaustausch-Softwaremodul, das dazu ausgelegt ist, eine Angabe von erfassen Gesichtsmerkmalen von der Merkmalserfassungssoftware zu empfangen und die Auswahl von mindestens einem ersten der Gesichtsmerkmale, die Auswahl eines Zielbildes, auf das das erste Gesichtsmerkmal angewendet werden soll, wobei das Zielbild ein Bild einer beliebigen Quelle ist, und die Anwendung des ersten Gesichtsmerkmals auf das Zielbild, um eine modifizierte Videozuführung zu erzeugen, zu ermöglichen; wobei das Merkmalsaustausch-Softwaremodul ein Größenänderungsmodul zur Größenänderung des Gesichtsmerkmals, um es in das Zielbild einzupassen; und ein Alpha-Blending-Modul zum Alpha-Blending des Gesichtsmerkmals umfasst; und die Anwendung des ersten Gesichtsmerkmals auf das Zielbild in einem Austausch eines dem ersten Gesichtsmerkmal entsprechenden Gesichtsmerkmals im Zielbild gegen das erste Gesichtsmerkmal besteht, wobei das Merkmalsaustausch-Softwaremodul weniger als 20 Prozent des Zielbildes modifiziert; und einem modifizierten Videozuführungsausgang, der an ein Anwendungsprogramm gerichtet ist.