DE102014110349A1

DE102014110349A1 - Hybride visuelle Kommunikation

Info

Publication number: DE102014110349A1
Application number: DE102014110349.1A
Authority: DE
Inventors: Schuyler Cullen
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2013-08-09
Filing date: 2014-07-23
Publication date: 2015-02-12
Also published as: CN111599012B; CN111599012A

Abstract

Beispielhafte Ausführungsformen für eine visuelle Kommunikation zwischen einer ersten Vorrichtung (10a) und einer zweiten Vorrichtung (10b), aufweisend: ein Verwenden von Daten von einem Kamerasystem (26) zum Erzeugen eines 3D-Gittermodells (300) eines ersten Vorrichtungsverwenders, wobei das 3D-Gittermodell (300) für eine Speicherung auf der zweiten Vorrichtung (10b) für eine nachfolgende Anzeige auf der zweiten Vorrichtung (10b) zur Verfügung gestellt wird; während der visuellen Kommunikationssitzung zwischen der ersten Vorrichtung (10a) und der zweiten Vorrichtung (10b) ein Empfangen von Sensordaten von einer Sensoranordnung einschließlich Abbildungsdaten, welche ein Ändern von Gesichtsausdrücken und eine Bewegung des ersten Vorrichtungsverwenders aufnehmen; ein Verwenden der Abbildungsdaten, um 3D-Gittermodell-Aktualisierungen (25) zu bestimmen; ein Übertragen der 3D-Gittermodell-Aktualisierungen (25) zu der zweiten Vorrichtung (10b) um für die zweite Vorrichtung (10b) die Anzeige des 3D-Gittermodells (300) des ersten Vorrichtungsverwenders zu aktualisieren; und ein Empfangen von der zweiten Vorrichtung (10b) zum Anzeigen auf der ersten Vorrichtung (10a) von zumindest einem 2D-Videodatenstrom oder von Aktualisierungen (25) für ein 3D-Gittermodell (300) eines zweiten Vorrichtungsverwenders.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Anmeldung beansprucht den Nutzen der am 09. August 2013 eingereichten vorläufigen Patentanmeldung mit der Serien-Nr. 61/864, 446, welche dem Abtretungsempfänger der vorliegenden Anmeldung abgetreten ist und hierin durch Bezugnahme mit eingebunden ist.
HINTERGRUND
Ein existierendes Videokommunikationssystem und Services wie beispielsweise Skype^TM und Google Hangout^TM übertragen 2D-Video-Datenströme zwischen Vorrichtungen, welche Abspielanwendungen betreiben. Solche Videokommunikationssysteme übertragen typischerweise Videodatenströme von komprimierten sequenziellen Abbildungen gepaart mit Audio-Datenströmen zwischen den Vorrichtungen. Die meisten Videokommunikationssysteme für die Verwendung durch einen individuellen Verwender benötigen eine Abspielanwendung, welche auf einer Computervorrichtung läuft, welche eine Kamera und eine Anzeige aufweist. Beispiele für die Computervorrichtung können einen Desktop- oder Laptop-Computer aufweisen, welcher eine Kamera hat, welche an der Oberseite des Bildschirms montiert ist, oder ein mobiles Telefon mit einer nach vorne zeigenden Kamera, welche in eine Einfassung an der Oberseite eingebaut ist.
Während sie vorteilhaft Verwender mit einer Video-Leistungsfähigkeit versehen, haben existierende Videokommunikationssysteme mehrere Nachteile. Beispielsweise benötigen existierende Videokommunikationssysteme typischerweise eine hohe Bandbreite und haben von Natur aus eine hohe Latenz, da gesamte Abbildungssequenzen vor dem Übertragen des Signals zu einer anderen Vorrichtung erzeugt und komprimiert werden müssen. Zusätzlich benötigen existierende Videokommunikationssysteme für eine niedrige Latenz und Anwendungen hoher Qualität, dass die Kommunikationsvorrichtungen über Wi-Fi, 3G oder 4G-Mobilkommunikationstechnologie übertragen.
Ein anderes Problem mit den meisten Videokommunikationseinrichtungen, ob auf einem Desktop, einem Laptop oder einem mobilen Telefon, ist dass es erscheint, dass der Verwender zu der Person, mit welcher er über Video kommuniziert, herabblickt, da des Verwenders Blickrichtung auf die Anzeige der Vorrichtung ist, welche typischerweise unterhalb dessen ist, wo die Kamera montiert ist. Diese Kamera-/Anzeige-Geometrieungleichheit verhindert es, dass Verwender eine Konversation haben, während der sie einander in die Augen blicken. Das damit zusammenhängende Problem ist, dass eine Übertragung eines Videos, welches 2D-Abbildungssequenzen einer Person aufweist, auch 3D-Tiefeninformationen über deren Gesicht verliert.
Es gibt auch Systeme, welche eine grafische Darstellung des Alter Ego beziehungsweise zweiten Ichs oder des Charakters des Verwenders übertragen können, worauf im Allgemeinen Bezug genommen wird als ein eine virtuelle Figur bzw. ein Avatar, aber Avatare gelingt es nicht in der Regel nicht, das tatsächliche bzw. aktuelle Bildnis, Gesichtsausdrücke und eine Bewegung des Verwenders in Echtzeit während der Kommunikation anzuzeigen.
Demzufolge existiert eine Notwendigkeit für ein visuelles Kommunikationssystem, welches in der Lage ist, das tatsächliche Bildnis des Verwenders, Gesichtsausdrücke und die Bewegung in Echtzeit anzuzeigen, während die Bandbreite verringert wird.
KURZFASSUNG
Die beispielhafte Ausführungsform sieht Verfahren und Systeme für eine visuelle Kommunikation zwischen einer ersten Vorrichtung und einer zweiten Vorrichtung vor. Aspekte der beispielhaften Ausführungsform weisen auf: eine Verwendung von Daten von einem Kamerasystem zum Erzeugen eines 3D-Gittermodells beziehungsweise Maschenmodells eines ersten Vorrichtungsverwenders auf, wobei das 3D-Gittermodell zur Speicherung auf der zweiten Vorrichtung für eine nachfolgende Anzeige auf der zweiten Vorrichtung zur Verfügung gestellt wird; während der visuellen Kommunikationssitzung zwischen der ersten Vorrichtung und der zweiten Vorrichtung ein Empfangen von Sensordaten von einem Sensorarray beziehungsweise einer Sensoranordnung, einschließlich Abbildungsdaten, welche eine Änderung von Gesichtsausdrücken und der Bewegung des ersten Vorrichtungsverwenders aufnehmen; ein Verwenden der Abbildungsdaten, um 3D-Gittermodell-Aktualisierungen zu bestimmen; ein Übertragen der 3D-Gittermodell-Aktualisierungen zu der zweiten Vorrichtung für die zweite Vorrichtung zum Aktualisieren der Anzeige des 3D-Gittermodells des ersten Vorrichtungsverwenders; und ein Empfangen von der zweiten Vorrichtung zum Anzeigen auf der ersten Vorrichtung wenigstens entweder einen 2D-Video-Datenstrom oder Aktualisierungen für ein 3D-Gittermodell eines zweiten Vorrichtungsverwenders.
Gemäß dem Verfahren und System, welches hierin offenbart ist, benötigt ein Senden der 3D-Gittermodell-Aktualisierungen signifikant weniger Bandbreite als ein Senden von Abbildungssequenzen, was eine reibungslose Kommunikation in bandbreitenbeschränkten Umgebungen ermöglicht. Zusätzlich gibt es auf der ersten Vorrichtung eine niedrigere Latenz beim Interpretieren von Änderungen für das 3D-Gittermodell und beim Senden von Aktualisierungen beziehungsweise Updates als beim Aufnehmen von neuen Abbildungen und Komprimieren der Abbildungen in eine Abbildungssequenz. Auf der zweiten Vorrichtung kann ein einzelner Knoten des 3D-Gittermodells oder eine Blend-Shape zu einer Zeit aktualisiert werden im Gegensatz zum Warten auf einen gesamten Abbildungs-Kodierungs/-Komprimierungs/-Übertragungs/-Dekomprimierungs-Zyklus. Auch wenn die zweite Vorrichtung eine 3D-Videokommunikation nicht unterstützt, kann die zweite Vorrichtung nach wie vor das 3D-Gittermodell des ersten Vorrichtungsverwenders anzeigen, während sie mit der ersten Vorrichtung über eine Übertragung von herkömmlichem 2D-Video kommuniziert.
KURZE BESCHREIBUNG VON EINIGEN ANSICHTEN DER ZEICHNUNGEN
Diese und/oder andere Merkmale und Vorteile des gegenwärtigen allgemeinen erfinderischen Konzepts werden offensichtlich und in leichter erkannt werden anhand der folgenden Beschreibung der Ausführungsformen zusammen mit den beigefügten Zeichnungen, in welchen:
1 eine Blockdarstellung ist, welche eine beispielhafte Ausführungsform eines Systems für eine hybride visuelle Kommunikation veranschaulicht;
2 eine Blockdarstellung ist, welche einen Vorgang zum Vorsehen einer hybriden visuellen Kommunikation zwischen zwei oder mehr Vorrichtungen veranschaulicht;
3 eine Blockdarstellung ist, welche Darstellungen eines 3D-Gittermodells veranschaulicht, welche von dem Gesicht und Kopf des Verwenders durch die 3D-Modellkomponente erzeugt werden;
4 ein Diagramm ist, welches eine Serie von gespeicherten Blend-Shapes veranschaulicht, welche Gesichtsausdrücke darstellen; und
5 ein Diagramm ist, welches die Verarbeitung veranschaulicht, welche durch den Hybrid-Video-Mitteilenden bzw. Hybrid-Video-Kommunikator während verschiedenen Kombinationen von visuellen 3D- und 2D-Modi zwischen der ersten Vorrichtung und der zweiten Vorrichtung durchgeführt wird.
DETAILLIERTE BESCHREIBUNG
Es wird nun im Detail Bezug genommen auf die Ausführungsformen des vorliegenden allgemeinen erfinderischen Konzepts, von welchem Beispiele in den beigefügten Zeichnungen veranschaulicht sind, wobei sich gleiche Bezugszeichen durchgehend auf gleiche Elemente beziehen. Die Ausführungsformen sind untenstehend beschrieben um das vorliegende allgemeine erfinderische Konzept zu erklären, während Bezug auf die Figuren genommen wird.
Vorteile und Merkmale der vorliegenden Erfindung und Verfahren zum Erreichen derselben können leichter durch eine Bezugnahme auf die folgende detaillierte Beschreibung von Ausführungsformen und die beigefügten Zeichnungen verstanden werden. Das gegenwärtige allgemeine erfinderische Konzept kann jedoch in vielen unterschiedlichen Formen ausgeführt werden und sollte nicht als auf die Ausführungsformen, welche hierin erläutert sind, beschränkt betrachtet werden. Vielmehr sind diese Ausführungsformen vorgesehen, sodass diese Offenbarung gewissenhaft und vollständig sein wird und Fachleuten das Konzept des allgemeinen erfinderischen Konzepts vollständig übermitteln wird, und das vorliegende allgemeine erfinderische Konzept wird nur durch die beigefügten Ansprüche definiert beziehungsweise begrenzt werden. In den Zeichnungen sind die Dicken von Schichten und Bereichen zur Klarheit überhöht.
Die Verwendung der Begriffe ”einer/eine/eines” und ”der/die/das” und ähnliche Bezugnahmen in dem Zusammenhang des Beschreiben der Erfindung (insbesondere dem Zusammenhang der folgenden Ansprüche) müssen als sowohl den Singular als auch den Plural umfassend angesehen werden, soweit nicht anderweitig hierin angezeigt ist oder deutlich durch den Zusammenhang widersprochen wird. Die Begriffe ”aufweisend”, ”besitzend”, ”einschließlich” und ”enthaltend” sind als offene Begriffe zu betrachten (d. h. ”aufweisend, jedoch nicht beschränkt auf” bedeutend) solang nicht anderweitig angemerkt ist.
Der Begriff ”Komponente” oder ”Modul” bedeutet, wenn er hierin verwendet ist, ist jedoch nicht beschränkt auf eine Software- oder Hardware-Komponente wie beispielsweise ein Field Programmable Gate Array (FPGA) bzw. eine Feld-programmierbare Gatter-Anordnung oder eine anwendungsspezifische integrierte Schaltung (ASIC = Application Specific Integrated Circuit), welche bestimmte Aufgaben durchführt. Eine Komponente beziehungsweise ein Bestandteil oder ein Modul kann vorteilhafterweise derart konfiguriert sein, dass sie in dem adressierbaren Speichermedium residiert und derart konfiguriert sein, dass sie einen oder mehrere Prozesse ausführt. Demnach kann eine Komponente oder ein Modul beispielsweise Komponenten wie beispielsweise Softwarekomponenten, objektorientierte Softwarekomponenten, Klassenkomponenten und Task- bzw. Aufgaben-Komponenten, Prozesse, Funktionen, Attribute, Prozeduren, Unterroutinen, Segmente von Programmcode, Treiber, Firmware, Mikrocode, Schaltungen, Daten, Datenbanken, Datenstrukturen, Tabellen, Arrays beziehungsweise Matrizen bzw. Anordnungen und Variablen aufweisen. Die Funktionalität, welche für die Komponenten und Komponenten oder Module vorgesehen ist, kann in weniger Komponenten und Komponenten oder Module kombiniert werden oder weiterhin in zusätzliche Komponenten und Komponenten oder Module getrennt werden.
Solange nicht anderweitig definiert, haben alle technischen und wissenschaftlichen Begriffe, welche hierin verwendet werden, dieselbe Bedeutung wie allgemein durch einen Fachmann verstanden wird, zu dessen Fachgebiet diese Erfindung gehört. Es wird angemerkt, dass die Verwendung von einem beliebigen und allen Beispielen oder beispielhaften Begriffen, welche hierin vorgesehen sind, lediglich vorgesehen ist, um die Erfindung besser auszuleuchten und nicht eine Beschränkung des Umfangs der Erfindung ist, solange nicht anderweitig spezifiziert. Weiterhin dürfen, soweit nicht anderweitig definiert, alle Begriffe, welche in allgemein verwendeten Wörterbüchern definiert sind, nicht übermäßig interpretiert werden.
Die beispielhaften Ausführungsformen sehen ein Verfahren für eine hybride visuelle Kommunikation und ein System zwischen zwei Vorrichtungen vor, welche das aktuelle Bildnis bzw. Konterfei, Gesichtsausdrücke und eine Bewegung eines Verwenders einer der Vorrichtungen in Echtzeit auf der anderen Vorrichtung anzeigen, während eine Bandbreite verringert wird. In einem weiteren Aspekt können das Bildnis des Verwenders, Gesichtsausdrücke und Bewegung mit einem Datenstrom von Sensordaten erweitert werden.
Das Bildnis des Verwenders und eine Bandbreitenverringerung können erreicht werden durch ein Erzeugen und Verwenden eines 3D-Gitterrahmengittermodells (Wire Frame Mesh Model) (hierin nachstehend wird hierauf Bezug genommen als 3D-Gittermodell) des Verwenders, welches heruntergeladen (downloaded) und auf der zweiten Vorrichtung zur Verwendung während einer visuellen Kommunikationssitzung gespeichert wird, eher als durch ein Übertragen eines 2D-Videodatenstroms oder des vollständigen 3D-Gittermodells. Während der visuellen Kommunikationssitzung zwischen den zwei Vorrichtungen werden Sensordaten von einer Mehrzahl von Sensoren an der ersten Vorrichtung gesammelt. Die Sensordaten weisen Abbildungsdaten auf, welche Gesichtsausdrücke und eine Bewegung des Verwenders als die Verwenderbewegungen und Änderungen der Gesichtsausdrücke aufnehmen. In einer Ausführungsform können die Sensordaten weiterhin andere Sensordaten aufweisen, welche relevant für einen Kontext beziehungsweise Zusammenhang der visuellen Kommunikationssitzung sind. Beispiele anderer Sensordaten können Aktivitätsdaten des Verwenders (beispielsweise Beschleunigungsmesserdaten, biometrische Daten wie beispielsweise eine Pulsrate bzw. Pulsfrequenz etc.) und Umgebungsbedingungen (beispielsweise Temperatur, Feuchtigkeit und Umgebungsgeräuschpegel) aufweisen. Die Sensordaten können heruntergetaktet bzw. in ihrer Dichte verringert werden und angesammelt beziehungsweise vereinigt werden, um Sensordaten-Aktualisierungen vorzusehen. Die Abbildungsdaten und optional die Sensordaten können verwendet werden, um 3D-Gittermodell-Aktualisierungen zum Aktualisieren der Anzeige des 3D-Gittermodells des ersten Vorrichtungsverwenders auf der zweiten Vorrichtung zu bestimmen und/oder um eine Einstellung zu aktualisieren in welcher das 3D-Gittermodell angezeigt wird. In einer Ausführungsform kann das 3D-Modell auf der zweiten Vorrichtung gerendert werden, sodass das Gesicht des Verwenders direkt zu dem Verwender der zweiten Vorrichtung blickend erscheint.
Gemäß einem weiteren Aspekt einer beispielhaften Ausführungsform kann die zweite Vorrichtung zu der ersten Vorrichtung entweder einen herkömmlichen 2D-Video-Datenstrom oder 3D-Modell-Aktualisierungen des zweiten Vorrichtungsverwenders und andere Sensordaten abhängig von der Leistungsfähigkeit der zweiten Vorrichtung senden.
In einer weiteren Ausführungsform, in der die zweite Vorrichtung ein 3D-Gittermodell des zweiten Vorrichtungsverwenders überträgt, können die Augen des ersten Vorrichtungsverwenders verfolgt werden und entsprechende Änderungen können an dem 3D-Gittermodell des zweiten Vorrichtungsverwenders getätigt werden, um eine unterschiedliche Perspektive für das 3D-Gittermodell vorzusehen. Demzufolge ermöglicht diese Ausführungsform, dass Verwender der Vorrichtungen einander von Gesicht zu Gesicht während eines Videoanrufs mit einem Bewegungsparallaxeneffekt auch innerhalb einer bandbreitenbeschränkten Netzwerkumgebung anblicken.
1 ist eine Blockdarstellung, welche eine beispielhafte Ausführungsform eines Systems für eine hybride visuelle Kommunikation veranschaulicht. Das System 10 kann eine erste Vorrichtung 10a und eine zweite Vorrichtung 10b aufweisen, welche über ein Netzwerk 12 kommunizieren. Sowohl die erste als auch die zweite Vorrichtung 10a und 10b können jeweils einen Speicher 14 und 14', wenigstens einen Prozessor 16 und 16', Eingabe-Ausgabe-Vorrichtungen (I/O = Input/Output) 18 und 18' und eine Anzeige 22 und 22' aufweisen.
Der Speicher 14 und 14', der Prozessor 16 und 16' und die I/O 18 und 18' können über einen Systembus (nicht gezeigt) zusammengekoppelt sein. Der Speicher 14 und 14' kann einen oder mehrere Speicher aufweisen, welche verschiedene Speichertypen aufweisen, einschließlich beispielsweise eines RAM, eines ROM, eines Cash, eines virtuellen Speichers und eines Flashspeichers. Der Prozessor 16 und 16' kann einen einzelnen Prozessor aufweisen, welcher einen oder mehrere Kerne hat, oder mehrere Prozessoren, welche einen oder mehrere Kerne haben. Die I/O 18 und 18' ist eine Sammlung von Komponenten, welche Informationen zuführt und Informationen ausgibt. Beispielhafte Komponenten, welche die I/O 18 und 18' aufweisen, schließen ein Mikrofon, einen Lautsprecher und einen drahtlosen Netzwerkschnittstellencontroller (oder eine ähnliche Komponente) zur Kommunikation über das Netzwerk 12 ein. Der Prozessor kann ein Betriebssystem (OS = Operating System) ausführen, welches Hardwareressourcen verwaltet und Basisaufgaben (Basic Tasks) durchführt. Beispiele des OS können Symbian^TM, BlackBerry OS^TM, iOS^TM, Windows^TM und Android^TM aufweisen. In einer Ausführungsform kann die Anzeige 22 und 22' in der ersten Vorrichtung 10a integriert sein, während in einer anderen Ausführungsform die Anzeige 22 und 22' extern zu der ersten Vorrichtung 10a sein kann. In einer Ausführungsform können die erste und zweite Vorrichtung 10a und 10b einen beliebigen Typ von Drahtloskommunikationsvorrichtungs-Formfaktor einschließlich eines Notebooks, oder eines Laptop-Computers, eines Tablets, eines Mobilteils eines Telefons (Mobile Handset), eines Fernsehers, einer Set-Topbox, eines tragbaren Computers und einer Spielvorrichtung aufweisen.
Das Netzwerk 12, über welches die erste und die zweite Vorrichtung 10a und 10b kommunizieren, kann einen beliebigen Typ von drahtlosem Netzwerk aufweisen, einschließlich WLAN (drahtloses lokales Netzwerk = Wireless Local Area Network), WiMAX (Worldwide Interoperability for Microwave Access) (beispielsweise 3G/4G), WAN (Wide Area Network = Weitbereichsnetzwerk) oder ein Mobilfunkbeziehungsweise zellenförmiges Netzwerk (Cellular Network).
Gemäß der beispielhaften Ausführungsform können die erste und die zweite Vorrichtung 10a und 10b unter Verwendung einer hybriden visuellen Kommunikation kommunizieren und demnach weiterhin jeweilige Hybrid-Visual-Kommunikatoren bzw. Hybrid-Visual-Mitteilende 24 und 24' und Sensoranordnungen beziehungsweise Sensorarrays 25 und 25' aufweisen. In einer Ausführungsform können die Sensorarrays 25 und 25' eine beliebige Anzahl von Sensoren (1 – n) aufweisen. Beispielhafte Typen von Sensoren können aufweisen, sind jedoch nicht beschränkt auf Bildsensoren beziehungsweise Abbildungssensoren wie beispielsweise ein 3D-Kamerasystem 26 oder ein 2D-Kamerasystem 28; Aktivitätssensoren (nicht gezeigt) wie beispielsweise einen Beschleunigungsmesser, ein Gyroskop, ein Magnetometer und dergleichen; biometrische Sensoren (nicht gezeigt) wie beispielsweise Herzfrequenzsensoren, einen galvanischen Hautsensor, einen Pupillendilatationssensor beziehungsweise Pupillenerweiterungssensor, einen EKG-Sensor und dergleichen; und Umgebungsbedingungssensoren (nicht gezeigt) wie beispielsweise ein Thermometer und einen Höhenmesser, einen Lichtsensor, einen Feuchtigkeitssensor, ein Mikrofon und dergleichen.
Gemäß der beispielhaften Ausführungsform unterstützt die erste Vorrichtung 10a eine visuelle Echtzeitkommunikation mit der zweiten Vorrichtung 10b. ein 3D-Gittermodell des Verwenders der ersten Vorrichtung 10a (das heißt des ersten Vorrichtungsverwenders) wird erzeugt und dann heruntergeladen beziehungsweise downloaded und auf der zweiten Vorrichtung 10c für ein Abspielen auf der zweiten Vorrichtung 10b während der visuellen Kommunikationssitzung gespeichert. Ein Gitter oder Drahtrahmenmodell ist eine visuelle Darstellung eines physikalischen Objekts (beispielsweise eines Verwenders), welches in 3D-Computergrafiken verwendet wird, in welchen Ränder des physikalischen Objekts spezifiziert werden, wo sich zwei mathematisch kontinuierliche glatte Oberflächen treffen, oder wo die konstituierenden Vertices des Objekts unter Verwendung von geraden Linien oder Kurven verbunden werden. Ein Speichern des 3D-Gittermodells auf der zweiten Vorrichtung 10b beseitigt die Notwendigkeit, einen 2D-Videodatenstrom oder das vollständige 3D-Gittermodell von der ersten Vorrichtung 10a zu der zweiten Vorrichtung 10b während jeder visuellen Kommunikationssitzung zu übertragen. In einer Ausführungsform können die Hybrid-Visual-Kommunikatoren 24 und 24' eine jeweilige 3D-Modelldatenbank 27 und 27' zum Speichern der 3D-Gittermodelle von Verwendern (beispielsweise diejenigen, welche in der Kontaktliste des ersten Vorrichtungsverwenders enthalten sind) aufweisen. In einer Ausführungsform kann das 3D-Gittermodell das Gesicht und den Kopf des Verwenders repräsentieren, während in einer anderen Ausführungsform das 3D-Gittermodell auch den Torso beziehungsweise den Rumpf des Verwenders oder sogar den gesamten Körper repräsentieren kann.
Während der visuellen Kommunikationssitzung kann der Hybrid-Visual-Kommunikator 24 Sensordaten von dem Sensorarray 25 sammeln, einschließlich Abbildungsdaten von dem 3D-Kamerasystem 26, welches Gesichtsausdrücke und eine Bewegung des ersten Vorrichtungsverwenders und Hintergrundabbildungen aufnimmt, und andere Sensordaten, welche relevant für einen Zusammenhang der visuellen Kommunikationssitzung sind. Die Abbildungsdaten und die anderen Sensordaten können dann verwendet werden, um 3D-Gittermodell-Aktualisierungen 25 zu bestimmen, welche an dem 3D-Gittermodell, welches auf der zweiten Vorrichtung 10b gespeichert ist, getätigt werden. In einer Ausführungsform werden die Sensordaten zuerst herabgesampelt bzw. in ihrer Dichte verringert (engl. downsampled) und angesammelt, um einen Untersatz von Sensordaten zu erzeugen. Gemäß der beispielhaften Ausführungsform weist der Untersatz von Sensordaten selektive Änderungen an den Sensordaten auf, auf welche hierin Bezug genommen wird als Sensordatenaktualisierungen 31. In einer Ausführungsform werden wenigstens die Abbildungsdaten und optional die Sensordatenaktualisierungen verwendet, um die 3D-Gittermodell-Aktualisierungen 25 zu bestimmen. In einer Ausführungsform wird dies auf der ersten Vorrichtung 10a durchgeführt, und nur die 3D-Gittermodell-Aktualisierungen 25 werden zur zweiten Vorrichtung 10b gesendet. In einer anderen Ausführungsform werden die Abbildungsdaten verwendet, um die 3D-Gittermodell-Aktualisierungen 25 zu bestimmen und sowohl die 3D-Gittermodell-Aktualisierungen 25 als auch die Sensordatenaktualisierungen 31 werden zu der zweiten Vorrichtung 10b gesendet. Die zweite Vorrichtung 10b kann dann die 3D-Gittermodell-Aktualisierungen mit den Sensordatenaktualisierungen 31 erweitern.
Die zweite Vorrichtung 10b kann die 3D-Modell-Aktualisierungen 25, welche von der Vorrichtung 10a empfangen werden, unter Verwendung des Hybrid-Visual-Kommunikators 24' empfangen und abspielen. Alternativ kann die zweite Vorrichtung 10b die Sensordatenaktualisierungen 31 verwenden um die Anzeige des 3D-Gittermodells wie untenstehend beschrieben zu erweitern. In der Ausführungsform jedoch, welche gezeigt ist, unterstützt die zweite Vorrichtung 10b nur eine 2D-Videokommunikation und sendet einen 2D-Videodatenstrom 27 durch ein Standard 2D-Kamerasystem 28 und einen 2D-Sensor 29. In einer alternativen Ausführungsform kann die zweite Vorrichtung 10b auch ein 3D-Kamerasystem 26 aufweisen, um eine visuelle 3D-Kommunikation mit der Vorrichtung 10a zu unterstützen.
In einer Ausführungsform kann das 3D-Gittermodell durch ein Aufnehmen von Bildern des ersten Vorrichtungsverwenders mit dem 3D-Kamerasystem 26 erzeugt werden. Die resultierenden Abbildungsdaten können durch die 3D-Modellkomponente 34 verwendet werden, um ein digitales 3D-Gittermodell zu erzeugen. In einer Ausführungsform kann das 3D-Kamerasystem 26 eine strukturierte Lichtquelle 30 und einen 3D-(Tiefen-)Sensor 32 aufweisen. Durch ein Leuchten der strukturierten Lichtquelle 28 (beispielsweise ein Muster von Streifen) auf ein Objekt kann der 3D-Sensor 32 Daten über die Form des Objekts und optional das Erscheinungsbild des Objekts (d. h. Farbe) sammeln. In einer anderen Ausführungsform kann das 3D-Kamerasystem einen 3D-Sensor in Kombination mit einem herkömmlichen 2D-Sensor aufweisen. In einer weiteren Ausführungsform kann das 3D-Kamerasystem 26 eine Laufzeitkamera (ToF camera = Time-of-Flight camera) aufweisen, welche einen Abstand basierend auf der bekannten Lichtgeschwindigkeit auflöst und die Laufzeit eines Lichtsignals zwischen der Kamera und dem Objekt für jeden Punkt der Abbildung misst. In noch einer anderen Ausführungsform kann das 3D-Kamerasystem 26 eine stereoskopische Kamera beziehungsweise Stereokamera aufweisen, wobei keine aktive Beleuchtung benötigt wird.
In einer Ausführungsform können der Hybrid-Visual-Kommunikator 24 und 24' und die 3D-Modellkomponente 34 und 34' als Software-Anwendungen/-Komponenten implementiert sein. In einer anderen Ausführungsform könnten die Komponenten als eine Kombination von Hardware und Software implementiert sein. Obwohl der Hybrid-Visual-Kommunikator 24 und 24' und die 3D-Modellkomponente 34 und 34' als einzelne Komponenten gezeigt sind, kann die Funktionalität jedes in einer geringeren oder einer größeren Anzahl von Modulen/Komponenten kombiniert sein. Beispielsweise kann in einer Ausführungsform der Hybrid-Visual-Kommunikator 24 lokal auf der ersten Vorrichtung 10a gespeichert sein, während die 3D-Modellkomponente 34 auf einem externen Server gespeichert sein kann. In der Server-Ausführungsform können die Abbildungsdaten des Verwenders zu dem Server zur Erzeugung des 3D-Gittermodells übertragen werden. Andere Vorrichtungen wie beispielsweise die zweite Vorrichtung können dann auf den Server zugreifen, um das 3D-Gittermodell des ersten Vorrichtungsverwenders zur Speicherung in der 3D-Modelldatenbank 27' herunterzuladen beziehungsweise zu downloaden.
2 ist eine Blockdarstellung, welche einen Vorgang beziehungsweise Prozess zum Vorsehen einer hybriden visuellen Kommunikation zwischen zwei oder mehr Vorrichtungen 10a und 10b veranschaulicht. In einer Ausführungsform kann der Prozess durch ein Verwenden von Daten von einem Kamerasystem zum Erzeugen eines 3D-Gittermodells eines ersten Vorrichtungsverwenders beginnen, wobei das 3D-Gittermodell zur Speicherung auf der zweiten Vorrichtung für eine nachfolgende Anzeige auf der zweiten Vorrichtung zur Verfügung gestellt wird (Block 200).
Wie wohl bekannt ist, bezieht sich ein digitaler 3D-Gitter oder Drahtrahmen auf ein Polygongitter, welches eine Sammlung von Vertices beziehungsweise Ecken beziehungsweise Scheitelpunkten oder Knoten, Ränder und Flächen beziehungsweise Oberflächen aufweist, welche eine Form eines Objekts in 3D-Computergrafiken und Solid Modeling definieren. In einer Ausführungsform kann Block 200 durch die 3D-Modellkomponente 34 in Antwort auf ein Empfangen der Daten von dem 3D-Kamerasystem 26 durchgeführt werden.
Gemäß der beispielhaften Ausführungsform, in der die erste Vorrichtung ein Mobilteil bzw. einen mobilen Hörer aufweist, welcher ein 3D-Kamerasystem 26 aufweist, können die strukturierte Lichtquelle 30 und der 3D-Sensor 32 zusammen verwendet werden, um eine Tiefenkarte beziehungsweise ein Tiefenabbild des ersten Vorrichtungsverwenders zu sammeln. In einer Ausführungsform kann das 3D-Gittermodell des Gesichts und Kopfes des Verwenders erzeugt werden, während in einer anderen Ausführungsform das 3D-Gittermodell auch den Körper des Verwenders oder einen Abschnitt davon aufweisen kann. Der Verwender kann aufgefordert werden, den mobilen Hörer in verschiedene Positionen um den Verwender herum zu bewegen, beispielsweise kann bei einem Minimum die Hybrid-Visual-Kommunikationskomponente 24 den Verwender auffordern, die Vorrichtung um den Kopf des Verwenders zu bewegen und verschiedene Ausdrücke zu vollführen, um verschiedene Winkel des Kopfes des Verwenders und Ausdrücke des Gesichts des Verwenders aufzunehmen.
3 ist ein Diagramm, welches beispielhafte Darstellungen eines 3D-Gittermodells 300, welches aus dem Gesicht und dem Kopf des Verwenders durch die 3D-Modellkomponente 34 erzeugt wird, veranschaulicht. In einer Ausführungsform kann das 3D-Gittermodell 300 des ersten Vorrichtungsverwenders in der 3D-Modelldatenbank 27' in einer neutralen Position gespeichert werden.
Die 3D-Modellkomponente 34 kann ebenso unterschiedliche Gesichtsausdrücke und optional unterschiedliche Körperpositionen als Blend-Shapes speichern welche die Gesichtsausdrücke und optional Körperpositionen als lineare Kombinationen von Blend-Shape-Koeffizienten repräsentieren.
In einer Ausführungsform können eine Farbabbildung des Gesichts des Verwenders und/oder eine oder mehrere Texturkarten ebenso mit dem 3D-Gittermodell verbunden werden beziehungsweise diesem zugeordnet werden. Die 3D-Modellkomponente 34 kann dann die resultierenden Daten verwenden, um eine flexible, polygonale Gitterdarstellung wenigstens des Gesichts der Person und des Kopfes durch ein Fitten bzw. Anpassen von Abbildungen auf Tiefenkarten des Gesichts und des Kopfes des Verwenders zu erzeugen.
4 ist ein Diagramm, welches eine Serie von gespeicherten Blend-Shapes veranschaulicht, welche Gesichtsausdrücke repräsentieren. In einer Ausführungsform können die Blend-Shapes 400 in der Emotionszustandsdatenbank 29' als eine vorbestimmte Anzahl (beispielsweise 48) von Schlüsselposen gespeichert werden. In einem Körper werden die Blend-Shapes in den Emotionszustandsdatenbanken 29 und 29' gespeichert.
Bezug nehmend wiederum auf 1 kann, wenn eine visuelle Kommunikationssitzung durch die Hybrid-Visual-Kommunikationskomponenten 24 und 24' initiiert wird, die Hybrid-Visual-Kommunikationskomponente 24 die Hybrid-Visual-Kommunikationskomponente 24' auffordern beziehungsweise bitten, zu bestimmen, ob das 3D-Gittermodell des ersten Vorrichtungsverwenders auf der zweiten Vorrichtung 10b gespeichert ist. Falls nicht, kann das 3D-Gittermodell (und zugeordnete Texturkarten) zu der zweiten Vorrichtung 10b übertragen werden und in der 3D-Modelldatenbank 27 zur Verwendung während zukünftiger Kommunikationssitzungen gespeichert werden.
In der Ausführungsform, in der die 3D-Modellerzeugungskomponente 34 entfernt von der ersten Vorrichtung 10a platziert ist, kann die 3D-Modellerzeugungskomponente 34 das 3D-Gittermodell auf einem Server oder einem anderen entfernten Computer erzeugen und kann dann das 3D-Gittermodell zu der ersten Vorrichtung 10a über das Netzwerk 12 und/oder zu der zweiten Vorrichtung 10b senden, oder die zweite Vorrichtung 10b kann das 3D-Gittermodell von dem Server einige Zeit vor oder während einer anfänglichen Sitzung mit der ersten Vorrichtung 10a herunterladen beziehungsweise downloaden.
In der Ausführungsform, in der sowohl die erste als auch die zweite Vorrichtung 10a und 10b eine visuelle 3D-Kommunikation unterstützen, können die Hybrid-Visual-Kommunikatoren 24 und 24' 3D-Gittermodelle des jeweiligen Verwenders während eines anfänglichen Anrufs zwischen der ersten und zweiten Vorrichtung 10a und 10b austauschen.
Bezug nehmend wiederum auf 2 kann während der visuellen Kommunikationssitzung zwischen der ersten Vorrichtung 10a und der zweiten Vorrichtung 10b der Hybrid-Visual-Kommunikator 24 Sensordaten von einer Sensoranordnung beziehungsweise einem Sensorarray sammeln, wobei die Sensordaten Abbildungsdaten aufweisen können, welche eine Änderung von Gesichtsausdrücken und eine Bewegung des ersten Vorrichtungsverwenders aufnehmen (Block 202). In einer Ausführungsform können Abbildungsdaten Tiefenkarten des ersten Vorrichtungsverwenders aufweisen, welche periodisch durch das 3D-Kamerasystem 26 und die strukturierte Lichtquelle 30 aufgenommen werden.
Der Hybrid-Visual-Kommunikator 24 verwendet die Abbildungsdaten, um entsprechende 3D-Gittermodell-Aktualisierungen zu bestimmen (Block 204). Das heißt, dass in Antwort darauf, dass das Kamerasystem 26 Gesichtsausdrucksänderungen und Positionsänderungen des ersten Vorrichtungsverwenders aus den Abbildungsdaten erfasst, der Hybrid-Visual-Kommunikator 24 entsprechende Aktualisierungen des 3D-Gittermodells bestimmen kann.
In einer Ausführungsform können die 3D-Gittermodell-Aktualisierungen 25 als Änderungen an relativen Vertexpositionen des 3D-Gittermodells repräsentiert werden, welches aus den erfassten Positionsänderungen des ersten Vorrichtungsverwenders berechnet wird.
Da jedoch ein Berechnen von relativen Vertexpositionsänderungen berechnungsmäßig teuer sein kann, kann die beispielhafte Ausführungsform Blend-Shapes 400 verwenden, um 3D-Gesichtsausdrücke (beispielsweise glücklich, traurig, rechtes Auge geschlossen, etc.) oder auch 3D-Körperposen (beispielsweise rechter Arm nach oben) zu repräsentieren. Demnach können in einer anderen Ausführungsform die 3D-Gittermodell-Aktualisierungen 25 dann als ausgewählte Blend-Shape-Koeffizienten oder andere Aufzählungen von einem oder mehreren Blend-Shapes repräsentiert werden.
Während der visuellen Kommunikationssitzung kann der Hybrid-Visual-Kommunikator 24 die Tiefenkarten des ersten Vorrichtungsverwenders, welche periodisch durch das 3D-Kamerasystem 26 aufgenommen werden, empfangen. Der Hybrid-Visual-Kommunikator 24 kann dann die Tiefenkarten verwenden, um ein oder mehrere der gespeicherten Blend-Shapes 400 von der Emotionszustandsdatenbank 29 zu empfangen. Koeffizienten der Blend-Shape(s), welche innerhalb einem minimalen Fehlergrenzwert übereinstimmen, können dann als die 3D-Modell-Aktualisierungen 25 verwendet werden.
Die 3D-Gittermodell-Aktualisierungen können zu der zweiten Vorrichtung übertragen werden, so dass die zweite Vorrichtung die Anzeige des 3D-Gittermodells des ersten Vorrichtungsverwenders aktualisiert (Block 206). In einer Ausführungsform kann das Aktualisieren der Anzeige des 3D-Gittermodells auf der zweiten Vorrichtung ein Aktualisieren des 3D-Gittermodells selbst, ein Aktualisieren eines Hintergrunds, in welchem das 3D-Gittermodell überlagert ist, oder eine Kombination davon aufweisen. Es sollte angemerkt werden, dass in einer Ausführungsform das, was von der ersten Vorrichtung zu der zweiten Vorrichtung übertragen wird, nicht Video sondern Daten sind. An der zweiten Vorrichtung werden die empfangenen Daten durch ein Animieren der Daten von Rahmen zu Rahmen bzw. von Frame zu Frame zur Anzeige in Video umgewandelt.
In einer Ausführungsform können die Abbildungsdaten eine Abbildung wenigstens eines Abschnitts des Hintergrunds des ersten Vorrichtungsverwenders aufweisen. Gemäß einem Aspekt der beispielhaften Ausführungsform können ein oder mehrere Abbildungen des Hintergrunds von der ersten Vorrichtung 10a zu der zweiten Vorrichtung 10b übertragen werden, sodass das 3D-Gittermodell, welches auf der zweiten Vorrichtung 10b gespeichert ist, über den Hintergrund überlagert werden kann (superimposed), wenn es auf der zweiten Vorrichtung 10b während der visuellen Kommunikationssitzung angezeigt wird. In einer Ausführungsform können die Abbildungen des Hintergrunds zu der zweiten Vorrichtung 10b einmal zu Beginn der visuellen Kommunikationssitzung übertragen werden. Der Hintergrund könnte dann als eine Textur oder eine Abbildung gespeichert werden, über welche das 3D-Gittermodell überlagert wird. In einer anderen Ausführungsform kann ein Video des Hintergrunds zu der zweiten Vorrichtung 10b in Umgebungen, in welchen eine Übertragungsbandbreite kein Thema darstellt, zu der zweiten Vorrichtung 10b gestreamt werden bzw. mittels eines Datenstroms übermittelt werden.
Um in einer Ausführungsform die Bandbreite weiter zu verringern, kann die erste Vorrichtung 10a zu der zweiten Vorrichtung 10b selektive Aktualisierungen zu Abschnitten des Hintergrundes senden, wenn Änderungen in der Position des ersten Vorrichtungsverwenders erfasst werden. Beispielsweise werden, wenn der erste Vorrichtungsverwender seinen Kopf dreht, vorangehend verdunkelte Abschnitte des Hintergrunds offengelegt beziehungsweise zu erkennen gegeben. Der Hybrid-Visual-Kommunikator 24 kann dann diese neu zu erkennen gegebenen Hintergrundabschnitte zu der zweiten Vorrichtung 10b als Aktualisierungen für den Hintergrund für die Anzeige senden.
Wenn die zweite Vorrichtung 10b die 3D-Modell-Aktualisierungen 25 empfängt, verwendet der Hybrid-Visual-Kommunikator 24' die 3D-Modell-Aktualisierungen 25, um ein Abspielen des 3D-Gittermodells, welches auf der zweiten Vorrichtung angezeigt wird, zu animieren, rendern oder zu modifizieren, um den erkannten Emotionszustand und/oder die Körperposition des Verwenders in Echtzeit auszudrücken. Wenn die 3D-Modell-Aktualisierungen 25 Änderungen an Vertices aufweisen, dann verwendet der Hybrid-Visual-Kommunikator 24' die 3D-Modell-Aktualisierungen 25, um die Vertices des 3D-Gittermodells zu aktualisieren. Wenn die 3D-Modell-Aktualisierungen 25 Blend-Shape-Koeffizienten aufweisen, dann verwendet der Hybrid-Visual-Kommunikator 24' die Blend-Shape-Koeffizienten, um Blend-Shapes oder Schlüsselposen aus der Emotionszustandsdatenbank 29' auszuwählen, und interpoliert dann zwischen einem neutralen Ausdruck des Original 3D-Gittermodells und einer ausgewählten Schlüsselpose oder zwischen einer vorangehenden Schlüsselpose und der ausgewählten Schlüsselpose. In einer Ausführungsform ist eine beispielhafte Verwendung für das 3D-Gittermodell des Verwenders, das 3D-Gittermodell als eine zuverlässige Signatur zu verwenden, um den Verwender zu identifizieren oder zu authentifizieren.
Während der visuellen Kommunikationssitzung kann die ersten Vorrichtung von der zweiten Vorrichtung zur Anzeige auf einer Anzeige der ersten Vorrichtung wenigstens eines eines 2D-Videodatenstroms oder Aktualisierungen für ein 3D-Gittermodell eines zweiten Verwenders der zweiten Vorrichtung empfangen (Block 208).
Gemäß einer Ausführungsform können die Hybrid-Visual-Kommunikatoren 24 und 24' in der Lage sein, einen Standard-2D-Datenstrom 35 von Abbildungen ebenso wie abhängig von der Leistungsfähigkeit der Vorrichtungen, demnach der Verwendung der-2D-/3D-Phrasen-Videokommunikation zu streamen. Dies wird es Verwendern ermöglichen, welche das erforderliche 3D-Kamerasystem nicht haben, mit Verwendern mit dem vorangeschritteneren System zu kommunizieren.
Wenn eine Vorrichtung mit dem 3D-Kamerasystem 26 ausgestattet ist, kann die erste Vorrichtung sowohl 3D-Videokommunikation als auch 2D-Videokommunikation unterstützen. Ähnlich kann die zweite Vorrichtung sowohl 3D-Videokommunikation als auch 2D-Videokommunikation unterstützen. Gemäß einem Aspekt der beispielhaften Ausführungsform können die Hybrid-Visual-Kommunikatoren 24 und 25 es Verwendern ermöglichen, selektiv zwischen 3D- und 2D-Visual-modi wie erwünscht hin und herzuschalten.
Gemäß einem weiteren Aspekt der beispielhaften Ausführungsform kann ein Abspielen des 3D-Gittermodells des Verwenders unter Verwendung von Datenströmen von Sensordatenaktualisierungen 31 für die Anzeige von zusätzlichen Grafikelementen an dem 3D-Gittermodell erweitert werden. Solch eine Erweiterung kann an entweder der ersten Vorrichtung 10a oder der zweiten Vorrichtung 10b wie untenstehend beschrieben durchgeführt werden.
Bezug nehmend auf 2 kann neben dem Empfangen von Abbildungsdaten von dem Sensorarray (Block 202) der Hybrid-Visual-Kommunikator 24 auch andere Sensordaten empfangen, welche relevant für einen Kontext beziehungsweise Zusammenhang der visuellen Kommunikationssitzung sind, einschließlich Aktivitätsdaten des ersten Vorrichtungsverwenders und Umgebungsbedingungen (Block 210).
In einer Ausführungsform können die Aktivitätsdaten des ersten Vorrichtungsverwenders von Aktivitätssensoren gesammelt werden einschließlich eines oder mehrerer eines Beschleunigungsmessers, eines Gyroskops, eines Magnetometers, welches verwendet werden kann, um ein Bewegung der ersten Vorrichtung und/oder des ersten Vorrichtungsverwenders zu bestimmen; und biometrischen Sensoren, welche einen Herzfrequenzsensor, einen galvanischen Hautsensor, einen Pupillenerweiterungssensor, einen EKG-Sensor aufweisen, von welchen jeder verwendet werden kann, um biometrische Daten und einen erkannten Emotionszustand des ersten Vorrichtungsverwenders zu bestimmen. Die Umgebungsbedingungsdaten können von Umgebungsbedingungssensoren einschließlich eines oder mehrerer eines Thermometers, eines Altimeters beziehungsweise Höhenmessers, eines Lichtsensors, eines Feuchtigkeitssensors, eines Mikrofons und dergleichen gesammelt werden.
Die anderen Sensordaten können heruntergetaktet bzw. in ihrer Dichte verringert werden (engl. downsampled) und angesammelt werden, um Sensordatenaktualisierungen vorzusehen (Block 212). Jeder der Sensoren, welche das Sensorarray 25 aufweist, kann verschiedene Typen von Sensordaten bei verschiedenen Raten aufnehmen. Beispielsweise können Beschleunigungsmesser Beschleunigungsmesserdaten bei 100 Hz bis 200 Hz aufnehmen, während ein Thermometer Temperaturdaten bei 1 Hz oder niedriger abtasten kann.
Gemäß einem Aspekt der beispielhaften Ausführungsform kann für Sensordaten, welche bei hohen Frequenzen aufgenommen/abgetastet werden, der Hybrid-Visual-Kommunikator 24 oder ein getrennter Datenverwalter beziehungsweise Datenmanager die Sensordaten zu einer niedrigeren Rate herabsampeln beziehungsweise in ihrer Dichte verringern. Für einige Typen von Sensordaten kann der Hybrid-Visual-Kommunikator 24 die Sensordaten mitteln, um die Anzahl von Datenabtastungen weiter zu verringern.
Der Hybrid-Visual-Kommunikator 24 kann dann die heruntergetakteten bzw. in ihrer Dichte verringerten Sensordaten (egl. downsampled) von verschiedenen Sensoren in eine niedrigere Anzahl von Gesamtabtastungen für eine optionale Übertragung über das Netzwerk ansammeln. Demnach kann unter der Annahme, dass M Gesamtdatenabtastungen über eine bestimmte Zeitdauer empfangen worden sind, das Downsampling und die Ansammlung die Gesamtanzahl auf N Sensordatenaktualisierungen verringern, um eine M × N-Datenumwandlung vorzusehen, wobei N signifikant geringer ist als M. Beispielsweise könnten Herzfrequenz-Daten, welche bei einer Frequenz von 100 Hz gesammelt werden, in eine einzelne Variable umgewandelt werden, welche beispielsweise eine empfangene Emotion anzeigt, wie beispielsweise ob eine Person erregt/böse/nervös wird oder nicht.
Wenn die Sensordatenaktualisierungen 31 zu der zweiten Vorrichtung 10b zu übertragen sind, dann können die N Daten Sensordatenaktualisierungen 31 (eher als M) in Pakete codiert werden und zu der zweiten Vorrichtung 10b gemäß einem definierten Kommunikationsprotokoll übertragen werden. Die Pakete, welche die Sensordatenaktualisierungen 31 enthalten, können mit den 3D-Modellaktualierungen 25 verschachtelt werden, welche bei einer unterschiedlichen Frequenz gesendet werden können. An der zweiten Vorrichtung kann der Hybrid-Visual-Kommunikator 24 die Datenabtastpakete gemäß dem Kommunikationsprotokoll decodieren.
Basierend auf der Vorrichtungskonfiguration, welche zwischen der ersten und der zweiten Vorrichtung ausgetauscht werden kann, und/oder einer zur Verfügung stehenden Bandbreite wird bestimmt, ob die 3D-Modellerweiterung an der ersten Vorrichtung 10a oder der zweiten Vorrichtung 10b durchzuführen ist (Block 214).
In Antwort auf eine Bestimmung, dass eine 3D-Modellerweiterung an der zweiten Vorrichtung 10b durchzuführen ist, werden die Sensordatenaktualisierungen 31 mit den 3D-Gittermodell-Aktualisierungen während der Übertragung während der 3D-Gittermodell-Aktualisierungen verschachtelt (Block 216). In dieser Ausführungsform können die Sensordatenaktualisierungen zu der zweiten Vorrichtung (und/oder einem entfernten Server) mit den 3D-Modell-Aktualisierungen 25 als zusätzliche Dimensionen von einem Streamen von Metadaten gesendet werden, um das Abspielen des 3D-Gittermodells auf der zweiten Vorrichtung 10b zu erweitern.
In Antwort auf eine Bestimmung, dass die 3D-Modellerweiterung an der ersten Vorrichtung 10a durchzuführen ist, werden die 3D-Gittermodell-Aktualisierungen mit den Sensordatenaktualisierungen zur Anzeige von zusätzlichen Grafikelementen auf dem 3D-Gittermodell erweitert (Block 218).
In dieser Ausführungsform können die Sensordatenaktualisierungen 31 auf der ersten Vorrichtung 10a als zusätzliche Eingaben für die Emotionszustandsdatenbanken 29 verwendet werden, um den erkannten Emotionszustand des Verwenders zu erweitern, bevor die 3D-Modell-Aktualisierungen 25 zu der zweiten Vorrichtung 10b gesendet werden. Beispielsweise kann, wenn die Sensordatenaktualisierungen 31 anzeigen, dass die Umgebungstemperatur relativ heiß ist, und die biometrischen Sensoren anzeigen, dass der Verwender einen schnellen Puls hat, Rückschlüsse gezogen werden, dass es eine hohe Wahrscheinlichkeit gibt, dass der erste Vorrichtungsverwender schwitzt. Demzufolge können diese Informationen verwendet werden, um Schweißtropfen auf einem 3D-Gittermodell während des Abspielens auf der zweiten Vorrichtung 10b anzuzeigen. Demnach können die Emotionszustandsdatenbanken 29 und/oder 29' weiterhin eine Matrix von Sensorwerten aufweisen, welche den Blend-Shapes zugeordnet sind, um unterschiedliche Zustände des Verwenders basierend auf gegenwärtigen Werten der Sensordatenaktualisierungen 31 (beispielsweise heiß/schwitzend, kalt, nervös, erregt, froh, traurig und dergleichen) anzuzeigen. Als ein anderes Beispiel können Daten von den Umgebungssensoren anzeigen, dass es am Ort des ersten Vorrichtungsverwenders regnet. Diese Informationen können dann verwendet werden, um Wolken und Regentropfen während des Abspielens des 3D-Gittermodells auf der zweiten Vorrichtung anzuzeigen.
5 ist ein Diagramm, welches die Verarbeitung, welche durch den Hybrid-Visual-Kommunikator 24 während verschiedener Kombinationen von visuellem 3D-Modus und 2D-Videomodus zwischen der ersten Vorrichtung 10a und der zweiten Vorrichtung 10b durchgeführt wird. Bei einer Initiierung eines Anrufs überträgt der Hybrid-Visual-Kommunikator 24 entweder 3D-Modell-Aktualisierungen 25 (und optional Sensordatenaktualisierungen 31) in einem visuellen 3D-Modus oder einem 2D-Videodatenstrom 27 im 2D-Videomodus zu der zweiten Vorrichtung basierend auf einer gegenwärtigen Auswahl oder einer Standard-Videomoduseinstellung (Block 500).
In einer Ausführungsform kann die gegenwärtige Auswahl des visuellen Modus manuell durch den Verwender ausgewählt werden oder automatisch durch den Hybrid-Visual-Kommunikator 24 ausgewählt werden. Beispielsweise kann der Hybrid-Visual-Kommunikator 24 bestimmen, dass die erste Vorrichtung 10a ein 3D-Kamerasystem aufweist und kann es dann dem Verwender ermöglichen, einen visuellen 3D-Modus oder 2D-Videomodus (beispielsweise über ein GUI oder ein Menü) auszuwählen. Wenn der Hybrid-Visual-Kommunikator 24 feststellt, dass die Vorrichtung nur ein 2D-Kamerasystem aufweist, dann kann der Hybrid-Visual-Kommunikator 24 standardmäßig auf einen 2D-Videomodus schalten.
Gemäß einer weiteren Ausführungsform kann der Hybrid-Visual-Kommunikator 24 automatisch einen 2D-Videomodus oder einen visuellen 3D-Modus für den Verwender basierend auf einer zur Verfügung stehenden Bandbreite vorschlagen und/oder den Videomodus basierend auf Änderungen an der Bandbreite während der visuellen Kommunikationssitzung dynamisch andern.
Wenn die gegenwärtige Auswahl oder die Standardeinstellung für den visuellen Modus ein visueller 3D-Modus ist, kann der Hybrid-Visual-Kommunikator 24 auch sein Gegenstück an der zweiten Vorrichtung abfragen, zu bestimmen, ob das 3D-Gittermodell auf der anderen Vorrichtung gegenwärtig ist oder nicht, oder die zweite Vorrichtung kann ein Nachsehen durchführen, um zu sehen, ob das 3D-Gittermodell gegenwärtig ist, basierend auf einer ID beziehungsweise Identifikation des Anrufers, und wenn nicht anfragen, dass das 3D-Gittermodell von der ersten Vorrichtung gesendet wird. Wenn die zweite Vorrichtung anzeigt, dass das 3D-Gittermodell auf der zweiten Vorrichtung gegenwärtig ist, dann muss der Hybrid-Visual-Kommunikator 24 das 3D-Gittermodell nicht senden, um Bandbreite zu sparen.
Der Hybrid-Visual-Kommunikator 24 bestimmt auch den gegenwärtigen visuellen Modus auf der zweiten Vorrichtung 10b (Block 502). Dies kann davon begleitet werden, dass die zweite Vorrichtung die erste Vorrichtung über den gegenwärtigen Videomodus der zweiten Vorrichtung informiert. Während dieses Austausches können die Hybrid-Visual-Kommunikatoren 24 und 24' auch eine Modusfähigkeit beziehungsweise Modusleistungsfähigkeit austauschen, beispielsweise, ob die Vorrichtung einen 3D- und einen 2D-Videomodus oder nur einen 2D-Videomodus unterstützt. In einer weiteren Ausführungsform können die Hybrid-Visual-Kommunikatoren 24 und 24' auch Vorrichtungskonfigurationsinformationen austauschen, welche als Metadaten gespeichert werden können, wie beispielsweise Abbildungssensor-, Lichtquellen-, Bandbreiten-Informationen und dergleichen.
In Antwort auf ein Bestimmen, dass die zweite Vorrichtung nur eine 2D-Videokommunikation unterstützt oder in einem 2D-Videomodus ist, zeigt der Hybrid-Visual-Kommunikator 24 einen 2D-Videodatenstrom auf einer Anzeige der ersten Vorrichtung an, welcher von der zweiten Vorrichtung empfangen wird (Block 504).
In Antwort auf eine Bestimmung, dass die zweite Vorrichtung eine 3D-Videokommunikation unterstützt und in einem visuellen 3D-Modus ist, zeigt der Hybrid-Visual-Kommunikator 24 ein 3D-Gittermodell des zweiten Verwenders auf der Anzeige der ersten Vorrichtung an, welches vorangehend auf der ersten Vorrichtung gespeichert worden sein kann (Block 506).
In einer Ausführungsform kann Block 406 zwei Unterschritte aufweisen. Der erste Unterschritt kann ein Aktualisieren der Anzeige des 3D-Gittermodells des zweiten Verwenders in Antwort auf ein Empfangen von 3D-Gittermodell-Aktualisierungen von der zweiten Vorrichtung aufweisen (Block 506A). Auf der ersten Vorrichtung 10a kann der Hybrid-Visual-Kommunikator 24 das 3D-Gittermodell rendern, so dass ein Gesicht des zweiten Vorrichtungsverwenders erscheint, direkt zu dem ersten Vorrichtungsverwender zu blicken. Wenn der Hybrid-Visual-Kommunikator 24 die Positionsaktualisierungen empfängt, kann der Hybrid-Visual-Kommunikator 24 die 3D-Gittermodell-Aktualisierungen verwenden, um den Ausdruck und die Orientierung des 3D-Gittermodells des zweiten Verwenders abzuwandeln beziehungsweise zu modifizieren, welches lokal auf der ersten Vorrichtung 10a gespeichert sein kann. Während des Anrufs können Abschnitte jeder Farbabbildung des Verwenders selektiv auf der Vorrichtung aktualisiert werden, zu welcher sie bei einer Granularität einer Farbtextur innerhalb eines Polygons des jeweiligen 3D-Gittermodells gesendet werden. Wichtigere oder aktive Bereiche können vorzugsweise öfter aktualisiert werden.
Gemäß einer weiteren Ausführungsform kann der zweite Unterschritt ein Verfolgen einer Bewegung des Gesichts des ersten Verwenders relativ zu der ersten Vorrichtung und ein Reorientieren der Anzeige des 3D-Gittermodells des zweiten Verwenders vorsehen, um eine unterschiedliche Perspektive des 3D-Gittermodells auf der Anzeige der ersten Vorrichtung vorzusehen (Block 506B).
Dies wird als der Bewegungsparallaxeneffekt bezeichnet und ist, was in einer wahren Gesicht-zu-Gesicht-Interaktion passiert. Eine Parallaxe ist ein Unterschied in einer offensichtlichen Position eines Objekts, welches entlang zwei unterschiedlichen Sichtlinien betrachtet wird, und kann durch einen Neigungswinkel zwischen diesen zwei Linien gemessen werden. Dies kann durch den Hybrid-Visual-Kommunikator 24, welcher den 3D-Sensor 32 verwendet (wie beispielsweise einen Bewegungsparallaxen-3D-Sensor oder einen stereoskopischen Sensor) erreicht werden, um den Ort der Augen des ersten Verwenders zu verfolgen und die Perspektive des 3D-Gittermodells des zweiten Vorrichtungsverwenders in Antwort auf Augenortänderungen des ersten Vorrichtungsverwenders anzupassen. In einer anderen Ausführungsform kann eine Blicknachführeinrichtung bzw. Blickverfolgungseinrichtung (gaze tracker) anstelle von oder zusätzlich zu dem 3D-Sensor verwendet werden.
In Antwort auf ein Schalten von einem visuellen 3D-Modus zu einem 2D-Videomodus auf der ersten Vorrichtung kann der Hybrid-Visual-Kommunikator 24 schrittweise einen Datenstrom der 3D-Gittermodell-Aktualisierungen mit dem 2D-Videodatenstrom zu der zweiten Vorrichtung mischen, bis nur der 2D-Videodatenstrom übertragen wird (Block 508).
Die beispielhaften Ausführungsformen sehen Vorteile über herkömmliche 2D-2D-Nur-Videokommunikationssysteme vor. Beispielsweise benötigt ein Übertragen von Positionsaktualisierungen von Knoten oder Vertices in einem Gittermodell oder von Blend-Shape-Koeffizienten Größenordnungen weniger Bandbreite als ein Senden von Bildsequenzen beziehungsweise Abbildungssequenzen, was eine reibungslose Kommunikation in bandbreitenbeschränkten Umgebungen ermöglicht. Zusätzlich gibt es weniger Latenz beim Interpretieren von Änderungen für die Gesichtsausdrücke und der Bewegung des Verwenders und beim Senden von 3D-Gittermodell-Aktualisierungen als ein Aufnehmen von neuen Abbildungen und ein Komprimieren dieser in eine Abbildungssequenz beziehungsweise Bildsequenz. Ein einzelner Gitterknoten kann zu einer Zeit aktualisiert werden im Gegensatz zu einem Zwang, auf einen gesamten Abbildungs-Codierungs-/Komprimierungs-/Übertragungs-/Dekomprimierungs-Zyklus zu warten.
Hinsichtlich der Darstellung können die 3D-Gittermodelle gerendert werden, um direkt zu dem Betrachter zu sehen, anstelle von nach unten. Wenn der Verwender seinen Kopf während des Videoanrufes bewegt, kann das 3D-Gittermodell des Verwenders auf der anderen Vorrichtung reorientiert beziehungsweise neu orientiert werden, um die Ansicht mit neuer Information zu präsentieren, genau wie im realen Leben. Weiterhin können 3D-Gittermodelle als eine einzigartige Signatur eines Verwenders, möglicherweise in Sicherheitslösungen, verwendet werden. Die Fähigkeit, Farbabbildungen des Gesichts des Verwenders aufzunehmen und selektiv zu aktualisieren kann Versuchen entgegenwirken, fingierte Modelle des Verwenders zu verwenden, um Sicherheitsmaßnahmen zu überlisten beziehungsweise zu umgehen.
Ein Verfahren und ein System für ein System für ein hybride visuelle Kommunikation wurde offenbart. Die vorliegende Erfindung wurde in Übereinstimmung mit den Ausführungsformen, welche gezeigt sind, beschrieben, und es kann Abweichungen an den Ausführungsformen geben und jegliche Abweichungen wären innerhalb des Gedankens und Umfangs der vorliegenden Erfindung. Beispielsweise kann die beispielhafte Ausführungsform unter Verwendung von Hardware, Software, einem computerlesbaren Medium, welches Programmbefehle enthält, oder einer Kombination davon implementiert werden. Software, welche gemäß der vorliegenden Erfindung geschrieben ist, muss entweder in einer Form von computerlesbarem Medium wie beispielsweise einem Speicher, einer Festplatte, oder einer CD/DVD-ROM gespeichert werden und muss durch einen Prozessor ausgeführt werden. Demzufolge können viele Abwandlungen durch einen Fachmann getätigt werden, ohne von dem Gedanken und Umfang der beigefügten Ansprüche abzuweichen.

Claims

Verfahren für eine visuelle Kommunikation zwischen einer ersten Vorrichtung (10a) und einer zweiten Vorrichtung (10b), aufweisend: ein Verwenden von Daten von einem Kamerasystem (26), um ein 3D-Gittermodell (300) eines ersten Vorrichtungsverwenders zu erzeugen, wobei das 3D-Gittermodell (300) zur Speicherung auf der zweiten Vorrichtung (10b) für eine nachfolgende Anzeige auf der zweiten Vorrichtung (10b) zur Verfügung gestellt wird; während der visuellen Kommunikationssitzung zwischen der ersten Vorrichtung (10a) und der zweiten Vorrichtung (10b) ein Empfangen von Sensordaten von einer Sensoranordnung, einschließlich Abbildungsdaten, welche sich ändernde Gesichtsausdrücke und eine Bewegung des ersten Vorrichtungsverwenders aufnehmen; ein Verwenden der Abbildungsdaten, um 3D-Gittermodell-Aktualisierungen (25) zu bestimmen; ein Übertragen der 3D-Gittermodell-Aktualisierungen (25) zu der zweiten Vorrichtung (10b) um für die zweite Vorrichtung (10b) die Anzeige des 3D-Gittermodells (300) des ersten Vorrichtungsverwenders zu aktualisieren; und ein Empfangen von der zweiten Vorrichtung (10b) zum Anzeigen auf der ersten Vorrichtung (10a) wenigstens eines 2D-Videodatenstroms oder Aktualisierungen (25) für ein 3D-Gittermodell (300) eines zweiten Vorrichtungsverwenders.
Verfahren nach Anspruch 1, wobei das Empfangen von Sensordaten von einer Sensoranordnung weiterhin Folgendes aufweist: ein Empfangen anderer Sensordaten, welche relevant in einem Zusammenhang mit der visuellen Kommunikationssitzung sind, einschließlich Aktivitätsdaten des ersten Vorrichtungsverwenders und Umgebungsbedingungen.
Verfahren nach Anspruch 2, weiterhin aufweisend: Ein Heruntertakten und Ansammeln der anderen Sensordaten, um Sensordatenaktualisierungen (31) vorzusehen.
Verfahren nach Anspruch 3, wobei eine Gesamtheit von M-Datenabtastungen über eine Zeitdauer empfangen wird, und wobei das Heruntertakten und Ansammeln die M Datenabtastungen auf N Sensordatenaktualisierungen (31) verringern, um eine M × N-Datenumwandlung vorzusehen, wobei N signifikant geringer ist als M.
Verfahren nach Anspruch 3, weiterhin aufweisend: ein Verschachteln der Sensordatenaktualisierungen (31) mit den 3D-Gittermodell-Aktualisierungen (25) während der Übertragung der 3D-Gittermodell-Aktualisierungen (25) zu der zweiten Vorrichtung (10b).
Verfahren nach Anspruch 3, weiterhin aufweisend: ein Erweitern der 3D-Gittermodell-Aktualisierungen (25) mit den Sensordatenaktualisierungen (31) zur Anzeige von zusätzlichen Grafikelementen auf dem 3D-Gittermodell (300) vor dem Übertragen der 3D-Gittermodell-Aktualisierungen (25) zu der zweiten Vorrichtung (10b).
Verfahren nach Anspruch 1, weiterhin aufweisend: Ein Repräsentieren der 3D-Gittermodell-Aktualisierungen (25) als wenigstens eines von a) Änderungen an relativen Vertexpositionen des 3D-Gittermodells (300), berechnet aus den erfassten Positionsänderungen des ersten Vorrichtungsverwenders, und b) ausgewählten Blend-Shape-Koeffizienten oder einer Aufzählung von einem oder mehreren ausgewählten Blend-Shapes.
Verfahren nach Anspruch 1, wobei die Abbildungsdaten eine Abbildung von wenigstens Abschnitten eines Hintergrunds des ersten Vorrichtungsverwenders aufweisen können, wobei der Hintergrund zu der zweiten Vorrichtung (10b) übertragen wird, sodass das 3D-Gittermodell (300) über den Hintergrund überlagert wird, wenn er auf der zweiten Vorrichtung (10b) während der visuellen Kommunikationssitzung angezeigt wird.
Verfahren nach Anspruch 1, weiterhin aufweisend: ein Senden der 3D-Gittermodell-Aktualisierungen (25) während eines visuellen 3D-Modus und ein Senden eines Datenstroms von 2D-Video zu der zweiten Vorrichtung (10b) während eines 2D-Videomodus.
Verfahren nach Anspruch 9, weiterhin aufweisend: ein Ermöglichen für den ersten Verwender, selektiv zwischen dem visuellen 3D-Modus und dem 2D-Videomodus hin- und her- zu schalten.
Verfahren nach Anspruch 9, weiterhin aufweisend: wenigstens eines von einem automatischen Vorschlagen des 2D-Videomodus oder des visuellen 3D-Modus für den Verwender basierend auf einer zur Verfügung stehenden Bandbreite und einem dynamisches Ändern von Videomodi basierend auf Änderungen der Bandbreite während der visuellen Kommunikationssitzung.
Verfahren nach Anspruch 1, weiterhin aufweisend: in Antwort auf ein Bestimmen, dass die zweite Vorrichtung (10b) nur 2D-Videokommunikation unterstützt oder in einem 2D-Videomodus ist, ein Anzeigen eines 2D-Videodatenstroms, welcher von der zweiten Vorrichtung (10b) empfangen wird, auf einer Anzeige der ersten Vorrichtung (10a).
Verfahren nach Anspruch 1, weiterhin aufweisend: in Antwort auf ein Bestimmen, dass die zweite Vorrichtung (10b) eine visuelle 3D-Kommunikation unterstützt oder in einem visuellen 3D-Modus ist: ein Anzeigen eines 3D-Gittermodells (300) des zweiten Vorrichtungsverwenders auf der ersten Vorrichtung (10a); ein Aktualisieren der Anzeige des 3D-Gittermodells (300) des zweiten Vorrichtungsverwenders in Antwort auf ein Empfangen von 3D-Gittermodell-Aktualisierungen (25) von der zweiten Vorrichtung (10b); und ein Verfolgen der Bewegung des Gesichts des ersten Vorrichtungsverwenders relativ zu der ersten Vorrichtung (10a) und ein Neuorientieren der Anzeige des 3D-Gittermodells (300) des zweiten Vorrichtungsverwenders, um eine unterschiedliche Perspektive des 3D-Gittermodells (300) auf einer Anzeige der ersten Vorrichtung (10a) vorzusehen.
Verfahren nach Anspruch 13, wobei ein Anzeigen eines 3D-Gittermodells (300) des zweiten Vorrichtungsverwenders auf der ersten Vorrichtung (10a) weiterhin Folgendes aufweist: ein Rendern des 3D-Gittermodells (300) auf der ersten Vorrichtung (10a), sodass ein Gesicht eines zweiten Vorrichtungsverwenders erscheint, direkt zu dem ersten Vorrichtungsverwender zu blicken.
Verfahren nach Anspruch 14, weiterhin aufweisend: ein Empfangen einer Farbabbildung des Gesichts des zweiten Vorrichtungsverwenders auf der ersten Vorrichtung (10a) von der zweiten Vorrichtung (10b) und ein selektives Aktualisieren der Farbabbildung bei einer Granularität einer Farbtextur innerhalb eines Polygons des 3D-Gittermodells (300).
Verfahren nach Anspruch 1, wobei das 3D-Gittermodell (300) zu der zweiten Vorrichtung (10b) als ein visueller 3D-Datenstrom gesendet wird, wobei das Verfahren weiterhin Folgendes aufweist: in Antwort auf ein Schalten von einem visuellen 3D-Modus zu einem 2D-Videomodus auf der ersten Vorrichtung (10a) ein graduelles Mischen und ein Übertragen eines Datenstroms der 3D-Gittermodell-Aktualisierungen (25) mit einem 2D-Videodatenstrom zu der zweiten Vorrichtung (10b) bis nur der 2D-Videodatenstrom übertragen wird.
Verfahren nach Anspruch 1, wobei das 3D-Kamerasystem (26) eine strukturierte Lichtquelle und einen 3D-Sensor aufweist, welche zusammen eine Tiefenkarte des ersten Verwenders sammeln, wobei das Verfahren weiterhin Folgendes aufweist: ein Auffordern des ersten Vorrichtungsverwenders, die erste Vorrichtung (10a) um einen Kopf des ersten Vorrichtungsverwenders zu bewegen und für den ersten Vorrichtungsverwender, verschiedene Ausdrücke zu vollführen und verschiedene Winkel des Kopfes des ersten Vorrichtungsverwenders und Ausdrücke des Gesichts des ersten Vorrichtungsverwenders aufzunehmen.
Verfahren nach Anspruch 1, weiterhin aufweisend: ein Verwenden des 3D-Gittermodells (300) als eine Signatur, um den ersten Vorrichtungsverwender zu identifizieren.
Vorrichtung, die Folgendes aufweist: einen Speicher; einen Prozessor, welcher mit dem Speicher gekoppelt ist, wobei der Prozessor konfiguriert ist, um: Daten von einem Kamerasystem (26) zu verwenden, um ein 3D-Gittermodell (300) des Vorrichtungsverwenders zu erzeugen, wobei das 3D-Gittermodell (300) für eine Speicherung auf einer zweiten Vorrichtung (10b) für eine nachfolgende Anzeige auf der zweiten Vorrichtung (10b) zur Verfügung gestellt wird; während einer visuellen Kommunikationssitzung zwischen der Vorrichtung und einer zweiten Vorrichtung (10b) ein Empfangen von Sensordaten von einer Sensoranordnung einschließlich Abbildungsdaten, welche sich ändernde Gesichtsausdrücke und eine Bewegung des Vorrichtungsverwenders aufnehmen; die Abbildungsdaten zu verwenden, um 3D-Gittermodell-Aktualisierungen (25) zu bestimmen; die 3D-Gittermodell-Aktualisierungen (25) zu der zweiten Vorrichtung (10b) zu übertragen, um für die zweite Vorrichtung (10b) die Anzeige des 3D-Gittermodells (300) des Vorrichtungsverwenders zu aktualisieren; und von der zweiten Vorrichtung zur Anzeige auf der Vorrichtung wenigstens eines eines 2D-Videodatenstroms oder von Aktualisierungen (25) für ein 3D-Gittermodell (300) eines zweiten Vorrichtungsverwenders zu empfangen.
Vorrichtung nach Anspruch 19, wobei der Prozessor weiterhin andere Sensordaten empfängt, welche relevant für einen Zusammenhang der visuellen Kommunikationssitzung sind, einschließlich Aktivitätsdaten des ersten Vorrichtungsverwenders und Umgebungsbedingungen.
Vorrichtung nach Anspruch 20, wobei der Prozessor die anderen Sensordaten heruntergetaktet und ansammelt, um Sensordatenaktualisierungen (31) vorzusehen.
Vorrichtung nach Anspruch 21, wobei eine Gesamtheit von M Datenabtastungen über eine Zeitdauer empfangen wird und wobei der Prozessor heruntertaktet und verbindet, um die M Datenabtastungen auf N Sensordatenaktualisierungen (25) zu verringern, um eine M × N-Datenumwandlung vorzusehen, wobei N signifikant geringer ist als M.
Vorrichtung nach Anspruch 19, wobei die 3D-Gittermodell-Aktualisierungen (25) repräsentiert werden als wenigstens eines von: a) Änderungen an relativen Vertexpositionen des 3D-Gittermodells (300), berechnet aus den erfassten Positionsänderungen des ersten Vorrichtungsverwenders, und b) ausgewählten Blend-Shape-Koeffizienten oder einer anderen Aufzählung von einem oder mehreren ausgewählten Blend-Shapes.
Vorrichtung nach Anspruch 19, wobei die Abbildungsdaten eine Abbildung von wenigstens Abschnitten eines Hintergrunds des Vorrichtungsverwenders aufweisen können, wobei der Hintergrund zu der zweiten Vorrichtung (10b) übertragen wird, sodass das 3D-Gittermodell (300) über den Hintergrund überlagert wird, wenn er auf der zweiten Vorrichtung (10b) während der visuellen Kommunikationssitzung angezeigt wird.
Ein ausführbares Softwareprodukt, welches auf einem computerlesbaren Speichermedium gespeichert ist, welches Programmbefehle enthält zum Vorsehen einer visuellen Kommunikationssitzung zwischen einer ersten Vorrichtung und einer zweiten Vorrichtung, wobei die Programmbefehle für Folgendes sind: ein Verwenden von Daten von einem Kamerasystem (26), um ein 3D-Gittermodell (300) eines ersten Vorrichtungsverwenders zu erzeugen, wobei das 3D-Gittermodell (300) zur Speicherung auf der zweiten Vorrichtung (10b) für eine nachfolgende Anzeige auf der zweiten Vorrichtung (10b) zur Verfügung gestellt wird; während der visuellen Kommunikationssitzung zwischen der ersten Vorrichtung (10a) und der zweiten Vorrichtung (10b) ein Empfangen von Sensordaten von einer Sensoranordnung, einschließlich Abbildungsdaten, welche sich ändernde Gesichtsausdrücke und eine Bewegung des ersten Vorrichtungsverwenders aufnehmen; ein Verwenden der Abbildungsdaten, um 3D-Gittermodell-Aktualisierungen (25) zu bestimmen; ein Übertragen der 3D-Gittermodell-Aktualisierungen (25) zu der zweiten Vorrichtung (10b) um für die zweite Vorrichtung (10b) die Anzeige des 3D-Gittermodells (300) des ersten Vorrichtungsverwenders zu aktualisieren; und ein Empfangen von der zweiten Vorrichtung (10b) zum Anzeigen auf der ersten Vorrichtung (10ab) wenigstens eines eines 2D-Videodatenstroms oder von Aktualisierungen (25) für ein 3D-Gittermodell (300) eines zweiten Vorrichtungsverwenders.