-
Videokonferenzen
versprechen, die Art und Weise zu ändern, wie Menschen miteinander
umgehen. Im Zeitalter von teuerer Fortbewegung in der Luft, kostspieleigen
fossilen Brennstoffen, Terrorismus und neuen ansteckenden Krankheiten
besteht ein wesentlicher Bedarf nach effizienten Videokonferenzschaltungen.
Eine effiziente Videokonferenzschaltung muss versuchen, die Wirkung
von persönlichen
Treffen zu erreichen, d. h., eine Telepräsenz zu erzeugen. Um eine Videokonferenz ähnlicher
zu persönlichen
Treffen zu gestalten, muss eine Anzahl von Faktoren verbessert werden,
die folgende umfassen: Kommunizieren von nichtverbalen Informationen
an alle Teilnehmer, Erfassen und Kommunizieren von Blicken zwischen
den Teilnehmern, Beibehalten von Augenkontakt sowie anderen visuellen
und hörbaren Informationen.
-
Die
gegenwärtige
Videokonferenz- und Mensch-Computer-Wechselwirkungstechnik besteht häufig aus
Folgendem: Eine lokale Kamera zeichnet ein frontales Bild eines
Teilnehmers auf und überträgt die Informationen
zu einem Flachbildschirm an dem entfernten Ort. Das Bild des entfernten
Teilnehmers wird unter Verwendung einer entfernten Kamera aufgezeichnet
und dem lokalen Teilnehmer auf einer lokalen Flachbildanzeige angezeigt.
Da die Kamera, die das Bild aufzeichnet, nicht mit der Anzeige zusammenfällt, können die
Teilnehmer während
des Sprechens und Zuhörens
keinen Augenkontakt beibehalten. Ferner ist es schwierig, den Ort
des Blickes der entfernten Person zu bestimmen (d. h., wohin die Person
sieht). Solche nichtverbalen Informationen liefern eine Anzeige über das
Ausmaß von
Interesse und Integration, Verständnis,
etc. der Person. Schließlich
liefert die gegenwärtige
Videokonferenztechnik keine gute Tiefenwahrnehmung und dreidimensionale
Darstellung von Bildern. Mehrere Kamerawinkel erfordern spezielle
Gläser
oder Brillen, die sich für
Verbraucher als eingeschränkt
attraktiv herausgestellt haben.
-
Auf ähnliche
Weise, in dem Fall der Mensch-Computer-Wechselwirkung, ist ein verbreiteter
Lösungsansatz
das Projizieren eines flachen animierten Bildes auf einen Flachbildschirm.
Der Blick der Computerfigur bezieht sich nicht auf die Nachricht
oder den Ort des Menschen während
der Wechselwirkung. Die Anzeigen sind zweidimensional und sind relativ
sperrig, so dass eine Verwendung auf mobilen Plattformen, wie z.
B. Robotik, schwierig und kostspielig ist.
-
Die
vorliegende Erfindung schafft eine Lösung für das obige und andere Probleme
und liefert eine lebensnähere
Kommunikationserfahrung durch eine realistischere Darstellung und
Anzeige und eine Blick-Bewahrung während entfernter Treffen.
-
Es
ist die Aufgabe der vorliegenden Erfindung, eine Vorrichtung und
ein Verfahren zum Anzeigen von Gesichtsmerkmalen mit verbesserten
Charakteristika zu schaffen.
-
Diese
Aufgabe wird durch eine Vorrichtung gemäß Anspruch 1 und ein Verfahren
gemäß Anspruch
21 und 30 gelöst.
-
Bevorzugte
Ausführungsbeispiele
der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf
die beiliegenden Zeichnungen näher
erläutert.
Es zeigen:
-
1 ein
schematisches Diagramm, das ein Ausführungsbeispiel der Erfindung
mit einem einzelnen entfernten Benutzer zeigt, dessen Bild durch mehrere
externe Kameras gesammelt wird;
-
2 ein
schematisches Diagramm, das zwei Ausführungsbeispiele der Erfindung
zeigt, die gleichzeitig durch zwei Benutzer an unterschiedlichen
Orten zum Zweck einer Telekonferenz verwendet werden;
-
3A ein
perspektivisches Diagramm, das einen Ausschnitt einer nichtplanaren
Anzeige gemäß einem
Ausführungsbeispiel
der vorliegenden Erfindung zeigt, bei der eine Kamera ungefähr hinter
einem Auge platziert ist, um ein Bild zu einem entfernten Benutzer
zu übertragen,
während
Blickinformationen bewahrt werden;
-
3B ein
perspektivisches Diagramm, das einen Ausschnitt einer nichtplanaren
Anzeige zeigt, die gemäß einem
Ausführungsbeispiel
entworfen ist, und bei der eine Kamera ungefähr hinter jedem Auge platziert
ist, um ein Bild zu einem entfernten Benutzer zu übertragen,
während
Blickinformationen bewahrt werden;
-
3C ein
perspektivisches Diagramm, das einen Ausschnitt einer nichtplanaren
Anzeige zeigt, die ebenfalls gemäß einem
Ausführungsbeispiel
entworfen ist, und bei der eine Kamera ungefähr hinter der Brücke der
Nase platziert ist, um ein Bild zu einem entfernten Benutzer zu übertragen,
während
der Blick bewahrt wird;
-
4A ein
perspektivisches Diagramm, das ein Ausführungsbeispiel der vorliegenden
Erfindung zeigt, bei dem eine einzelne flexible Anzeige um eine nichtplanare
Oberfläche
gewickelt ist, und ein alternatives Ausführungsbeispiel, bei dem mehrere
flexible Anzeigen über
einer nichtplanaren Oberfläche „fliesenartig" gelegt sind;
-
4B ein
perspektivisches Diagramm, das einen Benutzer zeigt, der mit einer
kopfförmigen nichtplanaren
Anzeige gemäß einem
Ausführungsbeispiel
der vor liegenden Erfindung in Wechselwirkung tritt, auf die Gesichtsmerkmale
aus mehreren Winkeln projiziert werden;
-
4C ein
perspektivisches Diagramm, das ein Ausführungsbeispiel der vorliegenden
Erfindung zeigt, das eine Bildprojektion von innerhalb einer halbtransparenten
nichtplanaren Anzeige verwendet;
-
5 ein
Flussdiagramm von Operationen, das Gesichtsmerkmale eines entfernten
Benutzers anzeigt und das Bild eines lokalen Benutzers zu dem entfernten
Benutzer überträgt, gemäß einer
Implementierung der vorliegenden Erfindung; und
-
6 ein
Blockdiagramm eines Systems, das bei einer Implementierung zum Durchführen der Vorrichtungen
oder Verfahren der vorliegenden Erfindung verwendet wird.
-
Ein
Aspekt der vorliegenden Erfindung zeichnet sich aus durch ein Verfahren
zum Anzeigen von Gesichtsmerkmalen. Die Anzeigeoperationen umfassen
das Erzeugen eines Bildes mit Gesichtsmerkmalen auf einer nichtplanaren
Oberfläche
und das Positionieren des Bildes auf einer nichtplanaren Oberfläche, um
eine Blickrichtung anzuzeigen und die nichtverbale Kommunikation
zu verbessern, die den Gesichtsmerkmalen zugeordnet ist.
-
Ein
anderer Aspekt der vorliegenden Erfindung umfasst eine Vorrichtung
zum Anzeigen von Gesichtsmerkmalen. Diese Vorrichtung umfasst eine nichtplanare
Oberfläche,
eine Bilderzeugungsvorrichtung, die ein Bild mit Gesichtsmerkmalen
auf der nichtplanaren Oberfläche
erzeugt und ein Positionierungssystem, das das Bild auf der nichtplanaren Oberfläche positioniert,
um eine Blickrichtung anzuzeigen und eine nichtverbale Kommunikation
zu verbessern, die den Gesichtsmerkmalen zugeordnet ist.
-
1 stellt
ein Videosystem dar, das eine nichtplanare Anzeige gemäß dem vorliegenden
Ausführungsbeispiel
verwendet. Ein System 100 umfasst einen lokalen Benutzer 110 an
einem ersten Ort, eine oder mehrere Kameras 106 und 108 an
dem ersten Ort, ein Mikrophon 112 an dem ersten Ort und
eine nichtplanare Anzeige 102 mit Gesichtsmerkmalen 104,
die auf derselben an einem zweiten Ort angezeigt werden.
-
Die
nichtplanare Anzeige 102 umfasst bei diesem Ausführungsbeispiel
eine dreidimensionale Kopfform mit einer Bilderzeugungs-Anzeigeoberfläche. Bei
einem Ausführungsbeispiel
ist die nichtplanare Anzeige 102 aus flexiblen, bereichsbewahrenden
projektiven Anzeigestücken
gebildet, die fliesenartig angeordnet sind, um die Oberfläche des
nichtplanaren Kopfes abzudecken. Entworfen, um die Oberfläche exakt
abzudecken, sind die bereichsbewahrenden Stücke über die nichtplanare Oberfläche gefaltet
und schneiden sich entlang ihrer Kanten ohne Überlappung oder Zwischenräume. Bei
einem solchen Ausführungsbeispiel
positioniert ein Computer oder eine andere Verarbeitungsvorrichtung
das Bild, um auf jedem Anzeigestück
so zu erscheinen, dass die Gesichtsmerkmale dem lokalen Benutzer nahtlos
erscheinen.
-
Die
Kamera 106 und die Kamera 108 nehmen zwei entsprechende
Videobilder des lokalen Benutzers 110 auf, während das
Mikrophon 112 seine Sprache aufnimmt. Diese Vorrichtungen übertragen dann
die Video- und Audio-Informationen für eine Wiedergabe auf der nichtplanaren
Oberfläche 102 bzw.
den Lautsprechern. Implementierungen führen diese Bilder zusammen,
korrigieren Projektionsverzerrungen und zeigen sie auf der nichtplanaren
Kopfanzeige 102 an. Wenn der lokale Benutzer 110 seinen
Kopf dreht, dreht das Anzeigesystem das Bild auf der nichtplanaren
Anzeige 102. Wenn der lokale Benutzer 110 in eine
Richtung oder eine andere mit seinen Augen blickt, liegen entsprechende Änderungen
bei dem Augenabschnitt des Bildes 104 vor. Auf diese Weise
werden eine Blickrichtung und andere Indikatoren der emotionalen Präsenz und
der nichtverbalen Kommunikation deutlich für eine Person angezeigt, die
eine nichtplanare Anzeige 102 beobachtet.
-
2 stellt
ein Ausführungsbeispiel
für eine Videokonferenz
dar, die durch einen lokalen Benutzer 102 und einen entfernten
Benutzer 210 verwendet wird. Die Darstellung zeigt ein
Ausführungsbeispiel,
das perspektivische Bilder sammelt, um beim Beibehalten von Augenkontakt,
Blickinformationen und anderen nichtverbalen Andeutungen des lokalen Benutzers
zu helfen. Diese Anordnung umfasst eine kopfförmige nichtplanare Anzeige 204 an
dem Ort des lokalen Benutzers 202, eine kopfförmige nichtplanare
Anzeige 206 an dem Ort des entfernten Benutzers 210 und
Kameras 208, die im Wesentlichen an dem Ort von jedem Auge
der Gesichtsbilder eingebettet sind, die auf den jeweiligen Anzeigen
erscheinen.
-
Während eines
Treffens oder einer anderen Wechselwirkung adressiert der lokale
Benutzer 202 den entfernten Benutzer 210 durch
die Kameras 209. Die Position der Kamera 209 kombiniert
mit dem Bild des entfernten Benutzers 210 auf der nichtplanaren Anzeige 204 hilft
dem lokalen Benutzer 202, einen Augenkontakt mit dem entfernten
Benutzer 210 herzustellen oder zu vermeiden. Auf ähnliche
Weise kann der entfernte Benutzer 210 den Augenkontakt mit
dem lokalen Benutzer 202 besser durch die Position der
Kameras 208 steuern, kombiniert mit dem Bild des lokalen
Benutzers 208 auf der nichtplanaren Anzeige 204,
die wie dargestellt positioniert ist. Perspektivische Informationen,
die durch das Paar der Kameras 208 und 209 angesammelt
werden, verbessern die Fähigkeit
von sowohl dem lokalen Benutzer als auch dem entfernten Benutzer 208 bedeutend, nichtverbale
Informationen wahrzunehmen. Die perspektivischen Informationen enthalten
z. B. Informationen betreffend die Symmetrie oder Asymmetrie von
Gesichtsausdrücken,
die Position von Elementen des Gesichtsausdrucks relativ zu dem
Blick oder dem Augenkontakt oder anderen verschiedenen Teilen des
Gesichtsausdrucks, die während
einer persönlichen
Kommunikation verwendet werden.
-
Blickinformationen
können
auf ähnliche
Weise für
den entfernten Benutzer 210 bewahrt werden, durch Positionieren
von einer oder mehreren Kameras auf der nichtplanaren Anzeige 204 im
Wesentlichen an dem Ort von einem oder beiden Augen eines Bildes
des entfernten Benutzers 210.
-
3A, 3B und 3C stellen
unterschiedliche Kameraanordnungen bereit, zum Bewahren des Blicks
gemäß unterschiedlichen
Ausführungsbeispielen.
Bei einer Implementierung, dargestellt in 3A, ist
eine Kamera 302 im Wesentlichen in der Region angeordnet,
wo ein Auge des Bildes erscheinen würde, während keine Kamera in dem Bereich 304 erscheint,
der dem anderen Auge entspricht. Bei dieser Anordnung sammelt die
Kamera 302 Bilder von einem Blickpunkt des einen Auges und
der Bereich 304 von dem anderen Auge zeigt Blickinformationen
auf der Anzeigeoberfläche
an. Blickinformationen von dem einzelnen Auge in dem Bereich 304 bewahren
einen Grad des Blickes, während die
Kamera 302 Blickinformationen zur anderweitigen Verwendung
sammelt.
-
Bei
einer anderen Implementierung, dargestellt in 3B,
ermöglicht
eine halbtransparente Anzeige 308 die Erzeugung des Bildes
von beiden Augen 310 von einem entfernten Benutzer, während gleichzeitig
ein Video mit einer oder mehreren lokalen Kameras 306 gesammelt
wird. Bei dieser Anordnung werden mehr Blickinformationen von beiden Augen
des entfernten Benutzers bewahrt, wie auf der nichtplanaren Anzeige
angezeigt ist. Auf ähnliche Weise
sammelt das Paar der Kameras 306 mehr Blick- und perspektivische
Informationen von dem lokalen Benutzer an, für eine Betrachtung durch einen entfernten
Benutzer unter Verwendung einer nichtplanaren oder planaren Anzeige
oder anderswo in einem Videosystem. Ein höherer Grad an Blick- und nichtverbalen
Informationen wird bewahrt, je näher die
Position der Kameras 306 an die Position der Augen 310 des
entfernten Benutzers auf der nichtplanaren Anzeige kommt.
-
Bei
einer wiederum anderen Anordnung, dargestellt in 3C,
sammelt eine Kamera 312 ein Video von einem lokalen Benutzer
durch eine Öffnung 314,
die ungefähr
an der Brücke
der Nase angeordnet ist, von einem Bild von Gesichtsmerkmalen, die
auf einer nichtplanaren Anzeige erscheinen. Dieses Ausführungsbeispiel
nutzt die Unfähigkeit
von Personen aus, zwischen der Blickfixierung auf der Brücke der
Nase und der Blickfixierung auf den Augen selbst zu unterscheiden.
Die Kamera 312 sammelt Blickinformationen von dem lokalen
Benutzer, bewahrt jedoch nicht so viele perspektivische Informationen,
wie die alternativen Ausführungsbeispiele, die
vorangehend beschrieben wurden, da die Kamera nicht direkt über jedem
Auge positioniert ist. Das Auge 316 und das Auge 318 werden
jedoch auf der nichtplanaren Anzeige für den lokalen Benutzer angezeigt
und erscheinen, um den Blick des entfernten Benutzers zu reflektieren.
Dementsprechend kann dieses Ausführungsbeispiel
kostengünstiger
herzustellen sein und trotzdem wirksam sein, um den Blick zu bewahren.
-
4A, 4B und 4C stellen
verschiedene Möglichkeiten
zum Erzeugen von Gesichtsbildern auf einer nichtplanaren Oberfläche gemäß Ausführungsbeispielen
dar. 4A stellt die Verwendung einer flexiblen Anzeige 402 dar,
die an einer kopfförmigen
nichtplanaren Oberfläche 404 befestigt
ist. Eine gleichmäßige Bereichsabbildung kann
ebenfalls verwendet werden, um eine nichtplanare Anzeige 406 aus
Segmenten einer flexiblen Anzeige zu konstruieren, die Bereiche 408a, 408b, 408c und 408d aufweist.
Eine gleichmäßige Bereichsabbildung
ist ein Entwurfsverfahren, das eine gekrümmte Oberfläche auf ein flaches Material
abbildet, so dass der Bereich gleich bleibt und das flache, flexible
Material die gekrümmte
Oberfläche
abdecken kann. Bei diesem Beispiel ist der Bereich 408a ein
flexibles Anzeigematerial, das dem rechten Backenabschnitt des entfernten
Benutzers ent spricht, der Bereich 408b entspricht dem linken
Backenabschnitt des entfernten Benutzers, der Bereich 408c entspricht
dem mittleren Gesichtsbereich des entfernten Benutzers und der Bereich 408d entspricht
der Stirnregion des entfernten Benutzers. Ein flexibles Anzeigematerial,
das diese verschiedenen Bereiche abdeckt, würde Blick, Gesichtsausdruck,
Gesten durch perspektivische und viele andere nichtverbale Andeutungen
beschreiben.
-
4B stellt
ein Ausführungsbeispiel
dar, bei dem mehrere Projektoren 410, 412 und 414 ein Bild
auf einer nichtplanaren Anzeigeoberfläche 416 für eine Präsentation
für einen
lokalen Benutzer 418 erzeugen. Dieses Ausführungsbeispiel
hat den Vorteil der Verwendung von gegenwärtig verfügbaren Techniken und kann daher
ohne weiteres und kostengünstiger
implementiert werden. Die nichtplanare Oberfläche 416 kann unter
Verwendung einer zylindrischen Oberfläche oder eines Mannequin-Kopfes oder
einer anderen Oberfläche
implementiert werden, die dem dreidimensionalen Kopf einer Person gleicht.
-
Unter
Verwendung des Projektors 410, 412 und 414 kann
die nichtplanare Anzeige 416 ferner zusätzliche Verarbeitungs- und Bildverbesserungs-Operationen
erfordern, um ordnungsgemäß zu arbeiten.
Bildverarbeitungsroutinen können
das Bild des entfernten Benutzers verarbeiten, um das Gesicht auf
der Mittelachse der nichtplanaren Anzeigeoberfläche 416 zentriert
zu halten. Gesichtserkennungsoperationen können verwendet werden, um eine
Mittelachse des entfernten Benutzers zu identifizieren, die im Vergleich
zu der Mittelachse der nichtplanaren Oberfläche 416 auf Video
aufgezeichnet wird. Die Mittelachse des entfernten Benutzers kann ausgerichtet
werden, durch Verschieben von einem oder mehreren Bildern, die von
dem entfernten Benutzer gemacht werden, bis die Achsenposition mit der
nichtplanaren Anzeigeoberfläche 416 zusammenfällt.
-
Ein
weiteres Ausführungsbeispiel
kann Gesichtsmerkmale verarbeiten und korrigieren, die auf der nichtplanaren
Anzeige 416 nicht ordnungsgemäß wiedergegeben werden. Zum
Beispiel können
Objekte oder Verzerrungen, die durch eine Kamera eingebracht werden,
die Bilder von dem entfernten Benutzer macht, verursachen, dass
Gesichtsmerkmale potentiell verschleiert werden und Schatten lassen.
Statistische Informationen über
Gesicht-Merkmale oder -Ausdrücke
können
verwendet werden, um diese Bereiche oder Fehlstellen wiederherzustellen,
anstatt Schatten oder dunkle Bereiche zu zeigen. Zum Beispiel kann
das Erkennen eines relativ flachen Bereichs auf der Backe oder der
Stirn verwendet werden, um Bereiche in diesen Regionen zu glätten oder anzunähern und
eine Kontinuität
in dem angezeigten Bild zu liefern. Dies schafft eine ausreichend
genaue Wiederherstellung von Gesichtsmerkmalen, um den Blick beizubehalten
und eine Ablenkung aufgrund einer Aberration zu vermeiden.
-
Ein
wiederum anderer Bildverarbeitungsaspekt könnte eine relativ kleine Kopfbewegung
des entfernten Benutzers auflösen.
In diesem Fall würde auch
eine Gesichtserkennungs- und Augenverfolgungs-Routine verwendet
werden, um die Drehposition des Kopfs des entfernten Benutzers relativ
zu der Kamera zu identifizieren, die die Bilder macht. Um den Blick
und Augen-Kontakt mit dem lokalen Benutzer 418 beizubehalten,
würden
die Kameras 416, die die Bilder des lokalen Benutzers machen,
geändert werden,
um die neue Augenposition des entfernten Benutzers zu reflektieren.
Zum Beispiel könnten
Implementierungen Bilder sammeln und verwenden, die von einer rechten
oder linken Kamera 416 gemacht werden, abhängig von
dem Grad der Kopfdrehung von dem entfernten Benutzer. Durch Verwenden
von entweder dem resultierenden linken Bild oder dem rechten Bild
oder einer Kombination derselben kann der entfernte Benutzer eine
unterschiedliche Perspektive sehen, die von dem lokalen Benutzer 418 gemacht
wird, zusammen mit einer neuen und genaueren Augenkontaktposition.
-
4C stellt
ein System für
eine interne Projektion auf einer halbtransparenten nichtplanare Oberfläche gemäß einem
Ausführungsbeispiel
dar. Dieses System umfasst eine halbtransparente nichtplanare Oberfläche 420,
eine Lichtquelle 422 und ein Flüssigkristall-Lichtventil 424 für eine Präsentation eines
Bildes für
einen lokalen Benutzer 426. Das Lichtventil 424 filtert
die Lichtquelle 422 und projiziert das resultierende Bild
auf eine halbtransparente nichtplanare Oberfläche 420. Dieses System
ist vorteilhaft, da die Anzeigequelle und die halbtransparente nichtplanare
Oberfläche 420 freistehend
und tragbar sind. Wie die anderen vorangehend beschriebenen Systeme
umfasst das projizierte Bild des entfernten Benutzers Gesichtsausdrücke und
bewahrt den Blick und andere nichtverbale Andeutungen für den lokalen
Benutzer 426.
-
5 ist
ein Flussdiagramm, das die Schritte darstellt, die beim Ansammeln
und Anzeigen von Gesichtsmerkmalen eines Benutzers auf einer nichtplanaren
Anzeige gemäß einem
Ausführungsbeispiel umfasst
sind. Anfänglich
empfängt
eine nichtplanare Anzeigevorrichtung eines oder mehrere Bilder von Gesichtsmerkmalen
eines entfernten Benutzers (502). Wie vorangehend beschrieben
wurde, können eine
oder mehrere Kameras verwendet werden, um die Bilder anzusammeln
und dieselben dann auf der nichtplanaren Anzeigevorrichtung anzuzeigen.
Zum Beispiel können
Kameras im Wesentlichen koinzident mit jedem Auge, das auf der nichtplanaren
Anzeige positioniert ist, einem Auge auf der nichtplanaren Anzeige
oder zwischen einem Paar von Augen ungefähr an der Brücke der
Nase, angeordnet sein.
-
Das
Bild, das von dem entfernten Benutzer gemacht wird, wird dann auf
die nichtplanare Oberfläche
positioniert, was einem lokalen Benutzer einen Blick des entfernten
Benutzers anzeigt (504). Der Gesichtsausdruck des entfernten
Benutzers bewahrt einen Blick durch Positionieren der Augen in dem
Bild bei oder in der Nähe
der Stelle, an der die Augen auf der nichtplanaren Anzeige erscheinen
würden.
Ferner helfen perspektivische Informationen, die von unterschiedlichen
Bildern angesammelt werden, den Blick und andere nichtverbale Informationen
zu dem lokalen Benutzer zu übermitteln,
der die nichtplanare Anzeige betrachtet. Wie vorangehend beschrieben wurde,
kann das Gesichtsbild auf die nichtplanare Anzeige mit verschiedenen
Projektoren projiziert werden, mit flexiblen Anzeigen angezeigt
werden, die an eine nichtplanare Oberfläche angebracht sind, oder durch
eine interne Projektion des Bildes von innerhalb einer halbtransparenten
nichtplanaren Oberfläche
angezeigt werden.
-
Gleichzeitig
oder parallel zu den obigen Operationen sammeln Kameras, die auf
der nichtplanaren Anzeige in der Nähe des lokalen Benutzers positioniert
sind, Bilder oder Ausdrücke
des Gesichts des lokalen Benutzers (506). Mehrere Bilder
können
unterschiedliche Perspektiven des lokalen Benutzers sammeln, um
das Erfassen des Blicks und auch anderer nichtverbaler Andeutungen
des lokalen Benutzers zu verbessern. Abhängig von der Anwendung können verschiedene
Bildverarbeitungsroutinen an die gesammelten Bilder angewendet werden,
um eine Kopfdrehung, Kopfneigung oder andere Abweichungen in dem
Bild zu korrigieren, die die Bewahrung von Blick- und Augenkontakt
zwischen entferntem und lokalem Benutzer stören können. Sobald diese Verarbeitung
abgeschlossen ist, werden die Bilder des lokalen Benutzers für eine Anzeige
auf der nichtplanaren Anzeige des entfernten Benutzers übertragen
(508) und die obigen Operationen werden wiederholt. Während die
obigen Operationen in einer bestimmten Reihenfolge bereitgestellt
wurden, wird darauf hingewiesen, dass die obigen Operationen vollständig parallel
oder in einer anderen Reihenfolge auftreten können, um das Verhalten und
die Effizienz der Bilderzeugung auf der nichtplanaren Anzeige zu verbessern.
-
6 ist
ein Blockdiagramm eines Systems 600, das bei einer Implementierung
zum Durchführen der
Vorrichtungen oder Verfahren verwendet wird, die hierin detailliert angegeben
sind. Das System 600 umfasst einen Speicher 602 zum
Halten von Ausführprogrammen
(üblicherweise
Direktzugriffsspeicher (RAM) oder Nur-Lese-Speicher (ROM), wie z.
B. einen Flash-ROM), eine Präsentationsvorrichtungsschnittstelle 604,
die in der Lage zum schnittstellenmäßigen Verbinden und Treiben
einer Anzeige oder einer Ausgabevorrichtung ist, einen Prozessor 606, einen
Programmspeicher 608 zum Halten von Treibern oder anderen
häufig
verwendeten Programmen, ein Netzwerkkommunikationstor 610 zur
Datenkommunikation, eine Sekundärspeicherung 612 mit
einer Sekundärspeicherungssteuerung
und Eingabe-/Ausgabe-Tore (I/O-Tore)
und eine Steuerung 614, die wirksam miteinander über einen
Bus 616 gekoppelt sind. Das System 600 kann z.
B. in ROM vorprogrammiert werden, unter Verwendung einer feldprogrammierbaren
Gatearraytechnik (FPGA-Technik), oder kann programmiert werden (und
vorprogrammiert werden), durch Laden eines Programms aus einer anderen
Quelle (z. B. von einer Diskette, einer CD-ROM oder einem anderen
Computer). Ferner kann das System 600 unter Verwendung
von kundenspezifischen, anwendungsspezifischen integrierten Schaltungen
(ASIC) implementiert sein.
-
Bei
einer Implementierung umfasst der Speicher 602 eine nichtplanare
Bildsammelkomponente 618, eine nichtplanare Anzeigekomponente 620, eine
nichtplanare Bildverarbeitungskomponente 622, eine nichtplanare
Kopfverfolgungskomponente 624 und ein Laufzeitmodul 626,
das Systemressourcen verwaltet, die beim Verarbeiten von einer oder
mehreren der obigen Komponenten auf dem System 600 verwendet
werden.
-
Wie
dargestellt ist, erscheinen diese verschiedenen Module in einem
einzelnen Computersystem. Alternative Implementierungen könnten jedoch
diese Komponenten in einen oder mehrere unterschiedliche Computer
verteilen, um Verarbeitungsbedarf, Skalierbarkeit, Hochverfügbarkeit
und andere Entwurfseinschränkungen
zu berücksichtigen.
Auf ähnliche
Weise auch Komponenten, dargestellt in 6, die als
einzeln und getrennt voneinander erscheinen. Eine alterna tive Implementierung könnte eine
oder mehrere dieser Komponenten kombinieren, um höhere Effizienzen,
niedrigere Kosten oder eine andere Entwurfseinschränkung zu
bewirken, die benötigt
wird, um Ausführungsbeispiele
in einem Großunternehmen
oder einer kleinen Betriebsumgebung zu implementieren.
-
Eine
nichtplanare Bildsammelkomponente 618 sammelt Bilder von
dem lokalen Benutzer aus einer oder mehreren Kameras an, die der
nichtplanaren Anzeige zugeordnet sind. Die nichtplanare Bildverarbeitungskomponente 620 führt eine
oder mehrere Bildverarbeitungsoperationen an Bildern durch, die
gesammelt werden, um die resultierende Anzeige auf der nichtplanaren
Anzeige zu verbessern. Wie vorangehend beschrieben wurde, umfassen
diese Bildverarbeitungsoperationen das Kompensieren einer Neigung
des Kopfes eines entfernten Benutzers, Berücksichtigen einer Drehung des
Kopfes des entfernten Benutzers, ein Glätten der Bereiche des Gesichtsbildobjekts
im Hinblick auf Aberration oder Verzerrung sowie jeglichen anderen
Prozess, um die Bewahrung von Blicken und/oder anderen nichtverbalen
Andeutungen zu verbessern.
-
Die
nichtplanare Anzeigekomponente 622 verarbeitet ferner die
Bilder und bereitet für
die bestimmte Anzeige vor, die gemäß den Details entworfen ist,
die hierin ausgeführt
sind. Diese nichtplanare Anzeigekomponente 622 kann das
Bild modifizieren, um besser mit Projektoren, flexiblen Anzeigevorrichtungen,
Anzeigeeinrichtungen für
die Innenseite einer nichtplanaren Anzeige oder beliebigen anderen verschiedenen
Ausführungsbeispielen
zu arbeiten.
-
Eine
nichtplanare Kopfverfolgungskomponente 624 umfasst eine
oder mehrere Operationen, die die Position des Kopfes des entfernten
Benutzers beim Sammeln und Übertragen
der Bilder verfolgen. Diese nichtplanare Kopfverfolgungskomponente 624 kann
Operationen implementieren, die die Augen eines entfernten Benutzers
sowie die vollständigen Gesichtsmerkmale
des entfernten Benutzers verfolgen.
-
Während Beispiele
und Implementierungen beschrieben wurden, sollten sie nicht dazu
dienen, einen Aspekt der vorliegenden Erfindung einzuschränken. Dementsprechend
können
Implementierungen der Erfindung in einer analogen Schaltungsanordnung,
in einer digitalen elektronischen Schaltungsanordnung oder in einer
Computer-Hardware, -Firmware oder -Software oder in einer Kombination aus
denselben implementiert werden. Die Vorrichtung der Erfindung kann
unter Verwendung von analoger Elektronik oder digitaler Elektronik
in einem Computerprogrammprodukt implementiert sein, das greifbar
in einer maschinenlesbaren Speicherungsvorrichtung zur Ausführung durch
einen programmierbaren Prozessor verkörpert ist; und Verfahrensschritte
der Erfindung können
durch einen programmierbaren Prozessor ausgeführt werden, der ein Programm
aus Anweisungen ausführt,
um Funktionen der Erfindung auszuführen, durch Bearbeiten von Eingangsdaten
und Erzeugen einer Ausgabe. Die Erfindung kann vorteilhaft in einem
oder mehreren Computerprogrammen implementiert sein, die auf einem
programmierbaren System ausführbar
sind, das zumindest einem programmierbaren Prozessor umfasst, der
gekoppelt ist, um Daten und Anweisungen von einem Datenspeicherungssystem,
zumindest einer Eingabevorrichtung und zumindest einer Ausgabevorrichtung
zu empfangen und zu derselben zu übertragen. Jedes Computerprogramm
kann in einem Prozess auf hoher Ebene oder einer objektorientierten
Programmierungssprache implementiert sein, oder falls erwünscht, in
einer Anordnungs- oder Maschinen-Sprache; und in jedem Fall kann
die Sprache eine kompilierte oder interpretierte Sprache sein. Geeignete
Prozessoren umfassen beispielsweise sowohl Allzweck- als auch Spezial-Mikroprozessoren.
Im Allgemeinen empfängt
ein Prozessor Anweisungen und Daten von einem Nur-Lese-Speicher und/oder
einem Direktzugriffsspeicher. Im Allgemeinen umfasst ein Computer
eine oder mehrere Massenspeicherungsvorrichtungen zum Speichern
von Datendateien; solche Vor richtungen umfassen magnetische Platten,
wie z. B. interne Festplatten und entfernbare Platten; Magneto-Optische-Platten; und optische
Platten. Speicherungsvorrichtungen, die geeignet zum greifbaren
Verkörpern
von Computerprogrammanweisungen und Daten sind, umfassen alle Formen
von nichtflüchtigem
Speicher, einschließlich z.
B. Halbleiterspeichervorrichtungen, wie z. B. EPROM, EEPROM und
Flash-Speicher-Vorrichtungen;
magnetische Platten, wie z. B. interne Festplatten und entfernbare
Platten; Magneto-Optische-Platten;
und CD-ROM-Platten. Eines der vorangehenden kann ergänzt werden
durch oder eingelagert werden in ASICs.
-
Während spezifische
Ausführungsbeispiele hierin
zu Zwecken der Darstellung beschrieben wurden, können verschiedene Modifikationen
durchgeführt
werden, ohne von dem Wesen und dem Schutzbereich der Erfindung abzuweichen.
Zum Beispiel ist eine Vielzahl von Anzeigetechniken handelsüblich erhältlich und
könnte
verwendet werden, um die beschriebene Erfindung zu verkörpern. Ferner
kann die Vorbereitung des Bildes, das präsentiert werden soll, auf eine
Vielzahl von Weisen durchgeführt
werden. Bilder, die auf der nichtplanaren Oberfläche erscheinen, könnten jene
eines entfernten Benutzers sein, die durch eine Videokamera erfasst
und dann durch einen Computeralgorithmus oder eine Computerhardware
verarbeitet und vorbereitet werden, oder könnten durch einen Computer
erzeugt werden, zum Zweck einer Mensch-Computer-Wechselwirkung. Entsprechend
ist die Erfindung nicht auf die oben beschriebenen Implementierungen
eingeschränkt,
sondern wird stattdessen durch die beiliegenden Ansprüche im Hinblick
auf ihren vollen Schutzbereich von Entsprechungen definiert.