DE19539048B4 - Video-Konferenzsystem und Verfahren zum Bereitstellen einer Parallaxenkorrektur und zum Erzeugen eines Anwesenheitsgefühls - Google Patents
Video-Konferenzsystem und Verfahren zum Bereitstellen einer Parallaxenkorrektur und zum Erzeugen eines Anwesenheitsgefühls Download PDFInfo
- Publication number
- DE19539048B4 DE19539048B4 DE19539048A DE19539048A DE19539048B4 DE 19539048 B4 DE19539048 B4 DE 19539048B4 DE 19539048 A DE19539048 A DE 19539048A DE 19539048 A DE19539048 A DE 19539048A DE 19539048 B4 DE19539048 B4 DE 19539048B4
- Authority
- DE
- Germany
- Prior art keywords
- conference participant
- image
- conference
- participant
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
- H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Closed-Circuit Television Systems (AREA)
- Telephonic Communication Services (AREA)
- Image Processing (AREA)
Abstract
Verfahren
zum Abhalten einer Videokonferenz zwischen mehreren, entfernt gelegenen
Konferenzräumen,
in denen sich jeweils wenigstens ein Konferenzteilnehmer, eine Videokamera
und ein Bildempfänger befinden,
wobei der Bildempfänger,
die Videokamera und die ihnen zugeordneten Augen jedes Konferenzteilnehmers
einen Parallaxenwinkel für
jeden Konferenzteilnehmer bilden,
umfassend die folgenden Schritte:
Erzeugen eines Videosignals, das eine Folge von Eingangsbildrahmen eines ersten Konferenzteilnehmers (A) darstellt mit einer ersten Videokamera (32),
Analysieren der Eingangsbildrahmen des Konferenzteilnehmers in Echtzeit zur Bestimmung eines Parallaxenwinkels in jedem Rahmen,
Erzeugen einer entsprechenden Folge von Parallaxen-kompensierten Bildrahmen, und
Übertragen eines Signals, das die Folge von Parallaxen-kompensierten Bildrahmen darstellt, zu einem Bildempfänger (22), der von einem zweiten Konferenzteilnehmer (B) betrachtet wird, wodurch ein Augenkontakt zwischen dem zweiten Konferenzteilnehmer und einem angezeigten Bild des ersten Konferenzteilnehmers hergestellt wird, wobei das Analysieren folgende Schritte umfaßt:
Lokalisieren einer Spiegelung einer ortsfesten Lichtquelle in einer Pupille des ersten Konferenzteilnehmers in einem Bild...
umfassend die folgenden Schritte:
Erzeugen eines Videosignals, das eine Folge von Eingangsbildrahmen eines ersten Konferenzteilnehmers (A) darstellt mit einer ersten Videokamera (32),
Analysieren der Eingangsbildrahmen des Konferenzteilnehmers in Echtzeit zur Bestimmung eines Parallaxenwinkels in jedem Rahmen,
Erzeugen einer entsprechenden Folge von Parallaxen-kompensierten Bildrahmen, und
Übertragen eines Signals, das die Folge von Parallaxen-kompensierten Bildrahmen darstellt, zu einem Bildempfänger (22), der von einem zweiten Konferenzteilnehmer (B) betrachtet wird, wodurch ein Augenkontakt zwischen dem zweiten Konferenzteilnehmer und einem angezeigten Bild des ersten Konferenzteilnehmers hergestellt wird, wobei das Analysieren folgende Schritte umfaßt:
Lokalisieren einer Spiegelung einer ortsfesten Lichtquelle in einer Pupille des ersten Konferenzteilnehmers in einem Bild...
Description
- Die Erfindung betrifft allgemein ein Verfahren zum Durchführen einer Videokonferenz und insbesondere ein Videokonferenzsystem, und ein Verfahren, bei dem ein Augenkontakt zwischen jedem Betrachter und dem entsprechenden Bild oder den entsprechenden Bildern von entfernten, anzusehenden Personen hergestellt wird.
- Ein wesentliches Ziel eines Videokonferenzsystems besteht darin, ein wirksames Mittel zur Interaktion zwischen entfernten Personen bereitzustellen. Die Fähigkeit, verschiedene Konferenzteilnehmer zu sehen und mit ihnen im Dialog zu sprechen, ist zur Durchführung einer Konferenz oder einer Sitzung notwendig. Eines der wichtigsten Kriterien, die ein Videokonferenzsystem erfüllen muß, liegt in einer visuellen Präsenz. Ferner ist es wünschenswert, zu sehen, wer wen während der Konferenz ansieht.
- Alle Videokonferenzsysteme benutzen an jedem Ort wenigstens einen Monitor und wenigstens eine Kamera zum Darstellen des oder der entfernten Konferenzteilnehmer bzw. zur Gewinnung eines Bildes des oder der örtlichen Konferenzteilnehmer. Ein hartnäckiges Problem, das sich aus gegenwärtigen Konfigurationen dieser Komponenten in einem Videokonferenzsystem ergibt, ist der sogenannte "Parallaxeneffekt", der einen Augenkontakt zwischen dem Sprecher und denjenigen entfernten Betrachtern, zu denen er oder sie spricht, verhindert. Dieser Effekt ergibt sich hauptsächlich aus der Anordnung der Kamera mit Bezug auf den Monitor und den Betrachter.
- Der Parallaxeneffekt ist in
1 dargestellt. Wie in1 zu sehen ist, betrachtet jeder Konferenzteilnehmer A und B ein entsprechendes Display12 ,14 mit einem Fenster zur Darstellung des Bildes des anderen Teilnehmers. Jedem Display ist eine Videokamera zum Einfangen des Bildes des entsprechenden Betrachters zugeordnet. Jede Kamera kann oberhalb, unterhalb oder an einer der beiden Seiten des zugeordneten Displays angeordnet sein. In dem bekannten, in1 dargestellten System sind Kameras16 und18 unmittelbar über dem Display12 bzw.14 angeordnet. Der Winkel θ stellt den Winkel zwischen der Kamera16 und dem Display12 bezüglich des Betrachters A dar. Da der Teilnehmer A direkt das dargestellte Bild des Teilnehmers B und daher nicht die Kamera16 ansieht, scheint das dargestellte Bild von A nach unten zu schauen. - Wie ein Durchschnittsfachmann ohne weiteres feststellen kann, kann der Parallaxeneffekt dadurch minimiert werden, daß man die Kamera und den Monitor so nah wie möglich zusammenstellt. Tatsächlich beruhten frühere Anstrengungen zur Beseitigung des Parallaxeneffektes darauf, die Kamera unmittelbar hinter einem speziell konstruierten Bildschirm anzuordnen. In der US-PS 4 054 908, die am 18. Oktober 1977 für Poieier et al veröffentlicht worden ist, wird beispielsweise das Bild des Betrachters zum Kameraobjektiv mittels einer schrägen reflektierenden Platte reflektiert. Der Bildschirm wird vom Betrachter durch ein Fenster in der reflektierenden Platte betrachtet. Allerdings lenkt das Fenster in der mit einer Öffnung versehenen Platte den Betrachter etwas ab. Es ist auch vorgeschlagen worden, einen elektronischen Kristallbildschirm zu benutzen, der zwischen lichtundurchlässigen und transparenten Zuständen mit einer Frequenz hin- und herwechselt, die lang genug sind, daß ein Bild des Betrachters die Kamera während des transparenten Zustands erreichen kann und daß während des lichtundurchlässigen, reflektierenden Zustands ein angezeigtes Bild dargestellt werden kann. Leider zeichnen sich die auf einem derartigen blinkenden Bildschirm dargestellten Bilder durch eine unzumutbar geringe Helligkeit aus. Darüber hinaus sind die Herstellungskosten für den Bildschirmaufbau und die zugeordnete Ansteuer-Schaltungsanordnung hoch.
- Es wurden sogenannte virtuelle Raumvideo-Konferenzsysteme vorgeschlagen, die eine vollständige visuelle Anwesenheit erzeugen und die räumliche Beziehung zwischen drei oder mehreren Konferenzteilnehmern vermitteln. Bei dieser Art von Systemen entspricht die Anzahl von Monitor- und Kamerapaaren an jedem Ort der Gesamtzahl entfernter Konferenzteilnehmer. Die relativen Positionen der Paare bezüglich jedes Teilnehmers sind an jedem Ort festgelegt. Ein beispielhaftes System dieses Typs ist in
2 dargestellt. Jede betrachtende Person (A, B, C und D) sitzt in einem Drehstuhl in einem entsprechenden Zimmer (1 ,2 ,3 oder4 ) mit drei TV-Monitoren, die die anderen drei "virtuell anwesenden" Teilnehmer darstellen. Beispielsweise sitzt daher die betrachtende Person (A) in einem Drehstuhl in dem Raum1 mit drei TV-Monitoren, die die drei "virtuell anwesenden" Teilnehmer (B, C und D) darstellen. Die Anordnung von Monitor-Kamera-Paaren in jedem Raum dupliziert die Orte jedes Teilnehmers, als ob sie allesamt um denselben quadratischen Tisch säßen. Die von diesen Kameras kommenden Signale durchlaufen Video-Schalteinheiten und werden mittels eines dynamischen Zuordnungsnetzwerkes zu entsprechenden Zielmonitoren übertragen. - Das virtuelle Raumsystem nach
2 versorgt drei oder mehrere Teilnehmer mit der Fähigkeit, zu sehen, wer ihn während einer Konferenz ansieht. Ein Augenkontakt zwischen den Teilnehmern wurde allerdings dadurch erreicht, daß man von den mit einer Öffnung versehenen oder von den halbreflektierenden Bildschirmgeräten Gebrauch gemacht hat, die oben beschrieben worden sind. Außerdem führt die große Anzahl von benötigten Videokanälen, die für die gewünschte räumliche Verteilung zwischen den Konferenzteilnehmern sorgen, zu einem großen Bedarf an Übertragungsbandbreite. - Aus der WO92/14340 A1 ist ein Verfahren zur Korrektur der Blickrichtung bei einem Bildtelefon bekannt. Hierzu wird der Fehlwinkel zwischen der Blickrichtung einer Person und der Kameraachse ermittelt. Die Pupillen und Augäpfel der abgebildeten Person werden im Bild segmentiert und innerhalb der Bildebene verschoben. Hierbei frei werdende Bereiche werden mit der Farbe des Augapfels ausgefüllt.
- Aus der
US 5,231,674 ist ein Verfahren zur Überwachung der Augenstellung einer Person bekannt, um die Blickrichtung der Person ermitteln zu können. Hierzu wird das Auge mit einer Lichtquelle bestrahlt, wobei das reflektierte Licht von einer Kamera in ein zweidimensionales Bild des Auges umgesetzt wird. Die Position der Spiegelung kann dann dadurch lokalisiert werden, dass das Zentrum der Pupille gemessen wird. - Das System und das Verfahren gemäß der Erfindung beseitigt die oben genannten Nachteile durch Anwendung von Echtzeit-Bildanalyse- und Verarbeitungstechniken, die eine bedeutungsvolle Kopfausrichtung und/oder einen Augenkontakt in den Bildern liefern, die dem entfernten Betrachtern dargeboten werden. Ein gemäß der Erfindung aufgebautes Videokonferenzsystem enthält in jedem Konferenzraum wenigstens ein Videotelefon, das eine Videokamera zur Erzeugung von Videosignalen aufweist, die eine Folge von örtlichen Konferenzteilnehmer-Bilderrahmen darstellen, sowie einen Bildempfänger zum Darstellen der Bildrahmen von wenigstens einem entfernten Konferenzteilnehmer. Der Bildempfänger, die Videokamera und die Augen des örtlichen Konferenzteilnehmers bilden einen Parallaxenwinkel. Das Videokonferenzsystem enthält außerdem eine Rahmen-Erzeugungseinrichtung, die unter Ansprechen auf die Videosignale Bildrahmen eines örtlichen Konferenzteilnehmers analysiert und eine entsprechende Folge von Parallaxen-kompensierten Rahmen erzeugt. Ein Signal, das jede Folge von Parallaxen-kompensierten Rahmen darstellt, wird zu einem entsprechenden Bildempfänger übertragen, wodurch ein Augenkontakt zwischen jedem örtlichen Konferenzteilnehmer und einem dargestellten Bild eines entsprechenden entfernten Konferenzteilnehmers hergestellt wird.
- Sind mehr als zwei Konferenzteilnehmer beteiligt, wird jeder Eingangsbildrahmen bezüglich der Kopfstellung analysiert und, wenn notwendig, von der Rahmenerzeugungseinrichtung neu ausgerichtet, um für ein Anwesenheitsgefühl zu sorgen. Beispielsweise kann jeder Bildempfänger zwei entfernte Konferenzteilnehmer auf einem Display mit einem geteilten Fenster darstellen. Jeder Eingangsbildrahmen wird auf ein dreidimensionales ellipsoidisches Kopfmodell abgebildet und um einen vorbestimmten Winkel neu ausgerichtet, um die richtige Blickrichtung zu erhalten, auf einen zweidimensional rekonstruierten Bildrahmen zurück abgebildet. Ein die rekonstruierten Bildrahmen darstellendes Signal wird anschließend zu den entsprechenden entfernten Bildempfängern übertragen. Gemäß der Erfindung ist es daher für jeden Konferenzteilnehmer möglich, wahrzunehmen, wer ihn während der Konferenz ansieht.
- Weitere Merkmale der Erfindung sind in der nachfolgenden, ausführlichen Beschreibung geschildert, die in Verbindung mit den beiliegenden Zeichnungen betrachtet wird. Gleiche Bezugszeichen in den Zeichnungen bezeichnen ähnliche Elemente. Es zeigen:
-
1 die Wirkungsweise eines herkömmlichen Videokonferenzsystems mit einer einzigen Personenkamera (SPC, von Single Person Camera), -
2 ein herkömmliches virtuelles Raumvideo-Konferenzsystem, -
3A ein Blockschaltbild eines Videokonferenzsystems, das gemäß einer beispielhaften Ausführungsform gemäß der Erfindung aufgebaut ist, -
3B eine Vorderansicht des Videokonferenzsystems nach3A , -
4 eine grafische Darstellung einer Nachschlagtabelle zum Liefern von Pixelwerten gemäß einem Augensyntheseverfahren, das von der Erfindung benutzt wird, -
5 ein Flußdiagramm, das die Schritte einer erfindungsgemäßen Bildanalyse- und Verarbeitungstechnik darstellt, durch die eine Parallaxenkorrektur gemäß der Erfindung vorgenommen wird, -
6 eine Vorderansicht der Funktionsweise eines Videokonferenzsystems, welches ein Anwesenheitsgefühl zwischen drei Teilnehmern gemäß der Erfindung erzeugt, und -
7 ein Flußdiagramm, das die Schritte eines modifizierten Bildanalyse- und Verarbeitungsverfahrens darstellt, durch das eine Parallaxenkorrektur und eine Kopf-Neuausrichtung durchgeführt wird, um während des Betriebs des Systems nach5 ein Anwesenheitsgefühl hervorzurufen. - Ein Konferenzsystem
20 , das gemäß einer beispielhaften Ausführungsform nach der Erfindung aufgebaut ist, ist in3A dargestellt. Wie in3A gezeigt ist, blickt jeder Teilnehmer einer Videotelekonferenz auf ein entsprechendes Display22 ,24 . Jedes Display kann in ein oder mehrere Fenster unterteilt sein, um das Bild einer entsprechenden Anzahl von entfernten Teilnehmern darzustellen. Beispielsweise sind zwei Konferenzorte mit jeweils einem Konferenzteilnehmer vorgesehen. Daher sind in3A Teilnehmer A und B an entsprechenden Konferenzorten26 ,28 gezeigt, die auf dem Display22 bzw.24 erscheinen. - Bei der in
3A dargestellten Ausführungsform werden die Bilder der Konferenzteilnehmer A und B anfänglich von den Videokameras30 bzw.32 gewonnen. In bekannter Weise werden die analogen Ausgangssignale der Kameras30 und32 in eine digitale Form umgesetzt, vorverarbeitet und für eine Bitratenreduktion codiert, um die Übertragung über ein Telekommunikationsnetz (nicht dargestellt) zu erleichtern. Systeme und Verfahren zur Durchführung der oben genannten Signalverarbeitungsfunktionen sind allgemein bekannt und bilden keinen neuen Gesichtspunkt der Erfindung. Dementsprechend kann eine ausführliche Beschreibung dieser Funktionen entfallen. - Wir nehmen weiterhin Bezug auf
3A . Man kann sehen, daß die digitalisierten Videosignale von jeder Kamera nicht unmittelbar zum zugeordneten Zieldisplay übertragen werden. Statt dessen werden zu einem Zweck, der unten näher erklärt wird, die Ausgangssignale der Kameras30 und32 an ein geeignetes Verarbeitungsgerät34 angelegt, das beispielsweise ein Hochgeschwindigkeits-Verarbeitungscomputer ist. Insbesondere führt das Verarbeitungsgerät34 eine Rahmen-für-Rahmen-Analyse in Echtzeit mit den rohen ankommenden Videosignale durch und modifiziert das Bild jedes ankommenden Rahmens, um so einen Augenkontakt zwischen dem angezeigten Bild und dem Betrachter wiederherzustellen. Die modifizierten Rahmen werden anschließend in Echtzeit zum entsprechenden Zieldisplay übertragen. - Wie bereits mit Bezug auf
1 beschrieben worden ist, führt das Positionieren der Kamera unmittelbar über dem Display zur Bildung eines Parallaxenwinkels θ zwischen der Kamera, den Augen des Betrachters A und dem dargestellten Bild des Teilnehmers B. Diese Anordnung aus Kamera, Display und Betrachter ist in3B noch einmal dargestellt. Obwohl jede Kamera über einem entsprechenden Display angeordnet ist, kann der Durchschnittsfachmann ohne weiteres erkennen, daß die Kameras auch unterhalb oder an einer der Seiten des Displays angeordnet werden können. Gemäß der Erfindung wird eine Parallaxenkorrektur durch das Verarbeitungsgerät34 durchgeführt. Dazu ist es zunächst notwendig, den Parallaxenwinkel θ zu ermitteln. - Um die Genauigkeit zu verbessern, gibt es verschiedene Wege, den Parallaxenwinkel θ zu ermitteln. Bei der beispielhaften Ausführungsform nach
3A und3B müssen die Bilder von lediglich zwei Konferenzteilnehmern, die nach vorn blicken, modifiziert werden. Unter der Annahme, daß Bewegungen von A und B vernachlässigbar sind, kann ein fester Winkel θ auf der Grundlage der relativen Position der Kamera und des Displays ermittelt werden. Wenn man annimmt, daß das Bild von B sich auf dem Display von A nicht sehr stark bewegt, kann alternativ das von der Kamera A aufgenommene Bild analysiert werden, um den Korrekturbetrag zu ermitteln, der dazu benötigt wird, das Bild von A nach vorne auszurichten. Der erforderliche Korrekturbetrag, der als ϕ bezeichnet ist, kann als eine Zufallsvariable mit einer bestimmten Wahrscheinlichkeitsverteilung, die stationär oder zeitabhängig ist, nachgebildet werden. Unter der Annahme, daß A das Bild von B die meiste Zeit ansieht, kann der Parallaxenwinkel θ mit dem Erwartungswert von ϕ, d.h. E(ϕ), gleichgesetzt werden. - Wenn man von einer der beiden oben erwähnten Mangel-an-Bewegung-Annahmen ausgeht, ist es lediglich notwendig, die Augen in jedem Bildrahmen unterzubringen und die Rahmen zur Korrektur des Parallaxenwinkels θ zu verändern. Merkmal-Extraktionstechniken zum Lokalisieren von Gesichtsmerkmalen, wie z.B. der Augen, der Nase und des Mundes, in einem digitalisierten Bild sind allgemein bekannt und werden hierin nicht näher beschrieben. Auf ähnliche Weise sind Techniken zum Modifizieren lokalisierter Bereiche von derartigen Bildern dem Durchschnittsfachmann allgemein bekannt. In jedem Fall kann, da die Augen lediglich einen kleinen Bereich des gesamten Gesichtes oder Bildes einnehmen, das Nachvornedrehen der Augen einfach durch Synthetisieren der Augen verwirklicht werden. Die Möglichkeit der Augensynthese beruht auf der natürlichen Toleranz des menschlichen Betrachters, Rauschen in den relativ kleinen Bereich der Augen zu spiegeln. In diesem Zusammenhang sollte man beachten, daß die Position der Kamera mit Bezug auf das Display die Komplexität des Augensynthesealgorithmus als auch die Qualität der gewonnenen Ergebnisse beeinträchtigt. Insbesondere werden die Augenliderstellungen durch die Vertikalkomponente der Blickrichtung beträchtlich beeinträchtigt, so daß, wenn die Augen vertikal bewegt werden müßten, wie dies in dem dargestellten Bild für G der Fall wäre, auch das Augenlid geändert werden müßte, um eine Wahrnehmungsinkongruenz zu vermeiden. Befindet sich die Kamera seitlich des Displays, dann muß die Lidposition nicht geändert werden, wenn das Auge synthetisiert wird. Demzufolge wird eine Kameraposition an der Seite des Displays besonders bevorzugt.
- Um ein Bild des Auges zu synthetisieren, muß das Programm die Grenze der umgebenden Lider ermitteln. Die Lider stoßen hauptsächlich an das Augenweiß an, aber häufig begrenzen sie auch die Iris an der Ober und Unterseite. Der gesamte Bereich innerhalb der Grenze wird synthetisiert. Befindet sich die Person von der Kamera weit entfernt (so daß die Augen in dem gewonnenen Bild sehr klein sind), kann die Pupillenposition, die zum Hervorrufen eines Augenkontaktes mit dem Betrachter benötigt wird, lediglich dadurch gebildet werden, daß ein dunkler kreisförmiger Bereich entsprechender Größe an der richtigen Position hinzugefügt wird.
- Wenn sich die Person ausreichend nahe an dem Kamera/Monitor-Paar befindet, können vollständig neue Intensitätswerte für jede Pixelposition innerhalb der Außenlinie des Auges erzeugt werden, d.h. zwischen den oberen und unteren Lidern. Zu jeder Außenlinie des Auges werden fünf weitere Parameter zur Synthetisierung eines neuen Auges benützt: Die beiden Koordinaten des Pupillenzentrums, der Irisradius, der Irisintensitätspegel und der Intensitätspegel des weißen Bereiches des Auges. Ein Grenzen-Erkennungsverfahren führt natürlich zu einer einfachen Grenzdarstellung mit den kleinsten und größten Iris-X-Koordinaten für jeden Y-Wert in einem Bereich. Die Irisintensität wird während des normalen Augen-Nachführ-Algorithmus berechnet. Auf ähnliche Weise werden die Weiß-Intensität und die Augenkontur während der Grenzbestimmung des weißen Augenbereichs berechnet. Beispielsweise kann die Augensysnthese gemäß einer parametrischen Mischfunktionsansatz durchgeführt werden, nach der der Irisdurchmesser proportional zum Abstand der beiden Augen ist. Der Abstand zwischen den beiden Augen liefert eine richtige Skalierung, wenn die Person sich näher zu und weiter weg von der Kamera bewegt.
- Wie oben geschildert worden ist, kann ein fester Winkel θ auf der Grundlage der relativen Positionen zwischen der Kamera und dem Display ermittelt werden. Beispielsweise kann die Kamera an einer Seite des Displays und in der gleichen Höhe angeordnet sein. Es sei angenommen, daß der Benutzer nur das Display ansieht und nicht anderswohin. Daher scheint, wenn der Benutzer irgendwohin blickt, das synthetisierte Bild nicht mehr länger den Augenkontakt mit dem Betrachter aufrecht zu erhalten. Ist die Kamera und das Display auf diese Art und Weise angeordnet, kann die Iris und die Pupille um einen bestimmten geometrisch unabhängigen Betrag ohne Vertikalbewegung horizontal verschoben werden. Die Größe der Verschiebung ist umgekehrt proportional zum Augen-zu-Augen-Abstand. Beispielsweise kann der Synthetisierungsalgorithmus den Abstand zum synthetisierten Pupillenzentrum in horizontale Bildseiten-Verhältnis-korrigierte Pixel berechnen. Eine Nachschlagtabelle auf der Grundlage des Abstandes zum synthetisierten Irisradius liefert einen Mischkoeffizienten zwischen dem Irispegel und dem Weißpegel: 1 bezeichnet den Irispegel und 0 den Weißpegel, wobei der Mischbereich dazwischen linear verläuft. Eine grafische Darstellung der Nachschlagetabelle ist in
4 gezeigt. Die Eintragungen über 1 erzeugen einen noch dunkleren Wert für die Pupille. Die Weiß-Synthese kann einen ähnlichen Prozeß benutzen. - Wie ein Durchschnittsfachmann ohne weiteres nachvollziehen kann, fehlt einem Augenbild, das auf die oben beschriebene Art und Weise synthetisiert wird, das reflektierte Spitzenlicht, das dem Auge einen Eindruck von Tiefe und Kontur vermittelt. Daher kann es wünschenswert sein, derartige Spitzenhelligkeiten dem Bild auf eine bekannte Art und Weise zuzufügen. Benutzt man einen Motorola 88000 RISC-Prozessor zur Durchführung der oben genannten Bildanalyse- und Verarbeitungsoperationen auf eine einzelnen Eingangs-Videorahmen, dauert es 1,177 ms zur Lokalisierung der Pupille und Weißgrenzen, 0,176 ms zur Nachverarbeitung der Grenzen, 1,670 ms zur Synthetisierung der neuen Augen und 1,453 ms zur Erzeugung von Echtzeit-Grafiken und Textanzeigen. Natürlich hängen die Prozessorzeiten von dem Augenbild in der Bildebene ab. Es ist allerdings sogar mit extremen Nahaufnahmen möglich, einen modifizierten Rahmen mit synthetisierten Augen innerhalb eines Rahmenintervalls zu erzeugen. Deshalb kann eine Folge von Parallaxen-kompensierten Bildrahmen in Echtzeit erzeugt werden, um vorteilhafterweise den Benutzern eines Videokonferenzsystems einen Augenkontakt ohne Verlust an Rahmenrate bereitzustellen.
- Es ist vielleicht nicht möglich, die oben erwähnten Annahmen bezüglich der Bewegungen von A und B zu benutzen. Wenn ein Ausgleich für den exakten Parallaxenwinkel θ benötigt wird, ist es notwendig, die Augenposition von A und die Augenposition von B auf dem Display
24 zu erfassen. Jede geeignete Bildanalysetechnik kann angewandt werden, um die Augenpositionen für die erfindungsgemäßen Zwecke zu detektieren. Lediglich als Beispiel sei auf eine nicht-intrusive Blicknachführtechnik hingewiesen, die zum Gewinnen einer Augenpositionsinformation benutzt werden kann, und in einem Aufsatz mit dem Titel "Non-Intrusive Gaze Tracking Using Artificial Neural Networks" von S. Baluja und D.A. Pomerleau beschrieben ist. Man beachte, daß eine nicht-intrusive Blicktechnik bevorzugt wird, so daß jeder Konferenzteilnehmer seinen Kopf frei bewegen kann. - Das Ziel einer Blicknachführung ist insbesondere darin zu sehen, zu ermitteln, wohin eine Person mit ihren Augen blickt. Um Verschiebungen bezüglich der relativen Positionen der Kamera und des Auges zu erfassen, wird das Auge zunächst in jedem Bildrahmen lokalisiert. Typischerweise wird eines der Augen dadurch lokalisiert, daß man die Spiegelung einer stationären Lichtquelle in dem Bild des Gesichtes der Person sucht. Obwohl jede geeignete Lichtquelle zu diesem Zweck benutzt werden kann, wird eine nicht-intrusive Infrarotquelle bevorzugt, da sie ein leicht delektiertes Reflexionsmuster liefert, ohne den Betrachter abzulenken oder andere Unannehmlichkeiten bei ihm hervorzurufen. Die Spiegelung in dem Bild kann gewöhnlich von einem kleinen hellen Bereich, der von einem sehr dunklen Bereich umgeben ist, unterschieden werden. Der Reflexionsort kann benutzt werden, um die Suche nach dem Auge in dem nächsten Rahmen zu beschränken. Ein Fenster, das die Reflexion umgibt, wird gewonnen, wobei sich das Bild des Auges innerhalb dieses Fensters befindet. Das Zentrum der Pupille wird gefunden und die relative Position von der Lichtreflexion zum Pupillenzentrum wird berechnet. Die Blickrichtung wird aus der Information über die relativen Positionen ermittelt. Wenn beispielsweise der Betrachter zur Lichtquelle blickt, befindet sich die Spiegelung in dem Zentrum des Pupillenbildes. Wenn der Betrachter über die Lichtquelle sieht, befindet sich die Spiegelung in der Nähe des unteren Randes des Pupillenbildes. Wenn der Betrachter links an der Lichtquelle vorbeisieht, befindet sich die Spiegelung rechts von dem Pupillenbild usw.
- Bei dem in den
3A und3B dargestellten beispielhaften System ist eine ortsfeste Lichtquelle36 über der Kamera32 angeordnet, um den Einsatz einer Blicknachführtechnik auf das Bild des Teilnehmers zu erleichtern. Eine ähnliche Lichtquelle (nicht dargestellt) ist über der Kamera30 angeordnet. Wie ein Durchschnittsfachmann ohne weiteres erkennen kann, liefert eine Blickdetektionstechnik, beispielsweise die oben diskutierte, nützliche Informationen über die Richtung des Auges mit Bezug auf die Lichtquelle. Wie nicht weiter erläutert wird, kann diese Information dazu benutzt werden, den Parallaxenwinkel θ zu bestimmen. Insbesondere definieren, wie man das am besten aus3B sehen kann, die Lichtquelle36 , der Teilnehmer A und das angezeigte Bild des Teilnehmers B einen Winkel θ1, während die Lichtquelle36 , der Teilnehmer A und die Kamera32 einen Winkel θ2 festlegen. Der Parallaxenwinkel θ kann daher dadurch berechnet werden, daß man die Differenz zwischen θ1 und θ2 bildet. Ist der Parallaxenwinkel erst einmal bekannt, wird ein überarbeiteter Bildrahmen auf die gleiche Art und weise übertragen, wie dies oben beschrieben worden ist. - Eine beispielhafte Schrittfolge zur Durchführung einer Parallaxenkorrektur mit einem Videokonferenzsystem, das beispielsweise in den
3A und3B dargestellt ist, ist in5 gezeigt. Obwohl die Beschreibung in Verbindung mit der Verarbeitung von Bildern lediglich eines Teilnehmers fortgesetzt wird, kann man ohne weiteres einsehen, daß die gleichen Bildanalyse- und Verarbeitungsschritte gleichzeitig für alle Konferenzteilnehmer durchgeführt werden. In jedem Fall wird ein digitalisierter Videorahmen des Teilnehmers A von der Verarbeitungseinrichtung34 (Schritt40 ) empfangen und eine Bildmerkmalsextraktion durchgeführt, um die Augen in dem Bild zu lokalisieren (Schritt42 ). Während des Schritts44 wird die Blickdetektion auf dem Bild durchgeführt, um die Richtung zu erfassen, in die die Person mit Bezug auf die Kamera blickt. Der Parallaxenwinkel wird abgeleitet (Schritt46 ) und ein überarbeiteter Bildrahmen erzeugt (Schritt48 ), in dem die Position der Pupillen und, wenn geeignet, die Position der Iris den Positionen entspricht, die für einen Augenkontakt mit dem betrachtenden Teilnehmer B notwendig sind. Der überarbeitete Bildrahmen wird anschließend zum Display22 übertragen (Schritt50 ), wo es vom Teilnehmer B angesehen wird. Die oben erwähnten Schritte werden in Echtzeit und Rahmen für Rahmen für jedes Videoeingangssignal ausgeführt, so daß ein Augenkontakt zwischen den dargestellten Bildern und den jeweiligen Teilnehmern hergestellt wird. - Wenn mehr als zwei Konferenzorte und/oder Teilnehmer vorgesehen sind, müssen neben der Notwendigkeit, einen Augenkontakt zwischen den Teilnehmern herzustellen, zusätzliche Überlegungen im Hinblick auf das Videokonferenzsystem angestellt werden, um den Blick und das Gefühl einer lebendigen Konferenz zu bewahren. Wie dies bereits oben geschildert worden ist, ist es insbesondere auch für jeden Teilnehmer wichtig zu sehen, wer mit ihm spricht. Daher werden gemäß der erfinderischen Lehre Echtzeit-Bildanalyse- und Verarbeitungstechniken benutzt, um das Kopfbild neu auszurichten als auch den Konferenzteilnehmern den Eindruck eines Augenkontaktes zu vermitteln.
-
6 wiederum zeigt ein Videokonferenzsystem60 , das gemäß der Erfindung aufgebaut und dem System20 nach3A ähnlich ist. Das in6 dargestellte System wurde allerdings dahingehend geändert, daß eine Konferenz zwischen drei Teilnehmern A, B und C an drei verschiedenen Orten stattfinden kann. Das System60 enthält daher drei Displays62 ,64 bzw.66 und drei entsprechende Kameras68 ,70 und72 . Es ist lediglich eine Lichtquelle dargestellt und mit76 bezeichnet, obwohl über jeder Kamera eine Lichtquelle angeordnet ist. Jedes Display ist in zwei Fenster unterteilt, wobei jedes Fenster das Bild von zwei entfernten Teilnehmern darstellt. Auf eine Weise, die der oben geschilderten entspricht, werden die Videosignale von jeder Kamera digitalisiert, verarbeitet und zu einer Verarbeitungseinrichtung, beispielsweise in der Verarbeitungseinrichtung74 , übertragen. - Zu dem in
6 dargestellten Videotelekonferenz-Zeitpunkt spricht A gerade mit B. In einer tatsächlichen Konferenz würde A B ansehen und B und C würden A ansehen. Wird die zusätzliche erfindungsgemäße Bildverarbeitung nicht durchgeführt, würde jeder Teilnehmer nach vorn auf sein Display sehen. Allerdings bewahren die jeweiligen Bilder, die den anderen Teilnehmern dargeboten werden, nicht die entsprechenden Kopfausrichtungen. Um die in6 dargestellten, richtigen Ausrichtungen zu erhalten, müssen unterschiedlich viele Bildanalyse- und Verarbeitungsschritte durchgeführt werden, wie dies nunmehr beschrieben wird. - Während A sich das Fenster von B auf dem Display
62 ansieht, sollte A die Bilder von B und C unmittelbar vor sich sehen (d. h. gegenüber A). Da B und C bereits in ihre eigenen Kameras sehen, ist lediglich eine Parallaxen-Fehlerkorrektur ihrer Augenpositionen erforderlich. Eine derartige Fehlerkorrektur kann dadurch durchgeführt werden, daß irgendeine der oben in Verbindung mit3A und3B beschriebenen Techniken benutzt wird. Auf dem Display64 sollte B das Bild von A sehen, der nach vorne schaut, sowie das Bild von C sehen, der das Bild von A sieht. Obwohl lediglich eine Parallaxen-Fehlerkorrektur des Bildes von A für das Display64 erforderlich ist, muß das Bild von C zusätzlich eine Neuorientierung erfahren, um die in6 dargestellte Position zu erreichen. Auf ähnliche Weise sollte C auf dem Display66 A und B sehen, die sich gegenseitig ansehen. Daher müssen die Bilder von A und B wenigstens eine Kopf-Neuorientierung erfahren, um die in6 dargestellten Positionen zu erreichen. - Ein Verfahren zur Durchführung der Kopf-Neuorientierung und der Parallaxenkorrektur gemäß einem erfindungsgemäßen Ausführungsbeispiel ist in dem Flußdiagramm nach
7 erläutert. Einen digitalisierten Videorahmen eines Konferenzteilnehmers, wie z.B. des Teilnehmers C, empfängt die Verarbeitungseinrichtung74 (Schritt80 ), und es wird eine Bildmerkmalsextraktion durchgeführt, um die Augen in dem Bild zu lokalisieren (Schritt82 ). Während des Schritts84 wird eine Blickdetektion mit dem Bild durchgeführt, um die Richtung zu erkennen, in die die Person mit Bezug auf die Kamera sieht. Wenn der Teilnehmer C beispielsweise den Teilnehmer A ansieht, befindet sich die Spiegelung der Lichtquelle76 im Bild des Auges des Teilnehmers C, das von der Kamera72 gewonnen wird, oberhalb und rechts des Zentrums der Pupille. - Wie oben erläutert worden ist, kann der Parallaxenwinkel θ aus dieser Information, die die feste Position der Kamera
72 und des Displays66 angibt (Schritt86 ), berechnet werden. Es sei allerdings deutlich betont, daß die Position der Spiegelung mit Bezug auf das Pupillenzentrum benutzt werden kann, um zu erkennen, welches Bild von dem betrachtenden Teilnehmer beobachtet wird (Schritt88 ). In dem vorliegenden Beispiel suggeriert der Ort der Spiegelung rechts von dem Pupillenzentrum in dem empfangenen Bild des Teilnehmers C, daß C nach links schaut und daher den Teilnehmer A ansieht. - Ist erst einmal bekannt, welches Displayfenster von jedem Konferenzteilnehmer angesehen wird, wird die Bildverarbeitung durchgeführt, um die jeweiligen korrigierten Bildrahmen zu erzeugen, die für jedes Zieldisplay geeignet sind. Wenn lediglich eine Parallaxenkorrektur erforderlich ist, wie dies in Schritt
88 festgelegt ist, wird ein erster Rahmen zur Übertragung zu dem oder den entsprechenden Displays erzeugt (Schritt90 ). Bei dem in6 dargestellten Beispiel wird ein Rahmen, der das Parallaxen-korrigierte, nach vorne schauende Bild des C darstellt, auf dem Display62 angezeigt. Da eine Neuausrichtung des Kopfes von C erforderlich ist, um dem Teilnehmer B das Gefühl eines Dabeiseins zu vermitteln, müssen allerdings mehrere zusätzliche Verarbeitungsschritte nunmehr ausgeführt werden. - Das Gesichtsbild jedes Rahmens wird texturiert auf ein dreidimensionales (3-D) Kopfmodell abgebildet (Schritt
92 ). Für diesen Zweck kann beispielsweise ein relativ einfaches ellipsoidisches Kopfmodell verwendet werden. Natürlich wird ein Durchschnittsfachmann ohne weiteres erkennen, daß weitere leistungsstarke 3-D-Modelle ebenfalls benutzt werden können, und zwar in Abhängigkeit von Beschränkungen der Verarbeitungsleistung und in der Ausführungsgeschwindigkeit, denen die besondere Anwendung unterliegt. Beispielsweise kann ein Drahtgittermodell benutzt werden, das in dem Aufsatz von K. Aizawa, H. Harashima und T. Saito mit dem Titel "Model-based Analysis Synthesis Image Coding System for a Person's Face", Signal Processing Image Communication, Band 1, Nr. 2, Oktober 1989, Seiten 139–152, veröffentlicht worden ist. In jedem Fall wird das resultierende, dreidimensional strukturierte Modell in eine entsprechende Richtung um einen vorbestimmten Winkel α (Schritt94 ) rotiert und die Textur des ellipsoidischen Modells wird auf die zweidimensionale Betrachtungsebene rückprojiziert, um das überarbeitete Bild zu erzeugen (Schritt96 ). Das so erzeugte Bild wird anschließend zu dem oder den jeweiligen Zieldisplays übertragen, wie dies in Schritt98 gezeigt ist. Bei dem in6 dargestellten Beispiel wurde das auf dem Display64 dargestellte Bild von C um 90° nach rechts gedreht, damit es in die Richtung des dargestellten Bildes des Teilnehmers A blickt. Die Augäpfel des Bildes C können auf ähnliche Weise unabhängig nachgebildet werden oder in Verbindung mit der oben diskutierten reinen Parallaxen-Korrekturtechnik synthetisiert werden. - Zusammen mit einer Videocodierung können eine Parallaxenkorrektur und/oder Kopfausrichtung an den jeweiligen Konferenzorten als Vorverarbeitung oder Nachverarbeitung durchgeführt werden. In beiden Fällen wird eine Bildanalyse vorteilhafterweise vor der Codierung der ursprünglichen Bildsignale durchgeführt, so daß keine kritische Bildinformation vor der Analyse verlorengeht. Eine Synthese von Bildern, die erfindungsgemäß korrigiert werden, kann allerdings zu jeder Zeit durchgeführt werden. Im Falle einer Vorverarbeitung wird das Bild digitalisiert, analysiert, synthetisiert/verarbeitet, codiert und übertragen. Da unterschiedlich verarbeitete Bilder zu verschiedenen Teilnehmern übermittelt werden müssen, ist ein großer Betrag an Übertragungsbandbreite erforderlich. Im Fall der Nachverarbeitung müssen der Parallaxenwinkel und die Kopfausrichtungsinformation jedes Teilnehmers, die aus der Bildanalyse gewonnen werden, zusammen mit den codierten Videosignalen übermittelt werden. Eine Synthese kann anschließend im Empfänger oder an irgendeinem zentralisierten Ort durchgeführt.
Claims (6)
- Verfahren zum Abhalten einer Videokonferenz zwischen mehreren, entfernt gelegenen Konferenzräumen, in denen sich jeweils wenigstens ein Konferenzteilnehmer, eine Videokamera und ein Bildempfänger befinden, wobei der Bildempfänger, die Videokamera und die ihnen zugeordneten Augen jedes Konferenzteilnehmers einen Parallaxenwinkel für jeden Konferenzteilnehmer bilden, umfassend die folgenden Schritte: Erzeugen eines Videosignals, das eine Folge von Eingangsbildrahmen eines ersten Konferenzteilnehmers (A) darstellt mit einer ersten Videokamera (
32 ), Analysieren der Eingangsbildrahmen des Konferenzteilnehmers in Echtzeit zur Bestimmung eines Parallaxenwinkels in jedem Rahmen, Erzeugen einer entsprechenden Folge von Parallaxen-kompensierten Bildrahmen, und Übertragen eines Signals, das die Folge von Parallaxen-kompensierten Bildrahmen darstellt, zu einem Bildempfänger (22 ), der von einem zweiten Konferenzteilnehmer (B) betrachtet wird, wodurch ein Augenkontakt zwischen dem zweiten Konferenzteilnehmer und einem angezeigten Bild des ersten Konferenzteilnehmers hergestellt wird, wobei das Analysieren folgende Schritte umfaßt: Lokalisieren einer Spiegelung einer ortsfesten Lichtquelle in einer Pupille des ersten Konferenzteilnehmers in einem Bild des ersten Konferenzteilnehmers und Messen einer Position der Spiegelung bezüglich des Zentrums der Pupille. - Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Erzeugen folgenden Schritt umfaßt: es wird wenigstens ein Teil jedes Parallaxen-kompensierten Bildrahmens aus einem Eingangsbildrahmen des Konferenzteilnehmers synthetisiert.
- Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß während des Messens eine Blickrichtung des ersten Konferenzteilnehmers erhalten wird, und daß das Erzeugen den weiteren Schritt aufweist: jeder Eingangsbildrahmen des Konferenzteilnehmers wird texturiert auf ein dreidimensionales ellipsoidisches Gesichtsmodell abgebildet, und das Gesichtsmodell wird neu ausgerichtet, um eine Gesichtausrichtung zu erreichen, die gemäß der Blickrichtung ausgewählt wird.
- Videokonferenzsystem, das mehrere entfernt gelegene Konferenzräume verbindet, wobei sich in jedem Raum wenigstens ein Konferenzteilnehmer von mehreren Konferenzteilnehmern aufhält, umfassend wenigstens ein Videotelefon in jedem Raum (
26 ,28 ), das eine Videokamera (32 ) zum Erzeugen von Videosignalen, die eine Folge von Eingangs-Bildrahmen eines ersten Konferenzteilnehmers (A) darstellen, und einen Bildempfänger (24 ) zum Darstellen von Bildrahmen wenigstens eines zweiten Konferenzteilnehmers (B) aufweist, wobei der Bildempfänger, die Videokamera und die Augen des ersten Konferenzteilnehmers einen Parallaxenwinkel bilden, eine ortsfeste Lichtquelle (36 ) in jedem Raum, die eine Spiegelung in den Augen des Konferenzteilnehmers in jedem Raum erzeugt, eine Rahmen-Erzeugungseinrichtung (34 ), die unter Ansprechen auf die Videosignale Eingangs-Bildrahmen des ersten Konferenzteilnehmers analysiert, eine Blickrichtung des ersten Konferenzteilnehmers aus einer Position der Spiegelung bezüglich des Zentrums der Pupille detektiert und eine entsprechende Folge von Parallaxen-kompensierten Bildrahmen des ersten Konferenzteilnehmers erzeugt, und eine Einrichtung zum Übermitteln eines Signals, das die Folge der Parallaxen-kompensierten Rahmen darstellt, zu wenigstens einem entfernten Bildempfänger (22 ), wodurch ein Augenkontakt zwischen wenigstens dem zweiten Konferenzteilnehmer und einem dargestellten Bild des ersten Konferenzteilnehmers herstellbar ist. - System nach Anspruch 4, dadurch gekennzeichnet, daß die Rahmen-Erzeugungseinrichtung (
34 ) zum Erzeugen eines zweiten Bildrahmens zur Übertragung zu wenigstens einem dritten Konferenzteilnehmer ausgebildet ist und auf eine detektierte Blickrichtung anspricht, um jeden Eingangs-Bildrahmen des Konferenzteilnehmers texturiert auf ein dreidimensionales ellipsoidisches Gesichtsmodell abzubilden und das Gesichtsmodell neu auszurichten, um eine Gesichtsorientierung zu erreichen, die gemäß der detektierten Blickrichtung ausgewählt ist. - System nach Anspruch 5, dadurch gekennzeichnet, daß die Sendeeinrichtung (
34 ) eine erste Folge von Parallaxen-kompensierten Bildrahmen, die den ersten Konferenzteilnehmer darstellen, zu einem Bildempfänger, der in der Nähe eines zweiten Konferenzteilnehmers positioniert ist, und eine zweite Folge von Blickrichtungs- kompensierten Bildrahmen, die den ersten Konferenzteilnehmer darstellen, zu einem Bildempfänger übermitteln kann, der in der Nähe eines dritten Konferenzteilnehmers positioniert ist, wodurch ein Anwesenheitsgefühl zwischen dem ersten, dem zweiten und dem dritten Konferenzteilnehmer wahrnehmbar ist.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/328,640 US5500671A (en) | 1994-10-25 | 1994-10-25 | Video conference system and method of providing parallax correction and a sense of presence |
US08/328,640 | 1994-10-25 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE19539048A1 DE19539048A1 (de) | 1996-05-02 |
DE19539048B4 true DE19539048B4 (de) | 2006-04-06 |
Family
ID=23281793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE19539048A Expired - Fee Related DE19539048B4 (de) | 1994-10-25 | 1995-10-20 | Video-Konferenzsystem und Verfahren zum Bereitstellen einer Parallaxenkorrektur und zum Erzeugen eines Anwesenheitsgefühls |
Country Status (6)
Country | Link |
---|---|
US (1) | US5500671A (de) |
JP (1) | JPH08237629A (de) |
CA (1) | CA2157613C (de) |
DE (1) | DE19539048B4 (de) |
GB (1) | GB2294605B (de) |
TW (1) | TW297985B (de) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2317764A1 (de) | 2009-11-03 | 2011-05-04 | Deutsche Telekom AG | Verfahren und System zur Darbietung von Bilddaten |
Families Citing this family (228)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10361802B1 (en) | 1999-02-01 | 2019-07-23 | Blanding Hovenweep, Llc | Adaptive pattern recognition based control system and method |
US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
JPH07222202A (ja) * | 1994-02-02 | 1995-08-18 | Rohm Co Ltd | 立体ビジョンカメラ |
USRE38884E1 (en) * | 1995-02-16 | 2005-11-22 | Sumitomo Electric Industries, Ltd. | Two-way interactive system, terminal equipment and image pickup apparatus having mechanism for matching lines of sight between interlocutors through transmission means |
US5815197A (en) * | 1995-02-16 | 1998-09-29 | Sumitomo Electric Industries, Ltd. | Two-way interactive system, terminal equipment and image pickup apparatus having mechanism for matching lines of sight between interlocutors through transmission means |
JPH08256318A (ja) * | 1995-03-17 | 1996-10-01 | Fujitsu Ltd | テレビ会議システムのカメラ制御装置 |
KR100414629B1 (ko) * | 1995-03-29 | 2004-05-03 | 산요덴키가부시키가이샤 | 3차원표시화상생성방법,깊이정보를이용한화상처리방법,깊이정보생성방법 |
US6020892A (en) * | 1995-04-17 | 2000-02-01 | Dillon; Kelly | Process for producing and controlling animated facial representations |
JP3316725B2 (ja) * | 1995-07-06 | 2002-08-19 | 三菱電機株式会社 | 顔画像撮像装置 |
US5559875A (en) * | 1995-07-31 | 1996-09-24 | Latitude Communications | Method and apparatus for recording and retrieval of audio conferences |
US5675376A (en) * | 1995-12-21 | 1997-10-07 | Lucent Technologies Inc. | Method for achieving eye-to-eye contact in a video-conferencing system |
US5917940A (en) * | 1996-01-23 | 1999-06-29 | Nec Corporation | Three dimensional reference image segmenting method and device and object discrimination system |
US6037970A (en) * | 1996-04-05 | 2000-03-14 | Sony Corporation | Videoconference system and method therefor |
US5856842A (en) * | 1996-08-26 | 1999-01-05 | Kaiser Optical Systems Corporation | Apparatus facilitating eye-contact video communications |
US6275258B1 (en) | 1996-12-17 | 2001-08-14 | Nicholas Chim | Voice responsive image tracking system |
US6259470B1 (en) * | 1997-12-18 | 2001-07-10 | Intel Corporation | Image capture system having virtual camera |
US6593956B1 (en) | 1998-05-15 | 2003-07-15 | Polycom, Inc. | Locating an audio source |
JP4465880B2 (ja) * | 1998-10-09 | 2010-05-26 | ソニー株式会社 | 通信装置及び方法 |
US6393136B1 (en) * | 1999-01-04 | 2002-05-21 | International Business Machines Corporation | Method and apparatus for determining eye contact |
US7904187B2 (en) | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
US7117157B1 (en) * | 1999-03-26 | 2006-10-03 | Canon Kabushiki Kaisha | Processing apparatus for determining which person in a group is speaking |
GB9908545D0 (en) | 1999-04-14 | 1999-06-09 | Canon Kk | Image processing apparatus |
KR100307854B1 (ko) * | 1999-11-10 | 2001-11-02 | 전병우 | 단일카메라를 이용한 시선 맞춤 보정 방법 및 그 장치 |
US6806898B1 (en) * | 2000-03-20 | 2004-10-19 | Microsoft Corp. | System and method for automatically adjusting gaze and head orientation for video conferencing |
EP1202209B1 (de) * | 2000-04-21 | 2012-03-21 | Shiseido Company Limited | Schminkratgeber. |
EP1201082B1 (de) * | 2000-04-28 | 2003-09-03 | Swisscom Mobile AG | Verfahren und system für videokonferenzen |
US20020015003A1 (en) * | 2000-08-07 | 2002-02-07 | Masami Kato | Virtual space system structured by plural user terminals and server device |
JP3784289B2 (ja) * | 2000-09-12 | 2006-06-07 | 松下電器産業株式会社 | メディア編集方法及びその装置 |
US6718051B1 (en) | 2000-10-16 | 2004-04-06 | Xerox Corporation | Red-eye detection method |
US6724417B1 (en) | 2000-11-29 | 2004-04-20 | Applied Minds, Inc. | Method and apparatus maintaining eye contact in video delivery systems using view morphing |
US6785402B2 (en) * | 2001-02-15 | 2004-08-31 | Hewlett-Packard Development Company, L.P. | Head tracking and color video acquisition via near infrared luminance keying |
US7502770B2 (en) * | 2001-04-11 | 2009-03-10 | Metaweb Technologies, Inc. | Knowledge web |
US6714234B1 (en) | 2001-04-11 | 2004-03-30 | Applied Minds, Inc. | Maintaining eye-contact in teleconferencing using structured light |
US7190825B2 (en) * | 2001-08-17 | 2007-03-13 | Geo-Rae Co., Ltd. | Portable communication device for stereoscopic image display and transmission |
US6798457B2 (en) | 2001-09-26 | 2004-09-28 | Digeo, Inc. | Camera positioning system and method for eye-to-eye communication |
US6943843B2 (en) * | 2001-09-27 | 2005-09-13 | Digeo, Inc. | Camera positioning system and method for eye-to eye communication |
US20030169339A1 (en) * | 2001-10-01 | 2003-09-11 | Digeo. Inc. | System and method for tracking an object during video communication |
US6598971B2 (en) * | 2001-11-08 | 2003-07-29 | Lc Technologies, Inc. | Method and system for accommodating pupil non-concentricity in eyetracker systems |
US20040207718A1 (en) * | 2001-11-14 | 2004-10-21 | Boyden James H. | Camera positioning system and method for eye -to-eye communication |
US7130446B2 (en) * | 2001-12-03 | 2006-10-31 | Microsoft Corporation | Automatic detection and tracking of multiple individuals using multiple cues |
US20030112325A1 (en) * | 2001-12-13 | 2003-06-19 | Digeo, Inc. | Camera positioning system and method for eye-to-eye communication |
US7126627B1 (en) | 2002-03-06 | 2006-10-24 | Lewis Thomas B | Video conferencing device and method |
US7904826B2 (en) * | 2002-03-29 | 2011-03-08 | Microsoft Corporation | Peek around user interface |
US8069175B2 (en) * | 2002-04-10 | 2011-11-29 | Google Inc. | Delegating authority to evaluate content |
US7844610B2 (en) | 2003-12-12 | 2010-11-30 | Google Inc. | Delegated authority evaluation system |
US20030195834A1 (en) * | 2002-04-10 | 2003-10-16 | Hillis W. Daniel | Automated online purchasing system |
EP1365359A1 (de) * | 2002-05-24 | 2003-11-26 | BRITISH TELECOMMUNICATIONS public limited company | Bildverarbeitungsverfahren und -system |
US8012025B2 (en) * | 2002-12-13 | 2011-09-06 | Applied Minds, Llc | Video game controller hub with control input reduction and combination schemes |
AU2003297193A1 (en) | 2002-12-13 | 2004-07-09 | Applied Minds, Inc. | Meta-web |
US7106358B2 (en) * | 2002-12-30 | 2006-09-12 | Motorola, Inc. | Method, system and apparatus for telepresence communications |
US7593546B2 (en) * | 2003-03-11 | 2009-09-22 | Hewlett-Packard Development Company, L.P. | Telepresence system with simultaneous automatic preservation of user height, perspective, and vertical gaze |
US8299979B2 (en) * | 2003-05-14 | 2012-10-30 | Broadcom Corporation | Integral eye-path alignment on telephony and computer video devices using two or more image sensing devices |
US8363951B2 (en) * | 2007-03-05 | 2013-01-29 | DigitalOptics Corporation Europe Limited | Face recognition training method and apparatus |
US8553949B2 (en) * | 2004-01-22 | 2013-10-08 | DigitalOptics Corporation Europe Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
GB0321083D0 (en) * | 2003-09-09 | 2003-10-08 | British Telecomm | Video communications method and system |
US7336296B2 (en) * | 2003-10-10 | 2008-02-26 | International Business Machines Corporation | System and method for providing position-independent pose estimation |
US20050131918A1 (en) * | 2003-12-12 | 2005-06-16 | W. Daniel Hillis | Personalized profile for evaluating content |
US8824730B2 (en) * | 2004-01-09 | 2014-09-02 | Hewlett-Packard Development Company, L.P. | System and method for control of video bandwidth based on pose of a person |
US7564994B1 (en) * | 2004-01-22 | 2009-07-21 | Fotonation Vision Limited | Classification system for consumer digital images using automatic workflow and face detection and recognition |
US7865834B1 (en) * | 2004-06-25 | 2011-01-04 | Apple Inc. | Multi-way video conferencing user interface |
EP1613082A1 (de) * | 2004-06-30 | 2006-01-04 | Sony Ericsson Mobile Communications AB | Gesichtsbildkorrektur |
US7715597B2 (en) * | 2004-12-29 | 2010-05-11 | Fotonation Ireland Limited | Method and component for image recognition |
US8503800B2 (en) | 2007-03-05 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Illumination detection using classifier chains |
US7605837B2 (en) * | 2005-06-02 | 2009-10-20 | Lao Chan Yuen | Display system and method |
CN101496387B (zh) | 2006-03-06 | 2012-09-05 | 思科技术公司 | 用于移动无线网络中的接入认证的系统和方法 |
GB0718706D0 (en) | 2007-09-25 | 2007-11-07 | Creative Physics Ltd | Method and apparatus for reducing laser speckle |
US20070279483A1 (en) * | 2006-05-31 | 2007-12-06 | Beers Ted W | Blended Space For Aligning Video Streams |
US7591558B2 (en) * | 2006-05-31 | 2009-09-22 | Sony Ericsson Mobile Communications Ab | Display based on eye information |
KR100820639B1 (ko) * | 2006-07-25 | 2008-04-10 | 한국과학기술연구원 | 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법 |
JP4730667B2 (ja) * | 2006-07-25 | 2011-07-20 | 富士フイルム株式会社 | 自動再生方法及び装置 |
EP2050043A2 (de) | 2006-08-02 | 2009-04-22 | Fotonation Vision Limited | Gesichtserkennung mit kombinierten pca-basierten datensätzen |
US8648897B2 (en) * | 2006-10-10 | 2014-02-11 | Exelis, Inc. | System and method for dynamically enhancing depth perception in head borne video systems |
US8130261B2 (en) * | 2006-10-10 | 2012-03-06 | Exelis, Inc. | System and method for dynamically correcting parallax in head borne video systems |
US20080117290A1 (en) * | 2006-10-18 | 2008-05-22 | Mgc Works, Inc. | Apparatus, system and method for generating stereoscopic images and correcting for vertical parallax |
AU2007221976B2 (en) * | 2006-10-19 | 2009-12-24 | Polycom, Inc. | Ultrasonic camera tracking system and associated methods |
FR2910770A1 (fr) * | 2006-12-22 | 2008-06-27 | France Telecom | Dispositif pour permettre une communication par visioconference et procede de communication associe. |
WO2008109622A1 (en) * | 2007-03-05 | 2008-09-12 | Fotonation Vision Limited | Face categorization and annotation of a mobile phone contact list |
US20080278516A1 (en) * | 2007-05-11 | 2008-11-13 | Santon John C | System and method for adjusting perceived eye rotation in image of face |
US8570373B2 (en) | 2007-06-08 | 2013-10-29 | Cisco Technology, Inc. | Tracking an object utilizing location information associated with a wireless device |
GB2450345A (en) * | 2007-06-20 | 2008-12-24 | Iona Simpson | Videoconference terminal providing enhanced user interface |
US8074581B2 (en) | 2007-10-12 | 2011-12-13 | Steelcase Inc. | Conference table assembly |
US20090183276A1 (en) * | 2008-01-10 | 2009-07-16 | Pioneer Hi-Bred International, Inc. | Novel Bacillus Thuringiensis Gene with Coleopteran Activity |
US8355041B2 (en) | 2008-02-14 | 2013-01-15 | Cisco Technology, Inc. | Telepresence system for 360 degree video conferencing |
US8797377B2 (en) | 2008-02-14 | 2014-08-05 | Cisco Technology, Inc. | Method and system for videoconference configuration |
US8289367B2 (en) * | 2008-03-17 | 2012-10-16 | Cisco Technology, Inc. | Conferencing and stage display of distributed conference participants |
US8319819B2 (en) | 2008-03-26 | 2012-11-27 | Cisco Technology, Inc. | Virtual round-table videoconference |
US8390667B2 (en) | 2008-04-15 | 2013-03-05 | Cisco Technology, Inc. | Pop-up PIP for people not in picture |
NO331839B1 (no) * | 2008-05-30 | 2012-04-16 | Cisco Systems Int Sarl | Fremgangsmate for a fremvise et bilde pa et display |
US20100054526A1 (en) * | 2008-09-03 | 2010-03-04 | Dean Eckles | Method, apparatus and computer program product for providing gaze information |
US8694658B2 (en) | 2008-09-19 | 2014-04-08 | Cisco Technology, Inc. | System and method for enabling communication sessions in a network environment |
US8593503B2 (en) * | 2008-09-25 | 2013-11-26 | Alcatel Lucent | Videoconferencing terminal and method of operation thereof to maintain eye contact |
US10631632B2 (en) | 2008-10-13 | 2020-04-28 | Steelcase Inc. | Egalitarian control apparatus and method for sharing information in a collaborative workspace |
US20140361954A1 (en) | 2013-06-07 | 2014-12-11 | Lewis Epstein | Personal control apparatus and method for sharing information in a collaboration workspace |
US8266536B2 (en) * | 2008-11-20 | 2012-09-11 | Palo Alto Research Center Incorporated | Physical-virtual environment interface |
US8405706B2 (en) * | 2008-12-17 | 2013-03-26 | Microsoft Corporation | Visual feedback for natural head positioning |
JP5208810B2 (ja) | 2009-02-27 | 2013-06-12 | 株式会社東芝 | 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム |
US8477175B2 (en) | 2009-03-09 | 2013-07-02 | Cisco Technology, Inc. | System and method for providing three dimensional imaging in a network environment |
US8659637B2 (en) | 2009-03-09 | 2014-02-25 | Cisco Technology, Inc. | System and method for providing three dimensional video conferencing in a network environment |
US11726332B2 (en) | 2009-04-27 | 2023-08-15 | Digilens Inc. | Diffractive projection apparatus |
US9335604B2 (en) | 2013-12-11 | 2016-05-10 | Milan Momcilo Popovich | Holographic waveguide display |
WO2010136593A2 (en) * | 2009-05-29 | 2010-12-02 | Tessera Technologies Ireland Limited | Methods and apparatuses for foreground, top-of-the-head separation from background |
US10884607B1 (en) | 2009-05-29 | 2021-01-05 | Steelcase Inc. | Personal control apparatus and method for sharing information in a collaborative workspace |
US8659639B2 (en) | 2009-05-29 | 2014-02-25 | Cisco Technology, Inc. | System and method for extending communications between participants in a conferencing environment |
CZ305294B6 (cs) * | 2009-06-03 | 2015-07-22 | Masarykova Univerzita | Videokonferenční prostředí pro komunikaci vzdálených skupin a způsob komunikace vzdálených skupin v systému videokonferenčního prostředí |
US9082297B2 (en) | 2009-08-11 | 2015-07-14 | Cisco Technology, Inc. | System and method for verifying parameters in an audiovisual environment |
US11320571B2 (en) | 2012-11-16 | 2022-05-03 | Rockwell Collins, Inc. | Transparent waveguide display providing upper and lower fields of view with uniform light extraction |
US9341846B2 (en) | 2012-04-25 | 2016-05-17 | Rockwell Collins Inc. | Holographic wide angle display |
US10795160B1 (en) | 2014-09-25 | 2020-10-06 | Rockwell Collins, Inc. | Systems for and methods of using fold gratings for dual axis expansion |
US11300795B1 (en) | 2009-09-30 | 2022-04-12 | Digilens Inc. | Systems for and methods of using fold gratings coordinated with output couplers for dual axis expansion |
US8233204B1 (en) | 2009-09-30 | 2012-07-31 | Rockwell Collins, Inc. | Optical displays |
US8520051B2 (en) * | 2009-12-17 | 2013-08-27 | Alcatel Lucent | Videoconferencing terminal with a persistence of vision display and a method of operation thereof to maintain eye contact |
CN106124510B (zh) * | 2010-01-26 | 2019-10-18 | 戴比尔斯英国有限公司 | 宝石闪耀分析 |
US8659826B1 (en) | 2010-02-04 | 2014-02-25 | Rockwell Collins, Inc. | Worn display system and method without requiring real time tracking for boresight precision |
US9225916B2 (en) | 2010-03-18 | 2015-12-29 | Cisco Technology, Inc. | System and method for enhancing video images in a conferencing environment |
USD626102S1 (en) | 2010-03-21 | 2010-10-26 | Cisco Tech Inc | Video unit with integrated features |
USD626103S1 (en) | 2010-03-21 | 2010-10-26 | Cisco Technology, Inc. | Video unit with integrated features |
USD628968S1 (en) | 2010-03-21 | 2010-12-14 | Cisco Technology, Inc. | Free-standing video unit |
USD628175S1 (en) | 2010-03-21 | 2010-11-30 | Cisco Technology, Inc. | Mounted video unit |
US9955209B2 (en) | 2010-04-14 | 2018-04-24 | Alcatel-Lucent Usa Inc. | Immersive viewer, a method of providing scenes on a display and an immersive viewing system |
US20110270663A1 (en) * | 2010-04-30 | 2011-11-03 | American Teleconferncing Services Ltd. | Location-Aware Conferencing With Participant Rewards |
US9294716B2 (en) | 2010-04-30 | 2016-03-22 | Alcatel Lucent | Method and system for controlling an imaging system |
US9313452B2 (en) | 2010-05-17 | 2016-04-12 | Cisco Technology, Inc. | System and method for providing retracting optics in a video conferencing environment |
US8971628B2 (en) | 2010-07-26 | 2015-03-03 | Fotonation Limited | Face detection using division-generated haar-like features for illumination invariance |
US8421844B2 (en) | 2010-08-13 | 2013-04-16 | Alcatel Lucent | Apparatus for correcting gaze, a method of videoconferencing and a system therefor |
US8896655B2 (en) | 2010-08-31 | 2014-11-25 | Cisco Technology, Inc. | System and method for providing depth adaptive video conferencing |
US8599934B2 (en) | 2010-09-08 | 2013-12-03 | Cisco Technology, Inc. | System and method for skip coding during video conferencing in a network environment |
US8754925B2 (en) | 2010-09-30 | 2014-06-17 | Alcatel Lucent | Audio source locator and tracker, a method of directing a camera to view an audio source and a video conferencing terminal |
US8599865B2 (en) | 2010-10-26 | 2013-12-03 | Cisco Technology, Inc. | System and method for provisioning flows in a mobile network environment |
CN101986346B (zh) * | 2010-11-01 | 2012-08-08 | 华为终端有限公司 | 人脸图像处理方法及装置 |
US8699457B2 (en) | 2010-11-03 | 2014-04-15 | Cisco Technology, Inc. | System and method for managing flows in a mobile network environment |
US9143725B2 (en) | 2010-11-15 | 2015-09-22 | Cisco Technology, Inc. | System and method for providing enhanced graphics in a video environment |
US9338394B2 (en) | 2010-11-15 | 2016-05-10 | Cisco Technology, Inc. | System and method for providing enhanced audio in a video environment |
US8730297B2 (en) | 2010-11-15 | 2014-05-20 | Cisco Technology, Inc. | System and method for providing camera functions in a video environment |
US8902244B2 (en) | 2010-11-15 | 2014-12-02 | Cisco Technology, Inc. | System and method for providing enhanced graphics in a video environment |
US8542264B2 (en) | 2010-11-18 | 2013-09-24 | Cisco Technology, Inc. | System and method for managing optics in a video environment |
US8723914B2 (en) | 2010-11-19 | 2014-05-13 | Cisco Technology, Inc. | System and method for providing enhanced video processing in a network environment |
US9111138B2 (en) | 2010-11-30 | 2015-08-18 | Cisco Technology, Inc. | System and method for gesture interface control |
USD682293S1 (en) | 2010-12-16 | 2013-05-14 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD682294S1 (en) | 2010-12-16 | 2013-05-14 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD678308S1 (en) | 2010-12-16 | 2013-03-19 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD682864S1 (en) | 2010-12-16 | 2013-05-21 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD682854S1 (en) | 2010-12-16 | 2013-05-21 | Cisco Technology, Inc. | Display screen for graphical user interface |
USD678320S1 (en) | 2010-12-16 | 2013-03-19 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD678894S1 (en) | 2010-12-16 | 2013-03-26 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD678307S1 (en) | 2010-12-16 | 2013-03-19 | Cisco Technology, Inc. | Display screen with graphical user interface |
US8692862B2 (en) | 2011-02-28 | 2014-04-08 | Cisco Technology, Inc. | System and method for selection of video data in a video conference environment |
WO2012136970A1 (en) | 2011-04-07 | 2012-10-11 | Milan Momcilo Popovich | Laser despeckler based on angular diversity |
US8670019B2 (en) | 2011-04-28 | 2014-03-11 | Cisco Technology, Inc. | System and method for providing enhanced eye gaze in a video conferencing environment |
US8786631B1 (en) | 2011-04-30 | 2014-07-22 | Cisco Technology, Inc. | System and method for transferring transparency information in a video environment |
US8934026B2 (en) | 2011-05-12 | 2015-01-13 | Cisco Technology, Inc. | System and method for video coding in a dynamic environment |
WO2016020630A2 (en) | 2014-08-08 | 2016-02-11 | Milan Momcilo Popovich | Waveguide laser illuminator incorporating a despeckler |
US20140204455A1 (en) | 2011-08-24 | 2014-07-24 | Milan Momcilo Popovich | Wearable data display |
US10670876B2 (en) | 2011-08-24 | 2020-06-02 | Digilens Inc. | Waveguide laser illuminator incorporating a despeckler |
US9538133B2 (en) * | 2011-09-23 | 2017-01-03 | Jie Diao | Conveying gaze information in virtual conference |
US9715067B1 (en) | 2011-09-30 | 2017-07-25 | Rockwell Collins, Inc. | Ultra-compact HUD utilizing waveguide pupil expander with surface relief gratings in high refractive index materials |
US9599813B1 (en) | 2011-09-30 | 2017-03-21 | Rockwell Collins, Inc. | Waveguide combiner system and method with less susceptibility to glare |
US8634139B1 (en) | 2011-09-30 | 2014-01-21 | Rockwell Collins, Inc. | System for and method of catadioptric collimation in a compact head up display (HUD) |
US9366864B1 (en) | 2011-09-30 | 2016-06-14 | Rockwell Collins, Inc. | System for and method of displaying information without need for a combiner alignment detector |
US8947493B2 (en) | 2011-11-16 | 2015-02-03 | Cisco Technology, Inc. | System and method for alerting a participant in a video conference |
US9008487B2 (en) | 2011-12-06 | 2015-04-14 | Alcatel Lucent | Spatial bookmarking |
US8682087B2 (en) | 2011-12-19 | 2014-03-25 | Cisco Technology, Inc. | System and method for depth-guided image filtering in a video conference environment |
EP2610855A1 (de) * | 2011-12-28 | 2013-07-03 | Samsung Electronics Co., Ltd | Anzeigevorrichtung |
WO2013102759A2 (en) | 2012-01-06 | 2013-07-11 | Milan Momcilo Popovich | Contact image sensor using switchable bragg gratings |
EP3429195A1 (de) * | 2012-02-27 | 2019-01-16 | Perceptiko AG | Verfahren und system zur bildverarbeitung in videokonferenzen für blickkorrektur |
US9523852B1 (en) | 2012-03-28 | 2016-12-20 | Rockwell Collins, Inc. | Micro collimator system and method for a head up display (HUD) |
US9369667B2 (en) * | 2012-04-11 | 2016-06-14 | Jie Diao | Conveying gaze information in virtual conference |
JP2013235562A (ja) * | 2012-05-04 | 2013-11-21 | Commonwealth Scientific & Industrial Research Organization | ビデオにおける眼位のためのシステムおよび方法 |
US8902281B2 (en) | 2012-06-29 | 2014-12-02 | Alcatel Lucent | System and method for image stabilization in videoconferencing |
US20140098296A1 (en) * | 2012-10-04 | 2014-04-10 | Ati Technologies Ulc | Method and apparatus for changing a perspective of a video |
US9933684B2 (en) | 2012-11-16 | 2018-04-03 | Rockwell Collins, Inc. | Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration |
US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
US9681154B2 (en) | 2012-12-06 | 2017-06-13 | Patent Capital Group | System and method for depth-guided filtering in a video conference environment |
KR20140090538A (ko) | 2013-01-09 | 2014-07-17 | 삼성전자주식회사 | 디스플레이 장치 및 제어 방법 |
US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
US9674413B1 (en) | 2013-04-17 | 2017-06-06 | Rockwell Collins, Inc. | Vision system and method having improved performance and solar mitigation |
WO2014178047A1 (en) * | 2013-04-30 | 2014-11-06 | Inuitive Ltd. | System and method for video conferencing |
JP6229314B2 (ja) * | 2013-05-30 | 2017-11-15 | ソニー株式会社 | 情報処理装置、表示制御方法及びプログラム |
US9727772B2 (en) | 2013-07-31 | 2017-08-08 | Digilens, Inc. | Method and apparatus for contact image sensing |
US9325936B2 (en) * | 2013-08-09 | 2016-04-26 | Samsung Electronics Co., Ltd. | Hybrid visual communication |
US9244281B1 (en) | 2013-09-26 | 2016-01-26 | Rockwell Collins, Inc. | Display system and method using a detached combiner |
US10732407B1 (en) | 2014-01-10 | 2020-08-04 | Rockwell Collins, Inc. | Near eye head up display system and method with fixed combiner |
US9519089B1 (en) | 2014-01-30 | 2016-12-13 | Rockwell Collins, Inc. | High performance volume phase gratings |
US9244280B1 (en) | 2014-03-25 | 2016-01-26 | Rockwell Collins, Inc. | Near eye display system and method for display enhancement or redundancy |
US9843713B2 (en) * | 2014-04-02 | 2017-12-12 | Nebulys Technologies, Inc. | Systems and methods for video communication |
US10359736B2 (en) | 2014-08-08 | 2019-07-23 | Digilens Inc. | Method for holographic mastering and replication |
US10241330B2 (en) | 2014-09-19 | 2019-03-26 | Digilens, Inc. | Method and apparatus for generating input images for holographic waveguide displays |
TW201615009A (en) * | 2014-09-24 | 2016-04-16 | Thomson Licensing | A background light enhancing apparatus responsive to a local camera output video signal |
WO2016045924A1 (en) * | 2014-09-24 | 2016-03-31 | Thomson Licensing | A background light enhancing apparatus responsive to a remotely generated video signal |
US9715110B1 (en) | 2014-09-25 | 2017-07-25 | Rockwell Collins, Inc. | Automotive head up display (HUD) |
US10088675B1 (en) | 2015-05-18 | 2018-10-02 | Rockwell Collins, Inc. | Turning light pipe for a pupil expansion system and method |
CN107873086B (zh) | 2015-01-12 | 2020-03-20 | 迪吉伦斯公司 | 环境隔离的波导显示器 |
US9541998B2 (en) | 2015-01-29 | 2017-01-10 | Samsung Electronics Co., Ltd. | Electronic system with gaze alignment mechanism and method of operation thereof |
US9632226B2 (en) | 2015-02-12 | 2017-04-25 | Digilens Inc. | Waveguide grating device |
US10126552B2 (en) | 2015-05-18 | 2018-11-13 | Rockwell Collins, Inc. | Micro collimator system and method for a head up display (HUD) |
US10247943B1 (en) | 2015-05-18 | 2019-04-02 | Rockwell Collins, Inc. | Head up display (HUD) using a light pipe |
US11366316B2 (en) | 2015-05-18 | 2022-06-21 | Rockwell Collins, Inc. | Head up display (HUD) using a light pipe |
KR102317021B1 (ko) * | 2015-06-26 | 2021-10-25 | 삼성전자주식회사 | 디스플레이 장치 및 이의 영상 보정 방법 |
US10108010B2 (en) | 2015-06-29 | 2018-10-23 | Rockwell Collins, Inc. | System for and method of integrating head up displays and head down displays |
WO2017060665A1 (en) | 2015-10-05 | 2017-04-13 | Milan Momcilo Popovich | Waveguide display |
US9743040B1 (en) * | 2015-12-03 | 2017-08-22 | Symantec Corporation | Systems and methods for facilitating eye contact during video conferences |
US10598932B1 (en) | 2016-01-06 | 2020-03-24 | Rockwell Collins, Inc. | Head up display for integrating views of conformally mapped symbols and a fixed image source |
WO2017162999A1 (en) | 2016-03-24 | 2017-09-28 | Popovich Milan Momcilo | Method and apparatus for providing a polarization selective holographic waveguide device |
JP6734933B2 (ja) | 2016-04-11 | 2020-08-05 | ディジレンズ インコーポレイテッド | 構造化光投影のためのホログラフィック導波管装置 |
WO2018102834A2 (en) | 2016-12-02 | 2018-06-07 | Digilens, Inc. | Waveguide device with uniform output illumination |
US10264213B1 (en) | 2016-12-15 | 2019-04-16 | Steelcase Inc. | Content amplification system and method |
WO2018129398A1 (en) | 2017-01-05 | 2018-07-12 | Digilens, Inc. | Wearable heads up displays |
US10295824B2 (en) | 2017-01-26 | 2019-05-21 | Rockwell Collins, Inc. | Head up display with an angled light pipe |
US10560661B2 (en) | 2017-03-16 | 2020-02-11 | Dolby Laboratories Licensing Corporation | Detecting and mitigating audio-visual incongruence |
JP7399084B2 (ja) | 2017-10-16 | 2023-12-15 | ディジレンズ インコーポレイテッド | ピクセル化されたディスプレイの画像分解能を倍増させるためのシステムおよび方法 |
US10656706B2 (en) * | 2017-12-04 | 2020-05-19 | International Business Machines Corporation | Modifying a computer-based interaction based on eye gaze |
JP7404243B2 (ja) | 2018-01-08 | 2023-12-25 | ディジレンズ インコーポレイテッド | 導波管セル内のホログラフィック格子の高スループット記録のためのシステムおよび方法 |
WO2019136476A1 (en) | 2018-01-08 | 2019-07-11 | Digilens, Inc. | Waveguide architectures and related methods of manufacturing |
US20190212588A1 (en) | 2018-01-08 | 2019-07-11 | Digilens, Inc. | Systems and Methods for Manufacturing Waveguide Cells |
US11402801B2 (en) | 2018-07-25 | 2022-08-02 | Digilens Inc. | Systems and methods for fabricating a multilayer optical structure |
JPWO2020089971A1 (ja) * | 2018-10-29 | 2021-02-15 | 有限会社 アドリブ | 画像処理装置、方法、コンピュータプログラム |
US11022794B2 (en) * | 2018-12-27 | 2021-06-01 | Facebook Technologies, Llc | Visual indicators of user attention in AR/VR environment |
US11112865B1 (en) * | 2019-02-13 | 2021-09-07 | Facebook Technologies, Llc | Systems and methods for using a display as an illumination source for eye tracking |
EP3924759A4 (de) | 2019-02-15 | 2022-12-28 | Digilens Inc. | Verfahren und vorrichtungen zur herstellung einer holografischen wellenleiteranzeige mit integrierten gittern |
JP2022525165A (ja) | 2019-03-12 | 2022-05-11 | ディジレンズ インコーポレイテッド | ホログラフィック導波管バックライトおよび関連する製造方法 |
US20200386947A1 (en) | 2019-06-07 | 2020-12-10 | Digilens Inc. | Waveguides Incorporating Transmissive and Reflective Gratings and Related Methods of Manufacturing |
EP4004646A4 (de) | 2019-07-29 | 2023-09-06 | Digilens Inc. | Verfahren und vorrichtung zum multiplizieren der bildauflösung und des sichtfeldes einer pixelierten anzeige |
KR20220054386A (ko) | 2019-08-29 | 2022-05-02 | 디지렌즈 인코포레이티드. | 진공 브래그 격자 및 이의 제조 방법 |
BR112022002420A2 (pt) * | 2019-09-10 | 2022-05-03 | Intel Corp | Computadores do tipo laptop com alojamento de acessórios móvel |
JP7420585B2 (ja) * | 2020-02-20 | 2024-01-23 | 日本放送協会 | Ar表示制御装置及びそのプログラム、並びに、ar表示システム |
US11783531B2 (en) * | 2020-12-01 | 2023-10-10 | Matsuko S.R.O. | Method, system, and medium for 3D or 2.5D electronic communication |
US20230177879A1 (en) * | 2021-12-06 | 2023-06-08 | Hewlett-Packard Development Company, L.P. | Videoconference iris position adjustments |
US20240012472A1 (en) * | 2022-07-08 | 2024-01-11 | Tencent America LLC | Vergence based gaze matching for mixed-mode immersive telepresence application |
DE102022121634A1 (de) * | 2022-08-26 | 2024-02-29 | Telefónica Germany GmbH & Co. OHG | System, Verfahren, Computerprogramm und computerlesbares Medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1992014340A1 (de) * | 1991-01-31 | 1992-08-20 | Siemens Aktiengesellschaft | Verfahren zur korrektur der blickrichtung beim bildtelefon |
US5231674A (en) * | 1989-06-09 | 1993-07-27 | Lc Technologies, Inc. | Eye tracking method and apparatus |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2312904A1 (fr) * | 1975-05-27 | 1976-12-24 | Poirier Alain | Perfectionnements aux systemes et aux dispositifs de teleconference par visiophonie |
CA2081041C (en) * | 1992-01-03 | 1996-08-06 | Robert Louis Beecher | Camera field of view indicator |
JPH05300499A (ja) * | 1992-04-17 | 1993-11-12 | Toshiba Corp | テレビ電話装置 |
GB2273411A (en) * | 1992-12-11 | 1994-06-15 | Ibm | Video conferencing terminal |
US5359362A (en) * | 1993-03-30 | 1994-10-25 | Nec Usa, Inc. | Videoconference system using a virtual camera image |
US5400069A (en) * | 1993-06-16 | 1995-03-21 | Bell Communications Research, Inc. | Eye contact video-conferencing system and screen |
US5438357A (en) * | 1993-11-23 | 1995-08-01 | Mcnelley; Steve H. | Image manipulating teleconferencing system |
-
1994
- 1994-10-25 US US08/328,640 patent/US5500671A/en not_active Expired - Lifetime
-
1995
- 1995-09-06 CA CA002157613A patent/CA2157613C/en not_active Expired - Fee Related
- 1995-09-11 TW TW084109459A patent/TW297985B/zh active
- 1995-10-18 GB GB9521385A patent/GB2294605B/en not_active Expired - Fee Related
- 1995-10-20 DE DE19539048A patent/DE19539048B4/de not_active Expired - Fee Related
- 1995-10-25 JP JP7299286A patent/JPH08237629A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5231674A (en) * | 1989-06-09 | 1993-07-27 | Lc Technologies, Inc. | Eye tracking method and apparatus |
WO1992014340A1 (de) * | 1991-01-31 | 1992-08-20 | Siemens Aktiengesellschaft | Verfahren zur korrektur der blickrichtung beim bildtelefon |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2317764A1 (de) | 2009-11-03 | 2011-05-04 | Deutsche Telekom AG | Verfahren und System zur Darbietung von Bilddaten |
Also Published As
Publication number | Publication date |
---|---|
DE19539048A1 (de) | 1996-05-02 |
US5500671A (en) | 1996-03-19 |
GB2294605B (en) | 1997-01-15 |
GB2294605A (en) | 1996-05-01 |
JPH08237629A (ja) | 1996-09-13 |
CA2157613C (en) | 1999-09-21 |
TW297985B (de) | 1997-02-11 |
CA2157613A1 (en) | 1996-04-26 |
GB9521385D0 (en) | 1995-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE19539048B4 (de) | Video-Konferenzsystem und Verfahren zum Bereitstellen einer Parallaxenkorrektur und zum Erzeugen eines Anwesenheitsgefühls | |
DE69820112T2 (de) | Verbessertes bilderfassungssystem mit virtueller kamera | |
DE10084867B4 (de) | Verfahren und Vorrichtung um es einem Videokonferenzteilnehmer zu ermöglichen den zugehörigen Nutzern in der Kamera fokussiert zu erscheinen | |
DE69812591T2 (de) | Autostereoskopische Anzeigevorrichtung | |
DE69632755T2 (de) | Vorrichtung zur Erzeugung von rechnererzeugten stereoskopischen Bildern | |
DE69433556T2 (de) | Bildanzeigevorrichtung | |
EP0722256B1 (de) | Personenadaptiver autostereoskoper Shutter-Bildschirm (PAAS) | |
DE69114790T2 (de) | Direktsicht-Bildwiedergabeapparat. | |
DE69830459T2 (de) | Stereoskopische Bildaufnahmevorrichtung | |
DE3536044C2 (de) | ||
DE602004003355T2 (de) | 3d-videokonferenzen | |
DE202017105484U1 (de) | Dreidimensionales Telepräsenzsystem | |
DE4312918A1 (de) | Wiedergabeeinrichtung | |
AT394459B (de) | Verfahren zum gewinnen von bildern zur verwendung beim darstellen eines dreidimensionalen scheinbildes und bildaufzeichnungstraeger, auf dem erste und zweite gruppen von serien derartiger bilder gespeichert sind | |
DE102004063577A1 (de) | Verfahren und System zur Anzeige von Gesichtsmerkmalen auf nichtplanaren Oberflächen | |
DE69601577T2 (de) | Verfahren und einrichtung zur aufnahme stereoskopischer bilder | |
DE69706003T2 (de) | Elektronisches stereoskopisches system | |
EP4165869A1 (de) | Vorrichtung zur darstellung von bildern sowie verwendung einer solchen vorrichtung | |
DE19537499C2 (de) | Autostereoskopisches Bildwiedergabegerät | |
EP4168881A1 (de) | Videokonferenzverfahren und videokonferenzsystem | |
DE102022121634A1 (de) | System, Verfahren, Computerprogramm und computerlesbares Medium | |
CN112738309A (zh) | 一种具有双前置镜头的电子设备及拍摄方法 | |
EP1978738A2 (de) | Verfahren und Vorrichtung zum Aufnehmen, Übertragen und/oder Wiedergeben von Bilddaten, insbesondere Videokonferenz-Bilddaten | |
EP4008105A1 (de) | Verfahren und vorrichtung für eine adaptive disparitätskontrolle | |
EP1502145A1 (de) | Verfahren und vorrichtung zur konsistenten darstellung von realen und virtuelle objekten |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8110 | Request for examination paragraph 44 | ||
8364 | No opposition during term of opposition | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |