DE19539048A1 - Video-Konferenzsystem und Verfahren zum Bereitstellen einer Parallaxenkorrektur und zum Erzeugen eines Anwesenheitsgefühls - Google Patents

Description

Die Erfindung betrifft allgemein ein Verfahren zum Durchführen einer Videokonferenz und insbesondere ein Videokonferenzsystem, und ein Verfahren, bei dem ein Augenkontakt zwischen jedem Betrachter und dem entsprechenden Bild oder den entsprechenden Bildern von entfernten, anzusehenden Personen hergestellt wird.

Ein wesentliches Ziel eines Videokonferenzsystems besteht darin, ein wirksames Mittel zur Interaktion zwischen entfernten Personen bereitzustellen. Die Fähigkeit, verschiedene Konferenzteilnehmer zu sehen und mit ihnen im Dialog zu sprechen, ist zur Durchführung einer Konferenz oder einer Sitzung notwendig. Eines der wichtigsten Kriterien, die ein Videokonferenzsystem erfüllen muß, liegt in einer visuellen Präsenz. Ferner ist es wünschenswert, zu sehen, wer wen während der Konferenz ansieht.

Alle Videokonferenzsysteme benutzen an jedem Ort wenigstens einen Monitor und wenigstens eine Kamera zum Darstellen des oder der entfernten Konferenzteilnehmer bzw. zur Gewinnung eines Bildes des oder der örtlichen Konferenzteilnehmer. Ein hartnäckiges Problem, das sich aus gegenwärtigen Konfigurationen dieser Komponenten in einem Videokonferenzsystem ergibt, ist der sogenannte "Parallaxeneffekt", der einen Augenkontakt zwischen dem Sprecher und denjenigen entfernten Betrachtern, zu denen er oder sie spricht, verhindert. Dieser Effekt ergibt sich hauptsächlich aus der Anordnung der Kamera mit Bezug auf den Monitor und den Betrachter.

Der Parallaxeneffekt ist in Fig. 1 dargestellt. Wie in Fig. 1 zu sehen ist, betrachtet jeder Konferenzteilnehmer A und B ein entsprechendes Display 12, 14 mit einem Fenster zur Darstellung des Bildes des anderen Teilnehmers. Jedem Display ist eine Videokamera zum Einfangen des Bildes des entsprechenden Betrachters zugeordnet. Jede Kamera kann oberhalb, unterhalb oder an einer der beiden Seiten des zugeordneten Displays angeordnet sein. In dem bekannten, in Fig. 1 dargestellten System sind Kameras 16 und 18 unmittelbar über dem Display 12 bzw. 14 angeordnet. Der Winkel θ stellt den Winkel zwischen der Kamera 16 und dem Display 12 bezüglich des Betrachters A dar. Da der Teilnehmer A direkt das dargestellte Bild des Teilnehmers B und daher nicht die Kamera 16 ansieht, scheint das dargestellte Bild von A nach unten zu schauen.

Wie ein Durchschnittsfachmann ohne weiteres feststellen kann, kann der Parallaxeneffekt dadurch minimiert werden, daß man die Kamera und den Monitor so nah wie möglich zusammenstellt. Tatsächlich beruhten frühere Anstrengungen zur Beseitigung des Parallaxeneffektes darauf, die Kamera unmittelbar hinter einem speziell konstruierten Bildschirm anzuordnen. In der US-PS 4 054 908, die am 18. Oktober 1977 für Poieier et al veröffentlicht worden ist, wird beispielsweise das Bild des Betrachters zum Kameraobjektiv mittels einer schrägen reflektierenden Platte reflektiert. Der Bildschirm wird vom Betrachter durch ein Fenster in der reflektierenden Platte betrachtet. Allerdings lenkt das Fenster in der mit einer Öffnung versehenen Platte den Betrachter etwas ab. Es ist auch vorgeschlagen worden, einen elektronischen Kristallbildschirm zu benutzen, der zwischen lichtundurchlässigen und transparenten Zuständen mit einer Frequenz hin- und herwechselt, die lang genug sind, daß ein Bild des Betrachters die Kamera während des transparenten Zustands erreichen kann und daß während des lichtundurchlässigen, reflektierenden Zustands ein angezeigtes Bild dargestellt werden kann. Leider zeichnen sich die auf einem derartigen blinkenden Bildschirm dargestellten Bilder durch eine unzumutbar geringe Helligkeit aus. Darüber hinaus sind die Herstellungskosten für den Bildschirmaufbau und die zugeordnete Ansteuer-Schaltungsanordnung hoch.

Es wurden sogenannte virtuelle Raumvideo-Konferenzsysteme vorgeschlagen, die eine vollständige visuelle Anwesenheit erzeugen und die räumliche Beziehung zwischen drei oder mehreren Konferenzteilnehmern vermitteln. Bei dieser Art von Systemen entspricht die Anzahl von Monitor- und Kamerapaaren an jedem Ort der Gesamtzahl entfernter Konferenzteilnehmer. Die relativen Positionen der Paare bezüglich jedes Teilnehmers sind an jedem Ort festgelegt. Ein beispielhaftes System dieses Typs ist in Fig. 2 dargestellt. Jede betrachtende Person (A, B, C und D) sitzt in einem Drehstuhl in einem entsprechenden Zimmer (1, 2, 3 oder 4) mit drei TV-Monitoren, die die anderen drei "virtuell anwesenden" Teilnehmer darstellen. Beispielsweise sitzt daher die betrachtende Person (A) in einem Drehstuhl in dem Raum 1 mit drei TV-Monitoren, die die drei "virtuell anwesenden" Teilnehmer (B, C und D) darstellen. Die Anordnung von Monitor-Kamera-Paaren in jedem Raum dupliziert die Orte jedes Teilnehmers, als ob sie allesamt um denselben quadratischen Tisch säßen. Die von diesen Kameras kommenden Signale durchlaufen Video-Schalteinheiten und werden mittels eines dynamischen Zuordnungsnetzwerkes zu entsprechenden Zielmonitoren übertragen.

Das virtuelle Raumsystem nach Fig. 2 versorgt drei oder mehrere Teilnehmer mit der Fähigkeit, zu sehen, wer ihn während einer Konferenz ansieht. Ein Augenkontakt zwischen den Teilnehmern wurde allerdings dadurch erreicht, daß man von den mit einer Öffnung versehenen oder von den halbreflektierenden Bildschirmgeräten Gebrauch gemacht hat, die oben beschrieben worden sind. Außerdem führt die große Anzahl von benötigten Videokanälen, die für die gewünschte räumliche Verteilung zwischen den Konferenzteilnehmern sorgen, zu einem großen Bedarf an Übertragungsbandbreite.

Das System und das Verfahren gemäß der Erfindung beseitigt die oben genannten Nachteile durch Anwendung von Echtzeit-Bildanalyse- und Verarbeitungstechniken, die eine bedeutungsvolle Kopfausrichtung und/oder einen Augenkontakt in den Bildern liefern, die dem entfernten Betrachtern dargeboten werden. Ein gemäß der Erfindung aufgebautes Videokonferenzsystem enthält in jedem Konferenzraum wenigstens ein Videotelefon, das eine Videokamera zur Erzeugung von Videosignalen aufweist, die eine Folge von örtlichen Konferenzteilnehmer-Bilderrahmen darstellen, sowie einen Bildempfänger zum Darstellen der Bildrahmen von wenigstens einem entfernten Konferenzteilnehmer. Der Bildempfänger, die Videokamera und die Augen des örtlichen Konferenzteilnehmers bilden einen Parallaxenwinkel. Das Videokonferenzsystem enthält außerdem eine Rahmen-Erzeugungseinrichtung, die unter Ansprechen auf die Videosignale Bildrahmen eines örtlichen Konferenzteilnehmers analysiert und eine entsprechende Folge von Parallaxen-kompensierten Rahmen erzeugt. Ein Signal, das jede Folge von Parallaxen-kompensierten Rahmen darstellt, wird zu einem entsprechenden Bildempfänger übertragen, wodurch ein Augenkontakt zwischen jedem örtlichen Konferenzteilnehmer und einem dargestellten Bild eines entsprechenden entfernten Konferenzteilnehmers hergestellt wird.

Sind mehr als zwei Konferenzteilnehmer beteiligt, wird jeder Eingangsbildrahmen bezüglich der Kopfstellung analysiert und, wenn notwendig, von der Rahmenerzeugungseinrichtung neu ausgerichtet, um für ein Anwesenheitsgefühl zu sorgen. Beispielsweise kann jeder Bildempfänger zwei entfernte Konferenzteilnehmer auf einem Display mit einem geteilten Fenster darstellen. Jeder Eingangsbildrahmen wird auf ein dreidimensionales ellipsoidisches Kopfmodell abgebildet und um einen vorbestimmten Winkel neu ausgerichtet, um die richtige Blickrichtung zu erhalten, auf einen zweidimensional rekonstruierten Bildrahmen zurück abgebildet. Ein die rekonstruierten Bildrahmen darstellendes Signal wird anschließend zu den entsprechenden entfernten Bildempfängern übertragen. Gemäß der Erfindung ist es daher für jeden Konferenzteilnehmer möglich, wahrzunehmen, wer ihn während der Konferenz ansieht.

Weitere Merkmale der Erfindung sind in der nachfolgenden, ausführlichen Beschreibung geschildert, die in Verbindung mit den beiliegenden Zeichnungen betrachtet wird. Gleiche Bezugszeichen in den Zeichnungen bezeichnen ähnliche Elemente. Es zeigen:

Fig. 1 die Wirkungsweise eines herkömmlichen Videokonferenzsystems mit einer einzigen Personenkamera (SPC, von Single Person Camera),

Fig. 2 ein herkömmliches virtuelles Raumvideo-Konferenzsystem,

Fig. 3A ein Blockschaltbild eines Videokonferenzsystems, das gemäß einer beispielhaften Ausführungsform gemäß der Erfindung aufgebaut ist,

Fig. 3B eine Vorderansicht des Videokonferenzsystems nach Fig. 3A,

Fig. 4 eine grafische Darstellung einer Nachschlagtabelle zum Liefern von Pixelwerten gemäß einem Augensyntheseverfahren, das von der Erfindung benutzt wird,

Fig. 5 ein Flußdiagramm, das die Schritte einer erfindungsgemäßen Bildanalyse- und Verarbeitungstechnik darstellt, durch die eine Parallaxenkorrektur gemäß der Erfindung vorgenommen wird,

Fig. 6 eine Vorderansicht der Funktionsweise eines Videokonferenzsystems, welches ein Anwesenheitsgefühl zwischen drei Teilnehmern gemäß der Erfindung erzeugt, und

Fig. 7 ein Flußdiagramm, das die Schritte eines modifizierten Bildanalyse- und Verarbeitungsverfahrens darstellt, durch das eine Parallaxenkorrektur und eine Kopf-Neuausrichtung durchgeführt wird, um während des Betriebs des Systems nach Fig. 5 ein Anwesenheitsgefühl hervorzurufen.

Ein Konferenzsystem 20, das gemäß einer beispielhaften Ausführungsform nach der Erfindung aufgebaut ist, ist in Fig. 3A dargestellt. Wie in Fig. 3A gezeigt ist, blickt jeder Teilnehmer einer Videotelekonferenz auf ein entsprechendes Display 22, 24. Jedes Display kann in ein oder mehrere Fenster unterteilt sein, um das Bild einer entsprechenden Anzahl von entfernten Teilnehmern darzustellen. Beispielsweise sind zwei Konferenzorte mit jeweils einem Konferenzteilnehmer vorgesehen. Daher sind in Fig. 3A Teilnehmer A und B an entsprechenden Konferenzorten 26, 28 gezeigt, die auf dem Display 22 bzw. 24 erscheinen.

Bei der in Fig. 3A dargestellten Ausführungsform werden die Bilder der Konferenzteilnehmer A und B anfänglich von den Videokameras 30 bzw. 32 gewonnen. In bekannter Weise werden die analogen Ausgangssignale der Kameras 30 und 32 in eine digitale Form umgesetzt, vorverarbeitet und für eine Bitratenreduktion codiert, um die Übertragung über ein Telekommunikationsnetz (nicht dargestellt) zu erleichtern. Systeme und Verfahren zur Durchführung der oben genannten Signalverarbeitungsfunktionen sind allgemein bekannt und bilden keinen neuen Gesichtspunkt der Erfindung. Dementsprechend kann eine ausführliche Beschreibung dieser Funktionen entfallen.

Wir nehmen weiterhin Bezug auf Fig. 3A. Man kann sehen, daß die digitalisierten Videosignale von jeder. Kamera nicht unmittelbar zum zugeordneten Zieldisplay übertragen werden. Statt dessen werden zu einem Zweck, der unten näher erklärt wird, die Ausgangssignale der Kameras 30 und 32 an ein geeignetes Verarbeitungsgerät 34 angelegt, das beispielsweise ein Hochgeschwindigkeits-Verarbeitungscomputer ist. Insbesondere führt das Verarbeitungsgerät 34 eine Rahmen-für-Rahmen-Analyse in Echt zeit mit den rohen ankommenden Videosignale durch und modifiziert das Bild jedes ankommenden Rahmens, um so einen Augenkontakt zwischen dem angezeigten Bild und dem Betrachter wiederherzustellen. Die modifizierten Rahmen werden anschließend in Echtzeit zum entsprechenden Zieldisplay übertragen.

Wie bereits mit Bezug auf Fig. 1 beschrieben worden ist, führt das Positionieren der Kamera unmittelbar über dem Display zur Bildung eines Parallaxenwinkels θ zwischen der Kamera, den Augen des Betrachters A und dem dargestellten Bild des Teilnehmers B. Diese Anordnung aus Kamera, Display und Betrachter ist in Fig. 3B noch einmal dargestellt. Obwohl jede Kamera über einem entsprechenden Display angeordnet ist, kann der Durchschnittsfachmann ohne weiteres erkennen, daß die Kameras auch unterhalb oder an einer der Seiten des Displays angeordnet werden können. Gemäß der Erfindung wird eine Parallaxenkorrektur durch das Verarbeitungsgerät 34 durchgeführt. Dazu ist es zunächst notwendig, den Parallaxenwinkel θ zu ermitteln.

Um die Genauigkeit zu verbessern, gibt es verschiedene Wege, den Parallaxenwinkel θ zu ermitteln. Bei der beispielhaften Ausführungsform nach Fig. 3A und 3B müssen die Bilder von lediglich zwei Konferenzteilnehmern, die nach vorn blicken, modifiziert werden. Unter der Annahme, daß Bewegungen von A und B vernachlässigbar sind, kann ein fester Winkel θ auf der Grundlage der relativen Position der Kamera und des Displays ermittelt werden. Wenn man annimmt, daß das Bild von B sich auf dem Display von A nicht sehr stark bewegt, kann alternativ das von der Kamera A aufgenommene Bild analysiert werden, um den Korrekturbetrag zu ermitteln, der dazu benötigt wird, das Bild von A nach vorne auszurichten. Der erforderliche Korrekturbetrag, der als Φ bezeichnet ist, kann als eine Zufallsvariable mit einer bestimmten Wahrscheinlichkeitsverteilung, die stationär oder zeitabhängig ist, nachgebildet werden. Unter der Annahme, daß A das Bild von B die meiste Zeit ansieht, kann der Parallaxenwinkel θ mit dem Erwartungswert von Φ, d. h. E(Φ), gleichgesetzt werden.

Wenn man von einer der beiden oben erwähnten Mangel-an-Bewegung-Annahmen ausgeht, ist es lediglich notwendig, die Augen in jedem Bildrahmen unterzubringen und die Rahmen zur Korrektur des Parallaxenwinkels θ zu verändern. Merkmal-Extraktionstechniken zum Lokalisieren von Gesichtsmerkmalen, wie z. B. der Augen, der Nase und des Mundes, in einem digitalisierten Bild sind allgemein bekannt und werden hierin nicht näher beschrieben. Auf ähnliche Weise sind Techniken zum Modifizieren lokalisierter Bereiche von derartigen Bildern dem Durchschnittsfachmann allgemein bekannt. In jedem Fall kann, da die Augen lediglich einen kleinen Bereich des gesamten Gesichtes oder Bildes einnehmen, das Nachvornedrehen der Augen einfach durch Synthetisieren der Augen verwirklicht werden. Die Möglichkeit der Augensynthese beruht auf der natürlichen Toleranz des menschlichen Betrachters, Rauschen in den relativ kleinen Bereich der Augen zu spiegeln. In diesem Zusammenhang sollte man beachten, daß die Position der Kamera mit Bezug auf das Display die Komplexität des Augensynthesealgorithmus als auch die Qualität der gewonnenen Ergebnisse beeinträchtigt. Insbesondere werden die Augenliderstellungen durch die Vertikalkomponente der Blickrichtung beträchtlich beeinträchtigt, so daß, wenn die Augen vertikal bewegt werden müßten, wie dies in dem dargestellten Bild für G der Fall wäre, auch das Augenlid geändert werden müßte, um eine Wahrnehmungsinkongruenz zu vermeiden. Befindet sich die Kamera seitlich des Displays, dann muß die Lidposition nicht geändert werden, wenn das Auge synthetisiert wird. Demzufolge wird eine Kameraposition an der Seite des Displays besonders bevorzugt.

Um ein Bild des Auges zu synthetisieren, muß das Programm die Grenze der umgebenden Lider ermitteln. Die Lider stoßen hauptsächlich an das Augenweiß an, aber häufig begrenzen sie auch die Iris an der Ober und Unterseite. Der gesamte Bereich innerhalb der Grenze wird synthetisiert. Befindet sich die Person von der Kamera weit entfernt (so daß die Augen in dem gewonnenen Bild sehr klein sind), kann die Pupillenposition, die zum Hervorrufen eines Augenkontaktes mit dem Betrachter benötigt wird, lediglich dadurch gebildet werden, daß ein dunkler kreisförmiger Bereich entsprechender Größe an der richtigen Position hinzugefügt wird.

Wenn sich die Person ausreichend nahe an dem Kamera/Monitor-Paar befindet, können vollständig neue Intensitätswerte für jede Pixelposition innerhalb der Außenlinie des Auges erzeugt werden, d. h. zwischen den oberen und unteren Lidern. Zu jeder Außenlinie des Auges werden fünf weitere Parameter zur Synthetisierung eines neuen Auges benützt: Die beiden Koordinaten des Pupillenzentrums, der Irisradius, der Irisintensitätspegel und der Intensitätspegel des weißen Bereiches des Auges. Ein Grenzen-Erkennungsverfahren führt natürlich zu einer einfachen Grenzdarstellung mit den kleinsten und größten Iris-X-Koordinaten für jeden Y-Wert in einem Bereich. Die Irisintensität wird während des normalen Augen-Nachführ-Algorithmus berechnet. Auf ähnliche Weise werden die Weiß-Intensität und die Augenkontur während der Grenzbestimmung des weißen Augenbereichs berechnet. Beispielsweise kann die Augensynthese gemäß einer parametrischen Mischfunktionsansatz durchgeführt werden, nach der der Irisdurchmesser proportional zum Abstand der beiden Augen ist. Der Abstand zwischen den beiden Augen liefert eine richtige Skalierung, wenn die Person sich näher zu und weiter weg von der Kamera bewegt.

Wie oben geschildert worden ist, kann ein fester Winkel θ auf der Grundlage der relativen Positionen zwischen der Kamera und dem Display ermittelt werden. Beispielsweise kann die Kamera an einer Seite des Displays und in der gleichen Höhe angeordnet sein. Es sei angenommen, daß der Benutzer nur das Display ansieht und nicht anderswohin. Daher scheint, wenn der Benutzer irgendwohin blickt, das synthetisierte Bild nicht mehr länger den Augenkontakt mit dem Betrachter aufrecht zu erhalten. Ist die Kamera und das Display auf diese Art und Weise angeordnet, kann die Iris und die Pupille um einen bestimmten geometrisch unabhängigen Betrag ohne Vertikalbewegung horizontal verschoben werden. Die Größe der Verschiebung ist umgekehrt proportional zum Augen-zu-Augen-Abstand. Beispielsweise kann der Synthetisierungsalgorithmus den Abstand zum synthetisierten Pupillenzentrum in horizontale Bildseiten-Verhältnis-korrigierte Pixel berechnen. Eine Nachschlagtabelle auf der Grundlage des Abstandes zum synthetisierten Irisradius liefert einen Mischkoeffizienten zwischen dem Irispegel und dem Weißpegel: 1 bezeichnet den Irispegel und 0 den Weißpegel, wobei der Mischbereich dazwischen linear verläuft. Eine grafische Darstellung der Nachschlagetabelle ist in Fig. 4 gezeigt. Die Eintragungen über 1 erzeugen einen noch dunkleren Wert für die Pupille. Die Weiß-Synthese kann einen ähnlichen Prozeß benutzen.

Wie ein Durchschnittsfachmann ohne weiteres nachvollziehen kann, fehlt einem Augenbild, das auf die oben beschriebene Art und Weise synthetisiert wird, das reflektierte Spitzenlicht, das dem Auge einen Eindruck von Tiefe und Kontur vermittelt. Daher kann es wünschenswert sein, derartige Spitzenhelligkeiten dem Bild auf eine bekannte Art und Weise zuzufügen. Benutzt man einen Motorola 88000 RISC-Prozessor zur Durchführung der oben genannten Bildanalyse- und Verarbeitungsoperationen auf eine einzelnen Eingangs-Videorahmen, dauert es 1,177 ms zur Lokalisierung der Pupille und Weißgrenzen, 0,176 ms zur Nachverarbeitung der Grenzen, 1,670 ms zur Synthetisierung der neuen Augen und 1,453 ms zur Erzeugung von Echtzeit-Grafiken und Textanzeigen. Natürlich hängen die Prozessorzeiten von dem Augenbild in der Bildebene ab. Es ist allerdings sogar mit extremen Nahaufnahmen möglich, einen modifizierten Rahmen mit synthetisierten Augen innerhalb eines Rahmenintervalls zu erzeugen. Deshalb kann eine Folge von Parallaxen-kompensierten Bildrahmen in Echt zeit erzeugt werden, um vorteilhafterweise den Benutzern eines Videokonferenzsystems einen Augenkontakt ohne Verlust an Rahmenrate bereitzustellen.

Es ist vielleicht nicht möglich, die oben erwähnten Annahmen bezüglich der Bewegungen von A und B zu benutzen. Wenn ein Ausgleich für den exakten Parallaxenwinkel θ benötigt wird, ist es notwendig, die Augenposition von A und die Augenposition von B auf dem Display 24 zu erfassen. Jede geeignete Bildanalysetechnik kann angewandt werden, um die Augenpositionen für die erfindungsgemäßen Zwecke zu detektieren. Lediglich als Beispiel sei auf eine nicht­ intrusive Blicknachführtechnik hingewiesen, die zum Gewinnen einer Augenpositionsinformation benutzt werden kann, und in einem Aufsatz mit dem Titel "Non-Intrusive Gaze Tracking Using Artificial Neural Networks" von S. Baluja und D.A. Pomerleau beschrieben ist. Man beachte, daß eine nicht-intrusive Blicktechnik bevorzugt wird, so daß jeder Konferenzteilnehmer seinen Kopf frei bewegen kann.

Das Ziel einer Blicknachführung ist insbesondere darin zu sehen, zu ermitteln, wohin eine Person mit ihren Augen blickt. Um Verschiebungen bezüglich der relativen Positionen der Kamera und des Auges zu erfassen, wird das Auge zunächst in jedem Bildrahmen lokalisiert. Typischerweise wird eines der Augen dadurch lokalisiert, daß man die Spiegelung einer stationären Lichtquelle in dem Bild des Gesichtes der Person sucht. Obwohl jede geeignete Lichtquelle zu diesem Zweck benutzt werden kann, wird eine nicht-intrusive Infrarotquelle bevorzugt, da sie ein leicht delektiertes Reflexionsmuster liefert, ohne den Betrachter abzulenken oder andere Unannehmlichkeiten bei ihm hervorzurufen. Die Spiegelung in dem Bild kann gewöhnlich von einem kleinen hellen Bereich, der von einem sehr dunklen Bereich umgeben ist, unterschieden werden. Der Reflexionsort kann benutzt werden, um die Suche nach dem Auge in dem nächsten Rahmen zu beschränken. Ein Fenster, das die Reflexion umgibt, wird gewonnen, wobei sich das Bild des Auges innerhalb dieses Fensters befindet. Das Zentrum der Pupille wird gefunden und die relative Position von der Lichtreflexion zum Pupillenzentrum wird berechnet. Die Blickrichtung wird aus der Information über die relativen Positionen ermittelt. Wenn beispielsweise der Betrachter zur Lichtquelle blickt, befindet sich die Spiegelung in dem Zentrum des Pupillenbildes. Wenn der Betrachter über die Lichtquelle sieht, befindet sich die Spiegelung in der Nähe des unteren Randes des Pupillenbildes. Wenn der Betrachter links an der Lichtquelle vorbeisieht, befindet sich die Spiegelung rechts von dem Pupillenbild usw.

Bei dem in den Fig. 3A und 3B dargestellten beispielhaften System ist eine ortsfeste Lichtquelle 36 über der Kamera 32 angeordnet, um den Einsatz einer Blicknachführtechnik auf das Bild des Teilnehmers zu erleichtern. Eine ähnliche Lichtquelle (nicht dargestellt) ist über der Kamera 30 angeordnet. Wie ein Durchschnittsfachmann ohne weiteres erkennen kann, liefert eine Blickdetektionstechnik, beispielsweise die oben diskutierte, nützliche Informationen über die Richtung des Auges mit Bezug auf die Lichtquelle. Wie nicht weiter erläutert wird, kann diese Information dazu benutzt werden, den Parallaxenwinkel θ zu bestimmen. Insbesondere definieren, wie man das am besten aus Fig. 3B sehen kann, die Lichtquelle 36, der Teilnehmer A und das angezeigte Bild des Teilnehmers B einen Winkel θ₁, während die Lichtquelle 36, der Teilnehmer A und die Kamera 32 einen Winkel θ₂ festlegen. Der Parallaxenwinkel θ kann daher dadurch berechnet werden, daß man die Differenz zwischen θ₁ und θ₂ bildet. Ist der Parallaxenwinkel erst einmal bekannt, wird ein überarbeiteter Bildrahmen auf die gleiche Art und Weise übertragen, wie dies oben beschrieben worden ist.

Eine beispielhafte Schritt folge zur Durchführung einer Parallaxenkorrektur mit einem Videokonferenzsystem, das beispielsweise in den Fig. 3A und 3B dargestellt ist, ist in Fig. 5 gezeigt. Obwohl die Beschreibung in Verbindung mit der Verarbeitung von Bildern lediglich eines Teilnehmers fortgesetzt wird, kann man ohne weiteres einsehen, daß die gleichen Bildanalyse- und Verarbeitungsschritte gleichzeitig für alle Konferenzteilnehmer durchgeführt werden. In jedem Fall wird ein digitalisierter Videorahmen des Teilnehmers A von der Verarbeitungseinrichtung 34 (Schritt 40) empfangen und eine Bildmerkmalsextraktion durchgeführt, um die Augen in dem Bild zu lokalisieren (Schritt 42). Während des Schritts 44 wird die Blickdetektion auf dem Bild durchgeführt, um die Richtung zu erfassen, in die die Person mit Bezug auf die Kamera blickt. Der Parallaxenwinkel wird abgeleitet (Schritt 46) und ein überarbeiteter Bildrahmen erzeugt (Schritt 48), in dem die Position der Pupillen und, wenn geeignet, die Position der Iris den Positionen entspricht, die für einen Augenkontakt mit dem betrachtenden Teilnehmer B notwendig sind. Der überarbeitete Bildrahmen wird anschließend zum Display 22 übertragen (Schritt 50), wo es vom Teilnehmer B angesehen wird. Die oben erwähnten Schritte werden in Echtzeit und Rahmen für Rahmen für jedes Videoeingangssignal ausgeführt, so daß ein Augenkontakt zwischen den dargestellten Bildern und den jeweiligen Teilnehmern hergestellt wird.

Wenn mehr als zwei Konferenzorte und/oder Teilnehmer vorgesehen sind, müssen neben der Notwendigkeit, einen Augenkontakt zwischen den Teilnehmern herzustellen, zusätzliche Überlegungen im Hinblick auf das Videokonferenzsystem angestellt werden, um den Blick und das Gefühl einer lebendigen Konferenz zu bewahren. Wie dies bereits oben geschildert worden ist, ist es insbesondere auch für jeden Teilnehmer wichtig zu sehen, wer mit ihm spricht. Daher werden gemäß der erfinderischen Lehre Echtzeit-Bildanalyse- und Verarbeitungstechniken benutzt, um das Kopfbild neu auszurichten als auch den Konferenzteilnehmern den Eindruck eines Augenkontaktes zu vermitteln.

Fig. 6 wiederum zeigt ein Videokonferenzsystem 60, das gemäß der Erfindung aufgebaut und dem System 20 nach Fig. 3A ähnlich ist. Das in Fig. 6 dargestellte System wurde allerdings dahingehend geändert, daß eine Konferenz zwischen drei Teilnehmern A, B und C an drei verschiedenen Orten stattfinden kann. Das System 60 enthält daher drei Displays 62, 64 bzw. 66 und drei entsprechende Kameras 68, 70 und 72. Es ist lediglich eine Lichtquelle dargestellt und mit 76 bezeichnet, obwohl über jeder Kamera eine Lichtquelle angeordnet ist. Jedes Display ist in zwei Fenster unterteilt, wobei jedes Fenster das Bild von zwei entfernten Teilnehmern darstellt. Auf eine Weise, die der oben geschilderten entspricht, werden die Videosignale von jeder Kamera digitalisiert, verarbeitet und zu einer Verarbeitungseinrichtung, beispielsweise in der Verarbeitungseinrichtung 74, übertragen.

Zu dem in Fig. 6 dargestellten Videotelekonferenz-Zeitpunkt spricht A gerade mit B. In einer tatsächlichen Konferenz würde A B ansehen und B und C würden A ansehen. Wird die zusätzliche erfindungsgemäße Bildverarbeitung nicht durchgeführt, würde jeder Teilnehmer nach vorn auf sein Display sehen. Allerdings bewahren die jeweiligen Bilder, die den anderen Teilnehmern dargeboten werden, nicht die entsprechenden Kopfausrichtungen. Um die in Fig. 6 dargestellten, richtigen Ausrichtungen zu erhalten, müssen unterschiedlich viele Bildanalyse- und Verarbeitungsschritte durchgeführt werden, wie dies nunmehr beschrieben wird.

Während A sich das Fenster von B auf dem Display 62 ansieht, sollte A die Bilder von B und C unmittelbar vor sich sehen (d. h. gegenüber A). Da B und C bereits in ihre eigenen Kameras sehen, ist lediglich eine Parallaxen-Fehlerkorrektur ihrer Augenpositionen erforderlich. Eine derartige Fehlerkorrektur kann dadurch durchgeführt werden, daß irgendeine der oben in Verbindung mit Fig. 3A und 3B beschriebenen Techniken benutzt wird. Auf dem Display 64 sollte B das Bild von A sehen, der nach vorne schaut, sowie das Bild von C sehen, der das Bild von A sieht. Obwohl lediglich eine Parallaxen-Fehlerkorrektur des Bildes von A für das Display 64 erforderlich ist, muß das Bild von C zusätzlich eine Neuorientierung erfahren, um die in Fig. 6 dargestellte Position zu erreichen. Auf ähnliche Weise sollte C auf dem Display 66 A und B sehen, die sich gegenseitig ansehen. Daher müssen die Bilder von A und B wenigstens eine Kopf-Neuorientierung erfahren, um die in Fig. 6 dargestellten Positionen zu erreichen.

Ein Verfahren zur Durchführung der Kopf-Neuorientierung und der Parallaxenkorrektur gemäß einem erfindungsgemäßen Ausführungsbeispiel ist in dem Flußdiagramm nach Fig. 7 erläutert. Einen digitalisierten Videorahmen eines Konferenzteilnehmers, wie z. B. des Teilnehmers C, empfängt die Verarbeitungseinrichtung 74 (Schritt 80), und es wird eine Bildmerkmalsextraktion durchgeführt, um die Augen in dem Bild zu lokalisieren (Schritt 82). Während des Schritts 84 wird eine Blickdetektion mit dem Bild durchgeführt, um die Richtung zu erkennen, in die die Person mit Bezug auf die Kamera sieht. Wenn der Teilnehmer C beispielsweise den Teilnehmer A ansieht, befindet sich die Spiegelung der Lichtquelle 76 im Bild des Auges des Teilnehmers C, das von der Kamera 72 gewonnen wird, oberhalb und rechts des Zentrums der Pupille.

Wie oben erläutert worden ist, kann der Parallaxenwinkel θ aus dieser Information, die die feste Position der Kamera 72 und des Displays 66 angibt (Schritt 86), berechnet werden. Es sei allerdings deutlich betont, daß die Position der Spiegelung mit Bezug auf das Pupillenzentrum benutzt werden kann, um zu erkennen, welches Bild von dem betrachtenden Teilnehmer beobachtet wird (Schritt 88). In dem vorliegenden Beispiel suggeriert der Ort der Spiegelung rechts von dem Pupillenzentrum in dem empfangenen Bild des Teilnehmers C, daß C nach links schaut und daher den Teilnehmer A ansieht.

Ist erst einmal bekannt, welches Displayfenster von jedem Konferenzteilnehmer angesehen wird, wird die Bildverarbeitung durchgeführt, um die jeweiligen korrigierten Bildrahmen zu erzeugen, die für jedes Zieldisplay geeignet sind. Wenn lediglich eine Parallaxenkorrektur erforderlich ist, wie dies in Schritt 88 festgelegt ist, wird ein erster Rahmen zur Übertragung zu dem oder den entsprechenden Displays erzeugt (Schritt 90). Bei dem in Fig. 6 dargestellten Beispiel wird ein Rahmen, der das Parallaxen-korrigierte, nach vorne schauende Bild des C darstellt, auf dem Display 62 angezeigt. Da eine Neuausrichtung des Kopfes von C erforderlich ist, um dem Teilnehmer B das Gefühl eines Dabeiseins zu vermitteln, müssen allerdings mehrere zusätzliche Verarbeitungsschritte nunmehr ausgeführt werden.

Das Gesichtsbild jedes Rahmens wird texturiert auf ein dreidimensionales (3-D) Kopfmodell abgebildet (Schritt 92). Für diesen Zweck kann beispielsweise ein relativ einfaches ellipsoidisches Kopfmodell verwendet werden. Natürlich wird ein Durchschnittsfachmann ohne weiteres erkennen, daß weitere leistungsstarke 3-D-Modelle ebenfalls benutzt werden können, und zwar in Abhängigkeit von Beschränkungen der Verarbeitungsleistung und in der Ausführungsgeschwindigkeit, denen die besondere Anwendung unterliegt. Beispielsweise kann ein Drahtgittermodell benutzt werden, das in dem Aufsatz von K. Aizawa, H. Harashima und T. Saito mit dem Titel "Model-based Analysis Synthesis Image Coding System for a Person′s Face", Signal Processing Image Communication, Band 1, Nr. 2, Oktober 1989, Seiten 139-152, veröffentlicht worden ist. In jedem Fall wird das resultierende, dreidimensional strukturierte Modell in eine entsprechende Richtung um einen vorbestimmten Winkel α (Schritt 94) rotiert und die Textur des ellipsoidischen Modells wird auf die zweidimensionale Betrachtungsebene rückprojiziert, um das überarbeitete Bild zu erzeugen (Schritt 96). Das so erzeugte Bild wird anschließend zu dem oder den jeweiligen Zieldisplays übertragen, wie dies in Schritt 98 gezeigt ist. Bei dem in Fig. 6 dargestellten Beispiel wurde das auf dem Display 64 dargestellte Bild von C um 90° nach rechts gedreht, damit es in die Richtung des dargestellten Bildes des Teilnehmers A blickt. Die Augäpfel des Bildes C können auf ähnliche Weise unabhängig nachgebildet werden oder in Verbindung mit der oben diskutierten reinen Parallaxen-Korrekturtechnik synthetisiert werden.

Zusammen mit einer Videocodierung können eine Parallaxenkorrektur und/oder Kopfausrichtung an den jeweiligen Konferenzorten als Vorverarbeitung oder Nachverarbeitung durchgeführt werden. In beiden Fällen wird eine Bildanalyse vorteilhafterweise vor der Codierung der ursprünglichen Bildsignale durchgeführt, so daß keine kritische Bildinformation vor der Analyse verlorengeht. Eine Synthese von Bildern, die erfindungsgemäß korrigiert werden, kann allerdings zu jeder Zeit durchgeführt werden. Im Falle einer Vorverarbeitung wird das Bild digitalisiert, analysiert, synthetisiert/verarbeitet, codiert und übertragen. Da unterschiedlich verarbeitete Bilder zu verschiedenen Teilnehmern übermittelt werden müssen, ist ein großer Betrag an Übertragungsbandbreite erforderlich. Im Fall der Nachverarbeitung müssen der Parallaxenwinkel und die Kopfausrichtungsinformation jedes Teilnehmers, die aus der Bildanalyse gewonnen werden, zusammen mit den codierten Videosignalen übermittelt werden. Eine Synthese kann anschließend im Empfänger oder an irgendeinem zentralisierten Ort durchgeführt.

Claims (10)

1. Verfahren zum Abhalten einer Videokonferenz zwischen mehreren, entfernt gelegenen Konferenzräumen, in denen sich jeweils wenigstens ein Konferenzteilnehmer, eine Videokamera und ein Bildempfänger befinden, wobei der Bildempfänger, die Videokamera und die ihnen zugeordneten Augen jedes Konferenzteilnehmers einen Parallaxenwinkel für jeden Konferenzteilnehmer bilden, gekennzeichnet durch die folgenden Schritte:
mit einer ersten Videokamera (32) wird ein Videosignal erzeugt, das eine Folge von Eingangsbildrahmen eines ersten Konferenzteilnehmers (A) darstellt,
die Eingangsbildrahmen des Konferenzteilnehmers werden in Echtzeit zur Bestimmung eines Parallaxenwinkels θ in jedem Rahmen analysiert,
es wird eine entsprechende Folge von Parallaxen­ kompensierten Bildrahmen erzeugt, und
ein Signal, das die Folge von Parallaxen-kompensierten Bildrahmen darstellt, und zu einem Bildempfänger (22) übertragen, der von einem zweiten Konferenzteilnehmer (B) betrachtet wird, wodurch ein Augenkontakt zwischen dem zweiten Konferenzteilnehmer und einem angezeigten Bild des ersten Konferenzteilnehmers hergestellt wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Analysieren folgenden Schritt umfaßt: In einem Bild des ersten Konferenzteilnehmers wird eine Spiegelung einer ortsfesten Lichtquelle in einer Pupille des ersten Konferenzteilnehmers lokalisiert.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß das Analysieren den weiteren Schritt aufweist: Messen einer Position der Spiegelung bezüglich des Zentrums der Pupille.

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Erzeugen folgenden Schritt umfaßt: es wird wenigstens ein Teil jedes Parallaxen­ kompensierten Bildrahmens aus einem Eingangsbildrahmen des Konferenzteilnehmers synthetisiert.

5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß während des Messens eine Blickrichtung des ersten Konferenzteilnehmers erhalten wird, und daß das Erzeugen den weiteren Schritt aufweist: jeder Eingangsbildrahmen des Konferenzteilnehmers wird texturiert auf ein dreidimensionales ellipsoidisches Gesichtsmodell abgebildet, und das Gesichtsmodell wird neu ausgerichtet, um eine Gesichtsausrichtung zu erreichen, die gemäß der Blickrichtung ausgewählt wird.

6. Videokonferenzsystem, das mehrere entfernt gelegene Konferenzräume verbindet, wobei sich in jedem Raum wenigstens ein Konferenzteilnehmer von mehreren Konferenzteilnehmern aufhält, gekennzeichnet durch wenigstens ein Videotelefon in jedem Raum (26, 28), der eine Videokamera (32) zum Erzeugen von Videosignalen, die eine Folge von Bildrahmen eines ersten Konferenzteilnehmers (A) darstellen, und einen Bildempfänger (24) zum Darstellen von Bildrahmen wenigstens eines zweiten Konferenzteilnehmers (B) aufweist, wobei der Bildempfänger, die Videokamera und die Augen des ersten Konferenzteilnehmers einen Parallaxenwinkel θ bilden, eine Rahmen-Erzeugungseinrichtung (34), die unter Ansprechen auf die Videosignale Eingangs-Bildrahmen des ersten Konferenzteilnehmers analysiert und eine entsprechende Folge von Parallaxen-kompensierten Bildrahmen des ersten Konferenzteilnehmers erzeugt, und eine Einrichtung zum Übermitteln eines Signals, das die Folge der Parallaxen-kompensierten Rahmen zu wenigstens einem entfernten Bildempfänger (22), wodurch ein Augenkontakt zwischen wenigstens dem zweiten Konferenzteilnehmer und einem dargestellten Bild herstellbar ist.

7. System nach Anspruch 6, gekennzeichnet durch eine ortsfeste Lichtquelle (36) in jedem Raum, die eine Spiegelung in den Augen des Konferenzteilnehmers in jedem Raum erzeugt.

8. System nach Anspruch 7, dadurch gekennzeichnet, daß die Rahmenerzeugungseinrichtung (34) die Eingangsbildrahmen des Konferenzteilnehmers analysieren und eine Blickrichtung des ersten Konferenzteilnehmers detektieren kann.

9. System nach Anspruch 8, dadurch gekennzeichnet, daß die Rahmenerzeugungseinrichtung (34) zum Erzeugen eines zweiten Bildrahmens zur Übertragung zu wenigstens einen dritten Konferenzteilnehmer ausgebildet ist und auf eine detektierte Blickrichtung anspricht, um jeden Eingangsbildrahmen des Konferenzteilnehmers texturiert auf ein dreidimensionales ellipsoidisches Gesichtsmodell abzubilden und das Gesichtsmodell neu auszurichten, um eine Gesichtsorientierung zu erreichen, die gemäß der detektierten Blickrichtung ausgewählt ist.

10. System nach Anspruch 9, dadurch gekennzeichnet, daß die Sendeeinrichtung (34) eine erste Folge von Parallaxen-korrigierten Bildrahmen, die den ersten Konferenzteilnehmer darstellen, zu einem Bildempfänger, der in der Nähe eines zweiten Konferenzteilnehmers positioniert ist, und eine zweite Folge von Blickrichtungs-ausgeglichenen Bildrahmen, die den ersten Konferenzteilnehmer darstellen, zu einem Bildempfänger übermitteln kann, der in der Nähe eines dritten Konferenzteilnehmers positioniert ist, wodurch ein Anwesenheitsgefühl zwischen dem ersten, dem zweiten und dem dritten Konferenzteilnehmer wahrnehmbar ist.