DE10003632A1

DE10003632A1 - Telefongerät mit Bildschirm

Info

Publication number: DE10003632A1
Application number: DE10003632A
Authority: DE
Inventors: Yoshiro Akiyama
Original assignee: Individual
Current assignee: Individual
Priority date: 1999-02-24
Filing date: 2000-01-28
Publication date: 2000-08-31
Also published as: FR2790166A1; FI20000161A0; ITMI20000045A0; SE0000283D0; GB0000103D0; ITMI20000045A1; FI20000161A; SE0000283L; JP3062080U; IT1316181B1; GB2351638A

Abstract

Es wird ein Telefongerät bereitgestellt, das das Bild des Gesichts eines Sprechers, das in der Bewegung mit der Sprachnachricht des Sprechers harmoniert, ohne eine Videokamera oder eine photographische Operation während des Telefongesprächs darstellt. Das Telefongerät mit dem Bildschirm speichert mindestens ein grundlegendes Bild des Gesichts des Sprechers, das vor dem Telefongespräch vorbereitet wurde, erkennt den sprachlichen Ausdruck des Sprechers und detektiert notwendige Daten der Sprachelemente, um die Gesichtsmerkmale des Sprechers mit einer graphischen Änderung zu modifizieren, und es überträgt die notwendigen Daten zusammen mit der Sprachnachricht zum Telefongerät des Zuhörers, das das Bild des Gesichts des Sprechers in Bewegung auf einem Bildschirm eines Telefongeräts darstellt.

Description

HINTERGRUND DER ERFINDUNG

Diese Erfindung bezieht sich auf ein Bildtelefongerät.

Konventionelle Bildtelefongeräte und Videokonferenzgeräte weisen eine eigene Videokamera als Teil des Gerätes auf, so daß Videobilder oder Bilder des Sprechers kontinuierlich auf genommen, und die Daten der Bilder zum Telefongerät des Zuhö rers übertragen werden, wo virtuelle Bewegungsbilder des Sprechers auf einem Bildschirm zusammen mit der Sprachnach richt des Sprechers bereit gestellt werden. Die Qualität der übertragenen Bewegtbilder hängt im wesentlichen von der Ver arbeitungskapazität der Aufnahmevorrichtung und der Daten übertragungskapazität der Telefonleitung ab. Wenn Bildtele fongeräte interaktiv verwendet werden, so sind photographi sche Aufnahmevorrichtungen in den Telefongeräten an beiden Enden der Telefonverbindung erforderlich.

Die oben erwähnten konventionellen Telefonvorrichtungen er fordern jedoch eine komplizierte Konfiguration, die eine Vi deokamera einschließt, und der über das Telefon Sprechende präsentiert sich selbst vor der Videokamera, so daß er vor schriftsmäßig aufgenommen wird, um ein passendes Videobild zu liefern. Konventionelle Bildtelefongeräte müssen auch voll ständige Videobilder zusammen mit der Sprachnachricht über tragen, womit die Gesamtkapazität der Übertragungsschaltung und die Videobildverarbeitungskapazität des Gerätes die Qua lität des übertragenen Bildes in Bezug auf die Genauigkeit und die wirklichkeitsgetreue Darstellung der Videobilder, die auf dem Bildschirm dargestellt werden, begrenzen.

Dies ergibt für die Nutzer eines konventionellen Bildtelefons oft Schwierigkeiten und Nachteile.

ZUSAMMENFASSUNG DER ERFINDUNG

Eine Aufgabe der vorliegenden Erfindung besteht somit darin, ein Telefongerät bereit zu stellen, das die Gesichtszüge ei nes Sprechers in Bewegung und in Übereinstimmung mit dem ge sprochenen Ausdruck des Sprechers ohne eine Videokamera und ohne eine photographische Aufnahme während des Telefonge sprächs zeigt, wobei der Gesichtsausdruck des Sprechers in der Bewegung harmonisch zum sprachlichen Ausdruck auf dem Bildschirm eines Gerätes dargestellt wird.

Die Aufgabe wird durch ein Telefongerät gelöst, das eine Vor richtung zum Speichern von mindestens einem grundlegenden statischen Bild des Gesichts des Sprechers, das von einer echten aufgenommenen Photographie, oder einem korrigierten, modifizierten, überarbeiteten, verformten Bild, oder von ei nem gezeichneten Bild oder Porträt, die vor dem Telefonge spräch vorbereitet wurden, abgeleitet wird, um das Gesicht des Sprechers durch eine optionale Auswahl des Sprechers, die vor dem Telefongespräch durchgeführt wurde, darzustellen, ei ne Vorrichtung für das graphische Modifizieren dieses grund legenden Bildes gemäß dem sprachlichen Ausdruck des Sprechers während des Telefongesprächs, wobei die graphisch modifizier ten Bilder des Gesichtes als Bewegungsbilder, die mit der sprachlichen Nachricht des Sprechers harmonieren, auf dem Bildschirm des Telefongerätes dargestellt werden.

Um diese Aufgabe zu lösen, umfaßt ein Telefongerät eine Vor richtung zur Verarbeitung und Erkennung des Tons der Stimme des Sprechers, die zumindest Vokalelemente der Stimme des Sprechers, nämlich jedes Elements "a", "e", "i", "o", "u" in Vokaltönen, die im wesentlichen die Änderung der graphischen Gesichtsmerkmale darstellen, detektieren kann, eine Vorrich tung, die die graphische Modifikation des grundlegenden Bil des vornimmt, und eine Vorrichtung, die den Datenkode jedes modifizierten Gesichtsbildes kontinuierlich an das Telefonge rät des Zuhörers während des Telefongesprächs überträgt.

Als Funktion des Zuhörers umfaßt ein Telefongerät eine Vor richtung zur Darstellung des Gesichts des Sprechers als Be wegtbild in Harmonie mit dem sprachlichen Ausdruck des Spre chers auf einem Bildschirm eines Gerätes gleichzeitig mit der sprachlichen Nachricht des Sprechers. Um das Gerät interaktiv zu verwenden, sind alle Vorrichtungen an beiden Enden vorge sehen, so daß ein interaktiver Betrieb entsprechend durchge führt werden kann.

Während eines Telefongesprächs kann das Gesicht des Sprechers durch ihn selbst auf dem Bildschirm in einem Teilbild oder durch einen Schaltbetrieb zum Zwecke der Bestätigung betrach tet werden.

KURZE BESCHREIBUNG DER ZEICHNUNGEN

Die vorliegende Erfindung wird nun im Detail unter Bezug auf die bevorzugten Ausführungsformen, die in den begleitenden Zeichnungen dargestellt sind, beschrieben.

Fig. 1 ist eine Ansicht einer Konfiguration einer bevorzug ten Ausführungsform gemäß der vorliegenden Erfindung;

Fig. 2 ist ein Schaltungsblockdiagramm einer bevorzugten Ausführungsform;

Fig. 3 ist ein Flußdiagramm, um kurz den Betrieb der bevor zugten Ausführungsform zu erläutern;

Fig. 4 ist ein Flußdiagramm, um kurz den Betrieb der bevor zugten Ausführungsform zu erläutern; und

Fig. 5 ist ein Flußdiagramm, um kurz den Betrieb der bevor zugten Ausführungsform zu erläutern.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN

Betrachtet man nun Fig. 1, so ist dort eine Konfiguration des Gerätes 10 gezeigt. Das Gerät 10 umfaßt einen Körper 12, in dem eine Telefonzehnertastatur 14 (1 ~ 0, #, *), ein Bild schirm 16 (vorzugsweise ein Farbbildschirm) und ein Handappa rat 20 mit einem Mikrophon und einem Empfänger, angeordnet sind.

Als eine Vorrichtung für das Speichern eines grundlegenden Bildes oder von grundlegenden Bildern, um sie auf dem Bild schirm des Gerätes darzustellen, wird ein ROM oder ein ande res Speichermedium, das im Telefongerät untergebracht ist, verwendet.

Betrachtet man nun die Fig. 2, so ist dort ein Schaltungs blockdiagramm gezeigt, und in der Fig. 3 ist ein Flußdia gramm des Betriebs des vorliegenden Gerätes gezeigt.

Wie in Fig. 2 gezeigt ist, sind eine Zehnerwähltastatur 14, ein Bildschirm 16, ein Handapparat 20 und zusätzlich eine Spracherkennungseinheit 24, die die Stimme des Sprechers er kennt und Kodes von Datenelement detektiert, um eine Änderung der Gesichtsmerkmale zu erzeugen, und um diese graphisch zu modifizieren, gezeigt. Jeder Kode wird zur Bildverarbeitungs einheit 26 auf dem Gerät des Sprechers oder auf der Sender seite übertragen, so daß das Gesicht in Übereinstimmung mit dem sprachlichen Ausdruck des Sprechers modifiziert wird, um auf dem Bildschirm 16 dargestellt zu werden, damit es als wirklichkeitsgetreuer Gesichtsausdruck betrachtet werden kann. Bei den Datenelementen handelt es sich beispielsweise um Elemente für die fünf Vokale "a", "e", "i", "o", "u", wo bei sie aber andere Töne einschließen können, um sprachliche Klänge in Übereinstimmung mit jeder lokalen, zu verwendenden Sprache oder eines phonetischen Ausdrucks, der im allgemeinen eine Änderung in den Gesichtsmerkmalen des Sprechers schafft, auszudrücken. In äquivalenter Weise ist eine Bildverarbei tungseinheit 28 als Funktion des Gerätes des Zuhörers oder der Empfängerseite vorgesehen.

Die Bildverarbeitungseinheit im Gerät 26 des Sprechers hat Funktionen, um (1) graphische Daten eines Gesichts, das von jedem Sprecher bereitet werden soll, als sein anfängliches und grundlegendes Bild des Gesichts zu speichern, wobei die Daten vorzugsweise durch eine Digitalkamera bereit gestellt werden, sie aber auch modifiziert, überarbeitet und verformt sein können, wobei auch ein Porträt oder eine gezeichnete Darstellung statt eines real aufgenommen Bildes verwendet werden kann, um nach Wahl des Sprechers vor jedem Telefonge spräch das Gesicht des Sprechers darzustellen, um (2) graphi sche Gesichtsmerkmale gleichzeitig mit dem sprachlichen Aus druck des Sprechers zu modifizieren, wobei diese in nicht ausschließlicher Weise den Mund und das Lippengebiet des Sprechers betreffen, in Übereinstimmung mit Kodedaten, die durch die oben erwähnte Spracherkennungseinheit 24 detektiert wurden, und um (3) solche modifizierten Gesichtsmerkmale zu kodieren, um sie als Videokodedaten zum Telefongerät des Zu hörers, vorzugsweise unter Verwendung einer Datenkomprimie rung, zu übertragen, um die notwendige Datenübertragungskapa zität zu minimieren oder die Qualität des Bewegtbildes inner halb einer begrenzten Verarbeitungs- und Datenübertragungska pazität des Gerätes und der Telefonleitung zu erhöhen.

Die Bildverarbeitungseinheit im Gerät 28 des Zuhörers kann die Videokodedaten, die vom Gerät des Sprechers übertragen werden, dekodieren, um das Bild des Gesichts des Sprechers auf dem Schirm 16 im Gerät des Zuhörers darzustellen. Wenn das übertragene Videokodesignal komprimiert ist, kann das Ge rät 28 solche Kodedaten vor dem Datendekodieren expandieren.

Auf dem Bildschirm 16 wird das Bewegtbild des Gesichts des Sprechers, das vom Telefongerät des Sprechers übertragen wurde, wie bei einem konventionellen Bildtelefongerät darge stellt.

Das Bewegtbild des Gesichts des Sprechers, das durch eine Bildverarbeitungseinheit 26 verarbeitet ist, kann auf dem Bildschirm 16 vor seiner Übertragung nochmals betrachtet wer den.

Es wird nun Bezug genommen auf die Fig. 3 bis 5, in denen der wesentliche Teil der vorliegenden Erfindung als Flußdia gramme unter Bezug auf die bevorzugten Ausführungsformen, die in den begleitenden Zeichnungen dargestellt sind, beschrieben wird.

Diese Darstellungen dienen nur als Beispiel und sind nicht einschränkend zu verstehen. Die erfindungsgemäße Vorrichtung ist eine Vorrichtung, die von einem Mikrocomputer gesteuert wird, wobei Elemente, wie eine CPU, ein ROM und ein RAM, ver wendet werden und vorhanden sind, auch wenn sie in den Figu ren nicht gezeigt sind.

Wie in Fig. 3 gezeigt ist, wird eine Initialisierung des Ge rätes des Sprechers, wie das Speichern eines grundlegenden Bildes, das erneute Betrachten des Bildes, um eine Auswahl vorzunehmen und es zu senden, vor dem Telefongespräch durch das Telefongerät der vorliegenden Erfindung vorgenommen (Schritt S1).

Wie in Fig. 4 gezeigt ist, wird auf der Senderseite nach Be endigung der oben erwähnten Initialisierung (Schritt S10) mit der Übertragung begonnen (Schritt S11).

In der ersten Stufe der Übertragung wird überprüft, ob das Gerät des Sprechers eine Bildtelefonfunktion aufweist, und es wird geprüft, ob das Gerät des Zuhörers diese Funktion eben falls aufweist (Schritt S12).

Wie in Fig. 5 gezeigt ist, wird auf der Empfängerseite beim Empfang des Signals, das vom Gerät des Sprechers übertragen wird (Schritt S20), eine Initialisierungsoperation des Zuhö rers, die ähnlich der beim Gerät des Sprechers ist, vorgenom men (Schritt S21), und es wird eine passende Antwort auf die Untersuchung vom Gerät des Sprechers ausgeführt (Schritt S22).

Wenn die Antwort vom Gerät des Zuhörers, die vom Gerät des Sprechers empfangen wird, "Ja" ist (d. h. es besteht eine Vi deofunktion im Gerät des Zuhörers), startet das Gerät des Sprechers eine Kommunikation in der Bildtelefonbetriebsart mit einem Bildtelefonsignal (Schritt S14), wohingegen bei ei ner Antwort "Nein" die Telefonkommunikation nur in einer kon ventionellen Telefonbetriebsart erfolgt (Schritt S15).

Das Gerät des Zuhörers führt nach dem Abgeben einer Antwort auf die Untersuchung des Sprechers im Hinblick auf die Video funktion (Schritt S23) eine Telefonkommunikation entweder in der Bildtelefonbetriebsart (Schritt S24) oder in der konven tionellen Telefonbetriebsart (Schritt S25) durch.

Obwohl die vorhergehenden Beschreibungen für den Fall erfolg ten, bei dem die Videobilder nach einer graphischen Modifika tion der Bilder durch den sprachlichen Ausdruck des Sprechers im Gerät des Sprechers übertragen werden, kann ebenso eine graphische Modifikation des grundlegenden Bildes, das das Ge rät des Sprechers am Beginn der Telefonkommunikation übertra gen hat und das im Gerät des Zuhörers gespeichert wurde, durchgeführt werden.

Somit ist der Telefonbetrieb, der anhand des Telefonanrufs durch die Verwendung der vorliegenden Erfindung beschrieben wurde, ähnlich einem konventionellen Telefonbetrieb, mit der Ausnahme, daß die vorherigen Installation von mindestens ei nem grundlegenden Bild des Gesichts des Sprechers notwendig ist. Wenn ferner das Telefongerät des Zuhörers keine Bildte lefonfunktion, die kompatibel zum Gerät des Sprechers ist, aufweist, oder wenn der Zuhörer diese Funktion abschaltet, so wird das Gesicht des Sprechers nicht auf dem Schirm des Ge räts des Zuhörers dargestellt.

Eine Reihe von Technologien, um ein Datensignal, das durch die Spracherkennungseinheit erkannt wurde, zu verarbeiten und um Gesichtsmerkmale in Übereinstimmung mit Elementen des sprachlichen Ausdrucks des Sprechers zu überarbeiten, und um das Gesicht des Sprechers wirklichkeitsgetreu auf dem Bild schirm darzustellen, werden durch eine Kombination von Tech nologien, die allgemein verwendet und als Computergraphik technologien bekannt sind, implementiert, und Vorrichtungen, die im Telefongerät der vorliegenden Erfindung enthalten sind, werden durch die Verwendung allgemeinen Wissens und allgemeiner Praxis implementiert, so daß hier keine Beschrei bung in Bezug auf das tatsächliche Verfahren im Detail vorge nommen wird.

Die Beschreibung des Geräts der vorliegenden Erfindung und seiner bevorzugten Ausführungsform, soll anhand eines Tele fongerät dargestellt werden, das insbesondere unter Verwen dung einer allgemeinen öffentlichen Telefonschaltung, vor zugsweise einer ISDN-Schaltung oder einer digitalen Schaltung für die gleichzeitige Übertragung einer Sprachnachricht und eines Videodatenkodesignals erfolgt, wobei jedoch eine Über tragung durch ein drahtloses Kommunikationssystem, ein Satel litenkommunikationssystem, das Internet oder ein PC-Kommuni kationssystem ebenfalls für die vorliegende Erfindung verwen det werden kann, wobei es sich beim Telefongerät auch um ein PC-Gerät handeln kann, das mit einem Lautsprecher, einem Mi krofon und einer Wahlvorrichtung ausgerüstet ist.

Die Beschreibung des Geräts der vorliegenden Erfindung und seiner bevorzugten Ausführungsform ist als ein interaktives Telefongerät, das allgemein für den Sprecher und den Zuhörer verwendet werden kann, erfolgt, wobei die vorliegende Erfin dung jedoch auch als eine Vorrichtung für eine Einweg-Kommu nikation, ein Voice-Mail-System von einem Teilnehmer zu einem anderen Teilnehmer oder von einem Teilnehmer zu vielen ande ren Teilnehmern verwendet werden kann.

Somit liefert das Gerät der vorliegenden Erfindung eine Dar stellung einer Nachricht und damit harmonisierender Gesichts merkmale in wirklichkeitsgetreuer Darstellung auf einem Bild schirm, und die gleichzeitige Darstellung des Bildes zusammen mit der Sprachnachricht erhält man dadurch, daß sowohl die Sprachnachricht als auch ein einzelner Datenwert, der sich auf die Bilder bezieht, durch die gleiche Verbindungsleitung übertragen werden.

Claims

1. Telefongerät mit einem Bildschirm, der das Bild des Spre chers als ein Videobild während eines Gespräches zeigt, wobei das Gerät folgendes umfaßt:
eine Vorrichtung für die Speicherung von zumindest einem grundlegenden statischen Bild des Gesichts des Sprechers, das vor dem Telefongespräch vorbereitet wurde;
eine Vorrichtung zur Erkennung des sprachlichen Aus drucks des Sprechers und zur Detektion der notwendigen Sprachelemente, um das Bild des Gesichts so zu modifizieren, daß die Änderung der graphischen Gesichtsmerkmale in wirk lichkeitsgetreuer Harmonie mit dem sprachlichen Ausdruck des Sprechers erfolgt;
eine Vorrichtung zur Übertragung eines Videokodesignals des Gesichts des Sprechers mit seiner graphischen Veränderung an ein anderes Telefongerät; und
eine Vorrichtung zur Darstellung des Bilds des Gesichts mit der durch die Verarbeitung erfolgten graphischen Verände rung aus dem Videokodesignal auf dem Bildschirm.

2. Telefongerät mit einem Bildschirm, der das Bild des Spre chers als ein Videobild während eines Gespräches zeigt, wobei das Gerät folgendes umfaßt:
eine Vorrichtung für die Speicherung von zumindest einem grundlegenden statischen Bild des Gesichts des Sprechers, das vor dem Telefongespräch vorbereitet wurde;
eine Vorrichtung zur Übertragung des mindestens einen statischen Bilds des Gesichts an das andere Gerät;
eine Vorrichtung für das Speichern des grundlegenden statischen Bilds des Gesichts des Sprechers, das vom anderen Telefongerät empfangen wurde;
eine Vorrichtung zur Erkennung des sprachlichen Aus drucks des Sprechers und zur Detektion von Sprachelementen, die notwendig sind, um das Bild des Gesichts so zu modifizie ren, daß die Gesichtsmerkmale mit der graphischen Änderung in Harmonie mit dem sprachlichen Ausdruck des Sprechers darge stellt werden können;
eine Vorrichtung zur Modifizierung des empfangenen und gespeicherten statischen Bildes des Gesichts; und
eine Vorrichtung zur Darstellung des Bilds des Gesichts mit der graphische Veränderung als ein Bewegtbild auf dem Bildschirm.