DE69431858T2

DE69431858T2 - Übertragungsanordnung für Bild und Audio mit graphischer Aufzeichnungsmöglichkeit

Info

Publication number: DE69431858T2
Application number: DE69431858T
Authority: DE
Inventors: Anthony James Catanzaro; Steven Charles Dzik; Charles Hull; Mahendra Pratap; Jerome Prestinario; Minakanagurki Venkataswamy Ranganath; John Frank Ribera
Original assignee: AT&T Corp
Current assignee: AT&T Corp
Priority date: 1993-04-20
Filing date: 1994-04-13
Publication date: 2003-09-11
Anticipated expiration: 2014-04-14
Also published as: EP0624968A3; DE69431858D1; US5502727A; EP0624968A2; JPH0799540A; EP0624968B1

Description

Diese Erfindung betrifft die Übertragung von Bilddaten und insbesondere die Übertragung von Ton und grafischen Kommentardaten zusammen mit den Bilddaten.
Multimedia ist eine kommende Technologie, welche die Lieferung einer Kombination aus Ton, Video, Standbildern, Graphiktext und Kommentar zwischen Benutzern verspricht. Derzeit besteht eine Vielfalt von Standbildkommunikationsendgeräten, welche über eine analoge a/b-Telefonleitung verwendet werden können. Ein derartiges Produkt ist das AT&T-Videophon 2500, welches eine simultane Farbvideo- und Sprachkommunikation in Echtzeit über eine analoge Leitung bereitstellt. Ein weiteres Produkt, das Sony PVT-115, stellt Sprach- und Bildübertragung bereit, welche nicht simultan ist, und welche über keine grafische Kommentarfähigkeit verfügt. Noch ein weiteres Produkt, das Photophon von Image Data Corporation besitzt eine grafische Kommentarfähigkeit, aber Bild und Ton können nicht gleichzeitig gesendet werden; außerdem erfordert es eine externe Telefonschnittstelle. Das "Vone" von Comtech Lab besitzt eine Fähigkeit für simultane Sprache und Standbilder, stellt aber keine grafische Kommentarfähigkeit zur Verfügung. Somit liegt ein beständiger Bedarf für ein Endgerät vor, um eine "simultane" Sprach-, Bild- und grafische Kommentarübertragung über eine analoge Telefonleitung bereitzustellen.
Die Europäische Patentveröffentlichung Nr. 0 379 354 offenbart ein Zweiwege-Kommunikationssystem mit ersten und zweiten Endgeräten, wobei jedes Endgerät ein Kammeramittel zum Erzeugen von Videosignalen, ein Anzeigemittel zum Anzeigen von Bildern, ein Steuermittel zum Steuern der Übertragung und des Empfangs von Signalen an jedem Endgerät und ein Linienzeichnungsmittel enthält, das mit der Steuereinrichtung für die Erzeugung eines Liniensignals zur Übertragung mit den Videosignalen verbunden ist.
Patent Abstracts of Japan, volume 014, number 244 (E-0932), 24 May 1990 und JP 0206787 A (Nippon Telegraph and Telephone Corporation), 7 March 1999 offenbaren ein Paketübertragungssystem, in welchem empfangene Tonsignale von einem Empfänger decodiert und in einem Puffer in einer Reihenfolge gespeichert werden, damit diese Tonsignale in dem Empfänger mit den empfangenen Videosignalen synchronisiert werden können.
Gemäß der vorliegenden Erfindung, wird ein Telefonapparat gemäß Anspruch 1 und Verfahren zum Betreiben eines Telefonapparates gemäß Anspruch 7 bereitgestellt.
Gemäß der vorliegenden Erfindung erfaßt ein Telefonapparat Bild-, Ton- und grafische Kommentarsignale, welche als ein getrennter logischer Kanal in Datenpakete für eine simultane Übertragung über eine analoge Leitung codiert werden, die zwischen dem Apparat und einem Telefonwählnetz angeschlossen ist. Gemäß einem Aspekt der Erfindung codiert ein erstes Mittel das erfaßte Tonsignal in eine Gruppe von Tondatenpaketen, welche periodisch über eine analoge Leitung während eines ersten Zeitintervalls übertragen werden. Das Bildsignal, codiert als eine Gruppe von Bilddatenpaketen, und das Kommentarsignal, codiert als eine Gruppe von Kommentardatenpaketen, werden miteinander verschachtelt und mit den Tondatenpaketen übertragen. Die Tondatenpakete werden während eines ersten Zeitintervalls übertragen und die Bild- und Kommentardatenpakete werden während eines zweiten Zeitintervalls nach dem ersten Zeitintervall übertragen. Steuersignale für den Betrieb des Endgeräteapparates werden als Steuerdatenpakete codiert und ebenfalls während des zweiten Zeitintervalls übertragen. Ein weiteres Merkmal ermöglicht die Übertragung von Tondatenpaketen mit einer ersten periodischen Rate, wenn sich der Apparat in einem Bildübertragungsmodus befindet, und die Übertragung der Tondatenpakete mit einer schnelleren zweiten periodischen Rate, wenn sich der Apparat nicht in einem Bildübertragungsmodus befindet.

Kurzbeschreibung der Zeichnungen

Es zeigen:
Fig. 1 eine Blockdarstellung der vorliegenden Erfindung und wie diese in einem öffentlichen Telefonwählnetz verwendet werden kann;
Fig. 2 eine Blockdarstellung eines erweiterten Telefons gemäß der vorliegenden Erfindung;
Fig. 3 das Layout des Tastenfeldes des erweiterten Telefons;
Fig. 4A und 4B Flußdiagramme, die den Sendebetrieb des erweiterten Telefons beschreiben;
Fig. 5A und 5B Flußdiagramme, die den Empfangsbetrieb des erweiterten Telefons beschreiben;
Fig. 6 verschiedene Übertragungsprozeduren, die von der vorliegenden Erfindung verwendet werden;
Fig. 7 das Format des Tondatenpaketes;
Fig. 8 die Bild-, Kommentar- und Überwachungsdatenpakete;
Fig. 9 ein Flußdiagramm, das den Betrieb der Übertragung von Kommentardatenpaketen beschreibt; und
Fig. 10 ein Flußdiagramm, das den Betrieb des Empfangs von Kommentardatenpaketen beschreibt.

Detaillierte Beschreibung

In der nachstehenden detaillierten Beschreibung wird, wenn auf ein Element unter Verwendung einer aus drei Ziffern bestehenden Zahlenbezeichnung Bezug genommen wird, dieses Element anfangs in der Figur identifiziert, die durch die erste Ziffer angegeben wird (d. h., das verbesserte Telefon 101 wird anfangs in Fig. 1 identifiziert).
In Fig. 1 ist eine veranschaulichende Blockdarstellung eines Kommunikationssystems dargestellt, das erweiterte Telefone (z. B. 101, 105) gemäß der vorliegenden Erfindung verwendet. Das erweiterte Telefon 101 stellt eine Verbindung über eine analoge a/b-Leitung 102 durch das öffentliche Telefonnetz 103 und eine analoge T/R-Leitung 104 zu dem erweiterten Telefon 105 her. Das erweiterte Telefon 101 kann Videoeingangssignale von einer Kamera 106 oder einem Dokumentscanner 107 und Anzeigevideobilder auf einer Videoanzeige 108 erfassen. Die Kamera 106 kann ein Camcorder (Kamera-Recorder) oder eine Standbildvideokamera sein. Die Kamera 106 kann von dem erweiterten Telefon 101 abgenommen werden, um Bilder aufzunehmen, und mit dem erweiterten Telefon 101 verbunden werden, um die Bilder zu senden. Die Videoanzeige 108 kann ein TV-Monitor oder ein Personalcomputer-(PC)-Motor sein. Ein angeschlossenes grafisches Kommentarmittel 114 (z. B. ein Stift, eine Maus oder gleichartiges) kann zur Erzeugung eines grafischen Kommentars zu dem dargestellten Videobild verwendet werden. Dieses Kommentarsignal kann ebenfalls durch das erweiterte Telefon 101 über die analoge Leitung gesendet werden. Das erweiterte Telefon 101 enthält die herkömmlichen Komponenten eines Sprachtelefons einschließlich einer Wähltastatur, eines Lautsprecher/Mikrophons und verschiedener Merkmalstasten. Das erweiterte Telefon 101 enthält auch einen Speicher zum Speichern einer Vielzahl von Bildern einschließlich zugeordnetem grafischen Kommentar und Sprachkommentar.
Die erweiterten Telefone 101 und 105 arbeiten beide bei allen Betriebsmodi in einem Sende/Empfangs-Vollduplexmodus.
Wie es detaillierter in späteren Kapiteln beschrieben wird, codiert das erweiterte Telefon 101, nachdem es zuerst die Ton-, Bild- und Kommentarsignale erfaßt, das Tonsignal in eine Gruppe von Tondatenpaketen und die Bild- und Kommentarsignale in entsprechende Datenpakete, welche dann mit den Tondatenpaketen verschachtelt und mit einer periodischen Rate über die analoge Leitung übertragen werden.
Bei dem empfangenden erweiterten Telefon 105 werden die mit den Bild- und grafischen Kommentardatenpaketen verschachtelten Tondatenpakete über die analoge Leitung 104 empfangen, decodiert und an die entsprechenden Vorrichtungen ausgegeben. Das erweiterte Telefon 105 zeigt die Bilder und Kommentarsignale auf einer Videoanzeige 109 oder auf einem Monitor eines PC 113 an. Das erweiterte Telefon 105 kann die Videobilder in einem internen Speicher oder extern in einer Videodiskette 112, einem VCR 111, oder auf der Festplatte eines PC 113 speichern. Das erweiterte Telefon 105 kann auch eine Druckausgabe des angezeigten Bildes über einen getrennten Video- oder Laserdrucker 110 oder über einen Drucker des PC 113 bereitstellen. Es sei angemerkt, daß, obwohl für Darstellungszwecke unterschiedliche externe Geräte als mit dem erweiterten Telefon 101 an der sendenden Stelle und dem erweiterten Telefon 105 an der empfangenden Steile verbunden beschrieben wurden, jedes einzelne und alle externen Geräten mit jedem erweiterten Telefon 101 oder 105 verbunden sein können.
Nachstehendes beschreibt kurz eine typische Kommunikationsablauffolge zwischen erweiterten Telefonen 101 und 105. Ein Benutzer eines erweiterten Telefons 101 nimmt ab und wählt die Telefonnummer des erweiterten Telefons 105, um eine standardmäßige analoge Sprachverbindung aufzubauen. Danach können der Anrufer und der Angerufene eine Sprachkonversation durchführen. Sobald eine Sprachverbindung aufgebaut ist, kann entweder der Anrufer oder der Angerufene auch eine Bildverbindung aufbauen, indem er eine Bildsendetaste an seinem entsprechenden Telefon drückt. Wenn die Sendetaste gedrückt ist, schaltet jedes erweiterte Telefon einem festgelegten Protokoll folgend von dem analogen Sprachverbindungsmodus auf einen digitalen Bildverbindungsmodus um. In dem digitalen Bildverbindungsmodus wird ein Bildsignal, welches von der Kamera 106, dem Dokumentscanner 107 oder aus einem internen Speicher (z. B. ein zuvor gespeichertes Bild) stammt, zusätzlich zu den Sprachsignalen über das öffentliche Telefonnetz 103 zu dem erweiterten Telefon 105 gesendet, wo das Bildsignal auf einem Monitor 109 dargestellt und das Sprachsignal über ein Lautsprecher/Mikrophon 251 ausgegeben wird. Der Benutzer an jedem Ende kann die Bildübertragung unterbrechen oder abbrechen. Gemäß der vorliegenden Erfindung können die Benutzer bei jedem von den erweiterten Telefonen die Sprachkommunikation fortsetzen und/oder eine grafische Kommentierung an dem auf den Monitoren 108 und 109 dargestellten Videobild durchführen. Die Sprachkommunikations- und grafischen Kommentarsignale von beiden Seiten werden in einem verschachtelten Format gesendet und empfangen, um sicherzustellen, daß die Kommentare (Sprachkommentare) jedes Benutzers, die während der grafischen Kommentierung des dargestellten Videosignals gemacht werden, synchron zu dem grafischen Kommentar erfolgen. Ferner können, wenn das Videobild gespeichert wird, der zugeordnete grafische Kommentar und der Sprachkommentar optional mit dem Videobild gespeichert werden. Der grafische Kommentar kann auch getrennt mit oder ohne den zugeordneten Sprachkommentar gespeichert werden. Auf diese gespeicherten Bilder und den grafischen Kommentar kann man beliebig zugreifen und diese anzeigen. Ein Sprach- oder Bildtelefonruf wird in der herkömmlichen Weise eines Sprachtelefonrufes durch Aufhängen des Handapparates beendet.
In. Fig. 2 ist eine veranschaulichende Blockdarstellung eines erweiterten Telefons (z. B. 101) dargestellt, das für die Beschreibung des Betriebs der vorliegenden Erfindung nützlich ist. Das erweiterte Telefon enthält einen analogen Videoprozessor 220, welcher analoge Videosignale von einer Videoeingabevorrichtung 231 (z. B. einer Kamera 106) empfängt, und analoge Videosignale an eine Videoausgabevorrichtung 232 (z. B. an einen Videoanzeigemonitor 109) ausgibt. Diese Videosignale können herkömmliche analoge Videosignale in den standardmäßigen NTSC- oder PAL-Videoformaten sein. Die analoge Videoverarbeitungseinheit 220 empfängt auch grafische Kommentarsignale aus der Kommentarvorrichtung 233 (z. B. einem Stift oder einer Maus 114). Die analoge Videoverarbeitungseinheit 220 enthält einen digitalen Signalprozessor 221, eine Eingabe/Ausgabe-Steuerung 222, einen Videosignal-Codierer/Decodierer (Codec) und einen Speicher der RAM, ROM und VRAM zum Speichern von Daten und Programmen aufweist, die von dem digitalen Signalprozessor 221 genutzt werden.
Videosignale werden von der Videoeingabevorrichtung 231 erzeugt, welche von dem Decoder 227 decodiert werden, von einer A/D-Einheit 226 in ein digitales Signal umgewandelt und in einem Rahmenpuffer (VRAM) 225 gespeichert und von dem digitalen Signalprozessor 221 verarbeitet. Die von der Kommentarvorrichtung 233 empfangenen grafischen Kommentarsignale werden über eine I/O-Steuerung 222 in den digitalen Signalprozessor 221 zur Verarbeitung eingespeist. Der digitale Signalprozessor komprimiert die Bildsignale unter Verwendung des allgemein bekannten internationalen JPEG-Kompressionsstandards für fotografische Bilder mit den nachstehend beschriebenen Verbesserungen. Der digitale Signalprozessor 221 codiert und komprimiert auch die grafischen Kommentardaten unter Verwendung einer allgemein bekannten Kettencodierung. Das Bild und der Kommentar werden gemäß einer später beschriebenen Prozedur zugeordnet. Diese kombinierte Information wird über den Pfad 235 an einen Hostprozessor 260 gesendet. Der digitale Signalprozessor 221 verwendet ein Bildverwaltungsprogramm, welches die Verarbeitung der von der Videoeingabevorrichtung 231 empfangenen Videosignale steuert. Ein herkömmliches Anzeigeverwaltungsprogramm steuert die Verarbeitung und Anzeige von Text und/oder Grafiken, welche an die Videoanzeige 232 ausgegeben werden. Ein Kommentarverwaltungsprogramm (Fig. 10) steuert die Verarbeitung der von der Kommentarvorrichtung 233 empfangenen Kommentarsignale. Ein Peripherieverwaltungsprogramm steuert die I/O-Anschlußsteuerung 222, welche eine Schnittstelle zu der Kommentarvorrichtung 233, dem Drucker 110 und dem PC 113 bildet, welche mit erweiterten Telefonen verbunden sein können.
Die Verbindbarkeit zu dem PC 234 wird durch einen parallelen Port zu dem Prozessor 221 bereitgestellt. Eine Microsoft Windows 3.1 Anwendung (Microsoft Windows 3.1 ist ein Warenzeichen von Microsoft Corporation) auf dem PC wird von einem darunter liegenden Parallelporttreiber und anderen auf dem ROM 124 residenten Dienstprogrammen unterstützt. Die PC- Anwendung initialisiert und startet den Parallelport für seine Aktivität.
Der digitale Signalprozessor 221 stellt die Übersetzung zwischen dem JPEG-Austauschdateiformat und dem BMP-Dateiformat für Rastergrafikbilder bereit, das für das Windowsprogramm verwendet wird. Sobald ein Bild an einen PC übertragen wird, hat das erweiterte Telefon keine weitere Kontrolle über dieses Bild mehr, und das PC- Anwendungsprogramm übernimmt dieses.
Der Benutzer kann ein Bild von der PC-Festplatte in das "Bildfenster" übernehmen. Es wird an die Videoverarbeitungseinheit 220 in einem vereinbarten Format (z. B. BMP) hinunter geladen. Sobald sich das Bild in der Videoverarbeitungseinheit 220 befindet, wird es behandelt, als ob es von einem Videoeingang 231 (z. B. einem Camcorder) käme.
Die Tonsignalverarbeitungseinheit 240 empfängt ein Ton- (Sprach)-Signal aus dem Lautsprecher/Mikrophon 251 oder Handapparat, welches abgetastet, (z. B. alle 20 Millisekunden) durch den Codec 242 codiert und von dem digitalen Signalprozessor 241 in ein 6,8 Kb/s komprimiertes digitales Signal komprimiert und verarbeitet wird, welches über den Pfad 243 ausgegeben wird. Der digitale Signalprozessor 241 verwendet einen Code Excited Linear Prediction Plus-(CELP PLUS)-Algorithmus, um empfangene Sprachsignale zu komprimieren. Der CELP PLUS Algorithmus extrahiert Sprachparameter, welche in 17 Parameter mit jeweils einem Byte umgewandelt werden. Somit führen jeweils 20 ms Sprache zu einem digitalen Tonsignal von 17 Byte. Der digitale Signalprozessor 241 steuert die Tonsignalverarbeitung unter Verwendung eines Tonverwaltungsprogramms.
Der Hostprozessor 260 enthält einen Prozessor 261, einen RAM- 262 und ROM- 263 Speicher zum jeweiligen Speichern von Daten und von Programmen zum Ausführen der Funktionen des Hostprozessors 260. Der Hostprozessor 260 empfängt das komprimierte digitale Ton-(Sprach)-Signal über den Pfad 243 aus der Tonsignalverarbeitungseinheit 240. Der Hostprozessor 260 empfängt über die JPEG-Schnittstelle 265 die digitalisierten komprimierten Bild- und Kommentarsignale, die über den Pfad 235 von dem analogen Videoprozessor 220 empfangen wurden. Der Hostprozessor 260 empfängt auch Steuersignale über den Pfad 254 aus dem Tastenfeldprozessor 251 als Reaktion auf Benutzereingaben auf der (in Fig. 3 dargestellten) Tastenfeldeinheit 252 und den Gabelumschalter 253. Diese Benutzereingaben (z. B. Tastendrücke) werden zum Aufbau des analogen Sprachmodus- oder digitaler Kommunikationsverbindungen des erweiterten Telefons 101 zu dem öffentlichen Netz 103 verwendet. Der Prozessor 258 steuert den Betrieb des Tastenfeldes 252 und des Lautsprecher/Mikrophons 251 unter Verwendung eines Sprachtelefonverwaltungsprogramms. Der Hostprozessor 260 gibt die digitalen Ton- und Bildsignale über einen Pfad 264 an einen Modem 280.
Der Modem 280 enthält einen digitalen Signalprozessor 281, Codec 282, eine analoge Schnittstellenschaltung 283 und eine Datenpumpe (CAMIL2) 284. Der digitale Signalprozessor 281 des Modems 280 arbeitet unter der Steuerung eines Modemverwaltungsprogramms. Der digitale Signalprozessor 281 verwendet den Standard V.32BIS-Modem mit Erweiterungen, um eine mehrdimensionale Codierung bei 2800 Baud und 3200 Baud zur Erzeugung von 9,6, 14,4, 18,8 und 19,2 kbps Datenraten anzuwenden. Der Modem 280 implementiert einen schnellen Startvorgang, um die Zeitmenge zu minimieren, die der Benutzer auf den Beginn der Bildaustauschsitzung wartet. Ein herkömmlicher Startvorgang mit einem Leitungscharakterisierungsprozeß mit einer Phasenregelschleife wird für diesen Zweck verwendet.
Die analoge Schnittstellenschaltung 283 des Modems 280 empfängt ein digitales Schnittstellen-Steuersignal über den Pfad 256 von der Leistungsschaltereinheit 255. Dieses digitale Schnittstellen-Steuersignal, welches als Reaktion auf das Drücken der Sendetaste 310 durch den Benutzer gesendet wird, ermöglicht dem Modem 280 den digitalen Verbindungsmodus aufzubauen, so daß digitale Daten über das öffentliche Telefonnetz gesendet werden können. Der digitale Signalprozessor 281 steuert den Codec 282 und die Datenpumpe 284, um ein digitales Datensignal aus den digitalen Tonsignalen zu erzeugen, das über den Pfad 264 empfangen wird. Das digitale Datensignal wird über den Pfad 258 an eine a/b-Leitungsschnittstellenschaltung 290 ausgegeben. Der Modem 280 sendet als Reaktion auf die Betätigung der Sendetaste ein Startsignal über das öffentliche Telefonnetz 103 an das angerufene erweiterte Telefon. Das Startsignal deaktiviert die Echounterdrückung und Entzerrung in dem öffentlichen Telefonnetz 103. Der Ton wird während dieser digitalen Verbindungsaufbauzeitperiode stummgeschaltet. Der Modem an dem angerufenen Telefonort hört ständig, um das Startsignal zu empfangen. Der Modem 280 versucht die höchste Datenrate (d. h. 19,2 Kb/s) für die Übertragung zu nutzen. Wenn die analoge Leitung (z. B. 102) die höchste Datenrate nicht handhaben kann, dann versucht der Modem 280 aufeinanderfolgende niedrigere Datenraten solange, bis sich ein akzeptables Fehlerratenverhalten ergibt. Dieses kann beispielsweise geschehen, wenn die Leitung gestört ist, oder wenn die Telefongeräte am rufenden oder angerufenen Ort nicht miteinander kompatibel sind.
Die Leitungsschnittstellenschaltung 290 verbindet das erweiterte Telefon 101 mit der analogen. Leitung 102 und dem öffentlichen Netz. Die Leitungsschnittstellenschaltung 290 empfängt analoge Tonsignale im Sprachmodus über den Pfad 257 von dem Leistungsschalter 255. Die Leitungsschnittstellenschaltung 290 ist auch über die automatische Antwortschaltung 291 mit der Tastenfeldschaltung 252 verbunden. Der Leistungsschalter 255 arbeitet unter der Steuerung eines Steuersignals, welches über den Pfad 259 vom Prozessor 258 (während der Prozessor 258 unter der Steuerung des Hostprozesses 260 arbeitet) empfangen wird. Wenn das erweiterte Telefon 101 in einem Sprachmodus (d. h., die Taste "Sende Video" wurde nicht gedrückt) ist, wird das Ton- (Sprach)-Signal aus dem Lautsprecher/Mikrophon 251 mittels des Leistungsschalters 255 über den Pfad 257 mit der Leitungsschnittstellenschaltung 290 verbunden. Während eines digitalen Videoverbindungsmodus verhindert der Leistungsschalter 255, daß das Tonsignal aus dem Lautsprecher/Mikrophon 251 über den Pfad 257 ausgegeben wird. Statt dessen wird das Tonsignal aus dem Lautsprecher/Mikrophon 251 durch die Tonverarbeitungsschaltung 240 und den Hostprozessor 280 verarbeitet und zusammen mit Bildsignalen über den Modem 280 ausgegeben. Der Leistungsschalter 255 steuert den Betrieb des Modems 258 unter Verwendung eines digitalen Schnittstellen-Steuersignals 256 unter der Steuerung des Prozessors 258, wobei das digitale Schnittstellen-Steuersignal 256 von dem Prozessor 258 als Reaktion auf die Betätigung der Taste "Sende Video" durch den Benutzer erzeugt wird.
Unter Bezugnahme auf Fig. 3 beschreiben wir das Tastenfeld 252 des erweiterten Telefons 101. Der Betrieb des Tastenfeldes 252 und des Lautsprecher/Mikrophons 151 wird durch den Prozessor 258 unter Verwendung des Sprachtelefonverwaltungsprogramms gesteuert. Die Wähltastaturtasten 301, die Lautsprecher/Mikrophon-Taste 302, die Lautstärkesteuertaste 303, die Haltetaste 304, die Stummschalttaste 305 und die Wahlwiederholungstaste 306 führen allgemein bekannte Funktionen durch.
Die Sendetaste 310 wird zum Verändern des Betriebsmodus des Bildtelefons von einem analogen Sprachrufmodus in einen digitalen Rufmodus verwendet. Eine der Sendetaste zugeordnete LED blinkt während des Verbindungsversuches und bleibt erleuchtet, sobald die Verbindung erfolgreich ist. Die Abbruchtaste 311 wird zur Aufhebung der Wirkung der Sendetaste 310 verwendet. D. h., die Sendetaste 311 wird verwendet, wenn die Sendetaste 310 unabsichtlich gedrückt wird. Die Abbruchtaste 311 bewirkt, daß ein Ruf in dem digitalen Modus verbleibt, obwohl die Bildübertragung/Empfang gestoppt wird, während die Sprachübertragung fortgesetzt wird. Die Flashtaste 307 bringt den Betrieb des erweiterten Telefons 101 in den analogen Sprachmodus zurück.
Die Speichertaste 313 wird zum Speichern des momentan dargestellten Bildes in der nächsten verfügbaren Speicherstelle verwendet. Wenn nach dem Speichern dieses Bildes ermittelt wird, daß der restliche verfügbare Bildspeicherraum kleiner als der zur Speicherung eines zusätzlichen Bildes erforderliche ist, wird eine Warnmeldung und eine Vorschlag/Hilfe-Meldung angezeigt. Die Löschtaste 312 löscht das momentan angezeigte Bild aus dem Speicher. Wenn das angezeigte Bild von einer entfernten Stelle empfangen wird, wird der Empfangspuffer gelöscht. Wenn sich das Bildtelefon in dem lokalen Videomodus befindet, hat das Drücken der Löschtaste 312 keine Auswirkung.
Die Menütaste bewirkt, wenn sie gedrückt wird, die Anzeige eines Menüs. Das Menü ermöglicht es dem Benutzer verschiedenen Optionen und Bildverwaltungsfunktionen einzustellen. Die Wähltastatur 301 wird als ein Cursorfeld zur Durchführung von Auswahlschritten von Menüpunkten verwendet.
Die Speichertaste 315 ermöglicht die Anzeige aller in dem erweiterten Telefon 101 gespeicherten Bilder. Die Nächstes- Taste 316 und die Vorheriges-Taste 317 ermöglicht es einem Benutzer gespeicherte Bilder für die Anzeige auszuwählen.
Die Letzte-Eingabe-Taste 318 zeigt das zuletzt von der entfernten Seite empfangene Bild. Die Vorschau-Taste 319 schaltet zwischen einer Live-Videoeingabe und dem Einfrieren eines Rahmens des Eingabevideos um.

Sendebetrieb des erweiterten Telefons

Unter gemeinsamer Bezugnahme auf die Fig. 1 bis 3, 4a, 4b, 6- 9 beschreiben wir den Betrieb des erweiterten Telefons. Zu Beginn befindet sich das erweiterte Telefon in einem aufgelegten Zustand gemäß Darstellung im Schritt 401. Im Schritt 403 geht das erweiterte Telefon in einen abgenommenen Zustand als Reaktion auf das Abnehmen des Handapparates durch einen Benutzer oder durch Drücken der Lautsprechertaste 302 über. Im Schritt 405 legt, wenn kein Wählton empfangen wird, der Benutzer den Handapparat auf die Gabel zurück oder drückt noch einmal die Lautsprecher/Mikrophon-Taste 302, um das erweiterte Telefon in den aufgelegten Zustand zurück zu bringen. Wenn ein Wählton empfangen wird, wählt der Benutzer im Schritt 407 die Nummer des angerufenen Teilnehmers von Hand unter Verwendung der Wähltastatur 301, oder automatisch unter Verwendung der Wahlwiederholungstaste 306. Im Schritt 409 bringt der Benutzer, wenn der angerufene Teilnehmer nicht antwortet, das erweiterte Telefon in den aufgelegten Zustand 401 zurück. Wenn der angerufene Teilnehmer dem Telefon antwortet, wird eine Verbindung im analogen Sprachmodus zwischen der angerufenen und der anrufenden Stelle aufgebaut. Dieser analoge Sprachmodus kann zwischen einem anrufenden erweiterten Telefon und einem angerufenen erweiterten Telefon oder einem angerufenen herkömmlichen Sprachtelefon aufgebaut werden. Die nachstehenden Diskussionen nehmen an, daß sowohl die anrufende als auch die angerufene Stelle erweiterte Telefone aufweisen.
Im Schritt 413 läuft, wenn weder der anrufende noch der angerufene Teilnehmer ein Bild senden möchte, die Sprachkonversation untei Verwendung herkömmlicher analoger Sprachsignale weiter ab, bis irgendein Teilnehmer entscheidet, die Konversation, wie in Schritt 414 dargestellt, zu beenden. Wenn sich im Schritt 413 der Anrufer entscheidet ein Bild an die angerufene Stelle zu senden, wählt der Benutzer im Schritt 415 eine Videoquelle und drückt dann im Schritt 416 die Sendetaste 310. Wie zuvor beschrieben, kann die Videoquelle eine Kamera 106, wie z. B. ein Camcorder oder eine Dokumentscannvorrichtung 107 sein. Im Schritt 417 wird die Tonverbindung stummgeschaltet und das erweiterte Telefon sendet einen V.25-Antwortton. Danach initialisiert der Modem 180 des erweiterten Telefons eine V.32BIS-Startablauffolge. Wie vorstehend beschrieben, deaktiviert dieses Startsignal die Echounterdrückung und Entzerrung in dem öffentlichen Netz 103. Im Schritt 419 tritt dann, wenn die Videoverbindung nicht erfolgreich ist, der analoge Sprachmodus wieder auf und es wird eine geeignete Meldung auf dem Monitor 108 angezeigt.
Wenn die Videoverbindung erfolgreich ist, werden die Schritte 421 und 423 der physikalischen Schicht (Bitübertragungsschicht) durchgeführt. Im Schritt 421 kommunizieren die Modems 280 bei den angerufenen und anrufenden verbesserten Telefonen miteinander, um die optimale Datenrate für eine Übertragung zwischen diesen aufzubauen. Die Modems versuchen eine digitale Verbindung mit der höchst möglichen Datenrate wie vorstehend beschrieben aufzubauen. Der Ton wird während dieser Aufbauperiode stummgeschaltet. Im Schritt 432 bauen die anrufende und die angerufene Stelle eine Verbindungsschicht LAPB PLUS unter Verwendung einer standardmäßigen HDLC-Protokollablauffolge auf. Im Schritt 425 kehrt, wenn die Schritte 421 und 423 nicht erfolgreich sind, der analoge Sprachmodus zurück. Wenn im Schritt 425 ein Erfolg erzielt wird, ist die Verbindungsschicht (Sicherungsschicht) vollständig und im Schritt 427 wird eine Netzschicht X.25 (Vermittlungsschicht) aufgebaut. Danach wird eine Neustartanzeigemeldung gesendet und das erweiterte Telefon wartet auf eine Bestätigungsmeldung. Wenn der Schritt 427 nicht erfolgreich ist, wird der analoge Sprachmodus wieder aufgebaut. Wenn im Schritt 429 ein Erfolg erreicht wird, ist die Netzschicht vollständig und der digitale Kommunikationsmodus im abgehobenen Zustand wird im Schritt 431 aufgebaut, und das erweiterte Telefonist zum Senden von Sprach- und Bildsignalen bereit. Das erweiterte Telefon befindet sich nun in der Anwendungsschicht-(Verarbeitungsschicht)-folge. Im Schritt 432 kehrt, wenn die Flashtaste gedrückt wird, die Steuerung zu dem Schritt 411 zurück, während anderenfalls der Schritt 433 ausgeführt wird.
Im Schritt 433 ermittelt das erweiterte Telefon, ob ein Bild zu senden ist. Wenn der Benutzer nicht die Bildsendetaste gedrückt hat, wird in den Schritten 435 und 437 kein Bild gesendet, und der Prozessor 261 sendet Tondatenpakete mit der schnellen Aktualisierungsrate (600 von Fig. 6). Im Schritt 437 wird das (im Schritt 440 erzeugte) Tonsignal in Tonpakete codiert und mit allen codierten Steuersignalpaketen (Schritt 438) und/oder codierten Kommentarsignalpaketen (Schritt 439) verschachtelt und über die analoge Leitung 102 gesendet. Diese Verschachtelung der Tonsignalpakete mit Kommentarsignalpaketen führt zu einer näherungsweisen Synchronisation zwischen den zwei Signalen. Danach kehrt die Steuerung zu dem Schritt 432 zurück.
Unter spezieller Bezugnahme auf Fig. 5 sehen wir, daß, wenn keine Bildübertragung stattfinden soll (kein Bildbefehl im Schritt 433 gesendet wird), digitalisierte Tonabtastwerte periodisch (während der Zeitperiode A) mit einer ersten vorbestimmten Rate (40 ms in unserem Beispiel) eingestellt sind. Wie vorstehend beschrieben, erzeugt die Tonverarbeitungseinheit 240 nur einen digitalen Tonabtastwert von 17 Byte für alle 20 ms eines analogen Tonsignals. Die zwei digitalisierten Tonabtastwerte von 17 Byte, die zwei analoge Tonsignalintervalle von 20 ms aus dem Prozessor 241 repräsentieren, werden von einem Prozessor 261 in eine Tondatenpaketmeldung 710 von Fig. 7 gepackt.
Unter Bezugnahme auf Fig. 7 beschreiben wir die Paketmeldungen der Anwendungsschicht. In 710 ist eine Verbindungsschicht-Tonpaketmeldung, die einen LAPD- und Tonrahmen (welche im Schritt 440 erzeugt und während des Schrittes 437 gesendet werden) enthält dargestellt. Die Teile des Tonrahmens sind durch 720 dargestellt. Der Tonrahmen umfaßt ein Flagsegment 721, ein Adressensegment 722, ein Steuersegment 723, ein Datensegment 724, ein Fehlerprüfsegment 725 und ein Flagsegment 726. Das Flagsegment 721, ein Byte lang, identifiziert Rahmen. Das Adressenfeld 722, ein Zwei-Byte-Adressenfeld identifiziert Tonrahmen. Das Steuersegment 723, ein Byte, stellt Ablaufsteuersignale bereit und definiert den Rahmentyp als Daten oder Steuerung. Das Fehlerprüfsegment 725 enthält einen zyklisch redundanten Code (CRC) von zwei Bytes für Fehlerprüfzwecke. Ein Tonrahmen wird verworfen, wenn ein Fehler in dem CRC detektiert wird. Das Datensegment 724 ist 34 Bytes lang und enthält zwei Abtastwerte von 17 Byte. Ein weiteres Flagsegment 726, ein Byte lang, vervollständigt den Tonrahmen 720. Somit ist der Tonrahmen 720 41 Bytes lang.
Wenn wir annehmen, daß die Datenübertragungsrate 14,4 kbps beträgt, benötigt der Tonrahmen 720 etwa 23 ms zur Übertragung. Gemäß Bezugnahme auf Fig. 6 belegt der Tonrahmen 720 das Segment A, 601, der "Kein Bild"-Übertragungsfolge 600. Somit verbleiben 17 ms (Segment B, 602) bevor der nächste Tonrahmen oder die Meldung 603 zu senden ist. Dieses Segment B wird zum Senden von Kommentar- oder Steuersignalen (der Schritte 439 bzw. 438) verwendet. Wenn ein Benutzer eine oder mehrere Tasten drückt, werden diese Tasten jeweils unter Verwendung von einem oder mehreren Bytes durch den Tastenprozessor 258 codiert und sie werden in den Schritten 437 und 438 als ein Teil eines Steuerrahmens 720 (das Steuerfeld 723 zeigt an, daß es eine Steuermeldung ist) im Segment B zusammen mit den Tonrahmen 720 im Segment A gesendet. Der Steuermeldungsrahmen hat dasselbe Format wie der Rahmen 720, wobei das Datensegment 724 Steuerdaten anstelle des digitalisierten Tons enthält.
Zusätzlich kann im Schritt 439, wenn ein grafisches Kommentarsignal durch den Benutzer erzeugt wurde (die später diskutierte Fig. 9 beschreibt diesen Prozeß), dieser durch sich selbst in einer getrennten Kommentarrahmenmeldung 720 im Segment B ebenfalls gesendet werden. Man beachte, daß sowohl das Kommentarsignal als auch das Steuersignal als getrennte Rahmenmeldungen im Segment B gesendet werden. Man beachte, daß das Steuerfeld 723 auch spezifiziert, ob das Datenfeld 724 aus Steuer- oder Kommentardaten besteht. Wenn nicht genügend Zeit ist, um sowohl das Steuersignal als auch das Kommentarsignal im Segment B 602 zu senden, wird eines von diesen in dem nächsten Segment B 604 gesendet.
Wir kehren zu Fig. 4, Schritt 433 zurück. Wenn der Prozessor 261 ermittelt, daß der Benutzer ein Bild senden möchte, verwendet das erweiterte Telefon 101 eine Tonsignal- Aktualisierungsrate von 100 ms. Somit erfolgt die Tonübertragung, Schritt 442, mit der Bilddatenübertragung gemäß Darstellung durch 610. Die Verwendung der periodischen Tonsignal-Aktualisierungsrate von 100 ms bedeutet, daß fünf Tonsignalabtastwerte periodisch während jedes Segmentes A (611, 613, 615 usw.) gesendet werden, während Bilddaten, Steuerdaten oder Kommentarsignale im Segment B (612, 614, 616 usw.) gesendet werden. Da fünf Tonsignalabtastwerte alle 100 ms statt zwei Tonsignalabtastwerte alle vierzig ms gesendet werden, kann die Qualität des Tones bei dem empfangenden erweiterten Telefon etwas geringer sein. Man beachte, daß immer noch alle Tonabtastwerte gesendet werden, wobei sie jedoch mit dem gerade gesendeten Bild- oder Kommentarsignal nicht synchronisiert sein können.
In dem "Übertragen mit Bilddaten"-Modus sammelt der Prozessor 261 fünf Tonabtastwerte (jeweils 20 ms), bevor diese in Segment A übertragen werden. Somit ist die Größe des Datenfeldes 724 von Fig. 7 gleich 5 · 17 Bytes oder 85 Bytes. Gemäß Bezugnahme auf 611 von Fig. 6 ist die Gesamtlänge der Meldung des Segmentes A dann 92 Bytes lang und benötigt etwa 51 ms zur Übertragung. Somit verbleiben 49 ms, um alle Bild-, Steuer- oder Kommentarsignale im Segment B (612) zu übertragen.
Gemäß Darstellung durch 620 enthält das erste Segment B (612) die Anforderung, das Steuersignal 621 zu senden (Schritt 433 von Fig. 4), und, falls es einwandfrei durch das entfernte erweiterte Telefon bestätigt, den Befehl "Starte Bild" 622 (Schritt 449 von Fig. 4).
Nachdem die nächsten fünf Tonabtastwerte im Segment A (613) gesendet sind, können die Bildpakete im Segment B (614, 616 usw.) gesendet werden. Unter Bezugnahme auf 630 stellen wir ein fünf Bildpakete (Bildpakete 1 bis 5) umfassendes typisches Segment B dar. Nachdem fünf Bildpakete gesendet sind, wartet der Hostprozessor 260 auf eine Bestätigung, daß sie einwandfrei empfangen wurden. Jedes Bildpaket wird unter Verwendung eines Netzschichtformates 810 von Fig. 8 gesendet, um das korrekte Bestätigungsprotokoll bereitzustellen, das von X.25 benötigt wird. Die Bilddaten werden mit jeweils 12 Bytes zu einem Zeitpunkt (Benutzerdaten 817) gesendet, und die restlichen Felder 811 bis 816 erfordern vier Bytes.
Unter spezieller Bezugnahme auf Fig. 8 beschreiben wir die Bild-, Kommentar- und Überwachungsmeldungen gemäß Darstellung durch Fig. 810. Die Meldung 810 enthält eine Vielzahl von Segmenten, welche die Gruppenrahmenidentität (GFID) 811, eine logische Gruppe 812, einen logischen Kanal 813, eine Sendefolge 814, eine Empfangsfolge 815, ein M-Bit 816 und Benutzerdaten 817 umfassen. Die GFID 811 identifiziert die Gruppenrahmennummer. Die logische Gruppe 812 identifiziert die Gruppennummer der Signalquelle. Die logische Kanalnummer 813 spezifiziert einen von einer Vielzahl von Kanaltypen. Diese Kanaltypen können ein Überwachungs-, Bild- oder Kommentartyp sein, welche jeweils durch eine eindeutige binäre Nummer identifiziert sind. Der Typ des logischen Kanals 813 identifiziert den Typ des Benutzerdatenfeldes 817, das in diesen Meldungsrahmen 810 gesendet wird. Somit sind dann, wenn der logische Kanal eine Meldung des Überwachungstyps anzeigt, Überwachungsdaten in dem Datenfeld 817. Beispiele von Überwachungsbefehlen umfassen das Drücken von Schlüsseltasten, den Austausch von Gerätefähigkeiten und die Erlaubnis zum Senden von Bildmeldungen. Die grafischen Kommentarsignale werden in einem späteren Kapitel diskutiert. Die Sendefolge 814 ist eine Identifizierungsnummer für diese Meldung 810. Die Empfangsfolge 815 teilt dem entfernten Ende mit, welches die zuletzt einwandfrei empfangene Meldung von dem fernen Ende war. Das M-Bit 816 ist ein Fortsetzungsbit, welches signalisiert, daß ein weiterer Rahmen folgt.
Die Netzschichtmeldung 810 ermöglicht dem lokalen erweiterten Telefon 101 zu wissen, welches das von dem erweiterten Telefon 105 zuletzt einwandfrei empfangene Bildpaket war. Somit kann jedes nicht einwandfrei empfangene Bildpaket und anschließende Bildpakete dann als ein Teil der nächsten fünf Bildpakete, die während des nächsten Segmentes B gesendet werden, zurück übertragen werden. Beispielsweise würde unter Bezugnahme auf Fig. 6, wenn die Pakete 1 bis 5 in dem ersteren Segment B (614) gesendet würden und das Paket 4 fehlerhaft wäre, während des nächsten Segmentes B (616) der Hostprozessor die Pakete 4 und 5 zurück übertragen und neue Bildpakete 6, 7 und 8 senden.
Zurückkehrend zu Fig. 8 wird die Netzschichtmeldung 810, die ein Bildpaket 817 von 12 Byte und Netzschichtzusatzdaten von 4 Bytes (Felder 811 bis 816) enthält, formatiert. Die Netzschichtmeldung wird dann das Datenfeld 724 der Verbindungsschichtmeldung 720. Somit enthält die Verbindungsschichtmeldung 720 in dem Bilddatenmodus 23 Bytes (16 plus 7 Zusatzdaten) pro Bildpaket. Bis zu fünf Bildpakete können in einem Intervall eines Segmentes B (614) gemäß Darstellung bei 630 gesendet werden. Danach erwartet das sendende erweiterte Telefon ein Bestätigungssignal von dem erweiterten Telefon an dem fernen Ende.
Alternativ kann gemäß Darstellung durch 640 ein Segment B eine Kombination von Bildpaketen, Steuersignalen und Kommentarsignalen enthalten.
Zurückkehrend zu unserer Diskussion von Fig. 4, gibt in dem Schritt 443 das rufende erweiterte Telefon eine Anforderung zum Senden einer Bildmeldung aus, und wartet auf eine Erlaubniserteilungsmeldung von der Stelle des angerufenen erweiterten Telefons. Wenn die Erlaubnis im Schritt 445 verweigert wird, wird im Schritt 447 eine Meldung auf dem Monitor der rufenden Stelle des erweiterten Telefons angezeigt. Wenn die Erlaubnis im Schritt 445 erteilt wird, wird ein Bildstart-Befehl im Schritt 449 gesendet und das erweiterte Telefon sendet Bildpakete. Wenn im Schritt 451 kein Bestätigungssignal von dem fernen Ende empfangen wird, wird der Schritt 449 wiederholt. Wenn ein Bestätigungssignal empfangen wird, wird im Schritt 453 eine Gruppe von Bildpaketen (5 in unserem Beispiel) gesendet (vorstehend beschrieben und durch 630 von Fig. 6 dargestellt). Im Schritt 455 wartet das erweiterte Telefon 101 auf eine positive Bestätigung. Wenn im Schritt 457 keine X.25-Fehlermeldung empfangen wird, werden im Schritt 459 die nächsten fünf Bildpakete gesendet.
Wenn eine X.25-Fehlermeldung empfangen wird, werden im Schritt 461 (wie vorstehend in 610 von Fig. 6 beschrieben) fünf Bildpakete einschließlich aller Pakete, welche den zuletzt korrekt empfangenen Bildpaketen folgen, gesendet.
Im Schritt 463 wird ermittelt, ob eine Bildendmarkierung detektiert wird, welche das Ende eines Bildes anzeigt. Wenn keine Bildendmarkierung detektiert wird, kehrt die Steuerung zu dem Schritt 449 zurück. Wenn eine Bildendmarkierung detektiert wird, sendet im Schritt 469 das erweiterte Telefon einen Bildbeendungsbefehl. Wenn danach im Schritt 467 kein Bestätigungssignal empfangen wird, wird der Schritt 465 wiederholt; anderenfalls wird im Schritt 469 eine geeignete Meldung an den Monitor ausgegeben und das erweiterte Telefon verbleibt im digitalen Modus. Danach kehrt die Steuerung zu dem Schritt 433 zurück, wenn eine weitere Bildübertragung von dem Benutzer gewünscht ist.

Empfangsbetrieb des erweiterten Telefons

Unter Bezugnahme auf Fig. 5A und 5B beschreiben wir den Betrieb eines erweiterten Telefons im Empfangsmodus. Im Schritt 501 befindet sich das erweiterte Telefon zu Beginn in einem aufgelegten Zustand. Im Schritt 503 geht das erweiterte Telefon in einen abgehobenen Zustand über, um einen ankommenden Ruf als Reaktion auf das Abheben des Handapparates durch einen Benutzer oder das Drücken der Lautsprecher/Mikrophon-Taste 302 oder als Reaktion auf eine automatische Antwortschaltung, welche elektrisch das Abheben des Handapparates durch den Benutzer über Softwaresteuersignale an den Sprachtelefonprozessor simuliert, zu beantworten. Das erweiterte Telefon kann in einen automatischen Beantwortungsmodus (unter Verwendung der automatischen Antwortschaltung 291) versetzt werden, wodurch ein abgehobener Zustand als Antwort auf ein ankommendes Klingelsignal an der T/R-Schnittstelle erfolgt. Ferner wird, sollte das erweiterte Telefon einen Abschluß der digitalen Verbindung detektieren, dieses automatisch in den aufgelegten Zustand zurückkehren. Im Schritt 500 wird eine Verbindung im analogen Sprachmodus zwischen der rufenden und der angerufenen Stelle aufgebaut und eine Sprachkonversation beginnt. Im Schritt 507 empfängt das erweiterte Telefon Signale und achtet auf einen V.25-Antwortton. Wenn kein Antwortton detektiert wird, wird im Schritt 509 ermittelt, ob eine Sprachkonversation abgeschlossen ist. Falls nicht, kehrt die Steuerung zu dem Schritt 505 zurück. Wenn die Sprachkonversation abgeschlossen ist, kehrt das erweiterte Telefon in den aufgelegten Zustand im Schritt 501 zurück.
Wenn ein Antwortton im Schritt 507 detektiert wird, tritt das erweiterte Telefon in einen digitalen Verbindungsmodus ein. Im Schritt 511 beginnt eine Bildverbindung. Bei dem Empfang am erweiterten Telefon wird der Ton stummgeschaltet und ein V.25-Sendeton ausgegeben und das erweiterte Telefon folgt einer V.32BIS-Verbindungsablauffolge. Im Schritt 513 ermittelt das erweiterte Telefon, ob ein Erfolg in einer physikalischen Verbindungsschicht erzielt wurde. Falls nicht, kehrt die Steuerung zu dem Schritt 505 zurück. Wenn eine erfolgreiche Verbindung aufgebaut ist, wird im Schritt 515 eine optimale Datenrate zwischen den Modems der sendenden und empfangenden verbesserten Telefone vereinbart. Im Schritt 517 wird die Verbindungsschicht LAPB PLUS unter Verwendung einer standardmäßigen HDLC-Protokollablauffolge aufgebaut. Im Schritt 519 wird ermittelt, ob die Verbindungsschicht erfolgreich aufgebaut wurde. Wenn kein Erfolg im Schritt 519 erzielt wurde, kehrt das erweiterte Telefon zu dem Sprachmodus einer analogen Verbindung im Schritt 505 zurück. Wenn ein Erfolg im Schritt 519 erzielt wurde, wird die Netzschicht X.25 im Schritt 521 aufgebaut. Das erweiterte Telefon gibt dann ein Neustartanzeigesignal aus, und wartet auf ein Bestätigungssignal aus dem entfernten erweiterten Telefon. Im Schritt 523 kehrt, wenn die Netzschicht nicht aufgebaut wurde, das erweiterte Telefon zu dem analogen Sprachmodus im Schritt 505 zurück.
Wenn die Netzschicht im Schritt 523 aufgebaut wurde, ist im Schritt 525 das erweiterte Telefon zum Empfangen oder Senden von digitalen Daten bereit. Dieses wird als der abgehobene digitale Modus bezeichnet.
Im Schritt 527 tritt, wenn kein Bild empfangen wird, das empfangende erweiterte Telefon in einen schnellen Tonaktualisierungsratenmodus (vorstehend unter Bezugnahme auf. 600 von Fig. 6 beschrieben) ein. In diesem schnellen Tonaktualisierungsratenmodus, Schritt 531, werden die Tonpakete alle 40 ms verschachtelt mit Steuer- und/oder Kommentarsignalen gesendet. Im Schritt 533 wird das Tondatenpaket durch die Tonverarbeitungseinheit 240 verarbeitet und über den Lautsprecher/Mikrophon 251 ausgegeben. Im Schritt 534 wird das Steuerdatenpaket durch den Hostprozessor 260 verarbeitet. Im Schritt 535 wird das Kommentardatenpaket durch den Videoprozessor 221 gemäß Darstellung in Fig. 10 verarbeitet.
Wenn im Schritt 527 ein Bild werden empfangen soll, tritt im Schritt 536 das empfangende erweiterte Telefon in einen langsameren Tonaktualisierungsratenmodus (vorstehend unter Bezugnahme auf 610 von Fig. 6 beschrieben) ein. Im Schritt 537 kann das erweiterte Telefon Tonpakete empfangen und diese decodieren, dekomprimieren und Paketsignale an den Lautsprecher/Handapparat des erweiterten Telefons senden.
Im Schritt 538 achtet das erweiterte Telefon auf die Detektion einer Anforderung zum Senden eines Signals aus dem entfernten erweiterten Telefon. Der Schritt 538 bleibt bestehen bis die Anforderung zum Senden eines Bildsignals empfangen wird. Wenn die Anforderung zum Senden des Signals empfangen ist, tritt das erweiterte Telefon in den Bildempfangsmodus ein. Im Schritt 539 wird ermittelt, ob der Bildempfänger eingeschaltet ist. Wenn der Bildempfänger nicht eingeschaltet ist, kehrt die Steuerung zu dem Schritt 538 zurück, während andererseits die Steuerung auf den Schritt 541 übergeht. Im Schritt 541 gibt das erweiterte Telefon eine Erlaubnis zum Senden eines Bildpaketsignals aus. Im Schritt 543 wartet das erweiterte Telefon auf einen Bildstartbefehl. Im Schritt 545 wird ermittelt, ob ein Bildstartbefehl empfangen wurde. Falls nicht, kehrt die Steuerung zu dem Schritt 543 zurück. Wenn ein Bildstartbefehl empfangen wurde, wartet das erweiterte Telefon im Schritt 547 auf ein Bilddatenpaket. Im Schritt 549 detektiert das erweiterte Telefon das Vorhandensein eines Bilddatenpaketes. Wenn kein Bilddatenpaket empfangen wird, kehrt die Steuerung zu dem Schritt 547 zurück, während anderenfalls die Steuerung zu dem Schritt 551 übergeht. Im Schritt 551 wird ermittelt, ob das empfangene Paket fehlerhaft ist. Wenn das Paket fehlerhaft empfangen ist, sendet das erweiterte Telefon ein negatives Bestätigungssignal im Schritt 553 und die Steuerung geht zu dem Schritt 547 über. Wenn das Bilddatensignal nicht fehlerhaft empfangen wird, achtet das erweiterte Telefon auf die Detektion eines Endbilddatenpaketes. Wenn kein Endbilddatenpaket empfangen wird, wird im Schritt 557 ein Bestätigungssignal gesendet und das Bilddatenpaket in einer Warteschlange zur Bildverarbeitung gespeichert. Die Steuerung kehrt dann zum Schritt 547 zurück. Wenn im Schritt 559 ein Endbilddatenpaket empfangen wird, wird ein Bestätigungssignal gesendet, und der Bildprozessor wird über das Ende des Empfangs informiert. Danach befindet sich das erweiterte Telefon in dem digitalen Modus und die Steuerung wird an den Schritt 538 übergeben. Wenn der digitale Modus endet, tritt das erweiterte Telefon automatisch in den ausschließlichen Analogsprachmodus ein. Wenn sich das erweiterte Telefon in einem automatischen Antwortmodus (unbeaufsichtigt) befindet und der digitale Modus beendet ist, kann der analoge Sprachmodus umgangen werden, und der aufgelegte Zustand wird aufgebaut.

Kommentierung

Unter Bezugnahme auf Fig. 9 diskutieren wir den lokalen und den Sendebetrieb von grafischer Kommentierung des erweiterten Telefons 101. Eine grafische Kommentierung ermöglicht es dem Benutzer, auf das dargestellte Bild zu zeigen oder zu zeichnen und danach selektiv den Kommentar zu löschen, wenn dies gewünscht ist. Der Kommentar wird in standardmäßiger Weise gespeichert, wodurch die Bewegung in absteigende Ketten aufgelöst wird. Kettencodes repräsentieren eine Veränderung in der Position von einem Element zu einem nächsten. Da die Linienbreite des Kommentars breiter als ein Pixel ist, wird die Linienbreite unter Verwendung einer Lauflängencodierung codiert. Kettencodes werden verwendet, um den vorderen Rand der Kommentarkurve zu repräsentieren, während die Lauflänge die Breite repräsentiert.
In der nachstehenden Diskussion werden wir annehmen, daß die Kommentierungsvorrichtung 114 eine Maus-Vorrichtung ist. Im Schritt 901 wird durch die Maus-Vorrichtung periodisch (alle 20 oder 30 ms) ein Interrupt erzeugt, wenn sie sich bewegt hat, oder einer ihrer Tasten gedrückt worden ist. Wenn sich die Maus bewegt hat, wird ein Zeitgeber gestartet, und im Schritt 902 werden die Mausdaten gesammelt und in einer Zuerst-ein-Zuerst-aus-Kommentarwarteschlange 903 gespeichert. Die Mausdaten enthalten eine x- und y-Koordinateninformation sowie Zustandsinformation der linken Taste (LB) und der rechten Taste (RB), welche insgesamt drei Byte an Information ergeben. Die Schritte 901 und 902 werden wiederholt, um so Daten zu sammeln und in der Warteschlange zu speichern.
Der Cursor zeichnet nicht, sondern zeigt nur auf den Bildschirm, wenn der Benutzer das Drücken der linken Taste (LB) unterläßt. Im Schritt 904 liest der Prozessor 221 die Datenbytes sequentiell aus der Warteschlange 903 für die Verarbeitung und Interpretation ein. Die Farbe und der Ausgangspunkt sind eingestellt und die Datenabtastwerte werden im Schritt 905 von dem Prozessor 221 verarbeitet, um auf der dem erweiterten Telefon 101 zugeordneten Videoanzeige 108 zu zeigen, zu zeichnen oder zu löschen. Im Schritt 906 wird ermittelt, ob sich das erweiterte Telefon in einem digitalen Modus oder analogen Modus befindet. Wenn es sich nicht im digitalen Modus befindet, befindet sich das erweiterte Telefon in dem lokalen Anzeigebildmodus und der Kommentar wird lokal auf dem Display 108 angezeigt. Wenn sich das erweiterte Telefon in dem Schritt 907 im digitalen Modus befindet, prüft es, ob ein erster Abtastwert eines Kommentarpaketes vorliegt. Falls ja, wird ein Zeitgeber im Schritt 908 gestartet, oder anderenfalls der Schritt 909 durchgeführt. Im Schritt 909 wird geprüft, um zu sehen, ob vier Abtastwerte gesammelt wurden. Falls nicht, wird dann der Zeitgeber im Schritt 910 geprüft. Wenn der Zeitgeber nicht abgelaufen ist, wird der Schritt 904 durchgeführt, um den nächsten Abtastwert zu erhalten. Durch diese Prozedur ist garantiert, daß jeder Kommentarabtastwert an der entfernten Stelle in weniger als der Zeitgebereinstellung empfangen wird. Dieses stellt die Echtzeitanzeige von Kommentardaten an beiden Stellen sicher. Wenn vier Abtastwerte gesammelt wurden, Schritt 909, oder wenn der Zeitgeber abgelaufen ist, Schritt 910, wird der Zeitgeber im Schritt 911 zurückgesetzt. Wenn der Zeitgeber im Schritt 910 abläuft, ist die Anzahl gesammelter Abtastwerte größer als 1 aber kleiner als 4. Im Schritt 912 werden die im Schritt 909 oder 910 gesammelten Abtastwerte in ein neues Netzschichtpaket gemäß Darstellung durch die Meldungsstruktur 810 von Fig. 8 gepackt. Im Schritt 913 wird das Netzschichtpaket von Fig. 9 in das Datenfeld 724 in der X.25-Meldung 710 gepackt. Im Schritt 913 wird der Datenübertragungsprozedurschritt 439 von Fig. 4A verfolgt, wenn keine Bilddaten zu übertragen sind. In diesem "Kein- Bild"-Übertragungsmodus werden Tonpakete mit den Kommentarpaketen verschachtelt und gemäß Darstellung in 600 von Fig. 6 übertragen. Wenn Bilddaten zu übertragen sind, wird eine Bilddatenübertragungsprozedur, die im Schritt 471 von Fig. 4A dargestellt ist, verfolgt. In dem "Bild"- Übertragungsmodus werden Tonpakete mit Kommentarpaketen verschachtelt und gemäß Darstellung in 610 von Fig. 6 übertragen.
Unter Bezugnahme auf Fig. 10 beschreiben wir den Kommentarempfangsbetrieb des erweiterten Telefons. Im Schritt 1001 empfängt das entfernte erweiterte Telefon 105 Information in dem X.25-Format von Fig. 7 entweder in den in 600 oder 610 von Fig. 6 dargestellten Formaten (bestimmt durch das sendende erweiterte Telefon 101). Erfindungsgemäß wählt die Senderstelle die Formate (600 oder 610) und die Empfängerstelle decodiert transparent das Format ohne das Format mit dem Sender zu vereinbaren. Wenn keine Bilddaten übertragen wurden, werden die Kommentardatenpakete mit den Tonpaketen verschachtelt unter Verwendung des Übertragungsformates, das von dem Sender (dargestellt durch 600 von Fig. 6) verwendet wird, empfangen. Wenn Bilddaten übertragen wurden, werden Kommentardatenpakete verschachtelt mit den Tondatenpaketen unter Verwendung des Übertragungsformates empfangen, das von dem Sender dargestellt bei 610 von Fig. 6 verwendet wird. Im Schritt 1003 werden die Kommentardatenpakete, empfangen in dem durch 810 von Fig. 8 dargestellten Format, durch den Prozessor 221 decodiert. Im Schritt 1005 werden die Kommentardaten in einer Zuerst-ein-Zuerst-aus-Warteschlange 1006 (223 von Fig. 2) gespeichert. Im Schritt 1007 erhält der Prozessor 221 sequentiell das nächste Datenelement aus der Warteschlange 1006, verarbeitet es, und zeigt, zeichnet oder löscht es auf der Anzeige (232 von Fig. 2) im Schritt 1009.

Bildspeicher

Das erweiterte Telefon stellt eine innovative Bildspeicherverwaltung unter Verwendung eines außergewöhnlichen "vereinheitlichten Dateiformats" bereit. Das vereinheitlichte Dateiformat enthält einen Datenspeicherungsvorspann, der Felder enthält, die das volle Bild, ein kleines Piktogramm dieses Bildes (zum Suchen und Auswählen), gerasterte komprimierte Graphikkommentardaten und zugeordnete komprimierte Tondaten (zur Meldung, Sprachkommentierung und andere Anwendungen) identifizieren. Dieser Datenspeicherungsvorspann ist flexibel genug, daß er mehr Datentypen und eine Synchronisation von Sprache und grafischem Kommentars enthält.
Die von dem erweiterten Telefon verwendete vereinheitlichte Datei weist die nachstehenden Felder auf:
header_size: Dieses Feld spezifiziert die Größe des Vorspanns in Bytes.
header_rev: Dieses Feld spezifiziert die Versionsnummer.
file_size: Dieses Feld spezifiziert die Gesamtgröße der vereinheitlichten Datei in Bytes.
image_size: Dieses Feld spezifiziert die Gesamtanzahl von Bytes in den komprimierten Bilddaten.
ps_size: Dieses Feld zeigt die Größe der Piktogrammbilddaten in Bytes an.
annot_size: Dieses Feld spezifiziert die Größe der grafischen Kommentardaten in Bytes.
voce-size: Dieses Feld spezifiziert die Größe der Tonkommentardaten in Bytes.
raw_x_size: Dieses Feld spezifiziert die Originalbildbreite in der Anzahl von Pixeln.
raw_y_size: Dieses Feld spezifiziert die Originalbildhöhe in der Anzahl von Pixeln.
x_subsample: Dieses Feld spezifiziert die entlang der Breite des Originalbildes durchgeführte Unterabtastung.
y_subsample: Dieses Feld spezifiziert die entlang der Höhe des Originalbildes ausgeführte Unterabtastung.
x_offset: Dieses Feld spezifiziert die x-Koordinate des Originalbildes in Pixeln.
y_offset: Dieses Feld spezifiziert die y-Koordinate des Originalbildes in Pixeln.
ps_offset: Dieses Feld spezifiziert den Adressenoffset für den Beginn der Piktogrammbilddaten.
image_offset: Dieses Feld spezifiziert den Adressenoffset für den Start der komprimierten Bilddaten.
annot_offset: Dieses Feld spezifiziert den Adressenoffset für den Start der komprimierten Kommentardaten.
voice_offset: Dieses Feld spezifiziert den Adressenoffset für den Start der komprimierten Tondaten.
image_format: Dieses Feld spezifiziert das Dateiformat für die komprimierten Bilddaten und dis Information über die Anzahl von Komponenten in dem Originalbild und deren Beschreibung.
annot_format: Dieses Feld spezifiziert das Dateiformat für die komprimierten Kommentardaten.
voice_format: Dieses Feld spezifiziert das Dateiformat für die komprimierten Tondaten.
reserved 1: Dieses Feld kann für beliebige zukünftige Erweiterungen verwendet werden.
Die grafische Kommentierung läßt unter Verwendung der Kommentierungsvorrichtung 133 die Benutzer an den Stellen der erweiterten Telefone an beiden Enden des Rufs auf einen spezifischen Punkt zeigen und/oder auf den Monitorschirm zeichnen. Der Cursor verbleibt über nahezu allen auf dem Monitor dargestellten Hintergrundbildern sichtbar. Die Cursor von den zwei Seiten werden unterschieden. Die bereitgestellten Grundfunktionen der grafischen Kommentierung sind: Zeigen, Zeichnen einer (kleinen) Linie, Löschen eines (kleinen) Bereichs. Bilder und grafische Kommentierung werden unabhängig behandelt, und sind bis zu dem Speicherungszeitpunkt einander nicht zugeordnet. Während der Speicherung wird der Kommentar ein Teil des Bildes und mit diesem übertragen, zurückgeholt oder gelöscht. Der auf dem Bildschirm vorhandene Kommentar wird automatisch durch ein neu ankommendes Bild gelöscht. Um den Kommentar auf dem entfernten Bildschirm zu löschen, benötigt man die Erlaubnis von der entfernten Vorrichtung, um dieses auszuführen.
Die Kommentierung kann in jedem der normalen Modi der Vorrichtung erfolgen. Ihre Übertragung wird jedoch abhängig von dem Modus unterschiedlich behandelt. In dem "Aufgelegt"- Modus ist natürlich keine Übertragung möglich. In dem "Abgehoben-Analog"-Modus ist der Kommentar ebenfalls lokal. In dem "Abgehoben-Digital"-Modus (welcher beginnt, wenn die Sendetaste nach dem Anrufen der anderen Seite gedrückt wird) wird der Kommentar als Daten an das entfernte erweiterte Telefon übertragen und auf dem Bildschirm in Echtzeit dargestellt. Beide Parteien können gleichzeitig zeichnen und beide Bildschirme zeigen dieselbe Zeichnung an (wenn die digitale Verbindung aufrecht erhalten wird). Die Kommentierung durch jede Seite wird für die Anzeige unterschieden, jedoch werden alle Operationen, wie z. B. Löschen und Speichern an den kombinierten Kommentardaten ausgeführt, während sie auf dem Bildschirm angezeigt werden.
Beide Seiten können gleichzeitig kommentieren, wobei die Ergebnisse auf beiden Bildschirmen erscheinen. Lokale Cursor, Kommentierung und Radierer erscheinen mit weißem Inneren und schwarzen Begrenzungen. Entfernte Cursor, Kommentierung und Radierer erscheinen mit schwarzem Inneren und weißen Begrenzungen.
Die Eingangssignale der zeigenden Kommentierungsvorrichtung werden lokal in Absolutkoordinaten umgewandelt und das Drücken von Tasten detektiert. Diese werden dann dazu verwendet, um den Kommentar zu zeichnen (oder löschen). Wenn eine Bildverbindung (und keine Bildübertragung) vorliegt, werden die gelesenen Daten in vier Bytes gepackt und an die andere Seite gesendet, wo sie in derselben Weise verarbeitet werden.
Die Tastenfeldtaste "Lösche Bildschirm" betrifft das Videobild und den Kommentar. Durch die Verwendung eines Menüs kann der Benutzer nur den Kommentar, nur das Bild, oder sowohl das Bild als den Kommentar löschen. Zusätzlich kann der Kommentar wie folgt gelöscht werden:
Die rechte Taste der Zeigevorrichtung wird als die "Lösche Kommentar"-Taste programmiert. Wenn die rechte Taste gedrückt gehalten wird, verändert sich der Cursor in ein kleines (als "Radierer" bezeichnetes) Kästchen. Wenn die Taste gedrückt gehalten und die Maus gezogen wird, wird die Zeichnung unter dem Löschkästchen gelöscht. Der Radierer unterscheidet nicht zwischen dem lokalen Kommentar und dem des fernen Endes. Er löscht lediglich die Überlagerungsdaten (was das darunter liegende Bild, falls eines vorhanden ist, freilegt).
Ein Doppelklick der rechten Taste löscht den gesamten Kommentar von dem lokalen Bildschirm, während die entfernte Seite gemäß der Einstelloption in ihrer Menüschnittstelle behandelt wird. Sie kann entweder die Erlaubnis erteilen oder verweigern, ihren Kommentar durch die andere Seite zu löschen zu lassen. Die Erlaubnis zum Löschen des Kommentars durch den anderen Teilnehmer kann jederzeit geändert werden.
Über die Menüschnittstelle kann der Benutzer nur das Bild, nur den Kommentar oder das Bild und den Kommentar speichern. Da der Kommentar gelöscht werden kann, wird er nicht als eine Folge der Mausdatenwerte gespeichert, sondern statt dessen als ein Bild behandelt. Der Benutzer ist in der Lage, die Echtzeitübertragung seines Kommentars auszuschalten. Dieses ist der lokale Kommentierungsmodus.
Das gemeinsame Drücken beider Tasten der Zeigevorrichtung läßt eine Zeile von Softfunktionstasten auf dem Bildschirm erscheinen. Eine der Tasten ist mit "Text" bezeichnet. Das Auswählen dieser Taste öffnet einen Texteingabekasten und ein alphanumerisches Tastenfeld (einschließlich Rückwärtstaste und Zeilenfortschalttaste) auf dem Bildschirm. Der Benutzer kann ein Zeichen pro Zeitpunkt aus dem Tastenfeld wählen, das in dem Textkasten erscheint. Der Benutzer ist in der Lage, den Textkasten zu bewegen und in der Größe zu verändern.
Das erweiterte Telefon hat die außergewöhnliche Fähigkeit, mehrere Bilder und zugeordnete grafische und Tonkommentare zu speichern. Drei Tasten unterstützen bei den Speicherrückruffunktionen: Speichern 315, Nächstes 316, Vorheriges 317. Wenn der Benutzer ein spezifisches interessierendes Speicherbild anzeigen möchte, ist ein sequentielles Verfahren möglich: Die Speichertaste wird zum Auswählen von Speicherbildern als Videoquelle verwendet und die mit "Nächstes" und "Vorheriges" bezeichneten Tasten werden dazu benutzt, um auf aufeinanderfolgende Bilder, jeweils eines pro Zeitpunkt, zuzugreifen und dieses anzuzeigen, bis das gewünschte Bild durch visuelle Betrachtung ausgewählt ist. Das erweiterte Telefon (oder irgendeine andere ähnliche Vorrichtung) speichert die Bilder in seinem internen Speicher in der codierten und komprimierten Form. Um dargestellt zu werden, muß auf ein Bild zugegriffen werden; es wird dann decodiert und dekomprimiert.
Wenn ein Bild auf dem Bildschirm angezeigt wird, führt die Betätigung der Sendetaste zur Übertragung des Bildes auf dem Bildschirm an das entfernte erweiterte Telefon. Nach dem Abschluß des Sendevorgangs kann der Benutzer ein weiteres Bild durch Auswählen dieses unter Verwendung der Tasten "Nächstes" oder "Vorheriges" und durch nochmaliges Drücken der Sendetaste übertragen.
In ähnlicher Weise werden die Speicher- und Löschoperationen auf dem Bild ausgeführt, wenn sie gedrückt werden. Man beachte, daß ein Bild in dem nächsten verfügbaren Speicherplatz gespeichert wird. Wenn kein leerer Speicherschlitz verfügbar ist, wird das Bild irgendwo unter Überschreibung des "Zuerst-ein-"-Bildes im Speicher gespeichert. Der Bildspeicher arbeitet daher in einer Art eines ringförmigen Puffers mit einer Zuerst-ein-Zuerst-aus- Strategie, d. h., die neueste Gruppe der Bilder wird gespeichert. Die Löschoperation hinterläßt keinerlei Löcher in dem Speicher. Die Schlitze werden jedesmal neu organisiert, wenn eine Löschoperation ausgeführt wird.
Obwohl die vorliegende Erfindung unter Verwendung eines speziellen digitalen Datenkommunikationsformates (X.25) beschrieben wurde, dürfte es sich verstehen, daß andere digitale Datenformate verwendet werden können. Zusätzlich dürfte es sich, obwohl die schnellen und langsamen Tonaktualisierungsraten (periodisch) in der offenbarten Ausführungsform mit 40 und 100 ms gewählt sind, diese Aktualisierungsraten lediglich repräsentativ für die verschiedenen Raten sein, die abhängig von den gewünschten Betriebseigenschaften der Geräte angewendet werden können. Ferner kann die Anzahl von Tondatenpaketen, Bilddatenpaketen und Kommentardatenpaketen, die miteinander gruppiert werden, auch abhängig von den Tonaktualisierungsraten und anderen gewünschten Gerätebetriebseigenschaften variiert werden.
Was beschrieben wurde, ist lediglich veranschaulichend für die Anwendung der Prinzipien der vorliegenden Erfindung. Weitere Anordnungen und Verfahren können durch den Fachmann auf diesem Gebiet ohne Abweichung von dem Schutzumfang der vorliegenden Erfindung implementiert werden.

Claims

1. Ein Telefonapparat umfassend:

ein Mittel (220, 240) zum Erfassen eines Tonsignals, Bildsignals und grafischen Kommentarsignals;

ein erstes Mittel zum Kodieren (240) des erfassten Tonsignals in eine Gruppe von Tondatenpaketen zum periodischen Übermitteln mit einer ersten Rate über eine analoge Leitung, welche mit dem Telefonapparat verbunden ist;

ein zweites Mittel zum Kodieren (220, 260) des erfassten Bildsignals als eine Gruppe von digitalen Bilddatenpaketen und zum Kodieren des erfassten Kommentarsignals als eine Gruppe von Kommentardatenpaketen und zum Übermitteln der Bilddatenpakete und der Kommentardatenpakete verschachtelt mit den Tondatenpaketen über die analoge Leitung;

gekennzeichnet durch

ein Mittel (252) zum Erzeugen eines Steuersignals;

ein drittes Mittel zum Kodieren (260) und Übermitteln des erzeugten Steuersignals als ein digitales Steuersignal über die analoge Leitung; und

ein Mittel zum Übermitteln der Tondatenpakete in näherungsweiser Synchronisierung mit den Bild- und Kommentardatenpaketen und dem digitalen Steuersignal über die analoge Leitung.

2. Der Telefonapparat nach Anspruch 1, wobei die Tondatenpakete während eines ersten Zeitintervalls und die Bilddatenpakete, Kommentardatenpakete und das digitale Steuersignal während eines zweiten Zeitintervalls, welches dem ersten Zeitintervall nachfolgt, übermittelt werden.

3. Der Telefonapparat nach Anspruch 1, wobei das digitale Steuersignal eine Anforderung zum Übermitteln des erfassten Bildsignals umfasst.

4. Der Telefonapparat nach Anspruch 1, wobei das digitale Steuersignal ein Indexsignal umfasst, welches Nachrichten in einem analogen Sprachmodus anfordert.

5. Der Telefonapparat nach Anspruch 1, ferner umfassend ein Mittel (260) zum Herstellen eines Bildübermittlungsmodus, wobei das erste Mittel zum Übermitteln von Tondatenpaketen mit der ersten Rate (610) auf den hergestellten Bildübermittlungsmodus anspricht.

6. Der Telefonapparat nach Anspruch 5, ferner umfassend ein viertes Mittel (260), welches zum Übertragen der Tondatenpakete mit einer zweiten periodischen Rate (600) auf das Fehlen des Bildübertragungsmodus anspricht.

7. Ein Verfahren zum Betreiben eines Telefonapparates, umfassend die Schritte:

Erfassen (440, 431, 439) eines Tonsignals, Bildsignals und grafischen Kommentarsignals;

Kodieren (441) des erfassten Tonsignals in eine Gruppe von Tondatenpaketen zum periodischen Übermitteln mit einer ersten Rate über eine analoge Leitung, welche mit dem Telefonapparat verbunden ist;

Kodieren (610) des erfassten Bildsignals als eine Gruppe von digitalen Bildpaketen und zum Kodieren des erfassten Kommentarsignals als eine Gruppe von Kommentardatenpaketen und zum Übermitteln der Bilddatenpakete und Kommentardatenpakete verschachtelt mit den Tondatenpaketen über die analoge Leitung;

gekennzeichnet durch

ein Erzeugen (438) eines Steuersignals;

ein Kodieren (620, 640) und Übermitteln des erzeugten Steuersignals als ein digitales Steuersignal über die analoge Leitung; und

Übermitteln der Tondatenpakete in näherungsweiser Synchronisierung mit den Bild- und Kommentardatenpaketen und dem digitalen Steuersignal über die analoge Leitung.

8. Das Verfahren nach Anspruch 7, wobei die Tondatenpakete während eines ersten Zeitintervalls und die Bilddatenpakete, Kommentardatenpakete und das digitale Steuersignal während eines zweiten Zeitintervalls, welches dem ersten Zeitintervall nachfolgt, übermittelt werden.

9. Das Verfahren nach Anspruch 7, ferner umfassend den Schritt des Herstellens eines Bildübertragungsmodus (610), wobei ein erstes Mittel zum Übermitteln von Tondatenpaketen mit der ersten Rate auf den hergestellten Bildübermittlungsmodus anspricht.

10. Das Verfahren nach Anspruch 9, ferner umfassend den Schritt eines Übermittelns der Tondatenpakete mit einer zweiten periodischen Rate (600), ansprechend auf das Fehlen des Bildübermittlungsmodus (610).