DE69827235T2 - Kommunikationsverfahren und -endgerät - Google Patents

Kommunikationsverfahren und -endgerät Download PDF

Info

Publication number
DE69827235T2
DE69827235T2 DE69827235T DE69827235T DE69827235T2 DE 69827235 T2 DE69827235 T2 DE 69827235T2 DE 69827235 T DE69827235 T DE 69827235T DE 69827235 T DE69827235 T DE 69827235T DE 69827235 T2 DE69827235 T2 DE 69827235T2
Authority
DE
Germany
Prior art keywords
activity information
terminal
input data
participant
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69827235T
Other languages
English (en)
Other versions
DE69827235D1 (de
Inventor
E. Jorge CAVIEDES
Nermeen Ismail
J. Hugo STRUBBE
Max Wu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Application granted granted Critical
Publication of DE69827235D1 publication Critical patent/DE69827235D1/de
Publication of DE69827235T2 publication Critical patent/DE69827235T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Description

  • BEREICH DER ERFINDUNG
  • Die vorliegende Erfindung bezieht sich auf ein Kommunikationsverfahren, wobei wenigstens zwei miteinander verbundene Endgeräte verwendet werden, wobei das Verfahren den Verfahrensschritt der Sammlung von Eingangsdaten von einem Teilnehmer umfasst, der mit einem der wenigstens zwei miteinander verbundenen Endgeräte assoziiert ist, wobei die Eingangsdaten wenigstens Video- und/oder Audiodaten umfassen. Die vorliegende Erfindung bezieht sich weiterhin auf ein Endgerät zur Verwendung in einem derartigen Verfahren.
  • HINTERGRUND DER ERFINDUNG
  • Ein derartiges Verfahren wird in mehreren für mehrere Benutzer bestimmten Kommunikationssystemen, wie "Groupware"-Systemen, Fernkurssystemen und Videokonferenzsystemen angewandt. Ein Goupware-System unterstützt gemeinsame Arbeit von einer Anzahl in einem Abstand voneinander befindlicher Arbeiter. Fernkurssysteme werden angewandt um es zu ermöglichen, dass Studenten und Lehrer sich die Lektionen anhören bzw. diese erteilen, ohne die Anforderung, dass sie physikalisch in demselben Raum oder sogar in demselben Gebäude anwesend sind. Wahrscheinlich am meisten verbreitet zur Zeit sind Videokonferenzsysteme. Diese Systeme bieten Menschen die Möglichkeit, miteinander zu konferieren, ohne dass sie durch die die Konferenzstelle begrenzt sind.
  • Der Erfolg derartiger Systeme ist davon abhängig, ob effektive Kommunikationssessionen eingerichtet werden können. Deswegen wurde viel Forschungsarbeit geleistet um die Effektivität derartiger für mehrere Benutzer gemeinte Kommunikationssysteme zu steigern. So wird beispielsweise auf ein Videokonferenzsystem verwiesen, das in US 5.675.374 beschrieben worden ist. Das bekannte System bezweckt eine Videokonferenz aufzubauen, die einer Konferenz sehr ähnlich ist, die an einer einzigen Stelle abgehalten wird.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Es ist nun u. a. eine Aufgabe der vorliegenden Erfindung, die in breitestem Sinne in den Ansprüchen 1 und 5 definiert ist, ein verbessertes Kommunikationsverfahren zu schaffen. Dazu umfasst ein Kommunikationsverfahren nach der vorliegenden Erfindung die nachfolgenden Verfahrensschritte:
    • – das Herleiten von Aktivitäteninformation über den Teilnehmer aus den Eingangsdaten; und
    • – das Darstellen der Aktivitäteninformation in sichtbarer Form.
  • Der vorliegenden Erfindung lieget die Erkenntnis zugrunde, dass ein Problem bei bestehenden Kommunikationssystemen ist, dass mit lauter Video- und/oder Audiodaten sich kaum ein "Bild" der Teilnehmer an einer Kommunikationssession machen lässt. Ein derartiges "Bild" umfasst verschiedene relevante Charakteristiken der Teilnehmer auf Basis vieler objektiver und subjektiver Kriterien. So möchte beispielsweise ein Instrukteur wissen, welche von seinen Studenten passiv, aktiv, dominant gesprächig usw. sind. Es hat sich herausgestellt, dass es viel schwerer ist, sich ein derartiges Bild zu machen bei einem Fernkurs als in einer Gegenüberstellung in einem Klassenzimmer. Dies kann der Tatsache zugeschrieben werden, dass der Instrukteur überflüssige Videoinformation aus vielen Quellen herausfiltern muss und geistige Überwachungsaufgaben erledigen muss, während die Lern- und Lehrprozesse weiter laufen.
  • Weiterhin sind im Vergleich zu einer Visavis-Kommunikationssession Aspekte wie natürliche Autorität, usw. viel schwieriger zu übertragen. Erstens kann es sein, dass einige derartiger kennzeichnender Informationen von herkömmlichen Eingangseinheiten nicht eingefangen werden können. Zweitens geht dasjenige, was leicht eingefangen werden kann, in dem Strom von Daten, den die Teilnehmer verarbeiten müssen, verloren.
  • Eine spezielle bestimmte Charakteristik eines Teilnehmers ist der Beitrag an der Session. Überwachung des Beitrags des Teilnehmers an der Session erfordert konstante Aufmerksamkeit auf die Eingangsdaten, die von der betreffenden Person eingegeben werden. Das Problem ist ähnlich wie bei einer Video- und einer Telefonkonferenz. In Bezug auf die letztere ist es, da man nicht sehen kann, welcher der Teilnehmer zu dem betreffenden Zeitpunkt spricht, schwer ihre betreffenden Beiträge an der Session zu identifizieren. Der erforderliche Aufwand nimmt bei steigender Anzahl Teilnehmer weiter zu.
  • Aktivitäteninformation kann Audio, Maus- und Keyboard-Aktivitäten sowie Aktivitäten von einer anderen Eingabeeinrichtung umfassen. Weiterhin können auch Daten über Studentenrückkopplung, Agendazustand und Audio- und Umgebungssteueraktivitäten benutzt werden.
  • Die hergeleitete Aktivitäteninformation kann verschiedenartig benutzt werden. Erstens kann die Aktivitäteninformation in einer Datei gespeichert werden zur Analyse nach Beendigung der Session. Dies ermöglicht eine Überwachung des Beitrags der Teilnehmer "offline". Weiterhin wird durch Zeitmarkierung der Aktivitäteninformation während der Herleitung eine Historie der Session konstruiert. Die Aktivitäteninformation kann weitern benutzt werden zum Indizieren, zum Speichern und zum Wiedergewinnen von Sessionen, oder von Teilen derselben. Zweitens kann die Aktivitäteninformation in einer visuellen Form dargestellt werden, und zwar unmittelbar während der Session. Auf diese Weise kann die Aktivitäteninformation unmittelbar den lauf der Session beeinflussen. Dazu umfasst das Verfahren weiterhin den Schritt der Darstellung der Aktivitäteninformation, beispielsweise in Form einer Tabelle und/oder eines Diagramms. Auf alternative Weise umfasst das Verfahren die Schritte der Wiedergabe des Teilnehmers an einer Wiedergabeeinheit in einem Fenster mit Fenstereigenschaften und das Manipulieren der Fenstereigenschaften auf Basis der Aktivitäteninformation. Mit einer derartigen dynamischen Wiedergabesteuerung wird eine dynamische sichtbare Umgebung geschaffen, wodurch "im Flug" Teilnehmer überwacht und verfolgt werden können . Die beiden Darstellungsmöglichkeiten die Aktivitäteninformation darzustellen, steigert die virtuelle Anwesenheit ohne zusätzlichen Aufwand für die Teilnehmer. Es sind keine Handtätigkeiten erforderlich. Die visuell dargestellte Aktivitäteninformation schafft ein Instrument zum Aufbauen eines "Bildes" der Teilnehmer. Man kann sich auch andere Möglichkeiten, die Aktivitäteninformation visuell darzustellen, bedenken. Auf vorteilhafte Weise könnte die Art und Weise, wie die Aktivitäteninformation wirklich visuell dargestellt werden könnte, wenigstens teilweise vom Benutzer programmierbar gemacht werden, damit dies zu den Vorzügen des Benutzers passt.
  • Auf vorteilhafte Weise umfasst der die Aktivitäteninformation herleitende Schritt den Schritt der Messung der Sprechzeit des Teilnehmers. Bei den meisten Kommunikationssystemen schafft Sprechzeit eine gute Angabe des Beitrags eines Teilnehmers. Weiterhin ist das Messen der Sprechzeit auf Basis der beantragten Audiodaten ein relativ einfacher Vorgang.
  • Auf vorteilhafte Weise umfasst der die Aktivitäteninformation herleitende Schritt den Schritt der Zählung einer Anzahl Operationen der Eingabeeinrichtung, wie Tastenanschläge oder Mausklicke, die von einem Teilnehmer durchgeführt werden. Der Schritt der Herleitung der Anzahl Operationen der Eingabeeinrichtung kann mit sehr wenig Auf wand durchgeführt werden. Die meist logische Stelle, diesen Schritt durchzuführen ist an dem Endgerät des Teilnehmers, der überwacht wird.
  • Auf vorteilhafte Weise umfassen die wenigstens zwei miteinander verbundenen Endgeräte ein Vermittlerendgerät und wenigstens ein Teilnehmerendgerät, und der die Aktivitäteninformation herleitende Schritt umfasst die nachfolgenden Schritte: das Erhalten der Aktivitäteninformation an wenigstens einem Teilnehmerendgerät und das Zuführen der Aktivitäteninformation zu dem Ermittlerendgerät. Im Vergleich zu einem alternativen Verfahren, wobei die Aktivitäteninformation zentral hergeleitet wird, ermöglicht diese Annäherung dass die Anzahl Teilnehmer an der Session zunehmen kann n, ohne dass die Verarbeitungskapazität des Ermittlerendgeräts ein "Flaschenhals" wird. Eine dritte Option zum Durchführen des die Aktivitäteninformation herleitenden Schrittes ist, dass dies teilweise bei den Teilnehmerendgeräten und teilweise bei dem Ermittlerendgerät erfolgt. So wird beispielsweise die Anzahl Tastenanschläge örtlich bei den Teilnehmerendgeräten gezählt und die Sprechzeit wird zentral in dem Ermittlerendgerät gemessen.
  • Auf vorteilhafte Weise kann das Ermittlerendgerät nachdem die Aktivitäteninformation demselben zugeführt worden sind, danach die Aktivitäteninformation über die Teilnehmer verteilen, damit diese sich das ansehen können. Auf diese Weise profitieren nicht nur der Ermittler sondern auch die anderen Teilnehmer von der Aktivitäteninformation.
  • KURZE BESCHREIBUNG DER ZEICHNUNG
  • Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im vorliegenden Fall näher beschrieben. Es zeigen:
  • 1 eine Ausführungsform eines Kommunikationssystems, wobei das Kommunikationsverfahren nach der vorliegenden Erfindung angewandt werden kann,
  • 2 ein Diagramm, worin die Aktivitäteninformation sichtbar gemacht ist, wie diese mit dem Verfahren nach der vorliegenden Erfindung erhalten worden ist,
  • 3 eine Graphik, in der die Aktivitäteninformation sichtbar gemacht ist, wie diese mit dem Verfahren nach der vorliegenden Erfindung erhalten worden ist,
  • 4 eine alternative Ausführungsform eines Kommunikationssystems, wobei das Kommunikationsverfahren nach der vorliegenden Erfindung angewandt werden kann,
  • 5 eine Ausführungsform eines Endgeräts nach der vorliegenden Erfindung,
  • 6 ein Wiedergabebild von einem Endgerät nach der vorliegenden Erfindung, und
  • 7 ein weiteres Wiedergabebild von einem Endgerät nach der vorliegenden Erfindung.
  • DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
  • 1 zeigt eine Ausführungsform eines Kommunikationssystems 100, wobei das Kommunikationsverfahren nach der vorliegenden Erfindung angewandt werden kann. Die Figur zeigt ein Vermittlerendgerät 102, das über ein Verbindungsnetzwerk 120 mit einer Anzahl Teilnehmerendgeräte 104, 106, 108 verbunden ist. Das Vermittlerendgerät 102 soll von einer Person benutzt werden, die während einer Kommunikationssession eine Vermittlungsfunktion (der Vermittler) hat: ein Lehrer, ein Vorsitzender, usw. Es wird dabei vorausgesetzt, dass diese Person sich aktiv an der Session beteiligt. Auf alternative Weise kann der Vermittler auch nur die Session überwachen.
  • Jedes Endgerät 102, 104, 106, 108 umfasst als Eingabeeinrichtungen eine Kamera, ein Mikrophon und eine Tastatur, damit ein assoziierter Benutzer Eingabedaten in Form von Video, Audio und Text eingeben kann. Alle Eingangsdaten werden von dem Vermittlerendgerät 102 gesammelt und daraufhin zu den Teilnehmerendgeräten 104, 106, 108 zurück verteilt. Eine alternative Weise, die Eingangsdaten über die Endgeräte 102, 104, 106, 108 zu verteilen kann man sich ausdenken. Wenn es beispielsweise nur ein einziges Teilnehmerendgerät gibt, kann der Zurückverteilungsschritt überflüssig sein. Jedes Endgerät 102, 104, 106, 108 umfasst als Ausgangseinheit eine Wiedergabeanordnung und einen Lautsprecher zum Erzeugen von Video- und Audiodaten, herrührend von Benutzern in fernen Endgeräten.
  • Bisher entspricht das System 100 einem herkömmlichen Videokonferenzsystem. Nach einer Ausführungsform der vorliegenden Erfindung umfasst das Vermittlerendgerät 102 weiterhin eine Überwachungseinheit 130 zum Herleiten von Benutzeraktivitäteninformation aus den Fern-Eingangsdaten, die es von den Teilnehmerendgeräten 104, 106, 108 und von den örtlichen Eingangsdaten empfängt, die in den Eingangseinheiten des Vermittlerendgeräts 102 selbst erzeugt werden. Bisher analysiert die Überwachungseinheit 130 alle eintreffenden Eingangsdaten. Während einer Kommunikationssession wird in dem Vermittlerendgerät 102 Aktivitäteninformation hergeleitet, indem ständig ermittelt wird, welcher der Teilnehmer spricht. Nachdem die Aktivitäteninformation in einer Datei gespeichert worden ist, die über das Vermittlerendgerät 102 betrieben wird, werden die Ergebnisse an einer Wiedergabeanordnung des Vermittlerendgeräts 102 mit Hilfe von Graphiken und Tabellen sichtbar gemacht. In diesem Prozess werden die eingegebenen Daten, die in dem Vermittlerendgerät 102 erzeugt werden auf dieselbe Art und Weise verarbeitet wie die eingegebenen Daten, die in den Teilnehmerendgeräten 104, 106, 108 erzeugt worden sind, so dass auch der Beitrag des Vermittlers sichtbar gemacht wird.
  • 2 zeigt eine Graphik, die Aktivitäteninformation sichtbar macht, wie diese mit dem Verfahren nach der vorliegenden Erfindung erhalten worden ist. Jeder Stab 22, 24, 26, 28 ist mit einem betreffenden Teilnehmer (einschließlich des Vermittlers) assoziert und gibt einen Betrag an Sprechzeit dieses Teilnehmers an. Während der Session wird die Graphik regelmäßig aktualisiert, so dass zu jeder Zeit der Vermittler mit nur einem Blick auf die Graphik den kumulativen verbalen Beitrag jedes Teilnehmers ermitteln kann. Es dürfte einleuchten, dass dieselbe Information auch dem Vermittler mit Hilfe einer Tabelle präsentiert werden kann.
  • 3 zeigt eine Graphik, welche die Aktivitäteninformation sichtbar macht, wie diese mit dem Verfahren nach der vorliegenden Erfindung erhalten worden ist. Jede Kurve 32, 34, 36, 38 ist mit einem betreffenden Teilnehmer der vier Teilnehmer assoziiert und gibt ein Audiovolumen dieses Teilnehmers gegenüber der Zeit an. Zu dem Zeitpunkt, wo die Graphik gemacht wurde, redete der mit der Kurve 38 assoziierte Teilnehmer. Außerdem kann auf Basis der hergeleiteten Aktivitäteninformation in der Graphik sichtbar gemacht werden (beispielsweise mit Hilfe von Farben) ob es eine Debatte ist, eine heftige Diskussion, ein Monolog usw. Dies kann die kognitive Belastung des Vermittlers weiter reduzieren.
  • 4 zeigt ein alternatives Kommunikationssystem 400, wobei das Kommunikationsverfahren nach der vorliegenden Erfindung angewandt werden kann. Die Figur zeigt ein Vermittlerendgerät 402, das über ein Verbindungsnetzwerk 420 mit einer Anzahl Teilnehmerendgeräte 404, 406, 408 verbunden ist. Die Endgeräte 402, 404, 406, 408 umfassen dieselben Eingabe- und Ausgabeeinheiten wie die Endgeräte 102, 104, 106, 108 in 1.
  • Im Gegensatz zu dem System 100 nach 1 umfasst jedes der Endgeräte 402, 404, 406, 408 eine Überwachungseinheit 430 zum örtlichen Herleiten von Aktivitäteninformation über den assoziierten Benutzer. Die Überwachungseinheit 430 führt die nachfolgenden Verfahrensschritte durch. Am Anfang der Session wird in jedem Endgerät 402, 404, 406, 408 ein Zeitnehmer eingestellt, der jede Sekunde triggert. Die Audio-Eingangsdaten werden analysiert und mit Hilfe eines Sprechzeitzählers wird ermittelt, ob der Benutzer spricht oder schweigt. Gleichzeitig zählt in dem Endgerät 402, 404, 406, 408 ein Tastenanschlagzähler die Anzahl Tastenanschläge.
  • Die Teilnehmerendgeräte 404, 406, 408 umfassen weiterhin eine Sendeeinheit 432 zum Senden der hergeleiteten Aktivitäteninformation zu dem Vermittlerendgerät 402. Das Vermittlerendgerät 402 umfasst weiterhin eine Empfangseinheit 434 zum Empfangen der Aktivitäteninformation von den Fernbenutzern. Wenn der Zeitgeber triggert, sammelt jedes Teilnehmerendgerät 404, 406, 408 die Tastenanschlagzählung und die Sprechzeitzählung, sendet diese Aktivitäteninformation (zusammen mit einer Zeitmarkierung) zu dem Vermittlerendgerät 402 und setzt die Zähler auf Null. Das Vermittlerendgerät 402 umfasst weiterhin eine Wiedergabeeinheit zur Wiedergabe der Fernbenutzer in betreffenden Fenstern mit Fenstereigenschaften, und zur Manipulation der Fenstereigenschaften auf Basis der Aktivitäteninformation der Fernbenutzer.
  • Auf alternative Weise umfasst jedes Endgerät 402, 404, 406, 408 eine Empfangseinheit und eine Wiedergabeeinheit zum Empfangen bzw. Wiedergaben von Aktivitäteninformation von Fernbenutzern. Auf bestimmte Weise sind alle Teilnehmer einer Session dann gleichwertig, da jedes Endgerät 402, 404, 406, 408 Aktivitäteninformation von örtlichen Benutzern zur Wiedergabe in den Fernendgeräten herleitet und verteilt.
  • 5 zeigt ein Endgerät 500 zum Implementieren einer Ausführungsform der vorliegenden Erfindung. Das Endgerät 500 ist eine Implementierung des Vermittlerendgeräts 402 aus 4. Das Endgerät 500 ist über ein Netzwerk 510 mit einer Anzahl in 5 nicht dargestellter Fernteilnehmerendgeräte verbunden. Das Endgerät 500 umfasst als Eingangseinheit eine Kamera 520, ein Mikrophon 522 und eine Tastatur 524 um es zu ermöglichen, dass der assoziierte Vermittler Eingangsdaten in Form von Video, Audio und Text liefert. Das Endgerät 500 umfasst weiterhin eine Wiedergabeanordnung 526 und einen Lautsprecher 528 zum Erzeugen von Video und Audio, herrührend von Benutzern in den Fernendgeräten.
  • Das Endgerät 500 umfasst weiterhin eine Überwachungseinheit 540 zum Herleiten von Aktivitäteninformation von Benutzern aus den eintreffenden Eingangsdaten. Da vorausgesetzt wird, dass die Fernendgeräte selber Überwachungseinheiten aufweisen, wird die Überwachungseinheit 540 nur benutzt zum Herleiten von Aktivitäteninformation von örtlichen Benutzern, d.h. von Aktivitäteninformation über den Vermittler. Das Endgerät 500 umfasst weiterhin eine Sendeeinheit 542 zum Senden der örtlichen Eingangsdaten zu den Fernendgeräten und eine Empfangseinheit 544 zum Empfangen von Ferneingangsdaten und Aktivitäteninformation von Fernbenutzern von den Fernendgeräten.
  • Auf alternative Weise ist die Empfangseinheit 544 vorgesehen zum Empfangen von nur Ferneingangsdaten, während die Überwachungseinheit 540 nicht nur Aktivitäteninformation von örtlichen Benutzern herleitet, sondern auch Aktivitäteninformation von Fernbenutzern aus den empfangenen Ferneingangsdaten. In dem letzteren Fall erfordert das Durchführen des Verfahrens nach der vorliegenden Erfindung nut ein einziges Endgerät nach der vorliegenden Erfindung, wobei die Teilnehmerendgeräte bestehende Endgeräte sein können.
  • Die Eingangsdaten, örtliche sowie Ferndaten, werden dem Vermittler mit Hilfe des Lautsprechers 528 und der Wiedergabeanordnung 526 präsentiert, die durch eine Audioverarbeitungseinheit 548 bzw. einen Wiedergabemanager 550 betrieben werden. Weiterhin sind die Wiedergabeanordnung 526 und der Wiedergabemanager 550 vorgesehen zum Visualisieren der Aktivitäteninformation auf eine der Möglichkeiten, wie im Zusammenhang mit 1 und 4 beschrieben. Die jeweiligen oben beschriebenen Teile des Endgeräts 500 sind über einen Bus 552 bzw. einen Mikroprozessor 546 miteinander verbunden.
  • Das Wiedergeben von Fensters an einer Wiedergabeanordnung eines Computers ist die Standardannäherung bei audiovisuellen Kommunikationssystemen. Bei Systemen auf Basis von Konsumentenfernseh- und Videowänden könnte stattdessen eine Bildim-Bild-Annäherung (PIP) benutzt werden.
  • 6 zeigt ein Wiedergabebild von dem Endgerät nach der vorliegenden Erfindung. Bilder von vier Teilnehmern sind in den betreffenden Fenstern A, B, C, D dargestellt. Die Fenster A, B, C, D sind entweder normale Fenster von einem Computermonitor oder PIPs. Der Hintergrund könnte benutzt werden zur Wiedergabe eines Gruppenbildes oder anderer relevanter Bilder. Anfangs waren bei dem Start der Kommunikationssession die Fenster an den Stellen A', B', C', D' rechts unten. Während der Session sind mehrere Fensterparameter geändert worden, und zwar infolge der empfangenen Aktivitäteninformation. Erstens sind Fenster entsprechend gesprächigen Teilnehmern allmählich aufwärts geschoben. Zweitens sind Fenster entsprechend Teilnehmern, welche die Tastatur benutzen allmählich nach links geschoben. Auf diese Weise ist es für einen Teilnehmer oder einen Vermittler leicht zu wissen, wer spricht und wer schreibt.
  • Durch Änderung der Lage der Fenster auf dem Wiedergabeschirm können Aspekte der Beiträge der Teilnehmer sichtbar gemacht werden. Der Vermittler ist befreit von der Aufgabe, die Teilnehmer ständig zu überwachen. Dies würde ihm die Möglichkeit bieten, mehrere Sessionen parallel zu überwachen.
  • Weitere Fenstereigenschaften, die auf vorteilhafte Weise zum Visualisieren der Aktivitäteninformation benutzt werden könnten sind die Fenstergröße (Seitenverhältnis), Bildframerate, Bildauflösung, Fenderrandfarbe, Hintergrundfarbe, Helligkeit, Spezialeffekte usw. Durch Verwendung eines 3D Wiedergabeanordnung könnte die Aktivitäteninformation auch dadurch sichtbar gemacht werden, dass die Fenster sich in einer dritten Dimension bewegen. Visualisierung der Aktivitäteninformation durch Manipulation der Fenstereigenschaften bietet im Vergleich damit, dass die Aktivitäteninformation einfach in Graphiken und Tabellen erfasst werden, den Vorteil, dass es keinen Aufwand erfordert die sichtbar gemachte Aktivitäteninformation mit dem betreffenden Teilnehmer zu koppeln. Weiterhin ist auf diese Weise ein aktueller Zählwert gegeben über dasjenige, was bis zu einem bestimmten Zeitpunkt während einer Session geschehen ist.
  • In dem Bild der Wiedergabeanordnung nach 6 sind nur Tastaturaktivitäten und Sprechzeit sichtbar gemacht. Es lassen sich viele andere Quellen für Aktivitäteninformation bedenken, wie Mausbewegungen und Mausklicks. Es können verschiedene Bedeutungen der Audiodaten benutzt werden. Die einfachste audio-basierte Aktivitäteninformation ist eine binäre Angabe für jeden Benutzer, die Stille oder Sprechaktivität angibt. Mehr Information kann erhalten werden durch eine Angabe der Lautstärke. Eine andere Basis für Aktivitäteninformation könnte die Anzahl von dem Teilnehmer erzeugter Wörter während eines "Sprachwasserfalls". Die Audiodaten könnten analysiert werden zum wieder Erkennen von Unsicherheit, Feindlichkeit usw.
  • Eine weitere Ausarbeitung, insofern möglich, ist die Analyse der Videodaten. So könnte beispielsweise Aktivitäteninformation basiert sein auf spezifischen Gesten, wie Nicken usw. Wenn MPEG- oder H.261-Techniken angewandt werden könnten Bewegungsvektoren zum Wieder Erkennen derartiger Gesten benutzt werden. Es könnten auch Bildverarbeitungstechniken angewandt werden zum Erhalten desselben Ergebnisses.
  • Die Aktivitäteninformation kann auch in einer kontextabhängigen Weise von den Eingangsdaten hergeleitet werden. Wenn beispielsweise während der Session Gebrauch gemacht wird von einer bestimmten Softwareapplikation, könnten nur bestimmte applikationsspezifische Befehle oder Mausbewegungen als Aktivitäteninformation usw. betrachtet werden. Groupware-Systeme umfassen oft ein Modul zur Steuerung von Zugriff auf Applikationen. Dieses Steuermodul könnte auch Aktivitäteninformation in Form einer Angabe, welcher Teilnehmer welche Applikationen steuert. Auch die Lage eines Teilnehmers in dem Kontext einer Applikation ist eine Quelle von Aktivitäteninformation. Für eine geteilte web-Applikation könnte Aktivitäteninformation auf eine URL-Adresse bezogen werden, auf die der Teilnehmer zu einem bestimmten Zeitpunkt zugreift. Für einen Texteditor oder einen geteilten Arbeitsraum kann dies die Nummer der Seite sein, auf die der Benutzer zu dem betreffenden Zeitpunkt schaut.
  • 7 zeigt ein weiteres Bild der Wiedergabeanordnung von einem Endgerät nach der vorliegenden Erfindung. In diesem Beispiel überwacht ein Vermittler eine Gruppe von Teilnehmern, die sich in demselben Raum befindet. In einem derartigen Aufbau kann das Verfahren nach der vorliegenden Erfindung verschiedenartig angewandt werden. Erstens könnte man sich vorstellen, dass jeder Teilnehmer ein betreffendes Teilnehmerendgerät zur Verfügung hat. Dies ist im Grunde dasselbe wie die Situation, in der die Teilnehmer sich alle an verschiedenen Stellen befinden. Zweitens könnte man sich vorstellen, dass nebst dem Vermittlerendgerät nur ein einziges Teilnehmerendgerät verwendet wird. Dieses Teilnehmerendgerät soll imstande sein Audio- und Videodaten von einer Gruppe einzufangen, die aus einer Anzahl Teilnehmer besteht. Wie dem auch sei, am Bildschirm des Vermittlerendgeräts können die Beiträge der Teilnehmer auf die bereits beschriebene Art und Weise sichtbar gemacht werden.
  • In dem Beispiel nach 7 ist in dem unteren Teil des Wiedergabefensters ein Gruppenbild dargestellt. Das Gruppenbild wird entweder von einem einzigen Endgerät (beispielsweise Weitwinkelbild) erhalten oder das Gruppenbild wird aus Eingangsdaten synthetisiert, die durch eine Anzahl Endgeräte erhalten worden sind, wobei jedes Einzelbild mit einem einzigen Teilnehmer assoziiert ist. Das Gruppenbild ermöglicht es ebenfalls die Gruppe sichtbar als Ganzes zu charakterisieren, beispielsweise als koordiniert, verteilt oder zerstreut, feindlich, passiv oder empfänglich.
  • Auch die einzelnen Teilnehmer werden in betreffenden Fenstern wiedergegeben, die manipuliert werden, wie in Bezug auf 6 erläutert worden ist. Die einzelnen Bilder können entweder aus einem kollektiven Bild von dem einzelnen Endgerät ausgeschnitten werden, oder von der jeweiligen Endgeräten eingefangen werden. Die einzelnen Frame-Raten sind höher für die führenden Teilnehmer, während diejenigen Teilnehmer, die nicht aktiv sind, wörtlich "festgefroren" werden. Anwenderanpassung ist möglich, so dass Benutzer wählen können, wie Information visualisiert werden soll, aber Benutzer brauchen die Wiedergabeanordnung nicht von Hand zu betätigen. Weiterhin wird mitten oben Diskussionsmaterial präsentiert.
  • Während die vorliegende Erfindung mit Hilfe von Ausführungsformen in Bezug auf eine Videokonferenzumgebung erläutert worden ist, ist Anwendung der vorliegenden Erfindung auf eine (Mehrpersonen) Telefonkonferenz nicht ausgeschlossen.
  • Es sei bemerkt, dass die oben genannten Ausführungsformen die vorliegende Erfindung erläutern als begrenzen und dass der Fachmann imstande sein wird, Im Rahmen der vorliegenden Ansprüche viele alternative Ausführungsformen zu entwerfen. In den Patentansprüchen sollen die eingeklammerten Bezugszeichen nicht als den Anspruch beschränkend betrachtet werden. Die vorliegende Erfindung kann mit Hilfe von Hardware mit vielen unterschiedlichen Elementen implementiert werden und mit Hilfe eines auf geeignete Weise programmierten Computers. In einem Anordnungsanspruch, wobei mehrere Mittel bezeichnet werden, können viele dieser Mittel von ein und demselben Hardware-Element verkörpert werden.

Claims (7)

  1. Kommunikationsverfahren, wobei wenigstens zwei miteinander verbundene Endgeräte (102, 104) verwendet werden, wobei dieses Verfahren die nachfolgenden Verfahrensschritte umfasst: – das Sammeln von Eingangsdaten von einem mit einem der genannten wenigstens zwei miteinander verbundenen Endgeräte (102, 104) assoziierten Teilnehmer, wobei die genannten Eingangsdaten wenigstens Video0 und/oder Audiodaten sind; – das Herleiten von Aktivitäteninformation über den Teilnehmer aus den Eingangsdaten; und – das Darstellen der Aktivitäteninformation in sichtbarer Form, entweder mit einer Tafel und/oder einem Bild, oder durch Wiedergabe des Teilnehmers auf einem Wiedergabemittel (526) in einem Fenster mit Fenstereigenschaften und durch Manipulation der Fenstereigenschaften auf Basis der Aktivitäteninformation.
  2. Verfahren nach Anspruch 1, wobei der die genannte Aktivitäteninformation herleitende Verfahrensschritt den Schritt umfasst, in dem die Sprechzeit des Teilnehmers gemessen wird.
  3. Verfahren nach Anspruch 1, wobei der die genannte Aktivitäteninformation herleitende Verfahrensschritt den Schritt umfasst, in dem die Anzahl von dem Teilnehmer durchgeführter Vorgänge an der Eingabevorrichtung gezählt werden.
  4. Verfahren nach Anspruch 1, wobei die genannten wenigstens zwei miteinander verbundenen Endgeräte ein Vermittlerendgerät (402) und wenigstens ein Teilnehmerendgerät (404) aufweist, und wobei der genannte die Aktivitäteninformation herleitende Verfahrensschritt die Schritte umfasst zum Erhalten der genannten Aktivitäteninformation an dem wenigstens einen Teilnehmerendgerät, und wobei die genannte Aktivitäteninformation dem Vermittlerendgerät zugeführt wird.
  5. Endgerät zur Verwendung in einem Kommunikationssystem, wobei dieses Endgerät die nachfolgenden Elemente umfasst: – Eingabemittel (520, 522, 524), mit denen ein Benutzer Eingabedaten mit wenigstens Video- und/oder Audiodaten liefern kann; – Überwachungsmittel (540) zum Herleiten von Benutzeraktivitäteninformation aus den Eingabedaten; und – Darstellungsmittel (550, 526) zum Darstellen der Benutzeraktivitäteninformation in sichtbarer Form, entweder mit einer Tafel und/oder einem Bild, oder durch Wiedergabe eines Benutzers in einem Fenster mit Fenstereigenschaften an Wiedergabemitteln (526) in den Darstellungsmitteln, und zum Manipulieren der Fenstereigenschaften auf Basis der Benutzeraktivitäteninformation.
  6. Endgerät nach Anspruch 5, weiterhin mit Sendemitteln (542) zum Übertragen der Benutzeraktivitäteninformation zu einem Fernendgerät.
  7. Endgerät nach Anspruch 5, weiterhin mit Empfangsmitteln (544) zum Empfangen von Benutzeraktivitäteninformation von einem Fernendgerät.
DE69827235T 1997-12-05 1998-11-30 Kommunikationsverfahren und -endgerät Expired - Lifetime DE69827235T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US985985 1997-12-05
US08/985,985 US6646673B2 (en) 1997-12-05 1997-12-05 Communication method and terminal
PCT/IB1998/001906 WO1999030495A2 (en) 1997-12-05 1998-11-30 Communication method and terminal

Publications (2)

Publication Number Publication Date
DE69827235D1 DE69827235D1 (de) 2004-12-02
DE69827235T2 true DE69827235T2 (de) 2005-10-13

Family

ID=25531972

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69827235T Expired - Lifetime DE69827235T2 (de) 1997-12-05 1998-11-30 Kommunikationsverfahren und -endgerät

Country Status (5)

Country Link
US (1) US6646673B2 (de)
EP (1) EP0958701B1 (de)
JP (1) JP4503710B2 (de)
DE (1) DE69827235T2 (de)
WO (1) WO1999030495A2 (de)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69632384T2 (de) * 1995-12-19 2005-05-04 Canon K.K. Gerät und Verfahren zur Steuerung einer Mehrzahl von Fernkameras
US8176551B1 (en) * 2000-01-27 2012-05-08 Trapware Corporation Detection of observer programs and countermeasures against observer programs
US6799209B1 (en) * 2000-05-25 2004-09-28 Citrix Systems, Inc. Activity monitor and resource manager in a network environment
US6674458B1 (en) 2000-07-21 2004-01-06 Koninklijke Philips Electronics N.V. Methods and apparatus for switching between a representative presence mode and one or more other modes in a camera-based system
US20030041333A1 (en) * 2001-08-27 2003-02-27 Allen Paul G. System and method for automatically answering and recording video calls
US6940558B2 (en) * 2001-12-06 2005-09-06 Koninklijke Philips Electronics N.V. Streaming content associated with a portion of a TV screen to a companion device
JP2004007539A (ja) * 2002-04-19 2004-01-08 Sumitomo Electric Ind Ltd ビジュアル情報の記録/再生方法、その装置及び通信システム
JP2004248125A (ja) * 2003-02-17 2004-09-02 Nippon Telegr & Teleph Corp <Ntt> 映像切り替え装置、映像切り替え方法、この方法のプログラムおよびこのプログラムを記録した記録媒体
US7568167B2 (en) * 2003-06-26 2009-07-28 Microsoft Corporation Non-persistent user interface for real-time communication
US20050232190A1 (en) * 2003-09-22 2005-10-20 Jeyhan Karaoguz Sharing of user input devices and displays within a wireless network
US20050099492A1 (en) * 2003-10-30 2005-05-12 Ati Technologies Inc. Activity controlled multimedia conferencing
US20060112343A1 (en) * 2004-11-23 2006-05-25 Palo Alto Research Center Incorporated Methods, apparatus, and program products for aligning presentation of separately recorded experiential data streams
US7870589B2 (en) * 2004-11-23 2011-01-11 Palo Alto Research Center Incorporated Method for providing commentary audio and additional or replacement video content
US7882530B2 (en) * 2004-11-23 2011-02-01 Palo Alto Research Center Incorporated Method, apparatus, and program products for socially synchronizing an experiential data stream
US7873983B2 (en) 2004-11-23 2011-01-18 Palo Alto Research Center Incorporated Method and apparatus for controlling an experiential data stream in a social space
US7818770B2 (en) * 2004-11-23 2010-10-19 Palo Alto Research Center Incorporated Methods, apparatus, and program products to support a shared viewing experience from remote locations
US7814517B2 (en) * 2004-11-23 2010-10-12 Palo Alto Research Center Incorporated Method and apparatus for associating commentary audio with a position in an experiential data stream
US7424545B2 (en) * 2004-11-23 2008-09-09 Palo Alto Research Center Incorporated Methods, apparatus, and program products for providing supplemental content to a recorded experiential data stream
US7818771B2 (en) * 2004-11-23 2010-10-19 Palo Alto Research Center Incorporated Methods, apparatus, and program products for controlling presentation of an experiential data stream responsive to conversations in a shared social space
US7673064B2 (en) * 2004-11-23 2010-03-02 Palo Alto Research Center Incorporated Methods, apparatus, and program products for presenting commentary audio with recorded content
US7814518B2 (en) * 2004-11-23 2010-10-12 Palo Alto Research Center Incorporated Methods, apparatus, and program products for presenting replacement content instead of a portion of a recorded content
US20070020603A1 (en) * 2005-07-22 2007-01-25 Rebecca Woulfe Synchronous communications systems and methods for distance education
US7570752B2 (en) * 2005-09-23 2009-08-04 Alcatel Lucent Telephony/conference activity presence state
US7768543B2 (en) * 2006-03-09 2010-08-03 Citrix Online, Llc System and method for dynamically altering videoconference bit rates and layout based on participant activity
US8082571B2 (en) * 2006-06-05 2011-12-20 Palo Alto Research Center Incorporated Methods, apparatus, and program products to close interaction loops for social tv
US8074251B2 (en) * 2006-06-05 2011-12-06 Palo Alto Research Center Incorporated Limited social TV apparatus
US20080144604A1 (en) * 2006-12-14 2008-06-19 Adobe Systems Incorporated Interface-neutral communication architecture
US20080155102A1 (en) * 2006-12-20 2008-06-26 Motorola, Inc. Method and system for managing a communication session
US8542266B2 (en) * 2007-05-21 2013-09-24 Polycom, Inc. Method and system for adapting a CP layout according to interaction between conferees
EP2193658B1 (de) 2007-09-27 2020-06-10 DISH Technologies L.L.C. Systeme und verfahren zur kommunikation zwischen client-geräten eines rundfunksystems
US8514842B1 (en) 2007-09-28 2013-08-20 Adobe Systems Incorporated Systems and methods for enabling communication between users of common virtual spaces
US8223185B2 (en) * 2008-03-12 2012-07-17 Dish Network L.L.C. Methods and apparatus for providing chat data and video content between multiple viewers
US8300077B2 (en) * 2008-03-14 2012-10-30 Sony Mobile Communications Ab Enhanced video telephony through augmented reality
US9258420B2 (en) * 2009-03-11 2016-02-09 Xcast Labs, Inc. Software-based operator switchboard
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US20100309284A1 (en) * 2009-06-04 2010-12-09 Ramin Samadani Systems and methods for dynamically displaying participant activity during video conferencing
GB201017382D0 (en) * 2010-10-14 2010-11-24 Skype Ltd Auto focus
US20130169742A1 (en) * 2011-12-28 2013-07-04 Google Inc. Video conferencing with unlimited dynamic active participants
US20150341696A1 (en) * 2013-02-04 2015-11-26 Thomson Licensing Dual telepresence set-top box
TWI531244B (zh) * 2014-03-31 2016-04-21 鴻海精密工業股份有限公司 視訊會議資料處理方法及系統
US11611547B2 (en) 2016-11-08 2023-03-21 Dish Network L.L.C. User to user content authentication
US11695722B2 (en) 2019-07-30 2023-07-04 Sling Media L.L.C. Devices, systems and processes for providing geo-located and content-to-comment synchronized user circles
US11838450B2 (en) 2020-02-26 2023-12-05 Dish Network L.L.C. Devices, systems and processes for facilitating watch parties
US11606597B2 (en) 2020-09-03 2023-03-14 Dish Network Technologies India Private Limited Devices, systems, and processes for facilitating live and recorded content watch parties
US11758245B2 (en) 2021-07-15 2023-09-12 Dish Network L.L.C. Interactive media events
US11849171B2 (en) 2021-12-07 2023-12-19 Dish Network L.L.C. Deepfake content watch parties

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1236906A (en) * 1985-10-02 1988-05-17 Northern Telecom Limited Conference circuits and methods of operating them
US5003532A (en) * 1989-06-02 1991-03-26 Fujitsu Limited Multi-point conference system
JPH0591508A (ja) * 1991-09-30 1993-04-09 Oki Electric Ind Co Ltd テレビ会議システムにおける話者表示方法
JPH05207456A (ja) * 1992-01-24 1993-08-13 Nec Corp 発言回数の統計を表示する多地点テレビ会議制御装置
JPH0654322A (ja) * 1992-07-28 1994-02-25 Fujitsu Ltd 多地点制御装置を用いたtv会議の画像データ適応制御方式
JP3115717B2 (ja) * 1992-11-26 2000-12-11 株式会社リコー マルチメディア端末
US5621429A (en) * 1993-03-16 1997-04-15 Hitachi, Ltd. Video data display controlling method and video data display processing system
JPH07154763A (ja) * 1993-11-26 1995-06-16 Fujitsu Ltd 在席テレビ会議装置
JPH0833000A (ja) * 1994-07-15 1996-02-02 Matsushita Electric Ind Co Ltd 映像伝送装置および映像伝送方法
JPH0883232A (ja) * 1994-09-09 1996-03-26 Fujitsu Ltd ファイルサーバシステム
JP2827932B2 (ja) * 1994-11-25 1998-11-25 日本電気株式会社 多地点テレビ会議における合成画面表示制御方式
JPH08181961A (ja) * 1994-12-21 1996-07-12 Toshiba Corp テレビジョン会議端末装置
US5657246A (en) * 1995-03-07 1997-08-12 Vtel Corporation Method and apparatus for a video conference user interface
US5864342A (en) * 1995-08-04 1999-01-26 Microsoft Corporation Method and system for rendering graphical objects to image chunks
JPH0970031A (ja) * 1995-09-01 1997-03-11 Nec Eng Ltd テレビ会議システム
JPH09149396A (ja) * 1995-11-27 1997-06-06 Fujitsu Ltd 多地点テレビ会議システム
US5960173A (en) * 1995-12-22 1999-09-28 Sun Microsystems, Inc. System and method enabling awareness of others working on similar tasks in a computer work environment
JPH09219750A (ja) * 1996-02-13 1997-08-19 Toshiba Corp 通信会議システム
JPH10150647A (ja) * 1996-11-19 1998-06-02 Fujitsu Ltd ビデオ会議システム
CA2224541C (en) * 1997-01-07 2008-06-17 Northern Telecom Limited Method of providing conferencing in telephony
JPH10304328A (ja) * 1997-04-25 1998-11-13 Fujitsu Ltd テレビ会議システムにおいて、多画面合成信号を生成する方式

Also Published As

Publication number Publication date
EP0958701B1 (de) 2004-10-27
WO1999030495A2 (en) 1999-06-17
JP4503710B2 (ja) 2010-07-14
EP0958701A2 (de) 1999-11-24
JP2001510671A (ja) 2001-07-31
US20030145324A1 (en) 2003-07-31
US6646673B2 (en) 2003-11-11
DE69827235D1 (de) 2004-12-02
WO1999030495A3 (en) 1999-07-22

Similar Documents

Publication Publication Date Title
DE69827235T2 (de) Kommunikationsverfahren und -endgerät
DE10084867B4 (de) Verfahren und Vorrichtung um es einem Videokonferenzteilnehmer zu ermöglichen den zugehörigen Nutzern in der Kamera fokussiert zu erscheinen
DE602004008397T2 (de) Videokonferenzsystem mit physischen Hinweisen
DE602004010676T2 (de) Verteilte mcu
DE10126790A1 (de) Verfahren und Vorrichtung zur Darstellung von wenigstens zwei Bildern in einem Gesamtbild
DE3332130T1 (de) Simulatorsystem zum wechselseitigen simulieren komplexer dynamischer systeme
EP2930926A1 (de) Verfahren, Softwareprodukt und Vorrichtung zur Steuerung einer Konferenz
DE69912456T2 (de) Verfahren und Vorrichtung zur Steuerung einer Fernmeldekonferenz
DE102009035659A1 (de) Verfahren zur telemedizinischen Assistenz von Endnutzern
DE112018006602T5 (de) Virtuelles fenster für telefonkonferenzen
DE102008056917A1 (de) Kooperationsfenster/wand
DE102021213661A1 (de) Systeme und verfahren zur anzeidge von benutzern, die an einer kommunikationssitzung teilnehmen
EP3732850B1 (de) Echtzeit-kollaborations-plattform und verfahren zum ausgeben von mediaströmen über ein echtzeit-ansagesystem
DE69933164T2 (de) Verfahren zur kooperativen Teleheimarbeit und Vorrichtung zur Durchführung des Verfahrens
DE102022200416A1 (de) Kontrollverfahren für eine Kontrolle einer virtuellen Podiumsdiskussion über eine Kommunikationsverbindung zwischen einer Vielzahl von Kommunikationsteilnehmern
DE102022127032A1 (de) Gerichtssaal-mediensystem
DE202021003964U1 (de) Gerichtssaal-Mediensystem
DE102021212196A1 (de) Sortierverfahren für eine Sortierung einer Teilnehmerliste mit Teilnehmern einer Videokonferenz
DE19858555A1 (de) Verfahren und Leitzentrale zur Videofernüberwachung von insbesondere Wohnungen und Büros
DE102021101645A1 (de) Videokonferenzsystem und zugehöriges Computerprogrammprodukt
EP4167073A1 (de) Verfahren zur steuerung einer whiteboard-funktion eines gerichtssaal-mediensystems
DE102005057481A1 (de) Präsentationseinrichtung für Konferenzen, Vorlesungen, Versammlungen, Schulungen oder dergleichen
WO2012059115A1 (de) Verfahren zur durchführung einer telefonkonferenz und einrichtung zur durchführung dieses verfahrens
DE10217818B4 (de) Verfahren zur Anzeige entfernter Bildschirminhalte
DE102022127037A1 (de) Verfahren zur steuerung eines videokonferenzsystems eines gerichtssaal-mediensystems

Legal Events

Date Code Title Description
8364 No opposition during term of opposition