-
BEREICH DER ERFINDUNG
-
Die
Erfindung betrifft Kommunikationssysteme allgemein und im Besonderen
den Abruf und die Verwendung visueller Warteschlangen bei Video-Kommunikationen.
-
HINTERGRUND
-
Es
besteht oft eine Kommunikationslücke zwischen Menschen
unterschiedlicher Kulturen. Insbesondere während Video-Konferenzen
könnte sich ein Teilnehmer an der Kommunikationssitzung
nicht bewusst sein, dass seine Körper/Gesichtsgebärden von
anderen Kommunikationssitzungsteilnehmern auf eine bestimmte Art
und Weise interpretiert werden. Dieser allgemeine Mangel an Bewusstsein
kann darauf zurückzuführen sein, dass sich der
Teilnehmer nicht bewusst ist, dass er bestimmte Gebärden macht,
oder darauf, dass der Teilnehmer nicht versteht, wie eine bestimmte
von ihm gemachte Gebärde in einer anderen Kultur interpretiert
wird.
-
Zwar
gibt es Entwicklungen in allgemeiner Gebärdenerkennung,
jedoch sind die meisten vorhandenen Lösungen etwas begrenzt.
Zum Beispiel beschreibt
US-Patent
Nr. 6,804,396 , dessen gesamter Inhalt durch diese Erwähnung
hierin aufgenommen wird, ein System zur Erkennung von Gebärden, die
von einem sich bewegenden Subjekt gemacht werden. Das System umfasst
einen Schalldetektor zur Erfassung von Schall, einen oder mehrere Bildsensoren
zur Aufzeichnung eines Bildes des sich bewegenden Subjekts, ein
Menschenerkennungsgerät zur Erkennung eines Menschen anhand
des von dem einen oder den mehreren Bildsensoren erfassten Bildes,
und ein Gebärdenerkennungsgerät, das aktiviert
wird, wenn der Schalldetektor eine menschliche Stimme erkennt, um
eine Gebärde eines Menschen zu erkennen. Die Lösung
zur Gebärdenerkennung im Patent
'396 ist jedoch relativ einfach, und
die Gebärdendaten werden nach ihrer Erfassung nicht sehr
effektiv genutzt.
-
ZUSAMMENFASSUNG
-
Folglich
besteht Bedarf an Lösungen für Video-Konferenzen,
die Gebärdenerfassung und -interpretation an einen oder
mehrere Teilnehmer übermitteln und diese erklärenden
Daten an andere Teilnehmer sowie an den agierenden Teilnehmer verteilen. Es
besteht insbesondere Bedarf, diese Daten zu verteilen, um Anderen
zu helfen, Gebärden richtig zu interpretieren, und um den
Agierenden einen Mechanismus bereitzustellen, um sich ihrer Gebärden
und Aktionen bewusst zu werden.
-
Mit
diesen und anderen Bedürfnissen befassen sich die verschiedenen
Ausführungsformen und Konfigurationen der vorliegenden
Erfindung. Somit besteht ein Aspekt der vorliegenden Erfindung darin, einen
Mechanismus anzugeben, der kulturelle und/oder kommunikative Lücken überbrückt,
insbesondere hinsichtlich der Erkennung und Interpretation der während
einer Video-Konferenz übermittelten Gebärden.
Zum Beispiel könnte sich ein Australier in einer Video-Verbindung
mit einem Vorgesetzten in Japan befinden. Man weiß, dass
Japaner verschiedene Gesichtsausdrücke haben, so dass die
Gesichtsausdrücke des japanischen Vorgesetzten etwas anzeigen
könnten, das von dem Australier nicht interpretiert wird,
weil er nicht daran gewöhnt ist, solchen Gesichtsausdrücken
eine Bedeutung beizumessen. Die Ausführungsformen der vorliegenden Erfindung
geben Mechanismen an, die sich mit diesem Problem befassen.
-
Gemäß zumindest
einigen Ausführungsformen der vorliegenden Erfindung wird
ein Verfahren angegeben. Das Verfahren umfasst allgemein:
Empfang
einer Video-Eingabe eines ersten Teilnehmers, während der
erste Teilnehmer an einer Kommunikationssitzung mit zumindest einem
zweiten Teilnehmer beteiligt ist;
Analyse der Video-Eingabe
eines ersten Teilnehmers auf Gebärdendaten; und
Übermittlung
der Gebärdendaten an mindestens einen an der Kommunikationssitzung
beteiligten Teilnehmer.
-
Zwar
sind Mechanismen zur Erkennung von Gebärden seit einiger
Zeit verfügbar, man glaubt jedoch, dass die aus der Erkennung
der Gebärden gewonnenen Daten noch nie genutzt wurden,
um Kommunikationen von Mensch zu Mensch zu verbessern. Insbesondere
wurde die Verwendung von Gebärdendaten zur Verbesserung
von Kommunikationen während Telefonverbindungen, Video-Verbindungen,
Instant Messaging (sofortige Nachrichtenübertragung), Text-Nachrichtenübertragung
und Ähnlichem noch nie in angemessener Weise eingesetzt.
In Text-Kommunikationen werden Emoticons verwendet, um den Anwendern
zu ermöglichen, Icons zu tippen oder auszuwählen,
die ihre allgemeine Stimmung wiedergeben, aber diese Daten werden
nicht aufgrund einer Analyse der tatsächlichen Gebärden
des Anwenders empfangen. Dementsprechend gibt die vorliegende Erfindung
eine Lösung an, um Gebärdendaten in Kommunikationssitzungen
besser zu nutzen.
-
Somit
besteht ein Aspekt der vorliegenden Erfindung darin, Gebärdendaten
für einen oder mehrere Teilnehmer an einer Kommunikationssitzung
zu analysieren.
-
Ein
weiterer Aspekt der vorliegenden Erfindung besteht darin, diese
Daten an die Kommunikationssitzungsteilnehmer zu verteilen. Diese
Daten können von anderen, nicht agierenden Teilnehmern sowie
von dem agierenden Teilnehmer, der seine Gebärden analysieren
lässt, gemeinsam genutzt werden.
-
Ein
weiterer Aspekt der vorliegenden Erfindung besteht darin, kommunikative
und möglicherweise kulturelle Unterschiede zwischen den
Kommunikationssitzungs teilnehmern so zu ermitteln, dass Gebärdendaten
richtig interpretiert werden, bevor sie diesen Teilnehmern übermittelt
werden. Außerdem können die Interpretationsdaten
dem agierenden Teilnehmer als Rückmeldedaten zur Verfügung
gestellt werden, was dem agierenden Teilnehmer ermöglicht,
sich seiner Gebärden und der Auswirkung, die diese Gebärden
auf andere Kommunikationssitzungsteilnehmer haben könnten,
bewusst zu werden.
-
Der
Begriff ”automatisch” und seine Abwandlungen,
wie sie hier verwendet werden, beziehen sich auf jeglichen Prozess
oder Vorgang, der während seiner Durchführung
ohne körperliche Eingabe durch einen Menschen erfolgt.
Ein Prozess oder Vorgang kann jedoch auch dann automatisch sein,
wenn für seine Durchführung eine körperliche
oder unkörperliche Eingabe durch einen Menschen, die er
vor seiner Durchführung erhalten hat, verwendet wird. Eine
Eingabe durch einen Menschen gilt als körperlich, wenn die
Eingabe Einfluss darauf hat, wie der Prozess oder Vorgang durchgeführt
wird. Eine Eingabe durch einen Menschen, welche der Durchführung
des Prozesses oder Vorgangs zustimmt, gilt nicht als ”körperlich”.
-
Der
Begriff ”computer-lesbares Medium”, wie er hier
verwendet wird, bezieht sich auf jegliches materielle Speicher-
und/oder Übertragungs-Medium, das daran beteiligt ist,
einem Prozessor Befehle zur Ausführung zu geben. Ein solches
Medium kann viele Formen annehmen, einschließlich, ohne
jedoch darauf beschränkt zu sein, nichtflüchtige
Medien, flüchtige Medien und Übertragungs-Medien.
Zu den nichtflüchtigen Medien gehören zum Beispiel
NVRAM oder Magnet- oder optische Platten. Zu den flüchtigen
Medien gehören dynamische Speicher, wie z. B. Arbeitsspeicher.
Zu den gängigen Formen computer-lesbarer Medien gehören
zum Beispiel Floppy Disks, Disketten, Festplatten, Magnetbänder oder
jegliche anderen magnetischen Medien, magnetisch-optische Medien,
CD-ROMs, jegliche anderen optischen Medien, Lochkarten, Lochstreifen,
jegliche anderen körperlichen Medien mit Lochmustern, RAMs,
PROMs, EPROMs, FLASH-EPROMs, Festkörper-Medien wie Speicherkarten,
jegliche anderen Speicher-Chips oder -Kassetten, Trägerwellen,
wie im Folgenden beschrieben, oder jegliche anderen Medien, die
ein Computer auslesen kann. Ein digitaler Dateianhang einer E-Mail
oder eines anderen in sich geschlossenen Datenarchivs oder einer
Menge von Archiven gilt als einem körperlichen Speichermedium
gleichwertiges Verteilungsmedium. Ist das computer-lesbare Medium
als Datenbank konfiguriert, so ist zu verstehen, dass die Datenbank
jegliche Art von Datenbank sein kann, wie zum Beispiel relational, hierarchisch,
objektorientiert und/oder Ähnliches. Folglich gilt, dass
die Erfindung ein körperliches Speichermedium oder Verteilungsmedium
und nach dem Stand der Technik anerkannte Äquivalente und Nachfolgemedien,
in denen die Software-Implementierungen der vorliegenden Erfindung
gespeichert sind, aufweist.
-
Die
Begriffe ”ermitteln” und ”berechnen” und ihre
Abwandlungen, wie sie hier verwendet werden, werden gegeneinander
austauschbar verwendet und beinhalten jegliche Art von Methodologie,
Prozess, mathematischer Operation oder Technik.
-
Der
Begriff ”Modul”, wie er hier verwendet wird, bezieht
sich auf jegliche bekannte oder später entwickelte Hardware,
Software, Firmware, künstliche Intelligenz, Fuzzy-Logik
oder Kombination von Hardware und Software, die in der Lage ist,
die jenem Element zugeordnete Funktionalität auszuführen. Außerdem
ist zu beachten, dass die Erfindung zwar anhand von Ausführungsbeispielen
beschrieben wird, dass jedoch einzelne Aspekte der Erfindung gesondert
beansprucht werden können.
-
Die
vorstehenden Ausführungen sind eine vereinfachte Zusammenfassung
der Erfindung, um einige Aspekte der Erfindung verständlich
zu machen. Diese Zusammenfassung ist weder ein umfassender noch
ein erschöpfender Überblick über die
Erfindung und ihre verschiedenen Ausführungsformen. Sie
soll weder Schlüssel- oder kritische Elemente der Erfindung
darlegen noch den Umfang der Erfindung definieren, sondern ausgewählte
Konzepte der Erfindung in vereinfachter Form präsentieren,
als Einführung zu der weiter unten präsentierten
ausführlichen Beschreibung. Man wird erkennen, dass andere
Ausführungsformen der Erfindung möglich sind durch Verwendung
eines oder mehrerer der oben dargelegten oder weiter unten ausführlich
beschriebenen Merkmale, entweder einzeln oder kombiniert.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
1 ist
ein Blockdiagramm, das ein Kommunikationssystem gemäß zumindest
einigen Ausführungsformen der vorliegenden Erfindung zeigt;
-
2 ist
ein Blockdiagramm, das ein Kommunikationsgerät gemäß zumindest
einigen Ausführungsformen der vorliegenden Erfindung zeigt;
-
3 ist
ein Blockdiagramm, das eine gemäß zumindest einigen
Ausführungsformen der vorliegenden Erfindung angewandte
Datenstruktur zeigt; und
-
4 ist
ein Ablaufdiagramm, das ein Kommunikationsverfahren gemäß zumindest
einigen Ausführungsformen der vorliegenden Erfindung zeigt.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Die
Erfindung wird weiter unten im Zusammenhang mit einem beispielhaften
Kommunikationssystem veranschaulicht. Zwar ist die Erfindung gut geeignet
zur Verwendung mit z. B. einem System, das einen oder mehrere Server
und/oder eine oder mehrere Datenbanken verwendet, sie ist jedoch
nicht beschränkt auf die Verwendung mit einer bestimmten Art
von Kommunikationssystem oder Konfiguration von Systemelementen.
Der Fachmann wird erkennen, dass die beschriebenen Techniken in
jeglicher Kommunikationsanwendung eingesetzt werden können,
in der es wünschenswert ist, Interpretationen der Teilnehmer
an einer Kommunikationssitzung (z. B. Video-Konferenz, Text-Kommunikation,
Telefonverbindung, E-Mail, usw.) zu überwachen und zu melden.
-
Die
beispielhaften Systeme und Verfahren dieser Erfindung werden auch
mit Bezug auf Kommunikations-Software, -Module und dazugehörige
Kommunikations-Hardware beschrieben. Um jedoch die Beschreibung
der vorliegenden Erfindung nicht unnötig kompliziert zu
machen, beinhaltet die folgende Beschreibung keine allgemein bekannten
Strukturen, Netzkomponenten und Geräte, die in Form eines Blockdiagramms
dargestellt werden können, allgemein bekannt sind oder
sonstwie kurz zusammengefasst sind.
-
Zum
Zweck der Erklärung werden zahlreiche Einzelheiten dargelegt,
um ein gründliches Verständnis der vorliegenden
Erfindung zu erzielen. Es ist jedoch zu verstehen, dass die vorliegende
Erfindung auf verschiedene Arten betrieben werden kann, die über
die hier dargelegten speziellen Einzelheiten hinausgehen.
-
Ferner
zeigen zwar die hier dargestellten beispielhaften Ausführungsformen
die verschiedenen Komponenten des zusammengestellten Systems, jedoch
ist zu verstehen, dass sich die verschiedenen Komponenten des Systems
an Gegenstellen eines verteilten Netzes, wie zum Beispiel eines
Kommunikationsnetzes und/oder des Internets, oder innerhalb eines
dedizierten sicheren, ungesicherten und/oder verschlüsselten
Systems befinden können. Somit ist zu verstehen, dass die
Komponenten des Systems zu ein oder mehreren Geräten, wie
zum Beispiel einem Unternehmens-Server oder einer Nebenstellenanlage,
kombiniert werden können oder an einem bestimmten Knoten
eines verteilten Netzes, wie zum Beispiel eines analogen und/oder
digitalen Kommunikationsnetzes, zusammengestellt werden können. Aus
der folgenden Beschreibung geht hervor, dass aus Gründen
der Recheneffizienz die Komponenten des Systems an jeglichem Ort
innerhalb eines verteilten Netzes angeordnet sein können,
ohne den Betrieb des Systems zu beeinträchtigen. Zum Beispiel können
sich die verschiedenen Komponenten in einem lokalen Server, bei
einem oder mehreren Anwendern oder einer Kombination davon befinden. Ebenso
können ein oder mehrere Funktionsteile des Systems unter
einem Server, einem Gateway, einer Nebenstellenanlagen und/oder
einem zugeordneten Kommunikationsgerät verteilt sein.
-
Es
wird zunächst mit Bezug auf 1 ein beispielhaftes
Kommunikationssystem 100 gemäß zumindest
einigen Ausführungsformen der vorliegenden Erfindung beschrieben.
Gemäß mindestens einer Ausführungsform
der vorliegenden Erfin dung kann ein Kommunikationssystem 100 ein
oder mehrere Kommunikationsgerate 108, die über
ein Kommunikationsnetz 104 miteinander kommunizieren, umfassen.
Die Kommunikationsgeräte 108 können jegliche
Art von bekanntem Kommunikations- oder Verarbeitungsgerät
sein, wie zum Beispiel PC, Laptop, Stift-Computer, Personal Digital
Assistant (PDA), Mobiltelefon, intelligentes Telefon, herkömmliches Telefon
oder Kombinationen davon. Allgemein kann jedes Kommunikationsgerät 108 dafür
angepasst sein, Video, Audio, Text und/oder sonstige Datenkommunikationen
mit anderen Kommunikationsgeräten 108 zu unterstützen.
-
Das
Kommunikationsnetz 104 kann jegliche Art von Datentransportmedium
umfassen und jegliche Art von Protokollen für den Transport
von Nachrichten zwischen Endpunkten verwenden. Das Kommunikationsnetz 104 kann
drahtgebundene und/oder drahtlose Kommunikationstechnologien beinhalten. Das
Internet ist ein Beispiel für das Kommunikationsnetz 104,
das ein IP-Netz darstellt, bestehend aus vielen Computern und anderen
Kommunikationsgeräten, die sich auf der ganzen Welt befinden
und durch viele Telefonsysteme und andere Mittel verbunden sind.
Zu weiteren Beispielen für das Kommunikationsnetz 104 zählen,
ohne jedoch darauf beschränkt zu sein, ein einfacher Standard-Fernsprechdienst,
ein Integrated Services Digital Network (ISDN), das Festnetz, ein
Local Area Network (LAN), ein Wide Area Network (WAN), ein Session
Initiation Protocol(SIP)-Netz und jegliche andere Art von paketvermitteltem
oder leitungsvermitteltem Netz nach dem Stand der Technik. Zusätzlich
ist zu verstehen, dass das Kommunikationsnetz 104 nicht
auf eine bestimmte Netzart beschränkt sein muss und statt
dessen aus einer Anzahl unterschiedlicher Netze und/oder Netzarten
bestehen kann.
-
Das
Kommunikationssystem 100 kann auch einen Konferenz-Server 112 umfassen.
Der Konferenz-Server 112 kann so vorgesehen sein, dass
er Mehrparteien-Kommunikationssitzungen ermöglicht. Zum
Beispiel kann der Konferenz-Server 112 eine Konferenzbrücke
oder einen Konferenzmischer beinhalten, auf den zwei oder mehr Kommunikationsgeräte 108 Zugriff
haben können. Beispielsweise könnten die Anwender
der Kommunikationsgeräte 108 die Dienste des Konferenz-Servers 112 anfordern,
indem sie eine vom Konferenz-Server 112 unterstützte fest
vorgegebene Nummer anwählen. Wenn erforderlich, könnte
der Anwender auch ein Passwort oder einen Teilnehmer-Code angeben.
Sobald der Anwender beim Konferenz-Server 112 authentifiziert
worden ist, kann es diesem Anwender erlaubt werden, sein Kommunikationsgerät 108 mit
anderen, ebenso beim Konferenz-Server 112 authentifizierten
Kommunikationsgeräten 108 zu verbinden.
-
Zusätzlich
dazu, dass der Konferenz-Server 112 allgemeine Konferenzkomponenten
enthält, kann er auch Komponenten umfassen, die dafür
angepasst sind, Gebärden von Teilnehmern an einer Kommunikationssitzung
zu analysieren, zu interpretieren und/oder zu verteilen. Im Besonderen
kann der Konferenz-Server 112 ein Gebärdenüberwachungsmodul
und/oder Verhaltenserkennungsmodul umfassen, das dem Konferenz-Server 112 erlaubt,
die Gebärden verschiedener Teilnehmer an einer Kommunikationssitzung
zu analysieren und andere Aufgaben auszuführen, die mit
der Funktionalität eines Gebärdenüberwachungsmoduls
und/oder Verhaltenserkennungsmoduls in Einklang stehen. Der Konferenz-Server 112 kann
verwendet werden, um Gebärdendaten für die Teilnehmer,
die über den Konferenz-Server 112 kommunizieren,
zu analysieren, zu interpretieren und/oder zu verteilen.
-
Alternativ
könnte es Kommunikationssitzungsteilnehmern, die nicht
den Konferenz-Server 112 verwenden (z. B. Teilnehmern an
einer Punkt-zu-Punkt-Kommunikationssitzung oder sonstigen Art von
Kommunikationssitzung, die nicht unbedingt Medien durch den Konferenz-Server 112 leitet) erlaubt
sein, Gebärdendaten an den Konferenz-Server 112 senden
zu lassen, wo sie analysiert, interpretiert und/oder unter anderen
gekennzeichneten Teilnehmern verteilt werden können. Bei
dieser speziellen Ausführungsform könnte ein Kommunikationsgerät 108,
das nicht mit den Merkmalen für Analyse, Interpretation
und/oder Verteilung von Ge bärdendaten versehen ist, trotzdem
in der Lage sein, den Konferenz-Server 112 zu nutzen und
von Ausführungsformen der vorliegenden Erfindung zu profitieren.
-
Mit
Bezug auf 2 wird nun ein beispielhaftes
Kommunikationsgerät 108 gemäß zumindest
einigen Ausführungsformen der vorliegenden Erfindung beschrieben.
Das Kommunikationsgerät 108 kann ein oder mehrere
Kommunikationsanwendungen 204 umfassen, von denen mindestens
eine ein Gebärdenüberwachungsmodul 208 umfasst.
Das Gebärdenüberwachungsmodul 208 kann
eine auf einem computer-lesbaren Medium gespeicherte Menge von Befehlen
umfassen, die durch einen (nicht abgebildeten) Prozessor ausgeführt
werden können. Das Gebärdenüberwachungsmodul 208 kann
zuständig sein für die Erfassung von Bildern, üblicherweise
in Form von Video-Frames, eines Anwenders des Kommunikationsgeräts 108.
Wenn der Anwender an einer Kommunikationssitzung mit einem anderen
Anwender beteiligt ist (z. B. wenn das Kommunikationsgerät 108 über
das Kommunikationsnetz 104 eine Verbindung mit mindestens
einem anderen Kommunikationsgerät aufgebaut hat), kann
das Gebärdenüberwachungsmodul 208 dafür
angepasst sein, die Bilddaten des Anwenders zu analysieren. Während
seiner Analyse der Bilddaten kann das Gebärdenüberwachungsmodul 208 die
Gebärden interpretieren, um bestimmte Gebärdendaten
zu erhalten. Zu den Arten von Gebärdendaten, die man vom
Gebärdenüberwachungsmodul 208 erhalten
kann, gehören, ohne darauf beschränkt zu sein,
allgemeine Stimmungsdaten (z. B. froh, traurig, wütend, ärgerlich,
verwirrt, amüsiert, usw.) sowie spezielle nonverbale Kommunikationen
(z. B. eine Nachricht, die durch Körpersprache und/oder
Gesichtsbewegungen anstatt durch gesprochene oder getippte Worte
zur Verfügung gestellt wird).
-
Das
Gebärdenüberwachungsmodul 208 kann der
Kultur des Anwenders des Kommunikationsgeräts 108 speziell
angepasst sein. Wenn zum Beispiel der Anwender des Kommunikationsgeräts 108 Australier
ist, dann kann das Gebärdenüberwachungsmodul 208 dafür
angepasst sein, die Bilddaten für bestimmte australier-typische
Gebärden zu analysieren. Ebenso kann, wenn der Anwender
des Kommunikationsgeräts 108 Deutscher ist, das
Gebärdenüberwachungsmodul 208 dafür
angepasst sein, die Bilddaten für eine andere Untermenge
von Gebärden zu analysieren.
-
Die
Arten der vom Gebärdenüberwachungsmodul
208 angewandten
Gebärdenerkennungsalgorithmen können variieren
und können von den Verarbeitungsfähigkeiten des
Kommunikationsgeräts
108 abhängen. Verschiedene
Beispiele für Algorithmen, die vom Gebärdenüberwachungsmodul
208 angewandt
werden können, werden in einem oder mehreren der
US-Patente Nr. 5,594,810 ,
6,072,494 ,
6,256,400 ,
6,393,136 und
6,804,396 beschrieben, und der gesamte
Inhalt eines jeden dieser Patente wird durch diese Erwähnung
hierin aufgenommen. Zu den vom Gebärdenüberwachungsmodul
208 angewandten
Algorithmen können Algorithmen gehören, die die
Gesichtsbewegungen, Handbewegungen, Körperbewegungen, usw.
eines Anwenders analysieren. Diese Daten können einer bestimmten Kultur
des agierenden Teilnehmers zugeordnet werden.
-
Die
Kommunikationsanwendung 204 kann auch dafür angepasst
sein, die Gebärdendaten für den agierenden Teilnehmer
so zu interpretieren/zu übersetzen, dass sie mit einer
Kultur eines anderen Teilnehmers übereinstimmen. Die Kommunikationsanwendung 204 kann
ein Verhaltenserkennungsmodul 216 umfassen, das dafür
angepasst ist, Gebärdendaten zu interpretieren/zu übersetzen
sowie diese Daten den Teilnehmern an einer Kommunikationssitzung
zur Verfügung zu stellen. Mit anderen Worten, das Gebärdenüberwachungsmodul 208 kann dafür
angepasst sein, Bilddaten zu erfassen und Gebärdendaten
aus diesen Bilddaten zu ermitteln, und dann kann das Verhaltenserkennungsmodul 216 dafür
angepasst sein, die Gebärdendaten von der Kultur des agierenden
Teilnehmers in eine Kultur eines anderen Kommunikationssitzungsteilnehmers
zu übersetzen. Diese Übersetzung kann ermöglicht
werden durch Referenzierung eines Teilnehmerdatenspeichers 212,
der Daten über die dem agierenden Teilnehmer zugeordneten
Kultur verwaltet. Der Teilnehmerdatenspeicher 212 kann
auch Daten über die den anderen Kommunikationssitzungsteilnehmern zugeordneten
Kulturen enthalten.
-
Die
im Teilnehmerdatenspeicher 212 verwalteten Daten können
während der Initialisierung der Kommunikationssitzung erstellt
und von jedem Teilnehmer aus dessen zugeordnetem Kommunikationsgerät/zugeordneten
Kommunikationsgeräten und/oder aus einer diese Daten enthaltenden
Unternehmensdatenbank abgerufen werden.
-
Zum
Beispiel kann das Verhaltenserkennungsmodul 216 in der
Lage sein, eine Bedeutung der Gebärdendaten in einer Kultur
auf eine Bedeutung der Gebärdendaten in einer anderen Kultur
abzubilden. Dies ist besonders nützlich, wenn der agierende
Teilnehmer und der zuschauende/zuhörende Teilnehmer signifikant
unterschiedlichen Kulturen zugeordnet werden. Unter diesen Umständen
kann es sein, dass der jeweilige Teilnehmer nicht erkennt, dass
seine Gebärden dem anderen Teilnehmer eine bestimmte Bedeutung übermitteln.
Die vorliegende Erfindung kann das Verhaltenserkennungsmodul 216 dabei
unterstützen, die mehrfachen Bedeutungen, die eine bestimmte
Gebärde haben kann, zu ermitteln und diese Bedeutungen
einem, beiden, einer Untermenge oder allen Teilnehmern mitzuteilen.
Somit können dem agierenden Teilnehmer die nonverbalen Kommunikationen,
die er an seine Zuschauer schickt, bewusst gemacht werden, und den
Zuschauern kann bewusst sein, was mit solchen nonverbalen Kommunikationen
beabsichtigt ist.
-
Gemäß zumindest
einigen Ausführungsformen der vorliegenden Erfindung kann
die Interpretation von Gebärdendaten automatisch aus dem
Verhaltenserkennungsmodul 216 gewonnen werden. Alternativ
oder zusätzlich kann das Verhaltenserkennungsmodul 216 dafür
angepasst sein, den agierenden Teilnehmer abzufragen, um zu ermitteln,
ob diesem seine nonverbalen Nachrichten bewusst sind und/oder ob
er den anderen Kommunikationssitzungsteilnehmern diese Nachrichten
(oder andere Nachrichten) übermitteln will. Wenn sich zum
Beispiel ein agierender Teilnehmer in einer Art und Weise bewegt,
dass seine Gebärden erkennen lassen, dass er ärgerlich
ist, kann das Verhaltenserkennungsmodul 216 diese Gebärden
und die mögliche Bedeutung dieser Gebärden erkennen.
Das Verhaltenserkennungsmodul 216 kann dann den agierenden
Teilnehmerfragen, ob er beabsichtigt, diese Nachricht an die anderen
Teilnehmer zu verbreiten oder ob es eine andere Nachricht gibt,
die der agierende Teilnehmer den anderen Teilnehmern übermitteln
möchte. Bejaht der Anwender, dass er diese Nachricht mitteilen
möchte, können die ursprünglich vom Gebärdenüberwachungsmodul 208 erkannten Gebärdendaten
den anderen Teilnehmern mitgeteilt werden. Ändert der agierende
Teilnehmer die Nachricht, die den anderen Teilnehmern mitgeteilt
werden soll, so kann das Gebärdenüberwachungsmodul 208 die
den anderen Teilnehmern mitgeteilten Gebärdendaten gemäß der
Eingabe des agierenden Teilnehmers abändern.
-
Zusätzlich
zu Modulen für Analyse, Interpretation und/oder Mitteilung
von Gebärdendaten an die Teilnehmer der Kommunikationssitzung
enthält die Kommunikationsanwendung 204 auch Kommunikationsprotokolle 220,
die von der Kommunikationsanwendung 204 verwendet werden,
um Kommunikationen mit anderen Kommunikationsgeräten 108 über das
Kommunikationsnetz 104 zu ermöglichen.
-
Das
Kommunikationsgerät 108 kann ferner einen Anwendereingang 224,
einen Anwenderausgang 228, eine Netzschnittstelle 232,
ein Betriebssystem 236 und eine Stromversorgung 240 aufweisen.
Das Betriebssystem 236 ist im Allgemeinen eine Anwendung
niedrigerer Ebene, welche Navigation und Verwendung der Kommunikationsanwendung 204 und
anderer im Kommunikationsgerät 108 gespeicherter
Anwendungen ermöglicht.
-
Die
Stromversorgung 240 kann einer internen Stromquelle, wie
zum Beispiel einer Batterie oder Ähnlichem, entsprechen.
Alternativ oder zusätzlich kann die Stromversorgung 240 einen
Stromrichter umfassen, der dafür angepasst ist, den von
einer Steckdose erhaltenen Wechselstrom in vom Kommunikationsgerät 108 verwendbaren
Gleichstrom umzuwandeln.
-
Die
Netzschnittstelle 232 kann Folgendes beinhalten, ohne jedoch
darauf beschränkt zu sein: eine Netzschnittstellenkarte,
ein Modem, einen drahtgebundenen Telefonieanschluss, einen seriellen
oder parallelen Datenanschluss, einen Funkfrequenz-Broadcast-Transceiver,
einen USB-Anschluss, oder andere drahtgebundene oder drahtlose Kommunikationsnetzschnittstellen.
-
Der
Anwendereingang 224 kann zum Beispiel Folgendes beinhalten:
eine Tastatur, einen Zifferntastenblock und ein Zeigegerät
(z. B. Maus, Touch-Pad, Rollerball, usw.) in Kombination mit einem
Bildschirm oder anderen Positions-Codierer. Ferner kann der Anwendereingang 224 Mechanismen
für die Erfassung von Bildern eines Anwenders umfassen.
Im Besonderen kann der Anwendereingang 224 eine Kamera
oder eine andere Art von Video-Erfassungsgerät umfassen,
das dafür angepasst ist, eine Serie von Bildern des Anwenders
zu erfassen. Diese Daten können dem Gebärdenüberwachungsmodul 208 als
Eingabe bereitgestellt werden.
-
Zu
den Beispielen für Anwenderausgangsgeräte 228 gehören
eine alphanumerische Anzeige, eine Flüssigkristallanzeige
(LCD), eine Leuchtdiode (LED), eine Plasmaanzeige, ein Kathodenstrahlröhren-(CRT)-Bildschirm,
ein Ruforgan und/oder Anzeigelampen. Gemäß zumindest
einigen Ausführungsformen der vorliegenden Erfindung kann
ein kombiniertes Anwendereingabe-/-ausgabegerät, wie zum Beispiel
ein Touch-Screen-Gerät, vorgesehen sein.
-
Mit
Bezug auf 3 wird nun eine beispielhafte
Datenstruktur 300 gemäß zumindest einigen Ausführungsformen
der vorliegenden Erfindung beschrieben. Die Datenstruktur 300 kann
eine Anzahl von Datenfeldern zum Speichern von zur Analyse und Interpretation
der Gebärdendaten verwendeten Daten aufweisen. Die Datenstruktur 300 kann
im Datenspeicher 212 oder an jeglichem anderen Datenspeicherort,
wie zum Beispiel einer Unternehmensdatenbank, verwaltet werden.
Die Datenstruktur 300 kann für die Dauer der Kommunikationssitzung
oder längere Zeiträume verwaltet werden. Zum Beispiel können
einige Abschnitte der Datenstruktur 300 verwaltet werden,
nachdem die Kommunikationssitzung beendet ist.
-
Zu
den Arten von Feldern, welche die Datenstruktur 300 aufweisen
kann, gehören, ohne darauf beschränkt zu sein,
ein Gerätekennzeichenfeld 304, ein Anwenderkennzeichenfeld 308,
ein Anwenderdatenfeld 312, ein Gebärdenhistorienfeld 316,
ein Feld für aktuelle Gebärdeninterpretation 320 und
ein Übersetzungsdatenfeld 324. Das Gerätekennzeichenfeld 304 und
das Anwenderkennzeichenfeld 308 können verwendet
werden, um Gerätekennzeichnungsdaten bzw. Anwenderkennzeichnungsdaten
zu speichern. Zu den Beispielen für im Gerätekennzeichenfeld 304 gespeicherte
Gerätekennzeichen können gehören: eine
Internet Protocol(IP)-Adresse, eine Media Access Control(MAC)-Adresse,
ein Universal Resource Identifier (URI), eine Telefonnummer, eine
Durchwahlnummer, oder jeglicher sonstige Mechanismus zur Kennzeichnung
von Kommunikationsgeräten 108. Ebenso kann das
Anwenderkennzeichen einen Namen eines einem bestimmten Kommunikationsgerät 108 zugeordneten
Anwenders beinhalten. Der Fachmann wird erkennen, dass einem einzigen
Kommunikationsgerät 108 mehrere Anwender zugeordnet
sein können (z. B. während einer Konferenzverbindung,
bei der sich ein Konferenz-Kommunikationsgerät 108 in
einem Raum mit mehreren Teilnehmern befindet).
-
Für
jeden im Anwenderkennzeichenfeld 308 gekennzeichneten Anwender
können die Daten des Anwenders im Anwenderdatenfeld 312 gespeichert sein.
Im Besonderen können, wenn ein Anwender einer oder mehreren
Kulturen zugeordnet wird, diese Daten im Anwenderdatenfeld 312 verwaltet
werden. Zum Beispiel kann das Anwenderdatenfeld 312 kulturelle
Daten für den jeweiligen Anwender speichern und kann ferner
Daten umfassen, die verwendet werden, um in einer Kommunikationssitzung
Gebärdendaten zwischen den Anwendern zu übersetzen.
-
Das
Gebärdenhistorienfeld 316 kann Daten im Zusammenhang
mit früheren Gebärden eines Kommunikationssitzungsteilnehmers
umfassen. Diese historischen Gebärdendaten können
genutzt werden, um zukünftige Gebärdendaten für
einen bestimmten Anwender zu kennzeichnen. Ferner können
die historischen Gebärdendaten die Antworten des Anwenders
auf die vom Verhaltenserkennungsmodul 216 erzeugten Abfragen
beinhalten. All diese Daten können nützlich sein
bei der Analyse zukünftiger Gebärdendaten für
jenen Anwender sowie bei der Ermittlung, ob eine Interpretation
seiner Gebärdendaten erforderlich ist.
-
Das
Feld für aktuelle Gebärdeninterpretation 320 kann
Daten im Zusammenhang mit der aktuellen Analyse der Handlungen des
Anwenders umfassen. Im Besonderen kann das Feld für aktuelle
Gebärdeninterpretation 320 die während
einer Kommunikationssitzung vom Gebärdenüberwachungsmodul 208 erhaltenen
Analyseergebnisse speichern.
-
Das Übersetzungsdatenfeld 324 kann Übersetzungsdaten
im Zusammenhang mit der aktuellen Analyse der Handlungen des Anwenders
umfassen. Darüberhinaus kann das Übersetzungsdatenfeld 324 Daten
umfassen, die verwendet werden, um die Bedeutung der Gebärdendaten
aus einer Kultur auf eine andere Kultur abzubilden. Somit kann das Übersetzungsdatenfeld 324 die
während einer Kommunikationssitzung vom Gebärdenerkennungsmodul 216 erhaltenen
Interpretationsergebnisse sowie Daten, die vom Gebärdenerkennungsmodul 216 verwendet werden,
um diese Übersetzungsdaten zu erhalten, speichern.
-
Mit
Bezug auf 4 wird nun ein beispielhaftes
Kommunikationsverfahren gemäß zumindest einigen
Ausführungsformen der vorliegenden Erfindung beschrieben.
Das Verfahren kann bei jeglicher Kommunikationssitzung zwischen
zwei oder mehr Teilnehmern, die über ein Kommunikationsnetz 104 miteinander
kommunizieren, eingesetzt werden. Zum Beispiel kann die Kommunikationssitzung
eine Telefonkonferenz oder Video-Konferenz umfassen, bei der die
Kommunikationsgeräte 108 untereinander einen Sprach-/Datenpfad
durch das Kommunikationsnetz 104 aufbauen. Als weiteres
Beispiel kann die Kommunikationssitzung eine textbasierte Kommunikationssitzung
(z. B. eine E-Mail-basierte Kommunikations sitzung, eine IM-Sitzung,
eine SMS-Sitzung oder Ähnliches) umfassen, bei der ein
Anwender über das Kommunikationsnetz 104 eine
Textnachricht an einen anderen Anwender sendet. Die Erzeugung einer
Textnachricht kann die Instantiierung des in 4 gezeigten
Kommunikationsverfahrens einleiten und dadurch die Erfassung, Analyse
und eventuelle Interpretation der vom sendenden Anwender kommenden
Gebärdendaten auslösen und diese Gebärdendaten
in die Nachricht mit aufnehmen, bevor diese an den/die Zielempfänger
gesendet wird.
-
Das
Kommunikationsverfahren wird eingeleitet durch die Erfassung der
von einem agierenden Teilnehmer kommenden Bild- und/oder Audio-Daten während
einer Kommunikationssitzung (oder während der Erstellung
einer textbasierten Nachricht während einer textbasierten
Kommunikationssitzung) (Schritt 404). Art und Umfang der
erfassten Bild- und/oder Audio-Daten können von den kulturellen
Unterschieden zwischen den Teilnehmern abhängig sein. Zum
Beispiel kann ein signifikanter kultureller Unterschied, wie zum
Beispiel zwischen japanischen und kanadischen Teilnehmern, erfordern, mehr
Gebärdendaten zu erfassen, da mehr Interpretation benötigt
werden könnte, wohingegen ein geringerer kultureller Unterschied,
wie zum Beispiel zwischen amerikanischen und kanadischen Teilnehmern,
eventuell nicht so viel Interpretation benötigt und deshalb
nicht so viele Bild- und/oder Audio-Daten erfordert.
-
Nachdem
vom agierenden Teilnehmer Daten in angemessenem Umfang und von angemessener Art
erfasst wurden, wird das Verfahren damit fortgesetzt, dass das Gebärdenüberwachungsmodul 208 die
empfangenen Daten auf Gebärdendaten analysiert (Schritt 408).
Das Gebärdenüberwachungsmodul 208 kann
aus einer bestimmten Menge von Daten mehr als eine Art von Gebärdendaten
gewinnen. Zum Beispiel kann das Gebärdenüberwachungsmodul 208 ermitteln,
dass der agierende Teilnehmer eine bestimmte Stimmung (z. B. Verwirrung)
sowie eine nonverbale Nachricht (z. B. ”Ich verstehe nicht. Bitte
wiederholen Sie.”) übermittelt. Folglich können beide
Arten von Gebärdendaten den erfassten Daten sowie dem agierenden
Teilnehmer zugeordnet werden.
-
Dann
können die Gebärdendaten an das Verhaltenserkennungsmodul 216 weitergegeben werden,
wo die Gebärdendaten interpretiert werden (Schritt 412).
Die vorgenommenen Interpretationen können je nach den kulturellen
Unterschieden zwischen den Kommunikationssitzungsteilnehmern variieren.
Somit kann, wenn die Kommunikationssitzung drei oder mehr Teilnehmer
umfasst, die jeweils einer anderen Kultur zugeordnet werden, das
Verhaltenserkennungsmodul 216 zwei oder mehr Interpretationen
der Gebärdendaten erstellen.
-
Die
Interpretation der Gebärdendaten und eventuell die ursprünglichen
Gebärdendaten können dann dem/den anderen Kommunikationssitzungsteilnehmer(n)
bereitgestellt werden (Schritt 416). Diese Daten können
den anderen Anwendern mitgeteilt werden, indem diese Daten in die
Nachricht selbst mit aufgenommen werden oder indem diese Daten getrennt
von der Nachricht gesendet werden. Diese Interpretationsdaten werden
dann den anderen Teilnehmern über ihr Kommunikationsgerät 108 bereitgestellt.
Die Daten können in einem akustischen und/oder optischen
Format bereitgestellt werden. Zum Beispiel können die Daten
den anderen Teilnehmern über eine ”Whisper Page” oder
einen anderen separaten Kommunikationskanal bereitgestellt werden.
Als weiteres Beispiel können die Daten den anderen Teilnehmern über
ein Icon und/oder eine Textnachricht, welche die Gebärdendaten
und/oder deren Interpretation anzeigt, bereitgestellt werden.
-
Ebenso
kann/können die Interpretation(en) der Gebärdendaten
auch dem agierenden Teilnehmer bereitgestellt werden (Schritt 420).
Das ermöglicht dem agierenden Teilnehmer, sich der Interpretationsdaten,
die den anderen Teilnehmern mitgeteilt wurden, bewusst zu werden.
Darüberhinaus ermöglicht diese Rückmeldung
dem agierenden Teilnehmer zu ermitteln, ob er etwas übermittelt,
das er nonverbal übermitteln möchte, oder ob er
zufällig etwas übermittelt, das er nicht übermitteln
möchte. Die Rückmeldedaten können in ähnlicher
Weise, wie diese Daten den anderen Teilnehmern bereitgestellt wurden,
in Form einer akustischen und/oder optischen Nachricht bereitgestellt
werden.
-
Die
Ausführung dieses Verfahrens kann fortgesetzt werden, bis
die Kommunikationssitzung beendet ist. Der Fachmann wird jedoch
erkennen, dass die aus einer Kommunikationssitzung gewonnenen Gebärdendaten
gespeichert und in darauffolgenden Kommunikationssitzungen verwendet
werden können. Zum Beispiel können die kulturellen
Daten eines Teilnehmers in einem Kontaktprotokoll verwaltet werden,
auf das das Gebärdenüberwachungsmodul 208 und/oder
das Verhaltenserkennungsmodul 216 während späterer
Kommunikationssitzungen zugreifen können.
-
Zwar
wurde das oben beschriebene Ablaufdiagramm mit Bezug auf einen bestimmten
Ablauf von Ereignissen erörtert, es ist jedoch zu verstehen, dass Änderungen
an diesem Ablauf erfolgen können, ohne die Funktion der
Erfindung wesentlich zu beeinflussen. Außerdem muss der
genaue Ablauf der Ereignisse nicht unbedingt so erfolgen, wie es
in den Ausführungsbeispielen dargelegt ist. Die hier veranschaulichten
beispielhaften Techniken sind nicht auf die speziell veranschaulichten
Ausführungsformen beschränkt, sondern können
auch mit den anderen Ausführungsbeispielen verwendet werden,
und jedes beschriebene Merkmal kann einzeln und getrennt beansprucht
werden.
-
Die
Systeme, Verfahren und Protokolle dieser Erfindung können
zusätzlich zu oder anstelle von der beschriebenen Kommunikationsausrüstung
implementiert werden auf einem Spezial-Computer, einem programmierten
Mikroprozessor oder Mikrocontroller und einem oder mehreren peripheren
integrierten Schaltelementen, einem ASIC oder einem anderen integrierten
Schaltkreis, einem digitalen Signalprozessor, einem festverdrahteten
elektronischen oder logischen Schaltkreis, wie zum Beispiel einem diskrete-Elemente-Schaltkreis,
einem programmierbaren Logikbaustein, wie zum Beispiel einem PLD, PLA,
FPGA, PAL, einem Kommunikationsgerät, wie zum Beispiel
einem Telefon, jeglichem vergleichbaren Mittel, oder Ähnlichem.
Grundsätzlich kann jedes Gerät, das in der Lage
ist, eine Zustandsmaschine zu implementieren, die ihrerseits in
der Lage ist, die hier veranschaulichte Methodologie zu implementieren, verwendet
werden, um die verschiedenen Kommunikationsverfahren, -protokolle
und -techniken gemäß dieser Erfindung zu implementieren.
-
Ferner
können die beschriebenen Verfahren ohne Weiteres in Software
implementiert werden, die Objekt- oder objektorientierte Software-Entwicklungsumgebungen
verwendet, welche einen portablen Quell-Code liefern, der auf einer
Vielzahl von Computer- oder Arbeitsstations-Plattformen verwendet
werden kann. Alternativ kann das beschriebene System ganz oder teilweise
in Hardware, die Standard-Logikschaltkreise oder ein VLSI-Design
verwendet, implementiert werden. Ob für die Implementierung
der Systeme gemäß dieser Erfindung Software oder
Hardware verwendet wird, ist abhängig von den Geschwindigkeits-
und/oder Effizienzanforderungen des Systems, der speziellen Funktion
und den verwendeten speziellen Software- oder Hardware-Systemen
oder Mikroprozessor- oder Mikrocomputersystemen. Die hier veranschaulichten
Kommunikationssysteme, -verfahren und -protokolle können
aufgrund der hier angegebenen funktionellen Beschreibung und mit
allgemeinen Grundkenntnissen in Computer- und Kommunikations-Technik
vom Fachmann mit durchschnittlichem Fachwissen in der anwendbaren
Technik unter Verwendung jeglicher bekannter oder später
entwickelter Systeme oder Strukturen, Geräte und/oder Software
ohne Weiteres in Hardware und/oder Software implementiert werden.
-
Darüberhinaus
können die beschriebenen Verfahren ohne Weiteres in Software
implementiert werden, die auf einem Speichermedium gespeichert werden
kann oder auf einem programmierten Allzweck-Computer unter Mitwirkung
eines Controllers und eines Speichers, einem Spezial-Computer, einem
Mikroprozessor oder Ähnlichem läuft. In diesen Fällen
können die Systeme und Verfahren dieser Erfindung implementiert
werden als ein in einen PC eingebettetes Programm, wie zum Beispiel
ein Applet-, JAVA®- oder CGI-Script,
als eine auf einem Server oder einer Computer-Arbeitsstation residente
Ressource, als eine in ein dediziertes Kommunikationssystem oder
eine Systemkomponente eingebettete Routine, oder Ähnliches.
Das System kann auch implementiert werden, indem das System und/oder
das Verfahren körperlich in ein Software- und/oder Hardware-System,
wie zum Beispiel die Hardware- und Software-Systeme eines Kommunikationsgeräts oder
-systems, eingebracht wird.
-
Es
ist daher erkennbar, dass gemäß der vorliegenden
Erfindung Systeme, Apparate und Verfahren angegeben wurden, die
es kommunikationsfähigen Geräten erlauben, miteinander
Umgang zu pflegen und eine gemeinsam genutzte Funktionalität
einzurichten. Zwar wurde diese Erfindung in Verbindung mit einer
Anzahl von Ausführungsformen beschrieben, es ist jedoch
offensichtlich, dass viele Alternativen, Abwandlungen und Variationen
für den Fachmann mit durchschnittlichem Fachwissen in der
anwendbaren Technik erkennbar wären oder sind. Folglich
ist beabsichtigt, alle solchen Alternativen, Abwandlungen, Äquivalente
und Variationen, die in den Geist und Umfang dieser Erfindung fallen,
zu umfassen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - US 6804396 [0003, 0003, 0031]
- - US 5594810 [0031]
- - US 6072494 [0031]
- - US 6256400 [0031]
- - US 6393136 [0031]