DE112022002775T5

DE112022002775T5 - Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und informationsverarbeitungsprogramm

Info

Publication number: DE112022002775T5
Application number: DE112022002775.4T
Authority: DE
Inventors: Keiichiro Taniguchi
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2021-05-27
Filing date: 2022-02-25
Publication date: 2024-04-04
Also published as: WO2022249604A1

Abstract

Eine Informationsverarbeitungsvorrichtung (100) gemäß einem Aspekt der vorliegenden Offenbarung weist eine Übertragungsverarbeitungseinheit (131), eine Empfangsverarbeitungseinheit (132) und eine Präsentationsverarbeitungseinheit (133) auf. Die Übertragungsverarbeitungseinheit (131) überträgt, während einer Fernkommunikation, die zwischen mehreren voneinander entfernten Punkten durchgeführt wird, erste Bewegungsinformationen, die eine Körperbewegung eines Benutzers angeben, an einen Benutzer an einem anderen Punkt. Die Empfangsverarbeitungseinheit (132) empfängt zweite Bewegungsinformationen, die eine Körperbewegung des Benutzers an dem anderen Punkt angeben. Die Präsentationsverarbeitungseinheit (133) steuert beim Präsentieren von Informationen, in denen eine Situation des Benutzers an dem anderen Punkt basierend auf den zweiten Bewegungsinformationen reproduziert wird, einen Präsentationsinhalt basierend auf einer Situation, in der die zweiten Bewegungsinformationen erfasst werden.

Description

Gebiet der Technik
Die vorliegende Offenbarung betrifft eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Informationsverarbeitungsprogramm.
Hintergrund
Herkömmlicherweise ist ein Konferenzsystem, ein Kommunikationstool und dergleichen zum Erreichen einer sogenannten Fernkommunikation bekannt, bei der die Kommunikation zwischen mehreren voneinander entfernten Punkten, während ein Bild eines Kommunikationspartners angezeigt wird, durch Übertragen und Empfangen eines Bilds und eines Tons an- und voneinander durchgeführt wird.
Darüber hinaus sind in den letzten Jahren mit der Entwicklung sogenannter XR-Technologien wie Virtual Reality (VR) und Augmented Reality (AR) auch Plattformen für die Fernkommunikation mithilfe von XR-Vorrichtungen entstanden. Gemäß der Fernkommunikation mit einer XR-Vorrichtung können nicht nur sprachliche Informationen, sondern auch verschiedene andere Arten von Informationen als sprachliche Informationen übermittelt werden, wodurch ein Gefühl der Koexistenz erreicht werden kann, als ob ein Gespräch in einem echten Raum geführt würde.
Ferner wurde, als Reaktion auf die Diversifizierung der über ein Netzwerk übertragenen und empfangenen Informationen, beispielsweise ein Datenverarbeitungssystem vorgeschlagen, um die optimale Übertragungsmodalität für die Daten-/Paketübertragung in einer sprachaktivierten Computernetzwerkumgebung zu identifizieren.
Liste der Anführungen
Patentliteratur
Patentliteratur 1: JP 2020-42270 A
Kurzdarstellung
Technische Aufgabe
Bei der oben genannten Fernkommunikation ist es jedoch wahrscheinlich, dass die Fernkommunikation aufgrund einer Zunahme der zu übertragenden und zu empfangenden Informationsmenge durch Änderungen im Kommunikationsband oder eine Kommunikationsverzögerung beeinträchtigt wird, was manchmal die reibungslose Durchführung der Kommunikation erschwert.
Vor dem Hintergrund des Obigen schlägt die vorliegende Offenbarung eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Informationsverarbeitungsprogramm vor, die eine reibungslose Durchführung einer Fernkommunikation ermöglichen.
Lösung des Problems
Um das obige Problem zu lösen, weist eine Informationsverarbeitungsvorrichtung, die einen Dienst bereitstellt, der einen Identitätsverifizierungsprozess erfordert, gemäß einer Ausführungsform der vorliegenden Offenbarung Folgendes auf: eine Übertragungsverarbeitungseinheit, ausgebildet zum Übertragen, in einer Fernkommunikation, die zwischen mehreren voneinander entfernten Punkten durchgeführt wird, von ersten Bewegungsinformationen, die eine Körperbewegung eines Benutzers angeben, an einen Benutzer an einem anderen Punkt; eine Empfangsverarbeitungseinheit, ausgebildet zum Empfangen von zweiten Bewegungsinformationen, die eine Körperbewegung des Benutzers an dem anderen Punkt angeben; und eine Präsentationsverarbeitungseinheit, ausgebildet zum Steuern, beim Präsentieren von Informationen, in denen eine Situation des Benutzers an dem anderen Punkt basierend auf den zweiten Bewegungsinformationen reproduziert wird, eines Präsentationsinhalts basierend auf einer Situation, in der die zweiten Bewegungsinformationen erfasst werden.
Kurze Beschreibung der Zeichnungen

1 ist ein Diagramm, das ein Beispiel der Konfiguration eines Informationsverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
2 ist ein Diagramm, das ein Beispiel einer Nutzungsszene der Fernkommunikation gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
3 ist ein Diagramm, das ein Beispiel eines Präsentationsobjekts gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
4 ist ein Blockdiagramm, das ein Beispiel der Vorrichtungskonfiguration einer Informationsverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
5 ist ein Diagramm, das ein Beispiel für Bewegungsinformationen gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
6 ist ein Diagramm, das ein Beispiel für Bewegungsinformationen gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
7 ist ein Diagramm, das ein Beispiel der Erfassung von Informationen über Gesichtsmuskeln gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
8 ist ein Flussdiagramm, das ein Beispiel einer Verarbeitungsprozedur einer Informationsverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
9 ist ein Flussdiagramm, das ein Beispiel einer Verarbeitungsprozedur einer Informationsverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
10 ist ein Diagramm, das ein Beispiel einer Aktualisierungsfrequenz von Bewegungsinformationen gemäß einer Modifikation veranschaulicht.
11 ist ein Diagramm, das ein Beispiel einer Aktualisierungsfrequenz von Bewegungsinformationen gemäß einer Modifikation veranschaulicht.
12 ist ein Blockdiagramm, das ein Beispiel der Hardwarekonfiguration eines Computers veranschaulicht, der einer Informationsverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung und einer Modifikation davon entspricht.

Beschreibung der Ausführungsformen
Es folgt eine ausführliche Beschreibung von Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen. In den nachstehend beschriebenen Ausführungsformen werden Bestandteile mit im Wesentlichen gleicher Funktionskonfiguration mit den gleichen Zahlen oder Bezugszeichen gekennzeichnet, und auf eine wiederholte Erläuterung dieser Strukturelemente wird mitunter verzichtet. Darüber hinaus werden in der Beschreibung und den Zeichnungen mitunter mehrere Bestandteile mit im Wesentlichen der gleichen Funktionskonfiguration voneinander unterschieden und beschrieben, indem unterschiedliche Zahlen oder Bezugszeichen nach derselben Zahl oder demselben Bezugszeichen hinzugefügt werden.
Darüber hinaus wird die vorliegende Offenbarung in der folgenden Reihenfolge der Punkte beschrieben.

1. Ausführungsform
1. 1-1. Systemkonfigurationsbeispiel
2. 1-2. Beispiel einer Nutzungsszene
3. 1-3. Vorrichtungskonfigurationsbeispiel
  1. 1-3-1. Bezüglich Bewegungsinformationen
  2. 1-3-2. Bezüglich der Prioritätsreihenfolge von Bewegungsinformationen
  3. 1-3-3. Bezüglich des neutralen Zustands
  4. 1-3-4. Spezielles Beispiel der Anzeigesteuerung
4. 1-4. Verarbeitungsprozedurbeispiel
2. Modifikation
1. 2-1. Bezüglich der Prioritätsreihenfolge
2. 2-2. Verwendung von gewohntem Bewegungsmuster
3. 2-3. Bedingungen für die Übertragung von Bewegungsinformationen
4. 2-4. Bezüglich der Aktualisierung von Informationen
5. 2-5. Bezüglich der Informationsergänzung
6. 2-6. Bezüglich des neutralen Zustands
7. 2-7. Bezüglich der Anzeige des Kommunikationspartners
3. Weiteres
4. Hardwarekonfigurationsbeispiel
5. Schlussfolgerung

<< 1. Ausführungsform >>
<1-1. Systemkonfigurationsbeispiel>
Es folgt eine Beschreibung einer Konfiguration eines Informationsverarbeitungssystems 1 gemäß einer Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf 1. 1 ist ein Diagramm, das ein Beispiel der Konfiguration eines Informationsverarbeitungssystems gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Wie in 1 veranschaulicht, weist das Informationsverarbeitungssystem 1 gemäß der Ausführungsform mehrere Systeme 10 auf, die an voneinander entfernten Punkten installiert sind. In dem in 1 veranschaulichten Beispiel weist das Informationsverarbeitungssystem 1 ein System 10₁, installiert am Punkt A, ein System 10₂, installiert am Punkt B, ein System 10₃, installiert am Punkt C, und ein System 10₄, installiert am Punkt D, auf. Es sei angemerkt, dass das in 1 veranschaulichte Informationsverarbeitungssystem 1 mehr Systeme als das in 1 veranschaulichte Beispiel aufweisen kann oder weniger Systeme als das in 1 veranschaulichte Beispiel aufweisen kann.
Die in 1 veranschaulichten Systeme 10₁ bis 10₄ sind mit einem Netzwerk N verbunden. Die in 1 veranschaulichten Systeme 10₁ bis 10₄ können über das Netzwerk N miteinander kommunizieren. Das Netzwerk N kann ein öffentliches Leitungsnetzwerk, wie etwa das Internet, ein Telefonleitungsnetzwerk oder ein Satellitenkommunikationsnetzwerk, verschiedene lokale Netzwerke (LANs) einschließlich Ethernet (eingetragenes Markenzeichen), ein großflächiges Netzwerk (WAN) und dergleichen aufweisen. Das Netzwerk N kann auch ein Standleitungsnetzwerk, wie beispielweise ein internetprotokollbasiertes virtuelles privates Netzwerk (IP-VPN), aufweisen. Das Netzwerk N kann auch ein drahtloses Kommunikationsnetzwerk wie Wi-Fi (eingetragenes Markenzeichen) und Bluetooth (eingetragenes Markenzeichen) aufweisen.
Das in 1 veranschaulichte System 10₁ wird von einem Benutzer U₁ verwendet. Das in 1 veranschaulichte System 10₂ wird von einem Benutzer U₂ verwendet. Das in 1 veranschaulichte System 10₃ wird von einem Benutzer U₃ verwendet. Das in 1 veranschaulichte System 10₄ wird von einem Benutzer U₄ verwendet. In der folgenden Beschreibung werden, wenn keine spezielle Unterscheidung und Beschreibung des Systems 10₁, des Systems 10₂, des Systems 10₃ und des Systems 10₄ erforderlich ist, diese gemeinsam als „System 10“ bezeichnet.
In dem in 1 veranschaulichten Beispiel haben die Systeme 10₁ bis 10₄ ähnliche Konfigurationen. Zum Beispiel weist das System 10₁ einen Sensor 11-1, einen Anzeigemechanismus 12-1, einen Kommunikationsmechanismus 13-1 und eine Informationsverarbeitungsvorrichtung 100-1 auf. Gleichermaßen weist das System 10₂ einen Sensor 11-2, einen Anzeigemechanismus 12-2, einen Kommunikationsmechanismus 13-2 und eine Informationsverarbeitungsvorrichtung 100-2 auf. Obgleich dies nicht veranschaulicht ist, weist sowohl das System 10₃ als auch das System 10₄ einen Sensor 11, einen Anzeigemechanismus 12, einen Kommunikationsmechanismus 13 und eine Informationsverarbeitungsvorrichtung 100 auf. Das in 1 veranschaulichte System 10 kann eine andere Konfiguration als das des in 1 veranschaulichten Beispiels haben.
Es sei angemerkt, dass in der folgenden Beschreibung in einem Fall, in dem keine spezielle Unterscheidung und Beschreibung des Sensors 11-1 und des Sensors 11-2 erforderlich ist, diese gemeinsam als „Sensor 11“ bezeichnet werden. Darüber hinaus werden in der folgenden Beschreibung in einem Fall, in dem keine spezielle Unterscheidung und Beschreibung des Anzeigemechanismus 12-1 und des Anzeigemechanismus 12-2 erforderlich ist, diese gemeinsam als „Anzeigemechanismus 12“ bezeichnet. Ferner werden in der folgenden Beschreibung in einem Fall, in dem keine spezielle Unterscheidung und Beschreibung des Kommunikationsmechanismus 13-1 und des Kommunikationsmechanismus 13-2 erforderlich ist, diese gemeinsam als „Kommunikationsmechanismus 13“ bezeichnet. Ferner werden in der folgenden Beschreibung in einem Fall, in dem keine spezielle Unterscheidung und Beschreibung der Informationsverarbeitungsvorrichtung 100-1 und der Informationsverarbeitungsvorrichtung 100-2 erforderlich ist, diese gemeinsam als „Informationsverarbeitungsvorrichtung 100“ bezeichnet.
Jedes der in 1 dargestellten Systeme 10₁ bis 10₄ ermöglicht eine Verarbeitung im Zusammenhang mit einer Fernkommunikation, die durch die oben genannten Einheiten zwischen mehreren voneinander entfernten Punkten durchgeführt wird.
Der im System 10 enthaltene Sensor 11 erfasst einen Zustand eines Benutzers U des Systems 10. Der Sensor 11 weist mehrere Vorrichtungen auf, die den Zustand des Benutzers U erfassen. Beispielsweise ist es möglich, dass der Sensor 11 ein Mikrofon, eine Kamera, einen Neigungssensor, einen Entfernungssensor, einen Haltungssensor, einen Positionssensor, einen Eigenpositionsschätzungssensor und einen Drucksensor aufweist.
Insbesondere wird der Neigungssensor durch einen Beschleunigungssensor oder dergleichen implementiert. Der Entfernungssensor wird durch verschiedene Entfernungssensormodule eines Flugzeitsystems (ToF-Systems) oder dergleichen implementiert. Der Haltungssensor, der Positionssensor oder der Eigenpositionsschätzungssensor wird durch eine inertiale Messeinheit (IMU), ein globales Positionsbestimmungssystem (GPS), ein Lichtdetektions- und Entfernungsmesssystem (LiDAR) oder dergleichen implementiert. Der Drucksensor wird durch einen beliebigen Drucksensor, wie etwa einen Manometertyp, einen kapazitiven Typ oder einen mechanischen Typ, implementiert.
Darüber hinaus kann der Sensor 11 zusätzlich zu den verschiedenen oben beschriebenen Sensoren einen Personendetektionssensor, einen Temperatursensor, einen Feuchtigkeitssensor, einen Beleuchtungsstärkesensor, einen Näherungssensor und einen biometrischen Sensor, der biometrische Informationen wie einen Geruch, Schweiß, Herzschlag, Puls und Gehirnwellen detektiert, aufweisen. Darüber hinaus kann der Sensor 11 einen Umgebungsinstallationssensor wie etwa einen Tiefensensor aufweisen.
Der Sensor 11 kann eine Stimme des Benutzers U oder dergleichen erfassen. Der Sensor 11 kann auch Informationen wie eine Stehposition, eine Kopfposition, eine Handposition und eine Körperhaltung des Benutzers U erfassen. Der Sensor 11 kann auch Informationen über eine Blickrichtung und Gesichtsausdrücke des Benutzers U erfassen. Der Sensor 11 kann auch ein Ganzkörperbild des Benutzers U erfassen. Der Sensor 11 kann Informationen über einen Kontakt durch den Benutzer U erfassen. Bei der Erfassung verschiedener Arten von Informationen kann der Sensor 11 mehrere Sensoren in Kombination verwenden. Der Sensor 11 überträgt die erfassten Informationen über den Benutzer U an die Informationsverarbeitungseinrichtung 100.
Der Anzeigemechanismus 12 zeigt visuelle Informationen über einen Benutzer an einem anderen Punkt an, der ein Kommunikationspartner ist (z. B. einem der Benutzer U). Darüber hinaus gibt der Anzeigemechanismus 12 verschiedene Arten von Informationen aus, beispielsweise Sprachinformationen eines Benutzers an einem anderen Punkt, der ein Kommunikationspartner ist (z. B. einem der Benutzer U). Der Anzeigemechanismus 12 wird durch einen Lautsprecher, Kopfhörer, eine XR-Vorrichtung, verschiedene Anzeigevorrichtungen, einen Projektor, einen Vibrator, eine Haptikvorrichtung oder dergleichen implementiert. Die XR-Vorrichtung weist eine am Kopf montierte Anzeige für VR, eine AR-Brille und eine durchsichtige Video-AR-Anzeigevorrichtung auf. Die AR-Anzeigevorrichtung weist ein Smartphone und ein Tablet-Endgerät auf. Darüber hinaus können die verschiedenen Anzeigevorrichtungen durch eine Anzeigevorrichtung implementiert werden, die auf einer Informationsvorrichtung wie einem Smartphone, einem Tablet, einem Fernsehempfänger oder einem Personal Computer montiert ist.
Der Kommunikationsmechanismus 13 führt Netzwerkkommunikation über das Netzwerk N durch. Der Kommunikationsmechanismus 13 wird durch eine Kommunikationsvorrichtung oder dergleichen zum Herstellen einer Verbindung mit dem Netzwerk N implementiert. Der Kommunikationsmechanismus 13 wird beispielsweise durch eine Kommunikationskarte für drahtgebundenes lokales Netzwerk (LAN), Wireless LAN, Long Term Evolution (LTE), Wi-Fi (eingetragenes Markenzeichen), Infrarotkommunikation, Bluetooth (eingetragenes Markenzeichen) oder Wireless USB (WUSB) implementiert. Der Kommunikationsmechanismus 13 kann durch einen Router für optische Kommunikation, ein Modem für verschiedene Kommunikationsarten oder dergleichen implementiert werden.
Die Informationsverarbeitungsvorrichtung 100 führt verschiedene Verarbeitungen im Zusammenhang mit Fernkommunikation zwischen mehreren voneinander entfernten Punkten aus. Die Informationsverarbeitungsvorrichtung 100 wird durch einen Desktop- oder Laptop-Personal-Computer (PC), ein Smartphone, ein Tablet-Endgerät, einen persönlichen digitalen Assistenten (PDA) oder dergleichen implementiert. Im Übrigen kann die Informationsverarbeitungsvorrichtung 100 durch eine Servervorrichtung oder ein Cloud-System implementiert werden.
<1-2. Beispiel einer Nutzungsszene>
Im Folgenden wird ein Beispiel einer Nutzungsszene der Fernkommunikation beschrieben, die durch das Informationsverarbeitungssystem 1 gemäß der Ausführungsform der vorliegenden Offenbarung erreicht wird. 2 ist ein Diagramm, das ein Beispiel einer Verwendungsszene der Fernkommunikation gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Wie in 2 veranschaulicht, kann beispielsweise die durch den Benutzer U₁ verwendete Informationsverarbeitungsvorrichtung 100-1 einen dreidimensionalen Avatar AVT_X, den ein Benutzer an Punkt B (Benutzer U₂) als Kommunikationspartner als den Benutzer bzw. die Benutzerin selbst verwendet, im realen Raum über eine vom Benutzer U₁ getragene XR-Vorrichtung UE (z. B. eine AR-Brille) virtuell anzeigen. Ein Objekt, das in der Fernkommunikation durch das Informationsverarbeitungssystem 1 gemäß der Ausführungsform der vorliegenden Offenbarung präsentiert werden kann, ist nicht auf den virtuellen Avatar beschränkt. 3 ist ein Diagramm, das ein Beispiel eines Präsentationsobjekts gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Wie in 3 dargestellt, kann in dem Informationsverarbeitungssystem 1 gemäß der Ausführungsform der vorliegenden Offenbarung nicht nur ein virtueller dreidimensionaler Avatar (siehe beispielsweise 2), sondern auch ein fotorealistischer Avatar AVT_Y basierend auf Informationen zur Reproduktion des Kommunikationspartners erzeugt und virtuell im realen Raum angezeigt werden.
Im Fall von 2 und 3 überträgt und empfängt jedes der Systeme 10, die das Informationsverarbeitungssystem 1 bilden, gegenseitig Informationen zur Reproduktion einer Person (Stimme, Handposition, Blickrichtung, Gesichtsausdruck, Stehposition, Kopfausrichtung usw.) an und von einem anderen System 10. Die Informationen zur Reproduktion einer Person werden durch eine XR-Vorrichtung, die vom Benutzer U jedes Systems 10 getragen wird (siehe 1), oder einem Umgebungsinstallationssensor wie dem im Sensor 11 enthaltenen Tiefensensor erfasst.
In den in 2 und 3 dargestellten Beispielen wird während der Durchführung der Fernkommunikation der Benutzer an einem anderen Punkt als Kommunikationspartner als dreidimensionaler Avatar AVT angezeigt, dessen Haltung nach Knochen verändert werden kann. Modellinformationen über den dreidimensionalen Avatar AVT werden im Voraus in der durch den Benutzer U getragenen XR-Vorrichtung jedes Systems 10 gespeichert, das im Voraus eine Fernkommunikation durchführt. In einem Fall, in dem ein 360-Grad-Ganzkörperbild des Kommunikationspartners übertragen und empfangen werden kann, kann die Textur des dreidimensionalen Avatars AVT ein Echtzeitbild sein.
<1-3. Vorrichtungskonfigurationsbeispiel>
Es folgt eine Beschreibung der Vorrichtungskonfiguration der Informationsverarbeitungsvorrichtung 100 gemäß einer Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf 4. 4 ist ein Blockdiagramm, das ein Beispiel der Vorrichtungskonfiguration der Informationsverarbeitungsvorrichtung gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Wie in 4 veranschaulicht, weist die Informationsverarbeitungsvorrichtung 100 eine Kommunikationseinheit 110, eine Speichereinheit 120 und eine Steuereinheit 130 auf. 4 veranschaulicht ein Beispiel der Funktionskonfiguration der Informationsverarbeitungsvorrichtung 100 gemäß der Ausführungsform, und die Funktionskonfiguration ist nicht auf das in 4 veranschaulichte Beispiel beschränkt, und eine andere Konfiguration kann verwendet werden.
Die Kommunikationseinheit 110 überträgt und empfängt verschiedene Arten von Informationen. Die Kommunikationseinheit 110 wird durch ein Kommunikationsmodul zum Übertragen und Empfangen von Daten an und von einem anderen System 10 über den Kommunikationsmechanismus 13 auf drahtgebundene oder drahtlose Weise implementiert. Die Kommunikationseinheit 110 führt eine Kommunikation mit anderen Vorrichtungen durch eine Methode wie drahtgebundenes lokales Netzwerk (LAN), Wireless LAN, Wi-Fi (eingetragenes Markenzeichen), Infrarotkommunikation, Bluetooth (eingetragenes Markenzeichen), Nahfeldkommunikation oder kontaktlose Kommunikation durch.
Beispielsweise empfängt die Kommunikationseinheit 110 Bewegungsinformationen wie eine Stimme eines Kommunikationspartners für die Fernkommunikation von einem anderen System 10. Darüber hinaus überträgt die Kommunikationseinheit 110 Bewegungsinformationen wie eine durch den Sensor 11 erfasste Stimme des Benutzers U, an ein anderes System 10.
Die Speichereinheit 120 wird beispielsweise durch eine Halbleiterspeichervorrichtung, wie etwa einen Direktzugriffsspeicher (RAM) oder einen Flash-Speicher, oder eine Speichervorrichtung, wie etwa eine Festplatte oder eine optische Platte, implementiert. Die Speichereinheit 120 kann Programme, Daten und dergleichen speichern, um beispielsweise verschiedene Verarbeitungsfunktionen zu ermöglichen, die durch die Steuereinheit 130 ausgeführt werden. Zu den in der Speichereinheit 120 gespeicherten Programmen gehören ein Betriebssystem (OS) und verschiedene Anwendungsprogramme.
Zum Beispiel, wie in 4 dargestellt, weist die Speichereinheit 120 eine Benutzerinformationsspeichereinheit 121 und eine Gegenstück-Informationsspeichereinheit 122 auf.
Die Benutzerinformationsspeichereinheit 121 speichert die durch den Sensor 11 erfassten Bewegungsinformationen wie eine Stimme des Benutzers U. Die Benutzerinformationsspeichereinheit 121 kann die Bewegungsinformationen über den Benutzer U in Zeitreihen beispielsweise in Verbindung mit einem Zeitstempel oder einer später beschriebenen Prioritätsreihenfolge speichern.
Die Gegenstück-Informationsspeichereinheit 122 speichert die Bewegungsinformationen wie eine Stimme eines Kommunikationspartners für die Fernkommunikation. Die Benutzerinformationsspeichereinheit 121 kann die Bewegungsinformationen über den Kommunikationspartner in Zeitreihen beispielsweise in Verbindung mit einem Zeitstempel oder einer später beschriebenen Prioritätsreihenfolge speichern.
Die Steuereinheit 130 wird durch eine Steuerschaltung implementiert, die einen Prozessor und einen Speicher aufweist. Die verschiedenen durch die Steuereinheit 130 ausgeführten Verarbeitungen werden beispielsweise durch die Ausführung eines Befehls ermöglicht, der in einem Programm beschrieben ist, das durch einen Prozessor aus einem internen Speicher unter Verwendung des internen Speichers als Arbeitsbereich gelesen wird. Zu den Programmen, die durch den Prozessor aus dem internen Speicher gelesen werden, gehören ein Betriebssystem (OS) und ein Anwendungsprogramm. Alternativ kann die Steuereinheit 130 beispielsweise durch einen integrierten Schaltkreis wie einen anwendungsspezifischen integrierten Schaltkreis (ASIC), ein feldprogrammierbares Gate-Array (FPGA) oder ein System-on-a-Chip (SoC) implementiert werden.
Darüber hinaus wird eine Hauptspeichervorrichtung oder eine Hilfsspeichervorrichtung, die als interner Speicher fungiert, beispielsweise durch eine Halbleiterspeichervorrichtung wie einen Direktzugriffsspeicher (RAM) oder einen Flash-Speicher oder ein Speichervorrichtung wie eine Festplatte oder eine optische Platte implementiert.
Wie in 4 dargestellt, weist die Steuereinheit 130 eine Übertragungsverarbeitungseinheit 131, eine Empfangsverarbeitungseinheit 132 und eine Präsentationsverarbeitungseinheit 133 auf.
Bei der Fernkommunikation, die zwischen mehreren voneinander entfernten Punkten durchgeführt wird, überträgt die Übertragungsverarbeitungseinheit 131 erste Bewegungsinformationen, die eine Körperbewegung des Benutzers U angeben, an einen Benutzer an einem anderen Punkt als Kommunikationspartner. Wie in 4 dargestellt, weist die Übertragungsverarbeitungseinheit 131 eine Übertragungsreihenfolgenbestimmungseinheit 131a und eine Übertragungsinformationsverschlüsselungseinheit 131b auf.
Es sei angemerkt, dass die Übertragungsreihenfolgenbestimmungseinheit 131a und die Übertragungsinformationsverschlüsselungseinheit 131b Beispiele für Verarbeitungsfunktionen der Übertragungsverarbeitungseinheit 131 sind. Das heißt, man kann sagen, dass die durch die Übertragungsreihenfolgenbestimmungseinheit 131a und die Übertragungsinformationsverschlüsselungseinheit 131b ausgeführte Verarbeitung eine durch die Übertragungsverarbeitungseinheit 131 ausgeführte Verarbeitung ist.
Die Übertragungsreihenfolgenbestimmungseinheit 131a legt eine Prioritätsreihenfolge fest, die für die ersten Bewegungsinformationen dynamisch geändert werden kann. Beispielsweise legt die Übertragungsreihenfolgenbestimmungseinheit 131a eine Prioritätsreihenfolge für jedes von mehreren Informationselementen fest, die die ersten Bewegungsinformationen bilden. Die Übertragungsinformationsverschlüsselungseinheit 131b verschlüsselt die ersten Bewegungsinformationen und Informationen über die Prioritätsreihenfolge. Die Übertragungsverarbeitungseinheit 131 überträgt vorzugsweise die ersten Bewegungsinformationen mit hoher eingestellter Priorität an einen Benutzer an einem anderen Punkt. Insbesondere überträgt die Übertragungsverarbeitungseinheit 131 die ersten Bewegungsinformationen gemäß der Priorität innerhalb eines Bereichs, in dem eine Übertragung im Kommunikationsband möglich ist.
Die Empfangsverarbeitungseinheit 132 empfängt über die Kommunikationseinheit 110 zweite Bewegungsinformationen, die eine Körperbewegung des Benutzers an einem anderen Punkt angeben, der ein Kommunikationspartner für die Fernkommunikation ist. Wie in 4 dargestellt, weist die Empfangsverarbeitungseinheit 132 eine Gegenstück-Informationsdecodierungseinheit 132c. Die Gegenstück-Informationsdecodierungseinheit 132c ist ein Beispiel für Verarbeitungsfunktionen der Empfangsverarbeitungseinheit 132. Das heißt, man kann sagen, dass die durch die Gegenstück-Informationsdecodierungseinheit 132c ausgeführte Verarbeitung eine durch die Empfangsverarbeitungseinheit 132 ausgeführte Verarbeitung ist.
Die Gegenstück-Informationsdecodierungseinheit 132c decodiert Bewegungsinformationen, die von dem Benutzer an einem anderen Punkt, der ein Kommunikationspartner ist, empfangen werden. Darüber hinaus speichert (sichert) die Empfangsverarbeitungseinheit 132 die empfangenen zweiten Bewegungsinformationen in der Gegenstück-Informationsspeichereinheit 122, um die empfangenen zweiten Bewegungsinformationen auf dem System 10 anzuzeigen. Darüber hinaus überträgt die Empfangsverarbeitungseinheit 132 die empfangenen zweiten Bewegungsinformationen an die Präsentationsverarbeitungseinheit 133.
Bei der Präsentation von Informationen, in denen eine Situation des Benutzers an einem anderen Punkt basierend auf den zweiten Bewegungsinformationen reproduziert wird, steuert die Präsentationsverarbeitungseinheit 133 den Präsentationsinhalt basierend auf einer Situation, in der die zweiten Bewegungsinformationen erfasst werden. Wie in 4 dargestellt, weist die Präsentationsverarbeitungseinheit 133 eine Gegenstück-Informationsergänzungseinheit 133d und eine Anzeigeinformationserzeugungseinheit 133e auf. Die Gegenstück-Informationsergänzungseinheit 133d und die Anzeigeinformationserzeugungseinheit 133e sind Beispiele für Verarbeitungsfunktionen der Präsentationsverarbeitungseinheit 133. Das heißt, man kann sagen, dass die Verarbeitung, die durch die Gegenstück-Informationsergänzungseinheit 133d und die Anzeigeinformationserzeugungseinheit 133e ausgeführt wird, eine durch die Präsentationsverarbeitungseinheit 133 ausgeführte Verarbeitung ist.
Wenn sich beispielsweise die Konfiguration der zweiten Bewegungsinformationen ändert, steuert die Präsentationsverarbeitungseinheit 133 (Gegenstück-Informationsergänzungseinheit 133d) den Anzeigeinhalt. Als Änderung der Konfiguration wird eine Änderung der Prioritätsreihenfolge der von dem Kommunikationspartner übertragenen zweiten Bewegungsinformationen, eine Verringerung der Art der zweiten Bewegungsinformationen und dergleichen angenommen.
Insbesondere wenn die Anzahl der Arten der durch die Empfangsverarbeitungseinheit 132 empfangenen zweiten Bewegungsinformationen reduziert ist, ergänzt die Präsentationsverarbeitungseinheit 133 nicht empfangene zweite Bewegungsinformationen durch Verwendung empfangener zweiter Bewegungsinformationen, die in der Gegenstück-Informationsspeichereinheit 122 gespeichert sind. Dann speichert die Präsentationsverarbeitungseinheit 133 die ergänzten zweiten Bewegungsinformationen zur Anzeige in der Gegenstück-Informationsspeichereinheit 122. In einem Fall, in dem die Art der durch die Empfangsverarbeitungseinheit 132 empfangenen zweiten Bewegungsinformationen zunimmt, sucht die Präsentationsverarbeitungseinheit 133, ob die nicht empfangenen zweiten Bewegungsinformationen durch Verwendung der erhöhten zweiten Bewegungsinformationen ergänzt werden können. Wenn die nicht empfangenen zweiten Bewegungsinformationen ergänzt werden können, ergänzt die Präsentationsverarbeitungseinheit 133 die nicht empfangenen zweiten Bewegungsinformationen, um das Ergebnis zur Anzeige in der Gegenstück-Informationsspeichereinheit 122 zu speichern.
Ferner, wenn die nicht empfangenen zweiten Bewegungsinformationen nicht mit den empfangenen zweiten Bewegungsinformationen ergänzt werden können, legt die Präsentationsverarbeitungseinheit 133 die nicht ergänzbaren zweiten Bewegungsinformationen als voreingestellte Informationen fest. Beispielsweise speichert die Präsentationsverarbeitungseinheit 133 die nicht ergänzbaren zweiten Bewegungsinformationen als voreingestellten neutralen Zustand in der Gegenstück-Informationsspeichereinheit 122. Als spezifisches Beispiel, in einem Fall, in dem Informationen über die Position (z. B. Stehposition) des Kommunikationspartners nicht mehr empfangen werden, schaltet die Präsentationsverarbeitungseinheit 133 einen Stereoton, der präsentiert wird, auf Gehirnlokalisierung um, die als der neutrale Zustand voreingestellt ist, und präsentiert diesen.
Ferner, in einem Fall, in dem ein Empfangsintervall der zweiten Bewegungsinformationen länger ist als ein vorbestimmtes Aktualisierungsintervall der zweiten Bewegungsinformationen, das heißt in einem Fall, in dem eine Kommunikationsverzögerung auftritt, steuert die Präsentationsverarbeitungseinheit 133 den Anzeigeinhalt.
Beispielsweise löscht die Präsentationsverarbeitungseinheit 133 vor und nach der Aktualisierung der Informationen eine Bildanzeige des Benutzers an einem anderen Punkt, an dem die zweiten Bewegungsinformationen mit einem Bewegungsgrad der zweiten Bewegungsinformationen, der größer oder gleich einer vorbestimmten Schwelle ist, reproduziert wird, oder ändert die Bildanzeige zu einer Fehlerangabe. Insbesondere in einem Fall, in dem sich die Bewegungsinformationen, die Positionskoordinaten wie eine Handposition, eine Stehposition und eine Kopfposition des Kommunikationspartners angeben, bis mehrere Male, bevor die Informationen aktualisiert werden, stark geändert haben, beispielsweise in einem Fall, in dem eine Beschleunigung eines den Positionskoordinaten entsprechenden Punkts einen bestimmten Wert oder mehr beträgt, löscht die Präsentationsverarbeitungseinheit 133 die Bewegungsanzeige des Kommunikationspartners. Alternativ schaltet die Präsentationsverarbeitungseinheit 133 die Bewegungsanzeige des Kommunikationspartners auf eine Fehlerangabe wie ein Ladesymbol oder eine Warnmeldung um, um das Ergebnis anzuzeigen.
Darüber hinaus stellt die Präsentationsverarbeitungseinheit 133 vor und nach der Aktualisierung der Informationen in einem Fall, in dem der Grad der Bewegung der zweiten Bewegungsinformationen geringer als die vorbestimmte Schwelle ist, die Bildanzeige des Benutzers an einem anderen Punkt ein, an dem die zweiten Bewegungsinformationen als die voreingestellten Informationen reproduziert werden.
Beispielsweise aktualisiert die Präsentationsverarbeitungseinheit 133 die Bewegungsanzeige des Kommunikationspartners, sodass sich die Bewegungsanzeige des Kommunikationspartners einem Wert im neutralen Zustand annähert. Als spezifisches Beispiel aktualisiert die Präsentationsverarbeitungseinheit 133 in einem Fall, in dem während einer Bewegung des Hebens eines Arms durch den Kommunikationspartner eine Kommunikationsverzögerung auftritt, die Bewegungsanzeige des Kommunikationspartners, um die Position des Arms schrittweise zu senken, um den Zustand näher an einen als den neutralen Zustand voreingestellten Zustand „Arm wird gesenkt“ zu bringen.
Die Präsentationsverarbeitungseinheit 133 (Anzeigeinformationserzeugungseinheit 133e) erzeugt Anzeigeinformationen, in denen eine Situation des Kommunikationspartners basierend auf verschiedenen Einstellungen für die zweiten Bewegungsinformationen reproduziert wird. Die Präsentationsverarbeitungseinheit 133 erzeugt Anzeigeinformationen, in denen eine Stimme und ein Bild des Kommunikationspartners entlang einer Zeitachse miteinander synchronisiert sind. Die Präsentationsverarbeitungseinheit 133 überträgt die erzeugten Anzeigeinformationen von der Kommunikationseinheit 110 an den Anzeigemechanismus 12. Die von der Präsentationsverarbeitungseinheit 133 an den Anzeigemechanismus 12 übertragenen Anzeigeinformationen werden von dem Anzeigemechanismus 12 ausgegeben, um dem Benutzer U präsentiert zu werden.
<1-3-1. Bezüglich Bewegungsinformationen>
Im Folgenden werden Bewegungsinformationen beschrieben, die zwischen den Benutzern im Informationsverarbeitungssystem 1 gemäß der Ausführungsform übertragen und empfangen werden. 5 und 6 sind Diagramme, die ein Beispiel der Bewegungsinformationen gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulichen. 5 und 6 veranschaulichen ein Beispiel der Bewegungsinformationen. Bei den Bewegungsinformationen kann es sich um Informationen handeln, die sich von den in den 5 und 6 dargestellten Informationen unterscheiden, oder sie können andere Informationen enthalten. In der Ausführungsform der vorliegenden Offenbarung ist es nicht notwendig, alle in 5 und 6 dargestellten Bewegungsinformationselemente auszutauschen.
Wie in 5 oder 6 dargestellt, weisen die Bewegungsinformationen Informationen bezüglich „Sehen“, „Hören“, „somatischer Empfindung“ und „Geruch“ auf. Wie in 5 oder 6 dargestellt, weisen die Informationen bezüglich „Sehen“, „Hören“, „somatischer Empfindung“, „Geruch“ und dergleichen mehrere Elemente auf.
Wie in 5 dargestellt, weisen die „Sehen“-Informationen beispielsweise mehrere Elemente wie eine Anzeigeform, eine Position, einen Gesichtsausdruck und einen Knochen des Kommunikationspartners auf. Wie in 6 dargestellt, weisen die „Hören“-Informationen beispielsweise mehrere Elemente wie einen Ton im Zusammenhang mit einer Äußerung oder einer Bewegung des Kommunikationspartners und einen Tonquellenort eines Stereotons, der von dem Kommunikationspartner bereitgestellt wird, auf. Wie in 6 dargestellt, weisen die „Somatische-Empfindung“-Informationen beispielsweise mehrere Elemente wie einen Kontakt und ein Kraftgefühl durch den Kommunikationspartner auf. Wie in 6 dargestellt, weisen die „Geruch“-Informationen beispielsweise mehrere Elemente wie einen Kontakt und ein Kraftgefühl durch den Kommunikationspartner auf.
Ferner ist unter den in 5 dargestellten „Sehen“-Informationen die „Anzeigeform“ eine Form, mit der ein Modell des Kommunikationspartners angezeigt werden soll. Beispielsweise wird die „Anzeigeform“ aus Kategorien wie einem Echtzeitbild, einem Live-Action-Modell und einem Avatar ausgewählt.
Ferner ist unter den in 5 dargestellten „Sehen“-Informationen die „Auflösung“ eine Auflösung, mit der das Modell des Kommunikationspartners angezeigt werden soll. Als „Auflösung“ wird beispielsweise „hoch“, „mittel“ oder „niedrig“ ausgewählt.
Ferner ist unter den in 5 dargestellten „Sehen“-Informationen die „Größe“ eine Dimension, die beim Anzeigen des Modells des Kommunikationspartners verwendet wird. Beispielsweise wird als „Größe“ entweder eine Lebensgröße oder eine Nichtlebensgröße ausgewählt.
Ferner handelt es sich unter den in 5 dargestellten „Sehen“-Informationen bei „dreidimensional“ um dreidimensionale Informationen beim Anzeigen des Modells des Kommunikationspartners. Als „dreidimensional“ wird beispielsweise eine binokulare Parallaxe, eine Bewegungsparallaxe oder eine Ebene ausgewählt.
Ferner handelt es sich unter den in 5 dargestellten „Sehen“-Informationen bei der „Position“ um Informationen über eine Position, an der das Modell des Kommunikationspartners oder dergleichen angezeigt wird, und sie wird durch eine dreidimensionale Position des Partners in einem Koordinatensystem dargestellt, das auf einem beliebigen Punkt zentriert ist (im Folgenden wird das Koordinatensystem als „globales Koordinatensystem“ bezeichnet). Die Informationen über die „Position“ können durch Informationen über eine zweidimensionale Position konfiguriert werden, wenn die Höheninformationen nicht erforderlich sind. Umgekehrt können die Informationen über die „Position“ nur die Höheninformation aufweisen.
Ferner handelt es sich unter den in 5 dargestellten „Sehen“-Informationen bei „Knochen“ um Punktgruppeninformationen (Knocheninformationen), die auf Grundlage von Schlüsselpunkten wie Gelenkpunkten des Kommunikationspartners reproduziert werden. Beispielsweise wird das Ausmaß der Anzeige des „Knochens“ ausgewählt.
Ferner handelt es sich unter den in 5 dargestellten „Sehen“-Informationen bei der „Geste“ um vorab kategorisierte Informationen, die eine Geste des Kommunikationspartners angeben. Beispielsweise wird für die „Geste“ „zutreffend“ oder „nicht zutreffend“ der Geste ausgewählt.
Ferner handelt es sich unter den in 5 dargestellten „Sehen“-Informationen bei dem „Kopf“ um Informationen über eine dreidimensionale Position und eine Stirnausrichtung des Kopfes des Kommunikationspartners. Die dreidimensionale Position kann im globalen Koordinatensystem oder in einem Koordinatensystem dargestellt werden, das auf der Stehposition zentriert ist (im Folgenden wird das Koordinatensystem als „lokales Koordinatensystem“ bezeichnet). Darüber hinaus ist es möglich, dass die „Kopf“-Informationen keine Informationen über die Ausrichtung des Kopfes aufweisen.
Ferner handelt es sich unter den in 5 dargestellten „Sehen“-Informationen bei „Oberkörper“, „Schulter“, „Arm“, „Hand“, „Finger“, „Hüfte“, „Bein“ und „Fuß“ um Informationen, die dreidimensionale Positionen und Ausrichtungen der Positionen und Ausrichtungen von Oberkörper, Schulter, Arm, Hand, Finger, Hüfte, Bein bzw. Fuß des Kommunikationspartners angeben. Die Informationen über jeden oben beschriebenen Teil können im globalen Koordinatensystem oder in einem System dargestellt werden, das auf der Kopfposition zentriert ist (im Folgenden wird das System als „Kopfkoordinatensystem“ bezeichnet).
Jedes Element von „Kopf“, „Oberkörper“, „Schulter“, „Arm“, „Hand“, „Finger“, „Hüfte“, „Bein“ und „Fuß“ kann integriert und als Informationen zur Darstellung der Körperhaltung des Kommunikationspartners in einem Muster behandelt werden, bei dem der Kommunikationspartner sitzt, steht oder einen Arm hebt.
Ferner handelt es sich unter den in 5 dargestellten „Sehen“-Informationen bei dem „Gesichtsausdruck“ um Informationen zur Darstellung des Gesichtsausdrucks des Kommunikationspartners in verschiedenen Emotionsmustern wie Freude, Wut, Trauer und Vergnügen. Darüber hinaus kann es sich bei den „Gesichtsausdruck“-Informationen um Echtzeit-Bilddaten handeln, die durch Fotografieren des Gesichts des Kommunikationspartners erhalten werden. In diesem Fall können die Bilddaten Bilddaten sein, die durch Fotografieren des Gesichts des Kommunikationspartners von vorne erhalten werden, können Bilddaten sein, die durch Fotografieren des Kommunikationspartners aus mehreren Richtungen erhalten werden, oder können ein Texturbild sein, das durch Kombinieren von mehreren fotografierten Bildern erhalten wird.
Ferner handelt es sich unter den in 5 dargestellten „Sehen“-Informationen bei der „Blickrichtung“ um eine dreidimensionale Position oder einen Vektor einer Blickrichtung oder eines Blickpunkts des Kommunikationspartners, und sie kann im globalen Koordinatensystem oder im lokalen Koordinatensystem dargestellt werden. Die „Blickrichtung“ kann durch Vektoren des rechten und linken Augapfels in Bezug auf das Kopfkoordinatensystem dargestellt werden.
Ferner handelt es sich unter den in 5 dargestellten „Sehen“-Informationen bei dem „Blinzeln“ um Informationen über die Bewegung der Augenlider des Kommunikationspartners. Ferner handelt es sich unter den in 5 dargestellten „Sehen“-Informationen bei der „Augenbraue“ um Informationen, die die Form oder Bewegung der Augenbraue des Kommunikationspartners angeben.
Ferner handelt es sich unter den in 5 dargestellten „Sehen“-Informationen bei den „Gesichtsausdrucksmuskeln“ um Informationen über Muskeln, die an der Bewegung des Gesichts oder der Wange des Kommunikationspartners beteiligt sind. 7 ist ein Diagramm, das ein Beispiel der Erfassung von Informationen über Gesichtsmuskeln gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht. Wie in 7 dargestellt, können die durch Gesichtsverfolgung oder dergleichen erfassten Positionsinformationen über die Gesichtsmuskeln des Kommunikationspartners als die „Gesichtsausdrucksmuskeln“-Informationen bereitgestellt werden. Dabei werden die Positionsinformationen über die Gesichtsmuskeln im Kopfkoordinatensystem dargestellt.
Ferner handelt es sich unter den in 5 dargestellten „Sehen“-Informationen bei dem „Mund“ um Informationen, die die Form oder Bewegung des Munds des Kommunikationspartners angeben.
Die Elemente, die die „Sehen“-Informationen bilden, können Informationen über das Erscheinungsbild des Kommunikationspartners aufweisen. Beispielsweise handelt es sich bei dem Erscheinungsbild um Informationen, die das aktuelle Erscheinungsbild des Kommunikationspartners angeben, und sie können Informationen wie Frisur, Make-up und Kleidung aufweisen. Bei dem Erscheinungsbild kann es sich um Echtzeit-Bilddaten oder Daten zur Bezeichnung des Erscheinungsbilds (z. B. Modellnummer von Frisur, Kleidung und dergleichen) handeln, die vorab in eine gemeinsame Datenbank hochgeladen werden. Im Fall eines Modus, in dem Daten zum Bezeichnen des Erscheinungsbilds hochgeladen werden, kann eine Registrierung in einer Anfangsphase der Kommunikation zur Durchführung von Fernkommunikation durchgeführt werden, oder die Registrierung kann später durchgeführt werden.
Ferner handelt es sich bei den „Hören“-Informationen in 6 um Toninformationen bezüglich eines vom Kommunikationspartner empfangenen Tons durch die Elemente „Ton“ und „Tonquellenort“. Beispielsweise entspricht der „Ton“ einer durch den Kommunikationspartner geäußerten Stimme, einem Geräusch raschelnder Kleidung des Kommunikationspartners, einem Bewegungsgeräusch, das als Reaktion auf eine Bewegung des Kommunikationspartners erzeugt wird, beispielsweise einem Geräusch von Schuhen, usw. Es sei angemerkt, dass die Stimme und andere Töne separat verarbeitet werden können. Bei dem „Tonquellenort“ handelt es sich um Informationen über eine Position, an der ein Ton erzeugt wird. Wenn beispielsweise die Position des Kommunikationspartners, wie etwa die Stehposition, bekannt ist, kann der Tonquellenort an der Position festgelegt und als Stereoton präsentiert werden.
Ferner handelt es sich bei den in 6 dargestellten „Somatische-Empfindung“-Informationen um Informationen zur virtuellen Reproduktion eines Kontakts mit dem Modell des Kommunikationspartners oder dergleichen durch die Elemente „Kontakt“, „Kraftgefühl“, „Druckgefühl“, „Tastgefühl“, „Wärmegefühl“ und „Luftdruck“. Beispielsweise soll der „Kontakt“ Informationen wie das Ausmaß eines Körperkontakts vermitteln. Der „Kontakt“ wird als Grad des Ausmaßes eines Kontakts mit den Positionskoordinaten des Körpers des Benutzers U vermittelt, von dem bestimmt wird, dass er mit dem Modell des Kommunikationspartners in Kontakt gekommen ist. Der Grad des Ausmaßes des Kontakts wird nicht unbedingt vermittelt.
Ferner handelt es sich bei den in 6 dargestellten „Geruch“-Informationen um Informationen zur virtuellen Reproduktion eines Geruchs des Kommunikationspartners, eines Geruchs eines Raums, in dem sich der Kommunikationspartner befindet, oder dergleichen durch das Element „Geruch“.
Wenn der Kommunikationspartner beispielsweise ein Tier ist, können als Bewegungsinformationen tierspezifische Informationen wie die Bewegung des Schwanzes hinzugefügt werden.
In einem Fall, in dem die Arten der dem Kommunikationspartner zu präsentierenden Bewegungsinformationen erhöht werden sollen, kann eine Anpassung vorgenommen werden, um die Auflösung der Bewegungsinformationen zu verringern. Darüber hinaus kann gemäß der Anzahl der als Bewegungsinformationen zu priorisierenden Informationselemente, beispielsweise in einem Fall, in dem die Anzahl von zu priorisierenden Informationselementen klein ist, eine Anpassung vorgenommen werden, um die Auflösung der Bewegungsinformationen zu erhöhen.
<1-3-2. Bezüglich der Prioritätsreihenfolge von Bewegungsinformationen>
Im Folgenden wird die für die Bewegungsinformationen festzulegende Prioritätsreihenfolge beschrieben. Beispielsweise ist es wünschenswert, unter den ersten Bewegungsinformationen den Hörinformationen die höchste Priorität zuzuweisen. Das heißt, ein bei der Fernkommunikation ausgetauschter Ton wird als das wichtigste Element für eine reibungslose Fernkommunikation angesehen. In Anbetracht dieses Punktes ist die Prioritätsreihenfolge für die Bewegungsinformationen in der Reihenfolge ihrer Priorität beispielsweise Hörinformationen > visuelle Informationen > somatische Empfindungsinformationen > olfaktorische Informationen. Insbesondere wird in einem Fall, in dem die Bewegungsinformationen in der Prioritätsreihenfolge angeordnet sind, die Reihenfolge Ton (Stimme oder Bewegungston) > Position (Stehposition oder dergleichen) > Kopfposition und Ausrichtung > Handposition > Blickrichtung > Gesichtsausdruck > Körperhaltung (Muster aus einer Kombination von Elementen wie Oberkörper, Schulter und Arm) > Erscheinungsbild > Kontakt beispielhaft dargestellt.
Die Übertragungsverarbeitungseinheit 131 überträgt die durch den Sensor 11 erfassten ersten Bewegungsinformationen und die für die ersten Bewegungsinformationen festgelegte Prioritätsreihenfolge von der Kommunikationseinheit 110 an den Kommunikationsmechanismus 13. Die ersten Bewegungsinformationen und die Prioritätsreihenfolgeinformationen, die von der Übertragungsverarbeitungseinheit 131 an den Kommunikationsmechanismus 13 übertragen werden, werden über den Kommunikationsmechanismus 13 an einen Benutzer an einem anderen Punkt übertragen, der ein Kommunikationspartner in der Fernkommunikation ist. Dadurch wird der Einfluss von Änderungen eines Kommunikationsbands oder einer Kommunikationsverzögerung bei der Fernkommunikation verringert.
Darüber hinaus ändert die Übertragungsverarbeitungseinheit 131 die Prioritätsreihenfolge für die Übertragung der ersten Bewegungsinformationen basierend auf dem Grad der Änderung der ersten Bewegungsinformationen. Beispielsweise ändert die Übertragungsverarbeitungseinheit 131 die Prioritätsreihenfolge so, dass die ersten Bewegungsinformationen mit einem hohen Grad an Änderung in einem bestimmten Zeitraum unter den ersten Bewegungsinformationen, die durch den Sensor 11 erfasst werden, relativ priorisiert werden. Insbesondere vergleicht die Übertragungsverarbeitungseinheit 131 einen Wert der durch den Sensor 11 erfassten aktuellen ersten Bewegungsinformationen mit einem Wert der vorherigen ersten Bewegungsinformationen, die in der Benutzerinformationsspeichereinheit 121 gespeichert sind. Als Ergebnis des Vergleichs bestimmt die Übertragungsverarbeitungseinheit 131, dass die ersten Bewegungsinformationen, deren Änderung gegenüber dem Wert der vorherigen ersten Bewegungsinformationen eine vorbestimmte Schwelle überschreitet, die ersten Bewegungsinformationen mit hoher Wichtigkeit sind. Als konkretes Beispiel wird in einem Fall, in dem sich die Körperhaltung des Benutzers U von einer Stehhaltung (Stehposition) zu einer Sitzhaltung (Sitzposition) ändert, bestimmt, dass die Priorität der Informationen über die Sitzposition hoch ist. Dann ändert die Übertragungsverarbeitungseinheit 131 die Prioritätsreihenfolge so, dass die Prioritätsreihenfolge der als sehr wichtig bestimmten ersten Bewegungsinformationen relativ hoch wird.
Darüber hinaus ändert die Übertragungsverarbeitungseinheit 131 beispielsweise in einem Fall, in dem es unter den ersten Bewegungsinformationen mehrere Elemente erster Bewegungsinformationen mit dem gleichen Änderungsgrad in einem bestimmten Zeitraum gibt, die Prioritätsreihenfolge so, dass die ersten Bewegungsinformationen mit einer geringen Informationsmenge priorisiert werden.
Beim Übertragen der ersten Bewegungsinformationen kann die Übertragungsverarbeitungseinheit 131 die Auflösung anpassen und das Ergebnis übertragen. Darüber hinaus kann die Übertragungsverarbeitungseinheit 131 erste Bewegungsinformationen, die nicht erfasst werden, basierend auf den erfassten ersten Bewegungsinformationen schätzen und das Ergebnis übertragen. Darüber hinaus kann die Übertragungsverarbeitungseinheit 131 in einem Fall, in dem es unter den ersten Bewegungsinformationen mehrere Elemente erster Bewegungsinformationen mit einer Abhängigkeitsbeziehung gibt, eine Anpassung vornehmen, um eine Lücke zwischen den Prioritätsreihenfolgen der mehreren Elemente erster Bewegungsinformationen, zwischen denen eine Abhängigkeitsbeziehung besteht, zu vermeiden.
<1-3-3. Bezüglich des neutralen Zustands>
Im Folgenden wird der neutrale Zustand beschrieben. Die Einzelheiten des neutralen Zustands unterscheiden sich je nachdem, wie der Kommunikationspartner angezeigt wird. Beispielsweise wird bei der Verwendung eines Knochenmodells, bei dem eine Blickrichtungsbewegung, eine Kopfbewegung und eine Ganzkörperbewegung möglich sind, der folgende neutrale Zustand beispielhaft dargestellt.
Zu Beispielen des neutralen Zustands des Tons gehört Stille. Zu Beispielen des neutralen Zustands der Stehposition des Kommunikationspartners gehören ein Punkt, an dem der Kommunikationspartner endgültig steht, und eine Drehung der Richtung des Kommunikationspartners in einem Fall, in dem es während eines Gesprächs unmöglich ist, sich dem Kommunikationspartner nur durch Drehen der Kopfposition zuzuwenden.
Zu Beispielen des neutralen Zustands der Position und Ausrichtung des Kopfes des Kommunikationspartners gehören eine Richtung des Kommunikationspartners während eines Gesprächs und ansonsten der Vorderseite des Körpers. Zu Beispielen des neutralen Zustands der Handposition des Kommunikationspartners gehören das natürliche Ablegen der Hand und, während eines Gesprächs oder einer Bewegung des gesamten Körpers, das damit verbundene Bewegen der Hand.
Zu Beispielen des neutralen Zustands der Blickrichtung des Kommunikationspartners gehören das Richten der Blickrichtung nach vorne mit gesenktem Blick, das Richten der Blickrichtung auf den Kommunikationspartner während eines Gesprächs, periodisches Blinzeln und, wenn sich der Kopf bewegt, das Richten der Blickrichtung in eine Richtung, in die sich der Kopf bewegt.
Zu Beispielen des neutralen Zustands des Gesichtsausdrucks des Kommunikationspartners gehören das Zeigen keines Gesichtsausdrucks, das Bewegen des Munds in Verbindung mit einer Stimme, wenn eine Stimme vorhanden ist, und das Ändern des Öffnungsgrads des Munds abhängig von der Lautstärke der Stimme.
Zu Beispielen des neutralen Zustand der Körperhaltung des Kommunikationspartners gehört das aufrechte Stehen. Zu Beispielen des neutralen Zustand des Erscheinungsbilds des Kommunikationspartners gehört die Beibehaltung des aktuellen Zustands. Zu Beispielen des neutralen Zustand des Kontakts des Kommunikationspartners gehört die Bewegung zusammen mit der Handposition des Kommunikationspartners.
<1-3-4. Spezielles Beispiel der Anzeigesteuerung>
Im Folgenden wird ein spezielles Beispiel einer durch die Präsentationsverarbeitungseinheit 134 ausgeführten Anzeigesteuerung beschrieben. Beispielsweise wird davon ausgegangen, dass die vom Kommunikationspartner erfassten zweiten Bewegungsinformationen mit der folgenden Prioritätsreihenfolge konfiguriert werden. Ferner wird wie folgt von einer Situation ausgegangen, in der alle Elemente der zweiten Bewegungsinformation empfangen wurden.
Prioritätsreihenfolge: Stimme > Handposition > Blickrichtung > Gesichtsausdruck > Stehposition > Kopfausrichtung
Kommunikationsgeschwindigkeit (Downlink): 3 MB (Megabyte)/s.
Aktualisierungsfrequenz der Informationen (Bildrate): 60 Hz (Hertz)
Es wird davon ausgegangen, dass sich die Kommunikationsgeschwindigkeit gegenüber der oben beschriebenen angenommenen Situation wie folgt geändert hat.
Kommunikationsgeschwindigkeit (Downlink): 1 MB (Megabyte)/s.
Im Falle einer Verringerung der Kommunikationsgeschwindigkeit, wie oben beschrieben, beträgt der Kommunikationsverkehr pro Paket ebenfalls 1/3, wenn die Aktualisierungsfrequenz der Informationen (Bildrate) priorisiert wird. Angesichts des Obigen ändert sich die Präsentationsverarbeitungseinheit 133 so, dass nur die Stimme und die Handposition angezeigt werden, denen hohe Priorität zugewiesen wird.
Darüber hinaus wechselt oder ergänzt die Präsentationsverarbeitungseinheit 133 die nicht empfangbaren Informationen bezüglich der Blickrichtung, des Gesichtsausdrucks, der Stehposition und der Kopfausrichtung unter den vom Kommunikationspartner empfangenen zweiten Bewegungsinformationen wie folgt.
Blickrichtung → vorne oder Benutzer U während Äußerung, Hand während Geste
Gesichtsausdruck → ernstes Gesicht → automatische Identifizierung anhand des Tonfalls
Stehposition → letzte Stehposition
Kopfausrichtung → gleiche Richtung wie die Blickrichtung
<1-4. Verarbeitungsprozedurbeispiel>
Es folgt eine Beschreibung einer Verarbeitungsprozedur durch die Informationsverarbeitungsvorrichtung 100 gemäß einer Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf 8 und 9. 8 und 9 sind Flussdiagramme, die ein Beispiel einer Verarbeitungsprozedur einer Informationsverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulichen. Die in 8 und 9 dargestellte Verarbeitungsprozedur wird durch die in der Informationsverarbeitungsvorrichtung 100 enthaltene Steuereinheit 130 ausgeführt.
Wie in 8 dargestellt, stellt die Übertragungsverarbeitungseinheit 131 eine Kommunikation mit einem anderen Punkt über das Netzwerk N her (Schritt S101).
Darüber hinaus erfasst die Übertragungsverarbeitungseinheit 131 Bewegungsinformationen über den Benutzer U vom Sensor 11 (Schritt S102). Die Übertragungsverarbeitungseinheit 131 ändert auch die Prioritätsreihenfolge für die Übertragung der Bewegungsinformationen über den Benutzer U basierend auf dem Ausmaß (Grad) der Änderung der Bewegungsinformationen über den Benutzer U (Schritt S103).
Darüber hinaus überträgt die Übertragungsverarbeitungseinheit 131 die Bewegungsinformationen und die Informationen über die Prioritätsreihenfolge an den Benutzer an einem anderen Punkt, der der Kommunikationspartner ist, gemäß der Prioritätsreihenfolge über den Kommunikationsmechanismus 13 (Schritt S104).
Wie in 9 dargestellt, empfängt die Empfangsverarbeitungseinheit 132 die Bewegungsinformationen, die eine Körperbewegung des Benutzers an einem anderen Punkt angeben, der der Kommunikationspartner für die Fernkommunikation ist, über die Kommunikationseinheit 110 (Schritt S105).
Die Empfangsverarbeitungseinheit 132 speichert außerdem die empfangenen Bewegungsinformationen über den Kommunikationspartner in der Gegenstück-Informationsspeichereinheit 122 (Schritt S106).
Die Präsentationsverarbeitungseinheit 133 legt die empfangenen Bewegungsinformationen über den Kommunikationspartner zur Anzeige fest (Schritt S107).
Darüber hinaus bestimmt die Präsentationsverarbeitungseinheit 133, ob eine Änderung der Konfiguration der Bewegungsinformationen über den Kommunikationspartner vorliegt (Schritt S108).
Wenn die Präsentationsverarbeitungseinheit 133 bestimmt, dass eine Änderung der Konfiguration der Bewegungsinformationen über den Kommunikationspartner vorliegt (Schritt S108; Ja), dann werden nicht empfangene Bewegungsinformationen mit den empfangenen Bewegungsinformationen ergänzt (Schritt S109).
Die Präsentationsverarbeitungseinheit 133 legt außerdem nicht ergänzbare Bewegungsinformationen als den neutralen Zustand fest (Schritt S110).
Darüber hinaus bestimmt die Präsentationsverarbeitungseinheit 133, ob eine Aktualisierung der Bewegungsinformationen über den Kommunikationspartner verzögert ist (Schritt S111).
Wenn die Präsentationsverarbeitungseinheit 133 bestimmt, dass die Aktualisierung der Bewegungsinformationen über den Kommunikationspartner verzögert ist (Schritt S111; Ja), dann wird bestimmt, ob eine Beschleunigung, die eine Bewegung des Körpers oder des Körperteils des Kommunikationspartners angibt, gleich oder größer als eine Schwelle ist (Schritt S112) .
Wenn die Präsentationsverarbeitungseinheit 133 bestimmt, dass die Beschleunigung, die eine Bewegung des Körpers oder des Körperteils des Kommunikationspartners angibt, gleich oder größer als die Schwelle ist (Schritt S112; Ja), dann wird ein Bild des Kommunikationspartners gelöscht oder es erfolgt eine Fehlerangabe (Schritt S113) .
Darüber hinaus bestimmt die Präsentationsverarbeitungseinheit 133, ob die Kommunikation für die Fernkommunikation beendet werden soll (Schritt S114) .
Wenn die Präsentationsverarbeitungseinheit 133 bestimmt, die Kommunikation für die Fernkommunikation zu beenden (Schritt S114; Ja), dann wird die in 8 und 9 dargestellte Verarbeitungsprozedur beendet.
Wenn die Präsentationsverarbeitungseinheit 133 jedoch nicht entscheidet, die Kommunikation für die Fernkommunikation zu beenden (Schritt S114; Nein), dann kehrt die Verarbeitung zu der oben beschriebenen Verarbeitungsprozedur von Schritt S102 zurück.
Darüber hinaus, wenn die Präsentationsverarbeitungseinheit 133 im oben beschriebenen Schritt S112 bestimmt, dass die Beschleunigung, die eine Bewegung des Körpers oder des Körperteils des Kommunikationsgegenstücks angibt, kleiner als die Schwelle ist (Schritt S112; Nein), werden alle Elemente von Bewegungsinformationen so eingestellt, dass sie im neutralen Zustand konvergieren (Schritt S115).
Die Präsentationsverarbeitungseinheit 133 zeigt das Bild des Kommunikationspartners an (Schritt S116) und die Verarbeitung geht zu der oben beschriebenen Verarbeitungsprozedur von Schritt S114 über.
Darüber hinaus, wenn die Präsentationsverarbeitungseinheit 133 im oben beschriebenen Schritt S111 nicht bestimmt, dass die Aktualisierung der Bewegungsinformationen über den Kommunikationspartner verzögert ist (Schritt S111; Nein), geht die Verarbeitung zu der oben beschriebenen Verarbeitungsprozedur von Schritt S116 über.
Darüber hinaus, wenn die Präsentationsverarbeitungseinheit 133 im oben beschriebenen Schritt S108 nicht bestimmt, dass eine Änderung der Konfiguration der Bewegungsinformationen über den Kommunikationspartner vorliegt (Schritt S108: Nein), geht die Verarbeitung zu der oben beschriebenen Verarbeitungsprozedur von Schritts S111 über.
«2. Modifikation»
<2-1. Bezüglich der Prioritätsreihenfolge>
In der oben beschriebenen Ausführungsform kann die Informationsverarbeitungsvorrichtung 100 so viele Arten von Informationen wie möglich präsentieren, indem die Auflösung jedes Informationselements reduziert wird, das die Bewegungsinformationen über den Benutzer U bildet. Umgekehrt kann die Informationsverarbeitungsvorrichtung 100 eine reduzierte Anzahl von Informationsarten präsentieren, ohne die Auflösung jedes Informationselements, das die Bewegungsinformationen bildet, zu verringern.
Die Informationsverarbeitungsvorrichtung 100 kann die Prioritätsreihenfolge auch gemäß Hardwarebeschränkungen ändern. Beispielsweise kann die Informationsverarbeitungsvorrichtung 100 die Prioritätsreihenfolge der Bewegungsinformationen, die eine zeitaufwändige Berechnung erfordern, verringern.
Alternativ kann die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem die Systemumgebungen der Kommunikationspartner unterschiedlich sind (in einem Fall, in dem ein Unterschied der Rechenleistung der Vorrichtungen oder Ähnlichem vorliegt), unter den Informationselementen, die die Bewegungsinformationen bilden, Bewegungsinformationen Priorität zuweisen, die in beiden Systemumgebungen gemeinsam erfasst werden können. Mit anderen Worten kann die Prioritätsreihenfolge jedes Informationselements, das die Bewegungsinformationen bildet, so eingestellt werden, dass sie zu der Systemumgebung mit geringer Rechenleistung passt.
Die Informationsverarbeitungsvorrichtung 100 kann die Prioritätsreihenfolge der Bewegungsinformationen basierend auf der Aktion des Benutzers U oder der Aktion des Kommunikationspartners dynamisch ändern. Beispielsweise kann die Informationsverarbeitungsvorrichtung 100 eine Anforderung zum Ändern der Prioritätsreihenfolge der zu empfangenen Bewegungsinformationen über den Kommunikationspartner auf Grundlage der Aktion des Benutzers U übertragen. Insbesondere kann die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem auf Grundlage der vom Sensor 11 erfassten Informationen (Beschleunigung des Kopfes oder dergleichen) bestimmt wird, dass der Benutzer U im Begriff ist, den Kommunikationspartner in Sicht zu bringen, eine Änderungsanforderung zur Anforderung einer Erhöhung der Prioritätsreihenfolge des Gesichtsausdrucks oder der Blickrichtungsinformation des Kommunikationspartners an den Kommunikationspartner übertragen. Alternativ kann die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem der Benutzer U den Kommunikationspartner nicht in Sicht bringt, den Kommunikationspartner auffordern, die Auflösung der Sprachinformationen zu erhöhen.
Die Informationsverarbeitungsvorrichtung 100 kann die Prioritätsreihenfolge der Bewegungsinformationen basierend auf dem Kontext (Kontext) der Kommunikation dynamisch ändern. Beispielsweise kann die Informationsverarbeitungsvorrichtung 100 die Prioritätsreihenfolge gemäß einem Ereignis eines geteilten Inhalts ändern. Insbesondere kann die Informationsverarbeitungsvorrichtung 100 die Steuerung so durchführen, dass die Prioritätsreihenfolge des Gesichtsausdrucks des Benutzers U unmittelbar nach einer Höhepunktszene eines Spielinhalts oder zwischen Pausen des Inhalts, beispielsweise zwischen Runden des Spielinhalts, erhöht wird, um viele Informationen zu vermitteln, wie etwa die Gesichtsausdrücke des jeweils anderen.
Darüber hinaus kann die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem der Spielinhalt auf der Gegenseite geteilt wird, eine Steuerung durchführen, um nur die Spielinformationen zu vermitteln, um die Leitungsgeschwindigkeit sicherzustellen.
Darüber hinaus kann die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem der Benutzer U seine/ihre Hand von einer Bedienvorrichtung entfernt, Informationen über den Kommunikationspartner anzeigen.
<2-2. Verwendung von gewohntem Bewegungsmuster>
In der oben beschriebenen Ausführungsform kann der Kommunikationsverkehr reduziert werden, indem Gesten (Arme verschränken, Kopf neigen, Nicken usw.), Gesichtsausdrücke und dergleichen, die häufig durch Benutzer U durchgeführt werden, im Voraus als gewohnte Bewegungsmuster unter jeder Systemumgebung gespeichert werden. Wenn beispielsweise die Geste oder der Gesichtsausdruck des Benutzers U dem gewohnten Bewegungsmuster ähnelt, überträgt die Informationsverarbeitungsvorrichtung 100 ein Steuersignal, das angibt, dass die Geste oder der Gesichtsausdruck dem gewohnten Bewegungsmuster entspricht, an den Kommunikationspartner. In dem System 10 auf der Seite des Kommunikationspartners erfolgt eine Anzeige unter Verwendung des vorab gespeicherten gewohnten Bewegungsmusters. Im Übrigen kann die Informationsverarbeitungsvorrichtung 100 das gewohnte Bewegungsmuster und die tatsächlichen Bewegungsinformationen miteinander vermischen, um eine Animation, die kein seltsames Gefühl vermittelt, als das Bild des Kommunikationspartners wiederzugeben.
<2-3. Bedingungen für die Übertragung von Bewegungsinformationen>
In der oben beschriebenen Ausführungsform kann die Informationsverarbeitungsvorrichtung 100 eine Steuerung durchführen, um die einer Geste entsprechenden Bewegungsinformationen unter der Bedingung, dass die Stimme und die Bewegung des Benutzers U übereinstimmen, an den Kommunikationspartner zu übertragen. Beispielsweise überträgt die Informationsverarbeitungsvorrichtung 100 nur in einem Fall, in dem der Benutzer U „Peace“ sagt und das V-Zeichen mit den Fingern macht, Bewegungsinformationen bezüglich der V-Zeichen-Geste.
<2-4. Bezüglich der Aktualisierung von Informationen>
In der oben beschriebenen Ausführungsform können unter den zwischen den Systemen 10 übertragenen und empfangenen Bewegungsinformationen Informationen mit einer großen Datenmenge eine niedrigere Aktualisierungsfrequenz als andere Informationen aufweisen. 10 und 11 sind Diagramme, die ein Beispiel einer Aktualisierungsfrequenz von Bewegungsinformationen gemäß einer Modifikation veranschaulichen.
Wie in 10 dargestellt, kann die Stimme in jedem Frame aktualisiert werden. Darüber hinaus kann, wie in 10 dargestellt, das Bild über mehrere Frames aktualisiert werden. Darüber hinaus kann, wie in 10 dargestellt, der Gesichtsausdruck in regelmäßigen Abständen periodisch aktualisiert werden.
Zu diesem Zeitpunkt, wie in 11 dargestellt, kann die Informationsverarbeitungsvorrichtung 100 eine Vorhersagetechnologie verwenden, um den Gesichtsausdruck des Kommunikationspartners so erscheinen zu lassen, als hätte er die gleiche Aktualisierungsfrequenz wie die anderen Informationen. In einem Fall, in dem der Unterschied zwischen den tatsächlichen Bewegungsinformationen des Kommunikationspartners und der Vorhersage groß wird, kann die Informationsverarbeitungsvorrichtung 100 die Bewegungsinformationen erheblich aktualisieren, während der Benutzer U nicht auf den Kommunikationspartner (dessen Bild) schaut. Die Informationsverarbeitungsvorrichtung 100 kann die Bewegungsinformationen zu einem Zeitpunkt aktualisieren, an dem ein Gespräch endet oder eine Aktion beendet wird. Darüber hinaus kann die Informationsverarbeitungsvorrichtung 100 die Bewegungsinformationen immer nach und nach aktualisieren, unabhängig vom Kontext (Kontext) der durchgeführten Kommunikation.
<2-5. Bezüglich der Informationsergänzung>
In der oben beschriebenen Ausführungsform kann die Informationsverarbeitungsvorrichtung 100 die Ergänzungsverarbeitung an den nicht empfangenen Bewegungsinformationen mit den empfangenen Bewegungsinformationen zum Zeitpunkt des Empfangs oder zum Zeitpunkt der Übertragung durchführen. Darüber hinaus kann die Informationsverarbeitungsvorrichtung 100 bei der Ergänzung der Bewegungsinformationen den Gefühlsausdruck aus der Geste des Kommunikationspartners schätzen. Wenn beispielsweise die Informationsverarbeitungsvorrichtung 100 den Gesichtsausdruck nicht empfangen kann, kann eine Aktion, die als Emotion identifiziert werden kann, beispielsweise eine bestimmte Handbewegung oder Kopfbewegung, als Gesichtsausdruck ergänzt werden (Ergänzung auf der Empfangsseite). In einem Fall, in dem die Informationsverarbeitungsvorrichtung 100 eine Handbewegung oder Kopfbewegung nicht übertragen kann, kann die Informationsverarbeitungsvorrichtung 100 Informationen über den entsprechenden Gesichtsausdruck übertragen, sofern die Handbewegung oder Kopfbewegung als Emotion des Benutzers U identifiziert werden kann (Ergänzung auf der Übertragungsseite) .
Darüber hinaus kann die Informationsverarbeitungsvorrichtung 100 die Emotion basierend auf der Stimme schätzen. Die Informationsverarbeitungsvorrichtung 100 kann die Stehposition des Kommunikationspartners basierend auf der Bewegung der Blickrichtung schätzen. Zu diesem Zeitpunkt kann die Informationsverarbeitungsvorrichtung 100 die Blickrichtung basierend auf der Augenverfolgung oder einer Bewegung des Kopfes bestimmen. Darüber hinaus kann die Informationsverarbeitungsvorrichtung 100 die Körperhaltung basierend auf der Kopfposition bestimmen. Die Informationsverarbeitungsvorrichtung 100 kann die Position und Ausrichtung des Kopfes als Stehposition behandeln.
<2-6. Bezüglich des neutralen Zustands>
In der oben beschriebenen Ausführungsform kann die Informationsverarbeitungsvorrichtung 100 den Benutzer U absichtlich über den neutralen Zustand informieren, wenn alle Bewegungsinformationselemente so eingestellt werden, dass sie schließlich im neutralen Zustand konvergieren (siehe Schritt S115 in 9). Die Informationsverarbeitungsvorrichtung 100 kann die Anzeige der im neutralen Zustand befindlichen Informationen undeutlich machen oder deren Anzeige ausblenden.
<2-7. Bezüglich der Anzeige des Kommunikationspartners>
In der oben beschriebenen Ausführungsform kann die Informationsverarbeitungsvorrichtung 100 das Anzeigeverfahren zum Anzeigen des Kommunikationspartners abhängig von der für die Kommunikation verwendeten Bandbreite dynamisch ändern. Beispielsweise kann, wie unten beschrieben, bei größerer Bandbreite ein Anzeigeverfahren mit einer größeren Datenmenge gewählt werden.
Beispiel: Dreidimensionales Echtzeitbild > dreidimensionaler Avatar (Live-Action oder Animation) > zweidimensionales Bild > zweidimensionales Symbol > nur Ton
Darüber hinaus kann die Informationsverarbeitungsvorrichtung 100 die Bewegungsinformationen über den Kommunikationspartner abhängig von dem Verfahren zur Anzeige des Kommunikationspartners ändern. Darüber hinaus kann der zur Anzeige des Kommunikationspartners verwendete Avatar ein beliebiges Modell sein und muss nicht menschlich sein.
Darüber hinaus kann die Informationsverarbeitungsvorrichtung 100 beim Reproduzieren und Anzeigen einer Position, die ausgehend von der Position im neutralen Zustand neu aktualisiert wurde, eine Ergänzungsverarbeitung durchführen, um eine Steuerung durchzuführen, sodass der Kommunikationspartner schrittweise angezeigt wird. Beispielsweise kann die Informationsverarbeitungsvorrichtung 100 die Ergänzungsverarbeitung unter Verwendung eines Mittelwerts eines vorherigen Werts oder eines gewichteten Mittelwerts durchführen.
Darüber hinaus kann die Informationsverarbeitungsvorrichtung 100 die Transparenz des Avatars abhängig vom Grad der Kommunikation ändern. Beispielsweise ist es denkbar, dass die Informationsverarbeitungseinrichtung 100 bewirkt, dass sich ein Avatar eines Kommunikationspartners mit einem schlechteren Kommunikationsstatus in einem Geisterzustand befindet oder einen leiseren Ton hat.
Darüber hinaus kann die Informationsverarbeitungsvorrichtung 100 ein Reaktionsmuster des Kommunikationspartners in der Systemumgebung auf der Benutzerseite eindeutig vorhersagen, um die Bewegungsinformationen über den Kommunikationspartner zu ergänzen. Dies kann das vom Benutzer U empfundene Verzögerungsgefühl verringern.
Darüber hinaus kann die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem sich der in AR angezeigte Kommunikationspartner an eine physisch unmögliche Position in dem Bereich bewegt, in dem sich der Benutzer U befindet, das reale Objekt für die Anzeige ignorieren. Alternativ kann die Informationsverarbeitungsvorrichtung 100 die Anzeige für den Kommunikationspartner ausschalten und den Kommunikationspartner durch UI, Ton oder dergleichen benachrichtigen. In der Benachrichtigung kann bei Verwendung eines Stereotons das Signal auf ein Monosignal umgeschaltet werden. Alternativ kann die Informationsverarbeitungsvorrichtung 100 den AR-Raum beenden, um zur Anzeige in einen VR-Raum zu wechseln.
«3. Weiteres»
Verschiedene Programme zum Erreichen des Informationsverarbeitungsverfahrens (siehe beispielsweise 8 und 9), das durch die Informationsverarbeitungsvorrichtung 100 gemäß der Ausführungsform der vorliegenden Offenbarung und deren Modifikation ausgeführt wird, können in einem computerlesbaren Aufzeichnungsmedium wie einer optischen Disk, einem Halbleiterspeicher, einem Magnetband oder einer flexiblen Disk gespeichert werden und verteilt werden. Zu diesem Zeitpunkt kann die Informationsverarbeitungsvorrichtung gemäß der Ausführungsform der vorliegenden Offenbarung das Informationsverarbeitungsverfahren gemäß der Ausführungsform der vorliegenden Offenbarung durch Installieren und Ausführen der verschiedenen Programme auf einem Computer implementieren.
Darüber hinaus können die verschiedenen Programme zum Erreichen des Informationsverarbeitungsverfahrens (siehe beispielsweise 8 und 9), die durch die Informationsverarbeitungsvorrichtung 100 gemäß der Ausführungsform der vorliegenden Offenbarung und deren Modifikation ausgeführt werden, in einer Festplattenvorrichtung, die in einem Server in einem Netzwerk wie dem Internet enthalten ist, gespeichert sein und auf den Computer heruntergeladen werden. Darüber hinaus können Funktionen, die durch die verschiedenen Programme zum Erreichen des Informationsverarbeitungsverfahrens bereitgestellt werden, das durch die Informationsverarbeitungsvorrichtung 100 gemäß der Ausführungsform der vorliegenden Offenbarung und deren Modifikation ausgeführt wird, in Zusammenarbeit mit dem Betriebssystem und dem Anwendungsprogramm implementiert werden. In einem solchen Fall kann ein anderer Teil als das Betriebssystem auf einem Medium gespeichert und verteilt werden, oder der andere Teil als das Betriebssystem kann in einem Anwendungsserver gespeichert und auf den Computer heruntergeladen werden.
Unter den in der Ausführungsform der vorliegenden Offenbarung und deren Modifikation beschriebenen Verarbeitungen kann die gesamte oder ein Teil der Verarbeitung, die als automatische Verarbeitung beschrieben wird, manuell durchgeführt werden, oder die gesamte oder ein Teil der Verarbeitung, die als manuelle Verarbeitung beschrieben wird, kann automatisch durch ein bekanntes Verfahren durchgeführt werden. Darüber hinaus können die Verarbeitungsprozeduren, spezifischen Bezeichnungen und Informationen einschließlich verschiedener Daten und Parameter, die in dem Dokument und den Zeichnungen angegeben sind, beliebig geändert werden, sofern nicht anders angegeben. Beispielsweise sind verschiedene Arten von Informationen, die in den Zeichnungen veranschaulicht sind, nicht auf die veranschaulichten Informationen beschränkt.
Darüber hinaus sind die Bestandteile der Informationsverarbeitungsvorrichtung 100 gemäß der Ausführungsform der vorliegenden Offenbarung und deren Modifikation funktional konzeptionell und nicht unbedingt wie in den Zeichnungen dargestellt ausgebildet. Beispielsweise kann die in der Informationsverarbeitungsvorrichtung 100 enthaltene Übertragungsverarbeitungseinheit 131 eine Funktionseinheit sein, die funktional mit der Übertragungsreihenfolgenbestimmungseinheit 131a und der Übertragungsinformationsverschlüsselungseinheit 131b integriert ist. Darüber hinaus kann die Empfangsverarbeitungseinheit 132 eine Funktionseinheit sein, die funktional mit der Gegenstück-Informationsdecodierungseinheit 132c integriert ist. Die Präsentationsverarbeitungseinheit 133 kann eine Funktionseinheit sein, die funktional mit der Gegenstück-Informationsergänzungseinheit 133d und der Anzeigeinformationserzeugungseinheit 133e integriert ist.
Darüber hinaus können die oben beschriebene Ausführungsform der vorliegenden Offenbarung und deren Modifikation in geeigneter Weise kombiniert werden, soweit die Verarbeitungsinhalte einander nicht widersprechen. Darüber hinaus kann die Reihenfolge der in den Flussdiagrammen gemäß der Ausführungsform der vorliegenden Offenbarung dargestellten Schritte nach Bedarf geändert werden.
Obgleich vorstehend die Ausführungsform der vorliegenden Offenbarung und deren Modifikation beschrieben wurden, ist der technische Schutzumfang der vorliegenden Offenbarung nicht auf die obige Ausführungsform und die Modifikation beschränkt, und es können verschiedene Modifikationen vorgenommen werden, ohne von der Idee der vorliegenden Offenbarung abzuweichen. Darüber hinaus können Bestandteile verschiedener Ausführungsformen und Modifikationsbeispiele zweckmäßig kombiniert werden.
«4. Hardwarekonfigurationsbeispiel»
Es folgt eine Beschreibung eines Beispiels der Hardwarekonfiguration eines Computers, der der Informationsverarbeitungsvorrichtung 100 gemäß einer Ausführungsform der vorliegenden Offenbarung und deren Modifikation entspricht, unter Bezugnahme auf 12. 12 ist ein Blockdiagramm, das ein Beispiel der Hardwarekonfiguration eines Computers veranschaulicht, der einer Informationsverarbeitungsvorrichtung gemäß der Ausführungsform der vorliegenden Offenbarung und deren Modifikation entspricht. Es sei angemerkt, dass 12 ein Beispiel der Hardwarekonfiguration des Computers veranschaulicht, der der Informationsverarbeitungsvorrichtung gemäß der Ausführungsform der vorliegenden Offenbarung entspricht, und die Hardwarekonfiguration davon ist nicht notwendigerweise auf die in 12 dargestellte Konfiguration beschränkt.
Wie in 9 dargestellt, weist ein Computer 1000, der der Informationsverarbeitungsvorrichtung 20 gemäß der Ausführungsform der vorliegenden Offenbarung entspricht, eine zentrale Verarbeitungseinheit (CPU) 1100, einen Direktzugriffsspeicher (RAM) 1200, einen Nur-LeseSpeicher (ROM) 1300, ein Festplattenlaufwerk (HDD) 1400, eine Kommunikationsschnittstelle 1500 und eine Eingabe/Ausgabe-Schnittstelle 1600 auf. Die Einheiten des Computers 1000 sind durch einen Bus 1050 miteinander verbunden.
Die CPU 1100 arbeitet auf Grundlage eines Programms, das in dem ROM 1300 oder der HDD 1400 gespeichert ist, um die Einheiten zu steuern. Zum Beispiel erweitert die CPU 1100 ein auf dem ROM 1300 oder dem HDD 1400 gespeichertes Programm in den RAM 1200 und führt eine Verarbeitung entsprechend verschiedenen Programmen aus.
Der ROM 1300 speichert ein Boot-Programm wie etwa ein Basic Input Output System (BIOS), das durch die CPU 1100 beim Start des Computers 1000 ausgeführt wird, ein Programm, das von der Hardware des Computers 1000 abhängt, und dergleichen.
Die HDD 1400 ist ein computerlesbares Aufzeichnungsmedium, das ein durch die CPU 1100 ausgeführtes Programm, durch das Programm verwendete Daten und dergleichen nichttransient aufzeichnet. Insbesondere zeichnet die HDD 1400 Programmdaten 1450 auf. Die Programmdaten 1450 sind ein Beispiel eines Informationsverarbeitungsprogramms zum Implementieren des Informationsverarbeitungsverfahrens gemäß der Ausführungsform und der im Informationsverarbeitungsprogramm verwendeten Daten.
Die Kommunikationsschnittstelle 1500 ist eine Schnittstelle für den Computer 1000 zum Verbinden mit einem externen Netzwerk 1550 (zum Beispiel dem Internet). Zum Beispiel empfängt die CPU 1100 Daten von einer anderen Vorrichtung oder überträgt durch die CPU 1100 erzeugte Daten über die Kommunikationsschnittstelle 1500 an eine andere Vorrichtung.
Die Eingabe/Ausgabe-Schnittstelle 1600 ist eine Schnittstelle zum Verbinden einer Eingabe/AusgabeVorrichtung 1650 mit dem Computer 1000. Zum Beispiel empfängt die CPU 1100 Daten von einer Eingabevorrichtung, wie etwa einer Tastatur und einer Maus, über die Eingabe/Ausgabe-Schnittstelle 1600. Die CPU 1100 überträgt außerdem Daten über die Eingabe/Ausgabe-Schnittstelle 1600 an eine Ausgabevorrichtung, wie etwa eine Anzeige, einen Lautsprecher oder einen Drucker. Des Weiteren kann die Eingabe/Ausgabe-Schnittstelle 1600 als eine Medienschnittstelle fungieren, die ein auf einem vorbestimmten Aufzeichnungsmedium (Medium) aufgezeichnetes Programm oder dergleichen liest. Das Medium ist zum Beispiel ein optisches Aufzeichnungsmedium, wie etwa eine Digital Versatile Disc (DVD) oder eine wiederbeschreibbare Phasenwechsel-Disk (PD), ein magnetooptisches Aufzeichnungsmedium, wie etwa eine magnetooptische Disk (MO), ein Bandmedium, ein magnetisches Aufzeichnungsmedium, ein Halbleiterspeicher oder dergleichen.
Wenn beispielsweise der Computer 1000 als die Informationsverarbeitungsvorrichtung 100 gemäß der Ausführungsform fungiert, führt die CPU 1100 des Computers 1000 das in den RAM 1200 geladene Informationsverarbeitungsprogramm aus, um die verschiedenen durch die in 4 dargestellten Einheiten der Steuereinheit 130 ausgeführten Verarbeitungsfunktionen zu implementieren.
Das heißt, die CPU 1100, der RAM 1200 und dergleichen implementieren die Informationsverarbeitung durch die Informationsverarbeitungsvorrichtung 100 gemäß der Ausführungsform der vorliegenden Offenbarung in Zusammenarbeit mit Software (Informationsverarbeitungsprogramm, das in den RAM 1200 geladen wird).
«5. Schlussfolgerung»
Die Informationsverarbeitungsvorrichtung 100 gemäß der Ausführungsform der vorliegenden Offenbarung und deren Modifikation weist die Übertragungsverarbeitungseinheit 131, die Empfangsverarbeitungseinheit 132 und die Präsentationsverarbeitungseinheit 133 auf. Bei der Fernkommunikation, die zwischen mehreren voneinander entfernten Punkten durchgeführt wird, überträgt die Übertragungsverarbeitungseinheit 131 die ersten Bewegungsinformationen, die eine Körperbewegung eines Benutzers angeben, an einen Benutzer an einem anderen Punkt. Die Empfangsverarbeitungseinheit 132 empfängt die zweiten Bewegungsinformationen, die eine Körperbewegung des Benutzers an einem anderen Punkt angeben. Bei der Präsentation von Informationen, in denen eine Situation des Benutzers an einem anderen Punkt basierend auf den zweiten Bewegungsinformationen reproduziert wird, steuert die Präsentationsverarbeitungseinheit 133 den Anzeigeinhalt basierend auf einer Situation, in der die zweiten Bewegungsinformationen erfasst werden. Dadurch kann die Informationsverarbeitungsvorrichtung 100 ein Bild anzeigen, das beim Benutzer kein seltsames Gefühl oder Unnatürlichkeit hervorruft, was zu einer reibungslosen Fernkommunikation führt.
In der Ausführungsform der vorliegenden Offenbarung und deren Modifikation steuert die Präsentationsverarbeitungseinheit 133 in einem Fall, in dem sich die Konfiguration der zweiten Bewegungsinformationen ändert, den Anzeigeinhalt. Dadurch kann die Informationsverarbeitungsvorrichtung 100 eine Anpassung durchführen, sodass das Bild des Kommunikationspartners beim Benutzer kein seltsames Gefühl oder Unnatürlichkeit hervorruft.
Darüber hinaus ergänzt die Präsentationsverarbeitungseinheit 133 in der Ausführungsform der vorliegenden Offenbarung und deren Modifikation in einem Fall, in dem die Anzahl der Arten der zweiten Bewegungsinformationen reduziert wird, nicht empfangene Bewegungsinformationen durch Verwendung der empfangenen Bewegungsinformationen. Dadurch kann die Informationsverarbeitungsvorrichtung 100 eine Anpassung durchführen, sodass das Bild des Kommunikationspartners beim Benutzer kein seltsames Gefühl oder Unnatürlichkeit hervorruft, selbst wenn die Bewegungsinformationen über den Kommunikationspartner teilweise fehlen.
Darüber hinaus legt die Präsentationsverarbeitungseinheit 133 in der Ausführungsform der vorliegenden Offenbarung und deren Modifikation in einem Fall, in dem die nicht empfangenen zweiten Bewegungsinformationen nicht durch Verwendung der empfangenen zweiten Bewegungsinformationen ergänzt werden können, die zweiten Bewegungsinformationen, die nicht ergänzt werden können, als voreingestellte Informationen fest. Dadurch kann die Informationsverarbeitungsvorrichtung 100 eine Anpassung durchführen, sodass das Bild des Kommunikationspartners beim Benutzer kein seltsames Gefühl oder Unnatürlichkeit hervorruft, selbst wenn die Bewegungsinformationen über den Kommunikationspartner nicht ergänzt werden können.
Darüber hinaus steuert die Präsentationsverarbeitungseinheit 133 in der Ausführungsform der vorliegenden Offenbarung und deren Modifikation in einem Fall, in dem ein Empfangsintervall der zweiten Bewegungsinformationen länger als ein vorbestimmtes Aktualisierungsintervall der zweiten Bewegungsinformationen ist, den Anzeigeinhalt. Dadurch kann die Informationsverarbeitungsvorrichtung 100 eine Anpassung durchführen, sodass das Bild des Kommunikationspartners beim Benutzer kein seltsames Gefühl oder Unnatürlichkeit hervorruft, selbst wenn eine Kommunikationsverzögerung auftritt.
Darüber hinaus löscht die Präsentationsverarbeitungseinheit 133 in der Ausführungsform der vorliegenden Offenbarung und deren Modifikation vor und nach der Aktualisierung der Informationen eine Bildanzeige des Benutzers an einem anderen Punkt, an dem die zweiten Bewegungsinformationen mit einem Bewegungsgrad der zweiten Bewegungsinformationen, der größer oder gleich einer vorbestimmten Schwelle ist, reproduziert wird, oder ändert die Bildanzeige zu einer Fehlerangabe. Dadurch kann die Informationsverarbeitungsvorrichtung 100 eine Situation verhindern, in der das Bild des Kommunikationspartners beim Benutzer kein seltsames Gefühl oder Unnatürlichkeit hervorruft, selbst wenn eine Kommunikationsverzögerung auftritt.
Darüber hinaus stellt die Präsentationsverarbeitungseinheit 133 in der Ausführungsform der vorliegenden Offenbarung und deren Modifikation vor und nach der Aktualisierung der Informationen in einem Fall, in dem der Grad der Bewegung der zweiten Bewegungsinformationen geringer als die vorbestimmte Schwelle ist, die Bildanzeige des Benutzers an einem anderen Punkt ein, an dem die zweiten Bewegungsinformationen als die voreingestellten Informationen reproduziert werden. Dadurch kann die Informationsverarbeitungsvorrichtung 100 eine Anpassung durchführen, sodass das Bild des Kommunikationspartners beim Benutzer kein seltsames Gefühl oder Unnatürlichkeit hervorruft, selbst wenn eine Kommunikationsverzögerung auftritt.
Darüber hinaus legt die Übertragungsverarbeitungseinheit 131 in der Ausführungsform der vorliegenden Offenbarung und deren Modifikation eine Prioritätsreihenfolge fest, die in Bezug auf die ersten Bewegungsinformationen dynamisch geändert werden kann, und überträgt vorzugsweise die ersten Bewegungsinformationen mit hoher Prioritätsreihenfolge an den Benutzer an einem anderen Punkt. Dadurch kann die Informationsverarbeitungsvorrichtung 100 dem Kommunikationspartner gezielt Informationen bereitstellen, die für eine reibungslose Fernkommunikation nützlich sind.
Darüber hinaus ändert die Übertragungsverarbeitungseinheit 131 in der Ausführungsform der vorliegenden Offenbarung und deren Modifikation die Prioritätsreihenfolge basierend auf dem Grad der Änderung der ersten Bewegungsinformationen. Dadurch kann die Informationsverarbeitungsvorrichtung 100 dem Kommunikationspartner nützliche Informationen bereitstellen, die zur Echtzeitsituation des Benutzers passen, um eine reibungslose Fernkommunikation zu ermöglichen.
Darüber hinaus ändert die Übertragungsverarbeitungseinheit 131 in der Ausführungsform der vorliegenden Offenbarung und deren Modifikation die Prioritätsreihenfolge, sodass die ersten Bewegungsinformationen mit einem großen Änderungsgrad in einem bestimmten Zeitraum priorisiert werden. Dadurch kann die Informationsverarbeitungsvorrichtung 100 dem Kommunikationspartner nützliche Informationen bereitstellen, die der Benutzer häufig verwendet, um eine reibungslose Fernkommunikation zu ermöglichen.
Darüber hinaus ändert die Übertragungsverarbeitungseinheit 131 in der Ausführungsform der vorliegenden Offenbarung und deren Modifikation in einem Fall, in dem es mehrere Elemente von ersten Bewegungsinformation mit den gleichen Änderungsgrad in einem bestimmten Zeitraum gibt, die Prioritätsreihenfolge so, dass die ersten Bewegungsinformationen mit einer kleinen Informationsmenge priorisiert werden. Dadurch kann die Informationsverarbeitungsvorrichtung 100 im Voraus Maßnahmen ergreifen, um den Einfluss zu verringern, wenn die Kommunikationsgeschwindigkeit abnimmt.
Die in der vorliegenden Schrift beschriebenen Effekte sind lediglich veranschaulichend oder beispielhaft und nicht einschränkend. Das heißt, die Technologie gemäß der vorliegenden Offenbarung kann andere Effekte, die Fachleuten aus der Beschreibung der vorliegenden Schrift ersichtlich werden, zusammen mit den oder anstelle der obigen Effekte aufweisen.
Es sei angemerkt, dass die Technologie der vorliegenden Offenbarung auch die folgenden Konfigurationen aufweisen kann, die zum technischen Schutzumfang der vorliegenden Offenbarung gehören.

(1) Eine Informationsverarbeitungsvorrichtung, die Folgendes aufweist:
- eine Übertragungsverarbeitungseinheit, ausgebildet zum Übertragen, in einer Fernkommunikation, die zwischen mehreren voneinander entfernten Punkten durchgeführt wird, von ersten Bewegungsinformationen, die eine Körperbewegung eines Benutzers angeben, an einen Benutzer an einem anderen Punkt;
- eine Empfangsverarbeitungseinheit, ausgebildet zum Empfangen von zweiten Bewegungsinformationen, die eine Körperbewegung des Benutzers an dem anderen Punkt angeben; und
- eine Präsentationsverarbeitungseinheit, ausgebildet zum Steuern, beim Präsentieren von Informationen, in denen eine Situation des Benutzers an dem anderen Punkt basierend auf den zweiten Bewegungsinformationen reproduziert wird, eines Präsentationsinhalts basierend auf einer Situation, in der die zweiten Bewegungsinformationen erfasst werden.
(2) Die Informationsverarbeitungsvorrichtung nach (1), wobei die Präsentationsverarbeitungseinheit den Präsentationsinhalt in einem Fall steuert, in dem sich eine Konfiguration der zweiten Bewegungsinformationen ändert.
(3) Die Informationsverarbeitungsvorrichtung nach (2), wobei die Präsentationsverarbeitungseinheit in einem Fall, in dem eine Anzahl von Arten der zweiten Bewegungsinformationen reduziert ist, die zweiten Bewegungsinformationen, die noch nicht empfangen wurden, durch Verwendung der zweiten Bewegungsinformationen, die empfangen wurden, ergänzt.
(4) Die Informationsverarbeitungsvorrichtung nach (3), wobei die Präsentationsverarbeitungseinheit in einem Fall, in dem die zweiten Bewegungsinformationen, die noch nicht empfangen wurden, nicht durch Verwendung der zweiten Bewegungsinformationen, die empfangen wurden, ergänzt werden können, die zweiten Bewegungsinformationen, die nicht ergänzt werden können, als voreingestellte Informationen festlegt.
(5) Die Informationsverarbeitungsvorrichtung nach (1), wobei die Präsentationsverarbeitungseinheit den Präsentationsinhalt in einem Fall steuert, in dem ein Empfangsintervall der zweiten Bewegungsinformationen länger als ein vorbestimmtes Aktualisierungsintervall der zweiten Bewegungsinformationen ist.
(6) Die Informationsverarbeitungsvorrichtung nach (5), wobei die Präsentationsverarbeitungseinheit vor und nach einer Aktualisierung von Informationen eine Bildanzeige löscht, in der eine Situation des Benutzers an dem anderen Punkt mit einem Bewegungsgrad der zweiten Bewegungsinformationen, der größer oder gleich einer vorbestimmten Schwelle ist, reproduziert wird, oder alternativ das Bild Anzeige zu einer Fehlerangabe ändert.
(7) Die Informationsverarbeitungsvorrichtung nach (5), wobei die Präsentationsverarbeitungseinheit vor und nach einer Aktualisierung von Informationen eine Bildanzeige, in der eine Situation des Benutzers an dem anderen Punkt wiedergegeben wird, in einem Fall als voreingestellte Informationen festlegt, in dem ein Bewegungsgrad der zweiten Bewegungsinformationen kleiner als eine vorbestimmte Schwelle ist.
(8) Die Informationsverarbeitungsvorrichtung nach einem von (1) bis (7), wobei die Übertragungsverarbeitungseinheit eine Prioritätsreihenfolge festlegt, die in Bezug auf die ersten Bewegungsinformationen dynamisch geändert werden kann, und vorzugsweise die ersten Bewegungsinformationen mit hoher Prioritätsreihenfolge an den Benutzer an dem anderen Punkt überträgt.
(9) Die Informationsverarbeitungsvorrichtung nach (8), wobei die Übertragungsverarbeitungseinheit die Prioritätsreihenfolge basierend auf einem Änderungsgrad der ersten Bewegungsinformationen ändert.
(10) Die Informationsverarbeitungsvorrichtung nach (9), wobei die Übertragungsverarbeitungseinheit die Prioritätsreihenfolge so ändert, dass die ersten Bewegungsinformationen mit einem großen Änderungsgrad in einem bestimmten Zeitraum priorisiert werden.
(11) Die Informationsverarbeitungsvorrichtung nach (9), wobei die Übertragungsverarbeitungseinheit die Prioritätsreihenfolge so ändert, dass in einem Fall, in dem mehrere Elemente der ersten Bewegungsinformationen mit einem gleichen Änderungsgrad in einem bestimmten Zeitraum vorliegen, die ersten Bewegungsinformationen mit einer kleinen Informationsmenge priorisiert werden.
(12) Ein Informationsverarbeitungsverfahren, das Folgendes aufweist:
- Übertragen, durch einen Computer, in einer Fernkommunikation, die zwischen mehreren voneinander entfernten Punkten durchgeführt wird, von ersten Bewegungsinformationen, die eine Körperbewegung eines Benutzers angeben, an einen Benutzer an einem anderen Punkt;
- Empfangen, durch den Computer, von zweiten Bewegungsinformationen, die eine Körperbewegung des Benutzers an dem anderen Punkt angeben; und
- Steuern, durch den Computer, beim Präsentieren von Informationen, in denen eine Situation des Benutzers an dem anderen Punkt basierend auf den zweiten Bewegungsinformationen reproduziert wird, eines Präsentationsinhalts basierend auf einer Situation, in der die zweiten Bewegungsinformationen erfasst werden.
(13) Ein Informationsverarbeitungsprogramm zur Verwendung in einem Computer, wobei das Informationsverarbeitungsprogramm den Computer als Steuereinheit fungieren lässt, die eine Verarbeitung ausführt, die Folgendes aufweist:
- Übertragen, in einer Fernkommunikation, die zwischen mehreren voneinander entfernten Punkten durchgeführt wird, von ersten Bewegungsinformationen, die eine Körperbewegung eines Benutzers angeben, an einen Benutzer an einem anderen Punkt;
- Empfangen von zweiten Bewegungsinformationen, die eine Körperbewegung des Benutzers an dem anderen Punkt angeben; und
- Steuern, beim Präsentieren von Informationen, in denen eine Situation des Benutzers an dem anderen Punkt basierend auf den zweiten Bewegungsinformationen reproduziert wird, eines Präsentationsinhalts basierend auf einer Situation, in der die zweiten Bewegungsinformationen erfasst werden.

Bezugszeichenliste

1: INFORMATIONSVERARBEITUNGSSYSTEM
11: SENSOR
12: ANZEIGEMECHANISMUS
13: KOMMUNIKATIONSMECHANISMUS
100: INFORMATIONSVERARBEITUNGSVORRICHTUNG
110: KOMMUNIKATIONSEINHEIT
120: SPEICHEREINHEIT
121: BENUTZERINFORMATIONSSPEICHEREINHEIT
122: GEGENSTÜCK-INFORMATIONSSPEICHEREINHEIT
130: STEUEREINHEIT
131: ÜBERTRAGUNGSVERARBEITUNGSEINHEIT
131a: ÜBERTRAGUNGSREIHENFOLGENBESTIMMUNGSEINHEIT
131b: ÜBERTRAGUNGSINFORMATIONSVERSCHLÜSSELUNGSEINHEIT
132: EMPFANGSVERARBEITUNGSEINHEIT
132c: GEGENSTÜCK-INFORMATIONSDECODIERUNGSEINHEIT
133: PRÄSENTATIONSVERARBEITUNGSEINHEIT
133d: GEGENSTÜCK-INFORMATIONSERGÄNZUNGSEINHEIT
133e: ANZEIGEINFORMATIONSERZEUGUNGSEINHEIT

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 202042270 A [0005]

Claims

Informationsverarbeitungsvorrichtung, die Folgendes aufweist: eine Übertragungsverarbeitungseinheit, ausgebildet zum Übertragen, in einer Fernkommunikation, die zwischen mehreren voneinander entfernten Punkten durchgeführt wird, von ersten Bewegungsinformationen, die eine Körperbewegung eines Benutzers angeben, an einen Benutzer an einem anderen Punkt; eine Empfangsverarbeitungseinheit, ausgebildet zum Empfangen von zweiten Bewegungsinformationen, die eine Körperbewegung des Benutzers an dem anderen Punkt angeben; und eine Präsentationsverarbeitungseinheit, ausgebildet zum Steuern, beim Präsentieren von Informationen, in denen eine Situation des Benutzers an dem anderen Punkt basierend auf den zweiten Bewegungsinformationen reproduziert wird, eines Präsentationsinhalts basierend auf einer Situation, in der die zweiten Bewegungsinformationen erfasst werden.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Präsentationsverarbeitungseinheit den Präsentationsinhalt in einem Fall steuert, in dem sich eine Konfiguration der zweiten Bewegungsinformationen ändert.
Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Präsentationsverarbeitungseinheit in einem Fall, in dem eine Anzahl von Arten der zweiten Bewegungsinformationen reduziert ist, die zweiten Bewegungsinformationen, die noch nicht empfangen wurden, durch Verwendung der zweiten Bewegungsinformationen, die empfangen wurden, ergänzt.
Informationsverarbeitungsvorrichtung nach Anspruch 3, wobei die Präsentationsverarbeitungseinheit in einem Fall, in dem die zweiten Bewegungsinformationen, die noch nicht empfangen wurden, nicht durch Verwendung der zweiten Bewegungsinformationen, die empfangen wurden, ergänzt werden können, die zweiten Bewegungsinformationen, die nicht ergänzt werden können, als voreingestellte Informationen festlegt.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Präsentationsverarbeitungseinheit den Präsentationsinhalt in einem Fall steuert, in dem ein Empfangsintervall der zweiten Bewegungsinformationen länger als ein vorbestimmtes Aktualisierungsintervall der zweiten Bewegungsinformationen ist.
Informationsverarbeitungsvorrichtung nach Anspruch 5, wobei die Präsentationsverarbeitungseinheit vor und nach einer Aktualisierung von Informationen eine Bildanzeige löscht, in der eine Situation des Benutzers an dem anderen Punkt mit einem Bewegungsgrad der zweiten Bewegungsinformationen, der größer oder gleich einer vorbestimmten Schwelle ist, reproduziert wird, oder alternativ die Bildanzeige zu einer Fehlerangabe ändert.
Informationsverarbeitungsvorrichtung nach Anspruch 5, wobei die Präsentationsverarbeitungseinheit vor und nach einer Aktualisierung von Informationen eine Bildanzeige, in der eine Situation des Benutzers an dem anderen Punkt wiedergegeben wird, in einem Fall als voreingestellte Informationen festlegt, in dem ein Bewegungsgrad der zweiten Bewegungsinformationen kleiner als eine vorbestimmte Schwelle ist.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Übertragungsverarbeitungseinheit eine Prioritätsreihenfolge festlegt, die in Bezug auf die ersten Bewegungsinformationen dynamisch geändert werden kann, und vorzugsweise die ersten Bewegungsinformationen mit hoher Prioritätsreihenfolge an den Benutzer an dem anderen Punkt überträgt.
Informationsverarbeitungsvorrichtung nach Anspruch 8, wobei die Übertragungsverarbeitungseinheit die Prioritätsreihenfolge basierend auf einem Änderungsgrad der ersten Bewegungsinformationen ändert.
Informationsverarbeitungsvorrichtung nach Anspruch 9, wobei die Übertragungsverarbeitungseinheit die Prioritätsreihenfolge so ändert, dass die ersten Bewegungsinformationen mit einem großen Änderungsgrad in einem bestimmten Zeitraum priorisiert werden.
Informationsverarbeitungsvorrichtung nach Anspruch 9, wobei die Übertragungsverarbeitungseinheit die Prioritätsreihenfolge so ändert, dass in einem Fall, in dem mehrere Elemente der ersten Bewegungsinformationen mit einem gleichen Änderungsgrad in einem bestimmten Zeitraum vorliegen, die ersten Bewegungsinformationen mit einer kleinen Informationsmenge priorisiert werden.
Informationsverarbeitungsverfahren, das Folgendes aufweist: Übertragen, durch einen Computer, in einer Fernkommunikation, die zwischen mehreren voneinander entfernten Punkten durchgeführt wird, von ersten Bewegungsinformationen, die eine Körperbewegung eines Benutzers angeben, an einen Benutzer an einem anderen Punkt; Empfangen, durch den Computer, von zweiten Bewegungsinformationen, die eine Körperbewegung des Benutzers an dem anderen Punkt angeben; und Steuern, durch den Computer, beim Präsentieren von Informationen, in denen eine Situation des Benutzers an dem anderen Punkt basierend auf den zweiten Bewegungsinformationen reproduziert wird, eines Präsentationsinhalts basierend auf einer Situation, in der die zweiten Bewegungsinformationen erfasst werden.
Informationsverarbeitungsprogramm zur Verwendung in einem Computer, wobei das Informationsverarbeitungsprogramm den Computer als Steuereinheit fungieren lässt, die eine Verarbeitung ausführt, die Folgendes aufweist: Übertragen, in einer Fernkommunikation, die zwischen mehreren voneinander entfernten Punkten durchgeführt wird, von ersten Bewegungsinformationen, die eine Körperbewegung eines Benutzers angeben, an einen Benutzer an einem anderen Punkt; Empfangen von zweiten Bewegungsinformationen, die eine Körperbewegung des Benutzers an dem anderen Punkt angeben; und Steuern, beim Präsentieren von Informationen, in denen eine Situation des Benutzers an dem anderen Punkt basierend auf den zweiten Bewegungsinformationen reproduziert wird, eines Präsentationsinhalts basierend auf einer Situation, in der die zweiten Bewegungsinformationen erfasst werden.