DE112019002798T5

DE112019002798T5 - Informationsverarbeitungsvorrichtung, informationsverabeitungsverfahren und programm

Info

Publication number: DE112019002798T5
Application number: DE112019002798.0T
Authority: DE
Inventors: Yusuke Sakai; Ryusei KOIKE; Haruo Oba; Motoki Higashide; Daisuke Miki
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2018-06-01
Filing date: 2019-05-29
Publication date: 2021-04-22
Also published as: US11366631B2; JP7276334B2; WO2019230852A1; CN112166602A; US20210157541A1; JPWO2019230852A1; CN112166602B

Abstract

Bereitgestellt wird eine Informationsverarbeitungsvorrichtung, die mit einer Erfassungseinheit (211) versehen ist, die eine erste physische Information eines sich in einem ersten Raum befindenden ersten Nutzers und eine zweite physische Information eines sich in einem zweiten Raum befindenden zweiten Nutzers erhält, einer Einheit (213) zur Erzeugung eines virtuellen Raums, die einen virtuellen Raum auf der Basis der ersten physischen Information oder der zweiten physischen Information erzeugt, einer Betriebsmodus-Steuerungseinheit (211), die einen Betriebsmodus umschaltet, falls ein von zumindest einem des ersten Nutzers oder des zweiten Nutzers verursachter Auslöser auftritt, und einer Steuerungseinheit (210), die eine Umschaltung des Betriebsmodus mit zumindest einer im ersten Raum vorhandenen Vorrichtung oder zumindest einer im zweiten Raum vorhandenen Vorrichtung verschränkt.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich auf eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm.
HINTERGRUNDTECHNIK
In den letzten Jahren wurden verschiedene Technologien entwickelt, um eine Vermittlung von Techniken und Fertigkeiten effektiv zu realisieren. Das folgende Patentdokument 1 offenbart beispielsweise eine Vorrichtung, die imstande ist, Techniken und Fertigkeiten in Bezug auf eine Arbeit effektiver zu vermitteln, indem ein als Modell der Arbeit dienendes virtuelles Objekt, das vorher aufgezeichnet wurde, einem Nutzer, der nun arbeitet, präsentiert wird.
Um Techniken und Fertigkeiten effektiver zu vermitteln, ist es hier eher vorzuziehen, dass ein Ausbilder und ein Schüler, die sich im gleichen Raum befinden, miteinander in Echtzeit kommunizieren, statt ein aufgezeichnetes virtuelles Objekt als Modell zu präsentieren, wie im Patentdokument 1 offenbart ist. Falls sich jedoch der Ausbilder und der Schüler an voneinander entfernt gelegenen Orten befinden, ist es für sie nicht einfach, sich so zu bewegen, als ob sie sich im gleichen Raum befinden.
Als ein System zum Unterstützen einer Kommunikation zwischen Nutzern, die sich an entfernt gelegenen Orten befinden, wurde hier herkömmlicherweise ein ein Bild- bzw. Videotelefon nutzendes Konferenzsystem und dergleichen vorgeschlagen, und der Ausbilder kann unter Verwendung dieses Konferenzsystems und dergleichen den Schülern eine Anleitung geben.
ZITATLISTE
PATENTDOKUMENT
Patentdokument 1: Internationale Veröffentlichung Nr. 2017/030193
ZUSAMMENFASSUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
Obgleich das herkömmliche Konferenzsystem eine gegenseitige Bestätigung von Bedingungen, eine gemeinsame Nutzung von Dokumentendaten und dergleichen realisieren kann, kann dieses jedoch einer Vielzahl von Nutzern, die sich in verschiedenen Räumen befinden, nicht den Eindruck vermitteln, als ob sie im gleichen Raum arbeiten. Daher ist es nicht einfach, die Techniken und Fertigkeiten unter Verwendung des herkömmlichen Konferenzsystems und dergleichen zu vermitteln.
Die vorliegende Offenbarung schlägt daher eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm vor, die imstande sind, einer Vielzahl von Nutzern, die sich in verschiedenen Räumen befinden, einen Eindruck zu vermitteln, als ob die jeweiligen Nutzer im gleichen Raum arbeiten.
LÖSUNG FÜR DIE PROBLEME
Gemäß der vorliegenden Offenbarung wird eine Informationsverarbeitungsvorrichtung bereitgestellt, die mit einer Erfassungseinheit, die eine erste physische Information eines in einem ersten Raum befindlichen ersten Nutzers und eine zweite physische Information eines in einem zweiten Raum befindlichen zweiten Nutzers erhält bzw. erfasst, einer Einheit zur Erzeugung eines virtuellen Raums, die einen virtuellen Raum auf der Basis der ersten physischen Information oder der zweiten physischen Information erzeugt, einer Betriebsmodus-Steuerungseinheit, die einen Betriebsmodus umschaltet, falls ein von zumindest einem des ersten Nutzers oder des zweiten Nutzers verursachter Auslöser auftritt, und einer Steuerungseinheit versehen ist, die eine Umschaltung des Betriebsmodus mit zumindest einer im ersten Raum vorhandenen Vorrichtung oder zumindest einer im zweiten Raum vorhandenen Vorrichtung verschränkt (engl.: interlocks).
Darüber hinaus wird gemäß der vorliegenden Offenbarung ein Informationsverarbeitungsverfahren bereitgestellt, das von einem Computer ausgeführt wird, wobei das Verfahren mit einem Erhalten einer ersten physischen Information eines in einem ersten Raum befindlichen ersten Nutzers und einer zweiten physischen Information eines in einem zweiten Raum befindlichen zweiten Nutzers, einem Erzeugen eines virtuellen Raums auf der Basis der ersten physischen Information oder der zweiten physischen Information, einem Umschalten eines Betriebsmodus, falls ein von zumindest einem des ersten Nutzers oder des zweiten Nutzers verursachter Auslöser auftritt, und einem Verriegeln bzw. Verschränken einer Umschaltung des Betriebsmodus mit zumindest einer im ersten Raum vorhandenen oder zumindest einer im zweiten Raum vorhandenen Vorrichtung vorgesehen ist.
Gemäß der vorliegenden Offenbarung ist ferner ein Programm vorgesehen, das einem Computer ermöglicht, ein Erhalten einer ersten physischen Information eines in einem ersten Raum befindlichen ersten Nutzers, ein Erzeugen eines virtuellen ersten Raums auf der Basis der ersten physischen Information oder der zweiten physischen Information, eine Umschaltung eines Betriebsmodus, falls ein von zumindest einem des ersten Nutzers oder des zweiten Nutzers verursachter Auslöser auftritt, und ein Verschränken einer Umschaltung des Betriebsmodus mit zumindest einer im ersten Raum vorhandenen Vorrichtung oder zumindest einer im zweiten Raum vorhandenen Vorrichtung zu realisieren.
EFFEKTE DER ERFINDUNG
Wie oben beschrieben wurde, ist es gemäß der vorliegenden Offenbarung möglich, einer Vielzahl von in verschiedenen Räumen befindlichen Nutzern einen Eindruck zu vermitteln, als ob die jeweiligen Nutzer im gleichen Raum arbeiten.
Man beachte, dass der oben beschriebene Effekt nicht notwendigerweise beschränkt ist und es auch möglich ist, irgendeinen der in dieser Beschreibung beschriebenen Effekte oder einen anderen Effekt, den man aus dieser Beschreibung begreifen kann, zusammen mit oben beschriebenen Effekt oder an dessen Stelle zu erhalten.
Figurenliste

1 ist ein Blockdiagramm, das ein Konfigurationsbeispiel eines Informationsverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
2 ist eine Ansicht, um eine Vorrichtungsanordnung und dergleichen in einem ersten Raum 100A und einem zweiten Raum 100B zu veranschaulichen.
3 ist eine Ansicht, um eine Vorrichtungsanordnung und dergleichen in dem ersten Raum 100A und dem zweiten Raum 100B zu veranschaulichen.
4 ist eine Ansicht, um einen durch eine Server-Vorrichtung 200 erzeugten virtuellen Raum zu veranschaulichen.
5 ist eine Ansicht, um eine Variation einer Vorrichtungsanordnung und dergleichen in dem ersten Raum 100A und dem zweiten Raum 100B zu veranschaulichen.
6 ist eine Ansicht, um einen zugewandten Modus (engl.: facing mode) zu veranschaulichen.
7 ist eine Ansicht, um einen rechts-links vertauschten Modus zu veranschaulichen.
8 ist eine Ansicht, um einen Nebeneinander-Modus zu veranschaulichen.
9 ist eine Ansicht, um einen Übernahme-Modus (engl.: possession mode) zu veranschaulichen.
10 ist eine Ansicht, um ein spezifisches Beispiel einer Verschränkung jeder Vorrichtung zu veranschaulichen, wenn ein Betriebsmodus umgeschaltet wird.
11 ist eine Ansicht, um ein spezifisches Beispiel einer Verschränkung jeder Vorrichtung zu veranschaulichen, wenn ein Betriebsmodus umgeschaltet wird.
12 ist eine Ansicht, um ein spezifisches Beispiel einer Verschränkung jeder Vorrichtung zu veranschaulichen, wenn ein Betriebsmodus umgeschaltet wird.
13 ist eine Ansicht, um ein spezifisches Beispiel einer Verschränkung jeder Vorrichtung zu veranschaulichen, wenn ein Betriebsmodus umgeschaltet wird.
14 ist eine Ansicht, um eine Variation einer Verschränkung jeder Vorrichtung zu veranschaulichen, wenn ein Betriebsmodus umgeschaltet wird.
15 ist eine Ansicht, um eine Variation einer Verschränkung jeder Vorrichtung zu veranschaulichen, wenn ein Betriebsmodus umgeschaltet wird.
16 ist eine Ansicht, um eine Informationsübertragung unter Verwendung jeder Vorrichtung zu veranschaulichen.
17 ist eine Ansicht, um eine Informationsübertragung unter Verwendung jeder Vorrichtung zu veranschaulichen.
18 ist eine Ansicht, um eine Informationsübertragung unter Verwendung jeder Vorrichtung zu veranschaulichen.
19 ist eine Ansicht, um eine Extraktionsverarbeitung eines Objekts aus einem aufgenommenen Bild zu veranschaulichen.
20 ist ein Blockdiagramm, das ein Konfigurationsbeispiel des ersten Raums 100 oder des zweiten Raums 100B veranschaulicht.
21 ist eine Ansicht, um einen Modus einer Kamera 123 zu veranschaulichen.
22 ist eine Ansicht, um einen Modus der Kamera 123 zu veranschaulichen.
23 ist ein Blockdiagramm, das ein funktionales Konfigurationsbeispiel einer Server-Vorrichtung 200 veranschaulicht.
24 ist eine Ansicht, um einen Anzeigemodus einer Anzeige zu veranschaulichen.
25 ist ein Flussdiagramm, das ein Beispiel eines Verarbeitungsablaufs der Server-Vorrichtung 200 veranschaulicht.
26 ist ein Flussdiagramm, das ein Beispiel des Verarbeitungsablaufs der Server-Vorrichtung 200 veranschaulicht.
27 ist eine Ansicht, die ein Anzeigebeispiel einer Fensteranzeige 133B in einem Fall veranschaulicht, in dem es eine Vielzahl erster Räume 100A und eine Vielzahl von Nutzern A gibt.
28 ist eine Ansicht, die ein Anzeigebeispiel einer Tischanzeige 131B in einem Fall veranschaulicht, in dem es eine Vielzahl erster Räume 100A und eine Vielzahl von Nutzern A gibt.
29 ist eine Ansicht, um ein Beispiel eines Falls zu veranschaulichen, in dem verschiedene Ausgaben nur an zumindest einen der Vielzahl von Nutzern A ausgeführt werden.
30 ist eine Ansicht, um ein Beispiel eines Falls zu veranschaulichen, in dem verschiedene Ausgaben nur an zumindest einen der Vielzahl von Nutzern A ausgeführt werden.
31 ist eine Ansicht, um einen Beobachtungs-Modus zu veranschaulichen.
32 ist ein Blockdiagramm, das ein Beispiel einer Hardwarekonfiguration einer Informationsverarbeitungsvorrichtung 900 veranschaulicht, die die Server-Vorrichtung 200 oder die Client-Vorrichtung 110 verkörpert.
33 ist eine Ansicht, um ein Anwendungsbeispiel des Informationsverarbeitungssystems gemäß der vorliegenden Offenbarung zu veranschaulichen.
34 ist eine Ansicht, um ein Anwendungsbeispiel des Informationsverarbeitungssystems gemäß der vorliegenden Offenbarung zu veranschaulichen.
35 ist eine Ansicht, um ein Anwendungsbeispiel des Informationsverarbeitungssystems gemäß der vorliegenden Offenbarung zu veranschaulichen.
36 ist eine Ansicht, um ein Anwendungsbeispiel des Informationsverarbeitungssystems gemäß der vorliegenden Offenbarung zu veranschaulichen.

MODUS ZUM AUSFÜHREN DER ERFINDUNG
Eine bevorzugte Ausführungsform der vorliegenden Offenbarung wird hier im Folgenden unter Bezugnahme auf die beigefügten Zeichnungen im Detail beschrieben. Man beachte, dass in dieser Beschreibung und den Zeichnungen die Komponenten mit im Wesentlichen der gleichen funktionalen Konfiguration mit dem gleichen Bezugszeichen bezeichnet sind und deren Beschreibung nicht wiederholt wird.
Man beachte, dass die Beschreibung in der folgenden Reihenfolge gegeben wird.

1. Überblick
2. Detail
3. Konfigurationsbeispiel
4. Beispiel eines Verarbeitungsablaufs
5. Variation
6. Beispiel einer Hardwarekonfiguration
7. Zusammenfassung

<Überblick>
Zunächst wird ein Überblick der vorliegenden Offenbarung beschrieben.
Wie oben beschrieben wurde, ist es, um Techniken und Fertigkeiten effektiver zu vermitteln, eher vorzuziehen, dass ein Ausbilder und ein Schüler, die sich im gleichen Raum befinden, in Echtzeit miteinander kommunizieren, statt wie im Patentdokument 1 offenbart ein aufgezeichnetes virtuelles Objekt als Modell zu präsentieren. Falls jedoch sich der Ausbilder und der Schüler an entfernt gelegenen Orten befinden, ist es für sie nicht einfach, sich so zu bewegen, als ob sie sich im gleichen Raum befinden. Falls beispielsweise Schüler über die ganze Welt verstreut sind, muss der Ausbilder eine Anleitung geben, während er sich um die Welt bewegt, sodass eine Wirkung der Anleitung begrenzt ist.
Als ein System zum Unterstützen einer Kommunikation zwischen an entfernt gelegenen Orten befindlichen Nutzern wurde überdies herkömmlicherweise ein Konferenzsystem und dergleichen vorgeschlagen, das ein Bildtelefon nutzt, und der Ausbilder kann unter Verwendung dieses Konferenzsystems und dergleichen den Schülern eine Anleitung geben.
Obgleich das herkömmliche Konferenzsystem eine wechselseitige Bestätigung von Bedingungen, eine gemeinsame Nutzung von Dokumentendaten und dergleichen realisieren kann, kann dieses jedoch einer Vielzahl von in verschiedenen Räumen befindlichen Nutzern nicht den Eindruck vermitteln, als ob sie im gleichen Raum arbeiten. Falls sich der Ausbilder und der Schüler im gleichen Raum befinden, kann beispielsweise der Schüler eine aktuelle Arbeit des Ausbilders aus dem Blickwinkel des Ausbilders beobachten oder kann der Ausbilder eine Hand des Schülers nehmen, um ihn anzuleiten; ein solches Vermittlungsverfahren kann jedoch im Konferenzsystem nicht realisiert werden. Daher ist es nicht einfach, die Techniken und Fertigkeiten unter Verwendung des herkömmlichen Konferenzsystems und dergleichen zu vermitteln.
Eine diese Anmeldung offenbarende Person hat die Technologie gemäß der vorliegenden Offenbarung im Hinblick auf die oben beschriebenen Umstände verkörpert. Eine Informationsverarbeitungsvorrichtung gemäß der vorliegenden Offenbarung erhält bzw. erfasst eine erste physische Information eines ersten Nutzers (zum Beispiel eines Ausbilders), der sich in einem ersten Raum befindet, oder eine zweite physische Information eines zweiten Nutzers (zum Beispiel eines Schülers), der sich in einem zweiten Raum befindet, und erzeugt auf der Basis der ersten physischen Information oder der zweiten physischen Information einen virtuellen Raum. Konkreter erzeugt die Informationsverarbeitungsvorrichtung den virtuellen Raum, der eine Positionsbeziehung zwischen dem ersten Nutzer und dem zweiten Nutzer reproduziert.
Falls ein von zumindest einem des ersten Nutzers oder des zweiten Nutzers verursachter Auslöser auftritt, schaltet dann die Informationsverarbeitungsvorrichtung einen Betriebsmodus um und verschränkt die Umschaltung des Betriebsmodus mit zumindest einer Vorrichtung (zum Beispiel einer Anzeige, einem Lautsprecher und dergleichen), die in dem ersten Raum oder dem zweiten Raum vorgesehen ist. Beispielsweise spiegelt die Informationsverarbeitungsvorrichtung eine Information wider, die erhalten wird, indem ein aufgenommenes Bild, das mittels einer Kamera 123 erhalten wurde, oder eine partielle Information des virtuellen Raums in der Anzeige oder dem Lautsprechers, die oder der in dem ersten Raum oder dem zweiten Raum vorgesehen ist, editiert wird.
Infolgedessen kann die Informationsverarbeitungsvorrichtung dem ersten Nutzer oder dem zweiten Nutzer, die sich in verschiedenen Räumen befinden, einen Eindruck vermitteln, als ob die jeweiligen Nutzer im gleichen Raum arbeiten.
<Detail>
Der Überblick der vorliegenden Offenbarung ist oben beschrieben. Nachfolgend wird die vorliegende Offenbarung im Detail beschrieben.
(Beispiel einer Systemkonfiguration)
Zunächst wird unter Bezugnahme auf 1 ein Konfigurationsbeispiel eines Informationsverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Offenbarung beschrieben.
Wie in 1 veranschaulicht ist, gibt es in dem Informationsverarbeitungssystem gemäß dieser Ausführungsform einen ersten Raum 100A und einen zweiten Raum 100B, und jeder Raum ist mit einer Client-Vorrichtung 110, einer Eingabevorrichtungsgruppe 120 und einer Ausgabevorrichtungsgruppe 130 versehen. Darüber hinaus ist das Informationsverarbeitungssystem gemäß dieser Ausführungsform auch mit einer Server-Vorrichtung 200 versehen, die imstande ist, über ein Netzwerk 300 mit der Client-Vorrichtung 110 in jedem Raum zu kommunizieren.
Die Server-Vorrichtung 200 ist eine Vorrichtung, die als die oben beschriebene „Informationsverarbeitungsvorrichtung“ dient. Konkreter erhält bzw. erfasst die Server-Vorrichtung 200 eine erste physische Information eines im ersten Raum 100A befindlichen ersten Nutzers oder eine zweite physische Information eines im zweiten Raum 100B befindlichen zweiten Nutzers, indem verschiedene Arten einer Eingabeinformation von einer Client-Vorrichtung 110A bzw. einer Client-Vorrichtung 110B analysiert werden, und erzeugt einen virtuellen Raum, indem die erste physische Information oder die zweite physische Information genutzt wird. Eine „physische Information (die die erste physische Information oder die zweite physische Information einschließt; hier wird im Folgenden der Zweckmäßigkeit halber auf die „erste physische Information oder die zweite physische Information“ manchmal einfach als die „physische Information“ verwiesen)‟ ist ein Konzept, das eine Positionsinformation einer Körperstelle jedes Nutzers einschließt. Daher kann die Server-Vorrichtung 200 eine Positionsbeziehung (und Körperhaltung) der jeweiligen Nutzer in dem virtuellen Raum auf der Basis der physischen Information reproduzieren.
Die Server-Vorrichtung 200 kann darüber hinaus eine erste Umgebungsinformation, die eine Information in Bezug auf ein im ersten Raum 100A vorhandenes Objekt enthält, oder eine zweite Umgebungsinformation, die eine Information in Bezug auf ein im zweiten Raum 100B vorhandenes Objekt enthält, erhalten, indem verschiedene Arten einer Eingabeinformation von der Client-Vorrichtung 110A oder der Client-Vorrichtung 110B jeweils analysiert werden, und den virtuellen Raum erzeugen, indem zusätzlich zur physischen Information auch die erste Umgebungsinformation oder die zweite Umgebungsinformation genutzt wird. Eine „Umgebungsinformation (die die erste Umgebungsinformation oder die zweite Umgebungsinformation einschließt; hier wird im Folgenden der Zweckmäßigkeit halber auf die „erste Umgebungsinformation oder die zweite Umgebungsinformation“ manchmal einfach als die „Umgebungsinformation“ verwiesen)‟ ist ein Konzept, das eine Positionsinformation jedes Teils eines Objekts (einschließlich der Eingabevorrichtungsgruppe 120 und der Ausgabevorrichtungsgruppe 130), das in jedem Raum vorhanden ist, einschließt. Daher kann die Server-Vorrichtung 200 eine Positionsbeziehung zwischen den jeweiligen Objekten und eine Positionsbeziehung zwischen jedem Objekt und jedem Nutzer im virtuellen Raum reproduzieren, indem der virtuelle Raum auf Basis nicht nur der physischen Information, sondern auch der Umgebungsinformation erzeugt wird.
Falls ein vorbestimmter Auslöser auftritt, kann dann die Server-Vorrichtung 200 einen Betriebsmodus umschalten, eine Steuerungsinformation auf der Basis des Betriebsmodus erzeugen und der Client-Vorrichtung 110A oder der Client-Vorrichtung 110B diese bereitstellen, wodurch eine Ausgabevorrichtungsgruppe 130A oder eine Ausgabevorrichtungsgruppe 130B in einer verschränkten Art und Weise gesteuert werden. Man beachte, dass die Server-Vorrichtung 200 eine Eingabevorrichtungsgruppe 120A oder eine Eingabevorrichtungsgruppe 120B steuern kann.
Die Client-Vorrichtung 110A ist eine Vorrichtung, die die Vorrichtung (die Eingabevorrichtungsgruppe 120A und die Ausgabevorrichtungsgruppe 130A), die im ersten Raum 100A vorhanden ist, umfassend steuert. Zum Beispiel erhält die Client-Vorrichtung 110A verschiedene Arten einer Eingabeinformation von der Eingabevorrichtungsgruppe 120A und stellt der Server-Vorrichtung 200 diese bereit oder steuert die Ausgabevorrichtungsgruppe 130A auf der Basis der von der Server-Vorrichtung 200 bereitgestellten Steuerungsinformation.
Die Eingabevorrichtungsgruppe 120A ist eine Vorrichtungsgruppe, die die verschiedenen Arten einer Eingabeinformation erhält, und kann zum Beispiel eine Kamera, ein Mikrofon, einen beliebigen Sensor oder dergleichen enthalten kann. Der Inhalt und der Installationsmodus der Eingabevorrichtungsgruppe 120A sind nicht sonderlich beschränkt. Dies wird später im Detail beschrieben.
Die Ausgabevorrichtungsgruppe 130A ist eine Vorrichtungsgruppe, die verschiedene Ausgaben an den ersten Nutzer durchführt und zum Beispiel eine Anzeige (einschließlich einer Tischanzeige 131 und einer Fensteranzeige 133, die später beschrieben werden), einen Lautsprecher, eine Vorrichtung zur Präsentation einer fühlbaren Empfindung (engl.: tactile sense presentation device) oder dergleichen enthalten kann. Der Inhalt und der Installationsmodus der Ausgabevorrichtungsgruppe 130A sind nicht sonderlich beschränkt. Dies wird später im Detail beschrieben.
Man beachte, dass was die Client-Vorrichtung 110B, die Eingabevorrichtungsgruppe 120B und die Ausgabevorrichtungsgruppe 130B, die im zweiten Raum 100B vorgesehen sind, anbetrifft die Konfigurationen ähnlich jenen oben beschriebenen sind, die im ersten Raum 100A vorgesehen sind, sodass deren Beschreibung nicht wiederholt wird.
Das Konfigurationsbeispiel des Informationsverarbeitungssystems gemäß dieser Ausführungsform ist oben beschrieben. Man beachte, dass die oben unter Bezugnahme auf 1 beschriebene Konfiguration nur ein Beispiel ist und die Konfiguration des Informationsverarbeitungssystems gemäß dieser Ausführungsform nicht auf solch ein Beispiel beschränkt ist. Beispielsweise können alle oder einige der Funktionen der Server-Vorrichtung 200 in der Client-Vorrichtung 110 oder einer anderen externen Vorrichtung vorgesehen sein. Darüber hinaus können umgekehrt alle oder einige der Funktionen der Client-Vorrichtung 110 in der Server-Vorrichtung 200 oder einer anderen externen Vorrichtung vorgesehen sein. Die Konfiguration des Informationsverarbeitungssystems gemäß dieser Ausführungsform ist gemäß Spezifikationen und dem Betrieb flexibel änderbar. Darüber hinaus muss die Konfiguration des zweiten Raums 100B nicht die gleiche wie die Konfiguration des ersten Raums 100A sein.
(Vorrichtungsanordnung in jedem Raum und dergleichen)
Das Konfigurationsbeispiel des Informationsverarbeitungssystems gemäß dieser Ausführungsform ist oben beschrieben. Nachfolgend wird eine Vorrichtungsanordnung in dem ersten Raum 100A und dem zweiten Raum 100B und dergleichen beschrieben.
Wenn man die Vorrichtungsanordnung in dem ersten Raum 100A und dergleichen konkreter beschreibt, befindet sich im ersten Raum 100A, wie beispielsweise in 2 veranschaulicht ist, ein Nutzer A (erster Nutzer) und sind eine Tischanzeige 131A (zweite Anzeige), deren Anzeigeoberfläche auf einem Teil einer oberen Platte eines Tisches (als Arbeitstisch genutzten Tisches), der im Wesentlichen parallel zu einer Bodenfläche gelegen ist, und eine zu einem Ende an der Tischanzeige 131A im Wesentlichen senkrecht vorgesehene Fensteranzeige 133A (erste Anzeige), deren Anzeigeoberfläche im Wesentlichen senkrecht zur Bodenfläche gelegen ist, als ein Beispiel der Ausgabevorrichtungsgruppe 130 vorgesehen. Darüber hinaus befindet sich im zweiten Raum 100B, wie in 3 veranschaulicht ist, ein Nutzer B (zweiter Nutzer) und sind die Tischanzeige 131B, die Fensteranzeige 133B und dergleichen im Wesentlichen wie im ersten Raum 100A angeordnet. Um eine redundante Beschreibung zu vermeiden, wird hier im Folgenden als Beispiel der erste Raum 100A beschrieben. Man beachte, dass, obgleich 3 einen Zustand veranschaulicht, in dem jeder Nutzer steht, die Körperhaltung jedes Nutzers nicht auf diese beschränkt ist. Beispielsweise kann jeder Nutzer auf einem Stuhl sitzen.
Die Fensteranzeige 133A im ersten Raum 100A zeigt den Nutzer B und ein anderes Objekt (das die Tischanzeige 131B und dergleichen im zweiten Raum 100B einschließen kann) an, die im zweiten Raum 100B vorhanden sind. Die Fensteranzeige 133A hat dann eine ausreichend große Fläche, damit der Nutzer A einen Zustand des zweiten Raums 100B gut erkennen kann (laterale Breite und longitudinale Breite sind gleich einer vorbestimmten Länge oder größer), und zeigt den Nutzer B und ein anderes Objekt in Echtzeit in im Wesentlichen dem gleichen Maßstab wie der erste Raum 100A (mit anderen Worten dem tatsächlichen Maßstab oder der tatsächlichen Größe) und in im Wesentlichen der gleichen Höhe (mit anderen Worten in einem Zustand, in dem die Bodenniveaus ausgerichtet sind) an.
Konkreter beschrieben analysiert die Server-Vorrichtung 200 die verschiedenen Arten einer Eingabeinformation von der Client-Vorrichtung 110A oder der Client-Vorrichtung 110B, um die erste physische Information des Nutzers A oder die zweite physische Information des Nutzers B und die erste Umgebungsinformation in Bezug auf das im ersten Raum 100A vorhandene Objekt oder die zweite Umgebungsinformation in Bezug auf das im zweiten Raum 100B vorhandene Objekt zu erhalten, und erzeugt den virtuellen Raum auf der Basis der physischen Information oder der Umgebungsinformation (oder zumindest der physischen Information). Beispielsweise erzeugt, wie in 4 veranschaulicht ist, die Server-Vorrichtung 200 den virtuellen Raum, der eine Szene einer Konversation zwischen dem Nutzer A und dem Nutzer B über einen Tisch hinweg (einen der Tischanzeige 131 entsprechenden Tisch) wiedergibt. Die Server-Vorrichtung 200 schneidet dann eine partielle Information des virtuellen Raums aus und stellt selbige der Client-Vorrichtung 110A bereit, und die Fensteranzeige 133A und die Tischanzeige 131A erhalten die Information über die Client-Vorrichtung 110 zur Anzeige, sodass der Nutzer A den Eindruck gewinnen kann, als ob er/sie sich im gleichen Raum wie der Nutzer B befindet.
Konkreter beschrieben ist zum Beispiel in einem Fall, in dem nur ein Teil des Gesichts des Nutzers B auf der Anzeige (wie im Konferenzsystem) vergrößert oder verkleinert angezeigt wird, der Anzeigeinhalt weit von der Realität entfernt, sodass der Nutzer A nicht den Eindruck gewinnen kann, als ob er/sie sich im gleichen Raum wie der Nutzer B befindet. Im Gegensatz dazu ist, wie oben beschrieben wurde, in einem Fall, in dem der Nutzer B und dergleichen in Echtzeit auf der Fensteranzeige 133A mit einer großen Fläche in im Wesentlichen dem gleichen Maßstab und in im Wesentlichen der gleichen Höhe angezeigt wird, der Anzeigeinhalt realistisch, sodass der Nutzer A den Eindruck gewinnen kann, als ob er/sie sich im gleichen Raum wie der Nutzer B befindet. Indem der Nutzer B und dergleichen in Echtzeit in im Wesentlichen im gleichen Maßstab und in im Wesentlichen der gleichen Höhe angezeigt wird, kann insbesondere der Nutzer A den Eindruck gewinnen, als ob er/sie mit dem Nutzer B Augenkontakt hat. Man beachte, dass die Server-Vorrichtung 200 nicht ermöglichen muss, dass die Anzeige ein dem virtuellen Raum vollständig entsprechendes Video anzeigen muss, und ermöglichen kann, dass die Anzeige ein geeignet geändertes Video anzeigt. Falls zum Beispiel eine Situation eintritt, in der der Augenkontakt zwischen dem Nutzer A und Nutzer B schwierig ist, kann die Server-Vorrichtung 200 eine Anzeigeposition und dergleichen des Videos auf der Anzeige ändern. Um die Realität wiederzugeben, kann darüber hinaus die Server-Vorrichtung 200 eine Information (zum Beispiel ein Bild mit Effekt, ein mit einem anderen Bild kombiniertes Bild und dergleichen), die erhalten wird, indem die Eingabeinformation (zum Beispiel das aufgenommene Bild, das mittels der Kamera 123 erhalten wurde, und dergleichen) editiert wird, die von jeder Eingabevorrichtungsgruppe 120 (zum Beispiel der Kamera 123 und dergleichen) erhalten wird, der Client-Vorrichtung 110 bereitstellen.
Man beachte, dass, wie in 5 veranschaulicht ist, die Fensteranzeige 133A oder die Tischanzeige 131A mit einer kleineren lateralen Breite als derjenigen in 2 genutzt werden kann. Auch in diesem Fall kann, indem beispielsweise die longitudinale Breite der Fensteranzeige 133A vergrößert wird, der Nutzer A den Zustand im zweiten Raum 100B gut erkennen, und daher kann wie in der obigen Beschreibung der Nutzer A den Eindruck gewinnen, als ob er/sie sich im gleichen Raum wie der Nutzer B befindet. Darüber hinaus kann die Fensteranzeige 133A ein Video anzeigen, nachdem es einer beliebigen Bildverarbeitung (zum Beispiel einer Verarbeitung zur Änderung der Hintergrundfarbe, einer Unschärfebearbeitung und dergleichen) unterzogen wurde, die imstande ist, hervorzuheben, dass sich die beiden Nutzer im gleichen Raum befinden.
Wie in 2, 5 und dergleichen veranschaulicht ist, wird ein Anzeigebild 20 auf der Tischanzeige 131 angezeigt. Das Anzeigebild 20 ist ein Anzeigeobjekt, das eine Interaktion aus einer Anwendung veranschaulicht, und ist zum Beispiel ein Standbild, ein Bewegtbild (Video), verschiedene UIs wie etwa ein Menü-Schirm oder ein Steuerungsbildschirm und dergleichen. Darüber hinaus kann das Anzeigebild 20 ein zweidimensionales Bild oder ein dreidimensionales Bild sein. Da eine Bedienungseingabe durch den Nutzer am Anzeigebild 20 mittels verschiedener Sensoren detektiert wird, kann der Nutzer verschiedene Bedienungseingaben am Anzeigebild 20 ausführen, indem ein Bedienungskörper, zum Beispiel eine Hand, in Kontakt mit dem oder nahe an das Anzeigebild 20 gebracht wird, um sich darauf zu bewegen. Beispielsweise kann der Nutzer die Tischanzeige 131 einen frei beschriebenen Inhalt anzeigen lassen, indem er die Tischanzeige 131 mit einem Finger nachzeichnet bzw. auf ihr fährt (in der Zeichnung wird ein Anzeigebild 21 mit einer Kreisform durch eine freie Beschreibung erzeugt).
Die Bedienungseingabe an dem Anzeigebild 20 (oder dem Anzeigebild 21) auf der Tischanzeige 131 kann durch beispielsweise die Eingabevorrichtungsgruppe 120 wie etwa einen auf der Tischanzeige 131 vorgesehenen Berührungssensor, eine Tiefenkamera, eine Thermo- bzw. Wärmebildkamera, eine RGB-Kamera oder einen Ultraschallsensor, die darum herum vorgesehen sind, detektiert werden. Beispielsweise erhält die Server-Vorrichtung 200 eine Positions- und Tiefeninformation (mit anderen Worten eine dreidimensionale Information) der Hand und des Fingers des Nutzers, die sich auf dem Anzeigebildschirm der Tischanzeige 131 befinden, indem das aufgenommene Bild und die Tiefeninformation analysiert werden, die durch die Eingabevorrichtungsgruppe 120 erhalten werden, und detektiert eine Berührung oder Annäherung der Hand des Nutzers mit der oder an die Tischanzeige 131 in einer Höhenrichtung oder eine Trennung der Hand von der Tischanzeige 131.
In dieser Beschreibung wird auf ein Objekt (das Anzeigebild 20 und das Anzeigebild 21), das von sowohl dem Nutzer A als auch dem Nutzer B bedient werden kann, als „gemeinsam genutztes Objekt“ verweisen. Die Server-Vorrichtung 200 kann die Bedienungseingabe vom Nutzer an dem auf der Tischanzeige 131 auf einer Seite angezeigte gemeinsam genutzte Objekt im entsprechenden gemeinsam genutzten Objekt, das auf der Tischanzeige 131 auf der anderen Seite (in Echtzeit) angezeigt wird, widerspiegeln, wodurch der Nutzen in der gemeinsamen Arbeit weiter verbessert wird. Konkreter bewegt beispielsweise, wenn das gemeinsam genutzte Objekt in der gleichen Anordnung auf der Tischanzeige 131A und der Tischanzeige 131B angezeigt wird, falls der Nutzer A das auf die Tischanzeige 131A gelegte gemeinsam genutzte Objekt bewegt, die Server-Vorrichtung 200 das entsprechende gemeinsam genutzte Objekt auf der Tischanzeige 131B ebenso.
(Typ eines Betriebsmodus)
In dem Informationsverarbeitungssystem gemäß dieser Ausführungsform ist eine Vielzahl von Betriebsmodi in Bezug auf einen dem Nutzer A (ersten Nutzer) und dem Nutzer B (zweiten Nutzer) bereitgestellten audiovisuellen Effekt vorgesehen. Falls ein vorbestimmter Auslöser auftritt, kann dann die Server-Vorrichtung 200 den Betriebsmodus umschalten, um den audiovisuellen Effekt zu ändern, der dem Nutzer A und dem Nutzer B bereitgestellt wird, wodurch ermöglicht wird, dass der Nutzer A und der Nutzer B eine wechselseitige Positionsbeziehung (und Körperhaltung) wahrnehmen.
Im Hinblick auf eine Vermittlung von Techniken und Fertigkeiten ist es für den Ausbilder und Schüler nützlicher, eine bidirektionale Kommunikation zu führen, während die wechselseitige Positionsbeziehung geeignet geändert wird. Zum Beispiel wird durch nicht nur einen Unterricht von Angesicht zu Angesicht zwischen dem Ausbilder und den Schülern, sondern auch durch eine geeignete Demonstration einer Technik oder Fertigkeit und dergleichen durch den Ausbilder in der Nähe des Schülers, nachdem er sich zu der Position des Schülers bewegt hat, ein Verständnisniveau des Schülers verbessert.
Deshalb wird anschließend eine Art des Betriebsmodus beschrieben, der in dem Informationsverarbeitungssystem gemäß dieser Ausführungsform genutzt wird. Wie in 6 veranschaulicht ist, kann beispielsweise ein Betriebsmodus (worauf im Folgenden der Zweckmäßigkeit halber als „zugewandter Modus“ verwiesen wird), in dem der Nutzer A und der Nutzer B einander von Angesicht zu Angesicht gegenüberstehen und eine Ausgabe (zum Beispiel eine Anzeige mittels der Anzeigevorrichtung, eine Sprachausgabe mittels des Lautsprechers und dergleichen) gemäß einer tatsächlichen Positionsbeziehung durchgeführt wird, vorgesehen werden. Im zugewandten Modus ermöglicht die Server-Vorrichtung 200, dass jede Anzeige ein unterschiedliches Bild anzeigt, das erzeugt wird, indem das aufgenommene Bild editiert wird, das durch die Kamera 123 in jedem Raum erhalten wird (zum Beispiel ein Bild mit Effekt, ein Bild, das mit einem anderen Bild kombiniert ist, und dergleichen). Man beachte, dass, wie oben beschrieben wurde, die Server-Vorrichtung 200 ermöglichen kann, dass jede Anzeige die Information anzeigt, die aus dem virtuellen Raum ausgeschnitten wurde, der auf der Basis der physischen Information oder der Umgebungsinformation erzeugt wurde (man beachte, dass die Server-Vorrichtung 200 die aus dem virtuellen Raum ausgeschnittene Information geeignet verarbeiten kann). Infolgedessen sieht, wie in 6 veranschaulicht ist, falls der Nutzer B seine/ihre rechte Hand hebt, der gegenüberstehende bzw. zugewandte Nutzer A, dass der Nutzer B seine/ihre rechte Hand hebt. Der zugewandte Modus kann zum Beispiel in einem Fall, in dem der Ausbilder den Schüler von Angesicht zu Angesicht unterrichtet, und dergleichen verwendet werden.
Wie in 7 veranschaulicht ist, kann überdies ein Betriebsmodus vorgesehen werden, in dem der Nutzer A und der Nutzer B einander von Angesicht zu Angesicht gegenüberstehen und eine Ausgabe in einem rechts-links vertauschten Zustand gegenüber einer tatsächlichen Positionsbeziehung ausgeführt wird (im Folgenden wird hierauf der Zweckmäßigkeit halber als „rechts-links vertauschter Modus“ verwiesen). Im rechts-links vertauschten Modus ermöglicht die Server-Vorrichtung 200, dass jede Anzeige ein unterschiedliches Bild anzeigt, das erzeugt wird, indem das aufgenommene Bild editiert wird, das durch die Kamera 123 in jedem Raum erhalten wird (zum Beispiel ein Bild, das erhalten wird, indem das aufgenommene Bild rechts-links vertauscht wird, ein Bild mit Effekt, ein Bild, das mit einem anderen Bild kombiniert wird, und dergleichen). Man beachte, dass, wie oben beschrieben wurde, die Server-Vorrichtung 200 eine partielle Information des virtuellen Raums ausschneiden kann, der auf der Basis der physischen Information oder der Umgebungsinformation erzeugt wurde, und ermöglichen kann, dass jede Anzeige die Information in einem Zustand anzeigt, in dem die Positionsbeziehung rechts-links vertauscht ist. Infolgedessen sieht, wie in 7 veranschaulicht ist, falls der Nutzer B seine/ihre rechte Hand hebt, der zugewandte Nutzer A, dass der Nutzer B seine/ihre linke Hand hebt. Wie der zugewandte Modus kann der rechts-links vertauschte Modus ebenfalls beispielsweise in einem Fall, in dem der Ausbilder den Schüler von Angesicht zu Angesicht unterrichtet, und dergleichen verwendet werden.
Wie in 8 veranschaulicht ist, ist überdies ein Betriebsmodus vorgesehen, in dem der Nutzer A und der Nutzer B im Wesentlichen in die gleiche Richtung blicken bzw. gewandt sind und eine Ausgabe in einem Zustand durchgeführt wird, in dem sie sich nebeneinander befinden (worauf im Folgenden der Zweckmäßigkeit halber als „Nebeneinander-Modus“ verwiesen wird). Im Nebeneinander-Modus wird beispielsweise ein Anzeigebild 22B einer Hand des Nutzers B (ein Bild einer rechten Hand des Nutzers B im Beispiel in 8) auf der Tischanzeige 131A im ersten Raum 100A zur Linken des Nutzers A angezeigt, sodass der Nutzer A wahrnehmen kann, dass sich der Nutzer B zur Linken befindet. Im Gegensatz dazu wird ein Anzeigebild 22A einer Hand des Nutzers A (ein Bild beider Hände des Nutzers A im Beispiel in 8) auf der Tischanzeige 131B im zweiten Raum 100B zur Rechten des Nutzers B angezeigt, sodass der Nutzer B wahrnehmen kann, dass sich der Nutzer A zur Rechten befindet. Der Nebeneinander-Modus kann zum Beispiel in einem Fall, in dem sich der Ausbilder an die Seite des Schülers begibt, um eine Arbeitsprobe zu zeigen (oder umgekehrt), und dergleichen verwendet werden.
Darüber hinaus ist, wie in 9 veranschaulicht ist, ein Betriebsmodus vorgesehen, in dem der Nutzer A und der Nutzer B im Wesentlichen in die gleiche Richtung blicken und eine Ausgabe in einem Zustand ausgeführt wird, in dem sich einer dahinter befindet, sodass er den anderen verdeckt (dies ruft einen Eindruck hervor, als ob einer für den anderen übernimmt, sodass hierauf im Folgenden der Zweckmäßigkeit halber als „Übernahme-Modus“ verwiesen wird). Im Übernahme-Modus wird zum Beispiel das Anzeigebild 22B der Hand des Nutzers B (ein Bild beider Hände des Nutzers B in einem Beispiel in 9) auf beiden Seiten des Nutzers A auf der Tischanzeige 131A im ersten Raum 100A angezeigt, sodass der Nutzer A wahrnehmen kann, dass sich der Nutzer B dahinter befindet, sodass er den Nutzer A verdeckt (man beachte, dass es nicht erforderlich ist, dass das Bild der beiden Hände des Nutzers B auf beiden Seiten des Nutzers A angezeigt wird). Im Gegensatz dazu wird das Anzeigebild 22A der Hand des Nutzers A (ein Bild beider Hände des Nutzers A im Beispiel in 9) zwischen den beiden Händen des Nutzers B auf der Tischanzeige 131B im zweiten Raum 100B angezeigt, sodass der Nutzer B wahrnehmen kann, dass er/sie sich dahinter befindet, sodass er den Nutzer A verdeckt. Man beachte, dass je nach der Positionsbeziehung zwischen dem Nutzer A und dem Nutzer B ein Hinterkopf des Nutzers A auf der Tischanzeige 131B im zweiten Raum 100B angezeigt werden kann. Der Übernahme-Modus kann zum Beispiel verwendet werden, falls der Ausbilder eine Arbeitsprobe in einem Zustand zeigt, in dem er für den Schüler von hinten übernimmt (mit anderen Worten in einem Fall, in dem der Ausbilder für den Studenten übernimmt), falls der Schüler hinter den Ausbilder tritt, um die Arbeit des Ausbilders zu überprüfen (mit anderen Worten in einem Fall, in dem der Schüler für den Ausbilder übernimmt), und dergleichen.
Man beachte, dass, obgleich hauptsächlich eine Anzeigesteuerung der Anzeige in der obigen Beschreibung beschrieben ist (6 bis 9), die Server-Vorrichtung 200 andere Vorrichtungen als die Anzeige steuern kann, die in der Ausgabevorrichtungsgruppe 130 enthalten sind, wodurch ermöglicht wird, dass der Nutzer A und der Nutzer B die Positionsbeziehung untereinander (und die Körperhaltung) in jedem Betriebsmodus wahrnehmen. Beispielsweise kann die Server-Vorrichtung 200 den in der Ausgabevorrichtungsgruppe 130 enthaltenen Lautsprecher steuern, um ein Klangbild in einem realen Raum zu lokalisieren bzw. räumlich festzulegen, wodurch ermöglicht wird, dass der Nutzer A und der Nutzer B die Positionsbeziehung untereinander (und die Körperhaltung) wahrnehmen.
Darüber hinaus sind die Arten des Betriebsmodus, die im Informationsverarbeitungssystem gemäß dieser Ausführungsform vorgesehen sind, nicht auf die obige Beschreibung beschränkt. Konkreter kann die Server-Vorrichtung 200 den Betriebsmodus auf der Basis einer Änderung in der Positionsbeziehung zwischen den Nutzern geeignet neu einrichten oder ändern.
(Umschaltung eines Betriebsmodus)
Die Arten des Betriebsmodus, die in dem Informationsverarbeitungssystem gemäß dieser Ausführungsform verwendet werden, sind oben beschrieben. Nachfolgend wird eine Umschaltung der Betriebsmodi beschrieben.
Falls ein vorbestimmter Auslöser auftritt, verschränkt die Server-Vorrichtung 200 zumindest eine in dem ersten Raum 100A oder dem zweiten Raum 100B vorgesehene Vorrichtung (zum Beispiel die Anzeige, die Lautsprecher und dergleichen), indem der oben beschriebene Betriebsmodus umgeschaltet wird.
Hier wird angenommen, dass der zum Umschalten des Betriebsmodus genutzte „vorbestimmte Auslöser“ ein Auslöser ist, der durch zumindest einen des Nutzers A (erster Nutzer) oder des Nutzers B (zweiter Nutzer) verursacht wird. Beispielsweise umfasst der vorbestimmte Auslöser eine vorbestimmte Aktion durch den Nutzer A oder den Nutzer B (zum Beispiel eine Aktion, in der er vom Stuhl aufsteht, eine Aktion, in der er sich bewegt, während er auf dem Stuhl sitzt, oder dergleichen), eine vorbestimmte Aussage (zum Beispiel die Aussage „Ich gehe dorthin“, „Bitte kommen Sie hierher“ oder dergleichen), eine vorbestimmte Bedienungseingabe (zum Beispiel eine Berührung auf der Tischanzeige 131, ein Drücken einer Taste oder dergleichen) oder dergleichen. Man beachte, dass ein Inhalt des vorbestimmten Auslösers nicht auf diese beschränkt ist.
Wenn der Betriebsmodus umgeschaltet wird, kann die Server-Vorrichtung 200 jedem Nutzer einen Eindruck vermitteln, dass sich die Positionsbeziehung (und Körperhaltung) zwischen dem Nutzer A und dem Nutzer B im gleichen Raum ändert, indem jede Vorrichtung wie oben verschränkt wird. Das heißt, der Nutzer A und der Nutzer B können ihre Positionsbeziehung (und Körperhaltung) frei und natürlich ändern.
Unter Bezugnahme auf 10 bis 12 wird anschließend ein spezifisches Beispiel einer Verschränkung jeder Vorrichtung, wenn der Betriebsmodus umgeschaltet wird, beschrieben. 10 bis 12 sind Ansichten, die ein spezifisches Beispiel einer Anzeigeoperation der Fensteranzeige 133A und der Tischanzeige 131A veranschaulichen, wenn von einem zugewandten Modus auf einen Übernahme-Modus umgeschaltet wird.
Beispielsweise zeigt die Fensteranzeige 133A in A von 10 den auf einem Stuhl sitzenden Nutzer B an, und die Tischanzeige 131A zeigt die gemeinsam genutzten Objekte an, die von dem Nutzer A und dem Nutzer B gemeinsam genutzt werden. Infolgedessen nimmt der Nutzer A wahr, dass er/sie den Nutzer B über den Tisch, auf dem das gemeinsam genutzte Objekt gelegt ist, hinweg anblickt.
Danach führt die Server-Vorrichtung 200, die eine Aktion, dass der Nutzer B vom Stuhl aufsteht, und dergleichen als den vorbestimmten Auslöser detektiert, eine Reihe einer Verarbeitung zum Umschalten des Betriebsmodus aus. Beispielsweise ermöglicht die Server-Vorrichtung 200, dass die Fensteranzeige 133A den Nutzer B anzeigt, während der Nutzer B gezogen (dessen Größe reduziert) wird, wie in B von 10 veranschaulicht ist. Man beachte, dass zur gleichen Zeit, die Server-Vorrichtung 200 ermöglichen kann, dass die Fensteranzeige 133A den Nutzer B anzeigt, während eine gesamte Fensteranzeige 133A unscharf angezeigt wird.
In C von 11 ermöglicht die Server-Vorrichtung 200, dass die Fensteranzeige 133A den Nutzer B in einem Zustand anzeigt, in dem der Nutzer B in Bezug auf den Nutzer A seitlich gedreht ist. In D von 11 ermöglicht die Server-Vorrichtung 200, dass der Nutzer B direkt aus der Fensteranzeige 133A herausgeht. Man beachte, dass auch in C und D von 11 die Server-Vorrichtung 200 ermöglichen kann, dass die Fensteranzeige 133A den Nutzer B anzeigt, während die gesamte Fensteranzeige 133A unscharf dargestellt wird.
In E von 12 ermöglicht die Server-Vorrichtung 200, dass die Tischanzeige 131 das Anzeigebild 22B der Hand des Nutzers B (in diesem Beispiel der linken Hand), die sich auf einer Seite befindet, zu der sich der Nutzer B bewegt (in diesem Beispiel der linken Seite), von einer nahen Seite aus nach Ablauf einer Zeit anzeigt, die der Nutzer B benötigt, um hinter den Nutzer A zu treten. Danach ermöglicht in F von 12 die Server-Vorrichtung 200, dass die Tischanzeige 131 das Anzeigebild 22B der anderen Hand (in diesem Beispiel der rechten Hand) von einer rechten nahen Seite des Nutzers A aus anzeigt.
Durch die Reihe von Anzeigeoperationen, die in 10 bis 12 veranschaulicht sind, kann die Server-Vorrichtung 200 jedem Nutzer den Eindruck vermitteln, dass der Nutzer B von der linken Seite des Nutzers A kommt, um hinter den Nutzer A zu treten.
Anschließend wird unter Bezugnahme auf 13 bis 15 eine Variation der Anzeigeoperationen der Fensteranzeige 133A und der Tischanzeige 131A beschrieben, wenn vom zugewandten Modus auf den Übernahme-Modus umgeschaltet wird.
Wie in 13 veranschaulicht ist, zeigt die Tischanzeige 131A das gemeinsam genutzte Objekt, das von dem Nutzer A und dem Nutzer B gemeinsam genutzt wird, nicht an, sondern ein Anzeigebild 23A eines Dokuments, das vom Nutzer A genutzt wird (mit anderen Worten die Dokumente, die von dem Nutzer A und dem Nutzer B genutzt werden, sind verschieden). Das Übrige ist ähnlich jenem in A von 10.
Danach führt die Server-Vorrichtung 200, die eine Aktion, dass der Nutzer B vom Stuhl aufsteht, und dergleichen als den vorbestimmten Auslöser detektiert, eine Reihe einer Verarbeitung zum Umschalten des Betriebsmodus aus. Beispielsweise ändert die Server-Vorrichtung 200 das auf der Tischanzeige 131A angezeigte Anzeigebild 23A allmählich in Schwarz (Blackout), wie in B von 13 veranschaulicht ist. Das Übrige ist ähnlich jenem in B von 10.
In C und D von 14 versetzt die Server-Vorrichtung 200 die Tischanzeige 131A in einen komplett geschwärzten Zustand. Das Übrige ist ähnlich jenem in C und D von 11. In E von 15 ermöglicht die Server-Vorrichtung 200, dass die Tischanzeige 131 ein Anzeigebild 23B des vom Nutzer B verwendeten Dokuments von einer Seite, zu der sich der Nutzer B bewegt, (in diesem Beispiel von oben links) nach Ablauf einer Zeit anzeigt, die der Nutzer B benötigt, um hinter den Nutzer A zu treten. Danach ermöglicht in F von 15 die Server-Vorrichtung 200, das Anzeigebild 23B auf einer gesamten Tischanzeige 131 anzuzeigen.
Durch die Reihe von Anzeigeoperationen, die in 13 bis 15 veranschaulicht wurde, kann die Server-Vorrichtung 200 jedem Nutzer den Eindruck vermitteln, dass der Nutzer B von links um den Nutzer A herum kommt, um hinter den Nutzer A zu treten, und das vom Nutzer B verwendete Dokument auf den Tisch des Nutzers A legt. Danach kann dann der Nutzer B dem Nutzer A eine Information und dergleichen übermitteln, indem das Anzeigebild 23B des Dokuments verwendet wird.
In den Beispielen in 10 bis 15 verarbeitet die Server-Vorrichtung 200 entsprechend die Information (zum Beispiel ein Bild mit Effekt, ein Bild, das mit einem anderen Bild kombiniert ist, und dergleichen), die erhalten wird, indem die Eingabeinformation editiert wird (zum Beispiel das aufgenommene Bild, das durch die Kamera 123 und dergleichen erhalten wurde), die durch jede Eingabevorrichtungsgruppe 120 (zum Beispiel die Kamera 123 und dergleichen) erhalten wurde, oder die Information, die aus dem virtuellen Raum ausgeschnitten wurde, und ermöglicht, dass jede Vorrichtung (Fensteranzeige 133, Tischanzeige 131 und dergleichen) selbige ausgibt, wodurch jedem Nutzer der Eindruck vermittelt wird, dass sich die Positionsbeziehung (und Köperhaltung) des Nutzers A und des Nutzers B im gleichen Raum ändert. Genauer gesagt ermöglicht die Server-Vorrichtung 200 jeder Vorrichtung, eine Information auszugeben, die erhalten wird, indem verschiedene Arten einer Bildverarbeitung (eine Verarbeitung zur Verkleinerung, eine Unschärfeverarbeitung, eine Verarbeitung zur Drehung und eine Verarbeitung zur Positionsänderung (Bewegung)) auf die Information angewendet wird, die erhalten wird, indem die Eingabeinformation editiert wird, die von jeder Eingabevorrichtungsgruppe 120 erhalten wird, oder die Information, die aus dem virtuellen Raum (zum Beispiel dem Bild des Nutzers B) ausgeschnitten wurde. Das heißt, einer der Hauptpunkte der vorliegenden Offenbarung besteht darin, jedem Nutzer den Eindruck zu vermitteln, dass sich die Positionsbeziehung (und die Köperhaltung) jedes Nutzers im gleichen Raum ändert, und als ein Verfahren davon kann die Server-Vorrichtung 200 ermöglichen, dass jede Vorrichtung die Information, die erhalten wird, indem die Eingabeinformation editiert wird, die von jeder Eingabevorrichtungsgruppe 120 erhalten wird, oder die aus dem virtuellen Raum ausgeschnittene Information wie sie ist oder nach einer Verarbeitung der Information ausgibt. Man beachte, dass das Verfahren zum Verarbeiten dieser Informationsteile nicht auf das oben beschriebene Beispiel beschränkt ist.
Darüber hinaus kann die Server-Vorrichtung 200 ermöglichen, dass jede Vorrichtung eine andere Information als die Information, die erhalten wird, indem die Eingabeinformation editiert wird, die durch jede Eingabevorrichtungsgruppe 120 erhalten wird, oder eine andere Information als die aus dem virtuellen Raum ausgeschnittene Information ausgibt. Falls beispielsweise die Server-Vorrichtung 200 die physische Information jedes Nutzers und eine beliebige Objektinformation (zum Beispiel eine Information bezüglich einer Charakteristik eines Körpers jedes Nutzers und eines beliebigen Objekts einschließlich Form, Farbe und dergleichen) hält, kann diese einen angezeigten Inhalt jeder Anzeige unter Verwendung der Information editieren. Infolgedessen kann beispielsweise die Server-Vorrichtung 200 ermöglichen, dass jede Anzeige ein von der Realität vollkommen verschiedenes Video anzeigt, indem ein Nutzer in einem gewünschten Zustand (Körperhaltung) oder ein gewünschtes Objekt dem virtuellen Raum überlagert wird, nachdem jeder Nutzer aus dem virtuellen Raum, der die Realität wiedergibt, gelöscht wurde. Es besteht eine Möglichkeit, dass der Eindruck, dass sich jeder Nutzer im gleichen Raum befindet, allein durch die Information des virtuellen Raums, der die Realität wiedergibt, nicht zufriedenstellend erzeugt werden kann. In diesem Zusammenhang kann die Server-Vorrichtung 200 die Ausgebe jeder Vorrichtung steuern, indem die Information genutzt wird, die von der Information verschieden ist, die erhalten wird, indem die von jeder Eingabevorrichtungsgruppe 120 erhaltene Eingabeinformation editiert wird, oder die Information, die von der Information verschieden ist, die aus dem virtuellen Raum ausgeschnitten wurde, wie oben beschrieben wurde, wodurch ein Faktor, der den Eindruck, dass sich jeder Nutzer im gleichen Raum befindet, beeinträchtigt, entsprechend gelöscht wird.
(Variation einer Informationsübermittlung unter Verwendung jeder Vorrichtung)
Das Umschalten des Betriebsmodus ist oben beschrieben. Nachfolgend wird eine Variation einer Informationsübermittlung unter Verwendung jeder Vorrichtung beschrieben.
Bezüglich der Vermittlung von Techniken und Fertigkeiten kann man sagen, dass es für den Ausbilder und Schüler nützlicher ist, eine Informationsübermittlung durchzuführen, während sie direkten Kontakt miteinander haben. Wenn beispielsweise der Ausbilder eine Anleitung darüber gibt, wie der Körper und dergleichen zu bewegen ist, während er den Schüler direkt berührt, wird ein Verständnisniveau der Techniken und Fertigkeiten des Schülers verbessert.
Daher kann das Informationsverarbeitungssystem gemäß der vorliegenden Offenbarung jedem Nutzer nicht nur den Eindruck vermitteln, dass sich die Positionsbeziehung zwischen jeweiligen Nutzern im gleichen Raum wie oben beschrieben ändert, sondern auch den Eindruck, dass jeder Nutzer eine Information übermittelt, während sie Kontakt miteinander haben.
Unter Bezugnahme auf 16 wird beispielsweise ein Fall, in dem der Nutzer A (Schüler) vom Nutzer B (Ausbilder) eine Anleitung bezüglich eines chirurgischen Eingriffs erhält, als ein Beispiel beschrieben. Im Beispiel von 16 ist der Übernahme-Modus, in dem der Nutzer A für den Nutzer B übernimmt, eingestellt, und ein Anzeigebild 24 eines Teils des Körpers des Nutzers B und ein vom Nutzer B genutztes Lehrmaterial (Instrument, das im chirurgischen Eingriff genutzt wird, und ein chirurgisches Ziel, das einen Teil eines menschlichen Körpers nachbildet) wird auf der Tischanzeige 131 im ersten Raum 100A angezeigt. Der Nutzer A durchläuft eine Schulung eines chirurgischen Eingriffs unter Verwendung des von ihm/ihr gehaltenen Instruments und des auf der Tischanzeige 131A angezeigten chirurgischen Ziels.
Zu dieser Zeit steuert die Server-Vorrichtung 200 zumindest eine Vorrichtung, die in dem erstem Raum 100A oder dem zweiten Raum 100B (oder zumindest dem zweiten Raum 100B) vorhanden ist, auf der Basis der Eingabe durch den Nutzer A (erster Nutzer) (man beachte, dass umgekehrt die Server-Vorrichtung 200 zumindest eine Vorrichtung, die in dem ersten Raum 100A oder dem zweiten Raum 200B (oder zumindest dem ersten Raum 100A) vorhanden ist, auf der Basis der Eingabe durch den Nutzer B (zweiter Nutzer) steuern kann). Beispielsweise kann der Nutzer A verschiedene Eingaben unter Verwendung der Eingabevorrichtungsgruppe 120A durchführen, wodurch ermöglicht wird, dass die Tischanzeige 131 in dem ersten Raum 100A oder dem zweiten Raum 100B (oder zumindest dem zweiten Raum 100B) ein Anzeigebild 25, das einen Teil der Bildanzeige 24 angibt, und ein Anzeigebild 26 einer Sprechblase anzeigt, die eine Zeichenfolge enthält (in dem Beispiel in 16 ist in der Sprechblase eine Zeichenfolge „Erklären Sie bitte diesen Teil ausführlich.“ enthalten). Infolgedessen kann der Nutzer A einen Eindruck gewinnen, dass er/sie eine detaillierte Frage in Bezug auf Techniken oder Fertigkeiten stellt, während er direkten Kontakt mit dem Nutzer B hat. Man beachte, dass umgekehrt der Nutzer B einen wichtigen Teil dem Nutzer A vermitteln kann, indem verschiedene Eingaben unter Verwendung der Eingabevorrichtungsgruppe 120B vorgenommen wird.
Nachfolgend wird, wie in 17 veranschaulicht ist, ein Fall, in dem der Nutzer A (Schüler) eine Anleitung in Bezug auf Handarbeiten vom Nutzer B (Ausbilder) erhält, als Beispiel beschrieben. In dem Beispiel in 17 ist der Übernahme-Modus, in dem der Nutzer B für den Nutzer A übernimmt, eingestellt. Überdies wird angenommen, dass die Ausgabevorrichtungsgruppe 130A einen Projektor, der eine Projektionsabbildung ermöglicht, und eine Vorrichtung zur Präsentation einer fühlbaren Empfindung enthält, die auf der Hand des Nutzers A montiert ist, und der Hand des Nutzers A eine fühlbare Empfindung präsentieren kann.
Zu dieser Zeit kann der Nutzer B verschiedene Eingaben unter Verwendung der Eingabevorrichtungsgruppe 120B durchführen, um ein Anzeigebild 27 einer Sprechblase, die eine Zeichenfolge enthält, auf einen Teil des Körpers des Nutzers A überlagert und das Zielobjekt zu projizieren, und die Vorrichtung zur Präsentation einer fühlbaren Empfindung steuern, um der Hand des Nutzers A verschiedene fühlbare Empfindungen zu präsentieren. In dem Beispiel in 17 präsentiert beispielsweise der Nutzer B die fühlbare Empfindung entsprechend dem Inhalt jeder Sprechblase (zum Beispiel eine fühlbare Empfindung, dass das Zielobjekt festgehalten wird, eine fühlbare Empfindung, dass der Mittelfinger gebeugt wird, und dergleichen), während ein Anzeigebild 27A und ein Anzeigebild 27B einer Sprechblase, die eine Zeichenfolge „Bitte festhalten“ oder „Bitte Kraft auf Mittelfinger ausüben.“ enthält, auf einen Teil des Körpers des Nutzers A überlagert und das Zielobjekt projiziert werden. Infolgedessen kann der Nutzer A einen Eindruck gewinnen, dass er/sie eine Übermittlung einer detaillierteren Information bezüglich Techniken und Fertigkeiten erhält, während er/sie mit dem Nutzer B direkten Kontakt hat. Man beachte, dass zu dieser Zeit eine andere fühlbare Empfindung entsprechend der fühlbaren Empfindung, die dem Nutzer A präsentiert wird (zum Beispiel eine andere fühlbare Empfindung, die vorkommt, wenn dem Nutzer A die fühlbare Empfindung präsentiert wird) dem Nutzer B präsentiert werden kann.
Darüber hinaus wird in dem Beispiel in 17 auch ein Anzeigebild 28 projiziert, das den Nutzer B veranschaulicht, der das Anzeigebild 27 der Sprechblase ebenfalls projiziert. Dies ermöglicht dem Nutzer A intuitiv zu erkennen, dass die Projektion vom Nutzer B ausgeführt wird. Eine Anzeige einer Quelle einer Information auf diese Weise ist in einem Fall, in drei oder mehr Nutzer unter Verwendung des Informationsverarbeitungssystems gemäß der vorliegenden Offenbarung kommunizieren, besonders nützlich. Ein spezifisches Beispiel eines Falls, in dem drei oder mehr Nutzer unter Verwendung des Informationsverarbeitungssystems gemäß der vorliegenden Offenbarung kommunizieren, wird später beschrieben.
Hier ist es vorzuziehen, dass das Anzeigebild, das einen Teil jedes Nutzers oder das Zielobjekt angibt (zum Beispiel das Anzeigebild 25, das einen Teil des in 16 veranschaulichten Anzeigebilds 24 angibt, und das Anzeigebild 27 der Sprechblase, die auf einem Teil des Körpers des Nutzers A überlagert projiziert wird, oder des Zielobjekts, das in 17 veranschaulicht ist) im Anschluss an den Teil kontinuierlich angezeigt wird.
Konkreter ist es in einem Fall, in dem ein Anzeigebild 29, das den Daumen des Nutzers angibt, angezeigt wird, selbst wenn sich die Haltung der Hand des Nutzers wie in A bis C in 18 veranschaulicht ändert, vorzuziehen, dass das Anzeigebild 29 kontinuierlich angezeigt wird, um der Änderung der Haltung der Hand zu folgen. Infolgedessen kann jeder Nutzer eine Information bezüglich eines wichtigen Bereichs aus verschiedenen Winkeln übermitteln, indem die Positionsbeziehung untereinander und die Körperhaltung geändert wird.
(Extraktionsverarbeitung eines realen Objekts aus einem aufgenommenen Bild)
Die Variation der Informationsübermittlung unter Verwendung jeder Vorrichtung ist oben beschrieben. Nachfolgend wird eine Extraktionsverarbeitung eines realen Objekts aus dem aufgenommenen Bild beschrieben.
Wie in A von 19 veranschaulicht ist, wird beispielsweise ein Fall betrachtet, in dem eine Kamera 123A die in der Eingabevorrichtungsgruppe 120A im ersten Raum 100A enthalten ist, oberhalb der Tischanzeige 131A auf solch eine Weise installiert ist, dass ein Objekt auf der Tischanzeige 131A abgebildet werden kann. Wenn die Server-Vorrichtung 200 den virtuellen Raum unter Verwendung des aufgenommenen Bildes, das mittels der Kamera 123A aufgenommen wurde, im Ist-Zustand erzeugt und einen Teil desselben in der Tischanzeige 131B im zweiten Raum 100B widerspiegelt, wird, wie in B von 19 veranschaulicht ist, nicht nur ein Anzeigebild 30A der Hand des Nutzers A, sondern auch ein Anzeigebild 30B der Hand des Nutzers B (Bildaufnahme des Anzeigebildes 30B, das auf der Tischanzeige 131A im ersten Raum 100A angezeigt wird) angezeigt. Auf diese Weise wird ein Ereignis, bei dem das auf der Tischanzeige 131 angezeigte Anzeigebild wieder auf der Tischanzeige 131 angezeigt wird, unendlich oft wiederholt (obgleich in B von 19 der Zweckmäßigkeit halber nicht veranschaulicht, werden das Anzeigebild 30A und das Anzeigebild 30B unendlich oft überlagert und angezeigt). Man beachte, dass in Abhängigkeit von einem Installationsmodus der Kamera 123 Bilder nicht nur auf der Tischanzeige 131, sondern auch auf der Fensteranzeige 133 unendlich oft wiederholt angezeigt werden können.
Daher analysiert die Server-Vorrichtung 200 das mittels der Kamera 123A erzeugte aufgenommene Bild und löscht das auf der Tischanzeige 131A angezeigte Bild (Anzeigebild 30B im Beispiel in A von 19), um das oberhalb der Tischanzeige 131A tatsächlich vorhandene Objekt (im Beispiel in A von 19 die Hand des Nutzers A) zu extrahieren. Mit anderen Worten analysiert die Server-Vorrichtung 200 das aufgenommene Bild, das durch Aufnehmen zumindest eines Teils der physischen Information des Nutzers A (erster Nutzer) und des Anzeigebildes der Tischanzeige 131A (zweite Anzeige), die im ersten Raum 100A vorhanden ist, erhalten wird, wodurch zumindest ein Teil der physischen Information des Nutzers A (erster Nutzer) aus dem aufgenommenen Bild extrahiert wird. Man beachte, dass umgekehrt die Server-Vorrichtung 200 das aufgenommene Bild analysieren kann, das durch Aufnehmen zumindest eines Teils der physischen Information des Nutzers B (zweiter Nutzer) und des Anzeigebildes der im zweiten Raum 100B vorhandenen Tischanzeige 131B (zweite Anzeige) erhalten wird, wodurch zumindest ein Teil der physischen Information des Nutzers B (zweiter Nutzer) aus dem aufgenommenen Bild extrahiert wird.
Die Server-Vorrichtung 200 speichert beispielsweise das mittels der Kamera 123A erzeugte aufgenommene Bild für eine vorbestimmte Zeitspanne, und in einem Fall, in dem ein bestimmtes Objekt auf die Tischanzeige 131A gelegt wird, vergleicht diese das zuletzt aufgenommene Bild mit dem gespeicherten früher aufgenommenen Bild, wodurch das Objekt extrahiert wird (zum Beispiel extrahiert die Server-Vorrichtung 200 das Objekt, indem eine Hintergrund-Differenzverarbeitung durchgeführt wird).
Danach kann die Server-Vorrichtung 200 den virtuellen Raum unter Verwendung eines Extraktionsergebnisses erzeugen und einen Teil desselben in der Tischanzeige 131B im zweiten Raum 100B widerspiegeln, wodurch nur das Anzeigebild 30A der Hand des Nutzers A auf der Tischanzeige 131B wie in C von 19 veranschaulicht angezeigt wird. Man beachte, dass ein Verfahren zum Extrahieren des auf der Tischanzeige 131A vorhandenen tatsächlichen Objekts nicht auf das Obige beschränkt ist und eine bekannte Bildanalyseverarbeitung genutzt werden kann. Darüber hinaus kann auch in diesem Fall die Server-Vorrichtung 200 ebenfalls ermöglichen, dass jede Anzeige die Information anzeigt, die durch Editieren des mittels der Kamera 123 erhaltenen aufgenommenen Bildes statt Ausschneiden eines Teils des virtuellen Raums erhalten wird.
<Konfigurationsbeispiel>
Die Extraktionsverarbeitung des Objekts aus dem aufgenommenen Bild ist oben beschrieben. Nachfolgend werden ein Konfigurationsbeispiel jedes Raums und ein funktionales Konfigurationsbeispiel der Vorrichtung gemäß dieser Ausführungsform beschrieben.
(Konfigurationsbeispiel eines ersten Raums 100 oder eines zweiten Raums 100B)
Zunächst wird unter Bezugnahme auf 20 ein Konfigurationsbeispiel des ersten Raums 100 oder des zweiten Raums 100B beschrieben. Wie in 20 veranschaulicht ist, ist der erste Raum 100 oder der zweite Raum 100B mit der Client-Vorrichtung 110, der Eingabevorrichtungsgruppe 120 und der Ausgabevorrichtungsgruppe 130 versehen.
(Client-Vorrichtung 110)
Wie oben beschrieben wurde, ist die Client-Vorrichtung 110 eine Vorrichtung, die die Eingabevorrichtungsgruppe 120 und die Ausgabevorrichtungsgruppe 130 umfassend steuert. Wie in 20 veranschaulicht ist, ist die Client-Vorrichtung 110 mit einer Steuerungseinheit 111, einer Kommunikationseinheit 113 und einer Speichereinheit 115 versehen.
(Steuerungseinheit 111)
Die Steuerungseinheit 111 ist eine funktionale Konfiguration, die eine von der Client-Vorrichtung 110 durchgeführte Gesamtverarbeitung umfassend steuert. Wenn beispielsweise die Steuerungseinheit 111 verschiedene Arten einer von der Eingabevorrichtungsgruppe 120 bereitgestellten Eingabeinformation erhält, steuert diese eine Verarbeitung, um die Eingabeinformation der Server-Vorrichtung 200 bereitzustellen. Man beachte, dass zu dieser Zeit die Steuerungseinheit 111 die Eingabevorrichtung der Server-Vorrichtung 200 wie sie ist nicht bereitstellt, sondern diese die Eingabeinformation analysieren und ein Analyseergebnis der Server-Vorrichtung 200 bereitstellen kann, wodurch eine Verarbeitungslast der Server-Vorrichtung 200 reduziert oder eine Kommunikationsdatenmenge reduziert wird.
Darüber hinaus steuert die Steuerungseinheit 111 eine Verarbeitung der Ausgabevorrichtungsgruppe 130, indem die Steuerungsinformation von der Server-Vorrichtung 200 der Ausgabevorrichtungsgruppe 130 bereitgestellt wird. Man beachte, dass ein Steuerungsinhalt der Steuerungseinheit 111 nicht auf diese beschränkt ist. Beispielsweise kann die Steuerungseinheit 111 eine Verarbeitung steuern, die im Allgemeinen in einem Mehrzweckcomputer, einem Personalcomputer (PC), einem Tablet-PC, einem Smartphone oder dergleichen durchgeführt wird (zum Beispiel eine Verarbeitung in Bezug auf ein Betriebssystem (OS) und dergleichen).
(Kommunikationseinheit 113)
Die Kommunikationseinheit 113 ist eine funktionale Konfiguration, die verschiedene Kommunikationen mit den externen Vorrichtungen durchführt, die die Server-Vorrichtung 200, die Eingabevorrichtungsgruppe 120 und die Ausgabevorrichtungsgruppe 130 umfassen. Beispielsweise empfängt die Kommunikationseinheit 113 die Eingabeinformation von der Eingabevorrichtungsgruppe 120 und überträgt die Eingabeinformation zur Server-Vorrichtung 200. Darüber hinaus empfängt die Kommunikationseinheit 113 die Steuerungsinformation zum Steuern der Ausgabevorrichtungsgruppe 130 von der Server-Vorrichtung 200 und überträgt die Steuerungsinformation zur Ausgabevorrichtungsgruppe 130. Man beachte, dass die durch die Kommunikationseinheit 113 kommunizierte Information und ein Fall einer Kommunikation nicht auf diese beschränkt sind. Darüber hinaus ist ein Kommunikationsverfahren der Kommunikationseinheit nicht sonderlich eingeschränkt.
(Speichereinheit 115)
Die Speichereinheit 115 ist eine funktionale Konfiguration, die verschiedene Arten von Information speichert. Beispielsweise speichert die Speichereinheit 115 die von der Eingabevorrichtungsgruppe 120 bereitgestellte Eingabeinformation, die von der Server-Vorrichtung 200 bereitgestellte Steuerungsinformation oder dergleichen. Darüber hinaus speichert die Speichereinheit 115 verschiedene Programme, verschiedene Parameter oder dergleichen, die in der Verarbeitung der Client-Vorrichtung 110 genutzt werden. Man beachte, dass die in der Speichereinheit 115 gespeicherte Information nicht auf diese beschränkt ist.
(Eingabevorrichtungsgruppe 120)
Die Eingabevorrichtungsgruppe 120 ist eine Vorrichtungsgruppe, die verschiedene Arten einer Eingabeinformation erzeugt. Wie in 20 veranschaulicht ist, ist die Eingabevorrichtungsgruppe 120 mit einer Sensoreinheit 121, einer Kamera 123 und einem Mikrofon 125 versehen. Man beachte, dass die Konfiguration der Eingabevorrichtungsgruppe 120 nicht auf diese beschränkt ist und jede beliebige Vorrichtung, die die Eingabeinformation erzeugen kann, in der Eingabevorrichtungsgruppe 120 vorgesehen werden kann.
(Sensoreinheit 121)
Die Sensoreinheit 121 ist eine mit einem beliebigen Sensor versehene Konfiguration. Beispielsweise kann die Sensoreinheit 121 mit einem Berührungssensor, einem Drucksensor, einem Näherungssensor, einer Infrarotlicht empfangenen Einheit, einem Ultraschallsensor, einer Tiefenkamera, einer Thermo- bzw. Wärmebildkamera, einer RGB-Kamera oder dergleichen versehen sein und kann mit einer Bedienungseingabeeinheit versehen sein, die unter Verwendung einer physischen Konfiguration wie etwa einer Taste, eines Schalters, eines Controllers (zum Beispiel eines Controllers vom Steuerknüppel-Typ und dergleichen) und einem Hebel gebildet wird.
(Kamera 123)
Die Kamera 123 ist eine Konfiguration, die ein aufgenommenes Bild durch Abbilden eines Nutzers, eines Arbeitsziels des Nutzers und dergleichen erzeugt. Man beachte, dass ein Installationsmodus der Kamera 123 nicht sonderlich beschränkt ist. Beispielsweise kann die Kamera 123 in einem Modus installiert sein, in dem eine Abbildungsrichtung der Kamera 123 wie in B von 21 geändert wird, wenn der Nutzer eine Bedienungseingabe im in der Sensoreinheit 121 vorgesehenen Controller vom Steuerknüppel-Typ durchführt, wie in A von 21 veranschaulicht ist. Als Ergebnis kann beispielsweise ein Abbildungsbereich so eingestellt werden, dass leicht ein Eindruck, dass die jeweiligen Nutzer im gleichen Raum arbeiten, erzeugt wird. Darüber hinaus kann, wie in 22 veranschaulicht ist, eine Vielzahl von Kameras 123 in einer Kugelform installiert sein. Dies erzeugt aufgenommene Bilder eines Objekts (einschließlich des Körpers des Nutzers) aus verschiedenen Winkeln, so dass es einfacher wird, den Abbildungsbereich so einzustellen, dass leicht der Eindruck, dass die jeweiligen Nutzer im gleichen Raum arbeiten, erzeugt wird, oder die physische Information oder die Umgebungsinformation zu erhalten.
(Mikrofon 125)
Das Mikrofon (mic) 125 ist eine Konfiguration, die eine Sprechstimme des Nutzers und dergleichen erfasst. Man beachte, dass ein Installationsmodus des Mikrofons 125 nicht sonderlich eingeschränkt ist.
(Ausgabevorrichtungsgruppe 130)
Wie oben beschrieben wurde, ist die Ausgabevorrichtungsgruppe 130 eine Vorrichtungsgruppe, die verschiedene Ausgaben an den Nutzer A (erster Nutzer) oder den Nutzer B (zweiter Nutzer) ausführt. Wie in 20 veranschaulicht ist, ist die Ausgabevorrichtungsgruppe 130 mit der Tischanzeige 131, der Fensteranzeige 133, einem Lautsprecher 135 und einer Vorrichtung 137 zur Präsentation einer fühlbaren Empfindung versehen. Man beachte, dass die Konfiguration der Ausgabevorrichtungsgruppe 130 nicht auf diese beschränkt ist und jede beliebige Vorrichtung, die die verschiedenen Ausgaben durchführen kann, in der Ausgabevorrichtungsgruppe 130 vorgesehen werden kann.
(Tischanzeige 131)
Die Tischanzeige 131 ist eine Anzeige, deren Anzeigeoberfläche auf einem Teil der oberen Platte des Tisches vorgesehen ist, wobei die Anzeige im Wesentlichen parallel zur Bodenfläche angeordnet ist. Man beachte, dass eine Art der Anzeige nicht sonderlich eingeschränkt ist.
(Fensteranzeige 133)
Die Fensteranzeige 133 ist eine Anzeige, die an einem Ende an der Tischanzeige 131 im Wesentlichen senkrecht dazu vorgesehen ist, deren Anzeigeoberfläche im Wesentlichen senkrecht zur Bodenfläche gelegen ist. Man beachte, dass eine Art der Anzeige nicht sonderlich eingeschränkt ist.
(Lautsprecher 135)
Der Lautsprecher 135 ist eine Konfiguration, die eine Stimme ausgibt. Beispielsweise kann überdies ein Klangbild in einem realen Raum durch Zusammenwirken einer Vielzahl von Lautsprechern 135 und dergleichen lokalisiert bzw. räumlich festgelegt werden. Infolgedessen kann jeder Nutzer intuitiv die Position, Körperhaltung und dergleichen anderer Nutzer erkennen, so dass der Eindruck, dass sich die jeweiligen Nutzer im gleichen Raumbefinden, weiter betont werden kann. Man beachte, dass eine Art des Lautsprechers 135 nicht sonderlich eingeschränkt ist.
(Vorrichtung 137 zur Präsentation einer fühlbaren Empfindung)
Die Vorrichtung 137 zur Präsentation einer fühlbaren Empfindung ist eine Konfiguration, die dem Nutzer eine fühlbare Empfindung präsentiert. Beispielsweise ist die Vorrichtung 137 zur Präsentation einer fühlbaren Empfindung ein vom Nutzer getragenes tragbares Gerät (zum Beispiel eine tragbare brillenartige, uhrartige, handschuh-artige oder kleidungsartige Vorrichtung und dergleichen), eine externe Vorrichtung, die mit dem Körper des Nutzers in Kontakt kommt, und dergleichen. Die Vorrichtung 137 zur Präsentation einer fühlbaren Empfindung ist mit zum Beispiel einem Aktuator, der eine Vibration präsentiert (zum Beispiel einem Exzentermotor (ERM), einem Linearresonanz-Aktuator (LRA), einem Schwingspulenmotor (VCM) oder dergleichen), einem elektrischen Element, das ein Kraftempfinden präsentiert, einem Temperaturänderungselement, das ein Temperaturempfinden präsentiert (zum Beispiel einem Peltier-Element und dergleichen) oder dergleichen versehen. Man beachte, dass die durch die Vorrichtung 137 zur Präsentation einer fühlbaren Empfindung präsentierte Tastempfindung nicht sonderlich eingeschränkt ist.
Das Konfigurationsbeispiel des ersten Raums 100 oder des zweiten Raums 100B ist oben beschrieben. Man beachte, dass die oben unter Bezugnahme auf 20 beschriebene Konfiguration nur ein Beispiel ist und die Konfiguration jedes Raums nicht auf solch ein Beispiel eingeschränkt ist. Beispielsweise ist die Client-Vorrichtung 110, die Eingabevorrichtungsgruppe 120 oder die Ausgabevorrichtungsgruppe 130 nicht notwendigerweise mit all den in 20 veranschaulichten Konfigurationen versehen. Darüber hinaus ist die Konfiguration in jedem Raum entsprechend Spezifikationen und einer Operation flexibel änderbar. Die Client-Vorrichtung 110 kann darüber hinaus eine Vorrichtung sein, die imstande ist, dem Nutzer eine virtuelle Realität bereitzustellen (zum Beispiel eine am Kopf montierte schild- bzw. schirmartige Anzeige). In diesem Fall werden die Tischanzeige 131 und die Fensteranzeige 133 nicht genutzt, und die Client-Vorrichtung 110 steuert die Anzeige der am Kopf montierten Anzeige auf der Basis der von der Server-Vorrichtung 200 bereitgestellten Steuerungsinformation.
(Funktionales Konfigurationsbeispiel der Server-Vorrichtung 200)
Nachfolgend wird ein funktionales Konfigurationsbeispiel der Server-Vorrichtung 200 unter Bezugnahme auf 23 beschrieben. Wie in 23 veranschaulicht ist, ist die Server-Vorrichtung 200 mit einer Steuerungseinheit 210, einer Kommunikationseinheit 220 und einer Speichereinheit 230 versehen.
(Steuerungseinheit 210)
Die Steuerungseinheit 210 ist eine funktionale Konfiguration, die eine von der Server-Vorrichtung 200 ausgeführte Gesamtverarbeitung umfassend steuert. Beispielsweise steuert die Steuerungseinheit 210 Beginn und Ende verschiedener Arten einer Verarbeitung auf der Basis der Eingabe, die vom Nutzer unter Verwendung der Eingabevorrichtungsgruppe 120 und dergleichen vorgenommen wird. Man beachte, dass ein Steuerungsinhalt der Steuerungseinheit 210 nicht sonderlich eingeschränkt ist. Beispielsweise kann die Steuerungseinheit 210 eine Verarbeitung steuern, die im Allgemeinen in einem Mehrzweckcomputer, einem PC, einem Tablet-PC, einem Smartphone oder dergleichen durchgeführt wird (zum Beispiel eine Verarbeitung in Bezug auf ein OS und dergleichen).
Wie in 23 veranschaulicht ist, ist die Steuerungseinheit 210 mit einer Eingabeinformations-Analyseeinheit 211, einer Einheit 213 zur Erzeugung eines virtuellen Raums, einer Anzeigesteuerungseinheit 215, einer Sprachausgabe-Steuerungseinheit 217 und einer Steuerungseinheit 219 zur Präsentation einer fühlbaren Empfindung versehen.
(Eingabeinformations-Analyseeinheit 211)
Die Eingabeinformations-Analyseeinheit 211 ist eine funktionale Konfiguration, die die Eingabeinformation analysiert, die von der in jedem Raum vorgesehenen Eingabevorrichtungsgruppe 120 erhalten wird (die Eingabeinformations-Analyseeinheit 211 dient auch als Analyseeinheit). Beispielsweise dient die Eingabeinformations-Analyseeinheit 211 als eine Erfassungseinheit, die die physische Information oder die Umgebungsinformation erhält bzw. erfasst, indem die Eingabeinformation analysiert wird. Wie oben beschrieben wurde, ist die physische Information das Konzept, das die Positionsinformation der Körperstelle jedes Nutzers einschließt, und die Umgebungsinformation ist das Konzept, das die Positionsinformation jedes Teils eines Objekts (einschließlich der Eingabevorrichtungsgruppe 120) und der Ausgabevorrichtungsgruppe 130) einschließt, das sich in jedem Raum befindet. Man beachte, dass besonders erwähnt werden sollte, dass die Verarbeitung zum Erhalten der Umgebungsinformation durch Analysieren der Eingabeinformation durch die Eingabeinformations-Analyseeinheit 211 ein Konzept ist, das die oben beschriebene Verarbeitung zum Extrahieren eines realen Objekts aus dem aufgenommenen Bild einschließt.
Darüber hinaus erkennt die Eingabeinformations-Analyseeinheit 211 eine vom Nutzer ausgeführte Geste, einen Inhalt einer vom Nutzer gesprochenen Stimme und dergleichen durch Analysieren der Eingabeinformation. Die Geste schließt hier beispielsweise eine Bewegung der Hand und des Arms des Nutzers, eine Körperhaltung (zum Beispiel eine Knocheninformation), eine Blickrichtung, eine Berührungsoperation (konkret ein Berühren, Antippen, doppeltes Antippen, Wischen oder Ziehen) und dergleichen ein. Beispielsweise erkennt die Eingabeinformations-Analyseeinheit 211 eine Berührungsoperation auf der Tischanzeige 131, eine Zeigeoperation auf der Fensteranzeige 133 und dergleichen als die Geste. Überdies erkennt die Eingabeinformations-Analyseeinheit 211 den vom Nutzer gesprochenen Inhalt, indem die Stimme des Nutzers analysiert wird, die mittels des Mikrofons (mic) 125 erhalten wird.
Die Eingabeinformations-Analyseeinheit 211 dient außerdem auch als eine Betriebsmodus-Steuerungseinheit, die auf der Basis des oben beschriebenen Analyseergebnisses den Betriebsmodus umschaltet (oder einstellt). Das heißt, die Eingabeinformations-Analyseeinheit 211 schaltet den Betriebsmodus um (oder stellt ihn ein), indem auf der Basis des oben erhaltenen Analyseergebnisses irgendeiner des zugewandten Modus, des rechts-links vertauschten Modus, des Nebeneinander-Modus oder des Übernahme-Modus ausgewählt wird.
(Einheit 213 zur Erzeugung eines virtuellen Raums)
Die Einheit 213 zur Erzeugung eines virtuellen Raums ist eine funktionale Konfiguration, die den virtuellen Raum auf der Basis der physischen Information oder der Umgebungsinformation (oder zumindest der physischen Information) erzeugt, die durch die Eingabeinformations-Analyseeinheit 211 erhalten wird. Die Einheit 213 zur Erzeugung eines virtuellen Raums kann die Positionsbeziehung zwischen den jeweiligen Nutzern oder den jeweiligen Objekten im virtuellen Raum auf der Basis der physischen Information oder der Umgebungsinformation reproduzieren. Die Einheit 213 zur Erzeugung eines virtuellen Raums aktualisiert nach Bedarf den virtuellen Raum auf der Basis der von der Client-Vorrichtung 110 bereitgestellten Eingabeinformation.
(Anzeigesteuerungseinheit 215)
Die Anzeigesteuerungseinheit 215 ist eine funktionale Konfiguration, die eine Anzeigeverarbeitung mittels der in jedem Raum vorgesehenen Anzeige steuert. Wie in 23 veranschaulicht ist, ist die Anzeigesteuerungseinheit 215 mit einer Anzeigesteuerungseinheit 215a für eine Tischanzeige und einer Anzeigesteuerungseinheit 215b für eine Fensteranzeige versehen.
(Anzeigesteuerungseinheit 215a für eine Tischanzeige)
Die Anzeigesteuerungseinheit 215a für eine Tischanzeige ist eine funktionale Konfiguration, die eine Anzeigeverarbeitung durch die in jedem Raum vorgesehene Tischanzeige 131 steuert. Genauer gesagt steuert die Anzeigesteuerungseinheit 215a für eine Tischanzeige die Anzeigeverarbeitung durch die Tischanzeige 131 auf der Basis des Inhalts der von der Eingabeinformations-Analyseeinheit 211 erkannten Eingabe, des durch die Eingabeinformations-Analyseeinheit 211 eingestellten Betriebsmodus, des virtuellen Raums, der durch die Einheit 213 zur Erzeugung eines virtuellen Raums erzeugt wird, und dergleichen.
Die Anzeigesteuerungseinheit 215a für eine Tischanzeige kann hier eine Vielzahl von Anzeigeflächen in der Tischanzeige 131 bereitstellen. Wie in 24 veranschaulicht ist, kann beispielsweise die Anzeigesteuerungseinheit 215a für eine Tischanzeige eine Anzeigefläche 31 in der Tischanzeige 131A vorsehen. Die Anzeigesteuerungseinheit 215a für eine Tischanzeige kann dann eine Position der Anzeigefläche 31 innerhalb der Tischanzeige 131 entsprechend einer Bedienungseingabe durch den Nutzer A und dergleichen ändern oder die Position der Anzeigefläche 31 durch Zusammenarbeit mit der Anzeigesteuerungseinheit 215b für eine Fensteranzeige zur Fensteranzeige 133 ändern. Infolgedessen kann der Nutzer die Position der Anzeigefläche 31 auf eine gewünschte Position, wo die Arbeit einfacher ist, ändern.
Die Anzeigesteuerungseinheit 215a für eine Tischanzeige erzeugt eine Steuerungsinformation, die einen Anzeigeinhalt durch die Tischanzeige 131 enthält, und stellt selbige der Client-Vorrichtung 110 über die Kommunikationseinheit 220 bereit, wodurch die Anzeigeverarbeitung der Tischanzeige 131 gesteuert wird.
(Anzeigesteuerungseinheit 215b für eine Fensteranzeige)
Die Anzeigesteuerungseinheit 215b für eine Fensteranzeige ist eine funktionale Konfiguration, die eine Anzeigeverarbeitung durch die in jedem Raum vorgesehene Fensteranzeige 133 steuert. Genauer gesagt steuert die Anzeigesteuerungseinheit 215b für eine Fensteranzeige die Anzeigeverarbeitung durch die Fensteranzeige 133 auf der Basis des Inhalts der Eingabe, die durch die Eingabeinformations-Analyseeinheit 211 erkannt wird, des Betriebsmodus, der durch die Eingabeinformations-Analyseeinheit 211 eingestellt wird, des virtuellen Raums, der durch die Einheit 213 zur Erzeugung eines virtuellen Raums erzeugt wird, und dergleichen.
Wie es bei der Anzeigesteuerungseinheit 215a für eine Tischanzeige der Fall ist, kann auch hier die Anzeigesteuerungseinheit 215b für eine Fensteranzeige eine Vielzahl von Anzeigeflächen 31 in der Fensteranzeige 133 bereitstellen. Die Anzeigesteuerungseinheit 215b für eine Fensteranzeige kann dann auch eine Position der Anzeigefläche 31 innerhalb der Fensteranzeige 133 entsprechend einer Bedienungseingabe durch den Nutzer A und dergleichen ändern oder die Position der Anzeigefläche 31 durch Zusammenarbeit mit der Anzeigesteuerungseinheit 215a für eine Tischanzeige zur Tischanzeige 131 ändern.
Die Anzeigesteuerungseinheit 215b für eine Fensteranzeige erzeugt die Steuerungsinformation, die den Anzeigeinhalt durch die Fensteranzeige 133 enthält, und stellt selbige der Client-Vorrichtung 110 über die Kommunikationseinheit 220 bereit, wodurch die Anzeigeverarbeitung der Fensteranzeige 133 gesteuert wird.
(Sprachausgabe-Steuerungseinheit 217)
Die Sprachausgabe-Steuerungseinheit 217 ist eine funktionale Konfiguration, die eine Sprachausgabeverarbeitung durch den in jedem Raum vorgesehenen Lautsprecher 135 steuert. Beispielsweise überträgt die Sprachausgabe-Steuerungseinheit 217 die Sprache des Nutzers A zum Nutzer B (oder die Sprache des Nutzers B zum Nutzer A). Die Sprachausgabe-Steuerungseinheit 217 erzeugt eine Steuerungsinformation, die auf der Basis einer Sprachinformation des Nutzers erzeugt wird, die durch das Mikrofon 125 erhalten wird, und stellt selbige der Client-Vorrichtung 110 über die Kommunikationseinheit 220 bereit, wodurch die Sprachausgabeverarbeitung des Lautsprechers 135 gesteuert wird. Zu dieser Zeit kann die Sprachausgabe-Steuerungseinheit 217 die Steuerungsinformation auf der Basis des virtuellen Raums (Positionsbeziehung zwischen den jeweiligen Nutzern), der durch die Einheit 213 zur Erzeugung eines virtuellen Raums erzeugt wird, und des Betriebsmodus, der durch die Eingabeinformations-Analyseeinheit 211 eingestellt wird, erzeugen, wodurch das Klangbild im realen Raum lokalisiert bzw. räumlich festgelegt wird, um zu ermöglichen, dass die jeweiligen Nutzer die Positionsbeziehung unter ihnen wahrnehmen.
(Steuerungseinheit 219 zur Präsentation einer fühlbaren Empfindung)
Die Steuerungseinheit 219 zur Präsentation einer fühlbaren Empfindung ist eine funktionale Konfiguration, die eine Verarbeitung zur Präsentation einer fühlbaren Empfindung durch die in jedem Raum vorgesehene Vorrichtung 137 zur Präsentation einer fühlbaren Empfindung steuert. Genauer gesagt steuert die Steuerungseinheit 219 zur Präsentation einer fühlbaren Empfindung die Verarbeitung zur Präsentation einer fühlbaren Empfindung durch die Vorrichtung 137 zur Präsentation einer fühlbaren Empfindung auf der Basis des Inhalts der Eingabe, die durch die Eingabeinformations-Analyseeinheit 211 erkannt wird, des Betriebsmodus, der durch die Eingabeinformations-Analyseeinheit 211 eingestellt wird, des virtuellen Raums, der durch die Einheit 213 zur Erzeugung eines virtuellen Raums erzeugt wird, und dergleichen. Die Steuerungseinheit 219 zur Präsentation einer fühlbaren Empfindung erzeugt die Steuerungsinformation, die einen Inhalt der Präsentation einer fühlbaren Empfindung durch die Vorrichtung 137 zur Präsentation einer fühlbaren Empfindung enthält, und stellt selbige der Client-Vorrichtung 110 über die Kommunikationseinheit 220 bereit, wodurch die Verarbeitung zur Präsentation einer fühlbaren Empfindung der Vorrichtung 137 zur Präsentation einer fühlbaren Empfindung gesteuert wird.
(Kommunikationseinheit 220)
Die Kommunikationseinheit 220 ist eine funktionale Konfiguration, die verschiedene Kommunikationen mit den externen Vorrichtungen einschließlich der Client-Vorrichtung 110 durchführt. Beispielsweise empfängt die Kommunikationseinheit 220 die von der Eingabevorrichtungsgruppe 120 erhaltene Eingabeinformation und überträgt die Steuerungsinformation zum Steuern der Ausgabevorrichtungsgruppe 130 in der Kommunikation mit der Client-Vorrichtung 110. Man beachte, dass die durch die Kommunikationseinheit 220 kommunizierte Information und ein Fall einer Kommunikation nicht auf sie beschränkt sind. Darüber hinaus ist ein Kommunikationsverfahren der Kommunikationseinheit 220 nicht sonderlich eingeschränkt.
Die Steuerungseinheit 210 kann hier der Steuerungsinformation, die zur Client-Vorrichtung übertragen werden soll, Prioritäten zuweisen, und die Kommunikationseinheit 220 kann verschiedene Parameter (zum Beispiel ein Codierverfahren, ein Übertragungsband oder dergleichen), die in der Kommunikation genutzt werden, gemäß den Prioritäten bestimmen. Konkreter beschrieben ändern sich die Prioritäten der Ausgaben durch die jeweiligen Vorrichtungen der Ausgabevorrichtungsgruppe 130 in Abhängigkeit von dem Typ des eingestellten Betriebsmodus, dem Inhalt der Arbeit, die von jedem Nutzer durchgeführt wird, und dergleichen. Beispielsweise wird in einem Fall, in dem der Nebeneinander-Modus oder der Übernahme-Modus eingestellt ist, grundsätzlich nur ein Hintergrund auf der Fensteranzeige 133 wie in 8 und 9 veranschaulicht angezeigt (natürlich gibt es keine Einschränkung). In diesem Fall kann daher die Steuerungseinheit 210 die Priorität der Steuerungsinformation in Bezug auf die Fensteranzeige 130 so einstellen, dass sie niedriger als diejenige anderer Vorrichtungen ist. Infolgedessen kann die Kommunikationseinheit 220 einen Kommunikationsumfang reduzieren, indem die in der Kommunikation verwendeten verschiedenen Parameter auf der Basis der Priorität bestimmt werden. Man beachte, dass ein Verfahren zum Festlegen der Prioritäten nicht auf die obige Beschreibung beschränkt ist. Beispielsweise können die Prioritäten auf der Basis eines Blickpunkts des Nutzers und dergleichen festgelegt werden (zum Beispiel wird die Priorität der Steuerungsinformation in Bezug auf die Anzeige, auf die der Nutzer blickt, höher festgelegt und dergleichen).
(Speichereinheit 230)
Die Speichereinheit 230 ist eine funktionale Konfiguration, die verschiedene Informationsarten speichert. Beispielsweise speichert die Speichereinheit 230 die Eingabeinformation, das Ergebnis der Analyse durch die Eingabeinformations-Analyseeinheit 211, den virtuellen Raum, der durch die Einheit 213 zur Erzeugung eines virtuellen Raums erzeugt wird, die Steuerungsinformation, die durch die Anzeigesteuerungseinheit 215, die Sprachausgabe-Steuerungseinheit 217 und die Steuerungseinheit 219 zur Präsentation einer fühlbaren Empfindung erzeugt wird, und dergleichen. Darüber hinaus speichert die Speichereinheit 230 verschiedene Programme, verschiedene Parameter oder dergleichen, die in der Verarbeitung der Server-Vorrichtung 200 genutzt werden. Man beachte, dass die in der Speichereinheit 230 gespeicherte Information nicht auf diese beschränkt ist.
Oben ist das funktionale Konfigurationsbeispiel der Server-Vorrichtung 200 beschrieben. Man beachte, dass die unter Bezugnahme auf 23 oben beschriebene funktionale Konfiguration nur ein Beispiel ist und die funktionale Konfiguration der Server-Vorrichtung 200 nicht auf solch ein Beispiel beschränkt ist. Beispielsweise muss die Server-Vorrichtung 200 nicht notwendigerweise alle der in 23 veranschaulichten Konfigurationen aufweisen. Darüber hinaus ist die funktionale Konfiguration der Server-Vorrichtung 200 gemäß Spezifikationen und der Operation flexibel änderbar. Darüber hinaus kann die Server-Vorrichtung 200 auch die Steuerungsinformation, die der Client-Vorrichtung 110 bereitgestellt werden soll, unter Berücksichtigung einer audiovisuellen Charakteristik jedes Nutzers erzeugen. Zum Beispiel sind die audiovisuellen Charakteristiken der jeweiligen Nutzer je nach Attribut des Nutzers (zum Beispiel Alter, Geschlecht oder dergleichen), physischer Charakteristik des Nutzers (zum Beispiel Körpergröße, Körpergewicht, BMI, Vorhandensein/Fehlen einer Körperbehinderung oder dergleichen) oder dergleichen voneinander verschieden. Daher können die Anzeigesteuerungseinheit 215, die Sprachausgabe-Steuerungseinheit 217 und die Steuerungseinheit 219 zur Präsentation einer fühlbaren Empfindung der Server-Vorrichtung 200 die audiovisuelle Charakteristik des Nutzers abschätzen, indem das Attribut, die physische Charakteristik und dergleichen des Nutzers mittels eines bestimmten Verfahrens (zum Beispiel vorheriger Eingabe der Nutzer, Analyse der Eingabeinformation oder dergleichen) erhalten werden, und die für jeden Nutzer auf der Basis eines Abschätzungsergebnisses optimierte Steuerungsinformation erzeugen.
<Beispiel eines Verarbeitungsablaufs>
Das Konfigurationsbeispiel jedes Raums und das funktionale Konfigurationsbeispiel jeder Vorrichtung gemäß dieser Ausführungsform sind oben beschrieben. Nachfolgend wird unter Bezugnahme auf 25 ein Beispiel eines Verarbeitungsablaufs der Server-Vorrichtung 200 beschrieben.
Bei Schritt S1000 empfängt die Kommunikationseinheit 220 der Server-Vorrichtung 200 verschiedene Arten einer Eingabeinformation von der in jedem Raum vorgesehenen Client-Vorrichtung 110. Bei Schritt 1004 analysiert die Eingabeinformations-Analyseeinheit 211 die verschiedenen Arten einer Eingabeinformation, um die physische Information oder die Umgebungsinformation zu erhalten, und erkennt die Konfiguration der Eingabe. Bei Schritt S1008 erzeugt die Einheit 213 zur Erzeugung eines virtuellen Raums den virtuellen Raum auf der Basis der physischen Information oder der Umgebungsinformation. Bei Schritt S1012 wird eine Verarbeitung in Bezug auf eine Ausgabesteuerung der Ausgabevorrichtungsgruppe 130 durchgeführt. Ein konkretes Beispiel soll später beschrieben werden. Die Server-Vorrichtung 200 setzt die Verarbeitung in den Schritten S1000 bis S1012 fort, bis diese eine Beendigungsanweisung von der Client-Vorrichtung 110 empfängt (Schritt S1016/Nein). Falls die Beendigungsanweisung von der Client-Vorrichtung 110 empfangen wird (Schritt S1016/Ja), beendet die Server-Vorrichtung 200 die Verarbeitungsreihe.
Nachfolgend wird unter Bezugnahme auf 26 ein Beispiel eines Verarbeitungsablaufs in Bezug auf die bei Schritt S1012 in 25 durchgeführte Ausgabesteuerung beschrieben.
Bei Schritt S1100 in 26 bestätigt die Eingabeinformations-Analyseeinheit 211 der Server-Vorrichtung 200, ob eine Eingabe zum Umschalten des Betriebsmodus ausgeführt wird oder nicht, auf der Basis des Analyseergebnisses der verschiedenen Arten einer Eingabeinformation. Falls die Eingabe zum Umschalten des Betriebsmodus ausgeführt wird (Schritt S1100/Ja), schaltet die Eingabeinformations-Analyseeinheit 211 den Betriebsmodus entsprechend der Eingabe um. Falls die Eingabe zum Umschalten des Betriebsmodus nicht ausgeführt wird (Schritt S1100/Nein), wird die Verarbeitung zum Umschalten des Betriebsmodus bei Schritt S1104 nicht durchgeführt.
Danach erzeugen die Anzeigesteuerungseinheit 215a für eine Tischanzeige und die Anzeigesteuerungseinheit 215b für eine Fensteranzeige die Steuerungsinformation auf der Basis des Inhalts der Eingabe (zum Beispiel des aufgenommenen Bildes und dergleichen), des virtuellen Raums, des eingestellten Betriebsmodus und dergleichen in den Schritten S1108 bzw. S1112. Beispielsweise erzeugen die Anzeigesteuerungseinheit 215a für eine Tischanzeige und die Anzeigesteuerungseinheit 215b für eine Fensteranzeige die Steuerungsinformation, um zu ermöglichen, dass die jeweiligen Anzeigen Videos aus Blickwinkeln der jeweiligen Nutzer anzeigen, auf der Basis der Änderung in einer Positionsbeziehung (oder der Positionsbeziehung selbst) zwischen dem Nutzer A und dem Nutzer B.
Bei Schritt S1116 erzeugt die Sprachausgabe-Steuerungseinheit 217 die Steuerungsinformation auf der Basis des Inhalts der Eingabe, des virtuellen Raums, des eingestellten Betriebsmodus und dergleichen. Die Sprachausgabe-Steuerungseinheit 217 erzeugt beispielsweise die Steuerungsinformation, um zu ermöglichen, dass der von einem anderen Nutzer verwendete Lautsprecher 135 eine Stimme auf der Basis der vom Nutzer gesprochenen Sprache, die durch das Mikrofon 125 erhalten wird, auszugeben.
Bei Schritt S1120 erzeugt die Steuerungseinheit 219 zur Präsentation einer fühlbaren Empfindung die Steuerungsinformation auf der Basis des Inhalts der Eingabe, des virtuellen Raums, des eingestellten Betriebsmodus und dergleichen. Beispielsweise erzeugt die Steuerungseinheit 219 zur Präsentation einer fühlbaren Empfindung die Steuerungsinformation, um ein von einem anderen Nutzer getragenes tragbares Gerät und dergleichen auf der Basis der Eingabe des Nutzers zu steuern, die durch die Sensoreinheit 121 erhalten wurde. Bei Schritt S1124 überträgt die Kommunikationseinheit 220 die erzeugten verschiedenen Arten einer Steuerungsinformation an die beiden Client-Vorrichtungen 110, sodass eine Verarbeitungsreihe in Bezug auf die Ausgabesteuerung endet.
Man beachte, dass die Schritte in den Flussdiagrammen der 25 und 26, die oben beschrieben wurden, nicht notwendigerweise in der beschriebenen Reihenfolge in einer zeitlichen Abfolge verarbeitet werden müssen. Das heißt, die Schritte im Flussdiagramm können in einer von der beschriebenen Reihenfolge verschiedenen Reihenfolge verarbeitet werden oder können parallel verarbeitet werden.
<Variation>
Ein Beispiel des Verarbeitungsablaufs der Server-Vorrichtung 200 ist oben beschrieben. Nachfolgend wird eine Variation der vorliegenden Offenbarung beschrieben.
In der oben beschriebenen Ausführungsform gibt es einen Nutzer A (erster Nutzer) und einen Nutzer B (zweiter Nutzer). In der Variation der vorliegenden Offenbarung wird ein Fall betrachtet, in dem es eine Vielzahl erster Räume 100A und eine Vielzahl von Nutzern A (erste Nutzer) gibt. Beispielsweise wird ein Fall betrachtet, in dem eine Vielzahl von Nutzern A, die Schüler sind, eine Anleitung von einem Nutzer B, der ein Ausbilder ist, erhält. In diesem Fall kann die Server-Vorrichtung 200 ermöglichen, dass eine Fensteranzeige 133 (erste Anzeige) oder eine Tischanzeige 131 (zweite Anzeige) zumindest einen Teil einer physischen Information (erste physische Information) einer Vielzahl von Nutzern A (erste Nutzer) anzeigt.
Man beachte, dass besonders erwähnt werden sollte, dass das Gleiche für einen Fall gilt, in dem es eine Vielzahl zweiter Räume 100B und eine Vielzahl von Nutzern B (zweite Nutzer) gibt (das Gleiche gilt für einen später zu beschreibenden Inhalt). Das heißt, die Server-Vorrichtung 200 kann ermöglichen, dass eine Fensteranzeige 133 (erste Anzeige) oder eine Tischanzeige 131 (zweite Anzeige) zumindest einen Teil einer physischen Information (zweite physische Information) einer Vielzahl von Nutzern B (zweite Nutzer) anzeigt.
Wie in A von 27 veranschaulicht ist, kann in einem Fall, in dem es Nutzer A-1 bis A-6 gibt (in A von 27 ist ein Fall veranschaulicht, in dem ein Nutzer auf einer Fensteranzeige 133B angezeigt wird), die Server-Vorrichtung 200 einen Oberkörperteil der jeweiligen Nutzer A extrahieren und ermöglichen, dass die Fensteranzeige 133B sie eine oder mehr Zeilen bildend anzeigt, wie in B von 27 veranschaulicht ist. Darüber hinaus kann die Server-Vorrichtung 200 ermöglichen, dass die in die Anzahl von Nutzern A geteilte Tischanzeige 131B eine Hand jedes Nutzers A anzeigt, wie in B von 28 veranschaulicht ist. Zu dieser Zeit kann die Server-Vorrichtung 200 ermöglichen, dass die geteilte Tischanzeige 131B eine Information, die zum Identifizieren jedes Nutzers A (wie etwa „Nutzer A-1“ in einem Beispiel in B von 28) verwendet wird, zusammen anzeigt. Anzeigeverfahren in B von 27 und B von 28 ermöglichen dem Nutzer B, Zustände einer Vielzahl von Nutzern A effizienter zu erkennen. Man beachte, dass in 27 und 28 als ein Beispiel ein Fall veranschaulicht ist, in dem es eine Vielzahl von Nutzern A und einen Nutzer B gibt, es aber keine Einschränkung gibt. Genauer gesagt kann es einen Nutzer A und eine Vielzahl von Nutzern B oder eine Vielzahl von Nutzern A und eine Vielzahl von Nutzern B geben.
Auch in der Variation kann die Server-Vorrichtung 200 zumindest einem des Nutzers A oder des Nutzers B einen Eindruck vermitteln, als ob die jeweiligen Nutzer im gleichen Raum arbeiten. Beispielsweise kann die Server-Vorrichtung 200 dem Nutzer B unrealistische Bilder bereitstellen, die in B von 27 und B von 28 veranschaulicht sind, wohingegen diese jedem Nutzer A ein Bild bereitstellt, als ob er/sie den Nutzer B anblickt, wodurch ein Eindruck vermittelt wird, dass er/sie im gleichen Raum wie der Nutzer B arbeitet. Darüber hinaus kann die Server-Vorrichtung 200 dem Nutzer B ebenfalls einen Eindruck vermitteln, dass er/sie im gleichen Raum wie all die Nutzer A arbeitet (zum Beispiel einen Eindruck, dass er/sie all den Nutzern A in einem Klassenraum Unterricht erteilt), indem ein Teil all der Nutzer A angezeigt wird, während beispielsweise ein Maßstab in einer vorbestimmten Position in einem vorbestimmten Hintergrundbild (zum Beispiel in einer Position jedes Sitzes und dergleichen in einem Hintergrundbild des Klassenraums) eingestellt wird.
Die Server-Vorrichtung 200 ermöglicht hier jedem Nutzer, miteinander Augenkontakt zu haben. Genauer gesagt stellt die Server-Vorrichtung 200 eine Anzeigeposition des Nutzers B auf der vom Nutzer A genutzten Anzeige auf der Basis einer Anzeigeposition jedes Nutzers A auf der vom Nutzer B genutzten Anzeige ein (zum Beispiel wird in einem Fall, in dem ein Nutzer A in einem oberen rechten Teil der Fensteranzeige 133B des Nutzers B angezeigt wird, der Nutzer B in einem unteren rechten Teil einer Fensteranzeige 133A des Nutzers A angezeigt). Infolgedessen kann in einem Fall, in dem der Nutzer B Augenkontakt mit einem Nutzer A hat, dieser Nutzer A über die Fensteranzeige 133A ebenfalls wahrnehmen, dass er/sie mit dem Nutzer B Augenkontakt hat. Man beachte, dass die Server-Einrichtung 200 jedem Nutzer ermöglichen kann, Augenkontakt zu haben, nicht indem die Positionen des Nutzers A und des Nutzers B wie oben beschrieben eingestellt werden, sondern indem ein Bild einer Augenpartie (oder in der Nähe der Augenpartie) des Nutzers A oder des Nutzers B und dergleichen verarbeitet wird.
In der Variation kann die Server-Vorrichtung 200 die Arbeit jedes Nutzers A bewerten, indem die erste physische Information jedes der Vielzahl von Nutzern A (erste Nutzer) analysiert wird (natürlich kann die Server-Vorrichtung 200 umgekehrt die Arbeit jedes Nutzers B bewerten, indem die zweite physische Information jedes der Vielzahl von Nutzern B (zweite Nutzer) analysiert wird). Konkreter kann die Server-Vorrichtung 200 ein aufgenommenes Bild, das erhalten wird, indem ein vorher registriertes Arbeitsmodell abgebildet wird, mit einem aufgenommenen Bild verglichen wird, das erhalten wird, indem ein Zustand der Arbeit jedes Nutzers A abgebildet wird, um eine Ähnlichkeit zu berechnen, wodurch Elemente wie etwa Genauigkeit, Geschwindigkeit und dergleichen der Arbeit jedes Nutzers bewertet werden (überdies kann die Server-Vorrichtung 200 ein Lernniveau als umfassende Bewertung auf der Basis dieser Elemente ausgeben).
Falls die Server-Vorrichtung 200 einen einzelnen Nutzer A detektiert (zum Beispiel einen Nutzer A, dessen Arbeit im Vergleich mit anderen Nutzern A besonders genau und schnell und dergleichen ist), indem das aufgenommene Bild analysiert wird, kann dies dann dem Nutzer B den Umstand mitteilen, indem eine vorbestimmte Ausgabe (zum Beispiel durch Hervorhebung dieser Person auf der Anzeige) auf einer Ausgabevorrichtungsgruppe 130 (zum Beispiel der Tischanzeige 131B, der Fensteranzeige 133B oder dergleichen) des Nutzers B vorgenommen wird. Man beachte, dass ein Inhalt der Mitteilung an den Nutzer B nicht auf diesen beschränkt ist. Beispielsweise kann die Server-Vorrichtung 200 den Nutzer B über einen Fortschrittsstatus jedes Nutzers A durch ein vorbestimmtes Verfahren (zum Beispiel einen numerischen Wert, einen Fortschrittsbalken, eine Sprachausgabe, ein Aufleuchten einer Lampe oder dergleichen) unterrichten.
Darüber hinaus kann die Server-Vorrichtung 200 einen Arbeitsstatus jedes Nutzers A analysieren, indem ein vorbestimmtes Verfahren zum maschinellen Lernen oder künstliche Intelligenz (AI) genutzt wird, wobei dadurch beispielsweise ein Durchschnittswert der Genauigkeit und Geschwindigkeit der Arbeit unter all den Nutzern A (zum Beispiel einer ganzen Klasse) berechnet wird oder das Gleiche für jede Kategorie gemäß einem Attribut (zum Beispiel Alter, Geschlecht, Blutgruppe oder dergleichen) berechnet wird. Infolgedessen kann der Nutzer B leichter eine Trendanalyse unter all den Nutzern A und für jede Kategorie durchführen, wodurch eine Anleitung zweckmäßiger gegeben wird.
Darüber hinaus kann die Server-Vorrichtung 200 zumindest einen der Vielzahl von Nutzern A (erste Nutzer) auf der Basis der Eingabe durch den Nutzer B (zweiter Nutzer) spezifizieren und verschiedene Ausgaben nur an diesen Nutzer A durchführen (man beachte, dass umgekehrt die Server-Vorrichtung 200 zumindest einen der Vielzahl von Nutzern B (zweite Nutzer) auf der Basis der Eingabe durch den Nutzer A (erster Nutzer) spezifizieren und verschiedene Eingaben nur an diesen Nutzer B durchführen kann). Wie in 29 veranschaulicht ist, wird zum Beispiel ein Fall betrachtet, in dem die Server-Vorrichtung 200 erkennt, dass der Nutzer B einen bestimmten Nutzer A anblickt, indem das aufgenommene Bild, in dem der Nutzer B abgebildet ist, analysiert wird (im Beispiel in 29 blickt der Nutzer B den Nutzer A-6 an). Wie in A von 30 veranschaulicht ist, kann in diesem Fall die Server-Vorrichtung 200 die Fensteranzeige 133A, die vom Nutzer A-6 genutzt wird, hervorheben, wodurch dem Nutzer A-6 mitgeteilt wird, dass der Nutzer B den Nutzer A-6 anblickt. Zu dieser Zeit werden, wie in B von 30 veranschaulicht ist, die Fensteranzeigen 133A, die von den Nutzern A-1 bis A-5 verwendet werden, die der Nutzer B nicht anblickt, nicht hervorgehoben.
In einem Fall, in dem der Nutzer B in diesem Zustand etwas sagt, kann außerdem die Server-Vorrichtung 200 diese Aussage unter Verwendung des Mikrofons 125 nur dem Nutzer A-6 mitteilen (in den Beispielen in 29 und 30 sagt der Nutzer B „nett“). Zu dieser Zeit werden, wie in B von 30 veranschaulicht ist, die Nutzer A-1 bis A-5, die der Nutzer B nicht anblickt, über die Aussage nicht informiert.
In einem Fall, in dem der Ausbilder einer Vielzahl von Schülern eine bestimmte Anleitung gibt, wird es hier im Allgemeinen als wichtig erachtet, einem Teil der Schüler individuell eine Warnung, einen Rat und dergleichen zu erteilen. Beispielsweise kann ein Teil der Schüler, der die Warnung und den Rat empfängt, die Warnung und den Rat leichter akzeptieren, da sie sich nicht dadurch beschämt fühlen, dass sie von anderen Schülern gehört werden. Wie oben beschrieben wurde, kann deshalb die Server-Vorrichtung 200 eine reibungslosere Anleitung realisieren, indem verschiedene Ausgaben nur an einen der Vielzahl von Nutzern A durchgeführt wird. Natürlich kann in einem Fall, in dem der Ausbilder dem Schüler eine positive Nachricht und dergleichen mitteilt, die Server-Vorrichtung 200 all die Nutzer A darüber unterrichten.
In einem Fall, in dem es eine Vielzahl von Nutzern A (erste Nutzer) gibt, kann darüber hinaus ein Betriebsmodus neu vorgesehen werden, in dem der Nutzer A einen Zustand einer Kommunikation zwischen dem Nutzer B (zweiter Nutzer) und einem anderen Nutzer A beobachten kann. Im Folgenden wird auf einen Betriebsmodus, in dem ein bestimmter Nutzer A den Zustand einer Kommunikation zwischen dem Nutzer B und einem anderen Nutzer A beobachten kann, als „Beobachtungs-Modus“ verwiesen. Gemäß dem Beobachtungs-Modus kann, wie in 31 veranschaulicht ist, der Nutzer A-1 die Kommunikation zwischen dem Nutzer B und dem Nutzer A-2 in einem zugewandten Zustand aus einem anderen Blickwinkel und dergleichen beobachten. Daher kann der Nutzer A-1 eine Information erhalten, die über nicht nur die Kommunikation zwischen ihm/ihr und dem Nutzer B, sondern auch die Kommunikation zwischen dem Nutzer A-2 und dem Nutzer B ausgetauscht wird, sodass das Lernen und dergleichen effektiver wird.
Ein Auslöser, der zum Umschalten von einem anderen Betriebsmodus auf den Beobachtungs-Modus genutzt wird, ist wie in der oben beschriebenen Ausführungsform nicht sonderlich beschränkt. Genauer gesagt wird unterstellt, dass der zum Umschalten auf den Beobachtungs-Modus genutzte Auslöser ein Auslöser ist, der durch zumindest einen des Nutzers A (erster Nutzer) oder des Nutzers B (zweiter Nutzer) verursacht wird. Der zum Umschalten auf den Beobachtungs-Modus genutzte Auslöser schließt zum Beispiel ein vorbestimmtes Verhalten durch den Nutzer A oder den Nutzer B (zum Beispiel eine tatsächliche Bewegung des Nutzers A-1 zu einer Position, wo es möglich ist, einen Zustand zu beobachten, in dem der Nutzer B und der Nutzer A-2 tatsächlich miteinander kommunizieren, in einem virtuellen Raum und dergleichen), eine vorbestimmte Aussage (zum Beispiel die Aussage „Ich werde dorthin gehen“ durch den Nutzer A-1 und dergleichen), eine vorbestimmte Bedienungseingabe oder dergleichen (zum Beispiel eine Berührung auf der Tischanzeige 131A, ein Drücken einer Taste durch den Nutzer A-1 oder dergleichen) ein. Wenn beispielsweise der durch die Server-Vorrichtung 200 erzeugte virtuelle Raum auf der Anzeige angezeigt wird, kann der Nutzer A eine Position und eine Richtung für eine Beobachtung auswählen, indem eine beliebige Position und Richtung im virtuellen Raum ausgewählt werden. Man beachte, dass ein Inhalt des zum Umschalten auf den Beobachtungs-Modus genutzten Auslösers nicht auf diese beschränkt ist.
Man beachte, dass sich Inhalte von Funktionen jeweiliger funktionaler Konfigurationen der Client-Vorrichtung 110 und der Server-Vorrichtung 200 auch in der Variation der vorliegenden Offenbarung nicht sonderlich ändern. Beispielsweise analysiert auch in der Variation der vorliegenden Offenbarung die Eingabeinformations-Analyseeinheit 211 der Server-Vorrichtung 200 die Eingabeinformation (zum Beispiel das aufgenommene Bild und dergleichen) und steuern die Anzeigesteuerungseinheit 215, eine Sprachausgabe-Steuerungseinheit 217 und eine Steuerungseinheit 219 zur Präsentation einer fühlbaren Empfindung die Ausgabe an jeden Nutzer (zum Beispiel ermöglicht die Anzeigesteuerungseinheit 215, dass die Anzeige einen Teil der physischen Information (erste physische Information) einer Vielzahl von Nutzern A (erste Nutzer) nebeneinander anzeigt, und dergleichen).
<Beispiel einer Hardwarekonfiguration>
Die Variation der vorliegenden Offenbarung ist oben beschrieben. Nachfolgend wird unter Bezugnahme auf 32 ein Beispiel einer Hardwarekonfiguration der Server-Vorrichtung 200 oder der Client-Vorrichtung 110 beschrieben.
32 ist ein Blockdiagramm, das ein Beispiel einer Hardwarekonfiguration einer Informationsverarbeitungsvorrichtung 900 veranschaulicht, die die Server-Vorrichtung 200 oder die Client-Vorrichtung 110 verkörpert. Die Informationsverarbeitungsvorrichtung 900 ist mit einer zentralen Verarbeitungseinheit (CPU) 901, einem Nurlesespeicher (ROM) 902, einem Direktzugriffsspeicher (RAM) 903, einem Host-Bus 904, einer Brücke 905, einem externen Bus 906, einer Schnittstelle 907, einer Eingabeeinrichtung 908, einer Ausgabeeinrichtung 909, einer Speichervorrichtung (HDD) 910, einem Laufwerk 911 und einer Kommunikationsvorrichtung 912 versehen.
Die CPU 901 dient als Vorrichtung zur arithmetischen Verarbeitung und Steuerungsvorrichtung und steuert gemäß verschiedenen Programmen Gesamtoperationen in der Informationsverarbeitungsvorrichtung 900. Darüber hinaus kann die CPU 901 auch ein Mikroprozessor sein. Der ROM 902 speichert das von der CPU 901 genutzte Programm, Operationsparameter und dergleichen. Der RAM 903 speichert vorübergehend das bei der Ausführung der CPU 901 verwendete Programm, Parameter, die sich bei deren Ausführung entsprechend ändern, und dergleichen. Sie sind durch den Host-Bus 904, der einen CPU-Bus und dergleichen einschließt, miteinander verbunden. Jede Funktion der Steuerungseinheit 210 der Server-Vorrichtung 200 oder der Steuerungseinheit 111 der Client-Vorrichtung 110 wird mittels einer Zusammenarbeit der CPU 901, des ROM 902 und des RAM 903 realisiert.
Der Host-Bus 904 ist über die Brücke 905 mit dem externen Bus 906 wie etwa einem Bus für eine Verbindung/Schnittstelle mit peripheren Komponenten (PCI) verbunden. Man beachte, dass der Host-Bus 904, die Brücke 905 und der externe Bus 906 nicht notwendigerweise getrennt konfiguriert sein müssen und diese Funktionen auf einem Bus montiert sein können.
Die Eingabeeinrichtung 908 enthält ein Eingabemittel wie etwa eine Maus, eine Tastatur, ein Touch-Panel, eine Taste, ein Mikrofon, einen Schalter und einen Hebel für einen Nutzer, um eine Information einzugeben, eine Eingabesteuerungsschaltung, die auf der Basis der Eingabe durch den Nutzer ein Eingangssignal erzeugt und selbiges an die CPU 901 abgibt, und dergleichen. Durch Bedienen der Eingabeeinrichtung 908 kann der Nutzer, der die Informationsverarbeitungsvorrichtung 900 verwendet, verschiedene Daten in jede Vorrichtung eingeben und erteilt eine Anweisung einer Verarbeitungsoperation. Obgleich ein Fall, in dem die Eingabevorrichtungsgruppe 120 außerhalb der Client-Vorrichtung 110 vorgesehen ist, als Beispiel beschrieben ist, kann in einem Fall, in dem ein Teil der Eingabevorrichtungsgruppe 120 in der Client-Vorrichtung 110 vorgesehen ist, die Eingabevorrichtungsgruppe 120 durch die Eingabeeinrichtung 908 verkörpert werden.
Die Ausgabeeinrichtung 909 enthält zum Beispiel eine Anzeigevorrichtung wie etwa eine Anzeigevorrichtung einer Kathodenstrahlröhre (CRT), eine Vorrichtung einer Flüssigkristallanzeige (LCD), eine Vorrichtung mit organischen lichtemittierenden Dioden (OLED) und eine Lampe. Darüber hinaus enthält die Ausgabeeinrichtung 909 eine Sprachausgabevorrichtung wie etwa einen Lautsprecher und Kopfhörer. Außerdem enthält die Ausgabeeinrichtung 909 eine beliebige tragbare Vorrichtung (zum Beispiel eine brillenartige, uhrartige, handschuhartige, kleidungsartige tragbare Vorrichtung oder dergleichen). Obgleich ein Fall, in dem die Ausgabevorrichtungsgruppe 130 außerhalb der Client-Vorrichtung 110 vorgesehen ist, oben als Beispiel beschrieben ist, kann in einem Fall, in dem ein Teil der Ausgabevorrichtungsgruppe 130 in der Client-Vorrichtung 110 vorgesehen ist, die Ausgabevorrichtungsgruppe 130 durch die Ausgabeeinrichtung 909 verkörpert werden.
Die Speichervorrichtung 910 ist eine Vorrichtung zum Speichern von Daten. Die Speichervorrichtung 910 kann ein Speichermedium, ein Aufzeichnungsmedium, das Daten im Speichermedium aufzeichnet, eine Lesevorrichtung, die die Daten vom Speichermedium liest, eine Löschvorrichtung, die die im Speichermedium aufgezeichneten Daten löscht, und dergleichen enthalten. Die Speichervorrichtung 910 enthält zum Beispiel ein Festplattenlaufwerk (HDD). Die Speichervorrichtung 910 steuert die Festplatte an und speichert von der CPU 901 ausgeführte Programme und verschiedene Daten. Die Speichervorrichtung 910 realisiert die Funktion der Speichereinheit 230 der Server-Vorrichtung 200 oder der Speichereinheit 115 der Client-Vorrichtung 110.
Das Laufwerk 911 ist ein Lese-/Schreibgerät für ein Speichermedium und ist in der Informationsverarbeitungsvorrichtung 900 eingebaut oder darauf extern montiert. Das Laufwerk 911 liest Information, die in einem austauschbaren Speichermedium 913 wie etwa einer Magnetplatte, einer optischen Platte, einer magnetooptischen Platte oder einem Halbleiterspeicher, der darauf montiert ist, aufgezeichnet ist, aus, um sie an den RAM 903 auszugeben. Darüber hinaus kann das Laufwerk 911 auch eine Information im austauschbaren Speichermedium 913 schreiben.
Die Kommunikationsvorrichtung 912 ist beispielsweise eine Kommunikationsschnittstelle, die von einer Kommunikationsvorrichtung und dergleichen zum Verbinden mit einem Kommunikationsnetzwerk 914 gebildet wird. Die Kommunikationsvorrichtung 912 realisiert die Funktion der Kommunikationseinheit 220 der Server-Vorrichtung 200 oder der Kommunikationseinheit 113 der Client-Vorrichtung 110.
<Zusammenfassung>
Wie oben beschrieben wurde, erfasst bzw. erhält die Informationsverarbeitungsvorrichtung (Server-Vorrichtung 200) gemäß der vorliegenden Offenbarung die erste physische Information des ersten Nutzers (zum Beispiel des Ausbilders), der sich im ersten Raum 100A befindet, oder die zweite physische Information des zweiten Nutzers (zum Beispiel des Schülers), der sich im zweiten Raum 100B befindet, und erzeugt auf der Basis der ersten oder zweiten physischen Information den virtuellen Raum. Konkreter erzeugt die Informationsverarbeitungsvorrichtung den virtuellen Raum, der die Positionsbeziehung des ersten Nutzers oder des zweiten Nutzers wiedergibt. Man beachte, dass, wie oben beschrieben wurde, die Informationsverarbeitungsvorrichtung auch das in jedem Raum vorhandene Objekt im virtuellen Raum wiedergeben kann, indem die erste Umgebungsinformation bezüglich des im ersten Raum 100A vorhandenen Objekts oder die zweite Umgebungsinformation bezüglich des im zweiten Raum 100B vorhandenen Objekts verwendet wird.
In einem Fall, in dem der durch zumindest einen des ersten Nutzers oder des zweiten Nutzers hervorgerufene Auslöser auftritt, schaltet dann die Informationsverarbeitungsvorrichtung den Betriebsmodus um und verschränkt die Umschaltung des Betriebsmodus mit zumindest einer in dem ersten Raum 100A oder dem zweiten Raum 100B vorgesehenen Vorrichtung (zum Beispiel der Tischanzeige 131, der Fensteranzeige 133, dem Lautsprecher 135, der Vorrichtung 137 zur Präsentation einer fühlbaren Empfindung oder dergleichen). Die Informationsverarbeitungsvorrichtung spiegelt beispielsweise die Information, die erhalten wird, indem das durch die Kamera 123 erhaltene aufgenommene Bild editiert wird, oder eine partielle Information des virtuellen Raums in der Anzeige und dergleichen wider, die in dem ersten Raum 100A oder dem zweiten Raum 100B vorgesehen ist.
Infolgedessen kann die Informationsverarbeitungsvorrichtung ermöglichen, dass der erste Nutzer oder der zweite Nutzer, die sich in den verschiedenen Räumen befinden, den Eindruck gewinnen, als ob die jeweiligen Nutzer im gleichen Raum arbeiten.
Obgleich die bevorzugte Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf die beigefügten Zeichnungen oben im Detail beschrieben ist, ist der technische Umfang der vorliegenden Offenbarung nicht auf solche Beispiele beschränkt. Es ist klar, dass der Fachmann auf dem technischen Gebiet der vorliegenden Offenbarung verschiedene Modifikationen und Korrekturen innerhalb des Umfangs der technischen Idee, die in den Ansprüchen wiedergegeben ist, konzipieren kann, und es versteht sich, dass sie natürlich ebenfalls zum technischen Umfang der vorliegenden Offenbarung gehören.
Obgleich ein Fall, in dem das Informationsverarbeitungssystem gemäß der vorliegenden Offenbarung zur Anleitung in Bezug auf Chirurgie und Handwerk genutzt wird, oben (16 und 17) als Beispiel beschrieben ist, ist die Anwendung des Informationsverarbeitungssystems gemäß der vorliegenden Offenbarung nicht auf diese beschränkt.
Beispielsweise kann das Informationsverarbeitungssystem gemäß der vorliegenden Offenbarung für verschiedene, von einer Vielzahl von Nutzern durchgeführte Kommunikationen genutzt werden, wie etwa eine Anleitung zum Kochen, wie in 33 veranschaulicht ist, eine Anleitung in Bezug auf Kalligrafie, wie in 34 veranschaulicht ist, eine Anleitung in Bezug auf das Spielen eines Musikinstruments, wie in 35 veranschaulicht ist, oder ein Interview und eine Konferenz, die unter Verwendung von Dokumenten durchgeführt wird, wie in 36 veranschaulicht ist. Man kann sagen, dass das Informationsverarbeitungssystem gemäß der vorliegenden Offenbarung für Anwendungen, die heikle Arbeiten erfordern, wegen ihrer Charakteristik, dass eine Vielzahl von Nutzern miteinander kommunizieren kann, während sich ihre Positionsbeziehungen und Körperhaltungen ändern, besonders nützlich ist.
Darüber hinaus sind die in dieser Beschreibung beschriebenen Effekte nur veranschaulichend oder beispielhaft und nicht einschränkend. Das heißt, die Technologie gemäß der vorliegenden Offenbarung kann andere Effekte, die für den Fachmann aus der Beschreibung dieser Spezifikation offensichtlich sind, zusammen mit oder anstelle von den oben beschriebenen Effekten zeigen.
Man beachte, dass die folgenden Konfigurationen ebenfalls zum technischen Umfang der vorliegenden Offenbarung gehören.

(1) Eine Informationsverarbeitungsvorrichtung, die versehen ist mit:
- einer Erfassungseinheit, die eine erste physische Information eines sich in einem ersten Raum befindenden ersten Nutzers und eine zweite physische Information eines sich in einem zweiten Raum befindenden zweiten Nutzers erfasst bzw. erhält;
- einer Einheit zur Erzeugung eines virtuellen Raums, die einen virtuellen Raum auf der Basis der ersten physischen Information oder der zweiten physischen Information erzeugt;
- einer Betriebsmodus-Steuerungseinheit, die einen Betriebsmodus umschaltet, falls ein von zumindest einem des ersten Nutzers oder des zweiten Nutzers verursachter Auslöser auftritt; und
- einer Steuerungseinheit, die eine Umschaltung des Betriebsmodus mit zumindest einer im ersten Raum vorhandenen Vorrichtung oder zumindest einer im zweiten Raum vorhandenen Vorrichtung verschränkt.
(2) Die Informationsverarbeitungsvorrichtung gemäß dem oben beschriebenen (1), worin die Erfassungseinheit ferner eine erste Umgebungsinformation, die eine Information in Bezug auf ein im ersten Raum vorhandenes Objekt enthält, oder eine zweite Umgebungsinformation, die eine Information in Bezug auf ein im zweiten Raum vorhandenes Objekt enthält, erhält und die Einheit zur Erzeugung eines virtuellen Raums den virtuellen Raum auch auf der Basis der ersten Umgebungsinformation oder der zweiten Umgebungsinformation erzeugt.
(3) Die Informationsverarbeitungsvorrichtung gemäß dem oben beschriebenen (2), worin die Betriebsmodus-Steuerungseinheit den Betriebsmodus auf der Basis einer Änderung in einer Positionsbeziehung zwischen dem ersten Nutzer und dem zweiten Nutzer im virtuellen Raum umschaltet.
(4) Die Informationsverarbeitungsvorrichtung gemäß dem oben beschriebenen (3), worin die Positionsbeziehung zumindest eine einer Beziehung, in der der erste Nutzer und der zweite Nutzer von Angesicht zu Angesicht einander gegenüberstehen, einer Beziehung, in der sich der erste Nutzer und der zweite Nutzer in einem Zustand, in dem sie im Wesentlichen in die gleiche Richtung blicken, nebeneinander befinden, oder einer Beziehung, in der der erste Nutzer und der zweite Nutzer so angeordnet sind, dass einer den anderen in einem Zustand verdeckt, in dem sie im Wesentlichen in die gleiche Richtung blicken.
(5) Die Informationsverarbeitungsvorrichtung gemäß einem der oben beschriebenen (1) bis (4), worin die Vorrichtung zumindest eine Anzeige enthält.
(6) Die Informationsverarbeitungsvorrichtung gemäß dem oben beschriebenen (5), worin die Vorrichtung eine erste Anzeige, deren Anzeigeoberfläche im Wesentlichen senkrecht zu einer Bodenfläche gelegen ist, und eine zweite Anzeige, deren Anzeigeoberfläche im Wesentlichen parallel zur Bodenfläche gelegen ist, umfasst.
(7) Die Informationsverarbeitungsvorrichtung gemäß dem oben beschriebenen (6), worin die zweite Anzeige auch als Arbeitstisch für den ersten Nutzer oder den zweiten Nutzer genutzt wird.
(8) Die Informationsverarbeitungsvorrichtung gemäß dem oben beschriebenen (7), worin die Steuerungseinheit ermöglicht, dass die erste Anzeige oder die zweite Anzeige, die in dem ersten Raum vorhanden ist, zumindest einen Teil der zweiten physischen Information anzeigt.
(9) Die Informationsverarbeitungsvorrichtung gemäß dem oben beschriebenen (8), ferner versehen mit:
- einer Analyseeinheit, die ein aufgenommenes Bild analysiert, in dem zumindest ein Teil der zweiten physischen Information und ein Anzeigebild der im zweiten Raum vorhandenen zweiten Anzeige aufgenommen sind, um zumindest einen Teil der zweiten physischen Information aus dem aufgenommenen Bild zu extrahieren.
(10) Die Informationsverarbeitungsvorrichtung gemäß dem oben beschriebenen (9), worin in einem Fall, in dem es eine Vielzahl zweiter Räume und eine Vielzahl zweiter Nutzer gibt, die Steuerungseinheit ermöglicht, dass die erste Anzeige oder die zweite Anzeige zumindest einen Teil der zweiten physischen Information jedes der Vielzahl zweiter Nutzer anzeigt.
(11) Die Informationsverarbeitungsvorrichtung gemäß dem oben beschriebenen (10), worin die Analyseeinheit die zweite physische Information jedes der Vielzahl zweiter Nutzer analysiert, um eine Arbeit jedes der zweiten Nutzer zu bewerten.
(12) Die Informationsverarbeitungsvorrichtung gemäß einem der oben beschriebenen (1) bis (11), worin die Steuerungseinheit zumindest eine im zweiten Raum vorhandene Vorrichtung auf der Basis einer Eingabe durch den ersten Nutzer steuert.
(13) Die Informationsverarbeitungsvorrichtung gemäß dem oben beschriebenen (12), worin in einem Fall, in dem es eine Vielzahl zweiter Räume und eine Vielzahl zweiter Nutzer gibt, die Steuerungseinheit zumindest einen der Vielzahl zweiter Räume auf der Basis der Eingabe durch den ersten Nutzer spezifiziert und zumindest eine im spezifizierten zweiten Raum vorhandene Vorrichtung steuert.
(14) Die Informationsverarbeitungsvorrichtung gemäß einem der oben beschriebenen (1) bis (13), worin die Vorrichtung einen Lautsprecher oder eine Vorrichtung zur Präsentation einer fühlbaren Empfindung enthält.
(15) Ein Informationsverarbeitungsverfahren, das von einem Computer ausgeführt wird, wobei das Verfahren vorgesehen ist mit:
- einem Erhalten einer ersten physischen Information eines sich in einem ersten Raum befindenden ersten Nutzers und einer zweiten physischen Information eines sich in einem zweiten Raum befindenden zweiten Nutzers;
- einem Erzeugen eines virtuellen Raums auf der Basis der ersten physischen Information oder der zweiten physischen Information,
- einem Umschalten eines Betriebsmodus in einem Fall, in dem ein durch zumindest einen des ersten Nutzers oder des zweiten Nutzers verursachter Auslöser auftritt; und
- einem Verschränken einer Umschaltung des Betriebsmodus mit zumindest einer im ersten Raum vorhandenen Vorrichtung oder zumindest einer im zweiten Raum vorhandenen Vorrichtung.
(16) Ein Programm, das einem Computer ermöglicht, zu realisieren:
- ein Erhalten einer ersten physischen Information eines sich in einem ersten Raum befindenden ersten Nutzers und einer zweiten physischen Information eines sich in einem zweiten Raum befindenden zweiten Nutzers;
- ein Erzeugen eines virtuellen Raums auf der Basis der ersten physischen Information oder der zweiten physischen Information,
- ein Umschalten eines Betriebsmodus in einem Fall, in dem ein von zumindest einem des ersten Nutzers oder des zweiten Nutzers verursachter Auslöser auftritt; und
- ein Verschränken einer Umschaltung des Betriebsmodus mit zumindest einer im ersten Raum vorhandenen Vorrichtung oder zumindest einer im zweiten Raum vorhandenen Vorrichtung.

Bezugszeichenliste

100A: Erster Raum
100B: zweiter Raum
110: Client-Vorrichtung
111: Steuerungseinheit
113: Kommunikationseinheit
115: Speichereinheit
120: Eingabevorrichtungsgruppe
121: Sensoreinheit
123: Kamera
125: Mikrofon
130: Ausgabevorrichtungsgruppe
131: Tischanzeige
133: Fensteranzeige
135: Lautsprecher
137: Vorrichtung zur Präsentation einer fühlbaren Empfindung
200: Server-Vorrichtung
210: Steuerungseinheit
211: Eingabeinformations-Analyseeinheit
213: Einheit zur Erzeugung eines virtuellen Raums
215: Anzeigesteuerungseinheit
215a: Anzeigesteuerungseinheit für eine Tischanzeige
215b: Anzeigesteuerungseinheit für eine Fensteranzeige
217: Sprachausgabe-Steuerungseinheit
219: Steuerungseinheit zur Präsentation einer fühlbaren Empfindung
220: Kommunikationseinheit
230: Speichereinheit
300: Netzwerk

Claims

Informationsverarbeitungsvorrichtung, aufweisend: eine Erfassungseinheit, die eine erste physische Information eines sich in einem ersten Raum befindenden ersten Nutzers und eine zweite physische Information eines sich in einem zweiten Raum befindenden zweiten Nutzers erhält; eine Einheit zur Erzeugung eines virtuellen Raums, die einen virtuellen Raum auf der Basis der ersten physischen Information oder der zweiten physischen Information erzeugt; eine Betriebsmodus-Steuerungseinheit, die einen Betriebsmodus umschaltet, falls ein von zumindest einem des ersten Nutzers oder des zweiten Nutzers verursachter Auslöser auftritt; und eine Steuerungseinheit, die eine Umschaltung des Betriebsmodus mit zumindest einer im ersten Raum vorhandenen Vorrichtung oder zumindest einer im zweiten Raum vorhandenen Vorrichtung verschränkt.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Erfassungseinheit ferner eine erste Umgebungsinformation, die eine Information in Bezug auf ein im ersten Raum vorhandenes Objekt enthält, oder eine zweite Umgebungsinformation, die eine Information in Bezug auf ein im zweiten Raum vorhandenes Objekt enthält, erhält und die Einheit zur Erzeugung eines virtuellen Raums den virtuellen Raum auch auf Basis der ersten Umgebungsinformation oder der zweiten Umgebungsinformation erzeugt.
Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Betriebsmodus-Steuerungseinheit den Betriebsmodus auf Basis einer Änderung in einer Positionsbeziehung zwischen dem ersten Nutzer und dem zweiten Nutzer im virtuellen Raum umschaltet.
Informationsverarbeitungsvorrichtung nach Anspruch 3, wobei die Positionsbeziehung zumindest eine einer Beziehung, in der der erste Nutzer und der zweite Nutzer von Angesicht zu Angesicht einander gegenüberstehen, einer Beziehung, in der sich der erste Nutzer und der zweite Nutzer in einem Zustand, in dem sie im Wesentlichen in die gleiche Richtung blicken, nebeneinander befinden, oder einer Beziehung, in der der erste Nutzer und der zweite Nutzer so angeordnet sind, dass einer den anderen in einem Zustand verdeckt, in dem sie im Wesentlichen in die gleiche Richtung blicken.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Vorrichtung zumindest eine Anzeige enthält.
Informationsverarbeitungsvorrichtung nach Anspruch 5, wobei die Vorrichtung eine erste Anzeige, deren Anzeigeoberfläche im Wesentlichen senkrecht zu einer Bodenfläche gelegen ist, und eine zweite Anzeige, deren Anzeigeoberfläche im Wesentlichen parallel zur Bodenfläche gelegen ist, umfasst.
Informationsverarbeitungsvorrichtung nach Anspruch 6, wobei die zweite Anzeige auch als Arbeitstisch für den ersten Nutzer oder den zweiten Nutzer genutzt wird.
Informationsverarbeitungsvorrichtung nach Anspruch 7, wobei die Steuerungseinheit ermöglicht, dass die erste Anzeige oder die zweite Anzeige, die in dem ersten Raum vorhanden ist, zumindest einen Teil der zweiten physischen Information anzeigt.
Informationsverarbeitungsvorrichtung nach Anspruch 8, ferner aufweisend: eine Analyseeinheit, die ein aufgenommenes Bild analysiert, in dem zumindest ein Teil der zweiten physischen Information und ein Anzeigebild der im zweiten Raum vorhandenen zweiten Anzeige aufgenommen sind, um zumindest einen Teil der zweiten physischen Information aus dem aufgenommenen Bild zu extrahieren.
Informationsverarbeitungsvorrichtung nach Anspruch 9, wobei in einem Fall, in dem es eine Vielzahl zweiter Räume und eine Vielzahl zweiter Nutzer gibt, die Steuerungseinheit ermöglicht, dass die erste Anzeige oder die zweite Anzeige zumindest einen Teil der zweiten physischen Information jedes der Vielzahl zweiter Nutzer anzeigt.
Informationsverarbeitungsvorrichtung nach Anspruch 10, wobei die Analyseeinheit die zweite physische Information jedes der Vielzahl zweiter Nutzer analysiert, um eine Arbeit jedes der zweiten Nutzer zu bewerten.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Steuerungseinheit zumindest eine im zweiten Raum vorhandene Vorrichtung auf Basis einer Eingabe durch den ersten Nutzer steuert.
Informationsverarbeitungsvorrichtung nach Anspruch 12, wobei in einem Fall, in dem es eine Vielzahl zweiter Räume und eine Vielzahl zweiter Nutzer gibt, die Steuerungseinheit zumindest einen der Vielzahl zweiter Räume auf Basis der Eingabe durch den ersten Nutzer spezifiziert und zumindest eine im spezifizierten zweiten Raum vorhandene Vorrichtung steuert.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Vorrichtung einen Lautsprecher oder eine Vorrichtung zur Präsentation einer fühlbaren Empfindung enthält.
Informationsverarbeitungsverfahren, das von einem Computer ausgeführt wird, wobei das Verfahren aufweist: ein Erhalten einer ersten physischen Information eines sich in einem ersten Raum befindenden ersten Nutzers und einer zweiten physischen Information eines sich in einem zweiten Raum befindenden zweiten Nutzers; ein Erzeugen eines virtuellen Raums auf Basis der ersten physischen Information oder der zweiten physischen Information, ein Umschalten eines Betriebsmodus in einem Fall, in dem ein durch zumindest einen des ersten Nutzers oder des zweiten Nutzers verursachter Auslöser auftritt; und ein Verschränken einer Umschaltung des Betriebsmodus mit zumindest einer im ersten Raum vorhandenen Vorrichtung oder zumindest einer im zweiten Raum vorhandenen Vorrichtung.
Programm, das einem Computer ermöglicht, zu realisieren: ein Erhalten einer ersten physischen Information eines sich in einem ersten Raum befindenden ersten Nutzers und einer zweiten physischen Information eines sich in einem zweiten Raum befindenden zweiten Nutzers; ein Erzeugen eines virtuellen Raums auf Basis der ersten physischen Information oder der zweiten physischen Information; ein Umschalten eines Betriebsmodus in einem Fall, in dem ein von zumindest einem des ersten Nutzers oder des zweiten Nutzers verursachter Auslöser auftritt; und ein Verschränken einer Umschaltung des Betriebsmodus mit zumindest einer im ersten Raum vorhandenen Vorrichtung oder zumindest einer im zweiten Raum vorhandenen Vorrichtung.