JP2015005902A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2015005902A
JP2015005902A JP2013130505A JP2013130505A JP2015005902A JP 2015005902 A JP2015005902 A JP 2015005902A JP 2013130505 A JP2013130505 A JP 2013130505A JP 2013130505 A JP2013130505 A JP 2013130505A JP 2015005902 A JP2015005902 A JP 2015005902A
Authority
JP
Japan
Prior art keywords
communication device
image
content
communication
virtual space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013130505A
Other languages
English (en)
Inventor
彦辰 陳
Yanchen Chen
彦辰 陳
崇 北尾
Takashi Kitao
崇 北尾
宏二 井原
Koji Ihara
宏二 井原
克也 兵頭
Katsuya Hyodo
克也 兵頭
遼 深澤
Ryo Fukazawa
遼 深澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013130505A priority Critical patent/JP2015005902A/ja
Priority to US14/302,917 priority patent/US20140380161A1/en
Priority to CN201410264138.2A priority patent/CN104238873B/zh
Publication of JP2015005902A publication Critical patent/JP2015005902A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2807Exchanging configuration information on appliance services in a home automation network
    • H04L12/2812Exchanging configuration information on appliance services in a home automation network describing content present in a home automation network, e.g. audio video content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2807Exchanging configuration information on appliance services in a home automation network
    • H04L12/2814Exchanging control software or macros for controlling appliance services in a home automation network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/452Remote windowing, e.g. X-Window System, desktop virtualisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Digital Computer Display Output (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Abstract

【課題】ユーザに通信装置が実行中のコンテンツを直感的に把握させることができる技術が求められていた。
【解決手段】本開示によれば、通信ネットワークを介して通信装置と通信可能な通信部と、通信装置及び通信装置が実行中のコンテンツを再現した通信装置画像を仮想空間に配置し、仮想空間を表示する制御を行う制御部と、を備える情報処理装置が提供される。本開示によれば、制御部は、通信装置画像を仮想空間内に配置するので、ユーザは、仮想空間を視認することで、各通信装置が実行中のコンテンツを俯瞰的かつ直感的に把握することができる。
【選択図】図2

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
特許文献1に開示された技術は、携帯端末と表示端末との連携において動作モードを自動的に切り替える。また、特許文献1に開示された技術は、ネットワークに接続された出力装置をアイコンで一覧表示する。ユーザは、コンテンツアイコンを出力装置のアイコンにドロップすることで、所望の出力装置にコンテンツを実行させる。特許文献2に開示された技術は、テレビ、DVDレコーダ等の機器アイコンと、放送の種類(アナログ地上波放送等)を示すコンテンツアイコンとを一覧表示する。そして、この技術は、コンテンツアイコンが機器アイコンにドラッグアンドドロップされた際にそのコンテンツアイコンに対応するアプリケーションを実行する。特許文献3に開示された技術は、ネットワークに接続されたソース機器及びこれらのソース機器が有するコンテンツの一覧を取得し、それらをネットワークに接続された出力機器に再生する操作をサポートする。
特開2011−217236号公報 特開2007−104567号公報 特開2004−129154号公報
しかし、特許文献1〜3に開示された技術では、ユーザは、ネットワークに接続された通信装置が実行中のコンテンツを直感的に把握することができなかった。このため、ユーザに通信装置が実行中のコンテンツを直感的に把握させることができる技術が求められていた。
本開示によれば、通信ネットワークを介して通信装置と通信可能な通信部と、通信装置及び通信装置が実行中のコンテンツを再現した通信装置画像を仮想空間に配置し、仮想空間を表示する制御を行う制御部と、を備える情報処理装置が提供される。
本開示によれば、通信ネットワークを介して通信装置と通信を行うことと、通信装置及び通信装置が実行中のコンテンツを再現した通信装置画像を仮想空間に配置し、仮想空間を表示する制御を行うことと、を含む、情報処理方法が提供される。
本開示によれば、コンピュータに、通信ネットワークを介して通信装置と通信可能な通信機能と、通信装置及び通信装置が実行中のコンテンツを再現した通信装置画像を仮想空間に配置し、仮想空間を表示する制御を行う制御機能と、を実現させる、プログラムが提供される。
本開示によれば、制御部は、通信装置及び通信装置が実行中のコンテンツを再現した通信装置画像を仮想空間に配置し、仮想空間を表示する制御を行う。したがって、ユーザは、仮想空間を視認することで、通信装置が実行中のコンテンツを直感的に把握することができる。
以上説明したように本開示によれば、ユーザは、仮想空間を視認することで、通信装置が実行中のコンテンツを直感的に把握することができる。
本開示の実施形態に係る情報処理システムの構成を示すブロック図である。 同実施形態に係るサーバの構成を示すブロック図である。 通信装置の構成を示すブロック図である。 サーバによる処理の手順を示すフローチャートである。 仮想空間の例を示す説明図である。 仮想空間の例を示す説明図である。 表示部を有しない通信装置の一例であるスピーカの外観を示す正面図である。 仮想空間の例を示す説明図である。 仮想空間の例を示す説明図である。 通信装置の表示部に仮想空間が表示される例を示す説明図である。 通信装置の表示部に仮想空間が表示される例を示す説明図である。 実空間内で通信装置が配置される例を示す平面図である。 通信装置の表示部に仮想空間が表示される例を示す説明図である。 通信装置の表示部に仮想空間が表示される例を示す説明図である。 情報処理システムによる処理の手順を示すシーケンス図である。 通信装置の表示部に仮想空間が表示される例を示す説明図である。 通信装置の表示部に仮想空間が表示される例を示す説明図である。 ユーザ操作に応じて仮想空間内の仮想コンテンツが移動する例を示す説明図である。 コンテンツが通信装置間で移譲される例を示す説明図である。 コンテンツが通信装置間で共有される例を示す説明図である。 実空間内で通信装置が配置される例を示す平面図である。 仮想空間の例を示す説明図である。 ユーザ操作に応じて仮想空間内の仮想コンテンツが移動する例を示す説明図である。 コンテンツが通信装置間にまたがって表示される例を示す説明図である。 ユーザ操作に応じて各通信装置画像の機能表示画像が他の通信装置画像に関連付けられる例を示す説明図である。 ユーザ操作に応じて各通信装置画像の機能表示画像が他の通信装置画像に関連付けられる例を示す説明図である。 仮想空間の例を示す説明図である。 ユーザ操作に応じて通信装置画像の機能表示画像が他の複数の通信装置画像に関連付けられる例を示す説明図である。 実空間内で通信装置が配置される例を示す平面図である。 仮想空間内の仮想コンテンツを操作する例を示す説明図である。 ユーザ操作に応じて仮想空間内の仮想コンテンツが変動する例を示す説明図である。 通信装置に表示されるコンテンツが変動する例を示す平面図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.背景技術の検討
2.情報処理システムの概略構成
2−1.全体構成
2−2.サーバの構成
2−3.通信装置の構成
3.サーバによる処理の手順
4.仮想空間を利用した操作
4−1.情報処理システムによる処理の手順
4−2.各種表示例
4−2−1.仮想空間の拡大縮小
4−2−2.仮想空間の表示非表示の切り替え
4−2−3.コンテンツの移譲
4−2−4.コンテンツの共有
4−2−5.任意に取得したコンテンツの共有
4−2−6.機能の移譲例1
4−2−7.機能の移譲例2
4−2−8.機能の移譲例3
4−2−9.仮想空間上で仮想コンテンツを操作する例
<1.背景技術の検討>
本発明者は、本実施形態の背景技術を検討することで、本実施形態に係る情報処理システムに想到するに至った。そこで、まず、本実施形態の背景技術について説明する。
近年のAV機器や情報端末では、機器同士を接続してコンテンツを操作・共有する機器連携が盛んに行われている。例えば、あるレコーダで録画した番組を別の部屋にあるタブレット端末上で視聴する例、パソコン上に保存されている音楽をパソコンから離れた場所にある音楽プレーヤにネットワーク経由で転送し、この音楽プレーヤで再生する例等が提案されている。さらにこれらの機器連携機能は今後も拡充され、対応機器も増えていくと考えられ、将来的にはユーザの扱う多くの機器が連携可能な状態になると予想される。上述した特許文献1〜3は、これら機器連携の操作性を向上するための技術を開示する。
しかし、これらの技術では、ユーザは、ネットワークに接続された通信装置が実行中のコンテンツを直感的に把握することができなかった。
具体的には、特許文献1〜3に開示された技術では、ネットワーク接続された通信装置をアイコンで一覧表示する。したがって、ユーザは、これらのアイコンを視認することで、ネットワークに接続された通信装置を把握することができる。しかし、ユーザは、各通信装置が実行中のコンテンツを直感的に把握することができない。したがって、ユーザは、例えば、各通信装置が実行中のコンテンツを踏まえた操作(例えば、ある通信装置で実行中のコンテンツを他の通信装置と共有させる操作)等を行うことができなかった。
本発明者は、上記の背景技術を踏まえて本実施形態に係る情報処理システムに想到した。本実施形態に係る情報処理システムは、第1に、ネットワークに接続された通信装置及び通信装置が実行中のコンテンツを再現した通信装置画像を仮想空間内に配置し、かつ、仮想空間を表示する。したがって、ユーザは、仮想空間内の通信装置画像を視認することで、文字やアイコン等に頼ることなく、各通信装置が実行中のコンテンツを直感的かつ俯瞰的に把握することができる。
第2に、情報処理システムは、ユーザ操作に基づいて、複数の通信装置同士の接続やコンテンツの移譲・共有、さらには各通信装置が保有する機能の複数通信装置間での移譲・共有を可能にする。
以上により、ユーザは、複数の通信装置の各々が実行中のコンテンツ、及び接続状態(連携状態)をビジュアルで直感的に把握することができる。さらに、ユーザは、コンテンツ及び機能の複数通信装置間で共有させる等の操作を直感的に行うことができる。したがって、情報処理システムは、複数通信装置が連携した際の操作性を向上させることが可能となる。
<2.情報処理システムの概略構成>
次に、図1〜図3に基づいて、本実施形態に係る情報処理システム10の概略構成について説明する。
(2−1.全体構成)
情報処理システム10は、図1に示すように、サーバ(情報処理装置)20と、1または複数の通信装置30と、ネットワーク40とを備える。サーバ20は、ネットワーク40に接続されており、仮想空間の生成、仮想空間内への通信装置画像等の配置、及び表示制御等を行う。通信装置30は、ネットワーク40に接続されており、コンテンツの実行等を行う。通信装置30のうち、少なくとも1つはユーザによる入力操作が可能となっている。ユーザにより入力操作される通信装置30は、コンテンツの実行の他、仮想空間の表示等も行う。
通信装置30の種類は特に制限されるものではなく、ネットワーク40に接続可能であれば特に制限されない。例えば、通信装置30は、各種のAV機器または情報端末となる。より具体的には、通信装置30は、各種パソコン(デスクトップパソコン、ノートパソコン等)、スマートフォン、スマートタブレット、携帯電話、テレビ(テレビジョン受信機)、スピーカ等となる。なお、通信装置30は、ネットワーク40に直接接続されている必要はなく、例えば他の通信装置30を介してネットワーク40に接続されていてもよい。通信装置30の数も制限されない。通信装置30は1つであっても複数であってもよい。ネットワーク40は、サーバ20及び通信装置30を相互に接続する。サーバ20及び通信装置30は、ネットワーク40を介して各種情報の通信を行う。ネットワーク40の種類も特に制限されない。ネットワーク40は、例えばホームネットワーク、ホームネットワークよりも広範なネットワーク等であってもよい。
(2−2.サーバの構成)
サーバ20は、図2に示すように、通信部21と、記憶部22と、制御部23とを備える。サーバ20は、CPU、ROM、RAM、ハードディスク、各種通信回路等のハードウェア構成を備え、これらのハードウェア構成によって上記各機能を実現する。すなわち、ROMは、サーバ20に通信部21、記憶部22、及び制御部23を実現させるためのプログラムを記憶しており、CPUは、ROMに記憶されたプログラムを読みだして実行する。これにより、通信部21、記憶部22、及び制御部23が実現される。なお、サーバ20は、上記以外の機能、例えば表示部、入力部等を有していてもよい。サーバ20が表示部を有する場合、仮想空間はサーバ20の表示部に表示されても良い。
通信部21は、通信装置30とネットワーク40を介して通信を行う。記憶部22は、上述したプログラム等を記憶する。制御部23は、仮想空間を生成し、さらに、各通信装置30及び通信装置30が実行中のコンテンツを再現した通信装置画像(例えば図5に示す通信装置画像110−1〜110−4参照)を生成する。制御部23は、仮想空間内に各通信装置画像を配置する。さらに、制御部23は、仮想空間に関する仮想空間情報をいずれかの通信装置30に送信する。通信装置30は、仮想空間を表示する。これにより、ユーザは、通信装置30及び通信装置30が実行中のコンテンツが再現された通信装置画像を視認することができるので、各通信装置30が実行中のコンテンツをあたかも鳥瞰型の地図を見るような感覚で俯瞰できる。すなわち、ユーザは、各通信装置30が実行中のコンテンツを直感的かつ俯瞰的に把握することができる。
(2−3.通信装置の構成)
通信装置30は、図3に示すように、通信部31と、記憶部32と、入力部33と、表示部34と、音声出力部35と、制御部36とを備える。通信装置30は、CPU、ROM、RAM、ハードディスク、ディスプレイ、各種入力装置(タッチパネル、キーボード、マウス等)、各種通信回路等のハードウェア構成を備え、これらのハードウェア構成によって上記各機能を実現する。すなわち、ROMは、通信装置30に通信部31、記憶部32、入力部33、表示部34、音声出力部35、及び制御部36を実現させるためのプログラムを記憶しており、CPUは、ROMに記憶されたプログラムを読みだして実行する。これにより、通信部31、記憶部32、入力部33、表示部34、音声出力部35、及び制御部36が実現される。なお、通信装置30の機能は上記に限定されない。通信装置30は、少なくともネットワーク40に接続可能であればよい。ただし、少なくとも1つの通信装置30は、表示部34を有する。表示部34を有する通信装置30は、仮想空間を表示することができる。表示部34を有する通信装置30は、さらに入力部33を有することが好ましい。入力部33及び表示部34を有する通信装置30は、入力操作に応じて仮想空間内の各画像を移動させることができる。
通信部31は、ネットワーク40を介して他の通信装置30及びサーバ20と通信を行う。記憶部32は、上述したプログラム等を記憶する。入力部33は、ユーザによる入力操作を受け付ける。表示部34は、各種情報、例えば上述した仮想空間、及びコンテンツ(画像コンテンツ)を表示する。なお、画像コンテンツの種類は特に問われない。画像コンテンツとしては、例えば、Webページ、文言、静止画像、動画などが挙げられる。音声出力部35は、コンテンツ(音声コンテンツ)を音声にて出力する。制御部36は、通信装置30全体の制御を行う。
また、制御部36は、通信装置30の現在位置を検出してもよい。具体的な方法は特に制限されないが、例えば、制御部36は、通信部31を介してGPS情報を取得し、このGPS情報に基づいて現在位置を検出してもよい。制御部36は、通信装置30の種類、現在位置、通信装置30が実行中のコンテンツ(例えば表示部34に表示中のコンテンツ)、及び通信装置30が有する機能を示す通信装置情報をサーバ20に出力する。ここで、通信装置30の種類は、例えばパソコン、スマートフォン、スマートタブレット、テレビジョン受信機等の区分を示す情報である。通信装置30が有する機能としては、画像表示(映像表示)、音声出力、入力操作、音声入力、リモートコントロール(リモコン)等が挙げられる。音声出力については、スピーカによる出力、ヘッドフォンによる出力にさらに区分されてもよい。制御部23は、通信装置情報を用いて上述した処理を行う。後述する通信装置30−1〜30−6は、いずれも通信装置30の一種である。
<3.サーバによる処理の手順>
次に、サーバ20による処理の手順を図4に示すフローチャートに沿って説明する。なお、ここでは、仮想空間の表示までの処理について説明する。
ステップS10において、各通信装置30の制御部36は、通信部31を介してGPS情報を取得し、このGPS情報に基づいて現在位置を検出する。そして、制御部36は、通信装置30−1の種類、現在位置、通信装置30が実行中のコンテンツ、及び通信装置30が有する機能(またはこれらの機能を実現する装置名)を示す通信装置情報をサーバ20に出力する。サーバ20の通信部21は、通信装置情報を取得し、制御部23に出力する。制御部23は、通信装置情報に基づいて、通信装置30を検出する。
ステップS20において、制御部23は、仮想空間を設定する。仮想空間は2次元空間であっても、3次元空間であってもよい。
ステップS30において、制御部23は、通信装置情報に基づいて、通信装置30及び通信装置30が実行中のコンテンツを再現した通信装置画像を生成する。通信装置画像は、通信装置30の外観を再現した本体画像と、通信装置30が実行中のコンテンツを再現した仮想コンテンツとで構成されている。仮想コンテンツは、通信装置30が表示部を有する場合、表示部に相当する表示部画像に表示される。また、通信装置30が音声コンテンツを実行中の場合、仮想コンテンツは、音声コンテンツの実行中(再生中)であることを示す画像となる。このような画像としては、例えば音符画像、再生中であることを示すアイコン、音楽プレーヤの画面等が挙げられる。音符画像は、例えば通信装置30が表示部を有しない場合に好適である。通信装置30が表示部を有する場合、通信装置画像の表示部画像に上記音符画像、アイコンまたは音楽プレーヤの画像を表示すればよい。これらの画像のうち2つ以上を表示してもよく、互いに重畳させて表示してもよい。
また、制御部23は、通信装置30が表示部を有しない場合、通信装置30を操作するための操作画像を通信装置画像の近傍に配置する。例えば、通信装置30が表示部を有しないスピーカとなる場合、制御部23は、再生ボタン等を含む操作画像を通信装置画像の近傍に配置する。
さらに、制御部23は、通信装置30が有する機能を示す機能表示画像を生成する。機能表示画像は、例えば、通信装置30の種類(またはその略称)と機能(またはその略称)とを組み合わせた文字が描かれたアイコンとなる。
より具体的には、例えば、スマートフォンの音声出力機能を示す機能表示画像は、「スマホ」+「音」=「スマホ音」が描かれた文字アイコンとなる。また、スマートフォンの映像(画像)出力機能を示す機能表示画像は、「スマホ」+「映像」=「スマホ映像」が描かれた文字アイコンとなる。また、スマートフォンの音声入力機能を示す機能表示画像は、「スマホ」+「音入力」=「スマホ音入力」が描かれた文字アイコンとなる。また、スマートフォンの入力操作機能(タッチパネルを用いた入力操作機能等)は、「スマホ」+「操作」=「スマホ操作」が描かれた文字アイコンとなる。
また、テレビジョン受信機の音声出力機能を示す機能表示画像は、「TV」+「音」=「TV音」が描かれた文字アイコンとなる。また、テレビジョン受信機のリモコン機能を示す機能表示画像は、「TV」+「リモコン」=「TVリモコン」が描かれた文字アイコンとなる。また、スマートタブレットの音声出力機能を示す機能表示画像は、「タブ」+「音」=「タブ音」が描かれた文字アイコンとなる。また、スピーカの音声出力機能を示す機能表示画像は、「スピーカ」+「音」=「スピーカ音」が描かれた文字アイコンとなる。
機能表示画像は、通信装置30の機能を実現するための装置名が描かれた文字アイコンであってもよい。ここでの装置は、通信装置30に内蔵されたものであっても、通信装置30に外部から装着されたものであってもよい。例えば、音声出力機能を実現するための装置名は、「スピーカ(Speaker)」または「ヘッドフォン(Headphone)」となる。また、映像出力機能を実現するための装置名は、「ディスプレイ(Display)」、リモコン機能を実現するための装置名は「リモートコントローラ(Remote Controller)」となる。入力操作機能を実現するための装置名は「キーボード(Keyboard)」となる。
また、機能表示画像は、通信装置30が実行中のコンテンツを示すアイコンであってもよい。また、機能表示画像に描かれる情報は文字情報に限られない。例えば、装置の外観を示すイラスト、アイコン、または写真であってもよい。また、制御部23は、必ずしも通信装置30が有する機能のすべてについて機能表示画像を生成する必要はない。例えば、制御部23は、ユーザが頻繁に使用すると想定される機能に対応する機能表示画像だけ生成してもよい。
ステップS40において、制御部23は、仮想空間内に撮像装置画像及び機能表示画像を配置する。具体的には、制御部23は、仮想空間のうち、通信装置30の現在位置に応じた位置に撮像装置画像を配置する。また、制御部23は、機能表示画像を撮像装置画像の近傍に配置する。
なお、制御部23は、通信装置画像を仮想空間のうち通信装置30の現在位置に応じた位置に配置するが、通信装置画像の配置に特に制限はない。すなわち、制御部23は、通信装置画像を仮想空間内に配置するに際し、通信装置30の現在位置を考慮しなくてもよい。この場合、通信装置30は、現在位置を検出しなくてもよい。また、制御部23は、機能表示画像の生成及び配置を省略しても良い。
図5に、仮想空間の一例として仮想空間100を示す。この例では、ネットワーク40には通信装置30−1〜30−4が接続されており、通信装置30−1に仮想空間が表示される。通信装置30−1、30−2はスマートフォン、通信装置30−3はテレビジョン受信機、通信装置30−4はスマートタブレットとなっている。仮想空間100には、通信装置画像110−1〜110−4が配置される。なお、機能表示画像の例については後述する。
通信装置画像110−1は、通信装置30−1を再現したものである。すなわち、通信装置画像110−1は、スマートフォンの外観を再現した本体画像110b−1で構成されている。なお、この例では、通信装置30−1には仮想空間が表示されるため、通信装置画像110−1のうち、通信装置30−1の表示部に相当する表示部画像110a−1はブランクとなっている。なお、他の通信装置30に仮想空間を表示し、通信装置30−1にコンテンツを表示する場合、表示部画像110a−1には、通信装置30−1が実行中のコンテンツを再現した仮想コンテンツが表示される。
同様に、通信装置画像110−2は、通信装置30−2及び通信装置30−2が実行中のコンテンツを再現したものである。すなわち、通信装置画像110−2は、スマートフォンの外観を再現した本体画像110b−2と、通信装置30−2が実行中のコンテンツ(画像コンテンツ)を再現した仮想コンテンツ120−2とで構成されている。仮想コンテンツ120−2は、本体画像110b−2のうち、通信装置30−2の表示部に相当する表示部画像110a−2に表示される。
通信装置画像110−3は、通信装置30−3及び通信装置30−3が実行中のコンテンツを再現したものである。すなわち、通信装置画像110−3は、テレビジョン受信機の外観を再現した本体画像110b−3と、通信装置30−3が実行中のコンテンツ(画像コンテンツ)を再現した仮想コンテンツ120−3とで構成されている。仮想コンテンツ120−3は、本体画像110b−3のうち、通信装置30−3に相当する表示部画像110a−3に表示される。
通信装置画像110−4は、通信装置30−4及び通信装置30−4が実行中のコンテンツを再現したものである。すなわち、通信装置画像110−4は、スマートタブレットの外観を再現した本体画像110b−4と、通信装置30−4が実行中のコンテンツ(画像コンテンツ)を再現した仮想コンテンツ120−4とで構成されている。仮想コンテンツ120−4は、本体画像110b−4のうち、通信装置30−4の表示部に相当する表示部画像110a−4に表示される。
仮想空間の他の例を図6に示す。この例では、ネットワーク40には上述した通信装置30−1〜30−4の他、図7に示す通信装置30−6、すなわちスピーカが接続されている。通信装置30−6は、ネットワーク40に直接接続していても、他の通信装置、例えば通信装置30−3を介してネットワーク40に接続されていてもよい。仮想空間100には、通信装置30−6及び通信装置30−6が実行中のコンテンツを再現した通信装置画像110−6が配置される。なお、図6では、仮想空間100のうち、通信装置30−6の周辺部分のみ示す。すなわち、通信装置画像110−6は、スピーカの外観を再現した本体画像110b−6と、通信装置30−6が実行中の音声コンテンツを再現した仮想コンテンツ120−6とで構成されている。仮想コンテンツ120−6は、この例では音符画像となっている。なお、制御部23は、通信装置30−1の表示部34−1(図10参照)に仮想空間100を表示させるに際し、通信装置30−6が実行中の音声コンテンツを通信装置30−1の音声出力部35から出力させるようにしてもよい。
また、通信装置画像110−6の近傍には、機能表示画像130−6及び操作画像140が配置される。通信装置30−6は音声出力機能を有するので、機能表示画像130−6は、「スピーカ音」を示す。操作画像140は、通信装置30−6をユーザが操作するための画像であり、この例では、再生ボタン141、早送りボタン142、巻き戻しボタン143、及び音量調整スライダ144を含む。ユーザは、通信装置30−1の表示部34−1に仮想空間100が表示された場合、上記ボタンのうち、所望のボタンをタップすることで、通信装置30−6を操作することができる。もちろん、操作画像はこの例に限られない。
図8に、機能表示画像を配置した仮想空間の例を示す。この例は、図5に示す仮想空間100に機能表示画像を追加したものである。また、機能表示画像には、通信装置30の機能を示す文字が描かれる。また、この例では仮想コンテンツは省略されている。
通信装置画像110−1の近傍には、通信装置30−1の機能を示す機能表示画像130−1a、130−1bが配置される。機能表示画像130−1aには、「スマホ音入力」が描かれ、機能表示画像130−1bには、「スマホ音」が描かれる。
同様に、通信装置画像110−2の近傍には、通信装置30−2の機能を示す機能表示画像130−2が配置される。機能表示画像130−2には、「スマホ音」が描かれる。
同様に、通信装置画像110−3の近傍には、通信装置30−3の機能を示す機能表示画像130−3a、130−3b、130−3cが配置される。機能表示画像130−3aには、「TVリモコン」が描かれ、機能表示画像130−3bには、「TV音」が描かれ、機能表示画像130−3cには、「TV映像」が描かれる。
同様に、通信装置画像110−4の近傍には、通信装置30−4の機能を示す機能表示画像130−4a、130−4bが配置される。機能表示画像130−4aには、「タブ音」が描かれ、機能表示画像130−4bには、「タブ操作」が描かれる。
図9に、機能表示画像を配置した仮想空間の他の例を示す。この例は、図5に示す仮想空間100に機能表示画像を追加したものである。また、機能表示画像には、通信装置30の機能を実現するための装置名が描かれる。また、この例では仮想コンテンツは省略されている。
通信装置画像110−1の近傍には、通信装置30−1の機能を実現するための装置名が描かれた機能表示画像130−1c、130−1dが配置される。機能表示画像130−1cには、「スピーカ(Speaker)」が描かれ、機能表示画像130−1cには、「マイク(Mic)」が描かれる。
同様に、通信装置画像110−2の近傍には、通信装置30−2の機能を実現するための装置名が描かれた機能表示画像130−2が配置される。機能表示画像130−2には、「ヘッドフォン(Headphone)」が描かれる。
同様に、通信装置画像110−3の近傍には、通信装置30−3の機能を実現するための装置名が描かれた機能表示画像130−3d、130−3e、130−3fが配置される。機能表示画像130−3dには、「スピーカ(Speaker)」が描かれ、機能表示画像130−3eには、「ディスプレイ(Display)」が描かれ、機能表示画像130−3fには、「リモートコントローラ(Remote Controller)」が描かれる。
同様に、通信装置画像110−4の近傍には、通信装置30−4の機能を実現するための装置名が描かれた機能表示画像130−4c、130−4dが配置される。機能表示画像130−4cには、「キーボード(Keyboard)」が描かれ、機能表示画像130−4dには、「スピーカ(Speaker)」が描かれる。
ステップS50において、制御部23は、生成した仮想空間(仮想空間に上記各画像が配置されたもの)に関する仮想空間情報を通信部21に出力し、通信部21は、仮想空間情報をいずれかの通信装置30に送信する。図5の例では、通信部31は、仮想空間100に関する仮想空間情報を少なくとも通信装置30−1に送信する。通信装置30の通信部31は、仮想空間情報を受信し、制御部36に出力する。制御部36は、仮想空間情報にもとづいて、仮想空間を表示部34に表示する。
表示例を図10及び図11に示す。これらの例では、図8に示す仮想空間100(一部の機能表示画像は省略されている)が通信装置30−1の表示部34−1に表示されている。図10は仮想空間100の全体を表示する例、図11は、仮想空間100を拡大して表示する例を示す。なお、ユーザは、ピンチイン及びピンチアウト操作を行うことで、図10、図11の表示を切り替えることができる。詳細は後述する。ユーザは、仮想空間を視認することで、ネットワークに接続された通信装置の種類のみならず、各通信装置が現在どのようなコンテンツを実行中であるのかを直感的かつ俯瞰的に把握することができる。また、通信装置30−1のユーザは、他の通信装置30−2〜30−4のユーザがどのような操作を行おうとしているのかをリアルタイムかつ直感的に把握することができる。
上述した仮想空間の例では、いずれも仮想空間は2次元空間であった。しかし、仮想空間は2次元空間に限られず、3次元空間であってもよい。この場合、サーバ20の制御部23は、仮想空間を3次元空間とし、さらに、本体画像を3次元画像とする。また、通信装置30の制御部36は、通信装置30の現在位置(または現在位置よりも後方の位置)を視点として仮想空間を表示する。ここで、通信装置30の表示部から通信装置30の裏面に向かう方向を前方向とする。したがって、ユーザは、ユーザの現在位置(またはその後方)を視点とした仮想空間を視認することができるので、仮想空間内の各撮像装置画像の位置と実空間上での各通信装置30の位置とを容易に関連付けることができる。また、仮想空間は3次元空間となっているので、実空間により近い。したがって、ユーザは、各通信装置が現在どのようなコンテンツを実行中であるのかをより直感的に把握することができる。なお、視点は上記の例に限られず、例えば実空間の天井に視点を置いてもよい。
表示例を図12〜図14に基づいて説明する。本例では、図12に示すように、実空間200に通信装置30−1〜30−4が配置されている。この例の場合、通信装置30−1(スマートフォン)の表示部34−1には、図13に示す仮想空間100が表示される。この例では、通信装置30−1の後方が視点となっている。一方、通信装置30−4(スマートタブレット)の表示部34−4には、図14に示す仮想空間100が表示される。したがって、通信装置30−1のユーザ及び通信装置30−4のユーザは、いずれも自己の現在位置(または後方の位置)を視点とした仮想空間を視認することができるので、仮想空間内の各撮像装置画像の位置と実空間上での各通信装置30の位置とを容易に関連付けることができる。
<4.仮想空間を利用した操作>
本実施形態では、ユーザは、仮想空間内の仮想コンテンツや機能表示画像を操作することで、仮想空間の拡大縮小、仮想空間の表示非表示の切り替え、コンテンツ及び機能の共有、移譲等を行うことができる。以下、詳細に説明する。
(4−1.情報処理システムによる処理の手順)
まず、情報処理システム10が行う処理の一例について、図15に示すフローチャートに沿って説明する。なお、この例では、前提として、通信装置30−1〜30−4がネットワークに接続されている。また、通信装置30−1には仮想空間が表示されている。もちろん、本実施形態が可能な処理はこの例に限られない。
ステップS100において、通信装置30−1のユーザは、仮想空間に表示された仮想コンテンツ等に対して入力操作を行う。例えば、ユーザは、所望の仮想コンテンツ等をタップし、ドラッグアンドドロップ操作等を行う。入力部33は、操作情報を制御部36に出力する。
ステップS110において、制御部36は、操作情報を通信部31に出力する。通信部31は、操作情報をサーバ20に送信する。
ステップS120において、サーバ20の通信部21は、操作情報を受信し、制御部23に出力する。制御部23は、操作情報にもとづいて、仮想空間を変動させる。すなわち、制御部23は、操作情報を反映した仮想空間を生成する。そして、制御部23は、変動後の仮想空間に関する仮想空間情報を生成し、通信部21に出力する。通信部21は、仮想空間情報を通信装置30−1に送信する。一方、制御部23は、操作情報によっていずれかの通信装置30の処理を変更する必要が生じた場合、処理の変更内容を示す変更情報を生成する。そして、制御部23は、変更情報を通信部21に出力し、通信部21は、変更情報を処理の変更が必要な通信装置30に送信する。
ステップS130において、通信装置30−1の通信部31は、仮想空間情報を受信し、制御部36に出力する。制御部36は、仮想空間情報に基づいて、仮想空間を表示部34に表示する。これにより、制御部36は、操作情報を反映した仮想空間を表示することができる。
また、通信装置30−1の通信部31は、変更情報を受信した場合には、当該変更情報を制御部36に出力する。制御部36は、変更情報に応じた処理を行う。例えば、制御部36は、変更情報が仮想空間の非表示を示す場合、仮想空間の表示を中止し、通信装置30−1内での作業に戻る。これにより、通信装置30−1は、操作情報を反映した処理を行うことができる。
ステップS140において、通信装置30−2〜30−4の通信部31は、変更情報を受信した場合には、変更情報を制御部36に出力する。制御部36は、変更情報に応じた処理を行う。例えば、変更情報がコンテンツの移譲を示す場合、制御部36は、実行中のコンテンツを他の通信装置30に移譲する。これにより、通信装置30−2〜30−4は、操作情報を反映した処理を行うことができる。
(4−2.各種表示例)
次に、上記の処理を利用した各種表示例について説明する。
(4−2−1.仮想空間の拡大縮小)
図16は、仮想空間の拡大縮小の例を示す。この例では、例えば、通信装置30−1の制御部36は図16の左図に示すように、表示部34−1に仮想空間100の全体を表示する。ユーザは、入力部33(すなわち、タッチパネル)上でピンチアウト操作を行う。これに応じて、通信装置30−1は、ピンチアウトの操作量に関する操作情報をサーバ20に送信する。サーバ20の制御部23は、ピンチアウトの操作量に応じた拡大率の仮想空間を生成し、当該仮想空間に関する仮想空間情報を生成する。そして、通信部21は、仮想空間情報を通信装置30−1に送信する。そして、通信装置30−1の制御部36は、仮想空間情報に基づいて、図16の右図に示すように、拡大された仮想空間100を表示する。
次に、ユーザは、入力部33上でピンチイン操作を行う。これに応じて、通信装置30−1は、ピンチインの操作量に関する操作情報をサーバ20に送信する。サーバ20の制御部23は、ピンチインの操作量に応じた縮小率の仮想空間を生成し、当該仮想空間に関する仮想空間情報を生成する。そして、通信部21は、仮想空間情報を通信装置30−1に送信する。通信装置30−1の制御部36は、仮想空間情報に基づいて、図16の左図に示すように、縮小された仮想空間100を表示する。この例では、表示部34−1は、仮想空間100の全体を表示する。なお、ユーザは、拡大後の仮想空間を表示部34−1内で移動させてもよい。
(4−2−2.仮想空間の表示非表示の切り替え)
図17は、仮想空間の表示非表示の切り替えの例を示す。この例では、まず、通信装置30−1の制御部36は、左図に示すように、仮想空間100を表示部34−1に表示させる。ユーザは、通信装置30−1を示す通信装置画像110−1をタップする。これに応じて、通信装置30−1は、上記の操作内容を示す操作情報をサーバ20に送信する。サーバ20の制御部23は、操作情報にもとづいて、仮想空間の表示を停止する旨の変更情報を生成する。そして、通信部21は、変更情報を通信装置30−1に送信する。そして、通信装置30−1の制御部36は、変更情報にもとづいて、右図に示すように、仮想空間の表示を停止し、通信装置30−1内(端末内)での作業に戻る。例えば、制御部36は、仮想空間表示前に表示していたコンテンツを再度表示する。なお、制御部23は、ユーザが他の通信装置画像110−2〜110−4にタップした場合、その通信装置画像に表示されている仮想コンテンツを表示部34−1に表示させてもよい。
(4−2−3.コンテンツの移譲)
図18及び図19はコンテンツの移譲の例を示す。この例では、前提として、通信装置30−4にコンテンツ310が表示されている。そして、仮想空間100内の通信装置画像110−4の表示部画像110a−4には、コンテンツ310を再現した仮想コンテンツ300(例えばコンテンツ310を縮小したもの)が表示されている。仮想空間100は、通信装置30−1の表示部34−1に表示されている。
図18に示すように、ユーザは、表示部34−1に表示された仮想コンテンツ300にタップし、指先を入力部33に接触させたまま通信装置画像110−3内の表示部画像110a−3まで移動させる。サーバ20の制御部23は、上記の操作内容を示す操作情報に基づいて、仮想空間内の仮想コンテンツ300が表示部画像110a−3まで移動する仮想空間を生成し、当該仮想空間に関する仮想空間情報を生成する。通信装置30−1の制御部36は、仮想空間情報にもとづいて、仮想コンテンツ300が表示部画像110a−4から表示部画像110a−3まで移動する仮想空間100を表示する。したがって、ユーザは、仮想コンテンツ300を通信装置画像110−3内の表示部画像110a−3にドラッグアンドドロップする。
一方、制御部23は、コンテンツ310の実行を停止する旨の変更情報を生成する。通信部21は、この変更情報を通信装置30−4に送信する。これに応じて、通信装置30−4の制御部36は、図19に示すように、コンテンツ310の実行を停止する。
さらに、制御部23は、コンテンツ310の実行を開始する旨の変更情報を生成する。通信部21は、この変更情報を通信装置30−3に送信する。これに応じて、通信装置30−3の制御部36は、図19に示すように、コンテンツ310の実行を開始する。すなわち、通信装置30−3は、コンテンツ310を表示する。これにより、コンテンツ310が通信装置30−3から通信装置30−4に移譲される(移転される)。なお、この例では、コンテンツ310の全体を通信装置30−3から通信装置30−4に移譲することとしたが、コンテンツ310の一部のみを移譲するようにしてもよい。
(4−2−4.コンテンツの共有)
次に、図18及び図20に基づいて、コンテンツの共有の例について説明する。まず、情報処理システム10は、上述したドラッグアンドドロップ操作までは移譲の例と同様の処理を行う。
一方、制御部23は、コンテンツ310の実行を継続する旨の変更情報を生成する。通信部21は、この変更情報を通信装置30−4に送信する。これに応じて、通信装置30−4の制御部36は、図20に示すように、コンテンツ310の実行を継続する。
さらに、制御部23は、コンテンツ310の実行を開始する旨の変更情報を生成する。通信部21は、この変更情報を通信装置30−3に送信する。これに応じて、通信装置30−3の制御部36は、図20に示すように、コンテンツ310の実行を開始する。すなわち、通信装置30−3は、コンテンツ310を表示する。これにより、通信装置30−3,30−4の両方がコンテンツ310を表示するので、コンテンツがこれらの通信装置で共有される。なお、この例では、コンテンツ310の全体を通信装置30−3、30−4で共有することとしたが、コンテンツ310の一部のみを共有するようにしてもよい。
移譲及び共有の例によれば、ユーザは、各通信装置30で実行中のコンテンツを他の通信装置に移譲させ、または他の通信装置と共有させることができるので、コンテンツの作業状態を引き継いだままコンテンツの移譲等を行うことができる。さらに、ユーザは、移譲または共有させたいコンテンツを実際に視認した上で選択できるので、移譲または共有の対象となるコンテンツをより確実に選択することができる。
なお、移譲の対象となるコンテンツは、通信装置30が実行中のコンテンツに限られず、通信装置30に内蔵されているコンテンツであってもよい(この場合の処理については後述する)。また、制御部23は、通信装置30が有するコンテンツの一覧画像を仮想空間に配置してもよい。そして、制御部23は、ユーザ操作に応じてコンテンツの一覧画像を仮想空間内で移動させてもよい。さらに、制御部23は、コンテンツの一覧画像がいずれの通信装置画像に重畳した場合には、コンテンツ一覧画像に列挙されたコンテンツをその通信装置画像に対応する通信装置に一括して移譲してもよい。もちろん、共有も行なってもよい。
(4−2−5.任意に取得したコンテンツの共有)
各通信装置30に共有させるコンテンツは、各通信装置30が実行中のコンテンツに限られず、任意のコンテンツであってもよい。例えば、各通信装置30に共有させるコンテンツは、ネットワークを介して取得されたものであっても、各通信装置30またはサーバ20に格納されているコンテンツであってもよい。
任意に取得したコンテンツの共有の例を図21〜図24に基づいて説明する。なお、この例では、図21、図22に示すように、通信装置30−1、30−2は隣り合って配置され、仮想空間100にもその位置関係が反映されているものとする。もちろん、通信装置30−1、30−2は互いに離れていてもよい。また、仮想空間100は通信装置30−4(スマートタブレット)に表示されるものとする。
制御部23は、ネットワーク40を介して他のネットワークからコンテンツ(画像コンテンツ)410を取得する。そして、制御部23は、図22に示すように、仮想空間100にコンテンツ410に対応する仮想コンテンツ400(例えばコンテンツ410を縮小したもの)を配置する。制御部23は、仮想空間100に関する仮想空間情報を生成し、通信部21は、仮想空間情報を通信装置30−4に送信する。通信装置30−4の制御部36は、仮想空間情報に基づいて、仮想コンテンツ400が配置された仮想空間100を表示する。
ユーザは、表示部34−4に表示された仮想コンテンツ400にタップし、指先を入力部33に接触させたまま通信装置画像110−1と通信装置画像110−2との間まで移動させる。サーバ20の制御部23は、上記の操作内容を示す操作情報に基づいて、図23に示すように、仮想空間内の仮想コンテンツ400が表示部画像110a−1、110a−2まで移動する仮想空間を生成し、当該仮想空間に関する仮想空間情報を生成する。通信装置30−4の制御部36は、仮想空間情報にもとづいて、仮想コンテンツ400が表示部画像110a−1、110a−2まで移動する仮想空間100を表示する。したがって、ユーザは、仮想コンテンツ400を表示部画像110a−1、110a−2にドラッグアンドドロップする。この結果、仮想コンテンツ400の一部400aが表示部画像110a−1に重なり、他の一部400bが表示部画像110a−2に重なる。
一方、制御部23は、仮想コンテンツ400aに対応するコンテンツ410−1を表示する旨の変更情報を生成する。通信部21は、この変更情報を通信装置30−1に送信する。これに応じて、通信装置30−1の制御部36は、図24に示すように、コンテンツ410−1の実行(表示)を開始する。
さらに、制御部23は、仮想コンテンツ400bに対応するコンテンツ410−2を表示する旨の変更情報を生成する。通信部21は、この変更情報を通信装置30−2に送信する。これに応じて、通信装置30−2の制御部36は、図24に示すように、コンテンツ410−2の実行(表示)を開始する。これにより、コンテンツ410が複数の通信装置30−1、30−2にまたがって表示(共有)される。
なお、通信装置30−1、30−2が互いに離れている場合、例えば以下の処理が行われる。すなわち、ユーザは、仮想コンテンツ400の一部である仮想コンテンツ400aを表示部画像110a−1にドラッグアンドドロップする。次いで、ユーザは、仮想コンテンツ400の他の一部である仮想コンテンツ400bを表示部画像110a−2にドラッグアンドドロップする。これに応じて、制御部23は、上述した変更情報と同様の変更情報を生成し、通信装置30−1、30−2に送信する。これにより、図24と同様の仮想コンテンツ410−1、410−2が通信装置30−1、30−2に表示される。これらの例によれば、ユーザは、通信装置30同士をより柔軟に連携させることができる。
(4−2−6.機能の移譲例1)
次に、図25に基づいて、通信装置30が有する機能を移譲する第1の例を説明する。前提として、通信装置30−1には、図8に示す仮想空間100が表示されているものとする。
ユーザは、「スマホ音」が描かれた機能表示画像130−1bにタップし、指先を入力部33に接触させたまま通信装置画像110−3まで移動させる。サーバ20の制御部23は、上記の操作内容を示す操作情報に基づいて、仮想空間内の機能表示画像130−1bが通信装置画像110−3まで移動する仮想空間を生成する。さらに、機能表示画像130−1bと通信装置画像110−1とを曲線画像150で連結する。そして、制御部23は、当該仮想空間に関する仮想空間情報を生成する。通信装置30−1の制御部36は、仮想空間情報にもとづいて、機能表示画像130−1bが通信装置画像110−1の近傍から通信装置画像110−3まで移動する仮想空間100を表示する。したがって、ユーザは、機能表示画像130−1bを通信装置画像110−1の近傍から通信装置画像110−3までドラッグアンドドロップする。これにより、通信装置画像110−1の近傍に存在する機能表示画像130−1bが通信装置画像110−3に関連付けられる。
また、制御部23は、音声コンテンツを通信装置30−3に送信する旨の変更情報を生成する。通信部21は、この変更情報を通信装置30−1に送信する。これに応じて、通信装置30−1の制御部36は、音声コンテンツの出力先(送信先)を通信装置30−1の音声出力部35から通信装置30−3に切り替える。
さらに、制御部23は、通信装置30−1から送信された音声コンテンツを受け付ける旨の変更情報を生成する。通信部21は、この変更情報を通信装置30−3に送信する。これに応じて、通信装置30−3の制御部36は、通信装置30−1から送信された音声コンテンツを受け入れる。
したがって、通信装置30−1の制御部36は、ユーザから音声コンテンツの出力を要求された場合、音声コンテンツを通信装置30−3に送信する。そして、通信装置30−3の通信部31は、音声コンテンツを受信し、制御部36に出力する。制御部36は、音声出力部35に音声コンテンツを出力させる。これにより、ユーザは、通信装置30−1内の音声コンテンツを通信装置30−3に出力させることができる。なお、通信装置30−1の制御部36は、自ら音声コンテンツを出力しても良いし、音声コンテンツの出力を行わないようにしてもよい。前者の場合、通信装置30−1の音声出力機能が通信装置30−1、30−3で共有されることになる。後者の場合、通信装置30−1の音声出力機能が通信装置30−3に移譲される。ユーザは、通信装置30−1がどちらの処理を行うかを任意に決定してもよい。
さらに、ユーザは、「TVリモコン」が描かれた機能表示画像130−3aにタップし、指先を入力部33に接触させたまま通信装置画像110−4まで移動させる。サーバ20の制御部23及び通信装置30−1の制御部36は、上記と同様の処理を行う。これにより、ユーザは、機能表示画像130−3aを通信装置画像110−3の近傍から通信装置画像110−4までドラッグアンドドロップする。これにより、通信装置画像110−3の近傍に存在する機能表示画像130−3aが通信装置画像110−4に関連付けられる。
また、制御部23は、リモコン機能を移譲する旨の変更情報を生成する。通信部21は、この変更情報を通信装置30−4に送信する。これに応じて、通信装置30−4の制御部36は、TVリモコン画像を表示部34に表示し、ユーザからの入力操作を受け付ける。
さらに、制御部23は、通信装置30−4から送信されたリモコン操作情報を受け付ける旨の変更情報を生成する。通信部21は、この変更情報を通信装置30−3に送信する。これに応じて、通信装置30−3の制御部36は、通信装置30−1から送信されたリモコン操作情報を受け入れる。
したがって、通信装置30−4の制御部36は、ユーザが入力操作(TVリモコン画像のうち、いずれかのボタンをタップする等の操作)を行った場合、その入力操作に関するリモコン操作情報を通信部31に出力する。通信部31は、リモコン操作情報を通信装置30−3に送信する。そして、通信装置30−3の通信部31は、リモコン操作情報を受信し、制御部36に出力する。制御部36は、リモコン操作情報に応じた処理を行う。これにより、ユーザは、通信装置30−4を用いて通信装置30−3のリモコン操作を行うことができる。なお、通信装置30−3の制御部36は、リモコンを用いた操作を受け付けても良いし、拒否してもよい。前者の場合、通信装置30−3のリモコン機能が通信装置30−3、30−4で共有されることになる。後者の場合、通信装置30−3のリモコン機能が通信装置30−4に移譲される。ユーザは、通信装置30−3がどちらの処理を行うかを任意に決定してもよい。
このように、第1の例では、制御部23は、いずれか一の通信装置画像の近傍に配置された一の機能表示画像を他の通信装置画像に関連付ける一方、一の機能表示画像に対応する機能を他の通信装置画像に対応する通信装置に実行させる。すなわち、第1の例では、機能表示画像が示す機能を実行する通信装置は、その機能表示画像が関連付けられた通信装置となる。なお、第1の例の処理は、各機能表示画像が装置名を示す場合であっても同様に実行可能である。
(4−2−7.機能の移譲例2)
次に、図26に基づいて、通信装置30が有する機能を移譲する第2の例を説明する。前提として、通信装置30−1には、図26に示す仮想空間100から曲線画像150を除いたものが表示されているものとする。
ユーザは、「スピーカ(Speaker)」が描かれた機能表示画像130−3dにタップし、指先を入力部33に接触させたまま通信装置画像110−1まで移動させる。サーバ20の制御部23は、上記の操作内容を示す操作情報に基づいて、仮想空間内の機能表示画像130−3dと通信装置画像110−1とを曲線画像150で連結する。そして、制御部23は、当該仮想空間に関する仮想空間情報を生成する。通信装置30−1の制御部36は、仮想空間情報にもとづいて、機能表示画像130−3dと通信装置画像110−1とが曲線画像150で連結される仮想空間100を表示する。これにより、通信装置画像110−3の近傍に存在する機能表示画像130−3dが通信装置画像110−1に関連付けられる。
また、制御部23は、音声コンテンツを通信装置30−3に送信する旨の変更情報を生成する。通信部21は、この変更情報を通信装置30−1に送信する。これに応じて、通信装置30−1の制御部36は、音声コンテンツの出力先(送信先)を通信装置30−1の音声出力部35から通信装置30−3に切り替える。
さらに、制御部23は、通信装置30−1から送信された音声コンテンツを受け付ける旨の変更情報を生成する。通信部21は、この変更情報を通信装置30−3に送信する。これに応じて、通信装置30−3の制御部36は、通信装置30−1から送信された音声コンテンツを受け入れる。
したがって、通信装置30−1の制御部36は、ユーザから音声コンテンツの出力を要求された場合、音声コンテンツを通信装置30−3に送信する。そして、通信装置30−3の通信部31は、音声コンテンツを受信し、制御部36に出力する。制御部36は、音声出力部35に音声コンテンツを出力させる。これにより、ユーザは、通信装置30−1内の音声コンテンツを通信装置30−3に出力させることができる。なお、通信装置30−1の制御部36は、自ら音声コンテンツを出力しても良いし、音声コンテンツの出力を行わないようにしてもよい。前者の場合、通信装置30−1の音声出力機能が通信装置30−1、30−3で共有されることになる。後者の場合、通信装置30−1の音声出力機能が通信装置30−3に移譲される。ユーザは、通信装置30−1がどちらの処理を行うかを任意に決定してもよい。
このように、第2の例では、制御部23は、いずれか一の通信装置画像の近傍に配置された一の機能表示画像を他の通信装置画像に関連付ける一方、一の機能表示画像に対応する機能を他の通信装置画像に対応する通信装置に使用させる。すなわち、第2の例では、制御部23は、機能表示画像が示す機能を当該機能表示画像が関連付けられた通信装置に使用させる。なお、第2の例の処理は、各機能表示画像が機能名を示す場合であっても同様に実行可能である。
なお、第2の例において、機能表示画像を通信装置画像に関連付ける方法は上記に限られない。例えば、制御部23は、通信装置30−1に使用させる装置名を選択するモードに移行し、このモード中にユーザがいずれかの機能表示画像をタップした場合、その機能表示画像を通信装置画像110−1に関連付けてもよい。
(4−2−8.機能の移譲例3)
次に、図27及び図28に基づいて、通信装置30が有する機能を移譲する第3の例を説明する。第3の例は第1の例の変形例でもある。前提として、通信装置30−4には、図27に示す仮想空間100が表示されているものとする。この仮想空間100では、通信装置画像110−1の近傍に機能表示画像130−1b、130−1e、130−1fが表示される。また、通信装置画像110−1の表示部画像110a−1には、仮想コンテンツ500が表示されている。
ユーザは、「スマホ音」が描かれた機能表示画像130−1bにタップし、指先を入力部33に接触させたまま通信装置画像110−2、110−3まで移動させる。さらに、ユーザは、「スマホ映像」が描かれた機能表示画像130−1eにタップし、指先を入力部33に接触させたまま通信装置画像110−3まで移動させる。さらに、ユーザは、「スマホ操作」が描かれた機能表示画像130−1fにタップし、指先を入力部33に接触させたまま通信装置画像110−4まで移動させる。
これに応じて、サーバ20の制御部23は、上記の各操作内容を示す操作情報に基づいて、第1の例と同様の処理を行う。これにより、制御部23は、図28に示す仮想空間100を生成する。この仮想空間100では、通信装置画像110−2に機能表示画像130−1bが関連付けられている。また、通信装置画像110−3に機能表示画像130−1b、130−1eが関連付けられている。また、通信装置画像110−4に機能表示画像130−1fが関連付けられている。そして、通信装置30−4の制御部36は、この仮想空間100を表示部34に表示する。
また、制御部23は、音声コンテンツを通信装置30−2、30−3に送信する旨の変更情報を生成する。通信部21は、この変更情報を通信装置30−1に送信する。これに応じて、通信装置30−1の制御部36は、音声コンテンツの出力先(送信先)を通信装置30−1の音声出力部35から通信装置30−2、30−3に切り替える。
さらに、制御部23は、通信装置30−1から送信された音声コンテンツを受け付ける旨の変更情報を生成する。通信部21は、この変更情報を通信装置30−2、30−3に送信する。これに応じて、通信装置30−2、30−3の制御部36は、通信装置30−1から送信された音声コンテンツを受け入れる。
したがって、通信装置30−1の制御部36は、ユーザから音声コンテンツの出力を要求された場合、音声コンテンツを通信装置30−2、30−3に送信する。そして、通信装置30−2、30−3の通信部31は、音声コンテンツを受信し、制御部36に出力する。制御部36は、音声出力部35に音声コンテンツを出力させる。これにより、ユーザは、通信装置30−1内の音声コンテンツを通信装置30−2、30−3に出力させることができる。なお、通信装置30−1の制御部36は、自ら音声コンテンツを出力しても良いし、音声コンテンツの出力を行わないようにしてもよい。
一方、制御部23は、画像コンテンツを通信装置30−3に送信する旨の変更情報を生成する。通信部21は、この変更情報を通信装置30−1に送信する。これに応じて、通信装置30−1の制御部36は、画像コンテンツの出力先(送信先)を通信装置30−1の表示部34から通信装置30−3に切り替える。
さらに、制御部23は、通信装置30−3から送信された画像コンテンツを受け付ける旨の変更情報を生成する。通信部21は、この変更情報を通信装置30−3に送信する。これに応じて、通信装置30−3の制御部36は、通信装置30−1から送信された画像コンテンツを受け入れる。
したがって、通信装置30−1の制御部36は、ユーザから画像コンテンツの出力を要求された場合、画像コンテンツを通信装置30−3に送信する。そして、通信装置30−3の通信部31は、画像コンテンツを受信し、制御部36に出力する。制御部36は、表示部34に画像コンテンツを出力させる。これにより、ユーザは、通信装置30−1内の画像コンテンツを通信装置30−3に出力させることができる。すなわち、図28に示すように、仮想空間100内の通信装置画像110−3が仮想コンテンツ500を表示する。なお、通信装置30−1の制御部36は、自ら画像コンテンツを出力しても良いし、画像コンテンツの出力を行わないようにしてもよい。図28に示す例では、通信装置30−1も画像コンテンツを出力している。
また、制御部23は、入力操作機能を移譲する旨の変更情報を生成する。通信部21は、この変更情報を通信装置30−4に送信する。これに応じて、通信装置30−4の制御部36は、ユーザからの入力操作を受け付け、操作情報を通信装置30−1に送信する。
さらに、制御部23は、通信装置30−4から送信された操作情報を受け付ける旨の変更情報を生成する。通信部21は、この変更情報を通信装置30−1に送信する。これに応じて、通信装置30−1の制御部36は、通信装置30−4から送信された操作情報を受け入れる。
したがって、通信装置30−4の制御部36は、ユーザが入力操作を行った場合、その入力操作に関する操作情報を通信部31に出力する。通信部31は、操作情報を通信装置30−1に送信する。そして、通信装置30−1の通信部31は、操作情報を受信し、制御部36に出力する。制御部36は、操作情報に応じた処理を行う。これにより、ユーザは、通信装置30−4を用いて通信装置30−1の操作を行うことができる。なお、通信装置30−1の制御部36は、通信装置30−1の入力部33を用いた入力操作を受け付けても良いし、拒否してもよい。前者の場合、通信装置30−1の入力操作機能が通信装置30−1、30−4で共有されることになる。後者の場合、通信装置30−1の入力操作機能が通信装置30−4に移譲される。ユーザは、通信装置30−1がどちらの処理を行うかを任意に決定してもよい。
第3の例によれば、制御部23は、1つの通信装置と複数の通信装置との間で機能を移譲または共有することができる。すなわち、制御部23は、1つの通信装置と複数の通信装置とを連携させてコンテンツを実行させることができる。また、ユーザは、機能表示画像のドラッグアンドドロップという簡単な操作で通信装置30同士を連携させることができる。また、機能表示画像には機能または装置名が記載されている(すなわち、通信装置30の機能が可視化されている)ので、ユーザは、通信装置30同士の連携を直感的に行うことができる。
(4−2−9.仮想空間上で仮想コンテンツを操作する例)
次に、図29〜図32にもとづいて、仮想空間上で仮想コンテンツを操作する例について説明する。前提として、ネットワーク40には通信装置30−1〜30−4の他、図29に示す30−5が接続されているものとする。通信装置30−5は、非常に大きな表示部34−5を有する。通信装置30−5は、例えばテーブル型のディスプレイであり、テーブルの面全体が表示部34−5となっている。
また、通信装置30−5の表示部34−5には、コンテンツ600(画像コンテンツ)が表示されている。そして、通信装置30−4の表示部34−4には、図30に示す仮想空間100が表示されている。仮想空間100には、通信装置30−5及び通信装置30−5が実行中のコンテンツ600を再現した通信装置画像110−5が配置される。なお、上記の各例と同様に通信装置画像110−1〜110−4も仮想空間100に配置して良いが、この例では省略する。
通信装置画像110−5は、通信装置110−5を再現した本体画像110b−5と、コンテンツ600を再現した仮想コンテンツ650とで構成されている。仮想コンテンツ650は、本体画像110b−5の表示部画像110a−5に表示される。
ユーザは、例えば仮想コンテンツ650をタップし、指を表示部34−4に接触させたまま左回転方向に周回させる。サーバ20の制御部23は、上記の操作内容を示す操作情報に基づいて、仮想空間内の仮想コンテンツ650を回転させることで、新たな仮想空間を生成する。そして、制御部23は、当該仮想空間に関する仮想空間情報を生成する。通信装置30−4の制御部36は、仮想空間情報にもとづいて、仮想コンテンツ650が回転した仮想空間を表示する。表示例は図31に示す通りである。
さらに、制御部23は、コンテンツ600を回転させる旨の変更情報を生成する。通信部21は、この変更情報を通信装置30−5に送信する。これに応じて、通信装置30−5の制御部36は、コンテンツ600を回転させる。表示例は図32に示す通りである。
このように、制御部23は、ユーザ操作に基づいて、通信装置画像110−5上の仮想コンテンツ650を変動させる。一方、制御部23は、通信装置画像110−5に対応する通信装置30−5に変動後の仮想コンテンツ650に対応するコンテンツ600(上記の例では回転したコンテンツ600)を表示させる。したがって、ユーザは、仮想空間上の仮想コンテンツを操作することで、現実のコンテンツを操作することができる。なお、ユーザが可能な操作内容は上記に限られないのはもちろんである。例えば、ユーザは、仮想コンテンツを平行移動させることもできる。これにより、例えば、ユーザは、通信装置30−5の周囲に存在する他のユーザの近くまでコンテンツ600を移動させることができる。
以上により、本実施形態によれば、サーバ20は、通信装置30及び通信装置30が実行中のコンテンツを再現した通信装置画像を仮想空間に配置し、仮想空間を表示する制御を行う。したがって、ユーザは、仮想空間を視認することで、ネットワーク40に接続された通信装置30及び各通信装置30が実行中のコンテンツを俯瞰的かつ直感的に把握することができる。
さらに、サーバ20は、ネットワーク40に接続された複数の通信装置30の各々に対して通信装置画像を生成するので、ユーザは、複数の通信装置30の各々が実行中のコンテンツを俯瞰的かつ直感的に把握することができる。すなわち、ユーザは、ネットワークの全体像を俯瞰的かつ直感的に把握することができる。
さらに、サーバ20は、仮想コンテンツを仮想空間内に配置し、ユーザ操作に基づいて、仮想コンテンツのうち、少なくとも一部の仮想コンテンツをいずれか一の通信装置画像上に表示する。一方、サーバ20は、一の通信装置画像に対応する一の通信装置30に一部の仮想コンテンツに対応するコンテンツを実行させる。したがって、ユーザは、仮想空間上でコンテンツの移譲または共有を行うことができるので、これらの操作を直感的に行うことができる。
さらに、サーバ20は、ユーザ操作に基づいて、一の通信装置画像上の仮想コンテンツのうち、少なくとも一部の仮想コンテンツを他の通信装置画像上に表示する。一方、サーバ20は、他の通信装置画像に対応する他の通信装置30に一部の仮想コンテンツに対応するコンテンツを実行させる。したがって、ユーザは、複数の通信装置30間でのコンテンツの移譲、共有を仮想空間上で行うことができるので、これらの操作を直感的に行うことができる。
さらに、サーバ20は、他の通信装置30に一部の仮想コンテンツに対応するコンテンツを実行させる一方で、一の通信装置画像に対応する一の通信装置30に一部の仮想コンテンツに対応するコンテンツの実行を停止させる。すなわち、サーバ20は、ユーザ操作に基づいて、コンテンツを一の通信装置30から他の通信装置30に移譲することができる。したがって、ユーザは、コンテンツの移譲を直感的に行うことができる。
さらに、サーバ20は、記他の通信装置30に一部の仮想コンテンツに対応するコンテンツを実行させる一方で、一の通信装置画像に対応する一の通信装置30に一部の仮想コンテンツに対応するコンテンツの実行を継続させる。すなわち、サーバ20は、ユーザ操作に基づいて、コンテンツを一の通信装置30と他の通信装置30との間で共有させることができる。したがって、ユーザは、コンテンツの共有を直感的に行うことができる。
さらに、サーバ20は、通信装置30が表示部34を有しない場合、通信装置30を操作するための操作画像140を通信装置画像の近傍に配置する。したがって、ユーザは、通信装置30が表示部34を有しない場合であっても、仮想空間上で当該通信装置30を直感的に操作することができる。
さらに、サーバ20は、ユーザ操作に基づいて、通信装置画像上の仮想コンテンツを変動させる一方、通信装置画像に対応する通信装置30に変動後の仮想コンテンツに対応するコンテンツを実行させる。したがって、ユーザは、仮想空間上で仮想コンテンツを操作することで、現実のコンテンツも操作することができる。したがって、ユーザは、コンテンツを直感的に操作することができる。
さらに、サーバ20は、通信装置30が有する機能を示す機能表示画像を、仮想空間のうち通信装置30の近傍に配置する。したがって、通信装置30が有する機能が可視化されるので、ユーザは、各通信装置30が有する機能を俯瞰的かつ直感的に把握することができる。
さらに、制御部23は、ユーザ操作に基づいて、一の通信装置画像の近傍に配置された一の機能表示画像を他の通信装置画像に関連付ける一方、一の機能表示画像に対応する機能を他の通信装置画像に対応する通信装置30に実行させる。すなわち、サーバ20は、ユーザ操作に基づいて、一の通信装置30の機能を他の通信装置30に移譲することができる。したがって、ユーザは、機能の移譲を直感的に行うことができる。
さらに、制御部23は、ユーザ操作に基づいて、一の通信装置画像の近傍に配置された一の機能表示画像を他の通信装置画像に関連付ける一方、一の機能表示画像に対応する機能を他の通信装置画像に対応する通信装置30に使用させる。すなわち、サーバ20は、ユーザ操作に基づいて、一の通信装置30が有する機能を他の通信装置30に使用させることができる。したがって、ユーザは、他の通信装置30に使用させる機能を直感的に選択することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、サーバ20が仮想空間の生成、表示制御を行ったが、いずれかの通信装置30を親機とし、この親機が仮想空間の生成、提示制御を行なってもよい。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
通信ネットワークを介して通信装置と通信可能な通信部と、
前記通信装置及び前記通信装置が実行中のコンテンツを再現した通信装置画像を仮想空間に配置し、前記仮想空間を表示する制御を行う制御部と、を備える情報処理装置。
(2)
前記通信ネットワークに接続された通信装置は複数存在し、
前記制御部は、複数の通信装置の各々に対して前記通信装置画像を生成する、前記(1)記載の情報処理装置。
(3)
前記制御部は、仮想コンテンツを仮想空間内に配置し、ユーザ操作に基づいて、前記仮想コンテンツのうち、少なくとも一部の仮想コンテンツをいずれか一の通信装置画像上に表示する一方、前記一の通信装置画像に対応する一の通信装置に前記一部の仮想コンテンツに対応するコンテンツを実行させる、前記(1)または(2)記載の情報処理装置。
(4)
前記制御部は、ユーザ操作に基づいて、一の通信装置画像上の仮想コンテンツのうち、少なくとも一部の仮想コンテンツを他の通信装置画像上に表示する一方、前記他の通信装置画像に対応する他の通信装置に前記一部の仮想コンテンツに対応するコンテンツを実行させる、前記(1)〜(3)のいずれか1項に記載の情報処理装置。
(5)
前記制御部は、前記他の通信装置に前記一部の仮想コンテンツに対応するコンテンツを実行させる一方で、前記一の通信装置画像に対応する一の通信装置に前記一部の仮想コンテンツに対応するコンテンツの実行を停止させる、前記(4)記載の情報処理装置。
(6)
前記制御部は、前記他の通信装置に前記一部の仮想コンテンツに対応するコンテンツを実行させる一方で、前記一の通信装置画像に対応する一の通信装置に前記一部の仮想コンテンツに対応するコンテンツの実行を継続させる、前記(4)記載の情報処理装置。
(7)
前記制御部は、前記通信装置が表示部を有しない場合、前記通信装置を操作するための操作画像を前記通信装置画像の近傍に配置する、前記(1)〜(6)のいずれか1項に記載の情報処理装置。
(8)
前記制御部は、ユーザ操作に基づいて、前記通信装置画像上の仮想コンテンツを変動させる一方、前記通信装置画像に対応する通信装置に変動後の仮想コンテンツに対応するコンテンツを実行させる、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(9)
前記制御部は、前記通信装置が有する機能を示す機能表示画像を、前記仮想空間のうち前記通信装置画像の近傍に配置する、前記(1)〜(8)のいずれか1項に記載の情報処理装置。
(10)
前記制御部は、ユーザ操作に基づいて、一の通信装置画像の近傍に配置された一の機能表示画像を他の通信装置画像に関連付ける一方、前記一の機能表示画像に対応する機能を前記他の通信装置画像に対応する通信装置に実行させる、前記(9)記載の情報処理装置。
(11)
前記制御部は、ユーザ操作に基づいて、一の通信装置画像の近傍に配置された一の機能表示画像を他の通信装置画像に関連付ける一方、前記一の機能表示画像に対応する機能を前記他の通信装置画像に対応する通信装置に使用させる、前記(9)記載の情報処理装置。
(12)
通信ネットワークを介して通信装置と通信を行うことと、
前記通信装置及び前記通信装置が実行中のコンテンツを再現した通信装置画像を仮想空間に配置し、前記仮想空間を表示する制御を行うことと、を含む、情報処理方法。
(13)
コンピュータに、
通信ネットワークを介して通信装置と通信可能な通信機能と、
前記通信装置及び前記通信装置が実行中のコンテンツを再現した通信装置画像を仮想空間に配置し、前記仮想空間を表示する制御を行う制御機能と、を実現させる、プログラム。
10 情報処理システム
20 サーバ
21 通信部
23 制御部
30、30−1〜30−6 通信装置
31 通信部
34 表示部
35 音声出力部
36 制御部
110−1〜110−6 通信装置画像
120−1〜120−6、300、400、500、650 仮想コンテンツ
130−1a〜130−4d 機能表示画像
310、410、600 コンテンツ

Claims (13)

  1. 通信ネットワークを介して通信装置と通信可能な通信部と、
    前記通信装置及び前記通信装置が実行中のコンテンツを再現した通信装置画像を仮想空間に配置し、前記仮想空間を表示する制御を行う制御部と、を備える情報処理装置。
  2. 前記通信ネットワークに接続された通信装置は複数存在し、
    前記制御部は、複数の通信装置の各々に対して前記通信装置画像を生成する、請求項1記載の情報処理装置。
  3. 前記制御部は、仮想コンテンツを仮想空間内に配置し、ユーザ操作に基づいて、前記仮想コンテンツのうち、少なくとも一部の仮想コンテンツをいずれか一の通信装置画像上に表示する一方、前記一の通信装置画像に対応する一の通信装置に前記一部の仮想コンテンツに対応するコンテンツを実行させる、請求項1記載の情報処理装置。
  4. 前記制御部は、ユーザ操作に基づいて、一の通信装置画像上の仮想コンテンツのうち、少なくとも一部の仮想コンテンツを他の通信装置画像上に表示する一方、前記他の通信装置画像に対応する他の通信装置に前記一部の仮想コンテンツに対応するコンテンツを実行させる、請求項1記載の情報処理装置。
  5. 前記制御部は、前記他の通信装置に前記一部の仮想コンテンツに対応するコンテンツを実行させる一方で、前記一の通信装置画像に対応する一の通信装置に前記一部の仮想コンテンツに対応するコンテンツの実行を停止させる、請求項4記載の情報処理装置。
  6. 前記制御部は、前記他の通信装置に前記一部の仮想コンテンツに対応するコンテンツを実行させる一方で、前記一の通信装置画像に対応する一の通信装置に前記一部の仮想コンテンツに対応するコンテンツの実行を継続させる、請求項4記載の情報処理装置。
  7. 前記制御部は、前記通信装置が表示部を有しない場合、前記通信装置を操作するための操作画像を前記通信装置画像の近傍に配置する、請求項1記載の情報処理装置。
  8. 前記制御部は、ユーザ操作に基づいて、前記通信装置画像上の仮想コンテンツを変動させる一方、前記通信装置画像に対応する通信装置に変動後の仮想コンテンツに対応するコンテンツを実行させる、請求項1記載の情報処理装置。
  9. 前記制御部は、前記通信装置が有する機能を示す機能表示画像を、前記仮想空間のうち前記通信装置画像の近傍に配置する、請求項1記載の情報処理装置。
  10. 前記制御部は、ユーザ操作に基づいて、一の通信装置画像の近傍に配置された一の機能表示画像を他の通信装置画像に関連付ける一方、前記一の機能表示画像に対応する機能を前記他の通信装置画像に対応する通信装置に実行させる、請求項9記載の情報処理装置。
  11. 前記制御部は、ユーザ操作に基づいて、一の通信装置画像の近傍に配置された一の機能表示画像を他の通信装置画像に関連付ける一方、前記一の機能表示画像に対応する機能を前記他の通信装置画像に対応する通信装置に使用させる、請求項9記載の情報処理装置。
  12. 通信ネットワークを介して通信装置と通信を行うことと、
    前記通信装置及び前記通信装置が実行中のコンテンツを再現した通信装置画像を仮想空間に配置し、前記仮想空間を表示する制御を行うことと、を含む、情報処理方法。
  13. コンピュータに、
    通信ネットワークを介して通信装置と通信可能な通信機能と、
    前記通信装置及び前記通信装置が実行中のコンテンツを再現した通信装置画像を仮想空間に配置し、前記仮想空間を表示する制御を行う制御機能と、を実現させる、プログラム。

JP2013130505A 2013-06-21 2013-06-21 情報処理装置、情報処理方法、及びプログラム Pending JP2015005902A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013130505A JP2015005902A (ja) 2013-06-21 2013-06-21 情報処理装置、情報処理方法、及びプログラム
US14/302,917 US20140380161A1 (en) 2013-06-21 2014-06-12 Information processing apparatus, information processing method, and program
CN201410264138.2A CN104238873B (zh) 2013-06-21 2014-06-13 信息处理设备、信息处理方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013130505A JP2015005902A (ja) 2013-06-21 2013-06-21 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2015005902A true JP2015005902A (ja) 2015-01-08

Family

ID=52112027

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013130505A Pending JP2015005902A (ja) 2013-06-21 2013-06-21 情報処理装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20140380161A1 (ja)
JP (1) JP2015005902A (ja)
CN (1) CN104238873B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6146528B1 (ja) * 2016-11-22 2017-06-14 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2018005897A (ja) * 2017-06-07 2018-01-11 富士ゼロックス株式会社 情報処理装置及びプログラム
US10382634B2 (en) 2016-05-06 2019-08-13 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium configured to generate and change a display menu

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD761856S1 (en) * 2014-08-29 2016-07-19 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
JP6377536B2 (ja) 2015-01-15 2018-08-22 株式会社東芝 空間情報可視化装置、プログラムおよび空間情報可視化方法
US20190212901A1 (en) * 2018-01-08 2019-07-11 Cisco Technology, Inc. Manipulation of content on display surfaces via augmented reality

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6957396B2 (en) * 2001-10-18 2005-10-18 Sony Corporation Graphic user interface for digital networks
US8054241B2 (en) * 2006-09-14 2011-11-08 Citrix Systems, Inc. Systems and methods for multiple display support in remote access software
KR101342369B1 (ko) * 2007-01-26 2013-12-16 엘지전자 주식회사 그래픽 유저 인터페이스 기능을 갖는 신호 싱크 및 그의동작 방법
US20090235177A1 (en) * 2008-03-14 2009-09-17 Microsoft Corporation Multi-monitor remote desktop environment user interface
KR101690232B1 (ko) * 2010-05-28 2016-12-27 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
US8806360B2 (en) * 2010-12-22 2014-08-12 International Business Machines Corporation Computing resource management in information technology systems
US20120166958A1 (en) * 2010-12-22 2012-06-28 International Business Machines Corporation Content presentation in monitoring sessions for information technology systems
US9495124B1 (en) * 2012-06-18 2016-11-15 Crimson Corporation Device for displaying a remote display according to a monitor geometry
US8943582B1 (en) * 2012-07-18 2015-01-27 Amazon Technologies, Inc. Transferring information among devices using cameras

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10382634B2 (en) 2016-05-06 2019-08-13 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium configured to generate and change a display menu
JP6146528B1 (ja) * 2016-11-22 2017-06-14 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2018007226A (ja) * 2016-11-22 2018-01-11 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2018005897A (ja) * 2017-06-07 2018-01-11 富士ゼロックス株式会社 情報処理装置及びプログラム

Also Published As

Publication number Publication date
US20140380161A1 (en) 2014-12-25
CN104238873A (zh) 2014-12-24
CN104238873B (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
US11635869B2 (en) Display device and method of controlling the same
US20190110100A1 (en) Method for controlling multiple subscreens on display device and display device therefor
JP5974068B2 (ja) 端末及びその表示方法
US11899903B2 (en) Display device and method of controlling the same
US8928614B2 (en) Method and apparatus for operating function in touch device
US9495066B2 (en) Method for providing GUI using motion and display apparatus applying the same
US10705702B2 (en) Information processing device, information processing method, and computer program
US11188192B2 (en) Information processing device, information processing method, and computer program for side menus
US11604580B2 (en) Configuration of application execution spaces and sub-spaces for sharing data on a mobile touch screen device
US20110193806A1 (en) Mobile terminal having multiple display units and data handling method for the same
US20150020013A1 (en) Remote operation of applications using received data
JP2014149833A (ja) マルチタスキング運用のための画面表示方法及びこれをサポートする端末機
US9715339B2 (en) Display apparatus displaying user interface and method of providing the user interface
JP2015005902A (ja) 情報処理装置、情報処理方法、及びプログラム
US9449575B2 (en) Screen output control method and system, and mobile terminal supporting the same
JP2011070511A (ja) 端末装置、サーバ装置、表示制御方法、及びプログラム
KR20140131863A (ko) 단말 장치 및 그의 관련 창을 표시하기 위한 방법
JP6066602B2 (ja) 処理装置
US10545633B2 (en) Image output method and apparatus for providing graphical user interface for providing service
US20140365969A1 (en) Method and apparatus for providing a user interface of electronic device
JP6209868B2 (ja) 情報端末、情報処理プログラム、情報処理システム、及び情報処理方法
WO2021044601A1 (ja) アプリケーション拡張プログラム、情報処理装置、および方法
US20240176649A1 (en) Information processing device, information processing method, and program
JP2010146204A (ja) 制御装置、およびコンテンツ視聴システム
KR20120057688A (ko) 통합 미디어 위젯을 구현하는 단말기와 방법