JP2016005083A - 情報処理装置、情報処理方法及び端末装置 - Google Patents

情報処理装置、情報処理方法及び端末装置 Download PDF

Info

Publication number
JP2016005083A
JP2016005083A JP2014123564A JP2014123564A JP2016005083A JP 2016005083 A JP2016005083 A JP 2016005083A JP 2014123564 A JP2014123564 A JP 2014123564A JP 2014123564 A JP2014123564 A JP 2014123564A JP 2016005083 A JP2016005083 A JP 2016005083A
Authority
JP
Japan
Prior art keywords
information processing
streaming
video
processing apparatus
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014123564A
Other languages
English (en)
Inventor
博章 飛田
Hiroaki Hida
博章 飛田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014123564A priority Critical patent/JP2016005083A/ja
Priority to US15/314,504 priority patent/US9894317B2/en
Priority to PCT/JP2015/063553 priority patent/WO2015194285A1/ja
Publication of JP2016005083A publication Critical patent/JP2016005083A/ja
Priority to US15/861,745 priority patent/US10477143B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet

Abstract

【課題】リモートコミュニケーションにおけるリモートユーザの不自由さを軽減し、より自由度の高いリッチなリモートコミュニケーションを実現する情報処理装置、情報処理方法及び端末装置を提供する。
【解決手段】実空間を撮影するカメラと、リモートユーザにより使用される端末装置との間で通信する通信部と、実空間を撮影する複数のデバイスから自装置がリモートユーザにより選択された場合に、前記カメラにより撮影される第1の映像を通信部から端末装置へストリーミングさせるストリーミング制御部と、第1の映像が前記端末装置へストリーミングされている間、リモートユーザのユーザ画像を表示するディスプレイを備える。
【選択図】図2

Description

本開示は、情報処理装置、情報処理方法及び端末装置に関する。
従来、ビジネス、教育及び娯楽などの様々な分野で、リモートコミュニケーション用のコミュニケーションツールが活用されている。そうしたコミュニケーションツールの代表的な一例は、ビデオ会議システムである(例えば、下記特許文献1参照)。ビデオ会議システムを介するコミュニケーションには、システムが設置されるローカル環境に存在するローカルユーザと、遠隔地に存在するリモートユーザとが参加する。そして、システムは、ローカル環境の映像を、リモートユーザの端末装置へストリーミングする。リモートコミュニケーション用のコミュニケーションツールの他の例は、テレビ電話及びビデオチャットである。
特開2008−306327号公報
既存のコミュニケーションツールでは、多くの場合、ローカル環境のカメラは、ローカルユーザにより設定され、半固定的に設置される。リモートユーザは、コミュニケーションへの参加が承認されれば、ローカル環境の映像を閲覧することができる。しかし、リモートユーザはローカル環境内で移動することができず、ローカル環境におけるリモートユーザの視界及び行動はシステムの設定に大きく制約される。
そこで、本開示に係る技術は、リモートコミュニケーションにおける上述したリモートユーザの不自由さを軽減し、より自由度の高いリッチなリモートコミュニケーションを実現することを目的とする。
本開示によれば、実空間を撮影するカメラと、リモートユーザにより使用される端末装置との間で通信する通信部と、前記実空間を撮影する複数のデバイスから自装置が前記リモートユーザにより選択された場合に、前記カメラにより撮影される第1の映像を前記通信部から前記端末装置へストリーミングさせるストリーミング制御部と、前記第1の映像が前記端末装置へストリーミングされている間、前記リモートユーザのユーザ画像を表示するディスプレイと、を備える情報処理装置が提供される。
また、本開示によれば、実空間を撮影するカメラと、リモートユーザにより使用される端末装置との間で通信する通信部と、を備える情報処理装置により実行される情報処理方法であって、前記実空間を撮影する複数のデバイスから自装置が前記リモートユーザにより選択された場合に、前記カメラにより撮影される第1の映像を前記通信部から前記端末装置へストリーミングさせることと、前記第1の映像が前記端末装置へストリーミングされている間、前記リモートユーザのユーザ画像をディスプレイに表示させることと、を含む情報処理方法が提供される。
また、本開示によれば、端末装置であって、実空間をそれぞれ撮影する複数のデバイスとの間で通信する通信部と、前記複数のデバイスのうち前記端末装置を使用するリモートユーザにより選択されたデバイスからストリーミングされる、前記実空間を映す第1の映像を再生するストリーミング制御部と、前記第1の映像が前記ストリーミング制御部により再生されている間、前記リモートユーザのユーザ画像を前記選択されたデバイスのディスプレイに表示させるデバイス制御部と、を備える端末装置が提供される。
また、本開示によれば、実空間をそれぞれ撮影する複数のデバイスとの間で通信する通信部を備える端末装置により実行される情報処理方法であって、前記複数のデバイスのうち前記端末装置を使用するリモートユーザにより選択されたデバイスからストリーミングされる、前記実空間を映す第1の映像を再生することと、前記第1の映像が再生されている間、前記リモートユーザのユーザ画像を前記選択されたデバイスのディスプレイに表示させることと、を含む情報処理方法が提供される。
本開示に係る技術によれば、リモートコミュニケーションにおけるリモートユーザの不自由さが軽減され、より自由度の高いリッチなリモートコミュニケーションが実現される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
一実施形態に係る情報処理システムの概要について説明するための説明図である。 図1に例示した情報処理システムのローカル環境の一例について説明するための説明図である。 設置型デバイスとしてのローカルデバイスの構成の一例を示すブロック図である。 可搬型デバイスとしてのローカルデバイスの構成の一例を示すブロック図である。 移動型デバイスとしてのローカルデバイスの構成の一例を示すブロック図である。 可搬型デバイスの追加的な例を示す説明図である。 移動型デバイスの追加的な例を示す説明図である。 移動型デバイスの追加的な例を示す説明図である。 移動型デバイスの追加的な例を示す説明図である。 ローカル環境を映した映像にローカルデバイスが映っている様子を示す説明図である。 リモートユーザが近傍デバイスへ乗り移る際のローカルデバイスにおける表示画像の遷移の一例を示す説明図である。 リモートユーザが近傍デバイスから乗り移る際のローカルデバイスにおける表示画像の遷移の一例を示す説明図である。 リモートユーザが2つのデバイス間で乗り移る際に当該2つのデバイスを撮影するデバイスにおける表示画像の一例を示す説明図である。 複数のリモートユーザが滞在しているデバイスにおける表示画像の一例を示す説明図である。 リモート端末の構成の一例を示すブロック図である。 リモート端末において表示され得るGUIの一例を示す説明図である。 管理サーバの構成の一例を示すブロック図である。 管理サーバにおいて管理されるローカルデバイスデータの構成の一例を示す説明図である。 管理サーバにおいて管理されるリモートユーザデータの構成の一例を示す説明図である。 リモートユーザのシステムへのログインの際の情報処理の流れの一例を示すシーケンス図である。 リモートユーザがローカルデバイスから近傍デバイスへ乗り移る際の情報処理の流れの一例を示すシーケンス図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
1.システムの概要
1−1.全体像
1−2.ローカル環境
2.デバイスの構成例
2−1.ローカルデバイス
2−2.リモート端末
2−3.管理サーバ
3.処理の流れ
3−1.システムへのログイン
3−2.デバイス間の乗り移り
4.まとめ
<1.システムの概要>
[1−1.全体像]
図1は、一実施形態に係る情報処理システム1の概要について説明するための説明図である。図1を参照すると、情報処理システム1は、ローカル環境10に存在するローカルデバイス100a、100b、100c、100d、100e及び100f、ネットワーク20、リモート端末200並びに管理サーバ300を含む。
ローカル環境10は、実物体が存在し得る実空間内の任意の環境であってよい。情報処理システム1におけるユーザ間のコミュニケーションは、ローカル環境10において行われる。ローカル環境10は、例えば、オフィス、研究所、会議場、学校、ショッピングモール、遊園地又は家庭などの様々な場所に設置されてよい。
ローカルデバイス100a、100b、100c、100d、100e及び100fは、それぞれ、ローカル環境10に存在する情報処理装置である。ローカルデバイス100aは、電子黒板である。ローカルデバイス100bは、デスクトップPC(Personal Computer)である。ローカルデバイス100cは、スマートフォンである。ローカルデバイス100dは、タブレットPCである。ローカルデバイス100eは、クアッドコプターである。ローカルデバイス100fは、トーキングヘッド(Talking Head)である。なお、本明細書の以下の説明において、ローカルデバイス100a、100b、100c、100d、100e及び100fを互いに区別する必要の無い場合には、符号の末尾のアルファベットを省略することにより、これらをローカルデバイス100と総称する。他の構成要素についても同様とする。
各ローカルデバイス100は、少なくともカメラと通信インタフェースとを備える。各ローカルデバイス100は、カメラを用いて実空間を撮影し、撮影した実空間の映像をストリーミングする機能を有する。さらに、各ローカルデバイス100は、マイクロフォンを通じて集音される音声をストリーミングしてもよい。各ローカルデバイス100からのストリーミングデータは、直接的にリモート端末200へ配信され、又は管理サーバ300を介してリモート端末200へ中継され得る。図1は6つのローカルデバイス100を示しているが、情報処理システム1は、任意の種類のより少ない又はより多くのローカルデバイス100を含んでよい。
ネットワーク20は、ローカルデバイス100、リモート端末200及び管理サーバ300を互いに接続する。ネットワーク20は、インターネット、企業内ネットワーク、ホームネットワーク又はパーソナルネットワークなどのいかなる種類のネットワークであってもよい。ネットワーク20は、有線ネットワーク若しくは無線ネットワーク又はそれらの組合せであってもよい。ネットワーク20は、無線アクセスポイント、ルータ、スイッチ、リピータ又はブリッジなどの1つ以上のネットワーク機器(図示せず)を含んでもよい。
リモート端末200は、リモートユーザにより使用される端末装置である。リモート端末200は、ローカル環境10に存在するいずれかのローカルデバイス100からネットワーク20上でストリーミングされる映像データ(及び音声データ)を受信し、ローカル環境10の実空間の映像(及び音声)を再生する。本実施形態において、ストリーミング元のローカルデバイス100を、ストリーミング元デバイスという。ストリーミング元デバイスは、典型的には、リモートユーザにより選択される。図1は1つのリモート端末200のみを示しているが、情報処理システム1は、より多くのリモート端末200を含んでもよい。
管理サーバ300は、情報処理システム1におけるローカルデバイス100とリモート端末200との間のストリーミングを管理する情報処理装置である。管理サーバ300は、例えば、ローカルデバイス100の各々のデバイスデータ(以下、ローカルデバイスデータという)を記憶するデータベースを有する。ローカルデバイスデータは、リモートユーザによるデバイスの選択を支援するために、リモート端末200へ提供され得る。また、管理サーバ300は、リモートユーザのユーザデータ(以下、リモートユーザデータという)を記憶するデータベースをも有し得る。なお、管理サーバ300は、情報処理システム1の構成から省略されてもよい。その場合、ローカルデバイスデータ及びリモートユーザデータは、いずれかのローカルデバイス100若しくはリモート端末200により一元的に管理されてもよく、又はそれぞれのデバイスにより分散的に管理されてもよい。
既存のビデオ会議システムのようなコミュニケーションツールが利用される場合、典型的には、ローカル環境にカメラとディスプレイとが設置される。カメラ及びディスプレイの設定は、ローカルユーザにより行われ得る。これらデバイスの設定は、例えばパン、チルト及びズームなどの動的な制御が許容されることは有り得るものの、通常は半固定的である。リモートユーザは、ローカル環境内で移動することができない。よって、ローカル環境におけるリモートユーザの視界及び行動は、これらデバイスの設定に大きく制約される。
これに対し、本実施形態では、ローカル環境10に上述した複数のローカルデバイス100が設置される。リモートユーザは、自在に選択可能ないずれかのローカルデバイス100にリモート端末200を介してアクセスし、選択したローカルデバイス100、即ちストリーミング元デバイスからの映像を閲覧することができる。ストリーミング元デバイスの選択は、コミュニケーションの最中にも変更されてよい。選択されたストリーミング元デバイスのディスプレイには、リモートユーザのユーザ画像(例えば、ユーザの写真、又はリモートユーザを識別することを可能とするキャラクタ画像など)が表示される。そのため、ローカルユーザは、ローカルデバイス100により表示されるユーザ画像を見ることで、どのデバイスにどのリモートユーザが滞在しているか(どのデバイスからの映像をリモートユーザが閲覧しているか)を認識することができる。ユーザ画像は、動画であってもよい。ある実施例においては、リモートユーザによるストリーミング元デバイスの選択の変更もまた、ディスプレイに表示される象徴的なアニメーションを通じて、ローカルユーザに通知される。
[1−2.ローカル環境]
図2は、図1に例示した情報処理システム1のローカル環境10の一例について説明するための説明図である。図2を参照すると、ローカル環境10には、ローカルデバイス100aが設置されている。ローカルデバイス100aは、カメラ101a及びディスプレイ105aを有する。ローカルユーザLU11及びLU12は、ローカルデバイス100aの前に集まっている。また、ローカルデバイス100aのディスプレイ105aには、リモートユーザRU11のユーザ画像が表示されている。リモートユーザRU11は、ローカルデバイス100aのマイクロフォン及びスピーカ(図示せず)を通じて、ローカルユーザLU11及びLU12と会話することができる。
ローカルユーザLU13及びLU14は、ローカルデバイス100bの前に集まっている。ローカルユーザLU13は、ローカルデバイス100cを保持している。ローカルデバイス100fは、ローカルデバイス100bの前へと移動している。ローカルデバイス100fのディスプレイには、リモートユーザRU12のユーザ画像が表示されている。ローカルデバイス100cのディスプレイには、リモートユーザRU13のユーザ画像が表示されている。リモートユーザRU12及びRU13は、それぞれローカルデバイス100f及び100cを通じて、ローカルユーザLU13及びLU14と会話することができる。
ローカルデバイス100dは、ローカルユーザLU11により保持されている。また、ローカルデバイス100eは、ローカルデバイス100aの前を飛行している。これらローカルデバイス100d及び100eは、ローカルデバイス100aのカメラ101aにより撮影され得る。リモートユーザRU11は、ローカルデバイス100aからストリーミングされる映像を通じて、ローカルデバイス100d及び100eの存在を認識する。ここで、あるシナリオにおいて、リモートユーザRU11が新たなストリーミング元デバイスとしてローカルデバイス100dを選択したものとする。すると、リモートユーザRU11はローカルデバイス100dへ乗り移る(実際には、リモートユーザRU11は遠隔地にいるままであるが、リモートユーザRU11のユーザ画像の表示は、ローカルデバイス100dのディスプレイへ移動する)。この状態でローカルユーザLU11がローカルデバイス100dを持ち運ぶことで、リモートユーザRU11は仮想的にローカル環境10内で移動し得る。また、他のシナリオにおいて、リモートユーザRU11が新たなストリーミング元デバイスとしてローカルデバイス100eを選択したものとする。すると、リモートユーザRU11はローカルデバイス100eへ乗り移る(実際には、リモートユーザRU11は遠隔地にいるままであるが、リモートユーザRU11のユーザ画像の表示は、ローカルデバイス100eのディスプレイへ移動する)。この状態でリモートユーザRU11がローカルデバイス100eを遠隔的に操作することで、リモートユーザRU11は仮想的にローカル環境10内で移動し得る。リモートユーザRU11は、例えば、ローカルデバイス100bの前へ仮想的に移動した後、ローカルユーザLU13及びLU14並びにリモートユーザRU12及びRU13の間の会話に参加してもよい。
<2.デバイスの構成例>
次に、情報処理システム1を構成する上述した様々なデバイスの構成の詳細について説明する。
[2−1.ローカルデバイス]
ローカルデバイス100a及び100bは、半固定的に設置される(リモートコミュニケーションの最中に通常は移動しない)設置型(stationary)デバイスである。図3Aは、設置型デバイスとしてのローカルデバイス100の構成の一例を示すブロック図である。図3Aを参照すると、ローカルデバイス100は、カメラ101、マイクロフォン103、ディスプレイ105、スピーカ107、入力部109、ネットワーク(NW)通信部111、近距離通信部113、センサモジュール115、記憶部117及び制御部120を備える。制御部120は、ストリーミング制御部130、認識部140、表示制御部150、設定部160及び付加機能部190として機能し得る。設置型デバイスは、図1及び図2に示された例に限定されず、例えば、テレビジョン装置、デジタルサイネージ又はナビゲーション装置などの他の種類のデバイスであってもよい。
ローカルデバイス100c及び100dは、ローカルユーザにより持ち運ばれる可搬型(portable)デバイスである。図3Bは、可搬型デバイスとしてのローカルデバイス100の構成の一例を示すブロック図である。図3Bを参照すると、ローカルデバイス100は、図3Aに示したブロック群に加えて、バッテリ195を備える。可搬型デバイスは、図1及び図2に示された例に限定されず、例えば、ノートブックPC、PDA(Personal Digital Assistant)又はゲーム端末などの他の種類のデバイスであってもよい。図4Aは、可搬型デバイスの追加的な例を示す説明図である。図4Aを参照すると、ローカルデバイス100gは、カメラ101g及びディスプレイ105gを備えるTシャツ状のウェアラブルデバイスである。ローカルデバイス100gは、ローカルユーザにより着用され、当該ローカルユーザと共にローカル環境内を移動し得る。
ローカルデバイス100e及び100fは、リモートユーザによる操作に従って又は自律的に移動する移動型(mobile)デバイスである。図3Cは、移動型デバイスとしてのローカルデバイス100の構成の一例を示すブロック図である。図3Cを参照すると、ローカルデバイス100は、図3Bに示したブロック群に加えて、移動機構119を備える。制御部120は、移動制御部170として追加的に機能し得る。移動型デバイスは、図1及び図2に示された例に限定されず、他の種類のデバイスであってもよい。図4B、図4C及び図4Dは、それぞれ移動型デバイスの追加的な例を示す説明図である。図4Bを参照すると、ローカルデバイス100hは、カメラ101h及びディスプレイ105hを備える飛行船である。図4Cを参照すると、ローカルデバイス100iは、カメラ101i及びディスプレイ105iを備えるヒューマノイドロボットである。図4Dを参照すると、ローカルデバイス100jは、カメラ101j及びディスプレイ105jを備えるペットロボットである。
(1)カメラ
カメラ101は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を有し、画像を撮影する。カメラ101により撮影される一連の画像は、映像を構成する。カメラ101は、撮影した映像(典型的には、ローカル環境10の実空間を映す映像)を表現する映像信号を、制御部120へ出力する。
(2)マイクロフォン
マイクロフォン103は、ローカルデバイス100の近傍で発せられる音声を集音し、音声信号を生成する。マイクロフォン103は、無指向性マイクロフォンであってもよく、又は指向性を有していてもよい。マイクロフォン103は、生成した音声信号を制御部120へ出力する。
(3)ディスプレイ
ディスプレイ105は、LCD(Liquid Crystal Display)、OLED(Organic light-Emitting Diode)又はCRT(Cathode Ray Tube)などにより構成される画面と表示回路とを有し、後述する表示制御部150による制御の下で、画像を表示する。ディスプレイ105は、2次元的な画像を表示する2Dディスプレイの代わりに、3Dディスプレイ、ホログラムディスプレイ又はボリュームディスプレイなどであってもよい。
(4)スピーカ
スピーカ107は、振動板及びアンプなどの回路素子を有し、制御部120から入力される音声信号に基づいて、音声を出力する。
(5)入力部
入力部109は、ローカルユーザがローカルデバイス100を操作し又はローカルデバイス100へ情報を入力するために使用される入力インタフェースである。入力部109は、例えば、ディスプレイ105と一体化されるタッチセンサを含んでもよい。その代わりに(又はそれに加えて)、入力部109は、ボタン、スイッチ、キーボード、ポインティングデバイス又はキーパッドなどのその他の種類の入力インタフェースを含んでもよい。また、入力部109は、音声コマンドに基づいてユーザ入力を検出する音声認識モジュール、又はジェスチャコマンドに基づいてユーザ入力を検出するジェスチャ認識モジュールを含んでもよい。
(6)NW通信部
NW通信部111は、ネットワーク20上で通信を実行する通信インタフェースである。NW通信部111は、イーサネットなどの有線通信プロトコルをサポートする有線通信インタフェースであってもよい。その代わりに、NW通信部111は、LTE(Long Term Evolution)、WCDMA(Wideband Code Division Multiple Access)、WiMAX又は無線LAN(Local Area Network)などの無線通信プロトコルをサポートする無線通信インタフェースであってもよい。
(7)近距離通信部
近距離通信部113は、NFC(Near Field Communication)、Bluetooth(登録商標)、TransferJet(登録商標)、又はワイヤレスUSBなどの近距離通信プロトコルをサポートする近距離通信インタフェースである。近距離通信部113は、ローカル環境10においてローカルデバイス100の近傍に位置する近傍デバイスとの間の通信を実行する。
(8)センサモジュール
センサモジュール115は、測位センサ、加速度センサ、ジャイロセンサ及び地磁気センサなどのセンサ群を含み得るモジュールである。測位センサは、例えば、GPS(Global Positioning System)衛星からのGPS信号又は無線アクセスポイントからの無線信号に基づいて、ローカルデバイス100の現在位置を測定する。加速度センサは、ローカルデバイス100に加わる3軸加速度を測定する。ジャイロセンサは、ローカルデバイス100の回転を測定する。地磁気センサは、ローカルデバイスの地理的な向きを測定する。
(9)記憶部
記憶部117は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、ローカルデバイス100による処理のためのプログラム及びデータを記憶する。記憶部117により記憶されるデータは、例えば、ローカルデバイス100のローカルデバイスデータを含み得る。なお、本明細書で説明するプログラム及びデータの一部は、記憶部117により記憶されることなく、外部のデータソース(例えば、データサーバ、ネットワークストレージ又は外付けメモリなど)から取得されてもよい。
(10)移動機構
移動機構119は、後述する移動制御部170による制御の下で、移動型デバイスであるローカルデバイス100を実空間内で移動させる移動手段である。例えば、移動機構119は、モータ、プロペラ(クアッドコプター若しくは飛行船などの空中飛行型の場合)、ホイール若しくはキャタピラ(トーキングヘッドなどの地上移動型の場合)、又は歩行用アクチュエータ(ヒューマノイド又はペットロボットなどの歩行型の場合)を含み得る。
(11)制御部
制御部120は、CPU(Central Processing Unit)又はDSP(Digital Signal Processor)などのプロセッサであってよい。制御部120は、記憶部117又は他の記憶媒体に記憶されるプログラムを実行することにより、ローカルデバイス100の様々な機能を動作させる。
(12)ストリーミング制御部
ストリーミング制御部130は、実空間を撮影する複数のローカルデバイスから自装置がリモートユーザによりストリーミング元デバイスとして選択された場合に、カメラ101により撮影されるローカル環境10の映像をNW通信部111からリモート端末200へストリーミングさせる。リモート端末200へストリーミングされるストリーミングデータは、ローカル環境10の映像に加えて、マイクロフォン103により集音されるローカル環境10の音声を含んでもよい。ストリーミング制御部130は、ストリーミングデータを直接的にリモート端末200へ配信してもよく、又は管理サーバ300を介してリモート端末200へ配信してもよい。
ストリーミング制御部130は、例えば、管理サーバ300からNW通信部111を介して受信されるストリーミング要求に応じて、リモート端末200への映像ストリーミングを開始する。ストリーミング要求は、リモートユーザが情報処理システム1へログインし、ローカルデバイス100が初期のストリーミング元デバイスとして選択された場合に、受信され得る。また、ストリーミング要求は、ストリーミング元デバイスが実空間内の近傍デバイスから自装置へ変更された場合にも受信され得る。リモート端末200への映像ストリーミングは、自装置からのリモートユーザの退出を意味する退出通知がNW通信部111を介して受信されるまで、継続的に行われ得る。退出通知は、例えば、リモートユーザが情報処理システム1からログアウトした場合、又はストリーミング元デバイスが実空間内の近傍デバイスへ変更された場合に受信され得る。
(13)認識部
認識部140は、リモート端末200へストリーミング可能な実空間の映像を撮影するローカル環境10内の1つ以上の近傍デバイスを認識する。
第1の手法において、認識部140は、近傍デバイスにより表示されるマーカをカメラ101により撮影される映像内で検出することにより、近傍デバイスを認識してもよい。図5は、ローカル環境10を映した映像を構成するフレームである入力画像IM11に2つのローカルデバイス100d及び100eが映っている様子を示している。ローカルデバイス100dは、マーカ142dを表示している。ローカルデバイス100eは、マーカ142eを表示している。認識部140により検出されるマーカは、既知の図形、記号若しくは文字列、又は二次元バーコードであってもよい。マーカは、(ステガノグラフィなどの)情報隠蔽技術を用いて、ローカルユーザにより感知されない形式でディスプレイ105に表示されてもよい。また、予め学習される各ローカルデバイス100のデバイス画像がマーカとして利用されてもよい。認識部140は、検出したマーカの画像に基づいて対応するデバイスを識別し、識別したデバイスを近傍デバイスとして認識し得る。
第2の手法において、認識部140は、近傍デバイスから近距離通信部113を介して受信されるデバイス情報に基づいて、近傍デバイスを認識してもよい。例えば、各ローカルデバイス100の認識部140は、ローカルデバイス100が実空間の映像をストリーミング可能であることを近傍デバイスに認識させるためのデバイス情報を、周期的に近距離通信部113からブロードキャストさせる。ここでブロードキャストされるデバイス情報は、例えば、ローカルデバイス100のデバイスID及びその他の属性情報を含み得る。そして、同じように近傍デバイスからブロードキャストされるデバイス情報が近距離通信部113により受信された場合に、認識部140は、受信された当該デバイス情報の送信元のデバイスを近傍デバイスとして認識し得る。
認識部140は、上述したいずれかの手法(又は他の手法)で近傍デバイスを認識すると、認識した近傍デバイスの存在をリモート端末200へ通知する。そして、ストリーミング元デバイスを変更することがリモートユーザにより決定されると、上述した退出通知がNW通信部111により受信され得る。リモート端末200への近傍デバイスの通知は、管理サーバ300を介して間接的に行われてもよい。例えば、管理サーバ300は、認識された近傍デバイスとリモート端末200との間のストリーミングプロトコルの適合性を検証した後に、映像をストリーミング可能な近傍デバイスの存在をリモート端末200へ通知してもよい。
なお、近傍デバイスの認識は、ローカルデバイス100の認識部140ではなく、リモート端末200により行われてもよい。例えば、リモート端末200は、ローカルデバイス100からストリーミングされる映像に映るマーカを検出することにより、ローカルデバイス100の近傍デバイスを認識し得る。
(14)表示制御部
表示制御部150は、実空間の映像がリモート端末200へストリーミングされている間、当該映像を閲覧するリモートユーザのユーザ画像を、ディスプレイ105に表示させる。リモートユーザのユーザ画像の画像データは、NW通信部111により受信されるストリーミング要求に含まれてもよく、又はリモートユーザのユーザIDを用いてデータベースから取得されてもよい。また、表示制御部150は、リモートユーザのニックネームなどのユーザ属性をユーザ画像と共にディスプレイ105に表示させてもよい。
また、表示制御部150は、リモート端末200への映像ストリーミングのストリーミング元デバイスが自装置から近傍デバイスへ変更される際に、リモートユーザが当該近傍デバイスへ乗り移るアニメーションをディスプレイ105に表示させてもよい。図6は、リモートユーザが近傍デバイスへ乗り移る(即ち、選択されているストリーミング元デバイスが近傍デバイスへ変更される)際のローカルデバイス100における表示画像の遷移の一例を示す説明図である。時刻t=T1において、ローカルデバイス100aはストリーミング元デバイスであり、図6の左に示したように、ローカルデバイス100aのディスプレイ105aにリモートユーザのユーザ画像152aが表示されている。その後、リモートユーザがストリーミング元デバイスをローカルデバイス100aの近傍デバイス100eへ変更したものとする。時刻t=T2において、ディスプレイ105aには、リモートユーザがローカルデバイス100aから飛び出してきているかのようなアニメーションを構成する画像154aが表示されている。このアニメーションが終了した後、時刻t=T3において、ローカルデバイス100aはもはやストリーミング元デバイスではなく、ディスプレイ105aにマーカ142aが表示されている。
また、表示制御部150は、リモート端末200への映像ストリーミングのストリーミング元デバイスが近傍デバイスから自装置へ変更される際に、リモートユーザが当該近傍デバイスから自装置へ乗り移るアニメーションをディスプレイ105に表示させてもよい。図7は、リモートユーザが近傍デバイスから乗り移る(即ち、選択されているストリーミング元デバイスが自装置へ変更される)際のローカルデバイス100における表示画像の遷移の一例を示す説明図である。時刻t=T1において、ローカルデバイス100eは、ストリーミング元デバイスである他のデバイスにとっての近傍デバイスである。この時点で、図7の左に示したように、ローカルデバイス100eのディスプレイ105eには、マーカ142eが表示されている。その後、リモートユーザがストリーミング元デバイスをローカルデバイス100eへ変更したものとする。時刻t=T2において、ディスプレイ105eには、リモートユーザがローカルデバイス100eへ入り込もうとしているかのようなアニメーションを構成する画像154eが表示されている。このアニメーションが終了した後、時刻t=T3において、ローカルデバイス100eはストリーミング元デバイスであり、ディスプレイ105eにリモートユーザのユーザ画像152eが表示されている。
ストリーミング元デバイスの変更は、変更に関与しない他のローカルデバイス100へ通知されてもよい。当該通知を受けたローカルデバイス100の表示制御部150は、変更前又は変更後の少なくとも一方のストリーミング元デバイスが入力画像に映っている場合に、リモートユーザが2つのデバイス間で乗り移るアニメーションをディスプレイ105に表示させてもよい。図8は、リモートユーザが2つのデバイス間で乗り移る際の、当該2つのデバイスを撮影するローカルデバイス100における表示画像の一例を示す説明図である。図8に示した画像IM12には、ローカルデバイス100aのディスプレイ105a及びローカルデバイス100eのディスプレイ105eが映っている。ローカルデバイス100aは、変更前のストリーミング元デバイスである。ローカルデバイス100eは、変更後のストリーミング元デバイスである。時刻t=T2において表示される画像IM12には、リモートユーザがローカルデバイス100aから飛び出してローカルデバイス100eへ入り込もうとしているかのようなアニメーションを構成する画像154dが表示されている。
図6〜図8に例示したようなアニメーションを見ることで、ローカルユーザは、自らの周囲に存在するローカルデバイス100のうちのどのデバイスにリモートユーザが滞在しているか(どのデバイスからの映像をリモートユーザが閲覧しているか)、及びリモートユーザがどのデバイスからどのデバイスへ乗り移ったかを、簡易且つ直感的に認識することができる。
図6及び図7からも理解されるように、表示制御部150は、自装置に滞在しているリモートユーザのユーザ画像を、ディスプレイ105に表示させる。表示制御部150は、自装置に複数のリモートユーザが滞在している場合、即ち複数のリモートユーザによりそれぞれ使用される複数のリモート端末200へ映像がストリーミングされている場合に、図9に示したように、当該複数のリモートユーザのユーザ画像をディスプレイ105に表示させてもよい。図9の例では、表示画像IM13が、リモートユーザRU11、RU12及びRU14のユーザ画像を表示している。
表示制御部150は、自装置にリモートユーザが滞在していない場合、又は新たなリモートユーザを受け入れるキャパシティが残されている場合に、上述したマーカをディスプレイ105に表示させ得る。当該マーカは、自装置が実空間の映像をストリーミング可能であることを近傍デバイスに認識させるためのものである。なお、ローカルデバイス100の外観のデバイス画像がマーカとして利用される場合には、表示制御部150は、マーカの表示を行わなくてよい。
(15)設定部
設定部160は、実空間内に存在するローカルユーザからのユーザ入力に応じて、ローカルデバイス100の設定を行う。例えば、設定部160は、センサモジュール115からのセンサデータに基づいてローカルデバイス100の現在位置を測位し、測位結果を管理サーバ300へ報告する。また、設定部160は、ローカル環境10の映像をリモート端末200へストリーミングすることを許可するか否かを、入力部109を介して検出されるユーザ入力に応じて設定する。ストリーミングが許可されない場合、ストリーミング制御部130は、カメラ101により撮影される映像をストリーミングしない。ストリーミングの許可又は不許可は、リモート端末200のアドレス、リモートユーザのユーザID又はリモートユーザが属するグループなどの任意の単位で設定されてよい。例えば、あるユーザには全てのローカルデバイス100へのアクセスが許可される一方で、他のユーザには特定のタイプのローカルデバイス100(例えば、設置型デバイス)へのアクセスのみが許可されてもよい。このような設定によれば、様々なリモートユーザがローカル環境10内を自在に移動することに起因するセキュリティリスクを回避することができる。
(16)移動制御部
移動制御部170は、ローカルデバイス100が移動機構119を有する移動型デバイスである場合にローカルデバイス100に設けられる機能ブロックである。移動制御部170は、リモートユーザがローカルデバイス100に滞在している期間中に、リモート端末200から受信される移動制御信号に応じて、移動機構119を制御する。移動制御信号は、例えば、ローカルデバイス100の前進、後退、加速、減速、方向転換、又は(可能であるならば)上昇若しくは下降を指示する信号であってよい。また、移動制御部170は、ローカルデバイス100にリモートユーザが滞在していない期間中に、ローカル環境10内をローカルデバイスが移動するように、何らかのアルゴリズムに従って自律的に移動機構119を制御してもよい。
図9を用いて説明したようにローカルデバイス100に複数のリモートユーザが滞在している場合(カメラ101により撮影される映像が複数のリモート端末200へストリーミングされている場合)、それらリモート端末200から受信される移動制御信号が互いに競合する可能性がある。例えば、異なる2つのリモートユーザが同じローカルデバイス100に前進及び後退をそれぞれ同時に指示すると、それら指示は互いに競合する。こうした競合を解消するために、移動制御部170は、所定の条件に従って、複数のリモート端末200の少なくとも1つから受信される移動制御信号に基づいてローカルデバイス100の動きを決定してよい。ここでの所定の条件とは、複数のリモートユーザのうちのマスタユーザによる制御に従うこと、複数のリモートユーザの中での多数決に基づくこと、又は、競合する制御が指示された場合に制御を休止すること、であってよい。図9の例では、マスタユーザであるリモートユーザRU11のユーザ画像が、他のリモートユーザのユーザ画像よりも大きく表示されている。
(17)付加機能部
付加機能部190は、ローカルデバイス100のケイパビリティに依存して、付加的な機能をユーザに提供する。付加機能部190により提供される付加的な機能は、例えば、図形描画機能(リモートユーザがリモート端末200上で描いた図形をディスプレイ105に表示する機能)を含んでもよい。また、付加的な機能は、コンテンツ再生機能(リモート端末200からの遠隔制御に従ってローカルデバイス100上でコンテンツを再生する機能)を含んでもよい。なお、これら機能は一例に過ぎず、他の機能が付加機能部190により提供されてもよい。各ローカルデバイス100により提供可能な付加機能のリストは、例えば、ローカルデバイスデータにおいて記述され得る。
(18)バッテリ
ローカルデバイス100が可搬型デバイス又は移動型デバイスである場合には、ローカルデバイス100は、バッテリ195を備え得る。バッテリ195は、図3B及び図3Cにおいて破線で部分的に示した給電ラインを介して、図中の各ブロックに動作電力を供給する。バッテリ残量が閾値を下回る場合には、ローカルデバイス100は、省電力モードに遷移してもよい。省電力モードにおいて、ストリーミング制御部130は、映像のストリーミングを休止してもよい。また、省電力モードにおいて、移動型デバイスの移動は禁止されてもよい。
[2−2.リモート端末]
図10は、リモート端末200の構成の一例を示すブロック図である。図10を参照すると、リモート端末200は、カメラ201、マイクロフォン203、ディスプレイ205、スピーカ207、入力部209、NW通信部211、記憶部217及び制御部220を備える。制御部220は、ストリーミング制御部230、認識部240及びデバイス制御部250として機能し得る。
(1)カメラ
カメラ201は、CCD又はCMOSなどの撮像素子を有し、画像を撮影する。カメラ201により撮影される画像は、例えばリモートユーザのユーザ画像を含み得る。カメラ201は、撮影した画像を表現する画像信号を、制御部220へ出力する。
(2)マイクロフォン
マイクロフォン203は、リモートユーザにより発せられる音声を集音し、音声信号を生成する。マイクロフォン203は、生成した音声信号を制御部220へ出力する。
(3)ディスプレイ
ディスプレイ205は、LCD、OLED又はCRTなどにより構成される画面と表示回路とを有し、画像を表示する。ディスプレイ205により表示される画像は、例えば、後述するGUI(Graphical User Interface)画像を含み得る。
(4)スピーカ
スピーカ207は、振動板及びアンプなどの回路素子を有し、制御部220から入力される音声信号に基づいて、音声を出力する。
(5)入力部
入力部209は、リモートユーザがリモート端末200を操作し又はリモート端末200へ情報を入力するために使用される入力インタフェースである。入力部209は、例えば、ディスプレイ205と一体化されるタッチセンサを含んでもよい。その代わりに(又はそれに加えて)、入力部209は、ボタン、スイッチ、キーボード、ポインティングデバイス又はキーパッドなどのその他の種類の入力インタフェースを含んでもよい。また、入力部209は、音声コマンドに基づいてユーザ入力を検出する音声認識モジュール、又はジェスチャコマンドに基づいてユーザ入力を検出するジェスチャ認識モジュールを含んでもよい。
(6)NW通信部
NW通信部211は、ネットワーク20上で通信を実行する通信インタフェースである。NW通信部211は、イーサネットなどの有線通信プロトコルをサポートする有線通信インタフェースであってもよい。その代わりに、NW通信部211は、LTE、WCDMA、WiMAX又は無線LANなどの無線通信プロトコルをサポートする無線通信インタフェースであってもよい。NW通信部211は、実空間をそれぞれ撮影する上述した複数のローカルデバイス100との間で、直接的に又は管理サーバ300を介して通信し得る。
(7)記憶部
記憶部217は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、リモート端末200による処理のためのプログラム及びデータを記憶する。記憶部217により記憶されるデータは、例えば、リモート端末200を使用するリモートユーザのリモートユーザデータを含み得る。なお、本明細書で説明するプログラム及びデータの一部は、記憶部217により記憶されることなく、外部のデータソースから取得されてもよい。
(8)制御部
制御部220は、CPU又はDSPなどのプロセッサであってよい。制御部220は、記憶部217又は他の記憶媒体に記憶されるプログラムを実行することにより、リモート端末200の様々な機能を動作させる。
(9)ストリーミング制御部
ストリーミング制御部230は、ローカル環境10に存在する複数のローカルデバイス100のうちリモートユーザにより選択された1つであるストリーミング元デバイスから配信されるストリーミングデータを、NW通信部211に受信させる。そして、ストリーミング制御部230は、ストリーミングデータに含まれる映像をディスプレイ205を用いて再生する。ここで再生される映像は、ローカル環境10の実空間を映す映像である。また、ストリーミング制御部230は、ストリーミングデータに含まれる音声をスピーカ207を用いて再生してもよい。また、ストリーミング制御部230は、リモート端末200からストリーミング元デバイスへのストリーミングを実行してもよい。リモート端末200からストリーミングされるストリーミングデータは、カメラ201により撮影される画像、及びマイクロフォン203により集音される音声を含み得る。リモート端末200とストリーミング元デバイスとの間のストリーミングは、直接的に行われてもよく、又は管理サーバ300により中継されてもよい。
(10)認識部
認識部240は、ストリーミング制御部230により再生される映像に映る、ストリーミング元デバイスの1つ以上の近傍デバイスを認識する。ここでの近傍デバイスとは、再生中の映像とは別の視点からの実空間の映像をリモート端末200へストリーミング可能なローカルデバイス100である。例えば、認識部240は、近傍デバイスにより表示される上述したマーカを再生される映像内で検出することにより、近傍デバイスを認識してもよい。認識部240は、検出したマーカの画像に基づいて対応するデバイスを識別し、識別したデバイスを近傍デバイスとして認識し得る。そして、認識部240は、認識した近傍デバイスの存在を後述するデバイス制御部250へ通知する。なお、近傍デバイスの認識は、専らローカルデバイス100の認識部140によって行われてもよい。その場合には、認識部240は、リモート端末200の構成から省略され得る。
(11)デバイス制御部
デバイス制御部250は、リモート端末200へストリーミング可能な映像を撮影するローカル環境10内のローカルデバイス100の情報をリモートユーザへ呈示し、ストリーミング元デバイスをリモートユーザに選択させる。リモートユーザが情報処理システム1へログインする際のストリーミング元デバイスは、リモートユーザによりログインの都度選択されてもよく、又は予め設定される既定のデバイスであってもよい。デバイス制御部250は、ストリーミング元デバイスが選択されると、選択されたストリーミング元デバイスから受信される映像をストリーミング制御部230に再生させる。また、デバイス制御部250は、ストリーミング元デバイスからの映像がストリーミング制御部230により再生されている間、リモートユーザのユーザ画像を当該ストリーミング元デバイスのディスプレイに表示させる。
一度ストリーミング元デバイスが選択された後、認識部240又はストリーミング元デバイスの認識部140により1つ以上の近傍デバイスが認識されると、デバイス制御部250は、ストリーミング元デバイスをいずれかの近傍デバイスへ変更すべきかをリモートユーザに問合せる。リモートユーザへの問合せは、ディスプレイ205により表示されるGUIを介して行われてもよく、又はスピーカ207により出力される音声を介して行われてもよい。デバイス制御部250は、ストリーミング元デバイスを変更すべきかをユーザに問合せる際に、認識された近傍デバイスの機能性に関する情報をリモートユーザへ呈示してもよい。
図11は、リモート端末200において表示され得るGUIの一例を示す説明図である。図11を参照すると、デバイス制御部250により生成され得るGUI画像IM2が示されている。GUI画像IM2は、ストリーミングウィンドウW21、プロフィールウィンドウW22、デバイス情報ウィンドウW23、ロケーションウィンドウW24及び履歴ウィンドウW25を含む。ストリーミングウィンドウW21は、ストリーミング制御部230により再生される映像を表示する。図11の例では、ストリーミング元デバイスから受信される映像にローカルデバイス100eが映っている。プロフィールウィンドウW22は、リモートユーザのプロフィールを表示する。図11の例では、リモートユーザのユーザ画像(ストリーミング元デバイスのディスプレイに表示されるものと同じ画像)、ニックネーム及びリモートユーザが属するグループ名が、プロフィールウィンドウW22に表示されている。デバイス情報ウィンドウW23は、その時点で選択されているストリーミング元デバイスに関する情報を表示する。図11の例では、ローカルデバイス100aの名称(Name)、タイプ(Type)及び機能性(Functionality)がデバイス情報ウィンドウW23により表示されている。こうした情報は、例えば、管理サーバ300から(又は、ストリーミング元デバイスから)リモート端末200へ提供され得る。ロケーションウィンドウW24は、選択されているストリーミング元デバイスのローカル環境10における現在位置を示すマップを表示する。履歴ウィンドウW25は、ストリーミング元デバイスの選択の履歴、即ち、過去に選択されたストリーミング元デバイスのリスト、を表示する。
図11のストリーミングウィンドウW21には、表示オブジェクトD21及びD22が重畳されている。表示オブジェクトD21は、ストリーミングされる映像内で検出された、ローカルデバイス100eのマーカをポインティングしている。ローカルデバイス100eは、ストリーミング元デバイスの近傍デバイスである。表示オブジェクトD22は、近傍デバイスとして認識されたローカルデバイス100eのデバイス情報を表示する情報領域である。図11の例では、ローカルデバイス100eの名称、タイプ及び機能性が、表示オブジェクトD22により表示されている。また、表示オブジェクトD22は、ローカルデバイス100eに滞在しているユーザの情報も示すことができる。但し、図11の例では、ローカルデバイス100eに滞在しているユーザは存在しない(“None”)。さらに、表示オブジェクトD22は、ボタンD23を含む。リモートユーザは、入力部209を介してボタンD23を押下する(クリック又はタップなど)ことで、新たなストリーミング元デバイスとしてローカルデバイス100eを選択することができる。
デバイス制御部250は、このようなGUI画像を介して新たなストリーミング元デバイスがリモートユーザにより選択されると、例えば、デバイス変更要求を管理サーバ300へ送信する。管理サーバ300は、リモート端末200からの当該デバイス変更要求の受信に応じて、新たなストリーミング元デバイスとして選択されたローカルデバイス100へストリーミング要求を送信し、及びその時点のストリーミング元デバイスへ退出通知を送信し得る。その代わりに、デバイス制御部250は、ストリーミング要求及び退出通知を、それぞれの宛て先のローカルデバイス100へ直接的に送信してもよい。なお、デバイス制御部250は、履歴ウィンドウW25に表示されたデバイスがリモートユーザにより指定された場合に、ストリーミング元デバイスを当該指定されたデバイスに変更してもよい。
ストリーミング元デバイスが移動機構を有する移動型デバイスである場合、デバイス制御部250は、ストリーミング元デバイスからの映像が再生されている間に、リモートユーザからのユーザ入力に応じて、ストリーミング元デバイスの移動を制御するための移動制御信号を生成してもよい。移動制御信号は、上述したように、例えば、ストリーミング元デバイスの前進、後退、加速、減速、方向転換、又は(可能であるならば)上昇若しくは下降を指示する信号であってよい。デバイス制御部250により生成された移動制御信号は、NW通信部211を介してネットワーク20上でストリーミング元デバイスへ送信され得る。例えば、リモートユーザは、移動型デバイスへ乗り移った後、ローカルユーザ間のコミュニケーションが行われている場所へ当該移動型デバイスを移動させて(ここでの移動は仮想的ではない)、そのコミュニケーションに参加することができる。また、リモートユーザは、他のローカルデバイス100の近傍へと移動型デバイスを移動させた後、当該他のローカルデバイス100へさらに乗り移ることもできる。
[2−3.管理サーバ]
図12は、管理サーバ300の構成の一例を示すブロック図である。図12を参照すると、管理サーバ300は、入力部309、NW通信部311、記憶部317及び制御部320を備える。制御部320は、データ管理部330及び接続管理部340として機能し得る。
(1)入力部
入力部309は、オペレータが管理サーバ300を操作し又は管理サーバ300へ情報を入力するために使用される入力インタフェースである。入力部309は、タッチセンサ、ボタン、スイッチ、キーボード、ポインティングデバイス又はキーパッドなどの任意の種類の入力インタフェースを含んでもよい。
(2)NW通信部
NW通信部311は、ネットワーク20上で通信を実行する通信インタフェースである。NW通信部311は、有線通信インタフェースであってもよく、又は無線通信インタフェースであってもよい。NW通信部311は、上述した複数のローカルデバイス100及びリモート端末200との間で通信し得る。
(3)記憶部
記憶部317は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、管理サーバ300による処理のためのプログラム及びデータを記憶する。記憶部317により記憶されるデータは、例えば、後述するローカルデバイスデータ350及びリモートユーザデータ360を含み得る。
(4)制御部
制御部320は、CPU又はDSPなどのプロセッサであってよい。制御部320は、記憶部317又は他の記憶媒体に記憶されるプログラムを実行することにより、管理サーバ300の様々な機能を動作させる。
(5)データ管理部
データ管理部330は、記憶部317により記憶されるデータを管理するマネージャとしての役割を有する。データ管理部330は、例えば、ローカル環境10に新たなローカルデバイス100が配備された場合に当該デバイスに対応するレコードをローカルデバイスデータ350に追加する。また、データ管理部330は、新たなリモートユーザが登録される際に、リモートユーザデータ360に当該ユーザに対応するレコードを追加する。また、データ管理部330は、ローカルデバイス100及びリモート端末200との間のメッセージの交換を通じて、これらデータの内容を最新の状態に維持する。
図13は、管理サーバ300において管理されるローカルデバイスデータ350の構成の一例を示す説明図である。図13を参照すると、ローカルデバイスデータ350は、データ項目として、デバイスID351、名称352、タイプ353、機能性354、アドレス355、位置356、アクセス制限357及びステータス358を含む。デバイスID351は、各デバイスを一意に識別する識別子である。名称352は、各デバイスに付与された名称を表す。タイプ353は、各デバイスのデバイスタイプを表す。限定ではない例として、デバイスタイプは、設置型(“Stationary”)、可搬型(“Portable”)及び移動型(“Mobile”)という3つのタイプのいずれかであってよい。機能性354は、各デバイスにより提供可能な付加機能のリストを記述するデータ項目である。アドレス355は、各デバイスへ送信されるメッセージに挿入すべき宛て先アドレス(例えば、IPアドレス又はMACアドレス)を表す。位置356は、各デバイスの現在位置を示す座標を表す。データ管理部330は、例えば、各デバイスから周期的に受信される測位結果報告に基づいて対応する位置座標を更新し得る。アクセス制限357は、各デバイスへのリモートユーザのアクセスを管理するためのアクセス制限情報を記述する。図13の例では、デバイスID“DEV_A”又は“DEV_C”を有するデバイスへのアクセスは、全てのユーザに許可されている(“All Users”)。一方、デバイスID“DEV_F”を有するデバイスへのアクセスは、特定のグループに属するユーザにのみ許可されている(“Group A”)。こうしたアクセス制限情報は、管理サーバ300のオペレータによって予め登録されてもよく、又は各ローカルデバイス100の設定部160を通じて動的に登録されてもよい。ステータス358は、各デバイスの動作ステータスを表す。
データ管理部330は、上述したローカルデバイスデータ350のサブセットをリモート端末200へ提供する。図11を用いて説明したGUI画像IM2のデバイス情報ウィンドウW23には、ストリーミング元デバイスについてのサブセットがデバイス情報として表示される。表示オブジェクトD22には、リモートユーザによる新たなストリーミング元デバイスの選択を支援するために、近傍デバイスについてのサブセットがデバイス情報として表示される。
図14は、管理サーバ300において管理されるリモートユーザデータ360の構成の一例を示す説明図である。図14を参照すると、リモートユーザデータ360は、データ項目として、ユーザID361、ニックネーム362、滞在デバイス363、端末ID364、端末アドレス365及びユーザ画像366を含む。ユーザID361は、各リモートユーザを一意に識別する識別子である。ニックネーム362は、各リモートユーザに付与されたニックネームを表す。滞在デバイス363は、各リモートユーザによってその時点で選択されているストリーミング元デバイスのデバイスIDを表す。データ管理部330は、リモートユーザがあるデバイスから他のデバイスへ乗り移る都度、滞在デバイス363を更新し得る。端末ID364は、各リモートユーザにより使用されているリモート端末200を識別する識別子である。端末アドレス365は、各リモートユーザにより使用されているリモート端末200のアドレス(例えば、IPアドレス又はMACアドレス)を表す。ユーザ画像366は、各リモートユーザのユーザ画像の画像データを格納するデータ項目である。
(6)接続管理部
接続管理部340は、ローカルデバイス100とリモート端末200との間の接続を管理する。接続管理部340は、例えば、リモート端末200からのログイン要求を受け付け、リモートユーザの認証に成功すると、ログイン要求を承認する。リモートユーザの認証は、ID及びパスワード、若しくは端末のIPアドレスなどに基づく簡易的な認証であってもよく、又は暗号鍵などに基づくより高度な認証であってもよい。接続管理部340は、ログインを承認したリモートユーザの最初のストリーミング元デバイスとなるべき初期デバイスを決定し、決定した初期デバイスへストリーミング要求を送信する。ストリーミング要求は、ストリーミングされる映像を閲覧するリモートユーザについてのリモートユーザデータを含み得る。初期デバイスは、ローカル環境10内の特定の1つのローカルデバイス100であってもよく、又はリモートユーザごとに予め定義されるローカルデバイス100であってもよい。その代わりに、リモートユーザが初期デバイスを選択してもよい。
選択済みのストリーミング元デバイスの近傍デバイスが新たなストリーミング元デバイスとしてリモートユーザにより選択された場合、接続管理部340は、リモート端末200から受信され得るデバイス変更要求に応じて、ストリーミング要求を新たなストリーミング元デバイスへ送信する。接続管理部340は、新たな接続をコーディネートする前に、近傍デバイスとリモート端末200との間のプロトコルの適合性を検証してもよい。また、接続管理部340は、近傍デバイスについてのアクセス制限情報に基づいて、当該近傍デバイスへのリモート端末200からのアクセスが許可されるかを検証してもよい。接続管理部340は、変更前のストリーミング元デバイスには、退出通知を送信し得る。
接続管理部340は、ストリーミング要求が承認されると、要求を承認したストリーミング元デバイスのローカルデバイスデータをリモート端末200へ送信する。その後、ストリーミング元デバイスからリモート端末200への映像(及び音声)のストリーミングが開始される。また、ストリーミング元デバイスにおいてリモートユーザのユーザ画像が表示される。接続管理部340は、ストリーミング元デバイスから送信されるストリーミングデータを、ストリーミング先のリモート端末200へ中継してもよい。
<3.処理の流れ>
[3−1.システムへのログイン]
図15は、リモートユーザのシステムへのログインの際の情報処理の流れの一例を示すシーケンス図である。
図15を参照すると、まず、リモート端末200は、ログイン要求を管理サーバ300へ送信する(ステップS5)。管理サーバ300は、リモートユーザを認証し(ステップS10)、認証結果をリモート端末200へ返信する(ステップS15)。ここでは、リモートユーザの認証は成功し、ログインが承認されたものとする。リモート端末200は、ログインが承認されると、ユーザデータを管理サーバ300へ送信する(ステップS20)。ここで送信されるユーザデータは、リモートユーザについての最新の情報(例えば、ログイン時に撮影されたリモートユーザのユーザ画像など)を含み得る。
管理サーバ300は、ログインを承認したリモートユーザについて、ローカル環境10に存在する複数のローカルデバイス100のうちの初期デバイスを決定する(ステップS25)。そして、管理サーバ300は、決定した初期デバイスへストリーミング要求を送信する(ステップS30)。初期デバイスとして決定されたローカルデバイス100は、ストリーミングが可能であるかを示す応答を管理サーバ300へ返信する(ステップS35)。ここでは、ローカルデバイス100は、(例えばデバイスのキャパシティなどに基づいて)ストリーミングが可能であると判定したものとする。管理サーバ300は、ストリーミング要求が受け入れられたことを示す応答を受信すると、ストリーミング元デバイスについてのデバイス情報(ローカルデバイスデータ350のサブセット)をリモート端末200へ送信する(ステップS40)。
ローカルデバイス100は、ストリーミング要求への応答を管理サーバ300へ返信した後、リモートユーザのユーザ画像をディスプレイに表示させる(ステップS50)。リモート端末200は、管理サーバ300から提供されたデバイス情報をディスプレイに表示させる(ステップS60)。管理サーバ300は、データベースに記憶しているデータを更新する(ステップS65)。その後、ローカルデバイス100とリモート端末200との間の映像(及び音声)のストリーミングが開始される(ステップS70)。
[3−2.デバイス間の乗り移り]
図16は、リモートユーザがローカルデバイスから近傍デバイスへ乗り移る際の情報処理の流れの一例を示すシーケンス図である。図16のシーケンスの冒頭において、ローカルデバイス100aがストリーミング元デバイスとして選択されているものとする。ローカルデバイス100eは、ローカルデバイス100aの近傍に位置する近傍デバイスである。
図16を参照すると、まず、ローカルデバイス100aとリモート端末200との間で映像(及び音声)のストリーミングが実行される(ステップS100)。その後、ローカルデバイス100aにおいて又はリモート端末200において、ローカルデバイス100aの近傍デバイスが認識される(ステップS105a、S105b)。近傍デバイスの認識結果は、管理サーバ300へ報告される。管理サーバ300は、認識された近傍デバイスについて、リモート端末200との接続可能性(例えば、プロトコルの適合性又はアクセスが許可されるか否か)を検証する(ステップS110)。ここでは、ローカルデバイス100eが近傍デバイスとして認識されており、ローカルデバイス100eとリモート端末200との接続可能性は肯定されるものとする。管理サーバ300は、検証された近傍デバイス、即ちローカルデバイス100eについてのデバイス情報をリモート端末200へ送信する(ステップS115)。
リモート端末200は、管理サーバ300から受信されたデバイス情報をディスプレイに表示させ、ローカルデバイス100eへ乗り移るか(即ち、ストリーミング元デバイスをローカルデバイス100eへ変更するか)をユーザに問合せる(ステップS120)。そして、リモート端末200は、ストリーミング元デバイスの変更を指示するユーザ入力が検出されると(ステップS125)、デバイス変更要求を管理サーバ300へ送信する(ステップS130)。管理サーバ300は、リモート端末200からのデバイス変更要求の受信に応じて、ローカルデバイス100eへストリーミング要求を送信する(ステップS140)。ローカルデバイス100eは、ストリーミングが可能であるかを示す応答を管理サーバ300へ返信する(ステップS145)。ここでは、ローカルデバイス100eは、ストリーミングが可能であると判定したものとする。管理サーバ300は、さらに、退出通知をローカルデバイス100aへ送信する(ステップS150)。ローカルデバイス100aは、退出通知への確認応答(ACK)を管理サーバ300へ返信する(ステップS155)。管理サーバ300は、ストリーミング要求が受け入れられたことを示す応答をローカルデバイス100eから受信すると、デバイス変更が許可されたことを示す応答をリモート端末200へ返信する(ステップS160)。
その後、ストリーミング要求を受け入れたローカルデバイス100eは、図7に例示したような、リモートユーザが自装置へ乗り移るアニメーションを表示する(ステップS165)。また、退出通知を受信したローカルデバイス100aは、図6に例示したような、リモートユーザが自装置から近傍デバイスへ乗り移るアニメーションを表示する。リモートユーザが近傍デバイスへ乗り移るアニメーションは、さらにリモート端末200において表示されてもよい(ステップS170)。
ローカルデバイス100eは、上述したアニメーションの表示が終了した後、リモートユーザのユーザ画像をディスプレイに表示させる(ステップS175)。一方、ローカルデバイス100aは、リモートユーザのユーザ画像をディスプレイから消去する(ステップS176)。リモート端末200は、管理サーバ300から提供されたローカルデバイス100eのデバイス情報をディスプレイに表示させる(ステップS180)。管理サーバ300は、データベースに記憶しているデータを更新する(ステップS185)。その後、ローカルデバイス100eとリモート端末200との間の映像(及び音声)のストリーミングが開始される(ステップS190)。一方、ローカルデバイス100aとリモート端末200との間のストリーミングは停止される。
<4.まとめ>
ここまで、図1〜図16を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、ローカル環境の実空間に当該実空間を撮影する複数のローカルデバイスが配備される。そして、それら複数のローカルデバイスのうちリモートユーザにより選択されたローカルデバイスは、当該デバイスのカメラにより撮影される映像をリモートユーザにより使用されるリモート端末へストリーミングさせ、そのストリーミングが行われている間、当該デバイスのディスプレイにリモートユーザのユーザ画像を表示する。従って、リモートユーザは、ローカル環境に存在する様々なローカルデバイスのうち所望のデバイスの視点でローカル環境の様子を閲覧することができる。一方、ローカル環境内のローカルユーザは、どの視点でリモートユーザがローカル環境の様子を閲覧しているかを、ローカルデバイスに表示されるユーザ画像を見ることにより認識することができる。また、リモートユーザは、あるローカルデバイスから他のローカルデバイスへ視点を柔軟に移動させることができ、そうしたリモートユーザとローカルユーザとのフェイストゥフェイスのコミュニケーションが可能となる。
また、上述した実施形態によれば、いくつかのローカルデバイスは、移動機構を有する移動型デバイスとして実現される。そして、移動型デバイスの移動機構は、リモート端末から受信される移動制御信号に応じて制御される。従って、ストリーミング元デバイスとして移動型デバイスを選択することで、リモートユーザは、移動型デバイスからストリーミングされる映像を閲覧しながら移動型デバイスを制御して、映像の視点をローカル環境内で自在に移動させることができる。例えば、リモートユーザは、所望のコミュニケーション相手が存在する場所(例えば、会議室など)まで移動型デバイスを移動させて、その場所においてローカルユーザとのリモートコミュニケーションを行うこともできる。
また、上述した実施形態によれば、リモート端末へ映像をストリーミングしているローカルデバイスの近傍における近傍デバイスの存在が、リモート端末において認識され、又はローカルデバイスからリモート端末へ通知される。従って、リモートユーザは、その時点で選択しているローカルデバイスから当該ローカルデバイスの近傍デバイスへ、ストリーミング元デバイスを連鎖的に変更することができる。このような選択の変更を繰り返すことで、あたかもリモートユーザのゴーストがローカル環境内のあるデバイスから他のデバイスへ自在に乗り移っているかのような特異なユーザ体験が提供される。ローカルデバイスのディスプレイは、ストリーミング元デバイスが変更される際に、リモートユーザがデバイス間で乗り移るアニメーションを表示し得る。それにより、ローカルユーザは、リモートユーザの視点の移動を簡易且つ直感的に認識することができる。従って、リモートユーザにどこから見られているかが分かりづらいことに起因し得るローカルユーザの心理的な負担を防止することができる。
また、上述した実施形態によれば、リモート端末は、近傍デバイスが認識された場合に、ストリーミング元デバイスを当該近傍デバイスへ変更すべきかをリモートユーザに問合せるためのGUIを提供する。リモートユーザは、かかるGUIを介して、ストリーミング元デバイスを容易に選択することができる。リモート端末により提供されるGUIは、近傍デバイスの機能性に関する情報をリモートユーザへ呈示し得る。この場合、リモートユーザは、所望の機能性を有するデバイスをストリーミング元デバイスとして選択することができる。例えば、リモートユーザは、移動型デバイスに一旦乗り移った上で映像の視点をローカル環境内で移動させることにより所望のデバイスを探索し、発見した所望のデバイスへ移動型デバイスからさらに乗り移ることもできる。
なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体(非一時的な媒体:non-transitory media)に予め格納される。そして、各プログラムは、例えば、実行時にRAM(Random Access Memory)に読み込まれ、CPUなどのプロセッサにより実行される。
また、本明細書においてシーケンス図を用いて説明した処理は、必ずしも説明された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
実空間を撮影するカメラと、
リモートユーザにより使用される端末装置との間で通信する通信部と、
前記実空間を撮影する複数のデバイスから自装置が前記リモートユーザにより選択された場合に、前記カメラにより撮影される第1の映像を前記通信部から前記端末装置へストリーミングさせるストリーミング制御部と、
前記第1の映像が前記端末装置へストリーミングされている間、前記リモートユーザのユーザ画像を表示するディスプレイと、
を備える情報処理装置。
(2)
前記情報処理装置は、
前記実空間内で前記情報処理装置を移動させる移動機構と、
前記端末装置から受信される移動制御信号に応じて前記移動機構を制御する移動制御部と、
をさらに備える、前記(1)に記載の情報処理装置。
(3)
前記情報処理装置は、
前記端末装置へストリーミング可能な第2の映像を撮影する前記実空間内の第1の近傍デバイスを認識する認識部、
をさらに備え、
前記認識部は、前記第1の近傍デバイスが認識された場合に、前記第1の近傍デバイスの存在を前記端末装置へ通知する、
前記(1)又は前記(2)に記載の情報処理装置。
(4)
前記認識部は、前記第1の近傍デバイスにより表示されるマーカを前記第1の映像内で検出することにより、前記第1の近傍デバイスを認識する、前記(3)に記載の情報処理装置。
(5)
前記情報処理装置は、近距離通信部、を備え、
前記認識部は、前記第1の近傍デバイスから前記近距離通信部を介して受信される情報に基づいて、前記第1の近傍デバイスを認識する、
前記(3)に記載の情報処理装置。
(6)
前記ディスプレイは、前記端末装置への映像ストリーミングのストリーミング元デバイスが前記情報処理装置から前記第1の近傍デバイスへ変更される際に、前記リモートユーザが前記第1の近傍デバイスへ乗り移るアニメーションを表示する、前記(3)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記ストリーミング制御部は、前記端末装置への映像ストリーミングのストリーミング元デバイスが前記実空間内の第2の近傍デバイスから前記情報処理装置へ変更された場合に、前記第1の映像を前記端末装置へストリーミングさせる、前記(1)〜(6)のいずれか1項に記載の情報処理装置。
(8)
前記情報処理装置は、
前記情報処理装置が前記第1の映像をストリーミング可能であることを示すマーカを前記ディスプレイに表示させる表示制御部、
をさらに備える、前記(7)に記載の情報処理装置。
(9)
前記情報処理装置は、
前記情報処理装置が前記第1の映像をストリーミング可能であることを示す情報を送信する近距離通信部、
をさらに備える、前記(7)に記載の情報処理装置。
(10)
前記ディスプレイは、前記端末装置への映像ストリーミングのストリーミング元デバイスが前記第2の近傍デバイスから前記情報処理装置へ変更される際に、前記リモートユーザが前記第2の近傍デバイスから前記情報処理装置へ乗り移るアニメーションを表示する、前記(7)〜(9)のいずれか1項に記載の情報処理装置。
(11)
前記情報処理装置は、
前記実空間内に存在するローカルユーザからのユーザ入力に応じて前記第1の映像の端末装置へのストリーミングを許可するか否かを設定する設定部、
をさらに備える、前記(1)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記移動制御部は、前記第1の映像が複数のリモートユーザによりそれぞれ使用される複数の端末装置へストリーミングされている場合に、所定の条件に従って、前記複数の端末装置の少なくとも1つから受信される移動制御信号に基づいて前記情報処理装置の動きを決定する、前記(2)に記載の情報処理装置。
(13)
実空間を撮影するカメラと、リモートユーザにより使用される端末装置との間で通信する通信部と、を備える情報処理装置により実行される情報処理方法であって、
前記実空間を撮影する複数のデバイスから自装置が前記リモートユーザにより選択された場合に、前記カメラにより撮影される第1の映像を前記通信部から前記端末装置へストリーミングさせることと、
前記第1の映像が前記端末装置へストリーミングされている間、前記リモートユーザのユーザ画像をディスプレイに表示させることと、
を含む情報処理方法。
(14)
端末装置であって、
実空間をそれぞれ撮影する複数のデバイスとの間で通信する通信部と、
前記複数のデバイスのうち前記端末装置を使用するリモートユーザにより選択されたデバイスからストリーミングされる、前記実空間を映す第1の映像を再生するストリーミング制御部と、
前記第1の映像が前記ストリーミング制御部により再生されている間、前記リモートユーザのユーザ画像を前記選択されたデバイスのディスプレイに表示させるデバイス制御部と、
を備える端末装置。
(15)
前記デバイス制御部は、前記端末装置へストリーミング可能な第2の映像を撮影する前記実空間内の第1の近傍デバイスが認識された場合に、前記端末装置への映像ストリーミングのストリーミング元デバイスを前記第1の近傍デバイスへ変更すべきかをユーザに問合せる、前記(14)に記載の端末装置。
(16)
前記デバイス制御部は、前記ストリーミング元デバイスを前記第1の近傍デバイスへ変更すべきかをユーザに問合せる際に、前記第1の近傍デバイスの機能性に関する情報を前記リモートユーザへ呈示する、前記(15)に記載の端末装置。
(17)
前記端末装置は、
前記第1の映像に映る前記第1の近傍デバイスを認識する認識部、
をさらに備える、前記(15)又は前記(16)に記載の端末装置。
(18)
前記認識部は、前記第1の近傍デバイスにより表示されるマーカを前記第1の映像内で検出することにより、前記第1の近傍デバイスを認識する、前記(17)に記載の情報処理装置。
(19)
前記複数のデバイスは、移動機構を有する少なくとも1つの移動型デバイスを含み、
前記デバイス制御部は、前記移動型デバイスが前記ストリーミング元デバイスとして選択されている場合に、前記リモートユーザからのユーザ入力に応じて、当該移動型デバイスの移動を制御するために当該移動型デバイスへ送信される移動制御信号を生成する、
前記(14)〜(18)のいずれか1項に記載の情報処理装置。
(20)
実空間をそれぞれ撮影する複数のデバイスとの間で通信する通信部を備える端末装置により実行される情報処理方法であって、
前記複数のデバイスのうち前記端末装置を使用するリモートユーザにより選択されたデバイスからストリーミングされる、前記実空間を映す第1の映像を再生することと、
前記第1の映像が再生されている間、前記リモートユーザのユーザ画像を前記選択されたデバイスのディスプレイに表示させることと、
を含む情報処理方法。
1 情報処理システム
10 ローカル環境
20 ネットワーク
100 情報処理装置(ローカルデバイス)
101 カメラ
105 ディスプレイ
111 ネットワーク(NW)通信部
113 近距離通信部
119 移動機構
130 ストリーミング制御部
140 認識部
150 表示制御部
160 設定部
170 移動制御部
200 端末装置(リモート端末)
211 ネットワーク(NW)通信部
230 ストリーミング制御部
240 認識部
250 デバイス制御部
300 管理サーバ

Claims (20)

  1. 実空間を撮影するカメラと、
    リモートユーザにより使用される端末装置との間で通信する通信部と、
    前記実空間を撮影する複数のデバイスから自装置が前記リモートユーザにより選択された場合に、前記カメラにより撮影される第1の映像を前記通信部から前記端末装置へストリーミングさせるストリーミング制御部と、
    前記第1の映像が前記端末装置へストリーミングされている間、前記リモートユーザのユーザ画像を表示するディスプレイと、
    を備える情報処理装置。
  2. 前記情報処理装置は、
    前記実空間内で前記情報処理装置を移動させる移動機構と、
    前記端末装置から受信される移動制御信号に応じて前記移動機構を制御する移動制御部と、
    をさらに備える、請求項1に記載の情報処理装置。
  3. 前記情報処理装置は、
    前記端末装置へストリーミング可能な第2の映像を撮影する前記実空間内の第1の近傍デバイスを認識する認識部、
    をさらに備え、
    前記認識部は、前記第1の近傍デバイスが認識された場合に、前記第1の近傍デバイスの存在を前記端末装置へ通知する、
    請求項1に記載の情報処理装置。
  4. 前記認識部は、前記第1の近傍デバイスにより表示されるマーカを前記第1の映像内で検出することにより、前記第1の近傍デバイスを認識する、請求項3に記載の情報処理装置。
  5. 前記情報処理装置は、近距離通信部、を備え、
    前記認識部は、前記第1の近傍デバイスから前記近距離通信部を介して受信される情報に基づいて、前記第1の近傍デバイスを認識する、
    請求項3に記載の情報処理装置。
  6. 前記ディスプレイは、前記端末装置への映像ストリーミングのストリーミング元デバイスが前記情報処理装置から前記第1の近傍デバイスへ変更される際に、前記リモートユーザが前記第1の近傍デバイスへ乗り移るアニメーションを表示する、請求項3に記載の情報処理装置。
  7. 前記ストリーミング制御部は、前記端末装置への映像ストリーミングのストリーミング元デバイスが前記実空間内の第2の近傍デバイスから前記情報処理装置へ変更された場合に、前記第1の映像を前記端末装置へストリーミングさせる、請求項1に記載の情報処理装置。
  8. 前記情報処理装置は、
    前記情報処理装置が前記第1の映像をストリーミング可能であることを示すマーカを前記ディスプレイに表示させる表示制御部、
    をさらに備える、請求項7に記載の情報処理装置。
  9. 前記情報処理装置は、
    前記情報処理装置が前記第1の映像をストリーミング可能であることを示す情報を送信する近距離通信部、
    をさらに備える、請求項7に記載の情報処理装置。
  10. 前記ディスプレイは、前記端末装置への映像ストリーミングのストリーミング元デバイスが前記第2の近傍デバイスから前記情報処理装置へ変更される際に、前記リモートユーザが前記第2の近傍デバイスから前記情報処理装置へ乗り移るアニメーションを表示する、請求項7に記載の情報処理装置。
  11. 前記情報処理装置は、
    前記実空間内に存在するローカルユーザからのユーザ入力に応じて前記第1の映像の端末装置へのストリーミングを許可するか否かを設定する設定部、
    をさらに備える、請求項1に記載の情報処理装置。
  12. 前記移動制御部は、前記第1の映像が複数のリモートユーザによりそれぞれ使用される複数の端末装置へストリーミングされている場合に、所定の条件に従って、前記複数の端末装置の少なくとも1つから受信される移動制御信号に基づいて前記情報処理装置の動きを決定する、請求項2に記載の情報処理装置。
  13. 実空間を撮影するカメラと、リモートユーザにより使用される端末装置との間で通信する通信部と、を備える情報処理装置により実行される情報処理方法であって、
    前記実空間を撮影する複数のデバイスから自装置が前記リモートユーザにより選択された場合に、前記カメラにより撮影される第1の映像を前記通信部から前記端末装置へストリーミングさせることと、
    前記第1の映像が前記端末装置へストリーミングされている間、前記リモートユーザのユーザ画像をディスプレイに表示させることと、
    を含む情報処理方法。
  14. 端末装置であって、
    実空間をそれぞれ撮影する複数のデバイスとの間で通信する通信部と、
    前記複数のデバイスのうち前記端末装置を使用するリモートユーザにより選択されたデバイスからストリーミングされる、前記実空間を映す第1の映像を再生するストリーミング制御部と、
    前記第1の映像が前記ストリーミング制御部により再生されている間、前記リモートユーザのユーザ画像を前記選択されたデバイスのディスプレイに表示させるデバイス制御部と、
    を備える端末装置。
  15. 前記デバイス制御部は、前記端末装置へストリーミング可能な第2の映像を撮影する前記実空間内の第1の近傍デバイスが認識された場合に、前記端末装置への映像ストリーミングのストリーミング元デバイスを前記第1の近傍デバイスへ変更すべきかをユーザに問合せる、請求項14に記載の端末装置。
  16. 前記デバイス制御部は、前記ストリーミング元デバイスを前記第1の近傍デバイスへ変更すべきかをユーザに問合せる際に、前記第1の近傍デバイスの機能性に関する情報を前記リモートユーザへ呈示する、請求項15に記載の端末装置。
  17. 前記端末装置は、
    前記第1の映像に映る前記第1の近傍デバイスを認識する認識部、
    をさらに備える、請求項15に記載の端末装置。
  18. 前記認識部は、前記第1の近傍デバイスにより表示されるマーカを前記第1の映像内で検出することにより、前記第1の近傍デバイスを認識する、請求項17に記載の情報処理装置。
  19. 前記複数のデバイスは、移動機構を有する少なくとも1つの移動型デバイスを含み、
    前記デバイス制御部は、前記移動型デバイスがストリーミング元デバイスとして選択されている場合に、前記リモートユーザからのユーザ入力に応じて、当該移動型デバイスの移動を制御するために当該移動型デバイスへ送信される移動制御信号を生成する、
    請求項14に記載の情報処理装置。
  20. 実空間をそれぞれ撮影する複数のデバイスとの間で通信する通信部を備える端末装置により実行される情報処理方法であって、
    前記複数のデバイスのうち前記端末装置を使用するリモートユーザにより選択されたデバイスからストリーミングされる、前記実空間を映す第1の映像を再生することと、
    前記第1の映像が再生されている間、前記リモートユーザのユーザ画像を前記選択されたデバイスのディスプレイに表示させることと、
    を含む情報処理方法。
JP2014123564A 2014-06-16 2014-06-16 情報処理装置、情報処理方法及び端末装置 Pending JP2016005083A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014123564A JP2016005083A (ja) 2014-06-16 2014-06-16 情報処理装置、情報処理方法及び端末装置
US15/314,504 US9894317B2 (en) 2014-06-16 2015-05-12 Controlling communication between a local device and a remote terminal device
PCT/JP2015/063553 WO2015194285A1 (ja) 2014-06-16 2015-05-12 情報処理装置、情報処理方法及び端末装置
US15/861,745 US10477143B2 (en) 2014-06-16 2018-01-04 Information processing device, information processing method, and terminal device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014123564A JP2016005083A (ja) 2014-06-16 2014-06-16 情報処理装置、情報処理方法及び端末装置

Publications (1)

Publication Number Publication Date
JP2016005083A true JP2016005083A (ja) 2016-01-12

Family

ID=54935279

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014123564A Pending JP2016005083A (ja) 2014-06-16 2014-06-16 情報処理装置、情報処理方法及び端末装置

Country Status (3)

Country Link
US (2) US9894317B2 (ja)
JP (1) JP2016005083A (ja)
WO (1) WO2015194285A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017224918A (ja) * 2016-06-14 2017-12-21 株式会社デンソー 家電機器制御システム
US10432894B2 (en) 2016-03-23 2019-10-01 Optim Corporation Communication system, communication method, and program
WO2022124289A1 (ja) * 2020-12-08 2022-06-16 Tvision Insights株式会社 制御プログラム、制御装置および制御方法、ならびに、視聴質出力プログラム、視聴質出力装置および視聴質出力方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016005083A (ja) * 2014-06-16 2016-01-12 ソニー株式会社 情報処理装置、情報処理方法及び端末装置
JP6685851B2 (ja) * 2016-06-17 2020-04-22 オリンパス株式会社 撮像装置、操作装置、及び撮像システム
CN109451238A (zh) * 2017-11-23 2019-03-08 北京臻迪科技股份有限公司 一种通信方法、通信系统及无人机
WO2020161701A1 (en) 2019-02-10 2020-08-13 Eitan Lavie A teleconferencing device
US11202035B2 (en) 2020-04-24 2021-12-14 Facebook, Inc. Dynamically modifying live video streams for participant devices in digital video rooms
EP4117280A1 (en) * 2021-07-08 2023-01-11 DG Inception GmbH Devices, systems and methods for telepresence communication

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008106088A2 (en) * 2007-02-27 2008-09-04 Roy Sandberg Method and system for facilitating commercial transactions using a telepresence robot
JP2008306327A (ja) 2007-06-06 2008-12-18 Sony Corp テレビ会議装置
US9842192B2 (en) * 2008-07-11 2017-12-12 Intouch Technologies, Inc. Tele-presence robot system with multi-cast features
US8463435B2 (en) * 2008-11-25 2013-06-11 Intouch Technologies, Inc. Server connectivity control for tele-presence robot
US8917632B2 (en) * 2010-04-07 2014-12-23 Apple Inc. Different rate controller configurations for different cameras of a mobile device
US9079313B2 (en) * 2011-03-15 2015-07-14 Microsoft Technology Licensing, Llc Natural human to robot remote control
US8581956B2 (en) * 2011-04-29 2013-11-12 Hewlett-Packard Development Company, L.P. Methods and systems for communicating focus of attention in a video conference
US9578076B2 (en) * 2011-05-02 2017-02-21 Microsoft Technology Licensing, Llc Visual communication using a robotic device
US8761933B2 (en) 2011-08-02 2014-06-24 Microsoft Corporation Finding a called party
US20130208123A1 (en) * 2012-02-13 2013-08-15 Honeywell International Inc. Method and System for Collecting Evidence in a Security System
JP2016005083A (ja) * 2014-06-16 2016-01-12 ソニー株式会社 情報処理装置、情報処理方法及び端末装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10432894B2 (en) 2016-03-23 2019-10-01 Optim Corporation Communication system, communication method, and program
JP2017224918A (ja) * 2016-06-14 2017-12-21 株式会社デンソー 家電機器制御システム
WO2022124289A1 (ja) * 2020-12-08 2022-06-16 Tvision Insights株式会社 制御プログラム、制御装置および制御方法、ならびに、視聴質出力プログラム、視聴質出力装置および視聴質出力方法

Also Published As

Publication number Publication date
US20170201715A1 (en) 2017-07-13
US10477143B2 (en) 2019-11-12
US9894317B2 (en) 2018-02-13
WO2015194285A1 (ja) 2015-12-23
US20180131901A1 (en) 2018-05-10

Similar Documents

Publication Publication Date Title
WO2015194285A1 (ja) 情報処理装置、情報処理方法及び端末装置
US11722537B2 (en) Communication sessions between computing devices using dynamically customizable interaction environments
US20190318540A1 (en) Systems and methods for shared creation of augmented reality
JP6096998B2 (ja) インスタントメッセージング方法、装置、プログラム及び記録媒体
US11394757B2 (en) Communication terminal, communication system, and method of sharing data
US11416202B2 (en) Communication terminal, communication system, method of sharing data, and recording medium
US20220078344A1 (en) Communication terminal, display method, and non-transitory computer-readable medium
KR20140137736A (ko) 그룹 메시지 표시 방법 및 장치
EP3817326A1 (en) Communication terminal, communication system, method for sharing data, and carrier means
JP2017068329A (ja) 通信管理システム、通信システム、通信管理方法、及びプログラム
KR102136413B1 (ko) 다자간 커뮤니케이션 서비스를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
JP7091880B2 (ja) 情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム
JP6361728B2 (ja) 伝送制御システム、伝送システム、伝送制御方法、及び記録媒体
JP2021039616A (ja) 情報処理システム、情報処理装置、画像表示方法、プログラム
JP6597299B2 (ja) 共有端末、通信システム、通信方法、及びプログラム
US20170111409A1 (en) Transmission terminal, automatic response method, and recording medium
JP7115097B2 (ja) 通信端末、プログラム、表示方法、記録媒体
JP7358934B2 (ja) 通信管理システム、通信システム、通信方法、及びプログラム
US11636233B2 (en) Communication terminal sharing image data with counterpart communication terminal, system including the same, and method for controlling image capture
US20230308705A1 (en) Communication terminal, communication management system, remote operation method, processing method, and communication management method
JP2016195389A (ja) 通信管理システム、通信システム、通信管理方法、及びプログラム
WO2023087005A1 (en) Systems, methods, and media for controlling shared extended reality presentations
JP6607034B2 (ja) 共有端末、通信システム、通信方法、及びプログラム
JP6812645B2 (ja) 通信端末、通信システム、通信方法、及びプログラム
JP2023140159A (ja) 通信端末、通信管理システム、通信システム、処理方法、通信管理方法、通信方法、及びプログラム