JP2017062598A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】より利便性が高い仮想空間の画像を観察者に視認させる情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】仮想空間の画像に対する観察者の注視点または注視対象に基づいて、前記仮想空間の画像を規定する仮想カメラの画角を制御する制御部と、前記仮想空間の画像に関する情報を出力する画像情報出力部と、を備える、情報処理装置。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

近年、観察者に対する出力インタフェースとして、仮想空間の画像を用いることが検討されている。

例えば、下記の特許文献１に開示されるようなテレビ会議システムにおいて、仮想空間の画像を適用することが検討されている。具体的には、テレビ会議システムにおいて、実空間の画像ではなく、空間内を自由に視点変更することが可能な仮想空間の画像を観察者に視認させることが検討されている。このような場合、観察者は、様々な視点の画像を視認することができるため、より多くの情報を知覚することができる。

このような仮想空間の画像における視点の変更は、一般的に仮想空間の画像を規定する仮想カメラの画角を、仮想空間の原点を基準として制御することによって行われる。

特開２００９−８１８８１号公報

しかしながら、観察者が視認したい対象とは無関係な仮想空間の原点を基準として仮想カメラの画角が制御された場合、観察者は視認したい対象を見失いやすかった。したがって、上記の方法によって制御された仮想カメラの画角に含まれる仮想空間の画像は、観察者にとって利便性が低かった。

そこで、本開示では、より利便性が高い仮想空間の画像を観察者に視認させることが可能な情報処理装置、情報処理方法、およびプログラムを提案する。

本開示によれば、仮想空間の画像に対する観察者の注視点または注視対象に基づいて、前記仮想空間の画像を規定する仮想カメラの画角を制御する制御部と、前記仮想空間の画像に関する情報を出力する画像情報出力部と、を備える、情報処理装置が提供される。

また、本開示によれば、演算処理装置により、仮想空間の画像に対する観察者の注視点または注視対象に基づいて、前記仮想空間の画像を規定する仮想カメラの画角を制御することと、前記仮想空間の画像に関する情報を出力することと、を含む、情報処理方法が提供される。

さらに、本開示によれば、コンピュータを仮想空間の画像に対する観察者の注視点または注視対象に基づいて、前記仮想空間の画像を規定する仮想カメラの画角を制御する制御部と、前記仮想空間の画像に関する情報を出力する画像情報出力部と、として機能させる、プログラムが提供される。

本開示によれば、観察者が視認したい対象に基づいて仮想カメラの画角を制御することが可能である。

以上説明したように本開示によれば、観察者は、より利便性が高い仮想空間の画像を視認することが可能である。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の第１の実施形態に係る情報処理装置の概要を説明する説明図である。 比較例に係る仮想カメラの画角の制御を説明する説明図である。 同実施形態に係る仮想カメラの画角の制御を説明する説明図である。 同実施形態に係る情報処理装置の機能構成を説明するブロック図である。 仮想カメラの画角の回転を説明する説明図である。 仮想カメラのズームインまたはズームアウトを説明する説明図である。 仮想カメラのズームインにおける画像例を示す説明図である。 仮想カメラの平行移動を説明する説明図である。 仮想カメラの平行移動における画像例を示す説明図である。 画像生成部が生成するポイントクラウド画像を示す模式図である。 画像生成部が生成するメッシュ画像を示す模式図である。 同実施形態に係る情報処理装置の動作の一例を示すフローチャート図である。 同実施形態に係る情報処理装置の第１の用途例を説明する説明図である。 同実施形態に係る情報処理装置の第２の用途例を説明する説明図である。 本開示の第２の実施形態に係る情報処理装置の機能構成を示したブロック図である。 同実施形態に係る情報処理装置の使用例を説明する説明図である。 同実施形態に係る情報処理装置の使用例を説明する説明図である。 同実施形態に係る情報処理装置の使用例を説明する説明図である。 同実施形態の第１の変形例に係る情報処理装置について説明する説明図である。 同実施形態の第２の変形例に係る情報処理装置について説明する説明図である。 本開示の各実施形態に係る情報処理装置のハードウェア構成例を示したブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．情報処理装置の概要
１．２．情報処理装置の構成
１．３．情報処理装置の動作
１．４．情報処理装置の用途
２．第２の実施形態
２．１．情報処理装置の構成
２．２．情報処理装置の用途
２．３．変形例
３．ハードウェア構成例
４．まとめ

＜１．第１の実施形態＞
［１．１．情報処理装置の概要］
まず、図１〜図２Ｂを参照して、本開示の一実施形態に係る情報処理装置の概要について説明する。図１は、本実施形態に係る情報処理装置の概要を説明する説明図である。また、図２Ａは、比較例に係る仮想カメラの画角の制御を説明する説明図であり、図２Ｂは、本実施形態に係る仮想カメラの画角の制御を説明する説明図である。

図１に示すように、本実施形態に係る情報処理装置は、観察者２によって視認される仮想空間の画像５を生成するものである。仮想空間とは、情報処理装置が実行する情報処理によって構築された仮想上の三次元空間である。また、仮想空間の画像５とは、該仮想空間の所定の位置に設置された仮想カメラにて、該仮想空間を撮像した場合に得られる画像である。

このような仮想空間の画像５は、例えば、テレビ電話、およびテレビ会議などに用いることができる。例えば、仮想空間の画像５は、遠隔地の実空間に存在する被観察者の画像３０を含む画像であってもよい。

仮想空間の画像５の内容は、上述したように仮想空間内に設定された仮想カメラの画角によって規定される。情報処理装置は、仮想カメラの画角を制御することによって、観察者２に視認される仮想空間の画像５を変更することができる。具体的には、情報処理装置は、仮想空間内における仮想カメラの位置および向きを制御することにより、様々な視点からの仮想空間の画像を観察者２に視認させることができる。

ここで、観察者２によって視認されている対象とは無関係な固定点（例えば、仮想空間における原点など）を回転中心として仮想カメラの画角を回転させる場合、観察者２により視認されている対象を仮想カメラの画角の中央に捉え続けることは困難であった。

例えば、図２Ａに示す被観察者の画像３１を含む仮想空間の画像５１Ａにおいて、仮想空間の固定点４１を回転中心として仮想カメラの画角を回転させた場合、回転後の画像５１Ｂでは、被観察者の画像３１は、画像５１Ｂの中央から外れた位置に移動してしまう。これは、仮想カメラの画角を回転させる場合、回転中心から対象が離れるほど、回転によって対象が大きく移動してしまうためである。

すなわち、このような仮想カメラの画角の制御では、観察者２が視認したい対象を中央に捉えたまま、仮想カメラの位置および向きを制御することは困難であった。特に、仮想カメラの画角の回転中心である固定点と、視認したい対象との距離が離れている場合、小さな画角の回転でも視認したい対象が仮想カメラの画角から外れてしまうことがあり、利便性が低かった。

一方、本実施形態に係る情報処理装置は、仮想空間の画像における観察者２の注視点または注視対象に基づいて仮想カメラの画角を制御する。例えば、図２Ｂに示す被観察者の画像３２を含む仮想空間の画像５２Ａにおいて、画像５２Ａの中から観察者２の視線情報に基づいて注視点を検出し、検出した注視点に基づいた基準点４２を回転中心として仮想カメラの画角を回転させる。このような場合、回転後の画像５２Ｂでは、被観察者の画像３２を画像５２Ｂの中央に位置させることができる。これは、多くの場合、観察者２は、視認したい対象を注視しているため、観察者２の注視点に基づいた基準点４２を回転中心として仮想カメラの画角を回転させることによって、観察者２が視認している対象の移動量を小さくすることができるためである。

このような本実施形態に係る情報処理装置によれば、観察者２が視認したい対象を仮想空間の画像の中央に捉えたまま、仮想カメラの画角を制御し、仮想空間内を自由に視点変更することができる。また、本実施形態に係る情報処理装置によれば、仮想カメラの画角が変更された際に、観察者２によって視認されている対象が仮想カメラの画角から外れ、観察者２が視認していた対象を見失うことを防止することができる。したがって、本実施形態に係る情報処理装置は、観察者２に対する仮想空間の画像の利便性を向上させることができる。

さらに、本実施形態に係る情報処理装置によれば、仮想カメラの画角を制御するための基準となる点を仮想空間内において動的に変更することができる。このような場合、観察者２は、視認したい対象を注視することによって、仮想カメラの画角の制御の基準点を変更することができる。これにより、本実施形態に係る情報処理装置は、観察者２に直感的に仮想カメラの位置および向きを変更させることができ、様々な視点の仮想空間の画像を視認させることが可能である。

なお、本実施形態に係る情報処理装置は、仮想空間の画像を表示する表示装置であってもよく、仮想空間の画像を生成し、外部の表示装置に画像情報を出力する情報処理装置であってもよい。例えば、本実施形態に係る情報処理装置は、透過型または遮蔽型のヘッドマウントディスプレイ装置、全天周に画像を表示することができるドーム型ディスプレイ、液晶表示装置および有機エレクトロルミネッセンス表示装置などの表示装置、三次元画像を表示可能な３Ｄ表示装置、ならびに二次元画像または三次元画像を表示することができるプロジェクタ表示装置などであってもよく、これらの表示装置に画像情報を出力する情報処理装置であってもよい。

ここで、本実施形態に係る情報処理装置にて生成される仮想空間の画像は、例えば、実空間に設置された撮像装置によって撮像された画像に基づいて生成されたものであってもよく、実空間に設置された各種センサの測定結果に基づいて生成されたものであってもよい。また、仮想空間の画像は、実空間の情報等に基づかずに生成されたものであってもよいことは言うまでもない。具体的には、仮想空間の画像は、実空間に設置された少なくとも１つ以上のデプスセンサによって測定されたデプス情報に基づいて生成されたポイントクラウド画像であってもよい。ここで、デプスセンサとは、センサから対象までの距離を測定し、測定した距離をデプス情報として出力することが可能なセンサである。また、ポイントクラウド画像とは、デプスセンサから対象までの距離に基づいて、対象を仮想空間上に配置された点の集合として表現した画像である。

［１．２．情報処理装置の構成］
次に、図３〜図８を参照して、本実施形態に係る情報処理装置の構成を説明する。図３は、本実施形態に係る情報処理装置１の機能構成を説明するブロック図である。

図３に示すように、情報処理装置１は、注視点検出部１００と、基準点設定部１１０と、画角制御情報取得部１２０と、制御部１３０と、入力部１４０と、画像情報出力部１５０と、画像生成部１６０と、を備える。

注視点検出部１００は、観察者２の注視点を検出する。注視点検出部１００が注視点を検出する方法は、公知の方法を用いることができる。例えば、注視点検出部１００は、撮像装置によって撮像された観察者２の画像を解析し、眼球の中心および瞳孔を検出することで注視点を検出してもよい。また、注視点検出部１００は、赤外線を観察者２の眼球に照射することで取得した角膜表面での反射光と、撮像装置により検出した瞳孔の位置とを用いて注視点を検出してもよい。

さらに、注視点検出部１００は、観察者２の視線を検出し、観察者２の視線と仮想空間の画像（例えば、仮想空間において最前面の対象）との交点を観察者２の注視点としてもよい。また、注視点を検出するセンサの検出限界等により注視点が検出できず、観察者２の視線のみが検出される場合、注視点検出部１００は、観察者２の視線と、センサの検出限界との交点を観察者２の注視点としてもよい。

基準点設定部１１０は、観察者２の注視点に基づいて、仮想空間内に基準点を設定する。具体的には、基準点設定部１１０は、注視点検出部１００によって検出された観察者２の注視点に基づいて、仮想空間内に仮想カメラの画角を制御するための基準点を設定する。なお、観察者２が仮想空間の画像を視認していない場合、基準点設定部１１０は、仮想空間内に基準点を設定しなくともよく、後述する制御部１３０は、仮想空間の画角の制御を行わなくともよい。

例えば、基準点設定部１１０は、観察者２の注視点と基準点とが常に一致するように基準点を設定してもよい。また、基準点設定部１１０は、所定のタイミングにおける観察者２の注視点を基準点として設定し、一定周期（例えば、１分ごとなど）にて基準点を更新してもよい。また、基準点設定部１１０は、観察者２の注視点の移動量が所定の期間（例えば、５秒間など）、閾値未満である場合、当該タイミングにおける観察者２の注視点を基準点として設定してもよい。さらに、基準点設定部１１０は、観察者２の注視点を所定の期間（例えば、１０秒間など）にて移動平均した点を基準点として設定してもよい。

画角制御情報取得部１２０は、仮想空間の画像を規定する仮想カメラの画角を制御することを指示する情報を取得する。具体的には、画角制御情報取得部１２０は、仮想空間の画像を規定する仮想カメラの位置および向きを制御することを指示する情報を取得する。

例えば、画角制御情報取得部１２０は、観察者２からの入力を受け付ける入力装置を備え、該入力装置によって観察者２からの仮想カメラの画角を制御することを指示する情報が入力されてもよい。このような入力装置としては、例えば、タッチパネル、マウス、キーボード、ボタン、スイッチおよびレバーなどを例示することができる。

また、画角制御情報取得部１２０は、観察者２の頭部の動きを検出し、観察者２の頭部の動きに関する情報を仮想カメラの画角を制御する情報として取得してもよい。なお、観察者２の頭部の動きは、例えば、撮像装置によって撮像された観察者２の画像の解析、または観察者２の頭部に備えられた加速度センサ等の測定により、検出することが可能である。

制御部１３０は、観察者２の注視点に基づいて設定された基準点に基づいて、仮想カメラの画角を制御する。具体的には、制御部１３０は、画角制御情報取得部１２０により取得された仮想カメラの画角を制御することを指示する情報に応じて、基準点設定部１１０によって設定された基準点を用いて仮想カメラの画角を制御する。なお、制御部１３０は、観察者２から仮想カメラの画角を固定することを指示する入力を受けた場合、または視線情報から観察者２が仮想空間の画像を視認していないと判断される場合、仮想カメラの画角を固定するように制御を切り替えてもよい。

例えば、画角制御情報取得部１２０が観察者２からの入力を受け付ける入力装置である場合、制御部１３０は、観察者２によって入力された仮想カメラの画角の回転の指示に応じて、基準点を回転中心として仮想カメラの画角を回転させてもよい。また、制御部１３０は、観察者２によって入力された仮想カメラのズームインまたはズームアウトの指示に応じて、基準点に対して仮想カメラをズームインまたはズームアウトさせてもよい。

例えば、画角制御情報取得部１２０が観察者２の頭部の動きを検出するものである場合、制御部１３０は、観察者２の頭部の動きに応じて、基準点を回転中心として仮想カメラの画角を回転させてもよい。また、制御部１３０は、観察者２の頭部の動きに応じて、基準点に対して仮想カメラをズームインまたはズームアウトさせてもよく、観察者２の頭部の動きに応じて、基準点に対して仮想カメラを平行移動させてもよい。

このような観察者２の頭部の動きに応じて、仮想カメラの動きおよび向きを制御する場合について、図４〜図６Ｂを参照して、より具体的に説明する。図４は、仮想カメラの画角の回転を説明する説明図である。また、図５Ａは、仮想カメラのズームインまたはズームアウトを説明する説明図であり、図５Ｂは、仮想カメラのズームインにおける画像例を示す説明図である。さらに、図６Ａは、仮想カメラの平行移動を説明する説明図であり、図６Ｂは、仮想カメラの平行移動における画像例を示す説明図である。

図４に示すように、観察者２の頭部が回転した場合、制御部１３０は、基準点を回転中心として仮想カメラの画角を回転させる。具体的には、制御部１３０は、観察者２の頭部の回転の方向と、仮想カメラの画角の回転の方向とが基準点を中心として対称になるように仮想カメラの画角を回転させる。このような制御によれば、制御部１３０は、観察者２に対して、より違和感が少ない仮想空間の画像を視認させることができる。また、制御部１３０は、仮想空間の画像５に被観察者の画像が含まれる場合、頭部を回転させた観察者２と、仮想空間の画像５の被観察者との視線が合うように仮想カメラの画角を回転させることができる。なお、観察者２の頭部の回転とは、図４に示す左右方向の回転に限らず、上下方向の回転（例えば、見上げる、または見下ろす動作による回転）をも含むことは言うまでもない。

また、図５Ａに示すように、観察者２の頭部が仮想空間の画像５（すなわち、表示装置）に近づいた、または離れた場合、制御部１３０は、基準点に対して仮想カメラをズームインまたはズームアウトする。具体的には、制御部１３０は、観察者２の頭部が仮想空間の画像５に近づいた場合、仮想カメラを基準点に向かってズームインさせる。また、制御部１３０は、観察者２の頭部が仮想空間の画像から離れた場合、仮想カメラを基準点からズームアウトさせる。

例えば、図５Ｂに示す被観察者の画像３３を含む仮想空間の画像５３Ａに対して、観察者２が頭部を接近させた場合、観察者２は、注視点に基づく基準点４２に向かってズームインした仮想空間の画像５３Ｂを視認することができる。このような場合、観察者２は、頭部の動きにより、直感的に仮想カメラを制御し、より違和感が少ない仮想空間の画像を視認することができる。

また、図６Ａに示すように、観察者２の頭部が仮想空間の画像５（すなわち、表示装置）に対して左右に平行移動した場合、制御部１３０は、基準点に対して仮想カメラの画角を左右に平行移動させる。具体的には、制御部１３０は、観察者の頭部の仮想空間の画像５に対する平行移動の方向と、仮想カメラの画角の平行移動の方向とが基準点に対して対称になるように仮想カメラの画角を平行移動させる。このような制御によれば、制御部１３０は、観察者２が仮想空間の画像５に対して移動した場合でも、視認している対象が並進するように移動した仮想空間の画像５を観察者２に視認させることができる。

例えば、図６Ｂに示す被観察者の画像３４を含む仮想空間の画像５４Ａに対して、観察者２が右側に平行移動した場合、観察者２は、基準点４２に対して、被観察者の画像３４が右側に平行移動した仮想空間の画像５４Ｂを視認することができる。このような場合、観察者２は、仮想空間の画像に対して平行移動した場合でも、視認している対象を正面に捉え続けることができる。

さらに、制御部１３０は、上記の制御を複合して実行してもよい。具体的には、観察者２の頭部が回転した場合、制御部１３０は、基準点に対して仮想カメラを回転させ、かつ平行移動させてもよい。また、観察者２の頭部が平行移動した場合、制御部１３０は、基準点に対して仮想カメラを平行移動させ、かつ回転させてもよい。制御部１３０は、このような制御を複合して実行することにより、観察者２の頭部の動きに対して、より違和感のない自然な仮想カメラの制御を行うことができる。

なお、観察者２の頭部の動き量に対応する仮想カメラの動き量は、観察者２が仮想空間の画像を視認するにあたって違和感が少なくなるように、適宜設定することが好ましい。また、上記の仮想カメラの動き量は、観察者２が仮想空間の画像中の被観察者に対して目線を合わせたいのか、観察者２が仮想空間の画像中の被観察者と共同作業をしたいのか、または観察者２が仮想空間の画像中の被観察者と空間を共有したいのか等の目的に基づいて設定されてもよい。

入力部１４０には、仮想空間の画像を生成するための情報が入力される。例えば、入力部１４０は、実空間に設置された撮像装置、または各種センサ（例えば、デプスセンサ）などであってもよい。また、入力部１４０は、実空間に設置された撮像装置、または各種センサなどからの情報が入力されるＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インタフェース、イーサネット（登録商標）インタフェース、ＩＥＥＥ８０２．１１規格インタフェース等の有線または無線の外部入力インタフェースであってもよい。

画像情報出力部１５０は、仮想カメラの画角の制御に関する情報を含む仮想空間の画像に関する情報を出力する。また、画像情報出力部１５０は、入力部１４０に入力された仮想空間の画像を生成するための情報をさらに出力してもよい。例えば、画像情報出力部１５０は、仮想空間の画像に関する情報を画像生成部１６０に出力する内部バス、ブリッジまたはインタフェースなどであってもよく、仮想空間の画像に関する情報を情報処理装置１の外部に備えらえた画像生成部１６０に出力するＵＳＢインタフェース、イーサネットインタフェース、ＩＥＥＥ８０２．１１規格インタフェース等の有線または無線の外部出力インタフェースであってもよい。

画像生成部１６０は、画像情報出力部１５０から出力された仮想空間の画像に関する情報に基づいて、仮想空間の画像を生成する。具体的には、画像生成部１６０は、入力部１４０に入力された仮想空間の画像を生成するための情報と、制御部１３０によって制御された仮想カメラの画角とに基づいて、仮想空間の画像を生成する。例えば、画像生成部１６０は、まず、仮想空間の画像を生成するための情報に基づいて仮想空間を生成し、次に、仮想カメラの画角に含まれる仮想空間の画像を生成してもよい。

また、画像生成部１６０は、生成した仮想空間の画像において、観察者２の注視点を明示する画像を生成してもよい。このような場合、観察者２は、仮想カメラの画角を制御する際に、自身の注視点から制御の基準点を把握することができるため、より直感的に仮想カメラの画角の制御を指示することができる。

ここで、画像生成部１６０が生成する仮想空間の画像について、図７および図８を参照して説明する。図７は、画像生成部１６０が生成するポイントクラウド画像を示す模式図であり、図８は、画像生成部１６０が生成するメッシュ画像を示す模式図である。

図７に示すように、画像生成部１６０は、仮想空間内の対象をドット、キューブ、またはスクエアの集合にて表現したポイントクラウド画像を生成してもよい。ポイントクラウド画像とは、対象を仮想空間上に配置された点の集合として表現した画像である。具体的には、ポイントクラウド画像は、対象までの距離を測定するデプスセンサと、対象の色を検出する撮像装置とを用い、対象の色および立体形状を点の集合として表現することで生成される。

デプスセンサが対象までの距離を測定する方法は、公知のものを使用することができるが、例えば、赤外線等を照射し、照射した赤外線の反射光が戻るまでの時間から対象までの距離を測定する方法、赤外線等でパターンを照射し、対象に映ったパターンの歪みから対象までの距離を測定する方法、またはステレオカメラにて撮像した画像をマッチングし、画像同士の視差から対象までの距離を測定する方法などを用いることができる。

また、図８に示すように、画像生成部１６０は、対象をポリゴンなどで表現したメッシュ画像を生成してもよい。なお、画像生成部１６０による仮想空間の画像の表現方法としては、上記に限定されず、公知のものを使用することが可能である。

このような構成により、本実施形態に係る情報処理装置１は、観察者２の注視点または注視対象に基づいて設定された基準点にて、仮想空間の画像を規定する仮想カメラの画角を制御することができる。これにより、情報処理装置１は、観察者２が視認したい対象を仮想空間の画像の中央に捉えたまま仮想カメラの画角を制御し、観察者２に仮想空間内を自由に視点変更させることができる。したがって、情報処理装置１は、観察者２に対して、視認したい対象が仮想カメラの画角から外れることが少なく、利便性が高い仮想空間の画像を視認させることができる。

［１．３．情報処理装置の動作］
続いて、図９を参照して、本実施形態に係る情報処理装置１の動作について説明する。図９は、本実施形態に係る情報処理装置１の動作の一例を示すフローチャート図である。ただし、以下で示す動作例は、あくまで例示であり、本実施形態に係る情報処理装置の動作が以下で示す例示に限定されるわけではない。

図９に示すように、まず、入力部１４０からの情報に基づいて、画像生成部１６０は、画像カメラの画角に含まれる仮想空間の画像を生成する（Ｓ１０１）。ここで、入力部１４０からの情報とは、例えば、デプスセンサによって測定された実空間の対象のデプス情報、および撮像装置によって測定された実空間の対象の色情報などである。次に、画角制御情報取得部１２０を介して、観察者２による仮想カメラの画角の制御の指示を取得する（Ｓ１０３）。なお、観察者２による仮想カメラの画角の制御の指示とは、例えば、観察者２の頭部の動きなどである。

続いて、注視点検出部１００は、仮想空間の画像における観察者２の注視点を検出し（Ｓ１０５）、基準点設定部１１０は、観察者２の注視点に基づいて、仮想空間内に基準点を設定する（Ｓ１０７）。次に、制御部１３０は、観察者２の指示に応じ、設定された基準点を用いて、仮想カメラの画角を制御する（Ｓ１０９）。さらに、画像情報出力部１５０は、仮想カメラの画角に関する情報を含む仮想空間の画像に関する情報を出力し、画像生成部１６０は、制御部１３０による制御後の仮想カメラの画角に含まれる仮想空間の画像を生成する。これにより、観察者２は、自由に仮想カメラの画角を制御し、仮想空間の画像を視認することができる。

［１．４．情報処理装置の用途］
次に、図１０および図１１を参照して、上記にて説明した本実施形態に係る情報処理装置１の用途例について説明する。図１０は、本実施形態に係る情報処理装置１の第１の用途例を説明する説明図であり、図１１は、本実施形態に係る情報処理装置１の第２の用途例を説明する説明図である。

（第１の用途例）
図１０に示すように、本実施形態に係る情報処理装置１の第１の用途例は、それぞれ離れた場所に存在する観察者２と、被観察者３との間で、画像および音声を介したコミュニケーションを行うためのテレビ電話またはテレビ会議システムである。

具体的には、観察者２は、本実施形態に係る情報処理装置１を用いて、仮想空間の画像５Ａに含まれる被観察者の画像３０を視認しながらコミュニケーションを行うことができる。また、同様に、被観察者３は、本実施形態に係る情報処理装置１を用いて仮想空間の画像５Ｂに含まれる観察者の画像２０を視認しながら、コミュニケーションを行うことができる。このような場合、例えば、仮想空間の画像５Ａは、被観察者３が存在する実空間に基づいたものであってもよく、仮想空間の画像５Ｂは、観察者２が存在する実空間に基づいたものであってもよい。

本実施形態に係る情報処理装置１によれば、観察者２は、仮想空間において視点変更するために、仮想カメラの画角を制御した場合でも、被観察者の画像３０が仮想カメラの画角から外れて見失うことを防止することができる。したがって、観察者２、および被観察者３は、より質が高いコミュニケーションを行うことができる。

（第２の用途例）
図１１に示すように、本実施形態に係る情報処理装置１の第２の用途例は、あらかじめ収録された時系列の仮想空間の画像５を順次再生することで、観察者２が事象（例えば、会議など）の画像３０Ａ、３０Ｂ、および３０Ｃを自由な視点にて視認することを可能にする画像再生装置である。

具体的には、仮想空間の画像５は、遠隔地等の実空間に基づいたリアルタイムの画像ではなく、例えば、あらかじめ収録された会議または作業などの事象の画像である。観察者２は、仮想空間内を自由に視点変更しながら、時系列の仮想空間の画像５を視認することで、事象の画像３０Ａ、３０Ｂ、および３０Ｃを自由な視点で把握することができる。

また、このような時系列の仮想空間の画像５は、実際の事象の速度に対して再生速度を可変として再生されてもよい。これによれば、時系列の仮想空間の画像５の再生速度を実際の事象の速度よりも速くすることで、観察者２は、実際の時間よりも短時間で事象を把握することが可能である。また、時系列の仮想空間の画像５の再生速度を実際の事象の速度よりも遅くすることで、観察者２は、より深く事象を把握することも可能である。

本実施形態に係る情報処理装置１によれば、観察者２は、注視点または注視対象に基づいた基準点を用いて、仮想カメラの画角を制御することができるため、過去の事象を再生した仮想空間の画像を自由な視点で視認することができる。したがって、観察者２は、再生した過去の事象を様々な視点で多面的に把握することができる。

以上にて、本開示の第１の実施形態に係る情報処理装置１について、詳細に説明した。

＜２．第２の実施形態＞
次に、図１２〜図１７を参照して、本開示の第２の実施形態に係る情報処理装置について説明する。

本実施形態に係る情報処理装置は、１対１、または１対複数による共同作業を行うためのものであり、被観察者３に対して、観察者２の視点である仮想カメラの位置および向きを通知する手段を備えるものである。また、本実施形態に係る情報処理装置は、共同作業を円滑に行うために、被観察者３に対する観察者２からの操作および指示などの干渉に関する情報を出力する手段を備えるものである。

［２．１．情報処理装置の構成］
まず、図１２を参照して、本実施形態に係る情報処理装置の構成について説明する。図１２は、本実施形態に係る情報処理装置１Ａの機能構成を示したブロック図である。

図１２に示すように、情報処理装置１Ａは、注視点検出部１００と、基準点設定部１１０と、画角制御情報取得部１２０と、制御部１３０と、入力部１４０と、画像情報出力部１５０と、画像生成部１６０と、干渉情報取得部１７０と、出力部１８０と、を備える。

なお、注視点検出部１００、基準点設定部１１０、画角制御情報取得部１２０、制御部１３０、入力部１４０、画像情報出力部１５０、および画像生成部１６０の具体的な構成については、第１の実施形態にて説明した構成と実質的に同様であるため、ここでの詳細な説明は省略する。

干渉情報取得部１７０は、仮想空間に対応し、被観察者３が存在する実空間への観察者２からの干渉に関する情報を取得する。具体的には、干渉情報取得部１７０は、観察者２から被観察者３に対する共同作業の注意喚起および操作などの干渉に関する情報を取得する。例えば、干渉情報取得部１７０は、観察者２から、実空間内の特定の対象へ被観察者３の注意を向けるための注意喚起を促す情報を取得してもよい。また、干渉情報取得部１７０は、観察者２から、実空間内の機器（例えば、空調機器、照明機器、および情報機器など）を操作するための操作情報を取得してもよい。

このような干渉情報取得部１７０は、例えば、観察者２からの入力を受け付ける入力装置を備えており、該入力装置によって上記の干渉情報が入力されることで、実空間への干渉情報を取得する。観察者２からの入力を受け付ける入力装置としては、例えば、タッチパネル、マウス、キーボード、ボタン、マイクロフォン、スイッチおよびレバーなどを例示することができる。

出力部１８０は、仮想空間における仮想カメラの位置および向きに関する情報を出力する。仮想カメラの位置および向きに関する情報は、例えば、被観察者３に対して、観察者２の視点を通知するために用いられる。

例えば、被観察者３が透過型または遮蔽型のヘッドマウントディスプレイ装置を装着している場合、観察者２の視点は、仮想カメラの位置および向きを表す画像を仮想空間の画像に重畳することによって被観察者３に通知されてもよい。また、被観察者３がヘッドマウントディスプレイ装置以外の表示装置を視認している場合、観察者２の視点は、仮想カメラの位置および向きを表す画像を該表示装置に表示させることによって被観察者３に通知されてもよい。ここで、仮想カメラの位置および向きを表す画像とは、例えば、観察者２の頭部の画像、火の玉、および光球などであってもよい。

例えば、被観察者３がヘッドフォン、イヤフォン、スピーカ等によって音声を聴取している場合、観察者２の視点は、３次元音場制御により、被観察者３の音声が仮想カメラの位置および向きを表す位置から発せられたように再生されることによって被観察者３に通知されてもよい。

また、出力部１８０は、干渉情報取得部１７０により取得された仮想空間に対応する実空間への干渉に関する情報を出力する。実空間への干渉に関する情報は、例えば、被観察者３に対して、共同作業を支援するために用いられる。

例えば、被観察者３が透過型または遮蔽型のヘッドマウントディスプレイ装置を装着している場合、特定の対象への注意喚起は、アラート画像を仮想空間の画像に重畳することによって被観察者３に通知されてもよい。また、被観察者３がヘッドマウントディスプレイ装置以外の表示装置を視認している場合、特定の対象への注意喚起は、文字、またはアラート画像を該表示装置に表示させることによって被観察者３に通知されてもよい。ここで、アラート画像とは、点滅する光源の画像、矢印の画像などであってもよい。

例えば、被観察者３がヘッドフォン、イヤフォン、スピーカ等によって音声を聴取している場合、特定の対象への注意喚起は、３次元音場制御により、アラート音声が特定の対象が存在する位置から発せられたように再生されることによって被観察者３に通知されてもよい。

また、出力部１８０は、ネットワークを介して情報処理装置１Ａと接続された実空間内の機器（例えば、空調機器、照明機器、および情報機器など）に対して、観察者２からの操作情報を出力することにより、被観察者３に代わって観察者２が実空間内の機器を操作できるようにしてもよい。

このような出力部１８０は、例えば、通信網と接続可能な有線によるケーブル通信を行うケーブル通信装置、有線または無線ＬＡＮ対応通信装置であってもよい。また、出力部１８０は、例えば、ＵＳＢインタフェース、イーサネットインタフェース、ＩＥＥＥ８０２．１１規格インタフェース等の有線または無線の外部出力インタフェースであってもよい。出力部１８０は、例えば、ネットワーク等を介して、これらの情報を被観察者３が存在する実空間に出力することにより、上記の制御を行うことができる。

このような構成により、出力部１８０から被観察者３に対して、仮想カメラの位置および向きに関する情報を出力することができるため、観察者２は、被観察者３との共同作業を円滑に進めることが可能である。また、出力部１８０から被観察者３が存在する実空間に対して、観察者２の干渉に関する情報を出力することができるため、観察者２は、被観察者３との共同作業を支援することが可能である。

［２．２．情報処理装置の使用例］
次に、図１３〜図１５を参照して、本実施形態に係る情報処理装置１Ａの使用例について説明する。図１３〜図１５は、本実施形態に係る情報処理装置１Ａの使用例を説明する説明図である。

図１３に示すように、本実施形態に係る情報処理装置１Ａの一使用例は、それぞれ別の遠隔地に存在する観察者２Ａ、２Ｂ、および２Ｃが共通の仮想空間内にてテレビ会議などを行う場合の使用例である。具体的には、観察者２Ａ、２Ｂ、および２Ｃは、それぞれ透過型または遮蔽型のヘッドマウントディスプレイ装置を装着し、共通の仮想空間の画像を視認することによって仮想空間を共有している。なお、仮想空間には、例えば、机および椅子などの仮想オブジェクトが配置されていてもよい。

例えば、観察者２Ｃが視認する仮想空間の画像７１には、観察者２Ａおよび２Ｂの画像２０Ａおよび２０Ｂが表示される。また、観察者２Ｃは、視線情報に基づいた基準点にて仮想カメラの画角の制御を指示することによって、仮想空間における視点（すなわち、仮想カメラの位置および向き）を変更することができる。これによれば、観察者２Ｃは、仮想空間内を自由に視点変更しながら、観察者２Ａおよび２Ｂとのテレビ会議等に参加することができる。なお、観察者２Ｃが視点変更した場合、観察者２Ａおよび２Ｂが視認する仮想空間の画像において、観察者２Ｃの画像は、観察者２Ｃが変更した視点の位置に移動していることが好ましい。

また、図１４に示すように、本実施形態に係る情報処理装置１Ａの一使用例は、遠隔地に存在する観察者２Ｂおよび２Ｃと、被観察者３とが共同作業を行う場合の使用例である。具体的には、観察者２Ｂおよび２Ｃ、および被観察者３は、それぞれ透過型または遮蔽型のヘッドマウントディスプレイ装置を装着し、観察者２Ｂおよび２Ｃは、実空間７に対応する仮想空間の画像を視認している。また、被観察者３は、実空間７に観察者２Ｂおよび２Ｃの視点位置を表す画像が重畳された画像を視認している。なお、観察者２Ｂおよび２Ｃが視認する仮想空間には、実空間７に存在する机および椅子などが仮想オブジェクトとして配置されていてもよい。

例えば、観察者２Ｃが視認する仮想空間の画像７３には、被観察者３の画像３０、および観察者２Ｂの画像２０Ｂが表示される。ここで、遠隔地に存在する観察者２Ｂの画像２０Ｂは、実空間７に存在する被観察者３の画像３０と区別されて、例えば、頭部の画像のみが表示されてもよい。また、観察者２Ｃは、視線情報に基づいた基準点にて仮想カメラの画角の制御を指示することによって、仮想空間における視点（すなわち、仮想カメラの位置および向き）を変更することができる。これによれば、観察者２Ｃは、仮想空間内を自由に視点変更しながら、被観察者３に対して、共同作業の支援を行うことができる。

また、被観察者３が視認する画像７２には、観察者２Ｂおよび２Ｃの視点に対応する位置に仮想カメラの位置および向きを表す画像２０Ｂおよび２０Ｃが表示される。例えば、観察者２Ｂおよび２Ｃが仮想空間において視点変更した場合、仮想カメラの位置および向きを表す画像２０Ｂおよび２０Ｃの位置も対応する位置に変更される。これによれば、被観察者３は、観察者２Ｂおよび２Ｃがいずれの位置から視認しているかを把握することができるため、より円滑なコミュニケーションを行うことができる。なお、仮想カメラの位置および向きを表す画像２０Ｂおよび２０Ｃは、例えば、観察者２Ｂおよび２Ｃの頭部の画像であってもよく、他にも火の玉、または光球などの画像であってもよい。

さらに、図１５に示すように、本実施形態に係る情報処理装置１Ａの一使用例は、遠隔地に存在する観察者２Ｂおよび２Ｃと、被観察者３とが共同作業を行う場合の使用例である。具体的には、観察者２Ｂおよび２Ｃは、それぞれ透過型または遮蔽型のヘッドマウントディスプレイ装置を装着し、観察者２Ｂおよび２Ｃは、実空間７に対応した仮想空間の画像を視認している。また、被観察者３は、透過型または遮蔽型のヘッドマウントディスプレイ装置および他の表示装置等を視認しておらず、観察者２Ｂおよび２Ｃと音声のみにてコミュニケーションを行っている。なお、観察者２Ｂおよび２Ｃが視認する仮想空間には、実空間７に存在する机および椅子などが仮想オブジェクトとして配置されていてもよい。

例えば、観察者２Ｃが視認する仮想空間の画像７４には、被観察者３の画像３０、および観察者２Ｂの画像２０Ｂが表示される。また、観察者２Ｃは、視線情報に基づいた基準点にて仮想カメラの画角の制御を指示することによって、仮想空間における視点（すなわち、仮想カメラの位置および向き）を変更することができる。これによれば、観察者２Ｃは、仮想空間内を自由に視点変更しながら、被観察者３に対して、共同作業の支援を行うことができる。

また、被観察者３には、三次元音場制御技術により、観察者２Ｂおよび２Ｃの音声が観察者２Ｂおよび２Ｃの視点に対応する位置から発せられたように聴取される。例えば、観察者２Ｂおよび２Ｃが仮想空間において視点変更した場合、観察者２Ｂおよび２Ｃの音声が発せられたと被観察者３が感じる位置も視点変更後の位置に変更される。これによれば、被観察者３は、観察者２Ｂおよび２Ｃがいずれの位置から視認しているかを音声が発せられた位置によって把握することができるため、より円滑なコミュニケーションを行うことができる。

さらに、観察者２Ｂおよび２Ｃが実空間７内の対象８を指し示し、被観察者３の注意喚起をした場合、被観察者３には、観察者２Ｂおよび２Ｃの音声、またはアラート音声が対象８から発せられたように聴取されてもよい。これによれば、被観察者３に対して、音声によって対象８への注意喚起を行うことができる。したがって、被観察者３は、観察者２Ｂおよび２Ｃとさらに円滑な共同作業を行うことができる。

［２．３．変形例］
続いて、図１６および図１７を参照して、本実施形態の変形例に係る情報処理装置１Ａについてそれぞれ説明する。図１６は、本実施形態の第１の変形例に係る情報処理装置１Ａについて説明する説明図である。図１７は、本実施形態の第２の変形例に係る情報処理装置１Ａについて説明する説明図である。

（第１の変形例）
図１６に示すように、例えば、観察者２が被観察者３の作業を支援するために、仮想空間において仮想カメラの画角を制御した場合、仮想カメラが被観察者３の内部（すなわち、仮想空間の画像の裏側）に入り込んでしまうことがある。このとき、被観察者３の画像が被観察者３の手元の画像と重畳してしまうため、観察者２は、被観察者３の手元を視認しづらくなってしまうことがあった。

このような場合、本変形例に係る情報処理装置１Ａは、被観察者３の頭部および体部３９２の画像を非表示とし、被観察者３の手部３９１のみを表示させるように制御してもよい。これにより、情報処理装置１Ａは、観察者２に対して、被観察者３の手元を明確に視認することができる仮想空間の画像を生成し、観察者２による被観察者３への作業支援を容易にすることができる。

また、本変形例に係る情報処理装置１Ａは、仮想カメラが被観察者３の内部に入り込んだ場合、被観察者３の頭部および体部３９２の画像をフレーム（すなわち、外郭）のみの表示としてもよい。これにより、情報処理装置１Ａは、被観察者３の頭部および体部３９２を透過させて、観察者２に被観察者３の手元を視認させることができる。さらに、本変形例に係る情報処理装置１Ａは、仮想カメラが被観察者３の内部に入り込んだ場合、被観察者３の頭部および体部３９２の画像の色を、観察者２に注意を喚起させる色に変更してもよい。これにより、情報処理装置１Ａは、観察者２に仮想カメラが被観察者３の内部に入り込んでいることを明確に認識させることができる。

なお、被観察者３の頭部および体部３９２と、手部３９１との区別は、例えば、撮像装置等によって撮像した被観察者３の画像を機械学習アルゴリズムによる画像解析にてパターン認識することで判別することが可能である。

また、本変形例は、仮想カメラが被観察者３の内部に入り込んだ場合に限られない。例えば、仮想カメラが仮想空間内の机などの物体の内部に入り込んだ場合、本変形例に係る情報処理装置１Ａは、入り込んだ物体の一部を非表示とすることで、観察者２に対する仮想空間の視野を確保してもよい。これによれば、情報処理装置１Ａは、仮想空間内の物体の内部に仮想カメラが入り込んだ場合でも、仮想空間内の複数の物体の画像が重畳してしまうことを防止し、視認性の高い仮想空間の画像を生成することができる。

（第２の変形例）
図１７に示すように、本実施形態の変形例に係る情報処理装置１Ａでは、実空間７における被観察者３に対応する仮想空間の画像を生成するために、デプスセンサ９Ａまたは９Ｂが用いられる。例えば、デプスセンサ９Ａは、机等に設置されていてもよく、デプスセンサ９Ｂは、ドローン等の飛行体に設置されていてもよい。

ここで、デプスセンサは、センサから対象までの距離を測定するものであるため、一方向からのデプス情報しか測定することできない。そのため、仮想カメラの画角を回転させた場合、実空間７においてデプス情報が測定されておらず、仮想空間が生成されていない領域が仮想カメラの画角に含まれる可能性があった。そこで、本変形例では、仮想カメラの画角の制御に伴い、デプスセンサの位置および向きも制御することにより、デプス情報が測定されておらず、仮想空間が生成されていない領域が仮想カメラの画角に含まれることを抑制するものである。

具体的には、机等に設置されているデプスセンサ９Ａにおいて、仮想カメラの画角の制御に伴い、デプスセンサ９Ａの向きを上下左右に回転させることによって、デプス情報を測定する方向を変更してもよい。これにより、デプス情報が測定されておらず、仮想空間が生成されない領域が仮想カメラの画角に含まれることを抑制することができる。

また、ドローン等の飛行体に設置されているデプスセンサ９Ｂにおいて、仮想カメラの画角の制御に伴い、飛行体の位置および向きを制御することによって、デプス情報を測定する方向を変更してもよい。例えば、仮想空間における仮想カメラの位置および向きと、実空間における飛行体に設置されたデプスセンサ９Ｂの位置および向きとが一致するように飛行体を制御することにより、デプス情報を測定する方向を変更してもよい。これにより、デプス情報が測定されておらず、仮想空間が生成されない領域が仮想カメラの画角に含まれることを抑制することができる。

したがって、情報処理装置１Ａは、デプスセンサ９Ａおよび９Ｂに対して、仮想カメラの位置および向きに関する情報を出力することによって、上述した制御を行うことができる。これによれば、情報処理装置１Ａは、仮想空間を生成するためのデプスセンサが少ない場合でも、効率的に仮想空間を生成し、観察者２に利便性の高い仮想空間の画像を提供することができる。

＜３．ハードウェア構成＞
以下では、図１８を参照して、本開示の各実施形態に係る情報処理装置１のハードウェア構成の一例について説明する。図１８は、各実施形態に係る情報処理装置１のハードウェア構成例を示したブロック図である。なお、各実施形態に係る情報処理装置１による情報処理は、ソフトウェアとハードウェアとの協働によって実現される。

図１８に示すように、情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０５と、ブリッジ２１１と、内部バス２０７および２０９と、インタフェース２１３と、入力装置２１５と、出力装置２１７と、ストレージ装置２１９と、ドライブ２２１と、接続ポート２２３と、通信装置２２５と、を備える。

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、ＲＯＭ２０３等に記憶された各種プログラムに従って、情報処理装置１の動作全般を制御する。ＲＯＭ２０３は、ＣＰＵ２０１が使用するプログラム、演算パラメータを記憶し、ＲＡＭ２０５は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。例えば、ＣＰＵ２０１は、基準点設定部１１０、制御部１３０、画像生成部１６０等の機能を実行してもよい。

これらＣＰＵ２０１、ＲＯＭ２０３およびＲＡＭ２０５は、ブリッジ２１１、内部バス２０７および２０９等により相互に接続されている。また、ＣＰＵ２０１、ＲＯＭ２０３およびＲＡＭ２０５は、インタフェース２１３を介して入力装置２１５、出力装置２１７、ストレージ装置２１９、ドライブ２２１、接続ポート２２３および通信装置２２５とも接続されている。

入力装置２１５は、タッチパネル、キーボード、マウス、ボタン、マイクロフォン、スイッチおよびレバーなどの各種情報が入力される入力装置、ならびに撮像装置、デプスセンサ、および赤外線センサなどの各種情報を測定するセンサ類を含む。また、入力装置２１５は、入力または測定された情報に基づいて入力信号を生成し、ＣＰＵ２０１に出力するための入力制御回路なども含む。例えば、入力装置２１５は、注視点検出部１００、画角制御情報取得部１２０、および干渉情報取得部１７０等の機能を実行してもよい。

出力装置２１７は、例えば、透過型または遮蔽型のヘッドマウントディスプレイ装置、全天周に画像を表示することができるドーム型ディスプレイ、液晶表示装置および有機エレクトロルミネッセンス表示装置などの表示装置、三次元画像を表示可能な３Ｄ表示装置、ならびに二次元画像または三次元画像を表示することができるプロジェクタ表示装置などの各種表示装置を含み、また、スピーカおよびヘッドフォンなどの音声出力装置を含む。

ストレージ装置２１９は、情報処理装置１の記憶部の一例として構成されるデータ格納用の装置である。ストレージ装置２１９は、記憶媒体、記憶媒体にデータを記憶する記憶装置、記憶媒体からデータを読み出す読み出し装置、および記憶されたデータを削除する削除装置を含んでもよい。

ドライブ２２１は、記憶媒体用リードライタであり、情報処理装置１に内蔵、または外付けされる。例えば、ドライブ２２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記憶されている情報を読み出し、ＲＡＭ２０３に出力する。また、ドライブ２２１は、リムーバブル記憶媒体に情報を書き込むことも可能である。

接続ポート２２３は、例えば、ＵＳＢポート、イーサネットポート、ＩＥＥＥ８０２．１１規格ポート、および光オーディオ端子等のような外部接続機器を接続するための接続ポートで構成された接続インタフェースである。例えば、接続ポート２２３は、入力部１４０、および出力部１８０等の機能を実行してもよい。また、画像生成部１６０が情報処理装置１の外部に存在する場合、接続ポート２２３は、画像情報出力部１５０等の機能を実行してもよい。

通信装置２２５は、例えば、公衆回線網などのネットワーク１０に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２２５は、有線によるケーブル通信を行うケーブル通信装置であってもよく、有線または無線ＬＡＮ対応通信装置であってもよい。例えば、通信装置２２５は、出力部１８０の機能を実行してもよい。

また、情報処理装置１に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを上述した情報処理装置１の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

＜４．まとめ＞
以上にて説明したように、本開示の第１の実施形態に係る情報処理装置１によれば、観察者２の注視点または注視対象に基づいて設定された基準点にて、仮想空間の画像を規定する仮想カメラの画角を制御する。これにより、情報処理装置１は、観察者２により視認される対象が仮想カメラの画角から外れることがなく、利便性が高い仮想空間の画像を観察者２に視認させることができる。

また、本開示の第２の実施形態に係る情報処理装置１Ａによれば、被観察者３が存在する実空間７に対して、観察者２の視点を表す仮想カメラの位置および向きに関する情報を出力することができる。これにより、情報処理装置１Ａは、被観察者３に対して、観察者２がどの位置から視認しているのかを通知することができるため、より円滑なコミュニケーションを行わせることができる。

さらに、本開示の第２の実施形態に係る情報処理装置１Ａによれば、被観察者３が存在する実空間７への観察者２による干渉に関する情報を出力することができる。これにより、情報処理装置１Ａは、被観察者３と、観察者２との共同作業の効率を向上させることができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
仮想空間の画像に対する観察者の注視点または注視対象に基づいて、前記仮想空間の画像を規定する仮想カメラの画角を制御する制御部と、
前記仮想空間の画像に関する情報を出力する画像情報出力部と、
を備える、情報処理装置。
（２）
前記制御部は、前記注視点または注視対象が前記仮想空間の画像に含まれるように、前記仮想カメラの画角を制御する、前記（１）に記載の情報処理装置。
（３）
前記注視点または注視対象に基づいて、前記仮想空間内に基準点を設定する基準点設定部をさらに備え、
前記制御部は、前記基準点が前記仮想空間の画像に含まれるように、前記仮想カメラの画角を制御する、前記（１）または（２）に記載の情報処理装置。
（４）
前記制御部は、前記基準点を回転中心にして、前記仮想カメラの画角を回転させる、前記（３）に記載の情報処理装置。
（５）
前記制御部は、前記仮想カメラの画角を移動させる、前記（３）または（４）に記載の情報処理装置。
（６）
前記観察者の視線情報に基づいて、前記仮想空間の画像における前記観察者の注視点を検出する注視点検出部をさらに備え、
前記基準点設定部は、所定のタイミングにおける前記観察者の注視点を前記基準点として設定する、前記（３）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記観察者の視線情報に基づいて、前記仮想空間の画像における前記観察者の注視点を検出する注視点検出部をさらに備え、
前記基準点設定部は、前記観察者の注視点を所定の期間にて移動平均した点を前記基準点として設定する、前記（３）〜（５）のいずれか一項に記載の情報処理装置。
（８）
前記制御部は、前記観察者の頭部の動きに応じて、前記仮想カメラの画角を制御する、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記制御部は、前記基準点に対して、前記観察者の頭部の動きの方向と、前記仮想カメラの画角の動きの方向とが対称となるように前記仮想カメラの画角を制御する、前記（３）〜（６）のいずれか一項に記載の情報処理装置。
（１０）
前記制御部は、前記観察者からの入力、または前記観察者の視線情報に基づいて、前記仮想カメラの画角を固定するか、または移動もしくは回転可能とするかを切り替える、前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記仮想空間は、被観察者を含む三次元空間である、前記（１）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記仮想空間の画像は、デプスセンサによって測定されたデプス情報に基づいて生成される、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記デプスセンサの向きは、前記仮想カメラの画角に応じて制御される、前記（１２）に記載の情報処理装置。
（１４）
前記デプスセンサは、飛行体に備えられ、
前記飛行体は、前記仮想カメラの画角に応じて制御される、前記（１３）に記載の情報処理装置。
（１５）
前記仮想空間における前記仮想カメラの位置および向きに関する情報を出力する出力部をさらに備える、前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記仮想空間に対応する実空間への前記観察者の干渉に関する情報を出力する出力部をさらに備える、前記（１）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記仮想カメラが前記仮想空間に存在する被観察物の内部に位置する場合、前記仮想空間の画像において、前記被観察物の少なくとも一部は、非表示に制御される、前記（１）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記被観察物は、前記仮想空間に存在する被観察者である、前記（１７）に記載の情報処理装置。
（１９）
演算処理装置により、仮想空間の画像に対する観察者の注視点または注視対象に基づいて、前記仮想空間の画像を規定する仮想カメラの画角を制御することと、
前記仮想空間の画像に関する情報を出力することと、
を含む、情報処理方法。
（２０）
コンピュータを
仮想空間の画像に対する観察者の注視点または注視対象に基づいて、前記仮想空間の画像を規定する仮想カメラの画角を制御する制御部と、
前記仮想空間の画像に関する情報を出力する画像情報出力部と、
として機能させる、プログラム。

１、１Ａ 情報処理装置
２ 観察者
３ 被観察者
１００ 注視点検出部
１１０ 基準点設定部
１２０ 画角制御情報取得部
１３０ 制御部
１４０ 入力部
１５０ 画像情報出力部
１６０ 画像生成部
１７０ 干渉情報取得部
１８０ 出力部

Claims (20)

1. 仮想空間の画像に対する観察者の注視点または注視対象に基づいて、前記仮想空間の画像を規定する仮想カメラの画角を制御する制御部と、
   前記仮想空間の画像に関する情報を出力する画像情報出力部と、
   を備える、情報処理装置。
2. 前記制御部は、前記注視点または注視対象が前記仮想空間の画像に含まれるように、前記仮想カメラの画角を制御する、請求項１に記載の情報処理装置。
3. 前記注視点または注視対象に基づいて、前記仮想空間内に基準点を設定する基準点設定部をさらに備え、
   前記制御部は、前記基準点が前記仮想空間の画像に含まれるように、前記仮想カメラの画角を制御する、請求項１に記載の情報処理装置。
4. 前記制御部は、前記基準点を回転中心にして、前記仮想カメラの画角を回転させる、請求項３に記載の情報処理装置。
5. 前記制御部は、前記仮想カメラの画角を移動させる、請求項３に記載の情報処理装置。
6. 前記観察者の視線情報に基づいて、前記仮想空間の画像における前記観察者の注視点を検出する注視点検出部をさらに備え、
   前記基準点設定部は、所定のタイミングにおける前記観察者の注視点を前記基準点として設定する、請求項３に記載の情報処理装置。
7. 前記観察者の視線情報に基づいて、前記仮想空間の画像における前記観察者の注視点を検出する注視点検出部をさらに備え、
   前記基準点設定部は、前記観察者の注視点を所定の期間にて移動平均した点を前記基準点として設定する、請求項３に記載の情報処理装置。
8. 前記制御部は、前記観察者の頭部の動きに応じて、前記仮想カメラの画角を制御する、請求項１に記載の情報処理装置。
9. 前記制御部は、前記基準点に対して、前記観察者の頭部の動きの方向と、前記仮想カメラの画角の動きの方向とが対称となるように前記仮想カメラの画角を制御する、請求項３に記載の情報処理装置。
10. 前記制御部は、前記観察者からの入力、または前記観察者の視線情報に基づいて、前記仮想カメラの画角を固定するか、または移動もしくは回転可能とするかを切り替える、請求項１に記載の情報処理装置。
11. 前記仮想空間は、被観察者を含む三次元空間である、請求項１に記載の情報処理装置。
12. 前記仮想空間の画像は、デプスセンサによって測定されたデプス情報に基づいて生成される、請求項１に記載の情報処理装置。
13. 前記デプスセンサの向きは、前記仮想カメラの画角に応じて制御される、請求項１２に記載の情報処理装置。
14. 前記デプスセンサは、飛行体に備えられ、
    前記飛行体は、前記仮想カメラの画角に応じて制御される、請求項１３に記載の情報処理装置。
15. 前記仮想空間における前記仮想カメラの位置および向きに関する情報を出力する出力部をさらに備える、請求項１に記載の情報処理装置。
16. 前記仮想空間に対応する実空間への前記観察者の干渉に関する情報を出力する出力部をさらに備える、請求項１に記載の情報処理装置。
17. 前記仮想カメラが前記仮想空間に存在する被観察物の内部に位置する場合、前記仮想空間の画像において、前記被観察物の少なくとも一部は、非表示に制御される、請求項１に記載の情報処理装置。
18. 前記被観察物は、前記仮想空間に存在する被観察者である、請求項１７に記載の情報処理装置。
19. 演算処理装置により、仮想空間の画像に対する観察者の注視点または注視対象に基づいて、前記仮想空間の画像を規定する仮想カメラの画角を制御することと、
    前記仮想空間の画像に関する情報を出力することと、
    を含む、情報処理方法。
20. コンピュータを
    仮想空間の画像に対する観察者の注視点または注視対象に基づいて、前記仮想空間の画像を規定する仮想カメラの画角を制御する制御部と、
    前記仮想空間の画像に関する情報を出力する画像情報出力部と、
    として機能させる、プログラム。
    
    

Images