JP2023117420A - 情報処理方法、プログラム、及びシステム - Google Patents

Abstract

【課題】操作における高い直観性を発揮可能な情報処理方法、プログラム、及びシステムを提供すること。【解決手段】上記目的を達成するため、本技術の一形態に係る情報処理方法は、コンピュータシステムが実行する情報処理方法であって、現実の空間に対するユーザの仮想視点の設定、及び前記現実の空間に対する前記ユーザにより前記現実の空間に関する操作が実行可能である操作可能範囲の設定を制御することを含む。これにより、操作における高い直観性を発揮させることが可能となる。また操作可能範囲がユーザの持つコントローラの届く範囲、すなわち、ユーザの手の届く範囲に設定されるため、人間の身体的な空間把握能力を利用することができる。【選択図】図１

Description

本技術は、仮想表現等に適用可能な情報処理方法、プログラム、及びシステムに関する。

特許文献１に記載の映像表示システムは、設定された測定対象と観察視点との実位置関係が同じ位置関係となる仮想現実映像を表示する。実空間で観察された測定対象の長さと仮想現実で観察された測定対象の長さとの相違が入力される。入力された値に基づいて、仮想現実映像を拡大又は縮小させる比率が演算され、仮想現実映像が拡大又は縮小される。これにより、観察者の印象と映像内の物体の印象との乖離を解消した仮想現実映像を表示することが開示されている（特許文献１の段落［００３２］～［００３５］図７等）。

特開２００８－５２６４１号公報

このような仮想表現に関して、操作における高い直観性を発揮可能な技術が求められている。

以上のような事情に鑑み、本技術の目的は、操作における高い直観性を発揮させることが可能な情報処理方法、プログラム、及びシステムを提供することにある。

上記目的を達成するため、本技術の一形態に係る情報処理方法は、コンピュータシステムが実行する情報処理方法であって、現実の空間に対するユーザの仮想視点の設定、及び前記現実の空間に対する前記ユーザにより前記現実の空間に関する操作が実行可能である操作可能範囲の設定を制御することを含む。

この情報処理方法では、現実の空間に対するユーザの仮想視点の設定、及び現実の空間に対するユーザにより現実の空間に関する操作が実行可能である操作可能範囲の設定が制御される。これにより、操作における高い直観性を発揮させることが可能となる。

前記制御ステップは、前記現実の空間内に第１の仮想視点を設定し、前記操作可能範囲内に前記第１の仮想視点とは異なる第２の仮想視点を設定してもよい。

前記制御ステップは、前記操作可能範囲のスケールを変更してもよい。

前記情報処理方法は、さらに、前記現実の空間から前記仮想視点又は前記操作可能範囲を設定するための候補平面を検出する検出ステップを含んでもよい。

前記制御ステップは、検出された前記候補平面から所定の距離離れた位置を前記仮想視点として設定してもよい。

前記制御ステップは、検出された前記候補平面から所定の距離離れた位置を前記操作可能範囲の基準となる基準点として設定してもよい。

前記制御ステップは、設定された前記基準点に基づいて、前記仮想視点又は前記操作可能範囲を制御してもよい。

前記情報処理方法は、さらに、前記現実の空間の大きさに基づいて、前記仮想視点の位置及び前記操作可能範囲のスケールを設定する設定ステップを含んでもよい。この場合、前記制御ステップは、前記基準点を基準として、前記設定された前記仮想視点の位置及び前記設定された前記操作可能範囲のスケールに変更してもよい。

前記検出ステップは、前記現実の空間の所定の軸に基づいて、前記候補平面を検出してもよい。

前記制御ステップは、前記仮想視点の位置に基づいて、前記操作可能範囲のスケールを変更してもよい。

前記制御ステップは、前記操作可能範囲のスケールに基づいて、前記仮想視点の位置を設定してもよい。

前記情報処理方法は、さらに、前記ユーザに、前記仮想視点及び前記操作可能範囲を制御可能なＧＵＩ（Graphical User Interface）を提示する提示ステップを含んでもよい。

前記提示ステップは、前記ユーザが前記仮想視点から前記現実の空間を見た場合の仮想視点画像を提示してもよい。この場合、前記ＧＵＩは、前記現実の空間内に第１の仮想視点を設定し、前記操作可能範囲内に前記第１の仮想視点とは異なる第２の仮想視点を設定することが可能であってもよい。

前記ＧＵＩは、前記操作可能範囲内に前記候補平面を設定することが可能であってもよい。

前記現実の空間は、センサにより作成される３次元マップであってもよい。

前記制御ステップは、前記センサにより作成された前記３次元マップに基づいて、前記操作可能範囲のスケールを変更してもよい。

前記センサは、移動体に搭載されてもよい。

前記ＧＵＩは、前記ユーザの操作により、前記移動体の移動する経路を生成することが可能であってもよい。

本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
現実の空間に対するユーザの仮想視点の設定、及び前記現実の空間に対する前記ユーザにより前記現実の空間に関する操作が実行可能である操作可能範囲の設定を制御する制御ステップ。

本技術の一形態に係る情報処理システムは、移動体と、情報処理装置とを具備する。
前記移動体は、現実の空間内を移動する。
前記情報処理装置は、前記現実の空間に対するユーザの仮想視点の設定、及び前記現実の空間に対する前記ユーザにより前記現実の空間に関する操作が実行可能である操作可能範囲の設定を制御する制御部を有する。

仮想表現システムの外観を模式的に示す図である。 仮想表現システムの機能的な構成例を示すブロック図である。 仮想視点及び操作可能範囲の制御を示すフローチャートである。 仮想視点及び操作可能範囲の制御を示す模式図である。 設定された仮想視点から新たな仮想視点を設定するための制御を示すフローチャートである。 第２の基準点を設定するための制御例を示す模式図である。 ＧＵＩの例を示す模式図である。 仮想視点及び操作可能範囲の他の制御例を示すフローチャートである。 候補平面の選択の例を示す模式図である。 仮想視点及び操作可能範囲の他の制御例を示すフローチャートである。 仮想身体の設定の制御例を示すフローチャートである。 仮想身体の例を示す模式図である。 仮想身体から新たな仮想身体を設定するための制御例を示すフローチャートである。 第２の仮想身体を設定するための制御例を示す模式図である。 仮想身体の設定例を示す模式図である。 仮想視点及び操作可能範囲の制御の他の例を示す模式図である。 ＨＭＤの外観を示す模式図である。 情報処理装置のハードウェア構成例を示すブロック図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

＜第１の実施形態＞
図１は、本技術の第１の実施形態に係る仮想表現システムの外観を模式的に示す図である。
図１に示すように、仮想表現システム１００は、移動体１０、情報処理装置２０、及びユーザデバイス３０を有する。移動体１０、情報処理装置２０、及びユーザデバイス３０は、有線又は無線を介して、通信可能に接続されている。各デバイス間の接続形態は限定されず、例えばＷｉＦｉ等の無線ＬＡＮ通信や、Bluetooth（登録商標）等の近距離無線通信を利用することが可能である。

移動体１０は、例えば、自律飛行が可能なドローンである。
本実施形態では、移動体１０は、周囲を観測可能なセンサ部１４を有する。例えば、センサ部１４は、ステレオカメラ、デジタルカメラ、単眼カメラ等の撮像装置を含む。また例えば、センサ部１４は、移動体１０の３６０度を撮影可能な３６０度カメラやステレオカメラが前後左右上下（各々異なる方向）に配置されてもよい。これ以外にも、ＴｏＦ（Time of Flight）センサ、レーザ測距センサ、接触センサ、超音波センサ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等のセンサデバイスが用いられてもよい。
なお、移動体１０はドローンに限定されず、例えば、車輪型のロボット、多足歩行型のロボット、及び多関節構造を有する脚部を備えるロボットでもよい

また本実施形態では、移動体１０に搭載されたセンサ部１４のセンシング結果が情報処理装置２０に供給される。

情報処理装置２０は、移動体１０から供給されたセンシング結果に基づいて、移動体１０の周囲の３次元マップを生成する。
３次元マップとは、移動体１０の周囲の環境を表示する立体的な地図である。例えば、図１では、情報処理装置２０により、人１、車２、及び歩道橋３を含む３次元マップが生成される。
なお、３次元マップを生成する方法は限定されない。例えば、ＣＡＤ（Computer Aided Design）等が用いられてもよい。

また情報処理装置２０は、３次元マップに対するユーザ５の仮想視点６の設定、及び３次元マップに対する操作可能範囲７の設定を制御する。本実施形態では、情報処理装置２０は、ユーザ５の操作に応じて、仮想視点６の位置の設定、及び操作可能範囲７のスケールを変更する。
仮想視点とは、３次元マップ内の任意の場所（座標）に設定されるユーザ５の仮想的な視点である。例えば、ユーザ５は、設定した仮想視点６から、移動体１０や歩道橋３を俯瞰的に見ることが可能である。
操作可能範囲とは、３次元マップ内のユーザ５の３次元マップに関する操作が及ぶ範囲である。また操作可能範囲のスケールとは、操作可能範囲の体積や面積等の大きさ、円、円筒、直方体等の形状を含む。
ユーザの操作とは、仮想視点６の設定、操作可能範囲７のスケールの変更、及び移動体１０の移動する経路の生成を含む。
なお、操作可能範囲７のスケールは限定されず、任意の大きさ及び形状に設定されてもよい。

ユーザデバイス３０は、ユーザ５により操作される端末である。本実施形態では、ユーザデバイス３０は、ＶＲヘッドセット等のＨＭＤ３１（Head Mounted Display）及びコントローラ３２が用いられる。

ＨＭＤ３１は、例えば、ユーザ５の姿勢や眼の位置、視線等を検出できる各種センサを有する。
コントローラ３２は、例えば、ボタンやユーザ５の操作による加速度及び角速度等を検出する慣性計測装置（ＩＭＵ）等を搭載する。
ユーザ５は、ＨＭＤ３１を介して仮想視点６から３次元マップを視認可能である。またユーザ５は、コントローラ３２を介して、操作可能範囲７内における、仮想視点６の設定、操作可能範囲７のスケールの変更、及び移動体１０の経路の生成が可能である。
例えば、ユーザ５は、コントローラ３２を握る右手を動かした際の軌跡を移動体１０の経路として生成することが可能である。また例えば、ユーザ５の手の位置を新たな仮想視点として設定することが可能である。すなわち、操作可能範囲７とは、コントローラ３２を握るユーザ５の手の届く距離ともいえる。

図２は、仮想表現システム１００の機能的な構成例を示すブロック図である。
図２に示すように、仮想表現システム１００は、移動体１０、情報処理装置２０、及びユーザデバイス３０を有する。

移動体１０は、駆動系制御部１１、外部情報検出部１２、状態検出部１３、及びセンサ部１４を有する。

駆動系制御部１１は、移動体１０の各種の制御信号を生成し、移動体１０の駆動系に関わる各種の装置の制御を行う。
例えば、移動体１０は、４本の足の各関節に備わった角度やトルクを指定可能なサーボモータ、ロボット自体の移動の動きを４本の足の動きに分解・置換するモーションコントローラ並びに、各モータ内のセンサや足裏面のセンサによるフィードバック制御装置を備える。
また例えば、移動体１０は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備えてもよい。

外部情報検出部１２は、センサ部１４のセンシング結果に基づいて、移動体１０の外部の情報の検出処理を行う。例えば、外部情報検出部１２は、移動体１０の周囲の物体の検出処理、認識処理、及び追跡処理、並びに、物体までの距離の検出処理を行う。
また例えば、外部情報検出部１２は、移動体１０の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び路面の状態等が含まれる。
本実施形態では、外部情報検出部１２は、検出処理の結果を示すデータを情報取得部２１に供給する。

状態検出部１３は、駆動系制御部１１からのデータ又は信号に基づいて、移動体１０の状態を検出する。例えば、状態検出部１３は、移動体１０の速度、加速度、舵角、異常の有無及び内容、並びに、その他の移動体搭載機器の状態等の検出をする。
本実施形態では、状態検出部１３は、検出処理の結果を示すデータを情報取得部２１に供給する。

センサ部１４は、移動体１０の周囲を観測する。本実施形態では、センサ部１４により取得されたセンシング結果が外部情報検出部１２及び情報取得部２１に出力される。

情報処理装置２０は、例えばＣＰＵやＧＰＵ、ＤＳＰ等のプロセッサ、ＲＯＭやＲＡＭ等のメモリ、ＨＤＤ等の記憶デバイス等、コンピュータの構成に必要なハードウェアを有する（図１８参照）。例えばＣＰＵがＲＯＭ等に予め記録されている本技術に係るプログラムをＲＡＭにロードして実行することにより、本技術に係る情報処理方法が実行される。
例えばＰＣ等の任意のコンピュータにより、情報処理装置２０を実現することが可能である。もちろんＦＰＧＡ、ＡＳＩＣ等のハードウェアが用いられてもよい。
本実施形態では、ＣＰＵが所定のプログラムを実行することで、機能ブロックとしての操作可能範囲変更部及び仮想視点設定部が構成される。もちろん機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが用いられてもよい。
プログラムは、例えば種々の記録媒体を介して情報処理装置２０にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。

図２に示すように、情報処理装置２０は、情報取得部２１、地図生成部２２、候補平面検出部２３、基準点設定部２４、操作可能範囲変更部２５、仮想視点設定部２６、及びＧＵＩ（Graphical User Interface）提示部２７を有する。

情報取得部２１は、種々の情報を取得する。本実施形態では、情報取得部２１は、移動体１０及びユーザデバイス３０から種々の情報を取得する。例えば、移動体１０周辺の物体や壁等の障害物に関するセンシング結果が取得される。また例えば、ユーザデバイス３０により入力されたユーザ５の操作情報が取得される。
また本実施形態では、情報取得部２１は、取得された種々の情報を地図生成部２２に供給する。また情報取得部２１は、ユーザデバイス３０に入力された操作情報を駆動系制御部１１に供給する。

地図生成部２２は、移動体１０の周囲の３次元マップを取得する。本実施形態では、地図生成部２２は、情報取得部２１により取得されたセンシング結果に基づいて、３次元マップを生成する。例えば、地図生成部２２は、ＳＬＡＭ（Simultaneous Localization and Mapping）等により、移動体１０の自己位置及び３次元マップを生成してもよい。
具体的には、地図生成部２２は、センサ部１４より供給される検出結果に基づいて、時系列に供給される時系列情報をデータベースに蓄積すると共に、蓄積した時系列の情報に基づいて、自己位置を推定し、時系列情報自己位置として出力する。
また地図生成部２２は、センサ部１４より供給される現在の検出結果に基づいて、自己位置を推定し、現在情報自己位置として出力する。そして、地図生成部２２は、時系列情報自己位置と、現在情報自己位置とを統合する、または、切り替えることにより自己位置推定結果として出力する。さらに、地図生成部２２は、状態検出部１３より供給される検出結果に基づいて、移動体１０の姿勢を検出し、姿勢の変化が検出されて、自己位置が大きく変化し、時系列情報自己位置の推定精度が低下するとみなされるとき、現在情報自己位置のみから自己位置を推定してもよい。
また地図生成部２２は、予め用意された３次元マップを取得してもよい。例えば、移動体１０に建物の１階を移動させる場合、該建物の１階の地図が取得されてもよい。

候補平面検出部２３は、３次元マップから候補平面を検出する。
候補平面とは、仮想視点又は操作可能範囲を設定するための面である。本実施形態では、地図生成部２２により生成された３次元マップ内の所定の面が候補平面として検出される。例えば、３次元マップ内のＸ平面、Ｙ平面、及びＺ平面が候補平面として検出される。また例えば、３次元マップ内の所定の方向を重力方向として設定し、該重力方向と垂直な平面が候補平面として検出される。
また本実施形態では、候補平面検出部２３により、検出された候補平面が基準点設定部２４及び仮想視点設定部２６に供給される。

基準点設定部２４は、操作可能範囲の基準となる基準点を設定する。本実施形態では、基準点設定部２４は、候補平面検出部２３により検出された候補平面に基づいて、基準点を設定する。例えば、候補平面の垂直方向に所定の距離離れた位置が基準点として設定される。この場合、候補平面の重心から垂直方向に基準点が設定されてもよいし、ユーザにより候補平面と基準点との距離や位置が設定されてもよい。
本実施形態では、基準点設定部２４により設定された基準点の位置情報が操作可能範囲変更部２５及び仮想視点設定部２６に供給される。

操作可能範囲変更部２５は、設定された基準点に基づいて、操作可能範囲のスケールを変更する。本実施形態では、操作可能範囲変更部２５は、基準点を中心に球状の操作可能範囲のスケールを変更する。すなわち、操作可能範囲変更部２５は、球の半径の大きさを変更する。
また操作可能範囲変更部２５は、基準点の位置情報に対して、操作可能範囲のスケールを紐づける。例えば、基準点が候補平面から遠ざかるほど、操作可能範囲のスケールが大きくなるような制御がされてもよい。

仮想視点設定部２６は、検出された候補平面に基づいて、仮想視点の位置を設定する。例えば、候補平面の垂直方向に所定の距離離れた位置が仮想視点として設定される。この場合、候補平面の重心から垂直方向に仮想視点が設定されてもよいし、ユーザにより候補平面と仮想視点との距離や位置が設定されてもよい。
また仮想視点設定部２６は、操作可能範囲のスケールに対応した仮想視点の位置を設定する。例えば、操作可能範囲のスケールが大きくなるほど、仮想視点の位置が候補平面から遠ざかるように設定されてもよい。同様に基準点の位置情報に対応した仮想視点の位置が設定されてもよい。例えば、設定された基準点から候補平面の垂直方向に所定の距離離れた位置が仮想視点として設定されてもよい。
すなわち、基準点の位置情報に対して、操作可能範囲のスケール及び仮想視点の位置が紐づけられたテーブルが予め用意されてもよい。この場合、基準点が設定されることにより、操作可能範囲のスケール及び仮想視点の位置が一意に決定される。
なお、仮想視点の設定には、ＶＲ（Virtual Reality）での仮想的な瞳孔間距離（ＩＰＤ：Inter pupillary distance）の調整も含まれる。例えば、操作可能領域のスケールの大小に応じて、瞳孔間距離が適宜設定される。

ＧＵＩ提示部２７は、ユーザ５にＧＵＩを提示する。本実施形態では、ＧＵＩ提示部２７は、仮想視点から３次元マップを視認でき、仮想視点及び操作可能範囲を制御できるＧＵＩを提示する。例えば、ユーザ５は、ＧＵＩを介して、検出された候補平面を選択し、基準点の位置を設定することが可能である。
またＧＵＩ提示部２７は、移動体１０の経路を生成可能なＧＵＩを提示する。例えば、ユーザ５は、ＧＵＩを介して、仮想視点から３次元マップ及び移動体１０を観察し、移動体１０の現在地から目的地点までの経路を生成することが可能である。

なお、本実施形態において、操作可能範囲変更部２５及び仮想視点設定部２６は、現実の空間に対するユーザの仮想視点の設定、及び現実の空間に対するユーザにより現実の空間に関する操作が実行可能である操作可能範囲の設定を制御する制御ステップに相当するステップを実行する。
なお、本実施形態において、候補平面検出部２３は、現実の空間から仮想視点又は操作可能範囲を設定するための候補平面を検出する検出ステップに相当するステップを実行する。
なお、本実施形態において、基準点設定部２４、操作可能範囲変更部２５、及び仮想視点設定部２６は、現実の空間の大きさに基づいて、仮想視点の位置及び操作可能範囲のスケールを設定する設定ステップに相当するステップを実行する。
なお、本実施形態において、ＧＵＩ提示部２７は、仮想視点及び操作可能範囲を制御可能なＧＵＩを提示する提示ステップに相当するステップを実行する。
なお、本実施形態において、３次元マップは、現実の空間に相当する。

図３は、仮想視点及び操作可能範囲の制御を示すフローチャートである。

移動体１０のセンサ部１４により現実の空間の３次元計測が行われる（ステップ１０１）。または、情報取得部２１により、予め用意された既知の地図が読込される。地図生成部２２により、センサ部１４のセンシング結果に基づいて、３次元マップが生成される。

候補平面検出部２３により、３次元マップから候補平面が検出される（ステップ１０２）。例えば、候補平面検出部２３は、所定の軸方向（例えばＺ軸方向）に垂直な平面から複数の候補平面を検出する。また候補平面検出部２３により、検出された候補平面がユーザ５に提示される（ステップ１０３）。ユーザ５は、提示された候補平面を選択する（ステップ１０４）。

基準点設定部２４により、選択された候補平面上で基準点の２次元の位置が設定される（ステップ１０５）。例えば、基準点設定部２４は、選択されたＸＹ平面の候補平面におけるＸ座標及びＹ座標を設定する。また基準点設定部２４により、設定された基準点の２次元の位置から所定の距離に垂直方向に移動される（ステップ１０６）。すなわち、ステップ１０５及びステップ１０６により、基準点が設定される。
なお、ステップ１０５及びステップ１０６の順番は入れ替えてもよい。例えば、選択された候補平面から垂直に移動し、移動された面から基準点の２次元の位置が設定されてもよい。

操作可能範囲変更部２５により、設定された基準点に基づいて、操作可能範囲のスケールが変更される（ステップ１０７）。

仮想視点設定部２６により、基準点及び操作可能範囲のスケールに基づいて、仮想視点の位置が設定される（ステップ１０８）。例えば、仮想視点設定部２６は、基準点よりも候補平面から垂直方向に、基準点よりも離れた位置に仮想視点を設定する。

図４は、仮想視点及び操作可能範囲の制御を示す模式図である。図４では、簡略化のため３次元マップが省略されて図示される。
図４Ａは、ステップ１０２を示す模式図である。すなわち、移動体１０のセンサ部１４により、測定された３次元マップ４０から候補平面４１が検出される。例えば、３次元マップ内４０の所定の方向（重力方向）が設定されることで、重力方向と垂直な平面が候補平面４１として検出される。

図４Ｂは、ステップ１０３～１０６を示す模式図である。
ユーザは、検出された候補平面４１を選択し、選択された候補平面上で、基準点４２の２次元の位置を設定する。またユーザは、設定した２次元の位置から所定の距離に垂直方向に移動した位置を基準点４２として設定できる。

図４Ｃは、ステップ１０７及びステップ１０８を示す模式図である。
操作可能範囲変更部２５により、設定された基準点４２に基づいて、操作可能範囲４３のスケールが変更される。例えば図４Ｃでは、基準点３２を中心に３次元マップ４０を覆うようなスケールの操作可能範囲４３が設定される。また仮想視点設定部２６により、基準点４２から重力方向とは反対方向に所定の距離離れた位置に仮想視点４４が設定される。

図５は、設定された仮想視点から新たな仮想視点を設定するための制御を示すフローチャートである。

図３に示すステップ１０１～ステップ１０８により、仮想視点の位置及び操作可能範囲のスケールが決定される（ステップ２０１）。ここで、ステップ２０１で決定された基準点、仮想視点、及び操作可能範囲を、便宜上、第１の基準点、第１の仮想視点、及び第１の操作可能範囲と記載する。また新たに決定される基準点、仮想視点、及び操作可能範囲を、第２の基準点、第２の仮想視点、及び第２の操作可能範囲と記載する。

操作可能範囲変更部２５及び仮想視点設定部２６により、第２の基準点を設定するために、第１の仮想視点及び第１の操作可能範囲が制御される（ステップ２０２）。具体的な方法は、図６を用いて説明する。

基準点設定部２４により、制御された第１の仮想視点及び第１の操作可能範囲から新たな基準点が設定される（ステップ２０３）。例えば、ユーザ５が選択した位置又は候補平面に基づいて、第２の基準点が設定される。

操作可能範囲変更部２５により、第２の操作可能範囲のスケールが変更される（ステップ２０４）。

仮想視点設定部２６により、第２の仮想視点が設定される（ステップ２０５）。例えば、仮想視点設定部２６は、第２の基準点の位置及び操作可能範囲のスケールに基づいて、仮想視点の位置を設定する。
ユーザ５は、第１の仮想視点から第２の仮想視点へ移動することができる。すなわち、第２の仮想視点から３次元マップを視認することが可能となる。

図６は、第２の基準点を設定するための制御例を示す模式図である。図６では、ステップ２０２の第２の基準点を設定するために、第１の仮想視点及び第１の操作可能範囲の制御の例を説明する。

図６Ａは、第１の操作可能範囲５３から第２の基準点５４を設定する模式図である。図６Ａに示す例は、第１の仮想視点の位置及び第１の操作可能範囲のスケールの制御を実行しない場合の例である。

図６Ａに示すように、３次元マップ５０内に第１の基準点５１、第１の仮想視点５２、及び第１の操作可能範囲５３が図示される。ユーザ５は、第１の仮想視点５２から３次元マップ５０を視認しており、第１の操作可能範囲５３内をコントローラ３２を介して種々の操作が可能である。
本実施形態では、ユーザ５は、コントローラ３２を介して第１の操作可能範囲５３内に、第２の基準点５４を設定する。例えば、ユーザ５は、コントローラ３２を持つ手で所定の位置に手を置くことで、該位置を第２の基準点５４の座標として設定することができる。

またユーザ５は、設定した第２の基準点５４から第２の仮想視点５５及び第２の操作可能範囲５６を制御する。例えば、ユーザ５は、コントローラ３２を介して、第２の仮想視点５５及び第２の操作可能範囲５６を制御する。具体的には、第２の仮想視点５５の位置がコントローラ３２を持つ手の位置に設定されてもよい。また第２の操作可能範囲５６のスケールが、コントローラ３２で円を描く等のコントローラ３２を用いた様々な操作により変更されてもよい。

図６Ｂは、第１の仮想視点及び第１の操作可能範囲を制御する制御例を示す模式図である。また図６Ｂでは、簡略化のため３次元マップが省略されて図示される。

図６Ｂに示す例では、ユーザ５の望む第２の基準点６４の位置が、第１の操作可能範囲６３よりも遠い場合を例とする。すなわち、ユーザ５がコントローラ３２で設定できない位置を第２の基準点としたい場合の制御例である。

この場合、仮想視点設定部２６により、３次元マップ６０全体を俯瞰できるように第１の仮想視点６２の位置が設定される。例えば、生成された３次元マップのＸＹ平面、ＹＺ平面、又はＸＺ平面における面積が、ＨＭＤ３１の画角（ユーザ５の視野）に収まる位置が第１の仮想視点６２として設定される。
この場合、第１の基準点６１の位置及び第１の操作可能範囲６３のスケールは、予め決められた数値に設定される。

ユーザ５は、３次元マップ６０全体を俯瞰できるように設定された第１の仮想視点６２から、第１の操作可能範囲６３内に第２の基準点６４を設定する。またユーザ５は、設定した第２の基準点６４から第２の仮想視点６５及び第２の操作可能範囲６６を制御する。

図６Ｃは、第１の仮想視点及び第１の操作可能範囲を制御する他の制御例を示す模式図である。
図６Ｃに示す例では、生成された３次元マップ７０全体を包含するように第１の操作可能範囲７３が変更される。すなわち、ユーザ５がコントローラ３２で設定できない位置を第２の基準点としたい場合の他の制御例である。
また図６Ｃでは、地図生成部２２により、直方体の３次元マップ７０が生成される。

操作可能範囲変更部２５により、生成された３次元マップ７０の大きさに基づいて、第１の操作可能範囲７３のスケールが変更される。例えば、操作可能範囲変更部２５は、生成された３次元マップ７０を包含する直方体の体積に基づいて、第１の操作可能範囲７３のスケールを変更する。
この場合、第１の基準点７１の位置及び第１の仮想視点７２の位置は、予め決められた数値に設定される。

ユーザ５は、３次元マップ７０全体を包含するように設定された第１の仮想視点７２から、第１の操作可能範囲７３内に第２の基準点７４を設定する。またユーザ５は、設定した第２の基準点７４から第２の仮想視点７５及び第２の操作可能範囲７６を制御する。

なお、第２の基準点を設定するための制御例は限定されず、例えば、生成された３次元マップの重心を第１の基準点とし、予め設定された第１の仮想視点の位置及び第１の操作可能範囲のスケールに制御されてもよい。

図７は、ＧＵＩの例を示す模式図である。
図７に示すように、ＧＵＩ提示部２７により、種々のＧＵＩが提示される。図７では、ユーザ５が、地図生成部２２により生成された３次元マップを第１の仮想視点から観察している状態の図である。また図７では、ユーザ５に用いられるコントローラ３２の位置に対応する箇所に、手の形状をした仮想コントローラが３次元マップに表示される。

図７Ａは、仮想視点及び操作可能範囲を制御するための制御ＧＵＩの例を示す模式図である。
図７Ａに示すように、制御ＧＵＩ８０は、第２の仮想視点及び第２の操作可能範囲を制御するために、検出された候補平面８１を提示する。ユーザ５は、仮想コントローラ８２を介して、候補平面８１を選択することができる。例えば、ユーザ５は、仮想コントローラ８２を候補平面８１に重畳させるように手（コントローラ３２）を動かすことで、候補平面８１を選択することができる。
またユーザ５は、選択した候補平面８１から第２の基準点８３を設定することができる。例えば、選択された候補平面８１から仮想コントローラ８２を移動させた距離が第２の基準点８３の位置となる。同様にユーザ５は、第２の仮想視点８４及び第２の操作可能範囲８６を制御することが可能である。

なお、仮想視点及び操作可能範囲を制御するための表示及び操作は限定されない。例えば、検出された複数の候補平面が点滅するようにユーザ５に提示されてもよい。また例えば、人差し指を伸ばした状態や手を開いた状態等の仮想コントローラ８２の形状ごとに、基準点、仮想視点、及び操作可能範囲の制御が実行されてもよい。
なお、仮想コントローラ８２の形状は限定されない。例えば、コントローラ３２の形状を模した形状でもよい。

図７Ｂは、移動体１０の経路を生成するための経路ＧＵＩの例を示す模式図である。

ユーザ５は、経路ＧＵＩ８５を介して、移動体１０の経路８６を生成する。例えば、ユーザ５は、仮想コントローラ８２を動かした際の軌跡を移動体１０の経路として生成する。本実施形態では、ユーザ５の右手を示す仮想コントローラ８２により、移動体１０の経路が生成される。

なお、経路ＧＵＩ８５を介して移動体１０の種々の操作が実行されてもよい。例えば、移動体１０に搭載されたカメラの撮影タイミングを設定できてもよい。また例えば、移動体１０の速度や飛行パターン等が制御できてもよい。すなわち、旋回や８の字といった、パターンとして規定された軌跡や速度等が制御できる。例えば、旋回や８の字といった飛行パターンに対して、旋回や８の字を行う際の移動体１０の速度や曲率等を設定できる。
飛行パターンに関連付けられる速度や姿勢等のパラメータが、デフォルト設定される場合もあり得る。すなわち所定の飛行パターンをどのように移動するかは、デフォルトで設定されていてもよい。

また制御ＧＵＩ８０及び経路ＧＵＩ８５を操作する際の仮想視点は、移動体１０に搭載されたカメラの位置に設定されてもよい。その場合、ユーザ５は、カメラの画角から３次元マップ又は実際に撮影される画像を視認できる。また移動体１０に搭載されるカメラが３６０度カメラの場合、ユーザ５の操作に応じて視界を回転させることも可能である。

以上、第１の実施形態に係る情報処理方法は、３次元マップに対するユーザ５の仮想視点６の設定、及び３次元マップに対するユーザ５により３次元マップに関する操作が実行可能である操作可能範囲７の設定を制御する。これにより、操作における高い直観性を発揮させることが可能となる。

従来、移動体の主観視点での操作は、視界が限られ、移動体の運動特性を理解した上で複雑な操作を行う必要がある。一方、地図を用いた事前の飛行計画は、ＧＰＳ（Global Positioning System、Global Positioning Satellite）が必要であったり、事前に地図を持っている必要があり、それが適用できる状況が限られる。加えて事前の地図による経路指定は２次元のものが多い。

そこで本技術では、空間内に設定された、ユーザの仮想視点及びユーザの空間に関する操作が実行可能な操作可能範囲が制御される。これにより、予め空間的なマップが得られていない場合でも、３次元の範囲において移動体の経路が指定できる。また仮想視点や操作可能範囲を柔軟に選ぶことが可能となり、指定したい場所の範囲や求められる指定精度を得ることが可能となる。

＜第２の実施形態＞
本技術に係る第２の実施形態の仮想表現システムについて説明する。これ以降の説明では、上記の実施形態で説明した仮想表現システムにおける構成及び作用と同様な部分については、その説明を省略又は簡略化する。

第１の実施形態では、候補平面から基準点が設定された。第２の実施形態では、候補平面から仮想視点が設定される。また仮想視点が設定された後、操作可能範囲のスケールが変更される。

図８は、仮想視点及び操作可能範囲の他の制御例を示すフローチャートである。

移動体１０のセンサ部１４により現実の空間の３次元計測が行われる（ステップ３０１）。または、情報取得部２１により、予め用意された既知の地図が読込される。地図生成部２２により、センサ部１４のセンシング結果に基づいて、３次元マップが生成される。

候補平面検出部２３により、３次元マップから候補平面が検出される（ステップ３０２）。例えば、候補平面検出部２３は、所定の軸方向に垂直な平面から複数の候補平面を検出する。また候補平面検出部２３により、検出された候補平面がユーザ５に提示される（ステップ３０３）。ユーザ５は、提示された候補平面を選択する（ステップ３０４）。

仮想視点設定部２６により、選択された候補平面上で仮想視点の２次元の位置が設定される（ステップ３０５）。例えば、仮想視点設定部２６は、選択された候補平面（ＸＹ平面）におけるＸ座標及びＹ座標を設定する。また仮想視点設定部２６により、設定された仮想視点の２次元の位置から所定の距離に垂直方向に移動される（ステップ３０６）。すなわち、ステップ３０５及びステップ３０６により、仮想視点が設定される。
なお、ステップ３０５及びステップ３０６の順番は入れ替えてもよい。例えば、選択された候補平面から垂直に移動し、移動された面から仮想視点の２次元の位置が設定されてもよい。

操作可能範囲変更部２５により、設定された仮想視点に基づいて、操作可能範囲のスケールが変更される（ステップ３０７）。

基準点設定部２４により、仮想視点の位置及び操作可能範囲のスケールに基づいて、基準点の位置が設定される（ステップ３０８）。例えば、基準点設定部２４は、操作可能範囲の中心、もしくは仮想視点の２次元の位置と同じ位置かつ候補平面の垂直方向に所定の距離離れた位置に設定する。
なお、ステップ３０７及びステップ３０８の順番は入れ替えてもよい。例えば、操作可能範囲変更部２５は、仮想視点の位置と基準点の位置とに基づいて、操作可能範囲を変更してもよい。
なお、仮想視点の位置に対して、操作可能範囲のスケール及び基準点の位置が紐づけられたテーブルが予め用意されてもよい。この場合、仮想視点が設定されることにより、操作可能範囲のスケール及び基準点の位置が一意に決定される。

第１の実施形態では、候補平面として重力方向と垂直な平面が検出された。これに限定されず、３次元マップの任意の面が候補平面として検出されてもよい。

図９は、候補平面の選択の例を示す模式図である。なお図９では、簡略化のため３次元マップが省略されて図示される。

図９Ａは、候補平面の検出を示す模式図である。
候補平面検出部２３は、３次元マップ９０の任意の面を候補平面として検出する。本実施形態では、３次元マップ９０の各平面に応じて複数の候補平面が検出される。

図９Ｂは、仮想視点の位置の設定を示す模式図である。
ユーザは、検出された候補平面９１を選択し、選択された候補平面９１上で、仮想視点９２の２次元の位置を設定する。またユーザは、設定した２次元の位置から所定の距離に垂直方向に移動した位置を仮想視点９２として設定できる。

図９Ｃは、操作可能範囲及び基準点の制御を示す模式図である。
操作可能範囲変更部２５により、設定された仮想視点に基づいて、操作可能範囲９３のスケールが変更される。また基準点設定部２４により、仮想視点９２から候補平面９１方向に所定の距離離れた位置に基準点９４が設定される。もしくは基準点設定部２４により操作可能範囲９３の中心に基準点９４が設定されてもよい。

図１０は、仮想視点及び操作可能範囲の他の制御例を示すフローチャートである。
図１０では、３次元マップにおける所定の方向が選択されることで、候補平面が決定される場合の例である。例えば、重力方向が選択された際に、重力方向とは垂直の平面が自動で選択される場合、ユーザは候補平面を選択する制御を行わなくてよい。

移動体１０のセンサ部１４により現実の空間の３次元計測が行われる（ステップ４０１）。または、情報取得部２１により、予め用意された既知の地図が読込される。地図生成部２２により、センサ部１４のセンシング結果に基づいて、３次元マップが生成される。

ユーザ５により、３次元マップから所定の方向が選択される（ステップ４０２）。候補平面検出部２３は、選択された所定の方向に基づいて、候補平面を選択する。

基準点設定部２４により、選択された候補平面上で基準点の２次元の位置が設定される（ステップ４０３）。
また基準点設定部２４により、設定された基準点の２次元の位置から所定の距離に垂直方向に移動される（ステップ４０４）。

操作可能範囲変更部２５により、設定された基準点に基づいて、操作可能範囲のスケールが変更される（ステップ４０５）。

仮想視点設定部２６により、基準点及び操作可能範囲のスケールに基づいて、仮想視点の位置が設定される（ステップ４０６）。

＜第３の実施形態＞
第１の実施形態では、ユーザ５は、仮想視点から３次元マップを観察し、仮想コントローラを用いることで種々の操作が実行できた。第３の実施形態では、ＧＵＩ提示部２７によりユーザの仮想視点及び仮想コントローラを含む仮想身体が表示されるＧＵＩが提示される。

図１１は、仮想身体の設定の制御例を示すフローチャートである。

移動体１０のセンサ部１４により現実の空間の３次元計測が行われる（ステップ５０１）。または、情報取得部２１により、予め用意された既知の地図が読込される。地図生成部２２により、センサ部１４のセンシング結果に基づいて、３次元マップが生成される。

候補平面検出部２３により、３次元マップから候補平面が検出される（ステップ５０２）。例えば、候補平面検出部２３は、所定の軸方向に垂直な平面から複数の候補平面を検出する。また候補平面検出部２３により、検出された候補平面がユーザ５に提示される（ステップ５０３）。ユーザ５は、提示された候補平面を選択する（ステップ５０４）。

仮想視点設定部２６により、選択された候補平面が軸上に移動される（ステップ５０５）。例えば、ユーザ５により設定された重力方向等の所定の軸に従って、候補平面が軸上に正又は負の方向へ移動される。
また仮想視点設定部２６により、移動された候補平面上の仮想身体の頭部（仮想視点）の２次元の位置が指定される（ステップ５０６）。

操作可能範囲変更部２５により、仮想身体の身長が指定される（ステップ５０７）。
仮想身体は、仮想視点を含む頭部、胴体、両腕、及び両足を有する。特に両腕は、仮想コントローラである両手を含む。例えば、ユーザ５がコントローラを動かすことで、仮想身体の手を操作することができる。すなわち、仮想身体の腕の長さが操作可能範囲のスケールとなる。また仮想身体は、ユーザ５のアバターとも言える。
本実施形態では、仮想身体の身長に基づいて、両腕の長さが予め設定されている。例えば、身長と両腕の長さとが紐づけられたテーブル等が記録され、操作可能範囲変更部２５が該テーブルに従い、指定された身長から両腕の長さ（操作可能範囲のスケール）が変更される。もちろんこれに限定されず、例えば、ユーザ５の装着するＨＭＤ３１の位置とコントローラ３２の位置との関係に応じて、仮想身体の身長及び両腕の長さが決定されてもよい。

仮想視点設定部２６及び操作可能範囲変更部２５により、指定された仮想身体に基づいて、仮想身体が設定される（ステップ５０８）。

なお、仮想身体の設定の方法は限定されない。例えば、ステップ５０６の代わりに、候補平面上における仮想身体の立つ位置が指定されてもよい。また例えば、仮想身体の身長が指定されることで、仮想視点及び操作可能範囲が所定のアルゴリズムに従い設定されてもよい。また例えば、候補平面の２次元の位置から、仮想身体の頭部の位置が指定されてもよい。

図１２は、仮想身体の例を示す模式図である。なお図１２では、仮想身体の腰や足等の下半身が省略されて図示される。

図１２に示すように、ユーザ５は、候補平面１１０上の仮想身体１１１の頭部１１２の位置を指定する。例えば、ユーザ５により、候補平面１１０における所定の軸１１３上に仮想身体１１１の頭部１１２の中心が設定される。

ユーザ５は、仮想身体の身長を指定する。例えば、候補平面１１０に仮想身体１１１の足が接触するような身長に指定することができる。また本実施形態では、仮想身体の身長が指定されることで、仮想身体の大きさが決定される。例えば、仮想身体１１６の身長が大きい程、仮想身体１１６の頭部１１７、両腕１１８の長さ等が大きくなるように決定される。同様に、仮想身体１１１（小さい方）の身長が小さい程、仮想身体１１１の頭部１１２、両腕１１３の長さ等が小さくなるように決定される。
また仮想身体１１１（１１６）の目１１４（１１９）の位置も、仮想身体の身長に基づいて決定されてもよい。例えば、ユーザ５の装着したＨＭＤ３１から瞳孔間距離が取得され、ＨＭＤ３１の位置（高さ）と該瞳孔間距離との位置関係から、仮想身体の目（仮想視点）の位置が決定されてもよい。
すなわち、仮想身体の身長に応じた、仮想視点の位置及び操作可能範囲のスケールが紐づけられてもよい。

また仮想身体１１１（１１６）の手１１５（１２０）は、仮想コントローラの機能を有する。ユーザ５は、仮想身体１１１（１１６）の手１１５（１２０）を用いて、候補平面の選択や移動体１０の経路の生成等が可能となる。
例えば、ユーザ５が腕を最大限に伸ばした際、仮想身体１１１（１１６）も腕１１３（１１８）を最大限に伸ばす。その際の仮想身体１１１（１１６）の腕１１３（１１８）の長さがユーザ５の操作可能範囲１２１となる。この場合、仮想身体の身長に基づいて、操作可能範囲１２１のスケールが変更される。もちろん、腕が短い（仮想身体の身長が小さい）と操作可能範囲１２１のスケールも小さくなる。

なお、仮想身体における仮想視点及び操作可能範囲の制御は限定されない。例えば、仮想身体の身長が小さくても、仮想身体の腕が長く設定されてもよい。また例えば、操作可能範囲が仮想身体の腕の長さ以上に設定されてもよい。この場合、ユーザ５が体を傾けることにより、ＨＭＤ３１に搭載されたジャイロセンサ等が体の傾きに関する情報を取得し、仮想身体が同様に傾いてもよい。

図１３は、仮想身体から新たな仮想身体を設定するための制御例を示すフローチャートである。

図１１に示すステップ５０１～ステップ５０８により、仮想身体の身長が決定される（ステップ６０１）。すなわち、仮想視点の位置、及び操作可能範囲のスケールが決定される。
ここで、ステップ６０１で決定された仮想身体を、便宜上、第１の仮想身体と記載する。また新たに決定される仮想身体を、第２の仮想身体と記載する。

操作可能範囲変更部２５及び仮想視点設定部２６により、新たな仮想身体を設定するために、第１の仮想身体が制御される（ステップ６０２）。
仮想身体を介したユーザ５の操作により、第２の仮想身体の位置が設定される（ステップ６０３）。具体的な方法は、図１４を用いて説明する。

ユーザ５により、第２の仮想身体の身長が指定される（ステップ６０４）。具体的には、操作可能範囲変更部２５及び仮想視点設定部２６により、指定された仮想身体の身長に基づいて、仮想視点及び操作可能範囲が制御される。
ユーザ５は、第１の仮想身体から第２の仮想身体へ操作を変更することができる。すなわち、第２の仮想身体を用いて種々の操作が可能となる。

図１４は、第２の仮想身体を設定するための制御例を示す模式図である。図１４では、ステップ６０２及びステップ６０３における具体例を説明する。

図１４Ａは、候補平面上に仮想身体を設定する場合の模式図である。

図１４Ａに示すように、ユーザ５は、第１の仮想身体１３０が指１３１（仮想コントローラ）で指定した箇所を候補平面１３２として選択することが可能である。例えば、ユーザ５は、仮想身体１３０の手１３１から直線状の位置を候補平面として選択できる。この場合、ＧＵＩ提示部２７により、仮想身体１３０の手１３１からレーザポインタのような点線１３３が射出される様子が提示される。この点線１３３が３次元マップ内の面と交差することで、候補平面１３２が選択される。

選択された候補平面からステップ５０５～ステップ５０８に従い、第２の仮想身体１３４が設定される。

図１４Ｂは、候補平面の設定の例を示す模式図である。

図１４Ｂに示すように、ユーザ５は、第１の仮想身体１４０の手１４１を用いて候補平面１４２を生成する事が可能である。例えば、ユーザ５は、仮想身体１４０の手１４１で空中に四角を描くように動かした場合、四角を候補平面１４２として生成できる。

生成された候補平面から第２の仮想身体１４３の立つ位置及び身長が指定されることで、第２の仮想身体１４３が設定される。
なお、候補平面を生成する方法は限定されない。例えば、ユーザ５は、コントローラ３２を用いて、候補平面生成モードを選択することで、任意の箇所に候補平面を生成する。また例えば、仮想身体の手を広げる等の所定の動作を実行することで、候補平面が生成されてもよい。

図１４Ｃは、第１の仮想身体を制御する制御例を示す模式図である。また図１４Ｃでは、簡略化のため３次元マップが省略されて図示される。

図１４Ｃに示す例では、第１の仮想身体１５０の手の届かない位置に、第２の仮想身体を設定する場合を例とする。

図１４Ｃに示すように、３次元マップ１５０全体を俯瞰できるように第１の仮想身体が制御される。例えば、仮想視点設定部２６により、生成された３次元マップ１５０のＸＹ平面、ＹＺ平面、又はＸＺ平面における面積が、ＨＭＤ３１の画角に収まる位置が第１の仮想身体１５１の目の位置（仮想視点の位置）として設定される。また例えば、操作可能範囲変更部２５により、生成された３次元マップ１５０を包含する直方体の体積に基づいて、第１の仮想身体の腕の長さ（操作可能範囲のスケール）が設定されてもよい。

ユーザ５は、制御された第１の仮想身体１５１を介して、第２の仮想身体１５２を設定する。例えば、第１の仮想身体１５１の手により指定された箇所が候補平面又は第２の仮想身体１５２の頭部の位置として設定されてもよい。

図１４Ｄは、第１の仮想身体を制御する制御例を示す模式図である。
図１４Ｄでは、第１の仮想身体１６１の腕が３次元マップ１６０全体に届くように、第１の仮想身体１６１が拡大される。具体的には、操作可能範囲変更部２５により、３次元マップ１６０の大きさに基づいて、操作可能範囲のスケールが変更される。すなわち、第１の仮想身体１６１の腕の長さが変更される。また変更された第１の仮想身体１６１の腕の長さに基づいて、第１の仮想身体１６１の身長が決定される。

この場合、制御された第１の仮想身体１６１の一部が３次元マップ１６０と干渉してもよい。例えば、図１４Ｄでは、第１の仮想身体１６１の下半身が３次元マップ１６０を貫通るように描写（表現）されてもよい。
ユーザ５は、制御された第１の仮想身体１６１を介して、第２の仮想身体１６２を設定する。

ここで、仮想身体による操作時の位置を決定するアルゴリズムの一例を示す。なお、本アルゴリズムにおける位置とは、ユーザの目の位置及び仮想視点の位置、又はコントローラの位置及び仮想コントローラの位置を示す。

仮想身体が設定される際に、その時点の現実におけるユーザの位置Ｐｒ０、その時点の３次元マップにおけるユーザの位置Ｐｖ０、及び仮想身体のスケールＳが決定される。
またユーザが、手を動かす、移動する等の仮想身体を操作した際に、現在の現実におけるユーザの位置Ｐｒｃ、及び現在の３次元マップにおけるユーザの位置Ｐｖｃが計測される。

仮想身体のスケールとは、設定された仮想身体の倍率を示す。例えば、ユーザの身長を１とした場合の、設定された仮想身体の身長がＳとなる。具体的には、ユーザが１７０ｃｍの場合に、仮想身体の身長が３４０ｃｍに拡大された時は、スケールが２となる。

ここで、現在の３次元マップにおけるユーザの位置Ｐｖｃを求める式は、下記のように表す。
Ｐｖｃ＝Ｓ×（Ｐｒｃ－Ｐｒ０）＋Ｐｖ０

上記の式が、レンダリングされた毎フレームごとに実行される。これにより、ユーザ５のコントローラ３２の操作と連動して、仮想コントローラの操作が可能となる。

これにより、３次元マップ等の仮想的な空間であっても、直感的な操作が可能となる。
また操作可能範囲がユーザの持つコントローラの届く範囲、すなわち、ユーザの手の届く範囲に設定されるため、人間の身体的な空間把握能力を利用することができる。このため、３次元的な位置姿勢の指定を、少ない手数で正確に学習コストも低く実行できる。

＜その他の実施形態＞
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

上記の実施形態では、仮想視点が仮想身体の目、操作可能範囲が仮想身体の腕の長さとして用いられた。これに限定されず、基準点の座標が仮想身体の腰の位置として設定されてもよい。

上記の実施形態では、仮想視点が操作可能範囲内に設定された。これに限定されず、仮想視点は操作可能範囲外の任意の位置に設定されてもよい。

上記の実施形態では、重力方向に基づく候補平面上に仮想身体が設定された。これに限定されず、任意の候補平面上に仮想身体が設定されてもよい。例えば、仮想身体が壁や天井に両足が接触するように設定されてもよい。この場合、ユーザは、３次元マップの天井を仮想視点から見る際に、見上げる必要がなくなる。すなわち、ユーザへの身体的な負担を減らすことが可能となる。

上記の実施形態では、仮想身体の身長が指定されることで、仮想視点及び操作可能範囲が決定された。これに限定されず、３次元マップの大きさに基づいて、仮想身体が決定されてもよい。

図１５は、仮想身体の設定例を示す模式図である。

図１５に示すように、地図生成部２２は、移動体１０に搭載されたセンサ部１４により取得されたセンシング結果に基づいて、３次元マップ１７０を生成する。

候補平面検出部２３は、３次元マップ１７０を包含する候補平面１７１を検出する。例えば、候補平面検出部２３は、３次元マップのＸＹ平面、ＹＺ平面、又はＸＺ平面における面積に基づいて、候補平面１７１を検出する。

基準点設定部２４は、検出された候補平面の重心に基準点を設定する。本実施形態では、設定された基準点の座標を仮想身体の腰の高さとする。
操作可能範囲変更部２５は、３次元マップ１７０の大きさに基づいて、操作可能範囲を変更する。例えば、操作可能範囲変更部２５は、仮想身体１７２の両腕１７３を広げた状態から一歩移動した際の、仮想身体の手が届くまでの長さを操作可能範囲１７４として設定する。
設定された仮想身体の腰の高さ及び腕の長さから、仮想身体１７２の身長が決定される。

上記の実施形態では、候補平面から基準点、仮想視点、及び操作可能範囲が制御された。これに限定されず、ユーザが指定した領域が操作可能範囲となるように制御されてもよい。

図１６は、仮想視点及び操作可能範囲の制御の他の例を示す模式図である。
図１６に示すように、ユーザ５は、地図生成部２２により生成された３次元マップ１８０内に、操作を行いたい領域１８１を指定する。

操作可能範囲変更部２５は、指定された領域１８１が含まれるように、操作可能範囲１８２のスケールを変更する。例えば、領域１８１を底面とした円筒の長軸と一致するように操作可能範囲１８２のスケールが変更される。
基準点設定部２４は、変更された操作可能範囲１８２に基づいて、基準点１８３を設定する。例えば、基準点設定部２４は、操作可能範囲１８２の中心を基準点１８３として設定する。
仮想視点設定部２６は、操作可能範囲１８２のスケール及び基準点の位置に基づいて、仮想視点１８４の位置を設定する。
または指定された領域１８１に仮想身体の手が届くように仮想身体の身長が決定されてもよい。この場合、操作可能範囲変更部２５により変更された操作可能範囲１８２のスケールが仮想身体の腕の長さとなる。また基準点設定部２４により設定された基準点１８３の位置が仮想身体の腰の高さとなる。また仮想視点設定部２６により設定された仮想視点１８４の位置が仮想身体の頭部となる。

上記の実施形態では、３次元マップが地図生成部２２により生成された。これに限定されず、移動体１０に地図生成部２２が搭載されてもよい。すなわち、移動体１０により３次元マップが生成され、該３次元マップが情報処理装置２０に供給されてもよい。

上記の実施形態では、仮想身体が用いられユーザ５の操作や仮想視点のイメージが表現された。これに限定されず、任意の表現が行われてもよい。例えば、仮想視点と同じ高さ（同じＺ座標）を飛ぶ鳥の視点から３次元マップを観察できてもよい。

上記の実施形態では、ユーザデバイス３０としてＨＭＤ３１が用いられた。これに限定されず、ＡＲ（Augmented Reality）グラスやスマートフォン、タブレット端末等の形態端末が用いられてもよい。

図１７は、ＨＭＤ３１の外観を示す模式図である。図１７ＡはＨＭＤ３１の外観を模式的に示す斜視図であり、図１７ＢはＨＭＤ３１を分解した様子を模式的に示す斜視図である。

ＨＭＤ３１は、基体部１９０と、装着バンド部１９１と、ヘッドフォン部１９２と、前方カメラ１９３と、ディスプレイユニット１９４と、カバー部１９５とを有する。

基体部１９０は、ユーザの左右の眼の前方に配置される部材であり、ユーザの前頭部と当接される前頭支持部１９６が設けられる。

装着バンド部１９１は、ユーザの頭部に装着される。図８に示すように、装着バンド部１９１は、側頭バンド１９７と、頭頂バンド１９８とを有する。側頭バンド１９７は、基体部１９０に接続され、側頭部から後頭部にかけてユーザの頭部を囲むように装着される。頭頂バンド１９８は、側頭バンド１９７に接続され、側頭部から頭頂部にかけてユーザの頭部を囲むように装着される。

ヘッドフォン部１９２は、基体部１９０に接続され、ユーザの左右の耳を覆うように配置される。ヘッドフォン部１９２には、左用及び右用のスピーカが設けられる。ヘッドフォン部１９２の位置は、手動又は自動により制御可能となっている。そのための構成は限定されず、任意の構成が採用されてよい。

前方カメラ１９３は、ユーザの前方側の実空間を撮像することが可能なステレオカメラとして設けられる。前方カメラ１９３により、実空間が撮像されたカメラ画像を生成することが可能である。

ディスプレイユニット１９５は、基体部１９０に挿入され、ユーザの眼の前方に配置される。ディスプレイユニット１９５の内部には、ディスプレイが配置される。ディスプレイとしては、例えば液晶、ＥＬ（Electro-Luminescence）等を用いた任意の表示デバイスが用いられてよい。またディスプレイユニット１９５には、ディスプレイにより表示された画像をユーザの左右の眼に導くレンズ系（図示は省略）が配置される。

カバー部１９６は、基体部１９０に取付けられ、ディスプレイユニット１９５を覆うように構成される。このように構成されたＨＭＤ３１は、ユーザの視野を覆うように構成された没入型のヘッドマウントディスプレイとして機能する。例えばＨＭＤ３１により、３次元的な仮想空間が表示される。ユーザはＨＭＤ３１を装着することで、仮想現実（ＶＲ）等を体験することが可能となる。

図１８は、情報処理装置２０のハードウェア構成例を示すブロック図である。

情報処理装置２０は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、入出力インタフェース２０５、及びこれらを互いに接続するバス２０４を備える。入出力インタフェース２０５には、表示部２０６、入力部２０７、記憶部２０８、通信部２０９、及びドライブ部２１０等が接続される。

表示部２０６は、例えば液晶、ＥＬ等を用いた表示デバイスである。入力部２０７は、例えばキーボード、ポインティングデバイス、タッチパネル、その他の操作装置である。入力部２０７がタッチパネルを含む場合、そのタッチパネルは表示部２０６と一体となり得る。

記憶部２０８は、不揮発性の記憶デバイスであり、例えばＨＤＤ、フラッシュメモリ、その他の固体メモリである。ドライブ部２１０は、例えば光学記録媒体、磁気記録テープ等、リムーバブルの記録媒体２１１を駆動することが可能なデバイスである。

通信部２０９は、ＬＡＮ、ＷＡＮ等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部２０９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部２０９は、情報処理装置２０とは別体で使用される場合が多い。
本実施形態では、通信部２０９により、ネットワークを介した他の装置との通信が可能となる。

上記のようなハードウェア構成を有する情報処理装置２０による情報処理は、記憶部２０８またはＲＯＭ２０２等に記憶されたソフトウェアと、情報処理装置２０のハードウェア資源との協働により実現される。具体的には、ＲＯＭ２０２等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ２０３にロードして実行することにより、本技術に係る情報処理方法が実現される。

プログラムは、例えば記録媒体２１１を介して情報処理装置２０にインストールされる。あるいは、グローバルネットワーク等を介してプログラムが情報処理装置２０にインストールされてもよい。その他、コンピュータ読み取り可能な非一過性の任意の記憶媒体が用いられてよい。

通信端末に搭載されたコンピュータとネットワーク等を介して通信可能な他のコンピュータとが連動することにより本技術に係る情報処理方法、プログラム、及びシステムが実行され、本技術に係る情報処理装置が構築されてもよい。

すなわち本技術に係る情報処理方法、プログラム、及びシステムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお、本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。

コンピュータシステムによる本技術に係る情報処理方法、プログラム、及びシステムの実行は、例えば、候補平面の検出、操作可能範囲の変更、及び仮想視点の設定等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部又は全部を他のコンピュータに実行させその結果を取得することを含む。

すなわち本技術に係る情報処理方法、プログラム、及びシステムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。

各図面を参照して説明した候補平面検出部、操作可能範囲変更部、仮想視点設定部等の各構成、通信システムの制御フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。

なお、本開示中に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。上記の複数の効果の記載は、それらの効果が必ずしも同時に発揮されるということを意味しているのではない。条件等により、少なくとも上記した効果のいずれかが得られることを意味しており、もちろん本開示中に記載されていない効果が発揮される可能性もある。

以上説明した各形態の特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。

なお、本技術は以下のような構成も採ることができる。
（１）
現実の空間に対するユーザの仮想視点の設定、及び前記現実の空間に対する前記ユーザにより前記現実の空間に関する操作が実行可能である操作可能範囲の設定を制御する制御ステップ
をコンピュータシステムが実行する情報処理方法。
（２）（１）に記載の情報処理方法であって、
前記制御ステップは、前記現実の空間内に第１の仮想視点を設定し、前記操作可能範囲内に前記第１の仮想視点とは異なる第２の仮想視点を設定する
情報処理方法。
（３）（１）又は（２）に記載の情報処理方法であって、
前記制御ステップは、前記操作可能範囲のスケールを変更する
情報処理方法。
（４）（１）から（３）のうちいずれか１つに記載の情報処理方法であって、さらに、
前記現実の空間から前記仮想視点又は前記操作可能範囲を設定するための候補平面を検出する検出ステップを含む
情報処理方法。
（５）（４）に記載の情報処理方法であって、
前記制御ステップは、検出された前記候補平面から所定の距離離れた位置を前記仮想視点として設定する
情報処理方法。
（６）（４）又は（５）に記載の情報処理方法であって、
前記制御ステップは、検出された前記候補平面から所定の距離離れた位置を前記操作可能範囲の基準となる基準点として設定する
情報処理方法。
（７）（６）に記載の情報処理方法であって、
前記制御ステップは、設定された前記基準点に基づいて、前記仮想視点又は前記操作可能範囲を制御する
情報処理方法。
（８）（６）に記載の情報処理方法であって、さらに、
前記現実の空間の大きさに基づいて、前記仮想視点の位置及び前記操作可能範囲のスケールを設定する設定ステップを含み、
前記制御ステップは、前記基準点を基準として、前記設定された前記仮想視点の位置及び前記設定された前記操作可能範囲のスケールに変更する
情報処理方法。
（９）（４）に記載の情報処理方法であって、
前記検出ステップは、前記現実の空間の所定の軸に基づいて、前記候補平面を検出する
情報処理方法。
（１０）（１）から（９）のうちいずれか１つに記載の情報処理方法であって、
前記制御ステップは、前記仮想視点の位置に基づいて、前記操作可能範囲のスケールを変更する
情報処理方法。
（１１）（１）から（１０）のうちいずれか１つに記載の情報処理方法であって、
前記制御ステップは、前記操作可能範囲のスケールに基づいて、前記仮想視点の位置を設定する
情報処理方法。
（１２）（１）から（１１）のうちいずれか１つに記載の情報処理方法であって、さらに、
前記ユーザに、前記仮想視点及び前記操作可能範囲を制御可能なＧＵＩ（Graphical User Interface）を提示する提示ステップを含む
情報処理方法。
（１３）（１２）に記載の情報処理方法であって、
前記提示ステップは、前記ユーザが前記仮想視点から前記現実の空間を見た場合の仮想視点画像を提示し、
前記ＧＵＩは、前記現実の空間内に第１の仮想視点を設定し、前記操作可能範囲内に前記第１の仮想視点とは異なる第２の仮想視点を設定することが可能である
情報処理方法。
（１４）（１２）又は（１３）に記載の情報処理方法であって、
前記ＧＵＩは、前記操作可能範囲内に前記候補平面を設定することが可能である
情報処理方法。
（１５）（１）から（１４）のうちいずれか１つに記載の情報処理方法であって、
前記現実の空間は、センサにより作成される３次元マップである
情報処理方法。
（１６）（１５）に記載の情報処理方法であって、
前記制御ステップは、前記センサにより作成された前記３次元マップに基づいて、前記操作可能範囲のスケールを変更する
情報処理方法。
（１７）（１５）に記載の情報処理方法であって、
前記センサは、移動体に搭載される
情報処理方法。
（１８）（１７）に記載の情報処理方法であって、
前記ＧＵＩは、前記ユーザの操作により、前記移動体の移動する経路を生成することが可能である
情報処理方法。
（１９）
現実の空間に対するユーザの仮想視点の設定、及び前記現実の空間に対する前記ユーザにより前記現実の空間に関する操作が実行可能である操作可能範囲の設定を制御する制御ステップ
をコンピュータシステムに実行させるプログラム。
（２０）
現実の空間内を移動する移動体と、
前記現実の空間に対するユーザの仮想視点の設定、及び前記現実の空間に対する前記ユーザにより前記現実の空間に関する操作が実行可能である操作可能範囲の設定を制御する制御部を有する情報処理装置と
を具備する情報処理システム。

５…ユーザ
６…仮想視点
７…操作可能範囲
１０…移動体
１４…センサ部
２０…情報処理装置
２３…候補平面検出部
２４…基準点設定部
２５…操作可能範囲変更部
２６…仮想視点設定部
１００…仮想表現システム

Claims (20)

1. 現実の空間に対するユーザの仮想視点の設定、及び前記現実の空間に対する前記ユーザにより前記現実の空間に関する操作が実行可能である操作可能範囲の設定を制御する制御ステップ
   をコンピュータシステムが実行する情報処理方法。
2. 請求項１に記載の情報処理方法であって、
   前記制御ステップは、前記現実の空間内に第１の仮想視点を設定し、前記操作可能範囲内に前記第１の仮想視点とは異なる第２の仮想視点を設定する
   情報処理方法。
3. 請求項１に記載の情報処理方法であって、
   前記制御ステップは、前記操作可能範囲のスケールを変更する
   情報処理方法。
4. 請求項１に記載の情報処理方法であって、さらに、
   前記現実の空間から前記仮想視点又は前記操作可能範囲を設定するための候補平面を検出する検出ステップを含む
   情報処理方法。
5. 請求項４に記載の情報処理方法であって、
   前記制御ステップは、検出された前記候補平面から所定の距離離れた位置を前記仮想視点として設定する
   情報処理方法。
6. 請求項４に記載の情報処理方法であって、
   前記制御ステップは、検出された前記候補平面から所定の距離離れた位置を前記操作可能範囲の基準となる基準点として設定する
   情報処理方法。
7. 請求項６に記載の情報処理方法であって、
   前記制御ステップは、設定された前記基準点に基づいて、前記仮想視点又は前記操作可能範囲を制御する
   情報処理方法。
8. 請求項６に記載の情報処理方法であって、さらに、
   前記現実の空間の大きさに基づいて、前記仮想視点の位置及び前記操作可能範囲のスケールを設定する設定ステップを含み、
   前記制御ステップは、前記基準点を基準として、前記設定された前記仮想視点の位置及び前記設定された前記操作可能範囲のスケールに変更する
   情報処理方法。
9. 請求項４に記載の情報処理方法であって、
   前記検出ステップは、前記現実の空間の所定の軸に基づいて、前記候補平面を検出する
   情報処理方法。
10. 請求項１に記載の情報処理方法であって、
    前記制御ステップは、前記仮想視点の位置に基づいて、前記操作可能範囲のスケールを変更する
    情報処理方法。
11. 請求項１に記載の情報処理方法であって、
    前記制御ステップは、前記操作可能範囲のスケールに基づいて、前記仮想視点の位置を設定する
    情報処理方法。
12. 請求項１に記載の情報処理方法であって、さらに、
    前記ユーザに、前記仮想視点及び前記操作可能範囲を制御可能なＧＵＩ（Graphical User Interface）を提示する提示ステップを含む
    情報処理方法。
13. 請求項１２に記載の情報処理方法であって、
    前記提示ステップは、前記ユーザが前記仮想視点から前記現実の空間を見た場合の仮想視点画像を提示し、
    前記ＧＵＩは、前記現実の空間内に第１の仮想視点を設定し、前記操作可能範囲内に前記第１の仮想視点とは異なる第２の仮想視点を設定することが可能である
    情報処理方法。
14. 請求項１２に記載の情報処理方法であって、
    前記ＧＵＩは、前記操作可能範囲内に前記候補平面を設定することが可能である
    情報処理方法。
15. 請求項１に記載の情報処理方法であって、
    前記現実の空間は、センサにより作成される３次元マップである
    情報処理方法。
16. 請求項１５に記載の情報処理方法であって、
    前記制御ステップは、前記センサにより作成された前記３次元マップに基づいて、前記操作可能範囲のスケールを変更する
    情報処理方法。
17. 請求項１５に記載の情報処理方法であって、
    前記センサは、移動体に搭載される
    情報処理方法。
18. 請求項１７に記載の情報処理方法であって、
    前記ＧＵＩは、前記ユーザの操作により、前記移動体の移動する経路を生成することが可能である
    情報処理方法。
19. 現実の空間に対するユーザの仮想視点の設定、及び前記現実の空間に対する前記ユーザにより前記現実の空間に関する操作が実行可能である操作可能範囲の設定を制御する制御ステップ
    をコンピュータシステムに実行させるプログラム。
20. 現実の空間内を移動する移動体と、
    前記現実の空間に対するユーザの仮想視点の設定、及び前記現実の空間に対する前記ユーザにより前記現実の空間に関する操作が実行可能である操作可能範囲の設定を制御する制御部を有する情報処理装置と
    を具備する情報処理システム。

Images