JP2017067473A - 情報処理装置、情報処理システム、及びプログラム - Google Patents

Abstract

【課題】情報処理装置、情報処理システム、及びプログラムを提供する。【解決手段】情報処理装置であって、姿勢に応じた方向を指し示すポインティングデバイスが存在する実空間における、前記情報処理装置の位置、及び姿勢に係る自己情報の測定を行う自己測定部と、前記情報処理装置から見た前記ポインティングデバイスの相対位置、及び相対姿勢に係るポインティングデバイス情報の測定を行うポインティングデバイス測定部と、前記自己情報に基づいて、前記実空間と対応付けられた地図情報における前記情報処理装置の位置座標、及び姿勢を特定する自己特定部と、前記ポインティングデバイス情報と、記地図情報における前記情報処理装置の位置座標、及び姿勢とに基づいて、前記地図情報における前記ポインティングデバイスの位置座標、及び姿勢を特定するポインティングデバイス特定部と、を備える、情報処理装置。【選択図】図２

Description

本発明は、情報処理装置、情報処理システム、及びプログラムに関する。

複数種類のセンサにより得られる実空間の計測データから、空間上に存在する物体や地形形状、サイズ等を電子データとして構築・再現した三次元地図情報を利用するサービスやロボット等が実用化されつつある。

例えば、下記特許文献１には、実空間に対して投射したレーザ光の反射光を観測することで環境の三次元情報を取得し、予め記憶しておいた三次元地図情報と比較することで、実空間における自己の位置を同定する移動ロボットが開示されている。

また、下記特許文献２には、実空間上に設置された識別用マーカを含む環境を画像として取得することで、実空間における自己の位置・姿勢を認識する移動ロボットが開示されている。さらに、下記特許文献２には、ユーザが音声や地図情報への操作等の入力を行うことで移動ロボットの目標地点を指定することが開示されている。

特開平４−２１６４８７号公報 特開２００６−１８５２４０号公報

上記のような、ユーザが三次元地図情報における位置を指定する技術では、より直感的に位置の指定を行えるようにすることが望まれていた。例えば、デバイスを通して仮想空間に対して行われる従来の位置指定よりも、実空間に対して直接行う位置指定の方が、より直感的であり、作業効率もよい。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、より直感的に位置の指定を行うことが可能な、新規かつ改良された情報処理装置、情報処理システム、及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、情報処理装置であって、姿勢に応じた方向を指し示すポインティングデバイスが存在する実空間における、前記情報処理装置の位置、及び姿勢に係る自己情報の測定を行う自己測定部と、前記情報処理装置から見た前記ポインティングデバイスの相対位置、及び相対姿勢に係るポインティングデバイス情報の測定を行うポインティングデバイス測定部と、前記自己情報に基づいて、前記実空間と対応付けられた地図情報における前記情報処理装置の位置座標、及び姿勢を特定する自己特定部と、前記ポインティングデバイス情報と、前記地図情報における前記情報処理装置の位置座標、及び姿勢とに基づいて、前記地図情報における前記ポインティングデバイスの位置座標、及び姿勢を特定するポインティングデバイス特定部と、を備える、情報処理装置が提供される。

前記情報処理装置は、前記地図情報における前記ポインティングデバイスの位置座標、及び姿勢と、前記地図情報とに基づいて、前記地図情報における、前記ポインティングデバイスが指し示す指示位置座標の特定を行う指示位置座標処理部をさらに備えてもよい。

前記ポインティングデバイス情報は画像情報を含み、前記指示位置座標処理部は、前記ポインティングデバイス情報に基づいて、前記ポインティングデバイスから前記ポインティングデバイスが指し示す方向に出力される光により前記実空間に表示された指示位置を検出し、さらに前記指示位置に基づいて、前記指示位置座標の特定を行ってもよい。

前記情報処理装置は、前記情報処理装置から見た、飛行ロボットの相対位置に係る飛行ロボット情報を測定する飛行ロボット測定部と、前記飛行ロボット情報と、前記地図情報における前記情報処理装置の位置座標、及び姿勢とに基づいて、前記地図情報における前記飛行ロボットの位置座標を特定する飛行ロボット位置特定部と、特定された前記飛行ロボットの位置座標に基づいて、前記飛行ロボットの位置を制御するための制御パラメータを特定する、飛行ロボット位置制御部と、をさらに備えてもよい。

前記情報処理装置は、前記飛行ロボットへの前記制御パラメータの送信、及び前記ポインティングデバイスからの距離パラメータの受信を行う通信部と、前記地図情報における前記ポインティングデバイスの位置座標、及び姿勢と、前記地図情報と、前記距離パラメータとに基づいて、前記地図情報における、前記ポインティングデバイスが指し示す指示位置座標の特定を行う指示位置座標処理部をさらに備え、前記飛行ロボット位置制御部は、さらに前記指示位置座標に基づいて、前記制御パラメータを特定してもよい。

前記飛行ロボット位置制御部は、前記指示位置座標と前記飛行ロボットの位置座標との差分が小さくなるように前記制御パラメータを特定してもよい。

前記情報処理装置は、前記ポインティングデバイスから、前記ポインティングデバイスによる光出力の出力状態を示す出力状態情報を受信する通信部をさらに備え、前記指示位置座標処理部は、前記通信部により受信された前記出力状態に応じて、前記指示位置座標の特定を行ってもよい。

前記指示位置座標処理部は、前記出力状態がオンであることを示す前記出力状態情報を、前記通信部が前記ポインティングデバイスから受信した場合に、前記指示位置座標の特定を行ってもよい。

前記情報処理装置は、前記ポインティングデバイスから、座標設定要求を受信する通信部をさらに備え、前記指示位置座標処理部は、前記通信部が前記ポインティングデバイスから前記座標設定要求を受信した場合に、前記指示位置座標をユーザにより指定された指定座標として設定してもよい。

前記情報処理装置は、前記指示位置座標処理部が、前記指示位置座標を前記指定座標として設定した場合に、設定が完了したことを前記ポインティングデバイスのユーザに通知するための出力を制御する出力情報処理部をさらに備えてもよい。

前記情報処理装置は、前記ポインティングデバイスのユーザによるポインティング行動を補助するための視覚情報を、前記実空間に対して出力させる出力情報処理部をさらに備えてもよい。

前記視覚情報は、格子状の線を含んでもよい。

また、上記課題を解決するために、本発明の別の観点によれば、姿勢に応じた方向を指し示すポインティングデバイスと、情報処理装置を備え、前記情報処理装置は、前記ポインティングデバイスが存在する実空間における、前記情報処理装置の位置、及び姿勢に係る自己情報の測定を行う自己測定部と、前記情報処理装置から見た前記ポインティングデバイスの相対位置、及び相対姿勢に係るポインティングデバイス情報の測定を行うポインティングデバイス測定部と、前記自己情報に基づいて、前記実空間と対応付けられた地図情報における前記情報処理装置の位置座標、及び姿勢を特定する自己特定部と、前記ポインティングデバイス情報と、前記地図情報における前記情報処理装置の位置座標、及び姿勢とに基づいて、前記地図情報における前記ポインティングデバイスの位置座標、及び姿勢を特定するポインティングデバイス特定部と、を備える、情報処理システムが提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、センサ装置が行う測定により得られた、姿勢に応じた方向を指し示すポインティングデバイスが存在する実空間における、前記センサ装置の位置、及び姿勢に係る自己情報に基づいて、前記実空間と対応付けられた地図情報における前記センサ装置の位置座標、及び姿勢を特定する自己特定機能と、前記センサ装置が行う測定により得られた、前記センサ装置から見た前記ポインティングデバイスの相対位置、及び相対姿勢に係るポインティングデバイス情報と、前記地図情報における前記センサ装置の位置座標、及び姿勢とに基づいて、前記地図情報における前記ポインティングデバイスの位置座標、及び姿勢を特定するポインティングデバイス特定機能と、を実現させるための、プログラムが提供される。

以上説明したように本発明によれば、ユーザは、より直感的に位置の指定を行うことが可能となる。

本発明の第一の実施形態に係る情報処理システム１の概略構成を示す説明図である。 同実施形態に係る情報処理システム１の利用イメージ例を示す説明図である。 同実施形態に係る情報処理システム１による指示位置の三次元座標特定を模式的に示す説明図である。 同実施形態に係る情報処理装置２０−１の構成例を示す説明図である。 同実施形態に係るポインティングデバイス３０−１の構成例を示す説明図である。 同実施形態に係るポインティングデバイス３０−１の動作例を示すフローチャート図である。 同実施形態に係る情報処理装置２０−１の動作例を示すフローチャート図である。 本発明の第二の実施形態に係る実空間について説明するための説明図である。 本発明の第二の実施形態に係る情報処理システム２の概略構成を示す説明図である。 同実施形態に係る情報処理システム２の利用イメージ例を示す説明図である。 同実施形態に係る情報処理システム２による指示位置の三次元座標特定を模式的に示す説明図である。 同実施形態に係る情報処理装置２０−２の構成例を示す説明図である 同実施形態に係るポインティングデバイス３０−２の構成例を示す説明図である。 同実施形態に係る飛行ロボット８０の構成例を示す説明図である。 同実施形態に係るポインティングデバイス３０−２の動作例を示すフローチャート図である。 同実施形態に係る情報処理装置２０−２の動作例を示すフローチャート図である。 同実施形態に係る飛行ロボット８０の動作例を示すフローチャート図である。 情報処理装置のハードウェア構成例を示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

＜＜１．第一の実施形態＞＞
＜１−１．第一の実施形態の概要＞
まず、図１〜３を参照して本発明の第一の実施形態に係る情報処理システム１の概要を説明する。図１は本実施形態に係る情報処理システム１の概略構成を示す説明図である。また、図２は、本実施形態に係る情報処理システム１の利用イメージ例を示す説明図である。

図１に示すように、本実施形態に係る情報処理システム１は、データサーバ１０、情報処理装置２０−１、ポインティングデバイス３０−１、通信網４０を備える。

データサーバ１０は、記憶機能を有するサーバであり、少なくとも実空間の計測により作成された三次元地図情報を記憶する。実空間の計測による三次元地図情報の作成は後述する情報処理装置２０−１や他の装置により事前に行われてもよい。例えば、三次元地図情報は、ＲＧＢカメラ、ＲＧＢ−Ｄカメラ、レーザ・レンジ・ファインダー等を用いた計測結果に基づいて生成されてもよい。

情報処理装置２０−１は、ユーザと共に計測済みの実空間に存在し、ユーザがポインティングデバイス３０−１を用いて指示した指示位置を特定し、ユーザの要求に応じて当該指示位置をユーザによる指定位置として設定する装置である。上述したデータサーバ１０、情報処理装置２０−１、ポインティングデバイス３０−１は、通信網４０を介して相互に接続されている。

なお、通信網４０は、通信網４０に接続されている装置、またはシステムから送信される情報の有線、または無線の伝送路である。例えば、通信網４０は、インターネット、電話回線網、衛星通信網等の公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を含んでもよい。また、通信網４０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）等の専用回線網を含んでもよい。

図２に示す三次元地図情報Ｖ１は、図２に示す実空間Ｒ１の形状を事前に測定して三次元地図（三次元データ）化した情報を示している。三次元地図情報Ｖ１は情報処理装置２０−１による実空間の測定に基づいて生成されてもよいし、他の測定器による測定に基づいて生成されてもよい。

本実施形態に係る情報処理装置２０−１は、図２に示す実空間Ｒ１においてユーザＵ１がポインティングデバイス３０−１を用いて指し示す指示位置Ｐ１０に対応する、三次元地図情報における三次元座標を特定する。ポインティングデバイス３０−１は、姿勢に応じた方向を指し示す装置であり、例えば、図２に示すようにポインティングデバイス３０−１は、姿勢に応じた方向にレーザ光（直進光）を出力してもよい。

図３は、本実施形態に係る情報処理システム１による指示位置の三次元座標特定を模式的に示す説明図である。なお、図３に示す座標系Ｃ１０は図１を参照して説明したデータサーバ１０に記憶される三次元地図情報の座標系である。

図３に示す平面Ｆ１１、平面Ｆ１２、及び平面Ｆ１３は、それぞれ三次元地図情報における床面、壁面、天井を示している。情報処理装置２０−１は、データサーバ１０から、床面Ｆ１１、壁面Ｆ１２，天井Ｆ１３等の位置や形状等に関する周囲の三次元情報取得することができる。また、情報処理装置２０−１は、上記三次元情報に基づいて、三次元地図情報における自己（情報処理装置２０−１）の位置と姿勢を測定することが可能である。なお、図３に示す座標系Ｃ１２は、情報処理装置２０−１により測定された情報処理装置２０−１の位置、及び姿勢に基づく、情報処理装置２０−１の位置を中心とした座標系である。

また、情報処理装置２０−１は、情報処理装置２０−１の位置と姿勢に基づいて、ポインティングデバイス３０−１の位置、及び姿勢を測定することが可能である。なお、図３に示す座標系Ｃ１４は、情報処理装置２０−１により測定されたポインティングデバイス３０−１の位置、及び姿勢に基づく座標系である。

さらに、情報処理装置２０−１は、ポインティングデバイス３０−１の位置、及び姿勢に基づいて、ポインティングデバイス３０−１から出力される直進光Ｌ１と天井の交点として、指示位置Ｐ２０の座標を特定することが可能である。また、情報処理装置２０−１は、ユーザの入力に応じて、特定した指示位置Ｐ２０をユーザが指定した位置として設定し、記録してもよい。

係る構成によれば、ユーザはポインティングデバイス３０−１を用いて、実空間に対して任意の位置を指し示すことで、直観的に位置の指定を行うことが可能であり、また、情報処理システム１は、ユーザにより指定された位置を特定することが可能である。以下、このような効果を有する本実施形態の構成についてより詳細に説明する。

＜１−２．第一の実施形態の構成＞
以上、本実施形態による情報処理システム１の概要について説明した。続いて、本実施形態による情報処理システム１が備える、情報処理装置２０−１、及びポインティングデバイス３０−１の構成について図４、及び図５を参照して詳細に説明する。

（情報処理装置）
情報処理装置２０−１は、実空間に固定的に設置された装置であってもよいし、移動可能なロボット等であってもよいが、以下では、ユーザにより指示された指示位置座標の特定に係る機能を中心に説明を行う。図４は、情報処理装置２０−１の構成例を示す説明図である。図４に示すように、情報処理装置２０−１は、センサ部２２０、制御部２４０、出力部２６０、及び通信部２８０を備える。

センサ部２２０は、自己測定部２２２、及びポインティングデバイス測定部２２４を含み、情報処理装置２０−１、及びポインティングデバイス３０−１が存在する実空間に関する情報を測定するセンサ装置である。

自己測定部２２２は、姿勢に応じた方向を指し示すポインティングデバイスが存在する実空間における、情報処理装置２０−１の位置、及び姿勢に係る自己情報の測定を行うセンサである。自己測定部２２２は、例えば、屋内ＧＰＳセンサ，三軸加速度センサ、ジャイロセンサ等を含み、情報処理装置２０−１の位置、及び姿勢の変化情報等を自己情報として測定してもよい。また、情報処理装置２０−１が図示されない車輪機構等による移動機能を有している場合、車輪の径、及び移動による車輪の回転数の情報から情報処理装置２０−１の位置と姿勢の変化を自己情報として測定してもよい。

また、自己測定部２２２は、ＲＧＢカメラ、ＲＧＢ−Ｄカメラ、レーザ・レンジ・ファインダー等を含み、実空間における情報処理装置２０−１の周囲の環境情報である二次元画像、三次元画像、三次元点データの集合等の情報を自己情報として取得してもよい。

上記のような自己情報の測定には、実空間へのマーカ等の配置は不要であるため、係る構成によれば、自己位置を推定するためにマーカが必要な従来技術と比べて、情報処理装置２０−１の位置、及び姿勢の推定に係るユーザの負担を軽減することが可能である。

ポインティングデバイス測定部２２４は、情報処理装置２０−１から見たポインティングデバイス３０−１の相対位置、及び相対姿勢に係るポインティングデバイス情報の測定を行うセンサ装置である。ポインティングデバイス測定部２２４は、ＲＧＢカメラ、ＲＧＢ−Ｄカメラ、レーザ・レンジ・ファインダー等を含んでもよい。係る場合、ポインティングデバイス測定部２２４は、ポインティングデバイス３０−１を含む実空間の環境情報である二次元画像、三次元画像、三次元点データの集合等の情報をポインティングデバイス情報として取得してもよい。

なお、ポインティングデバイス測定部２２４が測定するポインティングデバイス情報は、上記のような環境情報に限定されない。上記以外のポインティングデバイス測定部２２４が測定する情報の例については、変形例として後述する。

制御部２４０は、情報処理装置２０−１の各構成を制御する。本実施形態による制御部２４０は、図４に示すように、自己位置特定部２４２、ポインティングデバイス位置特定部２４４、指示位置座標処理部２４６、出力情報処理部２４８としての機能を有する。

自己位置特定部２４２（自己特定部）は、自己測定部２２２により測定された自己情報に基づいて、実空間と対応付けられた三次元地図情報における情報処理装置２０−１の位置座標、及び姿勢を特定する自己特定機能を有する。係る処理により、情報処理装置２０−１は、仮想的な三次元地図上に再現され、実空間上、及び三次元地図情報上の両方に存在している状態となる。なお、三次元地図情報は、図１を参照して説明したデータサーバ１０から後述する通信部２８０を介して制御部２４０の各部に提供される。

ポインティングデバイス位置特定部２４４（ポインティングデバイス特定部）は、上記ポインティングデバイス情報と、三次元地図情報における情報処理装置２０−１の位置座標、及び姿勢に基づいて、三次元地図情報におけるポインティングデバイス３０−１の位置座標、及び姿勢を特定するポインティングデバイス特定機能を有する。例えば、ポインティングデバイス位置特定部２４４は、ポインティングデバイス情報に基づいて、情報処理装置２０−１から見た、ポインティングデバイス３０−１の相対位置、及び相対姿勢を特定する。さらに、ポインティングデバイス位置特定部２４４は、情報処理装置２０−１の位置座標、及び姿勢と、上記の相対位置、及び相対姿勢とから、三次元地図情報におけるポインティングデバイス３０−１の位置座標、及び姿勢を特定する。係る処理により、ポインティングデバイス３０−１は、仮想的な三次元地図上に再現され、実空間上、及び三次元地図情報上の両方に存在している状態となる。

指示位置座標処理部２４６は、三次元地図情報におけるポインティングデバイス３０−２の位置座標、及び姿勢と、三次元地図情報とに基づいて、三次元地図情報における、ポインティングデバイス３０−１が指し示す指示位置座標（候補点）の特定を行う。係る構成によれば、情報処理装置２０−１は、ユーザがポインティングデバイス３０−１を用いて現在指し示している位置の座標を取得することが可能である。

例えば、指示位置座標処理部２４６は、ポインティングデバイス３０−１の位置、及び姿勢の情報に基づき、ポインティングデバイス３０−１から放出されるレーザ光の向きを算出する。さらに指示位置座標処理部２４６は、三次元地図情報におけるオブジェクト又は境界面（床面、壁面、天井等）とレーザ光の交点の座標を算出し、当該交点の座標を指示位置座標として特定してもよい。

また、指示位置座標処理部２４６は、ポインティングデバイス測定部２２４により取得されたポインティングデバイス情報に含まれる画像情報に基づいて、指示位置座標の特定を行ってもよい。例えば、指示位置座標処理部２４６は、ポインティングデバイス３０−１からポインティングデバイス３０−１が指し示す方向に出力されるレーザ光により実空間に表示された指示位置を上記画像情報において検出する。さらに指示位置座標処理部２４６は、上記画像情報において検出された指示位置に対応する座標と、上述した交点の座標の算出により得られた座標とに基づいて、指示位置座標を特定してもよい。係る構成によれば、レーザ光の検出情報を用いることで、上述した交点の座標の算出のみによる処理よりも、高精度に指示位置座標を特定することが可能である。

また、指示位置座標処理部２４６は、通信部２８０を介してポインティングデバイス３０−１より取得したポインティングデバイス３０−１の情報に基づいて処理を行う。

例えば、指示位置座標処理部２４６は、後述する通信部２８０により受信されたポインティングデバイス３０−１の出力状態情報に応じて、指示位置座標の特定を行う。指示位置座標処理部２４６は、ポインティングデバイス３０−１の出力状態がオンである（レーザ光が出力されている）ことを示す出力状態情報を通信部２８０がポインティングデバイス３０−１から受信した場合に、上記指示位置座標の特定を行ってもよい。係る構成によれば、ポインティングデバイス３０−１からレーザ光が出力されている場合にのみ、指示位置座標の特定処理が行われるため、処理負荷を軽減することが可能である。

また、指示位置座標処理部２４６は、通信部２８０がポインティングデバイス３０−１から座標設定要求を受信した場合に、指示位置座標をユーザにより指定された指定座標として設定してもよい。上記の設定は、情報処理装置２０−１が有する記憶部（不図示）、またはデータサーバ１０の記憶部に、ＩＤなどの識別子と共に現在の指示位置座標が指定座標として記録されることで行われてもよい。係る構成によれば、例えば、ユーザが位置の指定を完了したタイミングで、ユーザがポインティングデバイス３０−１を操作して座標設定要求を送信させることで、適切に指定座標が設定される。

出力情報処理部２４８は、後述する出力部２６０の出力を制御する。

例えば、出力情報処理部２４８は、指示位置座標処理部２４６が、指示位置座標を指定座標として設定した場合に、設定が完了したことをポインティングデバイス３０−１のユーザに通知するための出力を制御する。例えば、上記通知するための出力は、音声やＬＥＤ（Light-Emitting Diode）による発光、振動等であってもよい。係る構成によれば、ユーザは上記通知を確認することで、指定座標の設定が正常に完了したことを認識することが可能である。

また、出力情報処理部２４８は、指示位置座標処理部２４６の処理において、三次元地図情報におけるオブジェクト又は境界面とレーザ光の交点が存在しなかった場合に、交点が存在しないことをユーザに通知するための出力を制御してもよい。係る構成によれば、ユーザは上記通知を確認することで、交点が存在するようにポインティングデバイス３０−１の位置と姿勢を調整する必要があることを認識することが可能である。

また、出力情報処理部２４８は、出力部２６０を制御し、ポインティングデバイス３０−１のユーザによるポインティング行動を補助するための視覚情報を、実空間に対して出力させてもよい。例えば、上記の視覚情報は格子線（格子状の線）を含んでもよい。なお、出力情報処理部２４８は、三次元地図情報、三次元地図情報上に再現された情報処理装置２０−１の位置と姿勢、及び出力部２６０の出力能力等に基づいて、実空間上に出力される格子線の結像位置を推定し、当該結像位置に基づく歪み補正を行ってもよい。係る構成によれば、ユーザは実空間において位置を指定するためのポインティング行動をより容易に行うことが可能となる。

出力部２６０は、出力情報処理部２４８の制御を受け、出力を行う。出力部２６０は、例えばレーザ投光器やプロジェクタ等の視覚情報出力装置や、音声出力装置、ＬＥＤ発光装置、振動装置等を含んでもよい。

通信部２８０は、図１を参照して説明した通信網４０に接続し、通信網４０に接続された他の装置とのデータの送受信を行う通信機能を有する。例えば、通信部２８０は、データサーバ１０から、三次元地図情報を受信する。また、通信部２８０は、ポインティングデバイス３０−１から、ポインティングデバイス３０−１によるレーザ光出力の出力状態を示す出力状態情報、及び座標設定要求を受信する。

（ポインティングデバイス）
ポインティングデバイス３０−１は、ユーザと共に実空間に存在し、ユーザに把持されて、例えばレーザポインタのような実空間に対するポインティング（位置の指示、指定）を行うことが可能なデバイスである。図５は、ポインティングデバイス３０−１の構成例を示す説明図である。ポインティングデバイス３０−１は、図５に示すように、入力部３２０、制御部３４０、出力部３６０、及び通信部３８０を備える。

入力部３２０は、座標設定要求部３２２、及び出力状態切替部３２４を含み、ポインティングデバイス３０−１を扱うユーザの入力を受け付ける。

座標設定要求部３２２は、ポインティングデバイス３０−１により実世界に対して指し示した位置を、三次元地図情報において指定位置として設定させるための座標設定要求の入力を受け付ける。座標設定要求部３２２は、例えばポインティングデバイス３０−１上に配置された押しボタン、またはタッチパネル等の入力装置を含んで実現されてもよい。例えば、座標設定要求部３２２が押しボタンである場合、ユーザが当該押しボタンを押下すると、押下されたことが制御部３４０により検知され、座標設定要求が通信部３８０を介して情報処理装置２０−１に送信される。

出力状態切替部３２４は、後述する出力部３６０の出力状態の切替（例えば、オン／オフの切替）のための入力を受け付ける。出力状態切替部３２４は、例えばポインティングデバイス３０−１上に配置された押しボタン、またはタッチパネルのような入力装置を含んで実現されてもよい。

制御部３４０は、ポインティングデバイス３０−１の各部を制御する。例えば、制御部３４０は、入力部３２０へのユーザの入力を検知し、通信部３８０を制御して、当該入力に基づいて情報処理装置２０−１に情報を送信させる。また、制御部３４０は、当該入力に基づいて、出力部３６０による出力を制御する。

出力部３６０は、実空間に対して情報等の出力を行う。例えば、出力部３６０は、レーザ投光器やプロジェクタ等の視覚情報出力装置を含んでもよい。出力部３６０により出力された光情報は、実空間におけるポインティングデバイス３０−１が指し示す位置で結像し、視覚情報として実空間に表示される。係る構成により、ユーザはポインティング行動に関する視覚的フィードバックを受けることが可能であり、ユーザのポインティング行動を補助する効果が得られる。

なお、出力部３６０の出力の状態は、上述した出力状態切替部３２４により切り替えられ、通信部３８０によって情報処理装置２０−１に送信される。また、以下では、出力部３６０がレーザ光を出力するレーザ投光器である例を説明する。

通信部３８０は、図１を参照して説明した通信網４０に接続し、通信網４０に接続された他の装置とのデータの送受信を行う通信機能を有する。例えば、通信部３８０は、情報処理装置２０−１に、出力部３６０によるレーザ光出力の出力状態を示す出力状態情報、及び座標設定要求を送信する。

＜１−３．第一の実施形態の動作例＞
以上、本実施形態に係る情報処理装置２０−１、及びポインティングデバイス３０−１の構成について説明した。続いて、本実施形態の動作について説明する。以下では、図６を参照してポインティングデバイス３０−１の動作例について説明した後、図７を参照して情報処理装置２０−１の動作例について説明する。

（ポインティングデバイスの動作例）
図６は、本実施形態に係るポインティングデバイス３０−１の動作例を示すフローチャート図である。

出力部３６０の出力状態がオン（ＯＮ）ではない場合（Ｓ１０２においてＮＯ）、通信部３８０は、出力状態がオフであることを示す出力状態情報を含む情報（Ａ）を情報処理装置２０−１に送信する（Ｓ１０６）。

一方、出力部３６０の出力状態がオンである場合（Ｓ１０２においてＹＥＳ）、出力部３６０から、ポインティングデバイス３０−１の位置と姿勢により決定される直進光（レーザ光）が出力され、ユーザによりポインティング行動が行われている。ユーザは把持しているポインティングデバイス３０−１から出力される直進光が実空間上の物体（壁や物の表面等）上で結像する光点の位置を参考にしながら、ユーザが指定したい場所に光点が位置するようにポインティングデバイス３０−１の位置と姿勢を調整する。

ユーザがポインティングデバイス３０−１の位置と姿勢の調整を完了し、指定したい場所に光点を位置させた場合、ユーザにより座標設定要求部３２２への入力が行われる（Ｓ１０４においてＹＥＳ）。ユーザにより座標設定要求部３２２への入力が行われると、通信部３８０は、出力状態がオンであることを示す出力状態情報と、座標設定要求とを含む情報（Ｂ）を情報処理装置２０−１に送信する（Ｓ１０８）。

一方、ユーザがポインティングデバイス３０−１の位置と姿勢を調整中であり、座標設定要求が行われていない場合（Ｓ１０４においてＮＯ）、通信部３８０は、出力状態がオンであることを示す出力状態情報を含む情報（Ｃ）を情報処理装置２０−１に送信する（Ｓ１１０）。

なお、図６に示すように、ポインティングデバイス３０−１は、ステップＳ１０２〜Ｓ１１０の処理を繰り返してもよい。

（情報処理装置の動作例）
図７は、本実施形態に係る情報処理装置２０−１の動作例を示すフローチャート図である。

まず、自己測定部２２２により測定された自己情報に基づいて、自己位置特定部２４２が三次元地図情報における情報処理装置２０−１の位置、及び姿勢（自己状態）を特定する（Ｓ２０２）。係る処理により、図３に示したように三次元地図情報上に、情報処理装置２０−１の位置と姿勢が再現される。

続いて、通信部２８０がポインティングデバイス３０−１（ＰＤ）からポインティングデバイス３０−１に関する情報を受信する（図７のＳ２０４）。通信部２８０が受け取った情報において、ポインティングデバイス３０−１の出力状態がオン（ＯＮ）ではない場合（Ｓ２０６においてＮＯ）、処理はステップＳ２０２に戻る。一方、通信部２８０が受け取った情報において、ポインティングデバイス３０−１の出力状態がオンである場合（Ｓ２０６においてＹＥＳ）、ポインティングデバイス測定部２２４が相対位置、及び相対姿勢に係るポインティングデバイス情報を測定する（Ｓ２０８）。

続いて、ポインティングデバイス位置特定部２４４が、情報処理装置２０−１の位置、及び姿勢の情報と、ポインティングデバイス情報に基づいて、三次元地図情報におけるポインティングデバイス３０−１の位置、及び姿勢を特定する（Ｓ２１０）。係る処理により、図３に示したように三次元地図情報上にポインティングデバイス３０−１の位置と姿勢が再現される。

続いて、指示位置座標処理部２４６は、ポインティングデバイス３０−１の位置、及び姿勢に基づいて、三次元地図情報において、ポインティングデバイス３０−１から放出（出力）される直進光の方向を特定する（図７のＳ２１２）。係る処理により、図３に示したように三次元地図情報上にポインティングデバイス３０−１の出力方向向きに直進光Ｌ１が再現される。

続いて、指示位置座標処理部２４６は、三次元地図情報上に再現された直進光Ｌ１と、三次元地図情報上のオブジェクト（例えば、図３に示す床面Ｆ１１，壁面Ｆ１２，天井Ｆ１３等）や設置物等との交点（候補点）が存在するか否かを判定する（Ｓ２１４）。交点が存在しない場合（Ｓ２１４においてＮＯ）、処理はステップＳ２０２に戻る。また、交点が存在し（Ｓ２１４においてＹＥＳ）、ステップＳ２０４で受信したポインティングデバイス３０−１の情報に座標設定要求が含まれていない場合（Ｓ２１６においてＮＯ）も、処理はステップＳ２０２に戻る。

一方、交点が存在し（Ｓ２１４においてＹＥＳ）、ステップＳ２０４で受信したポインティングデバイス３０−１の情報に座標設定要求が含まれている場合（Ｓ２１６においてＹＥＳ）、指示位置座標処理部２４６は、上記交点の座標をユーザによる指定位置として記録する（Ｓ２１８）。

なお、図７に示すように、情報処理装置２０−１は、ステップＳ２０２〜Ｓ２１８の処理を繰り返してもよい。

＜１−４．第一の実施形態の効果＞
以上、第一の実施形態について説明した。本実施形態によれば、情報処理装置２０−１が、ポインティングデバイス３０−１により指し示された位置を特定し、記録することで、ユーザはより直感的に位置の指定を行うことが可能である。

＜＜２．第二の実施形態＞＞
上述した第一の実施形態では、ポインティングデバイスの出力が直進光（レーザ光）であり、直進光によって、実空間に設置された物体や実空間の境界面に対する位置の指定が可能であった。一方、図８に示すような吹き抜け構造のような実空間Ｒ２を測定した場合、三次元地図情報の作成に使用するセンサの計測可能範囲の制限から、三次元地図情報Ｖ２のように物体により閉じられていない領域を持つ三次元地図情報が得られる場合がある。上記のような実空間上、及び、三次元地図情報上に対する位置指定としては、物体表面だけでなく、空中に対する位置指定が考えられる。

そこで、以下では、第二の実施形態として、情報処理システムがマルチコプターのような小型飛行ロボットを備え、空中の飛行ロボットの位置を指定可能な情報処理システムの例を説明する。なお、以下に説明する第二の実施形態は、一部において第一の実施形態と同様の構成を有するため、第一の実施形態と実質的に同様の機能を有する構成に関しては、同一の符号を付し、説明を省略する場合がある。

＜２−１．第二の実施形態の概要＞
図９−１１を参照して本発明の第二の実施形態に係る情報処理システム２の概要を説明する。図９は、本実施形態に係る情報処理システム２の概略構成を示す説明図である。また、図１０は、本実施形態に係る情報処理システム２の利用イメージ例を示す説明図である。

図９に示すように、本実施形態に係る情報処理システム２は、データサーバ１０、情報処理装置２０−２、ポインティングデバイス３０−２、通信網４０、飛行ロボット８０を備える。

情報処理装置２０−２は、ユーザと共に計測済みの実空間に存在し、ユーザがポインティングデバイス３０−２を用いて指示した指示位置を特定し、当該指示位置に飛行ロボット８０を移動させるような制御パラメータを生成し、ユーザの要求に応じて飛行ロボット８０の位置を指定位置として設定する装置である。

飛行ロボット８０は、ユーザと共に計測済みの実空間に存在し、実空間中を浮遊、及び飛行可能な、例えばマルチコプターのような制御ロボットである。飛行ロボット８０は、通信網４０を介して情報処理装置２０−２から制御パラメータを受信し、当該制御パラメータに従って移動する。

図１０に示す三次元地図情報Ｖ３は、図１０に示す実空間Ｒ３の形状を事前に測定して三次元地図（三次元データ）化した空間である。三次元地図情報Ｖ３は情報処理装置２０−２による実空間の測定に基づいて生成されてもよいし、他の測定器による測定に基づいて生成されてもよい。

本実施形態に係る情報処理装置２０−２は、図１０に示す実空間Ｒ３においてユーザＵ２がポインティングデバイス３０−２を用いて指し示す指示位置Ｐ３０に対応する、三次元地図情報における三次元座標を特定する。また、本実施形態に係る情報処理装置２０−２は、当該指示位置に飛行ロボット８０を移動させるように飛行ロボット８０を制御する。ポインティングデバイス３０−２は、姿勢に応じた方向を指し示す装置であり、例えば、図１０に示すようにポインティングデバイス３０−２は、姿勢に応じた方向にレーザ光（直進光）を出力してもよい。図１０に示す例では、情報処理装置２０−２による飛行ロボット８０の制御が完了し、飛行ロボット８０が指示位置Ｐ３０に移動済みであるため、ユーザは指示位置が空中であっても、指示位置を三次元的に把握することが可能である。

図１１は、本実施形態に係る情報処理システム２による指示位置の三次元座標特定を模式的に示す説明図である。なお、図１１に示す座標系Ｃ２０，Ｃ２２，Ｃ２４は、図３を参照して説明した座標系Ｃ１０，Ｃ１２，Ｃ１４と同様であるため、説明を省略する。また、図１１に示す情報処理装置２０−２，及びポインティングデバイス３０−２の位置と姿勢についても、図３を参照して説明した情報処理装置２０−１，及びポインティングデバイス３０−１と同様に取得されるため、説明を省略する。

情報処理装置２０−２は、ポインティングデバイス３０−２の位置、及び姿勢に基づいて、ポインティングデバイス３０−２から出力される直進光Ｌ２を三次元地図情報上に再現することができる。本実施形態においては、空中へのポインティングを想定しているため、情報処理装置２０−２は、ポインティングデバイス３０−２から所定距離の位置を指示位置Ｐ４０として特定してもよい。なお、上記の所定距離は、後述するようにユーザにより調整されてもよい。

さらに、情報処理装置２０−２は、指示位置Ｐ４０を飛行ロボット８０の移動目標位置として、飛行ロボット８０の制御パラメータを生成し、飛行ロボット８０の制御を行う。また、情報処理装置２０−２は、ユーザの入力に応じて、指示位置Ｐ４０をユーザが指定した位置として設定し、記録してもよい。

係る構成によれば、ユーザは、実空間において物体の存在しなかった、空中の位置を直感的に指定することが可能である。また、情報処理システム２は、ユーザにより指定された空中の位置を特定することが可能である。以下、このような効果を有する本実施形態の構成についてより詳細に説明する。

＜２−２．第二の実施形態の構成＞
以上、本実施形態による情報処理システム２の概要について説明した。続いて、本実施形態による情報処理システム２が備える、情報処理装置２０−２、及びポインティングデバイス３０−２の構成について図１２、及び図１３を参照して説明する。

（情報処理装置）
情報処理装置２０−２は、実空間に固定的に設置された装置であってもよいし、移動可能なロボット等であってもよいが、以下では、ユーザにより指示された指示位置座標の特定に係る機能を中心に説明を行う。図１２は、情報処理装置２０−２の構成例を示す説明図である。図１２に示すように、情報処理装置２０−２は、センサ部２３０、制御部２５０、出力部２６０、及び通信部２８０を備える。

センサ部２３０は、自己測定部２２２、ポインティングデバイス測定部２２４、及び飛行ロボット測定部２２６を含み、情報処理装置２０−２、及びポインティングデバイス３０−２が存在する実空間に関する情報を測定するセンサ装置である。

飛行ロボット測定部２２６は、情報処理装置２０−２から見た飛行ロボット８０の相対位置、及び相対姿勢に係る飛行ロボット情報の測定を行うセンサ装置である。飛行ロボット測定部２２６は、ＲＧＢカメラ、ＲＧＢ−Ｄカメラ、レーザ・レンジ・ファインダー等を含んでもよい。係る場合、飛行ロボット測定部２２６は、飛行ロボット８０を含む実空間の環境情報である二次元画像、三次元画像、三次元点データの集合等の情報を飛行ロボット情報として取得してもよい。

なお、飛行ロボット測定部２２６が測定する飛行ロボット情報は、上記のような環境情報に限定されない。上記以外の飛行ロボット測定部２２６が測定する情報の例については、変形例として後述する。

制御部２５０は、情報処理装置２０−２の各構成を制御する。本実施形態による制御部２５０は、図１２に示すように、自己位置特定部２４２、ポインティングデバイス位置特定部２４４、指示位置座標処理部２４７、出力情報処理部２４８、飛行ロボット位置特定部２５２、飛行ロボット位置制御部２５４としての機能を有する。

指示位置座標処理部２４７は、三次元地図情報におけるポインティングデバイス３０−２の位置座標、及び姿勢と、三次元地図情報とに基づいて、三次元地図情報における、ポインティングデバイス３０−２が指し示す指示位置座標（候補点）の特定を行う。

例えば、本実施形態に係る指示位置座標処理部２４７は、ポインティングデバイス３０−２から出力される直進光方向に、ポインティングデバイス３０−２から通信部２８０を介して受信した距離パラメータに基づく距離だけ離れた位置を指示位置座標として特定してもよい。また、ポインティングデバイス３０−２と上記の指示位置を結ぶ線分上に物体、あるいは境界面が存在し、上記線分との交点が発生する場合には、この交点を指示位置座標として更新する。当該指示位置座標が、後述する飛行ロボット８０の移動目標座標として用いられる。指示位置座標処理部２４７は、通信部２８０がポインティングデバイス３０−２から座標設定要求を受信した場合に、指示位置座標をユーザにより指定された指定座標として設定してもよい。

飛行ロボット位置特定部２５２は、上記飛行ロボット情報と、三次元地図情報における情報処理装置２０−２の位置座標、及び姿勢に基づいて、三次元地図情報における飛行ロボット８０の位置座標、及び姿勢を特定する。例えば、飛行ロボット位置特定部２５２は、飛行ロボット情報に基づいて、情報処理装置２０−２から見た飛行ロボット８０の相対位置、及び相対姿勢を特定する。さらに、飛行ロボット位置特定部２５２は、情報処理装置２０−２の位置座標、及び姿勢と、上記の相対位置、及び相対姿勢とから、三次元地図情報における飛行ロボット８０の位置座標、及び姿勢を特定する。係る処理により、飛行ロボット８０は、仮想的な三次元地図上に再現され、実空間上、及び三次元地図情報上の両方に存在している状態となる。

飛行ロボット位置制御部２５４は、指示位置座標処理部２４７により算出された三次元地図情報上の飛行ロボット８０の移動目標座標と飛行ロボット位置特定部２５２により特定された飛行ロボット８０の位置座標、及び姿勢に基づいて、飛行ロボット８０の位置を制御するための制御パラメータを特定する。

飛行ロボット位置制御部２５４は、上記指示位置座標処理部２４７により特定された指示位置座標（移動目標座標）に基づいて、制御パラメータを特定してもよい。例えば、飛行ロボット位置制御部２５４は、指示位置座標と現在の飛行ロボットの位置座標との差分が小さくなるように制御パラメータを特定してもよい。係る構成によれば、実空間上の飛行ロボット８０の存在位置がユーザのポインティング行動による実空間に対する指定位置となる。したがって、実空間上の飛行ロボット８０の存在が、ユーザに対するポインティング行動の視覚的なフィードバックとして機能する。

飛行ロボット８０の位置を制御するための制御パラメータは、例えば、４成分の速度指令値Ｖｘ（飛行ロボット座標系のｘ方向向きの速度成分）、Ｖｙ（飛行ロボット座標系のｙ方向向きの速度成分）、Ｖｚ（飛行ロボット座標系のｚ方向向きの速度成分）、Ｖａ（飛行ロボット座標系の鉛直方向軸周りの旋回速度）であってもよい。特定された制御パラメータは、通信部２８０を介して飛行ロボット８０へ送信される。

なお、上記では飛行ロボット８０の制御パラメータとして、４成分の速度指令値を例として説明したが、飛行ロボット８０の制御パラメータは、上記に限定されず、飛行ロボット８０の飛行制御方式に応じて決定されてもよい。

（ポインティングデバイス）
ポインティングデバイス３０−２は、ユーザと共に実空間に存在し、ユーザに把持されて、例えばレーザポインタのような実空間に対するポインティング（位置の指示、指定）を行うことが可能なデバイスである。図１３は、ポインティングデバイス３０−２の構成例を示す説明図である。ポインティングデバイス３０−２は、図１３に示すように、入力部３３０、制御部３４０、出力部３６０、及び通信部３８０を備える。

入力部３３０は、図１３に示すように、座標設定要求部３２２出力状態切替部３２４、及び飛行ロボット位置調整部３２６を備える。

飛行ロボット位置調整部３２６は、ユーザの飛行ロボットの位置制御に関する入力を受け付ける。飛行ロボット位置調整部３２６は、例えばポインティングデバイス３０−２上に配置された押しボタン、またはタッチパネル等の入力装置を含んで実現されてもよい。例えば、飛行ロボット位置調整部３２６への入力により、飛行ロボット８０の目標位置座標（指示位置座標）とポインティングデバイス３０−２との距離を決定するための距離パラメータが増減される。また、当該距離パラメータは通信部３８０を介して情報処理装置２０−２に送信される。

（飛行ロボット）
飛行ロボット８０は、例えばユーザと共に実空間に存在し、実空間中を浮遊、及び飛行可能な、例えばマルチコプターのような制御ロボットである。第二の実施形態においては、実空間上の飛行ロボット８０の存在位置がユーザのポインティング行動による実空間に対する指定位置となる。したがって、実空間上の飛行ロボット８０の存在が、ユーザに対するポインティング行動の視覚的なフィードバックとして機能する。

図１４は、本実施形態に係る飛行ロボット８０の構成例を示す説明図である。飛行ロボット８０は、図１４に示すように、制御部８２０、飛行動力部８４０、出力部８６０、及び通信部８８０を備える。

制御部８２０は、飛行ロボット８０の各部を制御する。本実施形態による制御部８２０は、図１４に示すように、飛行制御部８２２、出力情報処理部８２４としての機能を有する。

飛行制御部８２２は、通信部８８０を介して情報処理装置２０−２から受信した制御パラメータを、飛行動力部８４０に対する指令値に変換して伝達する。制御パラメータと飛行動力部８４０に対する指令値との関係は、例えば、飛行ロボット８０の飛行制御方式に応じて決定される。

出力情報処理部８２４は、後述する出力部８６０の出力を制御する。例えば、出力情報処理部８２４は、図４を参照して説明した出力情報処理部２４８のように、ユーザに通知を行うための出力を制御してもよい。

また、出力情報処理部８２４は、出力部８６０を制御し、ポインティングデバイス３０−１のユーザによるポインティング行動を補助するための視覚情報を、実空間に対して出力させてもよい。例えば、上記の視覚情報は格子線（格子状の線）を含んでもよい。なお、出力情報処理部８２４は、三次元地図情報、三次元地図情報上に再現された情報処理装置２０−２の位置と姿勢、及び出力部８６０の出力能力等に基づいて、実空間上に出力される格子線の結像位置を推定し、当該結像位置に基づく歪み補正を行ってもよい。係る構成によれば、ユーザは実空間において位置を指定するためのポインティング行動をより容易に行うことが可能となる。

飛行動力部８４０は、飛行ロボットを浮遊、または飛行させるための機能を有する。例えば、飛行ロボット８０がマルチコプターである場合、飛行動力部８４０は、各回転翼を回転させるモータなどの組であり、飛行制御部８２２から受け取った指令値に従った運動を行う。指令値と飛行動力部８４０の運動との関係は、飛行ロボット８０の飛行制御方式に応じて決定されてもよい。

出力部８６０は、出力情報処理部８２４の制御を受け、出力を行う。出力部８６０は、例えばレーザ投光器やプロジェクタ等の視覚情報出力装置や、音声出力装置、ＬＥＤ発光装置、振動装置等を含んでもよい。

通信部８８０は、図９を参照して説明した通信網４０に接続し、通信網４０に接続された他の装置とのデータの送受信を行う通信機能を有する。例えば、通信部８８０は、情報処理装置２０−２から、制御パラメータを受信する。

＜２−３．第二の実施形態の動作例＞
以上、本実施形態に係る各装置の構成について説明した。続いて、本実施形態の動作について説明する。以下では、図１５を参照してポインティングデバイス３０−２の動作例について、図１６を参照して情報処理装置２０−２の動作例について、図１７を参照して飛行ロボット８０の動作例について順次説明する。

（ポインティングデバイスの動作例）
図１５は、本実施形態に係るポインティングデバイス３０−２の動作例を示すフローチャート図である。

出力部３６０の出力状態がオン（ＯＮ）ではない場合（Ｓ３０２においてＮＯ）、通信部３８０は、出力状態がオフであることを示す出力状態情報を含む情報（Ａ）を情報処理装置２０−２に送信する（Ｓ３０６）。

一方、出力部３６０の出力状態がオンである場合（Ｓ３０２においてＹＥＳ）、出力部３６０から、ポインティングデバイス３０−２の位置と姿勢により決定される直進光（レーザ光）が出力され、ユーザによりポインティング行動が行われている。また、係る場合、飛行ロボット８０がユーザのポインティング行動に応じて、指示位置に移動し続けている。ユーザは飛行ロボット８０の位置を参考にしながら、ユーザが指定したい場所に飛行ロボット８０が位置するようにポインティングデバイス３０−２の位置と姿勢の調整、及び飛行ロボット位置調整部３２６への入力による距離パラメータの調整を行う。

ユーザが指定したい場所に飛行ロボット８０が移動した場合、ユーザにより座標設定要求部３２２への入力が行われる（Ｓ３０４においてＹＥＳ）。ユーザにより座標設定要求部３２２への入力が行われると、通信部３８０は、出力状態がオンであることを示す出力状態情報と、距離パラメータと、座標設定要求とを含む情報（Ｄ）を情報処理装置２０−１に送信する（Ｓ３０８）。

一方、ユーザがポインティング行動中であり、座標設定要求が行われていない場合（Ｓ３０４においてＮＯ）、通信部３８０は、出力状態がオンであることを示す出力状態情報と、距離パラメータとを含む情報（Ｅ）を情報処理装置２０−２に送信する（Ｓ３１０）。

なお、図１５に示すように、ポインティングデバイス３０−２は、ステップＳ３０２〜Ｓ３１０の処理を繰り返してもよい。

（情報処理装置の動作例）
図１６は、本実施形態に係る情報処理装置２０−２の動作例を示すフローチャート図である。

まず、自己測定部２２２により測定された自己情報に基づいて、自己位置特定部２４２が三次元地図情報における情報処理装置２０−２の位置、及び姿勢（自己状態）を特定する（Ｓ４０２）。係る処理により、図１１に示したように三次元地図情報上に、情報処理装置２０−２の位置と姿勢が再現される。

続いて、通信部２８０がポインティングデバイス３０−２（ＰＤ）からポインティングデバイス３０−２に関する情報を受信する（図１６のＳ４０４）。通信部２８０が受け取った情報において、ポインティングデバイス３０−２の出力状態がオン（ＯＮ）ではない場合（Ｓ４０６においてＮＯ）、処理はステップＳ４０２に戻る。一方、通信部２８０が受け取った情報において、ポインティングデバイス３０−２の出力状態がオンである場合（Ｓ４０６においてＹＥＳ）、ポインティングデバイス測定部２２４がポインティングデバイス情報を、飛行ロボット測定部２２６が飛行ロボット情報を測定する（Ｓ４０８）。

続いて、ポインティングデバイス位置特定部２４４が三次元地図情報におけるポインティングデバイス３０−１の位置、及び姿勢を特定し、飛行ロボット位置特定部２５２が、三次元地図情報における飛行ロボット８０の位置、及び姿勢を特定する（Ｓ４１０）。係る処理により、図１１に示したように三次元地図情報上にポインティングデバイス３０−２の位置と姿勢、及び飛行ロボット８０の位置が再現される。

続いて、指示位置座標処理部２４７は、飛行ロボットの移動目標座標である指示位置座標の特定を行う（図１６のＳ４１２）。係る処理により、図１１に示したように三次元地図情報上にポインティングデバイス３０−２の出力方向向きに直進光Ｌ２が再現され、直進光Ｌ２上に指示位置Ｐ４０が再現される。

続いて、飛行ロボット位置制御部２５４により特定された制御パラメータが、飛行ロボット８０へ送信される（Ｓ４１４）。続いて、飛行ロボット８０が移動目標座標に存在するか否かの判定が行われる（Ｓ４１６）。当該判定は、例えば、飛行ロボット８０の位置が移動目標座標と一致、または飛行ロボット８０と移動目標座標の間の距離が所定の閾値以下であるか否かにより行われてもよい。

飛行ロボット８０が移動目標座標に存在しないと判定された場合（Ｓ４１６においてＮＯ）、処理はステップＳ４０２に戻る。飛行ロボット８０が移動目標座標に存在すると判定され（Ｓ４１６においてＹＥＳ）、ステップＳ４０４で受信したポインティングデバイス３０−２の情報に座標設定要求が含まれていない場合（Ｓ４１８においてＮＯ）も、処理はステップＳ４０２に戻る。

一方、飛行ロボット８０が移動目標座標に存在すると判定され（Ｓ４１６においてＹＥＳ）、ステップＳ４０４で受信したポインティングデバイス３０−２の情報に座標設定要求が含まれている場合（Ｓ４１８においてＹＥＳ）も指示位置座標処理部２４７は、上記交点の座標をユーザによる指定位置として記録する（Ｓ４２０）。

なお、図１６に示すように、情報処理装置２０−２は、ステップＳ４０２〜Ｓ４２０の処理を繰り返してもよい。

（飛行ロボットの動作例）
図１７は、本実施形態に係る飛行ロボット８０の動作例を示すフローチャート図である。

まず、通信部８８０が情報処理装置２０−２から、制御パラメータを受信する（Ｓ５０２）。続いて、飛行制御部８２２が受信された制御パラメータを飛行動力部８４０に対する指令値へと変換し、飛行動力部８４０は指令値に従った操作を行う（Ｓ５０４）。上記処理により、飛行ロボット８０は、図１６を参照して説明したステップＳ４１２で特定された、三次元地図情報における移動目標座標に対応する実空間上の位置に一致するように飛行する。係る構成により、飛行ロボット８０は、ユーザのポインティング行動に係る視覚的フィードバックとしての効果を奏する。

なお、図１７に示すように、飛行ロボット８０は、ステップＳ５０２〜Ｓ５０４の処理を繰り返してもよい。

＜２−４．第二の実施形態の効果＞
以上、第二の実施形態について説明した。本実施形態によれば、空中の飛行ロボットの位置をユーザによる指定位置として記録することで、ユーザはより直感的に、かつ空中に対する位置の指定を行うことが可能である。

＜＜３．変形例＞＞
以上、本発明の各実施形態を説明した。以下では、各実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で各実施形態に適用されてもよいし、組み合わせで各実施形態に適用されてもよい。また、各変形例は、各実施形態で説明した構成に代えて適用されてもよいし、各実施形態で説明した構成に対して追加的に適用されてもよい。

＜３−１．変形例１＞
上記では、ポインティングデバイスや飛行ロボットの位置、及び姿勢の特定に用いられる情報が二次元画像、三次元画像、三次元点データの集合等、実空間の環境情報である例を説明したが、本発明は係る例に限定されない。

例えば、赤外光の反射光を用いてポインティングデバイスや飛行ロボットの位置、及び姿勢が特定されてもよい。係る場合、情報処理装置が特定波長の赤外光投光器と、当該赤外光の反射光を測定する赤外線センサ等のセンサを備え、ポインティングデバイスや飛行ロボットが赤外光を反射する複数の反射マーカを備えることで、情報処理装置は赤外光の反射光を測定してもよい。

また、磁場変化の情報を用いてポインティングデバイスや飛行ロボットの位置、及び姿勢が特定されてもよい。係る場合、情報処理装置がトランスミッタ（磁場発生装置）を備えてもよい。また、ポインティングデバイスや飛行ロボットは、レシーバ（磁場受信装置）を配置した磁気式三次元位置センサを備えて、トランスミッタとレシーバの位置と姿勢の関係により変化する磁場変化を測定し、情報処理装置に送信してもよい。

＜３−２．変形例２＞
また、上記実施形態では、三次元地図情報における座標点（位置）を設定（記録）する例を説明したが、本発明において、実空間に対するユーザのポインティング行動により三次元地図情報に対して記録される情報は、点情報に限定されない。

例えば、三次元地図情報に対して記録される情報は、複数の点情報を結んだ線情報や、第一点を中心とし、第二点を通る円、球領域情報、またはＮ個の点を結ぶＮ多角形領域情報等であってもよい。

また、上記第二の実施形態において、飛行ロボットが複数台制御され、複数の点が同時に設定されてもよい。

＜３−３．変形例３＞
また、上記実施形態では、データサーバ１０と情報処理装置２０が通信網により接続され、データサーバ１０から情報処理装置２０に三次元地図情報が提供される例を説明したが、本発明は係る例に限定されない。

例えば、情報処理装置２０がデータサーバ１０の機能を有し、情報処理装置２０内の記憶部に三次元地図情報を記憶してもよい。

＜＜４．ハードウェア構成例＞＞
以上、本発明の各実施形態と各変形例を説明した。上述した自己位置特定処理、ポインティングデバイス位置特定処理、指示位置特定処理、飛行ロボット制御処理などの情報処理は、ソフトウェアと、情報処理装置（情報処理装置２０−１，及び情報処理装置２０−２）のハードウェアとの協働により実現される。以下では、本実施形態に係る情報処理装置である情報処理装置２０−１，及び情報処理装置２０−２のハードウェア構成例として、情報処理装置１０００のハードウェア構成例について説明する。

図１８は、本実施形態に係る情報処理装置１０００のハードウェア構成を示す説明図である。図１８に示したように、情報処理装置１０００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１００２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１００３と、入力装置１００４と、出力装置１００５と、ストレージ装置１００６と、通信装置１００７とを備える。

ＣＰＵ１００１は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置１０００内の動作全般を制御する。また、ＣＰＵ１００１は、マイクロプロセッサであってもよい。ＲＯＭ１００２は、ＣＰＵ１００１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ１００３は、ＣＰＵ１００１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。主に、ＣＰＵ１００１、ＲＯＭ１００２及びＲＡＭ１００３とソフトウェアとの協働により、制御部２４０、制御部２５０、の機能が実現される。

入力装置１００４は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１００１に出力する入力制御回路などから構成されている。情報処理装置１０００のユーザは、該入力装置１００４を操作することにより、情報処理装置１０００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置１００５は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ装置及びランプなどの表示装置を含む。さらに、出力装置１００５は、スピーカ及びヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データなどを音声に変換して出力する。出力装置１００５は、図４、１２を参照して説明した出力部２６０に対応する。

ストレージ装置１００６は、データ格納用の装置である。ストレージ装置１００６は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置１００６は、ＣＰＵ１００１が実行するプログラムや各種データを格納する。

通信装置１００７は、例えば、通信網に接続するための通信デバイスなどで構成された通信インタフェースである。また、通信装置１００７は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置、有線による通信を行うワイヤー通信装置、またはブルートゥース（登録商標）通信装置を含んでもよい。通信装置１００７は、図４、１２を参照して説明した通信部２８０に対応する。

＜＜５．まとめ＞＞
以上説明したように、本発明の実施形態によれば、ユーザは、より直感的に位置の指定を行うことが可能である。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、事前の測定により得られた三次元地図情報が用いられる例について説明したが、本発明は係る例に限定されない。例えば、情報処理装置は、周囲の環境情報の測定に基づき、三次元地図情報を更新してもよい。また、情報処理装置は、三次元地図情報を更新する際に、例えば、実空間に更新前には存在していなかった物体が置かれた等の変化により三次元地図情報上に反映された当該物体と、既に記憶された指定位置座標に干渉が起こった場合、例えばアラートを発する、または自動的に指定位置座標を当該物体との干渉を避けるように補正する、といった処理を行ってもよい。

また、上記実施形態では、指定位置の設定後は、次の指定位置を設定するため、レーザ光が指し示す位置や飛行ロボットの位置が、当該指定位置に対応する実空間上の位置から移動する例を説明したが、本発明は係る例に限定されない。例えば、情報処理装置の出力部から出力されるレーザ光や、飛行ロボットの飛行位置の制御により、三次元地図情報上に記憶された指定位置が実空間上に再現されてもよい。

また、上記第一の実施形態において、三次元地図情報上で指定位置を特定する（図７のステップＳ２１４）際に、ポインティングデバイスの出力性能（直進光の結像距離等）に応じて直進光の長さに制限を行って指定位置の特定を行ってもよい。

また、上記第二の実施形態において、三次元地図情報上で飛行ロボット８０の移動目標座標を特定する（図１６のステップＳ４１２）際に、例えば、飛行ロボット８０の飛行能力、あるいは飛行範囲制限に応じて、特定される移動目標座標の位置に制限が加えられてもよい。

また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、上述したデータサーバ１０、情報処理装置２０、ポインティングデバイス３０、飛行ロボット８０等に内蔵されるＣＰＵ１００１、ＲＯＭ１００２及びＲＡＭ１００３などのハードウェアに、上述したデータサーバ１０、情報処理装置２０、ポインティングデバイス３０、飛行ロボット８０等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

１、２ 情報処理システム
１０ データサーバ
２０ 情報処理装置
３０ ポインティングデバイス
４０ 通信網
８０ 飛行ロボット
２２０、２３０ センサ部
２２２ 自己測定部
２２４ ポインティングデバイス測定部
２２６ 飛行ロボット測定部
２４０、２５０ 制御部
２４２ 自己位置特定部
２４４ ポインティングデバイス位置特定部
２４６ 指示位置座標処理部
２４７ 指示位置座標処理部
２４８ 出力情報処理部
２５２ 飛行ロボット位置特定部
２５４ 飛行ロボット位置制御部
２６０ 出力部
２８０ 通信部
３２０ 入力部
３２２ 座標設定要求部
３２４ 出力状態切替部
３２６ 飛行ロボット位置調整部
３３０ 入力部
３４０ 制御部
３６０ 出力部
３８０ 通信部
８２０ 制御部
８２２ 飛行制御部
８２４ 出力情報処理部
８４０ 飛行動力部
８６０ 出力部
８８０ 通信部

Claims (14)

1. 情報処理装置であって、
   姿勢に応じた方向を指し示すポインティングデバイスが存在する実空間における、前記情報処理装置の位置、及び姿勢に係る自己情報の測定を行う自己測定部と、
   前記情報処理装置から見た前記ポインティングデバイスの相対位置、及び相対姿勢に係るポインティングデバイス情報の測定を行うポインティングデバイス測定部と、
   前記自己情報に基づいて、前記実空間と対応付けられた地図情報における前記情報処理装置の位置座標、及び姿勢を特定する自己特定部と、
   前記ポインティングデバイス情報と、前記地図情報における前記情報処理装置の位置座標、及び姿勢とに基づいて、前記地図情報における前記ポインティングデバイスの位置座標、及び姿勢を特定するポインティングデバイス特定部と、
   を備える、情報処理装置。
2. 前記情報処理装置は、前記地図情報における前記ポインティングデバイスの位置座標、及び姿勢と、前記地図情報とに基づいて、前記地図情報における、前記ポインティングデバイスが指し示す指示位置座標の特定を行う指示位置座標処理部をさらに備える、請求項１に記載の情報処理装置。
3. 前記ポインティングデバイス情報は画像情報を含み、
   前記指示位置座標処理部は、前記ポインティングデバイス情報に基づいて、前記ポインティングデバイスから前記ポインティングデバイスが指し示す方向に出力される光により前記実空間に表示された指示位置を検出し、さらに前記指示位置に基づいて、前記指示位置座標の特定を行う、請求項２に記載の情報処理装置。
4. 前記情報処理装置は、前記情報処理装置から見た、飛行ロボットの相対位置に係る飛行ロボット情報を測定する飛行ロボット測定部と、
   前記飛行ロボット情報と、前記地図情報における前記情報処理装置の位置座標、及び姿勢とに基づいて、前記地図情報における前記飛行ロボットの位置座標を特定する飛行ロボット位置特定部と、
   特定された前記飛行ロボットの位置座標に基づいて、前記飛行ロボットの位置を制御するための制御パラメータを特定する、飛行ロボット位置制御部と、をさらに備える、請求項１に記載の情報処理装置。
5. 前記情報処理装置は、前記飛行ロボットへの前記制御パラメータの送信、及び前記ポインティングデバイスからの距離パラメータの受信を行う通信部と、
   前記地図情報における前記ポインティングデバイスの位置座標、及び姿勢と、前記地図情報と、前記距離パラメータとに基づいて、前記地図情報における、前記ポインティングデバイスが指し示す指示位置座標の特定を行う指示位置座標処理部をさらに備え、
   前記飛行ロボット位置制御部は、さらに前記指示位置座標に基づいて、前記制御パラメータを特定する、請求項４に記載の情報処理装置。
6. 前記飛行ロボット位置制御部は、前記指示位置座標と前記飛行ロボットの位置座標との差分が小さくなるように前記制御パラメータを特定する、請求項５に記載の情報処理装置。
7. 前記情報処理装置は、前記ポインティングデバイスから、前記ポインティングデバイスによる光出力の出力状態を示す出力状態情報を受信する通信部をさらに備え、
   前記指示位置座標処理部は、前記通信部により受信された前記出力状態に応じて、前記指示位置座標の特定を行う、請求項２、３、５、または６に記載の情報処理装置。
8. 前記指示位置座標処理部は、前記出力状態がオンであることを示す前記出力状態情報を、前記通信部が前記ポインティングデバイスから受信した場合に、前記指示位置座標の特定を行う、請求項７に記載の情報処理装置。
9. 前記情報処理装置は、前記ポインティングデバイスから、座標設定要求を受信する通信部をさらに備え、
   前記指示位置座標処理部は、前記通信部が前記ポインティングデバイスから前記座標設定要求を受信した場合に、前記指示位置座標をユーザにより指定された指定座標として設定する、請求項２、３、または５〜８のいずれか一項に記載の情報処理装置。
10. 前記指示位置座標処理部が、前記指示位置座標を前記指定座標として設定した場合に、設定が完了したことを前記ポインティングデバイスのユーザに通知するための出力を制御する出力情報処理部をさらに備える、請求項９に記載の情報処理装置。
11. 前記情報処理装置は、前記ポインティングデバイスのユーザによるポインティング行動を補助するための視覚情報を、前記実空間に対して出力させる出力情報処理部をさらに備える、請求項１〜１０のいずれか一項に記載の情報処理装置。
12. 前記視覚情報は、格子状の線を含む、請求項１１に記載の情報処理装置。
13. 姿勢に応じた方向を指し示すポインティングデバイスと、情報処理装置を備え、
    前記情報処理装置は、
    前記ポインティングデバイスが存在する実空間における、前記情報処理装置の位置、及び姿勢に係る自己情報の測定を行う自己測定部と、
    前記情報処理装置から見た前記ポインティングデバイスの相対位置、及び相対姿勢に係るポインティングデバイス情報の測定を行うポインティングデバイス測定部と、
    前記自己情報に基づいて、前記実空間と対応付けられた地図情報における前記情報処理装置の位置座標、及び姿勢を特定する自己特定部と、
    前記ポインティングデバイス情報と、前記地図情報における前記情報処理装置の位置座標、及び姿勢とに基づいて、前記地図情報における前記ポインティングデバイスの位置座標、及び姿勢を特定するポインティングデバイス特定部と、
    を備える、情報処理システム。
14. コンピュータに、
    センサ装置が行う測定により得られた、姿勢に応じた方向を指し示すポインティングデバイスが存在する実空間における、前記センサ装置の位置、及び姿勢に係る自己情報に基づいて、前記実空間と対応付けられた地図情報における前記センサ装置の位置座標、及び姿勢を特定する自己特定機能と、
    前記センサ装置が行う測定により得られた、前記センサ装置から見た前記ポインティングデバイスの相対位置、及び相対姿勢に係るポインティングデバイス情報と、前記地図情報における前記センサ装置の位置座標、及び姿勢とに基づいて、前記地図情報における前記ポインティングデバイスの位置座標、及び姿勢を特定するポインティングデバイス特定機能と、
    を実現させるための、プログラム。
    

Images