JP2017041125A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】物体との距離を検出することが可能なセンサの検出結果に基づいて、被検出体の位置を検出することが可能な、情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】物体との距離を検出することが可能なセンサから取得された、被検出体との距離を示す奥行情報と、センサの姿勢に関する姿勢情報とに基づいて、被検出体が地平面上に投影された画像である鳥瞰図を生成して、被検出体の位置を検出する検出部を備える、情報処理装置が提供される。【選択図】図２

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

撮像デバイスにより撮像された撮像画像に基づいて、障害物を検出する技術が開発されている。撮像範囲が重複する２つの撮像デバイスにより撮像された２つの撮像画像それぞれを、鳥瞰図に変換し、２つの鳥瞰図の差分をとることにより障害物を検出する技術としては、例えば下記の特許文献１に記載の技術が挙げられる。

特開２００８−８５７１０号公報

例えば特許文献１に記載の技術では、撮像範囲が重複する２つの撮像デバイスにより撮像された２つの撮像画像に基づく鳥瞰図を比較することによって、障害物となる物体を検出する。ここで、例えば特許文献１に記載の技術では、２つの撮像デバイスは固定して設置され、２つの撮像デバイスの地面からの高さ、取り付け角度、および相対位置関係は、予め設定された状態で物体が検出される。そのため、例えば特許文献１に記載の技術では、各撮像デバイスの撮像視野が動的に変化することは考慮されていない。

よって、例えば特許文献１に記載の技術が用いられる場合には、固定された撮像デバイスの撮像視野に対応する特定の方向に存在する物体しか検出することができない。

本開示では、物体との距離を検出することが可能なセンサの検出結果に基づいて、被検出体の位置を検出することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。

本開示によれば、物体との距離を検出することが可能なセンサから取得された、被検出体との距離を示す奥行情報と、上記センサの姿勢に関する姿勢情報とに基づいて、上記被検出体が地平面上に投影された画像である鳥瞰図を生成して、上記被検出体の位置を検出する検出部を備える、情報処理装置が提供される。

また、本開示によれば、物体との距離を検出することが可能なセンサから取得された、被検出体との距離を示す奥行情報と、上記センサの姿勢に関する姿勢情報とに基づいて、上記被検出体が地平面上に投影された画像である鳥瞰図を生成して、上記被検出体の位置を検出するステップを有する、情報処理装置により実行される情報処理方法が提供される。

また、本開示によれば、物体との距離を検出することが可能なセンサから取得された、被検出体との距離を示す奥行情報と、上記センサの姿勢に関する姿勢情報とに基づいて、上記被検出体が地平面上に投影された画像である鳥瞰図を生成して、上記被検出体の位置を検出する機能を、コンピュータに実現させるためのプログラムが提供される。

本開示によれば、物体との距離を検出することが可能なセンサの検出結果に基づいて、被検出体の位置を検出することができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。

本実施形態に係る情報処理方法の概要を説明するための説明図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る情報処理方法
２．本実施形態に係る情報処理装置
３．本実施形態に係るプログラム

（本実施形態に係る情報処理方法）
まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げる。

［１］既存の方法について
撮像デバイスにより撮像された撮像画像に基づいて物体を検出する方法が存在する。

撮像画像に基づいて物体を検出する方法としては、例えば、オプティカルフローを用いる方法が挙げられる。

ここで、オプティカルフローが用いられる場合、撮像画像から特徴点が検出され、検出された特徴点の移動量から、被写体である物体の動きが検出される。しかしながら、オプティカルフローが用いられる場合には、静止している物体を検出することは、困難である。また、オプティカルフローが用いられる場合には、特徴点が物体の輪郭に現れるとは限らないため、物体と物体以外との間の境界を正確に補足することができない恐れがある。また、オプティカルフローが用いられる場合には、物体の撮像デバイスからみた奥行方向の動きを、特徴点の移動量から補足することは困難である。

よって、オプティカルフローを用いたとしても、撮像画像から物体を検出することができるとは限らない。

また、撮像画像に基づいて物体を検出する他の方法としては、例えば、ステレオカメラなどにより撮像された複数の撮像画像（いわゆるステレオ画像）から得られる３次元点群（以下、「ポイントクラウド」と示す場合がある。）を利用して、被写体である物体を検出する方法が、挙げられる。

ここで、ポイントクラウドが用いられる場合には、被写体である物体を３次元的に捉えるので、計算コストが大きくなる。また、被写体である物体の動きを検出するためには、多大な計算コストを要する場合が多い。

また、例えば特許文献１に記載の技術が用いられる場合には、撮像範囲が重複する２つの撮像デバイスにより撮像された２つの撮像画像に基づく鳥瞰図を比較することによって、物体が検出される。

しかしながら、上述したように、特許文献１に記載の技術が用いられる場合には、固定された撮像デバイスの撮像視野に対応する特定の方向に存在する物体しか検出することができない。

［２］本実施形態に係る情報処理方法の概要
図１は、本実施形態に係る情報処理方法の概要を説明するための説明図であり、自律的にまたは外部からの操作によって動作するロボットの一例を示している。

図１に示すロボットは、ステレオカメラを、物体との距離を検出することが可能なセンサＳＤとして備えている。また、図１に示すロボットは、パン・チルト機構ＰＴＭを備え、パン・チルト機構ＰＴＭがパン方向とチルト方向との一方または双方に駆動することによって、センサＳＤの検出範囲、すなわち、ステレオカメラの撮像視野は、動的に変わる。以下では、ステレオカメラの撮像視野を、「ステレオカメラの視野」と示す場合がある。

図１に示すロボットが移動する場合など、ロボットが行動を起こす場合を想定する。上記の場合には、例えばロボットの円滑な行動を実現するために、ロボットからみて障害物となりうる物体がどの位置に存在しているかを、センサＳＤの検出結果を利用して検出することが、考えられる。

また、パン・チルト機構ＰＴＭを駆動させること（例えば図１のロボットの首を動かすこと）によって、センサＳＤの検出範囲を広げることが可能となる。よって、上記の場合には、例えば、センサＳＤの検出範囲を動的に変えつつ、ロボットからみて障害物となりうる物体がどの位置に存在しているかを、センサＳＤの検出結果を利用して検出することが、考えられる。

なお、検出範囲が動的に変わりうるセンサの検出結果を利用して物体を検出することが可能であると考えられるケースは、図１に示すようなロボットに限られない。検出範囲が動的に変わりうるセンサの検出結果を利用して物体を検出することが可能であると考えられるケースとしては、例えば下記のような様々なケースが挙げられる。
・複数のセンサが搭載されている移動体（例えば、自動車や自動二輪車など）
・複数台の撮像デバイス（いわゆる防犯カメラ。センサに該当する。）を有する防犯システム
・複数のセンサが搭載されている眼鏡型のウェアラブル装置のような、アイウェア型のウェアラブル装置
・複数のセンサが搭載されているＨＭＤ（Head Mounted Display）などの、ユーザの頭部に装着して用いられるウェアラブル装置

本実施形態に係る情報処理方法は、上記のような、検出範囲が動的に変わりうるセンサの検出結果を利用して物体を検出することが可能であると考えられるケースに対応する対象を、処理の対象とすることが可能である。以下では、本実施形態に係る情報処理方法に係る処理の対象（以下、「処理対象」と示す。）として、図１に示すような、センサの検出範囲を動的に変えることが可能なロボットを、例に挙げる。

ここで、本実施形態に係る処理対象は、本実施形態に係る情報処理装置であってもよいし、本実施形態に係る情報処理装置の外部装置であってもよい。処理対象が外部装置である場合、本実施形態に係る情報処理装置は、当該外部装置とのネットワークを介した（または直接的な）通信により取得された情報に基づいて、本実施形態に係る情報処理方法に係る処理を行う。

上述したように、オプティカルフローを用いたとしても、撮像画像から物体を検出することができるとは限られず、また、ポイントクラウドを用いたとしても、物体の検出に要する計算コストが大きくなる。

また、上述したように、特許文献１に記載の技術では、固定された撮像デバイスの撮像視野に対応する特定の方向に存在する物体しか検出することができない。よって、特許文献１に記載の技術を用いたとしても、センサの検出範囲を動的に変えつつ物体がどの位置に存在しているかを検出することは、できない。

そこで、本実施形態に係る情報処理装置は、物体との距離を検出することが可能なセンサの検出結果である奥行情報と、当該センサの姿勢に関する姿勢情報とに基づいて、被検出体の地平面上の位置を検出する（検出処理）。

本実施形態に係るセンサとしては、例えば、図１の例に示したようなステレオカメラや、ＩＲ（infrared）カメラ、レーザーレンジファインダなど、物体との距離を検出することが可能な任意の方法に対応するデバイスが挙げられる。以下では、物体との距離を検出することが可能な、本実施形態に係るセンサを、単に「センサ」と示す場合がある。

また、本実施形態に係る奥行情報としては、例えば、ステレオカメラ（センサの一例）により撮像された複数の撮像画像や、ＴＯＦ（Time Of Flight）方式に係る時間（照射した光が物体に反射して、帰ってくるまでの時間）を示すデータなど、被検出体との距離を示すデータが挙げられる。なお、本実施形態に係る奥行情報は、上記に示す例に限られず、本実施形態に係る奥行情報は、本実施形態に係るセンサの種類や、距離の検出方式に対応するデータであってもよい。

また、本実施形態に係る姿勢情報とは、本実施形態に係るセンサの姿勢を示すデータである。本実施形態に係る姿勢情報としては、例えば、加速度センサ、角速度センサ、および地磁気センサなどの、姿勢の検出に用いることが可能な１または２以上のセンサ（または、姿勢の推定に用いることが可能な１または２以上のセンサ。以下、本実施形態に係るセンサと区別するために「姿勢センサ」と示す。）の検出結果を示すデータが挙げられる。上記姿勢センサは、例えば、本実施形態に係るセンサの動きと連動して動くように設けられる。

なお、本実施形態に係る姿勢情報は、上記に示す例に限られない。

本実施形態に係る姿勢情報は、例えば、“パン・チルト機構などの、センサの検出範囲を変えることが可能な機構の動きを示すデータ（例えば、パン方向の動きと、チルト方向の動きとの一方または双方を特定することが可能なデータ）”や、“本実施形態に係るセンサとして機能するレーザーレンジファインダの検出結果を示すデータ”など、本実施形態に係るセンサの姿勢を検出することが可能な、任意のデータが挙げられる。

より具体的には、本実施形態に係る情報処理装置は、奥行情報と姿勢情報とに基づいて鳥瞰図を生成して、被検出体の位置を検出する。

ここで、本実施形態に係る鳥瞰図とは、奥行情報が示すセンサにより検出された被検出体が地平面上に投影された画像である。

本実施形態に係る情報処理装置は、例えば、奥行情報が示す被検出体との距離に対応するように、被検出体を地平面上に投影することによって、空間を上から見下ろした２次元の図に該当する鳥瞰図を生成する。

また、本実施形態に係る情報処理装置は、鳥瞰図を生成する際に、姿勢情報に基づき特定されるセンサの仰俯角を考慮して、鳥瞰図を生成する。本実施形態に係る情報処理装置は、例えば、特定されたセンサの仰俯角に基づいて、奥行情報が示す被検出体との距離を補正し、補正した被検出体との距離に対応するように、被検出体を地平面上に投影することによって、鳥瞰図を生成する。

上記のように鳥瞰図が生成されることによって、被検出体の地平面上の位置を、２次元の座標系で表すことが可能となる。ここで、鳥瞰図に係る２次元の座標系としては、例えば、“センサの位置を原点とし、センサによるセンシングの中心方向を奥行方向の軸とし、当該奥行方向の軸に直交する軸を水平方向の軸とする座標系”が挙げられる。なお、本実施形態に係る鳥瞰図に係る２次元の座標系が、上記に示す例に限られないことは、言うまでもない。

さらに、本実施形態に係る情報処理装置は、姿勢情報に基づき特定されるセンサの水平角に基づいて、鳥瞰図を補正する。本実施形態に係る情報処理装置は、生成された鳥瞰図に対して、特定されたセンサの水平角分の回転を加える補正を行う。

上記のように鳥瞰図が補正されることによって、センサの検出範囲が動的に変わったとしても、異なる時点において生成された鳥瞰図において、静止している被検出体の位置は、同一の座標系における同一の座標で表すことが可能となる。また、上記のように鳥瞰図が補正されることによって、センサの検出範囲が動的に変わったとしても、異なる時点において生成された鳥瞰図において、動いている被検出体の位置は、同一の座標系の座標で表すことが可能となる。つまり、上記のように鳥瞰図が補正されることによって、センサの検出範囲の移動が補正される。

よって、本実施形態に係る情報処理装置は、鳥瞰図を生成することによって、センサからみた被検出体の地平面上の位置を特定することができる。

本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば上記のような検出処理を行う。

ここで、本実施形態に係る情報処理装置は、センサにより検出された被検出体との距離を鳥瞰図で表すことによって、被検出体の位置を２次元的に捉える。鳥瞰図は、奥行情報および姿勢情報に基づき被検出体を地平面上に投影することによって、生成される。よって、本実施形態に係る情報処理装置は、被検出体が静止している物体であっても、被検出体が動いている物体であっても、生成した鳥瞰図から被検出体の位置を検出することが可能である。また、本実施形態に係る情報処理方法に係る検出処理では、被検出体の位置が２次元的に捉えられるので、物体が３次元的に捉えられるポイントクラウドが用いられる場合よりも、計算コストは小さい。

また、本実施形態に係る情報処理装置は、姿勢情報に基づき特定されるセンサの仰俯角を考慮して、鳥瞰図を生成する。さらに、本実施形態に係る情報処理装置は、姿勢情報に基づき特定されるセンサの水平角に基づいて、鳥瞰図を補正することが可能である。よって、本実施形態に係る情報処理装置は、センサの検出範囲が動的に変わったとしても、生成した鳥瞰図から被検出体の位置を検出することができる。

したがって、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、上記のような検出処理を行うことによって、物体との距離を検出することが可能なセンサの検出結果に基づいて、被検出体の位置を検出することができる。

また、本実施形態に係る情報処理装置は、鳥瞰図に基づき被検出体の位置を検出することが可能であるので、異なる時点に対応する複数の鳥瞰図を用いることによって、被検出体の動きをさらに検出することも可能である。

［３］本実施形態に係る情報処理方法に係る処理の他の例
なお、本実施形態に係る情報処理方法に係る処理は、上記検出処理に限られない。

例えば、本実施形態に係る情報処理装置は、検出処理における検出結果に基づく処理を、さらに行ってもよい（実行処理）。本実施形態に係る実行処理の一例については、後述する。

なお、“上記検出処理”と、“上記検出処理、および上記実行処理”とのそれぞれは、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理は、例えば、“上記検出処理、および上記実行処理”を、１つの処理と捉えることが可能である。また、本実施形態に係る情報処理方法に係る処理は、例えば、“上記検出処理”と、“上記検出処理、および上記実行処理”とのそれぞれを、（任意の切り分け方によって）２以上の処理と捉えることも可能である。

（本実施形態に係る情報処理装置）
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な本実施形態に係る情報処理装置の構成の一例を説明しつつ、本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。

また、以下では、本実施形態に係る処理対象として、図１に示すようなセンサの検出範囲を動的に変えることが可能なロボットを、例に挙げる。なお、上述したように、本実施形態に係る処理対象は、ロボットに限られない。

図２は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、例えば、検出部１０２と、処理部１０４とを備える。

また、情報処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory。図示せず）、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、通信部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。

制御部（図示せず）は、ＭＰＵ（Micro Processing Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する。また、制御部（図示せず）は、情報処理装置１００において、例えば、検出部１０２、および処理部１０４のうちの一方または双方の役目を果たしてもよい。

なお、検出部１０２、および処理部１０４のうちの一方または双方は、検出部１０２、および処理部１０４それぞれの処理を実現可能な専用の（または汎用の）回路（例えば、制御部（図示せず）とは別体のプロセッサなど）で構成されていてもよい。

ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。

記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えば、生成された鳥瞰図のデータなどの、本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。記憶部（図示せず）に記憶されている鳥瞰図のデータは、例えば、被検出体の位置の履歴を示すデータに該当する。

ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。

通信部（図示せず）としては、例えば後述する通信インタフェースが挙げられる。また、操作部（図示せず）としては、例えば後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。

［情報処理装置１００のハードウェア構成例］
図３は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。図２は、情報処理装置１００が処理対象である場合における、ハードウェア構成の一例を示している。

情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４と、パン・チルト機構１６６と、距離センサ１６８と、姿勢センサ１７０とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１７２で各構成要素間を接続する。

ＭＰＵ１５０は、例えば、ＭＰＵなどの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する制御部（図示せず）として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、例えば、検出部１０２、および処理部１０４の役目を果たす。

なお、検出部１０２、および処理部１０４のうちの一方または双方は、検出部１０２、および処理部１０４それぞれの処理を実現可能な専用の（または汎用の）回路（例えば、ＭＰＵ１５０とは別体のプロセッサなど）で構成されていてもよい。

ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。

記録媒体１５６は、記憶部（図示せず）として機能し、例えば、生成された鳥瞰図のデータなどの本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなどの様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。

入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）端子、各種処理回路などが挙げられる。

操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。

表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro-Luminescence Display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode Display）ともよばれる。）などが挙げられる。

なお、入出力インタフェース１５８が、情報処理装置１００の外部の操作入力デバイス（例えば、キーボードやマウスなど）や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。

通信インタフェース１６４は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、処理対象の装置やサーバなどの外部装置と、無線または有線で通信を行うための通信部（図示せず）として機能する。本実施形態に係るネットワークとしては、例えば、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ：Wireless Local Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。

ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ端子および送受信回路（有線通信）などが挙げられる。

パン・チルト機構１６６は、パン方向とチルト方向との一方または双方に駆動するデバイスであり、パン・チルト機構１６６上には距離センサ１６８が設置される。パン・チルト機構１６６は、パン方向とチルト方向との一方または双方に駆動することによって、距離センサ１６８の検出範囲（本実施形態に係るセンサの検出範囲の一例）を動的に変える役目を果たす。パン・チルト機構１６６としては、例えば、ロボットの首機構や、雲台などが挙げられる。

距離センサ１６８は、情報処理装置１００と情報処理装置１００の周辺空間に存在する物体との距離を得るためのセンサである。情報処理装置１００は、距離センサ１６８によるセンシング結果を示すデータを奥行情報として用いて、検出処理を行う。

距離センサ１６８としては、例えば、ステレオカメラを構成する複数の撮像デバイスが挙げられる。撮像デバイスは、例えば、レンズ／撮像素子と信号処理回路とを含んで構成される。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。

なお、距離センサ１６８は、上記に示す例に限られない。例えば、距離センサ１６８は、赤外線発光ダイオードなどの光源と、ＣＭＯＳイメージセンサなどのイメージセンサとを含む、ＴＯＦ方式に係る構成や、赤外線カメラを含む構成、レーザーレンジファインダを含む構成など、物体との距離を得ることが可能な、任意の方式に係る構成であってもよい。

姿勢センサ１７０は、距離センサ１６８の姿勢を検出するためのセンサである。姿勢センサ１７０は、例えば、距離センサ１６８の動きと連動して動くように設けられる。また、姿勢センサ１７０は、例えば、距離センサ１６８が設置されるパン・チルト機構１６６の動きを検出するように設けられていてもよい。情報処理装置１００は、例えば、姿勢センサ１７０によるセンシング結果に基づき推定される距離センサ１６８の姿勢を示すデータを、姿勢情報として用いて、検出処理を行う。

姿勢センサ１７０としては、例えば、加速度センサ、角速度センサ、および地磁気センサなどの、姿勢の検出に用いることが可能な１または２以上のセンサ（または、姿勢の推定に用いることが可能な１または２以上のセンサ）が挙げられる。

情報処理装置１００は、例えば図３に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置１００のハードウェア構成は、図３に示す構成に限られない。

例えば、情報処理装置１００が、情報処理装置１００に接続されている外部の距離センサや、外部の姿勢センサのセンシング結果を用いて処理を行う場合には、情報処理装置１００は、情報処理装置１００に接続されているセンサに対応するセンサを備えていなくてもよい。

また、例えば、処理対象が情報処理装置１００の外部装置である場合には、情報処理装置１００は、距離センサ１６８、および姿勢センサ１７０のうちの一方または双方を備えていなくてもよい。

また、例えば、情報処理装置１００は、パン・チルト機構１６６を、距離センサ１６８の検出範囲を動的に変えることが可能な任意のデバイスに置き換えた構成をとることが可能である。

また、情報処理装置１００は、例えば、記録媒体１５６や、操作入力デバイス１６０、表示デバイス１６２、通信インタフェース１６４を備えない構成をとることが可能である。

また、例えば、図３に示す構成（または変形例に係る構成）は、１または２以上のＩＣ（Integrated Circuit）で実現されてもよい。

再度図２を参照して、情報処理装置１００の構成の一例について説明する。以下では、奥行情報が、ステレオカメラ（本実施形態に係るセンサの一例）により撮像された複数の撮像画像である場合を例に挙げる。また、以下では、姿勢情報が、ステレオカメラの向きを変えることが可能なパン・チルト機構の動きを示す場合を例に挙げる。なお、上述したように、本実施形態に係る奥行情報、および本実施形態に係る姿勢情報は、上記に示す例に限られない。

［Ｉ］検出部１０２
検出部１０２は、上記検出処理を主導的に行う役目を果たす。検出部１０２は、例えば、奥行情報と姿勢情報とに基づいて、鳥瞰図を生成して、被検出体の位置を検出する。

検出部１０２は、例えば、奥行情報が示す被検出体との距離に対応するように、被検出体を地平面上に投影することによって鳥瞰図を生成する。例えば、奥行情報がステレオカメラにより撮像された複数の撮像画像である場合、検出部１０２は、複数の撮像画像を用いたステレオマッチングにより、画素ごとに被検出体との距離を得る。そして、検出部１０２は、得られた被検出体に対応する距離に基づいて、被検出体を地平面上に投影することによって鳥瞰図を生成する。

また、検出部１０２は、鳥瞰図を生成する際に、姿勢情報に基づき特定されるセンサの仰俯角を考慮して、鳥瞰図を生成する。センサの仰俯角は、例えば、姿勢情報が示すパン・チルト機構のチルト方向の角度に基づき特定される。センサの仰俯角は、例えば、パン・チルト機構のチルト方向の角度であってもよいし、パン・チルト機構のチルト方向の角度が設定されている値により補正された角度であってもよい。

図４は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、検出部１０２における姿勢情報に基づき特定された仰俯角θを考慮した鳥瞰図の生成の一例を示している。

図４に示すＡは、センサの検出範囲の空間の一例を示しており、図４に示すＢは、センサであるステレオカメラにより得られたデプス画像の一例を示している。また、図４に示すＣは、仰俯角θを考慮した被検出体との距離の一例を示しており、図４に示すＤは、仰俯角θを考慮して得られた被検出体との距離に基づく鳥瞰図の一例を示している。

検出部１０２は、例えば、特定されたセンサの仰俯角θに基づいて、奥行情報が示す被検出体との距離を補正する。検出部１０２は、例えば、仰俯角と距離の補正値とが対応付けられているテーブル（または、データベース）を参照して、特定された仰俯角θに対応する補正値を特定し、特定された補正値によって奥行情報が示す被検出体との距離を補正する。そして、検出部１０２は、補正した被検出体との距離に対応するように、被検出体を地平面上に投影することによって、鳥瞰図を生成する。

なお、検出部１０２における仰俯角θを考慮した鳥瞰図の生成に係る処理が、上記に示す例に限られないことは、言うまでもない。

検出部１０２は、例えば上記のように、奥行情報と姿勢情報とに基づいて鳥瞰図を生成する。

なお、検出部１０２における鳥瞰図の生成に係る処理は、上記に限られない。

例えば、検出部１０２は、鳥瞰図に反映させる被検出体を制限することも可能である。検出部１０２は、例えば、床や地面部分などの低い位置で検出された被検出体や、天井などの高い位置で検出された被検出体を、鳥瞰図に反映させないことによって、鳥瞰図に反映させる被検出体を制限する。

具体的には、検出部１０２は、１または２以上の高さ方向（空間における垂直方向）の閾値を用いた、高さ方向の閾値処理によって、鳥瞰図に反映させる被検出体を制限する。例えば、検出部１０２は、低い位置の被検出体を制限するための第１の閾値より低い位置の被検出体を制限する。また、検出部１０２は、例えば、高い位置の被検出体を制限するための第２の閾値より高い位置の被検出体を制限する。

ここで、上記第１の閾値や上記第２の閾値などの本実施形態に係る高さ方向の閾値としては、例えば、予め設定されている固定値が挙げられる。また、本実施形態に係る高さ方向の閾値は、姿勢情報に基づき特定されたセンサの仰俯角θに基づき調整される可変値であってもよい。姿勢情報に基づき特定されたセンサの仰俯角θに基づき高さ方向の閾値が調整されることによって、センサの高さ方向の姿勢に対応する高さ方向の閾値処理を実現することが可能となる。

また、検出部１０２は、例えば下記の（ａ）〜（ｃ）に示すように、生成した鳥瞰図を補正することも可能である。

（ａ）鳥瞰図の補正の第１の例
検出部１０２は、姿勢情報に基づき特定される水平角に基づいて、鳥瞰図を補正する。

ここで、センサの水平角は、例えば、姿勢情報が示すパン・チルト機構のパン方向の角度に基づき特定される。センサの水平角は、例えば、パン・チルト機構のパン方向の角度であってもよいし、パン・チルト機構のパン方向の角度が設定されている値により補正された角度であってもよい。

具体的には、検出部１０２は、例えば、生成された鳥瞰図に対して、特定されたセンサの水平角分の回転を加える補正を行うことによって、生成された鳥瞰図を、水平角の変化を反映させた鳥瞰図に補正する。

図５は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、検出部１０２における姿勢情報に基づき特定された水平角に基づく鳥瞰図の補正の一例を示している。

図５に示すＡは、第１の時点におけるセンサの検出範囲の空間の一例を示しており、図５に示すＢは、第１の時点における奥行情報および姿勢情報に基づく、補正された鳥瞰図の一例を示している。また、図５に示すＣは、第２の時点（第１の時点より後の時点）におけるセンサの検出範囲の空間の一例を示しており、図５に示すＤは、第２の時点における奥行情報および姿勢情報に基づく、補正された鳥瞰図の一例を示している。ここで、図５のＡ、Ｃに示すように、第１の時点におけるステレオカメラの視野と、第１の時点におけるステレオカメラの視野とは、異なっている。すなわち、図５に示す例では、第１の時点における姿勢情報に基づくステレオカメラの姿勢と、第２の時点における姿勢情報に基づくステレオカメラの姿勢とは、異なっている。

検出部１０２が、姿勢情報に基づき特定される水平角に基づいて、水平角の変化を反映させた鳥瞰図に補正することによって、図５のＢ、図５のＤに示すように、ステレオカメラの視野（センサの検出範囲の一例）が変わったとしても、異なる時点における鳥瞰図において、被検出体の位置を、同一の座標系で表すことが可能となる。

（ｂ）鳥瞰図の補正の第２の例
例えば、処理対象が図１に示すロボットであるときなど、処理対象自体が動きうるときには、処理対象自体が動くことによって、本実施形態に係るセンサの一例であるステレオカメラの位置が変わる場合がある。

処理対象自体が動くことなどによって、センサの位置が変わる場合には、検出部１０２は、センサの位置の変化に基づいて、鳥瞰図を補正することも可能である。

処理対象が図１に示すロボットである場合を例に挙げると、ステレオカメラの位置は、ロボットの動きによって変化する。そこで、検出部１０２は、例えば、ロボット（処理対象の一例）の動き成分をキャンセルするように、ステレオカメラの位置の変化を反映させた鳥瞰図に補正する。検出部１０２は、例えば、ロボットが備えている加速度センサなどのロボットの動きを検出することが可能な動きセンサの検出結果と、ロボットが移動のために備える車輪（移動に係る機構の一例）の動きを検出するロータリエンコーダの検出結果との、一方または双方に基づいて、ロボットの動き成分を特定する。そして、検出部１０２は、特定された動き成分をキャンセルするように、鳥瞰図に補正する。

検出部１０２が、上記に示す例のように、センサの位置の変化に基づいてセンサの位置の変化を反映させた鳥瞰図を補正することによって、ステレオカメラの位置が変わったとしても、異なる時点における鳥瞰図において被検出体の位置を同一の座標系で表すことが、可能となる。

（ｃ）鳥瞰図の補正の第３の例
検出部１０２は、上記（ａ）に示す第１の例に係る補正に係る処理と、上記（ｂ）に示す第２の例に係る補正に係る処理との双方の処理を行うことによって、鳥瞰図を補正してもよい。

検出部１０２が、上記のように、鳥瞰図を生成すること、または、生成した鳥瞰図を補正することによって、被検出体の位置を２次元の座標系で表すことができる。よって、検出部１０２が、上記のように、鳥瞰図を生成すること、または、生成した鳥瞰図を補正することによって、被検出体の位置が検出される。

なお、検出部１０２における処理は、上記に示す例に限られない。

例えば、検出部１０２は、生成された鳥瞰図（または、補正された鳥瞰図。以下、同様とする。）に基づいて、下記の（Ａ）に示す処理と下記の（Ｂ）に示す処理との一方または双方の処理を、さらに行うことも可能である。

（Ａ）被検出体の動きの検出に係る処理
検出部１０２は、複数の鳥瞰図に基づいて、被検出体の動きを検出する。

ここで、被検出体の動きの検出に係る複数の鳥瞰図としては、例えば、時系列の鳥瞰図、すなわち、異なる時点において生成された複数の鳥瞰図（例えば、ある時点において生成された鳥瞰図、および当該ある時点よりも前の、１または２以上の時点においてそれぞれ生成された鳥瞰図）が挙げられる。つまり、被検出体の動きの検出に係る複数の鳥瞰図とは、生成された鳥瞰図の履歴に該当する。

より具体的には、検出部１０２は、被検出体の動きの検出に係る処理として、例えば、下記の（Ａ−１）の処理〜下記の（Ａ−３）の処理を行う。

（Ａ−１）被検出体の動きの検出に係る処理の第１の例
検出部１０２は、例えば、複数の鳥瞰図に基づいて、被検出体に動きがあるか否かを検出する。具体的には、検出部１０２は、例えば、時系列の鳥瞰図を画素ごとに比較することによって、被検出体に動きがあるか否かを検出する。

図６は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図６に示すＡは、ある時点におけるセンサの検出範囲の空間の一例を示している。また、図６に示すＢは、上記ある時点において生成された鳥瞰図と、上記ある時点において生成された鳥瞰図の１つ前に生成された鳥瞰図とを画素ごとに比較して、動きの有無を視覚的に示した図の一例である。図６のＢに示す“Ｓ”が、動きがないと判定された被検出体の一例を示しており、図６のＢに示す“Ｍ”が、動きがあると判定された被検出体の一例を示している。

また、図７は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、時系列の鳥瞰図を画素ごとに比較することにより被検出体の動きの有無を判定する処理の概要を示している。

検出部１０２は、例えば図７に示すように、バイナリ値によって、時系列の鳥瞰図を画素ごとの比較を行う。バイナリ値によって時系列の鳥瞰図を画素ごとの比較を行うことによって、被検出体の動きの有無の判定を、より高速に行うことが可能となる。

具体的には、検出部１０２は、例えば、動きの有無の検出に用いるｎ（ｎは、２以上の整数）フレーム分の鳥瞰図について、各画素の画素値をｎフレーム分、時系列に走査する。そして、検出部１０２は、例えば、ｎフレーム間被検出体が検出された画素を、静止している被検出体に対応する領域の画素であると判定する。また、検出部１０２は、例えば、静止している被検出体に対応する領域と判定されなかった画素であって、かつ、現フレーム（ｎフレーム目に該当する。）において被検出体が検出されている画素を、動いている被検出体に対応する領域の画素であると判定する。

以下では、鳥瞰図における静止している被検出体に対応する領域を「静止領域」と示し、鳥瞰図における動いている被検出体に対応する領域を「動領域」と示す場合がある。

検出部１０２は、例えば上記のように、画素ごとに時系列の鳥瞰図を画素ごとに比較して、静止領域と動領域とを判定することによって、被検出体の動きの有無を判定する。なお、本実施形態に係る被検出体の動きの有無を判定する方法が、上記に示すバイナリ値により判定する方法に限られないことは、言うまでもない。

（Ａ−２）被検出体の動きの検出に係る処理の第２の例
検出部１０２は、例えば、複数の鳥瞰図に基づいて、被検出体の動きの方向、被検出体の動きの速度、および、被検出体の動き量の１または２以上を、検出する。ここで、第２の例に係る被検出体の動きの検出に係る処理は、被検出体の動き成分を分析する処理に相当する。

図８は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図８に示すＡは、ある時点におけるセンサの検出範囲の空間の一例を示している。また、図８に示すＢは、時系列の鳥瞰図を、過去の鳥瞰図に基づく被検出体の領域は薄く、より直近の鳥瞰図に基づく被検出体の領域は濃くなるように表した上で重ねることによって、被検出体の動きの軌跡を濃淡で表した例を示している。また、図８のＣは、図８のＢの一部分を拡大した図である。

検出部１０２は、例えば、例えば図８のＢ、Ｃに示すような被検出体の動きの軌跡に対して、鳥瞰図における２次元の座標系のｘ方向とｙ方向との微分によりそれぞれの色の勾配（Δｘ，Δｙ）を得る。ここで、色の勾配を得る方法としては、例えば、ｘ方向およびｙ方向それぞれに対してＳｏｂｅｌフィルタを用いた勾配算出を行う方法が挙げられる。なお、色の勾配を得る方法が、Ｓｏｂｅｌフィルタを用いる方法に限られないことは、言うまでもない。

検出部１０２は、例えば、算出された勾配（Δｘ，Δｙ）から下記の数式１に示す演算を行い方向角φを求めることによって、被検出体の動きの方向を検出する。

・・・（数式１）

また、検出部１０２は、例えば、算出された勾配（Δｘ，Δｙ）から下記の数式２に示す演算を行うことによって、被検出体の動きの速度を検出する。

・・・（数式２）

また、検出部１０２は、上記数式２において求められた被検出体の動きの速度の大きさと、被検出体が動いた時間とによって、被検出体の動き量を算出することが可能である。

（Ａ−３）被検出体の動きの検出に係る処理の第３の例
検出部１０２は、上記（Ａ−１）に示す第１の例に係る被検出体の動きの検出に係る処理と、上記（Ａ−２）に示す第２の例に係る被検出体の動きの検出に係る処理との双方の処理を行うことも可能である。

（Ｂ）被検出体の動きの予測に係る処理
検出部１０２は、複数の鳥瞰図に基づいて、被検出体の動きを予測する。

例えば上記（Ａ）の処理を行うことによって、複数の鳥瞰図に基づいて、被検出体の動きの方向と、被検出体の動きの速度とを特定することができる。また、被検出体の動きの方向と、被検出体の動きの速度とが特定されれば、被検出体がどのように動くのか（どの方向に、どの位の速度で、どの位の量動くのか）を予測することが可能である。

よって、検出部１０２は、複数の鳥瞰図に基づいて、被検出体の動きの方向と、被検出体の動きの速度とをそれぞれ特定し、将来的な被検出体の位置を推定することによって、被検出体の動きを予測する。

図９は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図９に示すＡは、ある時点におけるセンサの検出範囲の空間の一例を示している。また、図９に示すＢは、図８のＢと同様に、被検出体の動きの軌跡を濃淡で表した例を示している。図９のＢに示す“Ｓ”は、図６のＢと同様に、動きがないと判定された被検出体の一例を示しており、図９のＢに示す“Ｍ”は、図６のＢと同様に、動きがあると判定された被検出体の一例を示している。また、図９のＢに示す“Ｄ”は、被検出体の動きの方向を示している。

また、図９のＣは、被検出体の動きの予測結果の一例を示している。図９のＣに示す“Ｐ”が、図９のＢにおいて“Ｍ”で示される被検出体の予測結果を示している。

検出部１０２は、例えば、図９のＢにおいて“Ｍ”で示される被検出体について、被検出体の動きの方向（図９のＢに示す“Ｄ”）と、被検出体の動きの速度とをそれぞれ特定することによって、動きを予測する。

［ＩＩ］処理部１０４
再度図２を参照して、情報処理装置１００の構成の一例について説明する。処理部１０４は、上記実行処理を主導的に行う役目を果たし、検出部１０２における検出処理の検出結果に基づく処理を行う。

検出処理の検出結果に基づく処理としては、例えば、処理対象の行動を計画する処理が挙げられる。例えば、処理部１０４は、検出処理の検出結果を検出部１０２から得ることによって、被検出体が存在する静止領域と動領域を特定することができる。また、処理部１０４は、検出処理の検出結果を検出部１０２から得ることによって、被検出体が動いている場合には、被検出体の動きを予測することができる。よって、処理対象が図１に示すロボットである場合を例に挙げると、処理部１０４は、例えば、被検出体を避けて移動するために、ロボットがどのような移動経路をとるべきであるかを、計画することが可能である。

なお、検出処理の検出結果に基づく処理は、上記処理対象の行動を計画する処理に限られない。

例えば、処理部１０４は、計画された行動を処理対象に行わせる制御処理を、さらに行ってもよい。処理対象が図１に示すロボットである場合を例に挙げると、処理部１０４は、例えば、移動経路を示す情報と移動命令とを、ロボットに送信することによって、計画された行動を処理対象であるロボットに行わせる。

また、処理部１０４は、例えば、検出部１０２における検出処理の検出結果を通知させる通知制御処理など、検出処理の検出結果を用いた、１または２以上の任意の処理を行うことが可能である。通知制御処理を行う場合、処理部１０４は、例えば、表示デバイスの表示画面に検出処理の検出結果を表示させることなどによって、検出処理の検出結果を視覚的に通知させる。また、通知制御処理を行う場合、処理部１０４は、例えば、スピーカなどの音声出力デバイスから音声（音楽も含む）を出力させることによって、検出処理の検出結果を、聴覚的に通知させることも可能である。

情報処理装置１００は、例えば図１に示す構成によって、本実施形態に係る情報処理方法に係る処理（例えば、上記検出処理、および上記実行処理）を行う。

なお、本実施形態に係る情報処理装置の構成は、図１に示す構成に限られない。

例えば、上記実行処理が本実施形態に係る情報処理装置の外部装置において行われる場合には、本実施形態に係る情報処理装置は、図１に示す処理部１０４を備えていなくてもよい。上記実行処理が外部装置において行われる場合には、本実施形態に係る情報処理装置は、例えば、通信部（図示せず）や外部の通信デバイスを介して、当該外部装置に、検出部１０２における検出処理の検出結果を示すデータを送信する。また、本実施形態に係る情報処理装置は、例えば、実行処理を行わせるための処理命令を、上記外部装置に対して送信してもよい。

処理部１０４を備えない構成であっても、本実施形態に係る情報処理装置は、上記検出処理を行うことが可能である。

よって、処理部１０４を備えない構成であっても、本実施形態に係る情報処理装置は、例えば、物体との距離を検出することが可能なセンサの検出結果に基づいて、被検出体の位置を検出することができる。また、処理部１０４を備えない構成であっても、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理が行われることより奏される効果を、奏することができる。

また、上述したように、“上記検出処理”と、“上記検出処理、および上記実行処理”とのそれぞれは、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図１に示す検出部１０２、および処理部１０４に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。

［ＩＩＩ］本実施形態に係る情報処理方法に係る処理の一例
次に、図２に示す情報処理装置１００における、本実施形態に係る情報処理方法に係る処理の一例を挙げる。以下では、情報処理装置１００が図１に示すロボットを処理対象とする場合の処理を、例に挙げる。

図１０は、本実施形態に係る情報処理方法に係る処理の一例を示す流れ図であり、図１に示す情報処理装置１００における処理の一例を示している。ここで、図１０に示すステップＳ１００〜Ｓ１１０は、上記検出処理に該当する。図２に示す情報処理装置１００では、ステップＳ１００〜Ｓ１１０の処理は、例えば検出部１０２により行われる。

情報処理装置１００は、奥行情報と姿勢情報とを取得する（Ｓ１００）。情報処理装置１００は、例えばセンサから送信される奥行情報を取得するなど、受動的に奥行情報と姿勢情報とを取得する。また、情報処理装置１００は、例えばセンサに対して奥行情報を送信させる命令を送信して奥行情報を取得するなど、能動的に奥行情報と姿勢情報とを取得することも可能である。

情報処理装置１００は、奥行情報と姿勢情報とに基づいて、被検出体を地平面上に投影して鳥瞰図を生成する（Ｓ１０２）。情報処理装置１００は、例えば、姿勢情報に基づき特定されるセンサの仰俯角を考慮し、奥行情報が示す被検出体との距離に対応するように、被検出体を地平面上に投影することによって鳥瞰図を生成する。

情報処理装置１００は、姿勢情報に基づいて鳥瞰図を補正し、ステレオカメラの視野の移動を補正する（Ｓ１０４）。情報処理装置１００は、例えば、上記（ａ）に示す鳥瞰図の補正の第１の例に係る処理を行うことによって、ステレオカメラの視野の移動を補正する。なお、情報処理装置１００は、例えば、上記（ｂ）に示す鳥瞰図の補正の第２の例に係る処理をさらに行うことも可能である。

情報処理装置１００は、被検出体の静動判定を行う（Ｓ１０６）。情報処理装置１００は、例えば、時系列の鳥瞰図に基づいて、上記（Ａ−１）に示す第１の例に係る被検出体の動きの検出に係る処理を行うことによって、被検出体の静動判定を行う。

情報処理装置１００は、ステップＳ１０６の判定の結果、被検出体が動体であるか否かを判定する（Ｓ１０８）。ここで、ステップＳ１０８以降の処理は、鳥瞰図に含まれる非検出体ごとに行われる。

ステップＳ１０８において動体であると判定されない場合、情報処理装置１００は、動体であると判定されない非検出体に対して、後述するステップＳ１１０の処理を行わない。

また、ステップＳ１０８において動体であると判定された場合、情報処理装置１００は、動体であると判定された非検出体に対して、動き成分の分析と動きの予測との一方または双方を行う（Ｓ１１０）。情報処理装置１００は、例えば、上記（Ａ−２）に示す第２の例に係る被検出体の動きの検出に係る処理を行うことによって、非検出体の動き成分を分析する。また、情報処理装置１００は、例えば、上記（Ｂ）に示す被検出体の動きの予測に係る処理を行うことによって、非検出体の動きを予測する。

情報処理装置１００は、本実施形態に係る情報処理方法に係る処理として、例えば図１０に示す処理を行う。

なお、本実施形態に係る情報処理方法に係る処理は、図１０に示す処理に限られない。

例えば、情報処理装置１００は、上記実行処理をさらに行ってもよい。また、上記実行処理が外部装置において行われる場合には、情報処理装置１００は、図１０に示す検出処理の検出結果を示すデータ（例えば、ステップＳ１０６の処理の結果と、ステップＳ１１０の処理の結果との一方または双方などを示すデータ）を、当該外部装置に対して送信するための送信制御処理を、行ってもよい。

［ＩＶ］本実施形態に係る情報処理方法が用いられることにより奏される効果の一例
情報処理装置１００は、例えば下記の（ｉ）〜（ｖ）に示す効果を奏することができる。なお、本実施形態に係る情報処理方法が用いられることにより奏される効果が、下記の（ｉ）〜（ｖ）に示す効果に限られないことは、言うまでもない。

（ｉ）地平面上の動きの把握
情報処理装置１００は、例えばステレオカメラにより撮像された複数の撮像画像（いわゆる、ステレオ画像。奥行情報の一例）に基づいて鳥瞰図を生成し、鳥瞰図によって被検出体を捉えることができる。よって、情報処理装置１００は、時系列の鳥瞰図を参照することによって、被検出体の水平方向と奥行方向の動きを把握することができる。

ここで、本実施形態に係る情報処理方法が用いられる場合には、オプティカルフローを用いる場合とは異なり、非検出体が静止していたとしても、非検出体を検出することが可能である。また、情報処理装置１００は、床や地面部分などの低い位置で検出された被検出体や、天井などの高い位置で検出された被検出体など、鳥瞰図に反映させることが不要であると考えられる被検出体を、鳥瞰図に反映させず、これらの被検出体を検出対象から除外することが可能である。

（ｉｉ）センサの動きを考慮した非検出体の検出
情報処理装置１００は、姿勢情報に基づいて鳥瞰図を生成し、また、姿勢情報に基づいて鳥瞰図を補正する。よって、情報処理装置１００は、鳥瞰図を参照することによって、検出体の位置をより正確に検出することができる。また、情報処理装置１００は、時系列の鳥瞰図を参照することによって、静止している非検出体と動いている非検出体とを判別することができる。さらに、情報処理装置１００は、動いている非検出体について、動きの方向、動きの速度、および動き量の１または２以上を、検出することが可能である。

（ｉｉｉ）計算コストの低減
情報処理装置１００は、鳥瞰図に基づき被検出体を検出するので、被検出体を２次元で検出することが可能である。よって、情報処理装置１００は、ポイントクラウドが用いられる場合よりも、より計算コストを低減した処理によって、被検出体の位置、動きを検出することができる。

（ｉｖ）被検出体を領域で捉えることによる、非検出体の境界の明確化
オプティカルフローが用いられる場合には、撮像画像から被写体の特徴点を捉えて動きを追うことが多く、物体の境界領域がはっきりしないことが多い。これに対して、本実施形態に係る情報処理方法が用いられる場合には、奥行情報に基づき生成された鳥瞰図を参照して非検出体を捉えるので、非検出体の地平面上の境界が明確である。

例えば処理対象が図１に示すロボットである場合を想定すると、本実施形態に係る情報処理方法が用いられることによって、障害物となりうる非検出体の境界が領域として把握される。よって、本実施形態に係る情報処理方法に係る検出処理の結果は、例えば障害物を避けて移動するなどのロボットの行動計画の立案などに、効果的に利用することができる。

（ｖ）他の効果
本実施形態に係る情報処理方法が用いられることによって、例えば、ステレオカメラ一組を本実施形態に係るセンサとすることによって、様々な方向に対して、障害物の検出を行うことができる。また、例えば、ステレオカメラを３６０［°］回転させることによって、ステレオカメラをレーザーレンジファインダのように全周囲の障害物とその動きを把握するために用いることができるので、周囲の障害物を補足する場合のコストをより低減することが可能である。

また、本実施形態に係る情報処理方法が用いられることによって、情報処理装置１００は、ステレオカメラの視野方向を動的に変えている最中でも、障害物となりうる非検出体の位置を検出することができる。また、上記非検出体が動いている場合には、情報処理装置１００は、上記非検出体の動きの方向、動きの速度、および動き量の１または２以上を、検出することが可能である。さらに、情報処理装置１００は、例えば、検出される被検出体の動きの方向、動きの速度、動きの履歴によって、動いている非検出体の位置や動きの予測を行うことも可能である。

［Ｖ］本実施形態に係る情報処理装置の適用例
以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、自律的にまたは外部からの操作によって動作するロボットや、自動車や自動二輪車などの移動体、アイウェア型のウェアラブル装置やユーザの頭部に装着して用いられるウェアラブル装置などのウェアラブル装置、ＰＣ（Personal Computer）やサーバなどのコンピュータ、タブレット型の装置、携帯電話やスマートフォンなどの通信装置など、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣに適用することもできる。

また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムの一例としては、例えば、“上記検出処理”、または、“上記検出処理、および上記実行処理”が、当該情報処理システムを構成する複数の装置において連携して行われるシステムが、挙げられる。

（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（例えば、“上記検出処理”や、“上記検出処理、および上記実行処理”など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、物体との距離を検出することが可能なセンサの検出結果に基づいて、被検出体の位置を検出することができる。

また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。

上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
物体との距離を検出することが可能なセンサから取得された、被検出体との距離を示す奥行情報と、前記センサの姿勢に関する姿勢情報とに基づいて、前記被検出体が地平面上に投影された画像である鳥瞰図を生成して、前記被検出体の位置を検出する検出部を備える、情報処理装置。
（２）
前記検出部は、複数の前記鳥瞰図に基づいて、前記被検出体の動きをさらに検出する、（１）に記載の情報処理装置。
（３）
前記検出部は、複数の前記鳥瞰図に基づいて、前記被検出体に動きがあるか否かを検出する、（２）に記載の情報処理装置。
（４）
前記検出部は、時系列の前記鳥瞰図を画素ごとに比較することによって、前記被検出体に動きがあるか否かを検出する、（３）に記載の情報処理装置。
（５）
前記検出部は、複数の前記鳥瞰図に基づいて、前記被検出体の動きの方向、前記被検出体の動きの速度、および、前記被検出体の動き量の１または２以上を、検出する、（２）〜（４）のいずれか１つに記載の情報処理装置。
（６）
前記検出部は、複数の前記鳥瞰図に基づいて、前記被検出体の動きを予測する、（２）〜（５）のいずれか１つに記載の情報処理装置。
（７）
前記検出部は、前記鳥瞰図に反映させる前記被検出体を制限する、（１）〜（６）のいずれか１つに記載の情報処理装置。
（８）
前記検出部は、前記姿勢情報に基づき特定される水平角に基づいて、前記鳥瞰図を補正する、（１）〜（７）のいずれか１つに記載の情報処理装置。
（９）
前記検出部は、前記センサの位置の変化に基づいて、前記鳥瞰図を補正する、（１）〜（８）のいずれか１つに記載の情報処理装置。
（１０）
前記奥行情報は、前記センサであるステレオカメラにより撮像された複数の撮像画像であり、
前記検出部は、複数の前記撮像画像から得られる画素ごとの距離に基づいて、前記被検出体を地平面上に投影して前記鳥瞰図を生成する、（１）〜（９）のいずれか１つに記載の情報処理装置。
（１１）
前記姿勢情報は、前記ステレオカメラの向きを変えることが可能なパン・チルト機構の動きを示す、（１０）に記載の情報処理装置。
（１２）
前記検出部の検出結果に基づく処理を行う処理部をさらに備える、（１）〜（１１）のいずれか１つに記載の情報処理装置。
（１３）
物体との距離を検出することが可能なセンサから取得された、被検出体との距離を示す奥行情報と、前記センサの姿勢に関する姿勢情報とに基づいて、前記被検出体が地平面上に投影された画像である鳥瞰図を生成して、前記被検出体の位置を検出するステップを有する、情報処理装置により実行される情報処理方法。
（１４）
物体との距離を検出することが可能なセンサから取得された、被検出体との距離を示す奥行情報と、前記センサの姿勢に関する姿勢情報とに基づいて、前記被検出体が地平面上に投影された画像である鳥瞰図を生成して、前記被検出体の位置を検出する機能を、コンピュータに実現させるためのプログラム。

１００ 情報処理装置
１０２ 検出部
１０４ 処理部

Claims (14)

1. 物体との距離を検出することが可能なセンサから取得された、被検出体との距離を示す奥行情報と、前記センサの姿勢に関する姿勢情報とに基づいて、前記被検出体が地平面上に投影された画像である鳥瞰図を生成して、前記被検出体の位置を検出する検出部を備える、情報処理装置。
2. 前記検出部は、複数の前記鳥瞰図に基づいて、前記被検出体の動きをさらに検出する、請求項１に記載の情報処理装置。
3. 前記検出部は、複数の前記鳥瞰図に基づいて、前記被検出体に動きがあるか否かを検出する、請求項２に記載の情報処理装置。
4. 前記検出部は、時系列の前記鳥瞰図を画素ごとに比較することによって、前記被検出体に動きがあるか否かを検出する、請求項３に記載の情報処理装置。
5. 前記検出部は、複数の前記鳥瞰図に基づいて、前記被検出体の動きの方向、前記被検出体の動きの速度、および、前記被検出体の動き量の１または２以上を、検出する、請求項２に記載の情報処理装置。
6. 前記検出部は、複数の前記鳥瞰図に基づいて、前記被検出体の動きを予測する、請求項２に記載の情報処理装置。
7. 前記検出部は、前記鳥瞰図に反映させる前記被検出体を制限する、請求項１に記載の情報処理装置。
8. 前記検出部は、前記姿勢情報に基づき特定される水平角に基づいて、前記鳥瞰図を補正する、請求項１に記載の情報処理装置。
9. 前記検出部は、前記センサの位置の変化に基づいて、前記鳥瞰図を補正する、請求項１に記載の情報処理装置。
10. 前記奥行情報は、前記センサであるステレオカメラにより撮像された複数の撮像画像であり、
    前記検出部は、複数の前記撮像画像から得られる画素ごとの距離に基づいて、前記被検出体を地平面上に投影して前記鳥瞰図を生成する、請求項１に記載の情報処理装置。
11. 前記姿勢情報は、前記ステレオカメラの向きを変えることが可能なパン・チルト機構の動きを示す、請求項１０に記載の情報処理装置。
12. 前記検出部の検出結果に基づく処理を行う処理部をさらに備える、請求項１に記載の情報処理装置。
13. 物体との距離を検出することが可能なセンサから取得された、被検出体との距離を示す奥行情報と、前記センサの姿勢に関する姿勢情報とに基づいて、前記被検出体が地平面上に投影された画像である鳥瞰図を生成して、前記被検出体の位置を検出するステップを有する、情報処理装置により実行される情報処理方法。
14. 物体との距離を検出することが可能なセンサから取得された、被検出体との距離を示す奥行情報と、前記センサの姿勢に関する姿勢情報とに基づいて、前記被検出体が地平面上に投影された画像である鳥瞰図を生成して、前記被検出体の位置を検出する機能を、コンピュータに実現させるためのプログラム。