JP2021140561A - 検出装置、追跡装置、検出プログラム、及び追跡プログラム - Google Patents

Abstract

【課題】対象を頑健に追跡する。【解決手段】追跡装置１は、左右に配設された追跡全天球カメラ９ａ、９ｂを備えている。跡装置１は、全天球カメラ９ａで撮影した左全天球カメラ画像を球体オブジェクト３０ａに張り付け、球体オブジェクト３０ａの内部に仮想カメラ３１ａを設ける。仮想カメラ３１ａは、球体オブジェクト３０ａの内部に形成された仮想的な撮影空間で自在に回転し、外界の左カメラ画像を取得することができる。追跡装置１は、同様にして右カメラ画像を取得する仮想カメラ３１ｂも設け、仮想カメラ３１ａ、３１ｂによって輻輳ステレオカメラを構成する。追跡装置１は、このように構成した輻輳ステレオカメラを用いて、対象者８の位置を粒子フィルタによって追跡する。第２の実施の形態では、全天球カメラ９ａ、９ｂを上下方向に配設し、仮想カメラ３１ａ、３１ｂを上下方向に設置する。【選択図】図２

Description

本発明は、検出装置、追跡装置、検出プログラム、及び追跡プログラムに関し、例えば、歩行者を追跡するものに関する。

近年、ホテルの案内ロボットや掃除ロボットなど、生活環境で活用するロボットの開発が盛んに行われている。これらのロボットは、将来の人口減少に伴う人手不足の解消や、生活支援など、例えば、商業施設、工場、介護事業などでの活躍が特に期待されている。
人の生活環境内で動作するためには、追跡対象である人や避けるべき障害物といった周辺環境を把握する必要がある。
このような技術に特許文献１の「自律移動ロボット、自律移動ロボットの制御方法および制御プログラム」がある。
この技術は、追跡対象である人の移動先を予測するとともに、人を撮影するカメラの視界を遮る障害物の移動先を予測し、障害物が人を遮蔽する場合に撮影される人の面積が大きくなるようにカメラの視界を変更するものである。

ところで、このように歩行する人をロボットで認識して追跡する場合、人はロボットの近距離で頻繁に方向転換や速度変更を気まぐれに行うため、これを如何に見失わずに頑健に追跡するかが課題となっていた。

特開２０１８−１４７３３７号公報

本発明は、対象を確実に検出することを第１の目的とする。
また、対象を頑健に追跡することを第２の目的とする。

（１）本発明は、走行体や建造物などに設置されて、所定の対象を検出する検出装置であって、所定の水平面よりも上側に配設した上カメラと、前記水平面よりも下側に配設した下カメラによって、前記対象を広角で撮影する撮影手段と、前記撮影した対象を、前記上カメラの上カメラ画像と前記下カメラの下カメラ画像でそれぞれ画像認識することで検出する検出手段と、を具備したことを特徴とする検出装置を提供する。
（２）また本発明では、対象が存在する位置の確率分布に基づいて粒子フィルタに用いる粒子を３次元空間内に発生する粒子発生手段と、前記請求項１に記載した検出装置と、尤度取得手段と、追跡手段と、を備えた追跡装置であって、前記検出装置の前記撮像手段は、所定の水平面よりも上側に配設した上カメラと、下側に配設した下カメラを用いた輻輳ステレオカメラによって前記対象を撮影し、前記検出装置の前記検出手段は、前記前記上カメラと前記下カメラでそれぞれ撮影した上カメラ画像と下カメラ画像に前記発生させた粒子を対応づけて写像する写像手段と、前記写像した粒子の前記上カメラ画像と前記下カメラ画像でのそれぞれの位置に基づいて前記上カメラ画像と前記下カメラ画像に検出領域を設定して、前記撮影した対象を前記上カメラ画像と下カメラ画像でそれぞれ画像認識する画像認識手段と、を備え、前記尤度取得手段は、前記上カメラ画像の画像認識に基づく第１の尤度と、前記下カメラ画像の画像認識に基づく第２の尤度の少なくとも一方を用いて前記発生させた粒子の尤度を取得し、前記追跡手段は、前記取得した尤度に基づいて前記確率分布を更新することにより前記対象の存在する位置を追跡し、前記粒子発生手段は、逐次、前記更新した確率分布に基づいて粒子を発生させる、ことを特徴とする追跡装置を提供する。
（３）また、本発明では、走行体や建造物などに設置されて、所定の対象を検出する検出装置としてコンピュータを機能させる検出プログラムであって、所定の水平面よりも上側に配設した上カメラと、前記水平面よりも下側に配設した下カメラによって、前記対象を広角で撮影する撮影機能と、前記撮影した対象を、前記上カメラの上カメラ画像と前記下カメラの下カメラ画像でそれぞれ画像認識することで検出する検出機能と、コンピュータに実現させることを特徴とする検出プログラムを提供する。
（４）また本発明では、対象が存在する位置の確率分布に基づいて粒子フィルタに用いる粒子を３次元空間内に発生する粒子発生機能と、所定の水平面よりも上側に配設した上カメラと、下側に配設した下カメラを用いた輻輳ステレオカメラによって前記対象を撮影する撮影機能と、前記上カメラと前記下カメラでそれぞれ撮影した上カメラ画像と下カメラ画像に前記発生させた粒子を対応づけて写像する写像機能と、前記写像した粒子の前記上カメラ画像と前記下カメラ画像でのそれぞれの位置に基づいて前記上カメラ画像と前記下カメラ画像に検出領域を設定して、前記撮影した対象を前記上カメラ画像と前記下カメラ画像でそれぞれ画像認識する画像認識機能と、前記上カメラ画像の画像認識に基づく第１の尤度と、前記下カメラ画像の画像認識に基づく第２の尤度の少なくとも一方を用いて前記発生させた粒子の尤度を取得する尤度取得機能と、前記取得した尤度に基づいて前記確率分布を更新することにより前記対象の存在する位置を追跡する追跡機能と、をコンピュータで実現し、前記粒子発生機能は、逐次、前記更新した確率分布に基づいて粒子を発生させる、追跡プログラムを提供する。

請求項１に記載の検出装置によれば、所定の水平面よりも上側に配設した上カメラと、水平面よりも下側に配設した下カメラによって、撮影した対象をそれぞれ画像認識することで検出するので、対象を確実に検出することができる。
請求項２に記載の追跡装置によれば、対象が存在する３次元空間で粒子を発生させて、追跡対象の位置の確率分布を更新することにより、追跡対象を頑健に追跡することができる。

第１実施形態に係る追跡ロボットの外見例を表した図である。 追跡装置のハードウェア的な構成を表した図である。 ステレオ画像を撮影する仮想カメラを説明するための図である。 対象までの距離と方位の計測方法を説明するための図である。 輻輳ステレオ方式の優位性を説明するための図である。 粒子の発生方法を説明するための図である。 粒子のカメラ画像への写像を説明するための図である。 対象者の位置を仮想カメラで追跡する方法を説明するための図である。 尤度の計算方法を説明するための図である。 追跡処理を説明するためのフローチャートである。 第２実施形態に係る追跡ロボットの外見例を表した図である。 第２実施形態での測量方法を説明するための図である。

（１）実施形態の概要
追跡装置１（図２）は、追跡ロボットの左右に配設された全天球カメラ９ａ、９ｂを備えている。
追跡装置１は、全天球カメラ９ａで撮影した左全天球カメラ画像を球体オブジェクト３０ａ（図３（ａ））に張り付け、球体オブジェクト３０ａ（図３（ａ））の内部に仮想カメラ３１ａを設ける。
仮想カメラ３１ａは、球体オブジェクト３０ａの内部に形成された仮想的な撮影空間で自在に回転し、外界の左カメラ画像を取得することができる。
追跡装置１は、同様にして全天球カメラ９ｂで撮影した右全天球カメラ画像から右カメラ画像を取得する仮想カメラ３１ｂも設け、仮想カメラ３１ａ、３１ｂによって輻輳ステレオカメラを構成する。

追跡装置１は、このように構成した輻輳ステレオカメラを用いて、対象者８の位置を粒子フィルタによって追跡する。
追跡装置１は、対象者８の存在する空間に３次元的に粒子を発生させるが、対象者８は、歩行者を想定しており、歩行面に平行に移動するため、対象者８の胴体程度の高さの歩行面に平行な平面で、対象者８を中心とする円形領域３２あたりに粒子を多数発生させる。

そして、追跡装置１は、仮想カメラ３１ａ、３１ｂで左カメラ画像と右カメラ画像を取得し、対象者８が歩行する実空間で発生させた粒子を、それぞれ左右のカメラ画像に対応づけて写像する。
即ち、発生させた粒子を、それぞれ左右のカメラ画像に投影し、左カメラ画像と右カメラ画像に写像された粒子を対応づけて、これらが３次元空間で同一の粒子であることを識別できるようにする。

次いで、追跡装置１は、写像した対応する粒子に基づいて左カメラ画像と右カメラ画像のそれぞれに検出領域を設定し、左カメラ画像と右カメラ画像のそれぞれで対象者８を画像認識する。
追跡装置１は、画像認識の結果から左カメラ画像での尤度と右カメラ画像での尤度を基に、対象者８の存在する実空間に発生させた粒子の尤度とする。例えば、追跡装置１は、左カメラ画像での尤度と右カメラ画像での尤度を平均して、対象者８の存在する実空間に発生させた粒子の尤度とする。

このように、追跡装置１は、実空間で対象者８の周囲に発生させた個々の粒子の尤度を計算して、尤度に基づいて各粒子の重み付けをする。この重み付けの分布により、対象者８の存在する位置の確率分布を得ることができる。
この確率分布によって、３次元実空間で、対象者８がどのあたりの空間（ここでは、胴体の高さ程度に粒子を散布するため、胴体の存在する空間）に、どの程度の確率で存在するかを推定することができる。
これによって、対象者８の位置（確率密度の高い場所）を得ることができる。

そして、追跡装置１は、重みの大きい粒子に対しては、リサンプリングの対象にし、重みの小さい粒子は削除することにより、対象者８をリサンプリングして確率分布を更新する。
即ち、重みの大きい粒子の周りでは、多く粒子を乱数的に発生させ、重みの小さい粒子に対しては、粒子を発生させない（あるいは、少なく発生させる）。
これによって、現在の対象者８の確率分布に対応する粒子の密度（濃淡）の分布が得られる。

追跡装置１は、新たに左右の画像を取得して、これら新たに発生させた粒子の尤度を計算して、重みを更新する。これによって確率分布が更新される。
この追跡装置１は、この処理を繰り返すことにより、対象者８の現在の位置（即ち、最新の確率分布）を追跡することができる。

このように、追跡装置１は、粒子の発生、尤度の観測、粒子の重み付け、リサンプリングを繰り返す粒子フィルタによって、対象者８の存在する確率の高い位置を追跡する。
そして、追跡装置１は、仮想カメラ３１ａ、３１ｂで対象者８の存在する確率の高い場所を輻輳視して測量することにより、対象者８までの距離ｄと、対象者８の存在する角度θを計算し、これに基づいて追跡ロボットの移動を制御する。
なお、対象者８の位置は、（ｄ、θ、高さｚ）の円筒座標系で表されるが、歩行者の高さｚは、一定と考えられるため、（ｄ、θ）によって対象者８の位置を表した。

第２実施形態では、全天球カメラ９ａ、９ｂを上下方向に配設し、仮想カメラ３１ａ、３１ｂを上下方向に設置した。
仮想カメラ３１ａ、３１ｂを上下に設けることにより、対象者８の歩行環境を３６０度死角無く撮影・測量することができる。

（２）実施形態の詳細
（第１実施形態）
図１の各図は、第１実施形態に係る追跡ロボット１２の外見例を表した図である。
追跡ロボット１２は、追跡対象を認識してこれを後方から追跡する自律移動型の追跡ロボットである。
以下では、追跡対象を主に歩行者とする。これは、一例であって、追跡対象を、車両やドローンといった飛行体など、その他の移動体とすることができる。

図１（ａ）は、追跡自体を主目的とし、追跡ロボット１２ａを三輪車でコンパクトに構成した例を示している。
例えば、散歩する児童や高齢者を見守ったり、担当者に追随して作業現場や災害現場などに入って情報収集したり、家畜などの動物を追跡して監視・観察したり、対象者が制限エリアに侵入しないように追跡・監視したりなどすることができる。

追跡ロボット１２ａは、駆動輪を構成する一対の後輪１６と、方向転換を行って、追跡方向を案内する一つの前輪１７を具備した円柱状の筐体１５を備えている。
なお、これら車輪は、ブルドーザーなどで利用されている無限軌道や、昆虫の節足部のような脚構造としても良い。

筐体１５の上面の中央付近には、高さがおよそ歩行者の胴体の高さ程度である柱状部材が鉛直上方に立てられており、その先端には、撮影部１１が設けられている。
撮影部１１は、水平方向に３０ｃｍ程度離れて設置された２つの全天球カメラ９ａ、９ｂを有している。以下、これらを特に区別しない場合は単に全天球カメラ９と略記し、他の構成要素も同様とする。

全天球カメラ９ａ、９ｂは、それぞれ、魚眼レンズを組み合わせて構成されており、３６０度の視界を得ることができる。追跡ロボット１２ａが搭載する追跡装置１（図２）は、全天球カメラ９ａ、９ｂの撮影したそれぞれの全天球カメラ画像から平面画像を切り出す仮想的な仮想カメラ３１ａ、３１ｂによって追跡対象をステレオ視し、追跡対象の距離と方位（角度、方角）を三角測量で測量する。
追跡ロボット１２ａは、当該測量結果に基づいて追跡対象の後方で移動し、これを追尾する。

筐体１５の内部には、追跡装置１を構成するコンピュータ、サーバや携帯端末などと通信するための通信装置、電力を供給するバッテリ、及び、車輪を駆動する駆動装置などが収納されている。

図１（ｂ）は、追跡ロボット１２ｂに積載機能を備えた例を示している。
追跡ロボット１２ｂは、進行方向を長手方向とする筐体２０を備えている。筐体２０は、コンピュータ、通信装置、バッテリ、駆動装置などを収納する他、例えば、荷台、収納ボックス、鞍型の着座部を装備することが可能である。
筐体２０の上面先端部分には、追跡ロボット１２ａと同様の撮影部１１が設けられている。
更に、追跡ロボット１２ｂは、駆動輪を構成する一対の後輪２１と、方向転換を行って、追跡方向を案内する一対の前輪２２を具備している。これら車輪は、無限軌道や脚構造としても良い。

追跡ロボット１２ｂは、例えば、荷物の運搬補助を行ったり、着座部に人を乗せて運んだりすることができる。また、複数の追跡ロボット１２ｂに対して、先頭の追跡ロボット１２ｂは、追跡対象を追跡し、他の追跡ロボット１２ｂは、直前の追跡ロボット１２ｂを追尾するよう設定し、これによって複数の追跡ロボット１２ｂをソフトウェアによって連結して縦列走行するように構成することもできる。これにより、一人の案内者が多くの荷物を運搬することができる。

図１（ｃ）は、追跡ロボット１２ｃをドローンに搭載した例を示している。
筐体２５の上面には追跡装置１を浮揚する複数のプロペラ２６が設けられており、底面の下に撮影部１１が懸架されている。追跡ロボット１２ｃは、空中を浮揚・飛行しながら目標を追跡する。
例えば、風邪が流行しているときに、マスクをしていない人を追跡して、搭載した拡声器から「マスクをしましょう」などと、注意を促すことができる。

図２は、追跡装置１のハードウェア的な構成を表した図である。
追跡装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５、撮影部１１、記憶部１０、制御部６、駆動装置７などがバスラインで接続されて構成されている。
追跡装置１は、対象者８の位置をステレオカメラ画像を用いた画像認識によって３次元的に追跡する。ここでは、対象者８として歩行者を想定する。

ＣＰＵ２は、記憶部１０が記憶している追跡プログラムに従って対象者８を画像認識し、その位置を測量したり、制御プログラムに従って制御部６に追跡ロボット１２が移動するための指令を発したりする。
ＲＯＭ３は、ＣＰＵ２が追跡装置１を動作させるための基本的なプログラムやパラメータなどを記憶した読み取り専用のメモリである。

ＲＡＭ４は、ＣＰＵ２が上記処理を行うためのワーキングメモリを提供する読み書きが可能なメモリである。
撮影部１１が撮影した画像は、ＲＡＭ４に展開されてＣＰＵ２により利用される。
ＧＰＵ５は、複数の計算を同時に並行して行う機能を有する演算装置であり、本実施形態では、多数発生させた粒子に基づく粒子ごとの画像処理を、高速に並列処理するのに用いる。

撮影部１１は、周囲３６０度のカラー画像を一度に取得できる全天球カメラ９ａ、９ｂを用いて構成されている。
全天球カメラ９ａ、９ｂは、所定の距離（ここでは３０ｃｍ程度）を水平方向に離れて設置されており、対象者８をステレオ視した画像を取得する。
対象者８が追跡装置１の正面にいる場合、全天球カメラ９ａが対象者８の左側に位置し、全天球カメラ９ｂが右側に位置する。対象者８が追跡装置１の背後に回った場合は、左右が逆転する。

全天球カメラ９ａ、９ｂは、視界が３６０度の広角カメラであるため、このように、追跡装置１は、左広角カメラと右広角カメラから、それぞれ、左広角画像と右広角画像を取得する広角画像取得手段を備えており、これら左広角カメラと右広角カメラは、それぞれ左全天球カメラ（対象者８が追跡ロボット１２の正面に位置する場合は全天球カメラ９ａ）と右全天球カメラ（全天球カメラ９ｂ）で構成されている。なお、これら広角カメラの視界は、３６０度以下であっても追跡範囲が制限されるものの追跡装置１の構成は可能である。

以下で、対象者８が追跡装置１の正面にいる場合について説明し、全天球カメラ９ａが対象者８を左側から撮影し、全天球カメラ９ｂが対象者８を右側から撮影するものとする。
対象者８が追跡装置１の背面側に位置する場合は、説明の左右を読み替えれば良い。
駆動装置７は、車輪を駆動するモータなどで構成されており、制御部６は、ＣＰＵ２からの信号に基づいて駆動装置７を制御して走行速度や旋回方向などを調節する。

図３の各図は、対象者８のステレオ画像を撮影する仮想カメラを説明するための図である。
全天球カメラ９ａは、２枚の魚眼レンズを組み合わせて構成されており、これらで撮影した左全天球カメラ画像を、図３（ａ）に示した球体オブジェクト３０ａの表面に張り付けることにより、２つの魚眼カメラ画像を１つの球体で構築する。
これにより、表面が全天球カメラ９ａの周囲３６０度の景色となった地球儀のようなオブジェクトができる。

そして、球体オブジェクト３０ａの内側に仮想のピンホールカメラで構成した仮想カメラ３１ａを設置して、これをソフトウェアで仮想的に回転させることにより、仮想カメラ３１ａの撮影方向に見た周囲の景色を、単眼のカメラで撮影したのと同様の歪みの小さい左カメラ画像を取得することができる。

仮想カメラ３１ａは、球体オブジェクト３０ａの中で自在に連続的に、あるいは離散的に回転して撮影方向を選択することができる。
これにより、矢線で示したように、球体オブジェクト３０ａ内で仮想カメラ３１ａを任意の方向に任意の量だけパンしたりチルトしたりすることができる。
このように、球体オブジェクト３０ａの内部が、仮想カメラ３１ａの仮想的な撮影空間となっている。

仮想カメラ３１ａは、ソフトウェアによって形成されているため、慣性の法則の影響を受けず、また、機械機構を介さずに撮影方向を制御することができる。そのため、瞬時に撮影方向を連続的・離散的に切り替えることができる。
なお、球体オブジェクト３０ａの中に複数の仮想カメラ３１ａを設けて、これらを独立に回転させて複数の撮影方向の左カメラ画像を同時に取得することも可能である。
例えば、以下では、単数の対象者８を追跡する場合について説明するが、対象者８の人数だけ仮想カメラ３１ａ、３１ａ、…を形成し、複数人を同時に独立して追跡することも可能である。

以上、全天球カメラ９ａについて説明したが、全天球カメラ９ｂについても同様である。
図示しないが、全天球カメラ９ｂで右全天球カメラ画像を取得して球体オブジェクト３０ｂに張り付け、仮想カメラ３１ｂにより、仮想的な撮影空間で周囲の景色を撮影することができる。

左全天球カメラ画像は、魚眼レンズ画像によって構成されており、図３（ｂ）の例で示した机の画像では、机の直線部分が湾曲している。例えば、左全天球カメラ画像は、画面の中心からの距離と角度が比例する等距離射影方式等の魚眼レンズ画像によって構成されいる。
これを仮想カメラ３１ａで撮影すると、図３（ｃ）に示したように、歪みの少ない机の左カメラ画像が得られる。このように、仮想カメラ３１ａを用いると、一般の画像認識で用いられている２次元のカメラ画像が得られるため、通常の画像認識技術を適用することができる。

右全天球カメラ画像についても同様であり、仮想カメラ３１ｂを用いると、通常の画像認識に用いる２次元のカメラ画像を取得することができる。
本実施形態では、仮想カメラ３１ａ、３１ｂを仮想的なピンホールカメラで構成したが、これは一例であって、魚眼レンズ画像を平面画像に変換する他の方法を用いても良い。
ここで、仮想カメラ３１ａ、３１ｂは、対象を撮影する撮影手段として機能している。

図４の各図は、カメラを用いた対象までの距離と方位の計測方法を説明するための図である。
追跡装置１は、対象者８を追跡するため、カメラを用いて対象者８の３次元空間（歩行空間）における位置を計測する必要がある。
このような計測方法には、主に次の３手法がある。

図４（ａ）は、幾何補正による計測方法を表した図である。
単眼方式による幾何補正では、単眼のカメラの設置位置とカメラ画像における対象３３の幾何学的な状態（対象の写り方）によって距離を求める。
例えば、カメラ画像の底辺に対する対象３３の立ち位置によって対象３３までの距離が分かり、図の例では、対象３３までの距離が１ｍ、２ｍ、３ｍの場合の立ち位置を横線にて示している。
また、カメラ画像の上記横線上での左右位置により、対象３３が存在する方位を得ることができる。

図４（ｂ）は、視差ステレオ（複眼）による計測方法を表した図である。
視差ステレオ方式では、正面に向けた一対のカメラ３５ａ（左カメラ）とカメラ３５ｂ（右カメラ）を左右の所定距離に固定し、対象３３に対するカメラ３５ａ、３５ｂからの視差によって、対象３３を立体視・三角測量する。
図に示したように、視差ステレオ方式では、対象３３と基線が構成する太線で示した大きな方の三角形と、撮像面に形成された視差による底辺とレンズの中心が構成する太線で示した小さい方の三角形の相似関係から対象３３の距離と方位を求めることができる。
例えば、対象までの距離をＺ、基線長をＢ、焦点距離をＦ、視差長をＤとすると、Ｚは、式（１）で表される。方位も相似関係から求めることができる。

図４（ｃ）は、輻輳ステレオ方式による計測方法を表した図である。
輻輳とは、いわゆる寄り目を行う動作を意味し、左右の所定距離に配置した一対のカメラ３６ａ（左カメラ）、カメラ３６ｂ（右カメラ）で対象３３を輻輳視することにより、対象３３を立体視・測量する。
図に示したように、輻輳ステレオ方式では、右カメラと左カメラの撮影方向をそれぞれ対象３３に向け、基線長をＢ、左カメラから対象３３までの距離をｄＬ、左カメラレンズの光軸と前方との角度をθＬ、右カメラレンズの光軸と前方との角度をθＲ、輻輳ステレオカメラに対する対象３３の方位をθ、輻輳ステレオカメラから対象３３までの距離をｄとすると、幾何学的な関係からｄＬは、式（２）で表され、これによってｄは式（３）で求めることができる。方位に相当する角度θも同様に幾何学的な関係から求めることができる。
なお、文字コードの誤変換（いわゆる文字化け）を防止するため、図で表した下付文字や上付文字を通常の文字で表記する。以下で説明する他の数式も同様とする。

以上、３種類の何れの計測方法も利用可能であるが、次に述べるように、これらの計測方法のうちで輻輳ステレオ方式が歩行者追跡で優位であり、卓越した能力を発揮するため、本実施形態では、輻輳ステレオ方式を採用した。

図５は、輻輳ステレオ方式の優位性を説明するための図である。
視差ステレオ方式と輻輳ステレオ方式が単眼方式に比べて優れていることは明らかであるので、単眼方式については説明を省略する。
図５（ａ）に示したように、視差ステレオ方式では、カメラ３５ａ、３５ｂの撮影方向が前方に固定されている。そのため、カメラ３５ａによる撮影領域３７ａと、カメラ３５ｂによる撮影領域３７ｂも固定され、その共通の撮影領域３７ｃが測量可能な領域となる。

一方、輻輳ステレオ方式では、カメラ３６ａ、３６ｂを独立して回転させることにより自在に左右カメラの撮影方向を個別に設定できるため、共通の撮影領域３７ｃ以外の広い領域についても立体視・測量可能である。
例えば、図５（ｂ）に示したように、対象３３がカメラ正面の近距離にあり、撮影領域３７ｃの外に存在する場合であっても、矢線で示したように左右の仮想カメラ３１で対象３３を輻輳視することにより位置と方位を測量することができる。

また、図５（ｃ）に示したように、対象３３が左側に寄った場所に位置し、撮影領域３７ａに含まれているものの、撮影領域３７ｂに含まれていない場合であっても、矢線で示したように、輻輳視によって測量することができる。対象３３が右側に位置する場合も同様である。

図５（ｄ）に示したように、対象３３が更に左に寄った場所に位置し、撮影領域３７ａにも含まれない場合であっても、矢線で示したように、輻輳視によって測量することができる。対象３３が右側に位置する場合も同様である。
このように、輻輳ステレオ方式は、視差ステレオ方式に比べて測量できる領域が広く、自由に動き回って歩行状態が頻繁に変化する歩行者を近距離から追跡するのに適している。
そこで、本実施形態では、全天球カメラ９ａ、９ｂに仮想カメラ３１ａ、３１ｂを形成し、これによって対象者８を輻輳視することとした。

このように、追跡装置１が備える撮影手段は、左カメラと右カメラを用いた輻輳ステレオカメラによって対象を撮影する。
そして、当該撮影手段は、左広角画像（左全天球カメラ画像）から任意の方向の左カメラ画像を取得する仮想的なカメラ（仮想カメラ３１ａ）で左カメラを構成するとともに、右広角画像（右全天球カメラ画像）から任意の方向の右カメラ画像を取得する仮想的なカメラ（仮想カメラ３１ｂ）で右カメラを構成している。
更に、追跡装置１は、左カメラと右カメラが、左広角画像と右広角画像からそれぞれ左カメラ画像と右カメラ画像を取得する仮想的な撮影空間（球体オブジェクト３０ａ、３０ｂによる撮影空間）で撮影方向を移動することができる。

追跡装置１は、粒子（パーティクル）フィルタを用いて対象者８の存在する場所を追跡するが、ここで、一般的な粒子フィルタリングの概要について説明する。
まず、粒子フィルタリングでは、観測対象の存在する可能性のある場所に多数の粒子を発生させる。
そして、各粒子について何らかの手法で尤度を観測し、観測した尤度に従って各粒子を重み付けする。尤度は、その粒子に基づいて観測した場合、その観測したものが、どの程度の観測対象であるかという確からしさに相当する。

そして、各粒子について尤度を観測した後、各粒子を尤度の大きいものほど重みが大きくなるように重み付けする。これによって、観測対象が存在する程度が高い場所ほど粒子の重み付けが大きくなるため、重み付けした粒子の分布が、観測対象の存在を表す確率分布に対応する。

更に、追跡対象の移動に伴う確率分布の時系列的な変化を追うため、リサンプリングを行う。
リサンプリングでは、例えば、重み付けの小さかった粒子を間引いて重み付けの大きかった粒子を残し、残った粒子の付近で新たな粒子を発生させて、発生させた各粒子について、現時点での尤度を観測して重み付けする。これにより、確率分布が更新されて、確率密度の大きい場所、即ち、観測対象が存在する可能性の高い場所を更新することができる。
以降、リサンプリングを繰り返し、観測対象の位置の時系列的な変化を追跡することができる。

図６の各図は、粒子の発生方法を説明するための図である。
追跡装置１は、粒子フィルタを用いて対象者８の存在する位置の確率分布を推測する。
一般に行われている粒子フィルタを用いた画像認識では、２次元のカメラ画像において粒子を発生させるが、それに対し、追跡装置１は、対象者８が存在する３次元空間内で粒子を発生させて、これら３次元的な粒子を左右のカメラ画像に写像して投影することにより、立体情報を含めて対象者８を画像認識する。

立体情報を含まずに画像認識する場合、右カメラ画像と左カメラ画像で独立して粒子を発生させる必要があり、この場合、左右のカメラで違う位置を観測してしまい、これが測量精度に影響して誤追跡が発生する可能性がある。
一方、追跡装置１は、３次元空間の同じ粒子に左右のカメラを向けて撮影した左カメラ画像と右カメラ画像による画像認識を行うため、左右のカメラで同一の領域を観測することができ、これによって効果的に対象者８の探索を行うことができる。

このように、追跡装置１は、対象者８の周囲に粒子を発生させるが、本実施形態では、追跡対象が追跡装置１の前方を歩行する歩行者であって、床面と平行に２次元的に動くため、歩行面と平行な平面で粒子を散布することとした。
なお、ドローンや鳥類など、追跡対象が高さ方向にも移動し、３次元的な動きをする場合は、３次元的に粒子を散布すれば、これを追跡することができる。

図６（ａ）は、追跡装置１を原点に設定したｘｙｚ空間で対象者８が歩行している様子を表している。
対象者８が歩行する平面（歩行面）にｘｙ座標系を設定し、高さ方向をｚ軸とする。撮影部１１は、対象者８の胴体あたりの高さ（１ｍ程度）に位置している。

追跡装置１は、図に示したように、概ね胴体付近の高さでｘｙ平面に平行な円形領域３２に粒子が散布されるように、対象者８を中心にノイズを発生させ、これによって対象者８を中心とする粒子を所定の個数発生させる。
本実施形態では、粒子を５００個発生させた。実験によると、粒子の個数が５０程度から追跡可能である。
なお、ここでは、円形領域３２を含む平面上で粒子を発生させたが、高さ方向（ｚ軸方向）に幅をもたせた厚みのある空間に分布するように構成することもできる。

胴体の位置は、対象者８が存在する確率密度の大きい場所であり、また、粒子の重み付け後には重みに従って（確率分布に従って）リサンプリングするため、追跡装置１は、対象が存在する位置の確率分布に基づいて粒子フィルタに用いる粒子を３次元空間内に発生する粒子発生手段を備えている。
また、当該粒子発生手段は、対象が移動する平面に平行な平面に沿って粒子を発生させている。
更に、リサンプリングによって、対象者８の移動に伴う確率分布の時系列的な変化を追うため、粒子発生手段は、逐次、前回の更新した確率分布に基づいて今回の粒子を発生させている。

ここで、発生させたノイズは、対象者８を中心にガウス分布に従うホワイトノイズ（正規性白色雑音）であり、当該ノイズに従うことにより、対象者８の周囲に粒子を正規分布に従って発生させることができる。図の円形領域３２は、発生した粒子の例えば３σ程度の範囲となっている。
なお、円形領域３２において粒子を一様に発生させるなど、他の発生方法を採用しても良い。

また、後述するように、追跡装置１は、追跡開始時に、通常の画像認識で対象者８の位置を測量し、これに基づいて対象者８を中心とする粒子を発生させるが、対象者８の位置が不明な場合は、対象者８が存在する確率分布が空間で一様となるため、円形領域３２を含むｘｙ平面で一様に粒子を発生させれば良い。
対象者８が存在する場所の粒子の尤度が高くなるため、これをリサンプリングすることにより、対象者８の位置に応じた確率分布を得ることができる。
追跡装置１は、以上のようにして発生させた粒子をリサンプリングすることにより、対象者８を追跡する。

図６（ｂ）は、円形領域３２を上から見たところを模式的に表した図である。
図の黒点で示したように、対象者８を中心とする円形領域３２に粒子を発生させるが、これらのｚ座標値は一定であるため、追跡装置１は、利便性のために、これら粒子や対象者８の位置を（ｄ、θ）座標による極座標で表すことにした。なお、ｘｙ座標で表しても良い。

また、対象者８の歩行している方向が分かる場合は、図６（ｃ）に示したように、粒子の分布が歩行方向を長手方向とする円形領域３２ａとなるように発生させることもできる。歩行方向に沿って粒子を発生させることにより、対象者８の存在する確率の低いところに粒子を発生させて無駄な計算を行うことを抑制することができる。

更に、撮影方向であるカメラ画像の奥行き方向にも粒子を散布するため、例えば、追跡装置１が建物内の廊下を移動している場合、建築物内部の平面図から間取りのレイアウトを取得し、これを参照して壁の中や立ち入り禁止の部屋などの対象者８が存在する可能性の無いところに粒子を発生しないようにすることができる。
このように、追跡装置１は、対象者８が移動する３次元空間で撮影の奥行き方向にも粒子を発生させるため、追跡対象の運動状態や周囲の環境を考慮した任意の分布で粒子を発生させることが可能である。

図７は、粒子のカメラ画像への写像を説明するための図である。
追跡装置１は、上のように発生させた粒子を、図７（ａ）に示したように、関数ｇ（ｄ、θ）、ｆ（ｄ、θ）を用いて、カメラ画像７１ａ（左カメラ画像）とカメラ画像７１ｂ（右カメラ画像）のカメラ画像座標系に写像する。
カメラ画像座標系は、例えば、画像の上左隅を原点とし、水平右方向をｘ軸、鉛直下方向をｙ軸とする２次元座標系である。

このように、追跡装置１は、撮影した画像に対象者８の存在する実空間で発生させた粒子を写像する写像手段を備えている。
そして、当該写像手段は、発生させた粒子の左カメラ画像、及び右カメラ画像での位置を所定の写像関数で計算して取得している。

これにより、例えば、空間に散布された粒子４１は、関数ｇ（ｄ、θ）によってカメラ画像７１ａ上の粒子５１ａに写像され、関数ｆ（ｄ、θ）によってカメラ画像７１ｂ上の粒子５１ｂに写像される。
なお、これら写像関数は、輻輳ステレオ視の関係式と、仮想カメラ３１で取得したカメラ画像の１ピクセルごとの角度を算出することにより導くことができる。
このように、写像手段は、左カメラと右カメラでそれぞれ撮影した左カメラ画像と右カメラ画像に実空間で発生させた粒子を対応づけて写像している。

ところで、粒子４１には、画像認識を行うための検出領域の位置、検出領域のサイズなど、カメラ画像に検出領域を設定するためのパラメータである状態パラメータが付随しており、追跡装置１は、これに基づいて、カメラ画像７１ａとカメラ画像７１ｂのそれぞれに、検出領域６１ａと検出領域６１ｂを設定する。
このように、粒子４１、４２、４３、…は、状態パラメータを成分にもつ状態ベクトルによって表される。

検出領域６１ａ、６１ｂは、矩形形状を有しており、検出領域６１ａ、６１ｂ内の画像が画像認識を行う対象の部分領域画像となる。追跡装置１は、検出領域６１ａ、６１ｂで区画されたそれぞれの部分領域画像で対象者８の画像認識を行う。
ここでは、検出領域６１ａ、６１ｂを、写像後の粒子５１ａ、５１ｂが矩形の重心となるように設定する。これは一例であって、検出領域６１の位置を固定値や関数によって粒子５１の位置からオフセットするように構成することもできる。
このように、追跡装置１は、写像した粒子のカメラ画像内での位置に基づいて検出領域を設定して、撮影した対象を画像認識する画像認識手段を備えている。

また、追跡装置１は、歩行者を所定距離にて追跡するため、検出領域６１ａ、６１ｂの大きさが大きく変化することは少ない。
そのため、追跡装置１では、追跡前に対象者８の身長に合わせて検出領域６１のサイズを設定し、固定したサイズの検出領域６１ａ、６１ｂを使用することとした。

なお、これは一例であって、検出領域６１のサイズをパラメータとして、粒子フィルタリングの対象とすることもできる。
この場合は、（ｘ座標値、ｙ座標値、サイズ）という状態ベクトル空間で粒子を発生させることになる。
即ち、ｘｙ座標値が同じでもサイズが異なれば異なる粒子となり、それぞれに対して尤度を観測する。これによって、サイズが画像認識に適した粒子の尤度が大きくなり、これによって検出領域６１の最適なサイズも決定することができる。

このように、実空間に限定せずに、粒子４１を規定する状態ベクトル空間で粒子を発生させると、より拡張した運用が可能となる。パラメータがｎ個ある場合、ｎ次元の空間で粒子を発生させることになる。
例えば、尤度を第１の方法によって計算する尤度１と、第２の方法によって計算する尤度２があり、前者をα、後者を（α−１）の割合で組み合わせて（例えば、０＜α＜１とする）両者を合成した尤度を計算したい場合は、状態ベクトルを（ｘ座標値、ｙ座標値、サイズ、α）とする。

このような状態ベクトル空間で粒子４１を発生させると、粒子フィルタリングによって異なるαに対しても尤度を計算することができ、対象者８を画像認識するのに最適な（ｘ座標値、ｙ座標値、サイズ、α）と、その場合の尤度を求めることができる。
αを用いた尤度の合成については、ＨＯＧ特徴量による尤度と色分布特徴による尤度を組み合わせる例について後に触れる。

追跡装置１は、このような手順に従って粒子を発生させ、図７（ｂ）に示したように、図示しない粒子４１、４２、…を、カメラ画像７１ａの粒子５１ａ、５２ａ、…に写像し、これに基づいて検出領域６１ａ、６２ａ、…を設定する。
カメラ画像７１ｂに対しても、粒子４１、４２、…を、粒子５１ｂ、５２ｂ、…に写像し、これに基づいて検出領域６１ｂ、６２ｂ、…を設定する。

そして、追跡装置１は、カメラ画像７１ａの検出領域６１ａで対象者８を画像認識することにより粒子５１ａの尤度（写像した粒子の左カメラ画像における尤度であり、以下、左尤度と記す）を計算し、カメラ画像７１ｂの検出領域６１ｂで対象者８を画像認識することにより粒子５１ｂの尤度（写像した粒子の右カメラ画像における尤度であり、以下、右尤度と記す）を計算し、左尤度と右尤度を平均することにより、写像元の粒子４１の尤度を計算する。

追跡装置１は、同様にして、３次元空間に発生させた粒子４２、４３、…の尤度を計算する。
このように、追跡装置１は、対象者８が歩行している立体的な空間に発生させた粒子を左右一対のステレオカメラ画像に写像し、２次元のカメラ画像に写像した粒子の左尤度と右尤度を介して、写像元の粒子の尤度を計算する。

追跡装置１は、左尤度と右尤度を平均することにより統合して３次元空間における写像元の粒子の尤度を観測したが、これは一例であって、他の計算方法によって統合しても良い。
また、右尤度と左尤度のうち、尤度が高いものを写像元の尤度とするなど、左尤度と右尤度の少なくとも一方を用いて統合した尤度を求めれば良い。

このように、追跡装置１が有する画像認識手段は、左カメラ画像と右カメラ画像でそれぞれ画像認識する。
そして、追跡装置１は、画像認識の結果に基づいて発生させた粒子の尤度を取得する尤度取得手段を備えており、当該尤度取得手段は、左カメラ画像の画像認識に基づく第１の尤度（左尤度）と、右カメラ画像の画像認識に基づく第２の尤度（右尤度）の少なくとも一方を用いて尤度を取得している。

以上の例では、関数ｇ（ｄ、θ）、ｆ（ｄ、θ）で演算することにより、左右の一組のステレオカメラ画像に粒子４１、４２、４３、…を写像したが、仮想カメラ３１ａ、３１ｂの仮想性を駆使し、発生させた粒子４１、４２、…の各々に対して、仮想カメラ３１ａと仮想カメラ３１ｂを向けて粒子ごとの左右カメラ画像を取得することにより、左右カメラ画像のセットごとに、粒子４１、４２、…を画像の中心に写像することも可能である。

この変形例の場合、粒子４１に仮想カメラ３１ａ、３１ｂの撮影方向を向けて、図７（ｃ）に示したような、カメラ画像８１ａ（左カメラ画像）とカメラ画像８１ｂ（右カメラ画像）を取得し、次に、粒子４２に仮想カメラ３１ａ、３１ｂの撮影方向を向けてカメラ画像８２ａ（左カメラ画像）とカメラ画像８２ｂ（右カメラ画像）を取得し…、といったように、粒子ごとに、これに撮影方向を向けたステレオカメラ画像を取得していく。ただし、図では左カメラ画像だけ示し、右カメラ画像は、省略した。

仮想カメラ３１を構成するピンホールカメラは単焦点であり、球体オブジェクト３０内で仮想カメラ３１を粒子４１、４２、…に向けて撮影しても、対象者８の画像は、ピントが合った状態で取得することができる。
また、仮想カメラ３１は、ソフトウェアによって形成されているため、機械的な駆動が必要なく、高速に撮影方向を切り替えて粒子４１、４２、…を撮影することができる。
あるいは、複数の仮想カメラ３１、３１、…を設定し、これらを並列的に駆動して、一度に複数のステレオカメラ画像を取得するように構成することもできる。

図７（ｃ）に示したように、仮想カメラ３１ａを粒子４１に向けて撮影すると、粒子４１が画像の中心の粒子５１ａに写像されたカメラ画像８１ａが得られる。
図示しないが、同様に、仮想カメラ３１ｂを粒子４１に向けて撮影すると、粒子４１が画像の中心の粒子５１ｂに写像されたカメラ画像８１ｂが得られる。
追跡装置１は、カメラ画像８１ａ、８１ｂで画像認識して粒子５１ａ、５１ｂによる左尤度と右尤度を求めて、これを平均して粒子４１の尤度を求める。

以下、同様にして、仮想カメラ３１ａ、３１ｂを粒子４２に向けて撮影して、カメラ画像８２ａ、８２ｂを取得し（カメラ画像８２ｂは図示せず）、これによって画像中心に写像された粒子５２ａ、５２ｂの左尤度、右尤度から粒子４２の尤度を計算する。
追跡装置１は、この処理を繰り返して、粒子４１、４２、４３、…の尤度を計算する。

このように、この例の撮影手段は、発生させた粒子ごとに左カメラと右カメラを向けて撮影し、写像手段は、左カメラ画像と右カメラ画像の撮影方向に対応する位置（例えば、画像の中心）を粒子の位置として取得している。
以上、対象者８が歩行する３次元空間に発生させた粒子を左右のカメラ画像に写像する２つの方法について説明したが、以下では、前者の方法で写像する場合について説明する。なお、後者の方法を用いて写像しても良い。

図８の各図は、対象者８の位置を仮想カメラ３１で追跡する方法を説明するための図である。
上で説明したように、追跡装置１は、図８（ａ）に示したように、カメラ画像７１ａにおいて、検出領域６１ａによる画像認識を行い、これによって、粒子５１ａの左尤度を計算する。そして、図示しないカメラ画像７１ｂにおいて、検出領域６１ｂによる画像認識を行い、これによって、粒子５１ｂの右尤度を計算する。

更に、追跡装置１は、当該左尤度と右尤度の平均により、粒子５１ａ、５１ｂの写像元である粒子４１の尤度を計算する。
追跡装置１は、この計算を繰り返し、対象者８の周囲に３次元的に散布した粒子４２、４３、…の尤度を計算する。

そして、追跡装置１は、計算した尤度に従って、尤度が大きいほど重みが大きくなるように３次元空間に発生させた各粒子を重み付けする。
図８（ｂ）は、重み付けを行った後の粒子４１、４２、４３、…を示しており、重み付けが大きいほど黒点の大きさが大きくなるように表している。
図の例では、粒子４１の重みが最も大きく、その周辺の粒子の重みも大きくなっている。

このように、実空間での重み付けされた粒子の分布が得られるが、この重みの分布が対象者８の存在する位置の確率分布に対応している。このため、図の例では、対象者８は、粒子４１付近にいると推測できる。
重みのピークの位置に追跡対象がいると推測したり、あるいは、重みが上位５％の範囲に追跡対象が存在すると推測したりなど、推定の仕方は、各種のものが可能である。

このような確率分布の更新をリサンプリングによって更新していくことにより、対象者８の存在する位置を追跡することができる。
このように、追跡装置１は、取得した尤度に基づいて確率分布を更新することにより対象の存在する位置を追跡する追跡手段を備えている。

そして、追跡装置１は、確率分布の大きい場所に（即ち、対象者８がいる可能性が高い場所に）仮想カメラ３１ａ、３１ｂを向けることにより、仮想カメラ３１ａ、３１ｂの撮影方向を対象者８に向けることができる。
図８（ｃ）の例では、最も尤度が大きかった粒子４１に仮想カメラ３１ａ、３１ｂを向けている。
このように、追跡装置１は、更新した確率分布に基づいて左カメラと右カメラの撮影方向を対象の方向に移動する撮影方向移動手段を備えている。

ここでは、最も尤度の高い粒子に仮想カメラ３１を向けたが、これは一例であって、何らかのアルゴリズムに従って確率分布の高い場所に仮想カメラ３１を向ければ良い。
このように、確率密度の高い場所に仮想カメラ３１ａ、３１ｂを向けることにより、対象者８をカメラの正面に捉えることができる。

更に、仮想カメラ３１ａ、３１ｂが輻輳視する角度から対象者８の位置（ｄ、θ）を測量できるため、位置（ｄ、θ）の出力値に基づいて、制御部６に指令を発し、追跡装置１を対象者８の後方の所定位置に移動するように制御することができる。
このように、追跡装置１は、確率分布に基づいて移動した左カメラと右カメラの撮影方向に基づいて対象の存在する位置を測量する測量手段と、当該測量した測量結果を出力する出力手段を備えており、更に、当該出力した測量結果に基づいて駆動装置７を駆動し、これによって対象と共に移動する移動手段を備えている。

ところで、図８（ｂ）のように粒子を重み付けした後、確率分布を対象者８の移動に合わせて更新するようにリサンプリングを行うが、これは、粒子４１などの尤度の高い粒子については、その付近で次の粒子をホワイトノイズに従って発生させ（あるいは多く発生させ）、尤度の低い粒子については、その付近での次の粒子を発生させず（あるいは少なく発生させ）、このようにして発生させた新たな粒子について、新たな左右カメラ画像を用いた尤度を計算、及び、重み付けを行うことにより実行する。

このように、尤度の高いものはリサンプリングし、尤度の低いものは削減する処理を逐次的に繰り返し行うことにより確率分布を更新して、対象者８の存在する確率の高い場所を逐次的に追跡することができる。
本実施形態では、一例として、対象者８の速度情報を考慮した、図８（ｄ）の式（４）に基づいて状態を遷移させた（リサンプリングのための粒子を発生させた）。
ここで、ｘｔは、時刻ｔにおける粒子の位置を表し、ｘｔ−１は、時刻ｔ−１における粒子の位置を表している。

ｖｔ−１は、対象者８の速度情報であり、式（６）に示したように、時刻ｔでの位置から時刻ｔ−１での位置を減算したものである。
Ｎ（０、σ２）は、ノイズの項であって、粒子の位置での分散σ２の正規分布を表している。
σ２は、式（５）で表したように、速度が大きいほど対象者８の移動量が大きくなるため、これに応じて分散が大きくなるように設定した。

図９は、尤度の計算方法を説明するための図である。
尤度の計算には、任意の手法を用いることが可能であるが、ここでは、一例としてＨＯＧ特徴量を用いる例について説明する。この計算方法を右尤度と左尤度の計算に利用することができる。
ＨＯＧ特徴量は、輝度勾配分布を用いた画像特徴量であって、対象のエッジを検出する技術である。例えて言えば、対象をエッジによるシルエットで認識するものである。

ＨＯＧ特徴量は、次の手順により画像から抽出される。
図９（ａ）左図に示した画像１０１は、検出領域によってカメラ画像から抽出した画像を示している。
まず、画像１０１を矩形のセル１０２ａ、１０２ｂ、…に分割する。
次に、図９（ａ）右図に示したように、セル１０２ごとに各画素（ピクセル）の輝度勾配方向（低輝度から高輝度に向かう方向）を例えば８方向に量子化する。

次に、図９（ｂ）に示したように、量子化した輝度勾配の方向を階級とし、出現回数を度数とするヒストグラムを生成することにより、セル１０２に含まれる輝度勾配のヒストグラム１０６をセル１０２ごとに作成する。
そして、セル１０２をいくつか集めたブロック単位でヒストグラム１０６の合計度数が１となるように正規化する。

図９（ａ）左図の例では、セル１０２ａ、１０２ｂ、１０２ｃ、１０２ｄから１ブロックが形成されている。
このようにして正規化したヒストグラム１０６ａ、１０６ｂ、…（図示しない）を図９（ｃ）のように一列に並べたヒストグラム１０７が画像１０１のＨＯＧ特徴量である。

ＨＯＧ特徴量を用いた画像の類似程度の判断は、次のようにして行う。
まず、ＨＯＧ特徴量の度数（Ｍ個あるとする）を成分とするベクトルφ（ｘ）を考える。ここで、ｘは、画像１０１を表すベクトルであり、ｘ＝（第１番目の画素の輝度、第２番目の画素の輝度、…）である。
なお、ベクトルは太字などで表すが、文字コードの誤変換防止のため、以下では、通常の文字で表す。

図９（ｄ）は、ＨＯＧ特徴量空間を表しており、画像１０１のＨＯＧ特徴量は、Ｍ次元空間のベクトルφ（ｘ）に写像される。
なお、図では簡単化のためＨＯＧ特徴量空間を２次元空間で表してある。
一方、Ｆは、人物画像の学習によって得た重みベクトルであり、多数の人物画像のＨＯＧ特徴量を平均化したベクトルである。

画像１０１が学習した画像に類似する場合、φ（ｘ）は、ベクトル１０９のようにＦの周辺に分布し、類似しない場合は、ベクトル１１０、１１１のようにＦとは異なる方向に分布する。
Ｆとφ（ｘ）は、規格化されており、Ｆとφ（ｘ）の内積で定義される相関係数は、画像１０１が学習画像に類似するほど１に近づき、類似程度が低いほど−１に近づく。
このように、類似判断の対象となる画像をＨＯＧ特徴量空間に写像することにより、学習画像に類似している画像と類似していない画像を輝度勾配分布により分離することができる。
この相関係数を尤度として用いることができる。

この他に、色分布特徴を用いた尤度の評価も可能である。
例えば、画像１０１は、色々な色成分（色１、色２、…）を有する画素から構成されている。
これら色成分の出現頻度からヒストグラムを作成すると、その度数を成分とするベクトルｑが得られる。
一方、対象者８を用いて予め用意した追跡対象モデルについても同様のヒストグラムを作成し、その度数を成分とするベクトルｐを作成する。
画像１０１の画像が追跡対象モデルに類似する場合、ｑは、ｐの周辺に分布し、類似しない場合は、ｐとは異なる方向に分布する。

ｑとｐは、規格化されており、ｑとｐの内積で定義される相関係数は、画像１０１が追跡対象モデルに類似するほど１に近づき、類似程度が低いほど−１に近づく。
このように、類似判断の対象となる画像を色特徴量空間に写像することにより、追跡対象モデルに類似している画像と類似していない画像を色特徴量分布により分離することができる。
この相関係数を尤度して用いることもできる。

また、例えば、ＨＯＧ特徴量による類似度と色分布特徴による類似を組み合わせることも可能である。
ＨＯＧ特徴量と色分布特徴は、認識が得意なシーン（場面）と不得意なシーンがあり、これらを組み合わせることにより、画像認識の頑健性を向上させることができる。
この場合、先に説明したパラメータαを用いて（実験により０．２５＜α＜０．７５とした）、α×（ＨＯＧ特徴量による類似度）＋（１−α）×（色分布特徴による類似度）で尤度を定義し、αを含む状態ベクトル空間で粒子を発生させることにより、尤度を最大化するαも求めることができる。
この式によると、αが大きいほどＨＯＧ特徴量の寄与が大きくなり、αが小さくなるほど色分布特徴量の寄与が大きくなる。
そのため、αを適当に選択することにより、シーンに適した値を得ることができ、頑健性が向上する。

図１０は、追跡装置１が行う追跡処理を説明するためのフローチャートである。
以下の処理は、記憶部１０が記憶する追跡プログラムに従ってＣＰＵ２が行うものである。
まず、ＣＰＵ２は、ユーザに対象者８の身長などを入力してもらい、これに基づいて左右の検出領域のサイズを設定し、これをＲＡＭ４に記憶する。
次に、対象者８に追跡装置１の前の所定位置に立ってもらい、ＣＰＵ２は、これを仮想カメラ３１ａ、３１ｂで撮影して、左カメラ画像と右カメラ画像を取得してＲＡＭ４に記憶する（ステップ５）。

より詳細には、ＣＰＵ２は、全天球カメラ９ａ、９ｂが撮影した左全天球カメラ画像と右全天球カメラ画像をＲＡＭ４に記憶し、計算によって、これらをそれぞれ球体オブジェクト３０ａ、３０ｂに張り付ける。
そして、これをそれぞれ仮想カメラ３１ａ、３１ｂで内側から撮影した左カメラ画像と右カメラ画像を計算によって取得してＲＡＭ４に記憶する。

次に、ＣＰＵ２は、左右のカメラ画像で対象者８を画像認識する（ステップ１０）。
この画像認識は、例えば、ＲＡＭ４に記憶したサイズの検出領域を左右のカメラ画像でそれぞれスキャンして対象者８を探索するなど、一般に行われている方法を用いる。
そして、ＣＰＵ２は、仮想カメラ３１ａ、３１ｂをそれぞれ画像認識した対象者８の方向に向ける。

次に、ＣＰＵ２は、仮想カメラ３１ａ、３１ｂの角度から対象者８の位置を測量することにより対象者８の存在する場所を、対象者８までの距離ｄと角度θにて取得してＲＡＭ４に記憶する。
そして、ＣＰＵ２は、取得した対象者８の位置（ｄ、θ）と、追跡ロボット１２の正面方向と仮想カメラ３１ａ、３１ｂに対する角度から、追跡ロボット１２に対する対象者８の位置と方向を計算し、対象者８が追跡ロボット１２の正面の所定位置に位置するように、制御部６に指令を出して、追跡ロボット１２を移動させる。このときＣＰＵ２は、仮想カメラ３１ａ、３１ｂの角度を調節して、対象者８をカメラの正面に捉えるようにする。

次に、ＣＰＵ２は、対象者８の存在する場所の所定高さ（胴体あたり）の水平面上でホワイトノイズを発生させ、これに従って所定の数の粒子を発生させる（ステップ１５）。そして、ＣＰＵ２は、各粒子の位置（ｄ、θ）をＲＡＭ４に記憶する。
以下のステップ２０、２５で各粒子に対する処理は、ＧＰＵ５にて並列処理するが、ここでは、説明を簡単にするためＣＰＵ２が行うものとする。

次に、ＣＰＵ２は、発生させた粒子の一つを選択し、これを左カメラ画像と右カメラ画像に、それぞれ関数ｇ（ｄ、θ）、ｆ（ｄ、θ）によって、左カメラ画像と右カメラ画像に写像し、これら写像した粒子の画像座標値をＲＡＭ４に記憶する（ステップ２０）。
次に、ＣＰＵ２は、左カメラ画像と右カメラ画像のそれぞれについて、写像した粒子に基づく左カメラ画像尤度と右カメラ画像尤度を計算し、これらの平均によって写像元の粒子の尤度を計算してＲＡＭ４に記憶する（ステップ２５）。

次に、ＣＰＵ２は、発生させた写像元の全ての粒子について尤度を計算したか否かを判断する（ステップ３０）。
まだ、計算していない粒子がある場合（ステップ３０；Ｎ）、ステップ２０に戻って次の粒子の尤度を計算する。
一方、全ての粒子の尤度を計算した場合（ステップ３０；Ｙ）、ＣＰＵ２は、粒子の尤度に基づいて各粒子を重み付けして、粒子ごとの重みをＲＡＭ４に記憶する。

次に、ＣＰＵ２は、粒子の重みの分布に基づいて撮影部１１に対する対象者８の位置を推定し、推定される対象者８の位置に仮想カメラ３１ａ、３１ｂを向ける。
そして、ＣＰＵ２は、仮想カメラ３１ａ、３１ｂの角度から対象者８の位置を測量計算し、計算した対象者８の座標（ｄ、θ）をＲＡＭ４に記憶する（ステップ３５）。

更に、ＣＰＵ２は、ステップ３５でＲＡＭ４に記憶した対象者８の座標（ｄ、θ）、及び追跡ロボット１２の正面方向と仮想カメラ３１ａ、３１ｂの撮影方向の成す角度から、追跡ロボット１２に対する対象者８の位置の座標を計算し、これを用いて、追跡ロボット１２が対象者８の後方の所定の追跡位置に移動するように制御部６に指令を発して移動制御する（ステップ４０）。
これに応じて制御部６は、駆動装置７を駆動して、追跡ロボット１２を移動させることにより、対象者８の後について対象者８を追尾する。

次に、ＣＰＵ２は、追跡処理を終了するか否かを判断する（ステップ４５）。処理を継続すると判断した場合（ステップ４５；Ｎ）、ＣＰＵ２は、ステップ１５に戻って、次の粒子を発生させ、処理を終了すると判断した場合（ステップ４５；Ｙ）は、処理を終了する。
この判断は、例えば、対象者８が目的地に到達した場合に、「到着しました」などと発話してもらい、これを音声認識することにより行ったり、あるいは、特定のジェスチャーをしてもらったりして行う。

以上、本実施形態の追跡装置１について説明したが、各種の変形が可能である。
例えば、追跡ロボット１２に撮影部１１、制御部６、及び駆動装置７を搭載し、他の構成要素を追跡装置１をサーバに備えて、追跡ロボット１２とサーバを通信回線で結ぶことにより、追跡ロボット１２を遠隔操作することもできる。

また仮想カメラ３１ａ、３１ｂに加えて、撮影部１１に外部観察用の仮想カメラを備え、当該カメラで撮影した画像をサーバに送信するように構成することもできる。
更に、追跡装置１にマイクロフォンとスピーカを備え、第三者が携帯端末などを介して、外部観察用の仮想カメラの画像を観察しつつ、追跡対象者と会話することも可能である。
この場合、例えば、高齢者の散歩に追跡ロボット１２を同行させ、介助者が携帯端末から追跡ロボット１２の周囲を観察しつつ、「車が来るので気をつけてください」などと、高齢者に声をかけることが可能となる。

（第２実施形態）
第１実施形態の追跡装置１が備える撮影部１１では、全天球カメラ９ａ、９ｂを左右方向に配設したが、第２実施形態の追跡装置１ｂが備える撮影部１１ｂでは、これらを上下方向に配設する。
図示しないが、追跡装置１ｂの構成は、全天球カメラ９ａ、９ｂを上下方向に配設する他は、図２に示した追跡装置１と同様である。

図１１は、第２実施形態に係る追跡ロボット１２の外見例を表した図である。
図１１（ａ）に示した追跡ロボット１２ｄは、追跡ロボット１２ａ（図１（ａ））で、全天球カメラ９ａ、９ｂを上下方向に設置したものである。
撮影部１１ｂは、柱状部材の先端に配置されており、全天球カメラ９ａが鉛直方向上側、全天球カメラ９ｂが鉛直方向下側に配設されている。

このように、第１実施形態では、撮影部１１の長手方向が水平方向となるように設置したが、第２実施形態では、撮影部１１ｂの長手方向が鉛直方向となるように設置した。
なお、全天球カメラ９ａが全天球カメラ９ｂの斜め上方向に位置するように配設することも可能であり、全天球カメラ９ａがある水平面の上側に位置し、全天球カメラ９ｂが下側に位置するように配設すればよい。
このように、追跡装置１ｂは、所定の水平面よりも上側に配設した上カメラと、下側に配設した下カメラを用いた輻輳ステレオカメラによって対象を撮影する撮影手段を備えている。

撮影部１１の場合、全天球カメラ９ａ、９ｂが水平方向（横方向）に設置されているため、当該横方向が死角となるが、撮影部１１ｂでは、全天球カメラ９ａ、９ｂを鉛直方向（縦方向）に設置しているため、３６０度の全周に渡って死角がなく、対象者８が追跡ロボット１２の周りの何れの位置に存在しても対象者８の画像を取得することができる。
図１１（ｂ）、（ｃ）の追跡ロボット１２ｅ、１２ｆは、それぞれ図１（ｂ）、（ｃ）の追跡ロボット１２ｂ、１２ｃに対応しており、それぞれ撮影部１１ｂによって全天球カメラ９ａ、９ｂを上下に配設したものである。

図１１（ｄ）は、路面に柱を立てて、その先端に撮影部１１ｂを取り付けた例である。路上を歩行する通行者を追跡することができる。
図１１（ｅ）は、路面に高低差のある２本の柱を立てて、低い方の柱の先端に全天球カメラ９ｂを取り付け、高い方の柱の先端に全天球カメラ９ａを取り付けて撮影部１１ｂを構成した例である。
このように、全天球カメラ９ａ、９ｂを、別の支持部材に取り付けたり、更に、斜め上下方向に設置しても良い。
図１１（ｆ）は、家屋やビルなどの建築物の軒下に下げる形態で撮影部１１ｂを設置した例である。

図１１（ｇ）は、団体旅行の引率者が掲げる旗の先端に撮影部１１ｂを設けた例である。団体客の顔を顔認証することにより、個々の参加者の位置を追跡することができる。
図１１（ｈ）は、車両の屋根に撮影部１１ｂを設置した例である。前方車両の位置など、周囲の環境物の位置を取得することができる。
図１１（ｉ）は、三脚の上に撮影部１１ｂを設置した例である。土木分野などで利用可能である。

図１２は、第２実施形態での測量方法を説明するための図である。
粒子の発生方法は、第１実施形態と同じである。
図１２（ａ）に示したように、追跡装置１ｂは、全天球カメラ９ａ、９ｂに設けた図示しない仮想カメラ３１ａ、３１ｂをｚ軸と対象者８を含む平面内で輻輳視すると共に、ｚ軸の周りに回転して（回転角度をφとする）、撮影方向を対象者８に向ける。
図１２（ｂ）に示したように、追跡装置１ｂは、対象者８の位置を、対象者８の距離ｄと、仮想カメラ３１ａ、３１ｂのｚ軸の周りの回転角度φによる座標（ｄ、φ）によって測量することができる。

撮影手段以外の追跡装置１ｂの有する各手段については、粒子を発生させる粒子発生手段、対象の存在する位置を追跡する追跡手段、測量結果を出力する出力手段、及び測量結果に基づいて移動する移動手段は、追跡装置１と同じである。

また、追跡装置１ｂが有する、粒子を写像する写像手段、画像認識する画像認識手段、粒子の尤度を取得する尤度取得手段、撮影方向を移動する撮影方向移動手段、対象の存在する位置を測量する測量手段、及び広角画像を取得する広角画像取得手段については、左右を上下に対応させて、左カメラ、右カメラ、左カメラ画像、右カメラ画像、左広角カメラ、右広角カメラ、左広角画像、右広角画像、左全天球カメラ、右全天球カメラを、それぞれ、上カメラ、下カメラ、上カメラ画像、下カメラ画像、上広角カメラ、下広角カメラ、上広角画像、下広角画像、上全天球カメラ、及び、下全天球カメラに対応させる構成とすることができる。

以上により、第１実施形態及び第２実施形態では、次の構成を得ることができる。
（１）第１実施形態の構成
（第１０１構成） 対象が存在する位置の確率分布に基づいて粒子フィルタに用いる粒子を３次元空間内に発生する粒子発生手段と、前記対象を撮影する撮影手段と、前記撮影した画像に前記発生させた粒子を写像する写像手段と、前記写像した粒子の前記画像内での位置に基づいて検出領域を設定して、前記撮影した対象を画像認識する画像認識手段と、前記画像認識の結果に基づいて前記発生させた粒子の尤度を取得する尤度取得手段と、前記取得した尤度に基づいて前記確率分布を更新することにより前記対象の存在する位置を追跡する追跡手段と、を具備し、前記粒子発生手段は、逐次、前記更新した確率分布に基づいて粒子を発生させることを特徴とする追跡装置。
（第１０２構成） 前記粒子発生手段は、前記対象が移動する平面に平行な平面に沿って前記粒子を発生させることを特徴とする第１０１構成に記載の追跡装置。
（第１０３構成） 前記撮影手段は、左カメラと右カメラを用いた輻輳ステレオカメラによって前記対象を撮影し、前記写像手段は、前記左カメラと前記右カメラでそれぞれ撮影した左カメラ画像と右カメラ画像に前記発生させた粒子を対応づけて写像し、前記画像認識手段は、前記左カメラ画像と前記右カメラ画像でそれぞれ画像認識し、前記尤度取得手段は、前記左カメラ画像の画像認識に基づく第１の尤度と、前記右カメラ画像の画像認識に基づく第２の尤度の少なくとも一方を用いて前記尤度を取得し、更に、前記更新した確率分布に基づいて前記左カメラと前記右カメラの撮影方向を前記対象の方向に移動する撮影方向移動手段と、を具備したことを特徴とする第１０１構成又は第１０２構成に記載の追跡装置。
（第１０４構成） 前記移動した左カメラと右カメラの撮影方向に基づいて前記対象の存在する位置を測量する測量手段と、前記測量した測量結果を出力する出力手段と、を具備したことを特徴とする第１０３構成に記載の追跡装置。
（第１０５構成） 左広角カメラと右広角カメラから、それぞれ、左広角画像と右広角画像を取得する広角画像取得手段を具備し、前記撮影手段は、前記取得した左広角画像から任意の方向の左カメラ画像を取得する仮想的なカメラで前記左カメラを構成するとともに、前記取得した右広角画像から任意の方向の右カメラ画像を取得する仮想的なカメラで前記右カメラを構成し、前記撮影方向移動手段は、前記左広角カメラと前記右広角カメラが、前記左広角画像と前記右広角画像からそれぞれ左カメラ画像と右カメラ画像を取得する仮想的な撮影空間で前記撮影方向を移動する、ことを特徴とする第１０４構成に記載の追跡装置。
（第１０６構成） 前記左広角カメラと前記右広角カメラは、それぞれ左全天球カメラと右全天球カメラであることを特徴とする第１０５構成に記載の追跡装置。
（第１０７構成） 前記写像手段は、前記発生させた粒子の前記左カメラ画像、及び前記右カメラ画像での位置を所定の写像関数で計算して取得することを特徴とする第１０３構成から第１０６構成までのうちの何れか１の構成に記載の追跡装置。
（第１０８構成） 前記撮影手段は、前記発生させた粒子ごとに前記左カメラと前記右カメラを向けて撮影し、前記写像手段は、前記左カメラ画像と前記右カメラ画像の前記撮影方向に対応する位置を前記粒子の位置として取得することを特徴とする第１０３構成から第１０６構成までのうちの何れか１の構成に記載の追跡装置。
（第１０９構成） 前記出力した測量結果に基づいて前記対象と共に移動する移動手段を、具備したことを特徴とする第１０４構成に記載の追跡装置。
（第１１０構成） 対象が存在する位置の確率分布に基づいて粒子フィルタに用いる粒子を３次元空間内に発生する粒子発生機能と、前記対象を撮影する撮影機能と、前記撮影した画像に前記発生させた粒子を写像する写像機能と、前記写像した粒子の前記画像内での位置に基づいて検出領域を設定して、前記撮影した対象を画像認識する画像認識機能と、前記画像認識の結果に基づいて前記発生させた粒子の尤度を取得する尤度取得機能と、前記取得した尤度に基づいて前記確率分布を更新することにより前記対象の存在する位置を追跡する追跡機能と、をコンピュータで実現し、前記粒子発生機能は、逐次、前記更新した確率分布に基づいて粒子を発生させる追跡プログラム。

（２）第２実施形態の構成
（第２０１構成） 走行体や建造物などに設置されて、所定の対象を検出する検出装置であって、所定の水平面よりも上側に配設した上カメラと、前記水平面よりも下側に配設した下カメラによって、前記対象を広角で撮影する撮影手段と、前記撮影した対象を、前記上カメラの上カメラ画像と前記下カメラの下カメラ画像でそれぞれ画像認識することで検出する検出手段と、を具備したことを特徴とする検出装置。
（第２０２構成） 対象が存在する位置の確率分布に基づいて粒子フィルタに用いる粒子を３次元空間内に発生する粒子発生手段と、前記請求項１に記載した検出装置と、尤度取得手段と、追跡手段と、を備えた追跡装置であって、前記検出装置の前記撮像手段は、所定の水平面よりも上側に配設した上カメラと、下側に配設した下カメラを用いた輻輳ステレオカメラによって前記対象を撮影し、前記検出装置の前記検出手段は、前記前記上カメラと前記下カメラでそれぞれ撮影した上カメラ画像と下カメラ画像に前記発生させた粒子を対応づけて写像する写像手段と、前記写像した粒子の前記上カメラ画像と前記下カメラ画像でのそれぞれの位置に基づいて前記上カメラ画像と前記下カメラ画像に検出領域を設定して、前記撮影した対象を前記上カメラ画像と下カメラ画像でそれぞれ画像認識する画像認識手段と、を備え、前記尤度取得手段は、前記上カメラ画像の画像認識に基づく第１の尤度と、前記下カメラ画像の画像認識に基づく第２の尤度の少なくとも一方を用いて前記発生させた粒子の尤度を取得し、前記追跡手段は、前記取得した尤度に基づいて前記確率分布を更新することにより前記対象の存在する位置を追跡し、前記粒子発生手段は、逐次、前記更新した確率分布に基づいて粒子を発生させる、ことを特徴とする追跡装置。
（第２０３構成） 前記粒子発生手段は、前記対象が移動する平面に平行な平面に沿って前記粒子を発生させることを特徴とする請求項２に記載の追跡装置。
（第２０４構成） 前記更新した確率分布に基づいて前記上カメラと前記下カメラの撮影方向を前記対象の方向に移動する撮影方向移動手段と、を具備したことを特徴とする請求項２又は請求項３に記載の追跡装置。
（第２０５構成） 前記移動した上カメラと下カメラの撮影方向に基づいて前記対象の存在する位置を測量する測量手段と、前記測量した測量結果を出力する出力手段と、を具備したことを特徴とする請求項４に記載の追跡装置。
（第２０６構成） 所定の水平面よりも上側に配設した上広角カメラと、下側に配設した下広角カメラから、それぞれ、上広角画像と下広角画像を取得する広角画像取得手段を具備し、前記撮影手段は、前記取得した上広角画像から任意の方向の上カメラ画像を取得する仮想的なカメラで前記上カメラを構成するとともに、前記取得した下広角画像から任意の方向の下カメラ画像を取得する仮想的なカメラで前記下カメラを構成し、前記撮影方向移動手段は、前記上カメラと前記下カメラが、前記上広角画像と前記下広角画像からそれぞれ上カメラ画像と下カメラ画像を取得する仮想的な撮影空間で前記撮影方向を移動する、ことを特徴とする請求項２から請求項５までのうちの何れか１の請求項に記載の追跡装置。
（第２０７構成） 前記上広角カメラと前記下広角カメラは、それぞれ上全天球カメラと下全天球カメラであることを特徴とする請求項６に記載の追跡装置。
（第２０８構成） 前記写像手段は、前記発生させた粒子の前記上カメラ画像、及び前記下カメラ画像での位置を所定の写像関数で計算して取得することを特徴とする請求項２から請求項７までのうちの何れか１の請求項に記載の追跡装置。
（第２０９構成） 前記撮影手段は、前記発生させた粒子ごとに前記上カメラと前記下カメラを向けて撮影し、前記写像手段は、前記上カメラ画像と前記下カメラ画像の前記撮影方向に対応する位置を前記粒子の位置として取得することを特徴とする請求項２から請求項７までのうちの何れか１の請求項に記載の追跡装置。
（第２１０構成） 前記出力した測量結果に基づいて前記対象と共に移動する移動手段を、具備したことを特徴とする請求項２から請求項９までのうちの何れか１の請求項に記載の追跡装置。
（第２１１構成） 前記上カメラと前記下カメラは鉛直線上に配設されていることを特徴とする請求項２から請求項１０までのうちの何れか１の請求項に記載の追跡装置。
（第２１２構成） 走行体や建造物などに設置されて、所定の対象を検出する検出装置としてコンピュータを機能させる検出プログラムであって、所定の水平面よりも上側に配設した上カメラと、前記水平面よりも下側に配設した下カメラによって、前記対象を広角で撮影する撮影機能と、前記撮影した対象を、前記上カメラの上カメラ画像と前記下カメラの下カメラ画像でそれぞれ画像認識することで検出する検出機能と、コンピュータに実現させることを特徴とする検出プログラム。
（第２１３構成） 対象が存在する位置の確率分布に基づいて粒子フィルタに用いる粒子を３次元空間内に発生する粒子発生機能と、所定の水平面よりも上側に配設した上カメラと、下側に配設した下カメラを用いた輻輳ステレオカメラによって前記対象を撮影する撮影機能と、前記上カメラと前記下カメラでそれぞれ撮影した上カメラ画像と下カメラ画像に前記発生させた粒子を対応づけて写像する写像機能と、前記写像した粒子の前記上カメラ画像と前記下カメラ画像でのそれぞれの位置に基づいて前記上カメラ画像と前記下カメラ画像に検出領域を設定して、前記撮影した対象を前記上カメラ画像と前記下カメラ画像でそれぞれ画像認識する画像認識機能と、前記上カメラ画像の画像認識に基づく第１の尤度と、前記下カメラ画像の画像認識に基づく第２の尤度の少なくとも一方を用いて前記発生させた粒子の尤度を取得する尤度取得機能と、前記取得した尤度に基づいて前記確率分布を更新することにより前記対象の存在する位置を追跡する追跡機能と、をコンピュータで実現し、前記粒子発生機能は、逐次、前記更新した確率分布に基づいて粒子を発生させる、追跡プログラム。

１ 追跡装置
２ ＣＰＵ
３ ＲＯＭ
４ ＲＡＭ
５ ＧＰＵ
６ 制御部
７ 駆動装置
８ 対象者
９ 全天球カメラ
１０ 記憶部
１１ 撮影部
１２ 追跡ロボット
１５ 筐体
１６ 後輪
１７ 前輪
２０ 筐体
２１ 後輪
２２ 前輪
２５ 筐体
２６ プロペラ
３０ 球体オブジェクト
３１ 仮想カメラ
３２ 円形領域
３３ 対象
３５、３６ カメラ
３７ 撮影領域
４１、４２、４３ 粒子
５１、５２ 粒子
６１、６２ 検出領域
７１、８１、８２ カメラ画像
１０１ 画像
１０２ セル
１０６、１０７ ヒストグラム
１０９、１１０、１１１ ベクトル

Claims (13)

1. 走行体や建造物などに設置されて、所定の対象を検出する検出装置であって、
   所定の水平面よりも上側に配設した上カメラと、前記水平面よりも下側に配設した下カメラによって、前記対象を広角で撮影する撮影手段と、
   前記撮影した対象を、前記上カメラの上カメラ画像と前記下カメラの下カメラ画像でそれぞれ画像認識することで検出する検出手段と、
   を具備したことを特徴とする検出装置。
2. 対象が存在する位置の確率分布に基づいて粒子フィルタに用いる粒子を３次元空間内に発生する粒子発生手段と、前記請求項１に記載した検出装置と、尤度取得手段と、追跡手段と、を備えた追跡装置であって、
   前記検出装置の前記撮像手段は、所定の水平面よりも上側に配設した上カメラと、下側に配設した下カメラを用いた輻輳ステレオカメラによって前記対象を撮影し、
   前記検出装置の前記検出手段は、前記前記上カメラと前記下カメラでそれぞれ撮影した上カメラ画像と下カメラ画像に前記発生させた粒子を対応づけて写像する写像手段と、前記写像した粒子の前記上カメラ画像と前記下カメラ画像でのそれぞれの位置に基づいて前記上カメラ画像と前記下カメラ画像に検出領域を設定して、前記撮影した対象を前記上カメラ画像と下カメラ画像でそれぞれ画像認識する画像認識手段と、を備え、
   前記尤度取得手段は、前記上カメラ画像の画像認識に基づく第１の尤度と、前記下カメラ画像の画像認識に基づく第２の尤度の少なくとも一方を用いて前記発生させた粒子の尤度を取得し、
   前記追跡手段は、前記取得した尤度に基づいて前記確率分布を更新することにより前記対象の存在する位置を追跡し、
   前記粒子発生手段は、逐次、前記更新した確率分布に基づいて粒子を発生させる、
   ことを特徴とする追跡装置。
3. 前記粒子発生手段は、前記対象が移動する平面に平行な平面に沿って前記粒子を発生させることを特徴とする請求項２に記載の追跡装置。
4. 前記更新した確率分布に基づいて前記上カメラと前記下カメラの撮影方向を前記対象の方向に移動する撮影方向移動手段と、
   を具備したことを特徴とする請求項２又は請求項３に記載の追跡装置。
5. 前記移動した上カメラと下カメラの撮影方向に基づいて前記対象の存在する位置を測量する測量手段と、
   前記測量した測量結果を出力する出力手段と、
   を具備したことを特徴とする請求項４に記載の追跡装置。
6. 所定の水平面よりも上側に配設した上広角カメラと、下側に配設した下広角カメラから、それぞれ、上広角画像と下広角画像を取得する広角画像取得手段を具備し、
   前記撮影手段は、前記取得した上広角画像から任意の方向の上カメラ画像を取得する仮想的なカメラで前記上カメラを構成するとともに、前記取得した下広角画像から任意の方向の下カメラ画像を取得する仮想的なカメラで前記下カメラを構成し、
   前記撮影方向移動手段は、前記上カメラと前記下カメラが、前記上広角画像と前記下広角画像からそれぞれ上カメラ画像と下カメラ画像を取得する仮想的な撮影空間で前記撮影方向を移動する、
   ことを特徴とする請求項２から請求項５までのうちの何れか１の請求項に記載の追跡装置。
7. 前記上広角カメラと前記下広角カメラは、それぞれ上全天球カメラと下全天球カメラであることを特徴とする請求項６に記載の追跡装置。
8. 前記写像手段は、前記発生させた粒子の前記上カメラ画像、及び前記下カメラ画像での位置を所定の写像関数で計算して取得することを特徴とする請求項２から請求項７までのうちの何れか１の請求項に記載の追跡装置。
9. 前記撮影手段は、前記発生させた粒子ごとに前記上カメラと前記下カメラを向けて撮影し、
   前記写像手段は、前記上カメラ画像と前記下カメラ画像の前記撮影方向に対応する位置を前記粒子の位置として取得することを特徴とする請求項２から請求項７までのうちの何れか１の請求項に記載の追跡装置。
10. 前記出力した測量結果に基づいて前記対象と共に移動する移動手段を、
    具備したことを特徴とする請求項２から請求項９までのうちの何れか１の請求項に記載の追跡装置。
11. 前記上カメラと前記下カメラは鉛直線上に配設されていることを特徴とする請求項２から請求項１０までのうちの何れか１の請求項に記載の追跡装置。
12. 走行体や建造物などに設置されて、所定の対象を検出する検出装置としてコンピュータを機能させる検出プログラムであって、
    所定の水平面よりも上側に配設した上カメラと、前記水平面よりも下側に配設した下カメラによって、前記対象を広角で撮影する撮影機能と、
    前記撮影した対象を、前記上カメラの上カメラ画像と前記下カメラの下カメラ画像でそれぞれ画像認識することで検出する検出機能と、
    コンピュータに実現させることを特徴とする検出プログラム。
13. 対象が存在する位置の確率分布に基づいて粒子フィルタに用いる粒子を３次元空間内に発生する粒子発生機能と、
    所定の水平面よりも上側に配設した上カメラと、下側に配設した下カメラを用いた輻輳ステレオカメラによって前記対象を撮影する撮影機能と、
    前記上カメラと前記下カメラでそれぞれ撮影した上カメラ画像と下カメラ画像に前記発生させた粒子を対応づけて写像する写像機能と、
    前記写像した粒子の前記上カメラ画像と前記下カメラ画像でのそれぞれの位置に基づいて前記上カメラ画像と前記下カメラ画像に検出領域を設定して、前記撮影した対象を前記上カメラ画像と前記下カメラ画像でそれぞれ画像認識する画像認識機能と、
    前記上カメラ画像の画像認識に基づく第１の尤度と、前記下カメラ画像の画像認識に基づく第２の尤度の少なくとも一方を用いて前記発生させた粒子の尤度を取得する尤度取得機能と、
    前記取得した尤度に基づいて前記確率分布を更新することにより前記対象の存在する位置を追跡する追跡機能と、
    をコンピュータで実現し、
    前記粒子発生機能は、逐次、前記更新した確率分布に基づいて粒子を発生させる、追跡プログラム。

Images