JP2008146185A

JP2008146185A - 移動物体検出装置及び移動物体検出装置用プログラム

Info

Publication number: JP2008146185A
Application number: JP2006329986A
Authority: JP
Inventors: Shuji Hashimoto; 周司橋本; Mitsuharu Matsumoto; 光春松本; Yoshifumi Buyo; 吉史武用
Original assignee: VR TECHNO CENTER Inc; VR TECHNO CT Inc; Waseda University
Current assignee: VR TECHNO CENTER Inc; VR TECHNO CT Inc; Waseda University
Priority date: 2006-12-06
Filing date: 2006-12-06
Publication date: 2008-06-26
Anticipated expiration: 2026-12-06
Also published as: JP4817384B2

Abstract

【課題】カメラ等の撮像装置がどの方向に移動した場合でも、当該撮像装置で撮像された画像に基づいて、当該画像中の移動物体を正確に検出すること。
【解決手段】カメラＣで撮像した動画像から、所定の特徴量に対する時空間画像２０を作成する時空間画像作成部１２と、時空間画像２０中に表れる物体の所定部位の軌跡から、動画像中でランドマークとして任意に選択された静止物体Ｓの軌跡Ｋである基準軌跡Ｋ１を決定する基準軌跡決定部１３と、基準軌跡Ｋ１と時空間画像２０中の他の軌跡Ｋとを対比することで、当該軌跡Ｋの物体が移動物体Ｍか否かを判別する移動物体判別部１４とを備えて移動物体検出装置１１が構成されている。この移動物体検出装置１１では、カメラＣが任意の方向に任意の速度で動いていても、カメラＣで撮像された動画像から、当該動画像中の移動物体Ｍを検出可能となる。
【選択図】図１

Description

本発明は、撮像装置で撮像された画像に基づいて、当該画像中の移動物体を検出することのできる移動物体検出装置及び移動物体検出装置用プログラムに係り、特に、動いている撮像装置で撮像された動画像から移動物体を検出することに好適となる移動物体検出装置及び移動物体検出装置用プログラムに関する。

所定空間内を自立的に移動可能となるロボット等の移動体が種々開発されているが、このような移動体にあっては、その移動方向の前方に存在する各種物体が、障害物等の静止物体か、或いは、人や動物等の移動物体かを識別し、当該物体の種類や性質に応じて衝突回避動作等の移動制御が必要になる。ここで、静止物体と移動物体とを識別する手法の一つとして、移動体に搭載されたカメラ等の撮像装置からの撮像画像に基づいて、当該画像に映った物体の中から移動物体を自動的に検出する手法が考えられる。

ところで、従来、撮像画像から移動物体を検出する手法として、背景差分法やフレーム間差分法が知られている（例えば、特許文献１等）。前記背景差分法は、撮像装置を固定した上で、予め用意された背景モデルと撮像画像との差分を取ることで移動物体を検出する手法である。また、前記フレーム間差分法は、同じく撮像装置を固定した上で、所定時刻の撮像画像と次の時刻の撮像画像との差分を取ることで移動物体を検出する手法である。

しかしながら、これら背景差分法やフレーム間差分法を使った移動物体の検出は、撮像装置が固定された条件下で行われるものであり、ロボット等の移動体に撮像装置が搭載されて当該撮像装置自体が移動するような前述の場合には、これら手法を使って移動物体を検出することが難しい。

そこで、撮像装置が移動している条件下でも、その撮像画像からオプティカルフローを使って移動物体を検出する手法が知られている（例えば、特許文献２等）。この手法は、連続する各画像間で物体の同一部分となる対応点を探索し、各対応点のオプティカルフローを求め、当該オプティカルフローの相違によって、静止物体と移動物体とを判別する手法である。
国際公開第ＷＯ２００５／２０１５２号パンフレット特開２００６−５３８２３号公報

しかしながら、オプティカルフローを用いた前記手法にあっては、移動物体の検出に際して、撮像装置の移動方向が制約され、撮像装置を搭載した移動体が自由に動いた状態での移動物体の検出は難しく、また、対応点の探索が容易でないことから、いつでも正確に移動物体を検出できないという不都合がある。つまり、前記特許文献２の手法では、撮像装置（カメラ）が、その光軸に沿って平行となる前後方向に移動することが前提であると考えられる。これは、カメラが前後方向に移動していると、静止物体のオプティカルフローは必ず消失点に向うため、当該消失点に向わないオプティカルフローを有するものが移動物体となる。一方、カメラが光軸を中心として回転したり、その光軸に対して垂直となる左右方向に移動するような場合には、静止物体のオプティカルフローが消失点に向うことはなく、オプティカルフローを使って移動物体を検出することは難しい。但し、このような場合であっても、カメラと静止物体（背景）との距離が常に一定であれば、その動きの類似性から、オプティカルフローを用いることで移動物体を背景から区別することも考えられる。ところが、この場合は、カメラと背景との距離が一定でないと、カメラから見た背景の見かけ上の動きがフレーム毎に異なってしまうため、物体が静止しているか動いているかを正確に判別することができない。また、カメラが、その光軸に沿って平行となる前後方向に動いている場合であっても、対応点を含めた注目領域が他の領域と色調等の特徴量が紛らわしいときや、当該注目領域の特徴量がノイズ等で正確に検出できないときには、各フレーム間での対応点の探索が困難となり、正確なオプティカルフローを求めることができない。

本発明は、このような課題に着目して案出されたものであり、その目的は、撮像装置がどの方向に移動した場合でも、当該撮像装置で撮像された画像に基づいて、当該画像中の移動物体を正確に検出することができる移動物体検出装置及び移動物体検出装置用プログラムを提供することにある。

（１）前記目的を達成するため、本発明は、撮像装置で撮像された画像から、当該画像中の移動物体を検出する移動物体検出装置において、前記画像から、所定の特徴量に対する時空間画像を作成する時空間画像作成部と、前記時空間画像中に表れる物体の所定部位の軌跡から、前記画像中でランドマークとして任意に選択された静止物体の軌跡である基準軌跡を決定する基準軌跡決定部と、前記基準軌跡と前記時空間画像中の軌跡とを対比することで、当該軌跡の物体が移動物体か否かを判別する移動物体判別部とを備える、という構成を採っている。

（２）また、前記時空間画像作成部は、複数の特徴量に対する前記時空間画像をそれぞれ作成し、前記移動物体判別部は、特徴量の異なる時空間画像間で対応する同一物体の各軌跡について、前記基準軌跡とそれぞれ対比し、少なくとも一つの軌跡の形状が前記基準軌跡に合致したときに、前記同一物体を静止物体と決定し、全ての軌跡の形状が前記基準軌跡に合致しないときに、前記同一物体を移動物体と決定する、という構成を採ることが好ましい。

（３）更に、前記時空間画像作成部は、前記撮像装置の運動状態に応じて前記時空間画像を所定方向に切断して得られる二次元の時空間平面画像を作成し、前記移動物体判別部は、前記時空間平面画像を使って前記移動物体か否かの判別が行われる、という構成を採るとよい。

（４）ここで、前記時空間画像作成部は、前記撮像装置がその光軸に対して垂直に運動している場合に、前記時空間画像を水平方向に切断して前記時空間平面画像を作成する、という構成を採っている。

（５）また、前記時空間画像作成部は、前記撮像装置がその光軸を中心に回転運動している場合に、前記撮像装置により撮像された画像から、ログポーラ変換処理がなされた時空間画像を作成した上で、当該時空間画像を所定方向に切断して前記時空間平面画像を作成する、という構成を採っている。

（６）更に、前記時空間画像作成部は、前記撮像装置がその光軸に対して平行運動している場合に、前記撮像装置により撮像された画像から、ログポーラ変換処理がなされた時空間画像を作成した上で、当該時空間画像を所定方向に切断して前記時空間平面画像を作成する、という構成を採っている。

（７）また、本発明は、撮像装置で撮像された画像から、当該画像中の移動物体を検出する処理を移動物体検出装置に実行させるためのプログラムにおいて、前記画像から、所定の特徴量に対する時空間画像を作成し、当該時空間画像中に表れる物体の所定部位の軌跡から、前記画像中でランドマークとして任意に選択された静止物体の軌跡である基準軌跡を決定した上で、当該基準軌跡と前記時空間画像中の軌跡とを対比し、前記軌跡の形状が前記基準軌跡に合致したときに、前記物体を静止物体と決定し、前記軌跡の形状が前記基準軌跡に合致しないときに、前記物体を移動物体と決定する処理を実行させる、という構成を採っている。

なお、本特許請求の範囲及び本明細書において、「時空間画像」とは、動画像を構成する二次元画像である各フレームを所定方向に延びる時間軸に沿って時系列に並べた三次元画像、若しくは、連続して撮影した静止二次元画像を前記時間軸に沿って時系列に並べた三次元画像を意味する。

また、「時空間画像」について用いられる「高さ」とは、特に明示しない限り、前記フレーム若しくは静止二次元画像の縦方向の長さを意味する。また、特に明示しない限り、「時空間画像」について用いられる「水平方向」とは、前記フレーム若しくは静止二次元画像の横方向及び前記時間軸方向に沿う面方向を意味し、同じく「垂直方向」とは、前記縦方向及び前記時間軸方向に沿う面方向を意味する。

前記（１）及び（７）の構成によれば、撮像装置で撮像された画像内の各静止物体同士は、時間が経過しても、実際の相対位置関係が変わらないため、撮像装置の速度や移動方向に関わらず、時空間画像に表れる静止物体の軌跡は、ほぼ同一の形状をなし、当該軌跡を表す関数は、基準軌跡を表す関数のスカラー倍で近似できる。一方、移動物体は、時間の経過に伴って静止物体に対する位置関係が変わるため、移動物体の軌跡は、静止物体の軌跡と全く異なる形状となる。これにより、移動物体判別部で、時空間画像に表れる軌跡の形状を確認することで、その軌跡を形成する物体が静止物体か移動物体かを判別することが可能となる。従って、撮像装置が停止しても、また、撮像装置が、任意の方向に任意の速度で動いていても、撮像された物体が移動物体か否かを正確に識別することができる。

前記（２）の構成によれば、所定の特徴量に基づいて作成した時空間画像中の軌跡が、ノイズや振動等で一部欠損するような場合であっても、当該欠損を生じた軌跡に対応する物体の別の軌跡が、他の特徴量の時空間画像に表れるようできるため、その中で、欠損を生じていない軌跡を使って、画像中の物体が移動物体であるか否かを判別することができる。つまり、軌跡の欠損部分に対し、対応する他の特徴量の時空間画像に表れる軌跡の中から、欠損等のない信頼性の高い軌跡を選択して、移動物体か否かの判別を行うことができ、ハフ変換等の複雑な修復処理を行わなくても、静止物体と移動物体との判別を正確に行うことができる。

前記（３）〜（６）の構成によれば、時空間画像中の軌跡と基準軌跡とを対比する際に、二次元平面での軌跡の対比で済むことから、当該対比時における演算処理等の負荷を低減することができ、より瞬時に静止物体と移動物体との判別を行うことができる。

以下、本発明の実施形態について図面を参照しながら説明する。

図１には、本発明に係る移動物体検出装置が適用された移動物体検出システムの概略構成図が示されている。この図において、移動物体検出システム１０は、所定の静止物体Ｓ及び移動物体Ｍを撮像可能な撮像装置としてのカメラＣと、このカメラＣが搭載されたロボットＲと、カメラＣで撮像された画像から、当該画像内の移動物体Ｍを検出する移動物体検出装置１１とを備えて構成されている。

前記カメラＣとして、本実施形態では、動画像を取得可能な公知の光学ビデオカメラが用いられている。なお、本発明に用いられる撮像装置としては、その他の光学カメラデバイスや赤外線カメラデバイス等、動画像若しくは静止画像を連続的に撮像可能な装置であれば何でもよい。

前記ロボットＲは、所定の設置面に沿って移動可能な構造となっており、且つ、カメラＣを相対変位可能に保持する構造が採用されている。これら各種構造は、公知の移動構造及び保持構造が採用されており、本発明の要旨でないため、ここでは詳細な説明を省略する。

前記移動物体検出装置１１は、ソフトウェア及び／又はハードウェアからなるコンピュータユニットによって構成されており、プロセッサ等、複数のプログラムモジュール及び／又は処理回路より成り立っている。当該移動物体検出装置１１には、コンピュータを以下の各部として機能させるプログラムがインストールされている。

この移動物体検出装置１１は、カメラＣで撮像された動画像から、所定の特徴量に対する時空間画像を作成する時空間画像作成部１２と、時空間画像中に表れる物体の所定部位の軌跡から、前記動画像中でランドマークとして任意に選択された静止物体Ｓの軌跡である基準軌跡を決定する基準軌跡決定部と、基準軌跡と時空間画像中の軌跡とを対比することで、当該軌跡の物体が移動物体Ｍか否かを判別する移動物体判別部１４とを備えている。

次に、前記移動物体検出装置１１による移動物体Ｍの検出手順について、以下に説明する。

先ず、ランドマークとなる所定の静止物体Ｓの基準領域が任意に設定される。このランドマークの設定に際しては、特に限定されるものではないが、カメラＣで撮像された動画像から、操作者等により周囲に対する画像上の特徴量が顕著となる静止物体Ｓの一部分が任意に選択される。この際の特徴量としては、エッジ特徴、色特徴、輝度特徴等、静止物体Ｓの部分が周囲に対して明確に区別できる限り何でも良い。また、ロボットＲから、ランドマークとなり得る顕著な特徴量の物体や物質をカメラＣの視野内に所定のタイミングで投入し、当該投入された物体や物質の一部分を静止物体Ｓとし、当該一部分を基準領域として自動設定することも可能である。

次いで、時空間画像作成部１２で、所定時間内における三次元の時空間画像が求められ、当該時空間画像を所定方向に切断することで、二次元の時空間平面画像が求められる。

つまり、ここでは、図２に示されるように、カメラＣで撮像された動画像の各フレームＦが、同図中奥行方向に延びる時間軸ｔに沿って時系列的に並べられることで、所定時間内における三次元の時空間画像２０が作成される。なお、以下の説明において、フレームＦの横方向を「ｘ軸方向」と称し、同縦方向を「ｙ軸方向」と称する。また、説明の便宜上、図２及び図３のフレームＦに記載されている「○」マークは、ランドマークとして設定された静止物体Ｓの基準領域を表すとともに、「△」、「□」の各マークは、その他の静止物体Ｓの注目領域を表す一方、「×」マークは、移動物体Ｍの注目領域を表している。

また、この時空間画像作成部１２では、所定時間内に撮像された動画像に対して、特徴量の異なる時空間画像２０が複数作成される。当該特徴量としては、エッジ情報、色情報、グレースケール情報、二値化情報、輝度情報、明度情報等の各種情報が挙げられる。つまり、所定時間内に撮像された動画像に対し、先ず、ある特徴量のみを抽出する各種フィルタを使って、当該特徴量のみの特徴画像が作成され、当該特徴画像の各フレームＦを時系列に並べることで、当該特徴量に関する時空間画像２０が作成される。その後、同様にして、他の特徴量に関する時空間画像２０が作成され、特徴量別となる複数の時空間画像が得られることになる。なお、ここで作成される時空間画像２０であるが、その数及び特徴量の組み合わせは特に問わない。

例えば、エッジ情報に関する時空間画像２０を作成する場合には、カメラＣで撮像された動画像に対し、ｓｏｂｅｌフィルタやＬａｐｌａｃｉａｎフィルタ等の公知のエッジフィルタにより、撮像された物体のエッジ成分のみが抽出され、これらエッジ成分のみからなるフレームＦが時系列に並べられて時空間画像２０が作成される。

また、色情報に関する時空間画像２０を作成する場合には、前記動画像に対し、所定の色の部分のみを抽出する公知のフィルタにより、画像中の所望の色成分のみが抽出され、当該色成分のみからなるフレームＦが時系列に並べられて時空間画像２０が作成される。ここでは、ＲＧＢ、ＨＳＶ、ＣＭＹＫ等の各色成分別に時空間画像２０を作成してもよいし、それらの中の特定の色成分に絞って時空間画像２０を作成してもよい。

更に、グレースケール情報や二値化情報に関する時空間画像２０を作成する場合には、前記動画像に対してグレースケール化若しくは二値化する公知の画像処理が行われ、当該処理後のフレームＦが時系列に並べられて時空間画像２０が作成される。

また、輝度情報や明度情報に関する時空間画像２０を作成する場合には、前記動画像に対し、各画素中のＲＧＢ情報から演算によって各画素中の輝度や明度が求められ、そのうち所定の範囲内にあるもののみが抽出され、当該範囲内の輝度や明度のみからなるフレームＦが時系列に並べられて時空間画像２０が作成される。

次いで、図３に示されるように、特徴量別に作成された三次元の各時空間画像２０に対し、ｙ軸方向の所定距離（高さ）で、ｘ軸と時間軸ｔに沿う水平方向に切断した時空間平面画像２３が特徴別にそれぞれ作成される。ここでは、同じ高さ位置にある静止物体Ｓの注目領域が時空間平面画像２３の同一平面内に表れるように、カメラＣの位置や姿勢が逐次調整される。すなわち、カメラＣは、その光軸Ｌを中心に回転運動している場合や光軸Ｌに沿って平行運動している場合を除き、図４に示されるように、光軸Ｌに対して垂直に運動するように、ロボットＲの移動に応じて位置及び姿勢が自動的に調整される。この際、カメラＣは、ロボットＲの高さ方向（図４中紙面直交方向）の傾斜角度が一定になるように保持される。

なお、時空間画像２０の切断方向としては、前述の水平方向に限らず、静止物体Ｓの注目領域が時空間平面画像２３の同一平面内に表れる限りにおいて、カメラＣの運動方向に対応した方向で時空間画像２０を切断することができる。

また、カメラＣが光軸Ｌを中心に回転運動している場合には、得られた動画像に対して公知のログポーラ（Ｌｏｇ−Ｐｏｌａｒ）変換処理がなされ、カメラＣからの距離ρをｘ軸とし、カメラＣの光軸Ｌ回りの回転角度θをｙ軸として画像化された各フレームＦを時系列に並べ、前述した各特徴量について三次元の時空間画像２０が作成される。このとき、カメラＣからの距離ρが所定値となる垂直方向の切断面が、時空間平面画像２３とされる。

更に、カメラＣが光軸Ｌに沿って平行運動している場合には、前記回転運動の場合と同様に、得られた動画像に対してログポーラ変換処理がなされて三次元の時空間画像２０が作成される。このときは、カメラＣの回転角度θが所定値となる水平方向の切断面が、時空間平面画像２３とされる。

なお、前記時空間平面画像２３は、所定の特徴量における時空間画像２０に対して一つだけ作成してもよいし、図３に示されるように、当該特徴量に関する時空間画像２０に対して複数箇所で水平方向に切断することにより、複数作成してもよい。

以上のように作成された時空間平面画像２３には、カメラＣで撮像された種々の物体の注目領域が、カメラＣの移動によって、静止物体Ｓ及び移動物体Ｍ共に、図３の奥行方向に向って時系列的に連なって延びる軌跡Ｋとなって表れ、当該軌跡Ｋが種々混在した画像となる。

次に、基準軌跡決定部１３では、各特徴量に関する時空間平面画像２３それぞれについて、ランドマークとされた静止物体Ｓの基準軌跡Ｋ１が特定される。つまり、基準領域Ｋ１は、前述したように、周囲に対する画像上の所定の特徴量が顕著となる物体の一部分が選択されているため、当該特徴量に基づいて作成された時空間平面画像２３の中に、はっきりとした軌跡となって表れることになり、この軌跡が基準軌跡Ｋ１として決定される（図３中「○」マーク間で結ばれた線分）。

その後、移動物体判別部１４では、時空間平面画像２３内に表れた各種の軌跡Ｋが前記基準軌跡Ｋ１と対比され、当該基準軌跡Ｋ１に合致した軌跡Ｋを有する注目領域が、カメラＣで撮像された動画像中の静止物体Ｓの軌跡Ｋと特定される一方で、基準軌跡Ｋ１に合致しない軌跡Ｋを有する注目領域が、動画像中の移動物体Ｍの軌跡Ｋと特定される。

すなわち、静止物体Ｓ同士は、時間が経過しても、実際の相対位置関係が変わらないため、図５に示されるように、時空間平面画像２３において、静止物体Ｓによる軌跡Ｋ１〜Ｋ３は、ほぼ同一となる形状（輪郭）をなし、基準軌跡Ｋ１でない軌跡Ｋ２，Ｋ３は、基準軌跡Ｋ１を表す関数のスカラー倍で近似できる。一方、静止物体Ｓと移動物体Ｍは、時間の経過に伴って相対位置関係が変わるため、静止物体Ｓの軌跡Ｋ１〜Ｋ３と移動物体Ｍの軌跡Ｋ４とは全く異なる形状となる。

以上の性質を用いて、各特徴量に関する時空間平面画像２３に表れた軌跡Ｋ１〜Ｋ４から、ランドマークとされたものを除く静止物体Ｓの軌跡Ｋ２，Ｋ３と移動物体Ｍの軌跡Ｋ４とが選別されて、各軌跡Ｋ２〜Ｋ４に対応する物体が、移動物体Ｍか否かが判別される。

具体的に、図６を用いて説明すると、同図中（Ａ）〜（Ｄ）は、何れも、三次元の時空間画像２０を同一高さで水平方向に切断した時空間平面画像２３を表しているが、当該画像を形成する上で選択された特徴量がそれぞれ異なっている。また、同図中（Ａ）〜（Ｄ）において、軌跡Ｋ１〜Ｋ３の途中に、ノイズ等による欠損部分が発生しているとする。つまり、ここでの欠損部分は、同図（Ａ）の軌跡Ｋ３の途中、同図（Ｂ）の軌跡Ｋ２の途中、同図（Ｃ）の軌跡Ｋ１の途中、及び、同図（Ｄ）の軌跡Ｋ２の途中に存在している。

先ず、前記基準軌跡決定部１３で、該当する軌跡Ｋ１のうち欠損部分のない図６（Ａ）、（Ｂ）若しくは（Ｄ）の時空間平面画像２３に基づき、基準軌跡Ｋ１の形状若しくはその関数が決定される。そして、移動物体判別部１４で、同図中（Ａ）〜（Ｄ）の全ての軌跡Ｋ１〜Ｋ４から、基準軌跡Ｋ１と同一となる形状の軌跡Ｋが選択され、当該軌跡Ｋに該当する物体が静止物体Ｓとされる。この際の同一形状の軌跡の選択は、各軌跡Ｋ２〜Ｋ４と基準軌跡Ｋ１とのパターンマッチングを行って、相互に形状が一致するか否か、或いは、軌跡Ｋを表す関数ｆ（ｔ）が基準軌跡Ｋ１を表す関数のスカラー倍になっているか否か等により行われる。図６の例では、基準軌跡Ｋ１と同一の形状を有する軌跡Ｋ２、Ｋ３が静止物体Ｓの軌跡Ｋとして決定される。そして、基準軌跡Ｋ１を含み静止物体Ｓと決定された各軌跡Ｋ１〜Ｋ３に対応した他の時空間平面画像２３中の軌跡Ｋ１〜Ｋ３が除外され、残った軌跡Ｋ４が移動物体Ｍの軌跡Ｋとして決定される。

図６の例では、同図（Ａ）の軌跡Ｋ３は、一部欠損しているため、基準軌跡Ｋ１と完全に同一の形状になっていないが、同図（Ｂ）〜（Ｄ）における他の特徴量の時空間平面画像２３では、同図（Ａ）で欠損している軌跡Ｋ３の物体に対応する軌跡Ｋ３が、欠損しておらず、これらの軌跡Ｋ３の形状から、その物体が静止物体Ｓと判定される。この際、位置的に対応する同図中（Ａ）の軌跡Ｋ３は、形状が一部重複しており、何らかの原因で欠損していると判断され、移動物体Ｍの軌跡と判断されず、静止物体Ｓの軌跡と判断される。そして、図６（Ｂ）で欠損した軌跡Ｋ２、同図（Ｃ）で欠損した軌跡Ｋ１、及び同図（Ｄ）で欠損した軌跡Ｋ２も同様の判断で静止物体Ｓの軌跡Ｋとされる。そして、残った、同図（Ａ）〜（Ｄ）の軌跡Ｋ４が移動物体Ｍの軌跡Ｋとされる。

従って、このような実施形態によれば、複数の特徴量に関する時空間平面画像２３それぞれについて、表れた各軌跡Ｋが基準軌跡Ｋ１に対比されるため、各特徴量の時空間平面画像２３の中で、ノイズ等による欠損部分のない信頼性の高い部分を使って、物体の軌跡Ｋの対比を行うことができ、カメラＣで撮像した動画像から、より正確に静止物体Ｓと移動物体Ｍとを区別できるという効果を得る。

また、カメラＣが静止状態であっても、撮像された動画像から、当該動画像内の物体について、静止物体Ｓと移動物体Ｍとを区別することができ、カメラＣが動いたり、止まったりするようなロボットＲの移動形態であっても、問題無く動画像内の移動物体Ｍを正確に検出することができる。

なお、前記実施形態では、複数の特徴量に関する時空間画像２０を用いて移動物体Ｍの判別を行っているが、本発明では、移動物体Ｍを確実に特定できれば、一つの特徴量に対する時空間画像２０のみで、前述のように移動物体Ｍの判別を行うようにしても良い。

また、前記実施形態では、時空間画像２０を所定方向に切断して得られる時空間平面画像２３を用いているが、三次元の時空間画像２０をそのまま使って、各物体の三次元の軌跡Ｋと三次元の基準軌跡Ｋ１とを対比することで、動画像中の静止物体Ｓと移動物体Ｍとを判別することも可能である。但し、前記実施形態のようにすることで、軌跡Ｋの対比を行う際に、二次元的な演算処理で済むため、当該処理時の負荷を低減し、よりスピーディーに静止物体Ｓと移動物体Ｍとを区別することができる。

更に、カメラＣは、前記実施形態のロボットＲに対する搭載に限定されるものではなく、カメラＣを任意に移動させることができる車両等の他の移動体に搭載させても同じである。

また、前記移動物体検出装置１１は、カメラＣ等の撮像装置で撮像された動画像中の静止物体Ｓと移動物体Ｍとの区別が要請される装置全般に適用することができ、例えば、前述したロボットＲや車両の移動制御を行うための装置や、移動車を使った三次元地図の自動作成時に移動物体Ｍの除去を行うための装置等にも適用可能である。

その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。

本発明の移動物体検出装置が適用された移動物体検出システムの一実施形態に係る概略構成図。時空間画像の概念及び作成手順について説明するための図。時空間画像から作成された時空間平面画像を説明するための図。本実施形態のカメラの移動方向について説明するための図。時空間平面画像中に表れる各物体の軌跡を説明するための図。（Ａ）〜（Ｄ）は、特徴量が異なる時空間平面画像に表れた軌跡を説明するための図である。

符号の説明

１０移動物体検出システム
１１移動物体検出装置
１２時空間画像作成部
１３基準軌跡決定部
１４移動物体判別部
２０時空間画像
２３時空間平面画像
Ｃカメラ（撮像装置）
Ｋ（Ｋ１〜Ｋ４）軌跡
Ｋ１基準軌跡
Ｌ光軸
Ｍ移動物体
Ｓ静止物体

Claims

撮像装置で撮像された画像から、当該画像中の移動物体を検出する移動物体検出装置において、
前記画像から、所定の特徴量に対する時空間画像を作成する時空間画像作成部と、前記時空間画像中に表れる物体の所定部位の軌跡から、前記画像中でランドマークとして任意に選択された静止物体の軌跡である基準軌跡を決定する基準軌跡決定部と、前記基準軌跡と前記時空間画像中の軌跡とを対比することで、当該軌跡の物体が移動物体か否かを判別する移動物体判別部とを備えたことを特徴とする移動物体検出装置。
前記時空間画像作成部は、複数の特徴量に対する前記時空間画像をそれぞれ作成し、
前記移動物体判別部は、特徴量の異なる時空間画像間で対応する同一物体の各軌跡について、前記基準軌跡とそれぞれ対比し、少なくとも一つの軌跡の形状が前記基準軌跡に合致したときに、前記同一物体を静止物体と決定し、全ての軌跡の形状が前記基準軌跡に合致しないときに、前記同一物体を移動物体と決定することを特徴とする請求項１記載の移動物体検出装置。
前記時空間画像作成部は、前記撮像装置の運動状態に応じて前記時空間画像を所定方向に切断して得られる二次元の時空間平面画像を作成し、
前記移動物体判別部は、前記時空間平面画像を使って前記移動物体か否かの判別が行われることを特徴とする請求項１又は２記載の移動物体検出装置。
前記時空間画像作成部は、前記撮像装置がその光軸に対して垂直に運動している場合に、前記時空間画像を水平方向に切断して前記時空間平面画像を作成することを特徴とする請求項３記載の移動物体検出装置。
前記時空間画像作成部は、前記撮像装置がその光軸を中心に回転運動している場合に、前記撮像装置により撮像された画像から、ログポーラ変換処理がなされた時空間画像を作成した上で、当該時空間画像を所定方向に切断して前記時空間平面画像を作成することを特徴とする請求項３記載の移動物体検出装置。
前記時空間画像作成部は、前記撮像装置がその光軸に対して平行運動している場合に、前記撮像装置により撮像された画像から、ログポーラ変換処理がなされた時空間画像を作成した上で、当該時空間画像を所定方向に切断して前記時空間平面画像を作成することを特徴とする請求項３記載の移動物体検出装置。
撮像装置で撮像された画像から、当該画像中の移動物体を検出する処理を移動物体検出装置に実行させるためのプログラムにおいて、
前記画像から、所定の特徴量に対する時空間画像を作成し、当該時空間画像中に表れる物体の所定部位の軌跡から、前記画像中でランドマークとして任意に選択された静止物体の軌跡である基準軌跡を決定した上で、当該基準軌跡と前記時空間画像中の軌跡とを対比し、前記軌跡の形状が前記基準軌跡に合致したときに、前記物体を静止物体と決定し、前記軌跡の形状が前記基準軌跡に合致しないときに、前記物体を移動物体と決定する処理を実行させることを特徴とする移動物体検出装置用プログラム。