JP2004054684A

JP2004054684A - 物体検出装置及び方法

Info

Publication number: JP2004054684A
Application number: JP2002212507A
Authority: JP
Inventors: Koji Tsujino; 辻野　広司; Hiroshi Kondo; 近藤　宏; Shinichi Nagai; 永井　慎一; Koji Akatsuka; 赤塚　浩二; Atsushi Miura; 三浦　淳
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2002-07-22
Filing date: 2002-07-22
Publication date: 2004-02-19
Anticipated expiration: 2022-07-22
Also published as: EP1391845A3; US20050248654A1; EP1391845A2; EP1391845B1; US7295684B2; JP3979894B2

Abstract

【課題】自己運動する運動体から撮像された入力画像内の物体を高精度に検出する。
【解決手段】第１の入力画像及び第１の入力画像と時間的に連続する第２の入力画像を組にして出力し、この組から局所的なフローを計算する。また、撮像装置の運動を計測して慣性情報を計算する。計算した慣性情報を使用して、撮像装置の運動によって入力画像内に生じる動き成分を計算し、該動き成分と第１の入力画像を使用して第２の入力画像の予測画像を計算する。この予測画像と実際の第２の入力画像の差分を取った差分画像データを算出する。算出した差分画像データを使用して前記局所的なフローを修正する。修正した局所的なフローを所定の閾値と比較して、入力画像内において物体が存在する可能性の高い図候補領域を抽出する。最後に、図候補領域における物体の有無を判定する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、入力画像から画像内の物体を検出する物体検出装置に関し、より具体的には、自己運動する運動体から撮像された画像内の物体を検出できる物体検出装置に関する。
【０００２】
【従来の技術】
従来、取得画像に基づいて画像から物体を検出する方法はいくつか知られているが、その中の１つに、取得した時間画像からオプティカルフローを求め、同一運動成分を持つ領域から物体に相当する部分を検出する方法がある。この方法は、画像内で移動する物体を容易に検出できるため、この方法を適用した物体検出装置が多く知られている（例えば、特開平７−２４９１２７号公報）。
【０００３】
しかし、自動車等に撮像装置が搭載されているときのように、画像を取得するための撮像装置そのものが運動する場合では、撮像装置自体の運動によってもオプティカルフローが生じるため、移動物体を正確に検出するのが困難となる。
【０００４】
このような場合、求めたオプティカルフローから、撮像装置自体の運動による成分を除去できれば、画像内で移動する物体をより正確に検出できるようになる。例えば、特開平２０００−２４２７９７号公報には、グラディエント法によって画像内のオプティカルフローを検出する際に使用する拡散係数を可変にした運動検出方法が開示されている。この方法によると、拡散係数を従来のように一定ではなく所定の条件を付加して変化させることで、耐ノイズ性が向上し、かつ物体境界でのオプティカルフローの差分を強調することができるとしている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記方法では、検出が容易である移動物体のオプティカルフローは高精度に得ることができても、静止背景中の静止物体は背景とみなされているためオプティカルフローの補正がなされず、静止物体を高精度に検出することはできない。運動体から静止背景中の静止物体を観測すると、実はそれぞれの物体に応じたオプティカルフローを得ることができるのであるが、背景からのオプティカルフローとの分離が困難であり、これを高精度に分離する技術は実現されていない。
【０００６】
従って、本発明は、自己運動する運動体から撮像された画像内の静止した物体をも高精度に検出することのできる物体検出装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、運動する撮像装置により撮像される入力画像内の物体を検出する物体検出装置であって、運動によって入力画像内に生じる動き成分を認識し該動き成分と一貫しない領域を分離する大局的画像処理と、入力画像内の局所的なフロー情報を計算する局所的画像処理とを並列して実行し、双方の処理結果を相互に参照することによって物体検出の精度を向上することを特徴とする。
【０００８】
本発明の一実施形態は、運動する撮像装置により撮像される入力画像内の物体を検出する物体検出装置であって、第１の入力画像及び第１の入力画像と時間的に連続する第２の入力画像を組にして出力する連続画像出力部と、前記第１の入力画像と第２の入力画像から局所的なフローを計算する局所的画像処理部と、前記撮像装置の動きを計測して慣性情報を計算する慣性情報取得部とを備える。前記物体検出装置は、前記慣性情報を使用して、前記撮像装置の運動によって入力画像内に生じる動き成分である大局的フローを計算し、該大局的フローと前記第１の入力画像から前記第２の入力画像の予測画像を計算し、該予測画像と第２の入力画像の差分を取った差分画像データを算出する大局的画像処理部も備える。さらに、前記物体検出装置は、前記差分画像データを使用して前記局所的フローを修正し、修正した局所的フローを所定の閾値と比較して、前記入力画像内において物体が存在する可能性の高い図候補領域を抽出する図地分析部と、前記図候補領域における物体の有無を判定する物体有無判定部とを備える。
【０００９】
この形態によると、入力画像を自己運動に基づく領域（「地」）とそれ以外の領域（「図」）に大まかに分離する差分画像データを計算する大局的画像処理と、入力画像内の局所的フローを計算する局所的画像処理とを並列に実行し、差分画像データを用いて局所的フローを修正することによって、精度の高い物体検出が可能となる。
【００１０】
予測画像の計算には、大局的フローより得られる各画素の変位により、第１の入力画像をワープ変換することにより予測画像を計算するワープ推定法を使用する。従って、撮像装置の運動によって入力画像内に生じる大局的フローを計算できる環境では、事前の学習をすることなく物体の検出ができる。
【００１１】
前記大局的フローは慣性情報から計算されるが、大局的フローの精度を増せばワープ推定法により計算される予測画像の精度が増すので、結果として物体検出精度が向上する。従って、本発明の別の実施形態では、前記図地分析部は、初めに大局的画像処理部が算出した差分画像データと局所的フローを使用して前記大局的フローを修正し、前記大局的画像処理部は、修正された大局的フローと前記第１の入力画像から前記第２の入力画像の予測画像を再度作成し、該予測画像と第２の入力画像の差分を取った修正差分画像データを算出するように構成される。
【００１２】
本発明のさらに別の実施形態は、第１の入力画像、第１の入力画像と時間的に連続する第２の入力画像及び第３の入力画像を組にして出力する連続画像出力部と、前記第１の入力画像と第２の入力画像から局所的フローを計算する局所的画像処理部を備える。前記物体検出装置は、予め前記入力画像についての固有空間を構築しておき、該固有空間に前記第１の入力画像及び第２の入力画像を投影することにより前記第３の入力画像の予測画像を計算し、該予測画像と第３の入力画像との差分を取った差分画像データを算出する大局的画像処理部も備える。さらに、前記物体検出装置は、前記差分画像データを使用して前記局所的フローを修正し、修正した局所的フローと所定の閾値を比較して、前記入力画像内において物体が存在する可能性の高い図候補領域を抽出する図地分析部と、前記図候補領域における物体の有無を判定する物体有無判定部とを備える。
【００１３】
この形態によると、物体検出を実行する前に、時間的に連続した２枚以上の入力画像の組から固有空間を作成しておき、物体検出時にはこの固有空間を使用して予測画像を計算するので、撮像装置の運動によって入力画像内に生じる大局的フローを計算できない環境でも正確な物体検出が可能となる。
【００１４】
大局的フローや慣性情報を含めて固有空間を作成することもできる。この場合、予測画像の計算時には、入力画像の他に大局的フローや慣性情報も必要となる。
【００１５】
【発明の実施の形態】
以下、図１〜１６を参照して本発明の実施形態を説明する。
【００１６】
＜第１の実施形態＞
図１は本発明の一実施形態である物体検出装置１０の全体的な構成を示すブロック図である。物体検出装置１０は、自律走行自動車等の運動体に搭載されるＣＣＤカメラ等の撮像装置１２により所定の時間間隔で撮像された運動体の移動方向の画像を常時受け取り、画像内の物体の有無を判定し、その判定結果を出力する。判定結果は運動体のモータや舵等に送られて、運動体の移動の障害となる物体の回避等に利用される。物体の有無の判定結果を自律走行自動車等の乗員や外部に通知するようにしてもよい。
【００１７】
物体検出装置１０は、例えば、種々の演算を実行するＣＰＵ、演算結果を一時記憶するためのメモリ、学習結果等を記憶するＲＯＭ、データの入出力を行うインタフェース等を備えるマイクロコンピュータにより実現される。物体検出装置１０は、撮像装置１２と共に上記運動体に搭載され、物体検出処理を行うように構成される。別の実施形態では、運動体に搭載された撮像装置１２により撮像された画像を任意の通信手段を介して別の場所にあるコンピュータへと送信し、そのコンピュータにより本発明の物体検出処理を行うことができる。以上のことを踏まえて、図１では物体検出装置１０を機能ブロック図で表している。これら各機能ブロックの一部または全部は、ソフトウェア、ファームウェア、あるいはハードウェアの何れでも実現することができる。
【００１８】
連続画像出力部１４は、カメラ等の撮像装置１２により所定の時間間隔毎に撮像される画像を時間的に連続する２枚以上の画像の組にして、局所的画像処理部１６及び大局的画像処理部１８に供給する。局所的画像処理部１６は、少なくとも２枚の時間的に連続する画像の組を局所領域に細分化し、各局所領域画像にガボールフィルタを適用して局所領域におけるオプティカルフロー（以下、「局所的フロー」と呼ぶ）を計算する。局所的フローは図地分析部２２に供給される。
【００１９】
慣性情報取得部２０は、撮像装置１２が搭載された運動体の速度、ヨーレイト、ピッチ等の運動に関する情報（以下、「慣性情報」と呼ぶ）を各種センサ等により計測し、大局的画像処理部１８に供給する。大局的画像処理部１８は、連続画像出力部１４より供給された時間的に連続する２枚以上の画像と慣性情報取得部２０より供給された慣性情報に基づいて、画像の全体的な特徴（後述する差分画像データ）を求める。この差分画像データは図地分析部２２に供給される。
【００２０】
図地分析部２２は、差分画像データを利用して局所的画像処理部１６から供給された局所的フローを修正し、修正した局所的フローに基づいて、画像の中で「図」と推定される領域（つまり、画像内で物体が存在する可能性が高い領域）を抽出し、物体有無判定部２４に供給する。
【００２１】
物体有無判定部２４は、図と推定された領域に実際に物体が存在するか否かをクラスタリング等の手法により判定する。判定結果は判定出力部２６を介して出力される。
【００２２】
次に、局所的画像処理部１６、大局的画像処理部１８、図地分析部２２及び物体有無判定部２４の各機能ブロックについて、それぞれの処理を詳細に説明する。
【００２３】
図２は、局所的画像処理部１６の処理を説明するフローチャートである。
【００２４】
まず、局所的画像処理部１６は連続画像出力部１４から時間的に連続する２枚の画像を受け取る（Ｓ３０）。以下の説明では、連続する時刻ｔ、ｔ＋１における画像内の座標（ｘ，ｙ）の画素の輝度値をそれぞれＩｍｇ（ｘ，ｙ，ｔ）、Ｉｍｇ（ｘ，ｙ，ｔ＋１）と表すことにする。ここで、座標（ｘ，ｙ）は、入力画像の左上を原点とした直交座標である。また、輝度値は０から２５５までの整数値をとる。
【００２５】
さらに、局所的画像処理部１６は、画像のｘ方向、ｙ方向の正負方向についてのガボールフィルタの基底をそれぞれ次式により計算する。
【００２６】
【数１】

ここで、Ｇｓ（ｘ，ｙ）はガボールフィルタの基底のｓｉｎ成分であり、Ｇｃ（ｘ，ｙ）はガボールフィルタの基底のｃｏｓ成分である。式（１）中の（ｘ，ｙ）は、画像毎の中心を原点とした座標で記述しており、輝度値Ｉｍｇ（ｘ，ｙ，ｔ）の座標（ｘ，ｙ）とは異なる（式（１）中のｘ、ｙ、ｒには、ｒ＝（ｘ^２＋ｙ^２）^１ ^／ ^２の関係がある）。「ａ」は定数であり、「ａ」を中心にフィルター感度が高くなるような値に設定される。また式（１）の２式に加え、それぞれの軸を９０度回転させたときの２式により、上下ｘ方向及び左右ｙ方向のガボールフィルタ基底が得られる。
【００２７】
本実施例では、後述するように、ガボールフィルタを局所領域毎にｘ、ｙの正負方向（画像の上下左右の各方向）に対して適用することによって、オプティカルフローがその局所領域でどの方向であるのかを明確に捉えるようにする。
【００２８】
ガボールフィルタは人間の受容野の特性に似せたフィルタであり、画像内で運動体が運動したとき、中心部分よりも周辺の方でオプティカルフローの特徴がより明確に現れる特性がある。そこで、画像内の座標（ｘ，ｙ）に応じてガボールフィルタの特性（受容野サイズすなわちフィルター（窓）の大きさ）や空間周波数の最適化を行っても良い。
【００２９】
次に、局所的画像処理部１６は時刻ｔ、ｔ＋１の画像から局所領域を１つ選択する（Ｓ３２）。本明細書において「局所領域」とは、画像内の局所的なオプティカルフローを計算するために設定され、それぞれが同一のサイズを有する小領域のことを言う。本実施形態では、撮像装置１２により撮像される画像全体は３２０×２４０画素であり、各局所領域は４５×４５画素に設定されている。画像全体と局所領域の位置関係の一例を図３（ａ）に示す。図において、外側の長方形が撮像される画像の全体であり、模様の付いた正方形が局所領域である。各局所領域は、図のように隣り合う局所領域とオーバーラップするように設定されるのが好ましい。このように局所領域をオーバーラップさせるのは、局所領域の境界付近の画素値を複数回局所領域に含めることによって、より正確な物体検出が可能となるためである。しかし、オーバーラップ幅を大きくすると処理速度が低下するので、これを考慮した適切な値に設定される。
【００３０】
ルーチンの初回には、局所的画像処理部１６は画像の左上隅に位置する局所領域を選択する。
【００３１】
局所的画像処理部１６は、時刻ｔ、ｔ＋１の画像から選択した局所領域に含まれる各画素　Ｉｍｇ（ｘ，ｙ，ｔ）、Ｉｍｇ（ｘ，ｙ，ｔ＋１）と上記式（１）で計算されるガボールフィルタの基底との積和演算を行い、当該局所領域の全画素についての積和値ｘ_ｔ、ｘ_ｔ＋１、ｙ_ｔ、ｙ_ｔ＋１を次式により計算する（Ｓ３４）。
【００３２】
【数２】

【００３３】
続いて、計算した積和値について次式によりコントラスト（ｘ^２＋ｙ^２）を加重した位相の時間微分値ｄｗを計算する（Ｓ３６）。
【００３４】
【数３】

【００３５】
ステップＳ３４、Ｓ３６の計算を、上下左右４方向のガボールフィルタの基底を使用してそれぞれ行うことによって、オプティカルフローの上下左右４方向の成分が算出される。つまり、選択された局所領域について４方向のｄｗ値が算出されることになる。これらは方向別にｄｗマップに格納される。ｄｗマップは、局所領域の画像内の位置に対応した配列を有している。例えば、画像全体が５×５個の局所領域を含む場合、ｄｗマップは、図３（ｂ）に示すように、図３（ａ）と同一の模様を持つ位置にｄｗ値が格納される配列となる。
【００３６】
１つの局所領域について計算が終了すると、局所的画像処理部１６は図３（ａ）において矢印で示すような順序で次の局所領域を選択していき（Ｓ３８）、以後全ての局所領域について上記ステップＳ３２〜Ｓ３６を繰り返す。
【００３７】
全ての局所領域についての計算が終了すると、局所的画像処理部１６は、各局所領域について、方向別のｄｗマップに格納されている４つのｄｗ値を比較して、最大のものを選出する。そしてその値を当該局所領域の最大ｄｗ値とし、その方向を当該局所領域の最大フロー方向とする（Ｓ４０）。そして、最大ｄｗ値と最大フロー方向を、ｄｗマップと同様の配列を持つ最大ｄｗマップ（図５（ａ））及び最大方向マップ（図５（ｂ））にそれぞれ格納する（Ｓ４２）。
【００３８】
局所的画像処理部１６におけるこの処理の具体例を図４及び５を参照して説明する。図４の（ａ）、（ｂ）は、ステップＳ３６で算出される４方向のｄｗ値のうち、それぞれ上下の２方向のｄｗマップのみを代表して表したものである。図中の数字は各局所領域のｄｗ値を表しており、ここでは一部の局所領域についてのみその値が示されている。
【００３９】
各局所領域について全方向マップのｄｗ値を比較し、最大のものを当該局所領域の最大ｄｗ値として選出し、また最大ｄｗ値を有する方向を当該局所領域の最大方向とする。例えば、図４（ａ）、（ｂ）でそれぞれ左上隅に位置する局所領域のｄｗ値を比較すると、それぞれ「３」、「１」であるから、この局所領域における最大ｄｗ値は「３」となり、この値が最大ｄｗマップに格納される（図５（ａ））、また最大フロー方向は「３」の値を持つ方向である「上」となり、この方向が最大方向マップに格納される（図５（ｂ））。実際の処理では、上下左右の４方向のｄｗ値について同様の比較がなされる。この処理を全ての局所領域に対して順次繰り返していく。
【００４０】
なお、図５（ｂ）では例示のために方向を矢印で示しているが、実際には適当な数字に置き換えられて格納される。
【００４１】
以上の処理によって得られた最大ｄｗマップは、局所的フローとして図地分析部２２に供給される。
【００４２】
次に、大局的画像処理部１８及び図地分析部２２の処理について、図６のフローチャートを参照して詳細に説明する。
【００４３】
まず、大局的画像処理部１８は、慣性情報取得部２０から供給された慣性情報を用いて、撮像装置１２の運動によって入力画像内に生じる動き成分（以下、「大局的フロー」と呼ぶ）を計算する（Ｓ５０）。この計算方法を図７を参照して説明する。まず、撮像装置１２の３次元座標系（Ｘ，Ｙ，Ｚ）をＺ軸がカメラの光軸と一致するように設定する。Ｚ＝ｆで表される面を撮像面とし、撮像面の座標系（ｘ，ｙ）をｘ軸及びｙ軸が撮像装置の座標系のＸ軸及びＹ軸と同じ方向を向くように設定する。ここで、ｆは焦点距離である。この場合、撮像装置１２について計測された慣性情報が並進速度（Ｕ，Ｖ，Ｗ）と角速度（Ａ，Ｂ，Ｃ）であるとき、背景上における点Ｐ（Ｘ_ｂ，Ｙ_ｂ，Ｚ_ｂ）が投影される撮像面上の点（ｘ，ｙ）における速度ベクトル（ｕ，ｖ）は、以下の式で計算される。
【００４４】
【数４】

【００４５】
得られた速度ベクトル（ｕ，ｖ）が大局的フローとなる。
【００４６】
式（４）によれば、画素毎に大局的フローが求まることになるが、そうすると画像内のノイズに敏感になりすぎるので、本実施形態では、適当な数の局所領域（例えば縦４×横４の計１６個の局所領域）を１セットとし、この１セットの局所領域に含まれる画素について求められた速度ベクトルを平均し、これを当該１セットの局所領域の大局的フローとして用いている。あるいは、１セットの画像領域の中心付近にある画素の速度ベクトルを大局的フローとして用いる。
【００４７】
図６に戻り、大局的画像処理部１８は、大局的フローを使用して、時刻ｔにおける画像から時刻ｔ＋１における画像を予測する（Ｓ５２）。具体的には、時刻ｔにおける画像内の各画素の位置を対応する大局的フロー（速度ベクトル）（ｕ，ｖ）だけ動かすことによって、時刻ｔ＋１における予測画像を計算することができる（図８参照）。これを、「ワープ推定法」と呼ぶ。
【００４８】
そして、大局的画像処理部１８は、時刻ｔ＋１における予測画像と、連続画像出力部２０から実際に供給された時刻ｔ＋１の画像とを画像内で同じ座標にある画素の輝度値同士で比較し、画像全体について輝度値の差分の絶対値を計算する（Ｓ５４）。以下、これを「差分画像データ」と呼ぶことにする。計算した差分画像データは図地分析部２２に供給される。
【００４９】
図地分析部２２は、供給された差分画像データを使用して局所的フローを修正する（Ｓ６０）。まず、差分画像データを入力画像について設定されている局所領域と同じように分ける。次に、各局所領域に含まれる画素について差分の絶対値の平均を計算する。そして、この平均値に比例する係数ｍを、次式（５）に従って、最大ｄｗマップ内で対応する局所領域の位置に格納されている各ｄｗ値に掛け合わせる。
【００５０】
ＲＬＦ＝ｍ×ＬＦ／２５５　　　（５）
ここで、「ＬＦ」は最大ｄｗマップの各局所領域のｄｗ値であり、「ＲＬＦ」は修正後のｄｗ値を示す。修正後のｄｗ値は最大ｄｗマップの対応する位置に格納される。以下、これを「修正局所的フロー」と呼ぶ。
【００５１】
図地分析部２２は、各局所領域の修正局所的フローを予め設定されている閾値と比較する（Ｓ６２）。そして、閾値より大きい修正局所的フローを有する局所領域を「図」と推定される領域（以下、「図候補領域」と呼ぶ）として抽出し（Ｓ６２）、物体有無判定部２４に供給する。このように、図地分析部２２において、「地」または「図」と推定された領域の差分画像データによって、局所的フローが一層強調されることになる。
【００５２】
大局的フローは、撮像される画像に関係のない慣性情報から計算されるため、画像内に物体が無いとした場合に生じる画像内の各画素の動きを表している。従って、撮像装置１２が移動しているか静止しているかにかかわらず、物体の存在する領域の画像は予測画像と一致しないことになり、その領域の差分画像データは大きな値を持つ。言い換えると、差分画像データが小さい部分は、時間的に連続する２枚の画像から求めた局所的フローと大局的フローが近似していること、つまり画像のその部分が撮像装置の運動（自己運動）と近いことを表している。従って、この部分は図地分析部２２によって「地」と推定される。反対に、差分画像データが大きい部分は、画像のその部分に自己運動と異なる動きがあることを表している。従って、この部分は図地分析部２２によって「図」と推定される。
【００５３】
次に、物体有無判定部２４について説明する。物体有無判定部２４は、供給された図候補領域のうち類似度の高い局所的フローを有する領域をクラスタリングして物体の有無を判定する。
【００５４】
まず、図候補領域とされた局所領域のうち、領域間の距離が所定の閾値以下のものを同じクラスタに編入する。そして、そのクラスタと別の局所領域の間の距離に応じて、局所領域をクラスタに編入するか否かを決定していく。すべての局所領域が何れかのクラスタに属したら、所定数以上の局所領域を含むクラスタは残し、他のクラスタはノイズとして排除する。最終的にクラスタが残った場合、物体有無判定部２４は入力画像内に物体が存在すると判定し、残らなかった場合は、入力画像内に物体は存在しないと判定する。このクラスタリングについては、他の任意の公知の手法を用いても良い。
【００５５】
以上説明したようにして、第１の実施形態に係る物体検出装置１０は、設計者が記述できる環境（例えば、運動体が平面状を移動するときのように、慣性情報から大局的フローを計算できる環境）においては、事前に何ら学習を行うことなく、画像内の物体を検出することが可能である。
【００５６】
＜第２の実施形態＞
次に、本発明の第２の実施形態を説明する。
【００５７】
図９は本発明の第２の実施形態に係る物体検出装置１００の全体的な構成を示すブロック図である。連続画像出力部１１４、局所的画像処理部１１６、慣性情報取得部１２０、物体有無判定部１２４及び判定出力部１２６は、第１の実施形態に関して既に述べた各機能ブロックと同様であるが、大局的画像処理部１１８及び図地分析部１２２における処理、並びに図地分析部１２２から大局的画像処理部１１８にフィードバックがある点が第１の実施形態と異なる。従って、以下では、第２の実施形態における大局的画像処理部１１８と図地分析部１２２の処理についてのみ図１０のフローチャートを参照して説明する。
【００５８】
ステップＳ１３０〜Ｓ１３４における処理は、図６のステップＳ５０〜Ｓ５４と同様である。ステップＳ１３０で計算された大局的フローとステップＳ１３４で計算された差分画像データは、図地分析部１２２に供給される。
【００５９】
図地分析部１２２は、差分画像データと局所的画像処理部１１６から受け取る局所的フローを使用して大局的フローを修正する（Ｓ１５０）。この修正は、図１１に示すフローチャートに従って、以下のように行われる。
【００６０】
図地分析部１２２は、まず各局所領域の局所的フローと予め設定されている閾値とを比較し、閾値より小さい局所的フローを有する局所領域を「地」として抽出する（Ｓ１６０）。そして、「地」と推定された局所領域に含まれる画像部分の大局的フローの大きさと方向を修正対象として選択する（Ｓ１６２）。
【００６１】
最初に大局的フローの大きさの修正について説明する（図１１の左列のフロー）。選択した大局的フローに対応する１セットの局所領域について、各局所領域の最大ｄｗ値を最大ｄｗマップから選び出し、その平均を計算する（Ｓ１６４）。次にこの平均値の大局的フローの大きさに対する割合を計算する（Ｓ１６６）。「地」と推定された局所領域に含まれる画像部分の大局的フローの全てについて以上の計算を行い、さらに割合の平均値を計算する（Ｓ１６８）。最後に、この割合の平均値を、画像内に含まれる大局的フローの大きさのすべてについて掛け合わせ、得られたものを大局的フローの大きさとする（Ｓ１７０）。
【００６２】
続いて大局的フローの方向の修正について説明する（図１１の右列のフロー）。選択した大局的フローに対応する１セットの局所領域について、各局所領域の各方向のｄｗ値を方向マップから選び出し、その方向の角度を持つベクトルとして全ての方向について合成する（Ｓ１７２）。合成されたベクトルの方向を対応する大局的フローの方向とする（Ｓ１７４）。大きさと方向を修正された大局的フロー（以下「修正大局的フロー」と呼ぶ）は、大局的画像処理部１１８に送られる。
【００６３】
図１０に戻り、大局的画像処理部１１８は、時刻ｔの画像と修正大局的フローを使用して上記のワープ推定法により時刻ｔ＋１の予測画像を計算する（Ｓ１３６）。そしてこの予測画像と時刻ｔ＋１の実際の画像の差分をとって差分画像データを計算する（Ｓ１３８）。これを「修正差分画像データ」と呼ぶ。修正差分画像データは図地分析部１２２に送られる。
【００６４】
図地分析部１２２は、ステップＳ６０について説明したのと同様にして、修正差分画像データを使用して局所的フローを修正し（Ｓ１５２）、修正局所的フローに基づいて図候補領域を抽出する（Ｓ１５４）。
【００６５】
以降の処理は第１の実施形態と同様である。
【００６６】
このように第２の実施形態では、慣性情報を利用して計算される大局的フローと、局所領域について計算される局所的フローを相互に参照して修正することによって、画像内の物体の検出精度を向上させる。
【００６７】
＜第３の実施形態＞
続いて、本発明の第３の実施形態について説明する。
【００６８】
この実施形態では、撮像装置１２を搭載した運動体は、物体検出の実行に先立って物体検出を行おうとするコースを移動して、移動方向の画像を撮像し、後述する自己運動予測空間を構築しておく（以下、この過程を「学習」と呼ぶ）。そして、物体検出の実行時には、自己運動予測空間上に過去と現在の画像を投影し、それを再構成することによって予測画像を計算する。
【００６９】
図１２は第３の実施形態に係る物体検出装置２００の全体的な構成を示すブロック図である。大局的画像処理部２１８の処理以外は、図１に示す第１の実施形態に係る物体検出装置１０の各機能ブロックと同じである。従って、以下では、図１３及び図１４を参照して大局的画像処理部２１８の処理のみを説明する。
【００７０】
図１３は学習時のフローチャートである。このとき大局的画像処理部２１８は、物体検出を行おうとするコースを移動しながら移動方向の画像を予め撮像しておき、その画像から自己運動予測空間を構築する。
【００７１】
まず、大局的画像処理部２１８は、連続画像出力部２１４から時刻ｔ−１、時刻ｔ及び時刻ｔ＋１における画像からなる３枚の連続画像の組を受け取る（Ｓ２３０）。この連続画像の組は、所定の期間にわたって必要な数だけ収集される。収集が終わると、この３枚の画像を横一列に接続したものに対してＫＬ変換を実行して固有空間（自己運動予測空間）を構築する（Ｓ２３２）。このとき、慣性情報取得部２２０から得る慣性情報も併せたものに対してＫＬ変換して、自己運動予測空間を構築しても良い。
【００７２】
図１４は物体検出時のフローチャートである。このとき大局的画像処理部２１８は、自己運動予測空間を作成したコースと同一のコース上を移動し、連続画像出力部２１４から時刻ｔ−１及び時刻ｔにおける画像の組を受け取る。そして、時刻ｔ−１及び時刻ｔにおける画像の組を自己運動予測空間に投影し再構成することで、時刻ｔ＋１の予測画像を計算する（Ｓ２４０）。具体的には、時刻ｔ−１及び時刻ｔにおける画像からなる入力ベクトルに上記のＫＬ変換で求めた自己運動予測空間を構成する主成分ベクトルを順次掛け合わせていくことによって、自己運動予測空間における座標を計算する。この座標から、接続された３枚の連続画像の組を再現することができ、これから時刻ｔ＋１の画像に対応する部分を切り出すことによって予測画像が得られる。
【００７３】
ステップＳ２３２で慣性情報も合わせてＫＬ変換を行った場合は、実行時にも慣性情報を加えて再構成を行う。
【００７４】
そして、上記の第１の実施形態と同様にして、時刻ｔ＋１の予測画像と連続画像出力部２１４から供給された時刻ｔ＋１の実際の画像とを比較して、差分画像データを計算する（Ｓ２４２）。以降の図地分析部２２２の処理（Ｓ２５０〜Ｓ２５２）は第１の実施形態と同様である。
【００７５】
このように第３の実施形態では、上記のワープ推定法のような画像予測が不可能な環境（例えば、運動体が凹凸のある面を移動するときのように、画素を単純に大局的フローの分だけ移動させて予測画像とすることができない環境）においても、同じ環境を予め運動体に走行させ、学習による事前の知識として自己運動予測空間を構築しておくことで、物体検出が可能となる。
【００７６】
＜第４の実施形態＞
続いて、本発明の第４の実施形態を説明する。
【００７７】
第３の実施形態と同様に、この実施形態では、撮像装置１２を搭載した運動体は、物体検出の実行に先立って物体検出を行おうとするコースを移動して、移動方向の画像を撮像し、自己運動予測空間を構築しておく。そして、物体検出実行時は、自己運動予測空間上に過去と現在の画像を投影し、それを再構成することによって予測画像と大局的フローを計算する。
【００７８】
図１５は本発明の第４の実施形態に係る物体検出装置３００の全体的な構成を示すブロック図である。大局的画像処理部３１８の処理以外は図１０に示す第２の実施形態の物体検出装置１００の各機能ブロックと同じである。従って、以下では、図１６及び図１７を参照して大局的画像処理部１８の処理のみを説明する。
【００７９】
図１６は学習時のフローチャートである。このとき大局的画像処理部３１８は、物体検出を行おうとするコースを移動しながら移動方向の画像を予め撮像しておき、その画像から自己運動予測空間を構築する。まず、大局的画像処理部３１８は、任意の方法により時刻ｔにおける大局的フローを計算する（Ｓ３３０）。続いて、大局的画像処理部３１８は、連続画像出力部３１４から時刻ｔ−１、時刻ｔ及び時刻ｔ＋１における画像からなる３枚の連続画像の組を受け取る（Ｓ３３２）。この連続画像の組は、所定の期間にわたって必要な数だけ収集される。収集が終わると、この３枚の画像を横一列に接続したものに大局的フローを加えたもの対してＫＬ変換を実行して自己運動予測空間を構築する（Ｓ３３４）。慣性情報も併せたものに対して自己運動予測空間を構築しても良い。
【００８０】
図１７は物体検出時のフローチャートである。このとき大局的画像処理部３１８は、自己運動予測空間を作成したコースと同一のコース上を移動し、連続画像出力部３１４から時刻ｔ−１及び時刻ｔにおける画像の組を受け取る。そして、時刻ｔ−１及び時刻ｔにおける画像の組を自己運動予測空間に投影し上記ステップＳ２４０について説明したのと同様に再構成することで、時刻ｔ＋１の予測画像と大局的フローを計算する（Ｓ３４０）。続いて、時刻ｔ＋１における予測画像と、連続画像出力部３１４から実際に供給された時刻ｔ＋１の画像とを比較して、差分画像データを計算する（Ｓ３４２）。差分画像データと大局的フローは図地分析部３２２に供給される。
【００８１】
図地分析部３２２は、上記第２の実施形態と同様にして、差分画像データと局所的画像処理部３１６から受け取る局所的フローを用いて大局的フローを修正する（Ｓ３５０）。大局的画像処理部３１８は、時刻ｔの画像と修正大局的フローから、上記ワープ推定法を用いて時刻ｔ＋１の予測画像を計算する（Ｓ３４４）。そしてこの予測画像と時刻ｔ＋１の実際の画像から再び差分画像データを計算する（Ｓ３４６）。以降の図地分析部３２２の処理（Ｓ３５２〜Ｓ３５４）は第２の実施形態と同じである。
【００８２】
このように第４の実施形態では、学習時に大局的フローも利用して自己運動予測空間を構築しておくので、物体検出実行時に式（４）のような計算を行わなくても、予測画像と大局的フローの両方を求めることができる。
【００８３】
以上、種々の実施形態を示したが、本発明はこれらに限定されるものではない。
【００８４】
【発明の効果】
本発明によれば、入力画像内の図と地を大まかに分離する差分画像データを計算する大局的画像処理と、入力画像内の局所的フローを計算する局所的画像処理とを並列に実行し、双方の処理結果を相互に参照することによって、高速に精度の高い物体検出が可能となる。また、慣性情報との融合により、物体検出精度を向上することが可能となる。さらに、自己運動による入力画像の変化を予測するため、静止した物体の検出も可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による物体検出装置の全体構成図である。
【図２】局所的画像処理部における処理を説明するフローチャートである。
【図３】局所領域の位置とマップの対応関係を説明する図である。
【図４】各方向のｄｗマップの一例を示す図である。
【図５】最大ｄｗマップと最大方向マップの一例を示す図である。
【図６】図１の大局的画像処理部と図地分析部における処理を説明するフローチャートである。
【図７】慣性情報から大局的フローを求める方法の一例を示す図である。
【図８】ワープ推定法を説明する図である。
【図９】本発明の第２の実施形態による物体検出装置の全体構成図である。
【図１０】図９の大局的画像処理部と図地分析部における処理を説明するフローチャートである。
【図１１】大局的フローの修正を説明するフローチャートである。
【図１２】本発明の第３の実施形態による物体検出装置の全体構成図である。
【図１３】図１２の大局的画像処理部の学習時における処理を説明するフローチャートである。
【図１４】図１２の大局的画像処理部と図地分析部の物体検出時における処理を説明するフローチャートである。
【図１５】本発明の第３の実施形態による物体検出装置の全体構成図である。
【図１６】図１５の大局的画像処理部の学習時における処理を説明するフローチャートである。
【図１７】図１５の大局的画像処理部と図地分析部の物体検出時における処理を説明するフローチャートである。
【符号の説明】
１０、１００、２００、３００　　　　物体検出装置
１２、１１２、２１２、３１２　　　　撮像装置
１４、１１４、２１４、３１４　　　　連続画像出力部
１６、１１６、２１６、３１６　　　　局所的画像処理部
１８、１１８、２１８、３１８　　　　大局的画像処理部
２０、１２０、２２０、３２０　　　　慣性情報取得部
２２、１２２、２２２、３２２　　　　図地分析部
２４、１２４、２２４、３２４　　　　物体有無判定部
２６、１２６、２２６、３２６　　　　判定出力部

Claims

運動する撮像装置により撮像される入力画像内の物体を検出する物体検出装置であって、
運動によって入力画像内に生じる動き成分を認識し該動き成分と一貫しない領域を分離する大局的画像処理と、入力画像内の局所的なフロー情報を計算する局所的画像処理とを並列して実行し、双方の処理結果を相互に参照することによって物体検出の精度を向上することを特徴とする、物体検出装置。
運動する撮像装置により撮像される入力画像内の物体を検出する物体検出装置であって、
第１の入力画像及び第１の入力画像と時間的に連続する第２の入力画像を組にして出力する連続画像出力部と、
前記第１の入力画像と第２の入力画像から局所的フローを計算する局所的画像処理部と、
前記撮像装置の動きを計測して慣性情報を計算する慣性情報取得部と、
前記慣性情報を使用して、前記撮像装置の運動によって入力画像内に生じる動き成分である大局的フローを計算し、該大局的フローと前記第１の入力画像を使用して前記第２の入力画像の予測画像を計算し、該予測画像と第２の入力画像の差分を取った差分画像データを算出する大局的画像処理部と、
前記差分画像データを使用して前記局所的フローを修正し、修正された局所的フローを所定の閾値と比較して、前記入力画像内において物体が存在する可能性の高い図候補領域を抽出する図地分析部と、
前記図候補領域における物体の有無を判定する物体有無判定部と、
を含む物体検出装置。
運動する撮像装置により撮像される入力画像内の物体を検出する物体検出装置であって、
第１の入力画像及び第１の入力画像と時間的に連続する第２の入力画像を組にして出力する連続画像出力部と、
前記第１の入力画像と第２の入力画像から局所的フローを計算する局所的画像処理部と、
前記撮像装置の動きを計測して慣性情報を計算する慣性情報取得部と、
前記慣性情報を使用して、前記撮像装置の運動によって入力画像内に生じる動き成分である大局的フローを計算し、該大局的フローと前記第１の入力画像を使用して前記第２の入力画像の予測画像を計算し、該予測画像と第２の入力画像の差分を取った差分画像データを算出する大局的画像処理部と、
前記差分画像データと前記局所的フローを使用して前記大局的フローを修正する図地分析部とを含み、
前記大局的画像処理部は、修正された大局的フローと前記第１の入力画像を使用して前記第２の入力画像の予測画像を再度作成し、該再度作成された予測画像と前記第２の入力画像の差分を取った修正差分画像データを算出し、
前記図地分析部は、前記修正差分画像データを使用して前記局所的フローを修正し、修正した局所的フローを所定の閾値と比較して、前記入力画像内において物体が存在する可能性の高い図候補領域を抽出し、
前記図候補領域における物体の有無を判定する物体有無判定部をさらに含む物体検出装置。
前記大局的画像処理部は、前記大局的フローより得られる各画素の変位により、前記第１の入力画像をワープ変換することにより予測画像を計算するワープ推定法を用いる、請求項２または３に記載の物体検出装置。
運動する撮像装置により撮像される入力画像内の物体を検出する物体検出装置であって、
第１の入力画像、第１の入力画像と時間的に連続する第２の入力画像及び第３の入力画像を組にして出力する連続画像出力部と、
前記第１の入力画像と第２の入力画像から局所的フローを計算する局所的画像処理部と、
予め前記入力画像についての固有空間を構築しておき、該固有空間に前記第１の入力画像及び第２の入力画像を投影することにより前記第３の入力画像の予測画像を計算し、該予測画像と前記第３の入力画像との差分を取った差分画像データを算出する大局的画像処理部と、
前記差分画像データを使用して前記局所的フローを修正し、修正した局所的フローを所定の閾値と比較して、前記入力画像内において物体が存在する可能性の高い局所的な領域である図候補領域を抽出する図地分析部と、
前記図候補領域における物体の有無を判定する物体有無判定部と、
を含む物体検出装置。
運動する撮像装置により撮像される入力画像内の物体を検出する物体検出装置であって、
第１の入力画像、第１の入力画像と時間的に連続する第２の入力画像及び第３の入力画像を組にして出力する連続画像出力部と、
前記第１の入力画像と第２の入力画像から局所的フローを計算する局所的画像処理部と、
前記撮像装置の動きを計測して慣性情報を計算する慣性情報取得部と、
前記慣性情報を使用して、前記撮像装置の運動によって入力画像内に生じる動き成分である大局的フローを計算し、予め前記入力画像と前記大局的フローについての固有空間を構築しておき、該固有空間に前記第１の入力画像及び第２の入力画像を投影することにより前記第３の入力画像の予測画像と大局的フローを計算し、該予測画像と前記第３の入力画像との差分を取った差分画像データを算出する大局的画像処理部と、
前記差分画像データと局所的フローを使用して前記大局的フローを修正する図地分析部とを含み、
前記大局的画像処理部は、修正された大局的フローと前記第２の入力画像を使用して前記第３の入力画像の予測画像を再度計算し、該再度計算した予測画像と前記第３の入力画像の差分を取った修正差分画像データを算出し、
前記図地分析部は、前記差分画像データを使用して前記局所的フローを修正し、修正した局所的フローを所定の閾値と比較して、前記入力画像内において物体が存在する可能性の高い局所的な領域である図候補領域を抽出し、
前記図候補領域における物体の有無を判定する物体有無判定部をさらに含む物体検出装置。
前記局所的フローは、前記入力画像内の局所領域毎にガボールフィルタを適用して計算されるオプティカルフローである、請求項２、３、５または６に記載の物体検出装置。
前記物体有無判定部は、図候補領域のクラスタリングを行い、最終的に図候補領域が残ったとき、画像内に物体が存在すると判定する、請求項２、３、５または６に記載の物体検出装置。
運動する撮像装置により撮像される入力画像内の物体を検出する方法であって、
第１の入力画像及び第１の入力画像と時間的に連続する第２の入力画像を組にして出力し、
前記第１の入力画像と第２の入力画像から局所的フローを計算し、
前記撮像装置の動きを計測して慣性情報を計算し、
該慣性情報を使用して、前記撮像装置の運動によって入力画像内に生じる動き成分である大局的フローを計算し、
該大局的フローと前記第１の入力画像を使用して前記第２の入力画像の予測画像を計算し、
該予測画像と第２の入力画像の差分を取った差分画像データを算出し、
該差分画像データを使用して前記局所的フローを修正し、
修正された局所的フローを所定の閾値と比較して、前記入力画像内において物体が存在する可能性の高い図候補領域を抽出し、
該図候補領域における物体の有無を判定することを含む物体検出方法。
運動する撮像装置により撮像される入力画像内の物体を検出する方法であって、
第１の入力画像及び第１の入力画像と時間的に連続する第２の入力画像を組にして出力し、
前記第１の入力画像と第２の入力画像から局所的フローを計算し、
前記撮像装置の動きを計測して慣性情報を計算し、
該慣性情報を使用して、前記撮像装置の運動によって入力画像内に生じる動き成分である大局的フローを計算し、
該大局的フローと前記第１の入力画像を使用して前記第２の入力画像の予測画像を計算し、
該予測画像と第２の入力画像の差分を取った差分画像データを算出し、
該差分画像データと前記局所的フローを使用して前記大局的フローを修正し、修正された大局的フローと前記第１の入力画像を使用して前記第２の入力画像の予測画像を再度作成し、
該再度作成された予測画像と前記第２の入力画像の差分を取った修正差分画像データを算出し、
該修正差分画像データを使用して前記局所的フローを修正し、
修正された局所的フローを所定の閾値と比較して、前記入力画像内において物体が存在する可能性の高い図候補領域を抽出し、
該図候補領域における物体の有無を判定すること含む物体検出方法。
運動する撮像装置により撮像される入力画像内の物体を検出する方法であって、
第１の入力画像、第１の入力画像と時間的に連続する第２の入力画像及び第３の入力画像を組にして出力し、
前記第１の入力画像と第２の入力画像から局所的フローを計算し、
予め前記入力画像についての固有空間を構築しておき、該固有空間に前記第１の入力画像及び第２の入力画像を投影することにより前記第３の入力画像の予測画像を計算し、
該予測画像と前記第３の入力画像との差分を取った差分画像データを算出し、
該差分画像データを使用して前記局所的フローを修正し、
修正した局所的フローを所定の閾値と比較して、前記入力画像内において物体が存在する可能性の高い局所的な領域である図候補領域を抽出し、
該図候補領域における物体の有無を判定することを含む物体検出方法。
運動する撮像装置により撮像される入力画像内の物体を検出する方法であって、
第１の入力画像、第１の入力画像と時間的に連続する第２の入力画像及び第３の入力画像を組にして出力し、
前記第１の入力画像と第２の入力画像から局所的フローを計算し、
前記撮像装置の動きを計測して慣性情報を計算し、
前記慣性情報を使用して、前記撮像装置の運動によって入力画像内に生じる動き成分である大局的フローを計算し、
予め前記入力画像と前記大局的フローについての固有空間を構築しておき、該固有空間に前記第１の入力画像及び第２の入力画像を投影することにより前記第３の入力画像の予測画像と大局的フローを計算し、
該予測画像と前記第３の入力画像との差分を取った差分画像データを算出し、
該差分画像データと局所的フローを使用して前記大局的フローを修正し、
修正された大局的フローと前記第２の入力画像を使用して前記第３の入力画像の予測画像を再度計算し、
該再度計算した予測画像と前記第３の入力画像の差分を取った修正差分画像データを算出し、
該差分画像データを使用して前記局所的フローを修正し、
修正した局所的フローを所定の閾値と比較して、前記入力画像内において物体が存在する可能性の高い局所的な領域である図候補領域を抽出し、
該図候補領域における物体の有無を判定することを含む物体検出方法。