JP2007172052A - 移動体認識装置 - Google Patents

Abstract

【課題】 処理を複雑化させることなく、特定の移動体同士の前後関係を認識することができる移動体認識装置を提供する。
【解決手段】 移動体認識装置１は、複数の車両を撮像し、時間的に異なる２つの撮像画像を取得する撮像カメラ２と、局所特徴量を用いて各撮像画像に一緒に写っている複数の車両をそれぞれ検出して、少なくとも２つの検出領域をそれぞれ形成する物体検出部５と、一方の撮像画像に検出領域同士が重なっている部分が存在するが、他方の撮像画像では対応する検出領域同士が重なっていないときに、一方の撮像画像上の検出領域と他方の撮像画像上の検出領域との間の対応度を求める対応度検出部７と、当該対応度に基づいて、撮像画像上で重なっている各車両の前後関係を判定する前後判定部８と、局所特徴量を用いて撮像画像上での車両の隠れている部位を特定する隠れ部位特定部９とを有している。
【選択図】 図１

Description

本発明は、例えば道路上を走行する車両等といった複数の移動体の状態を認識する移動体認識装置に関するものである。

従来の移動体認識装置としては、例えば特許文献１に記載されているものが知られている。この文献に記載の移動体認識装置は、画像上で重なった移動体同士を分割して認識するために、時間を遡って画像処理を行うものである。例えば、時刻ｔ−１では移動体Ａ，Ｂ同士が重なっており、時刻ｔでは移動体Ａ，Ｂ同士が重なっていないとする。この場合、まず時刻ｔと時刻ｔ−１の画像において背景差分を求め、時刻ｔでは２つの移動体（Ａ，Ｂ）の位置を求め、時刻ｔ−１では１つの移動体（Ａ，Ｂ）の位置（実際にはＡ，Ｂが重なっている位置）を求める。次いで、時刻ｔと時刻ｔ−１の間でブロックマッチングを行い、移動体Ａ，Ｂの動きベクトルを求める。そして、時刻ｔにおける移動体Ａ，Ｂの位置と動きベクトルとにより、時刻ｔ−１における移動体Ａ，Ｂの位置を求める。このとき、移動体Ａ，Ｂでブロックを共有する箇所が存在することで、移動体Ａ，Ｂが重なっていることを認識する。また、時刻ｔ−１における移動体のブロックと時刻ｔにおける移動体のブロックとの相関度を求め、時刻ｔ−１において重なったブロックが移動体Ａ，Ｂのどちらであったのかを識別する。
特開２００２−１３３４２１号公報

しかしながら、上記従来技術においては、数多くの撮像画像が必要となるため、画像処理装置による処理が複雑化せざるを得ない。また、上記従来技術は、あくまでブロックマッチングを基にした処理を行うものであり、連続するフレーム間での対応関係はとれるが、特定の対象の検出や認識を行うことはできない。

本発明の目的は、処理を複雑化させることなく、特定の移動体同士の前後関係を認識することができる移動体認識装置を提供することである。

本発明は、複数の移動体の状態を認識する移動体認識装置において、複数の移動体を撮像し、複数の移動体が一緒に写っている２つの異なる撮像画像を取得する撮像手段と、撮像手段により取得した２つの異なる撮像画像を入力し、予め決められている移動体に関する局所特徴量の組み合わせによって各撮像画像における複数の移動体をそれぞれ検出して、各撮像画像上において少なくとも２つの検出領域をそれぞれ形成する移動体検出手段と、２つの撮像画像の何れか一方に検出領域同士が重なっている部分が存在するが、２つの撮像画像の他方においては対応する検出領域同士が重なっていないときに、一方の撮像画像上の検出領域と他方の撮像画像上の検出領域との間の対応度を求める対応度検出手段と、対応度検出手段により求めた対応度に基づいて、複数の移動体の前後関係を判定する前後判定手段とを備えることを特徴とするものである。

このような移動体認識装置において、例えば時刻ｔ−１に取得された撮像画像では、２つの移動体同士が重なっており、時刻ｔに取得された撮像画像では、当該２つの移動体同士が重なっていないとする。このとき、局所特徴量の組み合わせにより時刻ｔ−１における撮像画像上で２つの移動体が検出されて、これに対応する検出領域が形成され、更に局所特徴量の組み合わせにより時刻ｔにおける撮像画像上で２つの移動体が検出されて、これに対応する検出領域が形成される。そして、一方の撮像画像上の検出領域と他方の撮像画像上の検出領域との間の対応度を求められる。この対応度は、例えば上記の局所特徴量をどの程度共有しているかを表す関数を用いて求めることができる。続いて、そのように求めた対応度から、２つの移動体の前後関係が判定される。この判定は、例えば上記の関数による計算結果を利用して行うことができる。

このように本発明の移動体認識装置によれば、複数の移動体が一緒に写っている２つの撮像画像から、各移動体の前後関係を判定するので、数多くの撮像画像を用いる場合のように処理を複雑化させなくて済む。また、予め決められている移動体に関する局所特徴量を用いて、移動体同士の前後関係を判定するので、特定の移動体に関する局所特徴量を登録しておくことで、特定の移動体同士の前後関係を認識することができる。さらに、背景差分を用いて処理することは無いので、例えば車両といった振動の激しい環境下に移動体認識装置を設置しても、各移動体同士の前後関係を認識することができる。

好ましくは、局所特徴量を用いて、前後判定手段により撮像手段に対して後側にあると判定された移動体の隠れている部位を特定する隠れ部位特定手段を更に備える。この場合、例えば一方の撮像画像上における隠れている部位を有する移動体を含む検出領域と他方の撮像画像上における対応する移動体を含む検出領域との間において、局所特徴量の共有度合いを検出することで、当該移動体の隠れている部位を特定することができる。このように撮像画像において各移動体同士が重なっている場合に、移動体のどの部位が隠れているのかを特定可能となるので、車両の灯火類等といった重要な部位が隠されている場合に、特に有効である。

また、好ましくは、移動体検出手段により形成された検出領域を記憶する記憶手段を更に備え、撮像手段は、複数の移動体を２回撮像することにより、複数の移動体が一緒に写っている２つの異なる撮像画像を取得する手段であり、対応度検出手段は、移動体検出手段により新たに形成された検出領域と記憶手段に記憶されている検出領域との間の対応度を求める。この場合には、複数の移動体が一緒に写っている２つの異なる撮像画像として、時間的に異なる２つの撮像画像を取得することができる。

また、撮像手段は、撮像位置の異なる２つの撮像部を有し、複数の移動体を２つの撮像部で撮像することにより、複数の移動体が一緒に写っている２つの異なる撮像画像を取得する手段であり、対応度検出手段は、２つの撮像部の何れか一方により取得した撮像画像上の検出領域と２つの撮像部の他方により取得した撮像画像上の検出領域との間の対応度を求める構成であっても良い。この場合には、複数の移動体が一緒に写っている２つの異なる撮像画像として、空間的に異なる２つの撮像画像を取得することができる。

本発明によれば、処理を複雑化させることなく、特定の移動体同士の前後関係を認識することができる。これにより、複数の移動体の状態を精度良く認識することが可能となる。

以下、本発明に係わる移動体認識装置の好適な実施形態について、図面を参照して詳細に説明する。

図１は、本発明に係わる移動体認識装置の一実施形態の構成を示す機能ブロックである。本実施形態の移動体認識装置１は、自動車等の車両に搭載され、道路上を走行する複数の車両の状態を認識するものである。

同図において、移動体認識装置１は、自車両の前方を走行する複数の車両を撮像する撮像カメラ２と、この撮像カメラ２により取得した撮像画像を入力し、所定の画像処理を行い、自車両の前方を走行する複数の車両の状態を認識する画像処理ユニット３と、この画像処理ユニット３による認識結果を表示する表示モニタ４とを備えている。

撮像カメラ２は、複数の車両が一緒に写っている撮像画像を取得するものであり、可視光カメラでも赤外線カメラでも良い。ここでは、時間的に異なる２つの撮像画像を必要とするため、撮像カメラ２として例えば単眼カメラを使用し、撮像カメラ２により異なるタイミングで連続撮像を行うものとする。なお、撮像カメラ２としては、ステレオカメラ等の複眼カメラを使用しても良い。

画像処理ユニット３は、物体検出部５と、検出結果記憶部６と、対応度検出部７と、前後判定部８と、隠れ部位特定部９と、表示制御部１０とを有している。

物体検出部５は、撮像カメラ２により取得した２つの撮像画像を取り込む。そして、予め決められている特定の車両に関する局所特徴量の組み合わせによって、２つの撮像画像の何れか一方に一緒に写っている複数の車両を検出して、当該撮像画像において車両を含む少なくとも２つの検出領域を形成すると共に、同様の局所特徴量の組み合わせによって、２つの撮像画像の他方に一緒に写っている複数の車両を検出して、当該撮像画像において車両を含む少なくとも２つの検出領域を形成する。

局所特徴量の組み合わせによる検出手法としては、例えばViola＆Jones法やＳＶＭを利用した手法を採用する。局所特徴量としては、Haar Waveletやパッチ等を用いる。Haar Waveletは、データ圧縮、ノイズ除去、エッジ認識など様々なアプリケーションに活用されている。局所特徴量は、検出枠に対する座標（ｘ，ｙ）が決まっている特徴量を指し、例えば図２に示すようなものである。なお、局所特徴量としては、そのような輝度差を表すものだけでなく、輝度差を表したものにマスクをかけたものを兼用しても良い。

物体検出部５では、車両に関する複数の局所特徴量を撮像画像に対して当てはめ、その時に所定の閾値を越えたら車両と判定し、その部分に検出枠を付けるようにする。このような手法を採用することで、撮像画像において車両らしい部分に検出枠を付けて、検出領域を形成することができる。

物体検出部５の処理によって得られた検出結果の一例を図３に示す。図３（ａ）、（ｂ）は、物体検出部５により形成された検出領域を含む２つの撮像画像を時系列に示したものである。検出領域は、各撮像画像において検出枠Ｚに囲まれた領域である。図３（ａ）に示す撮像画像には検出領域Ａ〜Ｃが含まれ、図３（ｂ）に示す撮像画像には検出領域Ｄ〜Ｇが含まれている。ここで、図３（ａ）に示す撮像画像では、検出領域Ｂ，Ｃに車両が存在しているが、検出領域Ａには車両が存在していない。これは、誤検出によるものである。また、図３（ｂ）に示す撮像画像でも、誤検出によって車両の無い検出領域Ｄ，Ｅが形成されている。

検出結果記憶部６は、上記のように移動体検出部５により形成された検出領域を順次記憶する。

対応度検出部７は、まず移動体検出部５により新たに形成された検出領域と移動体検出部５により既に形成されて検出結果記憶部６に記憶されている検出領域とを入力し、同一の撮像画像において検出領域同士が重なっている部分が存在するかどうかを判断する。そして、時間的に異なる２つの撮像画像の何れか一方に検出領域同士が重なっている部分が存在するが、他方の撮像画像においては対応する検出領域同士が重なっていないときに、一方の撮像画像上の検出領域と他方の撮像画像上の検出領域との間の対応度を求める。

図３に示す撮像画像を例にとって、一方の撮像画像上の検出領域と他方の撮像画像上の検出領域との間の対応度を求める手法について述べる。図３（ａ）に示す撮像画像では、検出領域Ｂ，Ｃの一部同士が重なっているが、図３（ｂ）に示す撮像画像では、検出領域Ｂ，Ｃに対応する検出領域Ｆ，Ｇに重なっている部分は存在しない。

対応度検出部７による対応度の算出処理は、一方の撮像画像に含まれる全ての検出領域と他方の撮像画像に含まれる全ての検出領域との間で行う。このとき、図３（ａ）に示す撮像画像には３つの検出領域が存在し、図３（ｂ）に示す撮像画像には４つの検出領域が存在しているため、対応度は３＊４の行列として表現できる。

具体的には、対応度の算出は、例えば下記の関数ｆを用いて行う。

式１

ただし、Ａは、一方の撮像画像上の検出領域（検出枠内）における局所特徴量の集合を表し、同様にＢは、他方の撮像画像上の検出領域における局所特徴量の集合を表わす。♯（）は、局所特徴量の数を表す。つまり、上記の式は、Ａから見て、ＡとＢとの間で局所特徴量をどの程度共有しているかを示すものである。

また、下記の関数ｆを用いて対応度を算出することで、更に安定化させることも可能である。

式２

他に、下記の関数ｆを用いることもできる。

式３

ただし、ｎは局所特徴量の総数であり、Ａ_ｉはＡの検出に使われたｉ番目の局所特徴量の値を表す。

なお、上記の方法では、局所特徴量のみを変数としているが、例えば撮像画像において各検出枠に囲まれる領域のコントラスト差や輝度差を考慮し、これらを変数として加えても良い。

上記の（Ｃ）式を用いて、図３（ａ）に示す撮像画像に含まれる検出領域Ａ〜Ｃと図３（ｂ）に示す撮像画像に含まれる検出領域Ｄ〜Ｇとの間の対応度を求めた結果を図４に示す。ここでは、（Ｃ）式の算出結果（図４の表に示す数値）が小さくなるほど、対応度が高くなる。

図４に示すものでは、検出領域Ｂに含まれる車両（車両１とする）と検出領域Ｆに含まれる車両は同一であるため、検出領域Ｂと検出領域Ｆとの間の対応度は、検出領域Ｂと検出領域Ｄ，Ｅ，Ｇとの間の対応度に比べて高くなっている。

前後判定部８は、対応度検出部７により求めた２つの撮像画像の各検出領域間の対応度に基づいて、一方の撮像画像において重なっている２つの車両の前後関係を判定する。具体的には、対応度検出部７の処理で使用される対応度行列によって、図５に示すように、２つの撮像画像の各検出領域間の対応関係を示すグラフを作成し、２つの車両の前後関係を判定する。

図５に示すグラフ中のノードは、検出領域Ａ〜Ｇに対応している。また、グラフ中のリンクの重みは、対応度行列の要素により決定され、検出領域Ａ〜Ｃと検出領域Ｄ〜Ｇとの間の対応度によって決まる。具体的には、検出領域Ａ〜Ｃと検出領域Ｄ〜Ｇとの間の対応度が大きくなるほど、リンクの重みが大となる。このとき、例えば検出領域Ａと検出領域Ｄのリンクの重みは、検出領域Ａから見た時の対応度と検出領域Ｄから見た時の対応度との和としても良いし、検出領域Ａ，Ｄの何れか一方から見た時の対応度のみとしても良い。このリンクの重みに従って、図５（ａ）に示すグラフのリンクを切断し、各ノードが１：１のリンクとなるようにする。ただし、リンクの重みの総和が最大になるようにする。また、各撮像画像において検出領域の数に差がある場合は、検出領域の数の少ない方にリンク数を合わせる。

図４に示すような対応度関係がある場合に、図５（ａ）に示すリンクの切断を終えると、図５（ｂ）に示すようなグラフとなる。ここで、一方の撮像画像において一部同士が重なっている検出領域Ｂ，Ｃは、それぞれ他方の撮像画像における検出領域Ｆ，Ｇに対応することとなる。

次いで、重なっていない検出領域Ｆ，Ｇから、一部が重なっている検出領域Ｂ，Ｃのリンクの重みを調べる。図５（ｂ）に示す例では、Ｆ→ＢとＧ→Ｃのリンクの重みを調べることとなる。これらのリンクの重みを大小判定することで、一部が重なっている検出領域Ｂ，Ｃに写っている各車両の前後関係を判定する。具体的には、検出領域Ｂと検出領域Ｆとの間の対応度、検出領域Ｃと検出領域Ｇとの間の対応度のうち小さい方に対応する車両が、撮像カメラ２に対して手前側に位置している（後方を走行している）と判断する。従って、図３（ａ）に示す撮像画像においては、検出領域Ｃに含まれる車両（車両２）が撮像カメラ５に対して後側に位置し（前方を走行し）、当該車両の一部が隠れていると判定される。

隠れ部位特定部９は、上記の前後判定部８により撮像カメラ２に対して後側にあると判定された車両における隠れている部位の特定を行う。この特定処理は、物体検出部５の処理で使用された局所特徴量を用いて、以下のようにして行う。

即ち、例えば図３に示すものでは、一部が隠れている車両を含む検出領域Ｃと、これに対応する検出領域Ｇとに注目する。このとき、物体検出部５の処理で使用された局所特徴量の中から、検出領域Ｃと検出領域Ｇとの間で値が大きく異なる局所特徴量に注目しても良いし、或いは検出領域Ｇでは閾値を越えていたが、検出領域Ｃでは閾値を越えていない局所特徴量に注目しても良い。局所特徴量は、検出枠における位置が一意に決まっている。このため、上記の注目した局所特徴量を見ることで、一方の撮像画像に写っている車両において隠れのある部位を特定することができる。

具体的には、検出領域Ｃ，Ｇに含まれる画素ごとに、検出領域Ｃでは閾値を越えておらず、検出領域Ｇでは閾値を越えていた局所特徴量を数える。このとき、局所特徴量の数量に閾値を設け、この閾値以上になった画素を隠れのある部位とする。また、検出領域Ｃに含まれる画素ごとに、検出領域Ｃと検出領域Ｇとの局所特徴量の値の差を累積させる。このとき、局所特徴量の値の差に閾値を設け、この閾値以上になった画素を隠れのある部位としても良い。

表示制御部１０は、前後判定部８の判定結果、つまり一方の撮像画像上で重なっている２つの車両の前後関係と、隠れ部位特定部９の特定結果、つまり当該撮像画像上において車両の隠れている部位とを表示モニタ４に表示させる。

図６は、このような画像処理ユニット３による処理手順を示すフローチャートである。このフローチャートを用いて移動体認識装置１の動作を説明する。

まず撮像カメラ２によって、自車両の前方を走行する複数の車両が所定の時間間隔で撮像され、複数の車両が同時に写っている時系列の撮像画像が得られる。すると、画像処理ユニット３は、その撮像画像を取り込み、車両に関する局所特徴量を用いて撮像画像に写っている複数の車両を検出して、当該撮像画像上において車両を含む検出領域を形成する（図６のＳ１）。そして、その検出領域データを検出結果記憶部６に記憶しておく。

続いて、画像処理ユニット３は、次に取得された撮像画像を取り込み、同様にして当該撮像画像に写っている複数の車両を検出して、当該撮像画像上において車両を含む検出領域を形成する（図６のＳ１）。続いて、その新たに形成した最新の検出領域または既に記憶されている前回の検出領域に、重なっている部分が存在するかどうかを判断する（図６のＳ２）。そして、前回の検出領域同士で重なっている部分が存在するが、これに対応する最新の検出領域同士が重なっていないとき、或いは最新の検出領域同士で重なっている部分が存在するが、これに対応する前回の検出領域同士が重なっていないときは、最新の検出領域と前回の検出領域との間の対応度を求める（図６のＳ３）。そして、最新の検出領域データを検出結果記憶部６に記憶しておく。

一方、前回の検出領域同士で重なっている部分が存在せず、且つ最新の検出領域同士で重なっている部分が存在しないときは、当該撮像画像に係わる認識処理を終了し、次に撮像カメラ２により取得した撮像画像を取り込み、上記と同様の処理を行う（図６のＳ２→Ｓ６）。また、前回の検出領域同士で重なっている部分が存在し、これに対応する最新の検出領域同士も重なっているときにも、当該撮像画像に係わる認識処理を終了し、次の撮像画像の処理を行う（図６のＳ２→Ｓ６）。

続いて、得られた対応度データから、一方の撮像画像において重なっている２つの車両の前後関係を判定する（図６のＳ４）。続いて、撮像カメラ２に対して後側にあると判定された車両の隠れている部位の特定を行う（図６のＳ５）。そして、重なっている２つの車両の前後関係と車両の隠れている部位とを表示モニタ４に表示させる。これにより、自車両の運転者は、前方を走行している複数の車両の状態を知ることができる。

以上のような本実施形態の移動体認識装置１にあっては、時間的に異なる２つの撮像画像を入力し、車両に関する局所特徴量の組み合わせによって各撮像画像に写っている２つの車両を検出して、当該車両を含む検出領域をそれぞれ形成し、一方の撮像画像上の各検出領域と他方の撮像画像上の各検出領域との間の対応度を求め、この対応度を基にして撮像画像上で重なっている２つの車両の前後関係を判定する。このように車両に関する局所特徴量を用いるので、例えば車両と他の移動体（例えば歩行者等）とを区別することができる。

また、撮像画像上で重なっている２つの車両が存在する場合に、上記の局所特徴量を用いて車両の隠れている部位を特定するので、車両の前後関係だけでなく、車両のどの部位が隠れているかを認識することもできる。これにより、車両の検出や追跡だけでなく、車両の状態の推定も行う場合に、隠れのため見えていない部位を見えているものと誤認識してしまうことが無くなるため、車両の状態を正しく推定することができる。従って、例えば車両のウィンカ（灯火類）が隠されていても、ウィンカが点灯しているか否かを知ることが可能となる。

このとき、車両の前後関係の判定及び車両の隠れている部位の特定を、２つの撮像画像だけを取り込んで行うことが可能であるので、画像処理ユニット３による処理の簡単化を図ることができる。

また、２台の車両の前後関係の認識等において背景差分の算出を行うものは、背景が激しく変動する環境（例えば車載用途）には適さない。しかし、画像処理ユニット３による処理では、そのような背景差分の算出を行わなくて済むので、移動体認識装置１を振動の激しい車両に搭載しても、２台の車両の前後関係等を認識することができる。

図７は、本発明に係わる移動体認識装置の他の実施形態の構成を示す機能ブロックである。図中、上記の実施形態と同一または同等の部材には同じ符号を付し、その説明を省略する。

同図において、本実施形態の移動体認識装置２０は、撮像カメラ２１Ａ，２１Ｂを備えている。これらの撮像カメラ２１Ａ，２１Ｂは単眼カメラであり、撮像位置が異なるように所定の間隔を隔てて配置されている。撮像カメラ２１Ａ，２１Ｂは、自車両の前方を走行する複数の車両を同時に撮像することにより、複数の車両が一緒に写っている２つの撮像画像を取得する。つまり、これらの撮像画像は、時間的ではなく空間的に異なるものである。なお、撮像カメラとしては、撮像位置の異なる２つの撮像部を有する複眼カメラを使用しても良く、この場合には撮像カメラは１つだけであれば良い。

また、移動体認識装置２０は、上記の実施形態における画像処理ユニット３に代えて画像処理ユニット２２を有している。画像処理ユニット２２は、物体検出部２３Ａ，２３Ｂと、対応度検出部２４と、前後判定部８と、隠れ部位特定部９と、表示制御部１０とを有している。

物体検出部２３Ａは、撮像カメラ２１Ａにより取得した撮像画像を取り込み、上記の局所特徴量を用いて撮像画像に写っている複数の車両を検出して、当該撮像画像上に車両を含む少なくとも２つの検出領域を形成する。物体検出部２３Ｂは、撮像カメラ２１Ｂにより取得した撮像画像を取り込み、局所特徴量を用いて撮像画像に写っている複数の車両を検出して、当該撮像画像上に車両を含む少なくとも２つの検出領域を形成する。物体検出部２３Ａ，２３Ｂの具体的な検出処理は、上記実施形態における物体検出部５と同様である。

対応度検出部２４は、物体検出部２３Ａにより形成された検出領域と物体検出部２３Ｂにより形成された検出領域とを入力し、同一の撮像画像において検出領域同士が重なっている部分が存在するかどうかを判断する。そして、空間的に異なる２つの撮像画像の何れか一方に検出領域同士が重なっている部分が存在するが、他方の撮像画像においては対応する検出領域同士が重なっていないときに、一方の撮像画像上の検出領域と他方の撮像画像上の検出領域との間の対応度を求める。対応度検出部２４の具体的な検出処理は、上記実施形態における対応度検出部７と同様である。

このように空間的に異なる２つの撮像画像を使用する場合でも、撮像画像において重なっている２つの車両の前後関係の判定と、その時に車両の隠れている部位の特定とを行うことができる。

なお、本発明は、上記実施形態に限定されるものではない。例えば上記実施形態の移動体認識装置は、撮像画像に写っている各車両同士の前後関係と、撮像画像に写っている車両の隠れている部位とを認識するものであるが、各車両同士の前後関係のみを認識しても良い。

また、上記実施形態の移動体認識装置は、車両に搭載されるものであるが、本発明は、そのような車載用に限られず、例えば道路脇などに設置するタイプのものにも適用可能である。

さらに、上記実施形態の移動体認識装置は、道路上を走行している複数の車両の状態を認識する装置であるが、本発明は、そのような車両以外の移動体の状態を認識するものにも適用可能である。

本発明に係わる移動体認識装置の一実施形態の構成を示す機能ブロックである。 局所特徴量の一例を示す図である。 図１に示す物体検出部により形成された検出領域の一例を撮像画像と共に示した図である。 図１に示す対応度検出部の処理によって得られた各検出領域間の対応度の一例を示した表である。 図１に示す前後判定部により、撮像画像において重なっている２つの車両の前後関係を判定する手法を示す図である。 図１に示す画像処理ユニットの処理手順を示すフローチャートである。 本発明に係わる移動体認識装置の他の実施形態の構成を示す機能ブロック図である。

符号の説明

１…移動体認識装置、２…撮像カメラ（撮像手段）、５…物体検出部（移動体検出手段）、６…検出結果記憶部（記憶手段）、７…対応度検出部（対応度検出手段）、８…前後判定部（前後判定手段）、９…隠れ部位特定部（隠れ部位特定手段）、２０…移動体認識装置、２１Ａ，２１Ｂ…撮像カメラ（撮像部、撮像手段）、２３Ａ，２３Ｂ…物体検出部（移動体検出手段）、２４…対応度検出部（対応度検出手段）、Ａ〜Ｃ…検出領域、Ｄ〜Ｇ…検出領域。

Claims (4)

1. 複数の移動体の状態を認識する移動体認識装置において、
   前記複数の移動体を撮像し、前記複数の移動体が一緒に写っている２つの異なる撮像画像を取得する撮像手段と、
   前記撮像手段により取得した前記２つの異なる撮像画像を入力し、予め決められている前記移動体に関する局所特徴量の組み合わせによって前記各撮像画像における前記複数の移動体をそれぞれ検出して、前記各撮像画像上において少なくとも２つの検出領域をそれぞれ形成する移動体検出手段と、
   前記２つの撮像画像の何れか一方に前記検出領域同士が重なっている部分が存在するが、前記２つの撮像画像の他方においては対応する検出領域同士が重なっていないときに、前記一方の撮像画像上の検出領域と前記他方の撮像画像上の検出領域との間の対応度を求める対応度検出手段と、
   前記対応度検出手段により求めた前記対応度に基づいて、前記複数の移動体の前後関係を判定する前後判定手段とを備えることを特徴とする移動体認識装置。
2. 前記局所特徴量を用いて、前記前後判定手段により前記撮像手段に対して後側にあると判定された移動体の隠れている部位を特定する隠れ部位特定手段を更に備えることを特徴とする請求項１記載の移動体認識装置。
3. 前記移動体検出手段により形成された前記検出領域を記憶する記憶手段を更に備え、
   前記撮像手段は、前記複数の移動体を２回撮像することにより、前記複数の移動体が一緒に写っている２つの異なる撮像画像を取得する手段であり、
   前記対応度検出手段は、前記移動体検出手段により新たに形成された検出領域と前記記憶手段に記憶されている検出領域との間の対応度を求めることを特徴とする請求項１または２記載の移動体認識装置。
4. 前記撮像手段は、撮像位置の異なる２つの撮像部を有し、前記複数の移動体を前記２つの撮像部で撮像することにより、前記複数の移動体が一緒に写っている２つの異なる撮像画像を取得する手段であり、
   前記対応度検出手段は、前記２つの撮像部の何れか一方により取得した撮像画像上の検出領域と前記２つの撮像部の他方により取得した撮像画像上の検出領域との間の対応度を求めることを特徴とする請求項１または２記載の移動体認識装置。
   
   
   
   
   
   

Images