JP2006302115A - 物体検出方法および物体検出装置 - Google Patents

Abstract

【目的】本発明は、カメラを用いて撮影した画像をもとに当該画像上で物体を検出する物体検出方法および物体検出装置に関し、入力画像と背景画像に対して周波数強調を行って物体を精度良好かつ安定に抽出すると共に過去の物体位置から現在の物体位置を予測して予測範囲内のときに物体と判定して確実性を向上させることを目的とする。
【構成】 カメラで撮影した入力画像および物体のないときの背景画像を取得するステップと、取得した入力画像および背景画像を小領域に分割するステップと、分割した各小領域毎の入力画像および背景画像についてそれぞれ周波数強調演算するステップと、周波数強調演算した後の各小領域の入力画像と背景画像とを比較して閾値以上のときに小領域に物体有と判定するステップとを有する。
【選択図】 図１

Description

本発明は、カメラを用いて撮影した画像をもとに当該画像上で物体を検出する物体検出方法および物体検出装置に関するものである。

従来、カメラで広い範囲内の物体を監視する場合、複数のカメラで分割してそれぞれの領域の画像を撮影して監視したり、カメラにズームレンズを装着し通常は広い範囲内の画像を撮影して表示し当該画像中から物体を抽出して監視し、必要に応じてズームレンズで拡大した拡大画像を撮影して当該拡大画像中から物体を抽出して監視したりしている。

これらの際、画像中の小さな物体を監視する場合には、動画像を利用して動きベクトルを計算し、動きベクトルの変化している領域を移動物体として検出する方法がある（特許文献１）。
特開２００２−７４３６９号公報

上述した複数のカメラで広い範囲内の物体を監視したのでは、多数のカメラが必要となったり、また、ズームレンズをカメラに装着したのでは広い範囲と狭い拡大した範囲とを切り替えて画像をそれぞれ撮影したりなどの面倒な操作および作業が要求されてしまうという問題がある。

また、画像中から物体を認識する場合、上述した特許文献１の手法のように、動画像を利用して動きベクトルを計算し、動きベクトルの変化している領域を移動物体として検出したのでは、小さく映る物体では画像上の動きがほとんどないために検出し難いという問題もあった。

本発明は、これらの問題を解決するため、入力画像と背景画像に対して周波数強調を行って物体を精度良好かつ安定に抽出すると共に過去の物体位置から現在の物体位置を予測して予測範囲内のときに物体と判定して確実性を向上させるようにしている。

本発明は、カメラで撮影した画像上で小さく映る物体と背景とを周波数強調してその差分を求めて背景と異なる物体を精度良好かつ感度良好に検出することが可能となる。

本発明は、入力画像と背景画像に対して周波数強調を行って物体を精度良好かつ安定に抽出すると共に過去の物体位置から現在の物体位置を予測して予測範囲内のときに物体と判定して確実性を向上させることを実現した。

図１は、本発明のシステム構成図を示す。
図１において、カメラ１は、入力画像および物体の存在しない背景画像を撮影するものであって、アナログのビデオカメラである。尚、デジタルのビデオカメラ１の場合には、デジタルの入力画像および背景画像を出力するので、後述するＡ／Ｄ変換器１１は不要である。

コンピュータ２は、カメラ１からの画像（入力画像および背景画像）について小領域に分割して周波数強調演算して各小領域に物体が存在するか否かを検出し、物体が存在した小領域を結果として出力などするものであって、図示の１１から２５などによって構成されるものである。

Ａ／Ｄ変換器１１は、アナログのカメラ１で撮影された画像（入力画像、背景画像）をデジタルの画像にアナログ・デジタル変換するものである。

画像制御部１２は、入力されたデジタルの画像（入力画像、背景画像）を画像記憶部１３に記憶したりなどの各種画像の記憶、アクセス制御などするものである。

画像記憶部１３は、デジタルの画像（入力画像、背景画像）を記憶するものであって、例えばハードディスク装置である。

小領域分割部１４は、画像（入力画像、背景画像）を所定の小領域に分割するものである（図２および図６参照）。小領域は、例えば１台のカメラで撮影した全画像中の監視範囲、例えば５画素×５画素を１つの小領域として分割し、当該小領域内に物体が存在するか否かを検出する（図２のフローチャートに従い検出する）。

明るさ・強調量制御部３は、画像（入力画像、背景画像）の小領域毎に明るさを検出して周波数強調するときに使用するパラメータ（例えば閾値）を最適に制御（補正制御）するものであって、明るさ変化検出部１５、強調量制御部１６、明るさ記憶部１７などから構成されるものである。

明るさ変化検出部１５は、入力画像と背景画像の小領域毎の明るさの変化（差）などを検出するものである（図４参照）。

強調量制御部１６は、明るさ変化検出部１５でによって検出された明るさの変化（差）などに応じたパラメータ（例えば周波数強調時の閾値）に制御するものである（図４参照）。

明るさ記憶部１７は、明るさ変化検出部１５で検出された明るさの変化（差）などを記憶するものである（図４参照）。

周波数強調部１９は、画像の小領域毎（あるいは画像の全体）に周波数強調演算するものであって、高周波強調処理部２０および低周波強調処理部２１などから構成されるものである（図２、図３、図９参照）。

高周波強調処理部２０は、画像の小領域毎（あるいは画像の全体）に高周波強調演算を行うものである（図２、図３、図９参照）。

低周波強調処理部２１は、画像の小領域毎（あるいは画像の全体）に低周波強調演算を行うものである（図２、図３、図９参照）。

物体検出部２２は、画像（入力画像、背景画像）の小領域毎の周波数強調演算結果をもとに、小領域毎に物体が有りを検出するものである（図２、図３参照）。

背景画像更新部２３は、背景画像を更新するものである。
物体位置予測部４は、過去の物体の位置情報をもとに現在の物体の位置情報を予測するものであって、運動判定部２４、物体位置記憶部２５などから構成されるものである（図７参照）。

運動判定部２４は、過去の物体の位置情報をもとに現在の物体の位置情報を予測判定するものである（図７参照）。

物体位置記憶部２５は、物体の過去の位置を記憶するものである（図７参照）。
次に、図２のフローチャートの順番に従い、図１の構成の全体の動作を詳細に説明する。

図２は、本発明の動作説明フローチャート（全体）を示す。
図２において、Ｓ１は、背景画像を取得する。これは、図１のカメラ１で監視対象の全体について、物体が存在しないときを見計らって撮影した画像（背景画像）を取得、あるいは予め物体が存在しない状態で撮影した監視対象の全体の画像（背景画像）を図示外のメモリから読み出して取得する。

Ｓ２は、入力画像を撮影する。これは、図１のカメラ１で監視対象の現在の全体を撮影してその画像（入力画像）を取得する。

Ｓ３は、小領域に分割する。これは、Ｓ１で取得した背景画像およびＳ２で撮影して取得した入力画像について、それぞれ所定の小領域（例えば５画素×５画素の小領域）に分割する。

Ｓ４は、小領域毎に周波数強調を行う。これは、Ｓ３で分割した小領域（入力画像と背景画像の両者）について、後述する図３のフローチャートに従い周波数強調演算する。

Ｓ５は、小領域毎に比較し、入力画像が背景画像と類似か判別する。これは、例えば図８で説明するように、小領域毎に周波数強調演算した後、入力画像の輝度分布と、背景画像の輝度分布とを比較し、所定閾値以上の差があるときに当該小領域に物体有りと判定する（詳細には図３参照）。ＹＥＳの場合には、比較して類似と判明したので、Ｓ６で小領域内に物体なしと判定し、終了する。一方、ＮＯの場合には、Ｓ７に進む。

Ｓ７は、結果の統合と位置、大きさを算出する。これは、Ｓ６で小領域毎に物体の有りを判定したので、これら物体有りと判定した小領域を統合し、統合後の位置と大きさを算出する（例えば図６の（ｃ）に示すように、６つの小領域を統合し、統合後の位置と大きさを算出する）。

Ｓ８は、過去の物体情報を基に現在の物体を判定する。これは、図７を用いて後述するように、過去の物体の位置情報をもと現在の物体の位置を予測し、当該予測した範囲内に物体が位置するか判別する。

Ｓ９は、予測範囲内か判別する。これは、Ｓ８で過去の物体の位置情報をもとに予測した現在の物体の予測範囲内にあるか判別する。ＹＥＳの場合には、予測範囲内に物体があると判明したので、Ｓ１０で物体有りと決定し、終了する。一方、ＮＯの場合には、予測範囲内に物体が無いと判明したので、Ｓ１１で背景あるいは他の物体と判定し、Ｓ１２でパラメタ（強調量）を変えて再試行するために、Ｓ５以降を繰り返す。

以上によって、現在の入力画像を撮影して取得すると共に背景画像を取得し、これら入力画像および背景画像を小領域に分割して周波数強調演算してその差が閾値以上のときに当該小領域に物体有りと判定したり、更に、過去の物体の位置情報をもとに現在の物体の予測範囲を推定して当該予測範囲内にあるときに物体がありと判定することが可能となる。これにより、画像上で小領域毎（あるいは全体）に周波数強調して物体の有無を高感度かつ精度良好に検出すると共に過去の物体位置情報をもとに現在の範囲を予測してその範囲内のときにその小領域内に物体有りと判定することでより物体の検出精度を向上させることが可能となる。以下順次詳細に説明する。

図３は、本発明の動作説明フローチャート（強調）を示す。これは、図２で既述したＳ４、Ｓ５の詳細フローチャートを示す。

図３において、Ｓ２１は、背景、入力の分割された小領域に対してフィルタリング演算を行う。

Ｓ２２は、代表点に結果を反映する。これらＳ２１、Ｓ２２は、既述した図２のＳ３で分割した背景画像および入力画像の各小領域に対して、後述する例えば図９の（ａ）の高周波強調処理用のフィルタを行列演算する（即ち、小領域の左上を起点に右下の終点に至るまで順次右方向に１ビットシフト、右端に行ったときは次の行の左端から順に繰り返し行列演算を行い、行列演算結果を代表点（例えば行列の中央の点）に上書きすることを繰り返すという、いわゆる公知の行列演算を行う）。

Ｓ２３は、処理対象があるか判別する。ＹＥＳの場合には、Ｓ２４で次の画素へ進み、Ｓ２１以降を繰り返す。ＮＯの場合には、小領域の全ての処理対象のフィルタリング演算を終了したので、Ｓ２５に進む。

Ｓ２５は、背景、入力で対応する小領域を比較し、類似か判別する。これは、Ｓ２１、Ｓ２２でフィルタリング演算した後の小領域の入力画像と背景画像とを比較（例えば図８の輝度分布を比較）し、類似か（所定閾値以内の差か）判別する。ＹＥＳの場合には、小領域の入力画像と、背景画像の輝度分布の差が所定閾値以下と判明し、当該小領域内に物体が存在しないと判明したので、Ｓ２６で物体なしと判定し、Ｓ３４に進む。一方、ＮＯの場合には、小領域内の入力画像と背景画像とが類似しないと判明（所定閾値以上の差がありと判明）したので、次の、低周波成分の強調処理のＳ２７に進む。

以上のＳ２１からＳ２５によって、小領域毎（あるいは全体）の入力画像および背景画像に対し高周波成分の強調演算を行い、その差（輝度分布の差）が所定閾値以上のときに類似しないとし、当該小領域内に物体がある候補として決定し、次のＳ２７以降に進むことが可能となる。

Ｓ２７は、背景、入力の分割された小領域に対してフィルタリング演算を行う。
Ｓ２８は、代表点に結果を反映する。これらＳ２７、Ｓ２８は、既述した図２のＳ３で分割した背景画像および入力画像の各小領域に対して、後述する例えば図９の（ｂ）の低周波強調処理用のフィルタを行列演算する（即ち、小領域の左上を起点に右下の終点に至るまで順次右方向に１ビットシフト、右端に行ったときは次の行の左端から順に繰り返し行列演算を行い、行列演算結果を代表点（例えば行列の中央の点）に上書きすることを繰り返すという、いわゆる公知の行列演算を行う）。

Ｓ２９は、処理対象があるか判別する。ＹＥＳの場合には、Ｓ３０で次の画素へ進み、Ｓ２７以降を繰り返す。ＮＯの場合には、小領域の全ての処理対象のフィルタリング演算を終了したので、Ｓ３１に進む。

Ｓ３１は、背景、入力で対応する小領域を比較し、類似か判別する。これは、Ｓ２７、Ｓ２８で低周波強調用のフィルタリング演算した後の小領域の入力画像と背景画像とを比較（例えば図８の輝度分布を比較）し、類似か（所定閾値以内の差か）判別する。ＹＥＳの場合には、小領域の入力画像と、背景画像の輝度分布の差が所定閾値以下と判明し、当該小領域内に物体が存在しないと判明したので、Ｓ３２で物体なしと判定し、Ｓ３４に進む。一方、ＮＯの場合には、小領域内の入力画像と背景画像とが類似しないと判明（所定閾値以上の差がありと判明）したので、Ｓ３３で当該小領域内に物体有りと決定し、Ｓ３４に進む。

Ｓ３４は、処理する小領域があるか判別する。ＹＥＳの場合には、Ｓ３５でＳＴＡＲＴに戻り次の小領域へ進む。一方、ＮＯの場合には、終了する。

以上のＳ２７からＳ３５によって、小領域毎（あるいは全体）の入力画像および背景画像に対し低周波成分の強調演算を行い、その差（輝度分布の差）が所定閾値以上のときに類似しないとし、当該小領域内に物体があると決定することが可能となる。

図４は、本発明の動作説明フローチャート（閾値補正）を示す。
図４において、Ｓ４１は、背景、入力の輝度ヒストグラムを算出する。これは、各小領域毎の背景画像および入力画像について、それぞれ公知の輝度ヒストグラム（横軸を輝度、縦軸を頻度として公知の輝度ヒストグラム）を算出する。

Ｓ４２は、背景、入力の算出値を比較し、差があるか判別する。これは、Ｓ４１で算出した各小領域毎の入力画像の輝度ヒストグラムと、背景画像の輝度ヒストグラムとを比較し、所定閾値以上の差があるか判別する。ＹＥＳの場合には、Ｓ４３で差に応じて、パラメータ（周波数強調処理時の比較に用いる閾値）を変更する。

以上によって、小領域毎の背景画像と入力画像の輝度ヒストグラムをそれぞれ算出し、両者に所定以上の差があるときに、当該差に応じたパラメータ（周波数強調処理時の比較に用いる閾値）を変更し、変更後のパラメータで小領域の画像（入力画像と背景画像）の周波数強調処理を行ってより高感度、より確実に物体の存在する小領域を判定することが可能となる。

図５は、本発明の動作説明フローチャート（ゆらぎ補正）を示す。
図５において、Ｓ５１は、背景画像を取得する。

Ｓ５２は、入力画像を撮影する。
Ｓ５３は、背景、入力画像のマッチングを行う。これは、Ｓ５１で取得した背景画像、およびＳ５２で撮影した入力画像の両者について、画像全体あるいは小領域など毎に回転、拡大縮小、平行移動などを行ってマッチングする（最も一致した状態にする）。

Ｓ５４は、入力画像を補正する。これは、Ｓ５３でマッチングした状態となるように、背景画像に対して、入力画像を補正（回転、拡大縮小、平行移動などして補正）する。

Ｓ５５は、背景、入力を小領域に分割する。
Ｓ５６は、小領域毎に背景、入力画像のマッチングを行う。これは、分割した小領域毎に、背景画像と入力画像とを回転、拡大縮小、平行移動などを行い、マッチングする（最も一致した状態にする）。

Ｓ５７は、小領域毎に入力あるいは背景を補正する。これは、Ｓ５６でマッチングした小領域毎に背景画像に対して入力画像を補正、あるいは入力画像に対して背景画像を補正し、最もマッチングした状態にする。

以上によって、背景画像の全体および入力画像の全体について回転、拡大縮小、平行移動などしてマッチングして補正すると共に、更に、各小領域毎に両者の画像をマッチングして補正することが可能となる。これにより、カメラがぶれたりなどによる画像の揺らぎを完全に除去した状態で、小領域毎に入力画像および背景画像について周波数強調処理してその差が閾値以上の当該小領域に物体有りと高精度かつ信頼性高く検出することが可能となる
図６は、本発明の説明図（結果の統合と位置、大きさの算出）を示す。

図６の（ａ）は、入力画像を小領域に分割した例を示す。ここでは、縦横に８×８に分割し、合計６４個の小領域にした例を示す。

図６の（ｂ）は、背景でないと判定された小領域の例を示す。ここでは、図６の（ａ）の入力画像上に図示の人が撮影されていた場合に、当該人が存在する小領域、ここでは、６個の図示の小領域について、図示外の背景画像と入力画像とをそれぞれ周波数強調処理した後にその差が所定閾値以上あったとして物体（ここでは、人）が有りと判定された小領域である（既述した図３のＳ３３の物体有りと判定された小領域である）。

図６の（ｃ）は、統合した後の状態を示す。これは、図６の（ｂ）で物体有りと判定された６個の小領域が隣接しているので１つの矩形に統合したものである（既述した図２のＳ７）。

図７は、本発明の説明図（予測）を示す。これは、既述した図２のＳ８からＳ１０の処理を説明する図である。

図７において、時刻ｔ１、ｔ２，ｔ３で検出された物体がそれぞれ図示の位置であるとする。これら過去の検出された物体の位置から現在の物体の位置は、図中の点線の楕円の範囲内に来ると予測できる。そして、現在の時刻ｔ４の物体の位置が点線の予測した楕円の範囲内に来たときは、既述した図２のＳ９のＹＥＳとなり、現在検出された物体は過去の位置情報から予測された範囲内にあり、当該検出された小領域内に物体有りと確実性が高く判定することが可能となる（既述した図２のＳ１０）。一方、図示の予測される楕円の範囲内に物体が来ないとき（範囲内に物体が検出されないときあるいは範囲外に物体が検出されたとき）には、他の物体と判定することが可能となる。

図８は、本発明の説明図（小さく映る物体の輝度分布の例）を示す。
図８の（ａ）は入力画像の輝度分布（物体が存在）の例を示し、図８の（ｂ）は背景画像の輝度分布（入力画像と同じ位置）の例を示す。ここで、小領域内に物体が存在する図８の（ａ）の入力画像の輝度分布の高さ（輝度）と、図８の（ｂ）の背景画像の輝度分布の高さ（輝度）との差ΔＩを求めると、ここでは、所定閾値Ｉ０よりも大きく、物体有りと判定される例を示す。

以上のように、小領域毎の入力画像の輝度分布と、背景画像の輝度分布とを比較し、その差ΔＩが所定閾値ＩＯよりも大きいときに当該小領域内に物体有りと判定することが可能となる。

図９は、本発明の周波数強調説明図を示す。
図９の（ａ）は高周波強調処理で用いるフィルタの例を示し、図９の（ｂ）は低周波強調処理で用いるフィルタの例を示す。図示のフィルタをもとに、小領域毎の画像（入力画像と背景画像）についてそれぞれ公知の行列演算を行いその結果を代表点に反映（更新）することより、画像に対する周波数強調処理（高周波強調処理、低周波強調処理）を施すことが可能となる（既述した図３参照）。

（付記１）
カメラを用いて撮影した画像をもとに当該画像上で物体を検出する物体検出方法において、
前記カメラで撮影した入力画像および物体のないときの背景画像を取得するステップと、
前記取得した入力画像および背景画像を小領域に分割するステップと、
前記分割した各小領域毎の入力画像および背景画像についてそれぞれ周波数強調演算するステップと、
前記周波数強調演算した後の各小領域の入力画像と背景画像とを比較して閾値以上のときに当該小領域に物体有と判定するステップと
を有する物体検出方法。

（付記２）
前記物体有と判定された小領域について過去の物体の位置情報から予測された現在の物体の位置範囲内に有るときに現在の小領域に物体有りと判定し、一方、無いときに前記記周波数強調演算するパラメータを変えて再試行することを特徴とする付記１記載の物体検出方法。

（付記３）
前記取得した入力画像および背景画像について輝度ヒストグラムを算出し、両者の差があるときに当該差に応じて前記周波数強調演算するときの閾値を変更することを特徴とする付記１あるいは付記２記載の物体検出方法。

（付記４）
前記取得した入力画像および背景画像について回転、拡大縮小、平行移動を行いつつマッチングを行って最も一致させるように補正した後、前記小領域に分割することを特徴とする付記１から付記３のいずれかに記載の物体検出方法。

（付記５）
前記周波数強調演算は、小領域毎あるいは全領域に高周波成分の強調演算および低周波成分の強調演算を行うことを特徴とする付記１から付記４のいずれかに記載の物体検出方法。

（付記６）
カメラを用いて撮影した画像をもとに当該画像上で物体を検出する物体検出装置において、
前記カメラで撮影した入力画像および物体のないときの背景画像を取得する手段と、
前記取得した入力画像および背景画像を小領域に分割する手段と、
前記分割した各小領域毎の入力画像および背景画像についてそれぞれ周波数強調演算する手段と、
前記周波数強調演算した後の各小領域の入力画像と背景画像とを比較して閾値以上のときに当該小領域に物体有と判定する手段と
を備えたことを特徴とする物体検出装置。

本発明は、カメラで撮影した画像上で小さく映る物体と背景とを周波数強調してその差分を求めて背景と異なる物体を精度良好かつ感度良好に検出する物体検出方法および物体検出装置に関するものである。

本発明のシステム構成図である。 本発明の動作説明フローチャート（全体）である。 本発明の動作説明フローチャート（強調）である。 本発明の動作説明フローチャート（閾値補正）である。 本発明の動作説明フローチャート（ゆらぎ補正）である。 本発明の説明図（結果の統合と位置、大きさの算出）である。 本発明の説明図（予測）である。 本発明の説明図（小さく映る物体の輝度分布の例）である。 本発明の周波数強調説明図である。

符号の説明

１：カメラ
２：コンピュータ
３：明るさ・強調量制御部
４：物体位置予測部
１１：Ａ／Ｄ変換器
１２：画像制御部
１３：画像記憶部
１４：小領域分割部
１５：明るさ変化検出部
１６：強調量制御部
１７：明るさ量記憶部
１８：揺れ補正部
１９：周波数強調部
２０：高周波強調処理部
２１：低周波強調処理部
２２：物体検出部
２３：背景画像更新部
２４：運動判定部
２５：物体位置記憶部

Claims (5)

1. カメラを用いて撮影した画像をもとに当該画像上で物体を検出する物体検出方法において、
   前記カメラで撮影した入力画像および物体のないときの背景画像を取得するステップと、
   前記取得した入力画像および背景画像を小領域に分割するステップと、
   前記分割した各小領域毎の入力画像および背景画像についてそれぞれ周波数強調演算するステップと、
   前記周波数強調演算した後の各小領域の入力画像と背景画像とを比較して閾値以上のときに当該小領域に物体有と判定するステップと
   を有する物体検出方法。
2. 前記物体有と判定された小領域について過去の物体の位置情報から予測された現在の物体の位置範囲内に有るときに現在の小領域に物体有りと判定し、一方、無いときに前記記周波数強調演算するパラメータを変えて再試行することを特徴とする請求項１記載の物体検出方法。
3. 前記取得した入力画像および背景画像について輝度ヒストグラムを算出し、両者の差があるときに当該差に応じて前記周波数強調演算するときの閾値を変更することを特徴とする請求項１あるいは請求項２記載の物体検出方法。
4. 前記取得した入力画像および背景画像について回転、拡大縮小、平行移動を行いつつマッチングを行って最も一致させるように補正した後、前記小領域に分割することを特徴とする請求項１から請求項３のいずれかに記載の物体検出方法。
5. カメラを用いて撮影した画像をもとに当該画像上で物体を検出する物体検出装置において、
   前記カメラで撮影した入力画像および物体のないときの背景画像を取得する手段と、
   前記取得した入力画像および背景画像を小領域に分割する手段と、
   前記分割した各小領域毎の入力画像および背景画像についてそれぞれ周波数強調演算する手段と、
   前記周波数強調演算した後の各小領域の入力画像と背景画像とを比較して閾値以上のときに当該小領域に物体有と判定する手段と
   を備えたことを特徴とする物体検出装置。

Images