JP2006107457A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 非常に簡単な処理及びパラメータを用いて木の揺らぎなどの外乱を除去して、検出対象である物体のみを検出する。
【解決手段】 映像入力手段によって撮影された過去の複数枚の画像データを参照画像データとして保存する過去画像群保持装置１１と、映像入力手段によって撮影された画像データと上記過去画像群保持装置１１によって保存された複数枚の参照画像データの画素あるいは小領域での各々の差異を検出し、差異の連続性あるいは出現性を元に画像データ中の移動物体の検出を行う画像移動物体検出部１４とを備える。
【選択図】 図１

Description

本発明は、カメラなどの映像撮像手段によって撮影された画像中の移動物体領域を検出するための画像処理装置及び画像処理方法に関する。

従来、ＩＴＶカメラなどの映像撮影手段によって捉えた映像中の人や車などの物体を監視したり、追跡したりするためには、映像中の物体を検出する必要がある。例えば、ＩＴＶカメラを用いた監視装置へ適用する場合、カメラによって立ち入り禁止区域などの監視したい場所を撮影し、映像内の物体の有無を検知し、物体が進入してきた場合にはアラームをあげるシステムの構築が考えられる。また、デパートや駅などの人が多く出入りする場所において、移動している人間を追跡し、人の流れを調査することで、人の流れの整理やマーケット調査などにも適用できる。

映像中に物体が進入してくると、物体領域の明るさ、即ち画像中の物体領域の輝度値が変化する。したがって、映像内で輝度値に差異がある領域を差異領域として検出することで物体の検知が可能になる。このような画像の差異領域検出する技術としては、フレーム間差分を用いた差異検知法と背景画像を用いた背景差分法がある。フレーム間差分では、現在の時刻に撮影された画像と単位時間前に撮影された画像との輝度の差分を計算することで差異を検出し、差異のある領域に物体が存在すると判定する。しかしながら、現在の時刻に撮影された画像と単位時間前に撮影された画像の２枚のフレーム間差分では、木の揺らぎ、水面のゆれ、あるいは旗の揺らめきなどの外乱まで検出してしまう。

一方、背景差分法では、あらかじめ物体の移っていない画像を背景画像として記録しておき、現在の時刻に撮影された画像と背景画像を比較することで、物体領域を検知する。 背景差分法でも、フレーム間差分法と同様、木などの揺らぎへの対応は難しい。

木の揺らぎのような、検出対象の以外の物体を除去する手段としては、例えば、検出対称以外の物体が過去に出現した画像を解析して複数の確率分布として保持しておく手法である。例えば、木の揺らぎがある場合、葉の部分と葉の後ろにある部分の２つの出現確率を背景として保持しておくことで、葉とその後ろの部分のどちらが出現しても背景とすることができる（例えば、非特許文献１参照）。

また、現在の時刻に撮影された画像と過去に撮影された画像との差分値に対して、閾値処理によって２値化する際に、過去の差分値の累積結果を元に閾値を変動させた背景画像を作成することで、揺らぎに対応しようとした監視装置も提案されている（例えば、特許文献１参照）。

C.Stuffer, W.E.L Grimson,"Adaptive background mixture models for real-time tracking" 特開２０００−１５６８５２号公報 特開平６−１６９４２４号公報

しかしながら、上述の如き非特許文献１の手法では、この手法では、背景として保持しておく確率分布の数やその更新方法など幾つかのパラメータが存在するために、シーンごとにそれら複数のパラメータをチューニングする必要があった。

また、特許文献１の手法では、木のゆれなどのよる輝度値の変化が大きい場合に閾値が大きくなりすぎて、物体が進入したときに検出漏れが生じてしまう恐れがある。

そこで、本発明の目的は、上述の如き従来の問題点に鑑み、非常に簡単な処理及びパラメータを用いて木の揺らぎなどの外乱を除去して、検出対象である物体のみを検出することにある。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。

本発明では、過去数枚の画像群との比較を行い、その差分値の連続性から木の揺らぎなどの外乱を除去して、移動物体領域のみを検出する。
すなわち、本発明に係る画像処理装置は、映像入力手段によって撮影された過去の複数枚の画像データを参照画像データとして保存する参照画像保存手段と、映像入力手段によって撮影された画像データと上記参照画像保存手段によって保存された複数枚の参照画像データの画素あるいは小領域での差異を検出し、差異の連続性あるいは出現性を元に画像データ中の移動物体の検出を行う画像移動物体検出手段とを備えることを特徴とする。

本発明に係る画像処理装置は、例えば、上記画像データと参照画像保存手段に保存された参照画像データを用いて，画像のブレ補正や輝度補正などの画像補正手段をさらに具備し、画像補正手段によって補正された画像を用いて、物体領域を抽出する。

また、本発明に係る画像処理装置では、例えば、上記画像補正手段において、上記画像データと前記参照画像保存手段によって保存された複数枚の参照画像データの各々とのブレを検出し、ブレ補正を行う。

また、本発明に係る画像処理装置では、例えば、上記画像補正手段において、上記画像データと上記参照画像保存手段によって保存された複数枚の参照画像データの各々とのブレを検出する際に、時間的に連続する２枚の参照画像データ間でのブレを検出し、そのブレを蓄積することでブレ補正の基準を設定し、設定したブレ補正の基準値から微小区間のブレ検出を行うことでブレを検出し、ブレ補正を行う。

さらに、本発明に係る画像処理装置は、例えば、映像入力手段によって撮影された画像データと上記背景画像保存手段によって保存された背景画像データの差異を検出する背景差分処理手段と、あらかじめ同一のシーンを撮影しておいた別の画像を背景画像データとして保存する背景画像保存手段と、上記画像移動物体検出手段によって検出された移動物体領域と背景画像保存手段によって保存された背景画像データとの比較を行い、上記画像移動物体検出手段によって移動物体を検出した際に生じる残像を消去する背景差分手段をさらに備える。

本発明に係る画像処理方法は、映像入力手段によって撮影された過去の複数枚の画像データを参照画像データとして保存し、上記映像入力手段によって撮影された画像データと上記保存された複数枚の参照画像データの画素あるいは小領域での各々の差異を検出し、差異の連続性あるいは出現性を元に画像データ中の移動物体の検出を行うことを特徴とする。

本発明では、フレーム間差分による物体検知において、現在の時刻の画像と保持している過去数フレームの過去画像群との差分値の連続性を見ることで、木のゆれが水面のゆれなどの外乱の除き、画像内に侵入してきた物体のみを検出することができる。その際、保存するフレーム数と差分値が閾値を越えた状態が継続する時間の２つのパラメータを与えるだけで、シーンに応じたロバストな物体検出が可能になる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。

本発明では、非常に簡単な処理およびパラメータを用いて木の揺らぎなどの外乱を除去して、検出対象である物体のみを検出する。

本発明に係る画像処理装置１０は、例えば、図１に示すように、カメラなどの映像入力手段によって撮影された過去の複数枚の画像データを参照画像データとして保存する過去画像群保持装置１１と、映像入力手段によって撮影された画像データと上記過去画像群保持装置１１によって保存された複数枚の参照画像データの画素あるいは小領域での各々の差異を検出し、差異の連続性あるいは出現性を元に画像データ中の移動物体の検出を行う画像移動物体検出部１４とを備える。

この画像処理装置１０では、映像撮像手段によって撮像された過去数フレームの画像を過去画像群として過去画像群保持装置１１に保持しておき、移動物体検出部１４において、現在の時刻に撮影された画像と、各々の過去画像群との輝度の差分を差分処理部１２により計算して、差分値の時間的な連続性をカウント部１３によりカウントして、そのカウント値を画像移動物体検出結果として出力する。

すなわち、現在の時刻の画像と過去数フレームの過去画像群との差分値を計算した結果を、図２のような、画像中のある座標における差分値の変化を横軸に時間、縦軸に差分値をとったグラフとして表すと、画像中のある座標に物体が存在しない場合は、図２（Ａ）のように、差分値は非常に小さい状態が継続している。次に、画像中のある座標に物体が進入してきた場合には、図２（Ｂ）のように差分値は変化する。現在の時刻をｔとしてｔ−Δｔのときに物体が進入してきて、現在も物体が存在する場合、ｔ−Δｔ以前は差分値が大きくなり、ｔ−Δｔ以後は差分値が小さくなる。次に、木の葉や波の揺らぎのようなものがあった場合は、図２（Ｃ）のように、差分値はランダムに変動する。ここで言えるのは、物体が進入してきたときは、一定時間の間、差分値が大きい状態が継続することである。そこで、差分値に対して閾値処理を行い、閾値を超えた状態が一定時間継続した場合に物体が存在すると決定する。例えば、過去１秒間において０．５秒以上閾値を越えていた場合に物体が存在すると決定する。木の葉や波の揺らぎのようなものがあった場合は、閾値を越えた状態が継続しないので、物体が存在するとは判定されない。このような処理を画像内の全画素、あるいは一部の画素に対して行うことで移動物体の存在する画素を検出し、検出された画素に対して、隣接画素との結合処理などによるラベリングを行うことで移動物体領域を抽出できる。

また、この画像処理装置１０の移動物体検出部１４では、差分処理部１２により算出される輝度の差分の連続性をカウント部１３によりカウントすることにより、差分値が閾値を超えた状態の継続時間を指標として物体検出処理を行っている。しかしながら、物体が存在する場合でも、ノイズなどの影響で瞬間的に差分値が閾値以下になってしまうことがある。そこで、瞬間的な差分値低下を無視する手法を用いても良い。瞬間的な差分値の低下に対する対策としては、例えば、差分値の時間平均値をとる方法や、閾値以下の状態を許容する時間を設定しておいて、許容時間内に差分値低下になった場合は無視すればよい。

次に、図３を用いて本発明の係る画像処理装置２０について説明する。

図１に示した画像処理装置１０において、現在の時刻の画像と保持している過去数フレームの過去画像群との差分処理によって移動物体を検出する手法について述べた。しかしながら、過去数フレームの画像を保存すると、最も古いフレームと現在のフレームとの時間差が大きくなるため、照明変動や天候変化によって画像全体あるいは一部の明るさが変化してしまうことがある。そのような画像に対してフレーム間差分を行うと、明るさの変化による輝度変化を移動物体として誤検出してしまう。屋外のような明るさの変動がある環境においては、このような誤検出を防ぐ手段を講じる必要がある。

そこで、図３に示す本発明の係る画像処理装置２０は、このような誤検出を防ぐ手段として輝度補正処理部２１を差分処理部１２の前に設け、現在の時刻に撮影された画像と各々の過去画像群との輝度について、上記輝度補正処理部２１により補正処理を施してから、それら差分を差分処理部１２により計算して、その連続性をカウント部１３によりカウントして、その結果を出力する画像移動物体検出部２４を備える。

すなわち、この画像処理装置２０では、画像移動物体検出部２４に輝度補正処理部２１を設けることにより、明るさの変化による輝度変化について、次のような対策をとっている。

まず、画像全体に対して明るさの変化が生じた場合の対策について述べる。ここでは、明るさの変化によるフレーム間の輝度のバラツキを除去するための処理を行う。例えば、フレーム間の輝度平均値を一致させることによって、これを実現する。まず、各画像で画像全体の輝度平均値を計算し、フレーム間差分を行う前に輝度平均値が一致するように輝度変換を行う。そして、現在の画像の輝度平均値を基準値として、過去のフレームの輝度平均値と基準値の差を計算し、計算された差分を過去のフレームにおける各画素に加算していく。このような処理を行うことで、画像全体あるいは一部の輝度平均値を一致させることができるため、天候変化や照明変動による画像全体の明るさ変化による誤検知を削除することができる。

次に、画像の一部分で明るさの変化が生じた場合について述べる。特に、明るさが変化した部分が未知である場合について述べる。既知である場合は、前記した画像全体に対して明るさの変化が生じた場合の対策を既知の部分に適用すればよい。

明るさが変化した部分が未知である場合は、フレーム間差分の前に明るさの補正を行うことが困難であるため、まずはフレーム間差分を行ってしまう。この場合、明るさが変化した部分は移動物体領域として誤検出されてしまう。そこで、フレーム間差分処理によって検出された全ての移動物体領域に対して過去の画像との正規化相関処理を行う。正規化相関処理は次式によって計算される。

Ｎｉ＝Σ（Ｉｃｉ×Ｉｐｉ）÷｛√Σ（Ｉｃｉ×Ｉｃｉ）×√Σ（Ｉｐｉ×Ｉｐｉ）｝
・・・ 式（１）
式（１）では、Ｎｉはフレーム間差分によって検出されたｉ番目の移動物体領域の正規化相関値である。また、Ｉｃｉは現在の画像においてｉ番目の移動物体領域に属する画素の輝度値、Ｉｐｉは過去の画像において、ｉ番目の移動物体領域と同じ位置にある画素の輝度値である。

正規化相関処理では、現在の画像における移動物体領域と過去の画像における同じ位置の領域における輝度値の変化量の相関を行うので、領域全体の明るさの変化の影響は受けない。したがって、移動物体領域に真に物体が存在する場合は、輝度値の変化量の相関は低くなる。移動物体領域に明るさの変化による誤検知領域である場合は、輝度値の変化量の相関は高くなる。そこで、フレーム間差分処理によって検知された全ての領域について正規化相関値を計算し、閾値処理によって、真に物体が居るかどうかの判定を行う。このような処理によって、画像の一部分で明るさの変化が生じた場合の移動物体領域の誤検出を除去することができる。

次に、図４を用いて本発明の係る画像処理装置３０について説明する。

図１に示した画像処理装置１０において、現在の時刻の画像と保持している過去数フレームの過去画像群との差分処理によって移動物体を検出する手法について述べた。しかしながら、画像の撮像時にカメラにブレによって撮影位置がずれると、画像の各座標における撮影ポイントが異なってしまう。したがって、ブレが生じた状態で撮影された画像間で差分処理を行うと、実際には移動していない領域が移動領域として誤検出されてしまうことがある。そこで、フレーム間差分処理を行う前にフレーム間のブレを補正する必要がある。

そこで、図４に示す本発明の係る画像処理装置３０は、ブレ補正処理部３１を差分処理部１２の前に設け、現在の時刻に撮影された画像と各々の過去画像群との輝度について、上記ブレ補正処理部３１により補正処理を施してから、それら差分を差分処理部１２により計算して、その連続性をカウント部１３によりカウントして、その結果を出力する画像移動物体検出部３４を備える。

すなわち、この画像処理装置３０では、画像移動物体検出部３４にブレ補正処理部３１を設けることにより、ブレによる輝度変化について、次のような対策をとっている。

ブレの検知には、例えば、特開平６−１６９４２４号公報（特許文献２）に開示されているような技術を用い、水平加速度センサと水平加速度センサにより水平軸方向及び垂直軸方向の角速度を検出し、更に角度センサにより水平軸回り方向及び垂直方向軸回り方向の回転角度情報も検出する。このような手段によって検知されたブレを用いてフレーム間のブレを補正する。ブレ補正したフレーム間の差分を行うことで、実際には移動していない領域が移動領域として誤検出を防ぐことが出来る。

また、パン、チルトや平行移動などのカメラの移動による画像の変化は、カメラのブレによる撮影位置の変動と近似できると言える。そこで、ブレの補正機能を用いることで、移動しているカメラによって撮像された画像中の移動物体領域の検出も行える。

次に、図５を用いて本発明の係る画像処理装置４０について説明する。

図１に示した画像処理装置１０において、現在の時刻の画像と保持している過去数フレームの過去画像群との差分処理によって移動物体を検出する手法について述べた。しかしながら、フレーム間差分では、物体の出現と消失が判定されない。つまり、フレーム間差分においては、移動している物体が１つあると物体と残像の２つの領域が検出される。例えば、過去の画像でＡ地点に存在した物体が、現在の時刻でＢ地点に移動した場合、Ｂ地点では、過去の時刻には物体が存在せず、現在の時刻では物体が存在するので、フレーム間差分処理を行うと移動物体領域が検出される。一方、Ａ地点においては、過去の時刻では物体が存在し、現在の時刻では物体が存在しないので、同じように移動物体領域が検出される。

そこで、図５に示す本発明の係る画像処理装置４０では、図１に示した画像処理装置１０に背景画像保存装置４１、背景差分処理部４２及び論理積処理部４３を設けることにより、残像を消すために更新型の背景差分処理を併用する。

フレーム間差分処理と背景差分処理の併用方法については、例えば、特許文献１に開示されている監視装置における動的背景更新方法を用いる。この方法では、現在の時刻に入力された画像の中で物体の出現していない部分を背景画像として新しく登録することで、常に背景画像を更新し行く手法である。この画像処理装置４０では、画像移動物体検出部１４により得られるフレーム間差分による移動領域の検知結果と背景差分処理部４２により得られる背景画像との差分による移動領域の検知結果の論理積を論理積処理部４３で計算することで、移動物体の残像のない検知結果を得ることができる。

なお、背景画像保存装置３１は、このようにして残像を消去された画像データ中の移動物体領域以外の領域を新たに背景として更新することができる。

本発明に係る画像処理装置の構成例を示すブロック図である。 現在の時刻の画像と過去数フレームの過去画像群との差分値を計算した結果を、画像中のある座標における差分値の変化を横軸に時間、縦軸に差分値をとったグラフとして表した図である。 本発明の係る画像処理装置の他の構成例を示すブロック図である。 本発明の係る画像処理装置の他の構成例を示すブロック図である。 本発明の係る画像処理装置のさらに他の構成例を示すブロック図である。

符号の説明

１０，２０，３０，４０ 画像処理装置、１１ 過去画像群保持装置、１２ 差分処理部、１３ カウント部、１４，２４，３４ 画像移動物体検出部、２１ 輝度補正処理部、３１ ブレ補正処理部、４１ 背景画像保存装置、４２ 背景差分処理部、４３ 論理積処理部

Claims (6)

1. 映像入力手段によって撮影された過去の複数枚の画像データを参照画像データとして保存する参照画像保存手段と、
   映像入力手段によって撮影された画像データと上記参照画像保存手段によって保存された複数枚の参照画像データの画素あるいは小領域での差異を検出し、差異の連続性あるいは出現性を元に画像データ中の移動物体の検出を行う画像移動物体検出手段と
   を備えることを特徴とする画像処理装置。
2. 上記画像データと参照画像保存手段に保存された参照画像データを用いて，画像のブレ補正や輝度補正などの画像補正手段をさらに具備し、画像補正手段によって補正された画像を用いて、物体領域を抽出することを特徴とする請求項１記載の画像処理装置。
3. 上記画像補正手段において、上記画像データと前記参照画像保存手段によって保存された複数枚の参照画像データの各々とのブレを検出し、ブレ補正を行うことを特徴とする請求項１記載の画像処理装置。
4. 上記画像補正手段において、上記画像データと上記参照画像保存手段によって保存された複数枚の参照画像データの各々とのブレを検出する際に、時間的に連続する２枚の参照画像データ間でのブレを検出し、そのブレを蓄積することでブレ補正の基準を設定し、設定したブレ補正の基準値から微小区間のブレ検出を行うことでブレを検出し、ブレ補正を行うことを特徴とする請求項１記載の画像処理装置。
5. 映像入力手段によって撮影された画像データと上記背景画像保存手段によって保存された背景画像データの差異を検出する背景差分処理手段と、
   あらかじめ同一のシーンを撮影しておいた別の画像を背景画像データとして保存する背景画像保存手段と、上記画像移動物体検出手段によって検出された移動物体領域と背景画像保存手段によって保存された背景画像データとの比較を行い、上記画像移動物体検出手段によって移動物体を検出した際に生じる残像を消去する背景差分手段を
   さらに備えることを特徴とする請求項１記載の画像処理装置。
6. 映像入力手段によって撮影された過去の複数枚の画像データを参照画像データとして保存し、
   上記映像入力手段によって撮影された画像データと上記保存された複数枚の参照画像データの画素あるいは小領域での各々の差異を検出し、差異の連続性あるいは出現性を元に画像データ中の移動物体の検出を行う
   ことを特徴とする画像処理方法。

Images