JP2007241479A

JP2007241479A - 変動領域検出装置及びその方法

Info

Publication number: JP2007241479A
Application number: JP2006060266A
Authority: JP
Inventors: Kentarou Yokoi; 謙太朗横井
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-03-06
Filing date: 2006-03-06
Publication date: 2007-09-20
Also published as: EP1833019A3; CN101035196A; EP1833019A2; US20070206869A1; CN100493140C

Abstract

【課題】照明変動やノイズに頑健で、過剰検出と検出漏れを抑制した変動領域抽出を行うことができる変動領域検出装置を提供する。
【解決手段】第１の変動検出部１１０と、第２の変動検出部１１１と、これら２つの変動検出結果を統合する変動領域統合部１０７とからなり、第１の変動検出部１１０は、注目画素と周辺画素の輝度差を判定して符号化する注目画像・周辺画素輝度差符号化部１０１と、学習画像における輝度差符号を記憶する輝度差符号記憶部１０２と、学習画像と入力画像における輝度差符号に基づいて入力画像における変動を判定する変動判定部１０３とからなり、第２の変動検出部１１１は、学習画像において注目画素から複数方向にある輝度差をもつ画素を探索する参照画素探索部１０４と、その参照画素の位置を記憶する参照画素位置記憶部１０５と、入力画像において注目画素と前記参照画素の輝度差が一定以内に保存されているかどうかに基づいて変動を検出する変動判定部１０６とからなる。
【選択図】図１

Description

本発明は、学習した通常時の画像と現在の入力画像を比較して、変動が生じている領域を抽出する変動領域検出装置及びその方法に関するものである。

従来の変動領域検出技術としては、以下のようなものが挙げられる。

まず、学習された平均背景画像と入力画像の輝度差に基づいて変動領域を検出する背景差分方法（非特許文献１参照）がある。

また、学習された背景テクスチャと入力画像テクスチャとの差に基づいて変動領域を検出する周辺増分符号相関法がある（非特許文献２参照）。

さらに、注目画像との輝度差が正負に一定以上ある参照画素を８方向に探索し、その輝度差の正負が入力画像でも保存されているかに基づいて変動領域を抽出するＢＰＲＲＣ（Bi-polar radial reach correlation）法がある（非特許文献３参照）。
Kentaro Toyama, John Krumm, Barry Brumitt, and Brian Meyrrs.Wallflower: Principles and practice of background maintenance. Proceedings of the 7th IEEE International Conference on Computer Vision(ICCV 1999),pp.255-261,September 1999. 佐藤雄隆，金子俊一，五十嵐悟．周辺増分符号相関画像に基づくロバスト物体検出及び分離．電子情報通信学会論文誌，Vol.J84-D-II,No.12,pp.2585-2594,December 2001. 佐藤雄隆，坂上勝彦．Bi-polar radial reach correlation によるロバスト背景差分．信学技報 PRMU2004-224,PP.73-78,March 2005.

上記非特許文献１の背景差分方法では、照明変動による全体的な輝度変化を人物などによる変動として誤検出してしまう問題点がある。

また、非特許文献２の周辺増分符号相関法は、注目画像と周辺の参照画素との輝度差が小さく照明変動やノイズで輝度差が反転しやすい場合に誤検出が多くなるという問題点がある。

さらに、非特許文献３のＢＰＲＲＣ法は、注目画像と参照画素の輝度差が反転するような大きな変動しか検出しないため、検出漏れが生じやすいという問題点がある。

そこで本発明は、上記問題点に鑑み、照明変動やノイズに頑健で、過剰検出と検出漏れを抑制した変動領域抽出を行うことができる変動領域検出装置及びその方法を提供する。

本発明は、学習画像と入力画像とを比較して、その変動領域を検出する変動領域検出装置において、前記学習画像中の注目画素とその周辺にある周辺画素の各々との輝度差を、閾値ＴＨ１より小さい場合、閾値ＴＨ１以上閾値ＴＨ２以下の場合、及び、閾値ＴＨ２より大きい場合の各々を表す３値の輝度差符号で符号化して記憶する第１輝度差符号化手段と、前記入力画像中の注目画素とその周辺にある周辺画素の各々との輝度差を、閾値ＴＨ１より小さい場合、閾値ＴＨ１以上閾値ＴＨ２以下の場合、及び、閾値ＴＨ２より大きい場合の各々を表す３値の輝度差符号で符号化する第２輝度差符号化手段と、前記学習画像中の前記注目画素の前記各周辺画素の輝度差符号と、前記入力画像中の前記注目画素の前記各周辺画素の輝度差符号の差に基づいて、前記入力画像の前記周辺画素毎の変動の有無を第１変動結果として求める第１変動判定手段と、前記学習画像中の注目画素から複数方向に輝度差が閾値ＴＨ３以下である画素及び輝度差が閾値ＴＨ４以上である画素を探索し、学習参照画素としてそれぞれ記憶する第１参照画素探索手段と、前記学習画像中の前記注目画素と前記学習参照画素の輝度差と、前記入力画像中の前記注目画素と前記入力画像中で前記学習参照画素に対応する画素である前記入力参照画素の輝度差とに変化があるか否かに基づいて、前記入力画像の前記周辺画素毎の変動の有無を第２変動結果として求める第２変動判定手段と、前記第１変動結果と前記第２変動結果に基づいて、前記入力画像中の前記周辺画素毎の変動を判断する統合手段と、を備えることを特徴とする変動領域検出装置である。

本発明によれば、照明変動やノイズに頑健で、過剰検出と検出漏れを抑制した変動領域抽出を行うことができる。

以下、本発明の一実施形態の変動領域検出装置について図１から図６に基づいて説明する。

（１）変動領域検出装置の構成
図１は、本実施形態の変動領域検出装置の全体構成を示すブロック図である。

変動領域検出装置は、第１の変動検出部１１０と、第２の変動検出部１１１と、これら２つの変動検出結果を統合する変動領域統合部１０７とからなる。

第１の変動検出部１１０は、注目画素と周辺画素の輝度差を判定して符号化する注目画像・周辺画素輝度差符号化部１０１と、学習画像における輝度差符号を記憶する輝度差符号記憶部１０２と、学習画像と入力画像における輝度差符号に基づいて入力画像における変動を判定する変動判定部１０３とからなる。

第２の変動検出部１１１は、学習画像において注目画素から複数方向にある輝度差をもつ画素を探索する参照画素探索部１０４と、その参照画素の位置を記憶する参照画素位置記憶部１０５と、入力画像において注目画素と前記参照画素の輝度差が一定以内に保存されているかどうかに基づいて変動を検出する変動判定部１０６とからなる。

なお、この変動領域検出装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、第１の変動検出部１１０、第２の変動検出部１１１、変動領域統合部１０７は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。

（２）学習処理
図２は学習処理の流れの概要図である。以下、図２に基づいて学習の処理を説明する。この学習処理を行う場合は、検出対象である入力画像と比較される学習画像をビデオカメラなどの画像入力装置から第１の変動検出部１１０と第２の変動検出部１１１にそれぞれ入力する。この学習画像としては、例えば、侵入者がない状態の部屋の背景画像である。

まず、ステップＳ１０１において、注目画素・周辺画素輝度差符号化部１０１が、学習画像における注目画素と周辺画素の輝度差に基づいて符号化を行う。

注目画素の座標を（ｘ，ｙ）とし、その輝度値をＩ（ｘ，ｙ）としたとき、周辺画素は例えば図４のように注目画素から２画素離れた座標（ｘ＋２，ｙ−２），（ｘ＋２，ｙ−１），・・・（ｘ＋１，ｙ−２）の画素とすればよい。注目画素・周辺画素輝度差符号化部１０１は、１６個の周辺画素それぞれに対し、注目画素との輝度差がＴＨ１未満のときに−１、ＴＨ１以上ＴＨ２以下のときに０、ＴＨ２より大きいときに１として符号化し、ｂ_ｉ（ｘ，ｙ）（但し、ｉ＝０，・・・，１５である）とする。

次に、ステップＳ１０２において、輝度差符号記憶部１０２は、これらの輝度差符号ｂ_ｉ（ｘ，ｙ）を記憶する。複数枚の学習画像がある場合は、それぞれの画像から得られた輝度差符号ｂ_ｉ（ｘ，ｙ）の平均値を記憶すればよい。ここで、注目画素Ｉ（ｘ，ｙ）に対するステップＳ１０１とＳ１０２の処理は、学習画像の全画素に対して行う。

次に、ステップＳ１０３において、参照画素探索部１０４は、非特許文献３の方法と同様に、学習画像における参照画素の探索を行う。注目画素Ｉ（ｘ，ｙ）から複数の方向（例えば８方向）に対し、注目画素と閾値ＴＨ３以下の輝度差を持つ参照画素ｃ_ｉ ⁻（ｘ，ｙ）（但し、ｉ＝０，・・・，７である）と、閾値ＴＨ４以上の輝度差を持つ参照画素ｃ_ｉ ^＋（ｘ，ｙ）（但し、ｉ＝０，・・・，７である）を探索する（図５参照）。

次に、ステップＳ１０４において、参照画素位置記憶部１０５は、これらの参照画素ｃ_ｉ ⁻（ｘ，ｙ），ｃ_ｉ ^＋（ｘ，ｙ）の位置を記憶する。ここで、注目画素Ｉ（ｘ，ｙ）に対するステップＳ１０３とＳ１０４の処理を、学習画像の全画素に対して行う。

（３）検出処理
図３は検出処理の流れの概要図である。以下、図３に基づいて検出の処理を説明する。この検出処理を行う場合は、検出対象である入力画像をビデオカメラなどの画像入力装置から第１の変動検出部１１０と第２の変動検出部１１１にそれぞれ入力する。この入力画像としては、例えば、現時点の状態の部屋の画像であり、検出対象としてこの部屋への侵入者である。

まず、ステップＳ２０１において、注目画素・周辺画素輝度差符号化部１０１が、入力画像における注目画素と周辺画素の輝度差に基づいて符号化を行う。符号化処理は、学習処理と同様の処理を行う。

次に、ステップＳ２０２において、変動判定部１０３は、注目画素Ｉ（ｘ，ｙ）に対し、ステップＳ２０１で得られた符号ｂ_ｉ ^ｉｎ（ｘ，ｙ）（但し、ｉ＝０，・・・，１５である）と、輝度差符号記憶部１０２が記憶していた学習画像の符号ｂ_ｉ ^ｂｇ（ｘ，ｙ）（但し、ｉ＝０，・・・，１５である）とを比較する。これらの符号の不一致度Ｂ（ｘ，ｙ）の合計がある閾値ＴＨｂ以上であれば、注目画素Ｉ（ｘ，ｙ）は変動領域であるとする。

次に、ステップＳ２０３において、変動判定部１０６は、参照画素位置記憶部１０５が記憶している参照画素位置に基づいて、入力画像における注目画素と参照画素の輝度差を抽出する。

次に、ステップＳ２０４において、参照画素ｃ_ｉ ⁻（ｘ，ｙ）（但し、ｉ＝０，・・・，７である）との輝度差がＴＨ５以上であるか、ｃ_ｉ ^＋（ｘ，ｙ）（但し、ｉ＝０，・・・，７である）との輝度差がＴＨ６以下であるような組の数Ｃ（ｘ，ｙ）がある閾値ＴＨｃ以上であれば、注目画素Ｉ（ｘ，ｙ）は変動領域であるとする（ステップＳ２０４）。

数３の第２式においてｃ_ｉ ⁻（ｘ，ｙ）＝１となるのは、学習画像でｃ_ｉ ⁻（ｘ，ｙ）−Ｉ（ｘ，ｙ）＜＝ＴＨ３であったのが入力画像でｃ_ｉ ⁻（ｘ，ｙ）−Ｉ（ｘ，ｙ）＝＞ＴＨ５となった場合であり、輝度差の関係が大きく変化していることから、変動があったと判定するものである。例えば、ＴＨ３＝ＴＨ５＝０とした場合、ｃ_ｉ ⁻（ｘ，ｙ）とＩ（ｘ，ｙ）の輝度差が反転するような大きな変動があった組を数３の第２式でカウントすることになる。

次に、ステップＳ２０５において、変動領域統合部１０７は、ステップＳ２０２で得られた結果Result_ｂ（ｘ，ｙ）とステップＳ２０４で得られた結果Result_ｃ（ｘ，ｙ）を統合する。例えば、

とすればよい。

（４）２つの変動検出部１１０，１１１の効果
第１の変動検出部１１０は、注目画素と周辺画素の輝度差、つまりテクスチャ（輝度の変化をともなう模様）に基づいて変動を検出するため、学習画像か入力画像の少なくとも一方にテクスチャがある場合に検出性能が高いが、学習画像と入力画像の両方にテクスチャが少ない場合には検出漏れが多く生じてしまう。一方、第２の変動検出部１１１は８方向に輝度差のある参照画素を探索するため、学習画像と入力画像の両方にテクスチャが少ない場合でも比較的遠方の参照画素と比較することで検出性能を維持できるが、輝度差が反転するような大きな変動しか検出できないため、検出漏れが生じやすい。つまり両手段を単独で用いた場合は、検出漏れが増大しやすいという問題がある。

しかし、第１の変動検出部１１０は学習画像か入力画像の少なくとも一方にテクスチャがある場合に検出性能が高く、第２の変動検出部１１１は学習画像と入力画像の両方にテクスチャが少ない場合に比較的高い検出性能が得られるため、両手段は補完性が高い。すなわち、一方で検出できない領域を他方が検出できる。また、両手段はともに過剰検出（変動のない領域を変動として検出してしまう）が少ないため、両者を組み合わせても過剰検出は増大しにくい。つまり両者を統合することによって、過剰検出を抑制しながら、検出漏れも抑制することができるという利点がある。

（５）３値符号化による安定化の効果
ステップＳ１０１、Ｓ２０１における、注目画素・周辺画素輝度差符号化部１０１による符号化の際、従来の周辺増分符号相関法（非特許文献２参照）のように０／１で２値化するのではなく、本実施形態のように３値化することによってノイズなどの変動に対して頑健になることを図６を用いて示す。

入力画像が図６（ａ−１）でようであった場合、中央の注目画素とその周辺画素（ここでは隣接した周辺８画素を考える）との大小関係を見ることで、周辺増分符号相関では（ｂ−１）のように０／１符号化される。

一方、本実施形態の方法では３値符号化によって（ｃ−１）のように符号化される。ここで、画像にノイズなどのわずかな変動が加わって注目画素の輝度が変動し（ａ−２）のような入力となった場合、注目画素と周辺画素の大小関係が反転するため、周辺増分符号相関では（ｂ−２）のようになる。

（ｂ−２）でハッチで示した領域で符号に変化が生じるため、本来であれば変動が生じていないはずの領域に変動が生じた（人物の侵入などで変動領域が生じた）と判定されてしまう。一方、本実施形態の方法では（ｃ−２）のようになり、符号化結果に変動は生じず、過剰検出は発生しない。

つまり周辺増分符号相関では、図６のように輝度差が０／１の判定基準に近い（輝度差が０に近い）画素間で、ノイズなどのわずかな変動によって符号が反転しやすい（（ｂ−２）のハッチの領域）のに対して、本実施形態の方法では安定して符号０が割り当てられるため、変動に対して頑健になる。

（６）変更例
なお、本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

例えば、変動領域統合部１０７において、Result_ｂ（ｘ，ｙ）とResult_ｃ（ｘ，ｙ）とを所定の重みをかけて合計してもよい。そして、その合計値が基準値を超えていると変動があったと判定してもよい。

本発明は、例えば、画像監視において侵入者の領域を検出したり、モーションキャプチャ・ジェスチャ認識のために人物の領域を検出したりするために用いることができる。

本発明の一実施形態を示す変動領域検出装置のブロック図である。同じく学習処理の流れの例である。同じく検出処理の流れの例である。注目画素と周辺画素である。参照画素の探索である。３値符号化による安定化を説明する図である。

符号の説明

１０１注目画像・周辺画素輝度差符号化部
１０２輝度差符号記憶部
１０３変動判定部
１０４参照画素探索部
１０５参照画素位置記憶部
１０６変動判定部
１０７変動領域統合部
１１０第１の変動検出部
１１１第２の変動検出部

Claims

学習画像と入力画像とを比較して、その変動領域を検出する変動領域検出装置において、
前記学習画像中の注目画素とその周辺にある周辺画素の各々との輝度差を、閾値ＴＨ１より小さい場合、閾値ＴＨ１以上閾値ＴＨ２以下の場合、及び、閾値ＴＨ２より大きい場合の各々を表す３値の輝度差符号で符号化して記憶する第１輝度差符号化手段と、
前記入力画像中の注目画素とその周辺にある周辺画素の各々との輝度差を、閾値ＴＨ１より小さい場合、閾値ＴＨ１以上閾値ＴＨ２以下の場合、及び、閾値ＴＨ２より大きい場合の各々を表す３値の輝度差符号で符号化する第２輝度差符号化手段と、
前記学習画像中の前記注目画素の前記各周辺画素の輝度差符号と、前記入力画像中の前記注目画素の前記各周辺画素の輝度差符号の差に基づいて、前記入力画像の前記周辺画素毎の変動の有無を第１変動結果として求める第１変動判定手段と、
前記学習画像中の注目画素から複数方向に輝度差が閾値ＴＨ３以下である画素及び輝度差が閾値ＴＨ４以上である画素を探索し、学習参照画素としてそれぞれ記憶する第１参照画素探索手段と、
前記学習画像中の前記注目画素と前記学習参照画素の輝度差と、前記入力画像中の前記注目画素と前記入力画像中で前記学習参照画素に対応する画素である前記入力参照画素の輝度差とに変化があるか否かに基づいて、前記入力画像の前記周辺画素毎の変動の有無を第２変動結果として求める第２変動判定手段と、
前記第１変動結果と前記第２変動結果に基づいて、前記入力画像中の前記周辺画素毎の変動を判断する統合手段と、
を備える
ことを特徴とする変動領域検出装置。
前記統合手段は、前記第１変動結果と前記第２変動結果のどちらか一方で変動有りのときに、前記周辺画素に変動有りと判断する
ことを特徴とする請求項１記載の変動領域検出装置。
前記統合手段は、前記第１変動結果に第１の重みをかけ、前記第２変動結果に第２の重みをかけて合計して、所定値以上であれば前記周辺画素に変動有りと判断する
ことを特徴とする請求項１記載の変動領域検出装置。
学習画像と入力画像とを比較して、その変動領域を検出する変動領域検出方法において、
前記学習画像中の注目画素とその周辺にある周辺画素の各々との輝度差を、閾値ＴＨ１より小さい場合、閾値ＴＨ１以上閾値ＴＨ２以下の場合、及び、閾値ＴＨ２より大きい場合の各々を表す３値の輝度差符号で符号化して記憶し、
前記入力画像中の注目画素とその周辺にある周辺画素の各々との輝度差を、閾値ＴＨ１より小さい場合、閾値ＴＨ１以上閾値ＴＨ２以下の場合、及び、閾値ＴＨ２より大きい場合の各々を表す３値の輝度差符号で符号化し、
前記学習画像中の前記注目画素の前記各周辺画素の輝度差符号と、前記入力画像中の前記注目画素の前記各周辺画素の輝度差符号の差に基づいて、前記入力画像の前記周辺画素毎の変動の有無を第１変動結果として求め、
前記学習画像中の注目画素から複数方向に輝度差が閾値ＴＨ３以下である画素及び輝度差が閾値ＴＨ４以上である画素を探索し、学習参照画素としてそれぞれ記憶し、
前記学習画像中の前記注目画素と前記学習参照画素の輝度差と、前記入力画像中の前記注目画素と前記入力画像中で前記学習参照画素に対応する画素である前記入力参照画素の輝度差とに変化があるか否かに基づいて、前記入力画像の前記周辺画素毎の変動の有無を第２変動結果として求め、
前記第１変動結果と前記第２変動結果に基づいて、前記入力画像中の前記周辺画素毎の変動を判断する
ことを特徴とする変動領域検出方法。
前記第１変動結果と前記第２変動結果のどちらか一方で変動有りのときに、前記周辺画素に変動有りと判断する
ことを特徴とする請求項４記載の変動領域検出方法。
前記第１変動結果に第１の重みをかけ、前記第２変動結果に第２の重みをかけて合計して、所定値以上であれば前記周辺画素に変動有りと判断する
ことを特徴とする請求項４記載の変動領域検出方法。
学習画像と入力画像とを比較して、その変動領域をコンピュータによって検出する変動領域検出プログラムにおいて、
前記学習画像中の注目画素とその周辺にある周辺画素の各々との輝度差を、閾値ＴＨ１より小さい場合、閾値ＴＨ１以上閾値ＴＨ２以下の場合、及び、閾値ＴＨ２より大きい場合の各々を表す３値の輝度差符号で符号化して記憶する第１輝度差符号化機能と、
前記入力画像中の注目画素とその周辺にある周辺画素の各々との輝度差を、閾値ＴＨ１より小さい場合、閾値ＴＨ１以上閾値ＴＨ２以下の場合、及び、閾値ＴＨ２より大きい場合の各々を表す３値の輝度差符号で符号化する第２輝度差符号化機能と、
前記学習画像中の前記注目画素の前記各周辺画素の輝度差符号と、前記入力画像中の前記注目画素の前記各周辺画素の輝度差符号の差に基づいて、前記入力画像の前記周辺画素毎の変動の有無を第１変動結果として求める第１変動判定機能と、
前記学習画像中の注目画素から複数方向に輝度差が閾値ＴＨ３以下である画素及び輝度差が閾値ＴＨ４以上である画素を探索し、学習参照画素としてそれぞれ記憶する第１参照画素探索機能と、
前記学習画像中の前記注目画素と前記学習参照画素の輝度差と、前記入力画像中の前記注目画素と前記入力画像中で前記学習参照画素に対応する画素である前記入力参照画素の輝度差とに変化があるか否かに基づいて、前記入力画像の前記周辺画素毎の変動の有無を第２変動結果として求める第２変動判定機能と、
前記第１変動結果と前記第２変動結果に基づいて、前記入力画像中の前記周辺画素毎の変動を判断する統合機能と、
を実現する
ことを特徴とする変動領域検出プログラム。
前記統合機能は、前記第１変動結果と前記第２変動結果のどちらか一方で変動有りのときに、前記周辺画素に変動有りと判断する
ことを特徴とする請求項７記載の変動領域検出プログラム。
前記統合機能は、前記第１変動結果に第１の重みをかけ、前記第２変動結果に第２の重みをかけて合計して、所定値以上であれば前記周辺画素に変動有りと判断する
ことを特徴とする請求項７記載の変動領域検出プログラム。