JP2012033052A - 画像処理装置、及び物体検出装置 - Google Patents

Abstract

【課題】画像監視において太陽光の照射領域に出現する影を物体像の変化領域と区別する。
【解決手段】対象空間の背景が撮影された背景画像３０を記憶する。光領域検出部４１は、予め定められた輝度閾値に基づいて、背景画像３０における光領域３１を検出する。参照影領域設定部４２０は、光領域３１の外側に参照影領域３２０を設定する。参照影特徴抽出部４２１は、参照影領域３２０における背景画像３０の画像特徴に基づいて参照影特徴３２１を抽出する。影領域検出部４４は、入力画像において光領域３１の内側から参照影特徴３２１を有する部分を影領域として検出する。
【選択図】図２

Description

本発明は、画像中に映り込んだ影の領域を検出する画像処理装置、及び画像中の背景を除いて前景物体の領域を検出する物体検出装置に関する。

従来より、防犯等を目的として監視画像中に撮像されている人を検出することが行われてきた。特に近年では、不審行動の検知等を行うために監視画像中の人を追跡する研究が盛んに行われている。

人検出のためには監視画像を背景画像と比較して人による変化領域を抽出することがしばしば行なわれる。このとき人とともにその人の影が誤抽出されるため、変化領域から影の部分を判別して取り除く必要がある。特に、直射日光等の強い光の中に形成される濃い影は背景の色や模様を大きく変化させるため人の像との判別が難しい。

特許文献１には、輝度の高い高輝度領域（光照射領域）内で発生した変化領域が、光照射領域よりも輝度が低く、かつ光照射領域の境界に接する場合に、当該変化領域は影である可能性があるとして侵入者を検知するロジックの感度を下げることが記載されている。これにより窓の外を人が通って映り込んだ影を侵入者として誤検知することが防止される。

特開２０００−３４１６７７号公報

しかしながら従来技術は、変化領域を単位として当該変化領域が人か影かを判定していたため、光照射領域の中に人と当該人から延びる影とが存在している場合に変化領域中の人の領域と影の領域とを分離することが容易ではなかった。

特に上述した追跡処理では、人領域の画像特徴を基に追跡を行うため、人領域に影の成分が混じると追跡失敗の原因となっていた。

本発明は上記課題を鑑みてなされたものであり、光照射領域の中に物体と影とが混在していても影の領域と物体の領域とを分離して検出することを目的とする。

本発明に係る画像処理装置は、対象空間を撮影した入力画像から、光照射領域に出現する影を検出するものであって、前記対象空間の背景が撮影された背景画像を記憶している記憶部と、前記背景画像において所定の輝度閾値より高輝度な前記光照射領域を検出する光領域検出部と、前記光照射領域の外側近傍に参照影領域を設定する参照影領域設定部と、前記参照影領域における前記背景画像の画像特徴を参照影特徴として抽出する参照影特徴抽出部と、前記入力画像において前記光照射領域の内側から前記参照影特徴を有する部分を影領域として検出する影領域検出部と、を有する。

他の本発明に係る画像処理装置においては、前記参照影領域設定部が、前記光照射領域の外側近傍の領域を所定の大きさに分割した小領域における前記背景画像の輝度分散値を算出し、当該輝度分散値が予め設定された分散閾値以下の前記小領域を前記参照影領域として設定する。

別の本発明に係る画像処理装置においては、前記影領域検出部が、前記光照射領域を囲む外周領域を設定し、当該外周領域を前記光照射領域の内部へ順次膨張させて、前記参照影特徴を有する膨張部分を選択的に前記影領域として検出する。

さらに別の本発明に係る画像処理装置は、順次撮影された前記入力画像に基づいて前記背景画像を順次更新して前記背景画像を生成する背景画像生成部を有し、前記光領域検出部が、直近に生成された前記背景画像から前記光照射領域を検出する。

本発明に係る物体検出装置は、上記画像処理装置と、前記入力画像を前記背景画像と比較して、当該入力画像から変化領域を抽出する変化領域抽出部と、前記影領域を除いた前記変化領域に基づいて前景物体を検出する物体検出部と、を有する。

入力画像中の光照射領域における影領域の検出精度が向上し、ひいては物体の検出精度が向上する。

監視画像の一例を示す模式図である。 本発明の実施形態に係る画像センサーの概略のブロック構成図である。 本発明の実施形態に係る画像センサーの異常検知処理の概略のフロー図である。 光領域検出処理の概略のフロー図である。 光領域検出処理の具体例の主要過程それぞれにおける画像の模式図である。 参照影領域検出処理の具体例の主要過程それぞれにおける画像の模式図である。 影領域検出処理の概略のフロー図である。 影領域検出処理の具体例を説明する部分画像の模式図である。 変化領域から影領域を除去する処理を説明する模式図である。

以下、本発明の実施の形態（以下実施形態という）である画像センサー１について、図面に基づいて説明する。本画像センサー１は本発明に係る画像処理装置及び物体検出装置を含んで構成される。

本実施形態においては、窓のある部屋を監視空間（対象空間）とし、監視空間内に現れる人を抽出対象の物体とする。画像センサー１は、監視空間を撮像して時系列の監視画像（入力画像）を得、監視画像から背景を除いて人領域を抽出し、人領域の動きから滞留等の異常を検知する。この監視空間では窓から差し込んだ太陽光により床に輝度の高い光照射領域（以下、光領域）が形成されることがあり、このとき光領域内を人が通ると濃い影が床に映りこむ。画像センサー１は、光領域内の影の部分（影領域）を判別して影領域を人領域の抽出対象から除くことで人領域の抽出精度の向上を図る。

これを図を用いて具体的に説明する。図１は監視画像２０の一例を示す模式図である。床２１の一部が太陽光に照射されて光領域２２が形成され、光領域２２内に人２３が居り、当該人２３の影２４（画像Ａ）が光領域２２内の床に映り込んでいる。画像センサー１は、光領域２２の周りには光領域２２内の影２４と同じ強さの光を遮って同じ床にできた影２５が現れることを利用する。すなわち光領域２２内の影２４の画像Ａと光領域の外周の影２５の画像Ｃとは類似するが、光領域２２内の人２３の画像Ｂは光領域２２の外側の画像Ｃと類似しないため、光領域２２外の画像Ｃを判定基準とすることで光領域２２内の影の画像Ａと人の画像Ｂとを区別することができるのである。

［画像センサーの構成］
図２は、画像センサー１の概略のブロック構成図である。画像センサー１は、撮像部２、記憶部３、制御部４及び出力部５を含んで構成される。撮像部２、記憶部３及び出力部５は制御部４と接続される。

撮像部２は、監視カメラであり、監視空間を所定時間おきに撮像して監視画像を制御部４へ順次出力する。画像センサー１は監視空間の天井部に設置され、撮像部２は監視空間を俯瞰して撮像する。撮像の時間間隔（フレーム周期）は例えば１／５秒である。以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称する。

記憶部３は、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等の記憶装置である。記憶部３は、各種プログラムや各種データを記憶し、制御部４との間でこれらの情報を入出力する。記憶部３に記憶される各種データには、背景画像３０、光領域３１、参照影情報３２が含まれる。

背景画像３０は監視空間の背景のみが撮像されている画像である。照明変動等に追随するために背景画像３０は順次更新される。また、最新の背景画像３０に加え、過去に生成された背景画像３０が一定時間保持される。

光領域３１は、背景画像３０中の高輝度な領域を表す情報である。例えば監視空間において太陽光等の強い光が当たっている箇所が光領域３１となる。また光領域３１は背景画像３０の更新に合わせて更新される。

参照影情報３２は、影領域の判別基準となる参照情報であり、参照影領域３２０と参照影特徴３２１とからなる。参照影情報３２は背景画像３０及び光領域３１の更新に合わせて更新される。

参照影領域３２０は光領域３１内の影と同じ性質の影が映り込んでいると推定される領域である。具体的には光領域３１を囲む外周領域に基づいて参照影領域３２０が設定される。

参照影特徴３２１は参照影領域３２０内の画像から抽出された影の画像特徴である。具体的には参照影領域３２０内の輝度分散値が画像特徴として抽出される。画像特徴としては輝度分散値に代えて輝度平均値、輝度ヒストグラム、輝度ヒストグラムの最頻値又は輝度ヒストグラムの中央値などの統計量とすることもでき、或いはこれらのうちの２以上を組み合わせることもできる。参照影特徴３２１は１つの参照影領域３２０に対して１つ抽出され、記憶される。

制御部４は、ＣＰＵ(Central Processing Unit)、ＤＳＰ(Digital Signal Processor)、ＭＣＵ(Micro Control Unit)等の演算装置である。制御部４は、背景画像生成部４０、光領域検出部４１、参照影情報生成部４２、変化領域抽出部４３、影領域検出部４４、物体領域検出部４５、異常判定部４６等の動作を記述したプログラムを記憶部３から読み出して実行することによりこれら各部として機能する。

背景画像生成部４０は、監視画像を用いて背景画像３０を生成し、生成された背景画像３０を記憶部３に記憶させる。背景画像生成部４０は、まず最初の監視画像をそのまま背景画像３０として記憶させ、その後はＴ１時刻の周期で新たな監視画像を用いて背景画像３０を更新する。更新は例えば、新たな監視画像から物体領域を除いた部分と記憶されている背景画像３０とを平均する処理により行うことができる。背景画像更新周期Ｔ１は、照明変動に適応した背景画像３０を生成するために、当該照明変動の周期より短く設定することが好適であり、例えば１秒などの短時間に設定する。これにより、太陽の日周運動に伴いゆっくりと移動する光領域３１は背景画像３０に取り込まれる。

また背景画像生成部４０は、後述する光領域検出部４１が現時刻よりもＴ２時刻だけ過去に生成された背景画像３０を遡って参照できるよう、最新の背景画像３０とは別に過去の背景画像３０をＴ２時刻の期間だけ保持する。なお、Ｔ２時刻の期間より前の過去の背景画像３０は、もう光領域検出部４１で用いられなくなるので削除することができる。

以下、これら２種類の背景画像３０を区別する場合、最新の背景画像３０を現在背景画像３０ｎ、過去の背景画像３０を過去背景画像３０ｐと表記する。また期間Ｔ２を位置変動判定期間と呼ぶ。位置変動判定期間Ｔ２は太陽の日周運動による光領域３１の位置変動が背景画像３０中に生じ得る長さ（例えば１０分間）に予め設定され、Ｔ２＞Ｔ１の関係が成り立つ。

背景画像生成部４０は、現在背景画像３０ｎを過去背景画像３０ｐとしてＴ３時刻ごとにコピーして保存する。Ｔ３を背景画像保存周期と呼ぶ。本実施形態ではＴ３＝Ｔ２とする。

光領域検出部４１は、現在背景画像３０ｎにおいて輝度値が所定基準より高い光領域３１を検出して、検出された光領域３１を記憶部３に記憶させる。

太陽光による光領域３１は太陽の日周運動に伴いゆっくりと移動する。この位置変動に追随させるために、光領域検出部４１は光領域３１を定期的に更新する。更新は背景画像３０に合わせて背景画像更新周期Ｔ１ごとに行われる。

また監視空間には太陽光による光領域３１以外にもホワイトボードなどの高輝度な領域が存在し得る。これらの高輝度な領域を光領域３１として検出しないよう、光領域検出部４１は、現在背景画像３０ｎと位置変動判定期間Ｔ２前の過去背景画像３０ｐとを比較して位置変動が生じている高輝度な領域を光領域３１として検出する。

参照影情報生成部４２は、参照影領域設定部４２０と、参照影特徴抽出部４２１とを含む。参照影領域設定部４２０は、光領域３１の外側近傍に参照影領域３２０を設定する。参照影特徴抽出部４２１は、参照影領域における背景画像３０の画像特徴に基づいて参照影特徴３２１を抽出する。

このように参照影特徴３２１を背景画像３０から抽出することで、参照影特徴３２１は背景に映り込んだ影の特徴としての信頼性が高くなり、影領域の誤検出が防止される。仮に参照影特徴３２１を監視画像から抽出すれば、参照影領域３２０に映っている人の像から参照影特徴３２１が抽出されるおそれがあり、影領域を誤検出する原因となる。

ここで参照影領域３２０と光領域３１とは、互いの背景が共通して一様であることが望ましい（図１の例では共に床部分）。ところが光領域３１の外側近傍の一部には一様でない部分（図１の例では棚２６）が含まれる場合がある。そのため参照影領域設定部４２０は光領域３１の外側近傍の各画素について、当該画素と隣接画素とからなる小領域（例えば３×３画素の領域）の輝度の分散値を算出し、分散値が予め設定された分散閾値Ｔｖを超える画素を除いて参照影領域３２０を設定する。すなわち、参照影領域３２０には、光領域３１の外側近傍の領域のうち分散値が予め設定された分散閾値Ｔｖ以下の部分が設定される。背景が一様でない部分はエッジが多く現れて分散値が大きくなるため、上記選別処理により光領域３１内と背景が一様な部分を参照影領域３２０として設定することができ、影領域の誤検出が防止される。

変化領域抽出部４３は、監視画像を現在背景画像３０ｎと比較して変化領域を抽出し、抽出された変化領域の情報を影領域検出部４４と物体領域検出部４５に出力する。

変化領域の抽出はいわゆる背景差分処理により行われる。すなわち変化領域抽出部４３は、監視画像の各画素の画素値と現在背景画像３０ｎの対応する画素の画素値との差の絶対値を算出し、その算出値が予め設定された差分閾値より大きな画素を差分画素として検出する。そして、互いに隣接する差分画素をまとめ、まとめられた領域を変化領域として抽出する。

影領域検出部４４は、監視画像において光領域３１の内側で影が映り込んでいる影領域を検出し、検出された影領域の情報を物体領域検出部４５に出力する。そのために影領域検出部４４は、監視画像において光領域３１の内側から参照影特徴３２１を有する部分を影領域として検出する。具体的には影領域検出部４４は、光領域３１の内側に光領域３１より小さな所定の局所領域を設定して当該局所領域における監視画像の画像特徴と参照影特徴３２１との相違度を算出し、相違度が予め設定された影判定閾値Ｔｓより下回る局所領域を影領域として検出する。画像特徴を輝度分散値とした場合、輝度分散値の差の絶対値を相違度として算出すればよい。輝度平均値、輝度ヒストグラムの中央値又は最頻値の場合も同様である。輝度ヒストグラムの場合はヒストグラム間のユークリッド距離、或いは各ビンの差の絶対値の総和を相違度とすることができる。なお、相違度の代わりに類似度を算出し、類似度がＴｓより上回る局所領域を影領域として検出してもよい。

ここで、窓からの日差しにより形成された光領域３１にできる人影の殆どは実際には光領域３１の外周に接した状態で観測される。そこで影領域検出部４４は、光領域３１を囲む外周領域を設定し、相違度が予め設定された影判定閾値Ｔｓを超えて下回る局所領域のうち外周領域から連続している局所領域を影領域として検出する構成とすることができる。本実施形態では、影領域検出部４４で用いる当該外周領域は参照影領域３２０の設定に用いる光領域３１の外側近傍の領域と共通としている。後述するように、影領域検出部４４は、外周領域を光領域３１の内部へ順次膨張させて、参照影特徴３２１を有する膨張部分を選択的に影領域として検出する。このように外周領域からの連続性を影領域の条件とすることで、光領域３１内の人領域内にたまたま参照影特徴３２１と類似する部分があっても、当該部分が影領域として誤検出されることを防止できる。

物体領域検出部４５は、影領域を除いた変化領域に基づいて、背景となる床や壁などより手前に存在する前景物体を検出する。具体的には、物体領域検出部４５は、変化領域抽出部４３により抽出された変化領域から、影領域検出部４４により検出された影領域を取り除き、影領域が除かれた変化領域を物体領域として抽出する。物体領域検出部４５は抽出された物体領域を異常判定部４６に出力する。

異常判定部４６は、各時刻において物体領域検出部４５により抽出された物体領域を基に各物体を追跡することでその動きを判別し、長時間滞留する不審な動きや通常動線からの逸脱した不審な動きが判別された物体があれば異常と判定して、出力部５に異常信号を出力する。

出力部５は、警告音を出力するスピーカー又はブザー等の音響出力手段、異常が判定された監視画像を表示する液晶ディスプレイ又はＣＲＴ等の表示手段などを含んでなり、異常判定部４６から異常信号が入力されると異常発生の旨を外部へ出力する。また、出力部５は、通信回線を介して異常信号を、警備会社の監視センタに設置されたセンタ装置へ送信する通信手段を含んでもよい。

［画像センサーの動作］
以下、画像センサー１の動作を説明する。図３は画像センサー１の異常検知処理の概略のフロー図である。

運用者は画像センサー１の動作開始に際して、動作監視空間が無人であることを確認して電源を投入する。電源投入により画像センサー１の各部は動作を始め、まず初期化が行なわれる（Ｓ１）。初期化の中には制御部４が背景画像生成部４０により、動作開始直後に撮像された監視画像を現在背景画像３０ｎとして記憶部３に記憶させる処理、背景画像更新周期Ｔ１及び背景画像保存周期Ｔ３を計数するための周期カウンタをリセットする処理が含まれる。

初期化以降は、撮像部２から制御部４へ新たな監視画像が入力されるたびに、制御部４は周期カウンタを１ずつ増加させつつ、ステップＳ２〜Ｓ１５の処理を繰り返す。

新たな監視画像が入力されると（Ｓ２）、まず制御部４は変化領域抽出部４３により当該監視画像と現在背景画像３０ｎとの間で背景差分処理を行って変化領域を抽出する（Ｓ３）。

また変化領域抽出部４３は、周期カウンタを参照し、背景画像更新周期Ｔ１が到来していれば現在背景画像３０ｎの更新を行い（Ｓ４）、背景画像保存周期Ｔ３が到来していれば過去背景画像３０ｐの保存を行う（Ｓ５）。なお、新たな保存に伴い、記憶部３の記憶領域を解放するために、（Ｔ２×２）時刻以上過去の不要な過去背景画像３０ｐは適宜破棄される。

続いて制御部４の光領域検出部４１が周期カウンタを参照し、背景画像更新周期Ｔ１が到来していれば光領域検出部４１は現在背景画像３０ｎ中の高輝度な領域を光領域３１として検出する（Ｓ６）。

図４は光領域検出処理Ｓ６の概略のフロー図であり、図５は光領域検出処理Ｓ６の具体例の主要過程それぞれにおける画像の模式図である。これら図４及び図５を参照して、光領域検出処理Ｓ６を説明する。

まず光領域検出部４１は、現在背景画像３０ｎ、及び現時刻から位置変動判定期間Ｔ２だけ過去に生成された過去背景画像３０ｐの間で差分処理を行なって差分領域を背景変化領域として抽出する（Ｓ６０）。光領域検出部４１はステップＳ６０の結果として背景変化領域の内側の画素と外側の画素とで画素値を異ならせた２値画像（背景変化画像１０３）を生成し、記憶部３に一時記憶させる。図５に示す例では、画像センサー１は太陽光が窓１００から差し込む監視空間を撮影して監視画像を得ている。この監視画像から生成された時刻（ｔ−Ｔ２）の過去背景画像３０ｐと、時刻ｔの現在背景画像３０ｎには、それぞれ窓１００から差し込む太陽光により太陽光領域１０１，１０２が形成されている。ここで、太陽の日周運動に起因して、現在背景画像３０ｎにおける太陽光領域１０２は、過去背景画像３０ｐにおける太陽光領域１０１よりも右上に位置し、この位置変動により背景変化画像１０３にて背景変化領域１０４が抽出されている。

背景変化領域１０４が抽出されると（Ｓ６１にてＹＥＳ）、光領域検出部４１は当該背景変化領域１０４を包含する包含領域１０９を設定する（Ｓ６２）。

そのために、まず光領域検出部４１は背景変化画像１０３を複数のブロックに区分する。例えば、図５の背景変化画像１０３を、背景変化画像１０５のように直交格子状に区分する。ブロックサイズは例えば、１６０×１２０画素の背景変化画像１０３の画像に対して１０×１０画素などとする。

次に光領域検出部４１は、ブロックのうち一定以上の割合（例えば１０×１０画素のブロックに対して１５画素以上）で背景変化領域１０４を含むものを、包含領域１０９の一部として検出する。このブロック化処理は背景変化領域１０４を膨張させる意味合いで行なわれる。背景変化領域１０４をブロック単位の領域に変換することにより、背景変化領域１０４を画素単位で膨張させるのに比べて、効率良く膨張させることができる。図５に示す例では、この段階にて、中間結果としての包含領域１０７を含んだ背景変化画像１０６が得られる。

続いて光領域検出部４１は、包含領域１０７に対してブロック単位の膨張処理を行う。このブロック単位の膨張処理は、例えば、過去背景画像３０ｐの光領域と現在背景画像３０ｎの光領域との重複部分が膨張された領域で埋まるように予め回数を設定したり、または埋まったことを判断して停止させる構成とすることができる。ブロック単位の膨張処理で得られた領域を包含領域１０９に設定する。図５に示す例では、背景変化画像１０８がこの段階を示している。膨張処理をブロック単位で行なうのは、上述のブロック化に伴う膨張と同様に処理効率が良いためである。こうして得られる包含領域１０９は太陽光領域１０２及びその周辺の領域を含んだ領域となる。包含領域１０９に周辺の領域を含めるのは、次の判別分析において周辺の領域を光領域３１との対比に用いるためである。

包含領域１０９を設定した光領域検出部４１は、包含領域１０９内の現在背景画像３０ｎの画素群１１０に対して判別分析を行ってこれらの画素群１１０を高輝度画素と低輝度画素とに分類し（Ｓ６３）、高輝度画素からなる光領域３１を検出する（Ｓ６４）。判別分析の過程では、包含領域１０９内の高輝度画素の分布範囲と包含領域１０９内の低輝度画素の分布範囲の中間の輝度値が輝度閾値として動的に決定される。そして、当該輝度閾値よりも高輝度な画素の集まりが光領域３１として検出される。光領域検出部４１は、光領域３１の情報として、光領域３１の内側の画素と外側の画素とで画素値を異ならせた２値画像である光領域画像１１１を記憶部３に記憶させる。

なお、過去背景画像３０ｐの保存を背景画像保存周期Ｔ３ごとに行うことに対応して、当該過去背景画像３０ｐを用いて行われる上述の包含領域１０９の検出も周期Ｔ３ごとに行うことができる。ここで、膨張処理により生成される包含領域１０９の大きさは、その内部における光領域３１の周期Ｔ１で更新される位置の変化量に対して余裕を有している。つまり、例えば、Ｔ３＝Ｔ２（＞Ｔ１）に設定しても現在背景画像３０ｎの高輝度画素が包含領域１０９からはみ出さずに光領域３１として好適に検出されるようにすることが可能である。

一方、太陽の日周運動による背景の変化が生じていない場合には、処理Ｓ６０にて背景変化領域が抽出されない。この場合（Ｓ６１にてＮＯ）には、包含領域１０９の設定及び光領域３１の検出（Ｓ６２〜Ｓ６４）は行われない。

監視空間内の白い壁やホワイトボードなどが撮像されている領域は太陽光領域でないにも拘らず高輝度となる。しかし、この場合の高輝度の領域は、太陽光領域のようには移動しない。そこで、処理Ｓ６０及びＳ６１における背景変化領域の確認により、太陽光領域ではない高輝度領域が光領域３１として誤検出されることを防止できる。すなわち、背景変化領域が抽出されなければ（Ｓ６１にてＮＯ）、光領域検出部４１は光領域３１を検出しない。このとき光領域検出部４１は、現時刻より以前の光領域３１が記憶部３に記憶されていればこれをクリアする。

別の実施形態においては判別分析を行う代わりに画素群１１０のうち予め定められた固定的な閾値を超える輝度値を有する画素を高輝度画素とすることもできる。しかし、本実施形態のように判別分析を行った方が、ＡＧＣ（Auto Gain Control）や監視空間全体の明るさなどの影響によらず、より正確に光領域３１を検出できる。

以上のように光領域３１の検出処理Ｓ６が行われると、処理は図３のステップＳ７へ進められる。

制御部４は参照影情報生成部４２により、記憶部３に光領域３１が記憶されているか否かを確認し、光領域３１が記憶されていれば（Ｓ７にてＹＥＳ）、現在背景画像３０ｎにおける当該光領域３１の外周の情報から参照影領域３２０を検出し（Ｓ８）、当該参照影領域３２０における現在背景画像３０ｎの画像特徴を参照影特徴３２１として抽出する（Ｓ９）。

図６は参照影領域検出処理Ｓ８の具体例の主要過程それぞれにおける画像の模式図であり、当該具体例は図５に示したものに対応している。図６を参照して、参照影領域検出処理Ｓ８を説明する。

まず参照影情報生成部４２は、光領域画像１１１を参照し、光領域３１を外側近傍とみなすことができる画素であるＭ画素だけ光領域の外側へ膨張させて画像１１２を生成する。画像１１２における領域１１３は膨張後の光領域を示している。

次に参照影情報生成部４２は領域１１３の輪郭画素１１４を検出する。こうして検出される輪郭画素１１４は、光領域３１の外側近傍の領域であって、光領域３１から外側にＭ画素だけ離れた画素群となる。光領域３１から離すのは、次の処理で設定する小領域に光領域３１の一部が混入することを防ぐためである。影の性質が光領域３１におけるものと変わらぬようにＭはあまり大きくせず、例えば２〜１０画素に設定する。

続いて参照影情報生成部４２は輪郭画素１１４のそれぞれを中心とする小領域を設定して、当該小領域における現在背景画像３０ｎの輝度分散値を算出する。そして、参照影情報生成部４２は、各輪郭画素１１４について得られた輝度分散値を分散閾値Ｔｖと比較し、輝度分散値がＴｖ以下の輪郭画素１１４を参照影領域３２０として検出する。図６の例にて、輪郭画素１１４と参照影領域３２０とを比べると、輪郭画素１１４から棚の部分が抜けて床の部分だけ参照影領域３２０として抜き出されている。参照影情報生成部４２は、参照影領域３２０の構成画素とそれ以外の画素とで画素値を異ならせた２値画像１１５を参照影領域３２０の情報として記憶部３に記憶させ、参照影領域３２０の構成画素の輝度分散値の平均値を参照影特徴３２１として記憶部３に記憶させる。

参照影情報３２が生成されると、制御部４は影領域検出部４４により、監視画像中の影領域を検出する（Ｓ１０）。

図７は影領域検出処理Ｓ１０の概略のフロー図であり、図８は影領域検出処理Ｓ１０の具体例を説明する部分画像の模式図である。これら図７及び図８を参照して、影領域検出処理Ｓ１０を説明する。

図８（ａ）〜（ｃ）それぞれの画像４０２は、各処理段階での現時刻の監視画像の一部であり、各格子は画素を表しており、斜線部は影が映りこんでいる部分、白い部分は光が当たっている部分を表している。

同図の画像４００，４０５，４０９，４１２は影領域検出処理に用いる影判定画像であり、画像４００，４０５，４０９，４１２の順に処理が進み、画素値が書き換えられている様子を示している。これら各影判定画像にて行列配置される矩形は画素であり、画像４０２の画素に対応している。画素内の数字は画素値を表している。本実施形態における影判定画像の画素値は、「０」が光領域３１の外側の処理対象外の画素、「１」が未処理の影領域、「２」が処理済の影領域、「３」が光領域３１を表す。

まず影領域検出部４４は、光領域３１の外周領域（参照影領域３２０）を初期の影領域に設定する（Ｓ１００）。具体的には、影領域検出部４４は、影判定画像の参照影領域３２０に対応する画素に画素値「１」を設定する。またこの初期値設定において影領域検出部４４は、光領域３１の参照影領域３２０又は輪郭画素１１４で規定される外周より内側の影判定画像の全画素に画素値「３」を設定する。その他の画素は処理対象外を示す画素値「０」が設定される。ステップＳ１００の設定を終えた時点の影判定画像が図８（ａ）の画像４００である。

次に影領域検出部４４は、影領域内の未処理画素を順次、注目画素に設定して（Ｓ１０１）、影領域内に未処理画素が無くなるまでステップＳ１０１〜Ｓ１０６のループ処理を繰り返す。

当該ループ処理において、影領域検出部４４は注目画素の位置に注目画素とその隣接画素とからなる３×３画素の局所領域を設定し（Ｓ１０２）、局所領域における監視画像の画像特徴を算出して参照影特徴３２１との相違度を算出する（Ｓ１０３）。そして影領域検出部４４は、算出された相違度を影判定閾値Ｔｓと比較して（Ｓ１０４）、相違度がＴｓ未満であれば（Ｓ１０４にてＹＥＳ）、局所領域内であり、かつ光領域３１内の画素を影領域に追加する（Ｓ１０５）。この追加により影領域は光領域３１内に向かって膨張していくことになる。他方、相違度がＴｓ以上であれば（Ｓ１０４にてＮＯ）、追加は行なわれず、注目画素からの膨張は停止することになる。

図８の例では、同図（ａ）に示すように、まず画素値が「１（影領域内の未処理画素）」の任意画素４０１が注目画素に設定され、その局所領域４０３における監視画像４０２の輝度分散値が参照影特徴３２１と比較される。監視画像４０２において局所領域４０３には影が写りこんでいるため両者は類似すると判定され、影判定画像４０５では、局所領域４０３内であり画素値が「３（光領域）」の画素４０４が影領域とされて画素４０４の画素値が「１」に書き換えられる。また注目画素４０１の画素値は「２（影領域内の処理済画素）」に書き換えられる。

画素値が「１」に書き換えられ光領域３１の内側へ膨張した部分の画素は、新たな注目画素として選択されることとなり、さらに内側への膨張が図られる。例えば、図８（ｂ）に示すように、画像４０５にて追加された影領域に注目画素４０６が設定され、その近傍領域４０７の類似判定の結果、注目画素４０６より光領域３１の内側に位置する画素４０８が影領域に追加され影領域が膨張する。また、注目画素４０６の画素値が「２」に書き換えられる。

一方、図８（ｃ）は影領域が膨張されない場合の処理を示している。注目画素４１１の近傍領域４１０には光が当たっている部分が含まれる。その結果、相違度が閾値Ｔｓ未満となり、この場合、注目画素の画素値は「２」に書き換えられるが、局所領域の画素の画素値は書き換えられず、影判定画像４１２の光が当たっている画素４１３の値は「３」に維持される。このように影領域が膨張して、光が当たっている領域まで達すると、その境界部分に画素値が「３」に維持される画素が生じて、膨張の停止が起こる。

ステップＳ１０１〜Ｓ１０６のループ処理は未処理画素が無くなると（Ｓ１０６にてＮＯ）停止し、これにより影領域検出処理Ｓ１０は終了する。この影領域検出処理Ｓ１０により生成される影領域は背景画像の光領域３１内にて、当該光領域３１に出現した影のうち参照影領域３２０と連続するものに応じた形状を有する。影領域検出処理Ｓ１０が終了すると、処理は図３のステップＳ１１へ進められる。

図３に戻り、制御部４は物体領域検出部４５により、ステップＳ３にて抽出された変化領域からステップＳ１０にて検出された影領域を除去する（Ｓ１１）。

なお、光領域検出部４１による光領域検出処理Ｓ６にて光領域３１が検出されなかった場合には（Ｓ７にてＮＯ）、ステップＳ８〜Ｓ１１の処理は省略される。

続いて、制御部４は物体領域検出部４５により、影領域の除去処理が施された後の変化領域のうち、大きさが抽出対象物体である人の大きさの範囲内であるものを物体領域として検出する（Ｓ１２）。

図９は、変化領域から影領域を除去する処理を説明する模式図である。画像５００は影領域検出処理Ｓ１０にて得られた影領域５０１を示しており、画像５０２は変化領域抽出処理Ｓ３にて得られた変化領域５０３を示している。物体領域検出部４５は、変化領域５０３のうち影領域５０１との重複部分を除去した画像５０４を生成する。この画像５０４には変化領域５０３のうち物体領域である人領域５０５が抽出される。

制御部４の異常判定部４６は、抽出された物体領域を追跡して異常を判定し（Ｓ１３）、異常ありと判定すると（Ｓ１４にてＹＥＳ）、異常信号を生成し、出力部５を制御して当該信号を外部へ出力する（Ｓ１５）。

以上の処理を終えると、次時刻の監視画像に対する処理を行うために、処理は再びステップＳ２に戻される。

＜変形例＞
上記実施形態において影領域検出部４４は参照影領域３２０を順次膨張させて影領域を検出した。別の実施形態においては、影領域検出部４４は膨張処理を行わず、光領域３１にて検出された変化領域を複数の部分領域（最小単位は画素）に分けて、参照影特徴３２１と類似する部分領域を影領域として検出する。この実施形態は、影領域が光領域３１の輪郭に接していることを必要としないため、窓が人より格段に大きな監視空間などで有用である。

上記実施形態では、背景変化領域１０４に基づいて生成した包含領域１０９内で光領域３１を抽出することで、太陽光領域を選択的に抽出し、白い壁やホワイトボードなどを光領域３１として誤抽出することを防止している。しかし、上述の画像センサー１における光領域３１内に出現する影の抽出方法自体は、光領域３１が太陽光以外の例えばスポットライト等で形成される場合にも適用できる。例えば、散乱光で照らされる白い物体と、スポットライトのような強い光源から直接光で照らされる光照射領域とは、光領域３１抽出の輝度閾値の調節や、その他の性質の相違で区別できる場合もあり、また、白い物体が存在しないことが予め分かっている場合もある。このような場合には、背景変化領域１０４に基づかなくても光領域３１の誤検出を避けることが可能である。

１ 画像センサー、２ 撮像部、３ 記憶部、４ 制御部、５ 出力部、２０ 監視画像、２１ 床、２２ 光領域、２３ 人、２４，２５ 影、２６ 棚、３０ 背景画像、３１ 光領域、３２ 参照影情報、４０ 背景画像生成部、４１ 光領域検出部、４２ 参照影情報生成部、４３ 変化領域抽出部、４４ 影領域検出部、４５ 物体領域検出部、４６ 異常判定部、３２０ 参照影領域、３２１ 参照影特徴、４２０ 参照影領域設定部、４２１ 参照影特徴抽出部。

Claims (5)

1. 対象空間を撮影した入力画像から、光照射領域に出現する影を検出する画像処理装置であって、
   前記対象空間の背景が撮影された背景画像を記憶している記憶部と、
   前記背景画像において所定の輝度閾値より高輝度な前記光照射領域を検出する光領域検出部と、
   前記光照射領域の外側近傍に参照影領域を設定する参照影領域設定部と、
   前記参照影領域における前記背景画像の画像特徴を参照影特徴として抽出する参照影特徴抽出部と、
   前記入力画像において前記光照射領域の内側から前記参照影特徴を有する部分を影領域として検出する影領域検出部と、
   を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記参照影領域設定部は、前記光照射領域の外側近傍の領域を所定の大きさに分割した小領域における前記背景画像の輝度分散値を算出し、当該輝度分散値が予め設定された分散閾値以下の前記小領域を前記参照影領域として設定すること、を特徴とする画像処理装置。
3. 請求項１又は請求項２に記載の画像処理装置において、
   前記影領域検出部は、前記光照射領域を囲む外周領域を設定し、当該外周領域を前記光照射領域の内部へ順次膨張させて、前記参照影特徴を有する膨張部分を選択的に前記影領域として検出すること、を特徴とする画像処理装置。
4. 請求項１から請求項３のいずれか１つに記載の画像処理装置において、
   順次撮影された前記入力画像に基づいて前記背景画像を順次更新して前記背景画像を生成する背景画像生成部を有し、
   前記光領域検出部は、直近に生成された前記背景画像から前記光照射領域を検出すること、を特徴とする画像処理装置。
5. 請求項１から請求項４のいずれか１つに記載の画像処理装置と、
   前記入力画像を前記背景画像と比較して、当該入力画像から変化領域を抽出する変化領域抽出部と、
   前記影領域を除いた前記変化領域に基づいて前景物体を検出する物体検出部と、
   を有することを特徴とする物体検出装置。

Images