JP2011028686A - 対象物検知装置 - Google Patents

Abstract

【課題】光と影の境界にまたがった対象物を高精度に検知できる対象物検知装置を提供する。
【解決手段】背景画像１００を分析した背景側輝度分布１０１が双峰性分布であると判定された場合、画像補正手段は、高輝度域１０２に分布する画素群の輝度分布範囲Ｌｉ〜Ｈｉを拡大する輝度変換を入力画像１１０の各画素に施して高輝度側補正画像１１４を生成するとともに、低輝度域１０３に分布する画素群の輝度分布範囲Ｌｉ〜Ｈｉを拡大する輝度変換を入力画像１１０の各画素に施して低輝度側補正画像１２４を生成し、高輝度側補正画像１１４と低輝度側補正画像１２４の平均画像１３０を生成する。エッジ抽出手段は平均画像１３０からエッジ情報を抽出し、対象物検出手段はエッジ情報に基づき対象物を検出する。対象物の輪郭エッジを強調しつつ、光と影の境界エッジを抑圧することができ、検知精度が向上する。
【選択図】図３

Description

本発明は、監視空間が撮像された画像から対象物を検知する対象物検知装置に関し、特に画像から抽出されたエッジ情報に基づいて対象物を検知する対象物検知装置に関する。

画像から対象物を検知するために、予め対象物と対象物以外の特徴を学習した判別器（識別器）などが用いられる。この際、対象物を識別する特徴として対象物の輪郭を表すエッジ情報が利用されることがある。識別のために十分なエッジ情報を得るためには、対象物と背景の間に十分なコントラストが必要である。

特許文献１には、コントラストの変化により対象物を判別し損ねる不具合を改善するために検知対象画像中の部分画像に輝度値を正規化する補正処理を施すことが記載されている。日陰に暗色の服を着た人物が存在している場合、或いは日向に明色の服を着た人物が存在している場合など、コントラストが不足している場合に検知精度の向上が期待できる。

特開２００７−２５７６６号公報

しかしながら、マンションのエントランスなど直射日光等の強い光が差し込む監視空間において撮像された画像には極端に明るい日向部分と極端に暗い日陰部分が隣り合って存在する。このような環境において日向と日陰の境界にまたがった対象物の輪郭のエッジを識別器により検知し損なわない程度に抽出することが困難であった。

また、日向と日陰の境界にまたがった対象物の輪郭のエッジは境界の強いエッジと連結して抽出される。この境界では特にコントラストが強いために強いエッジが抽出され、そのエッジの強さゆえに対象物の検知に大きな影響を及ぼす。そのため、境界のエッジの影響で対象物の検知精度が低下する問題があった。

図９は、日向と日陰の境界を暗色の服装をした人物がまたがっているときに撮像された画像９００、及び画像９００から抽出されたエッジ画像９１０を例示したものである。日向部分における人物の輪郭エッジ９１１は強いが、日向と日陰の境界エッジ９１２，９１３も同様に強い。その一方で、日陰部分における人物の輪郭エッジ９１４は非常に弱い。人物を検知するにあたり、弱い輪郭エッジ９１４の寄与は強い輪郭エッジ９１１と強い境界エッジ９１２，９１３に比して小さく、強い輪郭エッジ９１１と強い境界エッジ９１２，９１３からなる凸形状部分が主として評価されてしまう。その結果、エッジ画像９１０から人物を検知し損ねてしまうのである。

本発明は、上記問題を解決するためになされたものであり、光と影の境界にまたがった対象物を高精度に検知できる対象物検知装置を提供することを目的とする。

本発明にかかる対象物検知装置は、監視空間が撮像された画像から対象物を検知する対象物検知装置であって、監視空間を撮像する撮像部と、予め対象物が存在しないときに撮像された背景画像を記憶している記憶部と、背景画像を分析して背景側輝度分布を算出する輝度分布分析手段と、背景側輝度分布が高輝度域と低輝度域に偏在した双峰性分布であるか否かを判定する双峰性判定手段と、双峰性分布が判定された場合に、高輝度域の画素が分布する高輝度側分布範囲を拡大する輝度変換を撮像部から入力された入力画像の各画素に施して高輝度側補正画像を生成するとともに低輝度域の画素が分布する低輝度側分布範囲を拡大する輝度変換を入力画像の各画素に施して低輝度側補正画像を生成し、高輝度側補正画像と低輝度側補正画像の平均画像を生成する画像補正手段と、入力画像からエッジ情報を抽出するエッジ抽出手段と、エッジ情報に基づいて対象物を検知する対象物検出手段と、を備え、エッジ抽出手段は平均画像が生成された場合は当該平均画像からエッジ情報を抽出することを特徴とする。

かかる構成によれば、背景が光（高輝度域）と影（低輝度域）の境界を含んでいると双峰性分布が判定され、高輝度域において背景と対象物の間のコントラストが補正された高輝度側補正画像と、低輝度域において背景と対象物の間のコントラストが補正された低輝度側補正画像が生成される。また、高輝度側補正画像と低輝度側補正画像においては上記補正により光と影の間のコントラストが弱められる。
そして、高輝度側補正画像と低輝度側補正画像の性質を併せ持つ平均画像から抽出されるエッジ情報は、高輝度域における対象物の輪郭エッジと低輝度域における対象物の輪郭エッジが強調され、且つ光と影の境界エッジが抑圧されたものとなるので、光と影の境界をまたがった対象物をも高精度に検知することが可能となる。

また、本発明の好適な態様においては、輝度分布分析手段は、高輝度域の画素と対応する入力画像の画素を分析して高輝度側分布範囲を算出し、低輝度域の画素と対応する入力画像の画素を分析して低輝度側分布範囲を算出する。

対象物が光と影にまたがる場合、高輝度域と低輝度域の一方ではコントラストが不十分であっても、他方では十分なコントラストが得られているという状況が生じる。十分なコントラストが得られている方の輝度分布範囲を大きく拡大してしまうと、対象物検出の外乱となる微細なエッジまでもが抽出されてエッジ過多の状態となり、対象物検知の精度が低下する。しかし、入力画像に着目すれば十分なコントラストが得られている方において輝度は広い範囲に分布している。
そのため上記構成のように、輝度変換により広げられる高輝度側分布範囲及び低輝度側分布範囲を入力画像から算出することにより、コントラストが不十分な輝度域では輝度分布範囲が大きく拡大されて十分な輪郭エッジが抽出され、既に十分なコントラストが得られている輝度域では輝度分布範囲の拡大が抑制されてエッジ過多を防止できるので、光と影の境界をまたがった対象物を高精度に検知できる。

また、本発明の好適な態様においては、対象物検知装置は、対象物に応じて予め設定されたサイズの候補領域を入力画像内の所定位置に設定する候補領域設定手段、をさらに備え、輝度分布分析手段は、候補領域内の画素について分析を行う。
かかる構成によれば、対象物を検出するために必要な最小限のサイズの領域において輝度分布が分析される。そのため、余分な背景部分の影響を受けない適確な分析と分布範囲を最大限に拡大する効果的な輝度変換が可能となる。

また、本発明の好適な態様においては、候補領域設定手段は、入力画像と背景画像との比較を行って差異が検出された位置に候補領域を設定する。
背景のみの入力画像から補正画像を生成すると背景の微細なエッジまでもが抽出されてエッジ過多となり、対象物の誤検知を引き起こす。上記構成によれば、対象物が存在する確度が高い領域のみを候補領域に設定するので、背景のみの入力画像から補正画像を生成することが防止され、対象物の誤検知を防止できる。

また、本発明の好適な態様においては、候補領域設定手段は、入力画像から楕円形状を有する人体頭部領域を検出し、人体頭部領域が検出された位置に候補領域を設定する。
かかる構成によれば、対象物である人体が存在する確度が高い領域のみを候補領域に設定するので、背景のみの入力画像から補正画像を生成することが防止され、対象物の誤検知を防止できる。

本発明によれば、対象物の輪郭エッジを強調しつつ、光と影の境界エッジを抑圧することができるので、光と影の境界をまたがった対象物を高精度に検知することが可能となる。

本実施の形態に係る画像監視装置の全体構成図である。 輝度分布分析手段４２による処理の一例を示す図である。 画像補正手段４３による処理の一例を示す図である。 別の例における画像補正手段４３による処理を示す図である。 画像監視処理のフローチャートを示す図である。 通行者検出処理の一部のフローチャートを示す図である。 通行者検出処理の残り部分のフローチャートを示す図である。 本発明により抽出されるエッジ情報を模式的に示した図である。 本発明を適用しない場合に抽出されるエッジ情報を模式的に示した図である。

本発明の好適な実施形態の一例として、建物のエントランスを監視空間とし、監視空間を通行する通行者を対象物として検知し、不正通行を監視する画像監視装置について説明する。

［画像監視装置１の構成］
画像監視装置１の機能ブロック図を図１に示す。画像監視装置１は、撮像部２、記憶部３、及び出力部５が信号処理部４に接続されてなる。

撮像部２は所謂監視カメラである。撮像部２は、監視空間を所定時間間隔にて撮像した画像を順次、信号処理部４へ出力する。以下、上記時間間隔で刻まれる時間単位を時刻と称する。本実施形態において撮像部２は、ＲＧＢ各色が２５６階調のカラー画像を撮像して出力する。

撮像部２は、建物のエントランスの天井に光軸を鉛直下方に向けて設置される。エントランスには屋外からの直射日光が差し込み、建物の構造物等の影が映りこむ。そのため、撮像部２により撮像される画像には高輝度の日向部分と低輝度の日陰部分が混在する。

記憶部３は、ＲＯＭ、ＲＡＭ等のメモリ装置である。記憶部３は、各種プログラムや各種データを記憶し、信号処理部４との間でこれらの情報を入出力する。各種データには、背景画像３０及び対象物識別情報３１が含まれる。

背景画像３０は、監視空間の背景の像のみが含まれ、通行者の像が含まれていない画像である。背景画像３０は、通行者検出処理に先立って生成され、記憶される。

対象物識別情報３１は、画像中に通行者が存在しているか否かを識別するための参照情報である。対象物識別情報３１は、通行者検出処理に先立って、少なくとも通行者が撮像されたサンプル画像から抽出されたエッジ情報（輝度勾配情報）を基に生成され、記憶されている。

エッジ情報としてはＨＯＧ（Histograms of Oriented Gradients）と呼ばれる特徴量を採用することができる。ＨＯＧ特徴量は、画像中に複数設定された局小領域のそれぞれにおいて算出されたエッジ角度分布とエッジ強度とからなるパラメータ系列である。ＨＯＧ特徴量においてエッジ強度はエッジ角度分布の重み係数として用いられる。尚、ＨＯＧ特徴量の参考文献として、N. Dalal, B. Triggs：Histograms of oriented gradients for human detection： Proc. of IEEE Conference on Computer Vision and Pattern Recognition
(CVPR)：886-893（2005）などがある。

対象物識別情報３１は、多次元量であるＨＯＧ特徴量により張られる特徴空間において通行者とそれ以外を弁別する識別面を表すパラメータである。このパラメータは、通行者が撮像された多数のサンプル画像から抽出されたＨＯＧ特徴量、及び通行者が撮像されていない多数のサンプル画像から抽出されたＨＯＧ特徴量をサポートベクターマシーンやブースティング法に適用することで学習される。

別の実施形態において対象物識別情報３１は、通行者が撮像されている複数のサンプル画像から抽出されたエッジ強度を画素ごとに平均化した通行者のエッジパターンとして生成される。さらに別の実施形態においては、通行者が撮像されている複数のサンプル画像から抽出されたエッジ角度を画素ごとに平均化したエッジパターンとして生成される。

このように生成された対象物識別情報３１は、複数のサンプル画像に共通する通行者のエッジの特徴、すわなち通行者の輪郭（外形）特徴を主として表す。

信号処理部４は、ＤＳＰ(Digital Signal Processor)、ＭＣＵ(Micro Control
Unit)等の演算装置である。信号処理部４は、背景画像生成手段４０、候補領域設定手段４１、輝度分布分析手段４２、画像補正手段４３、エッジ抽出手段４４、対象物検出手段４５、異常検知手段４６等の動作を記述したプログラムを記憶部３から読み出して実行することにより各手段として機能する。信号処理部４は、撮像部２から入力された画像（以下、入力画像と称する）に適宜補正を施して通行者を検出し、検出した通行者の追跡により不正通行を検知すると出力部５へ異常信号を出力する。

背景画像生成手段４０は、監視空間に通行者が存在しないときに撮像された入力画像の全体を背景画像３０として記憶部３に記憶させる。また、背景画像生成手段４０は、照明変動に適応するために、入力画像のうち通行者が検出されなかった部分の像を背景画像３０に合成することで背景画像３０を更新する。

候補領域設定手段４１は、入力画像のうち通行者の像のサイズを有する一部領域を候補領域として設定し、候補領域の情報を輝度分布分析手段４２、画像補正手段４３、エッジ抽出手段４４、対象物検出手段４５に出力する。

通行者の像のサイズは、通行者と撮像部２の位置関係等により変化する。そのため候補領域設定手段４１は、画像上の位置を変数として通行者の像のサイズを設定する。具体的には、撮像部２の設置高、画角といったカメラパラメータ、及び立位の平均的な体格の人物形状を回転楕円体で近似した３次元モデルをピンホールカメラモデルに適用して、監視空間の各位置に仮想配置された上記３次元モデルが画像上に投影される像を演算し、投影像を囲む矩形枠を画像上の投影像の位置と対応付けて記憶部３に予め記憶させておく。候補領域設定手段４１は、候補領域を設定しようとする位置に応じた矩形枠を候補領域として読み出し、設定する。

ここで、候補領域設定手段４１は、画像上の全域に亘って順次候補領域を設定することも可能であるが、通行者が存在する可能性の高い位置に絞り込んで候補領域を設定した方が誤検知の確率が低くなり、加えて処理コストも低くなる。

そのため、候補領域設定手段４１は入力画像において背景画像３０との差異を有する変化領域を抽出して変化領域を基準とする位置に候補領域を設定し、入力画像において楕円形状の像が撮像されている人体頭部領域を抽出して人体頭部領域を基準とする位置に候補領域を設定する。特に、人体頭部領域の抽出範囲を変化領域内に限定して行うことで絞込みの確度を高くでき、処理コストを低くできる。

変化領域は、入力画像と背景画像３０の差分処理、又は入力画像と背景画像３０の相関演算等により抽出できる。頭部領域は、入力画像からエッジ画像を生成し、生成されたエッジ画像にハフ変換を施すこと、又は生成されたエッジ画像と予め設定された楕円パターンとのマッチングを行うこと等により抽出できる。エッジ画像は、入力画像にＳｏｂｅｌフィルタ、Ｃａｎｎｙフィルタ等のフィルタリングを施すことにより生成できる。

輝度分布分析手段４２は、画像補正手段４３から所定の画像領域が指定されると、当該領域における背景画像３０及び入力画像の輝度分布の特徴量を算出して、算出した輝度分布の特徴量を画像補正手段４３に出力する。輝度分布の特徴量として、輝度分布分析手段４２は、上記各画像の輝度ヒストグラムを算出するとともに、算出された輝度ヒストグラムから山部を検出して山部の輝度範囲を算出する。

輝度ヒストグラムは輝度ごとの画素の頻度である。輝度ヒストグラムは上記各画像を構成する画素を輝度ごとに計数することにより算出できる。本実施形態において各頻度は総画素数で除算されて０〜１の範囲に正規化される。尚、入力画像及び背景画像３０はＲＧＢカラー画像であるが、輝度分布分析手段４２はこれらを２５６階調のモノクロ画像に変換してから輝度分布の特徴量を算出する。

山部は高頻度の輝度が密集した部分である。輝度分布分析手段４２は、２つの山部検出しきい値Ｔｇ１，Ｔｇ２（Ｔｇ１＞Ｔｇ２）を輝度ヒストグラムに適用して山部の輝度分布を検出する。すなわち、輝度分布分析手段４２は、頻度がＴｇ１を超える輝度を特定し、特定した輝度から低輝度側及び高輝度側に連続して頻度がＴｇ２を超えている輝度範囲を山部の分布範囲として検出する。複数の山部があればその数だけ分布範囲も検出される。Ｔｇ１，Ｔｇ２のそれぞれは、例えば、指定された画像領域における総画素数の２０％程度、５％程度に相当する値に設定するとよい。

以下、背景画像３０について算出される輝度分布の特徴量を背景側輝度分布とも称し、入力画像について算出される輝度分布の特徴量を入力側輝度分布とも称する。

ここで、コントラスト補正処理の効果を十分に得るためには、山部の分布範囲が十分に狭い方がよい。すなわち山部が偏在している方がよい。
そこで輝度分布分析手段４２は、山部の偏在を判定して偏在している山部のみを検出する。具体的には輝度分布分析手段４２は、山部の分布範囲の広さ（輝度幅）を偏在判定しきい値Ｔｗと比較して、分布範囲の広さがＴｗ以下の山部のみを検出して出力する。具体的には、山部が（Ｈｂ−Ｌｂ）≧Ｔｗを満たすなら当該山部を検出し、（Ｈｂ−Ｌｂ）＜Ｔｗなら当該山部を検出しない。Ｔｗは例えば階調の３分の１程度の値に設定すればよい。本例では２５６÷３≒８５に設定される。

図２は、輝度分布分析手段４２が背景画像１００から背景側輝度分布を算出する一例を示したものである。
背景画像１００においては、上側に日向部分、下側に日陰部分が撮像されている。輝度分布分析手段４２は、背景画像１００を分析して輝度ヒストグラム１０１を算出し、山部検出しきい値Ｔｇ１を超える山部を２つ検出する。さらに輝度分布分析手段４２は、山部検出しきい値Ｔｇ２を超える輝度を検出して低輝度域側の山部の分布範囲をＬｂ１〜Ｈｂ１、高輝度域側の山部の分布範囲をＬｂ２〜Ｈｂ２と算出する。

画像補正手段４３は、候補領域における入力画像にコントラスト補正処理を施して処理後の画像を対象物検出手段４５に出力する。画像補正手段４３における処理は背景側輝度分布が高輝度域と低輝度域に偏在した双峰性分布である場合とそうでない場合で大きく分かれ、画像補正手段４３は双峰性分布である場合の処理に特徴を有する。ここでは、双峰性分布である場合の処理を詳説し、双峰性分布でない場合の処理は動作の説明にて概説する。

双峰性分布を判定するために画像補正手段４３は双峰性判定手段４３１を備える。双峰性判定手段４３１は、背景側輝度分布に含まれる山部の情報の数が２つであれば当該背景側輝度分布が双峰性分布であると判定し、２つ以外であれば双峰性分布でないと判定する。
画像補正手段４３は、輝度分布分析手段４２に候補領域ごとの背景側輝度分布を算出させ、双峰性判定手段４３１による判定は候補領域ごとに行われる。

双峰性分布が判定された場合、画像補正手段４３は、背景側輝度分布の高輝度域と低輝度域のそれぞれに分布する画素を検出し、高輝度域にて検出された画素群の輝度分布範囲を拡大する輝度変換を入力画像の各画素に対して行うとともに、低輝度域にて検出された画素群の輝度分布範囲を拡大する輝度変換を入力画像の各画素に対して行い、２種類の輝度変換の結果を平均することでコントラスト補正処理を行う。

図３を参照して、画像補正手段４３において双峰性分布が判定された場合の処理例を説明する。

図３の背景画像１００とその輝度ヒストグラム１０１は、図２と同じものである。画像補正手段４３は、２つの山部のうち高輝度側の山部の最低輝度値Ｌｂ２と低輝度側の山部の最高輝度値Ｈｂ１の中間輝度を分割しきい値Ｔｄに設定し、背景画像１００の画素のうち輝度がＴｄより高い高輝度域の画素と、輝度がＴｄ以下の低輝度域の画素とを検出する。Ｔｄは｛（Ｌｂ２−Ｈｂ１）÷２｝などに設定することができる。検出された高輝度域の画素群がなす画像領域が明領域１０２であり、検出された低輝度域の画素群がなす画像領域が暗領域１０３である。それぞれ日向部分、日陰部分に相当している。

画像１１０は背景画像１００と対応する入力画像である。画像１１０には明色の服装をした通行者が撮像されている。画像補正手段４３は輝度分布分析手段４２に明領域１０２を指定して入力側輝度分布を算出させる。輝度分布分析手段４２は明領域１０２における入力画像１１２の輝度ヒストグラム１１３と山部の分布範囲Ｌｉ〜Ｈｉを算出する。

画像補正手段４３は入力画像１１０の各画素の輝度Ｉを｛（Ｉ−Ｌｉ）×２５５÷（Ｈｉ−Ｌｉ）｝に輝度変換する。分布範囲Ｌｉ〜Ｈｉが０〜２５５に拡大される。このとき入力画像１１０において輝度がＬｉ未満であった画素の輝度は０、入力画像１１０において輝度がＨｉより高かった画素の輝度は２５５になる。
明領域１０２の入力画像１１２の輝度分布に基づいて、入力画像１１０の全体が輝度変換されていることに注意されたい。

このように輝度を一定の割合でシフトさせる輝度変換はヒストグラムの拡張（Histogram SpreadingまたはHistogram Stretching）と呼ばれる。ヒストグラムの拡張は狭い輝度範囲に偏った分布を広げることでコントラストを補正するコントラスト補正処理のひとつである。

また、コントラスト補正処理の別のひとつにヒストグラムの平坦化（Histogram Equalization）と呼ばれる処理がある。ヒストグラムの平坦化では入力画像１１０の各画素の輝度Ｉは｛２５５÷Ｎ×ΣＰ（Ｉ）｝に輝度変換される。但し、Ｎは輝度がＬｉ〜Ｈｉの総画素数、ΣＰ（Ｉ）は輝度Ｌｉ〜Ｉまでの頻度の和を表す。

こうして輝度変換が行われると、高輝度側である明領域１０２の輝度分布に基づいて補正された高輝度側補正画像１１４が生成される。因みに入力画像１１０の輝度ヒストグラム１１１は輝度ヒストグラム１１５のようになる。
高輝度域に分布していた入力画像１１０の画素、すなわち日向部分と明色の服装をした通行者に係る画素は、輝度分布範囲の拡大によりその周辺の画素との輝度差が大きくなる。よって対象物と背景の間のコントラストが強くなり、対象物の輪郭エッジが強調される。
その一方で、低輝度域に分布していた入力画像１１０の画素、すなわち日陰部分の画素は、輝度分布範囲の拡大により日向部分の画素との輝度差が小さくなる。よって日向と日陰のコントラストが弱くなり、光と影の境界エッジが抑制される。

さらに画像補正手段４３は、輝度分布分析手段４２に暗領域１０３を指定して入力側輝度分布を算出させ、暗領域１０３における入力画像１２２の輝度ヒストグラム１２３と山部の分布範囲Ｌｉ〜Ｈｉを得る。山部が２つ存在する本例では、低輝度側の山部の最小輝度値がＬｉ、高輝度側の山部の最大輝度値がＨｉとなる。そして画像補正手段４３は入力画像１１０に輝度変換を施し、低輝度側である暗領域１０３の輝度分布に基づいて補正された低輝度側補正画像１２４が生成される。

低輝度側補正画像１２４が生成されるとき、輝度ヒストグラム１２３においてはＬｉは０で、Ｈｉは２５５に近い値であるため輝度分布範囲は殆ど拡大されない。この結果はエッジ過多を防ぐという観点から最善である。その理由について説明する。
入力画像１１０の暗領域１０３において撮像されているのは日陰の背景と明色の服装をした通行者である。このような部分では、既に背景と対象物の間に十分なコントラストが得られており、適量のエッジ情報を得ることができるため、輝度分布範囲の拡大は不要である。
不要にも拘わらず輝度分布範囲を大きく拡大すると、背景領域内や通行者領域内の陰影や模様といった微弱な輝度差が強調され、対象物検知処理にとっての外乱となる余分なエッジ情報が増える。つまり既に十分なコントラストが得られている部分で輝度分布範囲を拡大するとエッジ過多が生じて検知精度を低下させてしまう。
このような理由から既に十分なコントラストが得られている部分については輝度分布範囲の拡大を抑制し、エッジ過多を防止するのがよい。
画像補正手段４３は、入力画像１１０における輝度分布範囲を拡大する輝度変換を行うことで、既に十分なコントラストが得られている部分での拡大を実質的に抑制するので、適応的にエッジ過多を防止できる。

以上のようにして高輝度側補正画像１１４と低輝度側補正画像１２４が生成されると、画像補正手段４３は、高輝度側補正画像１１４と低輝度側補正画像１２４の対応する各画素同士を平均して平均画像１３０を生成する。この平均化によって高輝度側補正画像１１４と低輝度側補正画像１２４は滑らかに合成される。そのため、日向と日陰の輝度差を余分に強調してしまうことを防げる。
平均画像１３０は高輝度側補正画像１１４と低輝度側補正画像１２４の両方の性質を有しており、明領域１０２と暗領域１０３のうち背景と対象物のコントラストが不足していた方では当該コントラストが強調され、さらに日陰と日向の境界のコントラストは抑制され、対象物の輪郭エッジが適確に抽出されやすい画像となっている。

図４を参照して、画像補正手段４３において双峰性分布が判定された場合の別の処理例を説明する。

図４の例では候補領域が図３の例と共通し、背景画像１００、輝度ヒストグラム１０１、Ｈｂ１、Ｌｂ２、明領域１０２、暗領域１０３は図３の例と同じである。入力画像１１０は図４の例と異なり、暗色の服装をした通行者が撮像されている。

画像補正手段４３は、明領域１０２の入力画像２１２から輝度ヒストグラム２１３、Ｌｉ、Ｈｉを得て、入力画像２１０に輝度変換を施して高輝度側補正画像２１４を生成する。図３の例では実質的に輝度分布範囲は拡大されていない低輝度側補正画像１２４が生成されたが、図４の例では実質的に輝度分布範囲は拡大されていない高輝度側補正画像２１４が生成される。既に十分なコントラストが得られている明領域１０２において輝度分布範囲の拡大が抑制され、エッジ過多が防止される。

画像補正手段４３は、暗領域１０３の入力画像２２２から輝度ヒストグラム２２３、Ｌｉ、Ｈｉを得て、入力画像２１０に輝度変換を施し、低輝度側補正画像２２４が生成される。暗領域１０３の入力画像２２２においては、日陰に暗色の服装の通行者が撮像されており、輝度分布範囲Ｌｉ〜Ｈｉは低輝度域に偏在していた。低輝度側補正画像２２４では偏在していた輝度分布範囲Ｌｉ〜Ｈｉが０〜２５５に拡大され、背景と対象物の間のコントラストが強調されるとともに日陰と日向の境界のコントラストが抑制される。

画像補正手段４３は、高輝度側補正画像２１４と低輝度側補正画像２２４を平均し、明領域１０２で不足していたコントラストが強調され、且つ日陰と日向の境界のコントラストが抑制された平均画像２３０を生成する。

以上のように、画像補正手段４３は、双峰性分布が判定された場合に、背景側輝度分布の高輝度域に分布する画素群（明領域）の輝度分布範囲を拡大する輝度変換を入力画像の各画素に施して高輝度側補正画像を生成するとともに、背景側輝度分布の低輝度域に分布する画素群（暗領域）の輝度分布範囲を拡大する輝度変換を入力画像の各画素に施して低輝度側補正画像を生成し、高輝度側補正画像と低輝度側補正画像の平均画像を生成する。
これにより入力画像において背景と対象物の間のコントラストが不十分な部分の輪郭エッジを強調しつつ、光と影の境界エッジを抑圧することができ、対象物検知精度を向上させることができる。

また、画像補正手段４３は、拡大する元の輝度分布範囲を明領域及び暗領域における入力画像から算出された入力側輝度分布における輝度分布範囲とする。
これにより、既にコントラストが十分な部分に対する輝度変換において輝度分布範囲の拡大が抑制されて、エッジ過多の発生を防ぐことができ、対象物検知精度を向上させることができる。

ここで、通行者が存在しない背景のみの領域を処理対象にするとエッジ過多が生じやすくなる。そのため、画像補正手段４３は、候補領域設定手段４１によって設定された候補領域、すなわち変化領域や頭部領域が抽出されており通行者が存在する確度の高い位置に設定された候補領域を処理対象とすることで、背景のみの領域にコントラスト補正を行うことを避け、エッジ過多の発生を防止している。

また、余分な背景部分の影響を受けずに適確な輝度分布分析と最大限の輝度変換を行うためには、通行者とその近傍の背景のみからなる領域を処理対象とするのが望ましい。そのため、輝度分布分析手段４２及び画像補正手段４３は、候補領域設定手段４１によって設定された候補領域、すなわち通行者の像のサイズに合わせて設定された候補領域を処理対象とすることで、通行者像とその近傍の背景像のみからなる必要且つ最小限の画像情報に基づく適確な輝度分布分析と最大限の輝度変換を行っている。

エッジ抽出手段４４は、画像補正手段４３により平均画像が生成された場合は当該平均画像からエッジ情報を抽出し、平均画像が生成されなかった場合は入力画像、又は必要に応じてコントラスト補正処理が施された入力画像からエッジ情報を抽出し、抽出されたエッジ情報を対象物検出手段４５に出力する。
対象物検出手段４５が抽出するエッジ情報は対象物識別情報３１と同種のエッジ情報であり、前述したＨＯＧ特徴量又はエッジパターンを採用することができる。

図８は、図３の平均画像１３０又は図４の平均画像２３０から抽出されたエッジ情報（エッジ強度）を例示したものである。日向部分の輪郭エッジ３０１も日陰部分の輪郭エッジ３０２も適度な強さで抽出され、日向と日陰の境界エッジ３０３，３０４は輪郭エッジに比して弱く抽出されている。

対象物検出手段４５は、エッジ抽出手段４４から入力されたエッジ情報を対象物識別情報３１と比較することにより対象物を検出し、対象物が検知された候補領域における入力画像の情報、すなわち通行人像の情報を異常検知手段４６に出力する。

対象物識別情報３１としてＨＯＧ特徴空間における識別面のパラメータが学習されている場合、対象物検出手段４５は、当該パラメータを読み出して予め設定された識別器にセットし、抽出されたＨＯＧ特徴量を識別器に入力することで上記比較を行う。識別器は、特徴空間において、入力されたＨＯＧ特徴量が識別面境界の対象物側の空間にあるか否かを識別し、識別結果を出力する。
対象物識別情報３１としてエッジパターンが作成されている場合、対象物検出手段４５は、当該エッジパターンを読み出して抽出されたエッジ情報とのパターンマッチングを行うことで上記比較を行う。

異常検知手段４６は、対象物検出手段４５から通行人像の情報が入力されると、当該通行人像から色ヒストグラム、位置、形状等の特徴量を抽出して記憶部３に記憶させるとともに、前後する時刻に抽出された特徴量を同定することにより通行人を追跡して不正通行を検知する。すなわち、記憶部３に建物入口の位置と認証装置の位置を予め設定しておき、追跡の結果として得られる移動軌跡をこれらの位置と比較し、建物入口の位置に達した移動軌跡が認証装置の位置を経由していなければ不正通行と判定する。不正通行が検知された場合、異常検知手段４６は出力部５に異常信号を出力する。

出力部５は、信号処理部４の異常検知手段４６から異常信号が入力されると、不正通行を警告するための音響出力を行うブザー又はスピーカー等の音響装置、及び通信回線を介して警備会社の監視センタ又は建物内の保安室に設置されたホスト・コンピュータに異常信号を送信する通信装置などを含んでなり、不正通行が発生した旨を外部へ出力する。

［画像監視装置１の動作］
以下、図５を参照して、画像監視装置１の動作を説明する。

監視空間が無人であることを確認した管理者が装置に電源を投入すると、各部、各手段は初期化されて動作を始める（Ｓ１）。背景画像生成手段４０は、初期化中の入力画像を背景画像３０として記憶部３に記憶させる。
初期化の後は、撮像部２から信号処理部４へ新たな画像が入力されるたびにＳ２〜Ｓ８の処理が繰り返される。

新たな画像が入力されると（Ｓ２）、当該入力画像から通行者を検出する処理が行われる（Ｓ３）。以下、図６のフローチャートを参照して通行者検出処理の詳細を説明する。

ステップＳ３０〜Ｓ３２では、信号処理部４の候補領域設定手段４１により候補領域の設定が行われる。

まず、候補領域設定手段４１は、背景画像３０と入力画像との間で差分処理を行って予め設定された差分しきい値以上の差がある画素のまとまりを変化領域として抽出する（Ｓ３０）。抽出結果として、変化領域内の画素値を１、変化領域外の画素値を０に設定したマスク画像が生成される。

次に、候補領域設定手段４１は、入力画像からエッジ画像を生成し、入力されたマスク画像によりエッジ画像にマスクをかけて変化領域外のエッジを除去し、マスクされたエッジ画像にハフ変換を施して楕円を検出し、楕円が検出された領域を頭部領域として抽出する（Ｓ３１）。この結果、変化領域内且つ楕円形状の像が存在する領域が抽出される。候補領域設定手段４１は、頭部領域の重心位置を演算し、当該位置と対応づけて記憶されている矩形枠を候補領域として記憶部３から読み出す（Ｓ３２）。

尚、変化領域が抽出されなかった場合、或いは頭部領域が抽出されなかった場合、候補領域は設定されない。候補領域が設定されなかった場合、信号処理部４は通行者を検出しなかったとして通行者検出処理を終了する（Ｓ３３にてＮＯ→Ｓ４へ）。

一方、１以上の候補領域が設定された場合（Ｓ３３にてＹＥＳ）、信号処理部４は、個々の候補領域を順次処理対象に設定してステップＳ３４〜Ｓ５１のループ処理を実行する。

ループ処理において、まず、信号処理部４の画像補正手段４３は、処理対象の候補領域を指定して信号処理部４の輝度分布分析手段４２に背景側輝度分布を算出させる（Ｓ３５）。輝度分布分析手段４２は、背景側輝度分布として処理対象の候補領域における背景画像３０の輝度ヒストグラムと偏在を判定した山部の情報を出力する。

ステップＳ３５にて検出された山部の情報が２つでない場合、画像補正手段４３の双峰性判定手段４３１により背景側輝度分布は双峰性分布でないと判定され（Ｓ３６にてＮＯ）、処理は図７のステップＳ４４〜Ｓ４９へ進められる。この処理は後述する。

一方、ステップＳ３５にて検出された山部の情報が２つの場合、双峰性判定手段４３１により背景側輝度分布は双峰性分布であると判定され（Ｓ３６にてＹＥＳ）、ステップＳ３７〜Ｓ４３の処理が行われる。

画像補正手段４３は、２つの山部の中間輝度を分割しきい値Ｔｄに設定し、候補領域の背景画像３０においてＴｄより高輝度な画素からなる明領域とＴｄ以下の低輝度な画素からなる暗領域を検出する（Ｓ３７）。

明・暗領域が検出されると、画像補正手段４３は、明領域を指定して輝度分布分析手段４２に入力側輝度分布を算出させて、明領域の入力画像における輝度分布の山部の幅を高輝度側分布範囲として取得し（Ｓ３８）、高輝度側分布範囲を全階調に拡大する輝度変換を候補領域の入力画像を構成する全画素に施して高輝度側補正画像を生成する（Ｓ３９）。

さらに画像補正手段４３は、暗領域を指定して輝度分布分析手段４２に入力側輝度分布を算出させて、暗領域の入力画像における輝度分布の山部の幅を低輝度側分布範囲として取得し（Ｓ４０）、低輝度側分布範囲を全階調に拡大する輝度変換を候補領域の入力画像を構成する全画素に施して低輝度側補正画像を生成する（Ｓ４１）。

高輝度側補正画像と低輝度側補正画像が生成されると、画像補正手段４３はこれらの対応する画素同士を平均化した平均画像を生成し（Ｓ４２）、信号処理部４のエッジ抽出手段４４は生成された平均画像からＨＯＧ特徴量を抽出する（Ｓ４３）。

図７を参照して、背景側輝度分布が双峰性分布でなかった場合に行われるステップＳ４４〜Ｓ４９の処理を説明する。

画像補正手段４３は、背景側輝度分布に含まれる山部の情報が１つであれば背景側輝度分布は１箇所に偏在した単峰性分布であるとして（Ｓ４４にてＹＥＳ）、候補領域を指定して輝度分布分析手段４２に入力側輝度分布を算出させ（Ｓ４５）、算出された入力側輝度分布が背景側輝度分布と類似していれば候補領域の入力画像にコントラスト補正を行う（Ｓ４６にてＹＥＳ→Ｓ４７）。エッジ抽出手段４４はコントラスト補正の結果として生成された補正画像からＨＯＧ特徴量を抽出する（Ｓ４８）。例えば日陰に暗色の服装の通行者が存在している場合、日向に明色の服装の通行者が存在している場合等、コントラストが不十分な場合に単峰性分布と類似が判定され、コントラスト補正によって強調されたエッジ情報が抽出される。

一方、背景側輝度分布が単峰性分布と判定されなかった場合（Ｓ４４にてＮＯ）、及び単峰性分布であっても類似が判定されなかった場合（Ｓ４６にてＮＯ）は、エッジ抽出手段４４は候補領域の入力画像からＨＯＧ特徴量を抽出する（Ｓ４９）。背景と通行者の間に既に十分なコントラストがあれば単峰性分布や相違が判定され、コントラスト補正を施さないことによってエッジ過多の発生が防止される。

以上のようにしてＨＯＧ特徴量が抽出されると、対象物検出手段４５は抽出されたＨＯＧ特徴量と記憶部３の対象物識別情報３１との比較を行って候補領域に通行者が存在するか否かを判定し、判定結果を候補領域の情報に対応付けて記憶部３に一時記憶させる（Ｓ５０）。

そして、全ての候補領域に対して処理が終了すると（Ｓ５１にてＹＥＳ）、対象物検出手段４５は、通行者が検出された候補領域の位置と大きさ、及び候補領域における入力画像を通行者情報として出力する。

再び図６に戻り、画像監視処理の続きを説明する。

通行者が検出されると（Ｓ４にてＹＥＳ）、信号処理部４の異常検知手段４６は、検出された通行者の通行者情報と現時刻より前に検出された通行者情報との対応付けにより各通行者の移動軌跡を検出し、移動軌跡を基に認証装置に立ち寄っていない異常な通行者の存在を判定する（Ｓ５）。

異常が判定された場合（Ｓ５にてＹＥＳ）、異常検知手段４６は出力部５に異常信号を出力し（Ｓ７）、異常信号が入力された出力部５は警報や通報等の出力動作を行う。尚、通行者が検出されなかった場合（Ｓ４にてＮＯ）、ステップＳ５〜Ｓ７はスキップされ、異常が判定されなかった場合（Ｓ６にてＮＯ）、ステップＳ７はスキップされる。

ステップＳ７までの処理が終わると、信号処理部４の背景画像生成手段４０は、入力画像において通行者が検出されなかった領域の画像を背景画像３０に合成することで背景画像３０を更新する（Ｓ８）。

［変形例］
上記実施形態において、輝度分布分析手段４２は輝度ヒストグラムを算出し、画像補正手段４３は輝度ヒストグラムを基に双峰性の判定、明領域（高輝度域）・暗領域（低輝度域）の検出、拡大すべき輝度分布範囲の特定を行った。
別の実施形態において、輝度分布分析手段４２は上限輝度しきい値ＴＨ１以上の輝度を有する画素数Ｎ１と下限輝度しきい値ＴＨ２以下の輝度値を有する画素数Ｎ２を計数する。画像補正手段４３は、背景側輝度分布のＮ１≧ＴＮ且つＮ２≧ＴＮの場合は双峰性を判定し、分割しきい値Ｔｄ＝（ＴＨ２−ＴＨ１）÷２により明・暗領域を検出し、０〜ＴＨ１又はＴＨ２〜２５５を拡大すべき輝度分布範囲として特定する。
尚、ＴＨ１は８５程度、ＴＨ２は１７０程度、ＴＮは総画素数の３０％以上に相当する値に設定することができる。

さらに別の実施形態において、輝度分布分析手段４２は輝度の平均Ａと分散σを算出する。画像補正手段４３は、背景側輝度分布ＴＨ１＜Ａ＜ＴＨ２且つσ≧Ｔσ２の場合は双峰性を判定し、分割しきい値Ｔｄ＝Ａにより明・暗領域を検出し、Ａ±α×σを拡大すべき輝度分布範囲として特定する。

また、上記実施形態においては画像補正手段４３が双峰性判定手段４３１を備えた。別の実施形態においては輝度分布分析手段４２が双峰性判定手段４３１を備える。この場合、輝度分布分析手段４２が輝度分布の特徴量とともに双峰性の判定結果を出力し、画像補正手段４３は入力された判定結果を参照して処理を切り換える。

１・・・画像監視装置
２・・・撮像部
３・・・記憶部
４・・・信号処理部
５・・・出力部
３０・・・背景画像
３１・・・対象物識別情報
４０・・・背景画像生成手段
４１・・・候補領域設定手段
４２・・・輝度分布分析手段
４３・・・画像補正手段
４４・・・エッジ抽出手段
４５・・・対象物検出手段
４６・・・異常検知手段
４３１・・・双峰性判定手段

Claims (5)

1. 監視空間が撮像された画像から対象物を検知する対象物検知装置であって、
   前記監視空間を撮像する撮像部と、
   予め前記対象物が存在しないときに撮像された背景画像を記憶している記憶部と、
   前記背景画像を分析して背景側輝度分布を算出する輝度分布分析手段と、
   前記背景側輝度分布が高輝度域と低輝度域に偏在した双峰性分布であるか否かを判定する双峰性判定手段と、
   前記双峰性分布が判定された場合に、前記高輝度域の画素が分布する高輝度側分布範囲を拡大する輝度変換を前記撮像部から入力された入力画像の各画素に施して高輝度側補正画像を生成するとともに前記低輝度域の画素が分布する低輝度側分布範囲を拡大する輝度変換を前記入力画像の各画素に施して低輝度側補正画像を生成し、前記高輝度側補正画像と前記低輝度側補正画像の平均画像を生成する画像補正手段と、
   前記入力画像からエッジ情報を抽出するエッジ抽出手段と、
   前記エッジ情報に基づいて対象物を検知する対象物検出手段と、
   を備え、
   前記対象物検出手段は前記平均画像が生成された場合は当該平均画像から前記エッジ情報を抽出することを特徴とする対象物検知装置。
2. 前記輝度分布分析手段は、さらに、前記高輝度域の画素と対応する前記入力画像の画素を分析して前記高輝度側分布範囲を算出し、前記低輝度域の画素と対応する前記入力画像の画素を分析して前記低輝度側分布範囲を算出する請求項１に記載の対象物検知装置。
3. 前記対象物に応じて予め設定されたサイズの候補領域を前記入力画像内の所定位置に設定する候補領域設定手段、をさらに備え、
   前記輝度分布分析手段は、前記候補領域内の画素について前記分析を行う請求項１又は２に記載の対象物検知装置。
4. 前記候補領域設定手段は、前記入力画像と前記背景画像との比較を行って差異が検出された位置に前記候補領域を設定する請求項３に記載の対象物検知装置。
5. 前記候補領域設定手段は、前記入力画像から楕円形状を有する人体頭部領域を検出し、前記人体頭部領域が検出された位置に前記候補領域を設定する請求項３又は４に記載の対象物検知装置。