JP2008165496A - 画像正規化装置、対象物検出装置、対象物検出システム及びプログラム - Google Patents

Abstract

【課題】背景部分と対象物部分のコントラストを低下させずに画像を正規化する。
【解決手段】輝度正規化部２２，３４において、入力画像の画素毎の輝度値のばらつきの度合いを示す数値であって、輝度値の正規化に用いられた場合に入力画像の背景と対象物とのコントラストが低下しないような数値を算出し、該算出された数値を用いて輝度値を正規化する。
【選択図】図１

Description

本発明は、画像正規化装置、対象物検出装置、対象物検出システム及びプログラムに関し、特に、背景と対象物以外の輝度物が含まれている画像でも、背景部分と対象物部分のコントラストを低下させずに正規化できる画像正規化装置及びプログラム、並びに、背景部分と対象物部分のコントラストを低下させずに正規化でき、対象物を精度高く検出できる対象物検出装置、対象物検出システム及びプログラムに関する。

近年、車載カメラで撮像した車両周辺の映像を画像処理し、歩行者などの対象物を検出してドライバに検出結果を提示する対象物検出装置を搭載する車両が増加している。

対象物を検出する方法としては、予め対象物のパターンを学習させた学習モデル辞書を予め生成しておき、入力された画像が学習モデル辞書に登録されたデータに近いか否かを判断することで対象物を検出する方法が一般的である。具体的には、例えば、Viola&Jonesの手法（非特許文献１参照。）等、様々な手法がある。

対象物の検出は、入力画像の輝度値を正規化した後に行なわれる。このとき、背景部分と対象物部分とでコントラストが高いほうが対象物の検出精度が高くなるが、入力画像に背景と対象物以外に高輝度物あるいは低輝度物が含まれていると、従来の方法で輝度値を正規化することで背景部分と対象物部分とのコントラストが低くなる場合がある。これにより対象物の検出精度が低下するおそれがある。以下、具体的な例を挙げて説明する。

図７（Ａ）は、対象物及び暗い背景が存在する画像の輝度値の頻度を計数した輝度ヒストグラムの一例を示した図であり、図７（Ｂ）は、図７（Ａ）と同一輝度の背景及び対象物を含む画像であって、更に背景中に対象物以外の高輝度物が存在する画像の輝度ヒストグラムの一例を示した図である。図中、左側のピーク値が背景部分を示すピーク値であり、右側のピーク値が対象物部分を示すピーク値である。図７（Ｂ）には、背景部分を示すピークから対象物部分を示すピークまでの輝度値を除いた領域に高輝度値を有する輝度物部分が存在している。

従来、輝度の正規化には、以下に示す式で算出される標準偏差σが用いられている。

ここで、ｘ_ｉは、処理対象の画像の画素ｉの輝度値、ｘ_aveは処理対象の画像の全画素の輝度値の平均値、ｎは処理対象の画像の画素数を示す。

この式を用いて、図７（Ａ）および（Ｂ）に示す画像の輝度値の標準偏差を算出すると、図７（Ｂ）の画像の標準偏差σ_ｂは、図７（Ｂ）に示される高輝度物の存在により、図７（Ａ）の画像の標準偏差σ_ａより大きくなる。従って、このような標準偏差を用いて例えば輝度値を除算する等により各画像の輝度値を正規化して輝度ヒストグラムを生成すると、図７（Ａ）の画像の輝度ヒストグラムは図７（Ｃ）に示すようになり、図７（Ｂ）の画像の輝度ヒストグラムは、図７（Ｄ）に示すようになる。これらから明らかなように、図７（Ｄ）の背景部分と対象物部分の輝度値の分布は、図７（Ｃ）に比べて近い位置に分布している。すなわち、正規化によって図７（Ｂ）の画像は、図７（Ａ）の画像に比べて背景部分と対象物部分のコントラストが小さくなることがわかる。

なお、コントラストを高める装置としては、任意の照明条件下で撮影された画像を鮮明にすることにより、入力された画像中の輝度の低い部分のコントラストを高めた画像を出力する画像正規化装置が知られている（特許文献１参照。）。
特開２００６−４０９０号公報 Paul Viola and Michael Jones :"Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE Computer Society Conference on Conputer Vision and Pattern Recognition, 2001.

しかしながら、上記画像正規化装置では、対象物に対する様々な照影条件下で撮影された画像の照明環境の影響を除き、輝度の低い部分におけるコントラストを高くすることは可能であるが、正規化で発生する背景部分と対象物部分とのコントラストの低下を防止することはできない、という問題がある。

本発明は、上述した問題を解決するために提案されたものであり、背景部分と対象物部分のコントラストを低下させずに輝度値を正規化できる画像正規化装置及びプログラム、並びに背景部分と対象物部分のコントラストを低下させずに輝度値を正規化でき、対象物を精度高く検出できる対象物検出装置、対象物検出システム及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の画像正規化装置は、入力画像の輝度値のばらつきの度合いを示す数値であって、前記輝度値の正規化に用いられた場合に前記入力画像の背景部分と対象物部分とのコントラストが低下しないような数値を算出する算出手段と、前記算出された数値を用いて前記輝度値を正規化する正規化手段と、を含んで構成されている。

前述したように、輝度値の正規化に標準偏差をそのまま使用すると背景部分と対象物部分のコントラストが低下する場合がある。従って、背景部分と対象物部分のコントラストが低下しないような数値を正規化に用いることによって、そうした問題を解決することができる。

なお、前記算出手段は、前記入力画像の輝度値の頻度を計数したヒストグラムにおいて、背景部分を示すピークから対象物部分を示すピークまでの輝度値を除いた領域に輝度値を有する輝度物部分の影響が小さくなるように前記数値を算出することができる。

すなわち、背景部分を示すピークから対象物部分を示すピークまでの輝度値を除いた領域に輝度値を有する輝度物部分が影響すると、正規化したときに背景部分と対象物部分とのコントラストが低下してしまう。従って、この輝度部分の影響が小さくなるような数値を用いることによって、背景部分と対象物部分のコントラストの低下を抑えることができる。

また、本発明の対象物検出装置は、前記画像正規化装置と、前記画像正規化装置によって輝度値が正規化された入力画像と、対象物を検出するための学習モデルとに基づいて、前記入力画像から対象物を検出する検出手段と、を含んで構成されている。

前述したように画像正規化装置により背景部分と対象物部分のコントラストを低下させずに輝度値を正規化できるため、対象物を精度高く検出できる。

また、本発明の対象物検出システムは、前記画像正規化装置と、前記画像正規化装置によって輝度値が正規化された学習用画像に基づいて対象物を検出するための学習モデルを生成する学習モデル生成手段と、前記生成された学習モデルを記憶する記憶手段と、前記画像正規化装置によって輝度値が正規化された入力画像と、前記記憶手段に記憶された学習モデルとに基づいて、前記入力画像から対象物を検出する検出手段と、を含んで構成されている。

このように、前記画像正規化装置によって学習用画像を正規化すると共に、前記画像正規化装置によって入力画像を正規化し、該正規化した入力画像と、該正規化した学習用画像から生成された学習モデルとに基づいて対象物を検出するようにしたため、背景部分と対象物部分のコントラストを低下させずに輝度値を正規化でき、対象物を精度高く検出できる。

なお、本発明の画像正規化装置および対象物検出装置は、プログラムにも適用可能である。

以上説明したように本発明によれば、背景部分と対象物部分のコントラストを低下させずに輝度値を正規化できる、という効果が得られる。

以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。

図１は、本発明の実施の形態に係る対象物検出システム１０の構成を示すブロック図である。本実施形態に係る対象物検出システム１０は、対象物を検出する対象物検出装置３０と、対象物検出装置３０で使用される学習モデル辞書を生成する学習モデル生成装置２０と、を備えている。

対象物検出装置３０は、ウインドウ画像抽出部３２と、輝度正規化部３４と、評価部３６と、結果出力部３８と、を備えている。

ウインドウ画像抽出部３２は、外部から入力された入力画像からウインドウ画像を抽出する。本実施の形態では、入力画像から対象物を検出する際に、該入力画像から予め定められたサイズのウインドウ（探索ウインドウと呼称）を予め定められた移動量（探索ピッチと呼称）だけ移動させながら画像を切り取り、該切り取った画像から対象物を探索する。ここでは、切り取った画像をウインドウ画像といい、ウインドウ画像のサイズ（すなわち探索ウインドウのサイズ）をウインドウサイズと呼称する。ウインドウサイズは複数種設定されており、ウインドウ画像抽出部３２は、設定されている全ての探索ウインドウを用いてウインドウ画像を抽出する。また、ウインドウ画像抽出部３２は、抽出したウインドウ画像を予め設定された画素数の画像（例えば１６×３２画素の画像）に変換する。

輝度正規化部３４は、画像毎に異なる輝度分布の影響をなくし、後述する学習モデルと、上記抽出したウインドウ画像との比較が行えるように、上記抽出したウインドウ画像の輝度値を正規化する。このとき、背景中に際だった輝度を持つ対象物以外の画像部分が存在していても、対象物部分と背景部分のコントラストを低下させることがないように輝度の正規化を行なう。

評価部３６は、輝度が正規化されたウインドウ画像と後述の学習モデル辞書とを用いて、対象物らしさを示す評価値を算出し、対象物を検出する。

結果出力部３８は、対象物の有無を示した対象物有無情報、対象物の画像を示す画像データ、対象物の位置を示す位置情報などを対象物の検出結果として出力する。

なお、この対象物検出装置３０では、入力画像に対して予め設定されている各サイズの探索ウインドウを探索ピッチだけ移動させながらウインドウ画像を抽出し、該抽出した全てのウインドウ画像について対象物の検出処理を実行するため、ウインドウ画像抽出部３２、輝度正規化部３４、および評価部３６での処理は、抽出するウインドウ画像の数だけ繰り返し行なわれる。

また、学習モデル生成装置２０は、輝度正規化部２２と、学習部２４と、学習モデル辞書２６と、を備えている。

輝度正規化部２２には、予め設定されたウインドウサイズの学習用画像が入力される。学習用画像としては、対象物を含む画像、および対象物を含まない非対象物の画像が入力される。輝度正規化部２２は、学習用画像が入力されると、上記輝度正規化部３４と同様に、画像毎に異なる輝度分布の影響がなくなるよう学習用画像の輝度値を正規化する。

学習部２４は、輝度が正規化された学習用画像から対象物の特徴を示す学習モデルを生成する。

学習部２４で生成された学習モデルは、学習モデル辞書２６に記憶される。学習モデル辞書２６は、ハードディスクドライブ（ＨＤＤ）やＣＤ−ＲＯＭ等のように、内蔵または外付けの記憶手段であって、学習モデルを記憶できる媒体により構成されていれば、特に限定されない。学習モデル辞書２６に記憶された学習モデルは、対象物検出装置３０の評価部３６で対象物の検出に利用される。

なお、本実施の形態では、学習モデル生成装置２０や対象物検出装置３０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、内蔵ＨＤＤ等を含んで構成されたコンピュータで構成することができる。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶装置に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。また、学習モデル生成装置２０や対象物検出装置３０を互いに独立したマイクロコンピュータで実現してもよいし、同一コンピュータ上で実現することも可能である。

以上のように構成された本実施の形態の対象物検出システム１０では、Ｖｉｏｌａ＆Ｊｏｎｅｓの手法（以下、Ｖ＆Ｊと記す）を用いて、入力画像から歩行者等の対象物を検出する。

Ｖ＆Ｊ手法は２クラス識別を行う手法で、Ｈａａｒ−ｌｉｋｅ特徴の利用とそのインテグラルイメージによる高速演算法、カスケード接続のＡｄａｂｏｏｓｔ型の識別器により、高速な識別処理を実現している（Paul Viola and Michael Jones :"Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE Computer Society Conference on Conputer Vision and Pattern Recognition, 2001.を参照。）。

Ｖ＆Ｊ手法に従い、本実施の形態の学習モデル生成装置２０は、対象物の画像と、非対象の画像の２種類の学習用画像から、Ｈａａｒ−ｌｉｋｅ特徴の集合からなる学習モデル（対象物か否かを識別するために用いる辞書の役割をするもの）を生成する。

また、対象物検出装置３０では、前述したように、入力画像に対して探索ウインドウと呼ばれる複数の大きさのウインドウを縦横に少しずつずらしながらウインドウ画像を抽出し、該ウインドウ画像と上記生成された学習モデルとの比較を行うことにより、対象物を抽出する。

Ｖ＆Ｊ手法では、学習モデルの生成および対象物の検出時（評価時）には、対象物の検出率を高めるため画像毎に異なる輝度分布の影響が除かれるよう、対象とするウインドウ画像に対して輝度の正規化を行う。また、通常のＶ＆Ｊ手法では、正規化は一般的な標準偏差を用いて行うが、正規化に一般的な標準偏差を用いると、背景部分や対象物部分以外の輝度物部分の輝度値に影響されて、正規化後に背景部分と対象物部分とのコントラストが低下し、対象物の検出が困難となることがある。従って、本実施の形態では、標準偏差の代わりに、輝度値のばらつきの度合いを示す値であって、背景部分と対象物部分とのコントラストが低下しないような代替値を用いて正規化を行なう。

ここで、学習モデル生成装置２０における学習モデル生成処理の流れについて詳細に説明する。図２は、学習モデル生成処理ルーチンを示すフローチャートである。すなわち、学習モデル生成装置２０は、次のステップ１００以降の処理を実行する。

ステップ１００で輝度正規化部２２に予め設定されたサイズ（例えば１６×３２画素）の学習用画像を読み込む。ステップ１０２では、輝度正規化部２２は、輝度の正規化で用いる標準偏差の代替値を算出する。

本実施の形態では、平均偏差の式（１）を用いて代替値Ｓを算出する。

ここで、ｘ_ｉは、学習用画像の画素ｉの輝度値、ｘ_aveは、学習用画像の全画素の輝度値の平均値、ｎは学習用画像の画素数である。

標準偏差および平均偏差は、どちらも輝度値のばらつきの度合いを示す値ではあるが、標準偏差は、画素ｉの輝度値と全画素の輝度値の平均値との差の２乗を計算するため、入力画像に背景および対象物以外に特異な輝度物が含まれている場合には、２乗する分だけ該輝度物の影響も大きくなってしまう。より具体的には、図７（Ｂ）に示すように、入力画像の輝度値の頻度を計数したヒストグラムにおいて、背景部分を示すピークから対象物部分を示すピークまでの輝度値を除いた領域に輝度値を有する輝度物部分が、標準偏差に大きな影響を及ぼす。しかしながら、平均偏差では、画素ｉの輝度値と全画素の輝度値の平均値との差の絶対値を用いるため、背景部分および対象物以外の特異な輝度物の影響を低く抑えることができる。

具体的には、入力画像に背景および対象物以外に高輝度物あるいは低輝度物が含まれている場合には、平均偏差は標準偏差よりも小さい値となり、入力画像に背景および対象物以外に高輝度物あるいは低輝度物が含まれていない場合には、標準偏差に近い値となる。

ステップ１０４では、輝度正規化部２２は、算出した代替値を用いて輝度値を正規化する。正規化の方法は様々な手法があり、特に限定されないが、例えば、輝度値を代替値で除算する等の方法を採用することができる。正規化した画像は、学習部２４に出力される。

ステップ１０６では、輝度正規化部２２は、全ての学習用画像について正規化処理が終了したか否かを判断する。ここで否定判断した場合には、ステップ１００に戻り、次の学習用画像を読み込む。また、ここで肯定判断した場合には、ステップ１０８で、学習部２４は、Ｖ＆Ｊの手法に従い、該正規化した学習用画像に基づいて、対象物の特徴を示す学習モデルを生成する。生成した学習モデルは、学習モデル辞書２６に記憶される。

次に、対象物検出装置３０における対象物検出処理の流れについて説明する。図３は、対象物検出処理ルーチンを示すフローチャートである。すなわち、対象物検出装置３０は、次のステップ２００以降の処理を実行する。

ステップ２００では、ウインドウ画像抽出部３２に、対象物を検出する対象となる画像が入力される。

ステップ２０２では、ウインドウ画像抽出部３２は、入力画像に対して例えば１６×３２画素の探索ウインドウを設定する。

ステップ２０４では、ウインドウ画像抽出部３２は、該設定した探索ウインドウを用いて、入力画像から１６×３２画素のウインドウ画像を抽出する。なお、設定した探索ウインドウが１６×３２画素を超えるサイズのウインドウであった場合には、抽出したウインドウ画像を１６×３２画素に変換する。

ステップ２０６では、輝度正規化部３４は、ウインドウ画像抽出部３２で抽出されたウインドウ画像を構成する各々の画素の輝度値を用いて、正規化で用いる標準偏差の代替値を算出する。なお、輝度正規化部３４は、代替値を、学習モデル生成装置２０の輝度正規化部２２で算出した代替値と同一の算出式（１）を用いて算出する。ただし、ｘ_ｉを、ウインドウ画像の画素ｉの輝度値とし、ｘ_aveを、ウインドウ画像の全画素の輝度値の平均値とし、ｎを、ウインドウ画像の画素数として計算する。

ステップ２０８では、輝度正規化部３４は、算出した代替値を用いて輝度値を正規化する。正規化は、学習モデル生成装置２０の輝度正規化部２２で行なった正規化の方法と同一の方法で行なう。

ステップ２１０では、評価部３６が、上記正規化したウインドウ画像と、学習モデル辞書２６から読み出した学習モデルとを比較して、対象物の確からしさを評価値として算出し、その評価値に基づいてウインドウ画像が対象物であるか否かを判定する。なお、ウインドウ画像と学習モデルとを用いた対象物の検出の方法は様々あるが、前述のＶ＆Ｊの手法で採用されているＡｄａＢｏｏｓｔアルゴリズム等を用いて検出することができる。判定結果は、所定の記憶手段に記憶しておく。

ステップ２１２では、評価部３６は、入力画像全体について探索ウインドウをスキャンして探索が終了したか否かを判定し、肯定判定のときはステップ２１６に進み、否定判定のときはステップ２１４に進む。

ステップ２１４では、ウインドウ画像抽出部３２は、探索ウインドウの位置を予め定められた探索ピッチだけ移動させて、ステップ２０４に戻る。これ以降、再びステップ２０４からステップ２１２までの処理が繰り返し実行される。探索ウインドウが画像全体を探索すると、ステップ２１６に進む。

ステップ２１６では、評価部３６は、全てのサイズの探索ウインドウでの探索が終了したか否かを判定する。

ここで、探索ウインドウは対象物を検出するためのウインドウ画像を抽出するためのフレームとして用いられているが、探索ウインドウのサイズが異なれば、様々なサイズの対象物を検出することができる。本実施の形態では、様々なサイズの探索ウインドウが予め用意されており、各々の探索ウインドウで画像全体を探索する必要がある。そこで、ステップ２１６で否定判定したときには、ステップ２０２に戻り、ウインドウ画像抽出部３２は、異なるウインドウサイズの探索ウインドウを設定する。以降、上記と同様にステップ２０４からステップ２１２までの処理が繰り返し実行される。

ステップ２１６で肯定判定したときには、ステップ２１８で、結果出力部３８は、評価部の判定結果に基づいて、対象物の有無を示した対象物有無情報、対象物の画像を表す画像データ、対象物の位置を示す位置情報などを対象物の検出結果として出力する。

以上説明したように、平均偏差を標準偏差の代替値として算出し、該代替値を用いて輝度値の正規化を行なうようにしたため、入力画像に背景および対象物以外に高輝度物あるいは低輝度物が含まれていてもその影響を小さく抑えることができ、対象物部分と背景部分とのコントラスト低下を抑えることができる。これにより、一般的な標準偏差を用いて正規化を行なう場合に比べて、入力画像から対象物を高精度に検出することができる。

なお、標準偏差の代替値としては、上記代替値Ｓに限定されず、以下に示す式（２）から算出される値Ｓ’を用いてもよい。

ここで、Ｘ_ｉは、学習用画像またはウインドウ画像を複数個の小領域に分割したときの小領域ｉに含まれる画素の輝度値の平均値、ｘ_aveは、学習用画像またはウインドウ画像の全画素の輝度値の平均値、Ｎは小領域の数である。

なお、画像を小領域に分割するときの分割手法は特に限定されないが、例えば、図４に示すように、１６×３２画素のウインドウ画像に対して、４等分割、９等分割、歩行者などの対象物の身体各部位置を考慮した９分割、１５等分割、２１等分割などが挙げられる。このように小領域に分割することにより、代替値の演算時間を短縮することができる。

また、この代替値Ｓ’も、上記代替値Ｓと同様に、入力画像に背景および対象物以外に高輝度物あるいは低輝度物が含まれている場合には、標準偏差よりも小さい値となり、入力画像に背景および対象物以外に高輝度物あるいは低輝度物が含まれていない場合には、標準偏差に近い値となる。

従って、これによっても、一般的な標準偏差を用いて正規化を行なう場合に比べて、対象物部分と背景部分とのコントラスト低下を抑えることができ、入力画像から対象物を高精度に検出することができる。

図５は、一般的な標準偏差を用いて輝度値の正規化を行った場合、および代替値Ｓ、Ｓ’を用いて輝度値の正規化を行なった場合について、画像からの歩行者検出性能の比較例を示したグラフである。このグラフは、ＲＯＣ（receiver operating characteristic）カーブと呼ばれ、縦軸が検出率、横軸が誤検出数である。グラフから明らかなように、標準偏差を用いた場合よりも、代替値を用いた方が検出性能は格段に向上する。

次に、上記実施の形態で説明した代替値Ｓ、Ｓ’以外に背景や対象物以外の輝度物の影響を小さくできる他の代替値について具体的に説明する。

＜他の代替値１＞
他の代替値１は、以下に示す一般的な標準偏差σの式（３）を用いて算出する。

なお、ｘ_ｉは、学習用画像またはウインドウ画像の画素ｉの輝度値、ｘ_aveは学習用画像またはウインドウ画像の全画素の輝度値の平均値、ｎは学習用画像またはウインドウ画像の画素数を示す。

ただし、ｘ_ｉに対して上限の閾値、下限の閾値を設け、ｘ_iの大きさに応じてｘ_iを以下のように調整する。
ｘ_i＜Smin（あらかじめ設定した下限の閾値）のときには、ｘ_iをSminに補正する。
ｘ_i＞Smax（あらかじめ設定した上限の閾値）のときには、ｘ_iをSmaxに補正する。
Smin≦ｘ_i≦Smaxのときには、ｘ_iを画素ｉの輝度値そのままとする。

画素ｉの輝度値が上限の閾値を超えるような高輝度値であった場合、或いは下限の閾値未満の低輝度値であった場合には、該輝度値で示される輝度物は背景あるいは対象物以外の輝度物である可能性が高い。従って、このように、上限の閾値を超える輝度値を該上限の閾値に補正し、下限の閾値を下回る輝度値を下限の閾値に補正して標準偏差を算出することにより、背景および対象物以外の輝度物の影響を小さくでき、正規化したときの背景部分と対象物部分のコントラストの低下を防止することができる。

＜他の代替値２＞
他の代替値２も、上記他の代替値１と同様に一般的な標準偏差の式（３）を用いて算出するが、ｘ_ｉの値を以下のように調整する。
ｘ_i＜Smin（あらかじめ設定した下限の閾値）のときには、ｘ_iを無効とする。
ｘ_i＞Smax（あらかじめ設定した上限の閾値）のときには、ｘ_iを無効とする。
Smin≦ｘ_i≦Smaxのときには、ｘ_iを有効とする。

更に、ｘ_aveは学習用画像またはウインドウ画像の有効な画素の輝度値の平均値とし、ｎは学習用画像またはウインドウ画像の有効な画素数とする。

前述したように、画素ｉの輝度値が上限の閾値を超えるような高輝度値であった場合、或いは下限の閾値未満の低輝度値であった場合には、該輝度値で示される輝度物は背景あるいは対象物以外の輝度物である可能性が高い。従って、そうした輝度値を無効として（すなわち、該輝度値を含めずに）標準偏差を算出することで、背景および対象物以外の輝度物の影響を小さくでき、正規化したときの背景部分と対象物部分のコントラストの低下を防止することができる。

＜他の代替値３＞
他の代替値３は、上記実施の形態で説明した一般的な平均偏差の式（１）を用いて算出する。

ただし、ｘ_ｉに対して上限の閾値、下限の閾値を設け、ｘ_iの大きさに応じてｘ_iを以下のように調整する。
ｘ_i＜Smin（あらかじめ設定した下限の閾値）のとき、ｘ_iをSminに補正する。
ｘ_i＞Smax（あらかじめ設定した上限の閾値）のとき、ｘ_iをSmaxに補正する。
Smin≦ｘ_i≦Smaxのときには、ｘ_iを画素ｉの輝度値そのままとする。

これによっても上記と同様に、背景および対象物以外の輝度物の影響を小さくでき、正規化したときの背景部分と対象物部分のコントラストの低下を防止することができる。

＜他の代替値４＞
他の代替値４も、上記他の代替値３と同様に一般的な平均偏差の式（１）を用いて算出するが、ｘ_ｉの値を以下のように調整する。
ｘ_i＜Smin（あらかじめ設定した下限の閾値）のとき、ｘ_iを無効とする。
ｘ_i＞Smax（あらかじめ設定した上限の閾値）のとき、ｘ_iを無効とする。
Smin≦ｘ_i≦Smaxのときには、ｘ_iを有効とする。

更に、ｘ_aveは学習用画像またはウインドウ画像の有効な画素の輝度値の平均値とし、ｎは学習用画像またはウインドウ画像の有効な画素数とする。

これによっても上記と同様に、背景および対象物以外の輝度物の影響を小さくでき、正規化したときの背景部分と対象物部分のコントラストの低下を防止することができる。

＜他の代替値５＞
他の代替値５は、画像を小領域に分割して算出する代替値Ｓ’を算出するために用いた式（２）を用いて算出するが、小領域ｉの輝度値の平均値Ｘ_ｉを算出するときに、小領域ｉの各画素の輝度値ｘを以下のように調整してから平均値を算出する。
ｘ＜Smin（あらかじめ設定した下限の閾値）のとき、ｘをSminに補正する。
ｘ＞Smax（あらかじめ設定した上限の閾値）のとき、ｘをSmaxに補正する。
Smin≦ｘ≦Smaxのときには、ｘをそのままの値とする。

これによっても上記と同様に、背景および対象物以外の輝度物の影響を小さくでき、正規化したときの背景部分と対象物部分のコントラストの低下を防止することができる。

＜他の代替値６＞
他の代替値６は、画像を小領域に分割して算出する代替値Ｓ’を算出するために用いた式（２）を用いて算出するが、小領域ｉの輝度値の平均値Ｘ_ｉを算出するときに、小領域ｉの各画素の輝度値ｘを以下のように調整してから平均値を算出する。
ｘ＜Smin（あらかじめ設定した下限の閾値）のとき、ｘを無効とする。
ｘ＞Smax（あらかじめ設定した上限の閾値）のとき、ｘを無効とする。
Smin≦ｘ≦Smaxのときには、ｘを有効とする。

これによっても上記と同様に、背景および対象物以外の輝度物の影響を小さくでき、正規化したときの背景部分と対象物部分のコントラストの低下を防止することができる。

＜他の代替値７＞
他の代替値７（Ｓ”）は、一般的な標準偏差σを算出する式（３）に画像を小領域に分割して算出する手法を採用した以下の式（４）を用いて算出する。

なお、Ｘ_ｉは、学習用画像またはウインドウ画像を複数個の小領域に分割したときの小領域ｉに含まれる画素の輝度値の平均値、ｘ_aveは学習用画像またはウインドウ画像の全画素の輝度値の平均値、Ｎは小領域の数である。

ただし、小領域ｉの輝度値の平均値Ｘ_ｉを算出するときに、小領域ｉの各画素の輝度値ｘを以下のように調整してから平均値を算出する。
ｘ＜Smin（あらかじめ設定した下限の閾値）のとき、ｘをSminに補正する。
ｘ＞Smax（あらかじめ設定した上限の閾値）のとき、ｘをSmaxに補正する。
Smin≦ｘ≦Smaxのときには、ｘをそのままの値とする。

これによっても上記と同様に、背景および対象物以外の輝度物の影響を小さくでき、正規化したときの背景部分と対象物部分のコントラストの低下を防止することができる。

＜他の代替値８＞
他の代替値８は、画像を小領域に分割して算出する他の代替値７（Ｓ”）を算出するために用いた式（４）を用いて算出するが、小領域ｉの輝度値の平均値Ｘ_ｉを算出するときに、小領域ｉの各画素の輝度値ｘを以下のように調整してから平均値を算出する。
ｘ＜Smin（あらかじめ設定した下限の閾値）のとき、ｘを無効とする。
ｘ＞Smax（あらかじめ設定した上限の閾値）のとき、ｘを無効とする。
Smin≦ｘ≦Smaxのときには、ｘを有効とする。

これによっても上記と同様に、背景および対象物以外の輝度物の影響を小さくでき、正規化したときの背景部分と対象物部分のコントラストの低下を防止することができる。

なお、上記閾値SminおよびSmaxは、以下に示す式（５）、（６）を用いて算出し、設定することができる。

Smin ＝ ヒストグラムの小側ピーク値−α ・・・（５）
Smax ＝ ヒストグラムの大側ピーク値＋α ・・・（６）
ここで、ヒストグラムとは、ウインドウ画像の輝度値の頻度を計数したものである。また、αは任意の定数である。また、図７（Ａ）に示す例を用いて説明すると、ヒストグラムの２つのピークのうち、背景側のピークの輝度値が「小側のピーク値」であり、対象物側のピークの輝度値が「大側のピーク値」となる。これらピーク値にαを減算あるいは加算した値を閾値Smin、Smaxとして用いて上記代替値を算出することにより、背景および対象物以外の輝度物の影響を小さくできる。

次に、上記実施の形態で例示した代替値Ｓ、Ｓ’および他の代替値３〜６について、上記で説明した以外の更なる有利な点について説明する。

Ｖ＆Ｊの手法では、輝度値の正規化に用いる一般的な標準偏差σを算出するために、画像の各画素の輝度値ｘのインテグラルイメージとｘ^２のインテグラルイメージを生成して使用している。

インテグラルイメージＩ^２（ｘ_ｉ）は、画素ｉより左上部分の全ての画素の輝度値の２乗の合計を各画素毎に求め、各画素位置に対応してマッピングしたものである。

また、インテグラルイメージＩ（ｘ_ｉ）は、画素ｉより左上部分の全ての画素の輝度値の合計を各画素毎に求め、各画素位置に対応してマッピングしたものである。

例えば、図６に示す領域ｄをウインドウ画像Ｗとし、このウインドウ画像の輝度値の標準偏差σを算出する場合には、領域ｄの輝度値の２乗の合計、および領域ｄの輝度値の合計をまず算出する。

領域ｄの輝度値の２乗の合計は、ウインドウ画像Ｗの左上画素をｘ_ｌｔとし、ウインドウ画像Ｗの右上画素をｘ_ｒｔとし、ウインドウ画像Ｗの左下画素をｘ_ｌｂとし、ウインドウ画像Ｗの右下画素をｘ_ｒｂとすると、次式（７）を用いて計算できる。

ここで、Ｉ^２（ｘ_ｌｔ）は、領域ａの輝度値の２乗の合計であり、Ｉ^２（ｘ_ｒｔ）は、領域（ａ＋ｂ）の輝度値の２乗の合計であり、Ｉ^２（ｘ_ｌｂ）は、領域（ａ＋ｃ）の輝度値の２乗の合計であり、Ｉ^２（ｘ_ｒｂ）は、領域（ａ＋ｂ＋ｃ＋ｄ）の輝度値の２乗の合計である。従って、上記式（７）より領域ｄ（すなわちウインドウ画像Ｗ）の輝度値の２乗の合計を得ることができる。

また、領域ｄの輝度値の合計は、次式（８）を用いて計算できる。

ここで、Ｉ（ｘ_ｌｔ）は、領域ａの輝度値の合計であり、Ｉ（ｘ_ｒｔ）は、領域（ａ＋ｂ）の輝度値の合計であり、Ｉ（ｘ_ｌｂ）は、領域（ａ＋ｃ）の輝度値の合計であり、Ｉ（ｘ_ｒｂ）は、領域（ａ＋ｂ＋ｃ＋ｄ）の輝度値の合計である。従って、上記式（７）より領域ｄ（すなわちウインドウ画像Ｗ）の輝度値の合計を得ることができる。

このようにインテグラルイメージＩ^２（ｘ_ｉ）、インテグラルイメージＩ（ｘ_ｉ）を予め計算しておけば、ウインドウ画像Ｗの輝度値の合計および輝度値の２乗の合計が高速に求められ、これにより、前述の（３）式から明らかなように高速に標準偏差が求められる。従って、Ｖ＆Ｊの手法では、これらインテグラルイメージを生成して、標準偏差σを高速に計算するようにしている。

一方、前述した代替値Ｓ、Ｓ’および他の代替値３〜６を計算する場合には、式（１）、（２）から明らかなように、輝度値の２乗の合計値は必要ない。従って、生成すべきインテグラルイメージは、インテグラルイメージＩ（ｘ_ｉ）のみとなるため、計算量を大幅に削減することができる。

本発明の実施の形態に係る対象物検出システムの構成を示すブロック図である。 学習モデル生成処理ルーチンを示すフローチャートである。 ウインドウ画像の分割方法を例示した図である。 対象物検出処理ルーチンを示すフローチャートである。 一般的な標準偏差を用いて輝度値の正規化を行った場合、および代替値Ｓ、Ｓ’を用いて輝度値の正規化を行なった場合について、画像からの歩行者検出性能の比較例を示したグラフである。 インテグラルイメージを用いて標準偏差を算出する場合の算出方法を説明する説明図である。 （Ａ）は、対象物と暗い背景が存在する画像の輝度値の頻度を計数した輝度ヒストグラムの一例を示した図であり、（Ｂ）は、（Ａ）と同一の背景及び対象物を含む画像であって、背景中に対象物以外の高輝度物が存在する画像の輝度ヒストグラムの一例を示した図であり、（Ｃ）は、（Ａ）の画像を一般的な標準偏差を用いて正規化した場合の輝度ヒストグラムを示した図であり、（Ｄ）は、（Ｂ）の画像を一般的な標準偏差を用いて正規化した場合の輝度ヒストグラムを示した図である。

符号の説明

１０ 対象物検出システム
２０ 学習モデル生成装置
２２ 輝度正規化部
２４ 学習部
２６ 学習モデル辞書
３０ 対象物検出装置
３２ ウインドウ画像抽出部
３４ 輝度正規化部
３６ 評価部
３８ 結果出力部

Claims (13)

1. 入力画像の輝度値のばらつきの度合いを示す数値であって、前記輝度値の正規化に用いられた場合に前記入力画像の背景部分と対象物部分とのコントラストが低下しないような数値を算出する算出手段と、
   前記算出された数値を用いて前記輝度値を正規化する正規化手段と、
   を含む画像正規化装置。
2. 前記算出手段は、前記入力画像の輝度値の頻度を計数したヒストグラムにおいて、背景部分を示すピークから対象物部分を示すピークまでの輝度値を除いた領域に輝度値を有する輝度物部分の影響が小さくなるように前記数値を算出する請求項１記載の画像正規化装置。
3. 前記算出手段は、前記数値として前記入力画像の輝度値の平均偏差を算出する請求項１または請求項２記載の画像正規化装置。
4. 前記算出手段は、Ｘ_ｉを前記入力画像を複数個の小領域に分割したときの小領域ｉに含まれる画素の輝度値の平均値とし、ｘ_aveを前記入力画像の全画素の輝度値の平均値とし、Ｎを前記小領域の数として、前記数値Ｓを以下に示す数式を用いて算出する
   

   

   請求項１または請求項２記載の画像正規化装置。
5. 前記算出手段は、予め設定された上限値より大きい輝度値を該上限値に補正すると共に予め設定された下限値より小さい輝度値を該下限値に補正して前記輝度値のばらつきの度合いを示す数値を算出する請求項１乃至請求項４のいずれか１項記載の画像正規化装置。
6. 前記算出手段は、予め設定された上限値より大きい輝度値および予め設定された下限値より小さい輝度値を含めずに前記輝度値のばらつきの度合いを示す数値を算出する請求項１乃至請求項４のいずれか１項記載の画像正規化装置。
7. 前記算出手段は、予め設定された上限値より大きい輝度値を該上限値に補正すると共に予め設定された下限値より小さい輝度値を該下限値に補正して前記入力画像の輝度値の標準偏差を前記数値として算出する請求項１または請求項２記載の画像正規化装置。
8. 前記算出手段は、予め設定された上限値より大きい輝度値および予め設定された下限値より小さい輝度値を含めずに前記入力画像の輝度値の標準偏差を前記数値として算出する請求項１または請求項２記載の画像正規化装置。
9. 請求項１乃至請求項８のいずれか１項記載の画像正規化装置と、
   前記画像正規化装置によって輝度値が正規化された入力画像と、対象物を検出するための学習モデルとに基づいて、前記入力画像から対象物を検出する検出手段と、
   を含む対象物検出装置。
10. 前記学習モデルは、前記画像正規化装置によって輝度値が正規化された学習用画像に基づいて生成された請求項９記載の対象物検出装置。
11. 請求項１乃至請求項８のいずれか１項記載の画像正規化装置と、
    前記画像正規化装置によって輝度値が正規化された学習用画像に基づいて対象物を検出するための学習モデルを生成する学習モデル生成手段と、
    前記生成された学習モデルを記憶する記憶手段と、
    前記画像正規化装置によって輝度値が正規化された入力画像と、前記記憶手段に記憶された学習モデルとに基づいて、前記入力画像から対象物を検出する検出手段と、
    を含む対象物検出システム。
12. コンピュータに、
    入力画像の輝度値のばらつきの度合いを示す数値であって、前記輝度値の正規化に用いられた場合に前記入力画像の背景部分と対象物部分とのコントラストが低下しないような数値を算出する算出ステップと、
    前記算出された数値を用いて前記輝度値を正規化する正規化ステップと、
    を実行させるプログラム。
13. コンピュータに、
    入力画像の輝度値のばらつきの度合いを示す数値であって、前記輝度値の正規化に用いられた場合に前記入力画像の背景部分と対象物部分とのコントラストが低下しないような数値を算出する算出ステップと、
    前記算出された数値を用いて前記輝度値を正規化する正規化ステップと、
    前記輝度値が正規化された入力画像と、対象物を検出するための学習モデルとに基づいて、前記入力画像から対象物を検出する検出ステップと、
    を実行させるプログラム。

Images