JP2013120412A - 物体検出装置、監視カメラ、及び物体検出方法 - Google Patents

Abstract

【課題】被写体の明るさが変化しても精度良く物体を検出できるようにすること。
【解決手段】画像を二値化する二値化手段と、前記画像の明るさに応じて当該画像の二値化に用いる閾値を算出する閾値算出手段と、背景画像を前記閾値算出手段に入力して第１の閾値を算出し、前記背景画像及び前記第１の閾値を前記二値化手段に入力して当該背景画像を二値化する背景二値化手段と、対象画像を前記閾値算出手段に入力して第２の閾値を算出し、前記対象画像及び前記第２の閾値を前記二値化手段に入力して当該対象画像を二値化する対象二値化手段と、前記背景画像を二値化して得られた背景二値化画像と、前記対象画像を二値化して得られた対象二値化画像との差分から物体を検出する物体検出手段と、を備える、物体検出装置が提供される。
【選択図】図１

Description

本発明は、物体検出装置、監視カメラ、及び物体検出方法に関する。

近年、撮像画像から物体を検出する技術（以下、物体検出）に注目が集まっている。この技術は、例えば、監視カメラで撮像された画像から侵入者や不審者などを検出する際に利用される。物体検出を実現する方法としては、例えば、背景差分法、ＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）法、増分符号相関法、及びＲＲＣ（Ｒａｄｉａｌ Ｒｅａｃｈ Ｃｏｒｒｅｌａｔｉｏｎ）法などが知られている。

背景差分法は、背景となる画像を用意し、入力画像と背景画像との差から背景画像にない物体を検出する方法である（例えば、下記の特許文献１を参照）。但し、背景差分法は、輝度（照明）の変化がある場合に正しく物体を検出することが困難になるという弱点がある。照明変動に強い方法としては、増分符号相関法がある。増分符号相関法は、画像を２値化して輝度成分を削除し、２値化した画像の比較により物体を検出する方法である。但し、増分符号相関法は、輝度成分を考慮しないため、低照度の雑音が多い場合に誤判定が生じやすいという弱点がある。

増分符号相関法の弱点を克服するために、ＲＲＣ法が考案された。ＲＲＣ法は、ある着眼点から放射状（８方向）へと、所定の閾値以上の明度差を持つ点（Ｒｅａｃｈ点）を探索し、探索の結果として得られた８組のＲｅａｃｈ点ペアに基づいて物体を検出する方法である。但し、ＲＲＣ法においては、明度差の閾値や物体判別用の閾値は経験則で決定される。しかし、撮像環境などに応じて画像にのる雑音の量や性質などが異なるため、経験則で決定された閾値が必ずしも適切でない場合がある。そのため、画像に応じて適切な閾値を決定する方法について検討が行われた。

そのような方法の一つとして、閾値を統計的に決定するＳＲＦ法（統計的Ｒｅａｃｈ特徴法）が提案されている。ＳＲＦ法は、明度の異なる多数の背景画像を用意し、背景画像に対する統計処理の結果に基づいて閾値を決定するというものである。ＳＲＦ法を適用すると、雑音特性の変化に対して頑健な物体検出が可能になるが、多くの背景画像を用意しなければならないという問題点がある。多くの背景画像を用意するには、背景画像を保持するために大容量のメモリが必要になる上、背景画像の処理に要する演算負荷も非常に大きくなってしまう。

特許第３８３１２３２号明細書

上記のような理由から、可能な限り少ない背景画像（できれば１枚程度の背景画像）を用い、少ない演算負荷及び少ないメモリ量で精度良く物体検出する仕組みの実現が求められている。例えば、上記のＲＲＣ法のようなＲｅａｃｈ点ペアの探索を必要とせず、また、ラインメモリを必要とせずに物体検出できる方法が好ましい。ラインメモリを設けずに済めば回路規模を小さくすることが可能になり、装置の小型化やコスト低減に寄与する。また、被写体の輝度変化に対して頑健な物体検出技術の開発が望まれている。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、照明変動に強く高速動作が可能な、新規かつ改良された物体検出装置、監視カメラ、及び物体検出方法を提供することにある。また、回路規模の低減が可能である。

上記課題を解決するために、本発明のある観点によれば、画像を二値化する二値化手段と、前記画像の明るさに応じて当該画像の二値化に用いる閾値を算出する閾値算出手段と、背景画像を前記閾値算出手段に入力して第１の閾値を算出し、前記背景画像及び前記第１の閾値を前記二値化手段に入力して当該背景画像を二値化する背景二値化手段と、対象画像を前記閾値算出手段に入力して第２の閾値を算出し、前記対象画像及び前記第２の閾値を前記二値化手段に入力して当該対象画像を二値化する対象二値化手段と、前記背景画像を二値化して得られた背景二値化画像と、前記対象画像を二値化して得られた対象二値化画像との差分から物体を検出する物体検出手段と、を備える、物体検出装置が提供される。かかる構成により、被写体の輝度が変化しても、精度良く物体を検出することが可能になる。また、低い演算負荷、少ないメモリ量、小さな回路規模で高速に物体検出が可能になる。

また、前記閾値算出手段は、前記画像が明るいほど前記閾値を大きくし、前記画像が暗いほど前記閾値を小さくするように構成されていてもよい。かかる構成により、被写体の輝度が変化しても、精度良く物体を検出することが可能になる。

また、前記閾値算出手段は、前記画像を構成する画素について輝度値のヒストグラムを生成し、当該ヒストグラムに基づいて前記閾値を算出するように構成されていてもよい。かかる構成により、被写体の輝度が変化しても、精度良く物体を検出することが可能になる。

また、前記閾値算出手段は、前記ヒストグラムのピークに対応する輝度値を前記閾値とするように構成されていてもよい。かかる構成により、被写体の輝度が変化しても、精度良く物体を検出することが可能になる。

また、前記閾値算出手段は、前記画像を構成する画素の輝度値について当該輝度値の分布傾向を示す統計値に基づいて前記閾値を算出するように構成されていてもよい。かかる構成により、被写体の輝度が変化しても、精度良く物体を検出することが可能になる。

また、前記閾値算出手段は、前記輝度値の平均値又は中央値を前記閾値とするように構成されていてもよい。かかる構成により、被写体の輝度が変化しても、精度良く物体を検出することが可能になる。

また、前記二値化手段は、前記閾値に対応する輝度値が前記画像における輝度分布の中心となるように前記画像をゲインアップするゲイン調整手段と、前記画像を構成する画素のうち、前記ゲイン調整手段によるゲインアップ後に輝度値が所定値を越える画素の輝度値を前記所定値に設定するクリップ手段と、前記ゲイン調整手段及び前記クリップ手段による処理後の前記画像を二値化する二値化処理手段と、を含むものであってもよい。かかる構成により、より精度良く物体を検出することが可能になる。

また、前記画像を構成する各画素は、所定の走査順序に沿って連続して読み出されるように構成されていてもよい。この場合、前記二値化手段は、ｍ＝１〜Ｍについて、判定対象となる前記画素Ｘの輝度値と、当該判定対象となる画素Ｘよりｍステップ前に読み出された前記画素Ｘｍの輝度値との差分が前記閾値より大きいか否かを判定し、当該差分が前記閾値より大きくなる回数を計数する判定手段と、前記第１判定手段により計数された回数が所定値よりも大きい場合に前記判定対象となる画素Ｘの輝度値を第１の値に設定し、当該回数が前記所定値よりも小さい場合に前記判定対象となる画素Ｘの輝度値を第２の値に設定する二値設定手段と、を含む。かかる構成により、少ないメモリ量で、より精度良く物体を検出することが可能になる。

また、上記課題を解決するために、本発明の別の観点によれば、上記の物体検出装置と、前記背景画像及び前記対象画像を撮像する撮像手段と、前記物体検出手段による検出結果を監視者に通知する通知手段と、を備える、監視カメラが提供される。かかる構成により、被写体の輝度が変化しても、精度良く物体を検出することが可能になる。また、低い演算負荷、少ないメモリ量、小さな回路規模で高速に物体検出が可能になる。

また、上記課題を解決するために、本発明の別の観点によれば、画像を二値化する二値化手段と、画像の明るさに応じて当該画像の二値化に用いる閾値を算出する閾値算出手段と、を有する物体検出装置が、背景画像を前記閾値算出手段に入力して第１の閾値を算出し、前記背景画像及び前記第１の閾値を前記二値化手段に入力して当該背景画像を二値化する背景二値化工程と、対象画像を前記閾値算出手段に入力して第２の閾値を算出し、前記対象画像及び前記第２の閾値を前記二値化手段に入力して当該対象画像を二値化する対象二値化工程と、前記背景画像を二値化して得られた背景二値化画像と、前記対象画像を二値化して得られた対象二値化画像との差分から物体を検出する物体検出工程と、を含む、物体検出方法が提供される。かかる構成により、被写体の輝度が変化しても、精度良く物体を検出することが可能になる。また、低い演算負荷、少ないメモリ量、小さな回路規模で高速に物体検出が可能になる。

以上説明したように本発明によれば、照明変動に強く、高速動作が可能な物体検出技術が実現される。また、実装時に回路規模の低減が可能である。

本発明の一実施形態に係る物体検出装置の構成について説明するための説明図である。 同実施形態に係る２値化閾値の生成方法（背景画像）について説明するための説明図である。 同実施形態に係る２値化閾値の生成方法（入力画像）について説明するための説明図である。 同実施形態の一変形例（変形例＃１）に係る物体検出装置の構成について説明するための説明図である。 同実施形態の一変形例（変形例＃２）に係る物体検出装置の構成について説明するための説明図である。 同実施形態に係るヒストグラム作成手段の回路構成例について説明するための説明図である。 同実施形態に係るヒストグラム作成手段の回路構成例について説明するための説明図である。 同実施形態に係る技術を適用した場合に得られる効果を模式的に示した説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［説明の流れについて］
ここで、以下に記載する本発明の実施形態に関する説明の流れについて簡単に述べる。まず、図１〜図３を参照しながら、本発明の一実施形態に係る物体検出装置１００の構成について説明する。次いで、図４を参照しながら、同実施形態の一変形例（変形例＃１）に係る物体検出装置１００の構成について説明する。次いで、図５を参照しながら、同実施形態の一変形例（変形例＃２）に係る物体検出装置２００の構成について説明する。次いで、図６及び図７を参照しながら、同実施形態に係るヒストグラム作成手段１０１、２０１の回路構成例について説明する。最後に、図８を参照しながら、同実施形態に係る技術を適用した場合に得られる効果について述べる。

＜１：基本構成＞
本発明の一実施形態に係る物体検出技術について説明する。ここでは、当該物体検出技術を実装した物体検出装置１００の基本構成について説明する。

［１−１：全体構成］
まず、図１を参照しながら、本実施形態に係る物体検出装置１００の全体構成について説明する。図１は、本実施形態に係る物体検出装置１００の全体構成について説明するための説明図である。

図１に示すように、物体検出装置１００は、主に、ヒストグラム作成手段１０１と、閾値＆ゲイン更新手段１０２と、２値化手段１０３と、記憶手段１０４とを有する。さらに、物体検出装置１００は、ヒストグラム作成手段１０５と、閾値＆ゲイン更新手段１０６と、２値化手段１０７と、差分算出手段１０８とを有する。

なお、物体検出装置１００は、被写体を撮像し、撮像画像から各画素の輝度値を表す輝度信号を生成する撮像手段（非図示）をさらに有していてもよい。また、物体検出装置１００は、物体検出用画像から、侵入者や不審者、或いは、自動車や自転車などの物体を検出する解析手段（非図示）をさらに有していてもよい。また、物体検出装置１００は、当該撮像手段及び／又は解析手段を有する外部機器と有線又は無線の電気通信回線を介して接続されていてもよいし、ケーブルなどで直接的に接続されていてもよい。但し、ここでは物体検出装置１００に対して外部から輝度信号が入力されるものとし、物体検出装置１００により生成された物体検出用画像は外部へと出力されるものとして説明を進める。

（背景画像の処理に関する構成要素について）
まず、物体検出装置１００には、背景画像の輝度信号（以下、背景輝度信号Ｐ_１）が入力される。物体検出装置１００に入力された背景輝度信号Ｐ_１は、ヒストグラム作成手段１０１及び２値化手段１０３に入力される。背景輝度信号Ｐ_１が入力されると、ヒストグラム作成手段１０１は、背景輝度信号Ｐ_１から輝度値の度数分布を計算し、背景輝度信号Ｐ_１のヒストグラムを作成する。なお、ヒストグラム作成手段１０１の回路構成例については後段において詳述する。

ヒストグラム作成手段１０１により作成されたヒストグラムの情報は、閾値＆ゲイン更新手段１０２に入力される。ヒストグラムの情報が入力されると、閾値＆ゲイン更新手段１０２は、当該ヒストグラムに基づいて背景輝度信号Ｐ_１の２値化に用いる閾値Ｓ_Ａ及びゲイン調整値Ｇ_Ａ（Ｇ_Ａは自然数）を算出する。閾値＆ゲイン更新手段１０２により算出された閾値Ｓ_Ａ及びゲイン調整値Ｇ_Ａは、２値化手段１０３に入力される。なお、閾値Ｓ_Ａは、例えば、ヒストグラムのピーク、平均値、中央値、或いは、分散値など、輝度値の分布傾向を示す統計値に基づいて決定される。

上記の通り、２値化手段１０３には、背景輝度信号Ｐ_１、閾値Ｓ_Ａ及びゲイン調整値Ｇ_Ａが入力される。背景輝度信号Ｐ_１、閾値Ｓ_Ａ及びゲイン調整値Ｇ_Ａが入力されると、２値化手段１０３は、図２に示すような処理手順で背景輝度信号Ｐ_１を２値化し、各画素に対応する出力値Ａ（以下、２値化後背景画素値Ａ）を出力する。なお、２値化手段１０３による処理の内容については後段において詳述する。２値化手段１０３から出力された２値化後背景画素値Ａは、記憶手段１０４に格納される。そして、記憶手段１０４に格納された２値化後背景画素値Ａは、必要に応じて差分算出手段１０８により読み出される。

（入力画像の処理に関する構成要素について）
次に、物体検出装置１００には、物体検出の対象となる入力画像の輝度信号（以下、入力輝度信号Ｐ_２）が入力される。物体検出装置１００に入力された入力輝度信号Ｐ_２は、ヒストグラム作成手段１０５及び２値化手段１０７に入力される。入力輝度信号Ｐ_２が入力されると、ヒストグラム作成手段１０５は、入力輝度信号Ｐ_２から輝度値の度数分布を計算し、入力輝度信号Ｐ_２のヒストグラムを作成する。なお、ヒストグラム作成手段１０５の回路構成例については後段において詳述する。

ヒストグラム作成手段１０５により作成されたヒストグラムの情報は、閾値＆ゲイン更新手段１０６に入力される。ヒストグラムの情報が入力されると、閾値＆ゲイン更新手段１０６は、当該ヒストグラムに基づいて入力輝度信号Ｐ_２の２値化に用いる閾値Ｓ_Ｂ及びゲイン調整値Ｇ_Ｂ（Ｇ_Ｂは自然数）を算出する。閾値＆ゲイン更新手段１０６により算出された閾値Ｓ_Ｂ及びゲイン調整値Ｇ_Ｂは、２値化手段１０７に入力される。なお、閾値Ｓ_Ｂは、例えば、ヒストグラムのピーク、平均値、中央値、或いは、分散値など、輝度値の分布傾向を示す統計値に基づいて決定される。

上記の通り、２値化手段１０７には、入力輝度信号Ｐ_２、閾値Ｓ_Ｂ及びゲイン調整値Ｇ_Ｂが入力される。入力輝度信号Ｐ_２、閾値Ｓ_Ｂ及びゲイン調整値Ｇ_Ｂが入力されると、２値化手段１０７は、図３に示すような処理手順で入力輝度信号Ｐ_２を２値化し、各画素に対応する出力値Ｂ（以下、２値化後入力画素値Ｂ）を出力する。なお、２値化手段１０７による処理の内容については後段において詳述する。２値化手段１０７から出力された２値化後入力画素値Ｂは、差分算出手段１０８に入力される。

（物体検出用画像の生成に関する構成要素について）
２値化後入力画素値Ｂが入力されると、差分算出手段１０８は、記憶手段１０４から２値化後背景画素値Ａを読み出す。そして、差分算出手段１０８は、２値化後入力画素値Ｂと２値化後背景画素値Ｂとの差分を算出し、その差分を物体検出用画像の画素値として出力する。例えば、差分算出手段１０８は、２値化後背景画像Ａを反転させ、反転後の２値化後背景画像Ａバーと、２値化後入力画像Ｂとを合成して物体検出用画像を生成する。例えば、図８の上段に示すような背景画像及び入力画像が与えられた場合、同下段に示すような出力画像が物体検出用画像として出力される。

以上、本実施形態に係る物体検出装置１００の全体構成について説明した。

（監視カメラなどへの応用）
ところで、本実施形態に係る物体検出装置１００は、撮像手段などを追加することで監視カメラとして機能しうる。また、撮像手段により撮像された画像が物体検出装置１００に入力されるようにし、物体検出装置１００から出力された物体検出用画像が侵入者／不審者検出用の画像解析手段に入力されるようにすれば、監視システムが実現される。この場合、撮像手段や画像解析手段と物体検出装置１００との間は有線又は無線の電気通信回線を介して接続されてもよいし、ケーブルなどで直接的に接続されてもよい。こうした実装形態の変形についても当然に本実施形態の技術的範囲に属することは言うまでもない。

［１−２：２値化処理の内容について］
ここで、図２及び図３を参照しながら、２値化手段１０３、１０７による２値化処理の内容について、より詳細に説明する。なお、背景輝度信号Ｐ_１及び入力輝度信号Ｐ_２は、それぞれラスタースキャンで入力されるものとする。また、処理は１行単位で実行されるものとし、異なる行との間で相互作用は考えないものとする。

（背景画像に基づく２値化閾値）
まず、２値化手段１０３による２値化処理の内容について説明する。図２に示すように、２値化手段１０３は、ゲイン調整工程、輝度制限工程、遅延工程を順次実行する。さらに、２値化手段１０３は、遅延工程で得られた輝度信号から２値化後背景画素値Ａを算出する。以下、各工程について、より詳細に説明する。

ゲイン調整工程において、２値化手段１０３は、ゲイン調整機能１１１により、閾値＆ゲイン更新手段１０２により入力されたゲイン調整値Ｇ_Ａに基づいて背景輝度信号Ｐ_１の各画素値をＧ_Ａ倍にゲインアップする。次いで、２値化手段１０３は、輝度制限機能１１２により、ゲインアップ後の各画素値を所定の最大値でクリップする。例えば、背景輝度信号Ｐ_１が８ビットで表現されている場合、２値化手段１０３は、ゲインアップ後の画素値が２５５を越えた場合に、その画素値を２５５に設定する。

次いで、２値化手段１０３は、遅延機能１１３により、画素値Ｘを有する注目画素を基準として時間Ｔずつ遅延したＭ個（例えば、Ｍは基準とする画素と同じ行内の画素数）の画素値Ｘ_１，…，Ｘ_Ｍを取得する。つまり、２値化手段１０３は、注目画素よりも１個前に位置する画素、…、Ｍ個前に位置する画素の画素値を順次取得する。次いで、２値化手段１０３は、閾値＆ゲイン更新手段１０２により入力された閾値Ｓ_Ａ及び所定の閾値Ｔ_Ａに基づいて２値化後背景画素値Ａを算出する。

まず、２値化手段１０３は、画素値Ｘと画素値Ｘ_ｍ（ｍ＝１，…，Ｍ）との差分ΔＸ_ｍ（ΔＸ_ｍ＝｜Ｘ−Ｘ_ｍ｜）を算出する。次いで、２値化手段１０３は、ΔＸ_ｍ＞Ｓ_Ａの場合に中間判定値Ａ_ｍをＡ_ｍ＝１とし、ΔＸ_ｍ≦Ｓ_Ａの場合に中間判定値Ａ_ｍをＡ_ｍ＝０とする。ｍ＝１，…，Ｍについて中間判定値Ａ_ｍを得ると、２値化手段１０３は、中間判定値Ａ_ｍ（ｍ＝１，…，Ｍ）の総和ΣＡ_ｍを算出する。そして、２値化手段１０３は、総和ΣＡ_ｍ＞Ｔ_Ａである場合に２値化後背景画素値ＡをＡ＝１とし、総和ΣＡ_ｍ≦Ｔ_Ａである場合に２値化後背景画素値ＡをＡ＝０とする。

背景輝度信号Ｐ_１の各画素について上述した処理が実施され、各画素に対応する２値化後背景画素値Ａは、記憶手段１０４に格納される。なお、上記の閾値Ｔ_Ａは、例えば、固定値０に設定される。もちろん、この閾値Ｔ_Ａを０以外の値に設定したり、外部から値を変更したりできるようにすることも可能である。また、上述した処理の流れから明らかなように、本実施形態に係る２値化処理は、パイプライン構成となっており、ラインメモリを必要とする構成とはなっていない。そのため、小型の回路を用いて本実施形態に係る２値化処理を実施することが可能である。

（入力画像に基づく２値化閾値）
次に、２値化手段１０７による２値化処理の内容について説明する。図３に示すように、２値化手段１０７は、ゲイン調整工程、輝度制限工程、遅延工程を順次実行する。さらに、２値化手段１０７は、遅延工程で得られた輝度信号から２値化後入力画素値Ｂを算出する。以下、各工程について、より詳細に説明する。

ゲイン調整工程において、２値化手段１０７は、ゲイン調整機能１２１により、閾値＆ゲイン更新手段１０６により入力されたゲイン調整値Ｇ_Ｂに基づいて入力輝度信号Ｐ_２の各画素値をＧ_Ｂ倍にゲインアップする。次いで、２値化手段１０７は、輝度制限機能１２２により、ゲインアップ後の各画素値を所定の最大値でクリップする。例えば、入力輝度信号Ｐ_２が８ビットで表現されている場合、２値化手段１０７は、ゲインアップ後の画素値が２５５を越えた場合に、その画素値を２５５に設定する。

次いで、２値化手段１０７は、遅延機能１２３により、画素値Ｘを有する注目画素を基準として時間Ｔずつ遅延したＭ個（例えば、Ｍは基準とする画素と同じ行内の画素数）の画素値Ｘ_１，…，Ｘ_Ｍを取得する。つまり、２値化手段１０７は、注目画素よりも１個前に位置する画素、…、Ｍ個前に位置する画素の画素値を順次取得する。次いで、２値化手段１０７は、閾値＆ゲイン更新手段１０６により入力された閾値Ｓ_Ｂ及び所定の閾値Ｔ_Ｂに基づいて２値化後入力画素値Ｂを算出する。

まず、２値化手段１０７は、画素値Ｘと画素値Ｘ_ｍ（ｍ＝１，…，Ｍ）との差分ΔＸ_ｍ（ΔＸ_ｍ＝｜Ｘ−Ｘ_ｍ｜）を算出する。次いで、２値化手段１０７は、ΔＸ_ｍ＞Ｓ_Ｂの場合に中間判定値Ｂ_ｍをＢ_ｍ＝１とし、ΔＸ_ｍ≦Ｓ_Ｂの場合に中間判定値Ｂ_ｍをＢ_ｍ＝０とする。ｍ＝１，…，Ｍについて中間判定値Ｂ_ｍを得ると、２値化手段１０７は、中間判定値Ｂ_ｍ（ｍ＝１，…，Ｍ）の総和ΣＢ_ｍを算出する。そして、２値化手段１０７は、総和ΣＢ_ｍ＞Ｔ_Ｂである場合に２値化後入力画素値ＢをＢ＝１とし、総和ΣＢ_ｍ≦Ｔ_Ｂである場合に２値化後入力画素値ＢをＢ＝０とする。

入力輝度信号Ｐ_２の各画素について上述した処理が実施され、各画素に対応する２値化後入力画素値Ｂは、差分算出手段１０８に入力される。なお、上記の閾値Ｔ_Ｂは、例えば、固定値０に設定される。もちろん、この閾値Ｔ_Ｂを０以外の値に設定したり、外部から値を変更したりできるようにすることも可能である。また、上述した処理の流れから明らかなように、本実施形態に係る２値化処理は、パイプライン構成となっており、ラインメモリを必要とする構成とはなっていない。そのため、小型の回路を用いて本実施形態に係る２値化処理を実施することが可能である。

以上、本実施形態に係る２値化処理の内容について説明した。なお、上記のＳ_ＡとＳ_Ｂとは異なる値に設定されることもあるし、同じ値に設定されることもある。同様に、上記のＧ_ＡとＧ_Ｂとは異なる値に設定されることもあるし、同じ値に設定されることもある。また、１フレーム前の入力輝度信号Ｐ_２に対する閾値Ｓ_Ｂ及びゲイン調整値Ｇ_Ｂを利用して、現在の入力輝度信号Ｐ_２の２値化処理を実施するように構成されていてもよい。このような構成にすると、照度の顕著な変化があると２値化に用いる閾値Ｓ_Ｂ及びゲイン調整値Ｇ_Ｂは最適な値からずれてしまうが、１フレーム分のずれが物体検出の精度を劣化させる要因とはならないと考えられる。

以上、本実施形態に係る物体検出装置１００の基本構成について説明した。

＜２：変形例＃１（背景画像の更新制御）＞
次に、図４を参照しながら、本実施形態の一変形例（変形例＃１）に係る物体検出装置１００の構成について説明する。図４は、本実施形態の一変形例（変形例＃１）に係る物体検出装置１００の構成について説明するための説明図である。ここで説明する変形例＃１は、外部から入力される更新制御信号に応じて新たな背景輝度信号Ｐ_１に基づく２値化後背景画素値Ａを生成し、記憶手段１０４に格納されている２値化後背景画素値Ａを更新する点で上述した基本構成と相違する。

図４に示すように、変形例＃１に係る物体検出装置１００は、主に、ヒストグラム作成手段１０１と、閾値＆ゲイン更新手段１０２と、２値化手段１０３と、記憶手段１０４とを有する。さらに、物体検出装置１００は、ヒストグラム作成手段１０５と、閾値＆ゲイン更新手段１０６と、２値化手段１０７と、差分算出手段１０８と、切替手段１０９とを有する。なお、入力画像の処理に関する構成要素及び物体検出用画像の生成に関する構成要素は上述した基本構成と実質的に同じであるため、ここでは詳細な説明を省略する。

（背景画像の処理に関する構成要素について）
まず、物体検出装置１００には、背景画像の輝度信号（以下、背景輝度信号Ｐ_１）が入力される。物体検出装置１００に入力された背景輝度信号Ｐ_１は、ヒストグラム作成手段１０１及び２値化手段１０３に入力される。背景輝度信号Ｐ_１が入力されると、ヒストグラム作成手段１０１は、背景輝度信号Ｐ_１から輝度値の度数分布を計算し、背景輝度信号Ｐ_１のヒストグラムを作成する。なお、ヒストグラム作成手段１０１の回路構成例については後段において詳述する。

ヒストグラム作成手段１０１により作成されたヒストグラムの情報は、閾値＆ゲイン更新手段１０２に入力される。ヒストグラムの情報が入力されると、閾値＆ゲイン更新手段１０２は、当該ヒストグラムに基づいて背景輝度信号Ｐ_１の２値化に用いる閾値Ｓ_Ａ及びゲイン調整値Ｇ_Ａ（Ｇ_Ａは自然数）を算出する。閾値＆ゲイン更新手段１０２により算出された閾値Ｓ_Ａ及びゲイン調整値Ｇ_Ａは、２値化手段１０３に入力される。なお、閾値Ｓ_Ａは、例えば、ヒストグラムのピーク、平均値、中央値、或いは、分散値など、輝度値の分布傾向を示す統計値に基づいて決定される。

上記の通り、２値化手段１０３には、背景輝度信号Ｐ_１、閾値Ｓ_Ａ及びゲイン調整値Ｇ_Ａが入力される。背景輝度信号Ｐ_１、閾値Ｓ_Ａ及びゲイン調整値Ｇ_Ａが入力されると、２値化手段１０３は、図２に示すような処理手順で背景輝度信号Ｐ_１を２値化し、各画素に対応する出力値Ａ（以下、２値化後背景画素値Ａ）を出力する。２値化手段１０３から出力された２値化後背景画素値Ａは、記憶手段１０４に格納される。

その後、差分算出手段１０８は、記憶手段１０４に格納された２値化後背景画素値Ａを利用して物体検出用画像を生成する。しかし、外部から更新制御信号が入力されると、切替手段１０９は、更新制御信号の入力に合わせて新たに入力された背景輝度信号Ｐ_１をヒストグラム作成手段１０１及び２値化手段１０３に入力する。新たな背景輝度信号Ｐ_１が入力されると、ヒストグラム作成手段１０１は新たな背景輝度信号Ｐ_１に基づいてヒストグラムを作成する。さらに、閾値＆ゲイン更新手段１０２は、新たなヒストグラムに基づいて閾値Ｓ_Ａ及びゲイン調整値Ｇ_Ａを更新する。

そして、２値化手段１０３は、更新後の閾値Ｓ_Ａ及びゲイン調整値Ｇ_Ａに基づいて新たな背景輝度信号Ｐ_１を２値化して２値化後背景画素値Ａを生成する。２値化手段１０３により新たに生成された２値化後背景画素値Ａは、記憶手段１０４に格納される。その後、差分算出手段１０８は、記憶手段１０４に格納された新たな２値化後背景画素値Ａを利用して物体検出用画像を生成する。このように、変形例＃１に係る物体検出装置１００は、外部から入力された更新制御信号に応じて２値化後背景画素値Ａを更新することができる。そのため、所定のタイミングで更新制御信号を入力したり、所定の周期で更新制御信号を入力したり、物体検出結果に応じて更新制御信号を入力したりすることで、より輝度変化に強い物体検出が可能になる。

以上、変形例＃１に係る物体検出装置１００の全体構成について説明した。
＜３：変形例＃２（回路共有化）＞
次に、図５を参照しながら、本実施形態の一変形例（変形例＃２）に係る物体検出装置２００の構成について説明する。図５は、本実施形態の一変形例（変形例＃２）に係る物体検出装置２００の構成について説明するための説明図である。ここで説明する変形例＃２は、背景画像用の２値化処理回路と、入力画像用の２値化処理回路とを共有化する構成に関する。

図５に示すように、変形例＃２に係る物体検出装置２００は、主に、ヒストグラム作成手段２０１と、閾値＆ゲイン更新手段２０２と、２値化手段２０３と、記憶手段２０４と、切替制御手段２０５と、差分算出手段２０６とを有する。

なお、物体検出装置２００は、被写体を撮像し、撮像画像から各画素の輝度値を表す輝度信号を生成する撮像手段（非図示）をさらに有していてもよい。また、物体検出装置２００は、物体検出用画像から、侵入者や不審者、或いは、自動車や自転車などの物体を検出する解析手段（非図示）をさらに有していてもよい。また、物体検出装置２００は、当該撮像手段及び／又は解析手段を有する外部機器と有線又は無線の電気通信回線を介して接続されていてもよいし、ケーブルなどで直接的に接続されていてもよい。但し、ここでは物体検出装置２００に対して外部から輝度信号が入力されるものとし、物体検出装置２００により生成された物体検出用画像は外部へと出力されるものとして説明を進める。

（背景画像の処理に関する構成要素について）
まず、物体検出装置２００には、背景画像の輝度信号（以下、背景輝度信号Ｐ_１）が入力される。物体検出装置２００に入力された背景輝度信号Ｐ_１は、ヒストグラム作成手段２０１及び２値化手段２０３に入力される。背景輝度信号Ｐ_１が入力されると、ヒストグラム作成手段２０１は、背景輝度信号Ｐ_１から輝度値の度数分布を計算し、背景輝度信号Ｐ_１のヒストグラムを作成する。なお、ヒストグラム作成手段２０１の回路構成例については後段において詳述する。

ヒストグラム作成手段２０１により作成されたヒストグラムの情報は、閾値＆ゲイン更新手段２０２に入力される。ヒストグラムの情報が入力されると、閾値＆ゲイン更新手段２０２は、当該ヒストグラムに基づいて背景輝度信号Ｐ_１の２値化に用いる閾値Ｓ_Ａ及びゲイン調整値Ｇ_Ａ（Ｇ_Ａは自然数）を算出する。閾値＆ゲイン更新手段２０２により算出された閾値Ｓ_Ａ及びゲイン調整値Ｇ_Ａは、２値化手段２０３に入力される。なお、閾値Ｓ_Ａは、例えば、ヒストグラムのピーク、平均値、中央値、或いは、分散値など、輝度値の分布傾向を示す統計値に基づいて決定される。

上記の通り、２値化手段２０３には、背景輝度信号Ｐ_１、閾値Ｓ_Ａ及びゲイン調整値Ｇ_Ａが入力される。背景輝度信号Ｐ_１、閾値Ｓ_Ａ及びゲイン調整値Ｇ_Ａが入力されると、２値化手段２０３は、上述した基本構成に係る２値化手段１０３と同様の処理手順で背景輝度信号Ｐ_１を２値化し、各画素に対応する出力値Ａ（以下、２値化後背景画素値Ａ）を出力する。２値化手段２０３から出力された２値化後背景画素値Ａは、記憶手段２０４に格納される。そして、記憶手段２０４に格納された２値化後背景画素値Ａは、必要に応じて差分算出手段２０６により読み出される。

（入力画像の処理に関する構成要素について）
次に、物体検出装置２００には、物体検出の対象となる入力画像の輝度信号（以下、入力輝度信号Ｐ_２）が入力される。このとき、切替制御信号が入力され、切替制御手段２０５により閾値＆ゲイン更新手段２０２は、入力輝度信号Ｐ_２の２値化処理に用いる閾値Ｓ_Ｂ及びゲイン調整値Ｇ_Ｂを算出する動作モードに切り替えられる。物体検出装置２００に入力された入力輝度信号Ｐ_２は、ヒストグラム作成手段２０１及び２値化手段２０３に入力される。入力輝度信号Ｐ_２が入力されると、ヒストグラム作成手段２０１は、入力輝度信号Ｐ_２から輝度値の度数分布を計算し、入力輝度信号Ｐ_２のヒストグラムを作成する。

ヒストグラム作成手段２０１により作成されたヒストグラムの情報は、閾値＆ゲイン更新手段２０２に入力される。ヒストグラムの情報が入力されると、閾値＆ゲイン更新手段２０２は、当該ヒストグラムに基づいて入力輝度信号Ｐ_２の２値化に用いる閾値Ｓ_Ｂ及びゲイン調整値Ｇ_Ｂ（Ｇ_Ｂは自然数）を算出する。閾値＆ゲイン更新手段２０２により算出された閾値Ｓ_Ｂ及びゲイン調整値Ｇ_Ｂは、２値化手段２０３に入力される。なお、閾値Ｓ_Ｂは、例えば、ヒストグラムのピーク、平均値、中央値、或いは、分散値など、輝度値の分布傾向を示す統計値に基づいて決定される。

上記の通り、２値化手段２０３には、入力輝度信号Ｐ_２、閾値Ｓ_Ｂ及びゲイン調整値Ｇ_Ｂが入力される。入力輝度信号Ｐ_２、閾値Ｓ_Ｂ及びゲイン調整値Ｇ_Ｂが入力されると、２値化手段２０３は、上述した基本構成に係る２値化手段１０７と同様の処理手順で入力輝度信号Ｐ_２を２値化し、各画素に対応する出力値Ｂ（以下、２値化後入力画素値Ｂ）を出力する。２値化手段２０３から出力された２値化後入力画素値Ｂは、差分算出手段２０６に入力される。

（物体検出用画像の生成に関する構成要素について）
２値化後入力画素値Ｂが入力されると、差分算出手段２０６は、記憶手段２０４から２値化後背景画素値Ａを読み出す。そして、差分算出手段２０６は、２値化後入力画素値Ｂと２値化後背景画素値Ｂとの差分を算出し、その差分を物体検出用画像の画素値として出力する。例えば、差分算出手段２０６は、２値化後背景画像Ａを反転させ、反転後の２値化後背景画像Ａバーと、２値化後入力画像Ｂとを合成して物体検出用画像を生成する。例えば、図８の上段に示すような背景画像及び入力画像が与えられた場合、同下段に示すような出力画像が物体検出用画像として出力される。

以上、変形例＃２に係る物体検出装置２００の構成について説明した。変形例＃２の構成を適用することで、さらに回路規模を抑制することが可能になる。

（監視カメラなどへの応用）
ところで、本実施形態に係る物体検出装置２００は、撮像手段などを追加することで監視カメラとして機能しうる。また、撮像手段により撮像された画像が物体検出装置２００に入力されるようにし、物体検出装置２００から出力された物体検出用画像が侵入者／不審者検出用の画像解析手段に入力されるようにすれば、監視システムが実現される。この場合、撮像手段や画像解析手段と物体検出装置２００との間は有線又は無線の電気通信回線を介して接続されてもよいし、ケーブルなどで直接的に接続されてもよい。こうした実装形態の変形についても当然に本実施形態の技術的範囲に属することは言うまでもない。

＜４：ヒストグラム作成手段の回路構成例＞
ここで、図６及び図７を参照しながら、ヒストグラム作成手段１０１、１０５、２０１の機能を実現可能な回路構成例について説明する。図６及び図７は、ヒストグラム作成手段１０１、２０１の機能を実現可能な回路構成例について説明するための説明図である。なお、入力される輝度信号が背景輝度信号Ｐ_１の場合も入力輝度信号Ｐ_２の場合も処理内容は実質的に同じであるため、ここでは入力輝度信号Ｐが入力されるものとする。

図６に示すように、ヒストグラム作成手段１０１、１０５、２０１の機能は、例えば、イネーブル生成回路３０１及びカウンタ３０２により実現可能である。イネーブル生成回路３０１は、図７の例に示すような入出力関係（Ｘは０でも１でもよいことを意味する。）を実現する回路である。図７は、入力輝度信号Ｐが８ビットで表現されること、及びＱＶＧＡ程度の解像度であることを想定した例である。この場合、入力輝度信号Ｐが入力されたイネーブル生成回路３０１は、入力輝度信号Ｐの輝度値に応じて８個の信号Ｅ_０，…，Ｅ_７を出力する。例えば、入力輝度信号Ｐの輝度値が２進数表記で０００１１１０１の場合、イネーブル生成回路３０１は、上位３ビットが０であるから、図７の表に従って、（Ｅ_０，Ｅ_１，Ｅ_２，Ｅ_３，Ｅ_４，Ｅ_５，Ｅ_６，Ｅ_７）＝（０，０，０，０，１，０，０，０）を出力する。他の場合も同様である。

イネーブル生成回路３０１から出力された信号Ｅ_０，…，Ｅ_７は、それぞれ対応するカウンタ３０２に入力される。各カウンタ３０２は、入力された信号が１の場合に自身のカウント値をカウントアップし、０の場合にはカウントアップしない。例えば、イネーブル生成回路３０１から（Ｅ_０，Ｅ_１，Ｅ_２，Ｅ_３，Ｅ_４，Ｅ_５，Ｅ_６，Ｅ_７）＝（０，０，０，０，１，０，０，０）が出力された場合、信号Ｅ_４に対応するカウンタ３０２は自身のカウント値をカウントアップし、他の信号に対応するカウンタ３０２はカウントアップしない。画像を構成する各画素の入力輝度信号Ｐに対してイネーブル生成回路３０１及びカウンタ３０２による処理が実行されると、各カウンタ３０２は、それぞれ自身のカウント値を出力する。

上記の構成から明らかなように、各カウンタ３０２から出力されるカウント値は、ヒストグラムを構成する各輝度範囲の度数になっている。例えば、信号Ｅ_５に対応する輝度範囲は、３２〜６４である。同様に、信号Ｅ_６に対応する輝度範囲は６４〜１２８であり、信号Ｅ_７に対応する輝度範囲は１２８〜２５５である。信号Ｅ_０，…，Ｅ_４についても同様である。なお、輝度範囲の設定方法はこの例に限定されないが、この例のように輝度値が比較的低い領域で輝度範囲の幅を狭く、輝度値が比較的高い領域で輝度範囲の幅を広くとることにより、低照度時における画像の輝度変化に敏感な特性が得られる。

閾値＆ゲイン更新手段１０２、１０６、２０２は、カウンタ３０２の出力に基づき、例えば、最も度数の多い輝度範囲（ピーク）を検出して、その輝度範囲が画像の中心となるように、輝度に乗算するゲイン調整値Ｇ_Ａ及び閾値Ｓ_Ａ（又はゲイン調整値Ｇ_Ｂ及び閾値Ｓ_Ｂ）を決定する。なお、輝度範囲の決定方法としては、上記のようにピークを基準に決定する方法もあるが、平均値、中央値、或いは、分散値などの統計値に基づいて画像の中心にする輝度範囲を決定する方法も考えられる。また、要求される検出精度、処理負荷、或いは、撮像条件などによっては、背景画像に基づくゲイン調整値Ｇ_Ａ及び閾値Ｓ_Ａを入力画像に基づくゲイン調整値Ｇ_Ｂ及び閾値Ｓ_Ｂに設定する方法も考えられる。

以上、ヒストグラム作成手段１０１、１０５、２０１の機能を実現可能な回路構成例について説明した。

＜５：効果＞
本実施形態に係る技術を適用すると、図８に模式的に示したように、撮像対象の照度が低下した状態でも、物体を十分に高い精度で認識できる程度にはっきりと物体の輪郭が得られる。そのため、突然に輝度が変化したり、比較対象の背景画像が異なる時間帯に撮像されたものであったりしても、精度良く物体を検出することが可能になる。また、実際に撮像した画像を用いてシミュレーションの結果において、照明が暗い状況や雑音を挿入した状況においても、被写体の輪郭を判別可能な物体検出用画像が得られている。

上述したように、本実施形態は、照明変動に対して頑健にするために画像信号を２値符号化し、さらに、雑音に対して頑健にするために２値化に利用する判定用閾値を変更する構成を採用している。ＲＲＣ法などでは、放射状の点に対して統計的な処理を実施し、さらに探索処理を必要としていた。一方、本実施形態の構成は、ラインメモリなしのパイプライン構成で画像輝度のヒストグラムを作成できるようにし、ヒストグラムから輝度信号の乗算係数（ゲイン調整値）及び閾値を得るようにした。結果として、回路の小型化、及び高速動作が可能となった。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１００ 物体検出装置
１０１、１０５ ヒストグラム作成手段
１０２、１０６ 閾値＆ゲイン更新手段
１０３、１０７ ２値化手段
１０４ 記憶手段
１０８ 差分算出手段
１０９ 切替手段
１１１、１２１ ゲイン調整機能
１１２、１２２ 輝度制限機能
１１３、１２３ 遅延機能
２００ 物体検出装置
２０１ ヒストグラム作成手段
２０２ 閾値＆ゲイン更新手段
２０３ ２値化手段
２０４ 記憶手段
２０５ 切替制御手段
２０６ 差分算出手段
３０１ イネーブル生成回路
３０２ カウンタ

Claims (10)

1. 画像を二値化する二値化手段と、
   前記画像の明るさに応じて当該画像の二値化に用いる閾値を算出する閾値算出手段と、
   背景画像を前記閾値算出手段に入力して第１の閾値を算出し、前記背景画像及び前記第１の閾値を前記二値化手段に入力して当該背景画像を二値化する背景二値化手段と、
   対象画像を前記閾値算出手段に入力して第２の閾値を算出し、前記対象画像及び前記第２の閾値を前記二値化手段に入力して当該対象画像を二値化する対象二値化手段と、
   前記背景画像を二値化して得られた背景二値化画像と、前記対象画像を二値化して得られた対象二値化画像との差分から物体を検出する物体検出手段と、
   を備える
   ことを特徴とする、物体検出装置。
2. 前記閾値算出手段は、前記画像が明るいほど前記閾値を大きくし、前記画像が暗いほど前記閾値を小さくする
   ことを特徴とする、請求項１に記載の物体検出装置。
3. 前記閾値算出手段は、前記画像を構成する画素について輝度値のヒストグラムを生成し、当該ヒストグラムに基づいて前記閾値を算出する
   ことを特徴とする、請求項１又は２に記載の物体検出装置。
4. 前記閾値算出手段は、前記ヒストグラムのピークに対応する輝度値を前記閾値とする
   ことを特徴とする、請求項３に記載の物体検出装置。
5. 前記閾値算出手段は、前記画像を構成する画素の輝度値について当該輝度値の分布傾向を示す統計値に基づいて前記閾値を算出する
   ことを特徴とする、請求項１又は２に記載の物体検出装置。
6. 前記閾値算出手段は、前記輝度値の平均値又は中央値を前記閾値とする
   ことを特徴とする、請求項５に記載の物体検出装置。
7. 前記二値化手段は、
   前記閾値に対応する輝度値が前記画像における輝度分布の中心となるように前記画像をゲインアップするゲイン調整手段と、
   前記画像を構成する画素のうち、前記ゲイン調整手段によるゲインアップ後に輝度値が所定値を越える画素の輝度値を前記所定値に設定するクリップ手段と、
   前記ゲイン調整手段及び前記クリップ手段による処理後の前記画像を二値化する二値化処理手段と、
   を含む
   ことを特徴とする、請求項３〜６のいずれか１項に記載の物体検出装置。
8. 前記画像を構成する各画素は、所定の走査順序に沿って連続して読み出され、
   前記二値化手段は、
   ｍ＝１〜Ｍについて、判定対象となる前記画素Ｘの輝度値と、当該判定対象となる画素Ｘよりｍステップ前に読み出された前記画素Ｘｍの輝度値との差分が前記閾値より大きいか否かを判定し、当該差分が前記閾値より大きくなる回数を計数する判定手段と、
   前記第１判定手段により計数された回数が所定値よりも大きい場合に前記判定対象となる画素Ｘの輝度値を第１の値に設定し、当該回数が前記所定値よりも小さい場合に前記判定対象となる画素Ｘの輝度値を第２の値に設定する二値設定手段と、
   を含む
   ことを特徴とする、請求項３〜６のいずれか１項に記載の物体検出装置。
9. 請求項１〜８のいずれか１項に記載の物体検出装置と、
   前記背景画像及び前記対象画像を撮像する撮像手段と、
   前記物体検出手段による検出結果を監視者に通知する通知手段と、
   を備える
   ことを特徴とする、監視カメラ。
10. 画像を二値化する二値化手段と、画像の明るさに応じて当該画像の二値化に用いる閾値を算出する閾値算出手段と、を有する物体検出装置が、
    背景画像を前記閾値算出手段に入力して第１の閾値を算出し、前記背景画像及び前記第１の閾値を前記二値化手段に入力して当該背景画像を二値化する背景二値化工程と、
    対象画像を前記閾値算出手段に入力して第２の閾値を算出し、前記対象画像及び前記第２の閾値を前記二値化手段に入力して当該対象画像を二値化する対象二値化工程と、
    前記背景画像を二値化して得られた背景二値化画像と、前記対象画像を二値化して得られた対象二値化画像との差分から物体を検出する物体検出工程と、
    を含む
    ことを特徴とする、物体検出方法。
    

Images