JP2023086370A - オブジェクト検出装置、オブジェクト検出方法、およびオブジェクト検出プログラム - Google Patents

Abstract

【課題】オブジェクトの誤検出、およびオブジェクトの見逃しを十分に抑制することができる技術を提供する。【解決手段】撮像装置によって撮像された観測対象エリアのフレーム画像が画像入力部に入力される。検出部が、画像入力部に入力されたフレーム画像を処理して、このフレーム画像に撮像されているオブジェクトを検出する。設定部は、フレーム画像を分割した画像領域毎に、検出部が撮像されているオブジェクトの検出に用いる判定値を設定する。設定部は、画像領域毎に、その画像領域に属する画素の画素値の分散に基づいて判定値を設定する。【選択図】図２

Description

この発明は、観測対象エリアを撮像したフレーム画像に撮像されているオブジェクトを検出する技術に関する。

従来、観測対象エリアを撮像したフレーム画像を処理し、そのフレーム画像に撮像されているオブジェクト（人や物等）を検出する装置があった。例えば、特許文献１には、検出する対象のオブジェクトの種類（人、車両）に応じて、フレーム画像を複数の画像領域に分割し、画像領域毎に対応する種類のオブジェクトを検出する構成が記載されている。

また、オブジェクトの検出結果に基づき、観測対象エリア内で異常事象が発生しているかどうかを判定し、その判定結果を出力する装置もある。観測対象エリア内で異常事象が発生しているかどうかの判定は、検出されたオブジェクトの有無で行ってもよいし、検出されたオブジェクトの種類で行ってもよいし、検出されたオブジェクトの動きで行ってもよいし、これらの組み合わせや、その他の手法で行ってもよい。

特開２０１５－ ２４０１号公報

しかしながら、オブジェクトが撮像されていないときにおいても、画像の色、輝度等の画素値が画像領域間で異なる。

フレーム画像を分割した各画像領域に対するオブジェクトの検出が、その画像領域において、オブジェクトが撮像されていないときに撮像される画像の色、輝度等の画素値に応じて行われていなかった。言い換えれば、各画像領域に対するオブジェクトの検出が、同じ条件で行われていた。したがって、従来の技術では、オブジェクトの誤検出、およびオブジェクトの見逃しを十分に抑制できなかった。ここで言う、オブジェクトの誤検出は、オブジェクトが撮像されていない画像領域に対して、オブジェクトが撮像されていると判定することである。また、オブジェクトの見逃しは、オブジェクトが撮像されている画像領域に対して、オブジェクトが撮像されていないと判定することである。

この発明の目的は、オブジェクトの誤検出、およびオブジェクトの見逃しを十分に抑制することができる技術を提供することにある。

この発明のオブジェクト検出装置は、上記目的を達成するため以下に示すように構成している。

画像入力部には、撮像装置によって撮像された観測対象エリアのフレーム画像が入力される。撮像装置は、観測対象エリアの動画像を撮像するビデオカメラであってもよいし、レリーズ信号が入力されたときに観測対象エリアの静止画像を撮像するスチルカメラであってもよい。

検出部は、画像入力部に入力されたフレーム画像を処理して、このフレーム画像に撮像されているオブジェクトを検出する。

また、設定部が、フレーム画像を分割した画像領域毎に、検出部が撮像されているオブジェクトの検出に用いる判定値を設定する。この設定部は、画像領域毎に、その画像領域にオブジェクトが撮像されていないときの複数のフレーム画像を用い、当該画像領域に属する画素の画素値の統計量に基づいて判定値を設定する。すなわち、設定部は、画像領域毎に、その画像領域に背景画像が撮像されている複数のフレーム画像を用いて判定値を設定する。

検出部は、画像領域毎に、その画像領域に設定されている判定値を用いて、撮像されているオブジェクトを検出する。

この構成では、フレーム画像を分割した画像領域毎に、その画像領域に撮像される背景画像の画素値の分散に基づいて設定された判定値を用いて、オブジェクトが撮像されているかどうかの検出を行う。これにより、オブジェクトの誤検出、およびオブジェクトの見逃しを十分に抑制することができる。

また、設定部は、例えば、画像領域毎に、その画像領域に属する画素の画素値の分散の平均値に基づいて判定値を設定してもよいし、その画像領域に属する画素の画素値の分散の中央値に基づいて判定値を設定してもよいし、その他の方法で設定してもよい。

また、オブジェクト検出装置は、
フレーム画像を仮画像領域に分割する仮分割部と、
オブジェクトが撮像されていない複数のフレーム画像を用い、特徴が類似し、且つ隣接していることを条件にして仮画像領域をグルーピングし、グルーピングした仮画像領域を前記画像領域に決定する決定部と、を追加的に備えてもよい。

このように構成すれば、フレーム画像における画像領域の分割を、背景画像の類似性に基づいて行える。

また、決定部は、例えば、仮画像領域のグルーピングにおいて、仮画像領域に属する画素の画素値の分散の平均値を特徴の１つとして用いてもよいし、仮画像領域に属する画素の画素値の平均の平均値を特徴の１つとして用いてもよいし、仮画像領域に撮像されている画像の撮像距離を特徴の１つとして用いてもよい。

なお、ここで言う、画素の画素値の平均とは、オブジェクトが撮像されていない複数のフレーム画像における同じ位置の画素の画素値を平均した値（画素平均値）である。また、画素の画素値の平均の平均値とは、仮画像領域に属する画素の画素平均値を平均した値（領域平均値）である。

また、決定部は、上記した仮画像領域に属する画素の画素値の分散の平均値、仮画像領域に属する画素の画素値の平均の平均値、または仮画像領域に撮像されている画像の撮像距離の２つ以上を用いて、仮画像領域をグルーピングすることにより、画像領域に決定してもよい。

さらに、仮分割部は、オブジェクトが撮像されていないフレーム画像に対してエッジ検出を行い、検出したエッジに応じて仮画像領域の分割を行ってもよいし、その他の手法で仮画像領域の分割を行ってもよい。

この発明によれば、オブジェクトの誤検出、およびオブジェクトの見逃しを十分に抑制することができる。

この例のオブジェクト検出装置が適用された検出システムの構成を示す図である。 この例のオブジェクト検出装置の主要部の構成を示すブロック図である。 図３（Ａ）は、分割した複数の画像領域の境界ラインをカメラによって撮像されたフレーム画像上に破線で示した図であり、図３（Ｂ）は、分割した複数の画像領域の境界ラインをわかりやすく図示するため、カメラによって撮像されたフレーム画像を示していない図である。 この例のオブジェクト検出装置における判定値設定処理を示すフローチャートである。 この例のオブジェクト検出装置におけるオブジェクト検出処理を示すフローチャートである。 変形例１のオブジェクト検出装置の主要部の構成を示すブロック図である。 フレーム画像の画像領域の仮分割を説明する図である。 変形例１のオブジェクト検出装置の画像領域分割処理を示すフローチャートである。 変形例２のオブジェクト検出装置の画像領域分割処理を示すフローチャートである。 仮画像領域分割処理を示すフローチャートである。

以下、この発明の実施形態について説明する。

＜１．適用例＞
図１は、この例のオブジェクト検出装置が適用された検出システムの構成を示す図である。この例の検出システム１００は、オブジェクト検出装置１と、カメラ５とを備えている。

この例の検出システム１００は、オブジェクト検出装置１がカメラ５で撮像した観測対象エリアのフレーム画像を処理し、このフレーム画像に撮像されている人や物体等のオブジェクトを検出するシステムである。この例の検出システム１００では、駅の改札口、駅構内の列車の発着ホーム、オフィスビルのエントランス、マンションのエントランス等の様々な場所を観測対象エリアに設定できる。

カメラ５は、観測対象エリアを撮像領域に収めるアングルで設置されている。この例では、カメラ５は、動画像を撮像するビデオカメラである。カメラ５のフレームレートは、例えば数十フレーム／ｓｅｃ（例えば、１０～３０フレーム／ｓｅｃ程度）である。カメラ５は、観測対象エリアを撮像した動画像にかかるフレーム画像をオブジェクト検出装置１に出力する。

なお、カメラ５は、レリーズ信号が入力されたときに、観測対象エリアの静止画像を撮像するディジタルスチルカメラであってもよい。

オブジェクト検出装置１は、カメラ５によって撮像された観測対象エリアのフレーム画像の中から、処理対象フレーム画像を選択する。オブジェクト検出装置１は、入力されたフレーム画像を順番に処理対象フレーム画像として選択してもよいし、入力されたフレーム画像から所定フレーム数間隔（例えば、３フレーム間隔、５フレーム間隔）で処理対象フレーム画像を選択してもよいし、入力されたフレーム画像から所定の撮像時間間隔（例えば、１００ｍｓｅｃ間隔、３００ｍｓｅｃ間隔）で処理対象フレーム画像を選択してもよい。

なお、カメラ５が、撮像した動画像にかかるフレーム画像の中から、処理対象フレーム画像を選択し、選択した処理対象フレーム画像をオブジェクト検出装置１に出力する構成であってもよい。この場合、カメラ５は、処理対象フレーム画像として選択しなかったフレーム画像をオブジェクト検出装置１に出力しない構成にしてもよい。

オブジェクト検出装置１は、処理対象フレーム画像を選択すると、この処理対象フレーム画像に撮像されているオブジェクトの検出を行う。オブジェクト検出装置１は、処理対象フレーム画像を分割した複数の画像領域毎に、その画像領域に対してオブジェクトを検出する処理に用いる判定値を記憶している。判定値は、その画像領域に撮像された背景画像の画素値の統計量（例えば、分散）に基づいて設定した値である。オブジェクト検出装置１は、処理対象フレーム画像を分割した複数の画像領域毎に、その画像領域に対して設定されている判定値を用いてオブジェクトの検出を行う。したがって、オブジェクト検出装置１は、処理対象フレーム画像を分割した複数の画像領域毎に、その画像領域に適した判定値を用いて、オブジェクトを検出できる。これにより、オブジェクト検出装置１は、オブジェクトの誤検出、およびオブジェクトの見逃しを十分に抑制できる。

ここで言う、オブジェクトの誤検出は、オブジェクトが撮像されていない画像領域に対して、オブジェクトが撮像されていると判定する（撮像されていないオブジェクトを検出する）ことである。また、オブジェクトの見逃しは、オブジェクトが撮像されている画像領域に対して、オブジェクトが撮像されていないと判定する（撮像されているオブジェクトを背景として検出する）ことである。

なお、オブジェクト検出装置１は、オブジェクトを検出した画像領域を、オブジェクトの検出結果として出力する構成であってもよい。また、オブジェクト検出装置１は、検出したオブジェクトの種類を判断し、そのオブジェクトを検出した画像領域と、そのオブジェクトの種類とを対応付けて、オブジェクトの検出結果として出力する構成であってもよい。さらには、オブジェクト検出装置１は、検出したオブジェクトの種類と、そのオブジェクトを検出した画像領域とによって、観測対象エリア内において異常事象が発生しているかどうか（異常状態であるかどうか）を判定した判定結果も加えたオブジェクトの検出結果を出力する構成であってもよい。

＜２．構成例＞
図２は、この例のオブジェクト検出装置の主要部の構成を示すブロック図である。オブジェクト検出装置１は、制御ユニット１１と、画像入力部１２と、出力部１３とを備えている。

制御ユニット１１は、オブジェクト検出装置１本体各部の動作を制御する。また、制御ユニット１１は、設定部１１ａ、判定値記憶部１１ｂ、および検出部１１ｃを有する。制御ユニット１１が有する設定部１１ａ、判定値記憶部１１ｂ、および検出部１１ｃについては後述する。

画像入力部１２には、カメラ５が接続されている。画像入力部１２には、カメラ５が撮像した観測対象エリアの動画像にかかるフレーム画像が入力される。カメラ５は、観測対象エリアを撮像領域に収めるアングルで設置されている。

出力部１３は、制御ユニット１１が観測対象エリアのフレーム画像に対するオブジェクトの検出結果を上位装置（不図示）に出力する。

次に、制御ユニット１１が有する設定部１１ａ、判定値記憶部１１ｂ、および検出部１１ｃについて説明する。

設定部１１ａは、観測対象エリアを撮像したフレーム画像を分割した画像領域毎に、その画像領域におけるオブジェクトの検出に用いる判定値を設定する。

例えば、カメラ５によって撮像されたフレーム画像は、図３に示すように、複数の画像領域に分割されている。図３（Ａ）は、分割した複数の画像領域の境界ラインをカメラによって撮像されたフレーム画像上に破線で示した図であり、図３（Ｂ）は、分割した複数の画像領域の境界ラインをわかりやすく図示するため、カメラによって撮像されたフレーム画像を示していない図である。図３（Ａ）、（Ｂ）では、分割した複数の画像領域の境界ラインを破線で示している。

この例では、設定部１１ａは、図３に示した画像領域ｎ毎に、その画像領域ｎにオブジェクトが撮像されていないときの複数のフレーム画像を用いて判定値Ｔｎを設定する。ｎは、分割した画像領域を示す。例えば、フレーム画像が、ｎ個の画像領域に分割されている場合、ｎは１～ｎの整数である。

上記の説明から明らかなように、設定部１１ａは、画像領域ｎ毎に、その画像領域ｎに撮像されている画像が背景画像である複数フレームのフレーム画像ｍを用いて判定値Ｔｎを設定する。ｍは、分割した画像領域ｎの判定値Ｔｎを設定するのに用いるフレーム画像のフレーム数を示す。例えば、分割した画像領域ｎの判定値Ｔｎを設定するのにｍフレーム数のフレーム画像を用いる場合、ｍは１～ｍの整数である。

例えば、画像領域ｎの判定値Ｔｎを設定する場合、画像領域ｎに撮像されている画像が背景画像であるｍフレームのフレーム画像を収集する。このとき、他の画像領域に撮像されているオブジェクトの影響を考慮し、収集するｍフレームのフレーム画像は、画像領域ｎだけでなく、他の画像領域においてもオブジェクトが撮像されていないフレーム画像にするのが好ましい。

設定部１１ａは、収集したフレーム画像ｍ毎に、画像領域ｎに属する画素の画素値の分散δn,mを算出する。設定部１１ａは、収集したフレーム画像ｍ毎に算出した画像領域ｎに属する画素の画素値の分散δn,mの平均値δn,aveを算出する。具体的には、設定部１１ａは、収集したフレーム画像ｍ毎に算出した画像領域ｎに属する画素の画素値の分散δn,mの総和をフレーム数ｍで除した値を、平均値δn,aveとして算出する。

設定部１１ａは、画像領域ｎの判定値Ｔｎを、
Ｔｎ＝１／δn,ave
として算出する。

なお、この例では、設定部１１ａは、画像領域ｎに属する画素の画素値の分散δn,mの平均値δn,aveを基に判定値Ｔｎを算出する構成であるが、画像領域ｎに属する画素の画素値の分散δn,mの中央値や、画像領域ｎに属する画素の画素値の分散δn,mの最頻値等を基に判定値Ｔｎを算出してもよい。

判定値記憶部１１ｂは、画像領域ｎ毎に、設定部１１ａが算出した判定値Ｔｎを記憶する。

検出部１１ｃは、画像入力部１２に入力されたフレーム画像の中から処理対象フレーム画像Ｍを選択する。検出部１１ｃは、選択した処理対象フレーム画像Ｍの画像領域ｎ毎に、その画像領域ｎにオブジェクトが撮像されているかどうかの検出を行う。検出部１１ｃは、このオブジェクトの検出において、処理対象フレーム画像Ｍの画像領域ｎの画素値の分散δn,Mを算出し、
α＜δn,M×Ｔｎ＜β
を満足する場合に、処理対象フレーム画像Ｍの画像領域ｎにオブジェクトが撮像されていないと判定する。言い換えれば、検出部１１ｃは、
α＜δn,M×Ｔｎ＜β
を満足しない場合に、処理対象フレーム画像Ｍの画像領域ｎにオブジェクトが撮像されていると判定する。

なお、α、およびβは、予め設定した値であり、画像領域ｎ毎に共通の値が設定される構成であってもよいし、個別に値が設定される構成であってもよい。また、上記の説明から明らかように、α＜βであり、δn,M×Ｔｎ＝δn,M／δn,aveである。

オブジェクト検出装置１の制御ユニット１１は、ハードウェアＣＰＵ、メモリ、その他の電子回路によって構成されている。ハードウェアＣＰＵが、この発明にかかるオブジェクト検出プログラムを実行したときに、設定部１１ａ、判定値記憶部１１ｂ、および検出部１１ｃとして動作する。また、メモリは、判定値記憶部１１ｂとして使用される記憶領域を有するとともに、この発明にかかるオブジェクト検出プログラムを展開する領域や、このオブジェクト検出プログラムの実行時に生じたデータ等を一時記憶する領域を有している。制御ユニット１１は、ハードウェアＣＰＵ、メモリ等を一体化したＬＳＩであってもよい。また、ハードウェアＣＰＵが、この発明にかかる異常検出方法を実行するコンピュータである。

＜３．動作例＞
この例のオブジェクト検出装置の動作を説明する。図４は、この例のオブジェクト検出装置における判定値設定処理を示すフローチャートである。

設定部１１ａは、判定値Ｔｎを設定する対象画像領域ｎを選択する（ｓ１）。例えば、設定部１１ａは、この時点において判定値記憶部１１ｂに判定値Ｔｎを記憶していない画像領域の中から、対象画像領域ｎを選択する。

設定部１１ａは、ｓ１で選択した対象画像領域ｎにオブジェクトが撮像されていないフレーム画像ｍをｍフレーム収集する（ｓ２）。上記した通り、ｓ２では、対象画像領域ｎだけでなく、全ての画像領域ｎでオブジェクトが撮像されていないフレーム画像を収集するのが好ましい。また、ｓ２で、全ての画像領域ｎでオブジェクトが撮像されていないフレーム画像を収集しておくことによって、今回選択した対象画像領域ｎだけでなく、他の画像領域ｎを対象画像領域ｎ選択した場合に、再度ｓ２にかかる処理を行わなくてもよい。

設定部１１ａは、ｓ２で収集したフレーム画像ｍ毎に、ｓ１で選択した対象画像領域ｎに属する画素の画素値の分散δn,mを算出する（ｓ３）。設定部１１ａは、ｓ２で収集したフレーム画像ｍ毎に算出した対象画像領域ｎに属する画素の画素値の分散δn,mの平均値δn,aveを算出する（ｓ４）。

設定部１１ａは、ｓ４でフレーム画像ｍ毎に算出した対象画像領域ｎの画素値の分散δn,mの平均値δn,aveを基に、この対象画像領域ｎの判定値Ｔｎを算出し、判定値記憶部１１ｂに記憶させる（ｓ５）。設定部１１ａは、この例では、判定値Ｔｎを、
Ｔｎ＝１／δn,ave
により算出する。

設定部１１ａは、未処理の画像領域ｎ（判定値記憶部１１ｂに判定値Ｔｎを記憶していない画像領域ｎ）の有無を判定し（ｓ６）、未処理の画像領域ｎがあれば、ｓ１に戻る。また、設定部１１ａは、未処理の画像領域ｎが無ければ、本処理を終了する。

このように、この例のオブジェクト検出装置１は、フレーム画像を分割した画像領域ｎ毎に、その画像領域ｎに属する画素の画素値に応じた判定値Ｔｎを設定することができる。

図５は、この例のオブジェクト検出装置におけるオブジェクト検出処理を示すフローチャートである。

検出部１１ｃは、画像入力部１２に入力された、観測対象エリアを撮像したフレーム画像の中から、処理対象フレーム画像Ｍを選択する（ｓ１１）。検出部１１ｃは、画像入力部１２に入力されたフレーム画像を順番に処理対象フレーム画像Ｍとして選択してもよいし、入力されたフレーム画像から所定フレーム数間隔（例えば、３フレーム間隔、５フレーム間隔）で処理対象フレーム画像Ｍを選択してもよいし、入力されたフレーム画像から所定の撮像時間間隔（例えば、１００ｍｓｅｃ間隔、３００ｍｓｅｃ間隔）で処理対象フレーム画像Ｍを選択してもよい。

検出部１１ｃは、ｓ１１で選択した処理対象フレーム画像Ｍに対して、撮像されているオブジェクトを検出する画像領域ｎを選択する（ｓ１２）。検出部１１ｃは、処理対象フレーム画像Ｍにおいて、ｓ１２で選択した画像領域ｎに属する画素の画素値の分散δn,Mを算出する（ｓ１３）。

検出部１１ｃは、ｓ１３で算出した画素値の分散δn,Mを用いて、ｓ１２で選択した画像領域ｎにオブジェクトが撮像されているかどうかを判定する（ｓ１４）。ｓ１４では、検出部１１ｃは、例えば、ｓ１３で算出した画像領域ｎに属する画素の画素値の分散δn,Mと、判定値記憶部１１ｂに記憶している対応する画像領域ｎの判定値Ｔｎとの積が、予め設定されたαとβとの間にあるかどうかを判定する。検出部１１ｃは、この例では、
α＜δn,M×Ｔｎ＜β
を満足する場合に、処理対象フレーム画像Ｍの画像領域ｎにオブジェクトが撮像されていないと判定する。言い換えれば、検出部１１ｃは、
α＜δn,M×Ｔｎ＜β
を満足しない場合に、処理対象フレーム画像Ｍの画像領域ｎにオブジェクトが撮像されていると判定する。

検出部１１ｃは、画像領域ｎと、ｓ１４の判定結果（オブジェクトが撮像されているかどうか）とを対応づけて記憶する（ｓ１５、ｓ１６）。検出部１１ｃは、未処理の画像領域ｎの有無を判定し（ｓ１７）、未処理の画像領域ｎがあれば、ｓ１２に戻る。

また、検出部１１ｃは、ｓ１７で未処理の画像領域ｎが無いと判定すると、今回選択した処理対象フレーム画像Ｍについて、画像領域ｎ毎に、オブジェクトの有無を対応づけた検出結果を上位装置に出力し（ｓ１８）、ｓ１１に戻る。

このように、この例のオブジェクト検出装置１は、カメラ５によって撮像された観測対象エリアのフレーム画像を複数の画像領域ｎに分割し、各画像領域ｎに対してオブジェクトが撮像されているかどうかを判定する。また、画像領域ｎ毎に、その画像領域ｎにオブジェクトが撮像されているかどうかの判定に用いる判定値Ｔｎを設定している。したがって、オブジェクトの誤検出、およびオブジェクトの見逃しを十分に抑制することができる。

また、上記の例では、各画像領域ｎに対して、オブジェクトが撮像されているかどうかの判定に用いる判定値Ｔｎを、その画像領域ｎに属する画素の画素値の分散δn,mの平均値δn,aveを基に算出するとしたが、画像領域ｎに属する画素の画素値の分散δn,mの中央値や、画像領域ｎに属する画素の画素値の分散δn,mの最頻値等を基に算出してもよい。また、判定値Ｔｎの設定に用いる画素値の統計量は、上記の例で示した画素値の分散に限らず、他の種類であってもよい。

また、各画像領域ｎに対してオブジェクトが撮像されているかどうかを、機械学習によってモデルを構築したＡＩ（Artificial Intelligence）によって行う場合、画像領域ｎに属する画素の画素値の分散δn,mの平均値δn,aveや、その画像領域ｎに属する画素の画素値の平均の平均値等を基に算出した信頼度を、判定値Ｔｎとして設定してもよい。

＜４．変形例＞
・変形例１
図６は、この変形例１のオブジェクト検出装置の主要部の構成を示す図である。この変形例１のオブジェクト検出装置１Ａは、フレーム画像に対してオブジェクトが撮像されているかどうかを判定する画像領域ｎの分割を行う構成を追加的に備えている点で、上記の例と相違する。図６では、図２に示した構成と同様の構成については、同じ符号を付している。

この変形例１のオブジェクト検出装置１Ａは、制御ユニット１１Ａが仮分割部１１ｄ、および決定部１１ｅを追加的に有している点で、上記の例と相違する。仮分割部１１ｄは、カメラ５によって撮像された観測対象エリアのフレーム画像ｍを複数の仮画像領域ｎに分割する処理を行う。例えば、仮分割部１１ｄは、カメラ５によって撮像された観測対象エリアのフレーム画像ｍを、図７に示す横方向にｊ分割し、縦方向にｋ分割した、j×ｋ個の仮画像領域ｐに分割する。ｐは、分割した仮画像領域を示し、この例では、ｐは、１～j×ｋの整数である。

決定部１１ｅは、仮分割部１１ｄによって仮分割された仮画像領域ｐを、特徴が類似し、且つ隣接していることを条件にしてグルーピングする。決定部１１ｅは、グルーピングした仮画像領域ｐを、上記した例で説明した画像領域ｎに決定する。この変形例１では、決定部１１ｅが、仮画像領域ｐのグルーピングに用いる特徴は２種類であり、１つが仮画像領域ｐに属する画素の画素値の分散δp,mの平均値δp,aveであり、もう１つが仮画像領域ｐに属する画素の画素値の平均μp,mの平均値μp,aveである。

なお、分散δp,mは、フレーム画像ｍにおいて、仮画像領域ｐに属する画素の画素値の分散であり、平均値μp,aveは、複数フレーム画像について算出した画素値の分散δp,mの平均値である。また、決定部１１ｅが、仮画像領域ｐのグルーピングに用いる特徴は、仮画像領域ｐに属する画素の画素値の分散δp,mの平均値δp,ave、または仮画像領域ｐに属する画素の画素値の平均μp,mの平均値μp,aveのどちらか一方であってもよい。

決定部１１ｅは、オブジェクトが撮像されていないフレーム画像ｍ毎に、仮画像領域ｐに属する画素の画素値の分散δp,mの平均値δp,aveを算出する。また、決定部１１ｅは、オブジェクトが撮像されていないフレーム画像ｍ毎に、仮画像領域ｐに属する画素の画素値の平均μp,mの平均値μp,aveを算出する。

決定部１１ｅは、隣接する２つの仮画像領域ｐと仮画像領域ｑを、同じ画像領域ｎにするかどうかを決定する。この例では、決定部１１ｅは、隣接する２つの仮画像領域ｐと仮画像領域ｑにおいて、一方の仮画像領域ｐに属する画素の画素値の分散δp,mの平均値δp,aveと、他方の仮画像領域ｑに属する画素の画素値の分散δq,mの平均値δq,aveとの差分の絶対値がδthより小さく、且つ、一方の仮画像領域ｐに属する画素の画素値の平均μp,mの平均値μp,aveと、他方の仮画像領域ｑに属する画素の画素値の平均μq,mの平均値μq,aveとの差分の絶対値がμthより小さい場合に、隣接する２つの仮画像領域ｐと仮画像領域ｑを、同じ画像領域ｎにすると決定する。δth、およびμthは、予め設定した値である。

すなわち、決定部１１ｅは、隣接する２つの仮画像領域ｐと仮画像領域ｑとにおいて、一方の仮画像領域ｐに属する画素の画素値の分散δp,mの平均値δp,aveと、他方の仮画像領域ｑに属する画素の画素値の分散δq,mの平均値δq,aveとの差分の絶対値がδthより大きい場合、または一方の仮画像領域ｐに属する画素の画素値の平均μp,mの平均値μp,aveと、他方の仮画像領域ｑに属する画素の画素値の平均μq,mの平均値μq,aveとの差分の絶対値がμthより大きい場合、隣接する２つの仮画像領域ｐと仮画像領域ｑを、同じ画像領域ｎにしないと決定する。

この変形例１のオブジェクト検出装置１Ａは、以下に示す画像領域分割処理を実行する点で、上記の例のオブジェクト検出装置１と相違する。この変形例１のオブジェクト検出装置１Ａは、図４に示した判定値設定処理、および図５に示したオブジェクト検出処理を実行する。この変形例１のオブジェクト検出装置１Ａは、画像領域分割処理で分割した画像領域毎に、判定値Ｔｎの設定、およびオブジェクトの検出を行う。

図８は、この変形例１のオブジェクト検出装置の画像領域分割処理を示すフローチャートである。オブジェクト検出装置１Ａは、オブジェクトが撮像されていない観測対象エリアのフレーム画像を複数フレーム（ここでは、ｍフレームとする。）用いて、この画像領域分割処理を実行する。

仮分割部１１ｄが、フレーム画像を複数の仮画像領域ｐに分割する（ｓ２１）。ｓ２１では、例えば、図７に示したように、仮分割部１１ｄが観測対象エリアのフレーム画像を、横方向にｊ分割し、縦方向にｋ分割した、j×ｋ個の仮画像領域ｐに分割する。

決定部１１ｅは、ｓ２１で分割した仮画像領域ｐ毎に、その仮画像領域ｐに属する画素の画素値の分散δp,mの平均値δp,aveを算出する（ｓ２２）。ｓ２２では、決定部１１ｅは、オブジェクトが撮像されていない観測対象エリアのフレーム画像ｍの仮画像領域ｐ毎に、その仮画像領域ｐに属する画素の画素値の分散δp,mを算出する。決定部１１ｅは、ｍフレーム数のフレーム画像ｍのそれぞれにおいて、各仮画像領域ｐに属する画素の画素値の分散δp,mを算出する。決定部１１ｅは、仮画像領域ｐ毎に、ｍフレーム数のフレーム画像ｍのそれぞれにおいて算出した画素の画素値の分散δp,mの平均値δp,aveを算出する。

また、決定部１１ｅは、ｓ２１で分割した仮画像領域ｐ毎に、その仮画像領域ｐに属する画素の画素値の平均μp,mの平均値μp,aveを算出する（ｓ２３）。ｓ２３では、決定部１１ｅは、オブジェクトが撮像されていない観測対象エリアのフレーム画像ｍの仮画像領域ｐ毎に、その仮画像領域ｐに属する画素の画素値の平均μp,mを算出する。決定部１１ｅは、ｍフレーム数のフレーム画像ｍのそれぞれにおいて、各仮画像領域ｐに属する画素の画素値の平均μp,mを算出する。決定部１１ｅは、仮画像領域ｐ毎に、ｍフレーム数のフレーム画像ｍのそれぞれにおいて算出した画素の画素値の平均μp,mの平均値μp,aveを算出する。

このｓ２２とｓ２３の順番はどちらを先に実行してもよいし、並行して実行してもよい。

決定部１１ｅは、以下に示すｓ２５にかかる判定を行っていない、隣接する２つの仮画像領域ｐ、ｑの組合せを選択する（ｓ２４）。決定部１１ｅは、ｓ２４で選択した隣接する２つの仮画像領域ｐ、ｑを同じ画像領域ｎにするかどうかを決定する（ｓ２５）。ｓ２５では、決定部１１ｅは、ｓ２４で選択した隣接する２つの仮画像領域ｐと仮画像領域ｑにおいて、一方の仮画像領域ｐに属する画素の画素値の分散δp,mの平均値δp,aveと、他方の仮画像領域ｑに属する画素の画素値の分散δq,mの平均値δq,aveとの差分の絶対値がδthより小さく、且つ、一方の仮画像領域ｐに属する画素の画素値の平均μp,mの平均値μp,aveと、他方の仮画像領域ｑに属する画素の画素値の平均μq,mの平均値μq,aveとの差分の絶対値がμthより小さい場合に、隣接する２つの仮画像領域ｐと仮画像領域ｑを、同じ画像領域ｎにすると決定する。δth、およびμthは、予め設定した値である。

すなわち、決定部１１ｅは、隣接する２つの仮画像領域ｐと仮画像領域ｑとにおいて、一方の仮画像領域ｐに属する画素の画素値の分散δp,mの平均値δp,aveと、他方の仮画像領域ｑに属する画素の画素値の分散δq,mの平均値δq,aveとの差分の絶対値がδthより大きい場合、または一方の仮画像領域ｐに属する画素の画素値の平均μp,mの平均値μp,aveと、他方の仮画像領域ｑに属する画素の画素値の平均μq,mの平均値μq,aveとの差分の絶対値がμthより大きい場合、隣接する２つの仮画像領域ｐと仮画像領域ｑを、同じ画像領域ｎにしないと決定する。

決定部１１ｅは、ｓ２４で選択した隣接する２つの仮画像領域ｐ、ｑを同じ画像領域ｎにしないと決定すると、これら２つの仮画像領域ｐ、ｑが接している境界を、画像領域の分割ラインに設定する（ｓ２６）。決定部１１ｅは、ｓ２４で選択した隣接する２つの仮画像領域ｐ、ｑが属する画像領域を同じと判定すると、これら２つの仮画像領域ｐ、ｑが接している境界に、画像領域の分割ラインを設定しない（ｓ２６にかかる処理を行わない。）。

決定部１１ｅは、未処理の隣接する２つの仮画像領域ｐと仮画像領域ｑの組合せの有無を判定する（ｓ２７）。決定部１１ｅは、ｓ２５にかかる判定を行っていない２つの仮画像領域ｐと仮画像領域ｑの組合せ（未処理の隣接する２つの仮画像領域ｐと仮画像領域ｑの組み合わせ）があれば、ｓ２４に戻る。また、決定部１１ｅは、未処理の隣接する２つの仮画像領域ｐと仮画像領域ｑの組合せがなければ、ｓ２６設定した分割ラインに応じて、フレーム画像を複数の画像領域に分割し（ｓ２８）、本処理を終了する。

この変形例１のオブジェクト検出装置１Ａは、この図８に示した画像領域分割処理を実行した後、図４に示した判定値設定処理を実行し、画像領域分割処理で分割した画像領域ｎ毎に、判定値Ｔｎを設定する。

この変形例１のオブジェクト検出装置１Ａでは、オブジェクトを検出する画像領域ｎの分割が、背景画像撮像されたフレーム画像における画素値の分散の平均値、および画素値の平均値が類似していることを条件にして行える。これにより、図４に示した判定値設定処理において、各画像領域ｎに対して設定する判定値Ｔｎを、その画像領域ｎおいてオブジェクトを検出するのに適した値にできる。したがって、オブジェクト検出装置１Ａは、オブジェクトの誤検出、およびオブジェクトの見逃しを十分に抑制することができる。

・変形例２
図８に示した画像領域分割処理は、図９に示す処理に置き換えてもよい。図９は、この変形例２のオブジェクト検出装置の画像領域分割処理を示すフローチャートである。この変形例２のオブジェクト検出装置１Ａは、図６に示した構成である（上記した変形例１のオブジェクト検出装置１Ａと同様の構成である。）。図９では、図８に示した処理と同じ処理については、同じステップ番号を付している。

この変形例２のオブジェクト検出装置１Ａは、撮像距離Ｄも加味して、フレーム画像を複数の画像領域ｎに分割する。

オブジェクト検出装置１Ａは、上記した変形例１と同様に、ｓ２１～ｓ２３にかかる処理を行う。この変形例２のオブジェクト検出装置１Ａは、仮画像領域ｐ毎に、平均撮像距離Ｄp,aveを算出する（ｓ３１）。オブジェクト検出装置１Ａは、例えば、入力された観測対象エリアの距離画像を用いて、仮画像領域ｐ毎に、平均撮像距離Ｄp,aveを算出する。

この変形例２のオブジェクト検出装置１Ａは、未処理の隣接する２つの仮画像領域ｐ、ｑの組合せを選択し（ｓ２４）、これら２つの仮画像領域ｐ、ｑを、同じ画像領域ｎにするか、異なる画像領域にするかを決定する（ｓ３２）。

ｓ３２では、上記した変形例１のｓ２５と異なり、
・条件１：隣接する２つの仮画像領域ｐと仮画像領域ｑにおいて、一方の仮画像領域ｐに属する画素の画素値の分散δp,mの平均値δp,aveと、他方の仮画像領域ｑに属する画素の画素値の分散δq,mの平均値δq,aveとの差分の絶対値がδthより小さい、
・条件２：隣接する２つの仮画像領域ｐと仮画像領域ｑにおいて、一方の仮画像領域ｐに属する画素の画素値の平均μp,mの平均値μp,aveと、他方の仮画像領域ｑに属する画素の画素値の平均μq,mの平均値μq,aveとの差分の絶対値がμthより小さい、
・条件３：隣接する２つの仮画像領域ｐと仮画像領域ｑにおいて、一方の仮画像領域ｐの平均撮像距離Ｄp,aveと、他方の仮画像領域ｑの平均撮像距離Ｄq,aveとの差分の絶対値がＤthより小さい、
の全てを満足した場合に、２つの仮画像領域ｐ、ｑを、同じ画像領域ｎにすると決定する。すなわち、この変形例２のオブジェクト検出装置１Ａは、上記した条件１～３のいずれか１つでも満足しない場合、２つの仮画像領域ｐ、ｑを、同じ画像領域ｎにしないと決定する。

このように、この変形例２のオブジェクト検出装置１Ａは、撮像距離Ｄも加味して、フレーム画像を複数の画像領域ｎに分割する。これにより、図４に示した判定値設定処理において、各画像領域ｎに対して設定する判定値Ｔｎを、その画像領域ｎおいてオブジェクトを検出するのに適した値にできる。したがって、オブジェクト検出装置１Ａは、オブジェクトの誤検出、およびオブジェクトの見逃しを十分に抑制することができる。

・変形例３
上記した変形例１、２におけるｓ２１にかかる処理は、図１０に示す処理にしてもよい。この変形例３のオブジェクト検出装置１Ａは、図６に示した構成である。仮分割部１１ｄは、オブジェクトが撮像されていない観測対象エリアのフレーム画像ｍを選択する（ｓ４１）。仮分割部１１ｄは、ｓ４１で選択したフレーム画像ｍに対してエッジ検出処理を行う（ｓ４２）。ｓ４２では、公知のソーベル（Sobel）や、プレヴィット（Prewitt）等の微分フィルタを用いて、エッジ検出を行う。仮分割部１１ｄは、ｓ４２で検出したエッジを、フレーム画像ｍを仮画像領域ｐに分割する分割ラインとみなし、仮画像領域ｐの分割を行う（ｓ４３）。

なお、上記した例のオブジェクト検出装置１、１Ａは、オペレータが、上記した処理で分割された画像領域ｎの併合、分割を行える構成であってもよい。また、上記した例のオブジェクト検出装置１、１Ａは、オペレータが、上記した処理で設定された各画像領域ｎの判定値Ｔｎの修正を行える構成であってもよい。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。また、上記した全ての例の説明で示したフローチャートにおける各ステップの順番は、あくまでも一例であり、可能な範囲で適宜入れ替えてもよい。

さらに、この発明に係る構成と上述した実施形態に係る構成との対応関係は、以下の付記のように記載できる。
＜付記＞
撮像装置（５）によって撮像された観測対象エリアのフレーム画像が入力される画像入力部（１２）と、
前記画像入力部（１２）に入力されたフレーム画像を処理して、このフレーム画像に撮像されているオブジェクトを検出する検出部（１１ｃ）と、
前記フレーム画像を分割した画像領域毎に、前記検出部（１１ｃ）が撮像されているオブジェクトの検出に用いる判定値を設定する設定部（１１ａ）と、を備え、
前記検出部（１１ｃ）は、前記画像領域毎に、その画像領域に設定されている前記判定値を用いて、撮像されているオブジェクトを検出し、
前記設定部（１１ａ）は、前記画像領域毎に、その画像領域にオブジェクトが撮像されていないときの複数のフレーム画像を用い、当該画像領域に属する画素の画素値の分散に基づいて前記判定値を設定する、
オブジェクト検出装置（１）。

１、１Ａ…オブジェクト検出装置
５…カメラ
１１、１１Ａ…制御ユニット
１１ａ…設定部
１１ｂ…判定値記憶部
１１ｃ…検出部
１１ｄ…仮分割部
１１ｅ…決定部
１２…画像入力部
１３…出力部
１００…検出システム

Claims (10)

1. 撮像装置によって撮像された観測対象エリアのフレーム画像が入力される画像入力部と、
   前記画像入力部に入力されたフレーム画像を処理して、このフレーム画像に撮像されているオブジェクトを検出する検出部と、
   前記フレーム画像を分割した画像領域毎に、前記検出部が撮像されているオブジェクトの検出に用いる判定値を設定する設定部と、を備え、
   前記検出部は、前記画像領域毎に、その画像領域に設定されている前記判定値を用いて、撮像されているオブジェクトを検出し、
   前記設定部は、前記画像領域毎に、その画像領域にオブジェクトが撮像されていないときの複数のフレーム画像を用い、当該画像領域に属する画素の画素値の統計量に基づいて前記判定値を設定する、
   オブジェクト検出装置。
2. 前記設定部は、前記画像領域毎に、その画像領域にオブジェクトが撮像されていないときの複数のフレーム画像を用い、当該画像領域に属する画素の画素値の分散に基づいて前記判定値を設定する、
   請求項１に記載のオブジェクト検出装置。
3. 前記設定部は、前記画像領域毎に、その画像領域にオブジェクトが撮像されていないときの複数のフレーム画像を用い、当該画像領域に属する画素の画素値の分散の平均値に基づいて前記判定値を設定する、
   請求項２に記載のオブジェクト検出装置。
4. 前記フレーム画像を仮画像領域に分割する仮分割部と、
   オブジェクトが撮像されていない複数のフレーム画像を用い、特徴が類似し、且つ隣接していることを条件にして前記仮画像領域をグルーピングし、グルーピングした前記仮画像領域を前記画像領域に決定する決定部と、
   を備えた請求項１～３のいずれかに記載のオブジェクト検出装置。
5. 前記決定部は、前記仮画像領域のグルーピングにおいて、前記仮画像領域に属する画素の画素値の分散の平均値を前記特徴の１つとして用いる、
   請求項４に記載のオブジェクト検出装置。
6. 前記決定部は、前記仮画像領域のグルーピングにおいて、前記仮画像領域に属する画素の画素値の平均の平均値を前記特徴の１つとして用いる、
   請求項４、または５に記載のオブジェクト検出装置。
7. 前記決定部は、前記仮画像領域のグルーピングにおいて、前記仮画像領域に撮像されている画像の撮像距離を前記特徴の１つとして用いる、
   請求項４～６のいずれかに記載のオブジェクト検出装置。
8. 前記仮分割部は、オブジェクトが撮像されていないフレーム画像に対してエッジ検出を行い、検出したエッジに応じて前記仮画像領域の分割を行う、
   請求項４～７のいずれかに記載のオブジェクト検出装置。
9. 画像入力部に入力された、観測対象エリアを撮像したフレーム画像を処理して、このフレーム画像に撮像されているオブジェクトを検出する検出ステップと、
   前記フレーム画像を分割した画像領域毎に、前記検出ステップで撮像されているオブジェクトの検出に用いる判定値を設定する設定ステップと、をコンピュータが実行し、
   前記検出ステップは、前記画像領域毎に、その画像領域に設定されている前記判定値を用いて、撮像されているオブジェクトを検出するステップであり、
   前記設定ステップは、前記画像領域毎に、その画像領域にオブジェクトが撮像されていないときの複数のフレーム画像を用い、当該画像領域に属する画素の画素値の統計量に基づいて前記判定値を設定するステップである、
   オブジェクト検出方法。
10. 画像入力部に入力された、観測対象エリアを撮像したフレーム画像を処理して、このフレーム画像に撮像されているオブジェクトを検出する検出ステップと、
    前記フレーム画像を分割した画像領域毎に、前記検出ステップで撮像されているオブジェクトの検出に用いる判定値を設定する設定ステップと、をコンピュータに実行させ、
    前記検出ステップは、前記画像領域毎に、その画像領域に設定されている前記判定値を用いて、撮像されているオブジェクトを検出するステップであり、
    前記設定ステップは、前記画像領域毎に、その画像領域にオブジェクトが撮像されていないときの複数のフレーム画像を用い、当該画像領域に属する画素の画素値の統計量に基づいて前記判定値を設定するステップである、
    オブジェクト検出プログラム。

Images