【０００１】
【発明の属する技術分野】
本発明は、複数の異なる撮像タイミングで撮像した同一の監視領域の画像を比較して監視領域内への進入物を検出する物体検出装置に関する。
【０００２】
【従来の技術】
従来より、例えば人物や自動車等の踏切内への侵入検出等を目的として、固定したＣＣＤカメラ等によって所定の監視領域の画像を逐次撮像し、これら撮像した各画像間を比較することで監視領域内への侵入物を検出する物体検出装置については様々な提案がなされている。例えば特開平８−３１７３７３号公報には、踏切内等への侵入物を検出する物体検出装置として、複数フレームの画像についてそれぞれ同じ画素を比較し、中間の輝度値を有する画素を用いて監視領域の背景画像を得るとともに、背景画像と新たな入力画像の画素同士を比較することにより視野内に入り込んだ物体を検出する技術が開示されている。
【０００３】
【特許文献１】
特開平８−３１７３７３号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上述の特開平８−３１７３７３号公報にも開示されているように、従来の技術において物体検出を精度よく行うためには、参照用の背景画像（侵入物を含まない画像）と新たな入力画像（現フレーム画像）との対応する画素同士を比較する必要があるため、物体検出装置は、少なくとも背景画像全体を記憶し得るだけの大容量のメモリ（ワークメモリ等）を必要とし、その結果、製造コストの高騰等を招く虞がある。
【０００５】
本発明は上記事情に鑑みてなされたもので、少ないメモリを用いて精度よく監視領域内への侵入物を検出することのできる物体検出装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の発明は、撮像手段によって複数の異なる撮像タイミングで撮像した同一領域の画像を比較して上記領域内への侵入物を検出する物体検出装置において、上記画像における小領域毎の画像情報を予め設定したテンプレートを用いて上記画像情報よりも情報量の少ない特徴量ベクトルに投影する投影手段と、現在までに撮像した各画像から得られる上記特徴量ベクトルに基づき、背景情報として小領域毎に特徴量ベクトルを記憶する記憶手段と、上記記憶手段に記憶した特徴量ベクトルと新たに撮像した画像に基づく特徴量ベクトルとを小領域毎に比較して両特徴量ベクトルの相違度が大きい小領域を侵入物が撮像された小領域として抽出する小領域抽出手段とを備えたことを特徴とする。
【０００７】
すなわち、請求項１記載の発明は、撮像した画像における小領域毎の画像情報を予め設定したテンプレートを用いて上記画像情報よりも情報量の少ない特徴量ベクトルに投影し、現在までに撮像した各画像にから得られる上記特徴量ベクトルに基づき背景情報として小領域毎に特徴量ベクトルを記憶手段に記憶する。そして、記憶手段に記憶した特徴量ベクトルと新たに撮像した画像に基づく特徴量ベクトルとを小領域毎に比較して両特徴量ベクトルの相違度が大きい小領域を侵入物が撮像された小領域として抽出する。
【０００８】
また、請求項２記載の発明による物体検出装置は、請求項１記載の発明において、上記テンプレートは、上記小領域に対応するサイズの複数のサンプル画像の情報に基づく主成分分析を行うことで設定されることを特徴とする。
【０００９】
また、請求項３記載の発明による物体検出装置は、請求項１または請求項２記載の発明において、上記記憶手段は、上記領域に侵入物が存在しない状態において撮像した画像から得られる上記特徴量ベクトルに基づき、背景情報として小領域毎に特徴量ベクトルを記憶することを特徴とする。
【００１０】
また、請求項４記載の発明による物体検出装置は、請求項１乃至請求項３の何れかに記載の発明において、順次撮像した上記画像に基づく特徴量ベクトル間の相違度が所定期間連続して所定以下である小領域について、上記記憶手段に記憶した特徴量ベクトルを最新のものに更新する更新手段を有することを特徴とする。
【００１１】
また、請求項５記載の発明による物体検出装置は、請求項１乃至請求項４の何れかに記載の発明において、上記相違度は、上記記憶手段に背景情報として記憶した特徴量ベクトルと、新たに撮像した画像に基づく特徴量ベクトルとの差ベクトルの長さに基づいて算出されることを特徴とする。
【００１２】
また、請求項６記載の発明による物体検出装置は、請求項１乃至請求項４の何れかに記載の発明において、上記相違度は、上記記憶手段に背景情報として記憶した特徴量ベクトルと、新たに撮像した画像に基づく特徴量ベクトルとのなす角に基づいて算出されることを特徴とする。
【００１３】
また、請求項７記載の発明による物体検出装置は、請求項１乃至請求項４の何れかに記載の発明において、上記相違度は、上記記憶手段に背景情報として記憶した特徴量ベクトルと、新たに撮像した画像に基づく特徴量ベクトルとの差ベクトルの長さ及びなす角にそれぞれ所定の重み付けをしたものに基づいて算出されることを特徴とする。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図面は本発明の第１の実施の形態に係わり、図１は物体検出装置の概略構成図、図２は侵入物検出ルーチンを示すフローチャート、図３は撮像画像と投影画像との関係を示す説明図、図４はテクスチャテンプレート群の一例を示す説明図、図５は背景投影画像の特徴量ベクトルと現フレームの特徴量ベクトルとの関係を示す説明図、図６は侵入物検出時の作用を簡略化して示す説明図である。
【００１５】
図１において符号１は、踏切等に設定した監視領域内への侵入物を検出する物体検出装置を示す。この物体検出装置１は、撮像手段としてのカメラ２が、アンプ３、Ａ／Ｄ変換器４、補正回路５、及び、画像データメモリ６を介して画像処理ユニット７に接続されて要部が構成されている。
【００１６】
カメラ２は、踏切等の監視対象に対する定点観察を可能とすべく監視対象に対して光軸が所定に固定されたＣＣＤカメラ等で構成され、これにより、同一の監視領域を例えば横５１２画素×縦２００画素の画像サイズで逐次撮像可能となっている。カメラ２で撮像されたアナログ画像は、アンプ３によって比例増幅された後、Ａ／Ｄ変換器４で例えば２５６階調のデジタル信号に変換される。デジタル化された画像は、カメラ２のイメージセンサによる出力特性のばらつき等を補償するための補正回路５で画像信号のゲインやオフセット量が調整された後、画像データメモリ６に蓄積される。
【００１７】
画像処理ユニット７は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ等がバスラインを介して互いに接続されたマイクロコンピュータを中心として構成されている。画像処理ユニット７のＲＯＭ内には侵入物検知ソフトウェア７ａが格納されており、画像処理ユニット７は、画像データメモリ６から適宜読み出した画像を侵入物検知ソフトウェア７ａに従って処理することで、監視領域内の侵入物検出を行う。
【００１８】
この場合、画像処理ユニット７は、画像データメモリ６から適宜読み出した画像を図３に示すように横Ｗ画素×縦Ｈ画素（例えば、Ｗ＝１６、Ｈ＝８）の小領域に区画し、小領域毎の画像情報（各画素の輝度情報）を用いてＤ次元（Ｗ×Ｈ次元、例えば、１２８次元）の特徴量ベクトルＸを生成する。ここで、小領域における各画素の輝度値をｘｉｊ（ｉ＝１〜Ｗ、ｊ＝１〜Ｈ）とすると、特徴量ベクトルＸは、
【数１】
で規定される。
【００１９】
次に、画像処理ユニット７では、この特徴量ベクトルＸを、予めＲＯＭ内に格納した横Ｗ画素×縦Ｈ画素のｋ枚（例えば、ｋ＝８）のテクスチャテンプレートＴ１〜Ｔｋ（図４参照）を用いて、特徴量ベクトルＸよりも情報量の少ない低次元の特徴量ベクトルＹに投影する。具体的には、ＲＯＭ内には、各テクスチャテンプレートＴｋを前述の特徴量ベクトルＸの生成と同じ要領でそれぞれベクトル化したＤ次元のベクトルＵｋが格納されており、画像処理ユニット７では、
【数２】
によって、小領域毎の特徴量ベクトルＸをｋ次元の特徴量ベクトルＹにそれぞれ投影する。
【００２０】
そして、画像処理ユニット７は、システムの起動直後に読み出した画像に基づいて求めた特徴量ベクトルＹの２次元配列（図３参照）を背景投影画像としてＲＡＭ内に記憶し、この背景投影画像と、新たに読み出した画像に基づく特徴量ベクトルＹの２次元配列（現フレーム投影画像）とを小領域毎に比較する。これにより、両特徴量ベクトルの相違度が大きい小領域が、侵入物が撮像された小領域として抽出される。すなわち、画像処理ユニット７は、本発明に係る、投影手段、記憶手段、及び小領域抽出手段としての各機能を実現する。
【００２１】
ここで、本実施の形態で用いられるテクスチャテンプレートＴ１〜Ｔｋ（すなわち、固有ベクトルＵ１〜Ｕｋ）の具体的な設定方法の一例について説明する。
これらのテクスチャテンプレートＴ１〜Ｔｋは、侵入物検出に実際に使用されるカメラ２の特性を反映させるため、当該カメラ２で任意に撮像された複数枚の自然画像に基づいて設定される。
【００２２】
すなわち、テクスチャテンプレート設定の最初の行程として、カメラ２による任意の風景画像が撮像され、撮像された各画像が横Ｗ画素×縦Ｈ画素のサンプル画像に分解される。この場合、例えば、横５１２画素×縦２００画素の画像サイズの５枚の画像が撮像され、これらが横１６画素×縦８画素のサンプル画像にそれぞれ分解されたとすると、サンプル数Ｎ＝４０００個のサンプル画像を得ることができる。
【００２３】
そして、次の行程で、サンプル画像毎に、画素の輝度情報に基づく仮想的なＤ次元のサンプルベクトルＰｌ（ｌ＝１〜Ｎ）が生成される。
【数３】
その際、各サンプル画像間の平均輝度のばらつきを解消するため、各サンプルベクトルＰｌの要素ｐｉ（ｉ＝１〜Ｄ）には、各サンプル画像における各画素の輝度値から当該サンプル画像の輝度の平均値をそれぞれ差し引いた値が設定される。
【００２４】
そして、次の行程で、Ｎ個のサンプルベクトルＰｌ（ｌ＝１〜Ｎ）を用いて主成分分析を行うことにより、固有ベクトルＵ１〜Ｕｋが求められる。すなわち、先ず、各サンプルベクトルＰｌの平均ベクトルｍが算出され、Ｎ個のサンプルベクトルＰｌを用いた共分散行列Ｓ（Ｄ×Ｄ行列）が、
【数４】
により求められる。そして、共分散行列Ｓの各固有値が求められ、これら各固有値（Ｄ個の固有値）のうち絶対値の大きい上位ｋ個（例えば８個）に対応する固有ベクトルが上述のベクトルＵ１〜Ｕｋとして設定される。なお、このような演算で得られた上位ｋ個の固有ベクトルＵ１〜Ｕｋは、カメラ２で得られる小領域画像の最も特徴的な（最も輝度のばらつきが大きな）上位ｋ個のテクスチャとなる。
【００２５】
以下、図２のフローチャートに従って、画像処理ユニット７で実行される侵入物検出ルーチンについて説明する。ここで、本実施の形態において、画像処理ユニット７は、踏切等の監視領域内に歩行者や車両等の侵入物がないことが人為的に確認さた状態でオンされるようになっており、画像処理ユニット７がオンされると、侵入物検出ルーチンが所定時間毎に実行されるようになっている。
【００２６】
ルーチンがスタートすると、画像処理ユニット７は、先ず、ステップＳ１０１において、画像データメモリ６に蓄積された画像のうち最新のものを現フレーム画像として読み込む。
【００２７】
続く、ステップＳ１０２において、画像処理ユニット７は、読み込んだ現フレーム画像を横Ｗ画素×縦Ｈ画素の小領域に区画し、区画した小領域毎に、各画素の輝度情報に基づくＤ次元の特徴量ベクトルＸをそれぞれ生成するとともに、これら各特徴量ベクトルＸを、ベクトルＵ１〜Ｕｋを用いてｋ次元の特徴量ベクトルＹに投影する。
【００２８】
続く、ステップＳ１０３において、画像処理ユニット７は、今回のルーチンが当該画像処理ユニット７の起動直後の最初のルーチンであるか否かを調べ、起動直後のルーチンであると判定した場合にはステップＳ１０４に進む。
【００２９】
そして、ステップＳ１０４において、画像処理ユニット７は、今回ステップ１０２で演算した各特徴量ベクトルＹを各小領域に対応させて２次元空間上に配列することで、特徴量ベクトルＹの２次元配列からなる仮想的な画像（背景投影画像）を生成し、この背景投影画像をＲＡＭ内に記憶した後、ルーチンを抜ける。すなわち、画像処理ユニット７は監視領域内に侵入物がない状態でオンされるため、画像処理ユニット７の起動直後に演算された各特徴量ベクトルＹから、侵入物の情報を含まない監視領域の仮想的な画像である背景投影画像を得ることができる。
【００３０】
一方、ステップＳ１０３において、今回のルーチンが画像処理ユニット７の起動直後のルーチンではないと判定されてステップＳ１０５に進むと、画像処理ユニット７は、今回ステップＳ１０２で演算した各特徴量ベクトルＹを各小領域に対応させて２次元空間上に配列することで、特徴量ベクトルＹの２次元配列からなる仮想的な画像（現フレーム投影画像）を生成する。
【００３１】
そして、画像処理ユニット７は、続くステップＳ１０６において、背景投影画像と現フレーム投影画像の各特徴量ベクトルＹを対応する小領域毎に比較することで侵入物が撮像された小領域を抽出した後、ルーチンを抜ける。具体的には、画像処理ユニット７は、例えば、背景投影画像の特徴量ベクトルＹと現フレーム投影画像の特徴量ベクトルＹとのｋ次元空間上での差ベクトル（図５参照）の大きさを両特徴量ベクトルＹの相違度Ｉとして算出し、この相違度Ｉが予め設定された閾値Ｉ１以上である小領域を今回侵入物が撮像された小領域として抽出した後、ルーチンを抜ける。
【００３２】
次に、このような処理による作用について、図６を参照して簡単に説明する。画像処理ユニット７は、起動直後に、画像データメモリ６から、例えば図６（ａ）に示す画像を読み込むと、この画像の小領域毎に特徴量ベクトルＹを演算し、これらの２次元配列を背景投影画像として記憶する。その後において、画像処理ユニット７は、適宜、画像データメモリ６から最新の画像（現フレーム画像）を読み込み、小領域毎に特徴量ベクトルＹを演算して現フレーム投影画像を生成し、背景投影画像と比較する。今、画像処理ユニット７が、例えば図６（ｂ）に示すように、人物が撮像された画像を新たに読み込んだとする。このような場合、現フレーム画像上における人物が撮像された各小領域では以前と比べて輝度値が大きく変化しているため、これらの小領域の特徴量ベクトルＹは、対応する背景投影画像上の小領域の特徴量ベクトルＹと相違することとなる。従って、これらの小領域が、図６（ｃ）に太枠で示すように、今回侵入物が撮像された小領域として抽出される。
【００３３】
このような実施の形態によれば、背景画像及び現フレーム画像に係る情報を、それぞれ小領域毎にテクスチャテンプレートを用いて情報量の少ない低次元の特徴量ベクトルに投影し、これら投影した低次元の特徴量ベクトル同士の比較によって監視領域内への侵入物の検出を行う構成としたので、背景画像に係る情報の記憶容量を縮小することができる。例えば縦１６画素×横８画素の２５６階調のモノクロ画像の小領域の画像情報を記憶する際には、１画素あたり１バイトの記憶容量が必要であると仮定した場合、１小領域あたり１６×８×１＝１２８バイトの記憶容量を必要とするが、この画像情報を、例えば８次元の特徴量ベクトルに投影して記憶すると、１次元あたり１バイトの記憶容量が必要であると仮定した場合、１小領域あたり８バイトの記憶容量で済む。すなわち、１小領域に必要な記憶容量が８／１２８に圧縮されることになる。画像全体でも同じ比率で記憶容量が圧縮されるので、画像処理ユニット７は、比較的低容量のメモリ（ＲＡＭ等）を搭載した安価なマイクロコンピュータ等を用いて構成することができる。
【００３４】
この場合、テクスチャテンプレートを複数のサンプル画像に基づく主成分分析を行って演算することにより、小領域毎の画像情報を低次元の特徴量ベクトルに投影する際に、各画像情報における特徴的な情報の損失を低減することができる。すなわち、上述の演算によって各固有ベクトルを設定することにより、これら各テクスチャテンプレートは所定の小領域画像における特徴的なテクスチャの固有ベクトルに設定することができる。そして、このように特徴的な固有ベクトルを用いて各小領域の画像情報を低次元の特徴量ベクトルに投影することにより、元の画像情報における特徴的な情報の損失を低減することができる。換言すれば、元の画像情報における特徴的な情報を、低次元の特徴量ベクトルに強く反映させることができる。
【００３５】
さらに、各テクスチャテンプレート（各固有ベクトル）設定の際のサンプル画像として、実際に使用するカメラで撮像した自然画像を小領域に区画したものを採用することにより、カメラ固有の特性に応じたより適切なテクスチャテンプレートを設定することができる。
【００３６】
次に、図７は本発明の第２の実施の形態に係わり、図７は侵入物検出ルーチンを示すフローチャートである。なお、本実施の形態は、順次撮像した画像に基づく特徴量ベクトル間の相違度が所定期間連続して所定値以下である小領域について、背景投影画像の特徴量ベクトルを最新のものに更新する点が、上述の第１の実施の形態と主として異なる。すなわち、本実施の形態における画像処理ユニット７は、上述の第１の実施の形態の投影手段、記憶手段、及び小領域抽出手段としての各機能に加え、更新手段としての機能を実現する。その他、同様の点については説明を省略する。
【００３７】
以下、図７のフローチャートに従って、画像処理ユニット７で実行される侵入物検出ルーチンについて説明する。ここで、本実施の形態において、画像処理ユニット７は任意のタイミングでオンされるようになっており、画像処理ユニット７がオンされると、侵入物検出ルーチンが所定時間毎に実行されるようになっている。
【００３８】
ルーチンがスタートすると、画像処理ユニット７は、先ず、ステップＳ２０１において、今回のルーチンが画像処理ユニット７の起動直後の最初のルーチンであるか否かを調べる。
【００３９】
そして、ステップＳ２０１において今回のルーチンが起動直後の最初のルーチンであると判定されると、ステップＳ２０２に進み、画像処理ユニット７は、各小領域の特徴量ベクトルＹを所定の固定値（初期値）とした背景投影画像を生成し、ＲＡＭ内に記憶する。なお、この場合の特徴量ベクトルＹの初期値としては、例えば、小領域画像が黒一色であると仮定した際の特徴量ベクトルＸをｋ次元に投影したものが用いられる。
【００４０】
続くステップＳ２０３、Ｓ２０４、及びＳ２０５において、画像処理ユニット７は、上述の第１の実施の形態におけるステップＳ１０１、Ｓ１０２、及びＳ１０５と同様の処理を行った後、ステップＳ２０６に進む。
【００４１】
ステップＳ２０６において、画像処理ユニット７は、現フレーム投影画像と前フレーム投影画像（後述する）との対応する特徴量ベクトルＹ間の相違度が所定の小さな閾値Ｉ２以下の状態で、所定フレーム（例えば、３００フレーム＝１００秒）連続する小領域があるか否かを調べる。
【００４２】
そして、ステップＳ２０６において、所定フレーム連続する小領域があると判定されてステップＳ２０７に進むと、画像処理ユニット７は、この小領域に対応する背景投影画像上の小領域の特徴量ベクトルＹを最新のものに更新した後、ステップＳ２０８に進む。すなわち、ある小領域における特徴量ベクトルＹの時系列的な相違度が所定の小さな閾値Ｉ２以下で所定フレーム以上連続している場合、その間の小領域内には人物や車両等の侵入物が撮像されなかったことが推測できる。従って、画像処理ユニット７は、このような場合の小領域における特徴量ベクトルＹが背景に係る画像情報のみから構成されていると推測し、該当する小領域の特徴量ベクトルＹを更新する。
【００４３】
一方、ステップＳ２０６において、所定フレーム連続する小領域がないと判定された場合には、画像処理ユニット７は、そのままステップＳ２０８にジャンプする。
【００４４】
ステップＳ２０６或いはステップＳ２０７からステップＳ２０８に進むと、画像処理ユニット７は、背景投影画像上の全ての小領域で特徴量ベクトルＹの更新が少なくとも１回以上なされたか否か、すなわち背景投影画像上の各小領域の特徴量ベクトルＹが全て初期値から更新されたか否かを調べる。
【００４５】
そして、ステップＳ２０８において、背景投影画像上の全ての小領域で特徴量ベクトルＹが更新されていると判断してステップＳ２０９に進むと、画像処理ユニット７は、上述の第１の実施の形態におけるステップＳ１０６と同様の処理を行った後、ステップＳ２１０に進む。
【００４６】
一方、ステップＳ２０８において、未だ、背景投影画像上の全ての小領域で特徴量ベクトルＹが更新されていないと判断すると、画像処理ユニット７は、ステップＳ２１０にジャンプする。
【００４７】
そして、ステップＳ２１０において、画像処理ユニット７は、ステップＳ２０５で生成した現フレーム投影画像を前フレーム投影画像としてＲＡＭ内に記憶した後、ルーチンを抜ける。
【００４８】
このような実施の形態によれば、上述の第１の実施の形態で得られる効果に加え、所定の要件のもとで、常時、背景投影画像を更新することができるという効果を奏する。
【００４９】
従って、監視領域内に侵入物がないタイミングを見計らって画像処理ユニット７をオンする等の作業が不要となり、操作性が向上する。換言すれば、特徴量ベクトルの更新によって、実際の監視領域の状況に応じた背景投影画像が生成されるので、装置の設置作業や起動作業等が容易となる。このことは、設置対象が営業中の鉄道踏切等であって、鉄道や道路の運行を止めることが困難な場合などに特に有効である。
【００５０】
また、極めて緩やかな監視領域内の変動の情報は、特徴量ベクトルの更新によって背景投影画像に取り込まれるので、例えば、１日の太陽の移動による影の移動のような緩やかな監視領域の変動を侵入物として誤検出することを防止できる。従って、本装置を屋外等で特に有効に利用することができる。
【００５１】
なお、上述の各実施の形態において用いられるテクスチャテンプレートは主成分分析によって設定されたものに限定されるものではなく、例えば、人為的に作成された所定の縦縞模様や横縞模様及びこれらの組合わせ等に基づいて設定されるものであってもよい。
【００５２】
また、上述の各実施の形態において、背景投影画像と現フレーム投影画像との小領域毎の特徴量ベクトルを比較する際の相違度、及び、小領域における特徴量ベクトルの時系列的な相違度は、比較する両特徴量ベクトルの差ベクトルの長さに基づくものに限定されるものではなく、例えば、両特徴量ベクトルのなす角θ（図５参照）に基づいて算出されるものであってもよく、また、両特徴量ベクトルの差ベクトルの長さ及びなす角θにそれぞれ所定の重み付けをしたものに基づいて算出されるものであってもよい。
【００５３】
また、本発明による物体検出装置が適用される監視領域は、踏切に限定されるものではなく、その他、あらゆる定点観察による侵入物検出に適用が可能であることは勿論である。
【００５４】
【発明の効果】
以上説明したように本発明によれば、少ないメモリを用いて精度よく監視領域内への侵入物を検出することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係わり、物体検出装置の概略構成図
【図２】同上、侵入物検出ルーチンを示すフローチャート
【図３】同上、撮像画像と投影画像との関係を示す説明図
【図４】同上、テクスチャテンプレート群の一例を示す説明図
【図５】同上、背景投影画像の特徴量ベクトルと現フレームの特徴量ベクトルとの関係を示す説明図
【図６】同上、侵入物検出時の作用を簡略化して示す説明図
【図７】本発明の第２の実施の形態に係わり、侵入物検出ルーチンを示すフローチャート
【符号の説明】
１ … 物体検出装置
２ … カメラ（撮像手段）
７ … 画像処理ユニット（投影手段、記憶手段、小領域抽出手段、更新手段）
Ｙ … 特徴量ベクトル[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an object detection device that compares images of the same monitoring area captured at a plurality of different imaging timings and detects an intruder in the monitoring area.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, for example, for the purpose of detecting intrusion into a railroad crossing of a person, a car, or the like, images of a predetermined monitoring area are sequentially captured by a fixed CCD camera or the like, and the captured area is compared by comparing the captured images. Various proposals have been made for an object detection device that detects an intruding object. For example, Japanese Patent Application Laid-Open No. 8-317373 discloses, as an object detection device that detects an intruding object inside a railroad crossing or the like, comparing the same pixel in each of a plurality of frames of images, and using a pixel having an intermediate luminance value as a monitoring area. A technique for detecting an object that has entered a field of view by obtaining a background image and comparing pixels between the background image and a new input image is disclosed.
[0003]
[Patent Document 1]
Japanese Patent Application Laid-Open No. 8-317373
[Problems to be solved by the invention]
However, as disclosed in the above-mentioned Japanese Patent Application Laid-Open No. 8-317373, in order to accurately detect an object in the related art, a background image for reference (an image containing no intruding object) and a new image are used. Since it is necessary to compare the corresponding pixels of the input image (current frame image) with each other, the object detection device needs a large-capacity memory (work memory or the like) capable of storing at least the entire background image. As a result, there is a possibility that the production cost will rise.
[0005]
The present invention has been made in view of the above circumstances, and has as its object to provide an object detection device that can accurately detect an intruder in a monitoring area using a small amount of memory.
[0006]
[Means for Solving the Problems]
In order to solve the above-described problem, the invention according to claim 1 is an object detection device that detects an intruder in the area by comparing images of the same area captured by a plurality of different imaging timings by an imaging unit. A projecting means for projecting image information for each small area in the image onto a feature vector having a smaller amount of information than the image information using a preset template; and a feature vector obtained from each image taken up to now. Storage means for storing a feature vector for each small area as background information, and comparing the feature vector stored in the storage means with a feature vector based on a newly captured image for each small area. A small area extracting means for extracting a small area having a large degree of difference between the quantity vectors as a small area in which an intruder is imaged.
[0007]
That is, the invention according to claim 1 projects image information for each small area in a captured image onto a feature amount vector having a smaller amount of information than the image information using a preset template, and Based on the feature vector obtained from the image, the feature vector is stored in the storage unit for each small area as background information. Then, the feature vector stored in the storage unit and the feature vector based on the newly captured image are compared for each small area, and the small area where the difference between the two feature vectors is large is the small area where the intruder is imaged. Extract as
[0008]
In the object detection device according to the second aspect, in the first aspect, the template is set by performing a principal component analysis based on information of a plurality of sample images having a size corresponding to the small area. It is characterized by being performed.
[0009]
According to a third aspect of the present invention, in the first or second aspect of the present invention, the storage unit stores the characteristic amount obtained from an image captured in a state where no intruder exists in the area. On the basis of the vector, a feature amount vector is stored for each small area as background information.
[0010]
According to a fourth aspect of the present invention, in the object detection device according to any one of the first to third aspects, the degree of difference between the feature amount vectors based on the sequentially captured images is continuously determined for a predetermined period. An update unit is provided for updating the feature amount vector stored in the storage unit to the latest one for a small area equal to or smaller than a predetermined area.
[0011]
According to a fifth aspect of the present invention, in the object detection device according to any one of the first to fourth aspects, the degree of dissimilarity includes a feature amount vector stored as background information in the storage unit and a new value. Is calculated based on the length of the difference vector from the feature vector based on the captured image.
[0012]
Also, in the object detection device according to the sixth aspect of the present invention, in the invention according to any one of the first to fourth aspects, the degree of dissimilarity is determined by comparing a feature amount vector stored as background information in the storage unit with a new value. Is calculated on the basis of an angle formed by a feature amount vector based on the captured image.
[0013]
Also, in the object detection device according to the invention of claim 7, in the invention according to any one of claims 1 to 4, the degree of dissimilarity is determined by comparing a feature amount vector stored as background information in the storage means with a new value. The length of the difference vector from the feature amount vector based on the captured image and the angle formed by the difference vector are each weighted by a predetermined weight.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. The drawings relate to the first embodiment of the present invention, FIG. 1 is a schematic configuration diagram of an object detection device, FIG. 2 is a flowchart showing an intruder detection routine, and FIG. 3 is a diagram showing a relationship between a captured image and a projection image. FIG. 4 is an explanatory diagram showing an example of a texture template group. FIG. 5 is an explanatory diagram showing the relationship between the feature vector of the background projection image and the feature vector of the current frame. FIG.
[0015]
In FIG. 1, reference numeral 1 denotes an object detection device that detects an intruder in a monitoring area set at a railroad crossing or the like. In the object detection device 1, a camera 2 as an imaging unit is connected to an image processing unit 7 via an amplifier 3, an A / D converter 4, a correction circuit 5, and an image data memory 6, and a main part is configured. Have been.
[0016]
The camera 2 is composed of a CCD camera or the like in which an optical axis is fixed to a monitoring target at a predetermined position so as to enable a fixed point observation of the monitoring target such as a railroad crossing. It is possible to sequentially capture images at an image size of 200 pixels vertically. The analog image captured by the camera 2 is proportionally amplified by the amplifier 3 and then converted by the A / D converter 4 into a digital signal of, for example, 256 gradations. The digitized image is stored in the image data memory 6 after the gain and offset amount of the image signal are adjusted by the correction circuit 5 for compensating for variations in output characteristics due to the image sensor of the camera 2.
[0017]
The image processing unit 7 mainly includes a microcomputer in which a CPU, a ROM, a RAM, and the like (not shown) are connected to each other via a bus line. Intrusion detection software 7a is stored in the ROM of the image processing unit 7, and the image processing unit 7 processes the image appropriately read from the image data memory 6 in accordance with the intrusion detection software 7a, so that the in-monitoring area can be detected. Detection of intruders.
[0018]
In this case, the image processing unit 7 partitions the image appropriately read from the image data memory 6 into a small area of W pixels × H pixels (for example, W = 16, H = 8) as shown in FIG. A D-dimensional (W × H-dimensional, for example, 128-dimensional) feature amount vector X is generated using image information (luminance information of each pixel) for each small area. Here, assuming that the luminance value of each pixel in the small region is xij (i = 1 to W, j = 1 to H), the feature vector X is
(Equation 1)
Is defined by
[0019]
Next, in the image processing unit 7, this feature amount vector X is stored in a texture template T1 to Tk (for example, k = 8) of horizontal W pixels × vertical H pixels stored in the ROM in advance (see FIG. 4). Are projected onto a low-dimensional feature vector Y having a smaller amount of information than the feature vector X. Specifically, the ROM stores a D-dimensional vector Uk obtained by vectorizing each texture template Tk in the same manner as in the generation of the feature vector X described above.
(Equation 2)
Thus, the feature vector X for each small area is projected on a k-dimensional feature vector Y.
[0020]
Then, the image processing unit 7 stores, in the RAM, a two-dimensional array of the feature amount vectors Y (see FIG. 3) obtained based on the image read immediately after the start of the system as a background projection image. Is compared with a two-dimensional array (current frame projection image) of the feature amount vector Y based on the newly read image. As a result, a small area in which the degree of difference between the two feature amount vectors is large is extracted as the small area in which the intruding object is imaged. That is, the image processing unit 7 implements each function as a projection unit, a storage unit, and a small area extraction unit according to the present invention.
[0021]
Here, an example of a specific setting method of the texture templates T1 to Tk (that is, the eigenvectors U1 to Uk) used in the present embodiment will be described.
These texture templates T1 to Tk are set based on a plurality of natural images arbitrarily captured by the camera 2 in order to reflect the characteristics of the camera 2 actually used for intruding object detection.
[0022]
That is, as the first step of setting the texture template, an arbitrary landscape image is captured by the camera 2, and each captured image is decomposed into a sample image of W pixels × H pixels. In this case, for example, assuming that five images having an image size of 512 pixels horizontally × 200 pixels vertically are taken and each of these images is decomposed into a sample image of 16 pixels horizontally × 8 pixels vertically, the number of samples N = 4000 A sample image can be obtained.
[0023]
Then, in the next step, a virtual D-dimensional sample vector Pl (1 = 1 to N) based on the luminance information of the pixel is generated for each sample image.
[Equation 3]
At this time, in order to eliminate the variation of the average luminance between the sample images, the element pi (i = 1 to D) of each sample vector Pl includes the luminance value of each sample image from the luminance value of each pixel in each sample image. A value obtained by subtracting the average value is set.
[0024]
In the next step, the eigenvectors U1 to Uk are obtained by performing the principal component analysis using the N sample vectors P1 (1 = 1 to N). That is, first, an average vector m of each sample vector Pl is calculated, and a covariance matrix S (D × D matrix) using the N sample vectors Pl is given by
(Equation 4)
Required by Then, respective eigenvalues of the covariance matrix S are obtained, and among the respective eigenvalues (D eigenvalues), the eigenvectors corresponding to the top k (eg, eight) whose absolute values are large are set as the above vectors U1 to Uk. You. Note that the top k eigenvectors U1 to Uk obtained by such an operation are the top k textures (the largest variations in luminance) of the small area image obtained by the camera 2.
[0025]
Hereinafter, the intruder detection routine executed by the image processing unit 7 will be described with reference to the flowchart of FIG. Here, in the present embodiment, the image processing unit 7 is turned on in a state where it is artificially confirmed that there is no intruder such as a pedestrian or a vehicle in a monitoring area such as a railroad crossing. When the image processing unit 7 is turned on, an intruder detection routine is executed at predetermined time intervals.
[0026]
When the routine starts, the image processing unit 7 first reads the latest image stored in the image data memory 6 as a current frame image in step S101.
[0027]
Subsequently, in step S102, the image processing unit 7 partitions the read current frame image into small regions of W pixels × H pixels, and for each divided small region, a D-dimensional feature based on luminance information of each pixel. In addition to generating the quantity vectors X, each of these feature quantity vectors X is projected onto a k-dimensional feature quantity vector Y using the vectors U1 to Uk.
[0028]
In subsequent step S103, the image processing unit 7 checks whether or not the current routine is the first routine immediately after the activation of the image processing unit 7, and if it is determined that the current routine is the routine immediately after the activation, the process proceeds to step S104. Proceed to.
[0029]
Then, in step S104, the image processing unit 7 arranges the feature amount vectors Y calculated in step 102 this time in a two-dimensional space so as to correspond to the respective small regions, so that the feature amount vector Y is calculated from the two-dimensional array of the feature amount vectors Y. After generating a virtual image (background projection image), storing the background projection image in the RAM, the process exits the routine. That is, since the image processing unit 7 is turned on in a state where there is no intruder in the monitoring area, the feature amount vector Y calculated immediately after the image processing unit 7 is activated indicates that the monitoring area including no intruder information is used. A background projection image that is a virtual image can be obtained.
[0030]
On the other hand, in step S103, when it is determined that the current routine is not the routine immediately after the activation of the image processing unit 7, and the process proceeds to step S105, the image processing unit 7 calculates By arranging them in a two-dimensional space corresponding to the small areas, a virtual image (current frame projection image) composed of a two-dimensional array of the feature amount vectors Y is generated.
[0031]
Then, in the subsequent step S106, the image processing unit 7 compares the feature amount vectors Y of the background projection image and the current frame projection image for each corresponding small region, and extracts the small region where the intruder is imaged. Exit the routine. Specifically, the image processing unit 7 determines, for example, the magnitude of the difference vector (see FIG. 5) in the k-dimensional space between the feature vector Y of the background projection image and the feature vector Y of the current frame projection image. The calculation is performed as a difference I between the two feature amount vectors Y, and a small region in which the difference I is equal to or larger than a preset threshold I1 is extracted as a small region in which an intruder is imaged this time, and then the routine exits.
[0032]
Next, the operation of such processing will be briefly described with reference to FIG. When the image processing unit 7 reads, for example, the image shown in FIG. 6A from the image data memory 6 immediately after the activation, the image processing unit 7 calculates a feature amount vector Y for each small area of the image, and converts these two-dimensional arrays. It is stored as a background projection image. Thereafter, the image processing unit 7 reads the latest image (current frame image) from the image data memory 6 as appropriate, calculates a feature amount vector Y for each small area, generates a current frame projection image, and generates a background projection image. Compare with Assume that the image processing unit 7 newly reads an image of a person as shown in FIG. 6B, for example. In such a case, since the brightness value of each small area where a person is imaged on the current frame image is greatly changed as compared with the previous time, the feature amount vector Y of these small areas is calculated on the corresponding background projection image. Is different from the feature amount vector Y of the small region. Therefore, these small areas are extracted as the small areas in which the intruder has been imaged this time, as indicated by the thick frame in FIG. 6C.
[0033]
According to such an embodiment, information relating to the background image and the current frame image is projected onto a low-dimensional feature amount vector having a small amount of information by using a texture template for each small region, and these projected low-dimensional feature vectors are projected. Since the intrusion into the monitoring area is detected by comparing the feature amount vectors of the above, the storage capacity of the information related to the background image can be reduced. For example, when storing image information of a small area of a 256-tone monochrome image of 16 pixels × 8 pixels, assuming that a storage capacity of 1 byte per pixel is required, 16 pixels per small area A storage capacity of × 8 × 1 = 128 bytes is required. However, when this image information is projected and stored in, for example, an eight-dimensional feature amount vector, it is assumed that one-byte storage capacity is required for one dimension. In this case, a storage capacity of 8 bytes per small area is sufficient. That is, the storage capacity required for one small area is compressed to 8/128. Since the storage capacity of the entire image is compressed at the same ratio, the image processing unit 7 can be configured using an inexpensive microcomputer or the like equipped with a relatively low-capacity memory (RAM or the like).
[0034]
In this case, by performing the principal component analysis based on the plurality of sample images and calculating the texture template, when projecting the image information for each small region onto a low-dimensional feature amount vector, the characteristic information in each image information Loss can be reduced. That is, by setting each eigenvector by the above-described calculation, each of these texture templates can be set as an eigenvector of a characteristic texture in a predetermined small area image. Then, by projecting the image information of each small region onto a low-dimensional feature amount vector using the characteristic eigenvector, loss of characteristic information in the original image information can be reduced. In other words, characteristic information in the original image information can be strongly reflected on the low-dimensional feature amount vector.
[0035]
Furthermore, by adopting a natural image captured by a camera actually used and divided into small areas as a sample image when setting each texture template (each eigenvector), a more appropriate texture according to the characteristics unique to the camera is adopted. You can set a template.
[0036]
Next, FIG. 7 relates to a second embodiment of the present invention, and FIG. 7 is a flowchart showing an intruder detection routine. In this embodiment, the feature vector of the background projection image is updated to the latest one for a small area in which the difference between the feature vectors based on the sequentially captured images is equal to or smaller than a predetermined value for a predetermined period. This is mainly different from the above-described first embodiment. That is, the image processing unit 7 in the present embodiment realizes a function as an updating unit in addition to the functions as the projecting unit, the storing unit, and the small area extracting unit of the first embodiment. Description of other similar points is omitted.
[0037]
Hereinafter, the intruder detection routine executed by the image processing unit 7 will be described with reference to the flowchart of FIG. Here, in the present embodiment, the image processing unit 7 is turned on at an arbitrary timing, and when the image processing unit 7 is turned on, the intruder detection routine is executed every predetermined time. It has become.
[0038]
When the routine starts, the image processing unit 7 first checks in step S201 whether or not the current routine is the first routine immediately after the activation of the image processing unit 7.
[0039]
If it is determined in step S201 that the current routine is the first routine immediately after startup, the process proceeds to step S202, where the image processing unit 7 sets the feature amount vector Y of each small area to a predetermined fixed value (initial value). ) Is generated and stored in the RAM. In this case, as the initial value of the feature amount vector Y, for example, a value obtained by projecting the feature amount vector X in the k-dimension assuming that the small area image is a single black color is used.
[0040]
In subsequent steps S203, S204, and S205, the image processing unit 7 performs the same processing as steps S101, S102, and S105 in the above-described first embodiment, and then proceeds to step S206.
[0041]
In step S206, the image processing unit 7 determines that the difference between the corresponding feature amount vectors Y between the current frame projection image and the previous frame projection image (described later) is equal to or smaller than a predetermined small threshold value I2, and the predetermined frame (for example, , 300 frames = 100 seconds).
[0042]
Then, in step S206, when it is determined that there is a small area continuous for a predetermined frame, and the process proceeds to step S207, the image processing unit 7 updates the feature amount vector Y of the small area on the background projection image corresponding to this small area. Then, the process proceeds to step S208. That is, when the time series difference of the feature vector Y in a certain small area is equal to or smaller than a predetermined small threshold value I2 and is continuous for a predetermined frame or more, an intruding object such as a person or a vehicle is imaged in the small area therebetween. It can be guessed that it was not done. Therefore, the image processing unit 7 estimates that the feature amount vector Y in the small area in such a case is composed only of the image information relating to the background, and updates the feature amount vector Y of the corresponding small area.
[0043]
On the other hand, if it is determined in step S206 that there is no small area that is continuous for the predetermined frame, the image processing unit 7 jumps to step S208.
[0044]
When the process proceeds from step S206 or step S207 to step S208, the image processing unit 7 determines whether or not the feature amount vector Y has been updated at least once in all the small areas on the background projection image, that is, It is checked whether or not all the feature vectors Y of the respective small areas have been updated from the initial values.
[0045]
Then, in step S208, when it is determined that the feature amount vector Y has been updated in all the small regions on the background projection image and the process proceeds to step S209, the image processing unit 7 executes the processing in the first embodiment described above. After performing the same processing as in step S106, the process proceeds to step S210.
[0046]
On the other hand, if it is determined in step S208 that the feature amount vector Y has not been updated in all the small areas on the background projection image, the image processing unit 7 jumps to step S210.
[0047]
Then, in step S210, the image processing unit 7 stores the current frame projection image generated in step S205 as the previous frame projection image in the RAM, and then exits the routine.
[0048]
According to such an embodiment, in addition to the effect obtained in the above-described first embodiment, there is an effect that the background projection image can be constantly updated under predetermined requirements.
[0049]
Therefore, there is no need to perform an operation such as turning on the image processing unit 7 at a timing when there is no intruder in the monitoring area, and the operability is improved. In other words, by updating the feature amount vector, a background projection image according to the actual situation of the monitoring area is generated, so that the installation work and the start-up work of the apparatus become easy. This is particularly effective when the installation target is a railway railroad crossing or the like that is open, and it is difficult to stop the operation of the railway or road.
[0050]
In addition, since information on the fluctuation in the extremely gradual monitoring area is taken into the background projection image by updating the feature amount vector, for example, a gradual fluctuation in the monitoring area such as the movement of a shadow due to the movement of the sun in one day is obtained. False detection as an intruder can be prevented. Therefore, the present apparatus can be used particularly effectively outdoors and the like.
[0051]
The texture template used in each of the above embodiments is not limited to the one set by the principal component analysis. For example, a predetermined vertical stripe pattern, a horizontal stripe pattern, and a combination thereof which are artificially created. It may be set based on the like.
[0052]
Further, in each of the above-described embodiments, the degree of difference when comparing the feature amount vector of each small area between the background projection image and the current frame projection image, and the time series difference of the feature amount vector in the small area Is not limited to the one based on the length of the difference vector between the two feature amount vectors to be compared, but is calculated based on the angle θ (see FIG. 5) formed by the two feature amount vectors. Alternatively, the distance may be calculated based on the length of the difference vector between the two feature amount vectors and the angle θ formed by predetermined weighting.
[0053]
Also, the monitoring area to which the object detection device according to the present invention is applied is not limited to a railroad crossing, and it is needless to say that the monitoring area can be applied to detection of intruders by any fixed point observation.
[0054]
【The invention's effect】
As described above, according to the present invention, it is possible to accurately detect an intruder in the monitoring area using a small amount of memory.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of an object detection device according to a first embodiment of the present invention. FIG. 2 is a flowchart showing an intruding object detection routine. FIG. 3 is a relationship between a captured image and a projection image. FIG. 4 is an explanatory diagram showing an example of a texture template group. FIG. 5 is an explanatory diagram showing a relationship between a feature vector of a background projection image and a feature vector of a current frame. FIG. 7 is an explanatory diagram showing a simplified operation at the time of detecting an intruding object. FIG. 7 is a flowchart showing an intruding object detection routine according to the second embodiment of the present invention.
1 ... object detection device 2 ... camera (imaging means)
7. Image processing unit (projection means, storage means, small area extraction means, update means)
Y ... Feature vector
