JP2006318064A - 画像センサ - Google Patents

Abstract

【課題】画像中にカメラ近傍から遠方までが含まれる場合、遠方の移動物体も近傍の移動物体も追跡可能とする。
【解決手段】撮像画像において監視空間の遠方が写り込んだ領域を遠方領域として設定する遠方領域設定部と、撮像画像から抽出された変動領域が遠方領域に位置しているか否かを判定する存在位置判定部と、存在位置判定部が時間的に前後して抽出された変動領域の少なくとも一方の位置を遠方領域内と判定すれば当該変動領域間の画素数を対応付けの条件とし、存在位置判定部が時間的に前後して抽出された変動領域の両方の位置を遠方領域外と判定すれば当該変動領域間の実空間上の距離を対応付けの条件として変動領域の移動を追跡する追跡部と、を備えることを特徴とした画像センサ。
【選択図】図１

Description

本発明は、画像情報に基づいて移動物体を追跡する画像センサに関し、特に、画像中にカメラ近傍から遠方までの情報が含まれる場合において移動物体の追跡精度を向上させた画像センサに関する。

従来、撮像装置としてのカメラから入力される画像と過去の画像との変化態様から侵入者等の移動物体の特徴を示す領域を検出して異常出力するような画像監視装置が知られている。この画像監視装置としては、例えば、現在撮影した入力画像と予め記憶している過去の画像とを比較して、両画像の差分を変動領域として抽出し、この抽出された領域について面積や移動速度などを演算し、侵入者が存在するか否かを判断するものが知られるところである。

このような画像監視装置に関して、特に、特許文献１には、カメラの高さや俯角などの設置条件を用いて、侵入物の高さや大きさ、移動速度などの情報を検出し、移動物体を識別する侵入物検出装置が記載されている。この侵入物検出装置では、画面上で抽出された移動物体の位置に基づいて、カメラから当該物体までの距離を測定し、この距離に基づいて移動物体の大きさ、移動速度などを算出し、当該移動物体が侵入者であるか否かを判定している。
特開平８−１３６２５１号公報

上述した従来の侵入物検出装置では、抽出された移動物体を複数フレーム追跡し、カメラから当該物体までの実際の（実空間上の）距離に基づき物体の移動距離を算出して移動速度を求め、侵入者か否かの判定を行っている。
しかしながら、従来の侵入物検出装置では、画像から実空間上の移動距離を求めて移動物体の移動速度を算出するために、遠方に存在する移動物体に対しては移動速度の計測精度が低下するという問題がある。

一般に、撮像画像には、近くの物体は大きく（画素数大）、遠くの物体は小さく（画素数小）写り込む。即ち、遠方に存在する移動物体は画像上の１画素当たりの距離分解能が低く（１画素当たりの実空間上の距離が大きく）なり移動距離の計測精度が低下する。言い換えれば、撮像画像における１画素当たりの実空間上の距離は、被写体が遠方になる程大きくなるため、遠方の移動物体については算出される実空間上の移動距離が誤差分を多く含むこととなる。

このため、先行文献では、遠方の移動物体が画像上で数画素ズレただけで、算出される実空間上の移動距離や移動距離に基づき算出される移動速度が、人であると判定するためのしきい値を超えて非常に大きな値となるおそれがある。したがって、従来の侵入物検出装置は、遠方の移動物体に対して実空間上の移動距離や速度に基づき人であることを判定することが困難であり、広範な空間の監視用途には適さないという問題がある。

このような実空間上距離の計測精度の低下は、特にカメラ光軸の俯角を小さくした場合に顕著となる。カメラ光軸の俯角がゼロに近い場合、撮影される画像は水平線を含み、理論上距離無限大の点まで見渡すこととなる。
例えば、撮像範囲を広範とするためにカメラ光軸の俯角を小さくするように設置した場合、入力画像にはカメラ近傍から遠方までが含まれることとなるが、従来の侵入物検出装置による手法では、カメラ近傍に存在する侵入者しか検出することができず、遠方に存在する侵入者を検出することが困難となる。

そこで、本発明は、画像中にカメラ近傍から遠方までが含まれる場合であっても、精度良く侵入者を検出できる画像センサの提供を目的とする。

上記目的を達成するために本発明よる画像センサは、撮像部にて順次取得される監視空間の撮像画像と過去の画像との差分から変動領域を抽出するとともに該変動領域の移動を追跡する画像センサであって、前記撮像画像において前記監視空間の遠方が写り込んだ領域を遠方領域として設定する遠方領域設定部と、前記撮像部の設置高・俯角・画角を含む設置情報、前記遠方領域、及び抽出した変動領域の位置を記憶する記憶部と、前記変動領域が前記遠方領域に位置しているか否かを判定する存在位置判定部と、 前記設置情報に基づいて前記撮像画像上の距離を実空間上の距離に変換する画像距離算出部と、前記存在位置判定部が時間的に前後して抽出された変動領域の少なくとも一方の位置を前記遠方領域内と判定すれば当該変動領域間の画素数を対応付けの条件とし、前記存在位置判定部が時間的に前後して抽出された変動領域の両方の位置を前記遠方領域外と判定すれば当該変動領域間の実空間上の距離を対応付けの条件として変動領域の移動を追跡する追跡部と、を備えることを特徴としている。

撮像画像に写り込む物体の位置が遠方となる程、画像上での物体は小さくなり、物体の形状が粗く写り込む。また、遠方となる程距離分解能が低くなり、一画素あたりに算出される実空間上の距離の信頼性が低くなる。このため、撮像画像に写り込む物体の位置が遠方となる程、画像上での移動距離は短くなるが、変動領域に写り込む物体の姿勢や変動領域として抽出された形状によっては、画像上での移動距離を変換して得られた実空間上の距離が、誤差を多分に含んで非常に大きな値となることがある。したがって、遠方の物体に関しては、実空間上の距離により対応付けを行っていると、対応付けできない可能性がある。
他方、撮像画像に写り込む物体の位置が近傍となる程、画像上での移動距離は長くなるが、画像上での移動距離を変換して得られた実空間上の距離は、信頼性の高い値となる。

そこで、本発明の画像センサは、遠方の物体は、画像上での移動距離となる画素数で対応付けを行い追跡して、遠方でない場所から写り込む物体については、実空間上の距離で対応付けを行い追跡する。
本発明によれば、実空間上の距離の信頼性が低くなる遠方の領域については、実空間上の距離に依存することなく移動物体を追跡（トラッキング）することが可能となり、遠方の移動物体であっても追跡することが可能となる。

好ましくは、前記遠方領域設定部は、前記設置情報に基づき前記撮像画像における消失線の位置を算出し、該消失線の周囲を前記遠方領域として設定することを特徴とする。これにより、消失点の集合となる消失線の位置を算出することで、簡易な計算により撮像画像において遠方を写し込む領域を設定することが可能となる。

また、好ましくは、前記遠方領域設定部は、前記実空間上の距離がしきい値以上の画素からなる領域を前記遠方領域として設定することを特徴とする。これにより、実空間上の距離がしきい以上として算出された、距離分解能が低い領域を遠方の領域として設定することができる。

また、好ましくは前記遠方領域設定部は、前記撮像画像における奥行方向の画素列に対して実空間上の距離の変化率を算出し、該変化率がしきい値以上の画素からなる領域を前記遠方領域として設定することを特徴とする。これにより、監視空間の奥行き方向の画素列に対して、実空間上の距離の変化率がしきい以上として算出された、距離分解能が低い領域を遠方の領域として設定することができる。

その他、本発明は上述の画像センサに限定されない。本発明は、方法、プログラムまたはシステムの態様で表現及び特定されてもよい。例えば、本発明の別の態様は、上記構成の動作を行う画像センサの制御方法である。また本発明の別の態様は、そのような方法をコンピュータに実行させるプログラムである。

本発明によれば、監視空間を撮影した画像に写り込んだ遠方の領域については、実空間上の距離に依存することなく移動物体を追跡（トラッキング）することが可能となり、遠方の物体であっても追跡できる。

以下、本発明の実施の形態を図面を参照して説明する。
本発明の画像センサは、監視空間を撮像した画像において、撮像画像に写り込んだ遠方の領域を抽出し、この遠方の領域とそれ以外の領域とで異なるロジックにより移動物体のトラッキング処理を実行して、移動物体を検出するものである。
本実施の形態では、検出対象となる移動物体として監視空間内に侵入した人間（侵入者）を検出する例について説明する。

図１は、画像センサ１の構成を示すブロック図である。
画像センサ１は、図１に示すように、撮像部１０、記憶部２０、画像処理部３０、出力部４０を含んで構成される。以下に各部を説明する。

撮像部１０は、カメラなどの撮像装置を含んで構成される。撮像部１０は、監視空間の光学的な映像を、離散的な画素群からなるデジタル化された画像に変換して、各画素が輝度値で表現された撮像画像として画像処理部３０に出力する。撮像部１０は、所定の時間間隔（例えば１／５秒毎）で１フレームの撮像画像を取得して画像処理部３０に出力する。

記憶部２０は、画像センサ１の各種処理に使用される情報を記憶している。記憶部２０が記憶する情報には、設置情報が含まれる。
設置情報とは、撮像部１０の設置環境を示す情報で、撮像部１０の設置高Ｈと撮像部１０の俯角Φと、撮像部１０より得られる画像の垂直方向（Ｙ軸）画素数Ｙ及び水平方向（Ｘ軸）画素数Ｘと、垂直画角θｈ及び水平画角θｖとを含んでいる。画素数Ｙ及び画素数Ｘは、撮像部１０が出力する撮像画像から得てもよく、また、垂直画角θｈ及び水平画角θｖは撮像部１０に含まれる撮像装置の焦点距離から算出してもよい。
遠方領域情報とは、画像中の消失線周りに広がる遠方を写し込んだ領域を特定する情報である。遠方領域情報は、設置情報に基づき遠方領域設定部３１によって算出されて記憶される。

画像処理部３０は、ＣＰＵ等を備えたコンピュータで構成され、デジタル化された撮像画像の入力を受けて、差分処理、２値化処理、ラベリング（物体候補の検出）処理、トラッキング（物体候補の追跡）処理、特徴算出処理、異常判定処理を行う。
画像処理部３０は、遠方領域設定部３１と、変動領域抽出部３２と、物体候補検出部３３と、存在位置判定部３４と、物体候補追跡部３５と、画像距離算出部３６と、特徴算出部３７と、異常判定部３８とを含んで構成される。物体候補追跡部３５は、実距離追跡部３５１と画素距離追跡部３５２とを含んでいる。

遠方領域設定部３１は、撮像画像に写り込んだ遠方の領域を抽出して遠方領域を設定する。図２は、撮像画像に設定された遠方領域を示す図である。図２では、説明のため遠方領域をハッチングして示している。
遠方領域設定部３１は、記憶部２０に記憶された設置情報に基づき、撮像部１０が撮像する画像において、消失点（無限遠点）の集合となる消失線の周りに広がる領域を遠方領域として算出し、この遠方領域を特定するための座標情報を遠方領域情報として記憶部２０に記憶する。遠方領域の算出方法の詳細については後述する。

変動領域抽出部３２は、図３に示すように、撮像部１０から入力された撮像画像と基準となる背景画像とにおいて互いに対応する画素同士の差分値を算出し差分画像を生成する。背景画像は、監視空間に侵入者等が存在しない状態で撮像された画像であり、過去に予め取得され、記憶部２０に記憶されている。変動領域抽出部３２は、生成した差分画像に含まれる各画素の輝度値と所定のしきい値との大小に基づいて差分画像を２値化して、輝度値の変動がしきい値以上となる変動画素を抽出した差分２値画像を生成する。これにより、輝度値の変動がしきい値以上であった変動画素からなる変動領域が抽出される。このとき、膨張・収縮や微小面積除外のフィルタリングによりノイズを除去した２値画像を生成することが好ましい。算出された差分２値画像は、次回の撮像画像に対するトラッキング処理の基準とするために記憶部２０に記憶される。
なお、背景画像は、所定時間毎に撮像された画像で更新する構成としてもよい。また、所定フレーム前に取得された撮像画像を背景画像として用いることにより、フレーム間における差分画像を求めてもよい。

物体候補検出部３３は、変動領域抽出部３２で生成した差分２値画像に含まれる略連続した変動画素群を１つの変動領域としてグループ化し、各変動領域に固有のラベルでラベリングする。そして、ラベリングされた各変動領域と、各変動領域に対応する背景画像（又は所定フレーム前の撮像画像）の領域とで濃淡パターンマッチング（正規化相関）処理を行い、テクスチャ類似度を算出する。算出されたテクスチャ類似度が所定値以下の変動領域を物体候補領域として判定し、それ以外の場合は外乱として除外する。

存在位置判定部３４は、物体候補領域と判定された変動領域が、記憶部２０に記憶した遠方領域情報で特定される遠方領域に含まれているか否かを判定する。存在位置判定部３４は、物体候補領域を構成する画素群の所定割合以上が遠方領域上に位置する場合に、この物体候補領域は遠方領域上に存在すると判定する。所定割合としては、例えば過半数が設定され、物体候補領域を構成する画素群の過半数が遠方領域上に位置する場合に、遠方領域上に存在すると判定される。例えば、図２の例では、物体候補領域Ａ及び物体候補領域Ｂは遠方領域上に存在すると判定され、物体候補領域Ｃは遠方領域外に存在すると判定される。
なお、物体候補領域の重心座標を算出し、この重心座標が遠方領域上に位置する場合に物体候補領域が遠方領域上に存在すると判定してもよく、他、物体候補領域が遠方領域上に完全に含まれる場合にのみ物体候補領域が遠方領域上に存在すると判定してもよい。

物体候補追跡部３５は、今回の撮像で取得されたフレーム（現フレーム）で物体候補領域と判定された変動領域と直前回（数周期前でもよい）のフレーム（直前フレーム）で物体候補領域と判定された変動領域との比較により物体候補領域のトラッキング処理を行う。現フレームにおいて、直前フレームの物体候補領域の周囲に設定されたトラッキングの検索範囲に対応する領域に物体候補領域が存在すれば、その領域のサイズ、形状等の特徴量の類似度に基づいて互いに同一の物体を撮像した領域であると推定される物体候補領域同士が対応付けられる。直前フレームの物体候補領域と同一の物体を撮像した領域であると対応付けられた物体候補領域には同一のラベルが付与される。ラベリングの情報は記憶部２０に記憶される。
また、直前フレームの物体候補領域と対応付けがなされない場合、現フレームで抽出された物体候補領域は監視空間に新規に出現した物体候補領域として判定される。新規に出現した物体候補領域は、その重心点の座標が出現位置座標として記憶部２０に記憶される。

トラッキングの検索範囲は、存在位置判定部３４にて判定された物体候補領域が遠方領域上に位置しているか否かによって、異なるロジックにより算出される。
まず、物体候補領域が遠方領域上に位置していない場合について説明する。図４は、連続するフレームの差分２値画像であり、物体候補領域が遠方領域外で抽出された例を説明する図である。
図４に示すように、直前フレームの物体候補領域及び現フレームの物体候補領域の何れも遠方領域上に位置していない（遠方領域外に位置している）場合、実距離追跡部３５１によりトラッキング処理が行われる。実距離追跡部３５１は、トラッキングの検索範囲を、監視空間における実空間上の距離（実距離）に基づき設定して、検索範囲内の物体候補領域を探索する。即ち、物体候補領域が移動した（両フレームにおける物体候補領域間の）実距離に基づきトラッキング処理を行う。実距離追跡部３５１は、現フレームにおいて、直前フレームの物体候補領域の重心座標と現フレームの物体候補領域の重心座標との間の実距離が、トラッキングの検索範囲内となる物体候補領域を探索する。トラッキングの検索範囲として設定される実距離は、人の移動速度に基づき設定され、例えば、５フレーム／秒で撮像画像を取得している場合は２００ｃｍなどに設定される。実距離追跡部３５１にてトラッキング処理に用いられる実距離は、画像距離算出部３６にて算出される。

画像距離算出部３６は、撮像画像上の任意座標間の距離を実距離に変換する。ここでは、直前フレームの物体候補領域に撮像された物体と、現フレームの物体候補領域に撮像された物体との間の実距離を算出する場合について説明する。監視空間の床面が平坦であり、物体候補領域に写し込まれた物体が床面に接地しているものと仮定することにより、記憶部２０の設置情報及び各物体候補領域の撮像画像内の位置に基づいて、物体候補領域に写し込まれた物体から撮像装置までの直線距離を推定でき、これにより各物体候補領域に写し込まれる物体間の直線距離を推定することができる。

以下、画像距離算出部３６による実距離の算出方法について説明する。
本実施の形態では、物体間の実距離を重心間距離で算出する例について説明する。ここで、物体候補領域の重心位置は、床面からHman／２の位置にあると仮定している。Hmanは検出対象の物体となる人間の身長に基づき設定された値で、予め記憶部２０に記憶されている。
図５は、撮像部と物体との間を側面から見たときの説明図である。
まず、物体が写り込んだ物体候補領域の重心座標を（x_g,y_g）とすると、図５に示すように、撮像部１０に含まれる撮像装置と物体間を側面から見たときの床面上の距離ｄｇは、記憶部２０に記憶された設置情報に基づき数１の式を用いて算出することができる。

図６は、撮像部と物体との間を鉛直方向から見たときの説明図である。
次に、図６に示すように、撮像装置と物体間を鉛直方向（図５中矢印Q方向）から見た床面上の距離ａｇは、記憶部２０に記憶された設置情報に基づき数２の式を用いて算出することができる。

数１及び数２より、２つの物体候補領域の重心座標（x_g1,y_g1）（x_g2,y_g2）が与えられたときの２点（x_g1,y_g1）（x_g2,y_g2）間の実距離Ｄは、数３の式を用いて算出することができる。

実距離追跡部３５１は、画像距離算出部３６により算出された実距離に基づき、直前フレームの物体候補領域の検索範囲内に存在する現フレームの物体候補領域を探索する。そして、検索範囲内に物体候補領域が検出されると、直前フレームの物体候補領域と現フレームの物体候補領域との間で、物体候補領域に含まれる画素数の変化率や物体候補領域の外接矩形の縦横比変化率などに基づき類似度を算出して、類似度が最も高い物体候補領域を、互いに同一の物体を撮像した領域として対応付けてラベリングする。ここで、類似度が所定しきい値以下の物体候補領域、例えば、５フレーム／秒で撮像画像を取得している場合、構成画素数変化率ΔＳは１／１０≦ΔＳ≦１０、縦横比変化率ΔＰは１／４≦ΔＰ≦４の各条件を満たさない物体候補領域は、同一の物体を撮像した領域でないと判定して、対応付けを行わない。

次に、物体候補領域が遠方領域上に位置している場合について説明する。図７は、連続するフレームの差分２値画像であり、物体候補領域が遠方領域上で抽出された例を説明する図である。
図７に示すように、直前フレームの物体候補領域又は現フレームの物体候補領域の少なくとも何れか一方が遠方領域上に位置している場合、画素距離追跡部３５２によりトラッキング処理が行われる。画素距離追跡部３５２は、両フレーム間におけるトラッキングの検索範囲を、撮像画像上における画素数（画素距離）に基づき設定して、検索範囲内の物体候補領域を探索する。即ち、物体候補領域が移動した（両フレームにおける物体候補領域間の）画素距離に基づきトラッキング処理を行う。画素距離追跡部３５２は、直前フレームの物体候補領域の重心座標と現フレームの物体候補領域の重心座標との間の画素距離が、トラッキングの検索範囲内となる物体候補領域を探索する。検索範囲として設定される画素距離は、外乱を除去できる程度の値に設定され、例えば、５フレーム／秒で撮像画像を取得している場合は７０ｐｉｘｅｌなどに設定される。

画素距離追跡部３５２は、このように、直前フレームの物体候補領域の検索範囲内に存在する現フレームの物体候補領域を探索する。そして、検索範囲内に物体候補領域が検出されると、直前フレームの物体候補領域と現フレームの物体候補領域との間で、物体候補領域に含まれる画素数の変化率や物体候補領域の外接矩形の縦横比変化率などに基づき類似度を算出して、類似度が最も高い物体候補領域を、互いに同一の物体を撮像した領域として対応付けてラベリングする。類似度の算出については、実距離追跡部３５１と同様である。

ここで、遠方領域設定部３１による遠方領域の算出方法について説明する。
遠方領域設定部３１は、画像距離算出部３６により撮像画像上の座標（画素）に対応する実距離の変化率を算出し、算出された実距離の変化率に基づき遠方領域を設定する。
画像の垂直方向（Ｙ軸）の画素列には、監視空間の奥行き方向の情報が表れている。そこで、撮像画像のＹ軸上における物体候補領域の重心座標y_g1に対する実距離の変化率、詳しく言えば、Ｙ軸上の座標y_g1の値が１画素ずれたときに座標y_g1に関して計算される実距離Dがどの程度変化するか、を調べるには実距離Dの導関数を計算すればよい。この結果、導関数の値が大きい箇所は座標y_g1の値が変化したときに実距離Dの変化が大きく距離分解能が低いところ、その逆は座標y_g1の値が変化したときに実距離Dの変化が小さく距離分解能が高いところとなる。
今、任意の２つの物体候補領域の重心座標（x_g1,y_g1）（x_g2,y_g2）間の実距離ＤをＹ軸上の座標y_g1の関数としてみたときに、座標y_g1に対する実距離Ｄの変化率（導関数）ｒ_ｇは、数４の式を用いて算出することができる。

数４は、y_g1に関する二次の分数関数であり、その概形は図８に示すようになる。図8は、Y軸上の座標y_g1と、座標y_g1に対応する実距離Dの変化率ｒ_ｇとの関係を示す図である。図８において、実距離Dの変化率ｒ_ｇは、座標y_g1の値が１画素ずれたときの実距離Ｄを示している。また、実距離Dの変化率ｒ_ｇが大きくなる程１画素当たりの距離分解能は低くなるため、図8は、Y軸上の座標y_g1と、座標y_g1に対する距離分解能（の逆数）を示す図としても見ることができる。
図８において、漸近線は、Y軸上の座標y_g1に対して実距離Dの変化率ｒ_ｇが無限大となる位置を示しており、消失線を表している。即ち、図8における漸近線のy_g1軸座標は、撮像画像のY軸上における消失線の座標となる。

図８より、撮像画像のY軸に対する実距離Dの依存性が劇的に変化する点α、βが存在することがわかる。即ち、物体候補領域のY軸上の重心座標が、点α又はβよりも消失線に近い場合は、重心座標が数画素ずれただけで実距離Dが大幅に変化することとなり、実距離Dの信頼性が低くなる。点α、βは、図８に示すように、実距離Dの変化率ｒ_ｇにしきい値Thを設定し、曲線ｒ_ｇ（y_g1）上でｒ_ｇ＝Tｈとなる点から求める。また、同様に、Y軸上の各座標における１画素当たりの実距離Ｄや距離分解能にしきい値を設定し、実距離Ｄがしきい値以上となる点又は距離分解能点がしきい値以下となる点から点α、βを求めてもよい。また、点α、βは、曲線ｒ_ｇ（y_g1）の傾きから求めてもよく、この場合微分係数が１となる点（接線が±４５°となる点）から点α、βを求める。

遠方領域設定部３１は、画像距離算出部３６にて座標y_g1における実距離Ｄの変化率ｒ_ｇを算出して、ｒ_ｇ＝Tｈとなる場合のy_g1の値を求める。即ち、図８におけるα、βのy_g1軸の値α_ｙとβ_ｙを算出する。そして、α_ｙとβ_ｙを撮像画像のY軸上の座標として得て、図2に示すように、Y軸上のα_ｙ−β_ｙ間に存在する画素、即ちY軸上α_ｙ−β_ｙ間のＸ軸（水平）方向に連続する画素群を遠方領域として設定し、記憶部２０に遠方領域情報として記憶する。これにより、撮像画像の解像度に応じて異なる距離分解能に対応して、撮像画像中において実距離の信頼性が低くなる遠方を写し込んだ領域を抽出し、消失線周りに帯状に広がる遠方領域として設定することができる。

なお、遠方領域の算出方法は上述の方法に限定されるものではなく、記憶部２０に記憶された設置情報に基づき、撮像部１０が撮像する画像における消失線の位置を抽出し、この消失線周りの所定領域を遠方領域として算出してもよい。一般に消失点は水平線上に存在するため、設置情報から監視空間における水平線の位置を算出することで撮像画像において消失点の集合となる消失線を抽出することができる。この場合、遠方領域設定部３１は、撮像画像に対する消失線のＹ軸座標を算出し、この消失線のＹ軸座標から予め設定された画素数分Y軸上で移動した点をα_ｙとβ_ｙとして設定し、α_ｙ−β_ｙ間に存在する画素群を遠方領域として設定して、この遠方領域を特定するための座標情報を遠方領域情報として記憶部２０に記憶する。

このように、物体候補追跡部３５は、実距離の信頼性が高い領域に物体候補領域が位置する場合は実距離に基づき物体をトラッキングし、他方、実距離の信頼性が低くなる遠方領域に物体候補領域が位置する場合は画素距離に基づき物体をトラッキングすることによって、物体の存在位置に応じて検索範囲を設定するためのロジックを異ならせて適切にトラッキング処理を行うことが可能となる。

特徴算出部３７は、物体候補追跡部３５により同一の物体であるとラベリングされた物体候補領域の人らしさを示すパラメータである物体特徴量を算出する。
本実施の形態では、物体特徴量として、物体候補領域に写り込んだ物体の移動量を算出する例について説明する。移動量は、異なる時刻に取得された撮像画像において、物体候補追跡部３５により同一の物体であると対応付けられた物体候補領域同士の距離に基づくものである。

特徴算出部３７は、実距離追跡部３５１により同一の物体であるとラベリングされた物体候補領域について記憶されている出現位置座標を記憶部２０から読み出して、この出現位置座標と、対応する現フレームの物体候補領域の重心座標との間の実距離を物体の実距離移動量として算出する。
また、特徴算出部３７は、画素距離追跡部３５２により同一の物体であるとラベリングされた物体候補領域について記憶されている出現位置座標を記憶部２０から読み出して、この出現位置座標と、対応する現フレームの物体候補領域の重心座標との間の画素距離を物体の画素距離移動量として算出する。

なお、物体特徴量は、上述の移動量に限定されるものではなく、物体候補領域の画像特徴量（輝度平均値や輝度分散値）、幾何特徴量（面積や縦横比、重心位置）、背景画像との比較値（正規化相関、差分平均値）などから算出してもよい。

異常判定部３８は、移動体判定部として機能し、特徴算出部３７が算出した物体特徴量に基づき物体候補領域に写り込んだ物体が侵入者か否かを判定する。異常判定部３８は、侵入者の存在を検出すると、異常発生と判定して出力部４０に異常信号を出力する。

異常判定部３８は、特徴算出部３７から入力された実距離移動量が所定実距離以上となる場合に、対応する物体候補領域は侵入者であると判定し、異常発生と判定する。ここで、所定実距離は、実距離追跡部３５１にてトラッキングした物体候補領域が人であるか否かを判定するしきい値であり、監視空間内を人が移動する際の実距離などを基準として外乱を除去できる程度の所定距離に設定され、例えば１００ｃｍ等に任意に設定される。
また、異常判定部３８は、特徴算出部３７から入力された画素距離移動量が所定画素距離以上となる場合に、対応する物体候補領域は侵入者であると判定し、異常発生と判定する。所定画素距離は、画素距離追跡部３５２にてトラッキングした物体候補領域が人であるか否かを判定するしきい値であり、監視空間内の遠方領域を人が移動する際の画素距離などを基準として外乱を除去できる程度の所定画素数に設定され、例えば５０ｐｉｘｅｌ等に任意に設定される。

なお、異常判定部３８では、上記しきい値による判定処理に加えて、物体候補領域の面積が所定面積以上となる場合に、異常判定することが好ましい。このとき、物体候補領域の面積としては、遠方領域上に位置する物体候補領域については物体候補領域に含まれる画素数を物体の面積として算出し、遠方領域外に位置する物体候補領域については物体候補領域の外接矩形の頂点座標間の実距離を求めて、この実距離から実空間における面積を求めてもよい。これにより、外乱を除去して侵入者の検出精度を向上させることができる。

出力部４０は、画像処理部３０にて判定された異常を外部に出力するための手段であって、ＬＥＤやブザーなどで構成される。出力部４０は、画像処理部３０から異常信号の入力があると、ＬＥＤやブザーを駆動して異常の発生を報知する。
なお、出力部４０は、警備装置や遠隔の監視センタなどと通信線により接続され、画像処理部３０から入力された異常信号を通信線に送出する通信Ｉ／Ｆとして構成されてもよい。

以下、図９に示すフローチャートを用いて、画像センサ1が撮像部１０において取得された撮像画像から監視空間の侵入者を検出する処理について説明する。図９に示すフローチャートの各工程をコンピュータで実行可能な制御プログラムとすることによって、コンピュータの処理装置で実行させることができる。

まず、遠方領域設定部３１は、記憶部２０に記憶された設置情報から撮像画像における遠方領域を算出して遠方領域情報に記憶する（ＳＴ１）。ここで、遠方領域は、上述したように、撮像画像のＹ軸座標に対する実距離の変化率を算出して、消失線の周囲に位置し実距離の変化率がしきい値以上となるＹ軸座標に基づき、消失線周りに帯状に広がる領域として設定される。
次に、撮像部１０により監視空間の画像が取得される。撮像画像は、画像処理部３０に出力される（ＳＴ２）。

変動領域抽出部３２は、撮像画像と背景画像との差分値をとって差分画像を生成し、２値化して、撮像画像から変動領域を抽出する（ＳＴ３）。撮像画像に変動領域が含まれていなければ（ＳＴ３−Ｎｏ）、ステップＳＴ２へ戻り、次の撮像画像取得タイミングにて次のフレームとなる撮像画像を取得する。
他方、撮像画像に変動領域が含まれていれば（ＳＴ３−Ｙｅｓ）、物体候補検出部３３にて各変動領域に固有のラベルが付与されるとともに背景画像とのテクスチャ類似度が算出され、テクスチャ類似度が所定値以下の変動領域が物体候補領域として検出される（ＳＴ４）。

ステップＳＴ５では、物体候補領域の時間的な移動を追跡するトラッキング処理が行われる。このステップＳＴ５はサブルーチン化されており、存在位置判定部３４及び物体候補追跡部３５において、図１０に示すフローチャートに沿って実行される。

トラッキング処理が開始されると、まず現フレームの差分２値画像を記憶部２０から読み出して（ＳＴ５０１）、物体候補領域が存在するか否かが判定される（ＳＴ５０２）。現フレームに、物体候補領域が存在しなければ（ＳＴ５０２−Ｎｏ）、ステップＳＴ５２３へと進む。

他方、現フレームに物体候補領域が存在すれば（ＳＴ５０２−Ｙｅｓ）、カウンタｍが１に初期化される（ＳＴ５０３）。カウンタｍは、現フレームにおいて物体候補領域を特定するためのラベルとして用いられ、以下の処理において現フレームの物体候補領域と直前フレームの物体候補領域とを対応付けるために用いられる。

次に、直前フレームの差分２値画像を記憶部２０から読み出して（ＳＴ５０４）、物体候補領域が存在するか否かが判定される（ＳＴ５０５）。直前フレームに、物体候補領域が存在しなければ（ＳＴ５０５−Ｎｏ）、ステップＳＴ５２５へと進む。

現フレームに物体候補領域が存在すれば（ＳＴ５０５−Ｙｅｓ）、カウンタｎが１に初期化される（ＳＴ５０６）。カウンタｎは、直前フレームにおいて物体候補領域を特定するためのラベルとして用いられ、以下の処理において直前フレームの物体候補領域と、カウンタｍで特定される現フレームの物体候補領域とを対応付けるために用いられる。

次に、現フレームの物体候補領域ｍと、直前フレームの物体候補領域ｎの存在位置が判定される（ＳＴ５０７）。
物体候補領域ｍ及び物体候補領域ｎの双方が、ステップＳＴ１で算出された遠方領域の領域上に存在しない場合、即ち遠方領域外に位置する場合（図４参照）（ＳＴ５０７−Ｙｅｓ）、実距離追跡部３５１にて実距離によるトラッキング処理が行われる（ＳＴ５０８）。

実距離追跡部３５１は、現フレームにおいて、直前フレームの物体候補領域ｎの存在位置に対応する位置の周囲に、実空間における距離（実距離）に基づきトラッキングの検索範囲を設定する（ＳＴ５０９）。トラッキングの検索範囲として設定される実距離（第一の所定実距離）は、人の移動速度に基づき設定され、例えば、５フレーム／秒で撮像画像を取得している場合は２００ｃｍなどに設定される。

次に、実距離追跡部３５１は、画像距離算出部３６にて算出される物体候補領域ｎと物体候補領域ｍとの重心座標間の実距離に基づき、現フレームの物体候補領域ｍが直前フレームの物体候補領域ｎの検索範囲内に位置するか否かを判定する（ＳＴ５１０）。
検索範囲内に物体候補領域ｍが存在すれば、即ち、物体候補領域ｎと物体候補領域ｍとの間の実距離が検索範囲以内であれば（ＳＴ５１０−Ｙｅｓ）、物体候補領域ｎと物体候補領域ｍとの類似度が算出される（ＳＴ５１１）。

類似度は、両物体候補領域間の距離、両物体候補領域の大きさの変化率や縦横比の変化率に基づき算出され、距離が短い程、また、大きさや縦横比の変化率が１に近似する程（変化が少ない程）高い類似度が算出される。算出された類似度が、しきい値以下の場合（ＳＴ５１１−Ｎｏ）、や、物体候補領域ｎの検索範囲に物体候補領域ｍが存在しない場合（ＳＴ５１０−Ｎｏ）は、ステップＳＴ５１８に進む。他方、算出された類似度がしきい値以上であれば（ＳＴ５１１−Ｙｅｓ）、算出された類似度を記憶部２０に記憶して（ＳＴ５１２）、ステップＳＴ５１８に進む。

また、ステップＳＴ５０７において、物体候補領域ｍ及び物体候補領域ｎの少なくとも何れか一方が、ステップＳＴ１で算出された遠方領域の領域内に存在する場合（図７参照）（ＳＴ５０７−Ｎｏ）、画素距離追跡部３５２にて画素距離によるトラッキング処理が行われる（ＳＴ５１３）。

画素距離追跡部３５２は、現フレームにおいて、直前フレームの物体候補領域ｎの存在位置に対応する位置の周囲に、画素数（画素距離）に基づきトラッキングの検索範囲を設定する（ＳＴ５１４）。トラッキングの検索範囲として設定される画素距離（第一の所定画素距離）は、外乱を除去できる程度の値に設定され、例えば、５フレーム／秒で撮像画像を取得している場合は７０ｐｉｘｅｌなどに設定される。

次に、画素距離追跡部３５２は、物体候補領域ｎと物体候補領域ｍとの重心間の画素距離に基づき、現フレームの物体候補領域ｍが直前フレームの物体候補領域ｎの検索範囲内に位置するか否かを判定する（ＳＴ５１５）。
検索範囲内に物体候補領域ｍが存在すれば、即ち、物体候補領域ｎと物体候補領域ｍとの間の画素距離が検索範囲以内であれば（ＳＴ５１５−Ｙｅｓ）、物体候補領域ｎと物体候補領域ｍとの類似度が算出される（ＳＴ５１６）。

類似度は、ステップＳＴ５１１と同様に算出され、算出された類似度がしきい値以下の場合（ＳＴ５１６−Ｎｏ）、や、物体候補領域ｎの検索範囲に物体候補領域ｍが存在しない場合（ＳＴ５１５−Ｎｏ）は、ステップＳＴ５１８に進む。他方、算出された類似度がしきい値以上であれば（ＳＴ５１６−Ｙｅｓ）、算出された類似度を記憶部２０に記憶して（ＳＴ５１７）、ステップＳＴ５１８に進む。

ＳＴ５１８では、現フレームの物体候補領域ｍに対して、直前フレームでトラッキング処理していない物体候補領域が存在するか否かが判断される。そして、物体候補領域ｍに対して、直前フレームでトラッキング処理していない物体候補領域が存在する場合、即ち、カウンタｎの値が直前フレームにおける物体候補領域の総数に満たない場合（ＳＴ５１８−Ｙｅｓ）、ｎの値を１増加させて（ＳＴ５１９）、ステップＳＴ５０７以降の処理を繰り返す。

現フレームの物体候補領域ｍに対して、直前フレームにおける全ての物体候補領域とのトラッキング処理が完了すると（ＳＴ５１８−Ｎｏ）、ステップＳＴ５２０へと進む。ステップＳＴ５２０では、直前フレームの物体候補領域のなかで、最も高い類似度が算出された物体候補領域ｎ_ｍを記憶部２０に記憶された類似度を参照して判別し、この物体候補領域ｎ_ｍと現フレームの物体候補領域ｍとを、互いに同じ物体を撮像した領域として対応付けてラベリングする。

次に、ステップＳＴ５２１へと進み、現フレームにおいてトラッキング処理していない物体候補領域が存在するか否かが判断される。現フレームでトラッキング処理していない物体候補領域が存在する場合、即ち、カウンタｍの値が現フレームにおける物体候補領域の総数に満たない場合（ＳＴ５２１−Ｙｅｓ）、ｍの値を１増加させて（ＳＴ５２２）、ステップＳＴ５０６以降の処理を繰り返す。そして、現フレームにおいて、全ての物体候補領域のトラッキング処理が完了すると（ＳＴ５２１−Ｎｏ）、ステップＳＴ５２３へと進む。

ここで、直前フレームにおいて、現フレームの物体候補領域と対応付けがなされなかった物体候補領域ｎ_lostが存在する場合（ＳＴ５２３−Ｙｅｓ）、物体候補領域ｎ_lostに写り込んだ物体は監視空間から消失したと判定して記憶部２０に記憶する（ＳＴ５２４）。
次に、現フレームにおいて、直前フレームの何れの物体候補領域とも対応付けがなされなかった物体候補領域ｍ_ｎｅｗが存在する場合（ＳＴ５２５−Ｙｅｓ）、物体候補領域ｍ_ｎｅｗに写り込んだ物体は監視空間に新規に出現した物体と判定して、物体候補領域ｍ_ｎｅｗの重心座標を出現位置座標として記憶部２０に記憶する。
サブルーチン内の処理が終了すると、メインルーチンに処理を戻す。

ステップＳＴ６では、ステップＳＴ５にて同一の物体であるとラベリングされた物体候補領域の人らしさを示す特徴量の算出処理が行われる。このステップＳＴ６はサブルーチン化されており、特徴算出部３７において、図１１に示すフローチャートに沿って実行される。

特徴量算出処理が開始されると、まず、カウンタｍが１に初期化される（ＳＴ６０１）。カウンタｍは、現フレームにおいて物体候補領域を特定するためのラベルとして用いられる。
次に、物体候補領域ｍが、監視空間に新規に出現した物体（物体候補領域ｍ_ｎｅｗ）であるか否かが判定される（ＳＴ６０２）。新規に出現した物体であれば（ＳＴ６０２−Ｙｅｓ）、ＳＴ６０７へと進む。

他方、物体候補領域ｍが現フレームにて新規に出現した物体でなければ（ＳＴ６０２−Ｎｏ）、当該物体候補領域ｍの出現位置座標を記憶部２０から読み出す（ＳＴ６０３）。そして、現フレームと直前フレームとのトラッキング処理において、物体候補領域ｍは実距離又は画素距離何れの距離でトラッキング処理されたかを判別する（ＳＴ６０４）。

実距離でトラッキング処理されていれば（ＳＴ６０４−Ｙｅｓ）、物体候補領域ｍの現在の重心座標と出現位置座標との間の実距離を算出し、実距離移動量として記憶部２０に記憶する（ＳＴ６０５）。
他方、画素距離でトラッキング処理されていれば（ＳＴ６０４−Ｎｏ）、物体候補領域ｍの現在の重心座標と出現位置座標との間の画素距離を算出し、画素距離移動量として記憶部２０に記憶する（ＳＴ６０５）。

次に、ＳＴ６０７において、現フレームで特徴量の算出処理をしていない物体候補領域が存在するか否かが判断される。現フレームで特徴量算出処理していない物体候補領域が存在する場合、即ち、カウンタｍの値が現フレームにおける物体候補領域の総数に満たない場合（ＳＴ６０７−Ｙｅｓ）、ｍの値を１増加させて（ＳＴ６０８）、ステップＳＴ６０２以降の処理を繰り返す。そして、現フレームにおいて、全ての物体候補領域の特徴量算出処理が完了すると（ＳＴ６０７−Ｎｏ）、サブルーチン内の処理を終了して、メインルーチンに処理を戻す。

ステップＳＴ７では、異常判定部３８により、特徴量算出処理で算出された特徴量に基づき物体候補領域に写り込んだ物体が侵入者か否かが判定される。異常判定部３８は、特徴量算出処理で算出された実距離移動量が所定の実距離（第二の所定実距離）以上となる場合に、対応する物体候補領域が侵入者であると判定する（ＳＴ７−Ｙｅｓ）。所定の実距離は、実距離追跡部３５１にてトラッキングした物体候補領域が人であるか否かを判定するしきい値であり、監視空間内を人が移動する際の実距離などを基準として外乱を除去できる程度の値に設定され、例えば１００ｃｍ等に任意に設定される。

また、異常判定部３８は、特徴量算出処理で算出された画素距離移動量が所定の画素距離（第二の所定画素距離）以上となる場合に、対応する物体候補領域が侵入者であると判定する（ＳＴ７−Ｙｅｓ）。所定の画素距離は、画素距離追跡部３５２にてトラッキングした物体候補領域が人であるか否かを判定するしきい値であり、監視空間内の遠方領域を人が移動する際の画素距離などを基準として外乱を除去できる程度の値に設定され、例えば５０ｐｉｘｅｌ等に任意に設定される。

ＳＴ８では、異常判定部３８の判定に基づき出力部４０が作動して異常の発生を報知する。
異常判定部３８が侵入者なしと判定した場合（ＳＴ７−Ｎｏ）、又は、出力部４０が異常発生を報知した後には、ステップＳＴ２へ戻り、次の撮像画像取得タイミングにて次のフレームとなる撮像画像を取得する。

以上のように、本実施の形態によれば、撮像画像に写り込む遠方の領域においては、算出される実空間上の距離の信頼性が低くなるという知見に基づき、撮像画像に写り込んだ遠方の領域を算出して、この遠方領域で抽出された変動領域に対しては画素数に基づき移動距離を判定し、遠方領域以外で抽出された変動領域に対しては実空間上の距離に基づき移動距離を判定することにより、撮像装置の近傍から遠方までを監視空間とする場合においても侵入者の検出精度を向上させることができる。

本発明の実施の形態に係る画像センサのブロック図。 本発明の実施の形態に係る撮像画像に設定された遠方領域を説明する図。 本発明の実施の形態に係る差分画像の生成方法を説明する図。 本発明の実施の形態に係る遠方領域外の移動物体を示す図。 本発明の実施の形態に係る実空間上の距離を算出する方法を説明する図。 本発明の実施の形態に係る実空間上の距離を算出する方法を説明する図。 本発明の実施の形態に係る遠方領域上の移動物体を示す図。 本発明の実施の形態に係る遠方領域の算出方法を説明する図。 本発明の実施の形態に係る侵入者検出のフローチャート。 本発明の実施の形態に係るトラッキング処理のフローチャート。 本発明の実施の形態に係る特徴量算出処理のフローチャート。

符号の説明

１ 画像センサ、１０ 撮像部、２０ 記憶部、３０ 画像処理部、３１ 遠方領域設定部、３２ 変動領域抽出部、３３ 物体候補検出部、３４ 存在位置判定部、３５、物体候補追跡部、３５１ 実距離追跡部、３５２ 画素距離追跡部、３６ 画像距離算出部、３７ 特徴算出部、３８ 異常判定部、４０ 出力部。

Claims (4)

1. 撮像部にて順次取得される監視空間の撮像画像と過去の画像との差分から変動領域を抽出するとともに該変動領域の移動を追跡する画像センサであって、
   前記撮像画像において前記監視空間の遠方が写り込んだ領域を遠方領域として設定する遠方領域設定部と、
   前記撮像部の設置高・俯角・画角を含む設置情報、前記遠方領域、及び抽出した変動領域の位置を記憶する記憶部と、
   前記変動領域が前記遠方領域に位置しているか否かを判定する存在位置判定部と、
   前記設置情報に基づいて前記撮像画像上の距離を実空間上の距離に変換する画像距離算出部と、
   前記存在位置判定部が時間的に前後して抽出された変動領域の少なくとも一方の位置を前記遠方領域内と判定すれば当該変動領域間の画素数を対応付けの条件とし、前記存在位置判定部が時間的に前後して抽出された変動領域の両方の位置を前記遠方領域外と判定すれば当該変動領域間の実空間上の距離を対応付けの条件として変動領域の移動を追跡する追跡部と、
   を備えることを特徴とした画像センサ。
   
2. 前記遠方領域設定部は、前記設置情報に基づき前記撮像画像における消失線の位置を算出し、該消失線の周囲を前記遠方領域として設定する請求項１に記載の画像センサ。
   
3. 前記遠方領域設定部は、前記実空間上の距離がしきい値以上の画素からなる領域を前記遠方領域として設定する請求項１に記載の画像センサ。
   
4. 前記遠方領域設定部は、前記撮像画像における奥行方向の画素列に対して実空間上の距離の変化率を算出し、該変化率がしきい値以上の画素からなる領域を前記遠方領域として設定する請求項１に記載の画像センサ。
   
   
   

Images