JP2009252174A - 背景領域認識方法、背景領域認識装置、および背景領域認識プログラム - Google Patents

Abstract

【課題】認識しようとする背景以外のものの存在にかかわらず背景を認識することが簡易な装置で実現可能な背景領域認識方法、背景領域認識装置、およびコンピュータをそのような背景領域認識装置として動作させる背景領域認識プログラムを提供する。
【解決手段】固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から、該複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体に類似した類被写体形状を、当該カメラの画角上の位置情報を伴って抽出して判定し、被写体についての出現領域を認識し、当該カメラの画角上の、この出現領域を除く領域を背景領域として認識する。
【選択図】 図４

Description

本発明は、固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の出現領域を除く背景領域を認識する背景領域認識方法、背景領域認識装置、およびコンピュータをそのような背景領域認識装置として動作させる背景領域認識プログラムに関する。

従来より、現実世界に存在する対象物を計測して、その対象物の数値モデルを作成する種々の技術が知られている（例えば、非特許文献１、非特許文献２参照。）。

非特許文献１には、２台のラインスキャンレーザレンジセンサを市販のリフトに装着し、リフトの上下運動に伴って対象物を計測することによって、その対象物の三次元モデルを作成する技術が開示されている。

非特許文献２には、レーザスキャンで取得した点群データから配管や機器の形状を抽出し、対象物である稼動中の生産設備の三次元形状モデルを作成する技術が開示されている。

また、従来より、二次元的に配列された画素で表現された画像を解析して、この画像から対象物や背景を認識する技術が知られている（例えば、非特許文献３参照。）。
小野晋太郎ら、「梯子式レーザ計測システムによる大規模文化遺産の三次元モデリング」、３次元映像シンポジウム、東京大学、２００６年１１月 宮川俊樹ら、「レーザスキャンデータに基づくプラントの形状モデリング」、精密工学会春季講演会、２００６年５月 Ｊ．Ｓｈｏｔｔｏｎ，Ｊ．Ｗｉｎｎ，Ｃ．Ｒｏｔｈｅｒ，Ａ．Ｃｒｉｍｉｎｉｓｉ、「ＴｅｘｔｏｎＢｏｏｓｔ：Ｊｏｉｎｔ Ａｐｐｅａｒａｎｃｅ，Ｓｈａｐｅ ａｎｄ Ｃｏｎｔｅｘｔ Ｍｏｄｅｌｉｎｇ ｆｏｒ Ｍｕｌｔｉ−Ｃｌａｓｓ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ」、Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＥＣＣＶ）、Ｇｒａｚ，Ａｕｓｔｒｉａ、２００６年

非特許文献１や非特許文献２に開示された技術は、対象物の数値モデルを作成するにあたって、対象物をレーザ測定器を用いて計測する技術であるため、測定時にレーザ測定器の調整が必要であるなど、測定に手間が掛かる。また、レーザ測定器は大掛かりな装置であるため、高コストである。

また、非特許文献１や非特許文献２や非特許文献３に開示された技術は、対象物や背景以外のものが計測時や画像中に存在していないことが前提条件であるため、認識しようとする対象物や背景以外のものを計測時や画像中から排除しておく必要がある。

本発明は、認識しようとする背景以外のものの存在にかかわらず背景を認識することが簡易な装置で実現可能な背景領域認識方法、背景領域認識装置、およびコンピュータをそのような背景領域認識装置として動作させる背景領域認識プログラムを提供することを目的とするものである。

上記目的を達成する本発明の背景領域認識方法は、
固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の出現領域を除く背景領域を認識する背景領域認識方法であって、
上記カメラから上記複数枚の画像を取得する画像取得ステップと、
上記画像取得ステップで取得した複数枚の画像から、上記特定種類の被写体に類似した類被写体形状を、当該カメラの画角上の位置情報を伴って抽出する抽出ステップと、
上記抽出ステップで抽出された類被写体形状が特定種類の被写体であるか否かを判定してこの特定種類の被写体を抽出するフィルタリングステップと、
上記フィルタリングステップで抽出された被写体についての出現領域を、上記抽出ステップで抽出された当該カメラの画角上の位置情報に基づいて認識する被写体出現領域認識ステップと、
当該カメラの画角上の、上記被写体出現領域認識ステップで認識された出現領域を除く領域を背景領域として認識する背景領域認識ステップとを有することを特徴とする。

尚、上記被写体出現領域認識ステップで認識される出現領域は、二次元的な出現領域でもよく、あるいは、三次元的な出現領域でもよい。また、上記背景領域認識ステップで認識される背景領域は、二次元的な背景領域でもよく、あるいは、三次元的な背景領域でもよい。

また、本発明にいう「背景」とは、例えば「ペンを認識することをもって、そのペンを認識すると同時にペン以外の部分からなる背景を認識している」というところの背景などをいい、一般的に「コンテキスト」と称されるものである。

本発明の背景領域認識方法は、例えば、固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から被写体を高精度かつ高速に検出する際に有用な、これら複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の出現領域を除く背景領域を、固定的に設置されたカメラで簡便に認識することができ、使い勝手がよい。

また、本発明の背景領域認識方法は、固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の存在にかかわらず、背景領域を認識することができる。

ここで、本発明の背景領域認識方法は、上記フィルタリングステップが、上記抽出ステップで抽出された類被写体形状それぞれについて、画角内の当該類被写体形状の周囲に広がる所定寸法のサーチ領域内における他の類被写体形状の個数を計数し、この計数値が閾値以上の場合にのみ当該類被写体形状を上記特定種類の被写体として抽出するステップであることが好ましい。

このような好ましい形態によれば、上記抽出ステップで抽出された類被写体形状のうちの誤抽出の可能性が高い類被写体形状が排除されることとなるため、背景領域を高精度に認識することができる。

また、本発明の背景領域認識方法は、
「上記抽出ステップが、上記類被写体形状を、上記位置情報を伴うとともに、さらに、この類被写体形状の寸法を伴って抽出するステップであり、
上記フィルタリングステップが、上記抽出ステップで抽出された類被写体形状それぞれについて、画角内の当該類被写体形状の周囲に広がる所定寸法のサーチ領域内における、当該類被写体形状と同一寸法に分類された他の類被写体形状の個数を計数し、この計数値が閾値以上の場合にのみ当該類被写体形状を上記特定種類の被写体として抽出するステップである」
ことがさらに好ましい。

このような好ましい形態によれば、上記抽出ステップで抽出された類被写体形状のうちの誤抽出の可能性が高い類被写体形状が排除されることとなるため、背景領域を高精度に認識することができる。

また、本発明の背景領域認識方法は、
「上記抽出ステップが、上記類被写体形状を、上記位置情報を伴うとともに、さらに、この類被写体形状の寸法を伴って抽出するステップであり、
上記被写体出現領域認識ステップが、上記抽出ステップで抽出された当該カメラの画角上の位置情報と寸法との双方に基づいて、上記フィルタリングステップで抽出された被写体についての、当該カメラから上記出現領域までの距離を含む三次元的な出現領域を認識するステップであり、
上記背景領域認識ステップが、上記被写体出現領域認識ステップで認識された三次元的な出現領域に基づいて、当該カメラから上記背景領域までの距離を含む三次元的な背景領域を認識するステップである」
ことも好ましい形態である。

このような好ましい形態によれば、三次元的な背景領域を容易に認識することができる。

また、本発明の背景領域認識方法は、上記抽出ステップが、上記類被写体形状を抽出するにあたり、この類被写体形状が抽出対象の被写体である可能性の程度を表す評価値を求め、抽出対象の被写体の、抽出からの洩れを許容して設定された閾値よりも抽出対象の被写体である可能性がさらに高いことを表す評価値が得られた類被写体形状のみを抽出するステップであることがさらに好ましい。

ここで、上記抽出ステップの目的は、抽出対象の被写体を確実に抽出することではなく、抽出対象の被写体であることが分かっているもののみを抽出することにある。そして、このような好ましい形態によれば、抽出対象の被写体である可能性が低いものが排除されるため、背景領域を高精度に認識することができる。

また、本発明の背景領域認識方法は、
「上記カメラが、撮影方向の変更が可能なカメラであって、
複数の撮影方向それぞれでの撮影で得られた背景領域を統合することにより、これら複数の撮影方向の画角を繋げた画角内の背景領域を認識する統合ステップをさらに有する」
ことが好ましい。

このような好ましい形態によれば、上記カメラが、撮影方向の変更が可能なカメラであるときに、背景領域を認識することができる。

さらに、本発明の背景領域認識方法は、
「上記カメラが、焦点距離可変なカメラであって、
複数の焦点距離それぞれでの撮影で得られた背景領域を統合することにより、上記カメラの最広角の画角内の背景領域を認識する統合ステップをさらに有する」
ことも好ましい形態である。

このような好ましい形態によれば、上記カメラが、焦点距離可変なカメラであるときに、背景領域を認識することができる。

また、上記目的を達成する本発明の背景領域認識装置は、
固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の出現領域を除く背景領域を認識する背景領域認識装置であって、
上記カメラから上記複数枚の画像を取得する画像取得部と、
上記画像取得部で取得した複数枚の画像から、上記特定種類の被写体に類似した類被写体形状を、当該カメラの画角上の位置情報を伴って抽出する抽出部と、
上記抽出部で抽出された類被写体形状が特定種類の被写体であるか否かを判定してこの特定種類の被写体を抽出するフィルタリング部と、
上記フィルタリング部で抽出された被写体についての出現領域を、上記抽出部で抽出された当該カメラの画角上の位置情報に基づいて認識する被写体出現領域認識部と、
当該カメラの画角上の、上記被写体出現領域認識部で認識された出現領域を除く領域を背景領域として認識する背景領域認識部とを備えたことを特徴とする。

尚、上記被写体出現領域認識部で認識される出現領域は、二次元的な出現領域でもよく、あるいは、三次元的な出現領域でもよい。また、上記背景領域認識部で認識される背景領域は、二次元的な背景領域でもよく、あるいは、三次元的な背景領域でもよい。

また、本発明にいう「背景」とは、例えば「ペンを認識することをもって、そのペンを認識すると同時にペン以外の部分からなる背景を認識している」というところの背景などをいい、一般的に「コンテキスト」と称されるものである。

本発明の背景領域認識装置は、例えば、固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から被写体を高精度かつ高速に検出する際に有用な、これら複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の出現領域を除く背景領域を、固定的に設置されたカメラで簡便に認識することができ、使い勝手がよい。

また、本発明の背景領域認識装置は、固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の存在にかかわらず、背景領域を認識することができる。

ここで、本発明の背景領域認識装置は、上記フィルタリング部が、上記抽出部で抽出された類被写体形状それぞれについて、画角内の当該類被写体形状の周囲に広がる所定寸法のサーチ領域内における他の類被写体形状の個数を計数し、この計数値が閾値以上の場合にのみ当該類被写体形状を上記特定種類の被写体として抽出するものであることが好ましい。

このような好ましい形態によれば、上記抽出部で抽出された類被写体形状のうちの誤抽出の可能性が高い類被写体形状が排除されることとなるため、背景領域を高精度に認識することができる。

また、本発明の背景領域認識装置は、
「上記抽出部が、上記類被写体形状を、上記位置情報を伴うとともに、さらに、この類被写体形状の寸法を伴って抽出するものであり、
上記フィルタリング部が、上記抽出部で抽出された類被写体形状それぞれについて、画角内の当該類被写体形状の周囲に広がる所定寸法のサーチ領域内における、当該類被写体形状と同一寸法に分類された他の類被写体形状の個数を計数し、この計数値が閾値以上の場合にのみ当該類被写体形状を上記特定種類の被写体として抽出するものである」
ことがさらに好ましい。

このような好ましい形態によれば、上記抽出部で抽出された類被写体形状のうちの誤抽出の可能性が高い類被写体形状が排除されることとなるため、背景領域を高精度に認識することができる。

また、本発明の背景領域認識装置は、
「上記抽出部が、上記類被写体形状を、上記位置情報を伴うとともに、さらに、この類被写体形状の寸法を伴って抽出するものであり、
上記被写体出現領域認識部が、上記抽出部で抽出された当該カメラの画角上の位置情報と寸法との双方に基づいて、上記フィルタリング部で抽出された被写体についての、当該カメラから上記出現領域までの距離を含む三次元的な出現領域を認識するものであり、
上記背景領域認識部が、上記被写体出現領域認識部で認識された三次元的な出現領域に基づいて、当該カメラから上記背景領域までの距離を含む三次元的な背景領域を認識するものである」
ことも好ましい形態である。

このような好ましい形態によれば、三次元的な背景領域を容易に認識することができる。

また、本発明の背景領域認識装置は、上記抽出部が、上記類被写体形状を抽出するにあたり、この類被写体形状が抽出対象の被写体である可能性の程度を表す評価値を求め、抽出対象の被写体の、抽出からの洩れを許容して設定された閾値よりも抽出対象の被写体である可能性がさらに高いことを表す評価値が得られた類被写体形状のみを抽出するものであることがさらに好ましい。

ここで、上記抽出部の目的は、抽出対象の被写体を確実に抽出することではなく、抽出対象の被写体であることが分かっているもののみを抽出することにある。そして、このような好ましい形態によれば、抽出対象の被写体である可能性が低いものが排除されるため、背景領域を高精度に認識することができる。

また、本発明の背景領域認識装置は、
「上記カメラが、撮影方向の変更が可能なカメラであって、
複数の撮影方向それぞれでの撮影で得られた背景領域を統合することにより、これら複数の撮影方向の画角を繋げた画角内の背景領域を認識する統合部をさらに備えた」
ことが好ましい。

このような好ましい形態によれば、上記カメラが、撮影方向の変更が可能なカメラであるときに、背景領域を認識することができる。

また、本発明の背景領域認識装置は、
「上記カメラが、焦点距離可変なカメラであって、
複数の焦点距離それぞれでの撮影で得られた背景領域を統合することにより、上記カメラの最広角の画角内の背景領域を認識する統合部をさらに備えた」
ことも好ましい形態である。

このような好ましい形態によれば、上記カメラが、焦点距離可変なカメラであるときに、背景領域を認識することができる。

また、本発明の背景領域認識装置は、上記背景領域認識部で認識された背景領域を出力する出力部をさらに備えたことが好ましい。

このような好ましい形態によれば、出力された背景領域を参照して目視確認することができる。

さらに、本発明の背景領域認識装置は、上記背景領域が一旦認識された後においても、上記画像取得部に画像を取得させ、新たに取得した画像について、上記抽出部、上記フィルタリング部、被写体出現領域認識部を作用させて、上記背景領域認識部に、この新たな画像から抽出した上記特定種類の被写体の情報を新たに加えて上記背景領域を更新させる更新制御部を備えたことも好ましい形態である。

このような好ましい形態によれば、例えば模様替えされたとしても、背景領域６２２が更新され、新たに装置を用意することなく、カメラで被写界を繰り返し撮影するなかで、最新の背景領域が得られる。

また、上記目的を達成する本発明の背景領域認識プログラムは、
コンピュータ内で実行され、このコンピュータを、固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の出現領域を除く背景領域を認識する背景領域認識装置として動作させる背景領域認識プログラムであって、
上記コンピュータを、
上記カメラから上記複数枚の画像を取得する画像取得部と、
上記画像取得部で取得した複数枚の画像から、上記特定種類の被写体に類似した類被写体形状を、当該カメラの画角上の位置情報を伴って抽出する抽出部と、
上記抽出部で抽出された類被写体形状が特定種類の被写体であるか否かを判定してこの特定種類の被写体を抽出するフィルタリング部と、
上記フィルタリング部で抽出された被写体についての出現領域を、上記抽出部で抽出された当該カメラの画角上の位置情報に基づいて認識する被写体出現領域認識部と、
当該カメラの画角上の、上記被写体出現領域認識部で認識された出現領域を除く領域を背景領域として認識する背景領域認識部とを有する背景領域認識装置として動作させることを特徴とする。

本発明の背景領域認識プログラムは、この背景領域認識プログラムをコンピュータにインストールして動作させたときに、そのコンピュータが本発明の背景領域認識装置として動作するように構成されたものであり、この背景領域認識プログラムには、その背景領域認識装置の各種態様に対応する全ての態様が含まれる。

また、本発明の背景領域認識プログラムを構成する画像取得部などといった構成要素は、１つの構成要素の機能が１つのプログラム部品によって担われるものであってもよく、１つの構成要素の機能が複数のプログラム部品によって担われるものであってもよく、複数の構成要素の機能が１つのプログラム部品によって担われるものであってもよい。また、これらの構成要素は、そのような作用を自分自身で実行するものであってもよく、あるいは、コンピュータに組み込まれている他のプログラムやプログラム部品に指示を与えて実行させるものであっても良い。

なお、本発明の背景領域認識装置と背景領域認識プログラムとで、それぞれ構成要素に同じ名前を付したが、それらの構成要素は、背景領域認識装置ではハードウェアおよびソフトウェアを意味し、背景領域認識プログラムではソフトウェアのみを意味する。

本発明によれば、認識しようとする背景以外のものの存在にかかわらず背景を認識することが簡易な装置で実現可能な背景領域認識方法、背景領域認識装置、およびコンピュータをそのような背景領域認識装置として動作させる背景領域認識プログラムが提供される。

以下、図面を参照して本発明の実施の形態を説明する。

図１は、本発明の背景領域認識装置の第１実施形態が組み込まれた監視カメラシステム１の概略構成図である。

図１に示す監視カメラシステム１の概略構成図には、監視カメラ１０と、インターネット２０と、パーソナルコンピュータ３０とが示されている。

監視カメラ１０は、例えば銀行の天井に固定的に設置されたものであって、銀行内の様子を、天井から銀行内を斜め下に見下ろすように撮影するものである。また、この監視カメラ１０は、首振り機能を有する、撮影方向の変更が可能な監視カメラであり、さらには、ズーム機能を有する、焦点距離可変な監視カメラでもある。そして、この監視カメラ１０は、インターネット２０に接続されており、ネットワーク通信を介して、パーソナルコンピュータ３０へ動画像を表す画像データを送信する。尚、図１に１つのブロックで示した監視カメラ１０は、１台の監視カメラであってもよいが、ここでは、複数台の監視カメラを表している。また、この監視カメラ１０は、天井から銀行内を斜め下に見下ろすように撮影するカメラであるが、本発明にいうカメラは、これに限られるものではなく、固定的に設置された、被写界を繰り返し撮影するカメラであれば、設置位置や設置角度は問わない。

パーソナルコンピュータ３０は、インターネット２０に接続されており、ネットワーク通信を介して、監視カメラ１０から送信される画像データを受け取る。また、このパーソナルコンピュータ３０は、監視カメラ１０で撮影された動画像を一括管理するものである。ここで、人物の頭部の上半部分の輪郭は、半円形に類似した類半円形状を有する。そして、このパーソナルコンピュータ３０は、本発明の背景領域認識方法の第１実施形態を実現するための、本発明の背景領域認識装置の第１実施形態であって、固定的に設置された監視カメラ１０で被写界を繰り返し撮影して得られた動画像を構成する複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する、上半部分の輪郭が類半円形状を有する人物の頭部の出現領域を除く背景領域を認識する機能を有するものである。

ここで、監視カメラ１０は本発明の主題ではないため詳細な説明を省略し、以下では、本発明の背景領域認識装置の第１実施形態として動作して、上記背景領域を認識するパーソナルコンピュータ３０についてさらに説明する。

図２は、図１に１つのブロックで示すパーソナルコンピュータ３０の外観斜視図、図３は、そのパーソナルコンピュータ３０のハードウェア構成図である。

ここでは、このパーソナルコンピュータ３０のハードウェアおよびＯＳ（Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ）と、このパーソナルコンピュータ３０にインストールされて実行される背景領域認識プログラムとにより、本発明の背景領域認識装置の第１実施形態が構成されている。

このパーソナルコンピュータ３０は、外観構成上、本体装置３１、その本体装置３１からの指示に応じて表示画面３２ａ上に画像を表示する画像表示装置３２、本体装置３１に、キー操作に応じた各種の情報を入力するキーボード３３、および、表示画面３２ａ上の任意の位置を指定することにより、その指定時にその位置に表示されていた、例えばアイコン等に応じた指示を入力するマウス３４を備えている。この本体装置３１は、外観上、フレキシブルディスク（ＦＤ）を装填するためのＦＤ装填口３１ａ、およびＣＤ−ＲＯＭを装填するためのＣＤ−ＲＯＭ装填口３１ｂを有する。

本体装置３１の内部には、図３に示すように、各種プログラムを実行するＣＰＵ３１１、ハードディスク装置３１３に格納されたプログラムが読み出されＣＰＵ３１１での実行のために展開される主メモリ３１２、各種プログラムやデータ等が保存されたハードディスク装置３１３、ＦＤ１００が装填されその装填されたＦＤ１００をアクセスするＦＤドライブ３１４、ＣＤ−ＲＯＭ１１０が装填され、その装填されたＣＤ−ＲＯＭ１１０をアクセスするＣＤ−ＲＯＭドライブ３１５、および、図１に示すインターネット２０に接続され、監視カメラ１０とのネットワーク通信を制御するネットワーク通信インタフェース３１６が内蔵されており、これらの各種要素と、さらに図２にも示す画像表示装置３２、キーボード３３、マウス３４は、バス３５を介して相互に接続されている。

ここで、ＣＤ−ＲＯＭ１１０には、このパーソナルコンピュータ３０を背景領域認識装置として動作させるための背景領域認識プログラムが記憶されており、そのＣＤ−ＲＯＭ１１０はＣＤ−ＲＯＭドライブ３１５に装填され、そのＣＤ−ＲＯＭ１１０に記憶された背景領域認識プログラムがこのパーソナルコンピュータ３０にアップロードされてハードディスク装置３１３に記憶される。

先ず、ＣＤ−ＲＯＭ１１０に記憶された背景領域認識プログラムがパーソナルコンピュータ３０にアップロードされてハードディスク装置３１３に記憶され、このパーソナルコンピュータ３０が背景領域認識装置として動作する第１実施形態を説明する。

図４は、本発明の背景領域認識方法の第１実施形態を示すフローチャートである。

この背景領域認識方法は、固定的に設置された監視カメラ１０で被写界を繰り返し撮影して得られた動画像を構成する複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する、上半部分の輪郭が類半円形状を有する人物の頭部の出現領域を除く背景領域を認識する背景領域認識方法であり、画像取得ステップ（ステップＳ１１）と、抽出ステップ（ステップＳ１２）と、フィルタリングステップ（ステップＳ１３）と、被写体出現領域認識ステップ（ステップＳ１４）と、背景領域認識ステップ（ステップＳ１５）と、第１の統合ステップ（ステップＳ１６）と、第２の統合ステップ（ステップＳ１７）とから構成されている。

図４に示す背景領域認識方法の各ステップの詳細については後述する。

図５は、本発明の背景領域認識プログラムの第１実施形態を示した図である。

この図５に示す背景領域認識プログラム４００は、図３に示すＣＤ−ＲＯＭ１１０に記憶されている。

この背景領域認識プログラム４００は、図１，図２，図３に示すパーソナルコンピュータ３０内で実行され、そのパーソナルコンピュータ３０を、固定的に設置された監視カメラ１０で被写界を繰り返し撮影して得られた複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する、上半部分の輪郭が類半円形状を有する人物の頭部の出現領域を除く背景領域を認識する、本発明の背景領域認識装置の第１実施形態として動作させるものである。この背景領域認識プログラム４００は、画像取得部４１０と、抽出部４２０と、フィルタリング部４３０と、被写体出現領域認識部４４０と、背景領域認識部４５０と、第１の統合部４６１と、第２の統合部４６２と、出力部４７０と、更新制御部４８０とから構成されている。

この背景領域認識プログラム４００によって構築される各プログラム部品のうちの、出力部４７０および更新制御部４８０を除く、画像取得部４１０、抽出部４２０、フィルタリング部４３０、被写体出現領域認識部４４０、背景領域認識部４５０、第１の統合部４６１、および第２の統合部４６２の各プログラム部品は、それぞれ、この背景領域認識プログラム４００が図１，図２，図３に示すパーソナルコンピュータ３０にインストールされて実行されたときに、図４に示す背景領域認識方法の画像取得ステップ（ステップＳ１１）、抽出ステップ（ステップＳ１２）、フィルタリングステップ（ステップＳ１３）、被写体出現領域認識ステップ（ステップＳ１４）、背景領域認識ステップ（ステップＳ１５）、第１の統合ステップ（ステップＳ１６）、および第２の統合ステップ（ステップＳ１７）の各ステップを実行するプログラム部品である。

この背景領域認識プログラム４００の各要素の作用については後述する。

図６は、本発明の背景領域認識装置の第１実施形態を示す機能ブロック図である。

この図６に示す背景領域認識装置５００は、図１，図２，図３に示すパーソナルコンピュータ３０に、図５に示す背景領域認識プログラム４００がローディングされ、その背景領域認識プログラム４００がそのパーソナルコンピュータ３０内で実行されることにより実現される。

この図６に示す背景領域認識装置５００は、固定的に設置された監視カメラ１０で被写界を繰り返し撮影して得られた複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する、上半部分の輪郭が類半円形状を有する人物の頭部の出現領域を除く背景領域を認識するものであって、この背景領域認識装置５００には、画像取得部５１０と、抽出部５２０と、フィルタリング部５３０と、被写体出現領域認識部５４０と、背景領域認識部５５０と、第１の統合部５６１と、第２の統合部５６２と、出力部５７０と、更新制御部５８０とが備えられている。

この背景領域認識装置５００に備えられている画像取得部５１０、抽出部５２０、フィルタリング部５３０、被写体出現領域認識部５４０、背景領域認識部５５０、第１の統合部５６１、第２の統合部５６２、出力部５７０、および更新制御部５８０の各要素は、それぞれ、図５に示す背景領域認識プログラム４００を構成するプログラム部品としての画像取得部４１０、抽出部４２０、フィルタリング部４３０、被写体出現領域認識部４４０、背景領域認識部４５０、第１の統合部４６１、第２の統合部４６２、出力部４７０、および更新制御部４８０の各要素と、それらのプログラム部品の各機能を実現するために必要な、図１，図２，図３に示すパーソナルコンピュータ３０のハードウェアとＯＳ（Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ）やアプリケーションプログラムとの組み合わせから構成されている。

次に、図４に示す背景領域認識方法の各ステップ、図５に示す背景領域認識プログラム４００の各プログラム部品、および図６に示す背景領域認識装置５００の各要素について説明する。

尚、図４に示す背景領域認識方法の画像取得ステップ（ステップＳ１１）、抽出ステップ（ステップＳ１２）、フィルタリングステップ（ステップＳ１３）、被写体出現領域認識ステップ（ステップＳ１４）、背景領域認識ステップ（ステップＳ１５）、第１の統合ステップ（ステップＳ１６）、および第２の統合ステップ（ステップＳ１７）の各ステップは、図６に示す背景領域認識装置５００に備えられている各要素のうちの、出力部５７０および更新制御部５８０を除く、画像取得部５１０、抽出部５２０、フィルタリング部５３０、被写体出現領域認識部５４０、背景領域認識部５５０、第１の統合部５６１、および第２の統合部５６２の各要素に一対一に対応している。また、図５に示す背景領域認識プログラム４００の各プログラム部品は、図６に示す背景領域認識装置５００の各要素に一対一に対応している。

そのため、以下、図６に示す背景領域認識装置５００の各要素を取り上げて説明することによって、図４に示す背景領域認識方法の各ステップの説明および図５に示す背景領域認識プログラム４００の各プログラム部品の説明を兼ねるものとする。

なお、ここでは、この背景領域認識装置５００の各要素の概念的な作用について説明し、これら各要素の具体的な作用については後述する。

図６に示す背景領域認識装置５００の画像取得部５１０は、図４に示す背景領域認識方法の画像取得ステップ（ステップＳ１１）に対応する要素であるとともに、アプリケーションソフトウェア上は、図５に示す背景領域認識プログラム４００の画像取得部４１０に対応する要素であり、固定的に設置された監視カメラ１０から、この監視カメラ１０で被写界を繰り返し撮影して得られた複数枚の画像を取得するものである。この画像取得部５１０は、本発明にいう画像取得部の機能の一例を示すものであり、その機能は、図１，図２，図３に示すパーソナルコンピュータ３０の本体装置３１に内蔵された、プログラム部品としての画像取得部４１０（図５参照）を実行するＣＰＵ３１１によって主に実現される。

尚、以下説明する、背景領域認識装置５００の各要素においても、各要素の機能は、図１，図２，図３に示すパーソナルコンピュータ３０の本体装置３１に内蔵されたＣＰＵ３１１によって主に実現されるので、重複説明を避けるため、これら各要素のハードウェア上の説明は省略する。

また、図６に示す背景領域認識装置５００の抽出部５２０は、図４に示す背景領域認識方法の抽出ステップ（ステップＳ１２）に対応する要素であるとともに、アプリケーションソフトウェア上は、図５に示す背景領域認識プログラム４００の抽出部４２０に対応する要素であり、画像取得部５１０で取得した複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する、上半部分の輪郭が類半円形状を有する人物の頭部に類似した類頭部形状を、監視カメラ１０の画角上の位置情報を伴って抽出するものである。そして、この抽出部５２０は、上記類頭部形状を抽出するにあたり、この類頭部形状が抽出対象の頭部である可能性の程度を表す評価値を求め、抽出対象の頭部の、抽出からの洩れを許容して設定された閾値よりも抽出対象の頭部である可能性がさらに高いことを表す評価値が得られた類頭部形状のみを抽出するものである。この抽出部５２０は、本発明にいう抽出部の機能の一例を示すものである。

また、図６に示す背景領域認識装置５００のフィルタリング部５３０は、図４に示す背景領域認識方法のフィルタリングステップ（ステップＳ１３）に対応する要素であるとともに、アプリケーションソフトウェア上は、図５に示す背景領域認識プログラム４００のフィルタリング部４３０に対応する要素であり、抽出部５２０で抽出された類頭部形状が人物の頭部であるか否かを判定して人物の頭部を抽出するものである。そして、このフィルタリング部５３０は、抽出部５２０で抽出された類頭部形状それぞれについて、画角内の当該類頭部形状の周囲に広がる所定寸法のサーチ領域内における他の類頭部形状の個数を計数し、この計数値が閾値以上の場合にのみ当該類頭部形状を上記人物の頭部として抽出するものである。このフィルタリング部５３０は、本発明にいうフィルタリング部の機能の一例を示すものである。

また、図６に示す背景領域認識装置５００の被写体出現領域認識部５４０は、図４に示す背景領域認識方法の被写体出現領域認識ステップ（ステップＳ１４）に対応する要素であるとともに、アプリケーションソフトウェア上は、図５に示す背景領域認識プログラム４００の被写体出現領域認識部４４０に対応する要素であり、フィルタリング部５３０で抽出された頭部についての二次元的な出現領域を、抽出部５２０で抽出された監視カメラ１０の画角上の位置情報に基づいて認識するものである。この被写体出現領域認識部５４０は、本発明にいう被写体出現領域認識部の機能の一例を示すものである。

また、図６に示す背景領域認識装置５００の背景領域認識部５５０は、図４に示す背景領域認識方法の背景領域認識ステップ（ステップＳ１５）に対応する要素であるとともに、アプリケーションソフトウェア上は、図５に示す背景領域認識プログラム４００の背景領域認識部４５０に対応する要素であり、監視カメラ１０の画角上の、被写体出現領域認識部５４０で認識された二次元的な出現領域を除く二次元的な領域を二次元的な背景領域として認識するものである。この背景領域認識部５５０は、本発明にいう背景領域認識部の機能の一例を示すものである。

また、図６に示す背景領域認識装置５００の第１の統合部５６１は、図４に示す背景領域認識方法の第１の統合ステップ（ステップＳ１６）に対応する要素であるとともに、アプリケーションソフトウェア上は、図５に示す背景領域認識プログラム４００の第１の統合部４６１に対応する要素であり、複数の撮影方向それぞれでの撮影で得られた背景領域を統合することにより、これら複数の撮影方向の画角を繋げた画角内の背景領域を認識するものである。この第１の統合部５６１は、本発明にいう統合部の機能の一例を示すものである。

また、図６に示す背景領域認識装置５００の第２の統合部５６２は、図４に示す背景領域認識方法の第２の統合ステップ（ステップＳ１７）に対応する要素であるとともに、アプリケーションソフトウェア上は、図５に示す背景領域認識プログラム４００の第２の統合部４６２に対応する要素であり、複数の焦点距離それぞれでの撮影で得られた背景領域を統合することにより、監視カメラ１０の最広角の画角内の背景領域を認識するものである。この第２の統合部５６２は、本発明にいう統合部の機能の一例を示すものである。

また、図６に示す背景領域認識装置５００の出力部５７０は、アプリケーションソフトウェア上は、図５に示す背景領域認識プログラム４００の出力部４７０に対応する要素であり、背景領域認識部５５０で認識された背景領域を出力するものである。この出力部５７０は、本発明にいう出力部の機能の一例を示すものである。

また、図６に示す背景領域認識装置５００の更新制御部５８０は、アプリケーションソフトウェア上は、図５に示す背景領域認識プログラム４００の更新制御部４８０に対応する要素であり、上記背景領域が一旦認識された後においても、画像取得部５１０に画像を取得させ、新たに取得した画像について、抽出部５２０、フィルタリング部５３０、被写体出現領域認識部５４０を作用させて、背景領域認識部５５０に、この新たな画像から抽出した上記人物の頭部の情報を新たに加えて上記背景領域を更新させるものである。この更新制御部５８０は、本発明にいう更新制御部の機能の一例を示すものである。

以下、本発明の背景領域認識装置の第１実施形態をさらに具体的に説明する。

図７は、画像取得部５１０によって取得された画像の一例を示す図である。

図７に示す画像６０は、銀行の天井に固定的に設置され、インターネット２０に接続された監視カメラ１０で、銀行内の様子を、天井から銀行内を斜め下に見下ろすように撮影され、ネットワーク通信を介して監視カメラ１０からパーソナルコンピュータ３０に送信された画像データにより表わされる動画像の１コマを表す画像である。つまり、この画像６０は、パーソナルコンピュータ３０内で背景領域認識プログラム４００が実行されることにより実現される背景領域認識装置５００に備えられている画像取得部５１０によって取得された、監視カメラ１０で被写界を繰り返し撮影して得られた複数枚の画像のうちの、１つの画像である。

次に、図８〜図１６を参照して、背景領域認識装置５００に備えられている抽出部５２０について説明する。

図８は、図７に示す画像６０を表現する複数の画素のうちの注目画素Ｐと評価画素Ｑ１〜Ｑ１６と勾配算出画素Ｒ１〜Ｒ１６とを示す概念図である。

図８には、図７に示す画像６０を表現する複数の画素のうちの１つの画素である注目画素Ｐと、この注目画素Ｐを中心とした円に沿って等間隔に配列されて注目画素Ｐを取り巻く１６個の評価画素Ｑ１〜Ｑ１６とが示されている。また、図８には、１６個の評価画素Ｑ１〜Ｑ１６のうちの１つの評価画素Ｑ１を中心とした円に沿って等間隔に配列されて評価画素Ｑ１を取り巻く１６個の勾配算出画素Ｒ１〜Ｒ１６が示されている。

まず、図７に示す画像６０の全域に亘る評価画素それぞれが所定の注目画素を中心とした１８０°の半円上の画素であるか否かを評価する画素評価値をその評価画素それぞれについて算出するにあたり、評価画素Ｑ１〜Ｑ１６それぞれについて、画像６０上の輝度値が変化している勾配方向を算出する。また、図８に示す円とは半径の異なる注目画素Ｐを中心とした円に沿って配列されて注目画素Ｐを取り巻く評価画素や、図８に示す注目画素Ｐとは異なる位置の、図７に示す画像６０を表現する複数の画素のうちの１つの画素画素を注目画素としたときの、この注目画素を取り巻く評価画素についても、この評価画素それぞれについて、画像６０上の輝度値が変化している勾配方向を算出する。このようにして、図７に示す画像６０の全域に亘る評価画素それぞれについての勾配方向を算出する。尚、ここでは、図８に示す注目画素Ｐを中心とした円に沿って配列されて注目画素Ｐを取り巻く１６個の評価画素Ｑ１〜Ｑ１６のうちの１つの評価画素Ｑ１についての勾配方向の算出について説明する。

評価画素Ｑ１の輝度値と、評価画素Ｑ１を一周に渡って取り巻く１６個の勾配算出画素Ｒ１〜Ｒ１６それぞれの輝度値との各差分に基づく各勾配値を算出する。

図９は、１６個の勾配算出画素Ｒ１〜Ｒ１６それぞれに対応する各勾配値をこれら１６個の勾配算出画素Ｒ１〜Ｒ１６が評価画素Ｑ１を一周に渡って取り巻く順序に並べたときの勾配値群を示す図である。横軸は勾配算出画素Ｒ１〜Ｒ１６を示し、縦軸は勾配値を示す。

算出された、勾配値群を構成する各勾配値は、図９に示すように、勾配算出画素Ｒ１に対応する勾配値が「２．０」、勾配算出画素Ｒ２に対応する勾配値が「２．０」、勾配算出画素Ｒ３に対応する勾配値が「５．０」、勾配算出画素Ｒ４に対応する勾配値が「１０．０」、勾配算出画素Ｒ５に対応する勾配値が「１１．０」、勾配算出画素Ｒ６に対応する勾配値が「１４．０」、勾配算出画素Ｒ７に対応する勾配値が「１２．０」、勾配算出画素Ｒ８に対応する勾配値が「１５．０」、勾配算出画素Ｒ９に対応する勾配値が「２２．０」、勾配算出画素Ｒ１０に対応する勾配値が「１２．０」、勾配算出画素Ｒ１１に対応する勾配値が「７．０」、勾配算出画素Ｒ１２に対応する勾配値が「１２．０」、勾配算出画素Ｒ１３に対応する勾配値が「９．０」、勾配算出画素Ｒ１４に対応する勾配値が「１．０」、勾配算出画素Ｒ１５に対応する勾配値が「１．０」、勾配算出画素Ｒ１６に対応する勾配値が「３．０」である。

ここで、算出された各勾配値のノイズを除去するために、図９に示す勾配値群に平滑化処理を施すことにより平滑化勾配値群を生成する。

ここでは、平滑化処理として、高値抑制処理、雑音を抑制するための移動平均処理（以下、この移動平均処理を第１の移動平均処理と称する）、量子化処理、および唯一の最大の値を持つ平滑化勾配値を出現させるための移動平均処理（以下、この移動平均処理を第２の移動平均処理と称する）を順次施す。

図１０は、図９に示す勾配値群に高値抑制処理を施すことにより生成された平滑化勾配値群を示す図である。横軸は勾配算出画素Ｒ１〜Ｒ１６を示し、縦軸は勾配値を示す。

ここでは、高値抑制処理を施すにあたっての勾配値の閾値として閾値「１６．０」が設定されている。図９に示す勾配値群を構成する各勾配値のうちの閾値として設定された「１６．０」を超える勾配値をこの閾値「１６．０」に置き換えることにより、新たな平滑化勾配値群を生成する。ここでは、勾配算出画素Ｒ９に対応する勾配値が閾値「１６．０」を超える勾配値であることから、勾配算出画素Ｒ９に対応する勾配値「２２．０」を平滑化勾配値「１６．０」に置き換える。生成された平滑化勾配値群を構成する各平滑化勾配値は、図１０に示すように、勾配算出画素Ｒ１に対応する平滑化勾配値が「２．０」、勾配算出画素Ｒ２に対応する平滑化勾配値が「２．０」、勾配算出画素Ｒ３に対応する平滑化勾配値が「５．０」、勾配算出画素Ｒ４に対応する平滑化勾配値が「１０．０」、勾配算出画素Ｒ５に対応する平滑化勾配値が「１１．０」、勾配算出画素Ｒ６に対応する平滑化勾配値が「１４．０」、勾配算出画素Ｒ７に対応する平滑化勾配値が「１２．０」、勾配算出画素Ｒ８に対応する平滑化勾配値が「１５．０」、勾配算出画素Ｒ９に対応する平滑化勾配値が「１６．０」、勾配算出画素Ｒ１０に対応する平滑化勾配値が「１２．０」、勾配算出画素Ｒ１１に対応する平滑化勾配値が「７．０」、勾配算出画素Ｒ１２に対応する平滑化勾配値が「１２．０」、勾配算出画素Ｒ１３に対応する平滑化勾配値が「９．０」、勾配算出画素Ｒ１４に対応する平滑化勾配値が「１．０」、勾配算出画素Ｒ１５に対応する平滑化勾配値が「１．０」、勾配算出画素Ｒ１６に対応する平滑化勾配値が「３．０」である。

図１１は、図１０に示す平滑化勾配値群に第１の移動平均処理を施すことにより生成された平滑化勾配値群を示す図である。横軸は勾配算出画素Ｒ１〜Ｒ１６を示し、縦軸は勾配値を示す。

高値抑制処理が施された後の平滑化勾配値群に、第１の移動平均処理を施すことにより、新たな平滑化勾配値群を生成する。ここでは、移動平均を行なうとする勾配算出画素に対し、前後１つの平滑化勾配値、合計、その勾配算出画素に対応する平滑化勾配値を含め３つの平滑化勾配値とし、これら３つの平滑化勾配値の平均を求める。尚、上述したように、平滑化処理は、１６個の勾配算出画素Ｒ１〜Ｒ１６それぞれに対応する各勾配値をこれら１６個の勾配算出画素Ｒ１〜Ｒ１６が評価画素Ｑ１を一周に渡って取り巻く順序に並べたときの勾配値群に施す処理であることから、勾配算出画素Ｒ１の前後１つの平滑化勾配値は、勾配算出画素Ｒ１６に対応する平滑化勾配値と勾配算出画素Ｒ２に対応する平滑化勾配値である。同様に、勾配算出画素Ｒ１６の前後１つの平滑化勾配値は、勾配算出画素Ｒ１５に対応する平滑化勾配値と勾配算出画素Ｒ１に対応する平滑化勾配値である。生成された平滑化勾配値群を構成する各平滑化勾配値は、図１１に示すように、勾配算出画素Ｒ１に対応する平滑化勾配値が「２．３」、勾配算出画素Ｒ２に対応する平滑化勾配値が「３．０」、勾配算出画素Ｒ３に対応する平滑化勾配値が「５．７」、勾配算出画素Ｒ４に対応する平滑化勾配値が「８．７」、勾配算出画素Ｒ５に対応する平滑化勾配値が「１１．７」、勾配算出画素Ｒ６に対応する平滑化勾配値が「１２．３」、勾配算出画素Ｒ７に対応する平滑化勾配値が「１３．７」、勾配算出画素Ｒ８に対応する平滑化勾配値が「１４．３」、勾配算出画素Ｒ９に対応する平滑化勾配値が「１４．３」、勾配算出画素Ｒ１０に対応する平滑化勾配値が「１１．７」、勾配算出画素Ｒ１１に対応する平滑化勾配値が「１０．３」、勾配算出画素Ｒ１２に対応する平滑化勾配値が「９．３」、勾配算出画素Ｒ１３に対応する平滑化勾配値が「７．３」、勾配算出画素Ｒ１４に対応する平滑化勾配値が「３．７」、勾配算出画素Ｒ１５に対応する平滑化勾配値が「１．７」、勾配算出画素Ｒ１６に対応する平滑化勾配値が「２．０」である。

図１２は、図１１に示す平滑化勾配値群に量子化処理を施すことにより生成された平滑化勾配値群を示す図である。横軸は勾配算出画素Ｒ１〜Ｒ１６を示し、縦軸は勾配値を示す。

第１の移動平均処理が施された後の平滑化勾配値群を構成する各平滑化勾配値を、この各平滑化勾配値に近似した値を有する、離散的に設定された複数の平滑化勾配値のうちのいずれかの平滑化勾配値に置き換えることにより、新たな平滑化勾配値群を生成する。ここでは、第１の移動平均処理が施された後の平滑化勾配値群を構成する平滑化勾配値が０より大きく４以下の場合は「２」に置き換え、その平滑化勾配値が４より大きく８以下の場合は「６」に置き換え、その平滑化勾配値が８より大きく１２以下の場合は「１０」に置き換え、その平滑化勾配値が１２より大きく１６以下の場合は「１４」に置き換える。生成された平滑化勾配値群を構成する各平滑化勾配値は、図１２に示すように、勾配算出画素Ｒ１に対応する平滑化勾配値が「２．０」、勾配算出画素Ｒ２に対応する平滑化勾配値が「２．０」、勾配算出画素Ｒ３に対応する平滑化勾配値が「６．０」、勾配算出画素Ｒ４に対応する平滑化勾配値が「１０．０」、勾配算出画素Ｒ５に対応する平滑化勾配値が「１０．０」、勾配算出画素Ｒ６に対応する平滑化勾配値が「１４．０」、勾配算出画素Ｒ７に対応する平滑化勾配値が「１４．０」、勾配算出画素Ｒ８に対応する平滑化勾配値が「１４．０」、勾配算出画素Ｒ９に対応する平滑化勾配値が「１４．０」、勾配算出画素Ｒ１０に対応する平滑化勾配値が「１０．０」、勾配算出画素Ｒ１１に対応する平滑化勾配値が「１０．０」、勾配算出画素Ｒ１２に対応する平滑化勾配値が「１０．０」、勾配算出画素Ｒ１３に対応する平滑化勾配値が「６．０」、勾配算出画素Ｒ１４に対応する平滑化勾配値が「２．０」、勾配算出画素Ｒ１５に対応する平滑化勾配値が「２．０」、勾配算出画素Ｒ１６に対応する平滑化勾配値が「２．０」である。

図１３は、図１２に示す平滑化勾配値群に第２の移動平均処理を施すことにより生成された平滑化勾配値群を示す図である。横軸は勾配算出画素Ｒ１〜Ｒ１６を示し、縦軸は勾配値を示す。

量子化処理が施された後の平滑化勾配値群に、第２の移動平均処理を施すことにより、新たな平滑化勾配値群を生成する。ここでは、移動平均を行なうとする勾配算出画素に対し、前後４つの平滑化勾配値、合計、その勾配算出画素に対応する平滑化勾配値を含め９つの平滑化勾配値とし、これら９つの平滑化勾配値の平均を求める。尚、上述したように、平滑化処理は、１６個の勾配算出画素Ｒ１〜Ｒ１６それぞれに対応する各勾配値をこれら１６個の勾配算出画素Ｒ１〜Ｒ１６が評価画素Ｑ１を一周に渡って取り巻く順序に並べたときの勾配値群に施す処理であることから、勾配算出画素Ｒ１の前後４つの平滑化勾配値は、勾配算出画素Ｒ１３〜Ｒ１６に対応する各平滑化勾配値と勾配算出画素Ｒ２〜Ｒ５に対応する各平滑化勾配値である。同様に、勾配算出画素Ｒ１６の前後４つの平滑化勾配値は、勾配算出画素Ｒ１２〜Ｒ１５に対応する各平滑化勾配値と勾配算出画素Ｒ１〜Ｒ４に対応する各平滑化勾配値である。生成された平滑化勾配値群を構成する各平滑化勾配値は、図１３に示すように、勾配算出画素Ｒ１に対応する平滑化勾配値が「４．７」、勾配算出画素Ｒ２に対応する平滑化勾配値が「５．６」、勾配算出画素Ｒ３に対応する平滑化勾配値が「６．９」、勾配算出画素Ｒ４に対応する平滑化勾配値が「８．２」、勾配算出画素Ｒ５に対応する平滑化勾配値が「９．６」、勾配算出画素Ｒ６に対応する平滑化勾配値が「１０．４」、勾配算出画素Ｒ７に対応する平滑化勾配値が「１１．３」、勾配算出画素Ｒ８に対応する平滑化勾配値が「１１．８」、勾配算出画素Ｒ９に対応する平滑化勾配値が「１１．３」、勾配算出画素Ｒ１０に対応する平滑化勾配値が「１０．４」、勾配算出画素Ｒ１１に対応する平滑化勾配値が「９．１」、勾配算出画素Ｒ１２に対応する平滑化勾配値が「７．８」、勾配算出画素Ｒ１３に対応する平滑化勾配値が「６．４」、勾配算出画素Ｒ１４に対応する平滑化勾配値が「５．１」、勾配算出画素Ｒ１５に対応する平滑化勾配値が「４．７」、勾配算出画素Ｒ１６に対応する平滑化勾配値が「４．７」である。このように、第２の移動平均処理が施されることによって、唯一の最大の値を持つ平滑化勾配値として、勾配算出画素Ｒ８に対応する平滑化勾配値「１１．８」が得られる。

図１４は、評価画素Ｑ１についての勾配方向を示す図である。また、図１５は、図７に示す画像６０の全域に亘る評価画素それぞれについて算出された勾配方向を示す図である。

評価画素Ｑ１と、評価画素Ｑ１を一周に渡って取り巻く１６個の勾配算出画素Ｒ１〜Ｒ１６のうちの、第２の移動平均処理が施された後の平滑化勾配値群の中の最大の平滑化勾配値「１１．８」に対応する勾配値算出画素Ｒ８とを結ぶ、図１４に矢印Ｖで示す方向を、評価画素Ｑ１についての勾配方向Ｖとして決定する。

尚、上述したように、ここでは図８に示す注目画素Ｐを中心とした円に沿って配列されて注目画素Ｐを取り巻く１６個の評価画素Ｑ１〜Ｑ１６のうちの１つの評価画素Ｑ１についての勾配方向Ｖの算出について説明したが、図８に示す他の評価画素Ｑ２〜Ｑ１６についても、図８〜図１４を参照して説明した評価画素Ｑ１についての勾配方向Ｖの算出と同様にして勾配方向を算出する。また、図８に示す円とは半径の異なる注目画素Ｐを中心とした円に沿って配列されて注目画素Ｐを取り巻く評価画素や、図８に示す注目画素Ｐとは異なる位置の、図７に示す画像６０を表現する複数の画素のうちの１つの画素画素を注目画素としたときの、この注目画素を取り巻く評価画素についても、図８〜図１４を参照して説明した勾配方向Ｖの算出と同様にして勾配方向を算出する。図１５には、このようにして算出した、図７に示す画像６０の全域に亘る評価画素それぞれについての勾配方向が示されている。

次に、図７に示す画像６０の全域に亘る評価画素それぞれについて、当該評価画素と所定の注目画素とを結ぶ方向と、算出された勾配方向との成す角度に基づいた画素評価値を算出する。この画素評価値は、上述したように、図７に示す画像６０の全域に亘る評価画素それぞれが所定の注目画素を中心とした１８０°の半円上の画素であるか否かを評価するものである。尚、ここでは、この画素評価値として、上記角度のうちの「０°以上９０°以下の角度」を画素評価値としている。従って、画素評価値が「０」に近い値であるほどその画素評価値を有する評価画素の勾配方向が所定の注目画素を向く方向であることとなる。

図１６は、テーブル７０の一例を示す図である。

このような画素評価値を算出するにあたり、複数の注目画素および複数の評価画素に共通の、注目画素から見たときの評価画素の方向を表す第１の値と、評価画素の勾配方向を表す第２の値との双方と、当該評価画素の画素評価値とを対応付けたテーブル７０を記憶しておく。尚、テーブル７０の記憶は、後述する具体的な評価画素の画素評価値を求める前に記憶されていればよく、勾配方向の算出前に記憶されていても算出後に記憶されていてもよい。

図１６に示すテーブル７０では、図８における、注目画素Ｐから各評価画素Ｑ１〜Ｑ１６に向かう１６方向を、「ＰＱ１、ＰＱ２、ＰＱ３、ＰＱ４、ＰＱ５、ＰＱ６、ＰＱ７、ＰＱ８、ＰＱ９、ＰＱ１０、ＰＱ１１、ＰＱ１２、ＰＱ１３、ＰＱ１４、ＰＱ１５、ＰＱ１６」と表し、これらが、注目画素から見たときの評価画素の方向を表す第１の値とされている。また、図８における、評価画素Ｑ１から各勾配算出画素Ｒ１〜Ｒ１６に向かう１６方向を、「ＱＲ１、ＱＲ２、ＱＲ３、ＱＲ４、ＱＲ５、ＱＲ６、ＱＲ７、ＱＲ８、ＱＲ９、ＱＲ１０、ＱＲ１１、ＱＲ１２、ＱＲ１３、ＱＲ１４、ＱＲ１５、ＱＲ１６」と表し、これらが、評価画素の勾配方向を表す第２の値とされている。また、図１６に示すテーブル７０では、第１の値と第２の値との双方と、当該評価画素の画素評価値である上記「０°以上９０°以下の角度」とが対応付けられている。尚、図１６に示すテーブル７０には、この画素評価値のうちの一部の画素評価値が示されており、実際に記憶されたテーブル７０は、第１の値と第２の値との双方に対応付けられた全ての画素評価値を有する。

具体的な注目画素から具体的な評価画素を見たときの当該評価画素の方向を表す具体的な第１の値と当該評価画素の勾配方向を表す具体的な第２の値との双方に基づいて、図１６に示すテーブル７０から、当該評価画素の画素評価値を求める。

例えば、図８〜図１４を参照して説明した評価画素Ｑ１についての勾配方向Ｖの場合は、図１４に示すように、第１の値が「ＰＱ１」であり、第２の値が「ＱＲ８」である。この具体的な第１の値と第２の値との双方に基づいて、図１６に示すテーブル７０から、評価画素Ｑ１の画素評価値が「２２．５」であると求められる。

図８に示す他の評価画素Ｑ２〜Ｑ１６についても、図１６に示すテーブル７０からそれぞれの画素評価値を求める。

次に、図８に示す円に重なる１８０°の半円上の複数の評価画素、例えば評価画素Ｑ１〜Ｑ９に対応する複数の画素評価値を総合して、その１８０°の半円が類半円形状に対応する１８０°の半円であるか否かを評価する総合評価値を算出する処理を、その円との重なりの位相が異なる複数の１８０°の半円について実行する。ここでは、上記複数の画素評価値の平均値を総合評価値としている。また、図８に示す円とは半径の異なる注目画素Ｐを中心とした円に沿って配列されて注目画素Ｐを取り巻く評価画素や、図８に示す注目画素Ｐとは異なる位置の、図７に示す画像６０を表現する複数の画素のうちの１つの画素画素を注目画素としたときの、この注目画素を取り巻く評価画素についても、総合評価値を算出する。

次に、上記複数の１８０°の半円に対応する複数の総合評価値を相互に比較して、上記複数の１８０°の半円の中から、類半円形状に最も近いことを表す総合評価値が対応付けられた１８０°の半円、つまり、上半部分の輪郭が類半円形状を有する人物の頭部に類似した類頭部形状が抽出対象の頭部である可能性の程度を表す評価値が対応付けられた１８０°の半円を抽出する。尚、上述したように、評価画素と所定の注目画素とを結ぶ方向と、算出された勾配方向との成す角度のうちの「０°以上９０°以下の角度」を画素評価値としたため、上記複数の画素評価値の平均値である総合評価値が「０」に近い値であるほど、この総合評価値が対応付けられた１８０°の半円が類半円形状に最も近いこととなる。そして、１８０°の半円を抽出するにあたっては、抽出からの洩れを許容する閾値が設定されており、この閾値は例えば「３０」である。そして、ここでは、「０〜３０」の範囲内の総合評価値が対応付けられた１８０°の半円、つまり、その閾値「３０」よりも抽出対象の頭部である可能性がさらに高いことを表す評価値が得られた類頭部形状のみを抽出している。このようにして抽出される１８０°の半円が、抽出部５２０で抽出される類頭部形状である。

ここで、抽出部５２０の目的は、抽出対象の頭部を確実に抽出することではなく、抽出対象の頭部であることが分かっているもののみを抽出することにある。そして、このような閾値が設定されていることによって、抽出対象の頭部である可能性が低いものが排除されるため、背景領域を高精度に認識することができる。

また、抽出部５２０は、この類頭部形状を抽出するときに、監視カメラ１０の画角上の位置情報である１８０°の半円の中心座標を伴って抽出する。

尚、図１５に示す勾配方向のうちの太線で示された勾配方向は、抽出された１８０°の半円上の複数の評価画素についての勾配方向を示している。

以上、画像取得部５１０によって取得された複数枚の画像のうちの図７に示す１つの画像６０を例に挙げて、抽出部５２０について、図８〜図１６を参照して説明したが、この抽出部５２０は、画像取得部５１０で取得した複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する類頭部形状を、監視カメラ１０の画角上の位置情報を伴って抽出する。

尚、抽出部５２０による類頭部形状の抽出は、図８〜図１６を参照して説明した手法に限らず、画像取得部５１０で取得した複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する類頭部形状を、監視カメラ１０の画角上の位置情報を伴って抽出することができるような手法であれば、いかなる手法であってもよい。

図１７は、画像取得部５１０によって取得された画像の一例を示す図である。尚、図１７に示す「ａ」，「ｂ」，「ｃ」，「ｄ」については、後述する第２実施形態で説明する。

図１７に示す画像６１は、図７に示す画像と同様に、画像取得部５１０によって取得された、監視カメラ１０で被写界を繰り返し撮影して得られた複数枚の画像のうちの、１つの画像である。そして、この画像６１には、２つのパーテーション６１１，６１２と１つのカウンター６１３とが示されている。

また、図１７において、画像６１に重ねて示した各点は、抽出部５２０によって抽出された類頭部形状の位置情報であって、１８０°の半円の中心座標を表している。また、図１７に示すように、多数の類頭部形状が分布している領域から外れた位置に、２つの類頭部形状「Ａ、Ｂ」が分布している。

ここで、フィルタリング部５３０が、抽出部５２０で抽出された類頭部形状それぞれについて、画角内の当該類頭部形状の周囲に広がる所定寸法のサーチ領域内における他の類頭部形状の個数を計数し、この計数値が閾値「３」以上の場合にのみ、当該類頭部形状が人物の頭部であると判定し、当該類頭部形状を人物の頭部として抽出する。

例えば、フィルタリング部５３０によって、図１７示す２つの類頭部形状「Ａ、Ｂ」が除外され、除外された２つの類頭部形状「Ａ、Ｂ」を除く他の類頭部形状が人物の頭部として抽出される。

このような閾値が設定されていることによって、抽出部５２０で抽出された類頭部形状のうちの誤抽出の可能性が高い類頭部形状が排除されることとなるため、背景領域を高精度に認識することができる。

図１８は、被写体出現領域認識部５４０によって認識された二次元的な出現領域の一例を示す図である。

被写体出現領域認識部５４０が、フィルタリング部５３０で抽出された頭部についての二次元的な出現領域６２１を、抽出部５２０で抽出された監視カメラ１０の画角上の位置情報に基づいて認識する。図１８には、被写体出現領域認識部５４０によって認識された二次元的な出現領域６２１と、この出現領域６２１に重ねて波線で表示した、図１７にも示す画像６１とが示されている。

図１９は、背景領域認識部５５０によって認識され出力部５７０で出力された二次元的な背景領域の一例を示す図である。

背景領域認識部５５０が、監視カメラ１０の画角上の、被写体出現領域認識部５４０で認識された二次元的な出現領域６２１を除く二次元的な領域を二次元的な背景領域６２２として認識する。図１９には、背景領域認識部５５０によって認識された二次元的な背景領域６２２と、この背景領域６２２に重ねて波線で表示した、図１７にも示す画像６１とが示されている。

尚、ここでいう「背景」とは、例えば「ペンを認識することをもって、そのペンを認識すると同時にペン以外の部分からなる背景を認識している」というところの背景などをいい、一般的に「コンテキスト」と称されるものである。

そして、出力部５７０が、背景領域認識部５５０で認識された背景領域を出力する。この図１９に示す背景領域６２２が、出力部５７０によって出力された背景領域の一例である。

このような出力部５７０により、出力された背景領域６２２を参照して目視確認することができる。

そして、図１９に示す背景領域６２２は、具体的には何が存在するかは分からないものの、何かしらの障害物の存在を示す背景領域である。つまり、背景領域認識装置５００は、何かしらの障害物の存在を認識している。

例えば、人物は、パーテーション６１１，６１２やカウンター６１３を除く通路のあるところしか移動することができず、また、監視カメラ１０に対してパーテーション６１１，６１２の背後に位置するような人物は監視カメラ１０に写り込まない。そして、ここでは、背景領域認識部５５０によって、パーテーション６１１，６１２やカウンター６１３の存在が何かしらの障害物の存在を示す背景領域として認識されている。

図２０は、監視カメラ１０による複数の撮影方向それぞれでの撮影を説明する図である。

上述したように、監視カメラ１０は、首振り機能を有する、撮影方向の変更が可能な監視カメラであり、図２０に示すように、監視カメラ１０は、撮影方向それぞれに対応する３つの撮影画角６３１，６３２，６３３を有している。そして、第１の統合部５６１が、３つの撮影画角６３１，６３２，６３３それぞれに対応する３つの撮影方向それぞれでの撮影で得られた背景領域を統合することにより、これら３つの撮影方向の撮影画角６３１，６３２，６３３を繋げた画角６３内の背景領域を認識する。

図２１は、監視カメラ１０による複数の焦点距離それぞれでの撮影を説明する図である。

上述したように、監視カメラ１０は、ズーム機能を有する、焦点距離可変な監視カメラであり、図２１に示すように、監視カメラ１０は、焦点距離それぞれに対応する２つの撮影画角６４１，６４２を有している。そして、第２の統合部５６２が、２つの撮影画角６４１，６４２それぞれに対応する２つの焦点距離それぞれでの撮影で得られた背景領域を統合することにより、監視カメラ１０の最広角の画角である撮影画角６４１内の背景領域を認識する。

また、更新制御部５８０が、上記背景領域６２２が一旦認識された後においても、画像取得部５１０に画像を取得させ、新たに取得した画像について、抽出部５２０、フィルタリング部５３０、被写体出現領域認識部５４０を作用させて、背景領域認識部５５０に、この新たな画像から抽出した上記人物の頭部の情報を新たに加えて上記背景領域６２２を更新させる。

例えば、模様替えによってパーテーション６１１，６１２やカウンター６１３の位置が変更されたり、新たに椅子などが配置されたとしても、このような更新制御部５８０によって、背景領域６２２が更新され、新たに装置を用意することなく、監視カメラ１０で被写界を繰り返し撮影するなかで、最新の背景領域が得られる。

第１実施形態によれば、撮影を続けて頭部検出を行って頭部の二次元的な出現領域を認識し、その二次元的な出現領域に基づいて二次元的な背景領域を、固定的に設置された監視カメラ１０で簡便に認識することができ、使い勝手がよい。

また、固定的に設置された監視カメラ１０で被写界を繰り返し撮影して得られた複数枚の画像中に複数の寸法で繰り返し出現する人物の頭部の存在にかかわらず、背景領域を認識することができる。

以上説明したようにして認識された背景認識は、例えば、監視カメラ１０で被写界を繰り返し撮影して得られた複数枚の画像から人物の頭部を高精度かつ高速に検出する際に有用である。これは、例えば、認識された背景領域に基づいて、監視カメラ１０の画角内の、人物の頭部のこの画角内に出現する頭部出現領域を定義し、監視カメラ１０での新たな撮影により得られた画像中の、定義された頭部出現領域内から、人物の頭部を検出することによって実現することができる。

以上で、本発明の第１実施形態の説明を終了し、本発明の第２実施形態について説明する。

尚、以下説明する第２実施形態は、上述した第１実施形態の抽出ステップ（ステップＳ１２）、抽出部４２０、および抽出部５２０を、第２の抽出ステップ（ステップＳ２２）、第２の抽出部８２０、および第２の抽出部９２０に置き換えたものである。

尚、以下説明する第２実施形態は、上述した第１実施形態のフィルタリングステップ（ステップＳ１３）、フィルタリング部４３０、およびフィルタリング部５３０を、第２のフィルタリングステップ（ステップＳ２３）、第２のフィルタリング部８３０、および第２のフィルタリング部９３０に置き換えたものである。

また、以下説明する第２実施形態は、上述した第１実施形態の被写体出現領域認識ステップ（ステップＳ１４）、被写体出現領域認識部４４０、および被写体出現領域認識部５４０を、第２の被写体出現領域認識ステップ（ステップＳ２４）、第２の被写体出現領域認識部８４０、および第２の被写体出現領域認識部９４０に置き換えたものである。

さらに、以下説明する第２実施形態は、上述した第１実施形態の背景領域認識ステップ（ステップＳ１５）、背景領域認識部４５０、および背景領域認識部５５０を、第２の背景領域認識ステップ（ステップＳ２５）、第２の背景領域認識部８５０、および第２の背景領域認識部９５０に置き換えたものである。

以下、第１実施形態における要素と同じ要素については同じ符号を付して説明を省略し、第１実施形態との相違点についてのみ説明する。

図２２は、本発明の背景領域認識方法の第２実施形態を示すフローチャートである。

この背景領域認識方法は、画像取得ステップ（ステップＳ１１）と、第２の抽出ステップ（ステップＳ２２）と、第２のフィルタリングステップ（ステップＳ２３）と、第２の被写体出現領域認識ステップ（ステップＳ２４）と、第２の背景領域認識ステップ（ステップＳ２５）と、第１の統合ステップ（ステップＳ１６）と、第２の統合ステップ（ステップＳ１７）とから構成されている。

図２２に示す背景領域認識方法の各ステップの詳細については後述する。

図２３は、本発明の背景領域認識プログラムの第２実施形態を示した図である。

この図２３に示す背景領域認識プログラム８００は、図３に示すＣＤ−ＲＯＭ１１０に記憶されている。

この背景領域認識プログラム８００は、図１，図２，図３に示すパーソナルコンピュータ３０内で実行され、そのパーソナルコンピュータ３０を、本発明の背景領域認識装置の第２実施形態として動作させるものである。この背景領域認識プログラム８００は、画像取得部４１０と、第２の抽出部８２０と、第２のフィルタリング部８３０と、第２の被写体出現領域認識部８４０と、第２の背景領域認識部８５０と、第１の統合部４６１と、第２の統合部４６２と、出力部４７０と、更新制御部４８０とから構成されている。

この背景領域認識プログラム８００によって構築される各プログラム部品のうちの、出力部４７０および更新制御部４８０を除く、画像取得部４１０、第２の抽出部８２０、第２のフィルタリング部８３０、第２の被写体出現領域認識部８４０、第２の背景領域認識部８５０、第１の統合部４６１、および第２の統合部４６２の各プログラム部品は、それぞれ、この背景領域認識プログラム８００が図１，図２，図３に示すパーソナルコンピュータ３０にインストールされて実行されたときに、図２２に示す背景領域認識方法の画像取得ステップ（ステップＳ１１）、第２の抽出ステップ（ステップＳ２２）、第２のフィルタリングステップ（ステップＳ２３）、第２の被写体出現領域認識ステップ（ステップＳ２４）、第２の背景領域認識ステップ（ステップＳ２５）、第１の統合ステップ（ステップＳ１６）、および第２の統合ステップ（ステップＳ１７）の各ステップを実行するプログラム部品である。

この背景領域認識プログラム８００の各要素の作用については後述する。

図２４は、本発明の背景領域認識装置の第２実施形態を示す機能ブロック図である。

この図２４に示す背景領域認識装置９００は、図１，図２，図３に示すパーソナルコンピュータ３０に、図２３に示す背景領域認識プログラム８００がローディングされ、その背景領域認識プログラム８００がそのパーソナルコンピュータ３０内で実行されることにより実現される。

この図２４に示す背景領域認識装置９００には、画像取得部５１０と、第２の抽出部９２０と、第２のフィルタリング部９３０と、第２の被写体出現領域認識部９４０と、第２の背景領域認識部９５０と、第１の統合部５６１と、第２の統合部５６２と、出力部５７０と、更新制御部５８０とが備えられている。

この背景領域認識装置９００に備えられている画像取得部５１０、第２の抽出部９２０、第２のフィルタリング部９３０、第２の被写体出現領域認識部９４０、第２の背景領域認識部９５０、第１の統合部５６１、第２の統合部５６２、出力部５７０、および更新制御部５８０の各要素は、それぞれ、図２３に示す背景領域認識プログラム８００を構成するプログラム部品としての画像取得部４１０、第２の抽出部８２０、第２のフィルタリング部８３０、第２の被写体出現領域認識部８４０、第２の背景領域認識部８５０、第１の統合部４６１、第２の統合部４６２、出力部４７０、および更新制御部４８０の各要素と、それらのプログラム部品の各機能を実現するために必要な、図１，図２，図３に示すパーソナルコンピュータ３０のハードウェアとＯＳ（Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ）やアプリケーションプログラムとの組み合わせから構成されている。

次に、図２２に示す背景領域認識方法の各ステップ、図２３に示す背景領域認識プログラム８００の各プログラム部品、および図２４に示す背景領域認識装置９００の各要素について説明する。

尚、図２２に示す背景領域認識方法の画像取得ステップ（ステップＳ１１）、第２の抽出ステップ（ステップＳ２２）、第２のフィルタリングステップ（ステップＳ２３）、第２の被写体出現領域認識ステップ（ステップＳ２４）、第２の背景領域認識ステップ（ステップＳ２５）、第１の統合ステップ（ステップＳ１６）、および第２の統合ステップ（ステップＳ１７）の各ステップは、図２４に示す背景領域認識装置９００に備えられている各要素のうちの、出力部５７０および更新制御部５８０を除く、画像取得部５１０、第２の抽出部９２０、第２のフィルタリング部９３０、第２の被写体出現領域認識部９４０、第２の背景領域認識部９５０、第１の統合部５６１、および第２の統合部５６２の各要素に一対一に対応している。また、図２３に示す背景領域認識プログラム８００の各プログラム部品は、図２４に示す背景領域認識装置９００の各要素に一対一に対応している。

そのため、以下、図２４に示す背景領域認識装置９００の各要素を取り上げて説明することによって、図２２に示す背景領域認識方法の各ステップの説明および図２３に示す背景領域認識プログラム８００の各プログラム部品の説明を兼ねるものとする。

なお、ここでは、この背景領域認識装置９００の各要素の概念的な作用について説明し、これら各要素の具体的な作用については後述する。

図２４に示す背景領域認識装置９００の第２の抽出部９２０は、図２２に示す背景領域認識方法の第２の抽出ステップ（ステップＳ２２）に対応する要素であるとともに、アプリケーションソフトウェア上は、図２３に示す背景領域認識プログラム８００の第２の抽出部８２０に対応する要素であり、画像取得部５１０で取得した複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する、上半部分の輪郭が類半円形状を有する人物の頭部に類似した類頭部形状を、この類頭部形状の寸法と監視カメラ１０の画角上の位置情報とを伴って抽出するものである。そして、この第２の抽出部９２０は、第１実施形態の抽出部５２０と同様に、上記類頭部形状を抽出するにあたり、この類頭部形状が抽出対象の頭部である可能性の程度を表す評価値を求め、抽出対象の頭部の、抽出からの洩れを許容して設定された閾値よりも抽出対象の頭部である可能性がさらに高いことを表す評価値が得られた類頭部形状のみを抽出するものである。この第２の抽出部９２０は、本発明にいう抽出部の機能の一例を示すものであり、その機能は、図１，図２，図３に示すパーソナルコンピュータ３０の本体装置３１に内蔵された、プログラム部品としての第２の抽出部８２０（図２３参照）を実行するＣＰＵ３１１によって主に実現される。

尚、以下説明する、背景領域認識装置９００の各要素においても、各要素の機能は、図１，図２，図３に示すパーソナルコンピュータ３０の本体装置３１に内蔵されたＣＰＵ３１１によって主に実現されるので、重複説明を避けるため、これら各要素のハードウェア上の説明は省略する。

また、図２４に示す背景領域認識装置９００の第２のフィルタリング部９３０は、図２２に示す背景領域認識方法の第２のフィルタリングステップ（ステップＳ２３）に対応する要素であるとともに、アプリケーションソフトウェア上は、図２３に示す背景領域認識プログラム８００の第２のフィルタリング部８３０に対応する要素であり、第２の抽出部９２０で抽出された類頭部形状が人物の頭部であるか否かを判定して人物の頭部を抽出するものである。そして、この第２のフィルタリング部９３０は、第２の抽出部９２０で抽出された類頭部形状それぞれについて、画角内の当該類頭部形状の周囲に広がる所定寸法のサーチ領域内における、当該類頭部形状と同一寸法に分類された他の類頭部形状の個数を計数し、この計数値が閾値以上の場合にのみ当該類頭部形状を上記人物の頭部として抽出するものである。この第２のフィルタリング部９３０は、本発明にいうフィルタリング部の機能の一例を示すものである。

また、図２４に示す背景領域認識装置９００の第２の被写体出現領域認識部９４０は、図２２に示す背景領域認識方法の第２の被写体出現領域認識ステップ（ステップＳ２４）に対応する要素であるとともに、アプリケーションソフトウェア上は、図２３に示す背景領域認識プログラム８００の第２の被写体出現領域認識部８４０に対応する要素であり、第２のフィルタリング部９３０で抽出された頭部についての出現領域を認識するものであって、第２の抽出部９２０で抽出された監視カメラ１０の画角上の位置情報と寸法との双方に基づいて、第２のフィルタリング部９３０で抽出された頭部についての、監視カメラ１０から上記出現領域までの距離を含む三次元的な出現領域を認識するものである。この第２の被写体出現領域認識部９４０は、本発明にいう被写体出現領域認識部の機能の一例を示すものである。

また、図２４に示す背景領域認識装置９００の第２の背景領域認識部９５０は、図２２に示す背景領域認識方法の第２の背景領域認識ステップ（ステップＳ２５）に対応する要素であるとともに、アプリケーションソフトウェア上は、図２３に示す背景領域認識プログラム８００の第２の背景領域認識部８５０に対応する要素であり、監視カメラ１０の画角上の、第２の被写体出現領域認識部９４０で認識された出現領域を除く領域を背景領域として認識するものであって、第２の被写体出現領域認識部９４０で認識された三次元的な出現領域に基づいて、監視カメラ１０から上記背景領域までの距離を含む三次元的な背景領域を認識するものである。この第２の背景領域認識部９５０は、本発明にいう背景領域認識部の機能の一例を示すものである。

以下、本発明の背景領域認識装置の第２実施形態をさらに具体的に説明する。

第２の抽出部９２０が、画像取得部５１０によって取得された複数枚の画像のうちの図７に示す１つの画像６０を例に挙げて、図８〜図１６を参照して説明した、上述した第１実施形態の抽出部５２０と同様に、類頭部形状を抽出するときに、監視カメラ１０の画角上の位置情報である１８０°の半円の中心座標を伴って抽出する。また、この第２の抽出部９２０は、その位置情報を伴うとともに、その類頭部形状の寸法である１８０°の半円の直径寸法を伴って抽出する。

そして、この第２の抽出部９２０は、画像取得部５１０で取得した複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する類頭部形状を、この類頭部形状の寸法と監視カメラ１０の画角上の位置情報とを伴って抽出する。

尚、第２の抽出部９２０による類頭部形状の抽出は、図８〜図１６を参照して説明した手法に限らず、画像取得部５１０で取得した複数枚の画像から、これら複数枚の画像中に複数の寸法で繰り返し出現する類頭部形状を、この類頭部形状の寸法と監視カメラ１０の画角上の位置情報とを伴って抽出することができるような手法であれば、いかなる手法であってもよい。

また、類頭部形状の寸法が１８０°の半円の直径寸法である例を挙げたが、類頭部形状の寸法は、例えば、縦幅や横幅や面積まどであってもよい。

次に、第２のフィルタリング部９３０が、第２の抽出部９２０で抽出された類頭部形状それぞれについて、画角内の当該類頭部形状の周囲に広がる所定寸法のサーチ領域内における、当該類頭部形状と同一寸法に分類された他の類頭部形状の個数を計数し、この計数値が閾値「３」以上の場合にのみ、当該類頭部形状が人物の頭部であると判定し、当該類頭部形状を人物の頭部として抽出する。

このような閾値が設定されていることによって、第２の抽出部９２０で抽出された類頭部形状のうちの誤抽出の可能性が高い類頭部形状が排除されることとなるため、より精度の高い背景領域を認識することができる。

次に、第２の被写体出現領域認識部９４０が、第２のフィルタリング部９３０で抽出された頭部についての出現領域を認識するものであって、第２の抽出部９２０で抽出された監視カメラ１０の画角上の位置情報である１８０°の半円の中心座標と、寸法である１８０°の半円の直径寸法との双方に基づいて、第２のフィルタリング部９３０で抽出された頭部についての、監視カメラ１０から上記出現領域までの距離を含む三次元的な出現領域を認識する。ここでは、頭部の寸法である１８０°の半円の直径寸法を距離に換算している。

次に、第２の背景領域認識部９５０が、監視カメラ１０の画角上の、第２の被写体出現領域認識部９４０で認識された出現領域を除く領域を背景領域として認識するものであって、第２の被写体出現領域認識部９４０で認識された三次元的な出現領域に基づいて、監視カメラ１０から上記背景領域までの距離を含む三次元的な背景領域を認識する。

この三次元的な背景領域は、具体的には何が存在するかは分からないものの、何かしらの障害物の存在を示す背景領域である。つまり、背景領域認識装置９００は、何かしらの障害物の存在を認識している。

ここで、監視カメラ１０の近くに位置する人物は頭部が大きく写り込み、監視カメラ１０の遠くに位置する人物は頭部が小さく写り込む。また、人物の身長の違いや人物の姿勢の違いから、画角内のある位置には、その位置に障害物が存在しない場合、所定範囲に収まる寸法を有する頭部が現れることとなる。

また、本発明にいう特定種類の被写体の一例である人物の頭部の寸法は、相対的に大きな違いはないため、頭部の寸法である１８０°の半円の直径寸法と、監視カメラ１０からその頭部までの距離とはかなり高い相関関係にある。そのため、第２実施形態では、頭部の寸法を用いて監視カメラ１０からその頭部までの距離を得ている。

例えば、図１７に示す画像６１の「ａ」の位置に現れる頭部の寸法の範囲は、その「ａ」の位置にカウンター６１３が存在することから、監視カメラ１０からの距離がその「ａ」の位置と等しくパーテーション６１１，６１２やカウンター６１３といった障害物の存在しない図１７に示す画像６１の「ｂ」の位置に現れる頭部の寸法の範囲から小さな頭部の寸法が除外された範囲となる。そして、「ａ」の位置に現れる頭部の寸法の範囲から除外された小さな頭部の寸法に対応する距離が、監視カメラ１０から「ａ」の位置に存在するカウンター６１３までの距離とされ、第２の背景領域認識部９５０で、その距離を含む三次元的な背景領域が認識される。尚、ここでは、カウンター６１３の存在が何かしらの障害物の存在を示す背景領域として認識される。

また、例えば、図１７に示す画像６１の「ｃ」の位置に現れる頭部の寸法の範囲は、その「ｃ」の位置にパーテーション６１１が存在することから、監視カメラ１０からの距離がその「ｃ」の位置と等しくパーテーション６１１，６１２やカウンター６１３といった障害物の存在しない図１７に示す画像６１の「ｄ」の位置に現れる頭部の寸法の範囲から小さな頭部の寸法が除外された範囲となる。そして、「ｃ」の位置に現れる頭部の寸法の範囲から除外された小さな頭部の寸法に対応する距離が、監視カメラ１０から「ｃ」の位置に存在するパーテーション６１１までの距離とされ、第２の背景領域認識部９５０で、その距離を含む三次元的な背景領域が認識される。尚、ここでは、パーテーション６１１の存在が何かしらの障害物の存在を示す背景領域として認識される。

このように、第２の背景領域認識部９５０では、相対的に大きな寸法の頭部しか存在しなければ、何かしらの障害物が奥に存在するといったことを三次元的に認識している。また、第２の背景領域認識部９５０では、相対的に小さな寸法の頭部しか存在しなければ、何かしらの障害物が手前に存在するといったことを三次元的に認識している。

第２実施形態によれば、撮影を続けて頭部検出を行って頭部の三次元的な出現領域を認識し、その三次元的な出現領域に基づいて三次元的な背景領域を、固定的に設置された監視カメラ１０で簡便に認識することができ、使い勝手がよい。

尚、上述した各実施形態では、類半円形状を検出することによって人物の頭部を検出する検出方法を説明したが、人物の頭部を検出する検出方法は、これに限られるものではなく、例えば、人物頭部の外形のみでなく、内部の特徴を抽出するなど、他の検出方法を採用しても良い。さらに、上述した各実施形態では、本発明にいう「特定種類の被写体」が人物の頭部である例を挙げて説明したが、本発明にいう「特定種類の被写体」は、人物の頭部のみに限られるものではなく、例えば、人物の顔であってもよく、屋外での野鳥観察における野鳥であってもよく、様々な被写体に適用できるものである。

本発明の背景領域認識装置の第１実施形態が組み込まれた監視カメラシステムの概略構成図である。 図１に１つのブロックで示すパーソナルコンピュータの外観斜視図である。 図１，図２に示すパーソナルコンピュータのハードウェア構成図である。 本発明の背景領域認識方法の第１実施形態を示すフローチャートである。 本発明の背景領域認識プログラムの第１実施形態を示した図である。 本発明の背景領域認識装置の第１実施形態を示す機能ブロック図である。 画像取得部によって取得された画像の一例を示す図である。 図７に示す画像を表現する複数の画素のうちの注目画素Ｐと評価画素Ｑ１〜Ｑ１６と勾配算出画素Ｒ１〜Ｒ１６とを示す概念図である。 １６個の勾配算出画素Ｒ１〜Ｒ１６それぞれに対応する各勾配値をこれら１６個の勾配算出画素Ｒ１〜Ｒ１６が評価画素Ｑ１を一周に渡って取り巻く順序に並べたときの勾配値群を示す図である。 図９に示す勾配値群に高値抑制処理を施すことにより生成された平滑化勾配値群を示す図である。 図１０に示す平滑化勾配値群に第１の移動平均処理を施すことにより生成された平滑化勾配値群を示す図である。 図１１に示す平滑化勾配値群に量子化処理を施すことにより生成された平滑化勾配値群を示す図である。 図１２に示す平滑化勾配値群に第２の移動平均処理を施すことにより生成された平滑化勾配値群を示す図である。 評価画素Ｑ１についての勾配方向を示す図である。 図７に示す画像の全域に亘る評価画素それぞれについて算出された勾配方向を示す図である。 テーブル記憶部に記憶されたテーブルの一例を示す図である。 画像取得によって取得された画像の一例を示す図である。 被写体出現領域認識部によって認識された二次元的な出現領域の一例を示す図である。 背景領域認識部によって認識され出力部５７０で出力された二次元的な背景領域の一例を示す図である。 監視カメラによる複数の撮影方向それぞれでの撮影を説明する図である。 監視カメラによる複数の焦点距離それぞれでの撮影を説明する図である。 本発明の背景領域認識方法の第２実施形態を示すフローチャートである。 本発明の背景領域認識プログラムの第２実施形態を示した図である。 本発明の背景領域認識装置の第２実施形態を示す機能ブロック図である。

符号の説明

１ 監視カメラシステム
１０ 監視カメラ
２０ インターネット
３０ パーソナルコンピュータ
３１ 本体装置
３１ａ ＦＤ装填口
３１ｂ ＣＤ−ＲＯＭ装填口
３１１ ＣＰＵ
３１２ 主メモリ
３１３ ハードディスク装置
３１４ ＦＤドライブ
３１５ ＣＤ−ＲＯＭドライブ
３１６ ネットワーク通信インタフェース
３２ 画像表示装置
３２ａ 表示画面
３３ キーボード
３４ マウス
３５ バス
１００ ＦＤ
１１０ ＣＤ−ＲＯＭ
４００，８００ 背景領域認識プログラム
４１０ 画像取得部
４２０ 抽出部
４３０ フィルタリング部
４４０ 被写体出現領域認識部
４５０ 背景領域認識部
４６１ 第１の統合部
４６２ 第２の統合部
４７０ 出力部
４８０ 更新制御部
５００，９００ 背景領域認識装置
５１０ 画像取得部
５２０ 抽出部
５３０ フィルタリング部
５４０ 被写体出現領域認識部
５５０ 背景領域認識部
５６１ 第１の統合部
５６２ 第２の統合部
５７０ 出力部
５８０ 更新制御部
６０，６１ 画像
６１１，６１２ パーテーション
６１３ カウンター
６２１ 出現領域
６２２ 背景領域
６３ 画角
６３１，６３２，６３３，６４１，６４２ 撮影画角
７０ テーブル
８２０ 第２の抽出部
８３０ 第２のフィルタリング部
８４０ 第２の被写体出現領域認識部
８５０ 第２の背景領域認識部
９２０ 第２の抽出部
９３０ 第２のフィルタリング部
９４０ 第２の被写体出現領域認識部
９５０ 第２の背景領域認識部

Claims (17)

1. 固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から、該複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の出現領域を除く背景領域を認識する背景領域認識方法であって、
   前記カメラから前記複数枚の画像を取得する画像取得ステップと、
   前記画像取得ステップで取得した複数枚の画像から、前記特定種類の被写体に類似した類被写体形状を、当該カメラの画角上の位置情報を伴って抽出する抽出ステップと、
   前記抽出ステップで抽出された類被写体形状が特定種類の被写体であるか否かを判定して該特定種類の被写体を抽出するフィルタリングステップと、
   前記フィルタリングステップで抽出された被写体についての出現領域を、前記抽出ステップで抽出された当該カメラの画角上の位置情報に基づいて認識する被写体出現領域認識ステップと、
   当該カメラの画角上の、前記被写体出現領域認識ステップで認識された出現領域を除く領域を背景領域として認識する背景領域認識ステップとを有することを特徴とする背景領域認識方法。
2. 前記フィルタリングステップが、前記抽出ステップで抽出された類被写体形状それぞれについて、画角内の当該類被写体形状の周囲に広がる所定寸法のサーチ領域内における他の類被写体形状の個数を計数し、該計数値が閾値以上の場合にのみ当該類被写体形状を前記特定種類の被写体として抽出するステップであることを特徴とする請求項１記載の背景領域認識方法。
3. 前記抽出ステップが、前記類被写体形状を、前記位置情報を伴うとともに、さらに、該類被写体形状の寸法を伴って抽出するステップであり、
   前記フィルタリングステップが、前記抽出ステップで抽出された類被写体形状それぞれについて、画角内の当該類被写体形状の周囲に広がる所定寸法のサーチ領域内における、当該類被写体形状と同一寸法に分類された他の類被写体形状の個数を計数し、該計数値が閾値以上の場合にのみ当該類被写体形状を前記特定種類の被写体として抽出するステップであることを特徴とする請求項１記載の背景領域認識方法。
4. 前記抽出ステップが、前記類被写体形状を、前記位置情報を伴うとともに、さらに、該類被写体形状の寸法を伴って抽出するステップであり、
   前記被写体出現領域認識ステップが、前記抽出ステップで抽出された当該カメラの画角上の位置情報と寸法との双方に基づいて、前記フィルタリングステップで抽出された被写体についての、当該カメラから前記出現領域までの距離を含む三次元的な出現領域を認識するステップであり、
   前記背景領域認識ステップが、前記被写体出現領域認識ステップで認識された三次元的な出現領域に基づいて、当該カメラから前記背景領域までの距離を含む三次元的な背景領域を認識するステップであることを特徴とする請求項１記載の背景領域認識方法。
5. 前記抽出ステップが、前記類被写体形状を抽出するにあたり、該類被写体形状が抽出対象の被写体である可能性の程度を表す評価値を求め、抽出対象の被写体の、抽出からの洩れを許容して設定された閾値よりも抽出対象の被写体である可能性がさらに高いことを表す評価値が得られた類被写体形状のみを抽出するステップであることを特徴とする請求項１記載の背景領域認識方法。
6. 前記カメラが、撮影方向の変更が可能なカメラであって、
   複数の撮影方向それぞれでの撮影で得られた背景領域を統合することにより、該複数の撮影方向の画角を繋げた画角内の背景領域を認識する統合ステップをさらに有することを特徴とする請求項１記載の背景領域認識方法。
7. 前記カメラが、焦点距離可変なカメラであって、
   複数の焦点距離それぞれでの撮影で得られた背景領域を統合することにより、前記カメラの最広角の画角内の背景領域を認識する統合ステップをさらに有することを特徴とする請求項１記載の背景領域認識方法。
8. 固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から、該複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の出現領域を除く背景領域を認識する背景領域認識装置であって、
   前記カメラから前記複数枚の画像を取得する画像取得部と、
   前記画像取得部で取得した複数枚の画像から、前記特定種類の被写体に類似した類被写体形状を、当該カメラの画角上の位置情報を伴って抽出する抽出部と、
   前記抽出部で抽出された類被写体形状が特定種類の被写体であるか否かを判定して該特定種類の被写体を抽出するフィルタリング部と、
   前記フィルタリング部で抽出された被写体についての出現領域を、前記抽出部で抽出された当該カメラの画角上の位置情報に基づいて認識する被写体出現領域認識部と、
   当該カメラの画角上の、前記被写体出現領域認識部で認識された出現領域を除く領域を背景領域として認識する背景領域認識部とを備えたことを特徴とする背景領域認識装置。
9. 前記フィルタリング部が、前記抽出部で抽出された類被写体形状それぞれについて、画角内の当該類被写体形状の周囲に広がる所定寸法のサーチ領域内における他の類被写体形状の個数を計数し、該計数値が閾値以上の場合にのみ当該類被写体形状を前記特定種類の被写体として抽出するものであることを特徴とする請求項８記載の背景領域認識装置。
10. 前記抽出部が、前記類被写体形状を、前記位置情報を伴うとともに、さらに、該類被写体形状の寸法を伴って抽出するものであり、
    前記フィルタリング部が、前記抽出部で抽出された類被写体形状それぞれについて、画角内の当該類被写体形状の周囲に広がる所定寸法のサーチ領域内における、当該類被写体形状と同一寸法に分類された他の類被写体形状の個数を計数し、該計数値が閾値以上の場合にのみ当該類被写体形状を前記特定種類の被写体として抽出するものであることを特徴とする請求項８記載の背景領域認識装置。
11. 前記抽出部が、前記類被写体形状を、前記位置情報を伴うとともに、さらに、該類被写体形状の寸法を伴って抽出するものであり、
    前記被写体出現領域認識部が、前記抽出部で抽出された当該カメラの画角上の位置情報と寸法との双方に基づいて、前記フィルタリング部で抽出された被写体についての、当該カメラから前記出現領域までの距離を含む三次元的な出現領域を認識するものであり、
    前記背景領域認識部が、前記被写体出現領域認識部で認識された三次元的な出現領域に基づいて、当該カメラから前記背景領域までの距離を含む三次元的な背景領域を認識するものであることを特徴とする請求項８記載の背景領域認識装置。
12. 前記抽出部が、前記類被写体形状を抽出するにあたり、該類被写体形状が抽出対象の被写体である可能性の程度を表す評価値を求め、抽出対象の被写体の、抽出からの洩れを許容して設定された閾値よりも抽出対象の被写体である可能性がさらに高いことを表す評価値が得られた類被写体形状のみを抽出するものであることを特徴とする請求項８記載の背景領域認識装置。
13. 前記カメラが、撮影方向の変更が可能なカメラであって、
    複数の撮影方向それぞれでの撮影で得られた背景領域を統合することにより、該複数の撮影方向の画角を繋げた画角内の背景領域を認識する統合部をさらに備えたことを特徴とする請求項８記載の背景領域認識装置。
14. 前記カメラが、焦点距離可変なカメラであって、
    複数の焦点距離それぞれでの撮影で得られた背景領域を統合することにより、前記カメラの最広角の画角内の背景領域を認識する統合部をさらに備えたことを特徴とする請求項８記載の背景領域認識装置。
15. 前記背景領域認識部で認識された背景領域を出力する出力部をさらに備えたことを特徴とする請求項８記載の背景領域認識装置。
16. 前記背景領域が一旦認識された後においても、前記画像取得部に画像を取得させ、新たに取得した画像について、前記抽出部、前記フィルタリング部、被写体出現領域認識部を作用させて、前記背景領域認識部に、該新たな画像から抽出した前記特定種類の被写体の情報を新たに加えて前記背景領域を更新させる更新制御部を備えたことを特徴とする請求項８記載の背景領域認識装置。
17. コンピュータ内で実行され、該コンピュータを、固定的に設置されたカメラで被写界を繰り返し撮影して得られた複数枚の画像から、該複数枚の画像中に複数の寸法で繰り返し出現する特定種類の被写体の出現領域を除く背景領域を認識する背景領域認識装置として動作させる背景領域認識プログラムであって、
    前記コンピュータを、
    前記カメラから前記複数枚の画像を取得する画像取得部と、
    前記画像取得部で取得した複数枚の画像から、前記特定種類の被写体に類似した類被写体形状を、当該カメラの画角上の位置情報を伴って抽出する抽出部と、
    前記抽出部で抽出された類被写体形状が特定種類の被写体であるか否かを判定して該特定種類の被写体を抽出するフィルタリング部と、
    前記フィルタリング部で抽出された被写体についての出現領域を、前記抽出部で抽出された当該カメラの画角上の位置情報に基づいて認識する被写体出現領域認識部と、
    当該カメラの画角上の、前記被写体出現領域認識部で認識された出現領域を除く領域を背景領域として認識する背景領域認識部とを有する背景領域認識装置として動作させることを特徴とする背景領域認識プログラム。

Images