JP2014127131A - 背景情報生成装置及び対象物検出装置 - Google Patents

Abstract

【課題】遮蔽物の変位の有無によらず人物等の対象物を検出し続けることを可能とする。
【解決手段】監視空間を第一の視点から撮影する第一撮影部２ａと、監視空間において扉が定常位置にあるときは第一の視点から撮影されず扉が定常位置から変位すると第一の視点から撮影される遮蔽空間を、少なくとも扉が定常位置にあるときに撮影可能な第二の視点から撮影する第二撮影部２ｂと、扉の変位を検出する扉状態検出部３２０と、扉状態検出部３２０において変位が検出されていない場合、第一の視点から撮影された第一画像から第一の視点での背景情報を生成し、扉状態検出部３２０において変位が検出された場合、第二撮影部２ｂが撮影した第二画像から生成された背景情報を用いて第一の視点での背景情報を生成する背景情報生成部３２１と、を備える背景情報生成装置とする。
【選択図】図３

Description

本発明は、所定空間を撮影した画像から背景情報を生成する背景情報生成装置及びそれを利用して対象物を検出する対象物検出装置に関する。

近年、共連れ入場等の不正通行を監視するために、扉付近を撮影した画像を処理して通行者を追跡する研究が行われている。このとき、扉の両側をそれぞれ別の監視カメラにより撮影して扉を通過した通行者の追跡を監視カメラ間で引き継げば、通行者の行動を厳格に監視できるためセキュリティが向上する。

例えば、特許文献１には、扉の外側である開放領域と扉の内側である待機領域のそれぞれに撮影部を設置し、背景差分処理により抽出した変化領域に基づいて人物領域を追跡する通行制御装置が開示されている。この通行制御装置では、２つの領域の間に扉領域を設定し、開放領域及び待機領域の一方から扉領域に消失した通行者と開放領域及び待機領域の他方にて扉領域から出現した通行者とを同一の通行者と判定することで追跡の引継ぎを行っている。

特開２０１０−１５７１４９号公報

しかしながら、従来技術では、扉領域にて追跡の空白期間及び空白領域が生じるため、追跡の引継ぎが正しく行えない場合があった。例えば、２名が扉領域に進入し、そのうち１名がＵターンして戻った場合、また扉を開けた人物が後続の人物を先に通した場合等、扉領域に複数の人物が混在するときに引継ぎを誤る問題が生じ易い。そこで、人物が扉領域に存在している間も追跡を継続することが望まれ、追跡継続のためには当該人物の人物領域を抽出し続ける必要があった。

ところが、扉が開くとそれまで戸板によって遮蔽されていた扉の向こう側が開口部に写り込んで背景が変わる。そのため、このときの画像に背景差分処理を施すと開口部全体が変化領域となってしまうため、開口部に一部または全体が写っている人物の人物領域を抽出することが困難となる。扉が前回に開いたときの背景画像を保持したとしても、扉の向こう側での照明変動等の環境の変化に追従できず、開口部の多くが変化領域となってしまうため、やはり人物領域を抽出することが困難である。

さらに、扉の開閉時には戸板が変位するので開口部に加えて戸板自体も変化領域に含まれる。このことによっても扉付近において人物領域を抽出することが困難となる。

本発明は、上記問題を解決するためになされたものであり、監視空間において戸板等の遮蔽物が変位しても、当該監視空間の背景情報を生成し続けることが可能な背景情報生成装置及び人物等の検出対象物を検出し続けることが可能な対象物検出装置を提供することを目的とする。

本発明の１つの態様は、定常位置から変位し得る遮蔽物が設置された監視空間において所定の対象物を検出するために、前記対象物を含まない前記監視空間の背景情報を生成する背景情報生成装置であって、前記監視空間を第一の視点から撮影する第一撮影部と、前記監視空間において前記遮蔽物が前記定常位置にあるときは前記第一の視点から撮影されず前記遮蔽物が前記定常位置から変位すると前記第一の視点から撮影される遮蔽空間を、少なくとも前記遮蔽物が前記定常位置にあるときに撮影可能な第二の視点から撮影する第二撮影部と、前記遮蔽物の変位を検出する変位検出部と、前記第二撮影部が撮影した第二画像から前記第二の視点での背景情報を生成する第二視点背景生成部と、前記変位検出部において変位が検出されていない場合、前記第一撮影部が撮影した第一画像から前記第一の視点での背景情報を生成し、前記変位検出部において変位が検出された場合、前記第二視点背景生成部が生成した背景情報を前記第一の視点での背景情報とする第一視点背景生成部と、を備えることを特徴とする背景情報生成装置である。

また、前記変位検出部は、前記第二画像にて変位中の前記遮蔽物が現れている遮蔽物領域を当該第二画像と予め登録されている前記遮蔽物領域の形状特徴との比較から検出し、前記第二視点背景生成部は、前記第二画像から前記遮蔽物領域を除外して前記第二の視点での背景情報を生成することが好適である。

また、前記第二視点背景生成部は、前記遮蔽空間を撮像した画像のヒストグラムを背景情報として生成することが好適である。

また、前記変位検出部は、前記第一画像にて前記遮蔽物の変位により前記遮蔽空間が現れている遮蔽解除領域を当該第一画像と予め登録されている前記遮蔽解除領域の形状特徴との比較から検出し、前記第一視点背景生成部は、前記第二視点背景生成部において生成された背景情報から前記遮蔽解除領域の背景情報を生成することが好適である。

また、前記第一視点背景生成部は、前記遮蔽物の変位が検出された場合、前記遮蔽解除領域外の背景情報を前記第一画像から生成することが好適である。

また、前記第一画像と前記第一視点背景生成部が生成した背景情報とを比較して当該第一画像において当該背景情報と所定以上に相違する領域を前記対象物の領域として検出する対象物検出部を備えることが好適である。

本発明によれば、戸板等の遮蔽物が変位しても背景情報を生成し続けることが可能となる。また、生成した背景情報を用いることで、遮蔽物の変位有無によらず人物等の対象物を検出し続けることができる。

本発明の実施の形態における対象物検出装置の構成及び配置を示す図である。 本発明の実施の形態における画像中の各領域を説明する図である。 本発明の実施の形態における対象物検出装置の機能ブロック図である。 本発明の実施の形態における対象物検出処理のフローチャートである。 本発明の実施の形態における扉パターンの例を示す図である。 本発明の実施の形態における人物領域検出処理のフローチャートである。 本発明の実施の形態における扉外／全体背景情報生成処理のフローチャートである。 本発明の実施の形態における開口部背景情報生成処理のフローチャートである。 本発明の実施の形態における開口部背景情報生成処理のフローチャートである。 本発明の実施の形態における戸板部背景情報生成処理のフローチャートである。 本発明の実施の形態における開口部背景情報生成処理の別例のフローチャートである。

＜対象物検出装置の構成＞
対象物検出装置１００は、図１に示すように、撮影部２（第一撮影部２ａ，第二撮影部２ｂ）、制御部３及び表示部４を含んで構成される。

対象物検出装置１００は、部屋６（第一の部屋６ａ及び第二の部屋６ｂ）に設置され、第一の部屋６ａ及び第二の部屋６ｂを撮影した画像から背景情報を生成し、それを利用して対象物を検出する処理を行う。

第一の部屋６ａ及び第二の部屋６ｂは、扉５の戸板１５及び壁で仕切られる。戸板１５は蝶番等により変位可能に設置される。扉５が、閉鎖状態のときに戸板１５は定常位置に留まり、戸板１５が定常位置から変位することによって扉５は開放状態となる。

第一撮影部２ａは、第一の部屋６ａに設置される。第一撮影部２ａは、第一の視点から所定時間おきに第一の部屋６ａ側の空間を撮影し、撮影した画像（第一画像）を制御部３へ出力する。第二撮影部２ｂは、第二の部屋６ｂに設置される。第二撮影部２ｂは、第二の視点から所定時間おきに第二の部屋６ｂ側の空間を撮影し、撮影した画像（第二画像）を制御部３へ出力する。本実施の形態では、第一撮影部２ａ及び第二撮影部２ｂは、それぞれ第一の部屋６ａ及び第二の部屋６ｂの天井に下に向けて配置される。後述するように背景情報の取得の精度と安定性の観点から、扉５が開放状態のときに第一撮影部２ａの視野（画角）に含まれる第二の部屋６ｂの背景が床９となるように第一撮影部２ａを設置することが好ましい。例えば、第一撮影部２ａを扉５の近傍の天井に俯角が大きくなるように設置するとよい。

ここで、第一撮影部２ａ及び第二撮影部２ｂの撮影のタイミングは同期させることが好適である。

扉５が閉鎖状態では、第一撮影部２ａの視点（第一の視点）から遮蔽空間７を含む第二の部屋６ｂの空間は撮影されない。つまり、変位可能な遮蔽物である戸板１５が変位していないとき、遮蔽空間７は、戸板１５によって第一の視点から遮蔽されて撮影されない。ただし、扉５が閉鎖状態の位置にあるときも遮蔽空間７は第一撮影部２ａとは別の第二撮影部２ｂにより第二の視点から撮影される。一方、扉５の開放により開口部８が生じると、第一撮影部２ａから開口部８越しに遮蔽空間７の一部又は全部が撮影されてしまう。その結果、第一撮影部２ａにより撮影された第一画像上では、扉５が閉鎖状態のときは戸板１５が背景であった領域に第二の部屋６ｂの床９が背景として出現してしまう。このように、戸板１５が変位したときに第一画像上に遮蔽空間７が背景として急に現われることによって、人物等の対象物を検出し難くなる。ちなみに、扉５が開放状態となったときに遮蔽空間７は第一撮影部２ａの視野及び第二撮影部２ｂの視野に共通する共通視野となる。

図２は、戸板１５が変位したときに撮影される第一画像の例を示す。開口領域１１は、戸板１５が変位したときに第二の部屋６ｂの一部が撮影される領域である。戸板領域１２は、戸板１５が撮影される領域である。扉外領域１３は、第一画像のうち開口領域１１及び戸板領域１２を除いた領域である。扉５や床９、壁等は検出対象外の背景であり、これに対し検出対象物である人物１０（移動物体）は前景である。人物１０が現われている人物領域１４は、開口領域１１、戸板領域１２、扉外領域１３のいずれか又は複数の領域に跨って重なり得る。

開口領域１１では、戸板１５の変位によって写り込む背景が大きく変化する。また、戸板領域１２でも戸板１５の変位に伴い生じる陰影の変化によって背景が変化する。なお、戸板１５が変位していないとき、開口領域１１は現われない。

また、第二視点背景取得領域３１１は、第一画像における開口領域１１と対応する第二画像内の領域である。すなわち、第二画像における第二視点背景取得領域３１１は第一画像における開口領域１１の背景情報を取得する領域である。カメラパラメータ３１０を用いた予めの計算により、第一画像の開口領域１１を第一撮影部２ａ及び第二撮影部２ｂに共通する共通座標系（ワールド座標系）の基準面である床に逆投影し、さらに開口領域１１の逆投影を第二画像に投影することで第二視点背景取得領域３１１を求めて記憶部３に記憶させておく。図１の床９の領域が開口領域１１の逆投影の例であり、図２の第二視点背景取得領域３１１が開口領域１１の逆投影を第二画像に投影した例である。

カメラパラメータ３１０は、第一撮影部２ａ及び第二撮影部２ｂの内部パラメータ及び外部パラメータである。事前のキャリブレーション（校正）作業により計測されたこれらの値が第一撮影部２ａ及び第二撮影部２ｂの撮影部ＩＤと対応付けて記憶部３１に予め記憶されている。内部パラメータは、焦点距離、レンズの光学中心位置等の情報である。外部パラメータは、ワールド座標系における位置及び姿勢等の情報である。カメラパラメータ３１０にピンホールカメラモデルなどを適用することで、第一撮影部２ａと第二撮影部２ｂとの共通視野において対応する座標間の座標変換が可能となる。

なお、戸板１５が変位すると第二画像上にも開口領域が現われる。第二画像における開口領域と対応する第二画像内の第一視点背景取得領域も予め求めて記憶部３１に記憶させておく。

対象物検出装置１００は、制御部３であるコンピュータが対象物検出プログラムを実行することによって実現される。制御部３は、第一撮影部２ａ、第二撮影部２ｂ及び表示部４と接続され、第一撮影部２ａ及び第二撮影部２ｂから順次入力される画像を処理して第一撮影部２ａの第一画像及び第二撮影部２ｂの第二画像に現われた人物領域１４を抽出し、抽出結果から人物１０の位置を追跡する。抽出結果や追跡結果は表示部４に表示される。表示部４は、液晶ディスプレイやＣＲＴ等のモニター、これらのデータを受信する通信インターフェースを含む。

図３は、制御部３によって実現される各機能の機能ブロック図である。制御部３は、画像取得部３０、記憶部３１、画像処理部３２及び出力部３３として機能する。

画像取得部３０は、第一撮影部２ａ、第二撮影部２ｂが撮影した画像を順次受信し、画像処理部３２へ出力する通信インターフェースを含む。記憶部３１は、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等のメモリ装置を含んで構成される。記憶部３１は、カメラパラメータ３１０、第二視点背景取得領域３１１、扉パターン３１２、扉外／全体背景情報３１３、開口部背景情報３１４、戸板部背景情報３１５及び色変換関数を含む各種データや画像処理部３２の処理を規定した対象物検出プログラム等を記憶する。画像処理部３２は、ＣＰＵ(Central Processing Unit)、ＤＳＰ(Digital Signal Processor)、ＭＣＵ(Micro Control Unit)等の演算装置を含んで構成される。画像処理部３２は、記憶部３１から対象物検出プログラムを読み出し、実行することにより扉状態検出部３２０、背景情報生成部３２１、人物領域抽出部３２２、人物追跡部３２３の各部での処理を実行する。出力部３３は、画像処理部３２で処理された情報を表示部４へ出力する通信インターフェースを含む。

以下、図４のフローチャートに沿って、対象物検出プログラムによって実現される対象物検出処理について説明する。対象物検出処理は、監視空間である第一の部屋６ａ及び第二の部屋６ｂ内に人物は存在していないことを確認したうえで開始される。対象物検出処理では、画像を取得するたびに以下のステップＳ１〜Ｓ９を繰り返す。

ステップＳ１では、第一撮影部２ａ及び第二撮影部２ｂから第一画像及び第二画像が取得される。第一撮影部２ａ及び第二撮影部２ｂでは所定の周期で第一画像及び第二画像を撮影して画像取得部３０へ出力する。画像取得部３０は、第一画像及び第二画像を受けて、記憶部３１に記憶させる。

ステップＳ２では、扉５の状態が検出される。扉状態検出部３２０は、第一画像と扉パターン３１２とのパターンマッチングを行って戸板１５の開度を検出する。

扉パターン３１２は、戸板１５が定常位置であるとき及び変位中であるときに開口領域１１と戸板領域１２がとり得る形状特徴を表す画像パターンである。扉パターン３１２として、戸板１５の開度毎の形状特徴を予め登録しておく（記憶部３１に記憶させておく）。具体的には、扉パターン３１２は、戸板１５の各開角度における開口領域１１の輪郭画素の位置、戸板領域１２の輪郭画素の位置を示したパターン画像と開口領域１１に属する画素及び戸板領域１２に属する画素を示したパターン画像を含む。例えば、図５に示すように、０度（定常位置）から１２０度（完全開放）まで１０度毎に１３段階の画像パターンが登録される。扉パターン３１２は、扉５を模した３次元モデルを用いたシミュレーションなどにより事前に作成され、予め登録される。また、開口領域１１の形状特徴と戸板領域１２の形状特徴を別々に分けて登録してもよい。扉状態検出部３２０は、各開角度の形状特徴と現フレームの第一画像とを比較し、形状特徴が最も一致する開角度を扉状態として検出する。具体的には、扉状態検出部３２０は、第一画像からエッジ画像を生成して各開角度の扉パターン３１２とエッジ画像のパターンマッチングを行って、一致度が最大である開角度を検出する。これにより、現フレームの第一画像に現れている扉５の状態に一致する戸板１５の変位状態を検出できる。扉状態検出部３２０は、検出した開角度を背景情報生成部３２１及び人物領域抽出部３２２に出力すると共に、次フレームでの処理のために記憶部３１に記憶させる。

また、扉状態は、第二画像と扉パターン３１２とのパターンマッチングにより検出してもよい。この場合、扉パターン３１２は、第二画像に対して戸板１５の各開角度において予め登録しておけばよい。第一画像と第二画像における開角度は共通であるから、ステップＳ２の処理はいずれか一方に対して行えばよい。

ステップＳ３では、第一画像及び第二画像の各画素に領域属性が設定される。扉状態検出部３２０は、検出された開角度の扉パターン３１２に設定されている領域属性に従って第一画像及び第二画像上に開口領域１１と戸板領域１２とそれ以外の扉外領域１３を設定する。

例えば、開角度が０度以外であれば、第一画像及び第二画像の各画素には開口領域１１、戸板領域１２及び扉外領域１３のいずれかの領域属性が設定され、第一画像及び第二画像はそれぞれ３領域に区分される。開角度が０度なら、第一画像及び第二画像には戸板領域１２及び扉外領域１３の領域属性が設定され、第一画像及び第二画像はそれぞれ２領域に区分される。

このように、扉状態検出部３２０（変位検出部）は、戸板１５（遮蔽物）の変位により第一画像において遮蔽空間７が現われている開口領域１１（遮蔽解除領域）を予め登録されている開口領域１１の形状特徴（扉パターン３１２）との比較から検出する。これにより、第一画像において戸板１５の変位に伴って生じる開口領域１１の形状変化に追従できる。そのため、第一画像において開口部背景情報３１４を適用すべき開口領域１１が正確に得られるので高精度な背景情報の生成と高精度な人物領域の検出が可能となる。

また、扉状態検出部３２０（変位検出部）は、第二画像において変位中の戸板１５が現われている戸板領域１２（遮蔽物領域）を予め登録されている戸板領域１２の形状特徴（扉パターン３１２）との比較から検出する。これにより、第二画像において生じる戸板領域１２の形状変化に追従できる。そのため、第二画像において第二視点背景取得領域３１１から除外すべき戸板領域１２が正確に得られるので高精度な背景情報の生成と高精度な人物領域の検出が可能となる。

ステップＳ４では、第一画像及び第二画像から人物領域が抽出される。まず、人物領域抽出部３２２は、図６に示すフローチャートに沿って第一画像を処理する。ステップＳ３０〜Ｓ４０では、各画素を順次注目画素に設定して第一画像の全画素に対するループ処理を行う。

ステップＳ３０では、第一画像中に注目画素が設定される。すなわち、人物領域抽出部３２２は、ステップＳ３０に処理が戻ってくる度に第一画像に含まれる１画素を順次選択して注目画素に設定する。

ステップＳ３１では、扉５の状態が開放状態であるか否かが確認される。人物領域抽出部３２２は、扉状態検出部３２０が検出した開角度が０度でなければ扉５の状態が開放状態であるとして（ステップＳ３１にてＹＥＳ）、ステップＳ３２に処理を移行させ、そうでなければステップＳ３８に処理を移行させる（ステップＳ３１にてＮＯ）。

ステップＳ３２では、注目画素が開口領域１１であるか否かが判定される。人物領域抽出部３２２は、ステップＳ４にて扉状態検出部３２０が判定した各画素の領域属性を参照して、注目画素の領域属性が開口領域１１である場合にはステップＳ３３に処理を移行させ（ステップＳ３２にてＹＥＳ）、そうでない場合にはステップＳ３６に処理を移行させる（ステップＳ３２にてＮＯ）。

ステップＳ３３〜Ｓ３５では、人物領域抽出部３２２は開口領域１１おける第二画像の各画素を開口部背景情報３１４と比較して、当該画素の開口部背景情報３１４に対する相違の程度を表わす指標である人物尤度（相違するほど値が大きくなる）を算出する。

開口部背景情報３１４は、第一画像及び第二画像における開口領域１１の背景情報である。各画素の開口部背景情報３１４は、開口領域１１の色ヒストグラム（開口部色ヒストグラム）と開口領域１１の各画素に対応する背景画素値（開口部背景画素値）の２種類を含む情報であり、記憶部３１に記憶される。開口部色ヒストグラムは、例えばＹＵＶ各８ビンの３次元配列とされる。開口部背景情報３１４は、背景情報生成部３２１により生成され、適宜更新される。開口部背景情報３１４の生成処理については後述する。

ステップＳ３３では、注目画素の背景画素値が既に生成されているか否かが判定される。人物領域抽出部３２２は、開口部背景情報３１４に既に背景画素値が記憶されている場合にはステップＳ３５に処理を移行させ（ステップＳ３３にてＹＥＳ）、そうでない場合にはステップＳ３４へ処理を移行させる（ステップＳ３３にてＮＯ）。

ステップＳ３４では、開口部色ヒストグラムに対する注目画素の人物尤度が算出される。人物領域抽出部３２２は、開口部背景情報３１４から第一画像の開口部色ヒストグラムＨ₀、人物情報３１６から扉５付近の人物の色ヒストグラムＨ_Pをそれぞれ読み出し、数式（１）及び（２）にしたがって注目画素ｘの人物尤度Ｌ_O（ｘ）を算出する。

ここで、ｘは注目画素、Ｐ_O（ｘ）は注目画素ｘの人物確率、ｃ_xは注目画素ｘの色、Ｈ_O（ｃ_x）は開口部色ヒストグラムにおける色ｃ_xのビンの頻度、Ｈ_P（ｃ_x）は人物情報３１６から読みだした色ヒストグラムにおける色ｃ_xのビンの頻度、Ｌ_O（ｘ）は注目画素ｘの人物尤度、β_O1は予めの実験を通じ適切に調整した定数である。人物尤度Ｌ_O（ｘ）は、人物確率Ｐ_O（ｘ）に対して単調増加する。よって、開口部色ヒストグラムにおいて注目画素の画素値の頻度が低いほど人物尤度は高くなる。

このように人物領域抽出部３２２は、第一画像における開口領域１１の各画素が開口部色ヒストグラムと相違するほど当該画素の人物尤度を高く算出する。また、人物領域抽出部３２２は、第一画像における開口領域１１の各画素が人物情報３１６と類似するほど当該画素の人物尤度を高く算出する。

ここで、人物情報３１６とは、監視空間に存在する各人物（すなわち追跡中の人物）の人物領域１４の画像特徴量及び位置の履歴を示す情報である。各人物には当該人物を一意に識別する人物ＩＤが付与され、人物ＩＤに人物領域と画像特徴量と位置の履歴が対応付けて記憶部３１に記憶される。ここで、画像特徴量は、色ヒストグラムであり、例えばＹＵＶ各８ビンの３次元配列で表される。また、人物領域１４は、第一画像を構成する各画素において人物が存在することの尤もらしさを表す尤度で表される。人物領域の情報は、共通座標系における３次元形状モデルの形式で記憶される。３次元形状モデルとは、頭部、胴部及び足部を回転楕円体で近似したデータとすることができる。３次元形状モデルは、カメラパラメータ３１０を用いて画像の座標系に投影することで人物のマスク画像となる。

ステップＳ３５では、開口部背景画素値に対する注目画素の人物尤度が算出される。人物尤度は、数式（３）を用いて算出される。具体的には、人物領域抽出部３２２は、注目画素の画素値Ｉ（ｘ）と背景画素値Ｂ_O（ｘ）との背景差分を算出し、差分値（Ｉ（ｘ）−Ｂ_O（ｘ））を人物尤度Ｌ_O（ｘ）に変換する。

ここで、β_O2は予めの実験を通じ適切に調整した定数である。

人物尤度Ｌ_O（ｘ）は、差分値（Ｉ（ｘ）−Ｂ₀（ｘ））に対して単調増加する。よって、注目画素の画素値と開口部背景画素値の差が大きいほど人物尤度は高くなる。

このように人物領域抽出部３２２は、第一画像における開口領域１１の各画素が開口部背景情報３１４と相違するほど当該画素の人物尤度を高く算出する。

ステップＳ３６，Ｓ３７では、人物領域抽出部３２２は、戸板領域における第一画像の各画素を戸板部背景情報３１５と比較して、当該画素が背景情報と相違する程度を表わす指標である人物尤度を算出する。

ここで、戸板部背景情報３１５は、第一画像及び第二画像における戸板領域１２の背景情報であり、色ヒストグラム（戸板部色ヒストグラム）で表される。各画像の戸板部色ヒストグラムは、例えばＹＵＶ各８ビンの３次元配列で表され、記憶部３１に記憶される。戸板部背景情報３１５は、戸板１５の変位が検出されている間、背景情報生成部３２１により生成され、適宜更新される

ステップＳ３６では、注目画素が戸板領域１２であるか否かが判定される。人物領域抽出部３２２は、注目画素の領域属性が戸板領域１２である場合（ステップＳ３６にてＹＥＳ）にはステップＳ３７に処理を移行させ、そうでない場合（ステップＳ３６にてＮＯ）にはステップＳ３８へ処理を移行させる。

ステップＳ３７では、戸板部色ヒストグラムに対する注目画素の人物尤度が算出される。人物領域抽出部３２２は、注目画素ｘの色すなわち画素値を第一画像の戸板部色ヒストグラム及び扉５付近の人物の色ヒストグラムと比較して、数式（４）及び（５）にしたがって注目画素ｘの人物尤度Ｌ_D（ｘ）を算出する。

ここで、Ｐ_D（ｘ）は注目画素ｘの人物確率、Ｈ_D（ｃｘ）は戸板部色ヒストグラムにおける色ｃ_xのビンの頻度、Ｌ_D（ｘ）は注目画素ｘの人物尤度、β_Dは予めの実験を通じ適切に調整した定数である。人物尤度Ｌ_D（ｘ）は、人物確率Ｐ_D（ｘ）に対して単調増加する。

すなわち、人物領域抽出部３２２は、第一画像における戸板領域１２の各画素が戸板部背景情報３１５と相違するほど当該画素の人物尤度を高く算出する。また、人物領域抽出部３２２は、第一画像の戸板領域１２を構成する画素が人物情報３１６と類似するほど当該画素の人物尤度を高く算出する。

ステップＳ３８では、開口領域１１及び変位中の戸板領域１２のいずれでもない注目画素について扉外／全体背景画素値に対する人物尤度が算出される。人物領域抽出部３２２は、扉外／全体背景情報３１３から注目画素ｘに対応する背景輝度値Ｂ_G（ｘ）を読み出し、注目画素ｘの画素値Ｉ（ｘ）と背景画素値Ｂ_G（ｘ）との差分値（Ｉ（ｘ）−Ｂ_G（ｘ））を算出して人物尤度Ｌ_G（ｘ）に変換する。具体的には、数式（６）により人物尤度Ｌ_G（ｘ）を算出する。

ここで、Ｌ_G（ｘ）は注目画素ｘの人物尤度、β_Gは予めの実験を通じ適切に調整した定数である。人物尤度Ｌ_G（ｘ）は、差分値（Ｉ（ｘ）−Ｂ_G（ｘ））に対して単調増加する。よって、注目画素の画素値と全体背景画素値又は扉外背景画素値の差が大きいほど人物尤度は高くなる。

このように、人物領域抽出部３２２は、戸板１５が変位していないときは第一画像の画素総てに対して当該画素の人物尤度を全体背景画素値と相違するほど高く算出し、戸板１５が変位しているときは扉外領域１３における第一画像の各画素の人物尤度を当該画素が扉外背景画素値と相違するほど高く算出する。

ここで、扉外／全体背景情報３１３は、第一画像全体における背景情報及び第二画像全体における背景情報である。扉外／全体背景情報３１３としては第一画像の各画素に対応する背景画素値及び第二画像の各画素に対応する背景画素値が記憶部３１に記憶される。扉外／全体背景情報３１３は、背景情報生成部３２１により生成され、適宜更新される。戸板１５が変位していないときは全画素の背景画素値が全体背景画素値として利用され、戸板１５が変位中のときは扉外領域１３の画素に対応する背景画素値が扉外背景画素値として利用される。

ステップＳ３９では、第一画像の全画素について人物尤度の算出処理が終了したか否かが判定される。人物領域抽出部３２２は、第一画像の全画素について処理が終了していればステップＳ４０に処理を移行させ、そうでなければステップＳ３０に処理を戻して、次の注目画素について人物尤度の算出を行う。ここまでの処理によって、第一画像の全画像について算出された人物尤度を各画素の値とした人物尤度画像が得られる。

こうして得られた人物尤度画像が人物領域を表す情報となる。すなわち、人物尤度の高い画素が人型に密集している領域が人物領域１４として得られる。ステップＳ４０では、人物尤度画像から人物領域１４を決定する処理が行われる。

具体的には、人物領域抽出部３２２は、人物尤度が高い画素が人型に密集している領域を通行領域に決定する。人物領域抽出部３２２は、人物尤度画像上の各位置に３次元人物形状モデルを投影して人型のマスク画像を生成し、マスク画像内の画素に設定された人物尤度の合計値が検出閾値Ｔ１以上であるときに当該位置のマスク画像が示す領域を人物領域１４として抽出する。または、人物尤度画像の各画素を所定の検出閾値Ｔ２と比較し、人物尤度が検出閾値Ｔ２以上である画素が人物サイズの範囲で互いに隣接している領域を人物領域１４として抽出してもよい。

なお、上記サブルーチンでは第一画像内に含まれる人物領域１４の抽出処理のみを説明したが、第二画像内に含まれる人物領域１４も同様に求める。すなわち人物領域抽出部３２２は、第二画像の各画素に対する人物尤度を算出して第二画像に対応する人物尤度画像を生成し、人物尤度の高い画素が人型に密集している領域を通行領域に決定する。このとき、人物領域抽出部３２２は、戸板１５が変位中であれば、開口領域１１における第二画像の画素を開口部背景情報３１４と比較して人物尤度を算出し、戸板領域１２における第二画像の画素を戸板部背景情報３１５と比較して人物尤度を算出し、扉外領域１３における第二画像の画素を扉外／全体背景情報３１３と比較して人物尤度を算出する。また人物領域抽出部３２２は、戸板１５が変位していなければ、第二画像の全画素を扉外／全体背景情報３１３と比較して人物尤度を算出する。

上記人物領域抽出部３２２における処理が終了するとメインルーチンのステップＳ５に処理が戻される。

ステップＳ５では、人物の追跡処理が行われる。人物追跡部３２３は、各人物領域１４の位置及び人物領域１４における第一画像の色ヒストグラムを当該人物の特徴量として抽出し、抽出した特徴量と人物情報３１６に記憶された各人物の特徴量との照合を行う。人物追跡部３２３は、この照合により一致が得られた人物領域を人物情報３１６の人物と同一と判定して対応付ける。第二画像から抽出した人物領域についても同様に人物情報との同定を行う。さらに、人物追跡部３２３はカメラパラメータ３１０を用いて第一画像から抽出した人物領域１４と第二画像から抽出した人物領域１４のうち、ワールド座標系において位置が対応する人物領域を同一人物と対応付ける。人物追跡部３２３は、人物情報３１６の色ヒストグラムを対応が得られた人物領域１４の色ヒストグラムにより更新し、当該人物の人物情報３１６の位置履歴に一致が得られた人物領域１４の位置を追記する。また、対応が得られなかった人物領域に対して新規人物の人物情報３１６を生成し、対応が得られなかった人物情報３１６は消失したとして削除する。

なお、人物の追跡処理はこれらに限定されるものではなく、既存の種々の画像追跡処理を適用することができる。

ステップＳ６では、人物領域１４の画素から人物の色ヒストグラムを生成する。扉５の近辺に存在するＫ人の人物のヒストグラムＨ₁〜Ｈ_Kを足し合わせ、正規化したものを人物の色ヒストグラムＨ_Pとして人物情報３１６に含めて記憶部３１に記憶させる。

ステップＳ７では、図７のフローチャートに沿って、扉外／全体背景情報３１３の生成処理が行われる。背景情報生成部３２１は、現フレームの第一画像の各画素を順次注目画素に設定して（ステップＳ５０）、ステップＳ５０〜Ｓ５５のループ処理を実行する。

ステップＳ５１では、扉５の状態が開放状態であるか否かが確認される。背景情報生成部３２１は、扉状態検出部３２０が検出した開角度が０度以外なら扉５が開放状態であるとしてステップＳ５２に処理を移行させ（ステップＳ５１にてＹＥＳ）、そうでなければステップＳ５３に処理を移行させる（ステップＳ５１にてＮＯ）。

ステップＳ５２では、注目画素の領域属性が扉外領域１３であるか否かが確認される。背景情報生成部３２１は、扉状態検出部３２０が注目画素に対して設定した領域属性が扉外領域１３であればステップＳ５３に処理を移行させ（ステップＳ５２にてＹＥＳ）、そうでなければステップＳ５５に処理を移行させる（ステップＳ５２にてＮＯ）。

ステップＳ５３では、注目画素が人物領域１４の画素か否かが確認される。背景情報生成部３２１は、人物領域抽出部３２２が第一画像から抽出した人物領域１４を参照して、注目画素が人物領域１４の画素であればステップＳ５５に処理を移行させ（ステップＳ５３にてＹＥＳ）、そうでなければステップＳ５４に処理を移行させる（ステップＳ５３にてＮＯ）。

ステップＳ５４では、背景情報生成部３２１は、現フレームの注目画素の画素値で扉外／全体背景情報３１３に記憶している注目画素の背景画素値を更新する。

具体的には、背景情報生成部３２１は、式（８）にしたがって、現フレームの注目画素の画素値Ｉ（ｘ）と扉外／全体背景情報３１３の背景画素値Ｂ_G（ｘ，ｔ−１）をα_G：（１−α_G）の割合で重み付け平均した背景画素値Ｂ_G（ｘ，ｔ）を求めて扉外／全体背景情報３１３に書き込む。

ただし０＜α_G＜１であり、例えばα_G＝０．３と設定する

ステップＳ５５では、背景情報生成部３２１は、第一画像の全画素を注目画素として処理したか確認する。全画素を処理していなければ、次の画素を処理するために処理をステップＳ５０に戻す（ステップＳ５５にてＮＯ）。全画素を注目画素として処理すると図７の処理は終了する。

以上のように、背景情報生成部３２１は、人物領域１４、開口領域１１及び変位中の戸板領域１２を除いた領域について、現フレームの第一画像を用いて第一の視点での扉外／全体背景情報３１３を生成・更新する。

また、背景情報生成部３２１は、第二画像に対しても同様にして扉外／全体背景情報３１３を生成する。すなわち、背景情報生成部３２１は、扉が開放状態であれば、現フレームの第二画像において人物が検出されなかった扉外領域１３の画素値と扉外／全体背景情報３１３の対応する背景画素値との重み付け平均値を第二画像における開口領域１１の新たな背景画素値として記憶部３１に書き込む。また、背景情報生成部３２１は、扉５が閉鎖状態であれば、現フレームの第二画像において人物が検出されなかった領域の画素値と扉外／全体背景情報３１３の対応する背景画素値との重み付け平均値を第二画像に対する新たな背景画素値として記憶部３１に書き込む。この処理が第二視点背景生成部での処理に相当する。

扉外／全体背景情報３１３が生成されると、処理は図４のステップＳ８に進み、背景情報生成部３２１は開口部背景情報３１４の生成を行う。

ステップＳ８では、図８及び図９に示すフローチャートに沿って開口部背景情報の生成処理が行われる。

まず、背景情報生成部３２１は、図８のフローチャートに従い、第二画像を用いて第一画像における開口部色ヒストグラムを生成する。

ステップＳ６０〜Ｓ６４のループ処理では、現フレームの第二視点背景取得領域３１１における色ヒストグラムが生成される。ステップＳ６０では、現フレームの第二画像の各画素が順次注目画素に設定される。すなわち、背景情報生成部３２１は、ステップＳ５０に処理が戻ってくる度に第二画像に含まれる画素を順次選択して注目画素に設定する。また、ループ処理開始にあたり、背景情報生成部３２１は現フレームの色ヒストグラムを蓄積する記憶領域を用意し、各ビンの度数を０に初期化する。

ステップＳ６１では、注目画素が第二視点背景取得領域３１１の画素であるか否かが確認される。背景情報生成部３２１は、注目画素が第二画像に対して設定された第二視点背景取得領域３１１の画素であればステップＳ６２に処理を移行させ（ステップＳ６１にてＹＥＳ）、そうでなければステップＳ６６へ処理を移行させる（ステップＳ６１にてＮＯ）。

ステップＳ６２では、注目画素が戸板領域１２の画素か否かが確認される。背景情報生成部３２１は、注目画素が戸板領域１２内にあればステップＳ６６に処理を移行させ（ステップＳ６２にてＹＥＳ）、そうでなければステップＳ６３へ処理を移行させる（ステップＳ６２にてＮＯ）。この判定により、背景情報生成部３２１は、第二視点からみて扉５が手前開きの場合に第二視点背景取得領域３１１からこれに重なった戸板領域１２を除外する。この除外によって戸板１５が背景に混入しなくなるので、開口部色ヒストグラムの精度を高く維持することができる。

ステップＳ６３では、注目画素が人物領域１４内の画素か否かが確認される。背景情報生成部３２１は、人物領域抽出部３２２が第二画像から抽出した人物領域１４を参照して、注目画素が人物領域１４内にあればステップＳ６６に処理を移行させ（ステップＳ６３にてＹＥＳ）、そうでなければステップＳ６４へ処理を移行させる（ステップＳ６３にてＮＯ）。

ステップＳ６４では、色変換処理が行われる。背景情報生成部３２１は、第二画像の平均輝度値及び分散を第一画像の平均輝度値及び分散と一致させるように予め設定された色変換関数を用いて第二画像の注目画素の画素値を変換する。

ステップＳ６５では、注目画素の値が現フレームの色ヒストグラムに蓄積される。背景情報生成部３２１は、記憶部３１に用意した現フレームの色ヒストグラムにおいて注目画素の色と対応するビンの度数を１だけ増加させる。

ステップＳ６６では、背景情報生成部３２１は、第二画像の全画素を注目画素として処理したか確認する。全画素を処理していなければ次の画素を処理するために処理をステップＳ６０に戻し（ステップ６６にてＮＯ）、処理が終わっていればステップＳ６７に処理を移行させる。

ステップＳ６７では、背景情報生成部３２１は、現フレームの色ヒストグラムを用いて開口部背景情報３１４に記憶している色ヒストグラムを更新する。具体的には背景情報生成部３２１は、現フレームの色ヒストグラムを処理対象とした画素数で正規化し、式（９）にしたがって現フレームの色ヒストグラムＨの各ビンの値と開口部背景情報３１４の色ヒストグラムＨ_O（ｔ−１）の対応するビンの値をα_O1：（１−α_O1）の割合で重み付け平均した色ヒストグラムＨ_O（ｔ）を求めて背景情報生成部３２１に書き込む。

ただし０＜α_O1＜１であり、例えばα_O1＝０．３と設定する。

なお、開口部背景情報３１４に色ヒストグラムが記憶されていない起動直後の場合は、現フレームの色ヒストグラムＨをそのままＨ_Oとして記憶させる。

第二画像から遮蔽空間７の背景情報を生成するステップＳ６０〜Ｓ６６は第二視点背景生成部の処理に該当し、この背景情報から第一画像で用いる開口部色ヒストグラムを生成するステップＳ６７は第一視点背景生成部の処理に該当する。このように、戸板１５（遮蔽物）が変位していないときも第二視点背景生成部が遮蔽空間７の背景情報を生成することにより遮蔽空間７の照明変動に適応でき、この背景情報を利用して第一視点背景生成部が開口部色ヒストグラムを生成することにより戸板１５が変位してそれまで第一視点から撮影されていなかった遮蔽空間７が第一画像の開口領域１１（遮蔽解除領域）が第一視点から撮影されるようになっても照明変動に適応した開口部色ヒストグラムを用いて高精度に人物１０（移動物体）の領域を検出し続けることができる。また、遮蔽空間７の背景情報を画素単位の情報とせず、領域単体の情報（ヒストグラム）としたことで、カメラパラメータ３１０や色変換関数の誤差が希釈されて精度低下を防止できる。

次に、背景情報生成部３２１は、図９のフローチャートに従い、第一画像における開口部背景画素値を生成する。

ステップＳ７０では、扉５が開放状態であるか否かが確認される。背景情報生成部３２１は、扉状態検出部３２０が検出した開角度が０度以外であれば扉５が開放状態であるとしてステップＳ７１に処理を移行させ（ステップＳ７０にてＹＥＳ）、そうでなければステップＳ７６に処理を移行させる（ステップＳ７０にてＮＯ）。

ステップＳ７１では、背景情報生成部３２１は、現フレームの第一画像の各画素を順次注目画素に設定する。ステップＳ７１〜７５のループ処理では、現フレームの第一画像により開口部背景画素値が生成・更新される。

ステップＳ７２では、注目画素が開口領域１１の画素か否かが確認される。背景情報生成部３２１は、扉状態検出部３２０が第一画像に対して設定した注目画素の領域属性が開口領域１１であればステップＳ７３に処理を移行させ（ステップＳ７２にてＹＥＳ）、そうでなければステップＳ７５に処理を移行させる（ステップＳ７２にてＮＯ）。

ステップＳ７３では、注目画素が人物領域１４の画素か否かが確認される。背景情報生成部３２１は、人物領域抽出部３２２が第一画像から抽出した人物領域１４を参照して、注目画素が人物領域１４の画素にあればステップＳ７５に処理を移行させ（ステップＳ７３にてＹＥＳ）、そうでなければステップＳ７４へ処理を移行させる（ステップＳ７３にてＮＯ）。

ステップＳ７４では、注目画素の背景画素値が更新される。背景情報生成部３２１は、現フレームの注目画素の画素値で開口部背景情報３１４に記憶している注目画素の背景画素値を更新する。具体的には、背景情報生成部３２１は、式（１０）にしたがって現フレームの注目画素の画素値Ｉ（ｘ）と開口部背景情報３１４の背景画素値Ｂ_O（ｘ，ｔ−１）をα_O2：（１−α_O2）の割合で重み付け平均した背景画素値Ｂ_O（ｘ，ｔ）を求めて開口部背景情報３１４に書き込む。

ただし０＜α_O2＜１であり、例えばα_O2＝０．３と設定する。

ステップＳ７５では、第一画像の全画素を注目画素として処理したかが確認される。背景情報生成部３２１は、全画素を処理していなければ次の画素を処理するために処理をステップＳ７１に戻し（ステップＳ７５にてＮＯ）、そうでなければ図４のステップＳ７へと処理を戻す（ステップＳ７５にてＹＥＳ）。ステップＳ７１〜Ｓ７５の処理により開口領域１１において人物が現れていない部分では遮蔽空間７の背景画素値が生成され、色ヒストグラムに代えて利用可能となる。

ステップＳ７６では、扉５が開放状態から閉鎖状態に変化したか否かが確認される。背景情報生成部３２１は、記憶部３１に記憶されている１フレーム前の開角度が０度以外であり且つ現フレームの開角度が０度であれば、扉５の状態が現フレームにおいて開放状態から閉鎖状態に変化したとしてステップＳ７７へ処理を移行させ（ステップＳ７６にてＹＥＳ）、そうでなければ処理を図４のステップＳ８に移行させる（ステップＳ７６にてＮＯ）。

ステップＳ７７では、開口部背景画素値がクリアされる。背景情報生成部３２１は、開口部背景情報３１４の背景画素値を総てクリアする。これにより、遮蔽空間７の背景情報が座標変換や色変換の誤差なく最新の状態に更新できるので照明変動に対応したより高精度な対象物の検出が可能となる。つまり、ステップＳ７０にて扉５が閉鎖状態であると判定された場合、開口領域１１における最新の背景画素値が第一画像から得られなくなり、閉鎖状態の間の照明変動に対応できなくなるため、閉鎖状態が継続している間においては、背景情報生成部３２１は、開口領域１１における背景画素値の生成を行わず、さらに開口部背景画素値をクリアして開口部背景画素値を扉５が開放状態にある間だけ利用可能とする。

また、背景情報生成部３２１は、第二画像における開口領域１１に対しても同様にして開口部背景情報３１４を生成する。すなわち、背景情報生成部３２１は、扉５が開放状態であれば、現フレームの第一画像において人物が検出されなかった開口領域１１の画素から現フレームの色ヒストグラムを算出して、当該色ヒストグラムと開口部背景情報３１４に記憶されている色ヒストグラムとの重み付け平均値を第二画像における開口領域１１の新たな色ヒストグラムとして記憶部３１に書き込む。また、背景情報生成部３２１は、扉５が開放状態であれば、現フレームの第二画像において人物が検出されなかった開口領域１１の画素値と開口部背景情報３１４の対応する背景画素値との重み付け平均値を第二画像における開口領域１１の新たな背景画素値として記憶部３１に書き込む。また、背景情報生成部３２１は、現フレームにおいて扉５が開放状態から閉鎖状態に変化した場合に開口部背景情報３１４の背景画素値をクリアする。

開口部背景情報３１４が生成されると、処理は図４のステップＳ９に進み、背景情報生成部３２１は戸板部背景情報３１５の生成を行う。背景情報生成部３２１は、ステップＳ８０〜Ｓ８４のループ処理を実行し、現フレームの戸板領域１２における色ヒストグラムを生成する。

ステップＳ８０では、背景情報生成部３２１は、現フレームの第一画像の各画素を順次注目画素に設定する。また、背景情報生成部３２１は、現フレームの色ヒストグラムを蓄積する記憶領域を用意し、各ビンの度数を０に初期化する。

ステップＳ８１では、背景情報生成部３２１は、注目画素が第一画像に対して設定された戸板領域１２の画素であるか否かを確認する。注目画素が戸板領域１２内にあればステップＳ８２に処理を移行させ（ステップＳ８１にてＹＥＳ）、そうでなければステップＳ８４へ処理を移行させる（ステップＳ８１にてＮＯ）。

ステップＳ８２では、背景情報生成部３２１は、人物領域抽出部３２２が第一画像から抽出した人物領域１４を参照して、注目画素が人物領域１４内の画素か否かを確認する。注目画素が人物領域１４内にあればステップＳ８４に処理を移行させ（ステップＳ８２にてＹＥＳ）、そうでなければステップＳ８３へ処理を移行させる（ステップＳ８２にてＮＯ）。

ステップＳ８３では、背景情報生成部３２１は、注目画素を色ヒストグラム生成の対象とし、注目画素の色と対応するビンの度数を１だけ増加させることで現フレームの色ヒストグラムＨを記憶部３１に蓄積する。

ステップＳ８４では、背景情報生成部３２１は、第一画像の全画素を注目画素として処理したか確認する。全画素を処理していなければ次の画素を処理するために処理をステップＳ８０に戻し（ステップＳ８４にてＮＯ）、そうでなければステップＳ８５に処理を移行させる（ステップＳ８４にてＹＥＳ）。

ステップＳ８５では、背景情報生成部３２１は、現フレームの色ヒストグラムを用いて戸板部背景情報３１５に記憶している色ヒストグラムを更新する。具体的には、背景情報生成部３２１は、現フレームの色ヒストグラムを処理対象とした画素数で正規化し、式（１１）にしたがって現フレームの色ヒストグラムＨの各ビンの値と戸板部背景情報３１５の色ヒストグラムＨ_D（ｔ−１）の対応するビンの値をα_D1：（１−α_D1）の割合で重み付け平均した色ヒストグラムＨ_D（ｔ）を求めて戸板部背景情報３１５に書き込む。なお、戸板部背景情報３１５に色ヒストグラムが記憶されていない起動直後の場合は、現フレームの色ヒストグラムＨをそのままＨ_Dとして記憶させる。

ただし０＜α_D＜１であり、例えばα_D＝０．３と設定する。

また、背景情報生成部３２１は、第二画像における戸板領域に対しても同様にして戸板部背景情報３１５を生成する。すなわち、背景情報生成部３２１は、現フレームの第二画像において人物が検出されなかった戸板領域１２の画素から現フレームの色ヒストグラムを算出して、当該色ヒストグラムと戸板部背景情報３１５に記憶されている色ヒストグラムとの重み付け平均値を第二画像における戸板領域１２の新たな色ヒストグラムとして記憶部３１に書き込む。

以上の処理を終えると、処理は図４のステップＳ１へと戻され、次のフレームの処理が行われる。

なお、図８のフローチャートに代えて、図１１のフローチャートに沿って第二画像を用いて第一画像における開口部色ヒストグラムを生成してもよい。

ステップＳ９０〜Ｓ９４では、第二画像から生成した扉外／全体背景情報３１３の各画素を順次注目画素に設定して全画素に対するループ処理により開口部色ヒストグラムが生成される。ステップＳ９０では、背景情報生成部３２１は、現フレームの第二画像から生成した扉外／全体背景情報３１３の背景画素値を順次注目画素値に設定する。また、ループ処理開始にあたり、背景情報生成部３２１は開口部色ヒストグラムの各ビンの度数を０に初期化する。

ステップＳ９１では、注目画素が第二視点背景取得領域の画素であるかが確認される。ステップＳ９３では、開口部色ヒストグラムが生成される。注目背景画素値の色と対応するビンの度数を１だけ増加させることで開口部色ヒストグラムを生成する。

背景情報生成部３２１は、注目画素値が第二画像に対して設定された第二視点背景取得領域３１１の画素値であればステップＳ９２に処理を移行させ（ステップＳ９１にてＹＥＳ）、そうでなければステップＳ９４に処理を移行させる（ステップＳ９１にてＮＯ）。

ステップＳ９２では、色変換が行われる。背景情報生成部３２１は、第二画像から第一画像への色変換関数を用いて注目背景画素値を変換する。

ステップＳ９４では、第二画像から生成した扉外／全体背景情報３１３の全画素を注目画素として処理したか確認する。全画素を処理していなければ次の画素を処理するために処理をステップＳ９０に戻し（ステップ９４にてＮＯ）、処理が終わっていれば背景情報生成部３２１は、開口部色ヒストグラムを正規化し、ステップＳ７０に処理を移行させる。

図１１のフローチャートに従う場合、第二画像から遮蔽空間７の背景情報を生成する第二視点背景生成部の処理は扉外／全体背景情報３１３を生成する図７に準じた処理が該当し、第二画像の扉外／全体背景情報３１３から開口部色ヒストグラムを生成する図１１の処理が第一視点背景生成部の処理に該当する。

以上のように、本実施の形態によれば、扉などの変位可能な遮蔽物が設置された空間にて人物等の対象物を検出する際に、遮蔽物の変位に伴って遮蔽されていた空間が写り込んだ背景情報を適切に更新することができる。これによって、背景差分処理を施したときに開口部全体が変化領域となることを防ぐことができ、開口部に一部または全体が写っている対象物を適切に検出することができる。また、遮蔽されていた空間での照明変動等の環境の変化があった場合であっても開口部の背景情報を適切に更新することができ、対象物を検出することが可能となる。さらに、開口部を対象物が通過している間も追跡を継続することが可能となり、対象物の追跡処理を確実に行うことが可能となる。

なお、本実施の形態では、手前に開く開き戸の例を示したが、扉パターン３１２を適合させることで奥に開く開き戸、引き戸、折戸など各種の扉に適用可能である。さらに、扉の他に物品庫のコンテナ、操車場の列車などの遮蔽物に対しても適用可能である。

また、本実施の形態では、対象物検出装置の各部の機能を１つのコンピュータで実現する態様を説明したがこれに限定されるものではない。対象物検出装置の各部の機能は一般的なコンピュータをプログラムにより制御することによって実現できるものであり、これらの装置の各機能を適宜組み合わせて１つのコンピュータで処理させてもよいし、各機能をネットワーク等で接続された複数のコンピュータで分散処理させてもよい。

２ 撮影部、２ａ 第一撮影部、２ａ 第二撮影部、３ 制御部、４ 表示部、５ 扉、６ 部屋、６ａ 第一の部屋、６ｂ 第二の部屋、７ 開口部、７ 遮蔽空間、８ 開口部、９ 床、１０ 人物、１１ 開口領域、１２ 戸板領域、１３ 戸外領域、１４ 人物領域、３０ 画像取得部、３１ 記憶部、３２ 画像処理部、３３ 出力部、１００ 対象物検出装置、３１０ カメラパラメータ、３１１ 第二視点背景取得領域、３１２ 扉パターン、３１３ 扉外／全体背景情報、３１４ 開口部背景情報、３１５ 戸板部背景情報、３１６ 人物情報、３２０ 扉状態検出部、３２１ 背景情報生成部、３２２ 人物領域抽出部、３２３ 人物追跡部。

Claims (6)

1. 定常位置から変位し得る遮蔽物が設置された監視空間において所定の対象物を検出するために、前記対象物を含まない前記監視空間の背景情報を生成する背景情報生成装置であって、
   前記監視空間を第一の視点から撮影する第一撮影部と、
   前記監視空間において前記遮蔽物が前記定常位置にあるときは前記第一の視点から撮影されず前記遮蔽物が前記定常位置から変位すると前記第一の視点から撮影される遮蔽空間を、少なくとも前記遮蔽物が前記定常位置にあるときに撮影可能な第二の視点から撮影する第二撮影部と、
   前記遮蔽物の変位を検出する変位検出部と、
   前記第二撮影部が撮影した第二画像から前記第二の視点での背景情報を生成する第二視点背景生成部と、
   前記変位検出部において変位が検出されていない場合、前記第一撮影部が撮影した第一画像から前記第一の視点での背景情報を生成し、前記変位検出部において変位が検出された場合、前記第二視点背景生成部が生成した背景情報を前記第一の視点での背景情報とする第一視点背景生成部と、
   を備えることを特徴とする背景情報生成装置。
2. 請求項１に記載の背景情報生成装置であって、
   前記変位検出部は、前記第二画像にて変位中の前記遮蔽物が現れている遮蔽物領域を当該第二画像と予め登録されている前記遮蔽物領域の形状特徴との比較から検出し、
   前記第二視点背景生成部は、前記第二画像から前記遮蔽物領域を除外して前記第二の視点での背景情報を生成することを特徴とする背景情報生成装置。
3. 請求項１又は２に記載の背景情報生成装置であって、
   前記第二視点背景生成部は、前記遮蔽空間を撮像した画像のヒストグラムを背景情報として生成することを特徴とする背景情報生成装置。
4. 請求項１〜３のいずれか１項に記載の背景情報生成装置であって、
   前記変位検出部は、前記第一画像にて前記遮蔽物の変位により前記遮蔽空間が現れている遮蔽解除領域を当該第一画像と予め登録されている前記遮蔽解除領域の形状特徴との比較から検出し、
   前記第一視点背景生成部は、前記第二視点背景生成部において生成された背景情報から前記遮蔽解除領域の背景情報を生成することを特徴とする背景情報生成装置。
5. 請求項４に記載の背景情報生成装置であって、
   前記第一視点背景生成部は、前記遮蔽物の変位が検出された場合、前記遮蔽解除領域外の背景情報を前記第一画像から生成することを特徴とする背景情報生成装置。
6. 請求項１〜５のいずれか１項に記載の背景情報生成装置と、
   前記第一画像と前記第一視点背景生成部が生成した背景情報とを比較して当該第一画像において当該背景情報と所定以上に相違する領域を前記対象物の領域として検出する対象物検出部を備えることを特徴とする対象物検出装置。

Images