JP2014149597A

JP2014149597A - 通行物体検出装置

Info

Publication number: JP2014149597A
Application number: JP2013016883A
Authority: JP
Inventors: Masahiro Maeda; 昌宏前田; Yuji Nakazawa; 裕二中沢; Naoya Oshima; 直也大島; Takaharu Kurokawa; 高晴黒川; Hidenori Ujiie; 秀紀氏家
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2013-01-31
Filing date: 2013-01-31
Publication date: 2014-08-21
Anticipated expiration: 2033-01-31
Also published as: JP6080572B2

Abstract

【課題】ドア開閉の有無によらず通行物体を検出し続けることを可能とする。
【解決手段】ドアの開放により生じる開口部の形状特徴を含むドアの形状パターンをドアの開度毎に予め記憶し、撮影画像を形状パターンと比較して類似度を算出し、最も類似度が高い開度の形状パターンに合わせてドア領域とドア外領域とに区分し、各領域における通行物体を含まない空間の背景情報を記憶し、領域毎に撮影画像の各画素と当該領域の背景情報との相違度を算出して、相違度が所定基準以上である画素のまとまりを通行物体領域として抽出し、ドア領域における背景情報としてドア領域の画素値の分布データを記憶し、ドア外領域における背景情報としてドア外領域の各画素の画素値を記憶する、通行物体検出装置とする。
【選択図】図３

Description

本発明は、ドアを含む空間を撮影した画像から通行者等の通行物体領域を検出する通行物体検出装置に関する。

近年、共連れ入場等の不正通行を監視するために、ドア付近を撮影した画像を処理して通行者を追跡する研究が行われている。このとき、ドアの両側をそれぞれ別の監視カメラにより撮影してドアを通過した通行者の追跡を監視カメラ間で引き継げば、通行者の行動を厳格に監視できるためセキュリティが向上する。

例えば、特許文献１には、ドアの外側である開放領域とドアの内側である待機領域のそれぞれに撮影部を設置し、背景差分処理により抽出した変化領域に基づいて通行物体領域を追跡する通行制御装置が開示されている。この通行制御装置では、２つの領域の間にドア領域を設定し、開放領域及び待機領域の一方からドア領域に消失した通行者と開放領域及び待機領域の他方にてドア領域から出現した通行者とを同一の通行者と判定することで追跡の引継ぎを行っている。

特開２０１０−１５７１４９号公報

しかしながら、従来技術では、ドア領域にて追跡の空白期間及び空白領域が生じるため、追跡の引継ぎが正しく行えない場合があった。例えば、２名がドア領域に進入し、そのうち１名がＵターンして戻った場合、またドアを開けた人物が後続の人物を先に通した場合等、ドア領域に複数の人物が混在するときに引継ぎを誤る問題が生じ易い。そこで、人物がドア領域に存在している間も追跡を継続することが望まれ、追跡継続のためには当該人物の通行物体領域を抽出し続ける必要があった。

ところが、ドアが開くとそれまで戸板によって遮蔽されていたドアの向こう側が開口部に写り込んで背景が変わる。そのため、このときの画像に背景差分処理を施すと開口部全体が変化領域となってしまうため、開口部に一部または全体が写っている人物の通行物体領域を抽出することが困難となる。さらに、開口部の領域形状は時々刻々と変化し、通行者が開口部の一部を隠蔽するため、直近時刻における開口部の各画素値を背景情報として正確に得ることが困難である。

また、ドアの開閉時には戸板が変位するので開口部に加えて戸板自体や戸板の陰影も変化領域に含まれる。戸板の領域においても開口部と同様に、領域形状の時間変化と通行者による隠蔽が生じるため、直近時刻における背景情報を画素単位で正確に得ることが困難である。このように、ドアの開閉によって背景は開口領域、戸板領域及びドア外領域の３領域にて異なる変化を生じ、通行者の領域はこれらの３領域にまたがり生じ得る。そのためドア付近において通行物体領域を抽出することが困難となる。

本発明は、上記問題を解決するためになされたものであり、ドアの開閉があっても通行物体領域を検出し続けることが可能な通行物体検出装置を提供することを目的とする。

本発明の１つの態様は、ドアを含む空間を撮影した撮影画像から通行物体を検出する通行物体検出装置であって、少なくとも前記ドアの開放により生じる開口部の形状特徴を含む前記ドアの形状パターンを前記ドアの開度毎に予め記憶するドアパターン記憶部と、前記撮影画像を前記形状パターンと比較して類似度を算出し、前記撮影画像を最も前記類似度が高い当該形状パターンに合致するドア領域と前記ドア領域以外であるドア外領域とに区分する領域区分部と、前記領域区分部が区分する各領域における前記通行物体を含まない前記空間の背景情報を記憶する背景記憶部と、前記領域区分部が区分した領域毎に前記撮影画像の各画素と当該領域の前記背景情報との相違度を算出して、前記相違度が所定基準以上である画素のまとまりを通行物体領域として抽出する通行物体領域抽出部と、を備えることを特徴とする通行物体検出装置である。

ここで、前記背景記憶部は、前記ドア領域における前記背景情報として前記ドア領域の画素値の分布データを記憶し、前記ドア外領域における前記背景情報として前記ドア外領域の各画素の画素値を記憶することが好適である。

ここで、前記ドアパターン記憶部は、前記ドアを構成する戸板の形状特徴をさらに含めた前記形状パターンを記憶し、前記領域区分部は、前記ドア領域をさらに前記開口部が現われている開口領域と前記戸板が現われている戸板領域とに区分し、前記背景記憶部は、前記開口領域及び前記戸板領域それぞれにおける前記背景情報として当該各領域の画素値の分布データを記憶することが好適である。

また、前記通行物体領域抽出部は、通行物体の形状を模した通行物体モデルに含まれる画素の前記相違度の和が前記所定基準以上であるときに前記通行物体モデルを適用した領域を前記通行物体領域として検出することが好適である。

また、前記通行物体領域抽出部は、前記撮影画像の各画素の前記相違度が前記所定基準以上である画素を抽出し、抽出された画素が予め設定された通行物体サイズ以上に纏まっている領域を前記通行物体領域として検出することが好適である。

また、前記撮影画像の前記通行物体領域から通行物体の画像特徴を抽出し、前記通行物体領域抽出部は、前記ドア領域の前記通行物体領域と前記通行物体の画像特徴の類似度を求め、当該類似度が高いほど前記通行物体領域の各画素の前記相違度を高くする又は前記所定基準を低くする補正を行うことが好適である。

また、前記撮影画像の前記通行物体領域から通行物体の画像特徴を抽出し、前記通行物体領域抽出部は、前記ドア領域の画素毎に前記通行物体の画像特徴の類似度を求め、当該類似度が高いほど当該画素の前記相違度を高くする又は前記所定基準を低くする補正を行うことが好適である。

また、前記通行物体領域抽出部は、前記ドア領域の前記撮像画像を通行物体の画像特徴を予め学習した識別器に入力し、前記識別器の出力が通行物体の存在を示す値であるときに前記相違度を高くする又は前記所定基準を低くする補正を行うことが好適である。

本発明によれば、ドアの開閉が生じても通行物体を正確に検出し続けることができる。

本発明の実施の形態における通行物体検出装置の構成及び配置を示す図である。本発明の実施の形態における画像中の各領域を説明する図である。本発明の実施の形態における通行物体検出装置の機能ブロック図である。本発明の実施の形態における通行物体検出処理のフローチャートである。本発明の実施の形態におけるドアパターンの例を示す図である。本発明の実施の形態における通行物体領域検出処理のフローチャートである。本発明の実施の形態における識別器による通行物体判定を説明する図である。本発明の実施の形態におけるドア外／全体背景情報生成処理のフローチャートである。本発明の実施の形態における開口部背景情報生成処理のフローチャートである。本発明の実施の形態における開口部背景情報生成処理のフローチャートである。本発明の実施の形態における戸板部背景情報生成処理のフローチャートである。

＜通行物体検出装置の構成＞
通行物体検出装置１００は、図１に示すように、撮影部２（第一撮影部２ａ，第二撮影部２ｂ）、制御部３及び表示部４を含んで構成される。

通行物体検出装置１００は、部屋６（第一の部屋６ａ及び第二の部屋６ｂ）に設置され、第一の部屋６ａ及び第二の部屋６ｂを撮影した撮影画像から背景情報を生成し、それを利用して通行物体を検出する処理を行う。本実施の形態では、通行物体として人、すなわち検出対象を通行者であるとして説明を行う。

第一の部屋６ａ及び第二の部屋６ｂは、ドア５の戸板１５及び壁で仕切られる。戸板１５は蝶番等により変位可能に設置される。ドア５が、閉鎖状態のときに戸板１５は定常位置に留まり、戸板１５が定常位置から変位することによってドア５は開放状態となる。なお、本実施の形態の通行物体検出装置１００の適用範囲は戸板１５が開き戸である場合に限定されず、引き戸である場合でもよい。

第一撮影部２ａは、第一の部屋６ａに設置される。第一撮影部２ａは、所定時間おきに第一の部屋６ａからドア５を含む空間を撮影し、撮影画像（第一画像）を制御部３へ出力する。第二撮影部２ｂは、第二の部屋６ｂに設置される。第二撮影部２ｂは、所定時間おきに第二の部屋６ｂからドア５を含む空間を撮影し、撮影画像（第二画像）を制御部３へ出力する。本実施の形態では、第一撮影部２ａ及び第二撮影部２ｂは、それぞれ第一の部屋６ａ及び第二の部屋６ｂの天井に下に向けて配置される。後述するように背景情報の取得の精度と安定性の観点から、ドア５が開放状態のときに第一撮影部２ａの視野（画角）に含まれる第二の部屋６ｂの背景が床９となるように第一撮影部２ａを設置することが好ましい。例えば、第一撮影部２ａをドア５の近傍の天井に俯角が大きくなるように設置するとよい。

ここで、第一撮影部２ａ及び第二撮影部２ｂの撮影のタイミングは同期させることが好適である。

ドア５が閉鎖状態では、第一撮影部２ａの視点（第一の視点）から遮蔽空間７を含む第二の部屋６ｂの空間は撮影されない。つまり、閉鎖状態のとき、遮蔽空間７は、戸板１５によって第一の視点から遮蔽されて撮影されない。ただし、ドア５が閉鎖状態の位置にあるときも遮蔽空間７は第一撮影部２ａとは別の第二撮影部２ｂにより第二の視点から撮影される。一方、ドア５の開放により開口部８が生じると、第一撮影部２ａから開口部８越しに遮蔽空間７の一部又は全部が撮影されてしまう。その結果、第一撮影部２ａにより撮影された第一画像上では、ドア５が閉鎖状態のときは戸板１５が背景であった領域に第二の部屋６ｂの床９が背景として出現してしまう。このように、ドア５が開放されると第一画像上に遮蔽空間７が背景として急に現われることによって、通行物体を検出し難くなる。ちなみに、ドア５が開放状態となったときに遮蔽空間７は第一撮影部２ａの視野及び第二撮影部２ｂの視野に共通する共通視野となる。

図２は、ドア５が開放状態のときに撮影される第一画像の例を示す。開口領域１１は、開放状態にて第二の部屋６ｂの一部が撮影される領域である。戸板領域１２は、戸板１５が撮影される領域である。ドア５が開き戸の場合、開口領域１１と戸板領域１２を合わせた領域がドア領域となる。ドア５が引き戸であり、戸板１５が変位してもその陰影が殆ど変化しない環境であれば戸板領域１２は設定せず、開口領域１１のみをドア領域としてもよい。ドア外領域１３は、第一画像のうち開口領域１１及び戸板領域１２を除いた領域である。ドア５や床９、壁等は検出対象外の背景であり、これに対し検出対象物である通行者１０は前景である。通行者１０が現われている通行者領域（通行物体領域）１４は、開口領域１１、戸板領域１２、ドア外領域１３のいずれか又は複数の領域に跨って重なり得る。

開口領域１１は、ドア５の開閉によってその領域形状が時々刻々と変化する。また、戸板領域１２もドア５の開閉に伴いその領域形状が時々刻々と変化し、戸板１５の陰影が時々刻々と変化する。さらに、開口領域１１及び戸板領域１２の一部は通行者１０により隠蔽され得る。なお、ドア５が閉鎖状態のとき、開口領域１１は現われない。

また、第二視点背景取得領域３１１は、第一画像における開口領域１１と対応する第二画像内の領域である。すなわち、第二画像における第二視点背景取得領域３１１は第一画像における開口領域１１の背景情報を取得する領域である。カメラパラメータ３１０を用いた予めの計算により、第一画像の開口領域１１を第一撮影部２ａ及び第二撮影部２ｂに共通する共通座標系（ワールド座標系）の基準面である床に逆投影し、さらに開口領域１１の逆投影を第二画像に投影することで第二視点背景取得領域３１１を求めて記憶部３に記憶させておく。図１の床９の領域が開口領域１１の逆投影の例であり、図２の第二視点背景取得領域３１１が開口領域１１の逆投影を第二画像に投影した例である。

カメラパラメータ３１０は、第一撮影部２ａ及び第二撮影部２ｂの内部パラメータ及び外部パラメータである。事前のキャリブレーション（校正）作業により計測されたこれらの値が第一撮影部２ａ及び第二撮影部２ｂの撮影部ＩＤと対応付けて記憶部３１に予め記憶されている。内部パラメータは、焦点距離、レンズの光学中心位置等の情報である。外部パラメータは、ワールド座標系における位置及び姿勢等の情報である。カメラパラメータ３１０にピンホールカメラモデルなどを適用することで、第一撮影部２ａと第二撮影部２ｂとの共通視野において対応する座標間の座標変換が可能となる。

なお、戸板１５が変位すると第二画像上にも開口領域が現われる。第二画像における開口領域と対応する第二画像内の第一視点背景取得領域も予め求めて記憶部３に記憶させておく。

通行物体検出装置１００は、制御部３であるコンピュータが通行物体検出プログラムを実行することによって実現される。制御部３は、第一撮影部２ａ、第二撮影部２ｂ及び表示部４と接続され、第一撮影部２ａ及び第二撮影部２ｂから順次入力される撮影画像を処理して撮影画像に現われた通行者領域１４を抽出し、抽出結果から通行者１０の位置を追跡する。抽出結果や追跡結果は表示部４に表示される。表示部４は、液晶ディスプレイやＣＲＴ等のモニター、これらのデータを受信する通信インターフェースを含む。

図３は、制御部３によって実現される各機能の機能ブロック図である。制御部３は、画像取得部３０、記憶部３１、画像処理部３２及び出力部３３として機能する。

画像取得部３０は、第一撮影部２ａ、第二撮影部２ｂが撮影した撮影画像を順次受信し、画像処理部３２へ出力する通信インターフェースを含む。記憶部３１は、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等のメモリ装置を含んで構成される。記憶部３１は、カメラパラメータ３１０、第二視点背景取得領域３１１、ドアパターン３１２、ドア外／全体背景情報３１３、開口部背景情報３１４、戸板部背景情報３１５及び色変換関数を含む各種データや画像処理部３２の処理を規定した通行物体検出プログラム等を記憶する。画像処理部３２は、ＣＰＵ(Central Processing Unit)、ＤＳＰ(Digital Signal Processor)、ＭＣＵ(Micro Control Unit)等の演算装置を含んで構成される。画像処理部３２は、記憶部３１から通行物体検出プログラムを読み出し、実行することによりドア状態検出部３２０、背景情報生成部３２１、通行物体領域抽出部３２２、通行物体追跡部３２３の各部での処理を実行する。出力部３３は、画像処理部３２で処理された情報を表示部４へ出力する通信インターフェースを含む。

以下、図４のフローチャートに沿って、通行物体検出プログラムによって実現される通行物体検出処理について説明する。通行物体検出処理は、監視空間に通行者が存在していないことを確認したうえで開始される。通行物体検出処理では、画像を取得するたびに以下のステップＳ１〜Ｓ９を繰り返す。

ステップＳ１では、第一撮影部２ａ及び第二撮影部２ｂから第一画像及び第二画像が取得される。第一撮影部２ａ及び第二撮影部２ｂでは所定の周期で第一画像及び第二画像を撮影して画像取得部３０へ出力する。画像取得部３０は、第一画像及び第二画像を受けて、記憶部３１に記憶させる。

ステップＳ２では、ドア５の状態が検出される。ドア状態検出部３２０は、第一画像とドアパターン３１２とのパターンマッチングを行ってドア５の開度を検出する。

ドアパターン３１２は、撮影画像上で開口領域１１と戸板領域１２がとり得る形状特徴をドア５の開度毎に表す形状パターンである。ドアパターン３１２は、監視空間に適合させて予め作成し登録しておく（記憶部３１に記憶させておく）。具体的には、ドアパターン３１２は、ドア５の各開角度における開口領域１１の輪郭画素の位置、戸板領域１２の輪郭画素の位置を示した形状パターンと開口領域１１に属する画素及び戸板領域１２に属する画素を示した属性パターンを含む。例えば、図５に示すように、０度（定常位置）から１２０度（完全開放）まで１０度毎に１３段階のパターンが登録される。ドアパターン３１２は、ドア５を模した３次元モデルを用いたシミュレーションなどにより事前に作成され、予め登録される。また、開口領域１１のパターン画像と戸板領域１２のパターン画像を別々に分けて登録してもよい。ドア状態検出部３２０は、各開角度の形状パターンと現フレームの第一画像とを比較して類似度を算出し、類似度が最も高い開角度をドア状態として検出する。具体的には、ドア状態検出部３２０は、第一画像からエッジ画像を生成して各開角度のドアパターン３１２とエッジ画像のパターンマッチングを行って、類似度が最大である開角度を検出する。これにより、現フレームの第一画像に現れているドア５の形状に一致するドア状態を検出できる。ドア状態検出部３２０は、検出した開角度を背景情報生成部３２１及び通行物体領域抽出部３２２に出力すると共に、次フレームでの処理のために記憶部３１に記憶させる。

また、ドア状態は、第二画像とドアパターン３１２とのパターンマッチングにより検出してもよい。この場合、ドアパターン３１２は、第二画像に対してドア５の各開角度において予め登録しておけばよい。第一画像と第二画像における開角度は共通であるから、ステップＳ２の処理はいずれか一方に対して行えばよい。

また、ドア５の上部の領域においてドア５の下部の領域より類似度を高く評価する処理としてもよい。すなわち、ドア５の上部の領域は通行者と重なり合わない可能性が高く、ドアパターン３１２とのパターンマッチングにおいて信頼性の高い領域となるので、ドア５の上部領域でのマッチングをより重要視して処理を行うことが好ましい。例えば、ドア領域において人の平均身長より上の領域における類似度に１より大きい係数を乗算して、平均身長より下の領域における類似度よりも高く評価すればよい。或いは、簡易的にドア領域の上半分を上部の領域、下半分を下部の領域としてもよい。

ステップＳ３では、第一画像及び第二画像の各画素に領域属性が設定される。ドア状態検出部３２０は、検出された開角度のドアパターン３１２に設定されている属性パターンに従って第一画像及び第二画像上に開口領域１１と戸板領域１２とそれ以外のドア外領域１３を設定する。このステップＳ２及びＳ３の処理が、ドア状態検出部３２０に含まれる領域区分部での処理に相当する。

例えば、開角度が０度以外であれば、ドア状態検出部３２０は、第一画像及び第二画像の各画素に３領域のいずれかの領域属性を設定し、第一画像及び第二画像それぞれを、最も類似度が高い開度のドアパターン３１２における開口領域１１、戸板領域１２及びドア外領域１３の形状及び位置にその輪郭形状及び位置が合致する３領域に区分する。開角度が０度なら、ドア状態検出部３２０は、第一画像及び第二画像それぞれを、閉鎖状態のドアパターン３１２における戸板領域１２及びドア外領域１３の形状及び位置にその輪郭形状及び位置が合致する２領域に区分する。なお、上述した戸板領域１２を設定しない引き戸の例では、ドア状態検出部３２０は、開放状態のときに第一画像及び第二画像それぞれを最も類似度が高い開度のドアパターン３１２における開口領域１１l及びドア外領域１３の形状及び位置にその輪郭形状及び位置が合致する２領域に区分する。

このように、ドア状態検出部３２０は、ドア５の開閉により撮影画像において開口部８が現われている開口領域１１を予め登録されている開口領域１１の形状パターン（ドアパターン３１２）との比較から検出する。これにより、撮影画像において戸板１５の変位に伴って生じる開口領域１１の形状変化に追従できる。そのため、撮影画像において開口部背景情報３１４を適用すべき開口領域１１が正確に得られるので高精度な背景情報の生成と高精度な通行物体領域の検出が可能となる。

また、ドア状態検出部３２０は、撮影画像において変位中の戸板１５が現われている戸板領域１２を予め登録されている戸板領域１２の形状パターン（ドアパターン３１２）との比較から検出する。これにより、撮影画像において生じる戸板領域１２の形状変化に追従できる。そのため、撮影画像において戸板部背景情報３１５を取得、適用すべき戸板領域１２が正確に得られるので高精度な背景情報の生成と高精度な通行物体領域の検出が可能となる。

ステップＳ４では、第一画像及び第二画像から通行者領域が抽出される。まず、通行物体領域抽出部３２２は、図６に示すフローチャートに沿って第一画像を処理する。ステップＳ３０〜Ｓ４０では、各画素を順次注目画素に設定して第一画像の全画素に対するループ処理を行う。

ステップＳ３０では、第一画像中に注目画素が設定される。すなわち、通行物体領域抽出部３２２は、ステップＳ３０に処理が戻ってくる度に第一画像に含まれる１画素を順次選択して注目画素に設定する。

ステップＳ３１では、ドア５の状態が開放状態であるか否かが確認される。通行物体領域抽出部３２２は、ドア状態検出部３２０が検出した開角度が０度でなければドア５の状態が開放状態であるとして（ステップＳ３１にてＹＥＳ）、ステップＳ３２に処理を移行させ、そうでなければステップＳ３８に処理を移行させる（ステップＳ３１にてＮＯ）。

ステップＳ３２では、注目画素が開口領域１１であるか否かが判定される。通行物体領域抽出部３２２は、ステップＳ４にてドア状態検出部３２０が判定した各画素の領域属性を参照して、注目画素の領域属性が開口領域１１である場合にはステップＳ３３に処理を移行させ（ステップＳ３２にてＹＥＳ）、そうでない場合にはステップＳ３６に処理を移行させる（ステップＳ３２にてＮＯ）。

ステップＳ３３〜Ｓ３５では、通行物体領域抽出部３２２は開口領域１１における撮影画像の各画素を開口部背景情報３１４と比較して、当該画素の開口部背景情報３１４に対する相違の程度を表わす指標である通行者尤度（相違するほど値が大きくなる）を算出する。

開口部背景情報３１４は、第一画像及び第二画像における開口領域１１の背景情報である。各画素の開口部背景情報３１４は、開口領域１１の色ヒストグラム（開口部色ヒストグラム）と開口領域１１の各画素に対応する背景画素値（開口部背景画素値）の２種類を含む情報であり、記憶部３１に記憶される。開口部色ヒストグラムは、例えばＹＵＶ各８ビンの３次元配列とされる。開口部背景情報３１４は、背景情報生成部３２１により生成され、適宜更新される。開口部背景情報３１４の生成処理については後述する。

ステップＳ３３では、注目画素の背景画素値が既に生成されているか否かが判定される。通行物体領域抽出部３２２は、開口部背景情報３１４に既に背景画素値が記憶されている場合にはステップＳ３５に処理を移行させ（ステップＳ３３にてＹＥＳ）、そうでない場合にはステップＳ３４へ処理を移行させる（ステップＳ３３にてＮＯ）。

ステップＳ３４では、開口部色ヒストグラムに対する注目画素の通行者尤度が算出される。通行物体領域抽出部３２２は、開口部背景情報３１４から第一画像の開口部色ヒストグラムＨ₀、通行物体情報３１６からドア５付近の通行者の色ヒストグラムＨ_Pをそれぞれ読み出し、数式（１）及び（２）にしたがって注目画素ｘの通行者尤度Ｌ_O（ｘ）を算出する。

ここで、ｘは注目画素、Ｐ_O（ｘ）は注目画素ｘの通行者確率、ｃ_xは注目画素ｘの色、Ｈ_O（ｃ_x）は開口部色ヒストグラムにおける色ｃ_xのビンの頻度、Ｈ_P（ｃ_x）は通行物体情報３１６から読みだした色ヒストグラムにおける色ｃ_xのビンの頻度、Ｌ_O（ｘ）は注目画素ｘの通行者尤度、β_O1は予めの実験を通じ適切に調整した定数である。通行者尤度Ｌ_O（ｘ）は、通行者確率Ｐ_O（ｘ）に対して単調増加する。よって、開口部色ヒストグラムにおいて注目画素の画素値の頻度が低いほど通行者尤度は高くなる。

このように通行物体領域抽出部３２２は、第一画像における開口領域１１の各画素が開口部色ヒストグラムと相違するほど当該画素の通行者尤度を高く算出する。また、通行物体領域抽出部３２２は、第一画像における開口領域１１の各画素が通行物体情報３１６と類似するほど当該画素の通行者尤度を高く算出する。

ここで、通行物体情報３１６とは、監視空間に存在する各通行者（すなわち追跡中の通行者）の通行者領域１４の画像特徴量及び位置の履歴を示す情報である。各通行者には当該通行者を一意に識別する通行者ＩＤが付与され、通行者ＩＤに通行者領域と画像特徴量と位置の履歴が対応付けて記憶部３１に記憶される。ここで、画像特徴量は、色ヒストグラムであり、例えばＹＵＶ各８ビンの３次元配列で表される。通行者領域の情報は、共通座標系における３次元形状モデルとその３次元位置（例えば頭部重心）の形式で記憶される。３次元形状モデルは、通行物体が人である場合には頭部、胴部及び足部を回転楕円体で近似したデータとすることができる。３次元形状モデルを、カメラパラメータ３１０を用いて撮影画像の座標系に投影することで通行者領域を表わす２次元形状モデルとなる。

ステップＳ３５では、開口部背景画素値に対する注目画素の通行者尤度が算出される。通行者尤度は、数式（３）を用いて算出される。具体的には、通行物体領域抽出部３２２は、注目画素の画素値Ｉ（ｘ）と背景画素値Ｂ_O（ｘ）との背景差分を算出し、差分値（Ｉ（ｘ）−Ｂ_O（ｘ））を通行者尤度Ｌ_O（ｘ）に変換する。

ここで、β_O2は予めの実験を通じ適切に調整した定数である。

通行者尤度Ｌ_O（ｘ）は、差分値（Ｉ（ｘ）−Ｂ₀（ｘ））に対して単調増加する。よって、注目画素の画素値と開口部背景画素値の差が大きいほど通行者尤度は高くなる。

このように通行物体領域抽出部３２２は、第一画像における開口領域１１の各画素が開口部背景情報３１４と相違するほど当該画素の通行者尤度を高く算出する。

ステップＳ３６，Ｓ３７では、通行物体領域抽出部３２２は、戸板領域における第一画像の各画素を戸板部背景情報３１５と比較して、当該画素が背景情報と相違する程度を表わす指標である通行者尤度を算出する。

ここで、戸板部背景情報３１５は、第一画像及び第二画像における戸板領域１２の背景情報であり、色ヒストグラム（戸板部色ヒストグラム）で表される。各画像の戸板部色ヒストグラムは、例えばＹＵＶ各８ビンの３次元配列で表され、記憶部３１に記憶される。戸板部背景情報３１５は、ドア５の開閉が検出されている間、背景情報生成部３２１により生成され、適宜更新される

ステップＳ３６では、注目画素が戸板領域１２であるか否かが判定される。通行物体領域抽出部３２２は、注目画素の領域属性が戸板領域１２である場合（ステップＳ３６にてＹＥＳ）にはステップＳ３７に処理を移行させ、そうでない場合（ステップＳ３６にてＮＯ）にはステップＳ３８へ処理を移行させる。

ステップＳ３７では、戸板部色ヒストグラムに対する注目画素の通行者尤度が算出される。通行物体領域抽出部３２２は、注目画素ｘの色すなわち画素値を第一画像の戸板部色ヒストグラム及びドア５付近の通行者の色ヒストグラムと比較して、数式（４）及び（５）にしたがって注目画素ｘの通行者尤度Ｌ_D（ｘ）を算出する。

ここで、Ｐ_D（ｘ）は注目画素ｘの通行者確率、Ｈ_D（ｃｘ）は戸板部色ヒストグラムにおける色ｃ_xのビンの頻度、Ｌ_D（ｘ）は注目画素ｘの通行者尤度、β_Dは予めの実験を通じ適切に調整した定数である。通行者尤度Ｌ_D（ｘ）は、通行者確率Ｐ_D（ｘ）に対して単調増加する。

すなわち、通行物体領域抽出部３２２は、第一画像における戸板領域１２の各画素が戸板部背景情報３１５と相違するほど当該画素の通行者尤度を高く算出する。また、通行物体領域抽出部３２２は、第一画像の戸板領域１２を構成する画素が通行物体情報３１６と類似するほど当該画素の通行者尤度を高く算出する。

ステップＳ３８では、開口領域１１及び変位中の戸板領域１２のいずれでもない注目画素についてドア外／全体背景画素値に対する通行者尤度が算出される。通行物体領域抽出部３２２は、ドア外／全体背景情報３１３から注目画素ｘに対応する背景輝度値Ｂ_G（ｘ）を読み出し、注目画素ｘの画素値Ｉ（ｘ）と背景画素値Ｂ_G（ｘ）との差分値（Ｉ（ｘ）−Ｂ_G（ｘ））を算出して通行者尤度Ｌ_G（ｘ）に変換する。具体的には、数式（６）により通行者尤度Ｌ_G（ｘ）を算出する。

ここで、Ｌ_G（ｘ）は注目画素ｘの通行者尤度、β_Gは予めの実験を通じ適切に調整した定数である。通行者尤度Ｌ_G（ｘ）は、差分値（Ｉ（ｘ）−Ｂ_G（ｘ））に対して単調増加する。よって、注目画素の画素値と全体背景画素値又はドア外背景画素値の差が大きいほど通行者尤度は高くなる。

このように、通行物体領域抽出部３２２は、ドア５が閉鎖状態のときは第一画像の画素総てに対して当該画素の通行者尤度を全体背景画素値と相違するほど高く算出し、ドア５が開放状態のときはドア外領域１３における第一画像の各画素の通行者尤度を当該画素がドア外背景画素値と相違するほど高く算出する。

ここで、ドア外／全体背景情報３１３は、第一画像全体における背景情報及び第二画像全体における背景情報である。ドア外／全体背景情報３１３としては第一画像の各画素に対応する背景画素値及び第二画像の各画素に対応する背景画素値が記憶部３１に記憶される。ドア外／全体背景情報３１３は、背景情報生成部３２１により生成され、適宜更新される。ドア５が閉鎖状態のときは全画素の背景画素値が全体背景画素値として利用され、ドア５が開放状態のときはドア外領域１３の画素に対応する背景画素値がドア外背景画素値として利用される。

ステップＳ４０では、識別器を用いた通行者尤度の補正処理がなされる。まず、通行者領域抽出部３２２は、開口領域１１及び戸板領域１２において検出窓領域Ａを少しずつずらしながら検出窓領域Ａ内の撮影画像を識別器に入力し、識別器が出力するスコアから検出窓領域Ａに通行者が写っているか否かを判定する。例えば、識別器は検出窓領域Ａに通行者が写っていれば０より大きく１未満のスコアを出力し、写っていなければ−１より大きく０以下のスコアを出力するように予め学習させておくことができ、この場合、通行者領域抽出部３２２は、閾値として０を設定し、スコアが閾値より大きければ通行者が写っていると判定し、スコアが閾値以下であれば通行者は写っていないと判定する。なお、このとき、通行者領域抽出部３２２は、通行者毎に異なる身長（通行物体の個体差）に対応するために、開口領域１１及び戸板領域１２の撮影画像を縮小しながら判定を行う。縮小率は、通行者の画像上での大きさを考慮して予め記憶部３１に１又は複数の縮小率を記憶させておけばよい。

ここで用いる識別器は、それぞれに人が写っている大量の「通行者」画像の特徴量といずれも人が写っておらず背景だけが写っている大量の「非通行者」画像の特徴量とからなる学習データを用いて、判定基準のパラメータをアダブースト(AdaBoost)法又はサポートベクターマシーン(SVM)等により予め学習させたプログラムであり、記憶部３１に予め記憶させておく。特徴量にはヒストグラム・オブ・オリエンティッド・グラディエント(ＨＯＧ：Histograms of Oriented Gradients)、ハールライク(Haar-like)特徴等を用いることができる。識別器は、入力された検出窓領域Ａ内の撮影画像から特徴量を抽出し、抽出した特徴量を判定基準に照らして検出窓領域毎にスコアを出力する。

通行物体領域抽出部３１３は、このように得られた判定結果に基づいて通行者尤度を補正する。例えば、識別器から出力されるスコアが所定の閾値を超える場合、通行者が検出されものとしてその検出窓領域Ａ内では既に計算されている各画素の通行者尤度に一定の値を乗算して通行者尤度が高くなるように処理する。また、識別器において通行者が検出された検出窓領域Ａ内では既に計算されている各画素の通行者尤度に識別器から出力されたスコアを乗算して通行者尤度が高くなるように処理してもよい。例えば、スコアＤｓが０〜１の数値で表わされる場合には（１＋Ｄｓ）を乗算する。また、識別器から出力されるスコアが所定の閾値を超えない場合には、その検出窓領域Ａ内では既に計算されている各画素の通行者尤度に一定の値を加算して通行者尤度を底上げしてもよい。

さらに、検出窓領域Ａの矩形にサイズ合わせして人型の通行物体モデルを設定し、検出窓領域Ａ内においてその通行物体モデルの領域に対してのみ上記補正処理を施してもよい。または、通行物体モデルの領域の中心に近いほど通行者尤度が高くなるように乗算値や加算値を設定してもよい。

なお、通行者尤度に（１＋Ｄｓ）等の多値のスコアを乗算又は加算する場合、開口領域１１及び戸板領域１２に複数の通行者が写っているとき等に、複数の検出窓領域にて通行者が写っていると判定され、これらの検出窓領域の一部が重複することがある。この場合は、重複領域の各画素において複数の検出窓領域にて出力されたスコアの最大値を乗算又は加算すればよい。

また、識別器として、通行者画像を人の全身画像で構成した学習データで学習した１種類の識別器を用いることもできるが、複数種類の識別器を用いてもよい。例えば、通行者画像を人の全身画像だけで構成した学習データで学習した識別器と、通行者画像を脚部や頭部等の部位毎の画像で構成した学習データそれぞれで学習した複数の識別器とを用いることができる。この場合、例えば、全身の識別器の検出窓領域と当該全身に対する部位の識別器の検出窓領域の位置関係を予め対応付けて管理し、部位の識別器のスコアを対応する全身の検出窓領域に統合したスコアを当該全身の検出窓領域に対するスコアとして補正処理に利用することができる。

こうして得られた通行者尤度画像が通行者領域を表す情報となる。すなわち、通行者尤度の高い画素が人型に密集している領域が通行者領域１４として得られる。ステップＳ４１では、通行者尤度画像から通行者領域１４を決定する処理が行われる。

具体的には、通行者尤度画像上の各位置に３次元人物モデルを投影して２次元形状を模した通行物体モデルを生成し、通行物体モデル内の画素に設定された通行者尤度の合計値が検出閾値Ｔ１以上であるときに当該位置の通行物体モデルが示す領域を通行者領域１４として抽出する。または、通行者尤度画像の各画素を所定の検出閾値Ｔ２と比較し、通行者尤度が検出閾値Ｔ２以上である画素がドア領域における通行者のサイズ（通行物体サイズ）の範囲で互いに隣接している領域を通行者領域１４として抽出してもよい。

なお、上記サブルーチンでは第一画像内に含まれる通行者領域１４の抽出処理のみを説明したが、第二画像内に含まれる通行者領域１４も同様に求める。すなわち通行物体領域抽出部３２２は、第二画像の各画素に対する通行者尤度を算出して第二画像に対応する通行者尤度画像を生成し、通行者尤度の高い画素が人型に密集している領域を通行領域に決定する。このとき、通行物体領域抽出部３２２は、ドア５が開放状態であれば、開口領域１１における第二画像の画素を開口部背景情報３１４と比較して通行者尤度を算出し、戸板領域１２における第二画像の画素を戸板部背景情報３１５と比較して通行者尤度を算出し、ドア外領域１３における第二画像の画素をドア外／全体背景情報３１３と比較して通行者尤度を算出する。また通行物体領域抽出部３２２は、ドア５が閉鎖状態であれば、第二画像の全画素をドア外／全体背景情報３１３と比較して通行者尤度を算出する。

上記通行物体領域抽出部３２２における処理が終了するとメインルーチンのステップＳ５に処理が戻される。

ステップＳ５では、通行者の追跡処理が行われる。通行物体追跡部３２３は、各通行者領域１４の位置及び通行者領域１４における第一画像の色ヒストグラムを当該通行者の特徴量として抽出し、抽出した特徴量と通行物体情報３１６に記憶された各通行者の特徴量との照合を行う。通行物体追跡部３２３は、この照合により一致が得られた通行者領域を通行物体情報３１６の通行者と同一と判定して対応付ける。第二画像から抽出した通行者領域についても同様に通行物体情報３１６との同定を行う。さらに、通行物体追跡部３２３はカメラパラメータ３１０を用いて第一画像から抽出した通行者領域１４と第二画像から抽出した通行者領域１４のうち、ワールド座標系において位置が対応する通行者領域を同一の通行者と対応付ける。通行物体追跡部３２３は、通行物体情報３１６の色ヒストグラムを対応が得られた通行者領域１４の色ヒストグラムにより更新し、当該通行者の通行物体情報３１６の位置履歴に一致が得られた通行者領域１４の位置を追記する。また、対応が得られなかった通行者領域に対して新規通行者の通行物体情報３１６を生成し、対応が得られなかった通行物体情報３１６は消失したとして削除する。

なお、通行者の追跡処理はこれらに限定されるものではなく、既存の種々の画像追跡処理を適用することができる。

ステップＳ６では、通行者領域１４の画素から通行者尤度の算出で用いる通行者の色ヒストグラムを生成する。ドア５の近辺に存在するＫ人の通行者のヒストグラムＨ₁〜Ｈ_Kを足し合わせ、正規化したものを通行者の色ヒストグラムＨ_Pとして通行物体情報３１６に含めて記憶部３１に記憶させる。

ステップＳ７では、図８のフローチャートに沿って、ドア外／全体背景情報３１３の生成処理が行われる。背景情報生成部３２１は、現フレームの第一画像の各画素を順次注目画素に設定して（ステップＳ５０）、ステップＳ５０〜Ｓ５５のループ処理を実行する。

ステップＳ５１では、ドア５の状態が開放状態であるか否かが確認される。背景情報生成部３２１は、ドア状態検出部３２０が検出した開角度が０度以外ならドア５が開放状態であるとしてステップＳ５２に処理を移行させ（ステップＳ５１にてＹＥＳ）、そうでなければステップＳ５３に処理を移行させる（ステップＳ５１にてＮＯ）。

ステップＳ５２では、注目画素の領域属性がドア外領域１３であるか否かが確認される。背景情報生成部３２１は、ドア状態検出部３２０が注目画素に対して設定した領域属性がドア外領域１３であればステップＳ５３に処理を移行させ（ステップＳ５２にてＹＥＳ）、そうでなければステップＳ５５に処理を移行させる（ステップＳ５２にてＮＯ）。

ステップＳ５３では、注目画素が通行者領域１４の画素か否かが確認される。背景情報生成部３２１は、通行物体領域抽出部３２２が第一画像から抽出した通行者領域１４を参照して、注目画素が通行者領域１４の画素であればステップＳ５５に処理を移行させ（ステップＳ５３にてＹＥＳ）、そうでなければステップＳ５４に処理を移行させる（ステップＳ５３にてＮＯ）。

ステップＳ５４では、背景情報生成部３２１は、現フレームの注目画素の画素値でドア外／全体背景情報３１３に記憶している注目画素の背景画素値を更新する。

具体的には、背景情報生成部３２１は、式（８）にしたがって、現フレームの注目画素の画素値Ｉ（ｘ）とドア外／全体背景情報３１３の背景画素値Ｂ_G（ｘ，ｔ−１）をα_G：（１−α_G）の割合で重み付け平均した背景画素値Ｂ_G（ｘ，ｔ）を求めてドア外／全体背景情報３１３に書き込む。

ただし０＜α_G＜１であり、例えばα_G＝０．３と設定する

ステップＳ５５では、背景情報生成部３２１は、第一画像の全画素を注目画素として処理したか確認する。全画素を処理していなければ、次の画素を処理するために処理をステップＳ５０に戻す（ステップＳ５５にてＮＯ）。全画素を注目画素として処理すると図８の処理は終了する。

以上のように、背景情報生成部３２１は、通行者領域１４、開口領域１１及び変位中の戸板領域１２を除いた領域について、現フレームの第一画像を用いて第一の視点でのドア外／全体背景情報３１３を生成・更新する。

また、背景情報生成部３２１は、第二画像に対しても同様にしてドア外／全体背景情報３１３を生成する。すなわち、背景情報生成部３２１は、ドア５が開放状態であれば、現フレームの第二画像において通行者が検出されなかったドア外領域１３の画素値とドア外／全体背景情報３１３の対応する背景画素値との重み付け平均値を第二画像における開口領域１１の新たな背景画素値として記憶部３１に書き込む。また、背景情報生成部３２１は、ドア５が閉鎖状態であれば、現フレームの第二画像において通行者が検出されなかった領域の画素値とドア外／全体背景情報３１３の対応する背景画素値との重み付け平均値を第二画像に対する新たな背景画素値として記憶部３１に書き込む。

ドア外／全体背景情報３１３が生成されると、処理は図４のステップＳ８に進み、背景情報生成部３２１は開口部背景情報３１４の生成を行う。

ステップＳ８では、図９及び図１０に示すフローチャートに沿って開口部背景情報の生成処理が行われる。

まず、背景情報生成部３２１は、図１０のフローチャートに従い、第二画像を用いて第一画像における開口部色ヒストグラムを生成する。

ステップＳ６０〜Ｓ６４のループ処理では、現フレームの第二視点背景取得領域３１１における色ヒストグラムが生成される。ステップＳ６０では、現フレームの第二画像の各画素が順次注目画素に設定される。すなわち、背景情報生成部３２１は、ステップＳ６０に処理が戻ってくる度に第二画像に含まれる画素を順次選択して注目画素に設定する。また、ループ処理開始にあたり、背景情報生成部３２１は現フレームの色ヒストグラムを蓄積する記憶領域を用意し、各ビンの度数を０に初期化する。

ステップＳ６１では、注目画素が第二視点背景取得領域３１１の画素であるか否かが確認される。背景情報生成部３２１は、注目画素が第二画像に対して設定された第二視点背景取得領域３１１の画素であればステップＳ６２に処理を移行させ（ステップＳ６１にてＹＥＳ）、そうでなければステップＳ６６へ処理を移行させる（ステップＳ６１にてＮＯ）。

ステップＳ６２では、注目画素が戸板領域１２の画素か否かが確認される。背景情報生成部３２１は、注目画素が戸板領域１２内にあればステップＳ６６に処理を移行させ（ステップＳ６２にてＹＥＳ）、そうでなければステップＳ６３へ処理を移行させる（ステップＳ６２にてＮＯ）。この判定により、背景情報生成部３２１は、第二視点からみてドア５が手前開きの場合に第二視点背景取得領域３１１からこれに重なった戸板領域１２を除外する。この除外によって戸板１５が背景に混入しなくなるので、開口部色ヒストグラムの精度を高く維持することができる。

ステップＳ６３では、注目画素が通行者領域１４内の画素か否かが確認される。背景情報生成部３２１は、通行物体領域抽出部３２２が第二画像から抽出した通行者領域１４を参照して、注目画素が通行者領域１４内にあればステップＳ６６に処理を移行させ（ステップＳ６３にてＹＥＳ）、そうでなければステップＳ６４へ処理を移行させる（ステップＳ６３にてＮＯ）。

ステップＳ６４では、色変換処理が行われる。背景情報生成部３２１は、第二画像の平均輝度値及び分散を第一画像の平均輝度値及び分散と一致させるように予め設定された色変換関数を用いて第二画像の注目画素の画素値を変換する。

ステップＳ６５では、注目画素の値が現フレームの色ヒストグラムに蓄積される。背景情報生成部３２１は、記憶部３１に用意した現フレームの色ヒストグラムにおいて注目画素の色と対応するビンの度数を１だけ増加させる。

ステップＳ６６では、背景情報生成部３２１は、第二画像の全画素を注目画素として処理したか確認する。全画素を処理していなければ次の画素を処理するために処理をステップＳ６０に戻し（ステップ６６にてＮＯ）、処理が終わっていればステップＳ６７に処理を移行させる。

ステップＳ６７では、背景情報生成部３２１は、現フレームの色ヒストグラムを用いて開口部背景情報３１４に記憶している色ヒストグラムを更新する。具体的には背景情報生成部３２１は、現フレームの色ヒストグラムを処理対象とした画素数で正規化し、式（９）にしたがって現フレームの色ヒストグラムＨの各ビンの値と開口部背景情報３１４の色ヒストグラムＨ_O（ｔ−１）の対応するビンの値をα_O1：（１−α_O1）の割合で重み付け平均した色ヒストグラムＨ_O（ｔ）を求めて背景情報生成部３２１に書き込む。

ただし０＜α_O1＜１であり、例えばα_O1＝０．３と設定する。

なお、開口部背景情報３１４に色ヒストグラムが記憶されていない起動直後の場合は、現フレームの色ヒストグラムＨをそのままＨ_Oとして記憶させる。

このように開口領域の背景情報を画素単位の情報とせず、領域単体の情報である画素値の分布データ（色ヒストグラム）としたことで、開口領域の形状変化や通行物体の通過によって見え隠れする箇所に対しても継続的に利用可能な開口部背景情報を生成することができる。よってドアの開閉があっても高精度に通行物体領域を検出し続けることができる。また、カメラパラメータ３１０や色変換関数の誤差が希釈されて精度低下を防止できる。

次に、背景情報生成部３２１は、図１０のフローチャートに従い、第一画像における開口部背景画素値を生成する。

ステップＳ７０では、ドア５が開放状態であるか否かが確認される。背景情報生成部３２１は、ドア状態検出部３２０が検出した開角度が０度以外であればドア５が開放状態であるとしてステップＳ７１に処理を移行させ（ステップＳ７０にてＹＥＳ）、そうでなければステップＳ７６に処理を移行させる（ステップＳ７０にてＮＯ）。

ステップＳ７１では、背景情報生成部３２１は、現フレームの第一画像の各画素を順次注目画素に設定する。ステップＳ７１〜７５のループ処理では、現フレームの第一画像により開口部背景画素値が生成・更新される。

ステップＳ７２では、注目画素が開口領域１１の画素か否かが確認される。背景情報生成部３２１は、ドア状態検出部３２０が第一画像に対して設定した注目画素の領域属性が開口領域１１であればステップＳ７３に処理を移行させ（ステップＳ７２にてＹＥＳ）、そうでなければステップＳ７５に処理を移行させる（ステップＳ７２にてＮＯ）。

ステップＳ７３では、注目画素が通行者領域１４の画素か否かが確認される。背景情報生成部３２１は、通行物体領域抽出部３２２が第一画像から抽出した通行者領域１４を参照して、注目画素が通行者領域１４の画素にあればステップＳ７５に処理を移行させ（ステップＳ７３にてＹＥＳ）、そうでなければステップＳ７４へ処理を移行させる（ステップＳ７３にてＮＯ）。

ステップＳ７４では、注目画素の背景画素値が更新される。背景情報生成部３２１は、現フレームの注目画素の画素値で開口部背景情報３１４に記憶している注目画素の背景画素値を更新する。具体的には、背景情報生成部３２１は、式（１０）にしたがって現フレームの注目画素の画素値Ｉ（ｘ）と開口部背景情報３１４の背景画素値Ｂ_O（ｘ，ｔ−１）をα_O2：（１−α_O2）の割合で重み付け平均した背景画素値Ｂ_O（ｘ，ｔ）を求めて開口部背景情報３１４に書き込む。

ただし０＜α_O2＜１であり、例えばα_O2＝０．３と設定する。

ステップＳ７５では、第一画像の全画素を注目画素として処理したかが確認される。背景情報生成部３２１は、全画素を処理していなければ次の画素を処理するために処理をステップＳ７１に戻し（ステップＳ７５にてＮＯ）、そうでなければ図４のステップＳ９へと処理を戻す（ステップＳ７５にてＹＥＳ）。ステップＳ７１〜Ｓ７５の処理により開口領域１１において通行者が現れていない部分では背景画素値が生成され、色ヒストグラムに代えて利用可能となる。

ステップＳ７６では、ドア５が開放状態から閉鎖状態に変化したか否かが確認される。背景情報生成部３２１は、記憶部３１に記憶されている１フレーム前の開角度が０度以外であり且つ現フレームの開角度が０度であれば、ドア５の状態が現フレームにおいて開放状態から閉鎖状態に変化したとしてステップＳ７７へ処理を移行させ（ステップＳ７６にてＹＥＳ）、そうでなければ処理を図４のステップＳ９に移行させる（ステップＳ７６にてＮＯ）。

ステップＳ７７では、開口部背景画素値がクリアされる。背景情報生成部３２１は、開口部背景情報３１４の背景画素値を総てクリアする。つまり、ステップＳ７０にてドア５が閉鎖状態であると判定された場合、開口領域１１における最新の背景画素値が第一画像から得られなくなるため、閉鎖状態が継続している間においては、背景情報生成部３２１は、開口領域１１における背景画素値の生成を行わず、さらに開口部背景画素値をクリアして開口部背景画素値をドア５が開放状態にある間だけ利用可能とする。

また、背景情報生成部３２１は、第二画像における開口領域１１に対しても同様にして開口部背景情報３１４を生成する。すなわち、背景情報生成部３２１は、ドア５が開放状態であれば、現フレームの第一画像において通行者が検出されなかった開口領域１１の画素から現フレームの色ヒストグラムを算出して、当該色ヒストグラムと開口部背景情報３１４に記憶されている色ヒストグラムとの重み付け平均値を第二画像における開口領域１１の新たな色ヒストグラムとして記憶部３１に書き込む。また、背景情報生成部３２１は、ドア５が開放状態であれば、現フレームの第二画像において通行者が検出されなかった開口領域１１の画素値と開口部背景情報３１４の対応する背景画素値との重み付け平均値を第二画像における開口領域１１の新たな背景画素値として記憶部３１に書き込む。また、背景情報生成部３２１は、現フレームにおいてドア５が開放状態から閉鎖状態に変化した場合に開口部背景情報３１４の背景画素値をクリアする。

開口部背景情報３１４が生成されると、処理は図４のステップＳ９に進み、背景情報生成部３２１は戸板部背景情報３１５の生成を行う。背景情報生成部３２１は、図１１に示すフローチャートに沿ってステップＳ８０〜Ｓ８４のループ処理を実行し、現フレームの戸板領域１２における色ヒストグラムを生成する。

ステップＳ８０では、背景情報生成部３２１は、現フレームの第一画像の各画素を順次注目画素に設定する。また、背景情報生成部３２１は、現フレームの色ヒストグラムを蓄積する記憶領域を用意し、各ビンの度数を０に初期化する。

ステップＳ８１では、背景情報生成部３２１は、注目画素が第一画像に対して設定された戸板領域１２の画素であるか否かを確認する。注目画素が戸板領域１２内にあればステップＳ８２に処理を移行させ（ステップＳ８１にてＹＥＳ）、そうでなければステップＳ８４へ処理を移行させる（ステップＳ８１にてＮＯ）。

ステップＳ８２では、背景情報生成部３２１は、通行物体領域抽出部３２２が第一画像から抽出した通行者領域１４を参照して、注目画素が通行者領域１４内の画素か否かを確認する。注目画素が通行者領域１４内にあればステップＳ８４に処理を移行させ（ステップＳ８２にてＹＥＳ）、そうでなければステップＳ８３へ処理を移行させる（ステップＳ８２にてＮＯ）。

ステップＳ８３では、背景情報生成部３２１は、注目画素を色ヒストグラム生成の対象とし、注目画素の色と対応するビンの度数を１だけ増加させることで現フレームの色ヒストグラムＨを記憶部３１に蓄積する。

ステップＳ８４では、背景情報生成部３２１は、第一画像の全画素を注目画素として処理したか確認する。全画素を処理していなければ次の画素を処理するために処理をステップＳ８０に戻し（ステップＳ８４にてＮＯ）、そうでなければステップＳ８５に処理を移行させる（ステップＳ８４にてＹＥＳ）。

ステップＳ８５では、背景情報生成部３２１は、現フレームの色ヒストグラムを用いて戸板部背景情報３１５に記憶している色ヒストグラムを更新する。具体的には、背景情報生成部３２１は、現フレームの色ヒストグラムを処理対象とした画素数で正規化し、式（１１）にしたがって現フレームの色ヒストグラムＨの各ビンの値と戸板部背景情報３１５の色ヒストグラムＨ_D（ｔ−１）の対応するビンの値をα_D1：（１−α_D1）の割合で重み付け平均した色ヒストグラムＨ_D（ｔ）を求めて戸板部背景情報３１５に書き込む。なお、戸板部背景情報３１５に色ヒストグラムが記憶されていない起動直後の場合は、現フレームの色ヒストグラムＨをそのままＨ_Dとして記憶させる。

ただし０＜α_D＜１であり、例えばα_D＝０．３と設定する。

また、背景情報生成部３２１は、第二画像における戸板領域に対しても同様にして戸板部背景情報３１５を生成する。すなわち、背景情報生成部３２１は、現フレームの第二画像において通行者が検出されなかった戸板領域１２の画素から現フレームの色ヒストグラムを算出して、当該色ヒストグラムと戸板部背景情報３１５に記憶されている色ヒストグラムとの重み付け平均値を第二画像における戸板領域１２の新たな色ヒストグラムとして記憶部３１に書き込む。このように戸板領域の背景情報を画素単位の情報とせず領域単位の情報である画素値の分布データ（色ヒストグラム）としたことで、戸板領域の形状変化や通行物体の通過によって見え隠れする箇所に対しても継続的に利用可能な戸板部背景情報を生成することができる。よってドアの開閉があっても高精度に通行物体領域を検出し続けることができる。

以上の処理を終えると、処理は図４のステップＳ１へと戻され、次のフレームの処理が行われる。

以上のように、本実施の形態によれば、ドアが設置された空間にて通行物体を検出する際に、ドアの開閉に伴って形状変化するドア領域、特に開口領域及び戸板領域を正確に認識することができる。これによって、各領域の背景情報を適確に生成し適用できるので背景差分処理を施したときに開口部全体が変化領域となることを防ぐことができ、各領域に一部または全体が写っている通行物体を適切に検出することができる。

また、開口領域及び戸板領域の背景情報を各領域における画素値の分布データとしたことで領域形状の変化や通行物体の通過により、背景の一部が見え隠れしても隠れた箇所の背景情報を補うことができるので、通行物体を検出し続けることが可能となる。以上により、ドアの開閉があっても通行物体領域の検出を継続することが可能となり、通行物体の追跡処理を確実に行うことが可能となる。

なお、本実施の形態では、手前に開く開き戸の例を示したが、ドアパターン３１２を適合させることで奥に開く開き戸、引き戸、折戸など各種のドアに適用可能である。また、本実施の形態では、開口部色ヒストグラムを第二画像から生成したが、第一画像から生成することもできる。すなわち、背景情報生成部３２１はドア５が開放状態であるときに第一画像の開口領域１１の画素値を用いて色ヒストグラムを生成及び更新し、ドア５が閉鎖状態のときは開口部色ヒストグラムの更新を停止して当該色ヒストグラムを保持する。この場合、閉鎖期間の照明変動を補償するために開口領域上部の第一画像から上部色ヒストグラムを別途生成して記憶部３１に記憶させ、前回開放時の上部色ヒストグラムに対する今回開放時の上部色ヒストグラムの変動量を求めて、保持している開口部色ヒストグラムを当該変動量で補正する。

また、本実施の形態では、通行物体を人としたが、これに限定されるものではない。例えば、門扉が設置された敷地入口やシャッター付ガレージを撮影し、門ドアやシャッターのようなドアを通行する車両を通行物体として検出することもできる。

また、通行物体領域抽出部３２２は、追跡中の全通行者に共通して一枚の通行者尤度画像を生成したが、これに代えて通行者毎に一枚の通行者尤度画像を生成してもよい。この場合、通行物体領域抽出部３２２は、注目する通行者ｋの色ヒストグラムＨ_kを用いて当該通行者の通行者尤度画像Ｌ_kを作成し、当該通行者尤度画像Ｌ_kから通行者１人の通行者領域を決定する処理を通行中の全通行者に対して繰り返す。このようにすることで、通行者毎の色の違いに適合した通行者尤度画像を生成でき、色の異なる通行者が複数存在するときに抽出の精度を向上させることができる。

また、本実施の形態では、通行物体検出装置の各部の機能を１つのコンピュータで実現する態様を説明したがこれに限定されるものではない。通行物体検出装置の各部の機能は一般的なコンピュータをプログラムにより制御することによって実現できるものであり、これらの装置の各機能を適宜組み合わせて１つのコンピュータで処理させてもよいし、各機能をネットワーク等で接続された複数のコンピュータで分散処理させてもよい。

２撮影部、２ａ第一撮影部、２ａ第二撮影部、３制御部、４表示部、５ドア、６部屋、６ａ第一の部屋、６ｂ第二の部屋、７開口部、７遮蔽空間、８開口部、９床、１０通行物体、１１開口領域、１２戸板領域、１３ドア外領域、１４通行者領域、３０画像取得部、３１記憶部、３２画像処理部、３３出力部、１００通行物体検出装置、３１０カメラパラメータ、３１１第二視点背景取得領域、３１２ドアパターン、３１３ドア外／全体背景情報、３１４開口部背景情報、３１５戸板部背景情報、３１６通行物体情報、３２０ドア状態検出部、３２１背景情報生成部、３２２通行物体領域抽出部、３２３通行物体追跡部、４０１，４０２，４０３，４１１，４１２，４１３ヒストグラム。

Claims

ドアを含む空間を撮影した撮影画像から通行物体を検出する通行物体検出装置であって、
少なくとも前記ドアの開放により生じる開口部の形状特徴を含む前記ドアの形状パターンを前記ドアの開度毎に予め記憶するドアパターン記憶部と、
前記撮影画像を前記形状パターンと比較して類似度を算出し、前記撮影画像を最も前記類似度が高い当該形状パターンに合致するドア領域と前記ドア領域以外であるドア外領域とに区分する領域区分部と、
前記領域区分部が区分する各領域における前記通行物体を含まない前記空間の背景情報を記憶する背景記憶部と、
前記領域区分部が区分した領域毎に前記撮影画像の各画素と当該領域の前記背景情報との相違度を算出して、前記相違度が所定基準以上である画素のまとまりを通行物体領域として抽出する通行物体領域抽出部と、
を備えることを特徴とする通行物体検出装置。
請求項１に記載の通行物体検出装置であって、
前記背景記憶部は、前記ドア領域における前記背景情報として前記ドア領域の画素値の分布データを記憶し、前記ドア外領域における前記背景情報として前記ドア外領域の各画素の画素値を記憶することを特徴とする通行物体検出装置。
請求項２に記載の通行物体検出装置であって、
前記ドアパターン記憶部は、前記ドアを構成する戸板の形状特徴をさらに含めた前記形状パターンを記憶し、
前記領域区分部は、前記ドア領域をさらに前記開口部が現われている開口領域と前記戸板が現われている戸板領域とに区分し、
前記背景記憶部は、前記開口領域及び前記戸板領域それぞれにおける前記背景情報として当該各領域の画素値の分布データを記憶すること、
を特徴とする通行物体検出装置。
請求項１〜３のいずれか１項に記載の通行物体検出装置であって、
前記通行物体領域抽出部は、通行物体の形状を模した通行物体モデルに含まれる画素の前記相違度の和が前記所定基準以上であるときに前記通行物体モデルを適用した領域を前記通行物体領域として検出することを特徴とする通行物体検出装置。
請求項１〜３のいずれか１項に記載の通行物体検出装置であって、
前記通行物体領域抽出部は、前記撮影画像の各画素の前記相違度が前記所定基準以上である画素を抽出し、抽出された画素が予め設定された通行物体サイズ以上に纏まっている領域を前記通行物体領域として検出することを特徴とする通行物体検出装置。
請求項１〜５のいずれか１項に記載の通行物体検出装置であって、
前記撮影画像の前記通行物体領域から通行物体の画像特徴を抽出し、
前記通行物体領域抽出部は、前記ドア領域の前記通行物体領域と前記通行物体の画像特徴の類似度を求め、当該類似度が高いほど前記通行物体領域の各画素の前記相違度を高くする又は前記所定基準を低くする補正を行うことを特徴とする通行物体検出装置。
請求項１〜５のいずれか１項に記載の通行物体検出装置であって、
前記撮影画像の前記通行物体領域から通行物体の画像特徴を抽出し、
前記通行物体領域抽出部は、前記ドア領域の画素毎に前記通行物体の画像特徴の類似度を求め、当該類似度が高いほど当該画素の前記相違度を高くする又は前記所定基準を低くする補正を行うことを特徴とする通行物体検出装置。
請求項６に記載の通行物体検出装置であって、
前記通行物体領域抽出部は、前記ドア領域の前記撮影画像を通行物体の画像特徴を予め学習した識別器に入力し、前記識別器の出力が通行物体の存在を示す値であるときに前記相違度を高くする又は前記所定基準を低くする補正を行うことを特徴とする通行物体検出装置。