JP2005025313A - 滞留者検知システム - Google Patents
滞留者検知システム Download PDFInfo
- Publication number
- JP2005025313A JP2005025313A JP2003187538A JP2003187538A JP2005025313A JP 2005025313 A JP2005025313 A JP 2005025313A JP 2003187538 A JP2003187538 A JP 2003187538A JP 2003187538 A JP2003187538 A JP 2003187538A JP 2005025313 A JP2005025313 A JP 2005025313A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- person
- edge
- staying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
- Interconnected Communication Systems, Intercoms, And Interphones (AREA)
Abstract
【課題】家の玄関、門扉の前などを通過する通行人を誤検知することなく、長時間滞留する滞留者のみを精度良く検知する方式を実現する。
【解決手段】撮像手段からエッジ画像を生成し、背景画像との差分に基づき撮像画像から顔画像を抽出する。そして、顔画像の時空間分布１０４、１０８を生成する。この時空間分布より得られる滞留度数に基づいて、前記顔画像が滞留者であるか否かを判定することにより、滞留者検知をする。
【選択図】 図４
【解決手段】撮像手段からエッジ画像を生成し、背景画像との差分に基づき撮像画像から顔画像を抽出する。そして、顔画像の時空間分布１０４、１０８を生成する。この時空間分布より得られる滞留度数に基づいて、前記顔画像が滞留者であるか否かを判定することにより、滞留者検知をする。
【選択図】 図４
Description
【０００１】
【発明の属する技術分野】
本発明は、カメラの視野内に長時間留まる人物を検知する装置に関し、特に、インターホンなどに設置された画像センサが撮像した画像を処理し、対象画像中に存在する人物情報をある時間蓄積し、その結果からカメラの前に長時間留まる滞留者を特定する装置に関する。
【０００２】
【従来の技術】
玄関や門扉の前などに滞留し、家の中を窺うような挙動を示す不審な人物を検知する従来の技術として、人体検知センサに連動したカメラを利用する方式が一般的には知られている（例えば、特許文献１参照。）。
人体検知センサを利用する場合、人体から発せられる熱を検知するセンサを利用して、センサが感知した場合にカメラの映像を取得し、その画像を記録して、住人にアナウンスするといった方法がとられている。
【０００３】
またインターホンの前をうろついている不審人物などの滞留者を画像処理によって検知する従来の技術として、画像信号の差分をとって、そのレベルから判断する方式がある（例えば、特許文献２参照。）。
【０００４】
【特許文献１】
特許第３３６８０１９号公報
【特許文献２】
特開平９−６５３２８号公報
【０００５】
【発明が解決しようとする課題】
【０００６】
上記特許文献１に記載された技術では、人体検知センサは、玄関前に留まる滞留者以外に、玄関前を通り過ぎるだけの通行人に対しても反応してしまい、長時間滞在する滞留者だけを検知することは困難である。また通行人の往来が激しい環境では、検知の頻度が高くなるため、メモリに記録される映像データ量が膨大になり、本来必要な滞留者の映像の検索が困難になる。
【０００７】
同時に、メモリ容量の制約から、所望の映像がほかの映像で上書きされたり、所望の映像が書き込めなかったりするなどの状況に陥り、必要な映像が保存できなくなる場合が考えられる。
【０００８】
また、上記特許文献２の技術の場合、画像の差分情報のみでは、そのレベル差がどの様な状況の変化によって生じたものか判断できないため、誤検出の問題が生じる。
例えば、雲による太陽の陰りが生じた場合、画像全体に大きなレベル差が生ずるが、滞留者が移動したこととの違いをレベル差のみで判断することは困難である。また、玄関向かいにある店舗のネオンが点滅するなどによっても同様のレベル差が生ずることは容易に想像できる。親機に内蔵したブザーで滞留者の検出を家人に知らせる機能を有している場合、仮に夜中に誤検出が発生すれば、就寝中にブザー音が鳴ってしまうこととなり、使い勝手の低下を招く。
【０００９】
本発明は、家の玄関、門扉の前などを通過する通行人を誤検知することなく、長時間滞留する滞留者のみを精度良く検知する方式を実現することを目的とする。
また、本発明は、滞留者として判断する滞留時間の設定値に応じて、人物領域の抽出に用いる背景画像の更新の程度を適切に設定し、滞留者のみ効果的に背景差分の抽出領域として得られると同時に、日照変動などの各種ノイズを最小限に抑え、抽出の精度向上を図ることを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、上記目的を達成するためになされたものである。
本発明においては、撮像画像を入力する撮像手段と、前記撮像画像から人物領域を抽出する領域抽出部と、前記人物領域の出現度数を算出し該出現度数に基づき前記人物画像が滞留者であるか否かを判定する滞留検知部とから滞留者検知システムを構成する。
【００１１】
本発明によれば、画像による情報のみで、領域内に滞留する人物を精度良く検出することができ、コストの低減、機器の小型化を実現することができる。また、人物領域の出現度数に基づいて滞留者の判別を行うことにより、連続的な検知継続時間を経ることなく滞留者を検出することができる。
【００１２】
また、前記領域抽出部は前記撮像画像のエッジを抽出してエッジ画像を生成するエッジ画像生成部と、前記エッジ画像を記憶するエッジ画像記憶部と、このエッジ画像記憶部に記憶される複数フレームのエッジ画像を加重平均して平均画像を生成する平均画像生成部と、を有し、前記平均画像と前記撮像画像の背景画像との差分に基づき人物領域を抽出するようにすることができる。
【００１３】
これにより撮像領域内を通過する物体のエッジ強度を低く撮像領域内に滞留する物体のエッジ強度を強く得ることができ、誤検出を低減することが可能となり、画像による情報のみで精度よく滞留者を検出することができる。
【００１４】
前記滞留検知部は、前記人物領域を水平軸に射影した場合の出現度数の分布となる水平時空間分布と、前記人物領域を垂直軸に射影した場合の出現度数の分布となる垂直時空間分布とを生成し、前記水平時空間分布及び前記垂直時空間分布の最大値が、水平時空間分布に対するしきい値と該しきい値より大きく設定された垂直時空間分布に対するしきい値とを超えれば滞留者ありと判定するようにすることができる。
【００１５】
これにより、度数の蓄積により滞留者を検出することが可能となり、連続的な検知継続時間を経ることなく、より精度の高い滞留者検知を実現することができる。
【００１６】
さらに、前記領域抽出部は、前記平均画像と前記背景画像との差分に基づいて差分エッジ画像を生成し、この差分エッジ画像の各エッジ画素から所定方向の画素をマスクして得られるマスク領域を抽出するマスク領域抽出手段と、このマスク領域抽出手段で抽出したマスク領域とテンプレートとのパターンマッチングにより人物領域を抽出するようにすることができる。
【００１７】
これにより、エッジ画像から高速に動き領域を抽出することが可能となり、処理の高速化を図ることができる。
【００１８】
【発明の実施の形態】
図１を用いて、本発明を適用した滞留者検知装置の構成を説明する。
図１の滞留者検知装置１は、例えば、インターホン装置に組み込まれる。
インターホン装置は、住戸の玄関先などに設置されるインターホン子機と、住戸内に設置されるインターホン親機とから構成される。
【００１９】
画像入力部１０は、インターホン子機に備えられ、撮像画像を常時インターホン親機に送出する。
制御部５０と、パラメータ入力部３４と、出力部２８は、インターホン親機に備えられる。
【００２０】
インターホン親機は、制御部５０により滞留者を検知すると、出力部２８のブザーを鳴らすなどして、滞留者の存在を家人に知らしめる。ブザーの音色は通常の呼び出し音と異なるものとして結果をより認識しやすくしても良い。同時に、画像入力部１０から入力される画像データを出力部２８のモニタに表示することで、子機付近の様子を確認しやすくすることも可能である。
【００２１】
また、出力部２８をハードディスクレコーダ、ＶＴＲなどの記録装置に接続しても良い。滞留者を検知したときの入力画像データを自動的に記録しておけば、家人が忙中あるいは留守中であっても、任意のタイミングで滞留者検知時の様子を確認することができる。
【００２２】
パラメータ入力部３４は、パラメータＴを与えるための入力手段であり、タッチパネルあるいはボタン、スイッチ、ダイヤルなどで構成される。
パラメータ設定部３６は、パラメータ入力部３４から入力されるパラメータＴを基に、重みα（Ｔ）およびしきい値Ｌｘ，Ｌｙの値を計算し、これらを出力する。
パラメータ記憶部３８は、パラメータ設定部３６が出力するパラメータ値Ｔ，α（Ｔ），Ｌｘ，Ｌｙを記憶する記憶手段である。
【００２３】
画像入力部１０は、カメラ、増幅器、Ａ／Ｄ変換器などで構成される。画像入力部１０のカメラは、所定の領域を撮像するように、地面に対してほぼ水平に設置される。画像入力部１０は、インターホン子機前の映像を撮像し、入力された映像をディジタル化し、画像データとして一定時間間隔で滞留者検知装置１に出力する。
【００２４】
エッジ画像生成部１２は、画像入力部１０から入力された画像データを用いてエッジ画像を生成し、エッジ画像記憶部１４に記憶させる。
平均画像生成部１６は、エッジ画像記憶部１４に記憶されたＮフレーム分の入力エッジ画像を読み出し、平均画像を生成する。生成された平均画像は、背景画像更新部１８と頭部領域抽出部２２に出力される。
【００２５】
背景画像更新部１８は、平均画像生成部１６から入力される平均画像と、パラメータ記憶部３８に記憶されたパラメータを用いて、背景画像記憶部３０に記憶された背景画像を更新する。
背景画像記憶部３０は、頭部領域抽出部２２で用いる背景画像を記憶しておく記憶手段であり、記憶された背景画像は背景画像更新部１８により更新される。
【００２６】
頭部領域抽出部２２は、入力エッジ画像記憶部１４に記憶された最新の入力エッジ画像、平均画像生成部１６から出力された平均画像、背景画像記憶部３０に記憶された背景画像とから、人の頭部としての特徴を有する領域を抽出する。
【００２７】
時空間画像更新部２４は、頭部領域抽出部２２から入力される頭部領域情報を基にして、時空間画像記憶部３２に記憶されている画像を更新する。
滞留判定部２６は、時空間画像更新部２４に記憶した画像を基に滞留者の有無を判定し、判定結果を出力部２８に出力する。
出力部２８は、滞留者検出結果を利用者に提示する手段であり、モニタ、ブザーなどで構成される。
【００２８】
エッジ画像生成部１２、入力エッジ画像記録部１４、平均画像生成部１６、背景画像更新部１８、頭部領域抽出部２２、背景画像記憶部３０、時空間画像更新部２４、時空間画像記憶部３２、滞留判定部２６、パラメータ設定部３６、パラメータ記憶部３８よりなる制御部５０は、ＣＰＵ、マイコン、ＤＳＰなどのプロセッサ及び、ＳＲＡＭ、ＤＲＡＭなどのメモリなどを用いて構成することができる。
【００２９】
図２のフローチャートを用いて、図１の滞留者検知装置１の動作を説明する。最初に、図２の全体の動作を概略的に説明する。
滞留者検知装置１は、画像入力部１０から画像データが入力されると、図示の処理を開始する。
ステップＳ１で、エッジ画像生成部１２が、画像入力部１０から入力された画像データを処理してエッジ画像を生成し、入力エッジ画像記憶部１４に記憶する。
【００３０】
ステップＳ２で、平均画像生成部１６が、入力エッジ画像記憶部１４から最も新しいＮフレームの入力エッジ画像を読み出し、これらを平均した画像データを生成して出力する。
【００３１】
ステップＳ３で、頭部領域抽出部２２が、平均画像生成部１６から入力される平均画像データと背景画像記憶部３０から読み出した背景画像データの差分画像データに基づいて、頭部探索領域を決定する。その後、入力エッジ画像記憶部１４から最新のエッジ画像を読み出し、エッジ画像中の頭部探索領域内で楕円を検出するための参照パターンを移動させながら類似度を算出して、楕円形状を有する領域を頭部領域として抽出する。
【００３２】
ステップＳ４で、時空間画像更新部２４が、頭部領域抽出部２２から入力される頭部領域をｘ軸方向に射影した２値化像と、ｙ軸方向に射影した２値化像を生成する。この２値化像を時空間画像記憶部３２に記憶する。
【００３３】
ステップＳ５で、滞留判定部２６が、時空間画像に基づき、滞留者検知の有無を判定する。
滞留者が検知されたと判定されると、ステップＳ６で、出力部２８がブザーの鳴動、モニタへの画像出力を行う。そして、ステップＳ７で、背景画像記憶部３０に記憶された背景画像の更新を行う。
【００３４】
次に、図３、図４を併せ用いて、滞留者検知装置１の詳細な動作を説明する。
あらかじめ、パラメータ入力部３４から、パラメータＴを与えておく。Ｔは、滞留者を検知するための観察を行う時間長に比例するパラメータである。Ｔが大きいと長時間滞留した者のみを検知し、逆にＴが小さいと短時間滞留した者も検知する。
【００３５】
Ｔのとり得る範囲を、ＴＬ ≦Ｔ≦ＴＨ とする。例えばＴＬ は１分間に相当する値（１分間をフレーム周期で除した値）、ＴＨ は５分間に相当する値（５分間をフレーム周期で除した値）などとすればよい。パラメータ入力部３４は、この範囲でパラメータＴを任意に設定できるように構成しても良いし、推奨する幾つかの値を提示して選択するように構成しても良い。
【００３６】
パラメータ設定部３６は、パラメータ入力部３４から入力されるパラメータＴを基に、後述するαおよびＬｘ，Ｌｙの値を計算し、これらを出力する。本例では、αおよびＬｘ，ＬｙをＴの関数とする。このようにすることで、利用者はひとつのパラメータＴを変更するという簡単な操作で、αおよびＬｘ，Ｌｙを自動的に適切な値に変更することが可能となり、設定変更に要する労力を軽減することができる。
【００３７】
パラメータ記憶部３８は、パラメータ設定部３６が出力するパラメータ値Ｔ，α，Ｌｘ，Ｌｙを記憶する。
【００３８】
画像入力部１０は、一定時間間隔（例えば、１秒間隔）で検知対象領域を撮像し、入力された映像をディジタル化し画像データとして出力する。映像が滞留者検知装置１に取り込まれると、図２に示す動作が開始される。更に新しい画像データが出力されると、新しい画像データに対する滞留者検知処理が行われる。このようにフレーム単位で動作するよう制御が行われる。
【００３９】
ステップＳ１で、エッジ画像生成部１２は画像入力部１０から入力された画像データを用いてその画像データと同じ大きさの入力エッジ画像を生成する。生成した入力エッジ画像は、入力エッジ画像記憶部１４に記憶される。
入力エッジ画像記憶部１４は、入力された時刻が新しい入力エッジ画像をＮ（＞１）フレーム分記憶する。入力エッジ画像記憶部１４には、所定枚数のエッジ画像が記憶されており、新しく記憶されるエッジ画像は、既に記憶されているエッジ画像の中で最も古い画像データを上書きする。
【００４０】
ステップＳ２で、平均画像生成部１６は、入力エッジ画像記憶部１４に記憶された最新のものを含むＮフレームの入力エッジ画像を読み出し、Ｎフレーム分の画像データ間で各画素値について平均値を計算することにより、平均画像６１（図３）を生成する。
【００４１】
エッジ画像には、通常、検出の対象とする滞留者のほかにも、車などの移動体も含まれているが、平均画像６１を用いることにより、移動速度の速い車などの移動体のエッジ強度を弱くすることができる。これに対し、滞留者は、移動速度が遅く、あるいは一時的に停止するので、滞留者のエッジ強度はより強いものとなる。このように、滞留者のエッジ強度を強いものとすることで、後述する背景差分処理において、滞留者をより抽出しやすくすることが可能となり、結果的に滞留者の検出精度の向上に繋げることができる。
【００４２】
ステップＳ３で、頭部領域抽出部２２が、平均画像生成部１６から入力される平均画像６１と背景画像記憶部３０から読み出した背景画像６２（図３）の背景差分画像６３（図３）を計算する。なお、この時点での背景画像は１フレーム前の処理で生成されたものである。
【００４３】
背景画像６２は、次のように更新される。
新しい背景画像６２は、平均画像と背景画像の加重平均処理により算出する。このときの重みα（Ｔ）は、パラメータ記憶部３８から読み出す。時刻ｔにおける座標（ｘ，ｙ）の平均画像の画素値をＡ（ｔ，ｘ，ｙ）、背景画像の画素値をＢ（ｔ，ｘ，ｙ）、重みをα（Ｔ）と表すと、これらの関係は次式となる。
【００４４】
Ｂ（ｔ，ｘ，ｙ）
＝｛１−α（Ｔ）｝Ｂ（ｔ−１，ｘ，ｙ）＋α（Ｔ）Ａ（ｔ，ｘ，ｙ）
【００４５】
パラメータ設定部３６はα（Ｔ）をパラメータＴの関数として０≦α（Ｔ）≦の範囲で設定する。α（Ｔ）が大きいと、背景画像更新時に与える現状態の寄与が大きい。つまり、平均画像の比重を高く背景画像の比重を小さくして加重平均し背景画像を更新する。一方、α（Ｔ）が小さいと、逆の作用が生じる。また、一般に、撮像領域内をうろつく移動物体としての滞留者は静止物体に比べ更新される背景画像への寄与が低くなる。
【００４６】
ここで、滞留者の観察時間に比例するパラメータＴとα（Ｔ）の関係について、パラメータＴとα（Ｔ）が比例する場合と反比例する場合について説明する。パラメータＴとα（Ｔ）が比例する場合、観察時間が短いと、α（Ｔ）は小さくなり現状態はゆっくりと時間をかけて背景画像に溶け込んでいくこととなる。したがって、この場合、現状態と背景画像との差分がより明瞭となり、より早く滞留者を検出することができる。
【００４７】
他方、観察時間が長い場合、α（Ｔ）は大きくなり現状態は早く背景画像に溶け込んでいくこととなる。したがって、この場合、静止物体や日照変化は早く背景に溶け込むこととなり静止物体等による誤報を防止できる。また、移動物体である滞留者も背景に溶け込んでいくが、移動体である滞留者が完全に背景に溶け込むことはなく少なからず差分が抽出されるため、長い時間観察することにより長時間うろつく滞留者を検知することができる。
【００４８】
また、パラメータＴとα（Ｔ）が反比例する場合、観察時間が短いと、α（Ｔ）は大きくなり現状態は早く背景画像に溶け込んでいくこととなる。したがって、この場合、静止物体等を早く背景に溶け込ませて静止物体等による誤報を防止できる。また、移動物体である滞留者は短い時間では背景に溶け込まないため確実に検知することができる。
【００４９】
他方、観察時間が長い場合、α（Ｔ）は小さくなり、現状態はゆっくりと時間をかけて背景画像に溶け込んでいくこととなる。したがって、この場合、移動物体である滞留者を背景に溶け込ませることなく確実に検知でき失報を防止することができる。また、静止物体や日照変化は長い観察時間中に徐々に背景に溶け込んでいくため静止物体等による誤報を防止することができる。
【００５０】
このように、パラメータＴとα（Ｔ）の関係により得られる効果は異なる。したがって、α（Ｔ）はパラメータＴに比例する関数とするか反比例する関数とするかは、利用者が好みに応じて任意に設定すればよい。
【００５１】
頭部領域抽出部２２は、この背景差分画像６３を基に頭部探索領域を決定する。背景差分画像６３は、人物などの動きのある領域の輪郭を主として含んだ画像となる。頭部領域抽出部２２は、背景差分画像６３中のノイズを除去した上で予め定めたしきい値を用いて、背景差分画像に含まれる輪郭の画素値が１、それ以外が０となるような背景差分２値化画像６４（図３）を生成する。この背景差分２値化画像６４の画素値が１となる部分の内側を後述する楕円探索の中心に据えるため、頭部の輪郭の内側を抽出する必要がある。
【００５２】
図３の６５で示すように、画素値が１である画素（輪郭上に存在する画素）のうち、ｘ座標が同じものの中で最も上に位置する画素の下部方向に位置する画素値全てに１を加える。
同じく図３の６６で示すように、画素値が１である画素のうち、ｙ座標が同じものの中で最も左に位置する画素の右方向に位置する画素値全てに１を加える。同じく図３の６７で示すように、画素値が１である画素のうち、ｙ座標が同じものの中で最も右に位置する画素の左方向に位置する画素値全てに１を加える。
【００５３】
この結果、画素値が３以上となる領域が、輪郭に囲まれた内部領域として抽出される。このようにして得られた内部領域の画素値を１に、それ以外の画素値を０にすることにより、楕円探索の中心を据える領域画像６８（以下、シルエット画像と称する）を生成することができる。このように、図３に６５，６６，６７で示す３方向の塗りつぶし画像を生成し、これらの論理積をシルエット画像とするという簡便な処理により、人物の輪郭内部を精度良く高速に抽出することが可能となる。
【００５４】
次に、頭部領域抽出部２２は、頭部の輪郭形状を表す楕円形状の参照パターンを用いて、平均画像６１を探索する。例えば、平均画像６１において参照パターンを移動させることにより、平均画像６１中のエッジと参照パターンとの類似度を順次計算し、類似度が予め定めたしきい値以上の領域に、頭部領域が存在すると判定する。
【００５５】
ここで、平均画像６１において参照パターンを移動させる範囲を、上記の探索したシルエット画像６８内に限定する（マスクをする）。すなわち、シルエット画像６８中の画素値が１である座標についてのみ、参照パターンを移動させる。このようにすることで、計算量が少なくなり、かつ、背景に含まれる楕円形状を頭部領域と誤って判定することがなくなる。
【００５６】
ステップＳ４で、時空間画像更新部２４が、頭部領域抽出部２２から入力される頭部領域像を基にして、時空間画像記憶部３２に記憶されているｘ−ｔ画像１０４とｙ−ｔ画像１０８を更新する。
具体的には、図４に示すように、時空間画像更新部２４が、頭部領域像１００をｘ軸方向に射影した２値化像１０２を作成し、ｙ軸方向に射影した２値化像１０６を作成する。
【００５７】
時空間画像記憶部３２は、ＴＨ （≧Ｔ）個以上の２値化像１０２及び１０６を記憶することにより、ｘ−ｔ画像１０４とｙ−ｔ画像１０８を記憶する。ｘ−ｔ画像１０４とｙ−ｔ画像１０８は、時空間画像更新部２４が作成した２値化像１０２及び１０６でｘ−ｔ画像１０４とｙ−ｔ画像１０８中の最も古い２値化像を上書きするにより、更新処理を行う。
【００５８】
ステップＳ５で、滞留判定部２６が、ｘ−ｔ画像１０４とｙ−ｔ画像１０８に基づいて、滞留者の有無を判定し、判定結果を出力する。
まず、時空間画像記憶部３２に記憶されているｘ−ｔ画像１０４から最新のＴ個の２値化像を読み出し、Ｔ個の２値化像をｘ軸方向に射影したヒストグラム１１０を作成する。
【００５９】
同様にして、ｙ−ｔ画像１０８からもヒストグラム１１２を作成する。次に、ヒストグラム１１０の最大値Ｍｘをしきい値Ｌｘと、ヒストグラム１１２の最大値Ｍｙをしきい値Ｌｙと比較する。比較の結果、ＭｘがＬｘより大きく、かつ、ＭｙがＬｙより大きい場合に、滞留判定部２６は滞留者を検知したことを表す信号を出力する。
【００６０】
前記比較は、例えば、各ヒストグラム１１０、１１２の最大値Ｍｘ、Ｍｙを利用するのではなく、しきい値より大きな値を示す度数の割合などで行っても良い。本例では、ヒストグラムの最大値やヒストグラム中のしきい値より大きな値を示す度数の割合などを滞留度数と称する。
【００６１】
ここで用いるしきい値ＬｘおよびＬｙは、前述のようにパラメータＴの関数となるようにパラメータ設定部３６で算出され、パラメータ記憶部３８に記憶されている。パラメータ設定部３６は、例えば、Ｌｘ，ＬｙがパラメータＴに比例するように設定する。つまり滞留者が同じように存在しても、Ｔが小さい値に設定された場合には、最大値ＭｘとＭｙは小さな値となり、Ｔが大きい値に設定された場合はＭｘとＭｙは大きな値となるが、前述のようにＬｘとＬｙをＴに比例させることで検知精度をほぼ一定に保つことが可能となる。
【００６２】
また、ほぼ水平に設置されたカメラの映像を処理するため、滞留者の頭部領域の位置はほぼ同じ高さで推移する可能性が高いことから、本例では、ｙ軸方向のしきい値Ｌｙをｘ軸方向のＬｘより大きく設定する。このように設定することで滞留者が存在しないにも拘らず滞留者が存在する誤り判定を減少させることができる。
【００６３】
出力部２８は、滞留者判定部２６から検知信号を受け取ると、ステップＳ６で、親機の出力部２８のブザーを鳴らすとともに、画像入力部１０から入力される画像を出力部２８モニタに映し出す。また、ハードディスクレコーダなどの記録装置に前記画像を記録する。
【００６４】
なお、出力部２８が検知信号を受け取ったときにブザーを鳴らすような場合は、連続的に検知信号を出力するとブザーが鳴り続けてしまい好ましくない。このようなことを考慮して、検知信号を出力するときに時空間画像更新部２４によって時空間画像記憶部３２に記憶されているｘ−ｔ画像１０４とｙ−ｔ画像１０８を初期化しても良い。
【００６５】
ステップＳ７で、背景画像更新部１８が、パラメータ記憶部３８から重み係数αを読み出し、平均画像生成部１６から入力される平均画像６１の各画素値をα（Ｔ）倍した画像データを作成する。また、背景画像記憶部３０から読み出した背景画像データの各画素値を（１−α（Ｔ））倍した画像データを作成する。これら２つの画像データを足し合わせた画像データを作成し、背景画像記憶部３０に記憶した画像データを上書きする。
【００６６】
以上説明した実施形態においては、人物画像の時空間分布を生成することにより滞留者が存在するか否かを判定している。これに対し、図２のステップＳ３で、平均エッジ画像と背景画像との差分の蓄積に基づき、撮像領域内に滞留する画像が抽出された場合に、滞留者が存在すると判定することも可能である。例えば、図３のシルエット画像６８が検出されたとき、滞留者が存在すると判定しても良く、所定の観察時間内にシルエット画像６８や頭部領域像１００が検出される度数がしきい値を超えることで滞留者が存在すると判定しても良い。
【００６７】
あるいは、シルエット画像６８領域内で、参照パターンを移動させながら類似度を算出することにより、楕円形状を有する頭部領域が抽出されたときに、滞留者が存在すると判定しても良い。
【００６８】
【発明の効果】
本発明によれば、家の玄関、門扉の前などを通過する通行人を誤検知することなく、長時間滞留する滞留者のみを精度良く検知する方式を実現することができる。
また、本発明によれば、滞留者を検知するための観察を行う時間長に比例するパラメータＴを入力するだけで、背景画像の更新に用いる重み係数α（Ｔ）および滞留者検知に用いるしきい値Ｌｘ，Ｌｙを適切な値に自動的に設定するため、パラメータ設定に要する煩雑な作業を軽減することができる。
【００６９】
さらに、本発明によれば、背景差分法により滞留者を含む領域を背景差分画像として背景から分離し、背景差分画像を基に頭部探索領域を決定し頭部探索領域内で頭部領域を探索することで頭部領域を抽出することで人物である可能性の高い領域のみを用い、頭部領域に関する時空間画像を生成して時間位置情報を蓄積し、これを解析することによって精度の高い滞留者検知を実現することができる。
【００７０】
また、本発明によれば、カメラをほぼ水平に設置することによって生じる滞留者の頭部領域の位置はほぼ同じ高さで推移する可能性が高いという性質を利用してｘ−ｔ画像から得るヒストグラムに対するしきい値よりもｙ−ｔ画像から得るヒストグラムに対するしきい値を高く設定することで、滞留者が存在しないにも拘らず滞留者が存在する誤り判定を減少させることができる。
【００７１】
さらに、本発明によれば、背景差分に用いる入力画像として複数フレーム画像の平均画像を用いて移動速度の速い物体の領域を抽出しにくくすることで、滞留者以外の移動物体を検出する誤りを減少させることができる。
【図面の簡単な説明】
【図１】本発明を適用した滞留者検知装置の構成を示す図である。
【図２】図１の滞留者検知装置の動作を示すフローチャートである。
【図３】図２の動作を説明するための図（その１）である。
【図４】図２の動作を説明するための図（その２）である。
【符号の説明】
１…滞留者検知装置
１０…画像入力部
１２…エッジ画像生成部
１４…入力エッジ画像記憶部
１６…平均画像生成部
１８…背景画像更新部
２２…頭部領域抽出部
２４…時空間画像更新部
２６…滞留判定部
２８…出力部
３０…背景画像記憶部
３２…時空間画像記憶部
３４…パラメータ入力部
３６…パラメータ設定部
３８…パラメータ記憶部
５０…制御部
６１…平均画像
６２…背景画像
６３…背景差分画像
６４…背景差分２値化画像
６５…下部方向に１を代入した画像
６６…右方向に１を代入した画像
６７…左方向に１を代入した画像
６８…シルエット画像
１００…頭部領域像
１０２…ｘ軸方向に射影した２値化像
１０４…ｘ−ｔ画像
１０６…ｙ軸方向に射影した２値化像
１０８…ｙ−ｔ画像
１１０…ｘ軸方向に射影したヒストグラム
１１２…ｙ軸方向に射影したヒストグラム
【発明の属する技術分野】
本発明は、カメラの視野内に長時間留まる人物を検知する装置に関し、特に、インターホンなどに設置された画像センサが撮像した画像を処理し、対象画像中に存在する人物情報をある時間蓄積し、その結果からカメラの前に長時間留まる滞留者を特定する装置に関する。
【０００２】
【従来の技術】
玄関や門扉の前などに滞留し、家の中を窺うような挙動を示す不審な人物を検知する従来の技術として、人体検知センサに連動したカメラを利用する方式が一般的には知られている（例えば、特許文献１参照。）。
人体検知センサを利用する場合、人体から発せられる熱を検知するセンサを利用して、センサが感知した場合にカメラの映像を取得し、その画像を記録して、住人にアナウンスするといった方法がとられている。
【０００３】
またインターホンの前をうろついている不審人物などの滞留者を画像処理によって検知する従来の技術として、画像信号の差分をとって、そのレベルから判断する方式がある（例えば、特許文献２参照。）。
【０００４】
【特許文献１】
特許第３３６８０１９号公報
【特許文献２】
特開平９−６５３２８号公報
【０００５】
【発明が解決しようとする課題】
【０００６】
上記特許文献１に記載された技術では、人体検知センサは、玄関前に留まる滞留者以外に、玄関前を通り過ぎるだけの通行人に対しても反応してしまい、長時間滞在する滞留者だけを検知することは困難である。また通行人の往来が激しい環境では、検知の頻度が高くなるため、メモリに記録される映像データ量が膨大になり、本来必要な滞留者の映像の検索が困難になる。
【０００７】
同時に、メモリ容量の制約から、所望の映像がほかの映像で上書きされたり、所望の映像が書き込めなかったりするなどの状況に陥り、必要な映像が保存できなくなる場合が考えられる。
【０００８】
また、上記特許文献２の技術の場合、画像の差分情報のみでは、そのレベル差がどの様な状況の変化によって生じたものか判断できないため、誤検出の問題が生じる。
例えば、雲による太陽の陰りが生じた場合、画像全体に大きなレベル差が生ずるが、滞留者が移動したこととの違いをレベル差のみで判断することは困難である。また、玄関向かいにある店舗のネオンが点滅するなどによっても同様のレベル差が生ずることは容易に想像できる。親機に内蔵したブザーで滞留者の検出を家人に知らせる機能を有している場合、仮に夜中に誤検出が発生すれば、就寝中にブザー音が鳴ってしまうこととなり、使い勝手の低下を招く。
【０００９】
本発明は、家の玄関、門扉の前などを通過する通行人を誤検知することなく、長時間滞留する滞留者のみを精度良く検知する方式を実現することを目的とする。
また、本発明は、滞留者として判断する滞留時間の設定値に応じて、人物領域の抽出に用いる背景画像の更新の程度を適切に設定し、滞留者のみ効果的に背景差分の抽出領域として得られると同時に、日照変動などの各種ノイズを最小限に抑え、抽出の精度向上を図ることを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、上記目的を達成するためになされたものである。
本発明においては、撮像画像を入力する撮像手段と、前記撮像画像から人物領域を抽出する領域抽出部と、前記人物領域の出現度数を算出し該出現度数に基づき前記人物画像が滞留者であるか否かを判定する滞留検知部とから滞留者検知システムを構成する。
【００１１】
本発明によれば、画像による情報のみで、領域内に滞留する人物を精度良く検出することができ、コストの低減、機器の小型化を実現することができる。また、人物領域の出現度数に基づいて滞留者の判別を行うことにより、連続的な検知継続時間を経ることなく滞留者を検出することができる。
【００１２】
また、前記領域抽出部は前記撮像画像のエッジを抽出してエッジ画像を生成するエッジ画像生成部と、前記エッジ画像を記憶するエッジ画像記憶部と、このエッジ画像記憶部に記憶される複数フレームのエッジ画像を加重平均して平均画像を生成する平均画像生成部と、を有し、前記平均画像と前記撮像画像の背景画像との差分に基づき人物領域を抽出するようにすることができる。
【００１３】
これにより撮像領域内を通過する物体のエッジ強度を低く撮像領域内に滞留する物体のエッジ強度を強く得ることができ、誤検出を低減することが可能となり、画像による情報のみで精度よく滞留者を検出することができる。
【００１４】
前記滞留検知部は、前記人物領域を水平軸に射影した場合の出現度数の分布となる水平時空間分布と、前記人物領域を垂直軸に射影した場合の出現度数の分布となる垂直時空間分布とを生成し、前記水平時空間分布及び前記垂直時空間分布の最大値が、水平時空間分布に対するしきい値と該しきい値より大きく設定された垂直時空間分布に対するしきい値とを超えれば滞留者ありと判定するようにすることができる。
【００１５】
これにより、度数の蓄積により滞留者を検出することが可能となり、連続的な検知継続時間を経ることなく、より精度の高い滞留者検知を実現することができる。
【００１６】
さらに、前記領域抽出部は、前記平均画像と前記背景画像との差分に基づいて差分エッジ画像を生成し、この差分エッジ画像の各エッジ画素から所定方向の画素をマスクして得られるマスク領域を抽出するマスク領域抽出手段と、このマスク領域抽出手段で抽出したマスク領域とテンプレートとのパターンマッチングにより人物領域を抽出するようにすることができる。
【００１７】
これにより、エッジ画像から高速に動き領域を抽出することが可能となり、処理の高速化を図ることができる。
【００１８】
【発明の実施の形態】
図１を用いて、本発明を適用した滞留者検知装置の構成を説明する。
図１の滞留者検知装置１は、例えば、インターホン装置に組み込まれる。
インターホン装置は、住戸の玄関先などに設置されるインターホン子機と、住戸内に設置されるインターホン親機とから構成される。
【００１９】
画像入力部１０は、インターホン子機に備えられ、撮像画像を常時インターホン親機に送出する。
制御部５０と、パラメータ入力部３４と、出力部２８は、インターホン親機に備えられる。
【００２０】
インターホン親機は、制御部５０により滞留者を検知すると、出力部２８のブザーを鳴らすなどして、滞留者の存在を家人に知らしめる。ブザーの音色は通常の呼び出し音と異なるものとして結果をより認識しやすくしても良い。同時に、画像入力部１０から入力される画像データを出力部２８のモニタに表示することで、子機付近の様子を確認しやすくすることも可能である。
【００２１】
また、出力部２８をハードディスクレコーダ、ＶＴＲなどの記録装置に接続しても良い。滞留者を検知したときの入力画像データを自動的に記録しておけば、家人が忙中あるいは留守中であっても、任意のタイミングで滞留者検知時の様子を確認することができる。
【００２２】
パラメータ入力部３４は、パラメータＴを与えるための入力手段であり、タッチパネルあるいはボタン、スイッチ、ダイヤルなどで構成される。
パラメータ設定部３６は、パラメータ入力部３４から入力されるパラメータＴを基に、重みα（Ｔ）およびしきい値Ｌｘ，Ｌｙの値を計算し、これらを出力する。
パラメータ記憶部３８は、パラメータ設定部３６が出力するパラメータ値Ｔ，α（Ｔ），Ｌｘ，Ｌｙを記憶する記憶手段である。
【００２３】
画像入力部１０は、カメラ、増幅器、Ａ／Ｄ変換器などで構成される。画像入力部１０のカメラは、所定の領域を撮像するように、地面に対してほぼ水平に設置される。画像入力部１０は、インターホン子機前の映像を撮像し、入力された映像をディジタル化し、画像データとして一定時間間隔で滞留者検知装置１に出力する。
【００２４】
エッジ画像生成部１２は、画像入力部１０から入力された画像データを用いてエッジ画像を生成し、エッジ画像記憶部１４に記憶させる。
平均画像生成部１６は、エッジ画像記憶部１４に記憶されたＮフレーム分の入力エッジ画像を読み出し、平均画像を生成する。生成された平均画像は、背景画像更新部１８と頭部領域抽出部２２に出力される。
【００２５】
背景画像更新部１８は、平均画像生成部１６から入力される平均画像と、パラメータ記憶部３８に記憶されたパラメータを用いて、背景画像記憶部３０に記憶された背景画像を更新する。
背景画像記憶部３０は、頭部領域抽出部２２で用いる背景画像を記憶しておく記憶手段であり、記憶された背景画像は背景画像更新部１８により更新される。
【００２６】
頭部領域抽出部２２は、入力エッジ画像記憶部１４に記憶された最新の入力エッジ画像、平均画像生成部１６から出力された平均画像、背景画像記憶部３０に記憶された背景画像とから、人の頭部としての特徴を有する領域を抽出する。
【００２７】
時空間画像更新部２４は、頭部領域抽出部２２から入力される頭部領域情報を基にして、時空間画像記憶部３２に記憶されている画像を更新する。
滞留判定部２６は、時空間画像更新部２４に記憶した画像を基に滞留者の有無を判定し、判定結果を出力部２８に出力する。
出力部２８は、滞留者検出結果を利用者に提示する手段であり、モニタ、ブザーなどで構成される。
【００２８】
エッジ画像生成部１２、入力エッジ画像記録部１４、平均画像生成部１６、背景画像更新部１８、頭部領域抽出部２２、背景画像記憶部３０、時空間画像更新部２４、時空間画像記憶部３２、滞留判定部２６、パラメータ設定部３６、パラメータ記憶部３８よりなる制御部５０は、ＣＰＵ、マイコン、ＤＳＰなどのプロセッサ及び、ＳＲＡＭ、ＤＲＡＭなどのメモリなどを用いて構成することができる。
【００２９】
図２のフローチャートを用いて、図１の滞留者検知装置１の動作を説明する。最初に、図２の全体の動作を概略的に説明する。
滞留者検知装置１は、画像入力部１０から画像データが入力されると、図示の処理を開始する。
ステップＳ１で、エッジ画像生成部１２が、画像入力部１０から入力された画像データを処理してエッジ画像を生成し、入力エッジ画像記憶部１４に記憶する。
【００３０】
ステップＳ２で、平均画像生成部１６が、入力エッジ画像記憶部１４から最も新しいＮフレームの入力エッジ画像を読み出し、これらを平均した画像データを生成して出力する。
【００３１】
ステップＳ３で、頭部領域抽出部２２が、平均画像生成部１６から入力される平均画像データと背景画像記憶部３０から読み出した背景画像データの差分画像データに基づいて、頭部探索領域を決定する。その後、入力エッジ画像記憶部１４から最新のエッジ画像を読み出し、エッジ画像中の頭部探索領域内で楕円を検出するための参照パターンを移動させながら類似度を算出して、楕円形状を有する領域を頭部領域として抽出する。
【００３２】
ステップＳ４で、時空間画像更新部２４が、頭部領域抽出部２２から入力される頭部領域をｘ軸方向に射影した２値化像と、ｙ軸方向に射影した２値化像を生成する。この２値化像を時空間画像記憶部３２に記憶する。
【００３３】
ステップＳ５で、滞留判定部２６が、時空間画像に基づき、滞留者検知の有無を判定する。
滞留者が検知されたと判定されると、ステップＳ６で、出力部２８がブザーの鳴動、モニタへの画像出力を行う。そして、ステップＳ７で、背景画像記憶部３０に記憶された背景画像の更新を行う。
【００３４】
次に、図３、図４を併せ用いて、滞留者検知装置１の詳細な動作を説明する。
あらかじめ、パラメータ入力部３４から、パラメータＴを与えておく。Ｔは、滞留者を検知するための観察を行う時間長に比例するパラメータである。Ｔが大きいと長時間滞留した者のみを検知し、逆にＴが小さいと短時間滞留した者も検知する。
【００３５】
Ｔのとり得る範囲を、ＴＬ ≦Ｔ≦ＴＨ とする。例えばＴＬ は１分間に相当する値（１分間をフレーム周期で除した値）、ＴＨ は５分間に相当する値（５分間をフレーム周期で除した値）などとすればよい。パラメータ入力部３４は、この範囲でパラメータＴを任意に設定できるように構成しても良いし、推奨する幾つかの値を提示して選択するように構成しても良い。
【００３６】
パラメータ設定部３６は、パラメータ入力部３４から入力されるパラメータＴを基に、後述するαおよびＬｘ，Ｌｙの値を計算し、これらを出力する。本例では、αおよびＬｘ，ＬｙをＴの関数とする。このようにすることで、利用者はひとつのパラメータＴを変更するという簡単な操作で、αおよびＬｘ，Ｌｙを自動的に適切な値に変更することが可能となり、設定変更に要する労力を軽減することができる。
【００３７】
パラメータ記憶部３８は、パラメータ設定部３６が出力するパラメータ値Ｔ，α，Ｌｘ，Ｌｙを記憶する。
【００３８】
画像入力部１０は、一定時間間隔（例えば、１秒間隔）で検知対象領域を撮像し、入力された映像をディジタル化し画像データとして出力する。映像が滞留者検知装置１に取り込まれると、図２に示す動作が開始される。更に新しい画像データが出力されると、新しい画像データに対する滞留者検知処理が行われる。このようにフレーム単位で動作するよう制御が行われる。
【００３９】
ステップＳ１で、エッジ画像生成部１２は画像入力部１０から入力された画像データを用いてその画像データと同じ大きさの入力エッジ画像を生成する。生成した入力エッジ画像は、入力エッジ画像記憶部１４に記憶される。
入力エッジ画像記憶部１４は、入力された時刻が新しい入力エッジ画像をＮ（＞１）フレーム分記憶する。入力エッジ画像記憶部１４には、所定枚数のエッジ画像が記憶されており、新しく記憶されるエッジ画像は、既に記憶されているエッジ画像の中で最も古い画像データを上書きする。
【００４０】
ステップＳ２で、平均画像生成部１６は、入力エッジ画像記憶部１４に記憶された最新のものを含むＮフレームの入力エッジ画像を読み出し、Ｎフレーム分の画像データ間で各画素値について平均値を計算することにより、平均画像６１（図３）を生成する。
【００４１】
エッジ画像には、通常、検出の対象とする滞留者のほかにも、車などの移動体も含まれているが、平均画像６１を用いることにより、移動速度の速い車などの移動体のエッジ強度を弱くすることができる。これに対し、滞留者は、移動速度が遅く、あるいは一時的に停止するので、滞留者のエッジ強度はより強いものとなる。このように、滞留者のエッジ強度を強いものとすることで、後述する背景差分処理において、滞留者をより抽出しやすくすることが可能となり、結果的に滞留者の検出精度の向上に繋げることができる。
【００４２】
ステップＳ３で、頭部領域抽出部２２が、平均画像生成部１６から入力される平均画像６１と背景画像記憶部３０から読み出した背景画像６２（図３）の背景差分画像６３（図３）を計算する。なお、この時点での背景画像は１フレーム前の処理で生成されたものである。
【００４３】
背景画像６２は、次のように更新される。
新しい背景画像６２は、平均画像と背景画像の加重平均処理により算出する。このときの重みα（Ｔ）は、パラメータ記憶部３８から読み出す。時刻ｔにおける座標（ｘ，ｙ）の平均画像の画素値をＡ（ｔ，ｘ，ｙ）、背景画像の画素値をＢ（ｔ，ｘ，ｙ）、重みをα（Ｔ）と表すと、これらの関係は次式となる。
【００４４】
Ｂ（ｔ，ｘ，ｙ）
＝｛１−α（Ｔ）｝Ｂ（ｔ−１，ｘ，ｙ）＋α（Ｔ）Ａ（ｔ，ｘ，ｙ）
【００４５】
パラメータ設定部３６はα（Ｔ）をパラメータＴの関数として０≦α（Ｔ）≦の範囲で設定する。α（Ｔ）が大きいと、背景画像更新時に与える現状態の寄与が大きい。つまり、平均画像の比重を高く背景画像の比重を小さくして加重平均し背景画像を更新する。一方、α（Ｔ）が小さいと、逆の作用が生じる。また、一般に、撮像領域内をうろつく移動物体としての滞留者は静止物体に比べ更新される背景画像への寄与が低くなる。
【００４６】
ここで、滞留者の観察時間に比例するパラメータＴとα（Ｔ）の関係について、パラメータＴとα（Ｔ）が比例する場合と反比例する場合について説明する。パラメータＴとα（Ｔ）が比例する場合、観察時間が短いと、α（Ｔ）は小さくなり現状態はゆっくりと時間をかけて背景画像に溶け込んでいくこととなる。したがって、この場合、現状態と背景画像との差分がより明瞭となり、より早く滞留者を検出することができる。
【００４７】
他方、観察時間が長い場合、α（Ｔ）は大きくなり現状態は早く背景画像に溶け込んでいくこととなる。したがって、この場合、静止物体や日照変化は早く背景に溶け込むこととなり静止物体等による誤報を防止できる。また、移動物体である滞留者も背景に溶け込んでいくが、移動体である滞留者が完全に背景に溶け込むことはなく少なからず差分が抽出されるため、長い時間観察することにより長時間うろつく滞留者を検知することができる。
【００４８】
また、パラメータＴとα（Ｔ）が反比例する場合、観察時間が短いと、α（Ｔ）は大きくなり現状態は早く背景画像に溶け込んでいくこととなる。したがって、この場合、静止物体等を早く背景に溶け込ませて静止物体等による誤報を防止できる。また、移動物体である滞留者は短い時間では背景に溶け込まないため確実に検知することができる。
【００４９】
他方、観察時間が長い場合、α（Ｔ）は小さくなり、現状態はゆっくりと時間をかけて背景画像に溶け込んでいくこととなる。したがって、この場合、移動物体である滞留者を背景に溶け込ませることなく確実に検知でき失報を防止することができる。また、静止物体や日照変化は長い観察時間中に徐々に背景に溶け込んでいくため静止物体等による誤報を防止することができる。
【００５０】
このように、パラメータＴとα（Ｔ）の関係により得られる効果は異なる。したがって、α（Ｔ）はパラメータＴに比例する関数とするか反比例する関数とするかは、利用者が好みに応じて任意に設定すればよい。
【００５１】
頭部領域抽出部２２は、この背景差分画像６３を基に頭部探索領域を決定する。背景差分画像６３は、人物などの動きのある領域の輪郭を主として含んだ画像となる。頭部領域抽出部２２は、背景差分画像６３中のノイズを除去した上で予め定めたしきい値を用いて、背景差分画像に含まれる輪郭の画素値が１、それ以外が０となるような背景差分２値化画像６４（図３）を生成する。この背景差分２値化画像６４の画素値が１となる部分の内側を後述する楕円探索の中心に据えるため、頭部の輪郭の内側を抽出する必要がある。
【００５２】
図３の６５で示すように、画素値が１である画素（輪郭上に存在する画素）のうち、ｘ座標が同じものの中で最も上に位置する画素の下部方向に位置する画素値全てに１を加える。
同じく図３の６６で示すように、画素値が１である画素のうち、ｙ座標が同じものの中で最も左に位置する画素の右方向に位置する画素値全てに１を加える。同じく図３の６７で示すように、画素値が１である画素のうち、ｙ座標が同じものの中で最も右に位置する画素の左方向に位置する画素値全てに１を加える。
【００５３】
この結果、画素値が３以上となる領域が、輪郭に囲まれた内部領域として抽出される。このようにして得られた内部領域の画素値を１に、それ以外の画素値を０にすることにより、楕円探索の中心を据える領域画像６８（以下、シルエット画像と称する）を生成することができる。このように、図３に６５，６６，６７で示す３方向の塗りつぶし画像を生成し、これらの論理積をシルエット画像とするという簡便な処理により、人物の輪郭内部を精度良く高速に抽出することが可能となる。
【００５４】
次に、頭部領域抽出部２２は、頭部の輪郭形状を表す楕円形状の参照パターンを用いて、平均画像６１を探索する。例えば、平均画像６１において参照パターンを移動させることにより、平均画像６１中のエッジと参照パターンとの類似度を順次計算し、類似度が予め定めたしきい値以上の領域に、頭部領域が存在すると判定する。
【００５５】
ここで、平均画像６１において参照パターンを移動させる範囲を、上記の探索したシルエット画像６８内に限定する（マスクをする）。すなわち、シルエット画像６８中の画素値が１である座標についてのみ、参照パターンを移動させる。このようにすることで、計算量が少なくなり、かつ、背景に含まれる楕円形状を頭部領域と誤って判定することがなくなる。
【００５６】
ステップＳ４で、時空間画像更新部２４が、頭部領域抽出部２２から入力される頭部領域像を基にして、時空間画像記憶部３２に記憶されているｘ−ｔ画像１０４とｙ−ｔ画像１０８を更新する。
具体的には、図４に示すように、時空間画像更新部２４が、頭部領域像１００をｘ軸方向に射影した２値化像１０２を作成し、ｙ軸方向に射影した２値化像１０６を作成する。
【００５７】
時空間画像記憶部３２は、ＴＨ （≧Ｔ）個以上の２値化像１０２及び１０６を記憶することにより、ｘ−ｔ画像１０４とｙ−ｔ画像１０８を記憶する。ｘ−ｔ画像１０４とｙ−ｔ画像１０８は、時空間画像更新部２４が作成した２値化像１０２及び１０６でｘ−ｔ画像１０４とｙ−ｔ画像１０８中の最も古い２値化像を上書きするにより、更新処理を行う。
【００５８】
ステップＳ５で、滞留判定部２６が、ｘ−ｔ画像１０４とｙ−ｔ画像１０８に基づいて、滞留者の有無を判定し、判定結果を出力する。
まず、時空間画像記憶部３２に記憶されているｘ−ｔ画像１０４から最新のＴ個の２値化像を読み出し、Ｔ個の２値化像をｘ軸方向に射影したヒストグラム１１０を作成する。
【００５９】
同様にして、ｙ−ｔ画像１０８からもヒストグラム１１２を作成する。次に、ヒストグラム１１０の最大値Ｍｘをしきい値Ｌｘと、ヒストグラム１１２の最大値Ｍｙをしきい値Ｌｙと比較する。比較の結果、ＭｘがＬｘより大きく、かつ、ＭｙがＬｙより大きい場合に、滞留判定部２６は滞留者を検知したことを表す信号を出力する。
【００６０】
前記比較は、例えば、各ヒストグラム１１０、１１２の最大値Ｍｘ、Ｍｙを利用するのではなく、しきい値より大きな値を示す度数の割合などで行っても良い。本例では、ヒストグラムの最大値やヒストグラム中のしきい値より大きな値を示す度数の割合などを滞留度数と称する。
【００６１】
ここで用いるしきい値ＬｘおよびＬｙは、前述のようにパラメータＴの関数となるようにパラメータ設定部３６で算出され、パラメータ記憶部３８に記憶されている。パラメータ設定部３６は、例えば、Ｌｘ，ＬｙがパラメータＴに比例するように設定する。つまり滞留者が同じように存在しても、Ｔが小さい値に設定された場合には、最大値ＭｘとＭｙは小さな値となり、Ｔが大きい値に設定された場合はＭｘとＭｙは大きな値となるが、前述のようにＬｘとＬｙをＴに比例させることで検知精度をほぼ一定に保つことが可能となる。
【００６２】
また、ほぼ水平に設置されたカメラの映像を処理するため、滞留者の頭部領域の位置はほぼ同じ高さで推移する可能性が高いことから、本例では、ｙ軸方向のしきい値Ｌｙをｘ軸方向のＬｘより大きく設定する。このように設定することで滞留者が存在しないにも拘らず滞留者が存在する誤り判定を減少させることができる。
【００６３】
出力部２８は、滞留者判定部２６から検知信号を受け取ると、ステップＳ６で、親機の出力部２８のブザーを鳴らすとともに、画像入力部１０から入力される画像を出力部２８モニタに映し出す。また、ハードディスクレコーダなどの記録装置に前記画像を記録する。
【００６４】
なお、出力部２８が検知信号を受け取ったときにブザーを鳴らすような場合は、連続的に検知信号を出力するとブザーが鳴り続けてしまい好ましくない。このようなことを考慮して、検知信号を出力するときに時空間画像更新部２４によって時空間画像記憶部３２に記憶されているｘ−ｔ画像１０４とｙ−ｔ画像１０８を初期化しても良い。
【００６５】
ステップＳ７で、背景画像更新部１８が、パラメータ記憶部３８から重み係数αを読み出し、平均画像生成部１６から入力される平均画像６１の各画素値をα（Ｔ）倍した画像データを作成する。また、背景画像記憶部３０から読み出した背景画像データの各画素値を（１−α（Ｔ））倍した画像データを作成する。これら２つの画像データを足し合わせた画像データを作成し、背景画像記憶部３０に記憶した画像データを上書きする。
【００６６】
以上説明した実施形態においては、人物画像の時空間分布を生成することにより滞留者が存在するか否かを判定している。これに対し、図２のステップＳ３で、平均エッジ画像と背景画像との差分の蓄積に基づき、撮像領域内に滞留する画像が抽出された場合に、滞留者が存在すると判定することも可能である。例えば、図３のシルエット画像６８が検出されたとき、滞留者が存在すると判定しても良く、所定の観察時間内にシルエット画像６８や頭部領域像１００が検出される度数がしきい値を超えることで滞留者が存在すると判定しても良い。
【００６７】
あるいは、シルエット画像６８領域内で、参照パターンを移動させながら類似度を算出することにより、楕円形状を有する頭部領域が抽出されたときに、滞留者が存在すると判定しても良い。
【００６８】
【発明の効果】
本発明によれば、家の玄関、門扉の前などを通過する通行人を誤検知することなく、長時間滞留する滞留者のみを精度良く検知する方式を実現することができる。
また、本発明によれば、滞留者を検知するための観察を行う時間長に比例するパラメータＴを入力するだけで、背景画像の更新に用いる重み係数α（Ｔ）および滞留者検知に用いるしきい値Ｌｘ，Ｌｙを適切な値に自動的に設定するため、パラメータ設定に要する煩雑な作業を軽減することができる。
【００６９】
さらに、本発明によれば、背景差分法により滞留者を含む領域を背景差分画像として背景から分離し、背景差分画像を基に頭部探索領域を決定し頭部探索領域内で頭部領域を探索することで頭部領域を抽出することで人物である可能性の高い領域のみを用い、頭部領域に関する時空間画像を生成して時間位置情報を蓄積し、これを解析することによって精度の高い滞留者検知を実現することができる。
【００７０】
また、本発明によれば、カメラをほぼ水平に設置することによって生じる滞留者の頭部領域の位置はほぼ同じ高さで推移する可能性が高いという性質を利用してｘ−ｔ画像から得るヒストグラムに対するしきい値よりもｙ−ｔ画像から得るヒストグラムに対するしきい値を高く設定することで、滞留者が存在しないにも拘らず滞留者が存在する誤り判定を減少させることができる。
【００７１】
さらに、本発明によれば、背景差分に用いる入力画像として複数フレーム画像の平均画像を用いて移動速度の速い物体の領域を抽出しにくくすることで、滞留者以外の移動物体を検出する誤りを減少させることができる。
【図面の簡単な説明】
【図１】本発明を適用した滞留者検知装置の構成を示す図である。
【図２】図１の滞留者検知装置の動作を示すフローチャートである。
【図３】図２の動作を説明するための図（その１）である。
【図４】図２の動作を説明するための図（その２）である。
【符号の説明】
１…滞留者検知装置
１０…画像入力部
１２…エッジ画像生成部
１４…入力エッジ画像記憶部
１６…平均画像生成部
１８…背景画像更新部
２２…頭部領域抽出部
２４…時空間画像更新部
２６…滞留判定部
２８…出力部
３０…背景画像記憶部
３２…時空間画像記憶部
３４…パラメータ入力部
３６…パラメータ設定部
３８…パラメータ記憶部
５０…制御部
６１…平均画像
６２…背景画像
６３…背景差分画像
６４…背景差分２値化画像
６５…下部方向に１を代入した画像
６６…右方向に１を代入した画像
６７…左方向に１を代入した画像
６８…シルエット画像
１００…頭部領域像
１０２…ｘ軸方向に射影した２値化像
１０４…ｘ−ｔ画像
１０６…ｙ軸方向に射影した２値化像
１０８…ｙ−ｔ画像
１１０…ｘ軸方向に射影したヒストグラム
１１２…ｙ軸方向に射影したヒストグラム
Claims (5)
- 撮像画像を入力する撮像手段と、
前記撮像画像から人物領域を抽出する領域抽出部と、
前記人物領域の出現度数を算出し、該出現度数が所定しきい値を超えれば滞留者ありと判定する滞留検知部と、
前記滞留検知部の判定結果を出力する出力部と、を具備することを特徴とする滞留者検知システム。 - 前記領域抽出部は、
前記撮像画像のエッジを抽出してエッジ画像を生成するエッジ画像生成部と、
前記エッジ画像を記憶するエッジ画像記憶部と、
このエッジ画像記憶部に記憶される複数フレームのエッジ画像を加重平均して平均画像を生成する平均画像生成部とを有し、
前記平均画像と前記撮像画像の背景画像との差分に基づき人物領域を抽出する請求項１記載の滞留者検知システム。 - 前記滞留検知部は、
前記人物領域を水平軸に射影した場合の出現度数の分布である水平時空間分布と、
前記人物領域を垂直軸に射影した場合の出現度数の分布となる垂直時空間分布とを生成し、
前記水平時空間分布及び前記垂直時空間分布の最大値が、水平時空間分布に対するしきい値と該しきい値より大きく設定された垂直時空間分布に対するしきい値とを超えれば、滞留者ありと判定する請求項１又は２記載の滞留者検知システム。 - 前記領域抽出部は、
前記平均画像と前記背景画像との差分に基づいて差分エッジ画像を生成し、この差分エッジ画像の各エッジ画素から所定方向の画素をマスクして得られるマスク領域を抽出するマスク領域抽出手段と、
このマスク領域抽出手段で抽出したマスク領域とテンプレートとのパターンマッチングにより人物領域を抽出する請求項２又は３に記載の滞留者検知システム。 - 監視時間を所定長に設定する設定部と、
撮像画像と背景画像との差分に基づく動き領域を前記所定長監視して滞留者の有無を判定する滞留検知部と、
前記滞留検知部の判定結果を出力する出力部と、
前記撮像画像を所定の重み係数で前記背景画像と加重平均して背景画像を更新する背景画像更新部と、を備え、
前記設定部は、前記撮像画像の重み係数を前記所定長の関数として設定することを特徴とする滞留者検知装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003187538A JP4578072B2 (ja) | 2003-06-30 | 2003-06-30 | 滞留者検知システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003187538A JP4578072B2 (ja) | 2003-06-30 | 2003-06-30 | 滞留者検知システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005025313A true JP2005025313A (ja) | 2005-01-27 |
| JP4578072B2 JP4578072B2 (ja) | 2010-11-10 |
Family
ID=34186358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003187538A Expired - Fee Related JP4578072B2 (ja) | 2003-06-30 | 2003-06-30 | 滞留者検知システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4578072B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1703437A2 (en) * | 2005-03-15 | 2006-09-20 | Omron Corporation | Monitoring system, monitoring device and method, recording medium, and program |
| JP2006338479A (ja) * | 2005-06-03 | 2006-12-14 | Mitsubishi Electric Corp | 駐車場管理システム |
| JP2009110237A (ja) * | 2007-10-30 | 2009-05-21 | Mega Chips Corp | 防犯音響システム |
| JP2012073792A (ja) * | 2010-09-28 | 2012-04-12 | Casio Comput Co Ltd | 画像処理装置、画像表示装置、及び画像処理方法 |
| JP2012191547A (ja) * | 2011-03-14 | 2012-10-04 | Omron Corp | オブジェクト検知装置、およびオブジェクト検知プログラム |
| JP2013207392A (ja) * | 2012-03-27 | 2013-10-07 | Secom Co Ltd | 画像監視装置 |
| JP2018074446A (ja) * | 2016-10-31 | 2018-05-10 | パナソニックＩｐマネジメント株式会社 | 集合住宅用インターホンシステム |
| WO2022030547A1 (ja) * | 2020-08-07 | 2022-02-10 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 監視情報処理装置、監視情報処理方法及び監視情報処理プログラム |
| JP2022030839A (ja) * | 2020-08-07 | 2022-02-18 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 監視情報処理装置、監視情報処理方法及び監視情報処理プログラム |
| JP2022030841A (ja) * | 2020-08-07 | 2022-02-18 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 監視情報処理装置、監視情報処理方法及び監視情報処理プログラム |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62147888A (ja) * | 1985-12-23 | 1987-07-01 | Matsushita Electric Works Ltd | 画像監視方式 |
| JPH04311187A (ja) * | 1991-04-10 | 1992-11-02 | Toshiba Corp | 監視画像の変化領域抽出方法 |
| JPH0737064A (ja) * | 1993-07-22 | 1995-02-07 | Babcock Hitachi Kk | 侵入物体検出方法および検出装置 |
| JPH0765149A (ja) * | 1993-08-27 | 1995-03-10 | Sharp Corp | 人物認識装置 |
| JPH09322155A (ja) * | 1996-05-31 | 1997-12-12 | Hitachi Denshi Ltd | 映像監視方法及び装置 |
| JPH09330415A (ja) * | 1996-06-10 | 1997-12-22 | Hitachi Ltd | 画像監視方法および画像監視システム |
| JP2000023141A (ja) * | 1998-06-30 | 2000-01-21 | Hitachi Ltd | 移動物体監視装置 |
| JP2000197036A (ja) * | 1998-12-25 | 2000-07-14 | Sharp Corp | 人体検知装置 |
| JP2002352340A (ja) * | 2001-05-30 | 2002-12-06 | Hitachi Ltd | 画像監視装置 |
| JP2003044859A (ja) * | 2001-07-30 | 2003-02-14 | Matsushita Electric Ind Co Ltd | 動き追跡装置及び人物追跡方法 |
| JP2003051075A (ja) * | 2001-07-18 | 2003-02-21 | Nippon Advantage Corp | 不審者判定装置 |
| JP2004364228A (ja) * | 2003-06-09 | 2004-12-24 | Shimizu Corp | 滞留者検知警報システム |
-
2003
- 2003-06-30 JP JP2003187538A patent/JP4578072B2/ja not_active Expired - Fee Related
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62147888A (ja) * | 1985-12-23 | 1987-07-01 | Matsushita Electric Works Ltd | 画像監視方式 |
| JPH04311187A (ja) * | 1991-04-10 | 1992-11-02 | Toshiba Corp | 監視画像の変化領域抽出方法 |
| JPH0737064A (ja) * | 1993-07-22 | 1995-02-07 | Babcock Hitachi Kk | 侵入物体検出方法および検出装置 |
| JPH0765149A (ja) * | 1993-08-27 | 1995-03-10 | Sharp Corp | 人物認識装置 |
| JPH09322155A (ja) * | 1996-05-31 | 1997-12-12 | Hitachi Denshi Ltd | 映像監視方法及び装置 |
| JPH09330415A (ja) * | 1996-06-10 | 1997-12-22 | Hitachi Ltd | 画像監視方法および画像監視システム |
| JP2000023141A (ja) * | 1998-06-30 | 2000-01-21 | Hitachi Ltd | 移動物体監視装置 |
| JP2000197036A (ja) * | 1998-12-25 | 2000-07-14 | Sharp Corp | 人体検知装置 |
| JP2002352340A (ja) * | 2001-05-30 | 2002-12-06 | Hitachi Ltd | 画像監視装置 |
| JP2003051075A (ja) * | 2001-07-18 | 2003-02-21 | Nippon Advantage Corp | 不審者判定装置 |
| JP2003044859A (ja) * | 2001-07-30 | 2003-02-14 | Matsushita Electric Ind Co Ltd | 動き追跡装置及び人物追跡方法 |
| JP2004364228A (ja) * | 2003-06-09 | 2004-12-24 | Shimizu Corp | 滞留者検知警報システム |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1703437A2 (en) * | 2005-03-15 | 2006-09-20 | Omron Corporation | Monitoring system, monitoring device and method, recording medium, and program |
| EP1703437A3 (en) * | 2005-03-15 | 2009-03-04 | Omron Corporation | Monitoring system, monitoring device and method, recording medium, and program |
| JP2006338479A (ja) * | 2005-06-03 | 2006-12-14 | Mitsubishi Electric Corp | 駐車場管理システム |
| JP4697409B2 (ja) * | 2005-06-03 | 2011-06-08 | 三菱電機株式会社 | 駐車場管理システム |
| JP2009110237A (ja) * | 2007-10-30 | 2009-05-21 | Mega Chips Corp | 防犯音響システム |
| JP2012073792A (ja) * | 2010-09-28 | 2012-04-12 | Casio Comput Co Ltd | 画像処理装置、画像表示装置、及び画像処理方法 |
| JP2012191547A (ja) * | 2011-03-14 | 2012-10-04 | Omron Corp | オブジェクト検知装置、およびオブジェクト検知プログラム |
| JP2013207392A (ja) * | 2012-03-27 | 2013-10-07 | Secom Co Ltd | 画像監視装置 |
| JP2018074446A (ja) * | 2016-10-31 | 2018-05-10 | パナソニックＩｐマネジメント株式会社 | 集合住宅用インターホンシステム |
| WO2022030547A1 (ja) * | 2020-08-07 | 2022-02-10 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 監視情報処理装置、監視情報処理方法及び監視情報処理プログラム |
| JP2022030839A (ja) * | 2020-08-07 | 2022-02-18 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 監視情報処理装置、監視情報処理方法及び監視情報処理プログラム |
| JP2022030841A (ja) * | 2020-08-07 | 2022-02-18 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 監視情報処理装置、監視情報処理方法及び監視情報処理プログラム |
| JP7479988B2 (ja) | 2020-08-07 | 2024-05-09 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 監視情報処理装置、監視情報処理方法及び監視情報処理プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4578072B2 (ja) | 2010-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3812985B2 (ja) | 自動監視装置 | |
| JP2004021495A (ja) | 監視システムおよび監視方法 | |
| KR20130010875A (ko) | 화상 조정 파라미터를 결정하기 위한 방법 및 카메라 | |
| EP2570992A1 (en) | Image processing apparatus, image processing method, and program | |
| JP5106302B2 (ja) | 移動物体追跡装置 | |
| JP5388829B2 (ja) | 侵入物体検知装置 | |
| JP4578072B2 (ja) | 滞留者検知システム | |
| KR20160089165A (ko) | 이동 물체 탐지 시스템 및 방법 | |
| JP2012099940A (ja) | 撮影妨害検知方法、妨害検知装置及び監視カメラシステム | |
| JP2011198244A (ja) | 対象物認識システム及び該システムを利用する監視システム、見守りシステム | |
| CN117830890A (zh) | 一种基于视频流的老鼠检测方法 | |
| JP3227179B2 (ja) | 動物体検出および追跡処理方式 | |
| Gil-Jiménez et al. | Automatic control of video surveillance camera sabotage | |
| JP2007336431A (ja) | 映像監視装置及び方法 | |
| JP5573387B2 (ja) | 監視装置、監視プログラム及び監視方法 | |
| JPH05300516A (ja) | 動画処理装置 | |
| JP2667973B2 (ja) | 移動体監視装置 | |
| KR100994418B1 (ko) | 건물의 침입 감지를 위한 촬영 이미지 처리 시스템 및 방법 | |
| JP4096757B2 (ja) | 画像追跡装置 | |
| Wang et al. | A probabilistic method for foreground and shadow segmentation | |
| JP2002190027A (ja) | 画像認識による速度測定システム及び速度測定方法 | |
| JPH0731248B2 (ja) | 移動物体検出装置 | |
| JP2005101807A (ja) | 屋外監視装置および屋外監視方法 | |
| TWI813297B (zh) | 移動物體偵測方法與電路系統 | |
| JP2002099903A (ja) | 落下物検知システム、落下物検知方法および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081216 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090908 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090930 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100223 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100413 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100727 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100824 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130903 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4578072 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |