JP2004287752A - Supervisory device - Google Patents

Supervisory device Download PDF

Info

Publication number
JP2004287752A
JP2004287752A JP2003077999A JP2003077999A JP2004287752A JP 2004287752 A JP2004287752 A JP 2004287752A JP 2003077999 A JP2003077999 A JP 2003077999A JP 2003077999 A JP2003077999 A JP 2003077999A JP 2004287752 A JP2004287752 A JP 2004287752A
Authority
JP
Japan
Prior art keywords
camera
imaging
monitoring area
area
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003077999A
Other languages
Japanese (ja)
Other versions
JP3915721B2 (en
Inventor
Hironori Sumitomo
博則 墨友
Daisaku Horie
大作 保理江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP2003077999A priority Critical patent/JP3915721B2/en
Publication of JP2004287752A publication Critical patent/JP2004287752A/en
Application granted granted Critical
Publication of JP3915721B2 publication Critical patent/JP3915721B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Alarm Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To precisely detect the number of objects present in a predetermined area. <P>SOLUTION: This supervisory device comprises a first detection means for detecting persons coming in and going out of a supervisory area (S02 and S04), a calculation means for calculating the number of persons present in the supervisory area according to the detection output by the first detection means (S03 and S05), a second detection means for detecting persons present in the supervisory area (S08), and a correction means for correcting the number of persons calculated by the calculation means based on the detection result by the second detection means (S09). <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は監視装置に関し、特に、所定の領域に存在する物体を計数するための監視装置に関する。
【０００２】
【従来の技術】
従来、所定の領域に存在する物体を計数するための技術として、特開２０００−２３２６４３号公報（特許文献１）がある。この特許文献１では、駐車場全体を撮像した画像を用いて、駐車場出入口周辺の領域を画像処理することにより、駐車場に侵入または退出する車両台数をカウントする。そして、侵入する車両の台数を加算、および退出する車両の台数を減算することにより、駐車場内の車両台数を算出している。
【０００３】
また、所定領域を通過する人をカウントする技術として、特開２００１−７６２９１号公報（特許文献２）がある。この特許文献２によれば、所定の領域の真上にカメラを設置し、そのカメラで所定領域全体を撮像する。そしてカメラから得られた画像から人を抽出し、通過する人をカウントする。
【０００４】
【特許文献１】
特開２０００−２３２６４３号公報
【０００５】
【特許文献２】
特開２００１−７６２９１号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１では、駐車場の出入口を通過する車両をカウントした数値のみから駐車場内の車両数を算出するため、一度でもカウントに失敗すれば、それ以降の車両数が誤った値となってしまう。また、駐車場に出入りする車両のカウントに失敗したことを検出することができないため、駐車場内の車両数が誤った値となった場合に、それを修正することはできない。
【０００７】
また、特許文献２では、所定領域全体を撮像して得られる画像を処理して人を検出するため、所定領域全体を撮像することができるように、カメラの設置位置、画角を定める必要がある。カメラの撮像範囲に所定領域全体を含めるためには、カメラの画角を大きくできない場合には撮像距離を長くする必要がある。カメラの撮像距離が長く確保できないような設置位置に制限を受ける場所には、適用することができない。さらに、撮像距離を長くした場合には、人の検出精度を確保するために、カメラの解像度を高くする必要があり、高価なカメラを使用しなければならない。また、広角のレンズをカメラに搭載することで、撮像距離を短くして所定領域全体を撮像範囲に含めることも可能であるが、広角レンズを用いた場合には、得られる画像の端の領域で画像が歪むため、人を検出する精度が低下してしまうといった問題がある。
【０００８】
この発明は上述の問題点を解決するためになされたもので、この発明の目的の１つは、所定の領域内に存在する物体の数を正確に検出することが可能な監視装置を提供することである。
【０００９】
この発明の他の目的は、撮像装置のレンズの画角、または、撮像装置の設置場所に制約されることのない監視装置を提供することである。
【００１０】
【課題を解決するための手段】
上述した目的を達成するためにこの発明のある局面によれば、監視装置は、所定領域に出入りする物体を検出する第１検出手段と、第１検出手段による検出出力に応じて、所定領域に存在する物体の数を算出する算出手段と、所定領域に存在する物体を検出する第２検出手段と、第２検出手段による検出結果に基づいて、算出手段により算出された物体の数を補正する補正手段とを備える。
【００１１】
この発明に従えば、所定領域に出入りする物体が検出されると、所定領域内の物体の数が算出される。そして、所定領域内の物体の検出結果に基づいて、算出された物体の数が補正される。このため、所定領域に出入りする物体の数から算出された所定領域内の物体の数が、所定領域内の物体の検出結果、たとえば、物体が存在しないことの検出、または、存在する物体の数に基づき補正されるので、所定領域に出入りする物体を検出する際にエラーがあった場合でも、所定領域に存在する物体の数を正確な値に補正することができる。その結果、所定の領域内に存在する物体の数を正確に検出することが可能な監視装置を提供することができる。
【００１２】
好ましくは、第２検出手段は、所定領域を撮像するための撮像装置を含む。
この発明に従えば、所定領域内の物体が、撮像装置により撮像された画像に基づき検出される。このため、所定領域内の物体を正確に検出することができる。
【００１３】
好ましくは、撮像装置は、少なくとも所定領域全体を撮像可能な画角を有するレンズを含む。
【００１４】
この発明に従えば、少なくとも所定領域全体を撮像して得られた画像に基づき、所定領域内の物体が検出される。このため、撮像された１つの画像を用いて、監視領域内の物体を検出することができる。
【００１５】
好ましくは、撮像装置は、撮像方向を変更する撮像方向変更手段を含む。
この発明に従えば、撮像装置の画角が狭い場合であっても、所定領域の異なる部分を撮像した画像を組合わせて、所定領域全体の画像を得ることができる。このため、撮像装置のレンズの画角、または、撮像装置の設置場所に制約されることない監視装置を提供することができる。
【００１６】
好ましくは、検出手段は、所定領域内に存在する物体の数を計数する計数手段を含む。
【００１７】
この発明に従えば、所定領域に出入りする物体の数から算出された所定領域内の物体の数が、計数された物体の数に補正されるので、所定領域内に出入りする物体を検出する際にエラーがあった場合でも、所定領域に存在する物体の数を正確に検出することが可能な監視装置を提供することができる。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【００１９】
本実施の形態における監視システムにおいては、店舗の商品棚に囲まれた（挟まれた）通路を監視領域とし、この監視領域に存在する人の数を計数する。このとき、監視領域の出入口を通過する人の人数をカウントするためのセンサが備えられる。
【００２０】
ここでは、２つの出入口を有する監視領域における人数の計数を例に説明するが、出入口の数はこれに限定されることなく、１つまたは３つ以上あってもよい。要するに、出入口を通過する人をカウントするためのセンサが、各出入口に備えられればよい。
【００２１】
［第１の実施の形態］
図１は、本発明の第１の実施の形態における監視システムの機能の概要を示す機能ブロック図である。図１を参照して、監視システム１００は、監視領域の出入口を撮像するためのカメラ１０１，１０２と、監視領域を撮像するためのカメラ１０３と、カメラ１０１，１０２，１０３から信号を受信して監視領域内の人数を算出するための演算部１１０と、演算部１１０で算出された人数を表示するための出力部１２０とを含む。
【００２２】
カメラ１０１，１０２は、後述する監視領域の出入口周辺を撮像するための撮像装置である。カメラ１０１，１０２は、監視領域の出入口周辺の領域の真上に当る天井に設置される。このため、カメラ１０１，１０２の撮像範囲は、監視領域の出入口周辺の領域を含む。また、カメラ１０１，１０２は、監視領域の出入口周辺を通過する人を真上から撮像した画像が出力される。このため、横方向から撮像した場合のように、人が重なって撮像されることがないので、複数の人が通過する場合でも横方向から撮像する場合に比較して正確に人を検出することができる。
【００２３】
カメラ１０１，１０２それぞれは、撮像した画像を処理することにより画像中から人を検知するための人検知部１０と、検知された人の移動方向を検出するための移動方向検出部１１とを含む。
【００２４】
人検知部１０は、カメラ１０１，１０２で撮像して得られた画像中から人の領域を抽出することにより、人の存在を検知するとともに、抽出された人の数を計数する。この人の抽出および計数方法としては、たとえば、撮像して得られた画像からエッジ画像を作成し、予め準備した相似形の複数の円形状のテンプレートを作成されたエッジ画像上を順次移動させて、エッジ画像のエッジ部分とテンプレートとが重なった回数を画素ごとにカウントする。そして、カウント数の大きな画素を抽出することによって、人の頭部の領域を検知する方法を用いることができる。この方法については、特開２００１−２２２７１９号公報に開示されている。なお、人を検知する方法はこれに限られず、撮像した画像から物体を検知できれば、他のいかなる方法を用いても良い。
【００２５】
移動方向検出部１１は、カメラ１０１，１０２で撮像して得られた複数の画像（フレーム）を用いて、人の移動方向の検出を行なう。この検出方法としては、たとえば、人検知部１０において、あるフレームで検出された人のテクスチャや色情報に基づいて、そのフレームに後続するフレームでマッチングを行なって同一人物の対応づけを行なう。そして、後続のフレームと前のフレームとを比較して、人のテクスチャまたは色情報の位置の変化から移動方向を算出する。なお、移動方向の検出は、この方法に限られず、撮像した画像から物体の移動を検出できれば、他のいかなる方法を用いても良い。
【００２６】
カメラ１０１，１０２は、撮像範囲に侵入した人を検出し、その人の移動方向を複数のフレームから検出する。そして、検出された人が監視領域に侵入したか、あるいは、監視領域から退出したかを検出する。監視領域に侵入した場合には、１人が侵入するごとに侵入信号を演算部１１０に出力する。また、監視領域から人が退出した場合には、１人が退出するごとに退出信号を演算部１１０に出力する。したがって、カメラ１０１，１０２は、それが店舗の天井等に設置された時点で、撮像範囲と監視領域との関係から人の移動方向と監視領域への退出または侵入の方向とを定義づけた定義データが記憶されている。
【００２７】
カメラ１０１，１０２は、撮像領域において、あるフレームで検出した人物の移動方向が監視領域に向かっていて、かつ、次のフレームでその人物が検出されなかったときに、その人物が監視領域に侵入したものとして、侵入信号を演算部１１０に出力する。逆に、撮像領域で検出された人物の移動方向が、監視領域に向かうのとは逆の方向であり、かつ、前のフレームでその人物が検出されなかったときに、その人物が監視領域から退出したものと判断して、退出信号を演算部１１０に出力する。
【００２８】
また、カメラ１０１，１０２の撮像領域に監視領域の一部が含まれる場合、撮像領域におけるこの監視領域の一部の位置を予め登録しておけば、撮像領域で検出された人が監視領域に侵入したこと、あるいは、監視領域から退出したことを検出することができる。
【００２９】
カメラ１０３は、監視領域の全体を撮像するための撮像装置である。カメラ１０３は、監視領域の全体を撮像するために、監視領域の中央の上方に設置される。設置位置は、たとえば天井が好ましい。しかしながら、天井の高さが限られるため、カメラ１０３の撮像距離が短く制限される。その結果、監視領域の中央でその上方にカメラ１０３を設置した場合には、カメラ１０３の撮像範囲に監視領域の全体を含めることができない場合がある。このような場合には、監視領域から外れた位置であって、監視領域の全体が撮像範囲に含まれる位置に設置すればよい。この場合、カメラ１０３で撮像された画像は、監視領域を斜め上方から撮像することになるので、監視領域に人が複数いるような場合には、複数の人が重なって撮像された画像が得られる場合もある。第１の実施の形態においては、このような画像を用いた場合であっても監視領域に存在する人の人数を補正することが可能である。
【００３０】
カメラ１０３は、在不在判定部１５を含む。在不在判定部１５は、カメラ１０３で撮像した画像から、その画像中に人が存在するか否かの判定を行なう。人が存在するかどうかを判定する方法としては、従来よく知られている背景差分法を用いることができる。背景差分法は、人が存在しない状態で監視領域を撮像した画像を予め記憶しておき、その予め記憶された画像と、現在の画像との差分をとることにより、画像の変化を検出する。そして、画像に変化があった場合には人が存在するものと判断するものである。在不在判定部１５は、監視領域２０に人が存在する場合に信号「１」を演算部１１０に出力し、人が存在しない場合には信号「０」を演算部１１０に出力する
演算部１１０は、カメラ１０１，１０２と接続された計数結果算出部１２と、カメラ１０３と接続された計数結果補正部１３と、計数結果算出部１２および計数結果補正部１３と接続された計数結果記憶部１４とを含む。
【００３１】
計数結果算出部１２は、カメラ１０１，１０２それぞれから、退出信号または侵入信号を受信する。そして、各カメラ１０１，１０２から退出信号が受信されるごとに、計数結果記憶部１４に記憶されている監視領域に存在する人数から「１」だけ減算した人数を新たに記憶する。また、計数結果算出部１２は、カメラ１０１，１０２から侵入信号を受信するごとに、計数結果記憶部１４に記憶されている監視領域に存在する人数に「１」だけ加算した人数を新たに記憶する。
【００３２】
このように、計数結果算出部１２では、カメラ１０１，１０２で監視領域に人が侵入または監視領域から人が退出することが検出されるごとに、計数結果記憶部１４に記憶されている監視領域に存在する人数を記憶する。このため、計数結果算出部１２では、受信した退出信号または侵入信号の数だけの人数が記憶される。さらに、計数結果算出部１２は、タイマーを内臓しており、人数が記憶される際に、記憶される人数を、記憶された時刻と関連付けて記憶する。このため、計数結果記憶部１２に記憶された人数を見れば、監視領域に存在していた人数を、時系列で把握することができる。
【００３３】
計数結果補正部１３は、計数結果記憶部１４に記憶されている最も新しく記憶された監視領域の人数が「０」以外の数であって、かつ、その人数の状態が所定の時間、たとえば２秒間変化しない場合に、カメラ１０３から受信する信号に基づいて計数結果記憶部１４に記憶されている監視領域の人数を補正する。この補正は、後述するように、計数結果記憶部１４に記憶されている補正の対象となった数を時間を遡って補正する。なお、所定時間は、２秒に限定されることなく、その監視領域に応じて任意に定めることができる。
【００３４】
出力部１２０は、液晶表示装置またはＬＥＤ表示装置などであり、演算部１１０の計数結果記憶部１４に記憶されている最新の人数を表示する。また、出力部１２０は、カメラ１０１，１０２，１０３で撮像された画像を表示することも可能である。
【００３５】
図２は、第１の実施の形態における監視システムの撮像領域の一例を示す図である。図２は、店舗を上方から見た図である。監視領域２０が、図中右斜め下斜線のハッチングで示される。監視領域２０は、その図面上下方向に位置する商品棚で囲まれた領域である。したがって、監視領域２０には、図面上下方向からは人が侵入することができない。
【００３６】
監視領域２０の図面左右方向には、撮像領域２０１，２０２が存在する。撮像領域２０１は、カメラ１０１で撮像される領域である。カメラ１０１は、撮像領域２０１のほぼ中央で、店舗の天井に設置され、カメラ１０１の撮像光軸は撮像領域２０１の床面とほぼ垂直に交わる。撮像領域２０２は、カメラ１０２で撮像される領域である。カメラ１０２は、撮像領域２０２のほぼ中央で店舗の天井に設置され、カメラ１０２の撮像光軸は撮像領域２０２の床面とほぼ垂直に交わる。このため、カメラ１０１およびカメラ１０２は、人物を真上から撮像することになるので、ある人物が別の人物に隠れてしまうといったオクル−ジョンの問題が発生しない画像を撮像することができる。また、カメラ１０１の撮像領域２０１およびカメラ１０２の撮像領域２０２は、監視領域２０の通路の幅が撮像領域に少なくとも収まるようにカメラ１０１，１０２の撮像画角が設定されている。これにより、監視領域２０に侵入する人、または、退出する人を確実に撮像した画像が出力される。
【００３７】
一方、カメラ１０３は、カメラ１０１の図中左方向で店舗の天井に設置され、監視領域２０を斜め上方から撮像する。このため、カメラ１０３の撮像領域２０３には、監視領域２０が含まれる。
【００３８】
図３は、第１の実施の形態における監視システムの演算部で実行される人数計数処理の流れを示すフローチャートである。図３を参照して、演算部１１０では、計数結果記憶部１４に記憶されている監視領域に存在する人の数（ｎ）を「０」に初期化する（ステップＳ０１）。
【００３９】
そして、次のステップＳ０２において、カメラ１０１またはカメラ１０２のいずれかから、侵入信号が受信されたか否かが判断される。受信されたと判断した場合には、ステップＳ０３に進み、そうでない場合にはステップＳ０３をスキップしてステップＳ０４に進む。ステップＳ０３では、監視領域の人数ｎを「１」だけ増加した値を、計数結果記憶部１４にその時点の時刻とともに記憶する。
【００４０】
ステップＳ０４では、カメラ１０１，１０２のいずれかから、退出信号が受信されたか否かが判断される。退出信号が受信されたと判断した場合にはステップＳ０５へ進み、そうでない場合にはステップＳ０５をスキップしてステップＳ０６へ進む。ステップＳ０５では、監視領域の人数ｎから「１」を減算した値を計数結果記憶部１４にその時点の時刻とともに記憶する。
【００４１】
次のステップＳ０６では、計数結果記憶部１４に記憶されている監視領域の人数ｎが「０」か否かが判断される。真の場合にはステップＳ０２へ戻り、偽の場合にはステップＳ０７に進む。
【００４２】
ステップＳ０７では、計数結果記憶部１４に記憶されている監視領域の人数ｎが、２秒間変動しないか否かが判断される。２秒間変動しないと判断された場合にはステップＳ０８に進み、そうでない場合にはステップＳ０２へ進む。計数結果補正部１３は、計数結果記憶部１４に記憶されている監視領域２０に存在する人数ｎを監視しており、この人数ｎが２秒間変動したか否かを判定する。
【００４３】
ステップＳ０８では、カメラ１０３から受信した信号（「０」または「１」）に基づき、監視領域２０に人が存在するか否かを判断する。上述したように、カメラ１０３は、在不在判定部１５により監視領域２０に人が存在する場合に「１」の信号を演算部１１０に出力し、人が存在しない場合には「０」の信号を演算部１１０に出力するものであった。したがって、カメラ１０３から受信した信号が「１」の場合にはステップＳ０２へ戻り、受信した信号が「０」の場合にはステップＳ０９へ進む。
【００４４】
ステップＳ０９へ進む場合、計数結果記憶部１４に記憶されている監視領域２０に存在する人数ｎは「０」以外であるにもかかわらず、カメラ１０３から出力される値が監視領域２０に人が存在しないことを示す「０」の場合である。したがって、ステップＳ０９に進む場合には、カメラ１０３で検出された値と、計数結果記憶部１４に記憶されている人数ｎとが整合しない。
【００４５】
この場合には、計数結果記憶部１４に記憶されている監視領域２０の人数を「０」に補正する（ステップＳ０９）。この補正は、カメラ１０３による検出結果を優先させた補正がなされる。これは、カメラ１０１，１０２において、人検知処理または移動方向検出処理で誤って人検知または移動方向検出されたことが考えられるためである。その後、人数ｎに「０」が設定され（ステップＳ１０）、ステップＳ０２へ戻る。
【００４６】
ステップＳ０９で実行される補正処理についてさらに詳しく説明する。上述したように、計数結果記憶部１４には人数が変更された時刻と関連付けて記憶されているため、各時刻ごとの監視領域２０に存在する人数ｎを求めることができる。
【００４７】
ここで、カメラ１０１，１０２のフレームレートを３０ｆｐｓ（フレーム／秒）として説明する。この場合、計数結果記憶部１４に記憶されている人数からは、１／３０秒単位で監視領域２０の人数ｎを求めることができる。一方、計数結果記憶部１４に記憶されている監視領域２０に存在する人の数（計数結果）は、ステップＳ０８によるカメラ１０３の出力に基づく補正がされた時点だけでなく、それ以前の計数結果も誤っている可能性が高い。このため、補正処理においては、補正された値が２秒間継続していた過去の分に遡って補正される。
【００４８】
次に、本実施の形態における監視システムにおいて監視領域に存在する人を計数する具体例を説明する。図４は、監視領域に存在する人の数の時間的な変化を示す図である。図５は、監視領域に出入りする人の時間的な変化を模式的に示した図である。図５では、監視領域２０を上から見た図である。図４および図５では、カメラ１０１，１０２で撮像した画像のフレーム番号で時を表している。図４においては、各フレームにおける監視領域２０に存在する人の数を示している。図５（Ａ）では、フレーム１時点における状態を示し、カメラ１０１の撮像領域２０１に物体Ａが侵入した状態を示している。この状態は、監視領域２０には人物は存在しないので、フレーム１時点における人数は０人である。
【００４９】
図５（Ｂ）は、フレーム２時点における状態を示し、カメラ１０２の撮像領域２０２に人物Ｂが侵入した状態を示している。この状態では、未だ監視領域２０には人が存在しないので、フレーム２時点における人数は０人である。
【００５０】
図５（Ｃ）は、フレーム３時点における状態を示し、撮像領域２０１に存在していた人物Ａが、監視領域２０に移動した状態を示している。この状態においては、監視領域２０に存在する人物は１人であるため、フレーム３における人数ｎは１人である。
【００５１】
図５（Ｄ）は、フレーム４時点における状態を示している。撮像領域２０２に存在していた人物Ｂが監視領域２０に侵入した状態を示している。このフレーム４時点における監視領域２０に存在する人物ｎは２人である。
【００５２】
図５（Ｅ）は、フレーム５時点における状態を示し、監視領域２０に存在する人物の数は２人である。図５（Ｆ）は、フレーム６時点における状態を示している。監視領域２０にいた人物のうち１人が、監視領域２０から撮像領域２０２に移動して物体Ｃとして検出される状態を示している。この場合における監視領域２０中に存在する人数は１人である。
【００５３】
図５（Ｇ）は、フレーム７時点における状態を示し、監視領域２０に存在していた人物が撮像領域２０１に移動して物体Ｄとして検出される状態を示している。この場合においては、監視領域２０に存在する人の人数は「０」である。
【００５４】
図５（Ｈ）は、フレーム８時点における状態を示し、監視領域２０中から物体が退出した状態を示している。図５（Ｉ）および（Ｊ）は、それぞれフレーム９時点およびフレーム７０時点における状態を示し、監視領域２０中に何も存在しない状態を示している。この場合における監視領域２０中に存在する人物の数は「０」である。
【００５５】
図６は、第１の実施の形態における監視システムで検出される監視領域の人数の変化を時系列で示す図である。図６（Ａ）は、フレーム１〜６までの計数結果が計数結果記憶部１４に記憶された状態を示している。図４に示したグラフと比較すると、フレーム６時点での人数が異なる。すなわち、計数結果算出部１２において、フレーム６において人物が監視領域２０から実際には退出したにもかかわらず、カメラ１０１においてその人物の退出を何らかの原因で検出することができず、カメラ１０１から退出信号が出力されなかった場合を示している。この誤検出により、フレーム７〜６７までの期間の計数結果が誤った値となっている。演算部１１０は、フレーム７〜６６までの期間、すなわち２秒間の間継続して計数結果記憶部１４に記憶されている監視領域２０中に存在する人数（計数結果ｎ）が１人であることを検出すると、フレーム６７において、カメラ１０３からの出力が０であるか１であるかを判断する。ここでは、図５を参照して、フレーム７〜フレーム７０までの間は、監視領域２０には誰も存在しないため、フレーム７から７０の間は、カメラ１０３の出力は「０」となる。そこで、計数結果補正部１３は、計数結果記憶部１４に記憶されている計数結果のうち、誤検出があったと推定されるフレーム７時点まで遡って、フレーム７〜フレーム６６までの値を「０」に変更する。これにより、フレーム６７以降の計数結果ｎも０に修正されることになる。
【００５６】
以上説明したように、第１の実施の形態における監視システム１００においては、監視領域の出入口の周辺を撮像するためのカメラ１０１，１０２から出力される、監視領域に侵入または退出を示す信号に基づき、計数結果算出部１２が監視領域における人数を計数するようにした。そして、その計数結果が２秒間継続して変動のないときにのみ、カメラ１０３の出力に基づいて計数結果記憶部１４に記憶されている計数結果を補正するようにした。換言すれば、カメラ１０１，１０２の出力に基づいて算出される計数結果が疑わしいときだけカメラ１０３の情報を用いて計数結果を補正するようにしている。このため、カメラ１０３の処理負荷を軽減しつつ、計数結果記憶部１４に記憶される計数結果の精度を高めることができる。
【００５７】
また、カメラ１０１，１０２からは、監視領域に人が侵入したかまたは退出したかを示す侵入信号または退出信号を受信するようにし、カメラ１０３からは、監視領域に人が存在するか否かを示す信号を受信するようにした。このため、カメラ１０１，１０２，１０３からは、演算部１１０に送信するデータ量を大幅に削減することができる。
【００５８】
第１の実施の形態においては、監視領域２０に侵入または退出する人の検出に、カメラ１０１，１０２を用いてたが、たとえば、赤外線センサ、近接センサ、光センサ等を用いて、人が監視領域２０に侵入したか、または、退出したかを検出するようにしてもよい。すなわち、監視領域２０に人が侵入したこと、および、監視領域２０から人が退出したことを検出することができるセンサであれば、画像処理を用いるセンサに限らず、他のいかなるセンサを用いることもできる。
【００５９】
さらに、監視領域２０に人が存在するか否かを判別するためのセンサとして、カメラ１０３を用いるようにしたが、赤外線センサ、光センサ、近接センサを用いることによって、監視領域２０に人が存在するか否かを検出するようにしてもよい。
【００６０】
［第２の実施の形態］
次に、第２の実施の形態における監視システムについて説明する。第１の実施の形態における監視システムでは、カメラ１０３が、監視領域に人が存在するか否かを検出するものであった。第２の実施の形態における監視システムにおいては、カメラ１０３に代えて、カメラ１０３Ａを備え、監視領域２０に存在する人の人数を検出するようにしたものである。その他の点については、第１の実施の形態における監視システム１００と同様であるので、ここでは第１の実施の形態における監視システム１００と異なる部分について説明する。
【００６１】
図７は、第２の実施の形態における監視システム１００Ａの全体概要を示すブロック図である。図７を参照して、監視システム１００Ａは、第１の実施の形態における監視システム１００と異なるところは、カメラ１０３Ａを備えること、および、演算部１１０Ａにおいて、計数結果補正部１３Ａで実行される処理が異なることである。
【００６２】
カメラ１０３Ａは、人検知部５０と、パン・チルト駆動部５１とを備える。人検知部５０は、カメラ１０３Ａで撮像された画像が、人を検出するとともに、検出した人の人数を数える。画像中から人を検出する技術は、上述したカメラ１０１，１０２の人検知部１０で実行する処理と同様の技術を用いることができる。パン・チルト駆動部５１は、計数結果補正部１３Ａから出力される制御信号を受信し、受信した制御信号に従ってカメラ１０３の撮像方向を変更する。
【００６３】
人検知部５０は、パン・チルト駆動部５１により撮像方向が変更される前に得られた画像と、変更された後に得られた画像とをそれぞれ処理することにより、監視領域２０に存在する人の数を計数する。そして、計数された結果は、人数データとして演算部１１０Ａの計数結果補正部１３Ａに出力される。
【００６４】
パン・チルト駆動部５１は、演算部１１０Ａの計数結果補正部１３Ａから受信する制御信号に従って、カメラ１０３Ａの撮像方向を、予め定められた撮像方向に変更する。カメラ１０３Ａは、パン・チルト駆動部５１により定められた撮像方向ごとに画像を撮像し、得られた複数の画像それぞれを人検知部５０に出力する。人検知部５０は、受信された画像をそれぞれ処理することにより、その画像中に含まれる人の数を数える。
【００６５】
パン・チルト駆動部５１により定められる撮影方向の数は、監視領域２０の大きさとカメラ１０３Ａのレンズの画角により定まる。このため、撮影方向は、２方向だけでなく、３方向以上の場合もあり得る。人検知部５０では、撮影方向の数の画像を処理することになる。
【００６６】
次に、カメラ１０３Ａの撮像範囲について説明する。図８は、第２の実施の形態における監視システムの撮像領域の一例を示す図である。図８（Ａ）は、初期状態におけるカメラ１０３Ａの撮像領域２０３Ａを示す図である。カメラ１０３Ａは、監視領域２０のほぼ中心の天井に設置される。撮像領域２０３Ａは、カメラ１０３Ａの光軸が、監視領域２０の中心で床面とほぼ垂直に交わるようにカメラ１０３Ａが設置されている。この場合、撮像領域２０３Ａは、監視領域２０の通路幅が撮像領域内に収まるようにカメラ１０３Ａの画角が設定されている。
【００６７】
図８（Ｂ）は、パン・チルト駆動部５１がチルト動作することによりカメラ１０３Ａの撮像方向が図中左方向に変更された状態における撮像領域２０３Ｂを示す図である。図８（Ｃ）は、パン・チルト駆動部５１がチルト動作することによりカメラ１０３Ａの撮像方向が図中右方向に変更された状態における撮像領域２０３Ｃを示す図である。図８を参照して、撮像領域２０３Ａ，２０３Ｂ，２０３Ｃを組合わせた画像は、監視領域２０をすべて含む。
【００６８】
カメラ１０３Ａでは、計数結果補正部１３Ａより制御情報が受信されると、人検知部５０には撮像領域２０３Ａを撮像した画像が取込まれる。その後、パン・チルト駆動部５１によりカメラ１０３Ａの撮像方向を変更して撮像領域２０３Ｂを撮像した画像が人検知部５０に取込まれる。さらに、パン・チルト駆動部５１によりカメラ１０３Ａの撮像方向を変更して撮像領域２０３Ｃを撮像した画像が人検知部５０に取込まれる。
【００６９】
カメラ１０３Ａは、計数結果補正部１３Ａより制御情報を受信すると、撮像領域２０３Ａ，２０３Ｂ，２０３Ｃをそれぞれ撮像した画像が人検知部５０に取込まれるため、人検知部５０では監視領域２０に存在する人の人数を計数することができる。
【００７０】
なお、パン・チルト駆動部５１による撮像方向の移動は、上述した順番に限られず、たとえば、撮像領域２０３Ｂ、撮像領域２０３Ａ、撮像領域２０３Ｃの順に撮像方向を切換えるようにしてもよい。さらに、ここでは、３つの撮像領域２０３Ａ，２０３Ｂ，２０３Ｃを撮像するようにしたが、撮像領域の数はこれに限られず、複数あればよい。
【００７１】
このように、カメラ１０３Ａで撮像方向を変更させることにより、監視領域２０を部分的に撮像した画像を取得するようにしたのは、画像を処理して人を検出する精度を高めるためである。すなわち、監視領域２０を複数の部分に分割して撮像することにより、カメラ１０３Ａの解像度を高くすることなく、監視領域２０を撮像した画像の解像度を高くすることができる。このため、解像度の高い画像を用いて人を検出することができるため、人を検出する画像処理の精度を高くすることができる。また、解像度の高い高価なカメラを用いる必要がないので、コストを低くすることができる。
【００７２】
なお、第２の実施の形態における監視システム１００Ａにおいては、カメラ１０３Ａをパン・チルト駆動部５１によるカメラ１０３Ａのチルト駆動によって撮像方向を変更するようにしたが、チルト駆動に限られず、パン駆動することにより、カメラの撮像方向を変更するようにしてもよい。さらに、カメラ１０３Ａを監視領域２０の中央に位置する天井に設置するようにしたが、設置する位置はこれに限定されることなく、カメラの撮像方向を変更することによって監視領域の全体を撮像することができれば設置位置を限定するものではない。
【００７３】
さらに、第２の実施の形態においては、カメラ１０３Ａの画角を監視領域２０の通路幅に合わせて設定するようにしたが、通路幅よりも狭い画角に設定してもよい。この場合には、カメラ１０３Ａで監視領域全体が撮像できるように、カメラのパン駆動と、チルト駆動とを組合わせて、複数の画像を組合わせて監視領域全体を撮像した画像を得るようにすればよい。
【００７４】
さらに、パン・チルト駆動部を設けず、監視領域２０全体を一度に撮像できる位置にカメラ１０３Ａを設置するようにしてもよい。ただしこの場合には、カメラ１０３Ａで人検知をするのに十分な解像度が得られる場合に限られる。
【００７５】
第２の実施の形態における監視システムにおいては、カメラ１０３Ａの撮像方向を変更して複数の画像を得るようにした。このカメラ１０３Ａで複数の画像を得る間、すなわち、カメラ１０３Ａがパン・チルト駆動部５１により撮像方向を変更している間に、監視領域２０に人が侵入する場合、または、監視領域２０から人が退出する場合が考えられる。この場合には、計数結果記憶部１４に記憶されている人数ｎと、カメラ１０３Ａが出力する人数との整合をとることができない。このため、計数結果補正部１３Ａがカメラ１０３Ａに制御情報を出力してから、カメラ１０３Ａが人数データを計数結果補正部１３Ａに出力するまでの間に、カメラ１０１，１０２のいずれかから退出信号または侵入信号が計数結果算出部１２に入力された場合、換言すれば、計数結果記憶部１４に記憶されている人数ｎが変更された場合には、補正処理を行なわないようにしている。
【００７６】
図９は、第２の実施の形態における監視システムの演算部１１０Ａで実行される人数計数処理の流れを示すフローチャートである。図９を参照して、ステップＳ１１〜ステップＳ１６の処理は、図３に示した第１の実施の形態における監視システムの演算部１１０で実行される処理（ステップＳ０１〜ステップＳ０６）と同じである。ここでは説明は繰返さない。
【００７７】
ステップＳ１７では、カメラ１０３Ａに対して、人検知処理の実行の開始を指示するための制御情報を出力する。そして、ステップＳ１８では、カメラ１０３Ａより人数データｍを受信したか否かが判断される。受信した場合にはステップＳ２０に進み、受信しない場合にはステップＳ１９に進む。
【００７８】
ステップＳ１９では、カメラ１０１，１０２のいずれかから、侵入信号または退出信号が受信されたか否かが判断される。そのような信号が受信された場合にはステップＳ１２へ戻り、そうでない場合にはステップＳ１８に戻る。すなわち、カメラ１０３Ａにおいて人検知処理が実行されている間に、監視領域２０に人が侵入または監視領域２０から人が退出したような場合には、カメラ１０３Ａにおける人検知処理を中止するためである。
【００７９】
ステップＳ２０では、ステップＳ１８で受信された人数データｍと、計数結果記憶部１４に記憶されている計数結果ｎと等しいか否かが判断される。等しい場合にはステップＳ１２へ戻り、そうでない場合には補正処理を実行する（ステップＳ２１）。そして、変数ｎにステップＳ１８で受信された人数データｍを設定し（ステップＳ２２）、ステップＳ１２へ戻り上述した処理を繰返し実行する。
【００８０】
図１０は、カメラ１０３Ａで実行される人検知処理の流れを示すフローチャートである。図１０を参照して、カメラ１０３Ａでは、演算部１１０Ａの計数結果補正部１３Ａから、人検知処理の実行の開始を指示する制御情報が受信されたか否かが判断される（ステップＳ３１）。そのような制御信号が受信された場合にはステップＳ３２へ進み、そうでない場合には待機状態となる。ステップＳ３２では、カメラ１０３Ａで撮像された画像が人検知部５０で取得される。このとき、パン・チルト駆動部５１では、カメラ１０３Ａが初期状態、すなわち、撮像領域２０３Ａを撮像するための撮像方向に設定されている。したがって、この時点で人検知部５０で取得される画像は、撮像領域２０３Ａを撮像した画像である。
【００８１】
そして、次の画像があるか否かが判断される（ステップＳ３３）。本実施の形態においては、撮像領域２０３Ａ，２０３Ｂ，２０３Ｃの３つがあったため、これら３つの撮像領域を撮像した画像がステップＳ３２で取得されるまで、次の画像があると判断される。次の画像があると判断された場合には、撮影方向の切換が行なわれる（ステップＳ３４）。撮影方向切換は、パン・チルト駆動部５１により、カメラ１０３Ａが撮像領域２０３Ｂ，２０３Ｃのいずれかを撮像することが可能なように撮像方向が変更される。そして、ステップＳ３２へ進み、撮像方向が変更された後のカメラ１０３Ａで撮像した画像は人検知部５０で取得される。
【００８２】
このようにして、本実施の形態においては撮像領域２０３Ａ，２０３Ｂ，２０３Ｃを撮像した３つの画像が人検知部５０で取得され、取得された３つの画像を処理することにより、監視領域２０に存在する人の数が検出される（ステップＳ３５）。
【００８３】
そして、検出された人数データｍが演算部１１０Ａの計数結果補正部１３Ａに出力される（ステップＳ３６）。
【００８４】
第２の実施の形態における監視システム１００Ａでは、計数結果補正部１３Ａは、カメラ１０３Ａから出力された人数データに基づいて、計数結果算出部１２で算出された計数結果を補正する。たとえば、あるフレームでの計数結果算出部１２の計数結果が、ある人数（たとえば３人）を表わしており、かつ、次のフレーム以降継続して所定時間（たとえば２秒間）計数結果算出部１２の計数結果に変化がない場合（３人の状態が２秒間継続する場合）には、監視領域２０内に３人が存在する場合と、計数結果算出部１３の計数結果が間違っている場合とがある。
【００８５】
そこで、計数結果記憶部１４に記憶されている計数結果がある所定期間（たとえば２秒間）変化しない場合には、カメラ１０３Ａによる検出された人数ｍに基づき、計数結果記憶部１４に記憶されている計数結果ｎが正しいか否かを判定する。そして、正しくない場合には、計数結果記憶部１４に記憶されている計数結果ｎを、カメラ１０３Ａによる検出された人数ｍに補正する。
【００８６】
さらに、計数結果記憶部１４に記憶されている計数結果ｎを、カメラ１０３Ａにより検出された人数ｍに補正する場合には、カメラ１０３Ａが人数ｍを出力した時点だけでなく、計数結果記憶部１４に記憶されている過去の時点の計数結果も補正される。たとえば、カメラ１０１，１０２のフレームレートが３０ｆｐｓとする。そして、カメラ１０３Ａは、計数結果補正部１３Ａから制御情報を受信して、人数データを出力するまでの時間、換言すれば、パン・チルト駆動部５１によりカメラ１０３Ａの撮像方向を変更し、複数の画像を取得し、人検知部５０が画像処理の実行を終了するのに必要な時間が０．５秒かかるとする。この場合に、計数結果記憶部１４に記憶されている計数結果ｎが２秒間変化しなかったときに、カメラ１０３Ａに制御情報を出力するようにした場合には、少なくとも３０×（２＋０．５）＝７５フレーム分を遡って記憶されている計数結果を補正するようにすればよい。
【００８７】
以上説明したように、第２の実施の形態における監視システム１００Ａにおいては、カメラ１０１，１０２において監視領域２０に侵入または退出することが検出され、その検出された侵入信号または退出信号に基づき監視領域２０に存在する人の数が計数される。そして、計数された計数結果が所定の期間（２秒間）変更されない場合にだけ、カメラ１０３Ａによる監視領域２０に存在する人の数が計数され、その計数された人数に基づき、計数結果記憶部１４に記憶されている計数結果が補正される。このため、カメラ１０１，１０２において、監視領域２０に侵入または退出する人の検出にミスがあった場合でも、監視領域２０に存在する人を正確にカウントすることができる。
【００８８】
［第３の実施の形態］
次に第３の実施の形態における監視システムについて説明する。図１１は、第３の実施の形態における監視システムの全体概要を示す図である。図１１を参照して、監視システム１００Ｂは、パーソナルコンピュータ６００と、パーソナルコンピュータ６００にそれぞれ接続され、監視領域を撮像して得られる画像を出力するカメラ１０３Ｂと、監視領域２０の出入口の周辺を撮像して得られる画像を出力するカメラ１０１Ａ，１０２Ａと、ディスプレイ６０１とを含む。
【００８９】
パーソナルコンピュータ６００は、コンピュータ読取可能な記録媒体７００に記録された人数計数プログラムを読取り、パーソナルコンピュータ６００の中央演算装置（ＣＰＵ）で読取った人数計数プログラムを実行する。
【００９０】
ディスプレイ６０１は、パーソナルコンピュータ６００に接続された陰極線管、液晶表示装置、ＬＥＤ表示装置またはプラズマディスプレイパネルである。また、ディスプレイ６０１に代えて、または、これに加えて、パーソナルコンピュータ６００に制御されて音を出力するスピーカなどの音発生装置としてもよい。
【００９１】
カメラ１０１Ａ，１０２Ａ，１０３Ｂの撮像領域は、図２に示した撮像領域２０１，２０２，２０３にそれぞれ対応する。したがって、カメラ１０２Ａ，１０１Ａ，１０３Ｂは、これら撮像領域を撮像した画像を常にパーソナルコンピュータ６００に送信する。このため、カメラ１０１Ａ，１０２Ａ，１０３Ｂは、撮像領域を撮像した画像をパーソナルコンピュータ６００に出力する機能を備えればよく、画像を処理する機能を有する必要はないため、安価なカメラを用いることができる。
【００９２】
記録媒体７００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）などの記録媒体である。一般的に、パーソナルコンピュータ６００で実行される人数計数プログラムは、記録媒体に記録されて流通する。そして、パーソナルコンピュータ６００が備えるＣＤ−ＲＯＭドライブまたはＦＤドライブにより読取られ、パーソナルコンピュータ６００が備えるハードディスクに一時的に記憶される。パーソナルコンピュータ６００では、ハードディスクに記憶された人数計数プログラムをランダムアクセスメモリ（ＲＡＭ）に読取り、ＣＰＵで実行する。このようなパーソナルコンピュータ６００のハード構成および動作は周知であるので、ここではその詳細な説明は繰返さない。
【００９３】
なお、記録媒体７００としては、ＣＤ−ＲＯＭ、ＦＤ、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク（ＭＯ（Ｍａｇｎｅｔｉｃ Ｏｐｔｉｃａｌ Ｄｉｓｃ）／ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ））、ＩＣカード（メモリカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭなどの半導体メモリ等を含む。
【００９４】
また、ここでいうプログラムとは、パーソナルコンピュータ６００のＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む概念である。
【００９５】
図１２は、第３の実施の形態における監視システムの機能を示す機能ブロック図である。図１２を参照して、パーソナルコンピュータ６００は、上述した人数計数プログラムが実行されることにより、ＣＰＵ６１０に、在不在判定部１５Ａ、人検知部１０Ａ、移動方向検出部１１Ａ、計数結果算出部１２Ａ、計数結果補正部１３Ａが構成される。また、パーソナルコンピュータ６００のＲＡＭは、計数結果記憶部１４Ａとして働く。
【００９６】
在不在判定部１５Ａは、第１の実施の形態において説明したカメラ１０３に備えられた在不在判定部１５と同様の機能を有する。また、人検知部１０Ａおよび移動方向検出部１１Ａは、第１の実施の形態において説明したカメラ１０１，１０２にそれぞれ備えられた人検知部１０および移動方向検出部１１と同様の機能を有する。さらに、計数結果補正部１３Ａは、第１の実施の形態における演算部１１０の計数結果算出部１２および計数結果補正部１３にそれぞれ対応する機能を有する。さらに、計数結果記憶部１４Ａは、第１の実施の形態における演算部１１０の計数結果記憶部１４と同様に、計数結果算出部１２Ａで算出された計数結果を記憶する。
【００９７】
このように、第３の実施の形態における監視システムにおいては、第１の実施の形態におけるカメラ１０１，１０２に備えられた人検知部１０および移動方向検出部１１、カメラ１０３に備えられた在不在判定部１５、演算部１１０に備えられた計数結果算出部１２、計数結果補正部１３および計数結果記憶部１４のそれぞれの機能をパーソナルコンピュータ６００で実現したものである。
【００９８】
図１３は、第３の実施の形態におけるパーソナルコンピュータ６００で実行される処理の流れを示すフローチャートである。図１３に示す人数計数処理の流れは、図３に示した第１の実施の形態における演算部１１０Ａで実行される処理と基本的に同じである。しかしながら、第１の実施の形態における演算部１１０Ａでは、カメラ１０１，１０２から、侵入信号または検出信号を受信し、カメラ１０３Ａから監視領域２０に人が存在するか否かを示す信号（１または０）を受信したのに対し、第３の実施の形態におけるパーソナルコンピュータ６００では、カメラ１０１Ａ，１０２Ａから、それぞれ監視領域の出入口周辺を撮像した画像を受信する点、およびカメラ１０３Ｂから監視領域２０を撮像した画像を受信する点で異なる。
【００９９】
したがって、ステップＳ４２では、カメラ１０１Ａ，１０２Ａから受信された画像に基づき、監視領域２０に人が侵入したことを検出する処理がパーソナルコンピュータ６００で実行される。また、ステップＳ４４では、カメラ１０１Ａ，１０２Ａから受信した画像に基づき、監視領域２０から人が退出したことを検出する処理が実行される。さらに、ステップＳ４８では、カメラ１０３Ｂから受信した画像に基づき、監視領域２０に人が存在するか否かを検出する処理が実行されることになる。その他の処理は、第１の実施の形態における演算部１１０Ａで実行される図３に示した処理と同様であるのでここでは説明は繰返さない。
【０１００】
第３の実施の形態における監視システムによれば、カメラ１０１Ａ，１０２Ａは、監視領域２０の出入口周辺を撮像して得られた画像をパーソナルコンピュータ６００に出力すればよく、カメラ１０３Ｂは、監視領域２０の全体を撮像した画像をパーソナルコンピュータ６００に出力すればよい。このため、カメラ１０１Ａ，１０２Ａ，１０３Ｂに画像を処理する機能を設ける必要がなく、安価なカメラを用いることができる。
【０１０１】
このように、第３の実施の形態における監視システム１００Ｂでは、設置されるカメラに特別の機能を持たせる必要がないため、既に設置されているカメラを用いて監視領域２０に存在する人を検出することができる。したがって、パーソナルコンピュータ等の装置をカメラと接続するだけで所定の領域の人数を正確に計数することを実現することが可能となる。このため、人数を計数するための監視システムを導入することが容易となる。
【０１０２】
［第４の実施の形態］
次に第４の実施の形態における監視システムについて説明する。第４の実施の形態における監視システムは、第２の実施の形態における監視システム１００Ｂにおいて、カメラ１０１，１０２にそれぞれ備えられた人検知部１０、移動方向検出部１１の機能を、パーソナルコンピュータ６００に持たせ、さらに、カメラ１０３Ｃが有する人検知部５０の機能をパーソナルコンピュータ６００に持たせたものである。さらに、第２の実施の形態における演算部１００Ａの機能を、パーソナルコンピュータ６００に持たせたものである。その他の点については、第２の実施の形態における監視システムと同様であるのでここでは説明を繰返さない。
【０１０３】
図１４は、第４の実施の形態における監視システムの機能の概要を示す機能ブロック図である。図１４を参照して、パーソナルコンピュータ６００は、記録媒体７００に記録された人数計数プログラムを実行することにより、パーソナルコンピュータ６００に備えられたＣＰＵ６１０Ａに、人検知部１０Ａ、移動方向検出部１１Ａ、計数結果算出部１２Ａ、計数結果補正部１３Ａ、人検知部５０Ａが形成される。また、パーソナルコンピュータ６００のＲＡＭは計数結果記憶部１４Ａとして働く。
【０１０４】
図１５は、第４の実施の形態におけるパーソナルコンピュータ６００で実行される処理の流れを示すフローチャートである。図１５に示す人数計数処理の流れは、図９および図１０に示した第２の実施の形態における演算部１１０Ａおよび人検知部５０で実行される処理と基本的に同じである。しかしながら、第２の実施の形態における演算部１１０Ａでは、カメラ１０１，１０２から、侵入信号または検出信号を受信し、カメラ１０３Ａから監視領域２０に人が存在するか否かを示す信号（１または０）を受信したのに対し、第４の実施の形態におけるパーソナルコンピュータ６００では、カメラ１０１Ａ，１０２Ａから、それぞれ監視領域の出入口周辺を撮像した画像を受信する点、およびカメラ１０３Ｂから監視領域２０を撮像した画像を受信する点で異なる。
【０１０５】
図１５を参照して、ステップＳ６１〜ステップＳ６６までの処理は、図９のステップＳ１１〜ステップＳ１６の処理に相当する。ステップＳ６２では、カメラ１０１Ａ，１０２Ａから受信された画像に基づき、監視領域２０に人が侵入したことを検出する処理がパーソナルコンピュータ６００Ａで実行される。また、ステップＳ６４では、カメラ１０１Ａ，１０２Ａから受信した画像に基づき、監視領域２０から人が退出したことを検出する処理が実行される。
【０１０６】
ステップＳ６７では、カメラ１０３Ｃから画像が取得される。そして、次の画像があるか否かが判断される。この処理は、計数結果補正部１３Ａで実行される。計数結果補正部１３Ａでは、次の画像があると判断した場合には撮影方向切換指示を示す制御情報をパン・チルト駆動部５１Ａに出力する（ステップＳ６９）。これにより、パン・チルト駆動部は、カメラ１０３Ｃの撮像方向を切換える。そして、次のステップＳ７０では、人検知部１０Ａおよび移動方向検出部１１Ａにより、カメラ１０１Ａ，１０２Ａから得られた画像から監視領域２０への人の侵入または監視領域２０からの人の退出が検出されたか否かが判断される。監視領域２０への侵入または退出が検出された場合にはステップＳ６２へ戻り、そうでない場合にはステップＳ６７に戻る。ステップＳ６７の処理で、全ての画像が取得されると、図８に示した撮像領域２０３Ａ，２０３Ｂ，２０３Ｃを撮像した画像がパーソナルコンピュータ６００Ａに入力される。
【０１０７】
ステップＳ７０で、監視領域２０への侵入または退出が検出された場合にはステップＳ６２へ戻のは、次の理由による。監視領域２０に存在する人の数を、撮像領域２０３Ａ，２０３Ｂ，２０３Ｃから検出するようにしているため、これらの画像を撮像している最中に監視領域に人が侵入または退出した場合には、正確に監視領域２０に存在する人を検出することができないからである。
【０１０８】
そして次のステップＳ７１では、撮像領域２０３Ａ，２０３Ｂ，２０３Ｃを撮像して取得された画像から、監視領域２０に存在する人の数ｍを検出する処理が計数結果補正部１３Ａで実行される（ステップＳ７１）。そして、次のステップＳ７２において、検出された人数ｍと計数結果記憶部１４Ａに記憶されている人数ｎとが等しいか否かが判断される。等しいとされた場合にはそのままステップＳ６２へ進み、等しくないとされた場合には計数結果記憶部１４Ａに記憶されている人数ｎの補正処理が実行される（ステップＳ７３）。そして、人数ｎに検出された人数ｍが設定され（ステップＳ７４）、ステップＳ６２へ進む。
【０１０９】
ステップＳ７３で実行される補正処理は、図９のステップＳ２１で示した処理と同様であるのでここでは説明は繰返さない。
【０１１０】
以上説明したように、第４の実施の形態における監視システムにおいては、第２の実施の形態における監視システムで得られる効果に加えて、カメラ１０１Ａ，１０２Ａを監視領域２０の出入口周辺を撮像した画像をパーソナルコンピュータ６００に出力する機能のみを備えた単純な構成のカメラとすることができる。
【０１１１】
また、カメラ１０３Ｃを、監視領域２０を部分的に撮像してパーソナルコンピュータ６００に出力する単純な構成とすることができる。このため、カメラ１０１Ａ，１０２Ａ，１０３Ｃに画像処理を実行する機能を持たせる必要がないので、安価なカメラを用いることができる。
【０１１２】
（１） 以上説明したパーソナルコンピュータ６００で実行される監視プログラムは、所定領域に出入りする物体を検出する第１検出手段と、前記所定領域を撮像するための撮像装置とが接続されたコンピュータで実行され、
前記第１検出手段から所定領域に物体が侵入したことを示す侵入信号、または、物体が退出したことを示す退出信号を受信するステップと、
前記受信された侵入信号または退出信号の受信に応じて、前記所定領域に存在する物体の数を算出するステップと、
前記撮像装置から受信された画像を処理して、前記所定領域の物体を検出するステップと、
前記検出結果に基づいて、前記算出ステップにより算出された物体の数を補正するステップとをコンピュータに実行させる。
【０１１３】
（２） また、監視プログラムは、所定領域の出入口周辺を撮像する第１撮像装置と、前記所定領域を撮像するための第２撮像装置とが接続されたコンピュータで実行され、
前記第１撮像装置から受信した画像を処理して、前記所定領域への物体の侵入または退出を検出するステップと、
前記侵入または退出する物体の検出に応じて、前記所定領域に存在する物体の数を算出するステップと、
前記第２撮像装置から受信された画像を処理して、前記所定領域の物体を検出するステップと、
前記所定領域の物体の検出に基づいて、前記算出ステップにより算出された物体の数を補正するステップとをコンピュータに実行させる。
【０１１４】
（３） また、監視装置は、所定領域に侵入または退出する物体を検出する第１検出手段と、
前記第１検出手段による検出出力に応じて、前記所定領域に存在する物体の数を算出する算出手段と、
前記所定領域に存在する物体を検出する第２検出手段と、
前記第２検出手段による検出結果に基づいて、前記算出手段により算出された物体の数を補正する補正手段とを備え、さらに、
第２検出手段は、前記所定領域内の物体の存否を判定する判定手段を含み、
前記補正手段は、前記算出手段により算出された物体の数が１以上で、かつ、前記判定手段により物体が存在しないと判定されたことを条件に補正する。
【０１１５】
これによれば、第２検出手段による検出を複雑な処理とする必要がなく、処理負荷を軽減することができる。特に、第２検出手段が画像処理して物体の存否を判定する場合は、単純な画像処理を用いることができる。
【０１１６】
（４） 前記第２検出手段は、前記第１検出手段から検出出力が所定時間出力されないことを条件に検出するようにしてもよい。第２検出手段により常に検出する必要がないので、処理負荷を軽減することができる。
【０１１７】
（５） 前記第２検出手段は、前記撮像装置が撮像方向を異ならせて撮像して出力する複数の画像を処理する画像処理手段を含んでもよい。
【０１１８】
（６） 前記第２検出手段は、前記撮像装置で撮像方向を変更している間に、前記第１検出手段による検出出力があったときは、検出結果を出力するのを禁止してもよい。撮像装置で撮像方向を変更している間に所定領域に物体の侵入または退出があった場合には、所定領域内に存在する物体の数を誤って検出する場合がある。そのような場合には検出出力を出力しないようにしたので、物体の数を正確に検出した場合だけ検出結果を出力することができる。その結果、所定領域に存在する物体の数を正確に検出することができる。
【０１１９】
（７） 前記第１検出手段は、前記所定領域の出入口周辺を撮像するための撮像装置と、
前記撮像装置で撮像された画像を処理する画像処理手段とを含み、
画像処理手段は、前記出入口周辺を通過する人の進行方向を検出する検出手段を含む。
【０１２０】
（８） 前記第２検出手段の撮像装置は、天井に設置される。設置スペースが制限されることなく、人に気づかれにくいので見映えを良くすることができる。
【０１２１】
（９） 前記第１検出手段の撮像装置は、天井に設置される。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における監視システムの機能の概要を示す機能ブロック図である。
【図２】第１の実施の形態における監視システムの撮像領域の一例を示す図である。
【図３】第１の実施の形態における監視システムの演算部で実行される人数計数処理の流れを示すフローチャートである。
【図４】監視領域の人数の時間的な変化を示す図である。
【図５】監視領域に出入りする人の時間的な変化を模式的に示した図である。
【図６】第１の実施の形態における監視システムで検出される監視領域の人数の変化を時系列で示す図である。
【図７】第２の実施の形態における監視システムの全体概要を示すブロック図である。
【図８】第２の実施の形態における監視システムの撮像領域の一例を示す図である。
【図９】第２の実施の形態における監視システムの演算部で実行される人数計数処理の流れを示すフローチャートである。
【図１０】第２の実施の形態におけるカメラ１０３Ａで実行される人検出処理の流れを示すフローチャートである。
【図１１】第３の実施の形態における監視システムの全体概要を示す図である。
【図１２】第３の実施の形態における監視システムの機能を示す機能ブロック図である。
【図１３】第３の実施の形態におけるパーソナルコンピュータで実行される人数計数処理の流れを示すフローチャートである。
【図１４】第４の実施の形態における監視システムの機能を示す機能ブロック図である。
【図１５】第４の実施の形態における監視システムのパーソナルコンピュータで実行される人数計数処理の流れを示すフローチャートである。
【符号の説明】
１０，１０Ａ 人検知部、１１，１１Ａ 移動方向検出部、１２，１２Ａ 計数結果算出部、１３，１３Ａ 計数結果補正部、１４，１４Ａ 計数結果記憶部、１５，１５Ａ 在不在判定部、２０ 監視領域、５０，５０Ａ 人検知部、５０ 人検知部、５１，５１Ａ パン・チルト駆動部、１００，１００Ａ，１００Ｂ 監視システム、１０１，１０２，１０３，１０１Ａ，１０２Ａ，１０３Ａ，１０３Ｂ，１０３Ｃ カメラ、１１０，１１０Ａ 演算部、１２０ 出力部、２０１，２０２，２０３，２０３Ａ，２０３Ｂ，２０３Ｃ 撮像領域、６００，６００Ａ パーソナルコンピュータ、６０１ ディスプレイ、７００ 記録媒体。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a monitoring device, and more particularly, to a monitoring device for counting objects existing in a predetermined area.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, as a technique for counting objects existing in a predetermined area, there is JP-A-2000-232664 (Patent Document 1). In Patent Literature 1, the number of vehicles entering or leaving the parking lot is counted by performing image processing on the area around the parking lot entrance using an image of the entire parking lot. Then, the number of vehicles in the parking lot is calculated by adding the number of intruding vehicles and subtracting the number of exiting vehicles.
[0003]
Japanese Patent Application Laid-Open No. 2001-76291 (Patent Document 2) discloses a technique for counting the number of people passing through a predetermined area. According to Patent Literature 2, a camera is installed directly above a predetermined area, and the camera captures an image of the entire predetermined area. Then, a person is extracted from the image obtained from the camera, and the number of passing people is counted.
[0004]
[Patent Document 1]
JP-A-2000-232664
[0005]
[Patent Document 2]
JP 2001-76291 A
[0006]
[Problems to be solved by the invention]
However, in Patent Literature 1, since the number of vehicles in the parking lot is calculated only from the numerical value of the vehicles passing through the entrance of the parking lot, if the counting fails even once, the number of vehicles thereafter becomes an incorrect value. Would. Further, since it is not possible to detect that the count of vehicles entering and exiting the parking lot has failed, it is not possible to correct an incorrect number of vehicles in the parking lot.
[0007]
Further, in Patent Document 2, in order to detect a person by processing an image obtained by imaging the entire predetermined area, it is necessary to determine a camera installation position and an angle of view so that the entire predetermined area can be imaged. is there. In order to include the entire predetermined area in the imaging range of the camera, it is necessary to increase the imaging distance when the angle of view of the camera cannot be increased. It cannot be applied to a place where the installation position is restricted such that the imaging distance of the camera cannot be secured long. Further, when the imaging distance is increased, it is necessary to increase the resolution of the camera in order to ensure the detection accuracy of a person, and an expensive camera must be used. Further, by mounting a wide-angle lens on the camera, it is possible to shorten the imaging distance and include the entire predetermined area in the imaging range. However, when a wide-angle lens is used, the end area of the obtained image is reduced. However, since the image is distorted, there is a problem that the accuracy of detecting a person is reduced.
[0008]
An object of the present invention is to provide a monitoring device capable of accurately detecting the number of objects existing in a predetermined area. That is.
[0009]
Another object of the present invention is to provide a monitoring device that is not restricted by the angle of view of the lens of the imaging device or the installation location of the imaging device.
[0010]
[Means for Solving the Problems]
According to one aspect of the present invention, in order to achieve the above-described object, a monitoring device includes: a first detection unit configured to detect an object entering or exiting a predetermined area; Calculating means for calculating the number of objects present, second detecting means for detecting objects present in a predetermined area, and correcting the number of objects calculated by the calculating means based on the detection result by the second detecting means Correction means.
[0011]
According to the present invention, when an object entering or exiting a predetermined area is detected, the number of objects in the predetermined area is calculated. Then, the calculated number of objects is corrected based on the detection result of the objects in the predetermined area. For this reason, the number of objects in the predetermined area calculated from the number of objects entering and exiting the predetermined area is a detection result of the objects in the predetermined area, for example, the detection of the absence of an object, or the number of existing objects. , The number of objects existing in the predetermined area can be corrected to an accurate value even if there is an error in detecting an object entering or exiting the predetermined area. As a result, it is possible to provide a monitoring device capable of accurately detecting the number of objects existing in a predetermined area.
[0012]
Preferably, the second detection means includes an imaging device for imaging a predetermined area.
According to the invention, the object in the predetermined area is detected based on the image captured by the imaging device. For this reason, the object in the predetermined area can be accurately detected.
[0013]
Preferably, the imaging device includes a lens having an angle of view capable of imaging at least the entire predetermined region.
[0014]
According to the present invention, an object in the predetermined area is detected based on an image obtained by imaging at least the entire predetermined area. For this reason, the object in the monitoring area can be detected using one captured image.
[0015]
Preferably, the imaging device includes an imaging direction changing unit that changes an imaging direction.
According to the present invention, even when the angle of view of the imaging device is narrow, it is possible to obtain an image of the entire predetermined region by combining images obtained by capturing different portions of the predetermined region. Therefore, it is possible to provide a monitoring device that is not restricted by the angle of view of the lens of the imaging device or the installation location of the imaging device.
[0016]
Preferably, the detecting means includes a counting means for counting the number of objects existing in the predetermined area.
[0017]
According to the present invention, the number of objects in the predetermined area calculated from the number of objects moving in and out of the predetermined area is corrected to the number of counted objects. Can provide a monitoring device that can accurately detect the number of objects existing in a predetermined area even when an error occurs.
[0018]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same components are denoted by the same reference numerals. Their names and functions are the same. Therefore, detailed description thereof will not be repeated.
[0019]
In the surveillance system according to the present embodiment, a passage surrounded (sandwiched) by merchandise shelves in a store is set as a monitoring area, and the number of people existing in this monitoring area is counted. At this time, a sensor is provided for counting the number of people passing through the entrance of the monitoring area.
[0020]
Here, the counting of the number of persons in a monitoring area having two entrances will be described as an example, but the number of entrances is not limited thereto, and one or three or more entrances may be provided. In short, a sensor for counting the number of people passing through the entrance may be provided at each entrance.
[0021]
[First Embodiment]
FIG. 1 is a functional block diagram showing an outline of functions of the monitoring system according to the first embodiment of the present invention. Referring to FIG. 1, surveillance system 100 receives cameras 101 and 102 for imaging the entrance and exit of the monitoring area, camera 103 for imaging the monitoring area, and signals from cameras 101, 102 and 103. It includes a calculation unit 110 for calculating the number of people in the monitoring area, and an output unit 120 for displaying the number of people calculated by the calculation unit 110.
[0022]
The cameras 101 and 102 are imaging devices for imaging the vicinity of an entrance and exit of a monitoring area described later. The cameras 101 and 102 are installed on the ceiling just above the area around the entrance of the monitoring area. For this reason, the imaging range of the cameras 101 and 102 includes the area around the entrance of the monitoring area. In addition, the cameras 101 and 102 output an image of a person who passes around the entrance and exit of the monitoring area from directly above. For this reason, unlike a case where images are taken from the lateral direction, a person is not overlapped and an image is taken.Therefore, even when a plurality of people pass, it is necessary to detect a person more accurately than when taking images from the lateral direction. Can be.
[0023]
Each of the cameras 101 and 102 includes a person detecting unit 10 for detecting a person from an image by processing a captured image, and a moving direction detecting unit 11 for detecting a moving direction of the detected person. .
[0024]
The human detection unit 10 detects the presence of a person by extracting an area of the person from the images captured by the cameras 101 and 102, and counts the number of the extracted people. As a method of extracting and counting the person, for example, an edge image is created from an image obtained by imaging, and a plurality of similar circular templates prepared in advance are sequentially moved on the created edge image. The number of times the edge portion of the edge image overlaps the template is counted for each pixel. Then, a method of detecting a region of the head of a person by extracting pixels having a large count can be used. This method is disclosed in JP-A-2001-222719. The method of detecting a person is not limited to this, and any other method may be used as long as an object can be detected from a captured image.
[0025]
The moving direction detection unit 11 detects a moving direction of a person using a plurality of images (frames) obtained by capturing images with the cameras 101 and 102. As this detection method, for example, based on the texture and color information of a person detected in a certain frame, the person detection unit 10 performs matching in a frame subsequent to that frame to associate the same person. Then, the subsequent frame is compared with the previous frame, and the moving direction is calculated from the change in the position of the texture or color information of the person. Note that the detection of the moving direction is not limited to this method, and any other method may be used as long as the movement of the object can be detected from the captured image.
[0026]
The cameras 101 and 102 detect a person who has entered the imaging range, and detect the moving direction of the person from a plurality of frames. Then, it detects whether the detected person has entered the monitoring area or has left the monitoring area. When a person enters the monitoring area, an intrusion signal is output to the arithmetic unit 110 every time one person enters. When a person leaves the monitoring area, a leaving signal is output to the arithmetic unit 110 each time one person leaves. Therefore, when the cameras 101 and 102 are installed on the ceiling of a store or the like, a definition that defines a moving direction of a person and a direction of exit or intrusion into the monitoring area from the relationship between the imaging range and the monitoring area. Data is stored.
[0027]
The cameras 101 and 102 enter the monitoring area when the moving direction of the person detected in a certain frame in the imaging area is toward the monitoring area and the person is not detected in the next frame. As a result, the intrusion signal is output to the arithmetic unit 110. Conversely, the direction of movement of a person detected in the imaging area is opposite to the direction toward the monitoring area, and when the person is not detected in the previous frame, the person is moved from the monitoring area. It is determined that the user has exited, and an exit signal is output to the arithmetic unit 110.
[0028]
When a part of the monitoring area is included in the imaging areas of the cameras 101 and 102, if a position of the part of the monitoring area in the imaging area is registered in advance, a person detected in the imaging area is included in the monitoring area. It is possible to detect intrusion or exit from the monitoring area.
[0029]
The camera 103 is an imaging device for imaging the entire monitoring area. The camera 103 is installed above the center of the monitoring area to capture an image of the entire monitoring area. The installation position is preferably, for example, a ceiling. However, since the ceiling height is limited, the imaging distance of the camera 103 is limited to be short. As a result, when the camera 103 is installed above and in the center of the monitoring area, the entire monitoring area may not be included in the imaging range of the camera 103 in some cases. In such a case, it may be installed at a position outside the monitoring area and at a position where the entire monitoring area is included in the imaging range. In this case, since the image captured by the camera 103 captures the monitoring area from obliquely above, when there are a plurality of persons in the monitoring area, an image captured by overlapping a plurality of persons is obtained. In some cases. In the first embodiment, even when such an image is used, it is possible to correct the number of persons existing in the monitoring area.
[0030]
The camera 103 includes a presence / absence determination unit 15. The presence / absence determination unit 15 determines whether or not there is a person in the image captured by the camera 103. As a method for determining whether or not a person exists, a conventionally well-known background subtraction method can be used. In the background subtraction method, an image obtained by capturing an image of a monitoring area in a state where no person exists is stored in advance, and a difference between the previously stored image and a current image is calculated to detect a change in the image. If there is a change in the image, it is determined that a person exists. The presence / absence determination unit 15 outputs a signal “1” to the calculation unit 110 when a person is present in the monitoring area 20, and outputs a signal “0” to the calculation unit 110 when no person is present.
The calculation unit 110 includes a counting result calculation unit 12 connected to the cameras 101 and 102, a counting result correction unit 13 connected to the camera 103, and a counting result connected to the counting result calculation unit 12 and the counting result correction unit 13. And a storage unit 14.
[0031]
The counting result calculation unit 12 receives an exit signal or an intrusion signal from each of the cameras 101 and 102. Then, each time the exit signal is received from each of the cameras 101 and 102, the number of persons obtained by subtracting “1” from the number of persons present in the monitoring area stored in the count result storage unit 14 is newly stored. In addition, every time the intrusion signal is received from the camera 101 or 102, the counting result calculation unit 12 newly stores the number of people that is obtained by adding “1” to the number of people existing in the monitoring area stored in the counting result storage unit 14. I do.
[0032]
As described above, the counting result calculation unit 12 stores the monitoring area stored in the counting result storage unit 14 every time the camera 101 or 102 detects that a person enters the monitoring area or exits the monitoring area. Remember the number of people present in For this reason, the counting result calculation unit 12 stores the number of persons equal to the number of received exit signals or intrusion signals. Furthermore, the counting result calculation unit 12 includes a timer, and when the number of people is stored, stores the stored number of people in association with the stored time. Therefore, by looking at the number of people stored in the counting result storage unit 12, the number of people existing in the monitoring area can be grasped in chronological order.
[0033]
The counting result correction unit 13 determines that the number of the most recently stored monitoring areas stored in the counting result storage unit 14 is a number other than “0”, and that the number of the monitoring areas is a predetermined time, for example, 2 If the number does not change for seconds, the number of persons in the monitoring area stored in the counting result storage unit 14 is corrected based on the signal received from the camera 103. In this correction, the number of correction targets stored in the count result storage unit 14 is corrected retroactively as described later. Note that the predetermined time is not limited to 2 seconds and can be arbitrarily determined according to the monitoring area.
[0034]
The output unit 120 is a liquid crystal display device or an LED display device, and displays the latest number of people stored in the counting result storage unit 14 of the calculation unit 110. The output unit 120 can also display images captured by the cameras 101, 102, and 103.
[0035]
FIG. 2 is a diagram illustrating an example of an imaging area of the monitoring system according to the first embodiment. FIG. 2 is a diagram of the store viewed from above. The monitoring area 20 is indicated by hatching in a diagonally lower right diagonal line in the figure. The monitoring area 20 is an area surrounded by merchandise shelves located in the vertical direction in the drawing. Therefore, no person can enter the monitoring area 20 from above and below in the drawing.
[0036]
The imaging areas 201 and 202 exist in the left-right direction of the monitoring area 20 in the drawing. The imaging area 201 is an area where the camera 101 captures an image. The camera 101 is installed on the ceiling of a store at substantially the center of the imaging area 201, and the imaging optical axis of the camera 101 intersects the floor of the imaging area 201 almost perpendicularly. The imaging area 202 is an area where the camera 102 captures an image. The camera 102 is installed on the ceiling of the store almost in the center of the imaging area 202, and the imaging optical axis of the camera 102 intersects the floor of the imaging area 202 almost perpendicularly. For this reason, since the camera 101 and the camera 102 capture an image of a person from directly above, it is possible to capture an image that does not cause an occlusion problem such as a certain person being hidden by another person. Further, in the imaging region 201 of the camera 101 and the imaging region 202 of the camera 102, the imaging angle of view of the cameras 101 and 102 is set such that the width of the passage of the monitoring region 20 is at least within the imaging region. Thereby, an image of a person who intrudes into or exits the monitoring area 20 is output.
[0037]
On the other hand, the camera 103 is installed on the ceiling of the store in the left direction of the camera 101 in the figure, and captures an image of the monitoring area 20 from obliquely above. For this reason, the monitoring area 20 is included in the imaging area 203 of the camera 103.
[0038]
FIG. 3 is a flowchart illustrating a flow of the number counting process performed by the calculation unit of the monitoring system according to the first embodiment. Referring to FIG. 3, operation unit 110 initializes the number (n) of persons existing in the monitoring area stored in count result storage unit 14 to “0” (step S01).
[0039]
Then, in the next step S02, it is determined whether an intrusion signal has been received from either the camera 101 or the camera 102. If it is determined that the information has been received, the process proceeds to step S03. Otherwise, the process skips step S03 and proceeds to step S04. In step S03, a value obtained by increasing the number n of persons in the monitoring area by “1” is stored in the counting result storage unit 14 together with the time at that time.
[0040]
In step S04, it is determined whether an exit signal has been received from one of the cameras 101 and 102. If it is determined that the exit signal has been received, the process proceeds to step S05; otherwise, the process skips step S05 and proceeds to step S06. In step S05, a value obtained by subtracting “1” from the number n of persons in the monitoring area is stored in the counting result storage unit 14 together with the time at that time.
[0041]
In the next step S06, it is determined whether or not the number n of the monitoring areas stored in the counting result storage unit 14 is "0". If true, the process returns to step S02, and if false, the process proceeds to step S07.
[0042]
In step S07, it is determined whether or not the number n of the monitoring areas stored in the counting result storage unit 14 does not change for two seconds. If it is determined that it does not fluctuate for 2 seconds, the process proceeds to step S08, and if not, the process proceeds to step S02. The counting result correction unit 13 monitors the number of persons n present in the monitoring area 20 stored in the counting result storage unit 14, and determines whether or not the number of persons n has changed for 2 seconds.
[0043]
In step S08, based on the signal (“0” or “1”) received from camera 103, it is determined whether or not a person exists in monitoring area 20. As described above, the camera 103 outputs a signal of “1” to the calculation unit 110 when a person is present in the monitoring area 20 by the presence / absence determination unit 15, and outputs a signal of “0” when no person is present. Is output to the calculation unit 110. Therefore, when the signal received from the camera 103 is “1”, the process returns to step S02, and when the received signal is “0”, the process proceeds to step S09.
[0044]
When the process proceeds to step S09, although the number of persons n existing in the monitoring area 20 stored in the counting result storage unit 14 is other than “0”, the value output from the camera 103 indicates that the number of persons is in the monitoring area 20. This is the case of “0”, which indicates that it does not exist. Therefore, when proceeding to step S09, the value detected by the camera 103 does not match the number n stored in the counting result storage unit 14.
[0045]
In this case, the number of persons in the monitoring area 20 stored in the counting result storage unit 14 is corrected to “0” (Step S09). This correction is performed with priority given to the detection result by the camera 103. This is because the cameras 101 and 102 may have erroneously detected a person or a moving direction in the person detecting process or the moving direction detecting process. Thereafter, “0” is set to the number of persons n (step S10), and the process returns to step S02.
[0046]
The correction process executed in step S09 will be described in more detail. As described above, since the count result storage unit 14 stores the count in association with the time at which the number of persons is changed, the number n of persons present in the monitoring area 20 at each time can be obtained.
[0047]
Here, the description will be made assuming that the frame rates of the cameras 101 and 102 are 30 fps (frames / second). In this case, from the number of persons stored in the counting result storage unit 14, the number of persons n in the monitoring area 20 can be obtained in 1/30 second units. On the other hand, the number of persons present in the monitoring area 20 (counting result) stored in the counting result storage unit 14 is determined not only when the correction based on the output of the camera 103 in step S08 but also before the counting result is obtained. Is also likely to be wrong. For this reason, in the correction processing, the corrected value is corrected retroactively to the past value that has continued for 2 seconds.
[0048]
Next, a specific example of counting the number of persons existing in the monitoring area in the monitoring system according to the present embodiment will be described. FIG. 4 is a diagram illustrating a temporal change in the number of persons existing in the monitoring area. FIG. 5 is a diagram schematically illustrating a temporal change of a person entering and exiting the monitoring area. In FIG. 5, the monitoring area 20 is viewed from above. 4 and 5, the time is represented by the frame number of the image captured by the cameras 101 and 102. FIG. 4 shows the number of persons existing in the monitoring area 20 in each frame. FIG. 5A shows a state at the time of frame 1 and a state in which the object A has entered the imaging area 201 of the camera 101. In this state, since no person exists in the monitoring area 20, the number of persons at the time of frame 1 is zero.
[0049]
FIG. 5B shows a state at the time of frame 2, in which a person B has entered the image capturing area 202 of the camera 102. In this state, there are no persons in the monitoring area 20 yet, so the number of persons at the time of the frame 2 is zero.
[0050]
FIG. 5C illustrates a state at the time of the frame 3, in which the person A existing in the imaging area 201 has moved to the monitoring area 20. In this state, since there is only one person in the monitoring area 20, the number n in the frame 3 is one.
[0051]
FIG. 5D shows a state at the time of frame 4. This shows a state where the person B existing in the imaging area 202 has entered the monitoring area 20. There are two persons n existing in the monitoring area 20 at the time of this frame 4.
[0052]
FIG. 5E shows the state at the time of frame 5, in which the number of persons existing in the monitoring area 20 is two. FIG. 5F shows a state at the time of frame 6. This shows a state in which one of the persons in the monitoring area 20 moves from the monitoring area 20 to the imaging area 202 and is detected as the object C. In this case, the number of persons existing in the monitoring area 20 is one.
[0053]
FIG. 5G shows a state at the time of frame 7, in which a person existing in the monitoring area 20 moves to the imaging area 201 and is detected as the object D. In this case, the number of persons existing in the monitoring area 20 is “0”.
[0054]
FIG. 5H shows a state at the time of the frame 8, that is, a state in which the object has exited from the monitoring area 20. 5 (I) and (J) show the state at the time of frame 9 and the time of frame 70, respectively, and show the state where nothing exists in the monitoring area 20. In this case, the number of persons existing in the monitoring area 20 is “0”.
[0055]
FIG. 6 is a diagram showing, in chronological order, changes in the number of people in the monitoring area detected by the monitoring system according to the first embodiment. FIG. 6A shows a state in which the counting results for frames 1 to 6 are stored in the counting result storage unit 14. Compared to the graph shown in FIG. 4, the number of people at frame 6 is different. That is, even though the person actually exits the monitoring area 20 in the frame 6 in the counting result calculation unit 12, the camera 101 cannot detect the exit of the person for some reason, and This shows a case where no signal is output. Due to this erroneous detection, the counting result in the period from frame 7 to frame 67 has an erroneous value. The arithmetic unit 110 determines that the number of persons (count result n) existing in the monitoring area 20 stored in the count result storage unit 14 is one during the period from the frames 7 to 66, that is, for two seconds. Is detected, it is determined whether the output from the camera 103 is 0 or 1 in the frame 67. Here, referring to FIG. 5, the output of camera 103 is “0” between frames 7 and 70 because no one is present in monitoring area 20 between frames 7 and 70. Therefore, the counting result correction unit 13 goes back to the time point of the frame 7 where it is estimated that an erroneous detection has been made among the counting results stored in the counting result storage unit 14 and changes the values of the frames 7 to 66 to “0”. To "." As a result, the counting result n after the frame 67 is also corrected to zero.
[0056]
As described above, in the monitoring system 100 according to the first embodiment, based on the signals indicating intrusion or exit from the monitoring area output from the cameras 101 and 102 for imaging the area around the entrance to the monitoring area. The counting result calculation unit 12 counts the number of persons in the monitoring area. Then, only when the count result does not fluctuate continuously for 2 seconds, the count result stored in the count result storage unit 14 is corrected based on the output of the camera 103. In other words, the counting result is corrected using the information of the camera 103 only when the counting result calculated based on the outputs of the cameras 101 and 102 is doubtful. Therefore, the accuracy of the counting result stored in the counting result storage unit 14 can be increased while reducing the processing load of the camera 103.
[0057]
Also, an intrusion signal or an exit signal indicating whether a person has entered or exited the monitoring area is received from the cameras 101 and 102, and the camera 103 determines whether or not a person exists in the monitoring area. Signal is received. For this reason, the amount of data transmitted from the cameras 101, 102, and 103 to the calculation unit 110 can be significantly reduced.
[0058]
In the first embodiment, the cameras 101 and 102 are used to detect a person entering or leaving the monitoring area 20. However, for example, a person monitors using an infrared sensor, a proximity sensor, an optical sensor, or the like. It may be detected whether the user has entered the area 20 or has left. That is, any sensor that can detect that a person has entered the monitoring area 20 and that a person has left the monitoring area 20 is not limited to a sensor that uses image processing, and may use any other sensor. You can also.
[0059]
Further, the camera 103 is used as a sensor for determining whether or not a person exists in the monitoring area 20. However, by using an infrared sensor, an optical sensor, and a proximity sensor, the presence of a person in the monitoring area 20 is determined. Whether or not to do so may be detected.
[0060]
[Second embodiment]
Next, a monitoring system according to a second embodiment will be described. In the monitoring system according to the first embodiment, the camera 103 detects whether a person exists in the monitoring area. The monitoring system according to the second embodiment includes a camera 103A instead of the camera 103, and detects the number of persons existing in the monitoring area 20. The other points are the same as those of the monitoring system 100 according to the first embodiment, and therefore, only the differences from the monitoring system 100 according to the first embodiment will be described here.
[0061]
FIG. 7 is a block diagram illustrating an overall outline of a monitoring system 100A according to the second embodiment. Referring to FIG. 7, monitoring system 100A is different from monitoring system 100 in the first embodiment in that camera 100A is provided, and processing performed by counting result correcting unit 13A in arithmetic unit 110A. Is different.
[0062]
The camera 103A includes a human detection unit 50 and a pan / tilt drive unit 51. The person detection unit 50 detects a person in the image captured by the camera 103A and counts the number of the detected persons. As a technique for detecting a person from an image, a technique similar to the processing executed by the person detection unit 10 of the cameras 101 and 102 described above can be used. The pan / tilt driving unit 51 receives the control signal output from the counting result correction unit 13A, and changes the imaging direction of the camera 103 according to the received control signal.
[0063]
The human detection unit 50 processes an image obtained before the imaging direction is changed by the pan / tilt driving unit 51 and an image obtained after the change, and thereby detects a person existing in the monitoring area 20. Count the number of Then, the counted result is output to the counting result correction unit 13A of the calculation unit 110A as head count data.
[0064]
The pan / tilt drive unit 51 changes the imaging direction of the camera 103A to a predetermined imaging direction according to a control signal received from the counting result correction unit 13A of the calculation unit 110A. The camera 103 </ b> A captures an image in each imaging direction determined by the pan / tilt drive unit 51, and outputs each of the plurality of obtained images to the human detection unit 50. The human detection unit 50 processes the received images to count the number of people included in the images.
[0065]
The number of shooting directions determined by the pan / tilt drive unit 51 is determined by the size of the monitoring area 20 and the angle of view of the lens of the camera 103A. For this reason, the photographing directions may be not only two directions but also three or more directions. The human detection unit 50 processes the number of images in the shooting direction.
[0066]
Next, the imaging range of the camera 103A will be described. FIG. 8 is a diagram illustrating an example of an imaging region of the monitoring system according to the second embodiment. FIG. 8A is a diagram illustrating an imaging area 203A of the camera 103A in an initial state. The camera 103A is installed on a ceiling substantially at the center of the monitoring area 20. In the imaging area 203A, the camera 103A is installed so that the optical axis of the camera 103A intersects the center of the monitoring area 20 substantially perpendicularly to the floor. In this case, the angle of view of the camera 103A is set in the imaging region 203A such that the passage width of the monitoring region 20 falls within the imaging region.
[0067]
FIG. 8B is a diagram illustrating an imaging region 203B in a state where the imaging direction of the camera 103A is changed to the left in the drawing due to the tilt operation of the pan / tilt driving unit 51. FIG. 8C is a diagram illustrating the imaging region 203C in a state where the imaging direction of the camera 103A is changed to the right in the drawing due to the tilt operation of the pan / tilt driving unit 51. Referring to FIG. 8, an image obtained by combining imaging regions 203A, 203B, and 203C includes all monitoring regions 20.
[0068]
In the camera 103A, when the control information is received from the counting result correction unit 13A, an image of the imaging region 203A is captured by the human detection unit 50. Thereafter, an image obtained by changing the imaging direction of the camera 103A by the pan / tilt driving unit 51 and imaging the imaging region 203B is captured by the human detection unit 50. Further, the image obtained by changing the imaging direction of the camera 103A by the pan / tilt driving unit 51 and imaging the imaging region 203C is taken into the human detection unit 50.
[0069]
When the camera 103A receives the control information from the counting result correction unit 13A, the images obtained by imaging the imaging regions 203A, 203B, and 203C are captured by the human detection unit 50. Therefore, the human detection unit 50 exists in the monitoring region 20. The number of people can be counted.
[0070]
The movement in the imaging direction by the pan / tilt driving unit 51 is not limited to the above-described order, and the imaging direction may be switched in the order of the imaging region 203B, the imaging region 203A, and the imaging region 203C. Furthermore, although the three imaging regions 203A, 203B, and 203C are imaged here, the number of imaging regions is not limited to this, and a plurality of imaging regions may be used.
[0071]
The reason why the image capturing direction is changed by the camera 103A to obtain an image in which the monitoring area 20 is partially captured is to improve the accuracy of processing the image and detecting a person. That is, by dividing the monitoring area 20 into a plurality of parts and capturing an image, the resolution of the image of the monitoring area 20 can be increased without increasing the resolution of the camera 103A. For this reason, since a person can be detected using an image with high resolution, the accuracy of image processing for detecting a person can be increased. Further, since it is not necessary to use an expensive camera having a high resolution, the cost can be reduced.
[0072]
In the monitoring system 100A according to the second embodiment, the camera 103A changes the imaging direction by the tilt driving of the camera 103A by the pan / tilt driving unit 51, but the panning is not limited to the tilt driving. Thus, the imaging direction of the camera may be changed. Furthermore, the camera 103A is installed on the ceiling located at the center of the monitoring area 20, but the installation position is not limited to this, and the entire monitoring area is imaged by changing the imaging direction of the camera. If possible, the installation position is not limited.
[0073]
Further, in the second embodiment, the angle of view of the camera 103A is set according to the passage width of the monitoring area 20, but the angle of view may be set smaller than the passage width. In this case, the panning and the tilting of the camera are combined so that a plurality of images are combined to obtain an image of the entire monitoring area so that the camera 103A can capture the entire monitoring area. Just fine.
[0074]
Furthermore, the camera 103A may be installed at a position where the entire monitoring area 20 can be imaged at once without providing the pan / tilt driving unit. However, in this case, it is limited to a case where a resolution sufficient for human detection by the camera 103A is obtained.
[0075]
In the monitoring system according to the second embodiment, a plurality of images are obtained by changing the imaging direction of the camera 103A. When a person enters the monitoring area 20 while a plurality of images are obtained by the camera 103A, that is, while the camera 103A changes the imaging direction by the pan / tilt driving unit 51, May exit. In this case, the number of persons n stored in the counting result storage unit 14 cannot be matched with the number of persons output by the camera 103A. For this reason, between the time when the counting result correction unit 13A outputs the control information to the camera 103A and the time when the camera 103A outputs the head count data to the counting result correction unit 13A, the exit signal or the exit signal from one of the cameras 101 and 102 is output. When the intrusion signal is input to the counting result calculation unit 12, in other words, when the number n of people stored in the counting result storage unit 14 is changed, the correction process is not performed.
[0076]
FIG. 9 is a flowchart illustrating a flow of the people counting process executed by the arithmetic unit 110A of the monitoring system according to the second embodiment. Referring to FIG. 9, the processing of steps S11 to S16 is the same as the processing (steps S01 to S06) executed by operation unit 110 of the monitoring system in the first embodiment shown in FIG. 3. . The description will not be repeated here.
[0077]
In step S17, control information for instructing the camera 103A to start executing the human detection processing is output. Then, in step S18, it is determined whether or not the number data m has been received from the camera 103A. The process proceeds to step S20 if received, and proceeds to step S19 if not received.
[0078]
In step S19, it is determined whether an intrusion signal or an exit signal has been received from one of the cameras 101 and 102. If such a signal has been received, the process returns to step S12; otherwise, the process returns to step S18. That is, when a person enters the monitoring area 20 or exits the monitoring area 20 while the human detection processing is being executed in the camera 103A, the human detection processing in the camera 103A is stopped. .
[0079]
In step S20, it is determined whether or not the number data m received in step S18 is equal to the count result n stored in the count result storage unit 14. If they are equal, the process returns to step S12, and if not, a correction process is performed (step S21). Then, the number data m received in step S18 is set as a variable n (step S22), and the process returns to step S12 to repeatedly execute the above-described processing.
[0080]
FIG. 10 is a flowchart showing the flow of the human detection process executed by the camera 103A. Referring to FIG. 10, in camera 103A, it is determined whether or not control information instructing start of execution of the human detection process has been received from count result correction unit 13A of arithmetic unit 110A (step S31). If such a control signal has been received, the process proceeds to step S32, and if not, the process enters a standby state. In step S32, an image captured by the camera 103A is acquired by the human detection unit 50. At this time, in the pan / tilt drive unit 51, the camera 103A is set to the initial state, that is, the imaging direction for imaging the imaging area 203A. Therefore, the image acquired by the human detection unit 50 at this point is an image of the imaging region 203A.
[0081]
Then, it is determined whether there is a next image (step S33). In the present embodiment, since there are three imaging regions 203A, 203B, and 203C, it is determined that there is a next image until images obtained by imaging these three imaging regions are obtained in step S32. If it is determined that there is the next image, the shooting direction is switched (step S34). The imaging direction is changed by the pan / tilt driving unit 51 so that the camera 103A can capture any one of the imaging regions 203B and 203C. Then, the process proceeds to step S32, and the image captured by the camera 103A after the imaging direction has been changed is acquired by the human detection unit 50.
[0082]
In this manner, in the present embodiment, three images obtained by imaging the imaging regions 203A, 203B, and 203C are acquired by the human detection unit 50, and the acquired three images are processed to be present in the monitoring region 20. The number of persons performing the operation is detected (step S35).
[0083]
Then, the detected number data m is output to the counting result correction unit 13A of the calculation unit 110A (step S36).
[0084]
In the monitoring system 100A according to the second embodiment, the counting result correction unit 13A corrects the counting result calculated by the counting result calculation unit 12 based on the head count data output from the camera 103A. For example, the counting result of the counting result calculating unit 12 in a certain frame represents a certain number of people (for example, three), and the counting result calculating unit 12 continues for a predetermined time (for example, two seconds) after the next frame. When there is no change in the counting result (when the state of the three people continues for 2 seconds), there are two cases in which there are three persons in the monitoring area 20 and a case where the counting result of the counting result calculation unit 13 is wrong. is there.
[0085]
Therefore, when the counting result stored in the counting result storage unit 14 does not change for a predetermined period (for example, two seconds), the counting result is stored in the counting result storage unit 14 based on the number m of people detected by the camera 103A. It is determined whether the counting result n is correct. If not correct, the counting result n stored in the counting result storage unit 14 is corrected to the number m of people detected by the camera 103A.
[0086]
Further, when the counting result n stored in the counting result storage unit 14 is corrected to the number m of people detected by the camera 103A, not only the time when the camera 103A outputs the number of people m, but also the counting result storage unit 14 Is also corrected. For example, assume that the frame rates of the cameras 101 and 102 are 30 fps. Then, the camera 103A changes the imaging direction of the camera 103A by receiving the control information from the counting result correction unit 13A and outputting the head count data, in other words, the pan / tilt driving unit 51, and It is assumed that the time required for acquiring an image and for the human detection unit 50 to finish executing the image processing takes 0.5 seconds. In this case, when the control information is output to the camera 103A when the count result n stored in the count result storage unit 14 does not change for 2 seconds, at least 30 × (2 + 0.5) It is sufficient to correct the counting result stored retroactively for = 75 frames.
[0087]
As described above, in the monitoring system 100A according to the second embodiment, the cameras 101 and 102 detect that the cameras 101 and 102 enter or leave the monitoring area 20, and the monitoring area is determined based on the detected intrusion signal or exit signal. The number of people present at 20 is counted. Then, only when the counted result is not changed for a predetermined period (two seconds), the number of persons existing in the monitoring area 20 by the camera 103A is counted, and based on the counted number, the counting result storage unit 14 Is corrected. For this reason, even if there is a mistake in the detection of a person who enters or leaves the monitoring area 20 in the cameras 101 and 102, it is possible to accurately count persons existing in the monitoring area 20.
[0088]
[Third Embodiment]
Next, a monitoring system according to a third embodiment will be described. FIG. 11 is a diagram illustrating an overall overview of a monitoring system according to the third embodiment. Referring to FIG. 11, monitoring system 100B includes a personal computer 600, a camera 103B connected to personal computer 600 to output an image obtained by imaging the monitoring area, and an area around the entrance of monitoring area 20. And a display 601 for outputting images obtained by the operation.
[0089]
The personal computer 600 reads the people counting program recorded on the computer-readable recording medium 700, and executes the people counting program read by the central processing unit (CPU) of the personal computer 600.
[0090]
The display 601 is a cathode ray tube, a liquid crystal display, an LED display, or a plasma display panel connected to the personal computer 600. Further, instead of or in addition to the display 601, a sound generating device such as a speaker that outputs sound under the control of the personal computer 600 may be used.
[0091]
The imaging areas of the cameras 101A, 102A, and 103B correspond to the imaging areas 201, 202, and 203 shown in FIG. 2, respectively. Therefore, the cameras 102A, 101A, and 103B always transmit images obtained by capturing the imaged areas to the personal computer 600. For this reason, the cameras 101A, 102A, and 103B only need to have a function of outputting an image obtained by capturing an image of an imaging region to the personal computer 600, and need not have a function of processing the image. it can.
[0092]
The recording medium 700 is a recording medium such as a CD-ROM (Compact Disc-Read Only Memory) and an FD (Flexible Disk). Generally, the number counting program executed by the personal computer 600 is recorded on a recording medium and distributed. Then, the data is read by a CD-ROM drive or an FD drive included in the personal computer 600, and is temporarily stored in a hard disk included in the personal computer 600. In the personal computer 600, the number counting program stored in the hard disk is read into a random access memory (RAM) and executed by the CPU. Since the hardware configuration and operation of such personal computer 600 are well-known, detailed description thereof will not be repeated here.
[0093]
The recording medium 700 is not limited to a CD-ROM, FD, hard disk, but may be a magnetic tape, a cassette tape, an optical disk (MO (Magnetic Optical Disc) / MD (Mini Disc) / DVD (Digital Versatile Disc)), or an IC card. (Including a memory card), an optical card, a semiconductor memory such as a mask ROM, an EPROM, an EEPROM, and a flash ROM.
[0094]
The program referred to here is a concept including not only a program directly executable by the CPU of the personal computer 600 but also a program in a source program format, a compressed program, an encrypted program, and the like.
[0095]
FIG. 12 is a functional block diagram illustrating functions of the monitoring system according to the third embodiment. Referring to FIG. 12, personal computer 600 causes CPU 610 to execute presence / absence determination unit 15A, person detection unit 10A, movement direction detection unit 11A, count result calculation unit 12A, The counting result correction unit 13A is configured. The RAM of the personal computer 600 functions as the counting result storage unit 14A.
[0096]
The presence / absence determination unit 15A has the same function as the presence / absence determination unit 15 provided in the camera 103 described in the first embodiment. Further, the human detection unit 10A and the movement direction detection unit 11A have the same functions as the human detection unit 10 and the movement direction detection unit 11 provided in the cameras 101 and 102 described in the first embodiment, respectively. Further, the counting result correction unit 13A has a function corresponding to each of the counting result calculation unit 12 and the counting result correction unit 13 of the calculation unit 110 according to the first embodiment. Further, the counting result storage unit 14A stores the counting result calculated by the counting result calculation unit 12A, similarly to the counting result storage unit 14 of the calculation unit 110 in the first embodiment.
[0097]
As described above, in the surveillance system according to the third embodiment, the human detection unit 10 and the movement direction detection unit 11 provided in the cameras 101 and 102 and the presence / absence provided in the camera 103 according to the first embodiment. The respective functions of the determination unit 15, the count result calculation unit 12, the count result correction unit 13, and the count result storage unit 14 included in the calculation unit 110 are realized by a personal computer 600.
[0098]
FIG. 13 is a flowchart illustrating a flow of processing executed by the personal computer 600 according to the third embodiment. The flow of the people counting process shown in FIG. 13 is basically the same as the process executed by the arithmetic unit 110A in the first embodiment shown in FIG. However, the arithmetic unit 110A according to the first embodiment receives an intrusion signal or a detection signal from the cameras 101 and 102, and outputs a signal (1 or 0) indicating whether or not a person exists in the monitoring area 20 from the camera 103A. ), The personal computer 600 according to the third embodiment receives the images of the areas around the entrance and exit of the monitoring area from the cameras 101A and 102A, and the monitoring area 20 from the camera 103B. The difference is that the received image is received.
[0099]
Therefore, in step S42, the personal computer 600 executes processing for detecting that a person has entered the monitoring area 20 based on the images received from the cameras 101A and 102A. In step S44, a process of detecting that a person has left the monitoring area 20 based on the images received from the cameras 101A and 102A is executed. Further, in step S48, a process of detecting whether or not a person exists in the monitoring area 20 based on the image received from the camera 103B is executed. Other processes are the same as the processes shown in FIG. 3 executed by operation unit 110A in the first embodiment, and therefore description thereof will not be repeated here.
[0100]
According to the monitoring system in the third embodiment, the cameras 101A and 102A only need to output an image obtained by imaging the area around the entrance and exit of the monitoring area 20 to the personal computer 600, and the camera 103B controls the monitoring area 20 May be output to the personal computer 600. Therefore, there is no need to provide the cameras 101A, 102A, and 103B with a function of processing an image, and an inexpensive camera can be used.
[0101]
As described above, in the surveillance system 100B according to the third embodiment, since it is not necessary to provide a special function to the installed camera, a person existing in the monitoring area 20 is detected using the already installed camera. can do. Therefore, it is possible to accurately count the number of people in a predetermined area simply by connecting a device such as a personal computer to a camera. Therefore, it becomes easy to introduce a monitoring system for counting the number of people.
[0102]
[Fourth Embodiment]
Next, a monitoring system according to a fourth embodiment will be described. The monitoring system according to the fourth embodiment differs from the monitoring system 100B according to the second embodiment in that the functions of the human detection unit 10 and the movement direction detection unit 11 provided in the cameras 101 and 102 are added to the personal computer 600. The personal computer 600 has the function of the human detection unit 50 of the camera 103C. Further, the personal computer 600 has the function of the calculation unit 100A according to the second embodiment. The other points are similar to those of the monitoring system according to the second embodiment, and thus description thereof will not be repeated.
[0103]
FIG. 14 is a functional block diagram illustrating an outline of functions of the monitoring system according to the fourth embodiment. Referring to FIG. 14, personal computer 600 executes a people counting program recorded on recording medium 700 to cause CPU 610A provided in personal computer 600 to provide a human detection unit 10A, a movement direction detection unit 11A, A result calculation unit 12A, a count result correction unit 13A, and a human detection unit 50A are formed. The RAM of the personal computer 600 functions as the counting result storage unit 14A.
[0104]
FIG. 15 is a flowchart illustrating a flow of processing executed by the personal computer 600 according to the fourth embodiment. The flow of the people counting process shown in FIG. 15 is basically the same as the process executed by the calculation unit 110A and the human detection unit 50 in the second embodiment shown in FIGS. However, the calculation unit 110A according to the second embodiment receives an intrusion signal or a detection signal from the cameras 101 and 102, and receives a signal (1 or 0) indicating whether or not a person exists in the monitoring area 20 from the camera 103A. ), The personal computer 600 according to the fourth embodiment receives the images of the areas around the entrance and exit of the monitoring area from the cameras 101A and 102A, and the image of the monitoring area 20 from the camera 103B. The difference is that the received image is received.
[0105]
Referring to FIG. 15, the processing of steps S61 to S66 corresponds to the processing of steps S11 to S16 in FIG. In step S62, a process of detecting that a person has entered the monitoring area 20 based on the images received from the cameras 101A and 102A is executed by the personal computer 600A. In step S64, a process of detecting that a person has left the monitoring area 20 based on the images received from the cameras 101A and 102A is executed.
[0106]
In step S67, an image is obtained from the camera 103C. Then, it is determined whether there is a next image. This process is executed by the counting result correction unit 13A. When the counting result correction unit 13A determines that there is a next image, it outputs control information indicating a shooting direction switching instruction to the pan / tilt driving unit 51A (step S69). Accordingly, the pan / tilt driving unit switches the imaging direction of the camera 103C. Then, in the next step S70, the human detection unit 10A and the movement direction detection unit 11A detect a person entering the monitoring area 20 or leaving the monitoring area 20 from images obtained from the cameras 101A and 102A. Is determined. If intrusion or exit from the monitoring area 20 is detected, the process returns to step S62; otherwise, the process returns to step S67. When all the images are acquired in the process of step S67, the images of the imaging regions 203A, 203B, and 203C shown in FIG. 8 are input to the personal computer 600A.
[0107]
If intrusion or exit from the monitoring area 20 is detected in step S70, the process returns to step S62 for the following reason. Since the number of persons existing in the monitoring area 20 is detected from the imaging areas 203A, 203B, and 203C, if a person enters or leaves the monitoring area while these images are being captured. This is because a person existing in the monitoring area 20 cannot be accurately detected.
[0108]
Then, in the next step S71, a process of detecting the number m of persons existing in the monitoring region 20 from an image obtained by imaging the imaging regions 203A, 203B, and 203C is executed by the counting result correction unit 13A (step S71). S71). Then, in the next step S72, it is determined whether or not the detected number of persons m is equal to the number of persons n stored in the counting result storage unit 14A. If they are equal, the process directly proceeds to step S62, and if they are not equal, the process of correcting the number n stored in the counting result storage unit 14A is executed (step S73). Then, the detected number m is set as the number n (step S74), and the process proceeds to step S62.
[0109]
The correction processing executed in step S73 is the same as the processing shown in step S21 in FIG. 9, and thus the description will not be repeated here.
[0110]
As described above, in the surveillance system according to the fourth embodiment, in addition to the effects obtained by the surveillance system according to the second embodiment, the cameras 101A and 102A capture images around the entrance and exit of the monitoring area 20. Can be a camera having a simple configuration that has only a function of outputting to the personal computer 600.
[0111]
Further, the camera 103C can have a simple configuration in which the monitoring area 20 is partially imaged and output to the personal computer 600. Therefore, it is not necessary to provide the cameras 101A, 102A, and 103C with a function of executing image processing, so that an inexpensive camera can be used.
[0112]
(1) The monitoring program executed by the personal computer 600 described above is executed by a computer connected to a first detection unit that detects an object entering and exiting a predetermined area and an imaging device for imaging the predetermined area. And
Receiving an intrusion signal indicating that an object has intruded into a predetermined area from the first detection unit, or an exit signal indicating that the object has exited;
Calculating the number of objects present in the predetermined area according to the reception of the received intrusion signal or exit signal;
Processing an image received from the imaging device to detect an object in the predetermined area;
Correcting the number of objects calculated in the calculation step based on the detection result.
[0113]
(2) Also, the monitoring program is executed by a computer connected to a first imaging device for imaging the area around the entrance of the predetermined area, and a second imaging device for imaging the predetermined area,
Processing an image received from the first imaging device to detect intrusion or exit of the object into the predetermined area;
Calculating the number of objects present in the predetermined area in accordance with the detection of the intruding or retreating object;
Processing an image received from the second imaging device to detect an object in the predetermined area;
Correcting the number of objects calculated in the calculation step based on the detection of the object in the predetermined area.
[0114]
(3) The monitoring device further includes a first detection unit that detects an object that enters or exits the predetermined area,
Calculating means for calculating the number of objects present in the predetermined area according to a detection output by the first detecting means;
Second detection means for detecting an object present in the predetermined area;
Correction means for correcting the number of objects calculated by the calculation means based on a detection result by the second detection means,
The second detection unit includes a determination unit that determines whether an object exists in the predetermined area,
The correction means corrects on the condition that the number of objects calculated by the calculation means is one or more and that the determination means determines that no object exists.
[0115]
According to this, the detection by the second detection means does not need to be complicated processing, and the processing load can be reduced. In particular, when the second detection unit performs image processing to determine the presence or absence of an object, simple image processing can be used.
[0116]
(4) The second detection means may detect that the detection output is not output from the first detection means for a predetermined time. Since it is not necessary to always detect the data by the second detecting means, the processing load can be reduced.
[0117]
(5) The second detection unit may include an image processing unit that processes a plurality of images that are captured and output by the imaging device in different imaging directions.
[0118]
(6) The second detection means may prohibit outputting a detection result when the first detection means outputs a detection while the imaging apparatus changes the imaging direction. . If an object enters or exits a predetermined area while changing the imaging direction with the imaging device, the number of objects existing in the predetermined area may be erroneously detected. In such a case, the detection output is not output, so that the detection result can be output only when the number of objects is accurately detected. As a result, the number of objects existing in the predetermined area can be accurately detected.
[0119]
(7) the first detection means includes: an imaging device configured to image an area around an entrance and exit of the predetermined area;
Image processing means for processing an image captured by the imaging device,
The image processing means includes a detecting means for detecting a traveling direction of a person passing around the entrance.
[0120]
(8) The imaging device of the second detection means is installed on a ceiling. The installation space is not limited, and it is difficult for people to notice, so the appearance can be improved.
[0121]
(9) The imaging device of the first detection means is installed on a ceiling.
The embodiments disclosed this time are to be considered in all respects as illustrative and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
[Brief description of the drawings]
FIG. 1 is a functional block diagram illustrating an outline of functions of a monitoring system according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of an imaging area of the monitoring system according to the first embodiment.
FIG. 3 is a flowchart illustrating a flow of a people counting process executed by a calculation unit of the monitoring system according to the first embodiment.
FIG. 4 is a diagram showing a temporal change in the number of people in a monitoring area.
FIG. 5 is a diagram schematically showing a temporal change of a person entering and exiting the monitoring area.
FIG. 6 is a diagram showing, in chronological order, changes in the number of people in a monitoring area detected by the monitoring system according to the first embodiment.
FIG. 7 is a block diagram illustrating an overall overview of a monitoring system according to a second embodiment.
FIG. 8 is a diagram illustrating an example of an imaging area of the monitoring system according to the second embodiment.
FIG. 9 is a flowchart illustrating a flow of a people counting process executed by an arithmetic unit of the monitoring system according to the second embodiment.
FIG. 10 is a flowchart illustrating a flow of a person detection process performed by a camera 103A according to the second embodiment.
FIG. 11 is a diagram illustrating an overall overview of a monitoring system according to a third embodiment.
FIG. 12 is a functional block diagram illustrating functions of a monitoring system according to a third embodiment.
FIG. 13 is a flowchart illustrating a flow of a people counting process executed by the personal computer according to the third embodiment.
FIG. 14 is a functional block diagram illustrating functions of a monitoring system according to a fourth embodiment.
FIG. 15 is a flowchart illustrating a flow of a people counting process executed by the personal computer of the monitoring system according to the fourth embodiment.
[Explanation of symbols]
10, 10A person detecting section, 11, 11A moving direction detecting section, 12, 12A counting result calculating section, 13, 13A counting result correcting section, 14, 14A counting result storage section, 15, 15A presence / absence determining section, 20 monitoring area , 50, 50A person detection unit, 50 person detection unit, 51, 51A pan / tilt drive unit, 100, 100A, 100B monitoring system, 101, 102, 103, 101A, 102A, 103A, 103B, 103C camera, 110, 110A Arithmetic unit, 120 output unit, 201, 202, 203, 203A, 203B, 203C imaging area, 600, 600A personal computer, 601 display, 700 recording medium.

Claims (5)

所定領域に出入りする物体を検出する第１検出手段と、
前記第１検出手段による検出出力に応じて、前記所定領域に存在する物体の数を算出する算出手段と、
前記所定領域に存在する物体を検出する第２検出手段と、
前記第２検出手段による検出結果に基づいて、前記算出手段により算出された物体の数を補正する補正手段とを備えた、監視装置。First detection means for detecting an object entering or exiting a predetermined area;
Calculating means for calculating the number of objects present in the predetermined area according to a detection output by the first detecting means;
Second detection means for detecting an object present in the predetermined area;
A monitoring unit, comprising: a correction unit configured to correct the number of objects calculated by the calculation unit based on a detection result by the second detection unit. 前記第２検出手段は、前記所定領域を撮像するための撮像装置を含む、請求項１に記載の監視装置。The monitoring device according to claim 1, wherein the second detection unit includes an imaging device for imaging the predetermined area. 前記撮像装置は、少なくとも前記所定領域全体を撮像可能な画角を有するレンズを含む、請求項２に記載の監視装置。The monitoring device according to claim 2, wherein the imaging device includes a lens having an angle of view capable of imaging at least the entire predetermined area. 前記撮像装置は、撮像方向を変更する撮像方向変更手段を含む、請求項２に記載の監視装置。The monitoring device according to claim 2, wherein the imaging device includes an imaging direction changing unit that changes an imaging direction. 前記第１検出手段は、前記所定領域内に存在する物体の数を計数する計数手段を含む、請求項１に記載の監視装置。The monitoring device according to claim 1, wherein the first detection unit includes a counting unit that counts the number of objects existing in the predetermined area.
JP2003077999A 2003-03-20 2003-03-20 Monitoring device Expired - Fee Related JP3915721B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003077999A JP3915721B2 (en) 2003-03-20 2003-03-20 Monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003077999A JP3915721B2 (en) 2003-03-20 2003-03-20 Monitoring device

Publications (2)

Publication Number Publication Date
JP2004287752A true JP2004287752A (en) 2004-10-14
JP3915721B2 JP3915721B2 (en) 2007-05-16

Family

ID=33292613

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003077999A Expired - Fee Related JP3915721B2 (en) 2003-03-20 2003-03-20 Monitoring device

Country Status (1)

Country Link
JP (1) JP3915721B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012014302A (en) * 2010-06-30 2012-01-19 Hitachi Ltd Monitoring device
JP2013186876A (en) * 2012-03-12 2013-09-19 Nec Corp Unmanned determination device, unmanned determination method and unmanned determination program
JP2016062131A (en) * 2014-09-16 2016-04-25 日本電気株式会社 Video monitoring device
JP2017129376A (en) * 2016-01-18 2017-07-27 株式会社日立製作所 Mobile entity measurement system, and method for specifying number of people in area to be measured
JP2019021047A (en) * 2017-07-18 2019-02-07 キヤノン株式会社 Information processing apparatus, control method, and program
EP3576054A1 (en) 2018-05-30 2019-12-04 Canon Kabushiki Kaisha Information processing device, imaging device, information processing method, and storage medium
US10817727B2 (en) 2018-01-10 2020-10-27 Canon Kabushiki Kaisha Information processing apparatus and method of controlling an information processing apparatus that estimate a waiting time in a waiting line
US11645895B2 (en) 2020-11-25 2023-05-09 Canon Kabushiki Kaisha Queue analysis apparatus using a video analysis

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012014302A (en) * 2010-06-30 2012-01-19 Hitachi Ltd Monitoring device
JP2013186876A (en) * 2012-03-12 2013-09-19 Nec Corp Unmanned determination device, unmanned determination method and unmanned determination program
JP2016062131A (en) * 2014-09-16 2016-04-25 日本電気株式会社 Video monitoring device
US10223619B2 (en) 2014-09-16 2019-03-05 Nec Corporation Video monitoring apparatus, control apparatus, control method, and non-transitory readable storage medium
JP2017129376A (en) * 2016-01-18 2017-07-27 株式会社日立製作所 Mobile entity measurement system, and method for specifying number of people in area to be measured
WO2017126280A1 (en) * 2016-01-18 2017-07-27 株式会社日立製作所 Mobile object measurement system and method of determining number of people in measurement area
JP2019021047A (en) * 2017-07-18 2019-02-07 キヤノン株式会社 Information processing apparatus, control method, and program
US10796165B2 (en) 2017-07-18 2020-10-06 Canon Kabushiki Kaisha Information processing apparatus, method for controlling the same, and non-transitory computer-readable storage medium
US10817727B2 (en) 2018-01-10 2020-10-27 Canon Kabushiki Kaisha Information processing apparatus and method of controlling an information processing apparatus that estimate a waiting time in a waiting line
EP3576054A1 (en) 2018-05-30 2019-12-04 Canon Kabushiki Kaisha Information processing device, imaging device, information processing method, and storage medium
US10872422B2 (en) 2018-05-30 2020-12-22 Canon Kabushiki Kaisha Information processing device, imaging device, information processing method, and storage medium
US11645895B2 (en) 2020-11-25 2023-05-09 Canon Kabushiki Kaisha Queue analysis apparatus using a video analysis

Also Published As

Publication number Publication date
JP3915721B2 (en) 2007-05-16

Similar Documents

Publication Publication Date Title
JP4912117B2 (en) Imaging device with tracking function
US8682109B2 (en) Method and system of reconstructing super-resolution image
US8134604B2 (en) Camera shake correction device, camera shake correction method and imaging device
US8922705B2 (en) Method and apparatus for focusing on subject in digital image processing device
US10061983B2 (en) Tracking apparatus, tracking method, and non-transitory storage medium storing tracking program
JP2008009849A (en) Person tracking device
JP3915721B2 (en) Monitoring device
JP2019167187A (en) User detection system
US20230044673A1 (en) Detection device and control method of the same
JP2001043383A (en) Image monitoring system
US7738009B2 (en) Method for following at least one object in a scene
JP5329940B2 (en) Image processing apparatus, control method therefor, and imaging apparatus
JPH11252534A (en) Camera system
WO2018207691A1 (en) Surveillance device, surveillance method, computer program, and storage medium
US11341773B2 (en) Detection device and control method of the same
WO2019030855A1 (en) Drive incapability state determination device and drive incapability state determination method
JP2004289581A (en) Monitoring system
JP2007336431A (en) Video monitoring apparatus and method
JP2985558B2 (en) Operating condition detection device
JP2003110935A (en) Ccd camera
JP2014135683A (en) Imaging control apparatus, imaging control method, and imaging control program
JP3197396B2 (en) Moving object determination method and apparatus
JPH06150005A (en) Moving object detector and moving object tracking device
JP2005236724A (en) Imaging device and motion detection method
US20230215015A1 (en) Tracking device, tracking method, and recording medium

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Effective date: 20050325

Free format text: JAPANESE INTERMEDIATE CODE: A712

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050330

A977 Report on retrieval

Effective date: 20060516

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A131 Notification of reasons for refusal

Effective date: 20060523

Free format text: JAPANESE INTERMEDIATE CODE: A131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060919

A521 Written amendment

Effective date: 20061115

Free format text: JAPANESE INTERMEDIATE CODE: A523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Effective date: 20070116

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070129

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 4

Free format text: PAYMENT UNTIL: 20110216

LAPS Cancellation because of no payment of annual fees