JP2005140754A - 人物検知方法、監視システム、およびコンピュータプログラム - Google Patents
人物検知方法、監視システム、およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2005140754A JP2005140754A JP2003380417A JP2003380417A JP2005140754A JP 2005140754 A JP2005140754 A JP 2005140754A JP 2003380417 A JP2003380417 A JP 2003380417A JP 2003380417 A JP2003380417 A JP 2003380417A JP 2005140754 A JP2005140754 A JP 2005140754A
- Authority
- JP
- Japan
- Prior art keywords
- image
- predetermined area
- person
- passing
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Geophysics And Detection Of Objects (AREA)
- Image Processing (AREA)
Abstract
【課題】荷物を持ったり前後に並んで歩いたりしている人であっても、各人を従来よりも確実に検知できるようにする。
【解決手段】所定の区域を通過する人の頭頂部を上方より撮影できるように真上カメラ31を設けておき、その所定の区域を通過する人の正面の撮影できるように正面カメラ32を設けておき、真上カメラ31によって真上画像および正面カメラ32によって得られた正面画像に写っている同一人物を、真上画像の画像領域と正面画像の画像領域との位置関係に基づいて検知する。
【選択図】図2
【解決手段】所定の区域を通過する人の頭頂部を上方より撮影できるように真上カメラ31を設けておき、その所定の区域を通過する人の正面の撮影できるように正面カメラ32を設けておき、真上カメラ31によって真上画像および正面カメラ32によって得られた正面画像に写っている同一人物を、真上画像の画像領域と正面画像の画像領域との位置関係に基づいて検知する。
【選択図】図2
Description
本発明は、施設の通路などを通過する人を検知する人物検知方法および監視システムなどに関する。
近年、施設のセキュリティの管理やマーケティングの調査のために、施設を出入りしまたは施設内を通行する人を計数するとともにこれらの人の顔付近の画像を取得することが要求されている。
通行する人を計数する方法として、通路の天井付近にカメラまたは赤外線センサを設け、鉛直下向きに撮影またはセンシングを行う方法が提案されている(特許文献1)。鉛直下向きに撮影などを行うのは、複数の人が前後または左右に並んでいても、各人が前後または左右にいる他人に隠れてしまうことがないからである。つまり、通路の正面または横からの撮影であると、複数の人が互いに重なって見える場合があるので、各人を上手く検知することができないおそれがあるからである(図Bおよび図C(b)参照)。
しかし、鉛直下向きに撮影などを行う方法にも、次のような問題点がある。通路を通行する人の顔の撮影を行うことができない。よって、顔画像が得られないだけでなく、人の特徴が現れにくいので人と物(荷物など)との区別が付きにくくなり計数を誤ってしまうおそれがある。また、画像に表れる人の面の形状の変化が手足の動きや持ち物によって大きく変化するので、画像の中から人領域を認識することが難しい。通行量が多い場合は、背景差分を求めるために用いる背景基準画像の更新をあまり行うことができない。よって、検知精度が損なわれやすい。また、赤外線センサの場合は、天井が高かったり日光が差し込んだりすると、認識精度が低下してしまう。
特開平11−316845号公報
特開平7−253476号公報
本発明は、上記のような問題点に鑑み、荷物を持ったり前後に並んで歩いたりしている人であっても、各人をより確実に検知できるようにすることを目的とする。
本発明に係る人物検知方法は、所定の区域を通過する人の頭頂部を上方より撮影できるように第一のカメラを設けておき、前記所定の区域を通過する人の正面の撮影できるように第二のカメラを設けておき、前記第一のカメラによって得られた第一の画像および前記第二のカメラによって得られた第二の画像に写っている同一人物を、当該第一の画像の画像領域と当該第二の画像の画像領域との位置関係に基づいて検知する、ことを特徴とする。
本発明に係る監視システムは、所定の区域を通過する人を監視する監視システムであって、前記所定の区域を通過する物体の頭頂部を上方より撮影できるように設けられた第一の撮影手段と、前記所定の区域を通過する物体の正面を撮影できるように設けられた第二の撮影手段と、前記第一の撮影手段によって得られた第一の画像に基づいて、物体が前記所定の区域を通過したことを検知する検知手段と、前記検知手段によって検知された物体が人であるか否かを、前記第二の撮影手段によって得られた第二の画像に基づいて判別する物体判別手段と、を有することを特徴とする。
好ましくは、前記検知手段は、物体が前記所定の区域を通過したことを、当該物体が前記第一の画像の中の所定の位置に写っていることをチェックすることによって検知し、前記物体判別手段は、前記検知手段によって検知された物体が人であることを、前記第一の画像の中の当該物体の画像領域に対応する、前記第二の画像の中の画像領域に、人の頭部が写っていることをチェックすることによって判別する。
または、前記第二の撮影手段によって得られた第二の画像に基づいて前記所定の区域を通過する物体のうち人であるものを検知する検知手段と、前記検知手段によって検知された人の背後にいる人を、前記第一の撮影手段によって得られた第一の画像に基づいて検索する検索手段と、前記所定の区域を通過した人数を、前記検知手段による検知結果および前記検索手段による検索結果に基づいて計数する計数手段と、を有する。
または、前記第一の撮影手段によって得られた第一の画像および前記第二の撮影手段によって得られた第二の画像の両方に写っている人物を検知することによって、前記所定の区域にいる人数を計数する計数手段を有する。
本発明によると、荷物を持ったり前後に並んで歩いたりしている人であっても、各人を従来よりも確実に検知することができる。
〔第一の実施形態〕
図1は監視システム1の全体の構成の例を示す図、図2は真上カメラ31および正面カメラ32の設置位置および撮影方向などの例を示す図、図3は真上画像UGおよび正面画像SGの例を示す図、図4は真上カメラ31および正面カメラ32の機能的構成の例を示す図、図5は通過検知処理の流れの例を説明するフローチャート、図6は歩行者Hが通行エリアを通過している間に得られた真上画像UGの例を示す図、図7は通過検知処理の流れの例を説明するフローチャート、図8は歩行者Hが通行エリアを通過している間に得られた真上画像UGの例を示す図、図9は歩行者画像RU、RSの例を示す図、図10は計数補正処理の流れの例を説明するフローチャート、図11は図6(c)の真上画像UGに対応する正面画像SGの例を示す図、図12は荷物HNを持って通行エリアを通過しようとする歩行者HAの例を示す図、図13は図12の歩行者HAが通行エリアを通過している間に得られた真上画像UGの例を示す図、図14は図13(c)(d)の真上画像UGに対応する正面画像SGの例を示す図である。
図1は監視システム1の全体の構成の例を示す図、図2は真上カメラ31および正面カメラ32の設置位置および撮影方向などの例を示す図、図3は真上画像UGおよび正面画像SGの例を示す図、図4は真上カメラ31および正面カメラ32の機能的構成の例を示す図、図5は通過検知処理の流れの例を説明するフローチャート、図6は歩行者Hが通行エリアを通過している間に得られた真上画像UGの例を示す図、図7は通過検知処理の流れの例を説明するフローチャート、図8は歩行者Hが通行エリアを通過している間に得られた真上画像UGの例を示す図、図9は歩行者画像RU、RSの例を示す図、図10は計数補正処理の流れの例を説明するフローチャート、図11は図6(c)の真上画像UGに対応する正面画像SGの例を示す図、図12は荷物HNを持って通行エリアを通過しようとする歩行者HAの例を示す図、図13は図12の歩行者HAが通行エリアを通過している間に得られた真上画像UGの例を示す図、図14は図13(c)(d)の真上画像UGに対応する正面画像SGの例を示す図である。
図1に示すように、本発明に係る監視システム1は、ホストコンピュータ2、複数のビデオカメラ3、および通信回線4などによって構成される。ホストコンピュータ2および各ビデオカメラ3は、通信回線4を介して互いに接続されている。通信回線4として、LAN、公衆回線、専用線、またはインターネットなどが用いられる。
この監視システム1は、スーパーマーケットまたはデパートなどの大型店舗、多数の専門店などが集まった地下街、空港または駅などのターミナルビル、博物館、またはイベント会場などのような、多数の人が利用する施設などで使用される。
ビデオカメラ3は、上記のような施設の出入口または通路など歩行者が通行する区域(以下、「通行エリア」と記載することがある。)ごとに2台ずつ割り当てられている。係る2台のビデオカメラ3は、図2(a)(b)に示すように、通路のほぼ中央の上方(例えば、天井)に、所定の間隔を開けて設置されている。
また、2台のビデオカメラ3のうち、一方のビデオカメラ3(以下、「真上カメラ31」と記載する。)の撮影方向は、ほぼ鉛直下向きなるように設定されている。真上カメラ31のズームの倍率は、歩行者の頭頂部を確実に捉えられるように、その通行エリアの一方の側壁から他方の側壁までが撮影範囲に入るように設定されている。
もう一方のビデオカメラ3(以下、「正面カメラ32」と記載する。)の撮影方向およびズームの倍率は、真上カメラ31のほぼ真下に仮想される両側面を結ぶライン(図2(b)に点線で表した直線)上に立っている人の頭部から足元までが撮影範囲に入るように設定されている。
したがって、同じ時刻に真上カメラ31および正面カメラ32によって図2の歩行者HB、HCの撮影を行うと、それぞれ図3(a)および図3(b)に示すような画像が得られる。以下、真上カメラ31で撮影された画像を「真上画像UG」と記載し、正面カメラ32で撮影された画像を「正面画像SG」と記載することがある。
真上カメラ31は、図4に示すように、撮像部311、画像処理部312、データ記録部313、データ送信部314、制御部315、および通過物検知部317などによって構成される。正面カメラ32は、計数処理部320、撮像部321、画像処理部322、データ記録部323、データ送信部324、制御部325、およびデータ受信部326などによって構成される。
制御部315は、ホストコンピュータ2などから送信されてくる制御信号(指令)などに従って撮像部311、画像処理部312、データ記録部313、データ送信部314、および通過物検知部317などの制御を行う。制御部325も同様に、ホストコンピュータ2の指令などに従って正面カメラ32の各部の制御を行う。
撮像部311、321は、CCDなどのイメージセンサ、光学系、および制御用回路などからなり、通行エリアの様子を写した真上画像UGおよび正面画像SG(図3参照)をそれぞれ生成する。これにより、撮影速度に応じたフレーム数(コマ数)の映像(真上画像UGおよび正面画像SG)が得られる。
撮像部311、321で得られた真上画像UGおよび正面画像SGは、画像処理部312、322によって明度画像に変換される。そのほか、画像処理部312、322は、後に説明する背景差分処理、歩行者画像の生成処理、背景基準画像の生成処理、オプティカルフローを求める処理、および輪郭画像(エッジ画像)の生成処理などを実行する。
通過物検知部317は、通行エリアを通過する物体を検知する処理(以下、「通過検知処理」と記載することがある。)を行う。計数処理部320は、通行エリアを通過する人数を数える処理(以下、「計数処理」と記載することがある。)を行う。通過検知処理および計数処理については、後に詳しく説明する。
データ送信部314、324は、撮影、画像処理、通過検知処理、または計数処理などによって得られたデータなどをホストコンピュータ2などに送信する。データ記録部313、323は、ROM、RAM、またはフラッシュメモリなどからなり、これらのデータを記憶する。
真上カメラ31の画像処理部312、データ送信部314、制御部315、および通過物検知部317、および正面カメラ32の計数処理部320、画像処理部322、データ送信部324、制御部325、およびデータ受信部326は、プロセッサ(制御用回路)によって実現される。または、一部または全部の処理をコンピュータプログラムによって行うように構成してもよい。この場合は、コンピュータプログラムをROMまたはフラッシュメモリなどに格納しておき、これをCPUによって実行するように構成する。撮像部311、321についても、一部の処理をコンピュータプログラムによって行うように構成してもよい。
ホストコンピュータ2は、施設の管理人室または守衛室などに設置されており、主に、真上カメラ31および正面カメラ32の制御のために使用される。ホストコンピュータ2として、パーソナルコンピュータまたはワークステーションなどが用いられる。
以下、施設内のある通行エリアにおける歩行者を監視する際の真上カメラ31、正面カメラ32の図4の各部およびホストコンピュータ2の機能および処理内容などについて説明する。
施設内の監視を行っている期間中、真上カメラ31の撮像部311は、例えば図3(a)に示すような通行エリアの様子を示す画像(真上画像UG)を次々に取得する。これらの真上画像UGのうち、歩行者が写っていない真上画像UGを背景基準画像としてデータ記録部313に記憶させておく。背景基準画像は適宜更新する。正面カメラ32の撮像部321も、監視期間中、図3(b)に示すような正面画像SGを次々に取得する。
通過物検知部317は、撮像部311によって得られた真上画像UGに基づいて、通行エリアを通過する物体を検知する処理(通過検知処理)を、図5のフローチャートに示すような手順で行う。
例えば、監視を行っている間に、図6(a)〜(d)に示すような真上画像UGA〜UGDなどが得られたとする。なお、これら4つの真上画像UGは左のものほど古く右のものほど新しい。また、これら4つの真上画像UG以外にも多数の真上画像UGが取得されており、図6の隣り合う真上画像UG同士が必ずしも連続するフレームであるとは限らない。
まず、取得しておいた背景基準画像を用いて、各真上画像UGから背景部分を除去する。つまり、背景差分処理を行う(図5の#101)。
処理された各真上画像UGの中から古い順に、歩行者Hの写っている真上画像UGを検索する。歩行者Hが見つかった真上画像UGの中から歩行者Hの画像領域を抽出する。さらに、その画像領域(つまり歩行者H)が計数ラインL1、L2のうちのいずれか一方と最初に重なったときの真上画像UGを検索する(#102)。その結果、図5(b)の真上画像UGBが見つけられる。
なお、「計数ライン」とは、計数を行うための基準となるラインのことである。計数ラインL1、L2は、通行エリアの一方の側壁からもう一方の側壁の方向(画像中の縦軸方向)に、互いに平行になるよう予めまたは随時設定される。計数ラインL1、L2の間隔は、人の歩く速さおよび撮影速度などによって決められる。例えば、撮影速度を毎秒30フレームに設定し、人の歩く速さを1〜2m/秒であると想定した場合は、計数ラインL1、L2の間隔を、実際の通行エリアの床面における約20cmに相当するように設定する。なお、通行エリアのフロア(床)に約20cmの間隔で2本のラインを予め引いておき、真上画像UGに写ったこれらのラインを計数ラインL1、L2として用いてもよい。
図5の画像GA〜GDの下には、計数ラインL1、L2と歩行者Hとの重なり位置を太線で示している。後に説明する図7に示す太線も、計数ラインと歩行者Hとの重なり位置を示している。
その歩行者Hは、計数ラインL1を越えた後すぐに、もう一方の計数ラインL2と重なるはずである。また、その重なり位置は、その歩行者Hと計数ラインL1との重なり位置K1を側壁に平行に(つまり歩行者Hの進行方向に)真っ直ぐに移動させた位置とほぼ一致するはずである。したがって、その歩行者Hを追尾するかのように真上画像UGB以降の真上画像UGの検索を続けると、すぐ後の真上画像UGCにおいてその歩行者Hの画像領域がもう一方の計数ラインL2と重なり位置K2で重なることが確認できる(図5の#103)。このときに、歩行者Hが通行エリアを通過したことを検知する(#104)。
このように計数ラインL1、L2の両方と重なった歩行者を検索することによって、通行エリアを通過した歩行者を検知する。また、計数ラインL1、L2を越える順番に基づいて、その歩行者の進行方向をも検知することができる。
または、上記の背景差分法の代わりに、オプティカルフロー法を用いて図7に示すフローチャートのような手順で計数処理を行ってもよい。
例えば、監視の間に図8(a)〜(d)に示すような真上画像UGE〜UGHをはじめとする多数の真上画像UGが得られたとする。これらの真上画像UGについて古い順にオプティカルフローを求める(#201)。その結果に基づいて歩行者Hの画像領域を抽出しながら(#202)、図8(b)のように歩行者Hが計数ラインL3と重なるまで歩行者Hを追尾する(#203)。計数ラインL3と重なったことが確認できたらその歩行者Hが通行エリアを通過したことを検知する(#204)。この際に、その歩行者Hのオプティカルフローに基づいて進行方向も検知できる。
図4に戻って、通過物検知部317によって歩行者が通行エリアを通過したことが検知されると、データ記録部313は、そのときの真上画像UG(例えば、図6(c)の真上画像UGCまたは図8(c)の真上画像UGG)から歩行者の画像領域を図9(a)のように切り出すことによって得られる画像を、歩行者画像RUとして通過時刻と対応付けて記録しておく。これと並行して、データ送信部314は、その真上画像UG(例えば、真上画像UGC)を画像データ701として正面カメラ32に送信する。
ところで、通過物検知部317が検知した物体は、必ずしも人間であるとは限らない。人間以外の物体、例えばスーツケースなどの荷物を誤って検知した可能性がある。そこで、正面カメラ32によって、次のように歩行者の検知の誤りを補正しながら計数処理が行われる。
正面カメラ32において、真上カメラ31から送信された画像データ701はデータ受信部326によって受信される。そして、計数処理部320によって図10のフローチャートに示すような手順で歩行者の計数処理が行われる。
まず、撮像部321によって得られた多数の正面画像SGの中から、受信された画像データ701に係る真上画像UGと同じ時刻の正面画像SGを抽出して入力する(#301)。入力された正面画像SGに対して、歩行者の輪郭を抽出するための画像処理(以下、「輪郭抽出処理」と記載することがある。)を施す(#302〜#304)。
すなわち、その正面画像SGとその前の時刻の正面画像SGとの時間差分を求め、時間差分画像を生成する(#302)。これと並行してまたは前後して、その正面画像SGの空間差分を求め、空間差分画像を生成する(#303)。生成された時間差分画像および空間差分画像の対応する画素同士の論理積を求める(#304)。このようにして、歩行者の輪郭画像が得られる。
例えば、図6(c)の真上画像UGCと同じ時刻の正面画像SG(図11参照)に対して輪郭抽出処理を施し、その輪郭画像が得られたとする。
真上画像UGCに写っている歩行者Hの立ち位置(図6(c)において斜線で示す画像領域)に対応する、正面画像SGCにおけるその歩行者Hの立ち位置を求める(#305)。これにより、図11に斜線で示す画像領域が求められる。このような画像領域は、真上カメラ31および正面カメラ32のそれぞれの撮影方向、画角、およびズームの倍率などを示す情報および両カメラの位置関係を示す情報などに基づいて導き出すことができる。
求められた立ち位置の画像領域に対して楕円形のテンプレート(以下、「楕円テンプレート」と記載する。)によるテンプレートマッチングを行う(#306)。そして、その画像領域の中から楕円形の領域が見つかったか否かに応じて、次のように歩行者の検知の補正および計数処理を行う。
その画像領域の中に楕円形の画像領域が見つかった場合は、その領域を人間の頭部であるとみなす(#307でYes)。そして、通行エリアを通過した歩行者が人間であることが確認され、通過人数をカウントするためのカウンタNCに「1」を加算する(#308)。なお、これと並行して、データ記録部323は、真上画像UGCからその歩行者の頭部付近の画像領域を図9(b)のように切り出すことによって得られる画像を、歩行者画像RSとして通過時刻と対応付けて記録しておく。
楕円形の領域が見つからなかった場合は、真上画像UGCの中の歩行者Hは人間ではなく荷物などの他の物体であるものとみなす(#307でNo)。よって、カウンタNCへの加算は行わない(#309)。つまり、真上カメラ31において歩行者であると判別された、誤った結果を補正する。
ステップ#306で用いられる楕円形のテンプレートは、予め用意されたものである。係る楕円形のテンプレートは、次のようにして用意される。すなわち、真上カメラ31の真下に標準的な体型をした人を立たせておき、その人を正面カメラ32で撮影して画像を取得する。そして、その画像に写っている頭部の形状および大きさに合わせて楕円形を生成する。
なお、カウンタNCを進行方向に応じて1つずつ用意しておいてもよい。また、正面カメラ32の位置から真上カメラ31の位置の方向へ歩いている歩行者(つまり、正面カメラ32に対して背中を向けて歩いている歩行者)の場合は、楕円テンプレートによるテンプレートマッチングの代わりに髪の毛領域の抽出を行い、その結果に応じて計数処理(#307〜#309)を行うようにしてもよい。
ここで、図12に示すように歩行者HAが大きなスーツケース(以下、「荷物HN」と記載する。)を手で転がしながら通行エリアを通過する場合および図2に示すように複数の歩行者HB、HCが前後に並んで通行エリアを通過する場合の計数処理について説明する。
図12に示すように歩行者HAが通行エリアを歩いていると、真上カメラ31では図13(a)〜(e)に示すような真上画像UGが得られる。前に説明した通り、歩行者HAが2本の計数ラインを越えたときに(図13(c)のときに)、歩行者HAが通行エリアを通過したと判別される。正面カメラ32では、その真上画像UGの撮影時刻と同じ時刻に、図14(a)に示す正面画像SGが撮影される。そして、前に図10で説明した手順の通りに処理を行うと、歩行者HAが人間であることが確認され、カウンタNCに「1」が加算される。
歩行者HAがもう少し進むと、真上カメラ31では、図13(d)に示す真上画像UGが得られる。このとき、荷物HNが通行エリアを通過したと判別される。正面カメラ32では、その真上画像UGの撮影時刻と同じ時刻に、図14(b)に示す正面画像SGが得られる。そして、図10の手順で処理を行うと、荷物HNの画像領域の中からは楕円形の領域は見つからない。したがって、荷物HNは人間以外の物体であると判別され、カウンタNCには何もカウントされない。
図2に示すように歩行者HB、HCが前後に並んで歩いている場合は、次のように計測処理が行われる。前を歩いている歩行者HBについての計数処理は、歩行者HBが1人で歩いている場合と同じなので、説明を省略する。
歩行者HBの背後を歩いている歩行者HCが通行エリアを通過した(2本の計数ラインを越えた)時刻に、正面カメラ32では、図3(b)に示すような正面画像SGが得られる。係る正面画像SGによると、歩行者HCは歩行者HBの姿で大部分が隠れていることが分かる。このような場合には、係る正面画像SGに対して楕円テンプレートによるテンプレートマッチングを行っても(図10の#306)、歩行者HBの頭部しか見つけられない。そこで、複数の歩行者が前後に並んで歩いていると真上画像UGに基づいて判別される場合は、テンプレートマッチングの結果に関わらず、後方の歩行者を人間であるとみなし、カウンタNCに「1」を加算することとする。または、半楕円のテンプレートを用いてテンプレートマッチングを行い、半楕円の領域(つまり歩行者HCの頭部の一部)が見つかった場合に、カウントを行うようにしてもよい。
図15は通行エリアの歩行者を監視する際の監視システム1の処理の流れの例を説明するフローチャートである。次に、監視システム1における処理の流れを、フローチャートを参照して説明する。
図15において、歩行者の監視を開始すると、真上カメラ31は、時刻T=T0における真上カメラ31の初期フレーム画像を入力し(#11)、その画像の明度画像を作成しておく(#12)。図5および図6で説明した背景差分法によって計数処理を行うのであれば、背景基準画像を作成しておく(#13)。
監視期間中(#14でNo)、真上カメラ31および正面カメラ32から通行エリアの様子を示す真上画像UGおよび正面画像SGが順次入力される(#15)。真上カメラ31は、真上画像UGに基づいて歩行者が通行エリアを通過したことを検知する(#16)。検知の手順は、図5で説明した背景差分法または図7で説明したオプティカルフロー法のうちのいずれかによる。
その結果、通行エリアを通過した歩行者が検知された場合は(#17でYes)、正面カメラ32は、正面画像SGに基づいてその歩行者が人間であるか否かを確認し、計数の補正を行う(#18)。ステップ#18の処理の手順は、図10で説明した通りである。
ステップ#14〜#19の処理は、監視を行っている間、繰り返し実行する(#14でNo)。なお、計数の結果は、計数結果情報71として、適宜、ホストコンピュータ2に送信される。また、歩行者を切り出した歩行者画像(図9参照)も、歩行者画像データ721、722としてホストコンピュータ2に送信される。
ホストコンピュータ2は、これらの計数結果情報71および歩行者画像データ721、722をハードディスクなどの記録媒体に保存される。また、予め歩行者の顔画像などをデータベースに登録しておき、歩行者画像データ721、722に示される歩行者画像RU、RSとマッチングすることによって入室の際の個人認証を行ってもよい。個人認証の機能は、真上カメラ31または正面カメラ32に設けてもよい。
〔第二の実施形態〕
図16は第二の実施形態における真上カメラ31および正面カメラ32の機能的構成の例を示す図、図17は歩行者検知および計数の処理の流れの例を説明するフローチャート、図18は歩行者Hが通行エリアを通過している間に得られた正面画像SGの例を示す図、図19は真上カメラ31による計数補正処理の流れの例を説明する図、図20は図18(c)の正面画像SGに対応する真上画像UGの例を示す図、図21は第二の実施形態における監視システム1の処理の流れの例を説明するフローチャートである。
〔第二の実施形態〕
図16は第二の実施形態における真上カメラ31および正面カメラ32の機能的構成の例を示す図、図17は歩行者検知および計数の処理の流れの例を説明するフローチャート、図18は歩行者Hが通行エリアを通過している間に得られた正面画像SGの例を示す図、図19は真上カメラ31による計数補正処理の流れの例を説明する図、図20は図18(c)の正面画像SGに対応する真上画像UGの例を示す図、図21は第二の実施形態における監視システム1の処理の流れの例を説明するフローチャートである。
第一の実施形態では、真上画像UGに基づいて歩行者が通行エリアを通過したことを検知し、正面画像SGに基づいてその歩行者が人間であるか否かを確認した。そして、人間であると確認されたものだけをカウンタNCにカウントした。つまり、真上画像UGで歩行者を検知し、正面画像SGで計数補正を行った。第二の実施形態では、正面画像SGに基づいて歩行者を検知し、真上画像UGに基づいて計数補正を行う。
第二の実施形態における監視システム1の全体的な構成は、図1に示す第一の実施形態の監視システム1の構成とほぼ同じである。ただし、図16に示すように、真上カメラ31および正面カメラ32の機能的構成が第一の実施形態の場合と異なる点がある。図16に示す各部のうち、図4と同じ符号のものは、基本的に同じ機能を有し同じ処理を実行する。以下、第一の実施形態の場合と異なる機能および処理内容などを中心に説明する。第一の実施形態の場合と同様の機能および処理内容については、説明を省略する。
正面カメラ32の通過物検知部327は、図17に示すような手順で、通行エリアを通過した歩行者の検知を行う。
歩行者Hが正面カメラ32の撮影範囲に入ると、図18に示すような順次得られる正面画像SGを参照して、その歩行者Hを追尾する(#404)。なお、これらの正面画像SGには、輪郭抽出処理(#401〜#403)を施しておく。
歩行者Hが真上カメラ31の真下(図18の正面画像SG中の点線のライン)を通過したことが確認できると、歩行者Hが通行エリアを通過したと検知する。そして、その時刻の正面画像SG(図18(c)の正面画像SG)の中の歩行者Hの画像領域に対して楕円テンプレートによるテンプレートマッチングを行う(#405)。その結果、頭部が見つかった場合は(#406でYes)、カウンタNCに「1」を加算する。頭部が見つからなかった場合は(#406でNo)、カウントは行わない。
しかし、図18に示すように、歩行者Hのすぐ後ろに別の歩行者が歩いている場合は、その歩行者が検知されない。そこで、ステップ#406でYesだった場合に、真上カメラ31の計数補正部310(図16参照)は、図19のフローチャートに示すような手順で計数の補正を行う。
図20に示すような、歩行者Hが通行エリアを通過したと検知された時刻の真上画像UGを入力する(図19の#501)。その真上画像UGを参照して、歩行者Hの背後を歩いている歩行者を検索する(#502)。そして、求められた数をカウンタNCに加算することによって、正面カメラ32で行われた計数を補正する(#503)。
次に、第二の実施形態における監視システム1の処理の流れを、フローチャートを参照して説明する。図21において、歩行者の監視を開始すると、正面カメラ32は、時刻T=T0における正面カメラ32の初期フレーム画像を入力し(#21)、その画像の明度画像を作成する(#22)。
監視期間中(#23でNo)、真上カメラ31および正面カメラ32から通行エリアの様子を示す真上画像UGおよび正面画像SGが順次入力される(#24)。正面カメラ32は、正面画像SGに基づいて歩行者が通行エリアを通過したことを検知する(#25)。検知の手順は、図17のフローチャートで説明した通りである。
その結果、通行エリアを通過した歩行者が検知された場合は(#26でYes)、真上カメラ31は、その歩行者の背後に他の歩行者がいないかどうかを調べ、計数の補正を行う(#27)。係る処理は、図19のフローチャートで説明した通りである。
ステップ#23〜#28の処理は、監視を行っている間、繰り返し実行する(#23でNo)。
〔第三の実施形態〕
第一の実施形態および第二の実施形態では、真上画像UGおよび正面画像SGのうちの一方の画像に基づいて歩行者を検知し、もう一方の画像に基づいて計数の補正を行うことによって、監視を行っている期間中の歩行者を計数した。第三の実施形態では、ある特定の時刻において通行エリア内に存在する歩行者を計数する。
〔第三の実施形態〕
第一の実施形態および第二の実施形態では、真上画像UGおよび正面画像SGのうちの一方の画像に基づいて歩行者を検知し、もう一方の画像に基づいて計数の補正を行うことによって、監視を行っている期間中の歩行者を計数した。第三の実施形態では、ある特定の時刻において通行エリア内に存在する歩行者を計数する。
第三の実施形態における監視システム1の構成は、図1に示す第一の実施形態の監視システム1の構成とほぼ同じである。
ホストコンピュータ2の磁気記憶装置(ハードディスク)には、次に説明するような処理を行うためのプログラムおよびデータがインストールされている。これらのプログラムおよびデータは必要に応じてRAMにロードされ、CPUによってプログラムが実行される。
ホストコンピュータ2は、真上カメラ31および正面カメラ32でそれぞれ得られた真上画像UGおよび正面画像SGを受信する。同じ時刻に撮影された真上画像UGおよび正面画像SGに両方に写っている歩行者を計数する。つまり、それぞれの画像に写っている同一人物のマッチングを行う。
例えば、真上画像UGおよび正面画像SGのそれぞれに写っている歩行者の足元の位置(画像領域)に着目する。すなわち、真上画像UGに写っている歩行者の足元の位置に対応する、正面画像SGにおける位置を求める(図6(c)および図11の斜線領域を参照)。これは、真上カメラ31と正面カメラ32との位置関係などから求めることができる。そして、求められたその正面画像SGにおける位置に足元が写っている歩行者を、真上画像UGに写っている歩行者と同じ人物であると判別し、計数する。
同様に、真上画像UGに写っている他の歩行者についても正面画像SGの中から同一人物を探索することにより、通行エリアにいる歩行者を計数することができる。
または、真上画像UGおよび正面画像SGに写っているそれぞれの歩行者の服の特徴(色または模様など)を表す領域、髪の毛の色または帽子の色などを表す領域などを検知し、これらの特徴をマッチングすることによって同一の歩行者を計数するようにしてもよい。
第一ないし第三の実施形態によると、荷物を持ったり前後に並んで歩いたりしている人であっても、各人をより確実に検知することができる。
第一および第二の実施形態によると、各時刻における歩行者の通行量の変化を従来よりも確実に検知することができる。第三の実施形態によると、ある時刻における所定の区域内にいる人の数を従来よりも確実に計数することができる。
通行エリアを通過した人数をカウントするカウンタNCは、真上カメラ31、正面カメラ32、ホストコンピュータ2のいずれに設けておいてもよい。
第一ないし第三の実施形態では、同時刻に撮影された真上画像UGと正面画像SGとを用いて計数処理などを行ったが、必ずしも厳密に同時刻のもの同士を用いる必要はない。例えば、数フレーム(撮影速度が30分の1コマである場合は、30分の数秒)の時間差のある真上画像UGと正面画像SGとを用いてもよい。
本実施形態では、図5および図6で説明したように、通行エリアに2本の計数ラインL1、L2を設け、歩行者Hが両方の計数ラインを越えたことおよびその順番に基づいて出入口方向に進む人数およびおよびその逆方向に進む人数の計数処理を行ったが、3本以上の計数ラインを用いて計数処理を行ってもよい。すなわち、互いに平行な3本以上の計数ラインのうちのいずれかの2本の計数ラインをどの順番で越えたのかに基づいて計数処理を行う。これにより、一部の画像に乱れがあった場合でも、より確実に計数処理を行うことができる。オプティカルフロー法による計数処理の場合も(図8参照)、複数の計数ラインを用いて計数処理を行ってもよい。
その他、監視システム1、ホストコンピュータ2、ビデオカメラ3の全体または各部の構成、計数の補正方法、処理内容、処理順序などは、本発明の趣旨に沿って適宜変更することができる。
本発明は、施設の通行エリアを通過する人を従来よりも確実に検知することができる。よって、例えば、セキュリティをさらに向上させることやマーケティングの調査のためなどに好適に用いられる。
1 監視システム
2 ホストコンピュータ(計数手段)
3 ビデオカメラ
31 真上カメラ(第一のカメラ)
32 正面カメラ(第二のカメラ)
310 計数補正部(計数手段、検索手段)
311 撮像部(第一の撮影手段)
317 通過物検知部(検知手段)
320 計数処理部(計数手段、物体判別手段)
321 撮像部(第二の撮影手段)
327 通過物検知部(検知手段)
SG 正面画像(第二の画像)
UG 真上画像(第一の画像)
2 ホストコンピュータ(計数手段)
3 ビデオカメラ
31 真上カメラ(第一のカメラ)
32 正面カメラ(第二のカメラ)
310 計数補正部(計数手段、検索手段)
311 撮像部(第一の撮影手段)
317 通過物検知部(検知手段)
320 計数処理部(計数手段、物体判別手段)
321 撮像部(第二の撮影手段)
327 通過物検知部(検知手段)
SG 正面画像(第二の画像)
UG 真上画像(第一の画像)
Claims (9)
- 所定の区域を通過する人の頭頂部を上方より撮影できるように第一のカメラを設けておき、前記所定の区域を通過する人の正面を撮影できるように第二のカメラを設けておき、
前記第一のカメラによって得られた第一の画像および前記第二のカメラによって得られた第二の画像に写っている同一人物を、当該第一の画像の画像領域および当該第二の画像の画像領域に基づいて検知する、
ことを特徴とする人物検知方法。 - 所定の区域を通過する人を監視する監視システムであって、
前記所定の区域を通過する物体の頭頂部を上方より撮影できるように設けられた第一の撮影手段と、
前記所定の区域を通過する物体の正面を撮影できるように設けられた第二の撮影手段と、
前記所定の区域を人が通過したことを前記第一の撮影手段によって得られた第一の画像
および前記第二の撮影手段によって得られた第二の画像に基づいて検知する検知手段と、
を有することを特徴とする監視システム。 - 所定の区域を通過する人を監視する監視システムであって、
前記所定の区域を通過する物体の頭頂部を上方より撮影できるように設けられた第一の撮影手段と、
前記所定の区域を通過する物体の正面を撮影できるように設けられた第二の撮影手段と、
前記第一の撮影手段によって得られた第一の画像に基づいて、物体が前記所定の区域を通過したことを検知する検知手段と、
前記検知手段によって検知された物体が人であるか否かを、前記第二の撮影手段によって得られた第二の画像に基づいて判別する物体判別手段と、
を有することを特徴とする監視システム。 - 前記検知手段は、物体が前記所定の区域を通過したことを、当該物体が前記第一の画像の中の所定の位置に写っていることをチェックすることによって検知し、
前記物体判別手段は、前記検知手段によって検知された物体が人であることを、前記第一の画像の中の当該物体の画像領域に対応する、前記第二の画像の中の画像領域に、人の頭部が写っていることをチェックすることによって判別する、
請求項3記載の監視システム。 - 前記物体判別手段によって人であると判別された物体を計数することによって前記所定の区域を通過した人を計数する計数手段を有する、
請求項3または請求項4記載の監視システム。 - 前記物体判別手段によって人であると判別された物体が写っている前記第一の画像または前記第二の画像を記録する画像記録手段を有する、
請求項3ないし請求項5のいずれかに記載の監視システム。 - 所定の区域を通過する人を監視する監視システムであって、
前記所定の区域を通過する物体の頭頂部を上方より撮影できるように設けられた第一の撮影手段と、
前記所定の区域を通過する物体の正面を撮影できるように設けられた第二の撮影手段と、
前記第二の撮影手段によって得られた第二の画像に基づいて前記所定の区域を通過する物体のうち人であるものを検知する検知手段と、
前記検知手段によって検知された人の背後にいる人を、前記第一の撮影手段によって得られた第一の画像に基づいて検索する検索手段と、
前記所定の区域を通過した人数を、前記検知手段による検知結果および前記検索手段による検索結果に基づいて計数する計数手段と、
を有することを特徴とする監視システム。 - 所定の区域を監視する監視システムであって、
前記所定の区域にいる物体の頭頂部を上方より撮影できるように設けられた第一の撮影手段と、
前記所定の区域にいる物体の正面を撮影できるように設けられた第二の撮影手段と、
前記第一の撮影手段によって得られた第一の画像および前記第二の撮影手段によって得られた第二の画像の両方に写っている人物を検知することによって、前記所定の区域にいる人数を計数する計数手段と、
を有することを特徴とする監視システム。 - 所定の区域を通過する人を監視するためのコンピュータに用いられるコンピュータプログラムであって、
前記所定の区域を通過する物体の頭頂部を上方より撮影できるように設けられた第一の撮影手段から第一の画像を取得する処理と、
前記所定の区域を通過する物体の正面を撮影できるように設けられた第二の撮影手段から第二の画像を取得する処理と、
前記第一の画像に基づいて、物体が前記所定の区域を通過したことを検知する処理と、
検知された物体が人であるか否かを、前記第二の画像に基づいて判別する処理と、
をコンピュータに実行させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003380417A JP2005140754A (ja) | 2003-11-10 | 2003-11-10 | 人物検知方法、監視システム、およびコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003380417A JP2005140754A (ja) | 2003-11-10 | 2003-11-10 | 人物検知方法、監視システム、およびコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005140754A true JP2005140754A (ja) | 2005-06-02 |
Family
ID=34690148
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003380417A Pending JP2005140754A (ja) | 2003-11-10 | 2003-11-10 | 人物検知方法、監視システム、およびコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005140754A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008108458A1 (ja) * | 2007-03-07 | 2008-09-12 | Omron Corporation | 顔画像取得システム、顔照合システム、顔画像取得方法、顔照合方法、顔画像取得プログラムおよび顔照合プログラム |
JP2013079882A (ja) * | 2011-10-04 | 2013-05-02 | Dainippon Printing Co Ltd | 検知システム及び検知装置 |
WO2014208337A1 (ja) * | 2013-06-28 | 2014-12-31 | シャープ株式会社 | 位置検出装置 |
JP2017524208A (ja) * | 2014-05-19 | 2017-08-24 | ホクストン アナリティクス リミテッド | 人口統計情報を求めるシステム及び方法 |
JP2017174343A (ja) * | 2016-03-25 | 2017-09-28 | 富士ゼロックス株式会社 | 入店者属性抽出装置及び入店者属性抽出プログラム |
JP2017174259A (ja) * | 2016-03-25 | 2017-09-28 | 富士ゼロックス株式会社 | 動体計数装置及びプログラム |
JP2018154464A (ja) * | 2017-03-17 | 2018-10-04 | 新明和工業株式会社 | 塵芥収集車およびこれに装備された人物認識装置 |
-
2003
- 2003-11-10 JP JP2003380417A patent/JP2005140754A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008108458A1 (ja) * | 2007-03-07 | 2008-09-12 | Omron Corporation | 顔画像取得システム、顔照合システム、顔画像取得方法、顔照合方法、顔画像取得プログラムおよび顔照合プログラム |
JP2013079882A (ja) * | 2011-10-04 | 2013-05-02 | Dainippon Printing Co Ltd | 検知システム及び検知装置 |
WO2014208337A1 (ja) * | 2013-06-28 | 2014-12-31 | シャープ株式会社 | 位置検出装置 |
CN105340258A (zh) * | 2013-06-28 | 2016-02-17 | 夏普株式会社 | 位置检测装置 |
JP6073474B2 (ja) * | 2013-06-28 | 2017-02-01 | シャープ株式会社 | 位置検出装置 |
JP2017524208A (ja) * | 2014-05-19 | 2017-08-24 | ホクストン アナリティクス リミテッド | 人口統計情報を求めるシステム及び方法 |
JP2017174343A (ja) * | 2016-03-25 | 2017-09-28 | 富士ゼロックス株式会社 | 入店者属性抽出装置及び入店者属性抽出プログラム |
JP2017174259A (ja) * | 2016-03-25 | 2017-09-28 | 富士ゼロックス株式会社 | 動体計数装置及びプログラム |
JP2018154464A (ja) * | 2017-03-17 | 2018-10-04 | 新明和工業株式会社 | 塵芥収集車およびこれに装備された人物認識装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101337060B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
KR101788269B1 (ko) | 이상 상황을 감지하는 장치 및 방법 | |
JP4085959B2 (ja) | 物体検出装置、物体検出方法、および記録媒体 | |
JP6555906B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP5127531B2 (ja) | 画像監視装置 | |
JP2009143722A (ja) | 人物追跡装置、人物追跡方法及び人物追跡プログラム | |
JP6994375B2 (ja) | 画像監視装置 | |
JP2003187352A (ja) | 特定人物検出システム | |
JP2010063001A (ja) | 人物追跡装置および人物追跡プログラム | |
KR101436290B1 (ko) | 생체인식 유형의 접근제어시스템에 대한 부정 검출 | |
KR20120019008A (ko) | 복수의 객체를 추적하는 객체 추적 방법 및 장치 | |
JP4667508B2 (ja) | 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム | |
US20220189038A1 (en) | Object tracking apparatus, control method, and program | |
AU2024201525B2 (en) | Gate system, gate apparatus, image processing method therefor, program, and arrangement method for gate apparatus | |
US9064172B2 (en) | System and method for object detection | |
KR20170006356A (ko) | 이차원 영상 기반 고객 분석 방법 및 장치 | |
KR20170007070A (ko) | 방문객 출입 통계 분석 방법 및 장치 | |
JP4617286B2 (ja) | 不正通過者検出装置及びこれを利用した不正通過者録画システム | |
KR100885418B1 (ko) | 오버헤드 카메라 영상에서 사람을 감지하고 추적하는시스템 및 그 방법 | |
JP2005140754A (ja) | 人物検知方法、監視システム、およびコンピュータプログラム | |
JP2011198244A (ja) | 対象物認識システム及び該システムを利用する監視システム、見守りシステム | |
JP2010262527A (ja) | 通行者計数装置、通行者計数方法および通行者計数プログラム | |
JP6253950B2 (ja) | 画像監視システム | |
JP2005135339A (ja) | 通行人検出方法および装置ならびに通行人計数装置 | |
JP2019029747A (ja) | 画像監視システム |