JP2005326966A

JP2005326966A - 人数カウント装置

Info

Publication number: JP2005326966A
Application number: JP2004142664A
Authority: JP
Inventors: Kenji Tanaka; 健二田中
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2004-05-12
Filing date: 2004-05-12
Publication date: 2005-11-24
Anticipated expiration: 2024-05-12
Also published as: JP4868718B2

Abstract

【課題】移動方向の認識及び人数カウントを精度良く行えるとともに、その処理に必要な演算能力を低減することが可能な人数カウント装置を提供する。
【解決手段】
カウント対象領域を撮影した画像データに対して変化検出エリアを設定し、変化検出エリア内についてのみ現画像データと背景画像データとを差分処理して人物の位置を変化領域として検出する。そして、その変化領域部分又は変化領域部分を含むブロック領域をテンプレート画像としたテンプレートブロックを設定し、その後順次入力される各入力画像に対し、テンプレートブロックによるテンプレートマッチングを行って類似画像領域部分を検索し、その類似画像領域部分がどちらかの判定ラインに到達するまでテンプレートマッチングを継続する。これにより、移動方向を把握する。また、テンプレートブロックを設定した際、変化領域部分の面積を取得しておき、その面積を用いて人数に換算する。
【選択図】図１

Description

この発明は、カメラからの映像を画像処理して映像内の通過人数を数える人数カウント装置に関するものである。

従来より、映像を利用した人数カウントシステムが提案されており、例えば、画面中に設けた計数ライン上の画素値を物体未通過の状態で逐次更新した値を背景値とし、物体通過時に経時的に変化する計数ライン上の画素値を前記背景値と差分・２値化処理して動物体領域を抽出し、該動物体領域を時間順に連結して動物体像を形成し、該動物体像に基づいて動物体数を計数し、前記動物体像の形成開始又は終了時に前記計数ラインの上下に設定した方向判定領域の何れに動物体が存在するかを判定することによって動物体の通過方向を検出するようにした技術がある（特許文献１参照）。すなわち、この技術によると、動物体像が計数ラインの下側から上側に計数ラインを横切る移動動作を行った場合に、上側の方向判定領域で存在有、下側の方向判定領域で存在無しとなるタイミングを検出することにより、上方向に移動していると判定している。

特開平８−１２３９３５号公報

しかしながら、上記従来の技術では、混雑時において動物体像が重なり、一方の動物体が上方向に移動している際に、他の動物体が下側の方向判定領域に重なっている場合、下側の方向判定領域で存在無しとなるタイミングが検出できない。この場合、正確な判定結果が得られなくなる。このように上記従来技術では、混雑時の移動方向の判定に関し、十分な精度が得られていなかった。

また、この種の画像を処理する装置では、一般的に演算量が多くなるため高い演算能力が必要とされているが、演算コスト等の面から、演算量を低減するなどしていかにして必要な演算能力を低減するかが課題とされている。

この発明はこのような点に鑑みなされたもので、移動方向の認識及び人数カウントを精度良く行えるとともに、その処理に必要な演算能力を低減することが可能な人数カウント装置を提供することを目的とする。

この発明に係る人数カウント装置は、人数カウント対象の領域を撮影する撮像手段から順次入力される入力画像をデジタル変換する画像変換部と、画像変換部で得られた画像データを処理して領域内の人物の人数をその人物の移動方向別にカウントする画像処理部とを備え、画像処理部は、画像変換部で得られた画像データから背景画像データを取得して記録する画像記録部と、画像変換部で得られた画像データに対して変化検出エリアを設定し、変化検出エリア内についてのみ現画像データと背景画像データとを差分処理して人物の位置を変化領域として検出する画像比較部と、現画像に対して画像比較部で検出された変化領域部分又は変化領域部分を含むブロック領域をテンプレート画像としたテンプレートブロックを設定するとともに、変化領域部分の面積を取得するブロック取得部と、ブロック取得部でテンプレートブロックが設定された後に画像変換部から順次入力される各入力画像に対し、テンプレートブロックによるテンプレートマッチングを行い、類似画像領域部分を検索して人物の位置を把握し、類似画像領域部分が、変化検出エリアを間に挟むように離間配置された一対の移動方向判定ラインのうちの何れか一方に到達したとき、ブロック取得部で取得された面積を、その到達した移動方向判定ライン側の人物換算用面積として累積加算する処理をテンプレートブロック毎に行うテンプレートマッチング処理部と、テンプレートマッチング換算部で累積加算された移動方向判定ライン毎の人物換算用面積を人数に換算する換算部とを備えたものである。

この発明によれば、人物の通過を検出するための変化検出エリアを画像データ中の一部領域に限定したので、画像データ全体で変化検出を行う場合に比べて演算コストを低減することが可能となる。また、類似画像領域部分が移動方向判定ラインに到達するまでテンプレートマッチングを継続するので、移動方向の認識精度を高めることが可能となる。

実施の形態１．
図１は、この発明の一実施の形態の人数カウント装置を示すブロック図、図２は、カメラ画像の一例を示す図である。
人数カウント装置１は、人数カウント対象の領域の上方に配置された撮像手段としてのカメラ２によって撮影された画像をデジタル変換する画像変換部３と、画像変換部３でデジタル変換された画像データ（フレーム画像）を処理して前記領域内の人物の人数をその人物の移動方向別にカウントする画像処理部４と、画像処理部４での処理結果を出力する例えば表示装置などの出力部５とを備えている。画像処理部４は、画像記録部１１と、画像比較部１２と、ブロック取得部１３と、テンプレートマッチング処理部１４と、換算部１５とを備えている。

以下、人数カウント装置１の動作を説明する。

図２は、カメラで撮影された映像画面の一例を示す図で、この例では通路の真上にカメラを設置した場合の画像を示している。図２の（ａ）〜（ｅ）に示す各フレーム画像は、人物４０が左側から右側に通過する様子を撮影して得られたフレーム画像を示したもので、各フレーム画像は連続したフレームではなく、間に複数のフレームが存在しているものとする。以下、図２に示したフレーム画像を処理して人数カウントを行う動作について説明する。

画面内の略中央には、人物４０の通過を検出するための変化検出エリア２０が設定されている。この変化検出エリア２０は、人物の通過方向に対して直交するように配置されるもので、本例では、図２の画面において左から右へ、又は右から左へ人物が移動する場合を想定しているため、上下方向に配置している。また、変化検出エリア２０を間に挟むように一対の移動方向判定ライン３０ａ，３０ｂが離間配置されている。以下では、図中左側の移動方向判定ラインを左側判定ライン３０ａ、右側の移動方向判定ラインを右側判定ライン３０ｂと呼ぶ。また、変化検出エリア２０は複数の測定ブロック２１ａ〜２１ｇに分割されている。

まず、カメラ２からは人物４０が通路を通過している動画像が得られ、その動画像は画像変換部３に入力され、画像変換部３でデジタルデータに変換される。そして、その画像データは順次画像記録部１１に入力される。画像記録部１１では、動画像を構成する複数のフレーム画像の輝度情報を順次記録するとともに、動作開始直後の初期動作の際には、最初に得られたフレーム画像を背景画像として別途記録保持する。画像記録部１１に記録されるフレーム画像は、画像変換部３から入力される全てであっても良いし１フレーム置きに記録するようにしてもよい。ここで記録された現画像データは画像比較部１２に順次入力される。

図３は、画像比較部及びブロック取得部における処理の流れを示すフローチャートである。以下、画像比較部１２及びブロック取得部１３で行われる処理について図３を参照しながら説明する。なお、以下で行われる処理は、１つのフレーム画像に対して行われる処理である。

ここで、図２（ａ）のフレーム画像を画像比較部１２で処理する場合について説明する。この場合、画像比較部１２は、画像記録部１１から入力された現画像データと画像記録部１１に記録保持された背景画像データとを、変化検出エリア２０内についてのみ差分処理する（Ｓ１）。このフレーム画像において、人物４０は、まだ変化検出エリア２０に到達していないため、変化検出エリア２０内で何ら変化領域が検出されず、画像比較部１２での処理は終了する。

図２（ｂ）のフレーム画像を処理した場合には、人物４０は変化検出エリア２０に到達したため、ステップＳ１において変化検出エリア２０で変化領域として図２（ｂ）中のハッチングで示す領域２２Ａ〜２２Ｄが検出されることになる。そして、変化検出エリア２０を構成する各測定ブロック２１ａ〜２１ｇ毎に、それぞれテンプレートブロック取得処理を行う（Ｓ２）。すなわち、まず測定ブロック２１ａについて、ステップＳ１で得られた変化領域２２Ａが測定ブロック２１ａで囲まれた領域において占める割合が所定値を超えてるかどうかを判断する（Ｓ３）。ここで、測定ブロック２１ａにおいては、人物４０の左肩に相当する部分が変化領域２２Ａとして検出されているが、ここでは所定値を超えていないとすると（Ｓ３）、測定ブロック２１ａの処理は終了し、次の測定ブロック２１ｂについてステップＳ３に戻って処理を行う。ここで、変化領域２２Ａが測定ブロック２１ａで囲まれた領域において占める割合が所定値を超えてるかどうかを判断するのは、ノイズなどによる変化領域を人物４０による変化領域であるとして誤って認識するのを防止するためである。つまり、ここでは人物４０の左肩部分は、測定ブロック２１ａのほんの一部にしか写っていないため、その部分については人物４０抽出部分として扱わないためである。

一方、測定ブロック２１ｂにおいては、人物４０の頭部を含む左半身に相当する部分が変化領域２２Ｂとして検出され、この変化領域２２Ｂは、測定ブロック２１ｂで囲まれた領域において占める割合が所定値を超えてるとすると（Ｓ３）、続いて測定ブロック２１ｂに重なる類似ブロック領域（後述する）が存在するかどうかを判断する（Ｓ４）。

このステップＳ４の判断処理を行う意図については、後にその説明を譲ることにして、以下説明を続けると、ステップＳ４で測定ブロック２１ｂに重なる類似ブロック領域が存在しないと判断した場合、画像比較部１２はテンプレートブロック設定対象の測定ブロックが検出されたことをブロック取得部１３に通知する。その通知を受けたブロック取得部１３は、その測定ブロック２１ｂをテンプレートブロックとして設定し、対応の変化領域２２Ｂの面積を記録保持するとともに、変化領域２２Ｂの輝度値パターンを記録保持して（Ｓ５）、測定ブロック２１ｂについてのテンプレートブロック取得処理を終了する。

同様にして測定ブロック２１ｃ〜２１ｇについても処理し、図２（ｂ）に示したフレーム画像においては、測定ブロック２１ｂ，２１ｃに対応する２つのブロック領域がそれぞれテンプレートブロックとして設定されることになる。次の図４は、そのテンプレートブロックを示したものである。

図４は、テンプレートブロックを示す図である。この図４に示すテンプレートブロック５０ａ，５０ｂに関する情報、すなわち変化領域２２Ｂ，２２Ｃの面積及び輝度値パターンが記録保持されることになる。ここで記録保持されたそれぞれの輝度値パターンは、次のテンプレートマッチング処理部１４において、テンプレートマッチングを行う際のテンプレート画像として用いられる。なお、テンプレート画像としては、変化領域部分を用いてもよいし、変化領域部分を含むブロック領域全体を用いるようにしてもよい。

次に、テンプレートマッチング処理部１４での処理について説明する。なお、テンプレートマッチング処理部１４及び以下に詳述する換算部１５は、ブロック取得部１３でテンプレートブロックが設定されて初めて起動する処理部であり、テンプレートブロックが設定されていない場合には、起動せず何ら処理を行わない。

図５は、テンプレートマッチング処理部における処理の流れを示すフローチャートである。
ここで、フローチャートの説明に先だって、テンプレートマッチング処理部における処理の概要を説明する。テンプレートマッチング処理部１４は、現在テンプレートマッチング処理部１４で処理している現フレーム画像、または現フレーム画像よりも以前のフレーム画像を画像比較部１２で処理した際に、テンプレートブロックが設定されていれば（つまり、人物４０が変化検出エリア２０を通過していれば）、テンプレートブロック設定以降に順次入力される入力画像に対し、そのテンプレートブロックによるテンプレートマッチングを行い、類似ブロック領域部分を検索して人物４０の位置を把握する。このテンプレートマッチングを、類似ブロック領域部分が左側判定ライン３０ａ又は右側判定ライン３０ｂに到達するまで継続する。なお、その間、類似ブロック領域を示す類似ブロック枠は、類似ブロック領域部分に追従してすなわち人物４０に追従して映像中を移動することになる。

そして、類似ブロック領域部分が、左側判定ライン３０ａ又は右側判定ライン３０ｂのうちの何れか一方に到達したとき、類似ブロック領域に対応するテンプレートブロックについてブロック取得部で取得された面積を、その到達した判定ライン側の人物換算用面積として累積加算する処理を行う。テンプレートマッチング処理部１４では、この処理を、類似ブロック領域６０ａ，６０ｂ毎（換言すればテンプレートブロック５０ａ，５０ｂ毎）に行うものである。

以下、図５に示したフローチャートに従ってテンプレートマッチング処理部１４における処理を説明する。ここでは図２（ｃ）のフレーム画像（変化検出ラインを越えて右側判定ライン３０ｂに到達する前の位置に人物４０がいる状態のフレーム画像）を処理する場合について説明する。この場合、先の図２（ｂ）に示すフレーム画像が画像比較部１２及びブロック取得部１３で既に処理されたことによってテンプレートブロック５０ａ，５０ｂが既に設定されており、このテンプレートブロック５０ａ，５０ｂに基づいて入力フレーム画像に対してテンプレートマッチングを行う（Ｓ１１）。すなわち、入力フレーム画像からテンプレートブロック５０ａ，５０ｂに類似した画像領域部分を検出する処理を行う。ここでは、図２（ｃ）のフレーム画像から類似ブロック領域６０ａ，６０ｂが検出されることになる。なお、検出された類似ブロック領域６０ａ，６０ｂには図２（ｃ）に示すような類似ブロック枠が表示される。そして、類似ブロック領域６０ａ，６０ｂ毎（換言すればテンプレートブロック５０ａ，５０ｂ毎）の面積累積処理に入る（Ｓ１２）。

ところで、テンプレートマッチングの際には、人物が映った画像領域部分を類似部分として検出できず、人物以外の背景などを類似部分と判断して類似ブロック枠が表示されてしまう場合がある。この場合、類似ブロック枠はその位置に固定されて動かない状態となる。このように人物以外の背景に固定されてしまった類似ブロック枠が画面中にいつまでも残存しているのは好ましくないため、画面から削除する。そのための処理として、本装置では、同一の類似ブロック枠が設定数を超えるフレーム画像に渡って存在している場合、その類似ブロック枠を削除する処理を行うようにしている。この設定数は、通常、人物が変化検出エリア２０を通過してから左側判定ライン３０ａ又は右側判定ライン３０ｂを通過するまでのフレーム画像数に設定されている。こうすることで、人物に正確に類似ブロック枠が設定された場合に類似ブロック枠が削除されるのを防止することができる。

図５のフローチャートの説明に戻る。面積累積処理では、まず、類似ブロック領域６０ａが左側判定ライン３０ａ又は右側判定ライン３０ｂに到達したかを判断し（Ｓ１３）、ここではどちらにも到達していないので、フレーム数カウンタをインクリメントする（Ｓ１４）。そして、フレーム数カウンタが設定値を超えるか否かを判断し（Ｓ１５）、ここでは超えていないとすると、次の類似ブロック領域６０ｂについて同様に処理する。類似ブロック領域６０ｂについてもどちらの判定ライン３０ａ，３０ｂにも到達していないので、フレーム数カウンタをインクリメントした後、面積累積処理を終了して、テンプレートマッチング処理部１４での処理を終了する。

ここで、仮に類似ブロック枠が背景に固定されて設定値を越えるフレーム数、画面中に残存している場合、ステップＳ１５の判断処理でＹＥＳとなり、フレーム数カウンタをクリアした（Ｓ１６）後、その類似ブロック枠の表示が削除されるとともに、対応のテンプレートブロックが削除（すなわち、記録保持されていたテンプレートブロックに関する情報（変化領域の面積及び輝度値パターン）が削除）されることになる（Ｓ１７）。

そして、人物４０が図２（ｃ）に示す位置から移動して、今、図２（ｄ）に示す位置に来たときのそのフレーム画像を処理する場合について説明する。このフレーム画像をテンプレートマッチング処理部１４で処理した場合、ステップＳ１１で類似ブロック領域６０ａ，６０ｂが検出され、ステップＳ１２以降の面積累積処理に入る（Ｓ１２）。ここでは、類似ブロック領域６０ａについて、右側判定ライン３０ｂに到達しているので（Ｓ１３）、その類似ブロック領域６０ａに対応するテンプレートブロック５０ａについてブロック取得部１３で取得された面積、すなわち変化領域２２Ｂの面積を右側判定ライン３０ｂ側の人数換算用面積として累積加算する（Ｓ１８）。そして、類似ブロック領域６０ａの類似ブロック枠の表示を削除するとともに、対応のテンプレートブロック５０ａ（図４参照）を削除（すなわち、そのテンプレートブロック５０ａに関する情報（変化領域の面積及び輝度値パターン）を削除）する。

そして、ステップＳ１３に戻って次の類似ブロック領域６０ｂについて同様の処理を行う。類似ブロック領域６０ｂについても右側判定ライン３０ｂに到達しているので（Ｓ１３）、その類似ブロック領域６０ｂに対応するテンプレートブロック５０ｂ（図４参照）についてブロック取得部１３で取得された面積、すなわち変化領域２２Ｃの面積を右側判定ライン３０ｂ側の人数換算用面積として累積加算する（Ｓ１８）。そして、類似ブロック領域６０ｂの類似ブロック枠の表示を削除するとともに、対応のテンプレートブロック５０ｂ（図４参照）を削除（すなわち、そのテンプレートブロック５０ｂに関する情報（変化領域２２Ｃの面積及び輝度値パターン）を削除）する。以上により面積累積処理を終了し、テンプレートマッチング処理部１４での処理を終了する。

ここで、図２には、２つの類似ブロック領域６０ａ，６０ｂが左右の位置がずれることなく並んで配置された状態を示しているが、実際には、図６に示すようにずれて配置される場合がほとんどである。これは、歩いている人物を上から撮影した場合、手や足の動きも映るため、その動きがテンプレートマッチングにおける類似画像領域の検出に影響を及ぼすためである。なお、この場合においてもテンプレートマッチング処理部１４で行われる処理は上記と同様であるため、その詳細な説明は省略する。

続いて、換算部１５の動作について説明する。

図７は、換算部の処理の流れを示すフローチャートである。
ここで、フローチャートの説明に先だって、換算部１５における処理の概要を説明する。換算部１５では、現フレーム画像において判定ライン３０ａ又は判定ライン３０ｂに到達しない類似ブロック領域が存在する場合には換算処理を行わないようにしている。すなわち、人物が変化検出エリア２０と判定ライン３０ａ，３０ｂとの間の領域にいる場合や、例えば人物４０に対応した類似ブロック領域が図６に示したように左右の位置がずれており、一方の類似ブロック領域６０ａは右側判定ライン３０ｂを通過しているものの、類似ブロック領域６０ｂは右側判定ライン３０ｂに到達していない場合には換算処理を行わない。特に、後者の場合に換算処理を行ってしまうと、類似ブロック領域６０ａに対応した変化領域２２Ｂの面積は人物換算用面積として累積加算されているが、類似ブロック領域６０ｂは右側判定ライン３０ｂの到達前であるため、テンプレートマッチング処理部１４でのＳ１３の処理でＮＯとなり変化領域２２Ｃの面積は累積加算されていない。すなわち、人物４０の半分の面積しか得られていないため、以下に詳述する換算処理の際に、正確な結果が得られなくなってしまう。このため、現フレーム画像において判定ライン３０ａ又は判定ライン３０ｂに到達しない類似ブロック領域が存在する場合については換算処理は行わず、存在しない場合に換算処理を行うようにしている。

しかしながら、換算処理を行うタイミングを現フレーム画像において判定ライン３０ａ又は判定ライン３０ｂに到達しない類似ブロック領域が存在しない場合に限定してしまうと、通路が混雑している場合には常に類似ブロック領域が映像中に存在しているため、換算処理を行うタイミングが大きく遅れてしまうことになる。このため本例では、類似ブロック領域が存在していても一定時間間隔で強制的に人数換算処理を行うようにしている。なお、本実施の形態においては、類似ブロック領域が存在する場合の人数換算処理の際に、上記のような人物の判定ライン通過中の換算処理の精度低下を防止するため、補正演算を行うようにしている。補正演算の具体的な内容については後述する。

以下、図７に示したフローチャートに従って換算部１４における処理を説明する。ここでは図２（ｃ）のフレーム画像を処理する場合を説明する。まず、現フレーム画像において判定ライン３０ａ又は判定ライン３０ｂに到達しない類似ブロック領域が存在するか否かを判断し（Ｓ２１）、ここでは存在するので、タイマカウンタをインクリメントし（Ｓ２２）、設定値と比較する（Ｓ２３）。ここではタイマカウンタ値が設定値を超えていないとすると、そのフレーム画像の換算部１５での処理を終了する。

そして、人物４０が右側判定ライン３０ｂを超えて類似ブロック領域６０ａ，６０ｂが右側判定ライン３０ｂに到達した図２（ｄ）のフレーム画像を処理する際には、類似ブロック領域６０ａ，６０ｂが右側判定ライン３０ｂに到達しているので（Ｓ２１）、累積人数換算用面積を人数へ換算して記録する処理を行う（Ｓ２６）。ここでは、図２（ａ）〜図２（ｄ）の各フレーム画像が順次テンプレートマッチング処理部１４で既に処理されたことによって、図２（ｂ）のフレーム画像の処理の際に変化領域２２Ｂと変化領域２２Ｃとを加算した累積面積が人数換算用面積として得られているので、この累積人数換算用面積を人数へと換算する。累積人数換算用面積の人数への換算は、次の（１）式により行う。

人数＝（累積人数換算用面積）÷（人物一人の基準面積） …（１）

なお、テンプレートマッチング処理部１４では、累積人数換算用面積が判定ライン毎に累積されているので、人物の移動方向別に人数を換算することができる。図２の例では、右側判定ライン３０ｂ側に１人と換算され、すなわち、左から右側に通過する人物が１人とカウントされることになる。

続いて、図６に示したフレーム画像を換算部１５で処理する場合について説明する。この場合、画面内に右側判定ライン３０ｂに到達していない類似ブロック領域６０ｂが存在するので（Ｓ２１）、タイマカウンタをインクリメントし（Ｓ２２）、設定値と比較する（Ｓ２３）。ここではタイマカウンタ値が設定値を超えたとすると、すなわち画面中にまだ判定ライン３０ｂを通過しきっていない人物４０が存在するため本来なら人数換算処理を行いたくないが、人数換算タイミングとなり強制的に換算処理を行う場合であるとすると、タイマカウンタをクリアした後（Ｓ２４）、補正演算を行う（Ｓ２５）。

この補正演算は、図６に示したフレーム画像の場合、上述したように類似ブロック領域６０ａ側に対応した変化領域２２Ｂの面積しか累積加算されておらず、類似ブロック領域６０ｂ側に対応した変化領域２２Ｃの面積は加算処理されていない。このため、このまま人数の換算処理を行うと、人物の一人分の面積が得られていないため、正確な人数を得ることができない。そこで、本例においては、補正演算として、累積面積に対して基準面積の所定の割合（第１の所定の割合）分、ここでは５０％分を加算して補正するようにしている。これにより、人物の半分の面積しか得られていない場合でも、正確な人数を得ることが可能となる。なお、この補正演算の手法は、適宜変更できるものとする。

以上のようにして換算部１５で換算された人数は、分単位や時間単位に整理され、人数カウント結果として出力部５に出力される。この際、適宜グラフ化して表示するようにしてもよい。また、人数カウント結果は、必要に応じて外部へ通知・保存することが可能な構成とされている。

ここで、図３に示した画像比較部のフローチャートに戻って、ステップＳ４の判断処理を設けた意図について説明する。
カメラ２では、人物４０が変化検出エリア２０に入ってから通過するまでの間に複数のフレーム画像を得ている。このため、その各フレーム画像を画像比較部１２で処理する度に同一人物についてテンプレートブロックが多重に設定されないように、ステップＳ４の判断処理を設けている。また、変化検出エリア２０上で停止した人物に対するテンプレートブロックの多重設定を回避する意図もある。すなわち、所定値を超える割合の変化領域が測定ブロック内で検出されたとしても、その測定ブロックに重なって類似ブロック領域が存在している場合には、今、変化検出エリア２０で検出された変化領域の人物は、その類似ブロック領域内に映る人物と同一人物であると判断してステップＳ５のテンプレートブロックの設定処理を省略するのである。

また、今、同一人物である場合を説明したが、例えば混雑時に、人物Ｂの前に別の人物Ａが先に変化検出エリア２０を通過し、その人物Ａに対してテンプレートブロックが設定された直後に、人物Ｂが変化検出エリア２０に入ってくるという状況が考えられる。この場合、人物Ｂに対してテンプレートブロックを設定するに際し、人物Ａを検出した類似ブロック領域が測定ブロックに重なった状態で残存している場合、人物Ｂにはテンプレートブロックが設定されないことになる。しかしながら、カメラ２では、上述したように人物が変化検出エリア２０に入ってから通過するまでの間に複数のフレーム画像が得られているため、人物Ａを検出した類似ブロック領域が測定ブロックから離れ、且つ、人物Ｂがまだ変化検出エリア２０内に残っているタイミングがあるので、そのフレーム画像の処理時に人物Ｂに対してテンプレートブロックが設定され、混雑時にも対応できるようになっている。

本実施の形態によれば、人物の通過を検出するための変化検出エリア２０をフレーム画像中の一部領域に限定したので、フレーム画像全体で変化検出を行う場合に比べて演算コストを低減することが可能となる。また、テンプレートブロック毎にそのテンプレートブロックに類似した類似ブロック領域が判定ライン３０ａ，３０ｂに到達するまでテンプレートマッチングを継続するので、混雑時においても移動方向の認識精度を高めることが可能となる。

また、類似ブロック領域が判定ライン３０ａ，３０ｂに到達したときに、つまり人物通行が途切れたときに人数換算処理を行うようにしたので、人物に追従した複数の類似ブロックのうちの一部のみが判定ライン３０ａ，３０ｂを通過した場合の換算誤差を防止することが可能となる。

また、人物通行が途切れないときには、一定時間間隔で強制的に換算処理を行うようにしたので、人数カウント結果を遅延することなく取得することができる。

なお、換算部１５は、累積加算後の人物換算用面積から混雑時か閑散時かを判断し、それぞれの状況に応じて予め決定された補正演算を行って人物換算用面積を補正した上で人数換算を行うようにしてもよい。例えば、累積加算後の人物換算用面積が人物一人分の基準面積を下回る場合、閑散時と判断し、累積加算後の人物換算用面積が、基準面積に対して所定の割合（第２の所定の割合）に達していれば一人と換算するものである。

累積面積が一人分の面積に達しない場合とは、具体的には例えば閑散時に人物が１人で変化検出エリア２０を素早く通過したような場合が該当する。この場合、変化検出エリア２０で求められた変化領域が、測定ブロックで囲まれた領域において占める割合が所定値を超えていたとしても、基準面積に達しないことがある。このような場合でも、累積面積が基準面積に対して所定の割合（第２の所定の割合）に達していれば、一人として換算することにより、人通りが閑散な場合に、見落としを少なく人数カウントを行うことが可能となる。具体的には、例えば所定の割合が２０％で、基準面積が１００の場合、累積面積が２０以上１００未満であれば一人として換算されることになる。

一方、混雑時と判断するのは、累積加算後の人物換算用面積が人物一人分の基準面積を上回る場合であり、この場合、図７のフローチャートで説明したように、累積加算後の人物換算用面積に対して、基準面積の第１の所定の割合分を加算する補正を行うことにより、人物の半分の面積しか得られていない場合でも、正確な人数を得ることが可能とするものである。

なお、上記実施の形態では、背景画像の更新については特に触れず、動作開始直後の初期動作の際に取得した背景画像を継続して利用するものとして説明してきたが、適宜更新するようにしてもよい。

また、テンプレート画像についても、テンプレートマッチングを行って類似した画像ブロック領域部分を検出した際、その検出された画像ブロック領域部分を新たなテンプレート画像として更新するようにしてもよい。

この発明の一実施の形態の人数カウント装置を示すブロック図である。カメラから得られたフレーム画像を示す画面の一例を示す図である。画像比較部及びブロック取得部の処理の流れを示すフローチャートである。テンプレートブロックの一例を示す図である。テンプレートマッチング処理部の処理の流れを示すフローチャートである。テンプレートブロックの実際の設定例を示す図である。換算部の処理の流れを示すフローチャートである。

符号の説明

１人数カウント装置、２カメラ（撮像手段）、３画像変換部、４画像処理部、１１画像記録部、１２画像比較部、１３ブロック取得部、１４テンプレートマッチング処理部、１５換算部、２０変化検出エリア、２２Ａ〜２２Ｄ変化領域、３０ａ左側判定ライン、３０ｂ右側判定ライン、４０人物、５０ａ，５０ｂテンプレートブロック、６０ａ，６０ｂ類似ブロック領域。

Claims

人数カウント対象の領域を撮影する撮像手段から順次入力される入力画像をデジタル変換する画像変換部と、画像変換部で得られた画像データを処理して前記領域内の人物の人数をその人物の移動方向別にカウントする画像処理部とを備え、
該画像処理部は、前記画像変換部で得られた画像データから背景画像データを取得して記録する画像記録部と、前記画像変換部で得られた画像データに対して変化検出エリアを設定し、該変化検出エリア内についてのみ現画像データと前記背景画像データとを差分処理して人物の位置を変化領域として検出する画像比較部と、前記現画像に対して前記画像比較部で検出された変化領域部分又は該変化領域部分を含むブロック領域をテンプレート画像としたテンプレートブロックを設定するとともに、前記変化領域部分の面積を取得するブロック取得部と、該ブロック取得部で前記テンプレートブロックが設定された後に前記画像変換部から順次入力される各入力画像に対し、前記テンプレートブロックによるテンプレートマッチングを行い、類似画像領域部分を検索して人物の位置を把握し、該類似画像領域部分が、前記変化検出エリアを間に挟むように離間配置された一対の移動方向判定ラインのうちの何れか一方に到達したとき、前記ブロック取得部で取得された面積を、その到達した移動方向判定ライン側の人物換算用面積として累積加算する処理をテンプレートブロック毎に行うテンプレートマッチング処理部と、該テンプレートマッチング換算部で累積加算された移動方向判定ライン毎の人物換算用面積を人数に換算する換算部と
を備えたことを特徴とする人数カウント装置。
前記換算部は、現画像データにおいて前記何れか一方の移動方向判定ラインに到達しない前記類似画像領域部分が存在する場合には換算処理を行わないことを特徴とする請求項１記載の人数カウント装置。
前記換算部は、現画像データにおいて前記何れか一方の移動方向判定ラインに到達しない前記類似画像領域部分が存在する場合であっても、予め設定された一定時間間隔で強制的に換算処理を行うことを特徴とする請求項２記載の人数カウント装置。
前記換算部は、前記累積加算後の人物換算用面積から混雑時か閑散時かを判断し、それぞれの状況に応じて予め決定された補正演算を行って前記人物換算用面積を補正した上で人数換算を行うことを特徴とする請求項１乃至請求項３の何れかに記載の人数カウント装置。
前記換算部は、前記累積加算後の人物換算用面積が人物一人分の基準面積を上回る場合、混雑時と判断して前記累積加算後の人物換算用面積に対して、前記基準面積の第１の所定の割合分を加算する補正を行い、前記累積加算後の人物換算用面積が人物一人分の基準面積を下回る場合、閑散時と判断し、前記累積加算後の人物換算用面積が第２の所定の割合に達していれば、一人と換算することを特徴とする請求項４記載の人数カウント装置。