JP2015070359A - 人数カウント装置 - Google Patents

Abstract

【課題】カメラで撮影した映像をもとに所定エリアの人数をカウントする際に、高い認識精度を実現できる技術を提供する。【解決手段】演算・制御部１４の差分画像重ね合わせ処理部２４は、背景差分処理部２２が生成するエッジ背景差分画像とフレーム間差分処理部２３が生成するフレーム間差分画像を重ね合わせる処理を行う。ラベリング部２５のラベリング処理、輪郭追跡部２６の輪郭追跡処理、頭部抽出部２７の頭部抽出処理後、必要に応じて影除去部２８による影除去処理がなされる。そして、トラッキング部２９が、前回のフレームで検出した人候補ブロックと今回のフレームで検出した人候補ブロックの検出結果に対して突き合わせを行う。さらに、人物判定部３０は、身長Ｈや人の幅等を算出し、大きさにもとづく人物判定処理（人検出処理）を行う。【選択図】図２３

Description

本発明は、人数カウント装置に係り、特にカメラで撮影した映像をもとに所定エリアの人数をカウントする人数カウント装置に関する。

従来より、監視カメラで撮像された動画像から人物のみを抽出する手法として、以下の方式が知られている。
（１）画像差分を利用する方式
（２）画像内の色や動きを利用する方式
（３）パタン認識による人物形状を抽出する方式

この中で、（１）画像差分を利用する方式として、時間的に連続する画像（フレームという）の差分を取ることで人物を抽出するフレーム間差分法と、予め準備した背景のみの画像と撮像した画像との差分を取ることで人物を抽出する背景差分法が知られている。

例えば、背景差分法を使用した技術として、照明変動や背景変動があっても静止人物を含む人物を判別する手法であり、入力画像における１または複数の画素からなる画素単位毎の輝度変化の微動を検知し、当該画素単位の数が所定の閾値以上である場合に、当該検出対象領域を人物が存在する領域である人物領域とするとともに、エッジを検出する機能も備えている（例えば、特許文献１参照。）。

特開２００９−１４０３０７号公報

ところで、特許文献１に開示の技術では、以下のような課題がある。つまり、カメラを真上に設置し魚眼レンズを使用することを推奨している。この場合、カメラを真上に設置することで人の重なりは回避できるが、カメラ設置位置及び撮影エリアは限られたものとなってしまう。また俯瞰する場合は人の重なりが生じてしまう。カメラ視野内においては、近くの人は大きく、遠くの人は小さく写る。移動体領域が抽出されても、カメラ設置位置からの距離による個々の人物の大きさを算出する手段がないため、カメラ視野内の個々の人物に分離してカウントすることが困難である。

本発明は、以上のような状況に鑑みなされたものであって、上記課題を解決する技術を提供することにある。

本発明の人数カウント装置は、時系列に連続するフレームである画像を取得し、エッジ背景差分画像を生成する背景差分処理部と、前記時系列に連続する画像を取得して、フレーム間差分画像を生成するフレーム間差分処理部と、前記エッジ背景差分画像と前記フレーム間差分画像とを重ね合わせる差分画像重ね合わせ処理部と、前記差分画像重ね合わせ処理部で重ね合わされた画像にラベリング処理を施すラベリング部と、ラベリング処理がなされた画像をもとに移動体のみのエッジ情報の追跡を行って前記移動体の輪郭画像を生成する輪郭抽出部と、前記輪郭画像をもとに人の数を計数する人数カウント部と、を備える。
前記画像を取得するカメラは計数するエリアを俯瞰する位置に設置されてもよい。
前記輪郭抽出部で生成された前記輪郭画像をもとに、前記輪郭画像の輪郭の凸形状を検出することで画像中の人の頭部を抽出する頭部抽出部を備え、前記人数カウント部は、前記人の頭部をもとに前記人の数を計数してもよい。

本発明によると、カメラで撮影した映像をもとに所定エリアの人数をカウントする際に、高い認識精度を実現できる。

本実施形態に係る、カメラ設置位置と撮影範囲との関係を示した図である。 本実施形態に係る、カメラからの視野状況を示した図である。 本実施形態に係る、フレーム間差分法について説明する図である。 本実施形態に係る、フレーム間差分法の課題について説明する図である。 本実施形態に係る、グレースケール画像とその二値化画像を示した図である。 本実施形態に係る、エッジ画像の生成処理過程の画像の遷移を示した図である。 本実施形態に係る、エッジ画像を重ね合わせたものとそれらから得られるエッジ背景画像を示した図である。 本実施形態に係る、エッジ画像、エッジ背景画像（背景累積画像）及び移動体抽出画像の関係を示した図である。 本実施形態に係る、移動体の輪郭画像の抽出処理を説明するための図である。 本実施形態に係る、ラベリング機能を説明するための図 本実施形態に係る、輪郭画像から頭部検出する方法を説明するための図である。 本実施形態に係る、影の除去の処理を説明する図である。 本実施形態に係る、トラッキング機能を説明するための図である。 本実施形態に係る、撮像範囲とカメラ設置位置との関係を横から見た状態を示した図である。 本実施形態に係る、カメラ視野とカメラの関係をカメラ上部から見た状態として示した図である。 本実施形態に係る、撮像範囲とカメラ設置位置との関係を、カメラ直下からの所定の距離を示した図である。 本実施形態に係る、図１６に対応するカメラ視野を示した図である。 本実施形態に係る、カメラ視野水平方向における位置関係を示した図である。 本実施形態に係る、身長Ｈの求め方を説明するための図である。 本実施形態に係る、画角と映り方の違いを説明する図である。 本実施形態に係る、人の幅の算出について説明する図である。 本実施形態に係る、人数カウント装置の概略構成を示した機能ブロック図である。 本実施形態に係る、演算・制御部の構成を示したブロック図である。 本実施形態に係る、背景差分処理部の成を示した機能ブロック図である。 本実施形態に係る、フレーム間差分処理部の構成を示した機能ブロック図である。

次に、本発明を実施するための形態（以下、単に「実施形態」という）を、図面を参照して具体的に説明する。

図１は本実施形態に係る、カメラ設置位置と撮影範囲との関係を示した図である。図２はカメラからの視野状況を示す図である。図１に示すように、監視用のカメラが所定の高さＴに設置され、所定のエリア（人数計数エリアＡ１）内を移動する人数カウントが行われる。また、図２に示すように、人物検出エリアＡ２（図中一点破線）が設定され、この人物検出エリアＡ２内での人数カウントが行われる。

本実施形態では、汎用の監視カメラを俯瞰する位置に設置し、撮像した動画像から指定したエリア内を移動している人物を抽出して計数する機能と、トラッキング機能により移動している人物の移動軌跡を表示する機能を有する人数カウント装置について説明する。その際に、人領域のエッジと背景となる部分のエッジを分離することにより、個々の人物領域を抽出する。なお、使用する画像は、時系列に連続するフレームである画像であれば動画像に限らず、比較的短周期で撮影される静止画が用いられても良い。

まず、本実施形態に適用する画像処理等の基本的な技術について簡単に説明する。
最初に、カメラで撮像した動画像の中で、指定したエリアを通過する人数を計測するために、フレーム間差分法を用いて移動体領域を検出する。

図３及び図４を参照してフレーム間差分法について説明する。フレーム間差分法は、連続するフレーム間で差分をとり、移動体の検出を行う手法である。図示のように、時系列に連続する画像Ａ、画像Ｂ、画像Ｃについて、画像Ａと画像Ｂ、画像Ｂと画像Ｃでそれぞれ輝度値の差分を取ることで、差分画像ＡＢおよび差分画像ＢＣが得られる。さらに差分画像ＡＢと差分画像ＢＣの論理積処理を行うことにより、画像Ｂにおける移動体を抽出することができる。

フレーム間差分を利用して移動体領域を検出するに当たり、図３に示すように、フレーム間の時間間隔が長い場合や指定エリア内を移動する人の歩行速度が速い場合は、人物の重なりがないために人の分離が容易に行える。

一方、図４に示すように、人物がカメラから離れていく方向に歩いて行く場合や、もしくは人の歩く速度が遅い場合は、人物が重なってしまい、その結果人領域の検出がうまく行えないという課題がある。

上記課題を解決するため、本実施形態では、背景差分処理を行うことにより、移動体の輪郭を抽出し、フレーム間差分による移動体抽出結果との照合をする。

背景差分法は、入力画像と予め作成した背景画像との差分を取ることで、移動体抽出を行う手法である。入力画像はエッジ抽出を行い、エッジ強度画像を出力後、二値化を行ってエッジ画像に変換する。

図５にグレースケール画像（図５（ａ））とその二値化画像（図５（ｂ））を示す。二値化処理は画像を白と黒の２色に変換することであって、各画素の輝度値が閾値を上回っている場合は白、下回っている場合は黒で表す。これにより画像内の有効な特徴を抽出する。

エッジ抽出処理は、画像の明るさの鋭敏な変化を検出する手法であり、エッジを抽出することで物体の境界を示す連続した曲線を得ることができる。

図６にエッジ画像の生成処理過程の画像の遷移を示す。エッジ抽出処理は、図６（ａ）に示す入力画像の各画素の輝度値とRobinsonオペレータを積和演算し、出力する各画素の最終画素値を求めることで、エッジ強度画像を生成する。そして二値化を行ってエッジ画像に変換する。なおエッジ抽出処理としてRobinsonオペレータが用いられたがこれに限らず、例えば、PrewittオペレータやKirschオペレータ等が用いられてもよい。

図７はエッジ画像を重ね合わせたものと、それらから得られるエッジ背景画像を示している。背景画像は上記で求められたエッジ画像を重ね合わせ、各画素の有効エッジを累積しエッジ背景画像（背景累積画像）を生成する。

例えば、重ね合わせるエッジ画像の各画素の輝度値が白の場合は画素の累積値を＋１加算し、黒の場合は−１減算することで各画素の累積値を求める。画面表示は、画素の累積値が閾値（例えば＋２５６）以上の場合は白、閾値未満の場合は黒として二値化表示することで、エッジ背景画像（背景累積画像）を常時更新する。

図８にエッジ画像、エッジ背景画像（背景累積画像）及び移動体抽出画像の関係を示す。求められたエッジ画像とエッジ背景画像（背景累積画像）での差をとり、エッジ背景差分画像（移動体抽出画像）を抽出する。

図９は移動体の輪郭画像の抽出処理を説明するための図である。フレーム間差分法で求めた移動体抽出結果（フレーム間差分画像）と、背景差分法によって得られた移動体抽出結果（エッジ背景差分画像）とを重ね合わせ、ラベリング処理を行った後、移動体のみのエッジ情報の追跡を行うことで移動体の輪郭画像を生成する。

図１０はラベリング機能を説明するための図であり、図１０（ａ）はラベリング処理前の二値化画像であり、図１０（ｂ）は一部拡大して示した図である。ラベリング処理は、つながっている白の部分（または黒の部分）の画素について、１つの塊としてブロック化する。ブロック化した後、面積閾値（所定のキャリブレーションで求めた人物領域の画素数）より小さいエリアはノイズブロックとして除去する。また、追跡したエッジ情報から離れているブロックについても除去する。

図１１は輪郭画像から頭部検出する方法を説明するための図である。抽出された輪郭画像（図１１（ａ））から凸部（人の頭部の頂点）を検出する。追跡し求められた輪郭画像において、人物は上が頭部、下が足部となる。このことから、図１１（ｂ）の拡大図に示すように、輪郭線の向きが上向きから下向きに変化した点、つまり、輪郭線の傾きが＋から−に変化した点を変曲点とし、この点を頭部候補の頂点として、人の大きさで切り出しを行い人数計数を行う。また複数の人物が重なっている場合は、予め求めている人の大きさによる切り出しを行い、人数計数を行う。なお、求められた大きさよりも小さい場合は、人と判断しない。

図１２は影の除去の処理を説明する図であり、図１２（ａ）は太陽が斜め方向から照射した場合を示し、図１２（ｂ）は太陽が真後ろ方向から照射した場合を示している。本実施形態では、太陽が照射した際に生じる人物の影を除去する機能が備わる。人物が抽出された場合、人物の上部が頭部、下部が足となる。人物が直立する場合頭部から足まで直線状となることから、太陽が人物の斜め方向から照射して影が出来た場合に、影が人物の向きと異なる場合にはその向きの領域を消去する。また、太陽が真後ろから照射した場合は人物と同じ向きに影の領域が出現するが、この場合は後述する人物領域の大きさに合わせて影の部分を除去する。

図１３はトラッキング機能を説明するための図である。トラッキング機能は、前回のフレームで検出した人候補ブロックと今回のフレームで検出した人候補ブロックの検出結果に対して突き合わせを行う。対象となる人候補ブロックは前回フレームと今回フレームで重なりあった人候補ブロックであり、これらの人候補ブロックが図示のように移動・統合・分離した場合に、追跡処理を行い、人領域の移動先となる人候補ブロックの断定を行う。また、人候補ブロックに対しての人数セットも行う。

図１３（ａ）は人候補ブロックの移動を示した図である。前回フレームの人候補ブロックに対し、重なりのある今回フレームの人候補ブロックが１つの場合、抽出された人物領域が今回フレームの人候補ブロックに移動したと判定する。

図１３（ｂ）は人候補ブロックの統合を示した図である。今回フレームの人候補ブロックに対し、重なりのある前回フレームの人候補ブロックが複数あり、今回フレームの人候補ブロックが１つの場合、抽出された人物領域が統合された今回フレームの人候補ブロックに移動したと判定する。

図１３（ｃ）は人候補ブロックの分離を示した図である。前回フレームの人候補ブロックに対し、重なりのある今回フレームの人候補ブロックが複数ある場合、抽出された人物領域は、分離した今回フレームの人候補ブロックに移動したと判定する。

また、各フレームにおいて人候補ブロックの重心を求め、前回のフレームで検出した人候補ブロックの重心と今回検出した人候補ブロックの重心を線で結ぶことにより、人候補ブロックの動線を表示する。

つづいて、図１４〜図２１を参照して、抽出する移動体抽出領域から個々の人物を抽出するために、カメラ設置高さと煽り角、水平画角、垂直画角より、カメラ設置位置からの距離に応じた人物領域の大きさ（面積）を算出する機能について説明する。

図１４は撮像範囲とカメラ設置位置との関係を横から見た状態を示している。また、図１５はカメラ視野とカメラの関係をカメラ上部から見た状態として示している。

フレーム間差分画像とエッジ背景差分画像の重ね合わせ・輪郭追跡により得られた移動体のみの輪郭画像から、移動体のカメラからの実距離、高さ、幅を算出する。カメラ設置位置からの距離が近いと移動物体は大きく写り、遠いと移動物体は小さく写ることから、カメラ位置からの距離によるカメラ視野に映る移動物体の大きさを算出する必要がある。

人検出処理において検出された移動物体が人かどうかを判定するため、カメラからの距離による、動画像に映っている人物の占める画素領域を算出する。

カメラ設置時に、カメラの設置高さ、煽り角、水平画角、垂直画角を予め計測し、これらの値を基に算出する。

ここで、「カメラ設置高さＴ」は、地平面からカメラレンズ中心までの距離、である。「煽り角」は、監視カメラの水平位置から視野方向へ傾けた際の傾斜角度、である。「水平画角」は、カメラ視野における水平方向の角度、である。「垂直画角」は、カメラ視野における垂直方向の角度、である。また、カメラ視野は例えば「３６０×２４０ｐｉｘ」である。

図１６及び図１７を参照して垂直方向実距離（カメラ直下からの距離）を求める手順を説明する。図１６は、撮像範囲とカメラ設置位置との関係を、カメラ直下０からの所定の距離を示した図である。図１７は、図１６に対応するカメラ視野を示した図である。

図１６におけるカメラからの直下０からＹ１及びＹ２の距離ＤＹ１、ＤＹ２を算出する。ここで（Ｘ１，Ｙ１）はカメラレンズ中心から（Ｘ２，Ｙ２）にいる人の頭を通る線が地平面と交差する点である。カメラ視野における左下を原点Ｏ（０，０）とする。

まず、垂直画角よりカメラ視野垂直方向の１画素に対しての角度Ｓ１を求める。なお、ここではカメラレンズによるひずみを考慮しない。
Ｓ１＝垂直画角÷２４０ｐｉｘ ・・・式（１）

つぎに、カメラレンズ中心からカメラ視野中心へ直線と、（１８０、Ｙ１）、（１８０、Ｙ２）への直線の角度（θ２、θ３）を算出する。
θ２＝（Ｙ１−１２０）×Ｓ１ ・・・式（２)
θ３＝（Ｙ２−１２０）×Ｓ１ ・・・式（３）

つぎに、水平面から各地点までの角度（θＹ１、θＹ２）を算出する。
θＹ１＝θ１−θ２ ・・・式（４）
θＹ２＝θ１−θ３ ・・・式（５）

以上より、カメラ直下０から（１８０，Ｙ１）までの距離ＤＹ１、および（１８０．Ｙ２）までの距離ＤＹ２は次式で求める。
ＤＹ１＝Ｔ÷ｔａｎ（θＹ１） ・・・式（６）
ＤＹ２＝Ｔ÷ｔａｎ（θＹ２） ・・・式（７）

つづいて、水平方向実距離（カメラ中心からの水平方向距離）を求める手順を説明する。図１８はカメラ視野水平方向における位置関係を示す図である。

Ｌ１ ：カメラレンズ中心からカメラ視野（１８０、Ｙ１）点までの距離。
ＤＹ１：カメラ設置の地表面からカメラ視野（１８０、Ｙ１）点までの距離。
ＤＸ１：（Ｘ１、Ｙ１）からカメラ視野（１８０、Ｙ１）点の距離。
θ４ ：カメラレンズと、それぞれカメラ視野（１８０、Ｙ１）点、（Ｘ１、Ｙ１）点を結ぶ直線のなす角度。
なお、同様に（Ｘ２、Ｙ２）におけるＬ２、ＤＹ２、ＤＸ２、θ５が存在するが、この図上では省略する。

まず、水平画角よりカメラ視野水平方向の１画素に対する角度Ｓ２を求める。なお、ここではカメラレンズによるひずみを考慮しない。
Ｓ２＝水平画角÷３６０ｐｉｘ ・・・式（８）

つぎに、カメラ視野の水平方向の中心から各々の人の位置における、水平方向の角度（θ４、θ５）を算出する
θ４＝（Ｘ１−１８０）×Ｓ２ ・・・式（９）
θ５＝（Ｘ２−１８０）×Ｓ２ ・・・式（１０）

つぎに、カメラから各地点までの距離をそれぞれＬ１、Ｌ２とすると、次式で得られる。
Ｌ１＝Ｔ／ｃｏｓ（９０−θＹ１） ・・・式（１１）
Ｌ２＝Ｔ／ｃｏｓ（９０−θＹ２） ・・・式（１２）

つぎに、カメラ視野中心から各地点までの距離（ＤＸ１、ＤＸ２）を算出する。
ＤＸ１＝Ｌ１×ｔａｎ（θ４） ・・・式（１３）
ＤＸ２＝Ｌ２×ｔａｎ（θ５） ・・・式（１４）

つぎに、求めた（ＤＸ１，ＤＹ１）及び（ＤＸ２，ＤＹ２）より２点間の実距離ｄを算出する。
距離ｄ＝√｛（ＤＸ１−ＤＸ２）^２＋（ＤＹ１−ＤＹ２）^２｝
・・・式（１５）

つづいて、図１９及び図２０を参照して人の高さの算出について説明する。図１９は身長Ｈの求め方を説明するための図である。

人の身長Ｈは以下の式で求める。
Ｈ ＝ 距離ｄ ×ｔａｎ（θＹ１） ・・・式（１６）
カメラから（Ｘ２、Ｙ２）の位置に立つ人の頭を通って水平面との交点を（Ｘ１、Ｙ１）とする。このときのカメラから（Ｘ１、Ｙ１）を結ぶ線と水平面との角度はθＹ１となる（式（４）参照）。

図２０は、画角と映り方の違いを説明する図である。カメラレンズに対する画角と映り方については図２０のように、カメラからの距離により映り方が異なる。なお、レンズひずみは考慮していない。

カメラの水平画角をθとすると、カメラからの距離Ｌにおいて撮影される範囲は次式で求められる。
Ｘ＝２×ｔａｎ（θ／２） × Ｌ ・・・式（１７）

カメラ視野空間において、カメラからＬはなれた地点での水平方向Ｘ上に立つ人の映り方を見ると、身長Ｈの人はカメラ視野の中心より遠くなるほど小さく映る。また、カメラから等距離上（破線の弧）にいる身長Ｈの人は同じ大きさで映ることになる。これによりカメラ視野上において、カメラからの距離により映る大きさが異なり、それに伴い図１９における角度θＹ１の値も変化するが、分解能が異なるため式（１６）の計算結果は同じとなる。

図２１は、人の幅の算出について説明する図である。カメラレンズ中心からＬ離れた地点における人物の幅を算出する。

人物の幅は、水平方向に人物が占める画素数を算出することにより求める。カメラ設置点からＬ離れた地点におけるカメラ視野の左端点（ＸＬ、ＹＬ）と右端点（ＸＲ、ＹＲ）とする。（ＸＬ、ＹＬ）と（ＸＲ、ＹＲ）間の距離がカメラ視野における水平距離Ｘとなり、このときの１画素あたりの水平距離ｘは、以下の式で求められる。なお、カメラレンズのひずみを考慮していないため、１画素あたりの距離ｘは均等であるとしている。
Ｘ＝２Ｌ×｛ｔａｎ（θ／２）｝ ・・・式（１８）

よって１画素あたりの距離ｘは、次式の通りである。
ｘ＝Ｘ／３６０
＝２Ｌ×｛ｔａｎ（θ／２）｝／３６０
＝Ｌ×｛ｔａｎ（θ／２）｝／１８０ ・・・式（１９）

人物が占める水平方向の画素数をｎとすると
この人物の幅 ＝ｎ×ｘ
＝ｎＬ×｛ｔａｎ（θ／２）｝／１８０ ・・・式（２０）

なお、Ｌ＝Ｔ／｛ｃｏｓ（９０−θＹ２）｝ であるので、θＹ２は、水平面からの人物位置までの角度、Ｔは地平面からカメラレンズ中心までの距離である。

人物の幅＝ｎ×ｘ
＝ｎＴ×｛ｔａｎ（θ／２）｝／｛１８０×｛ｃｏｓ（９０−θＹ２）｝｝

つぎに輪郭画像から、個々の人の切り出し処理について説明する。フレーム間差分法で得られた移動体抽出画像と背景差分法で抽出した移動体領域画面を用いてエッジ追跡して得られた輪郭画像において、抽出された移動体の実距離において算出した人の高さから個々の人の切り出しを行う。

ここで、上述したように、輪郭画像で抽出された移動体領域は上部が頭部で、下部が足部となる。

上記の垂直方向の実距離、水平方向の実距離及び人の高さ（身長Ｈ）にもとづき、移動体領域の大きさ（高さと幅）を算出する。
また、人検出条件のパラメータとして、人検知有効サイズを予め設定する。
パラメータ；高さ： Ｘ ｃｍ ± α１ ｃｍ （α１、α２は許容範囲）
幅 ： Ｙ ｃｍ ± α２ ｃｍ

そして求めた大きさが、設定されているパラメータと比較し、
（１）パラメータの範囲内であれば、対象の移動体は一人の人物として検出する。
（２）パラメータの範囲を超える場合（高さがＸ＋α１以上、または幅がＹ＋α２以上の場合）は、この移動体領域は複数人で構成されているため、パラメータ値（Ｘ、Ｙ）により分割を行い、個々の人物を検出する。
（３）求めた大きさが、パラメータより小さい場合（高さがＸ−α１未満、または幅がＹ−α２未満の場合）は、大きさによる判定領域からは除外する。

つづいて、上記の技術を用いた人数カウント装置１０の構成について説明する。図２２は人数カウント装置１０の概略構成を示す機能ブロック図である。図示のように、人数カウント装置１０は、カメラ１２と、演算・制御部１４と、記憶部１６と、ディスプレイ装置１８とを備える。

カメラ１２は、例えば汎用の監視用ＣＣＤカメラであり、コンコースや通路の状況を俯瞰する位置（所定の高さＴ）に設置され、動画像を撮像する。また、演算・制御部１４は、コンピュータ等のハードウェア及びそれによって実行されるプログラムによって構成される。

記憶部１６は、フレーム間差分用入力画像、フレーム間差分による移動体抽出画像、エッジ画像、背景累積画像、エッジ背景差分画像、フレーム間差分画像とエッジ背景差分画像との重ね合わせ画像、移動体のみの輪郭画像等を記憶する。

演算・制御部１４は、カメラ１２で撮像された入力画像を取得し、この画像からフレーム間差分法による移動体抽出画面の抽出、および背景差分法によりエッジ背景差分画像を抽出する。これらの画像を重ね合わせ、輪郭の追跡を行うことで、移動体のみの輪郭画像を抽出する。そして人の頭部の抽出および大きさを判定して人物を検出し、人数を計数する。

ディスプレイ装置１８は、入力画像および各人数計測エリア表示および、各人数計測エリアにおける計測人数の表示を行う。また、サブ画面にて入力画像、エッジ画像、フレーム間差分画像、背景画像、背景差分画像、移動体のみの輪郭画像等を表示する。

図２３は、演算・制御部１４の構成を示すブロック図である。演算・制御部１４は、輝度画像取得部２１と、背景差分処理部２２と、フレーム間差分処理部２３と、差分画像重ね合わせ処理部２４と、ラベリング部２５と、輪郭追跡部２６と、頭部抽出部２７と、影除去部２８と、トラッキング部２９と、人物判定部３０と、人数カウント部３１とを備える。

輝度画像取得部２１は、カメラ１２が撮影した画像（入力画像）を取得し、背景差分処理部２２及びフレーム間差分処理部２３に出力する。

背景差分処理部２２は、エッジ背景差分画像を生成する。背景差分処理部２２の詳細構成は図２４で後述する。

フレーム間差分処理部２３は、フレーム間差分画像を生成する。フレーム間差分処理部２３の詳細構成は図２５で後述する。

差分画像重ね合わせ処理部２４は、図９で説明したように、背景差分処理部２２で生成されたエッジ背景差分画像とフレーム間差分処理部２３で生成されたフレーム間差分画像とを重ね合わせる処理を行う。

ラベリング部２５は、図１０で説明したように、画像中で、つながっている白の部分の画素について、１つの塊としてブロック化する。ブロック化した後、面積閾値（人物領域の画素数）より小さいエリアはノイズブロックとして除去する。また、追跡したエッジ情報から離れているブロックについても除去する。

輪郭追跡部２６は、ラベリング処理が施されたエッジ背景差分画像に対して輪郭追跡処理を行う。

頭部抽出部２７は、図１１で説明したように、輪郭追跡処理で探索した輪郭にもとづき頭部抽出処理を行う。

影除去部２８は、図１２で説明したように、太陽が照射された場合に生じる影を除去する。

トラッキング部２９は、図１３で説明したように、前回のフレームで検出した人候補ブロックと今回のフレームで検出した人候補ブロックの検出結果に対して突き合わせを行う。

人物判定部３０は、図１４〜図２１に説明したように、身長Ｈや人の幅等を算出し、大きさにもとづく人物判定処理（人検出処理）を行う。

人数カウント部３１は、人物判定部３０の結果に基づき、上述のように所定のパラメータと比較した上で、個々の人物を抽出し、人数をカウントする。

図２４は、背景差分処理部２２の概略構成を示す機能ブロック図である。背景差分処理部２２は、ロビンソンオペレータ部２２１と、二値化処理部２２２と、背景累積処理部２２３と、背景累積画像生成部２２４と、エッジ背景差分処理部２２５とを備える。

ロビンソンオペレータ部２２１は、ロビンソンオペレータによるエッジ抽出処理を行い、入力画像からエッジを抽出した画像であるエッジ強度画像を二値化処理部２２２に出力する。

二値化処理部２２２は、ロビンソンオペレータ部２２１から取得したエッジ強度画像を所定の閾値で二値化し、エッジ画像として背景累積処理部２２３へ出力する。

背景累積処理部２２３は、図７で説明したように、背景累積処理部２２３から取得したエッジ画像を複数重ね合わせる。

背景累積画像生成部２２４は、重ね合わせたエッジ画像の各画素の輝度値を累積することでエッジ背景画像を生成する。

エッジ背景差分処理部２２５は、図８で説明したように、エッジ画像とエッジ背景画像との差分を取ることで移動体抽出画像を生成し、差分画像重ね合わせ処理部２４へ出力する。

図２５はフレーム間差分処理部２３の構成を示す機能ブロック図である。フレーム間差分処理部２３は、フレーム間差分処理画像保存部２３１と、連続画像フレーム間差分処理部２３２と、差分二値化画像生成部２３３と、差分画像ＡＮＤ処理部２３４とを備える。

フレーム間差分処理画像保存部２３１は、所定数の連続した画像（ここでは画像Ａ、Ｂ、Ｃの３フレーム）を保持する。

連続画像フレーム間差分処理部２３２は、前２つのフレームである画像Ａ、Ｂのフレーム間差分処理を施し差分画像ＡＢを差分二値化画像生成部２３３に出力する。また、連続画像フレーム間差分処理部２３２は、後２つのフレームである画像Ｂ、Ｃのフレーム間差分処理を施し差分画像ＢＣを差分二値化画像生成部２３３に出力する。

差分二値化画像生成部２３３は、差分画像ＡＢ、ＢＣのそれぞれに対して二値化処理を施し、差分二値画像ＡＢ、ＢＣを生成し、差分画像ＡＮＤ処理部２３４へ出力する。

差分画像ＡＮＤ処理部２３４は、差分二値画像ＡＢ、ＢＣに対して論理積処理を行い、移動体を抽出し、差分画像重ね合わせ処理部２４に出力する。

背景差分処理部２２（エッジ背景差分処理部２２５）及びフレーム間差分処理部２３（差分画像ＡＮＤ処理部２３４）から出力された画像をもとに、上述の差分画像重ね合わせ処理部２４から人数カウント部３１で所定の処理を施すことで、人数カウントがなされる。

この人数カウント装置１０が用いることで、駅の混雑度を計測することができる。例えば、駅構内の通路や階段、プラットホームに常時設置されている監視カメラ（カメラ１２）により、当該エリアを通過する人数あるいは滞留している人数を「見える化」することにより、所定の規制値を超えた場合には当該エリアへの入場規制を行うことができる。また複数のカメラ映像を監視することで、当該エリアの管理者は、施設内の状況がひと目で把握できる。

また、駅の通路や地下道を高い位置から俯瞰することにより、当該エリアを通過する人の速さや方向、混雑状況（重なり・ばらつき）が計測できる。

また人が立ち入ってはいけない範囲を所定エリアに設定し、当該エリアに人が検出された場合に警報等を出すことも出来る。

以上、本実施形態に係る人数カウント装置１０によると、フレーム間差分法による人領域抽出において、人の歩行速度が遅い場合やカメラの向きに移動したときには、人領域が正しく検出できない事例があったが、背景差分法を用いた人領域抽出で得られたエッジ情報を追跡することより、人領域の輪郭画像が生成され、人領域が正しく検出できる。また、人領域の輪郭が取れるようになり、人数計測が正確に行えるようになる。

また、人物領域以外の領域で物が移動した場合や太陽光のような外乱の影響を受けた場合でも、入力画面と背景画面で不一致が生じることなく、移動体領域（人領域）の検出が的確に行える。

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素や処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０ 人数カウント装置
１２ カメラ
１４ 演算・制御部
１６ 記憶部
１８ ディスプレイ装置
２１ 輝度画像取得部
２２ 背景差分処理部
２３ フレーム間差分処理部
２４ 差分画像重ね合わせ処理部
２５ ラベリング部
２６ 輪郭追跡部
２７ 頭部抽出部
２８ 影除去部
２９ トラッキング部
３０ 人物判定部
３１ 人数カウント部
２２１ ロビンソンオペレータ部
２２２ 二値化処理部
２２３ 背景累積処理部
２２４ 背景累積画像生成部
２２５ エッジ背景差分処理部
２３１ フレーム間差分処理画像保存部
２３２ 連続画像フレーム間差分処理部
２３３ 差分二値化画像生成部
２３４ 差分画像ＡＮＤ処理部

Claims (3)

1. 時系列に連続するフレームである画像を取得し、エッジ背景差分画像を生成する背景差分処理部と、
   前記時系列に連続する画像を取得して、フレーム間差分画像を生成するフレーム間差分処理部と、
   前記エッジ背景差分画像と前記フレーム間差分画像とを重ね合わせる差分画像重ね合わせ処理部と、
   前記差分画像重ね合わせ処理部で重ね合わされた画像にラベリング処理を施すラベリング部と、
   ラベリング処理がなされた画像をもとに移動体のみのエッジ情報の追跡を行って前記移動体の輪郭画像を生成する輪郭抽出部と、
   前記輪郭画像をもとに人の数を計数する人数カウント部と、
   を備えることを特徴とする人数カウント装置。
2. 前記画像を取得するカメラが計数するエリアを俯瞰する位置に設置されていることを特徴とする請求項１に記載の人数カウント装置。
3. 前記輪郭抽出部で生成された前記輪郭画像をもとに、前記輪郭画像の輪郭の凸形状を検出することで画像中の人の頭部を抽出する頭部抽出部を備え、
   前記人数カウント部は、前記人の頭部をもとに前記人の数を計数することを特徴とする請求項１または２に記載の人数カウント装置。

Images