JP2018148422A - 情報処理システム、情報処理装置、情報処理方法ならびに情報処理方法をコンピュータに実行させるプログラム - Google Patents

Abstract

【課題】人の混雑状況・移動の流れを解析し、可視化する人流解析システムを提供する。【解決手段】人流解析システムは、ネットワークカメラ１００によって撮像された画像内の位置と予め取得された地図の位置を対応づけるための設定手段と、前記カメラによって撮像された画像から人を検出する人物検出部３０２を有する画像解析サーバ装置３００と、集計設定部４０３による設定に基づいて、検出された人の位置を対応する前記地図上の位置に変換し、当該変換された位置に基づいて、人の混雑状況および人の移動を示す人流のうちの少なくとも１つの結果を集計する人流解析サーバ装置４００と、ＬＡＮ６００から通信部５０１を介して人の混雑度および人流の集計結果を受け取り、得られた結果を表示する画像表示装置５００と、を備える。【選択図】図２

Description

本発明は画像中の人物位置から人の混雑状況・移動の流れを解析し、可視化する技術に関する。

監視カメラの映像を解析し、活用する事例が増えている。例えば、特定の領域内の人数を数えたり、ある領域あるいはラインを通過・移動した人数を数えたりすることで特定領域の被写体の活動状況を把握することができる。このような情報は掲示物やレイアウト変更による人流の改善、警備員の最適配置の検討や、ショッピングモールにおけるマーケティング活用に利用できる。

特許文献１では、撮像画像をブロック分割し、ブロックごとに物体の検出結果を集計し、被写体が映っていない背景画像を作成して、作成した背景画像上に集計結果を可視化するためのヒートマップを重畳する滞留状況分析装置が開示されている。さらに、撮像画像内の人物の移動経路・動線の可視化を実現する技術がある。

特許第５５９７７８１号

しかしながら、このような混雑・滞留・人流を一度に把握・可視化のより一層の向上が求められている。

上記目的を達成するため、本発明の人流解析システムは
撮像部と、
所定の領域を表す地図と撮像画像の対応関係を設定する集計設定部と
撮像した画像を解析し、人体を検出・追尾する人体検出部と、
集計設定部の設定に基づいて撮像画像を解析して得られた検出結果を地図上の対応位置に変換し、混雑と人流の集計を行う集計部と、
集計結果を表示する混雑・人流解析結果表示部
を持つことを特徴とする。

本発明の手段によれば、撮像画像を解析し、複数人物の検出結果をもとにした混雑・滞留・人流を把握・可視化を一層向上させることができる。

本発明の第１の実施例である人流解析システムの動作環境を示したネットワーク接続構成図である。 本発明の第１の実施例である人流解析システムのブロック構成図である。 顔・人体の検出枠と集計に用いる座標情報の対応を表した図である。 撮像画像と地図の対応付けを表した図である。 撮像画像・地図における対応点の入力方法を説明した図である。 対応点の確認のため、地図上に撮像画像を変形して重畳した例である。 対応点の確認のため、撮像画像上に移動軌跡を入力し、地図上に対応点を描画する例である。 地図上での撮像画像の死角表現の例である。 対応点の入力が地面に対して行われていることを想起するＵＩの例である。 混雑集計の考え方を示した図である。 混雑集計を密度で行う例である。 人流の判断方法を表した図である。 混雑・人流の解析結果表示例である。 各装置のハードウエア構成の一例を示す図。 画像解析サーバ装置３００において実行される画像解析の処理フローチャート 画像表示装置５００において実行される設定処理フローチャート 人流解析装置４００において実行される集計処理フローチャート

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

以下、本発明の実施の形態について図面を参照しながら説明する。

図１は、本発明の１例である実施形態である情報処理システムとしての人流解析システムの動作環境を示したネットワーク接続構成図である。図１に示すように、ネットワークカメラ１００、ネットワークストレージ装置２００、画像解析サーバ装置３００、人流解析サーバ装置４００、画像表示装置５００が、ネットワーク回線であるＬＡＮ６００によって接続されている。

ネットワークカメラ１００は撮像装置であり、符号化された画像データおよび画像データに対する画像解析結果をＬＡＮ６００経由で配信する機能を有する。ネットワークストレージ装置２００は、ネットワークカメラ１００から配信される画像データや画像解析処理結果を、ＬＡＮ６００を介して記録する。画像解析サーバ装置３００は、ネットワークストレージ装置２００に記録された画像データや画像解析処理結果をＬＡＮ６００経由で読み込み、集計対象となる被写体の検出結果を生成する。人流解析サーバ装置４００は、画像解析サーバ装置３００において生成された検出結果を集計し、人の混雑度および人流の解析結果を生成する。画像表示装置５００は、ネットワークカメラ１００から配信される画像データ、およびネットワークストレージ装置２００に記録された画像データの再生・表示を行う。また可視化設定用のウインドウなどの入力画面を表示し、ユーザの操作に応じて重畳画像の設定や集計方法の指示を人流解析サーバ装置４００へ送信し、受け取った集計結果を表示する。なお、図１では、ネットワークストレージ装置２００、画像解析サーバ装置３００、人流解析サーバ装置４００、および画像表示装置５００が別の装置としてＬＡＮ６００に接続されているが、その限りではない。それらの装置が１つあるいは複数の装置として一体化されてもよい。また、ネットワークカメラ１００にストレージの機能がある場合、ネットワークカメラ１００にネットワークストレージ装置２００の機能を持たせてもよい。また、ネットワークカメラ１００に画像解析サーバ装置３００および人流解析サーバ装置４００の機能を持たせてもよい。

図２は、図１の人流解析システムに対応するブロック構成図である。ネットワークカメラ１００は、撮像素子などを備える画像取得部１０１、符号化部１０２、および通信部１０３から構成される。撮像画像はＬＡＮ６００で通信できる形式の画像データへと変換され、変換された画像データは、通信部１０３を通じてネットワークストレージ装置２００、画像回解析サーバ３００および画像表示装置５００へ送信される。ネットワークストレージ装置２００はＬＡＮ６００から通信部２０１を介して画像データを受け取り、ハードディスクドライブなどの大容量不揮発性メモリを有する記録部２０２に記録する。画像解析サーバ装置３００は、ＬＡＮ６００から通信部３０１を介してネットワークカメラ１００、およびネットワークストレージ装置２００に記録された画像データを取得する。画像解析サーバ装置３００は、人物検出部３０２において検出した人物に対し人体位置の検出を行う。そして、画像解析サーバ装置３００は、人物属性抽出部３０３において年齢・性別といった人物の外見特徴に関する人物の属性情報の抽出を行う。得られた画像内検出位置情報と属性情報は、通信部３０１を通して人流解析サーバ装置４００へ送信される。人流解析サーバ装置４００は、ＬＡＮ６００から通信部４０１を介して人物の画像内における検出位置情報と人物の外見特徴に関する属性情報を受け取り、それらが記録部４０２で記録される。また画像表示装置５００から人の混雑度および人流に関する集計の設定指示を受信すると、集計設定部４０３において指示された設定を保存する。そして、保存された設定に従って集計部４０４において混雑・人流の集計処理が実行される。画像表示装置５００は、ＬＡＮ６００から通信部５０１を介して人の混雑度および人流の集計結果を受け取り、表示部５０２において画面に表示する。また、画像表示装置５００は、集計方法の設定を設定部５０３で入力させる機能を持つ。

図１４は、画像解析サーバ装置３００、人流解析サーバ装置４００、画像表示装置５００として機能する情報処理装置１４００のハードウエア構成の一例を示している。

ＣＰＵ１４０１は、ＲＡＭ１４０２およびＲＯＭ１４０３に格納されているコンピュータプログラムやデータを用いて情報処理装置１４００全体の制御を行う。

ＲＡＭ１４０２は、ＲＯＭ１４０３からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インタフェース）１４０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１４０２は、ＣＰＵ１４０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１４０２は、例えば、画像メモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ１４０３には、情報処理装置１４００の設定データや、コンピュータである情報処理装置が実行可能なソフトウェアプログラムなどが格納されている。操作部１４０４は、キーボードやマウスなどにより構成されており、情報処理装置１４００のユーザの操作により、各種の指示をＣＰＵ１４０１に対して入力することができる。表示部１４０５は、ＬＣＤなどのスクリーンを有し、ネットワークカメラ１００からの画像およびＣＰＵ１４０１による処理結果を表示するディスプレイ装置である。

２次記憶装置１４０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１４０６には、ＯＳ（オペレーティングシステム）や、図１４に示した各部の機能をＣＰＵ１４０１に実現させるためのコンピュータプログラムが保存されている。具体的には、図１５から図１７に記載の動作処理フローチャートをＣＰＵ１４０１に実行させるためのプログラムである。更には、外部記憶装置１４０６には、ネットワークカメラ１００からの画像が保存される。

２次記憶装置１４０６に保存されているコンピュータが実行可能なソフトウェアプログラムやデータは、ＣＰＵ１４０１による制御に従って適宜、ＲＡＭ１４０２にロードされ、ＣＰＵ１４０１による処理対象となる。Ｉ／Ｆ１４０７は、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続するためのものであり、情報処理装置１４００は、このＩ／Ｆ１４０７を介して様々な情報を取得したり、送出したりすることができる。

なお、ネットワークカメラ１００のハードウエアの構成の場合、図１４に示すハードウエアの構成に対して撮像素子およびレンズなどの撮像部が追加される一方、操作部１４０４および表示部１４０５などは割愛されてもよい。また、ネットワークストレージ装置２００のハードウエア構成に関しても図１４から操作部１４０４および表示部１４０５などは割愛されてもよい構成となる。

人流解析システムの処理は大きくわけると、画像解析、設定、集計の処理である。上記の構成で、本発明が適用される１つの実施形態である人流解析システムの詳細を説明する。

はじめに、図１５を用いて画像解析サーバ装置３００において実行される画像解析の処理を説明する。

Ｓ１５０１において、人物検出部は、ネットワークカメラ１００の撮像によって得られた画像データを解析することによって、被写体となる人物を検出する。人物が画像内に複数存在する場合、時系列で個別に人物の同定を行い追尾する。人物検出において検出されるべき対象は人体の部位のうち顔、上半身、全身などがある。図３は、それぞれの場合の検出結果例である。本実施の形態では、検出された結果として、検出人体の部位を矩形で示されるものとする。一般的には、検出された矩形の中心座標は容易に求めることができる。しかしながら、地面から離れた人体の部位の位置を地図上に対応付けてしまうと誤差が大きくなりやすい。そのため、人体の検出位置としては、地面から離れた顔の中心よりは人体の中心位置、もしくは足元の位置の座標を用いることが望ましい。

全身を検出することができれば人体中心、または足元の座標を得ることが容易だが、混雑環境下では重なりや障害物により下半身から下、足元が撮影されない場合が多々ある。さらに混雑してくると上半身の重なりも発生頻度が増えるため、状況に応じて上半身検出および顔検出を切り替えて用いるとよい。その切り替え判断は、例えば撮像画像中における動体領域の割合を利用することができる。具体的には、画像領域に対する人体の領域の割合が所定値より小さいと上半身検出と、顔検出処理が行われる。また、動体領域の縦横比に基づいて全身を検出するか、人体を検出するかを判別してもよい。例えば、動体領域の縦に対する横の比率が所定値よりも大きいと、上半身検出あるいは顔の検出処理が行われる。

Ｓ１５０２において、検出された人体の部位が、顔あるいは上半身の場合、Ｓ１５０３に進み、撮像画像内における足元の位置（あるいは人体の中心位置）の推定を行う。Ｓ１５０３における顔あるいは上半身を用いた場合の人体中心・足元の位置座標の推定は、それぞれの検出枠を所定のルールに基づいて変倍して行われる。例えば上半身の検出枠を下方向に４倍したものを仮想の全身枠として扱うことで足元の位置座標が推定できる。

なお、後段の処理である集計処理に渡す情報は、現在処理している画像における検出結果だけでなく、過去画像に対しての検出・追尾結果を少なくとも１つ含める必要がある。これは、集計処理で人物の移動方向を算出する際に用いるためである。

また、Ｓ１５０１において、検出した顔・上半身・全身画像から性別、年齢といった外見特徴・属性を抽出し、検出座標と合わせて集計処理へ渡してもよい。検出された人物に対して属性を付与することで、集計時の条件として利用することができるようになる。例えば性別・年代別の混雑・人流を表すことができれば例えばマーケティング用途の活用が期待できる。

なお、人体の検出位置を示す座標値、人体の属性情報は入力される全画像に対して求めることができるが、画像のフレームレートと比較して集計間隔の方が長めに設定される場合、すべての結果を集計するのではなく、所定のルールに基づいて間引いてもよい。例えば１秒に１回や、数秒に１回といった一定間隔になるルールを適用することができる。一定の間隔で間引く以外に、書き込みをまとめる所定の期間内において、最も検出結果が多かったものや、検出精度が良かったものを選択して用いてもよい。

次に図１６を用いて画像表示装置５００の設定部５０３によって実行される設定処理を説明する。設定部５０３では、撮像画像内において検出された人体の位置座標を予め取得された地図上の人体の検出位置としての座標に変換する方法の設定を行う。

画像内および地図上の対応点を用いた手法を説明する。図４に示すように、多角形の頂点となる、表示部５０２上に表示されている撮像画像中の任意の４点と、地図中の任意の４点をユーザに指定させる画面を表示する（Ｓ１６０１）。設定部５０３は、画像内および地図上の４点の指定を検出すると、これらの点の位置の対応関係に基づいて、撮像画像中の任意の点を地図の対応位置に変換するための射影変換の式（ホモグラフィー行列Ｈ）を導出する。対応点をユーザによって指定させる際は間違った対応付けにならないよう、点を指定する順番に制約を定めておくとよい。例えば「左上起点で時計回り」のように定める。また図４に示したように点を指定した順番を数字で示すことも効果的である。指定された座標点とその順序が分かれば所定の制約に従って入力されたものか判定することもできるため、制約に違反していた場合は設定の失敗を通知し、再度の入力を促すようにしてもよい。複数のカメラを設置する場合、設定部５０３は、すべてのカメラに対して地図との対応付けを行う。ただし、各カメラの物理的な３次元位置情報を画像表示装置５００が取得できている場合、１つのカメラに対する地図との対応づけを行うだけで他のカメラも対応付けが可能である。なお、本実施の形態では４点による領域の設定について説明したが、３点、５点以上の多角形でも同様の処理で実行可能である。また、複数の領域に対して撮像画像および地図の対応づけが可能である。

射影変換による設定を以下の３つの観点から簡便で直観的とする処理を以下に説明する。

１．短時間で設定可能なユーザインタフェースの実現
２．撮像画像の検出座標と撮像画像上に重畳する領域の位置関係の把握
３．所望の変換結果が得られているかの動作確認
初めに短時間で設定可能なユーザインタフェースの実現について説明する。射影変換を用いた検出座標の変換は誤差を生じやすいため、所望の集計結果・可視化結果を得るまでに細かな微調整を必要とすることが多い。そのため対応点となる４点を毎回順に入力させる以外に個別に設定・変更できるようにするとよい。図５は細かな位置調整を実現するため、撮像画像上に常に表示される４点を順に移動させることで領域をしていできるユーザインタフェースの例である。入力にかかる時間を短縮するため初期状態では撮像画像・地図の任意の４点、または４隅を自動的に対応点として選び、設定者には点を移動させるだけにすることができる。さらに点の移動を少なくするため、撮像画像から地面を推定して、初期点を地面の適当な４隅に設定することもできる。

次に撮像画像の検出座標と撮像画像上に重畳する領域の位置関係の把握について説明する。検出座標として人体の足元を選択した場合、対応点は地面に対して設定する必要がある。図９（ａ）に示すように、指定領域の表示を単に半透明化して重畳すると被写体が領域の後ろに表示され、地面に対して設定された領域ではないと誤認識させる恐れがある。対応点の設定が地面を対象になされていると認識させるため、図９（ｂ）では２つの工夫を入れている。１つ目に撮像画像上の４点は単純な〇などの記号ではなく、地面に対して刺さっていることを想起させるピン形状の図形を指定された多角形の頂点の位置の上方に隣接させて配置する。２つ目に指定領域の背後に人体が表示されていることで指定領域が人体よりも高い位置にある印象を与えるため、指定領域を示す枠線および領域内の色表示が人体に重畳されないように人体を描画されるようにする。これは例えば検出結果や動体領域は指定領域示す図形の描画から除外することで実現できる。この２つの工夫により人体が指定領域の上に存在しているように見え、指定領域が地面の高さに対して行われたことがわかりやすくなる。

撮像画像から地図へ所望の変換がなされているかの動作確認について説明する。見た目の調整が必要な場合、対応点の設定画面に集計結果を重畳し、設定者の操作に合わせて集計結果を作り直し、重畳しなおす方法が考えられる。しかしこの方法だと意図せず表示される集計結果の細かな原因調査には不向きである。そこで図６に示すように撮像画像の一部を射影変換の式に基づいて変形し、地図上の対応位置に重畳して貼り付け表示する処理を行う（Ｓ１６０２）ことで、ユーザは対応を俯瞰して確認することができる。また図７に示すように対応点を設定した後、撮像画像上に任意の動線を描き、地図上に対応する射影変換後の動線（人の軌跡）を表示し、細かく確認できるようにする方法もある。そして、図６の画面を見てユーザが問題ないと判断した場合、不図示の画面上の「ＯＫ」ボタンを選択する。「ＯＫ」ボタンの選択が検出されると（Ｓ１６０３でＹｅｓ）、算出していた射影変換式が決定され（Ｓ１６０４）、射影変換式が画像上の任意の位置に適用されることになる。一方やり直したい場合、「キャンセル」ボタンを選択し、領域の対応付けの再設定を行う（Ｓ１６０３でＮｏ）
以上、射影変換の設定を説明したが、対応点の入力を人手でなく自動で行うこともできる。例えばある程度の大きさのマーカーを撮像画像内の対応点になりうる位置に物理的に設置し、地図上の対応点のみを人手で入力する方式が考えられる。撮像画像の対応点入力はマーカーの検出に置き換えられ、設置者は自ら設置したマーカーの位置を地図上で指定するだけでよくなる。

上述した射影変換の設定は１つの撮像画像に対して１つの地図に対して行うものであった。この対応関係は複数に拡張して適用することができる。１つの撮像画像を目的・縮尺の異なる複数画像に対して対応付けを行ってもよい。また撮像画像はカメラに近い手前位置、またカメラから遠い位置になるほど対応付けの誤差が大きくなる傾向にある。そのため１枚の撮像画像に対して複数の射影変換の設定を行い、例えば画像の手前・中央奥で変換式を切り替えてもよい。複数の射影変換式を設定する場合、射影変換の誤差を生みやすい箇所はカメラの取り付け高さ・角度・画角によって決まるため、これらの情報をもとに自動的に設定候補を出してもよい。

そして、図１７を用いて人流解析サーバ装置４００の集計部４００の処理を説明する。画像表示装置５００によって導出された射影変換の式に関する情報を取得し、取得した射影変換の式を用いて撮像画像上の検出座標を地図上の座標に変換する（Ｓ１７０１）。変換された座標情報に基づいて、人流解析サーバ装置４００は集計処理を行う（Ｓ１７０２）。集計処理は人の混雑状況および人の移動の流れを示す人流を含む。

まず、人の混雑の状況分布を得る方法例として、図１０および図１１を用いて２つの例を説明する。

図１０は、人が検出された検出数の和を用いたときの集計処理を示す例である。図１０（ａ）に示すように、人の混雑状況を示す分布を表現するために地図領域が予め定められたサイズに分割されており、この分割領域上に人の検出された位置を示す座標が黒丸で表現されている。図１０（ｂ）は、個々の領域内の人の検出数を示している。この集計結果に基づいて図１０（ｃ）のような検出数に応じて各領域の濃度が変わるヒートマップが生成される。図１０（ｃ）では、人の検出数が多いほど混雑していると判断し、濃い色で分割領域描画している。ヒートマップは単に領域内を単一色で塗るだけでなく、特に混雑している領域の周囲も多少の色付けを行うなどして描画してもよい。図１０では矩形で区切された分割領域を例として示したが、地図のエリアや屋内の部屋など任意の単位で領域を分割してもよい。

なお、領域の分割サイズ（分割数）について、分割サイズを大きくしすぎる（分割数を少なくしすぎる）と領域内の検出数が多くなり、混雑の差がわかりにくくなる。また、分割サイズを小さくしすぎる（分割数を多くしすぎる）と俯瞰した混雑が把握しにくくなるだけでなく、検出位置精度の誤差が影響し実態と異なる結果が得られる恐れがある。領域の分割方法として、例えば、検出精度の誤差を踏まえ、地図に対して縮尺に関する距離情報を予め設定しておく。そして、この縮尺に関する距離情報から得られる地図上の領域が実空間上でどれくらいのサイズであるか求められる。この求められたサイズと検出精度の誤差を考慮して区切りサイズを決定する。例えば位置精度が±１ｍだとすると、その２〜３倍の２ｍ〜３ｍ単位で領域を分割するとより精度の高い混雑状況の分布が得られる。

図１１は、一定距離内にある人の検出位置を示す座標をグループ化し、グループ内の座標同士がより隣接しているほど混雑していると判断する。先ほどと同じように混雑している領域を濃い色で描画すると右側のようなヒートマップ描画を得ることができる。全体でのグループ化を行わず、個々の検出結果に対して最も近くにある検出結果との距離を求め、その値に応じて個別の検出座標近辺領域に色付けを行ってもよい。

次に人流の判断処理方法を図１７を用いて説明する。集計部４０４は現在撮像画像中の最新（現在）の人の検出座標と過去（最新の検出結果より所定期間前）のその人の検出座標を取得し（Ｓ１７０１）、これらを用いて人流を判断する。具体的には、現在の画像内において人が検出された位置を示す検出座標と過去の画像内においてその人が検出された検出座標とを取得した変換式を用いてそれぞれ射影変換し、地図上の位置をそれぞれ求める。ｍｐ＝Ｈｆｐ（ｍｐは地図上の足元の位置座標、ｆｐは足元の位置を示す座標、Ｈはフォモグラフィ変換行列）の計算によって、地図座標を算出する。地図上では、両点の移動方向を地図上での移動方向とし、また２点の距離を移動速度として扱うことができる。

画像内に複数の人の検出位置を示す座標が得られた場合、可視性を向上させるために大まかに全体の人流（人の移動方向）を提示させる必要がある。図１２は、人流を求める方法の一例を示している。図１２は１つの地図上の分割領域を示している。一つの人流の判断処理方法として、複数の検出された人のうちからある人をランダムに選択し、その人の移動方向を人流として決定する手法がある。図１２では、一例として分割領域内の最も左上あるいは右に位置する人が選択されることを示している。これは、狭い領域内で複数の方向に移動する人が混在することは少ないと考え、どれを選んでも大差ないと判断できるためである。また、人の移動方向の平均、もしくは４方向や８方向に分類しての多数決が考えられる。ある程度人流がそろっている中で誤検知による間違いがランダムに選ばれることを抑えるのに有効な手段といえる。また、大きく移動した人、速く移動した人を選ぶ考え方がある。すべてのケースで人流を正確に表現できる方法はないため、状況に応じてこれらを使い分けするのがよい。

以上、混雑と人流の集計方法について説明した。なお、集計の間隔に関して、集計期間を短くしすぎると実際に撮像画像を見るのと変わらない結果に近づき、広い領域・複数カメラにまたがった結果としての全体像が把握しにくくなる。逆に集計期間を長くしすぎると細かな混雑・人流の変化を追いにくくなる。そこで地図の縮尺設定をもとに、広い領域を集計対象にするほど期間を長めに設定するのがよい。

なお、射影変換を用いた座標位置の変換に関して、位置によっては誤差が大きく出たり、地図外の座標に変換されたり、壁の中の座標に変換されたりすることがある。このような変換結果は誤りであるため、地図に対して集計時に除外する領域を設定させるもよい。またカメラを複数設置すると、対応領域に重なりが生じることがある。この場合それぞれで検出した結果を単に集計すると重複カウントしてしまう恐れがある。射影変換の設定から重複する領域は判断できるため、重複の可能性がある領域を集計する場合、同一時刻に異なるカメラから送られている検出結果座標は一方のみを集計してもよい。地図上の全領域をカバーするようにカメラを設置できないことが多いため、カメラの死角もわかるように表示装置に結果を返す必要がある。撮像画像の四隅の点を射影変換することで、地図上の対応点がわかる。この情報を使うことでカメラの画角内と死角が地図上で判断できるようになるため、死角位置を表示装置に送り図８に示すようにカメラの死角をグレーアウトして表示するとよい。

集計は表示装置からの要求に基づいて都度計算してもよいが、検出結果そのものは冗長で、長期にわたって保存すると装置の記録容量を圧迫してしまう。また都度集計を行うと表示装置への応答に時間がかかってしまう。そこで集計部は表示装置からの結果要求の有無にかかわらず、一定の間隔で集計処理を行い、集計結果は人流解析サーバに保存し、集計処理で用いた対象データは一定の間隔で削除する。

そして、人流解析サーバ装置４００の集計部４０２において得られた集計結果に関する情報を画像表示装置５００が取得し、表示部５０２の表示画面上に表示させる。図１３は、集計した混雑・人流集計結果の表示例を示している。色が濃い箇所ほど人が多く見つかり混雑していることを表している。またその上に描画された記号が人流を表している。点は滞留を、矢印は移動方向を示している。人流の表現方法にも工夫の予定がある。例えば人流の大きさに応じて描画する矢印の大きさ・形・長さ・色の変化、アニメーションにすることが考えられる。また滞留しているところは矢印を出さない、もしくは混雑が検出されているところのみ何らかの記号を重畳することで、意図的に滞留している箇所を目立たせることができる。この描画処理は画像表示装置５００が行ってもよいし、人流解析サーバ装置４００が行ってもよい。

ヒートマップ描画時は混雑時と非混雑時を色で分けて描画する。その判断は絶対値による判断でもよいし、相対値による判断でもよい。描画色を決めるための閾値は手動による設定か、過去の検出結果を用いて人が選択してもよい。または１平方メートル四方に何人いるかといった指標をユーザに選ばせ、指標から逆算して求められるブロック内の人数を閾値として用いてもよい。この値は時間帯やカメラ、地図によって個別に設定してもよい。この判断は画像表示装置５００の表示部５０２でなく人流解析装置４００の集計部４０４で行い、表示部では指示された混雑・人流描画指示に従うようにすることもできる。

以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施形態をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明の目的は、以下のようにすることによっても達成される。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

本発明はカメラで撮影した画像から人物の移動の流れを解析し、可視化する人流解析システム、その制御方法、およびプログラムに関する。

１００ ネットワークカメラ
１０１ 画像取得部
１０２ 符号化部
１０３ 通信部
２００ ネットワークストレージ装置
２０１ 通信部
２０２ 記録部
３００ 画像解析サーバ装置
３０１ 通信部
３０２ 人物検出部
３０３ 人物属性抽出部
４００ 人流解析サーバ装置
４０１ 通信部
４０２ 記録部
４０３ 集計設定部
４０４ 集計部
５００ 画像表示装置
５０１ 通信部
５０２ 表示部
５０３ 設定部
６００ ＬＡＮ

Claims (16)

1. 人の混雑状況および人の移動を示す人流のうちの少なくとも１つを解析した結果を表示するためのシステムであって、
   カメラによって撮像された画像内の位置と予め取得された地図の位置を対応づけるための設定手段と、
   前記カメラによって撮像された画像から人を検出する検出手段と、
   前記設定手段による設定に基づいて、前記検出手段によって検出された人の位置を対応する前記地図上の位置に変換し、当該変換された位置に基づいて、人の混雑状況および人の移動を示す人流のうちの少なくとも１つの結果を集計する集計手段と、
   前記集計手段によって得られた結果を表示する表示手段と、
   を備えることを特徴とするシステム。
2. 前記検出手段は、前記人の位置として、人体の顔、人体の足元、および人体の中心のうちの１つを検出することを特徴とする請求項１に記載のシステム。
3. 前記検出手段は、人体の足元が検出できなかった場合、検出された人体の顔または上半身から人体の足元の位置を推定することを特徴とする請求項２に記載のシステム。
4. 前記検出手段は、人体の属性情報として、人体の外見特徴を検出することを特徴とする請求項１に記載のシステム。
5. ユーザの入力に応じて、表示手段によって表示された撮像画像および地図に対して同じ頂点の数を有する多角形を描画する描画手段を有し、前記設定手段は、当該多角形の領域に基づいて、撮像された画像内の位置と地図の位置とを対応づけるための射影変換を決定することを特徴とする請求項１に記載のシステム。
6. 前記設定手段は、描画された多角形の領域内の画像を、射影変換することにより、地図に対して描画された多角形の領域に描画することを特徴とする請求項５に記載のシステム。
7. 前記描画手段は、前記多角形の頂点に対応する位置にピン形状の図形を描画することを特徴とする請求項５に記載のシステム。
8. 前記描画手段は、検出された人の領域に多角形を描画しないようにすることを特徴とする請求項５に記載のシステム。
9. 集計手段は、決定された射影変換を用いて人の位置の座標を地図上の位置に変換し、地図を分割した分割領域ごとに検出された人の数を集計することを特徴とする請求項１に記載のシステム。
10. 前記設定手段は、地図の縮尺に応じて、前記分割領域のサイズを決定することを特徴とする請求項１に記載のシステム。
11. 前記表示手段は、移動する人の数および移動速度のうちの少なくとも１つに応じて、人流を示す表示を行うことを特徴とする請求項１に記載のシステム。
12. 前記集計手段は、地図を分割した分割領域に複数の人が存在する場合には、人流の検知のために任意の人を選択して当該人が移動する方向および速さを求めることを特徴とする請求項１１に記載のシステム。
13. 前記集計手段は、地図の縮尺に応じて、集計すべき期間を決定することを特徴とする請求項１に記載のシステム。
14. 前記集計手段は、所定の期間における画像に対する人の検出の結果のうち、最も多い結果に対して集計を行うことを特徴とする請求項１に記載のシステム。
15. 前記表示手段は、撮像画像と地図との対応づけに基づいて、地図上に前記カメラの死角である領域を表示させる請求項１に記載のシステム。
16. 前記集計手段は、地図の縮尺に応じて、混雑の状況を示す閾値を決定することを特徴とする請求項１に記載のシステム。

Images