JP2018139052A - 通信端末、画像通信システム、表示方法、及びプログラム - Google Patents

Abstract

【課題】人物が表されている撮影画像とは別に、人物の滞留や動線をヒートマップ画像により表すシステムが知られている。これに対して、人物が表されている撮影画像に、人物の滞留や動線を表すヒートマップ画像をマッピングして表示すれば、閲覧者は、ヒートマップ画像によって撮影画像が表している状況を把握し易くなる。しかし、人物等の被検体が滞留した状態を示すヒートマップ画像を表示することは、今までできなかった。そのため、人物等の披検体の滞留の分析を正確に行なうことができないという課題が生じる。【解決手段】各被検体の検出領域内の所定位置及び当該検出領域の特徴量を色の濃淡の重み付けに利用して、ヒートマップ画像をレンダリングすることで、人物等の披検体の滞留の分析を、より正確に行なうことができるという効果を奏する。【選択図】図２２

Description

本発明は、通信端末、画像通信システム、表示方法、及びプログラムに関するものである。

近年、撮影画像データから、人物の動線を分析して、店舗運営、商品企画、道路の整備、防犯等に反映する事例が増えており、そのための技術として監視カメラと画像処理技術を組み合わせた監視システムが知られている（特許文献１参照）。

また、人物が表されている撮影画像とは別に、人物の動線をヒートマップ画像により表すシステムが知られている（特許文献２参照）。これに対して、人物が表されている撮影画像に、人物の動線を表すヒートマップ画像をマッピングして表示すれば、閲覧者は、ヒートマップ画像によって撮影画像が表している状況を把握し易くなる。

しかしながら、人物等の被検体が滞留した状態を示すヒートマップ画像を表示することは、今までできなかった。そのため、人物等の披検体の滞留の分析を正確に行なうことができないという課題が生じる。

請求項１に係る発明は、所定の位置で撮影されることで得られた撮影画像データに係る撮影画像にヒートマップ画像をマッピングして表示する通信端末であって、前記所定の位置で時間経過により撮影されることで得られた複数の撮影画像データにおける各被検体の検出領域内の所定位置及び当該検出領域の特徴量を算出する算出手段と、前記算出手段によって算出された前記所定位置及び特徴量を色の濃淡の重み付けに利用することで、ヒートマップ画像をレンダリングするレンダリング手段と、前記撮影画像に前記ヒートマップ画像をマッピングして表示させる表示制御手段と、を有する通信端末である。

以上説明したように本発明によれば、各被検体の検出領域内の所定位置及び当該検出領域の特徴量を色の濃淡の重み付けに利用して、ヒートマップ画像をレンダリングすることで、人物等の披検体の滞留の分析を、より正確に行なうことができるという効果を奏する。

（ａ）は撮影装置の左側面図であり、（ｂ）は撮影装置の正面図であり、（ｃ）は撮影装置の平面図である。 撮影装置の使用イメージ図である。 （ａ）は撮影装置で撮影された半球画像（前）、（ｂ）は撮影装置で撮影された半球画像（後）、（ｃ）はメルカトル図法により表された画像を示した図である。 （ａ）メルカトル画像で球を被う状態を示した概念図、（ｂ）全天球パノラマ画像を示した図である。 全天球パノラマ画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 （ａ）は図４の立体斜視図、（ｂ）はディスプレイに所定領域の画像が表示された通信端末を示す図である。 所定領域情報と所定領域画像との関係を示した図である。 本発明の実施形態に係る画像通信システムの概略図である。 撮影装置のハードウェア構成図である。 通信端末３のハードウェア構成図である。 画像管理システム及び通信端末のハードウェア構成図である。 本実施形態の処理の概略を示した図である。 画像通信システムの機能ブロック図である。 人物画像管理テーブルを示す概念図である。 人物画像の位置と範囲の概念図である。 ヒートマップ画像の作成方法を示すフローチャート（前半）である。 ヒートマップ画像の作成方法を示すフローチャート（後半）である。 滞留ポイントを算出する際の概念図である。 滞留ポイントを算出する際の概念図である。 滞留ポイントを算出する際の概念図である。 滞留ポイントを算出する際の概念図である。 ヒートマップ画像の概念図である。

＜＜実施形態の概略＞＞
＜全天球パノラマ画像の生成方法＞
図１乃至図７を用いて、全天球パノラマ画像の生成方法について説明する。

まず、図１を用いて、撮影装置１の外観を説明する。撮影装置１は、全天球（３６０°）パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図１（ａ）は撮影装置の左側面図であり、図１（ｂ）は撮影装置の正面図であり、図１（ｃ）は撮影装置の平面図である。

図１（ａ）に示されているように、撮影装置１は、人間が片手で持つことができる大きさである。また、図１（ａ），（ｂ），（ｃ）に示されているように、撮影装置１の上部には、正面側（前側）に撮像素子１０３ａ及び背面側（後側）に撮像素子１０３ｂが設けられている。また、図１（ｂ）に示されているように、撮影装置１の正面側には、シャッターボタン等の操作部１１５が設けられている。

次に、図２を用いて、撮影装置１の使用状況を説明する。なお、図２は、撮影装置の使用イメージ図である。撮影装置１は、図２に示されているように、ユーザが手に持ってユーザの周りの被写体を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの半球画像を得ることができる。

次に、図３及び図４を用いて、撮影装置１で撮影された画像から全天球パノラマ画像が作成されるまでの処理の概略を説明する。なお、図３（ａ）は撮影装置で撮影された半球画像（前側）、図３（ｂ）は撮影装置で撮影された半球画像（後側）、図３（ｃ）はメルカトル図法により表された画像（以下、「メルカトル画像」という）を示した図である。図４（ａ）はメルカトル画像で球を被う状態を示した概念図、図４（ｂ）は全天球パノラマ画像を示した図である。

図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、撮影装置１によって合成され、図３（ｃ）に示されているように、メルカトル画像が作成される。

そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図４（ａ）に示されているように、メルカトル画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球パノラマ画像が作成される。このように、全天球パノラマ画像は、メルカトル画像が球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球パノラマ画像は、静止画であっても動画であってもよい。

以上のように、全天球パノラマ画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球パノラマ画像の一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５及び図６を用いて説明する。

なお、図５は、全天球パノラマ画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、３次元の立体球として表示されている全天球パノラマ画像に対して、その画像を見るユーザの視点の位置に相当するものである。また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図６（ａ）では、図４に示されている全天球パノラマ画像が、３次元の立体球ＣＳで表わされている。このように生成された全天球パノラマ画像が、立体球ＣＳであるとすると、図５に示されているように、仮想カメラＩＣが全天球パノラマ画像の外部に位置している。全天球パノラマ画像における所定領域Ｔは、この全天球パノラマ画像における仮想カメラＩＣの位置の所定領域情報によって特定される。この所定領域情報は、例えば、座標ｘ(rH)、座標ｙ(rV)、及び画角α(angle)によって示される。所定領域Ｔのズームは、画角αの範囲（円弧）を広げたり縮めたりすることで表現することができる。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球パノラマ画像に近づいたり、遠ざけたりすることで表現することもできる。

そして、図６（ａ）で示されているように、全天球パノラマ画像における所定領域Ｔの画像は、図６（ｂ）に示されているように、所定のディスプレイに、所定領域画像として表示される。図６（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報（ｘ，ｙ，α）によって表された画像である。

ここで、図７を用いて、所定領域情報と所定領域画像の関係について説明する。なお、図７は、所定領域情報と所定領域画像の関係との関係を示した図である。図７に示されているように、仮想カメラＩＣの画角αによって表される所定領域Ｔの対角線画角を２Ｌとした場合の中心点ＣＰが、所定領域情報の（ｘ，ｙ）パラメータとなる。ｆは仮想カメラＩＣから所定領域Ｔの中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図７では、一般的に以下の式（式１）で示される三角関数が成り立つ。

Ｌｆ＝ｔａｎ（α／２）・・・（式１）
＜画像通信システムの概略＞
続いて、図８を用いて、本実施形態の画像通信システムの構成の概略について説明する。図８は、本実施形態の画像通信システムの構成の概略図である。

図８に示されているように、本実施形態の画像通信システムは、撮影装置１、通信端末３、無線ルータ９ａ、画像管理システム５、及び通信端末７によって構成されている。

このうち、撮影装置１は、上述のように、全天球（３６０°）パノラマ画像を得るためのデジタルカメラである。なお、この撮影装置１は、一般的なデジタルカメラであっても良く、通信端末３にカメラが付いている場合は、通信端末３がデジタルカメラとなりうる。本実施形態では、説明を分かりやすくするために全天球パノラマ画像を得るためのデジタルカメラとして説明を行う。通信端末３は、撮影装置１への充電やデータ送受信を行なうクレードル(Cradle)の一例である。また、通信端末３は、接点を介して撮影装置１とデータ通信を行なうことができると共に、無線ルータ９ａ及び通信ネットワーク９を介して画像管理システム５とデータ通信を行なうことができる。なお、通信ネットワーク９は、例えば、インターネットである。

また、画像管理システム５は、例えば、サーバコンピュータであり、通信ネットワーク９を介して、通信端末３，５とデータ通信を行なうことができる。画像管理システム５には、OpenGL ESがインストールされており、全天球パノラマ画像を作成する。

また、通信端末７は、例えば、ノートＰＣ(Personal Computer)であり、通信ネットワーク９を介して、画像管理システム５とデータ通信を行なうことができる。なお、画像管理システム５は、単一のコンピュータによって構築されてもよいし、各部（機能、手段、又は記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。

＜実施形態のハードウェア構成＞
次に、図９乃至図１１を用いて、本実施形態の撮影装置１、通信端末３，７、及び画像管理システム５のハードウェア構成を詳細に説明する。

まず、図９を用いて、撮影装置１のハードウェア構成を説明する。なお、図９は、撮影装置のハードウェア構成図である。以下では、撮影装置１は、２つの撮像素子を使用した全方位撮影装置とするが、撮像素子は３つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置１と同じ機能を有するようにしてもよい。

図９に示されているように、撮影装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及びアンテナ１１７ａによって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とはパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（ｃ）に示されているようなメルカトル画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、該撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮影装置によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置には表示部が設けられていないが、表示部を設けてもよい。

マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、撮影装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。

ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。ＤＲＡＭ１１４に記憶されたメルカトル画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／ＦとなるネットワークＩ／Ｆ１１６を介して通信端末３等の外部装置に送信されたりする。

通信部１１７は、撮影装置１に設けられたアンテナ１１７ａを介して、WiFi(wireless fidelity)やＮＦＣ等の短距離無線技術によって、通信端末３等の外部装置と通信を行う。この通信部１１７によっても、メルカトル画像のデータを通信端末３の外部装置に送信することができる。

電子コンパス１１８は、地球の磁気から撮影装置１の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。

次に、図１０を用いて、通信端末３のハードウェア構成を説明する。なお、図１０は、無線通信機能を有したクレードルの場合の通信端末３のハードウェア構成図である。

図１０に示されているように、通信端末３は、通信端末３全体の動作を制御するＣＰＵ３０１、基本入出力プログラムを記憶したＲＯＭ３０２、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)３０３、ＣＰＵ３０１の制御にしたがってデータの読み出し又は書き込みを行うＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）３０４、ＣＰＵ３０１の制御に従って被写体を撮像し画像データを得る撮像素子としてのＣＭＯＳセンサ３０５を備えている。

なお、ＥＥＰＲＯＭ３０４には、ＣＰＵ３０１が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。また、ＣＭＯＳセンサ３０５の代わりにＣＣＤセンサを用いてもよい。

更に、通信端末３は、アンテナ３１３ａ、このアンテナ３１３ａを利用して無線通信信号により、無線ルータ９ａ等と通信を行う通信部３１３、ＧＰＳ（Global Positioning Systems）衛星又は屋内ＧＰＳとしてのＩＭＥＳ(Indoor MEssaging System）によって通信端末３の位置情報（緯度、経度、および高度）を含んだＧＰＳ信号を受信するＧＰＳ受信部３１４、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン３１０を備えている。

図１１を用いて、画像管理システム５及びノートＰＣの場合の通信端末７のハードウェア構成を説明する。なお、図１１は、画像管理システム５及び通信端末７のハードウェア構成図である。画像管理システム５、及び通信端末７は、ともにコンピュータであるため、以下では、画像管理システム５の構成について説明し、通信端末７の構成の説明は省略する。

画像管理システム５は、画像管理システム５全体の動作を制御するＣＰＵ５０１、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３、画像管理システム５用のプログラム等の各種データを記憶するＨＤ５０４、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８、通信ネットワーク９を利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)５１３に対する各種データの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ５１４、及び、上記各構成要素を図１１に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。

＜実施形態の処理の概略＞
次に、図１２を用いて、本実施形態の処理の概略について説明する。図１２は、本実施形態の処理の概略を示した図である。

まず、通信端末３が撮影装置１から、撮影画像データ、所定領域情報、及び関連情報を取得する（ステップＳ１）。そして、通信端末３は、画像管理システム５に対して、撮影画像データ、所定領域画像、及び関連情報を送信する（ステップＳ２）。通信端末３は、ステップＳ１，Ｓ２の処理を繰り返す。このステップＳ１，Ｓ２の処理は、最初の処理から５秒後に２回目の処理が行なわれ、更に６秒後に３回目の処理が行なわれるように、処理の間隔が一定ではない。但し、例えば、５秒毎の一定時間毎にステップＳ１．Ｓ２の処理が行なわれるようにしてもよい。

次に、画像管理システム５は、撮影画像データから人物の画像である人物像の範囲（「人物検出領域」という）を検出して、人物検出情報を作成する（ステップＳ３）。そして、画像管理システム５は、所定領域画像、及び関連情報を送信する（ステップＳ４）。次に、画像管理システム５は、通信端末７からの要求に応じて、通信端末７に対して、人物検出情報、及び撮影画像データ群を送信する（ステップＳ５）。これにより、通信端末７は、後述の記憶部７０００に、人物検出情報、及び撮影画像データ群を記憶する。

次に、通信端末７は、図２２に示されているようなヒートマップ画像を作成する（ステップＳ６）。これにより、閲覧者Ｙは、所定期間の複数の全天球パノラマ画像（又は所定領域画像）を閲覧しなくても、ヒートマップ画像を閲覧することで、人物の滞留の動向を認識することができる。

＜＜実施形態の機能構成＞＞
次に、図９乃至図１１、及び図１３を用いて、本実施形態の機能構成について説明する。図１３は、本実施形態の画像通信システムの一部を構成する、撮影装置１、通信端末３、画像管理システム５、及通信端末７の各機能ブロック図である。図１３では、画像管理システム５が、通信ネットワーク９を介して、通信端末３及び通信端末７とデータ通信することができる。

＜撮影装置１の機能構成＞
図１３に示されているように、撮影装置１は、受付部１２、撮像部１３、集音部１４、接続部１８、及び記憶・読出部１９を有している。これら各部は、図９に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮影蔵置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。

また、撮影装置１は、図９に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００を有している。

（撮影装置１の各機能構成）
次に、図９及び図１３を用いて、撮影装置１の各機能構成について更に詳細に説明する。

撮影装置１の受付部１２は、主に、図９に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、利用者（図８では、設置者Ｘ）からの操作入力を受け付ける。

撮像部１３は、主に、図９に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、並びにＣＰＵ１１１の処理によって実現され、風景等を撮像し、撮影画像データを得る。

集音部１４は、図９に示されている１０８及び音処理ユニット１０９、並びにＣＰＵ１１１の処理によって実現され、撮影装置１の周囲の音を収音する。

接続部１８は、主に、電気接点、及びＣＰＵ１１１の処理によって実現され、通信端末３からの電源供給を受けると共に、データ通信を行う。

記憶・読出部１９は、主に、図９に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データ（または情報）を記憶したり、記憶部１０００から各種データ（または情報）を読み出したりする。

＜通信端末３の機能構成＞
図１３に示されているように、通信端末３は、送受信部３１、接続部３８、及び記憶・読出部３９を有している。これら各部は、図１０に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ３０４からＲＡＭ３０３上に展開された通信端末３用プログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は手段である。

また、通信端末３は、図１０に示されているＲＯＭ３０２、ＲＡＭ３０３、及びＥＥＰＲＯＭ３０４によって構築される記憶部３０００を有している。

（通信端末３の各機能構成）
次に、図１０及び図１３を用いて、通信端末３の各機能構成について更に詳細に説明する。

通信端末３の送受信部３１は、主に、図１０に示されている通信部３１３及びＣＰＵ３０１の処理によって実現され、無線ルータ９ａ及び通信ネットワーク９を介して、画像管理システム５と各種データ（または情報）の送受信を行う。

接続部３８は、主に、電気接点、及びＣＰＵ３０１の処理によって実現され、通信端末３に電源供給すると共に、データ通信を行う。

記憶・読出部３９は、主に、図１０に示されているＣＰＵ３０１の処理によって実現され、記憶部３０００に各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。

＜画像管理システムの機能構成＞
次に、図１１及び図１３を用いて、画像管理システム５の各機能構成について詳細に説明する。画像管理システム５は、送受信部５１、検出部５２、及び記憶・読出部５９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された画像管理システム５用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、画像管理システム５は、図１１に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、通信端末３から送られて来る撮影画像データが記憶される。

更に、記憶部５０００には、人物画像管理ＤＢ５００１が構築されている。人物画像管理ＤＢ５００１は、後述の人物画像管理テーブルによって構成されている。以下、人物画像管理テーブルについて詳細に説明する。

（人物画像管理テーブル）
図１４は、人物画像管理テーブルを示す概念図である。この人物画像管理テーブルでは、撮影画像ＩＤ毎に、撮影画像データのファイル名、撮影画像の撮影日時、人物検出領域ＩＤ、及び人物位置と範囲が関連付けて記憶されて管理されている。

このうち、撮影画像ＩＤは、撮影画像データを識別するための撮影画像識別情報の一例である。撮影画像データのファイル名は、この関連付けられている撮影画像ＩＤで示される撮影画像データのファイル名である。撮影画像の撮影日時は、この関連付けられている撮影画像データが装置ＩＤで示される撮影装置１で撮影された日時である。撮影画像データは、記憶部５０００に記憶されている。

また、人物検出領域ＩＤは、検出部５２によって、撮影画像データから検出された人物検出領域を識別するための人物検出領域識別情報の一例である。人物検出領域は、図１５に示されているように、人物位置と範囲によって示され、人物像（矩形画像）の基準位置（ｘ，ｙ）を示す人物位置と、この人物位置からの横幅（ｗ）及び高さ（ｈ）を示す範囲によって構成されている。人物位置と範囲は、撮影画像（全天球パノラマ画像）データにおける人物画像の特定の１点と、幅と高さによる範囲である。例えば、図１５に示されているように、人物像は矩形状に検知され、矩形の左上の角が人物の基準位置（ｘ１１，ｙ１１）を示し、矩形の幅がｗ１１で、矩形の高さがｈ１１を示す。

また、人物画像管理テーブルの各項目（フィールド）のうち、撮影画像ＩＤ、人物検出領域ＩＤ、及び人物位置と範囲が、図１２に示されているステップＳ５で送信される人物検出情報を構成する。

（画像管理システムの各機能構成）
次に、図１３を用いて、画像管理システム５の各機能構成について詳細に説明する。

画像管理システム５の送受信部５１は、主に、図１１に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク９を介して通信端末３、又は通信端末７と各種データ（または情報）の送受信を行う。

検出部５２は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、撮影画像データにおける人物像を検出する。この人物像の検出は、ＳＶＭ(Support Vector Machine)の人物検出方式等により行なわれる。具体的には、検出部５２は、撮影画像データにおける人物像の特徴量に基づいて各人物を検出し、検出した各人物像の撮影画像（２次元画像）データにおける位置を特定する。この場合の特徴量は、例えば、人物の縦横サイズ、色彩、及び顔、並びに人物の検出領域の面積である。

記憶・読出部５９は、主に、図１１に示されているＨＤＤ５０５、及びＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。

＜通信端末７の機能構成＞
次に、図１１及び図１３を用いて、通信端末７の機能構成について詳細に説明する。通信端末７は、送受信部７１、受付部７２、表示制御部７３、ヒートマップ作成部７４、及び、記憶・読出部７９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された通信端末７用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、通信端末７は、図１１に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部７０００を有している。

（通信端末７の各機能構成）
次に、図１３を用いて、通信端末７の各機能構成について詳細に説明する。

通信端末７の送受信部７１は、主に、図１１に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク９を介して画像管理システム５と各種データ（または情報）の送受信を行う。

受付部７２は、主に、図１１に示されているキーボード５１１及びマウス５１２、並びにＣＰＵ５０１の処理によって実現され、利用者（図８では、閲覧者Ｙ）からの操作入力を受け付ける。

表示制御部７３は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、通信端末７のディスプレイ５０８に各種画像を表示させるための制御を行なう。表示制御部７３は、例えば、撮影画像データに関する画像（所定領域画像、特定領域画像、又は撮影画像）にヒートマップ画像をマッピングして、通信端末７のディスプレイ５０８に表示させる。

ヒートマップ作成部７４は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、ヒートマップ画像を作成する。

記憶・読出部７９は、主に、図１１に示されているＨＤＤ５０５、及びＣＰＵ５０１の処理によって実現され、記憶部７０００に各種データ（または情報）を記憶したり、記憶部７０００から各種データ（または情報）を読み出したりする。

ここで、ヒートマップ作成部７４について詳細に説明する。ヒートマップ作成部７４は、読出部７４ｂ、判断部７４ｃ、保存部７４ｄ、算出部７４ｅ、加算部７４ｇ、及びレンダリング部７４ｈを含んでいる。

これらのうち、読出部７４ｂは、例えば、記憶部７０００から、各種データを読み出す。

判断部７４ｃは、例えば、複数の撮影画像データのうちの第１の撮影画像データにおける第１の人物の検出領域内の第１の位置及び第１の人物の検出領域の第１の面積が、複数の撮影画像データのうちで第１の撮影画像データが得られた後に得られた第２の撮影画像データにおける第２の人物の検出領域内の第２の位置及び第２の人物の検出領域の第２の面積に対して、所定範囲内であるか否かにより、前記第１の人物と第２の人物が同一体であるか否かを判断する。

保存部７４ｄは、例えば、記憶部７０００に各種データを保存する。

算出部７４ｅは、例えば、人物検出情報における人物位置と範囲に基づき、人物検出領域の中心点の位置を算出すると共に、人物検出領域の面積を算出する。

加算部７４ｇは、図１９（ｂ）に示されているように、後述の中間テーブルにおいて、滞留ポイント欄に差分時間を加算する。

レンダリング部７４ｈは、例えば、図２１に示されている最終テーブルを色の濃淡の重み付けに利用することで、ヒートマップ画像をレンダリングする。

＜＜実施形態の処理又は動作＞＞
続いて、図１６乃至図２２を用いて、本実施形態の処理又は動作について説明する。図１６は、ヒートマップ画像の作成方法を示すフローチャート（前半）である。図１７は、ヒートマップ画像の作成方法を示すフローチャート（後半）である。図１８乃至図２１は、滞留ポイントを算出する際の概念図を示す。特に、図１８乃至図２０の（ａ）は人物検出領域が表わされた撮影画像の概念図を示す。図１８乃至図２０の（ｂ）は人物特定情報を示す。図１８乃至図２１の（ｃ）は中間テーブルの概念図を示す。図１８乃至図２０の（ｃ）及び図２１は、最終テーブルの概念図を示す。ここでは、特徴量の一例として人物の検出領域の面積を利用する場合について説明する。

まず、読出部７４ｂは、記憶部７０００から、元の撮影画像データの解像度を読み出す（ステップＳ１１）。また、読出部７４ｂは、記憶部７０００から、全ての人物検出情報を読み出す（ステップＳ１２）。そして、読出部７４ｂは、記憶部７０００に記憶されており、まだ読み出されていない撮影画像データを検索する（ステップＳ１３）。

次に、判断部７４ｃは、ステップＳ１３による検索によって、読み出されていない撮影画像データがあるか否かを判断する（ステップＳ１４）。そして、判断部７４ｃによって読み出されていない撮影画像データがあると判断された場合には、読出部７４ｂは、記憶部７０００から、まだ読み出されていない撮影画像データを読み出す（ステップＳ１５）。なお、ステップＳ１４において、判断部７４ｃによって読み出されていない撮影画像データがないと判断された場合には、後述のステップＳ４１の処理に進む。

次に、判断部７４ｃは、新たに読み出された撮影画像データを示す撮影画像ＩＤと同じ撮影画像ＩＤで特定される人物検出情報があるか否かにより、ステップＳ１５によって読み出された同じ撮影画像データに次の人物検出領域があるかを判断する（ステップＳ１６）。このステップＳ１６の処理は、後述の比較元である人物検出領域を検索するための処理である。なお、最初の判断は、「次の」ではなく「最初の」人物検出領域があるか否かの判断である。全ての人物検出情報を図１４で示すとすると、最初の判断の場合、判断部７４ｃは、撮影画像ＩＤ「ｐ００１」で特定される人物検出情報として、人物検出領域ＩＤ「ａ００１１」で示される人物検出情報があると判断する。また、次の場合は、判断部７４ｃは、同じく撮影画像ＩＤ「ｐ００１」で特定される人物検出情報として、次の人物検出領域ＩＤ「ａ００１２」で示される人物検出情報があると判断する。

そして、ステップＳ１６により、判断部７４ｃによって同じ撮影画像データに次の（最初の）人物検出領域があると判断された場合には（ＹＥＳ）、算出部７４ｅは、人物検出情報における人物位置と範囲に基づき、人物検出領域の中心点の位置を算出すると共に、人物検出領域の面積を算出する（ステップＳ１７）。具体的には、算出部７４ｅは、人物を含む矩形領域の任意の角の位置と、この位置からの矩形領域の幅及び高さを示す範囲によって、検出領域を特定する。なお、算出部７４ｅは、人物検出領域の面積を算出する場合、上述のステップＳ１１によって読み出された解像度の情報を用いる。

例えば、図１８（ａ）に示されているように、最初の撮影日時の撮影画像データにおいて、４つの人物検出領域が存在する場合、算出部７４ｅは、最初に、人物検出領域ＩＤ「ａ００１１」で特定される人物検出情報の人物範囲（ｘ１１，ｙ１１，ｗ１１，ｈ１１）の情報に基づき、人物検出領域ａ１の中心点ｐａ１の位置（ｘ１，ｙ１）及び面積α１を算出する。そして、保存部７４ｄは、ステップＳ１７によって算出された中心点位置及び面積を、図１８（ｂ）に示されているように、識別子を付して人物特定情報として記憶部７０００に一時的に保存する（ステップＳ１８）。図１８（ｂ）に示されている人物特定情報は、中心点位置（ｘ１，ｙ１）及び面積α１に、識別子「ａ０１」が関連付けられている。但し、最初の撮影画像データでは、１つ前の撮影時間の撮影画像データがなく、この１つ前の撮影時間の撮影画像データ内の比較先である人物検出領域がないため、類否判断結果は無い状態である。

なお、人物検出領域ａ１，ａ２，ａ３，ａ４は、それぞれ中心点ｐａ１，ｐａ２，ｐａ３，ｐａ４を含み、更に、それぞれ識別子ａ０１，ａ０２，ａ０３，ａ０４で特定される。

続いて、上記ステップＳ１６に戻り、判断部７４ｃは、ステップＳ１５によって読み出された同じ撮影画像データ（図１８（ａ）参照）に次の人物検出領域があるかを判断する。この場合、全ての人物検出情報を図１４で示すとすると、判断部７４ｃは、同じ撮影画像ＩＤ「ｐ００１」で特定される次の人物検出情報として、人物検出領域ＩＤ「ａ００１２」で示される人物検出情報があると判断する。そして、ステップＳ１７により、算出部７４ｅは、人物検出領域ＩＤ「ａ００１２」で特定される人物検出情報の人物範囲（ｘ１２，ｙ１２，ｗ１２，ｈ１２）の情報に基づき、図１８（ａ）に示されているように、人物検出領域ａ２の中心点ｐａ２の位置（ｘ２，ｙ２）及び面積α２を算出する。そして、ステップＳ１８により、保存部７４ｄは、ステップＳ１７によって算出された中心点の位置及び面積を、図１８（ｂ）に示されているように、識別子を付して記憶部７０００に一時的に保存する。図１８（ｂ）では、中心点の位置（ｘ２，ｙ２）及び面積α２に、識別子「ａ０２」が付されて関連付けて保存されている。

以上のようにして、ステップＳ１６〜Ｓ１８の処理が繰り返され、ステップＳ１６において、判断部７４ｃが、ステップＳ１５によって読み出された同じ撮影画像データに次の人物検出領域がないと判断した場合には（ＮＯ）、図１７に示されているステップＳ２１の処理に進む。

次に、判断部７４ｃは、滞留者又は滞留候補者がいるかを判断する（ステップＳ２１）。
具体的には、判断部７４ｃは「滞留候補者」がいるかを判断する場合には、上記ステップＳ１８で一時保存された識別子が、中間テーブルで既に管理されているかを判断する。そして、中間テーブルで管理されていない場合には、判断部７４ｃは、「滞在候補者」がいないと判断する。

また、判断部７４ｃは「滞留者」がいるかを判断する場合には、上記ステップＳ１８で類否判断結果として一時保存されている識別子が、中間テーブルで管理されているかを判断する。即ち、判断部７４ｃは「滞留者」がいるかを判断する場合には、上記ステップＳ１８で一時保存された識別子で示される人物検出領域に同一又は類似する人物検出領域を示す識別子が、中間テーブルで既に管理されているかを判断する。そして、中間テーブルで管理されていない場合には、判断部７４ｃは、「滞在者」がいないと判断する。

例えば、最初は、中間テーブルには何も管理されていないため、判断部７４ｃは、図１８（ｂ）に示されている各人物特定情報に係る人物を、全て滞留候補者と判断する。

そして、判断部７４ｃが、滞留者及び滞留者候補がいないと判断した場合には（ＮＯ）、記憶・読出部７９は、記憶部７０００に記憶されている中間テーブルに、新たな比較元である人物検出領域の識別子と、それぞれの滞留ポイントを関連付けて保存する（ステップＳ２２）。最初は、図１８（ｃ）に示されているように、１つ前の撮影日時の撮影画像データがないため、全ての人物検出領域を示す識別子が管理され、各滞留ポイントは全て０である。なお、中間テーブルには、人物検出領域の識別子毎に、滞留ポイントが関連付けられた中間データが管理されている。

次に、算出部７４ａは、１つ前の撮影日時の撮影画像データと、今回の撮影日時の撮影画像データとの撮影日時の差分時間を算出する（ステップＳ２３）。ここでは、１つ前の撮影日時の撮影画像データがないため、撮影日時の差分時間は０（秒）である。そして、加算部７４ｇは、中間テーブルにおいて、滞留ポイント欄に差分時間を加算する（ステップＳ２４）。ここでは、最初の撮影画像データであるため、全ての識別子の滞留ポイントが０である。その後、ステップＳ１４に進み、２順目の処理が進む。なお、この時点では、図１８（ｄ）に示されている最終テーブルで管理するデータはない。

そして、ステップＳ１４において、判断部７４ｃは、読み出されていない撮影画像データがあるかを判断する。判断部７４ｃが、読み出されていない撮影画像データがあると判断した場合には（ＹＥＳ）、ステップＳ１５において、記憶・読出部９７は、この読み出されていない２番目の撮影日時の撮影画像データを読み出す。

次に、ステップＳ１６において、判断部７４ｃが、ステップＳ１５によって読み出された同じ２番目の撮影日時の撮影画像データに、次の人物検出領域があるかを判断する。なお、最初の判断は、「次の」ではなく「最初の」人物検出領域があるか否かの判断である。

例えば、全ての人物検出情報を図１４で示すとすると、２番目の撮影日時の撮影画像データの場合、ステップＳ１６において、判断部７４ｃは、撮影画像ＩＤ「ｐ００２」で特定される最初の人物検出情報として、人物検出領域ＩＤ「ａ００２１」で示される人物検出情報があると判断する。そして、図１９（ａ）に示されているように、例えば、４つの人物検出領域が存在する場合、ステップＳ１７において、算出部７４ｅは、人物検出領域ＩＤ「ａ００２１」で特定される人物検出情報の人物範囲（ｘ２１，ｙ２１，ｗ２１，ｈ２１）の情報に基づき、人物検出領域ｂ１の中心点ｐｂ１の位置（ｘ１，ｙ１）及び面積α１を算出する。そして、ステップＳ１８によって、保存部７４ｄは、ステップＳ１７によって算出された中心点の位置及び面積を、図１９（ｂ）に示されているように、識別子を付して人物特定情報として記憶部７０００に一時的に保存する。図１９（ｂ）では、中心点の位置（ｘ１，ｙ１）及び面積α１に、識別子「ｂ０１」が付されて関連付けて保存されている。

なお、人物検出領域ｂ１，ｂ２，ｂ３，ｂ４は、それぞれ中心点ｐｂ１，ｐｂ２，ｐｂ３，ｐｂ４を含み、更に、それぞれ識別子ｂ０１，ｂ０２，ｂ０３，ｂ０４で特定される。

次に、上記ステップＳ１６に戻り、判断部７４ｃは、ステップＳ１５によって読み出された同じ撮影画像データ（図１９（ｂ）参照）に次の人物検出領域があるかを判断する。この場合、全ての人物検出情報を図１４で示すとすると、次の判断の場合、判断部７４ｃは、同じ撮影画像ＩＤ「ｐ００２」で特定される次の人物検出情報として、人物検出領域ＩＤ「ａ００２２」で示される人物検出情報があると判断する。そして、ステップＳ１７により、算出部７４ｅは、人物検出領域ＩＤ「ａ００２２」で特定される人物検出情報の人物範囲（ｘ２２，ｙ２２，ｗ２２，ｈ２２）の情報に基づき、図１９（ａ）に示されているように、人物検出領域ｂ２の中心点ｐａ２の位置（ｘ２，ｙ２）及び面積α２を算出する。そして、ステップＳ１８により、保存部７４ｄは、ステップＳ１７によって算出された中心点の位置及び面積を、図１９（ｂ）に示されているように、識別子を付して人物特定情報として記憶部７０００に一時的に保存する。図１９（ｂ）では、中心点の位置（ｘ２，ｙ２）及び面積α２に、識別子「ｂ０２」が付されて関連付けて保存されている。

以上のようにして、ステップＳ１６〜Ｓ１８の処理が繰り返され、ステップＳ１６において、判断部７４ｃが、ステップＳ１５によって読み出された同じ２番目の撮影時間の撮影画像データに次の人物検出領域がないと判断した場合には（ＮＯ）、図１７に示されているステップＳ２１の処理に進む。

続いて、ステップＳ２１において、判断部７４ｃが、滞留者又は滞留候補者がいると判断した場合には（ＹＥＳ）、更に、判断部７４ｃは、図１９（ｂ）に示されている人物特定情報において、各識別子で示される比較元としての人物検出領域に対して、図１８（ｂ）に示されている１つ前の撮影時間の撮影画像データの中で次に近い人物検出領域があるかを判断する（ステップＳ２５）。なお、最初の判断は、「次の」ではなく「最初の」人物検出領域があるか否かの判断である。ここでは、判断部７４ｃは、図１８（ｂ）において、比較先である識別子ａ０１で示される人物検出領域ａ１があると判断する。

次に、判断部７４ｃは、比較元である今回の撮影時間の人物検出領域と、比較先である１つ前の撮影時間の任意の人物検出領域との各中心点位置の距離及び領域の面積比が、それぞれ所定値（例えば、距離が１０画素、面積比は８０％〜１２０％）内であるかの判断により、両者の類否判断を行なう（ステップＳ２６）。このステップＳ２６において、判断部７４ｃが、所定値内であると判断した場合には（ＹＥＳ）、保存部７４ｄは、図１９（ｂ）に示されているように、類否判断結果を一時保存する（ステップＳ２７）。例えば、比較元である識別子ｂ０１で示される人物検出領域ｂ１（図１９（ａ）参照）に対して、最初の比較先の人物検出領域ａ１（図１８（ａ）参照）が同じ又は類似している場合には、保存部７４ｄは、図１９（ｂ）に示されている識別子ｂ０１の類否判断結果として、比較元の人物検出領域ａ１の識別子ａ０１と関連付けて保存する。

次に、算出部７４ｅは、１つ前の撮影画像データの撮影日時と、今回の撮影画像データの撮影日時の差分時間を算出する（ステップＳ２８）。加算部７４ｈは、図１９（ｃ）に示されているように、中間テーブルにおいて、類否判断結果として示されている識別子ａ０１の滞留ポイント欄において、ステップＳ２８によって算出された差分時間を加算する（ステップＳ２９）。ここでは、図１４に示されているように、１つ前の撮影画像データ（撮影画像ＩＤ「ｐ００１」）と今回の撮影画像データ（撮影画像ＩＤ「ｐ００２」）との差分時間は、５（秒）であり、図１８（ｃ）で示されている１つ前の中間テーブルの識別子ａ０１の滞留ポイントは０であるため、図１９（ｃ）に示されている識別子ａ０１の滞留ポイントは５（＝０＋５）となる。なお、保存部７４ｄは、今回の撮影画像データの比較元である人物検出領域ｂ１の識別子ｂ０１を、図１９（ｃ）に示されている中間テーブルに保存せずに、類似と判断された比較元である人物検出領域ａ１の識別子ａ０１を保存したままにしておく。図１８（ａ）と図１９（ａ）とを比較すると、識別子ａ０１で示される人物検出領域ａ１と、識別子ｂ０１で示される人物検出領域ｂ１とが同一又は類似していると判断される。そして、上記ステップＳ２１の処理に戻る。

このように、ステップＳ２１〜Ｓ２９の処理が繰り返され、例えば、図１８（ｃ）に示されているような中間テーブルにおいて、識別子ａ０１，ａ０２の滞留ポイントの加算が終了する。

一方、上記ステップＳ２６において、判断部７４ｃが、所定値内ではない（所定値外である）と判断した場合には（ＹＥＳ）、保存部７４ｄは、図１９（ｂ）に示されているように、類否判断結果を一時保存する（ステップＳ２７）。例えば、比較元である識別子ｂ０３で示される人物検出領域ｂ３（図１９（ａ）参照）に対して、いずれの比較先の人物検出領域に対しても同一又は類似ではない場合には、保存部７４ｄは、図１９（ｂ）に示されている識別子ｂ０１の類否判断結果を「×」として保存する。なお、同一又は類似ではない旨を保存できれば、「×」でなくても構わない。これにより、図１８（ａ）及び図１９（ａ）において、人物検出領域ｂ１は人物検出領域ａ１に同一又は類似と判断され、人物検出領域ｂ２は人物検出領域ａ２に同一又は類似と判断される。これに対して、人物検出領域ｂ３及び人物検出領域ｂ４は、それぞれ同一又は類似する人物検出領域がないと判断される。この場合、図１９に示されている中間テーブルには、新たな識別子ｂ０３，ｂ０４が、滞留ポイント０として管理される。

一方、上記ステップＳ２５において、判断部７４ｃが、図１８（ｂ）に示されている１つ前の撮影時間の撮影画像データの中で、次に近い人物検出領域がないと判断した場合には（ＮＯ）、保存部７４ｄは、比較元である人物検出領域を示す識別子を、中間テーブルから、図１９（ｄ）に示されている最終テーブルに移行する（ステップＳ３１）。例えば、図１８（ｃ）に示されている中間テーブルにおいて、識別子ａ０３，ａ０４で示される人物検出領域ａ３，ａ４が、次の撮影時間の撮影画像データにおける各人物検出領域に対して、同一及び類似ではない場合には、保存部７４ｄによって、図１９（ｄ）に示されているように最終テーブルに移行される。例えば、図１９（ｄ）に示されている最終テーブルの移行対象は、中間テーブル（図１８（ｃ）参照）における識別子及び滞留ポイント、並びに人物特定情報（図１８（ｂ）参照）において同じ識別子に対応する中心点位置及び面積の情報である。

以上のように、ステップ１４〜Ｓ３１の処理を繰り返すことで、３番目の撮影時間の撮影画像データにおいて、例えば、図２０（ａ）に示されているように、４つの人物検出領域が存在する場合、人物特定情報は図２０（ｂ）に示され、中間テーブル及び最終テーブルは、図２０（ｃ），（ｄ）に示されているようなデータを管理することになる。ここでは、識別子ｃ０１で示される人物検出領域ｐｃ１は、２つ前の撮影時間の撮影画像データにおける識別子ａ０１で示される人物検出領域ｐａ１と同一又は類似であると判断されため、図２０（ｃ）における中間テーブルでは、識別子ａ０１の滞留ポイントが更に「６」加算され、「１１」になっている。

なお、人物検出領域ｃ１，ｃ２，ｃ３，ｃ４は、それぞれ中心点ｐｃ１，ｐｃ２，ｐｃ３，ｐｃ４を含み、更に、それぞれ識別子ｃ０１，ｃ０２，ｃ０３，ｃ０４で特定される。

一方、上記ステップＳ１４において、判断部７４ｃが、読み出されていない撮影画像データがないと判断した場合には（ＮＯ）、保存部７４ｄは、図２０（ｃ）に示されている全ての比較元としての人物検出領域を示す識別子を、中間テーブルから図２１に示されているように全て移行する。この場合の移行対象は、中間テーブル（図２０（ｃ）参照）における識別子及び滞留ポイント、並びに人物特定情報（図２０（ｂ）参照）において同じ識別子に対応する中心点位置及び面積の情報である。

以上により、全ての撮影画像データにおける人物検出領域について滞留ポイントの算出が行なわれると、レンダリング部７４ｈは、図２１に示されている最終テーブルに基づいて、ヒートマップ画像をレンダリングする。図２２は、滞留ポイントに基づいて作成されたヒートマップ画像が付された所定領域画像を示す図である。図２２は、ある衣服店の店内の撮影画像を示している。この所定領域画像を含む撮影画像データは、例えば、ステップＳ１４によって最初に読み出された撮影画像データである。そして、表示制御部７３は、所定領域画像にヒートマップ画像をマッピングして、通信端末７のディスプレイ５０８に表示させる。実際には、滞留時間が長い方から短い方にかけて、赤色、オレンジ色、黄色、黄緑色、青色等で表現される。しかし、図２２では、白黒の濃淡で表現し、滞留時間が長い方から短い方にかけて、濃色から淡色で表現されている。これにより、閲覧者Ｙは、来客者が、どの商品に興味を示したかを容易に把握することができる。

なお、１つ前の撮影された撮影画像データにおける第１の人物と、今回の撮影画像データにおける第２の人物がある場合、判断部７４ｃによって、第１の人物と第２の人物が同一体であると判断された場合には、レンダリング部７４ｈは淡い色とし、判断部７４ｃによって、第１の人物と第２の人物が同一体でないと判断された場合には、レンダリング部７４ｈは濃い色としてもよい。また、第２の人物の撮影時間と第１の人物の撮影時間との差分時間が大きいほど、レンダリング部７４ｈは濃い色としてもよい。

また、図２２では、表示制御部７３は、ヒートマップ画像が重畳表示された撮影画像の下側に、予め設定された閾値（時間）以上滞留した人物をヒートマップ画像して表わすべく、スライダｓを表示している。ここでは、滞留時間が１０秒（滞留ポイント１０）以上の滞留者をヒートアップ画像で表示するような設定を示している。

更に、図２２では、表示制御部７３は、閾値（時間）の上限の設定を表わすべく、上限値（ＭＡＸ）を表示している。ここでは、上限値が１分である設定を示している。このように、上限値を定めることで、例えば、商品の整理等で長時間同じ場所に滞留することになるような店員をヒートマップ画像で表示しないようにして、来客者のみをヒートマップ画像で表示することができる。

＜＜本実施形態の主な効果＞＞
以上説明したように本実施形態によれば、各人物の検出領域内の所定位置及び検出領域の面積を色の濃淡の重み付けに利用して、ヒートマップ画像をレンダリングすることで、人物等の披検体の滞留の分析を、より正確に行なうことができるという効果を奏する。

特に、撮影画像が全天球画像の場合、広い範囲で人物が映し出されるため、人物等の披検体の滞留を探し出すのは困難であるため、本実施形態は非常に有用である。

〔実施形態の補足〕
上記実施形態では、人物の検出領域について説明したが、これに限らず、移動するものであれば、動物、貨物、車両等であっても良い。人物、動物、貨物、車両等は、被検体の一例である。

また、上記実施形態の各プログラムが記憶されたＣＤ−ＲＯＭ等の記録媒体、並びに、これらプログラムが記憶されたＨＤ５０４は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。

更に、通信端末７は、ノートＰＣだけでなく、デスクトップ型のＰＣ等のパーソナルコンピュータであってもよく、更に、スマートフォン、タブレット型端末、又はスマートウォッチであってもよい。

１ 撮影装置
３ 通信端末
５ 画像管理システム
７ 通信端末
９ 通信ネットワーク
７１ 送受信部
７２ 受付部
７３ 表示制御部（表示制御手段の一例）
７４ ヒートマップ作成部
７４ｂ 読出部
７４ｃ 判断部（判断手段の一例）
７４ｄ 保存部
７４ｅ 算出部（算出手段の一例）
７４ｇ 加算部
７４ｈ レンダリング部（レンダリング手段の一例）
５０００ 記憶部
５００１ 人物画像管理ＤＢ
７０００ 記憶部

特開２０１１−６１５１１号公報 特開２００９−１３４６８８号公報

Claims (10)

1. 所定の位置で撮影されることで得られた撮影画像データに係る撮影画像にヒートマップ画像をマッピングして表示する通信端末であって、
   前記所定の位置で時間経過により撮影されることで得られた複数の撮影画像データにおける被検体の検出領域の位置及び当該検出領域の特徴量を算出する算出手段と、
   前記算出手段によって算出された前記所定位置及び特徴量を色の濃淡の重み付けに利用することで、ヒートマップ画像をレンダリングするレンダリング手段と、
   前記撮影画像に前記ヒートマップ画像をマッピングして表示させる表示制御手段と、
   を有する通信端末。
2. 前記複数の撮影画像データのうちの第１の撮影画像データにおける第１の被検体の検出領域内の第１の位置及び当該検出領域の第１の特徴量が、前記複数の撮影画像データのうちで前記第１の撮影画像データが得られた後に得られた第２の撮影画像データにおける第２の被検体の検出領域内の第２の位置及び当該検出領域の第２の特徴量に対して、所定範囲内であるか否かにより、前記第１の被検体と前記第２の被検体が同一体であるか否かを判断する判断手段を有し、
   前記判断手段によって、前記第１の被検体と前記第２の被検体が同一体であると判断された場合と同一体でないと判断された場合とで、前記レンダリング手段は、色の濃淡の重み付けを変えることを特徴とする通信端末。
3. 前記判断手段によって、前記第１の被検体と前記第２の被検体が同一体であると判断された場合には、前記レンダリング手段は淡い色とし、前記判断手段によって、前記第１の被検体と前記第２の被検体が同一体でないと判断された場合には、前記レンダリング手段は濃い色とすることを特徴とする請求項２に記載の通信端末。
4. 前記第２の被検体の撮影時間と前記第１の被検体の撮影時間との差分時間が大きいほど、前記レンダリング手段は濃い色とすることを特徴とする請求項３に記載の通信端末。
5. 前記算出手段は、前記被検体を含む矩形領域の任意の角の位置と、当該位置からの前記矩形領域の幅及び高さを示す範囲によって、前記検出領域を特定する請求項１乃至４のいずれか一項に記載の通信端末。
6. 前記特徴量は、前記被検体の縦横サイズ、色彩、及び顔、並びに前記検出領域の面積であることを特徴とする請求項１乃至５のいずれか一項に記載の通信端末。
7. 前記通信端末は、パーソナルコンピュータ、スマートフォン、タブレット型端末、又はスマートウォッチである請求項１乃至６のいずれか一項に記載の通信端末。
8. 請求項１乃至７に記載の通信端末と、
   前記複数の撮影画像データを管理する画像管理システムと、
   を有する画像通信システムであって、
   前記通信端末は、前記画像管理システムから前記複数の撮影画像データを受信する受信手段を有することを特徴とする画像通信システム。
9. 所定の位置で撮影されることで得られた撮影画像データに係る撮影画像にヒートマップ画像をマッピングして表示する通信端末が実行する表示方法であって、
   前記通信端末が、
   前記所定の位置で時間経過により撮影されることで得られた複数の撮影画像データにおける各被検体の検出領域内の所定位置及び当該検出領域の特徴量を算出する算出ステップと、
   前記算出ステップによって算出された前記所定位置及び特徴量を色の濃淡の重み付けに利用することで、ヒートマップ画像をレンダリングするレンダリングステップと、
   前記撮影画像に前記ヒートマップ画像をマッピングして表示させる表示制御ステップと、
   を実行することを特徴とする表示方法。
10. コンピュータに、請求項９に記載の表示方法を実行させるプログラム。