JP2017162014A - 通信端末、画像通信システム、表示方法、及びプログラム - Google Patents

Abstract

【課題】人物が表されている撮影画像とは別に、人物の滞留や動線をヒートマップ画像により表すシステムが知られている。これに対して、人物が表されている撮影画像に、人物の滞留や動線を表すヒートマップ画像をマッピングして表示すれば、閲覧者は、ヒートマップ画像によって撮影画像が表している状況を把握し易くなる。しかし、単に撮影画像に対して、人物の滞留や動線を表すヒートマップ画像をマッピングすると、ヒートマップ画像によって、人物の顔や足等が見えづらくなるため、むしろヒートマップ画像が邪魔になる。【解決手段】人物検出領域の中心点を色の濃淡の重み付けに利用して、ヒートマップ画像をレンダリングすることで、人物の顔や足等を表示することができる。これにより、ヒートマップ画像が邪魔にならないため、閲覧者は、ヒートマップ画像からの情報を得られると共に、撮影画像が表している状況を把握し易いという効果を奏する。【選択図】図２９

Description

本発明は、通信端末、画像通信システム、表示方法、及びプログラムに関するものである。

近年、撮影画像データから、人物の滞留や動線を分析して、店舗運営、商品企画、道路の整備、防犯等に反映する事例が増えており、そのための技術として監視カメラと画像処理技術を組み合わせた監視システムが知られている（特許文献１参照）。

また、人物が表されている撮影画像とは別に、人物の滞留や動線をヒートマップ画像により表すシステムが知られている（特許文献２参照）。これに対して、人物が表されている撮影画像に、人物の滞留や動線を表すヒートマップ画像をマッピングして表示すれば、閲覧者は、ヒートマップ画像によって撮影画像が表している状況を把握し易くなる。

しかしながら、単に撮影画像に対して、人物の滞留や動線を表すヒートマップ画像をマッピングすると、ヒートマップ画像によって、人物の顔や足等が見えづらくなるため、むしろヒートマップ画像が邪魔になり、閲覧者は、撮影画像が表している状況を把握し難いという課題が生じる。

請求項１に係る発明は、所定の位置で撮影されることで得られた撮影画像データに係る撮影画像にヒートマップ画像をマッピングして表示する通信端末であって、前記所定の位置で時間経過により撮影されることで得られた複数の撮影画像データにおける各人物検出領域の中心点を算出する算出手段と、前記算出手段によって算出された前記中心点を色の濃淡の重み付けに利用することで、ヒートマップ画像をレンダリングするレンダリング手段と、前記撮影画像に前記ヒートマップ画像をマッピングして表示する表示制御手段と、を有する通信端末である。

以上説明したように本発明によれば、人物検出領域の中心点を色の濃淡の重み付けに利用して、ヒートマップ画像をレンダリングすることで、人物の顔や足等を表示することができる。これにより、ヒートマップ画像が邪魔にならないため、閲覧者は、ヒートマップ画像からの情報を得られると共に、撮影画像が表している状況を把握し易いという効果を奏する。

（ａ）は撮影装置の左側面図であり、（ｂ）は撮影装置の正面図であり、（ｃ）は撮影装置の平面図である。 撮影装置の使用イメージ図である。 （ａ）は撮影装置で撮影された半球画像（前）、（ｂ）は撮影装置で撮影された半球画像（後）、（ｃ）はメルカトル図法により表された画像を示した図である。 （ａ）メルカトル画像で球を被う状態を示した概念図、（ｂ）全天球パノラマ画像を示した図である。 全天球パノラマ画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 （ａ）は図４の立体斜視図、（ｂ）はディスプレイに所定領域の画像が表示された通信端末を示す図である。 所定領域情報と所定領域画像との関係を示した図である。 本発明の実施形態に係る画像通信システムの概略図である。 撮影装置のハードウェア構成図である。 通信端末３のハードウェア構成図である。 画像管理システム及び通信端末のハードウェア構成図である。 本実施形態の処理の概略を示した図である。 画像通信システムの機能ブロック図である。 人物画像管理テーブルを示す概念図である。 人物画像の位置と範囲の概念図である。 （ａ）点数表の概念図であり、（ｂ）描画点表の概念図である。 第１の実施形態におけるヒートマップ画像の作成方法を示すフローチャートである。 第１の実施形態におけるヒートマップ画像の作成方法を示すフローチャートである。 描画点（第１の人物検知領域の第１の中心点及び点数）を定める処理を示した概念図である。 描画点（第２の人物検知領域の第２の中心点及び点数）を定める処理を示した概念図である。 描画点（第１の中心点と第２の中心点の平均中心点及び点数）を定める処理を示した概念図である。 描画点（第３の人物検知領域の第３の中心点及び点数）を定める処理を示した概念図である。 描画点（第１の中心点と第２の中心点の平均中心点及び点数）、並びに描画点（第２の中心点と第３の中心点の平均中心点及び点数）を定める処理を示した概念図である。 描画点（平均中心点同士の平均中心点（第２平均中心点）及び点数）を定める処理を示した概念図である。 描画点（第４の人物検知領域の第４の中心点及び点数）定める処理を示した概念図である。 描画点（複数の画像のそれぞれの各種中心点及び点数）を示した概念図である。 複数の画像における所定範囲内の描画点の集約を示した概念図である。 描画点に基づいて作成されたヒートマップ画像が付された所定領域画像を示す図である。 描画点に基づいて作成されたヒートマップ画像が付された全天球パノラマ画像を示す図である。 全天球パノラマ画像とヒートマップ画像の関係を示した概念図である。 第２の実施形態におけるヒートマップ画像の作成方法を示すフローチャートである。 第２の実施形態におけるヒートマップ画像の作成方法を示すフローチャートである。 各描画点（第１乃至第４の人物検知領域の第１乃至第４の中心点及び各点数）を定める処理を示した概念図である。 描画点（第１の中心点と第２の中心点の平均中心点及び点数）、描画点（第１の中心点と第３の中心点の平均中心点及び点数）、及び描画点（第２の中心点と第３の中心点の平均中心点及び点数）を定める処理を示した概念図である。

〔第１の実施形態〕
以下、図面を用いて、本発明の第１の実施形態について説明する。

＜＜実施形態の概略＞＞
＜全天球パノラマ画像の生成方法＞
図１乃至図７を用いて、全天球パノラマ画像の生成方法について説明する。

まず、図１を用いて、撮影装置１の外観を説明する。撮影装置１は、全天球（３６０°）パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図１（ａ）は撮影装置の左側面図であり、図１（ｂ）は撮影装置の正面図であり、図１（ｃ）は撮影装置の平面図である。

図１（ａ）に示されているように、撮影装置１は、人間が片手で持つことができる大きさである。また、図１（ａ），（ｂ），（ｃ）に示されているように、撮影装置１の上部には、正面側（前側）に撮像素子１０３ａ及び背面側（後側）に撮像素子１０３ｂが設けられている。また、図１（ｂ）に示されているように、撮影装置１の正面側には、シャッターボタン等の操作部１１５が設けられている。

次に、図２を用いて、撮影装置１の使用状況を説明する。なお、図２は、撮影装置の使用イメージ図である。撮影装置１は、図２に示されているように、ユーザが手に持ってユーザの周りの被写体を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの半球画像を得ることができる。

次に、図３及び図４を用いて、撮影装置１で撮影された画像から全天球パノラマ画像が作成されるまでの処理の概略を説明する。なお、図３（ａ）は撮影装置で撮影された半球画像（前側）、図３（ｂ）は撮影装置で撮影された半球画像（後側）、図３（ｃ）はメルカトル図法により表された画像（以下、「メルカトル画像」という）を示した図である。図４（ａ）はメルカトル画像で球を被う状態を示した概念図、図４（ｂ）は全天球パノラマ画像を示した図である。

図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、撮影装置１によって合成され、図３（ｃ）に示されているように、メルカトル画像が作成される。

そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図４（ａ）に示されているように、メルカトル画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球パノラマ画像が作成される。このように、全天球パノラマ画像は、メルカトル画像が球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球パノラマ画像は、静止画であっても動画であってもよい。

以上のように、全天球パノラマ画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球パノラマ画像の一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５及び図６を用いて説明する。

なお、図５は、全天球パノラマ画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、３次元の立体球として表示されている全天球パノラマ画像に対して、その画像を見るユーザの視点の位置に相当するものである。また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図６（ａ）では、図４に示されている全天球パノラマ画像が、３次元の立体球ＣＳで表わされている。このように生成された全天球パノラマ画像が、立体球ＣＳであるとすると、図５に示されているように、仮想カメラＩＣが全天球パノラマ画像の外部に位置している。全天球パノラマ画像における所定領域Ｔは、この全天球パノラマ画像における仮想カメラＩＣの位置の所定領域情報によって特定される。この所定領域情報は、例えば、座標ｘ(rH)、座標ｙ(rV)、及び画角α(angle)によって示される。所定領域Ｔのズームは、画角αの範囲（円弧）を広げたり縮めたりすることで表現することができる。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球パノラマ画像に近づいたり、遠ざけたりすることで表現することもできる。

そして、図６（ａ）で示されているように、全天球パノラマ画像における所定領域Ｔの画像は、図６（ｂ）に示されているように、所定のディスプレイに、所定領域画像として表示される。図６（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報（ｘ，ｙ，α）によって表された画像である。

ここで、図７を用いて、所定領域情報と所定領域画像の関係について説明する。なお、図７は、所定領域情報と所定領域画像の関係との関係を示した図である。図７に示されているように、仮想カメラＩＣの画角αによって表される所定領域Ｔの対角線画角を２Ｌとした場合の中心点ＣＰが、所定領域情報の（ｘ，ｙ）パラメータとなる。ｆは仮想カメラＩＣから所定領域Ｔの中心点ＣＰまでの距離である。そして、図７では、一般的に以下の式（１）で示される三角関数が成り立つ。

Ｌｆ＝ｔａｎ（α／２）・・・（式１）
＜画像通信システムの概略＞
続いて、図８を用いて、本実施形態の画像通信システムの構成の概略について説明する。図８は、本実施形態の画像通信システムの構成の概略図である。

図８に示されているように、本実施形態の画像通信システムは、撮影装置１、通信端末３、無線ルータ９ａ、画像管理システム５、及び通信端末７によって構成されている。

このうち、撮影装置１は、上述のように、全天球（３６０°）パノラマ画像を得るためのデジタルカメラである。なお、この撮影装置１は、一般的なデジタルカメラであっても良く、通信端末３にカメラが付いている場合は、通信端末３がデジタルカメラとなりうる。本実施形態では、説明を分かりやすくするために全天球パノラマ画像を得るためのデジタルカメラとして説明を行う。通信端末３は、撮影装置１への充電やデータ送受信を行なうクレードル(Cradle)の一例である。また、通信端末３は、接点を介して撮影装置１とデータ通信を行なうことができると共に、無線ルータ９ａ及び通信ネットワーク９を介して画像管理システム５とデータ通信を行なうことができる。なお、通信ネットワーク９は、例えば、インターネットである。

また、画像管理システム５は、例えば、サーバコンピュータであり、通信ネットワーク９を介して、通信端末３，５とデータ通信を行なうことができる。画像管理システム５には、OpenGL ESがインストールされており、全天球パノラマ画像を作成する。

また、通信端末７は、例えば、ノートＰＣ(Personal Computer)であり、通信ネットワーク９を介して、画像管理システム５とデータ通信を行なうことができる。なお、画像管理システム５は、単一のサーバコンピュータによって構成されてもよいし、複数のサーバコンピュータによって構成されてもよい。

＜実施形態のハードウェア構成＞
次に、図９乃至図１１を用いて、本実施形態の撮影装置１、通信端末３，７、及び画像管理システム５のハードウェア構成を詳細に説明する。

まず、図９を用いて、撮影装置１のハードウェア構成を説明する。なお、図９は、撮影装置のハードウェア構成図である。以下では、撮影装置１は、２つの撮像素子を使用した全方位撮影装置とするが、撮像素子は３つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置１と同じ機能を有するようにしてもよい。

図９に示されているように、撮影装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及びアンテナ１１７ａによって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とはパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（ｃ）に示されているようなメルカトル画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、該撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮影装置によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置には表示部が設けられていないが、表示部を設けてもよい。

マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、撮影装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。

ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。ＤＲＡＭ１１４に記憶されたメルカトル画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／ＦとなるネットワークＩ／Ｆ１１６を介して通信端末３等の外部装置に送信されたりする。

通信部１１７は、撮影装置１に設けられたアンテナ１１７ａを介して、WiFi(wireless fidelity)やＮＦＣ等の短距離無線技術によって、通信端末３等の外部装置と通信を行う。この通信部１１７によっても、メルカトル画像のデータを通信端末３の外部装置に送信することができる。

電子コンパス１１８は、地球の磁気から撮影装置１の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。

次に、図１０を用いて、通信端末３のハードウェア構成を説明する。なお、図１０は、無線通信機能を有したクレードルの場合の通信端末３のハードウェア構成図である。

図１０に示されているように、通信端末３は、通信端末３全体の動作を制御するＣＰＵ３０１、基本入出力プログラムを記憶したＲＯＭ３０２、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)３０３、ＣＰＵ３０１の制御にしたがってデータの読み出し又は書き込みを行うＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）３０４、ＣＰＵ３０１の制御に従って被写体を撮像し画像データを得る撮像素子としてのＣＭＯＳセンサ３０５を備えている。

なお、ＥＥＰＲＯＭ３０４には、ＣＰＵ３０１が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。また、ＣＭＯＳセンサ３０５の代わりにＣＣＤセンサを用いてもよい。

更に、通信端末３は、アンテナ３１３ａ、このアンテナ３１３ａを利用して無線通信信号により、無線ルータ９ａ等と通信を行う通信部３１３、ＧＰＳ（Global Positioning Systems）衛星又は屋内ＧＰＳとしてのＩＭＥＳ(Indoor MEssaging System）によって通信端末３の位置情報（緯度、経度、および高度）を含んだＧＰＳ信号を受信するＧＰＳ受信部３１４、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン３１０を備えている。

図１１を用いて、画像管理システム５及びノートＰＣの場合の通信端末７のハードウェア構成を説明する。なお、図１１は、画像管理システム５及び通信端末７のハードウェア構成図である。画像管理システム５、及び通信端末７は、ともにコンピュータであるため、以下では、画像管理システム５の構成について説明し、通信端末７の構成の説明は省略する。

画像管理システム５は、画像管理システム５全体の動作を制御するＣＰＵ５０１、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３、画像管理システム５用のプログラム等の各種データを記憶するＨＤ５０４、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８、通信ネットワーク９を利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)５１３に対する各種データの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ５１４、及び、上記各構成要素を図１１に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。

＜実施形態の処理の概略＞
次に、図１２を用いて、本実施形態の処理の概略について説明する。図１２は、本実施形態の処理の概略を示した図である。

まず、通信端末３が撮影装置１から、撮影画像データ、所定領域情報、及び関連情報を取得する（ステップＳ１）。そして、通信端末３は、画像管理システム５に対して、撮影画像データ、所定領域画像、及び関連情報を送信する（ステップＳ２）。この送信は、例えば、１分おきに行なわれる。次に、画像管理システム５は、撮影画像データから人物の画像である人物像を検出する（ステップＳ３）。そして、画像管理システム５は、所定領域画像、及び関連情報を送信する（ステップＳ４）。次に、画像管理システム５は、通信端末７からの要求に応じて、通信端末７に対して、点数表、描画点表（描画点位置と点数が空の状態）、人物検出情報、及び撮影画像データ群を送信する（ステップＳ５）。これにより、通信端末７は、後述の記憶部７０００に、点数表、描画点表（描画点位置と点数が空の状態）、人物検出情報、及び撮影画像データ群を記憶する。また、各撮影画像データには、撮影画像データを識別するための撮影画像ＩＤが付されている。

次に、通信端末７は、図２８及び図２９に示されているようなヒートマップ画像を作成する（ステップＳ６）。これにより、閲覧者Ｙは、所定期間の複数の全天球パノラマ画像（又は所定領域画像）を閲覧しなくても、ヒートマップ画像を閲覧することで、人物の動向を認識することができる。

＜＜実施形態の機能構成＞＞
次に、図９乃至図１１、及び図１３を用いて、本実施形態の機能構成について説明する。図１３は、本実施形態の画像通信システムの一部を構成する、撮影装置１、通信端末３、画像管理システム５、及通信端末７の各機能ブロック図である。図１３では、画像管理システム５が、通信ネットワーク９を介して、通信端末３及び通信端末７とデータ通信することができる。

＜撮影装置１の機能構成＞
図１３に示されているように、撮影装置１は、受付部１２、撮像部１３、集音部１４、接続部１８、及び記憶・読出部１９を有している。これら各部は、図９に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮影蔵置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。

また、撮影装置１は、図９に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００を有している。

（撮影装置１の各機能構成）
次に、図９及び図１３を用いて、撮影装置１の各機能構成について更に詳細に説明する。

撮影装置１の受付部１２は、主に、図９に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、利用者（図８では、設置者Ｘ）からの操作入力を受け付ける。

撮像部１３は、主に、図９に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、並びにＣＰＵ１１１の処理によって実現され、風景等を撮像し、撮影画像データを得る。

集音部１４は、図９に示されている１０８及び音処理ユニット１０９、並びにＣＰＵ１１１の処理によって実現され、撮影装置１の周囲の音を収音する。

接続部１８は、主に、電気接点、及びＣＰＵ１１１の処理によって実現され、通信端末３からの電源供給を受けると共に、データ通信を行う。

記憶・読出部１９は、主に、図９に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データ（または情報）を記憶したり、記憶部１０００から各種データ（または情報）を読み出したりする。

＜通信端末３の機能構成＞
図１３に示されているように、通信端末３は、送受信部３１、接続部３８、及び記憶・読出部３９を有している。これら各部は、図１０に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ３０４からＲＡＭ３０３上に展開された通信端末３用プログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は手段である。

また、通信端末３は、図１０に示されているＲＯＭ３０２、ＲＡＭ３０３、及びＥＥＰＲＯＭ３０４によって構築される記憶部３０００を有している。

（通信端末３の各機能構成）
次に、図１０及び図１３を用いて、通信端末３の各機能構成について更に詳細に説明する。

通信端末３の送受信部３１は、主に、図１０に示されている通信部３１３及びＣＰＵ３０１の処理によって実現され、無線ルータ９ａ及び通信ネットワーク９を介して、画像管理システム５と各種データ（または情報）の送受信を行う。

接続部３８は、主に、電気接点、及びＣＰＵ３０１の処理によって実現され、通信端末３に電源供給すると共に、データ通信を行う。

記憶・読出部３９は、主に、図１０に示されているＣＰＵ３０１の処理によって実現され、記憶部３０００に各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。

＜画像管理システムの機能構成＞
次に、図１１及び図１３を用いて、画像管理システム５の各機能構成について詳細に説明する。画像管理システム５は、送受信部５１、検出部５２、及び記憶・読出部５９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された画像管理システム５用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、画像管理システム５は、図１１に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、通信端末３から送られて来る撮影画像データが記憶される。また、記憶部５０００には、後述の図１６(ａ）に示されている点数表、及び図１６（ｂ）に示されている描画点表が記憶されている。

更に、記憶部５０００には、人物画像管理ＤＢ５００１が構築されている。人物画像管理ＤＢ５００１は、後述の人物画像管理テーブルによって構成されている。以下、人物画像管理テーブル、点数表、及び描画点表について詳細に説明する。

（人物画像管理テーブル）
図１４は、人物画像管理テーブルを示す概念図である。この人物画像管理テーブルでは、撮影画像ＩＤ毎に、撮影画像データのファイル名、撮影画像の撮影日時、人物検出領域ＩＤ、及び人物位置と範囲が関連付けて記憶されて管理されている。

このうち、撮影画像ＩＤは、撮影画像データを識別するための撮影画像識別情報の一例である。撮影画像データのファイル名は、この関連付けられている撮影画像ＩＤで示される撮影画像データのファイル名である。撮影画像の撮影日時は、この関連付けられている撮影画像データが装置ＩＤで示される撮影装置１で撮影された日時である。撮影画像データは、記憶部５０００に記憶されている。

また、人物検出領域ＩＤは、検出部５２によって、撮影画像データから検出された人物検出領域を識別するための人物検出領域識別情報の一例である。人物検出領域は、図１５に示されているように、人物位置と範囲によって示され、人物像（矩形画像）の基準位置（ｘ，ｙ）を示す人物位置と、この人物位置からの横幅（ｗ）及び高さ（ｈ）を示す範囲によって構成されている。検出部５２は、撮影画像データに任意の人物像が含まれていることを検知するだけでなく、人物の縦横サイズや色彩等の特徴量に基づいて各人物を区別して検知することができる。人物位置と範囲は、撮影画像（全天球パノラマ画像）データにおける人物画像の特定の１点と、幅と高さによる範囲である。例えば、図１５に示されているように、人物像は矩形状に検知され、矩形の左上の角が人物の基準位置（ｘ１１，ｙ１１）を示し、矩形の幅がｗ１１で、矩形の高さがｈ１１を示す。

また、人物画像管理テーブルの各項目（フィールド）のうち、撮影画像ＩＤ、人物検出領域ＩＤ、及び人物位置と範囲が、図１２に示されているステップＳ５で送信される人物検出情報を構成する。

（点数表）
図１６（ａ）は、点数表の概念図である。画像管理システム５は予め点数表を記憶しておき、通信端末７に対して点数表を送信することで、通信端末７はヒートマップ画像を作成する際に点数表を利用する。点数表は、図１６（ａ）に示されているように、中心点の種類と、予め定められた点数が関連付けられている。これら各種中心点のいずれかと点数により描画点が算出される。画像管理システム５は予め描画点表を記憶しておき、通信端末７に対して点数表を送信することで、通信端末７はヒートマップ画像を作成する際に点数表を利用する。

また、中心点の種類は、中心点（基本中心点）、複数の中心点同士の中心点を示す平均中心点（第１の平均中心点）、及び複数の前記平均中心点同士の平均中心点（第２平均中心点）を含む。また、点数は、平均点、平均中心点、及び第２平均中心点の順に高い値となる。

（描画点表）
図１６（ｂ）は、描画点表の概念図である。描画点表は、各描画点情報（描画点の位置と点数）を管理するための表である。画像管理システム５は、予め描画点表（描画点の位置と得点が空の状態）を記憶しておき、通信端末７に対して描画点表（描画点の位置と得点が空の状態）を送信する。通信端末７は、描画点表に描画点の位置及び点数を保存することで、ヒートマップ画像の作成に利用する。

（画像管理システムの各機能構成）
次に、図１３を用いて、画像管理システム５の各機能構成について詳細に説明する。

画像管理システム５の送受信部５１は、主に、図１１に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク９を介して通信端末３、又は通信端末７と各種データ（または情報）の送受信を行う。

検出部５２は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、撮影画像データにおける人物像を検出する。この人物像の検出は、ＳＶＭ(Support Vector Machine)の人物検出方式等により行なわれる。具体的には、検出部５２は、撮影画像データにおける人物像の特徴量に基づいて各人物を検出し、検出した各人物像の撮影画像（２次元画像）データにおける位置を特定する。この場合の特徴量は、例えば、人物の縦横サイズ、色彩、顔等である。

記憶・読出部５９は、主に、図１１に示されているＨＤＤ５０５、及びＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。

＜通信端末７の機能構成＞
次に、図１１及び図１３を用いて、通信端末７の機能構成について詳細に説明する。通信端末７は、送受信部７１、受付部７２、表示制御部７３、ヒートマップ作成部７４、及び、記憶・読出部７９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された通信端末７用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、通信端末７は、図１１に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部７０００を有している。

（通信端末７の各機能構成）
次に、図１３を用いて、通信端末７の各機能構成について詳細に説明する。

通信端末７の送受信部７１は、主に、図１１に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク９を介して画像管理システム５と各種データ（または情報）の送受信を行う。

受付部７２は、主に、図１１に示されているキーボード５１１及びマウス５１２、並びにＣＰＵ５０１の処理によって実現され、利用者（図８では、閲覧者Ｙ）からの操作入力を受け付ける。

表示制御部７３は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、通信端末７のディスプレイ５０８に各種画像を表示させるための制御を行なう。表示制御部７３は、例えば、撮影画像データに関する画像（所定領域画像、特定領域画像、又は撮影画像）にヒートマップ画像をマッピングして、通信端末７のディスプレイ５０８に表示させる。

ヒートマップ作成部７４は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、ヒートマップ画像を作成する。

記憶・読出部７９は、主に、図１１に示されているＨＤＤ５０５、及びＣＰＵ５０１の処理によって実現され、記憶部７０００に各種データ（または情報）を記憶したり、記憶部７０００から各種データ（または情報）を読み出したりする。

ここで、ヒートマップ作成部７４について詳細に説明する。ヒートマップ作成部７４は、読出部７４ｂ、判断部７４ｃ、保存部７４ｄ、算出部７４ｅ、集約部７４ｆ、及びレンダリング部７４ｇを含んでいる。

これらのうち、読出部７４ｂは、例えば、記憶部７０００から、点数表、描画点表等、各種データを読み出す。

判断部７４ｃは、例えば、画像管理システム５から送られて来た人物検出情報に基づき、任意の撮影画像データに人物検出領域はあるか否か等の判断を行なう。

保存部７４ｄは、例えば、記憶部７０００に描画点の保存等を行なう。

算出部７４ｅは、例えば、所定の位置で時間経過により撮影されることで得られた複数の撮影画像データにおける各人物検出領域の中心点を算出する。また、算出部７４ｅは、点数表に基づいて中心点の点数を算出し、これにより描画点を算出する。更に、算出部７４ｅは、人物検出領域を、人物を含む矩形領域の任意の角の位置を示す人物位置と、当該人物位置からの前記矩形領域の幅及び高さを示す範囲によって特定する。

集約部７４ｆは、例えば、複数の撮影画像データにおける複数の中心点が所定範囲内に存在する場合には、所定範囲内の複数の中心点を集約して、単一の中心点にすると共に、各中心点の点数の合計を集約後の中心点の点数と定める。

レンダリング部７４ｇは、例えば、算出部７４ｅによって算出された中心点に基づく描画点を色の濃淡の重み付けに利用することで、ヒートマップ画像をレンダリングする。また、レンダリング部７４ｇは、色の濃淡の重み付けを定める際に、点数が高いほど中心点を濃い色に定める。更に、レンダリング部７４ｇは、集約部７４ｆによって定められた単一の中心点と点数の合計を、色の濃淡の重み付けに利用する。

＜＜実施形態の処理又は動作＞＞
続いて、図１８乃至図２９を用いて、本実施形態の処理又は動作について説明する。

まず、読出部７４ｂは、記憶部７０００から、元の撮影画像データの解像度を読み出す（ステップＳ１１）。また、読出部７４ｂは、記憶部７０００から、人物検出情報を読み出す（ステップＳ１２）。そして、読出部７４ｂａは、記憶部７０００に記憶されている元の撮影画像データ群のうち、取得していない任意の撮影画像データを読み出す（ステップＳ１３）。

次に、判断部７４ｃは、新たに読み出された撮影画像データの撮影画像ＩＤと同じ撮影画像ＩＤが人物検出情報において関連付けられている人物検出領域ＩＤがあるか否かにより、人物検出領域があるか否かを判断する（ステップＳ１４）。そして、判断部７４ｃが、人物検出領域がないと判断した場合には（ＮＯ）、ステップＳ２６の処理に進む。一方、判断部７４ｃが、人物検出領域があると判断した場合には（ＹＥＳ）、算出部７４ｅは、人物検出情報における人物位置と範囲に基づき、人物検出領域の中心点を算出すると共に、点数表（図１６（ａ）参照）を利用して、中心点ｐ１の得点を算出する（ステップＳ１５）。具体的には、図１９（ａ）に示されているように、任意の撮影画像において、例えば、４つの人物検出領域が存在する場合、算出部７４ｅは、まず人物検出領域ａ１を選択し、図１９（ｂ）に示されているように、人物検出領域ａ１の中心点ｐ１を算出する。そして、算出部７４ｅは、点数表（図１６（ａ）参照）を利用して、図１９（ｃ）に示されているように、中心点ｐ１の得点を算出することで、描画点ｓ１を算出する。この描画点ｓ１は、中心点ｐ１の位置と得点の両方の情報を有している。描画点は、ヒートマップ画像が作成される際の色の濃淡の重み付けに利用される。そして、図１７に戻り、保存部７４ｄは、記憶部７０００に記憶されている描画点表に、描画点ｓ１を示す描画点情報を保存する（ステップＳ１６）。

続いて、図１８に示されているように、判断部７４ｃは、同じ任意の撮影画像において、選択されていない人物検出領域があるか否かを判断する（ステップＳ１７）。そして、判断部７４ｃが選択されていない人物検出領域があると判断した場合には（ＹＥＳ）、上記ステップＳ１５，Ｓ１６と同様の処理が行なわれる。即ち、算出部７４ｅは、人物検出情報における人物位置と範囲に基づき、次の人物検出領域の中心点を算出すると共に、点数表（図１６（ａ）参照）を利用して、中心点ｐ２の得点を算出する（ステップＳ１８）。具体的には、図２０（ａ）に示されているように、同じ任意の撮影画像において、算出部７４ｅは、次の人物検出領域ａ２を選択し、図２０（ｂ）に示されているように、人物検出領域ａ２の中心点ｐ２を算出する。そして、算出部７４ｅは、点数表（図１６（ａ）参照）を利用して、図２０（ｃ）に示されているように、中心点ｐ２の得点を算出することで、描画点ｓ２を算出する。この描画点ｓ２は、中心点ｐ２の位置と得点の両方の情報を有している。そして、図１８に戻り、保存部７４ｄは、記憶部７０００に記憶されている描画点表に、描画点ｓ２を示す描画点情報を保存する（ステップＳ１９）。

次に、判断部７４ｃは、一の人物検出領域に他の人物検出領域の中心点は含まれるか否かを判断する(ステップＳ２０)。そして、判断部７４ｃが、含まれないと判断した場合には（ＮＯ）、ステップＳ１７の処理に戻る。一方、判断部７４ｃが、含まれると判断した場合には（ＹＥＳ）、算出部７４ｅは、点数表（図１６（ａ）参照）を利用して、平均中心点を算出する（ステップＳ２１）。具体的には、図２１（ａ）に示されているように、人物検出領域ａ２に人物検出領域ａ１の中心が含まれている場合には、算出部７４ｅは、描画点ｓ１と描画点ｓ２の真ん中の位置を平均中心点ｐ１２として算出する。そして、算出部７４ｅは、点数表（図１６（ａ）参照）を利用して、平均中心点ｐ１２の得点を算出することで、新たに描画点ｓ１２を算出する。この描画点ｓ１２は、平均中心点ｐ１２の位置と得点の両方の情報を有している。そして、図１８に戻り、保存部７４ｄは、記憶部７０００に記憶されている描画点表に、描画点ｓ１２を示す描画点情報を保存する（ステップＳ２２）。

続いて、判断部７４ｃは、算出部７４ｅによって算出された平均中心点が複数あるか否かを判断する（ステップＳ２３）。ここでは、まだ１つしかないため、ステップＳ１７の処理に戻る（ＮＯ）。そして、ステップＳ１７によって、判断部７４ｃが、図２２に示されているように、３つ目の人物検出領域ａ３があると判断すると（ＹＥＳ）、人物検出領域ａ３において、上記ステップＳ１８，Ｓ１９と同様の処理が行なわれる。具体的には、図２２（ａ）に示されているように、同じ任意の撮影画像において、算出部７４ｅは、３つ目の人物検出領域ａ３を選択し、図２２（ｂ）に示されているように、人物検出領域ａ３の中心点ｐ３を算出する。そして、算出部７４ｅは、点数表（図１６（ａ）参照）を利用して、図２２（ｃ）に示されているように、中心点ｐ３の得点を算出することで、描画点ｓ３を算出する。この描画点ｓ３は、中心点ｐ３の位置と得点の両方の情報を有している。

更に、ステップＳ２０の処理後、ステップＳ２１，Ｓ２２の処理が行なわれる。具体的には、図２３（ａ）に示されているように、人物検出領域ａ３に人物検出領域ａ１，ａ２の中心が含まれている場合には、算出部７４ｅは、描画点ｓ１と描画点ｓ３の真ん中の位置を平均中心点ｐ１３として算出すると共に、描画点ｓ２と描画点ｓ３の真ん中の位置を平均中心点ｐ２３として算出する。そして、算出部７４ｅは、点数表（図１６（ａ）参照）を利用して、平均中心点ｐ１３，ｐ２３の各得点を算出することで、新たに描画点ｓ１３，ｓ２３を算出する。各描画点ｓ１３，ｓ２３は、それぞれ平均中心点ｐ１３，ｐ２３の位置と得点の両方の情報を有している。そして、保存部７４ｄは、記憶部７０００に記憶されている描画点表に、描画点ｓ１３，ｓ２３を示す各描画点情報を保存する。

次に、判断部７４ｃは、算出部７４ｅによって算出された平均中心点が複数あるか否かを判断する（ステップＳ２３）。算出部７４ｅが複数あると判断した場合には（ＹＥＳ）、算出部７４ｅは、平均中心点同士の平均中心点（第２平均中心点）を算出すると共に、点数表（図１６（ａ）参照）を利用して、第２平均中心点の得点を算出することで、描画点を算出する（ステップＳ２４）。具体的には、図２４（ａ）に示されているように、算出部７４ｅは、３つの描画点ｓ１２，ｓ１３，ｓ２３の真ん中（重心）の位置を第２平均中心点ｐ１２１３２３として算出する。そして、算出部７４ｅは、点数表（図１６（ａ）参照）を利用して、第２平均中心点ｐ１２１３２３の得点を算出することで、新たに描画点ｓ１２１３２３を算出する。描画点ｓ１２１３２３は、第２平均中心点ｐ１２１３２３の位置と得点の両方の情報を有している。そして、保存部７４ｄは、記憶部７０００に記憶されている描画点表に、描画点ｓ１２１３２３を示す描画点情報を保存する（ステップＳ２５）。

次に、ステップＳ１７に戻り、ＹＥＳに進み、ステップＳ１８，Ｓ１９の処理が行なわれる。具体的には、図２５（ａ）に示されているように、同じ任意の撮影画像において、算出部７４ｅは、４つ目の人物検出領域ａ４を選択し、図２５（ｂ）に示されているように、人物検出領域ａ４の中心点ｐ４を算出する。そして、算出部７４ｅは、点数表（図１６（ａ）参照）を利用して、図２５（ｃ）に示されているように、中心点ｐ４の得点を算出することで、描画点ｓ４を算出する。この描画点ｓ４は、中心点ｐ４の位置と得点の両方の情報を有している。そして、保存部７４ｄは、記憶部７０００に記憶されている描画点表に、描画点ｓ４を示す描画点情報を保存する。これにより、任意の撮影画像データ内の全ての人物検出領域についての描画点の算出が行なわれるため、ステップＳ１７の処理に戻ると、判断部７４ｃは、選択されていない人物検出領域がない（ＮＯ）と判断し、図１７に示されているステップＳ２６の処理に進む。

次に、判断部７４ｃは、撮影画像データ群のうち、読出部７４ｂによって読み出されていない撮影画像データがあるか否かを判断する（ステップＳ２６）。そして、判断部７４ｃが、読み出されていない撮影画像データがあると判断した場合には（ＹＥＳ）、ステップＳ１３の処理に戻る。

一方、判断部７４ｃが、読み出されていない撮影画像データがないと判断した場合には（ＹＥＳ）、集約部７４ｆは、所定範囲内の描画点を集約して、保存部７４ｄが描画点表に集約後の描画点を示す描画点情報を保存する（ステップＳ２８）。ここで、具体例として、例えば、図２６（ａ）、（ｂ）、（ｃ）に示されているように、続けて撮影されることで得られた３つの撮影画像データｄ１、ｄ２、ｄ３があり、それぞれの描画点ｓ４１，ｓ４２，ｓ４３が同じ位置でない状態について説明する。３つの撮影画像データを重ねると、図２７（ａ）に示されているように、描画点ｓ４１を中心とした所定範囲内（波線部分）に他の描画点ｓ４２，ｓ４３が存在している。このような場合、集約部７４ｆは、３つの描画点ｓ４１，ｓ４２，ｓ４３を１つの描画点ｓ４１４２４３に集約する。この場合、描画点ｓ４１４２４３の得点は、３つの描画点ｓ４１，ｓ４２，ｓ４３の各得点の合計となる。なお、集約後の描画点ｓ４１４２４３を示す描画点情報が保存される場合、集約前の各描画点ｓ４１，ｓ４２，ｓ４３の各描画点情報はそのまま保存される。但し、集約後の描画点ｓ４１４２４３を示す描画点情報が保存されることに代えて、集約前の各描画点ｓ４１，ｓ４２，ｓ４３の各描画点情報が削除されるようにしてもよい。

以上により、全ての撮影画像データについて描画点の算出が行なわれ、描画点表に全ての描画点情報が保存されると、レンダリング部７４ｇは、描画点表の全ての描画点情報に基づき、ヒートマップ画像をレンダリングする。図２８は、描画点に基づいて作成されたヒートマップ画像が付された所定領域画像（特定領域画像を含む）を示す図である。表示制御部７３は、特定領域画像にヒートマップ画像をマッピングして、通信端末７のディスプレイ５０８に表示させる。実際には、複数の撮影画像データにおいて人物検出領域が存在する数に応じ、数が多い方から少ない方にかけて、赤色、オレンジ色、黄色、黄緑色、青色等で表現される。しかし、ここでは、白黒の濃淡で表現し、多い方から少ない方にかけて、濃色から淡色で表現されている。

また、図２９は、描画点に基づいて作成されたヒートマップ画像が付された全天球パノラマ画像を示す図である。図２９に示されているように、全天球パノラマ画像の場合、図５に示されている仮想カメラＩＣを立体球ＣＳから遠ざけると（画角を広くすると）、表示制御部７３は、ヒートマップ画像が全天球パノラマ画像の手前側に回り込んで、ヒートマップ画像の裏面側を表示させる。

ここで、図２９に示されているヒートマップ画像の表示について、図３０を用いて詳細に説明する。図３０は、全天球パノラマ画像とヒートマップ画像の関係を示した概念図である。図３０は、図５における上部から見た図を流用したものであり、立体球ＣＳに対して全天球パノラマ画像（波線）が貼り付けられた状態で、ヒートマップ画像ｈ１，ｈ２がマッチングされている場合を示している。仮想カメラＩＣから全天球パノラマ画像を見る場合、撮影画像の一部である所定領域Ｔの所定領域画像、ヒートマップ画像ｈ１の表面側、及びヒートマップ画像ｈ２の裏面側を見ることができる。この場合、ヒートマップ画像ｈ２が全天球パノラマ画像の手前側（仮想カメラ側）に回り込んで、ヒートマップ画像ｈ２の裏面側が表示されている。

＜＜本実施形態の主な効果＞＞
以上説明したように本実施形態によれば、レンダリング部７４ｇが、人物検出領域ａ１等の中心点ｐ１による描画点ｓ１等を色の濃淡の重み付けに利用して、ヒートマップ画像をレンダリングする。そして、表示制御部７３は、図２８又は図２９に示されているように、撮影画像データに係る撮影画像にヒートマップ画像をマッピングして表示させる。このように、表示制御部７３が、ヒートマップ画像をマッピングしても、人物の顔や足を表示することができる。このように、ヒートマップ画像が邪魔にならないため、閲覧者は、ヒートマップ画像からの情報を得られると共に、撮影画像が表している状況を把握し易いという効果を奏する。

また、本実施形態によれば、図２９に示されているように、表示制御部７３は、全天球パノラマ画像を表示する場合、ヒートマップ画像が全天球パノラマ画像の手前側に回り込んでヒートマップ画像の裏面側を表示させることが可能である。これにより、表示制御部７３は、立体的にヒートマップ画像を表示することができるため、全天球パノラマ画像特有のヒートマップ画像の表示方法により、閲覧者は撮影画像が表している状況を把握し易いという効果を奏する。

〔第２の実施形態〕
以下、図面を用いて、本発明の第２の実施形態について説明する。なお、本実施形態は、第１の実施形態と処理又は動作が異なるだけであるため、以下では処理又は動作を説明する。

＜＜実施形態の処理又は動作＞＞
図３１乃至図３４を用いて、本実施形態の処理又は動作について説明する。図３１は、第２の実施形態におけるヒートマップ画像の作成方法を示すフローチャートである。図３２は、第２の実施形態におけるヒートマップ画像の作成方法を示すフローチャートである。図３３は、各描画点（第１乃至第４の人物検知領域の第１乃至第４の中心点及び各点数）を定める処理を示した概念図である。図３４は、描画点（第１の中心点と第２の中心点の平均中心点及び点数）、描画点（第１の中心点と第３の中心点の平均中心点及び点数）、及び描画点（第２の中心点と第３の中心点の平均中心点及び点数）を定める処理を示した概念図である。

第１の実施形態では、算出部７４ｅが、図１９及び図２０に示されているように人物検出領域ａ１，ａ２における描画点ｓ１，ｓ２を算出した後、図２１に示されているように平均中心点における描画点ｓ１２を算出した。そして、算出部７４ｅが、図２２に示されているように人物検出領域ａ３における描画点ｓ３を算出した後、図２３に示されているように平均中心点における描画点ｓ１３，ｓ２３を算出した。

これに対して、第２の実施形態では、算出部７４ｅが、図３３（ａ）に示されているように、まとめて人物検出領域ａ１，ａ２，ａ３における中心点ｐ１，ｐ２，ｐ３を算出することで、図３３（ｂ）に示されているように、まとめて描画点ｓ１，ｓ２，ｓ３を算出する。そして、算出部７４ｅが、図３４（ａ）に示されているように、まとめて平均中心点ｐ１２，ｐ１３，ｐ２３を算出し、図３４（ｂ）に示されているように、まとめて平均中心点における描画点ｓ１２、ｓ１３、ｓ２３を算出する。即ち、図３１及び図３２において、ステップＳ１１１〜Ｓ１２５の処理は、それぞれ図１７及び図１８において、ステップＳ１１，Ｓ１２，Ｓ１３，Ｓ１４，Ｓ１５，Ｓ１６，Ｓ２１，Ｓ２２，Ｓ２３，Ｓ２４，Ｓ２５，Ｓ１６，Ｓ２６，Ｓ２７，Ｓ２８の各処理に対応する。

＜＜本実施形態の主な効果＞＞
以上説明したように本実施形態によれば、第１の実施形態と同様の効果を奏する。

〔実施形態の補足〕
更に、上記実施形態における画像管理システム５は、単一のコンピュータによって構築されてもよいし、各部（機能、手段、又は記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。

また、上記実施形態の各プログラムが記憶されたＣＤ−ＲＯＭ等の記録媒体、並びに、これらプログラムが記憶されたＨＤ５０４は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。

更に、通信端末７は、ノートＰＣだけでなく、デスクトップ型のＰＣ等のパーソナルコンピュータであってもよく、更に、スマートフォン、タブレット型端末、又はスマートウォッチであってもよい。

１ 撮影装置
３ 通信端末
５ 画像管理システム
７ 通信端末
９ 通信ネットワーク
７１ 送受信部
７２ 受付部
７３ 表示制御部
７４ ヒートマップ作成部
７４ｂ 読出部
７４ｃ 判断部
７４ｄ 保有部
７４ｅ 算出部
７４ｆ 集約部
７４ｇ レンダリング部
５０００ 記憶部
５００１ 人物画像管理ＤＢ
７０００ 記憶部

特開２０１１−６１５１１号公報 特開２００９−１３４６８８号公報

Claims (10)

1. 所定の位置で撮影されることで得られた撮影画像データに係る撮影画像にヒートマップ画像をマッピングして表示する通信端末であって、
   前記所定の位置で時間経過により撮影されることで得られた複数の撮影画像データにおける各人物検出領域の中心点を算出する算出手段と、
   前記算出手段によって算出された前記中心点を色の濃淡の重み付けに利用することで、ヒートマップ画像をレンダリングするレンダリング手段と、
   前記撮影画像に前記ヒートマップ画像をマッピングして表示させる表示制御手段と、
   を有する通信端末。
2. 前記撮影画像は全天球パノラマ画像であり、
   前記表示制御手段は、前記全天球パノラマ画像を表示する場合、前記ヒートマップ画像が全天球パノラマ画像の手前側に回り込んで前記ヒートマップ画像の裏面側を表示させることが可能である請求項１に記載の通信端末。
3. 請求項１又は２に記載の通信端末であって、
   前記中心点の種類及び当該種類に応じて定められている点数が関連付けられた点数表を記憶する記憶手段を有し、
   前記算出手段は、前記点数表に基づいて、前記中心点の点数を算出し、
   前記レンダリング手段は、前記色の濃淡の重み付けを定める際に、前記点数が高いほど前記中心点を濃い色に定める通信端末。
4. 前記中心点の種類は、中心点、複数の中心点同士の中心点を示す平均中心点、及び複数の前記平均中心点同士の中心点を示す第２平均中心点を含み、
   前記点数は、前記平均点、平均中心点、及び第２平均中心点の順に高い値である請求項３に記載の通信端末。
5. 前記算出手段は、前記人物検出領域を、前記人物を含む矩形領域の任意の角の位置を示す人物位置と、当該人物位置からの前記矩形領域の幅及び高さを示す範囲によって特定する請求項１乃至４に記載の通信端末。
6. 請求項３又は４に記載の通信端末であって、
   前記複数の撮影画像データにおける複数の中心点が所定範囲内に存在する場合には、前記所定範囲内の前記複数の中心点を集約して、単一の中心点にすると共に、各中心点の点数の合計を集約後の中心点の点数と定める集約手段を有し、
   前記レンダリング手段は、集約手段によって定められた前記単一の中心点と前記点数の合計を、色の濃淡の重み付けに利用する通信端末。
7. 前記通信端末は、パーソナルコンピュータ、スマートフォン、タブレット型端末、又はスマートウォッチである請求項１乃至６に記載の通信端末。
8. 請求項１乃至７に記載の通信端末と、
   前記複数の撮影画像データを管理する画像管理システムと、
   を有する画像通信システムであって、
   前記通信端末は、前記画像管理システムから前記複数の撮影画像データを受信する受信手段を有する、画像通信システム。
9. 所定の位置で撮影されることで得られた撮影画像データに係る撮影画像にヒートマップ画像をマッピングして表示する通信端末が実行する表示方法であって、
   前記通信端末が、
   前記所定の位置で時間経過により撮影されることで得られた複数の撮影画像データにおける各人物検出領域の中心点を算出する算出ステップと、
   前記算出された前記中心点を色の濃淡の重み付けに利用することで、ヒートマップ画像をレンダリングするレンダリングステップと、
   前記撮影画像に前記ヒートマップ画像をマッピングして表示する表示制御ステップと、
   を実行する表示方法。
10. コンピュータに、請求項９に記載の表示方法を実行させるプログラム。

Images