JP2017182681A - 画像処理システム、情報処理装置、プログラム - Google Patents

Abstract

【課題】三次元で表現された画像と複数の解析情報を表示することができる画像処理システムを提供すること。【解決手段】所定よりも広角の画像データと前記画像データの解析情報を表示する画像処理システム２００であって、前記画像データを解析して得られた第一の解析情報を前記画像データに関連付ける情報関連付け手段８２と、前記第一の解析情報が関連付けられた前記画像データを三次元空間に配置する配置手段８１と、前記画像データを解析して得られた第二の解析情報を三次元空間のオブジェクトとして三次元空間の前記画像データと関連付けて配置する解析情報配置手段８３と、前記第一の解析情報、前記第二の解析情報、及び前記画像データを表示装置に表示する表示手段７３と、を有する。【選択図】図１

Description

本発明は、画像処理システム、情報処理装置及びプログラムに関する。

画像データを解析して得られた解析情報をコンピュータが加工して表示することで、解析情報をユーザが理解しやすくなる。例えば、複数の解析情報を比較した棒グラフや円グラフなどが従来から知られている。また、色の違いで解析情報を視覚化したり、強調したりすることができるため、従来から解析情報をカラー表示することが行われている。

また、実空間の三次元オブジェクトをコンピュータに表示させる際に、三次元オブジェクトを少ない違和感で平面（画面）に表示する処理が行われている（例えば、特許文献１参照。）。特許文献１には、２Ｄ画像の特徴に基づいてコンテンツに対応するカラーマップタグを複数の領域に選択的に割り当て、カラーマップタグにしたがって３Ｄ画像の複数の領域の各々に異なるカラーマップを選択的に割り当てる方法が開示されている。

しかしながら、従来の方法では、画像データが三次元で表現されている場合に、複数の解析情報に適切な視覚的効果を与えて表示することが考慮されていないという問題があった。すなわち、平面の画像データを例えば色分けして解析情報を視覚化すること、又は、解析情報を仮想的な立体で表して平面上で視覚化することは個別にできても、複数の解析情報を三次元の画像データに対し適切に表示することが困難であった。

本発明は、上記課題に鑑み、三次元で表現された画像と複数の解析情報を表示することができる画像処理システムを提供することを目的とする。

本発明は、所定よりも広角の画像データと前記画像データの解析情報を表示する画像処理システムであって、前記画像データを解析して得られた第一の解析情報を前記画像データに関連づける情報関連付け手段と、前記第一の解析情報が関連付けられた前記画像データを三次元空間に配置する配置手段と、前記画像データを解析して得られた第二の解析情報を三次元空間のオブジェクトとして三次元空間の前記画像データと関連付けて配置する解析情報配置手段と、前記第一の解析情報、前記第二の解析情報、及び前記画像データを表示装置に表示する表示手段と、を有する。

三次元で表現された画像と複数の解析情報を表示することができる画像処理システムを提供することができる。

情報端末が表示する解析情報表示画面の一例を示す図である。 画像処理システムの概略構成図の一例である。 撮像装置のハードウェア構成図の一例である。 無線通信機能を有したクレードルの場合の通信端末のハードウェア構成図の一例である。 画像管理装置及び情報端末のハードウェア構成図の一例である。 画像処理システムが有する撮像装置、通信端末、画像管理装置、及び情報端末の各機能ブロック図の一例である。 情報端末がヒートマップ画像を作成する手順を示すフローチャート図の一例である。 情報端末がヒートマップ画像を作成する手順を示すフローチャート図の一例である。 描画点（第１の人検知領域の第１の中心点及び点数）を定める処理を示した概念図である。 描画点（第２の人検知領域の第２の中心点及び点数）を定める処理を示した概念図である。 描画点（第１の中心点と第２の中心点の平均中心点及び点数）を定める処理を示した概念図である。 描画点（第３の人検知領域の第３の中心点及び点数）を定める処理を示した概念図である。 描画点（第１の中心点と第２の中心点の平均中心点及び点数）、並びに描画点（第２の中心点と第３の中心点の平均中心点及び点数）を定める処理を示した概念図である。 描画点（平均中心点同士の平均中心点（第２平均中心点）及び点数）を定める処理を示した概念図である。 描画点（第４の人検知領域の第４の中心点及び点数）を定める処理を示した概念図である。 描画点（複数の画像のそれぞれの各種中心点及び点数）を示した概念図である。 複数の画像における所定範囲内の描画点の集約を示した概念図である。 描画点に基づいて作成されたヒートマップ画像が付された画像データを示す図の一例である。 平面の画像データの全天球画像への貼り付けを模式的に説明する図の一例である。 全天球画像と仮想カメラＩＣのワールド座標系における配置例を説明する図の一例である。 全天球画像の一例を示す図である。 棒グラフの描画を説明する図の一例である。 棒グラフ演算部が棒グラフを作成する手順を示すフローチャート図の一例である。 棒グラフのレンダリングについて説明する図の一例である。 情報端末がディスプレイに表示する設定画面の一例である。 仮想カメラの位置と画角に対する全天球の関係を模式的に説明する図の一例である。 画像データが全天球の内側又は外側に貼り付けられる際の切り替えについて説明する図の一例である。 棒グラフの高さに基づいて平滑化された全天球画像を示す図の一例である。 棒グラフの高さに基づく各エリアの棒グラフの高さの平滑化を説明する図の一例である。

以下、本発明を実施するための形態について図面を参照しながら説明する。
図１は、本実施形態において情報端末７が表示する解析情報表示画面６０１の一例を示す図である。この解析情報表示画面６０１には全天球画像６０２が表示されており、全天球画像６０２に複数の解析情報が視覚化して表示されている。複数の解析情報の一方の一例は述べ人数であり、述べ人数の大小が色分けして表示されている。述べ人数とは例えば異なる時刻に撮像された全天球画像で検知された人の数である。述べ人数が色分けして表示された色分け部分を色分け表示６０３と称する。

複数の解析情報の他方の一例は個別の人の人数（個別人数という）である。個別人数は、同一人物が検知された回数に関わらず一人とカウントする人数である。解析情報表示画面６０１では個別人数が棒グラフ６０４の高さで表されている。この棒グラフ６０４は後述するエリア（領域）ごとにカウントされている。また、全天球画像６０２は三次元空間の座標を有しており、棒グラフ６０４も三次元の情報を有している。つまり、三次元空間に棒グラフ６０４が表されている。三次元空間に棒グラフ６０４が表されるので、後述するように全天球画像６０２を閲覧者が回転させると棒グラフ６０４を様々な角度から表示でき、棒グラフ６０４がどの領域にあり色分け表示６０３とのどのような関連があるかを閲覧者が確認できる。

このように、本実施形態の情報端末７は、解析情報を色分けして表示できるだけでなく、全天球画像６０２が三次元空間で表示されることを利用して解析情報を立体的に表示できるため、閲覧者は両者の関係を把握しやすくなる。また、色分けと立体表示により明確に区別されるので、両者を表示でき、色分けされた解析情報と立体表示された解析情報を別々に表示する必要がない。

＜用語について＞
上記の広角画像は、所定よりも画角が広い画像であり、少なくとも通常の撮像装置（例えば３５ｍｍフィルムのカメラ）の画角よりも広い画角の画像をいう。あるいは、魚眼レンズで撮像されている画像のように湾曲した画像をいう。広角画像の一例の全天球画像は、周囲３６０°の全方位が撮像された画像である。全方位画像、パノラマ画像、全天球パノラマ画像など、どのように呼ばれていてもよい。また、周囲３６０°の画像の一部が画像処理などの関係で欠けていても本実施形態の説明に支障がない場合は全天球画像と称する。全天球画像により広範囲をカバーできるので撮像装置の設置数を少なくすることができる。

オブジェクトとは、立体的に表現可能な対象である。オブジェクトは三次元空間に配置可能であり、三次元の座標を持っている。

また、本実施形態において画像と画像データという用語は厳密には区別されずに使用される。また、平面の画像データが全天球画像に変換されるが、説明の便宜上、平面の画像データを全天球画像と称する場合がある。

＜画像処理システムのシステム構成＞
図２は、画像処理システム２００の概略構成図の一例である。画像処理システム２００は、通信ネットワーク９を介して接続された画像管理装置５、撮像装置１、通信端末３、及び、情報端末７を有している。撮像装置１は設置者Ｘにより店舗内に設置されている。情報端末７は閲覧者Ｙにより操作される。

通信ネットワーク９は、店舗内や閲覧者Ｙの所属先の企業のＬＡＮ、ＬＡＮをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等の少なくとも１つを含んで構築されている。通信端末３や情報端末７がＬＡＮを介さずに直接、回線電話網や携帯電話網に接続する場合は、ＬＡＮを介さずにプロバイダネットワークに接続することができる。また、通信ネットワークにはＷＡＮやインターネットが含まれる。通信ネットワークは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。

撮像装置１は、上記のように１度の撮像で周囲３６０度を撮像し全天球画像を作成するカメラである。デジタルスチルカメラ又はデジタルビデオカメラと呼ばれる場合がある。また、通信端末３にカメラが付いている場合は、通信端末３がデジタルカメラとなりうる。本実施形態では、説明を分かりやすくするために撮像装置１は全天球画像を得るためのデジタルカメラとして説明を行う。撮像装置１は定期的に周囲３６０を撮像する。必ずしも定期的である必要はなく、不定期に撮像してもよいし、設置者Ｘの操作により撮像してもよいし、閲覧者Ｙが画像管理装置５に要求することで画像管理装置５からの命令で撮像してもよい。

なお、撮像装置１は、視線が異なる何枚かの風景を自動的に撮像し、複数の画像データを合成することで全天球画像を作成してもよい。

通信端末３は、撮像装置１の代わりに通信ネットワーク９に接続する通信機能を有している。通信端末３は、撮像装置１への電力供給や店舗への固定を行うためのクレードル(Cradle)である。クレードルとは、撮像装置１の機能を拡張する拡張機器をいう。通信端末３は撮像装置１と接続するためのインタフェースを有し、これにより撮像装置１は通信端末３の機能を利用できる。通信端末３は、このインタフェースを介して撮像装置１とデータ通信を行なう。そして、無線ルータ９ａ及び通信ネットワーク９を介して画像管理装置５とデータ通信を行なう。

なお、撮像装置１が無線ルータ９ａや通信ネットワーク９と直接、データ通信する機能を有する場合、通信端末３はなくてもよい。あるいは、撮像装置１と通信端末３が一体に構成されていてもよい。

画像管理装置５は、例えば、サーバとして機能する情報処理装置であり、通信ネットワーク９を介して、通信端末３及び情報端末７とデータ通信を行なうことができる。画像管理装置５には、OpenGL ES（3Dグラフィックス用のＡＰＩ：Application Interface）がインストールされている。OpenGL ESを呼び出すことでメルカトル画像から全天球画像を作成したり、全天球画像の一部の画像（所定領域画像）のサムネイル画像を作成したりすることができる。

なお、画像管理装置５にはクラウドコンピューティングが適用されていることが好ましい。クラウドコンピューティングの物理的な構成に厳密な定義はないが、情報処理装置を構成するＣＰＵ、ＲＡＭ、ストレージなどのリソースが負荷に応じて動的に接続・切断されることで情報処理装置の構成や設置場所が柔軟に変更される構成が知られている。また、クラウドコンピューティングでは、画像管理装置５が仮想化されることが一般的である。１台の情報処理装置が仮想化によって複数の画像管理装置５としての機能を提供することや、複数の情報処理装置が仮想化によって一台の画像管理装置５としての機能を提供することができる。なお、画像管理装置５がクラウドコンピューティングとしてではなく単独の情報処理装置により提供されることも可能である。

情報端末７は、例えば、ノートＰＣ(Personal Computer)であり、通信ネットワーク９を介して、画像管理装置５とデータ通信を行う。情報端末７は、ノートＰＣの他、タブレット端末、ＰＣ、ＰＤＡ（Personal Digital Assistant）、電子黒板、テレビ会議端末、ウェアラブルＰＣ、ゲーム機、携帯電話、カーナビゲーションシステム、スマートフォンなどでもよい。また、これらに限られるものではない。

撮像装置１、通信端末３、及び無線ルータ９ａは、店舗等の各販売拠点で設置者Ｘによって所定の位置に設置される。情報端末７は、各販売拠点を統括する本社等に設置され、画像管理装置５を介して送られて来る各拠点の状況を表した画像を表示することで、閲覧者Ｙが各拠点の状況を表した画像を閲覧することができる。ただし、情報端末７は本社以外の場所からも画像管理装置５と通信可能である。画像管理装置５は、各拠点の通信端末３から送られて来た画像データやその解析結果を情報端末７に送信する。

＜実施形態のハードウェア構成＞
次に、図３〜図５を用いて、本実施形態の撮像装置１、通信端末３，情報端末７及び画像管理装置５のハードウェア構成を説明する。

<<撮像装置>>
図３は、撮像装置１のハードウェア構成図の一例である。以下では、撮像装置１は、２つの撮像素子を使用した全方位撮像装置とするが、撮像素子は３つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置１と同じ機能を有するようにしてもよい。

図３に示されているように、撮像装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及びアンテナ１１７ａによって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とはパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。更に、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、メルカトル画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、該撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮像装置１によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置１には表示部が設けられていないが、表示部を設けてもよい。

マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、撮像装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。閲覧者は操作ボタンを操作することで、種々の撮像モードや撮像条件などを入力する。

ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインタフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。ＤＲＡＭ１１４に記憶されたメルカトル画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／ＦとなるネットワークＩ／Ｆ１１６を介して通信端末３等の外部装置に送信されたりする。

通信部１１７は、撮像装置１に設けられたアンテナ１１７ａを介して、WiFi(wireless fidelity)、ＮＦＣ、又はＬＴＥ（Long Term Evolution）等の離無線技術によって、通信端末３等の外部装置と通信を行う。この通信部１１７によっても、メルカトル画像のデータを通信端末３の外部装置に送信することができる。

電子コンパス１１８は、地球の磁気から撮像装置１の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。

<<通信端末>>
次に、図４を用いて、通信端末３のハードウェア構成を説明する。なお、図４は、無線通信機能を有したクレードルの場合の通信端末３のハードウェア構成図である。

図４に示されているように、通信端末３は、通信端末３全体の動作を制御するＣＰＵ３０１、基本入出力プログラムを記憶したＲＯＭ３０２、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)３０４、Wi-fi、ＮＦＣ、ＬＴＥ等でデータ通信する通信部３０５、撮像装置１と有線で通信するためのＵＳＢ I/F３０３、カレンダーや時間情報を保持するＲＴＣ（Real Time Clock）３０６を有している。

また、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン３１０を備えている。

なお、ＲＯＭ３０２には、ＣＰＵ３０１が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。

通信部３０５は、アンテナ３０５ａを利用して無線通信信号により、無線ルータ９ａ等と通信を行う。

図示する他、ＧＰＳ（Global Positioning Systems）衛星又は屋内ＧＰＳとしてのＩＭＥＳ(Indoor MEssaging System）によって通信端末３の位置情報（緯度、経度、及び高度）を含んだＧＰＳ信号を受信するＧＰＳ受信部を備えていてもよい。

<<画像管理装置、情報端末>>
図５を用いて、画像管理装置５及びノートＰＣの場合の情報端末７のハードウェア構成を説明する。なお、図５は、画像管理装置５及び情報端末７のハードウェア構成図である。画像管理装置５及び情報端末７はともにコンピュータであるため、以下では、画像管理装置５の構成について説明する。情報端末７の構成は画像管理装置５と同様であるとし、相違があるとしても本実施形態の説明に関し支障がないものとする。

画像管理装置５は、画像管理装置５全体の動作を制御するＣＰＵ５０１、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３を有する。また、画像管理装置５用のプログラム等の各種データを記憶するＨＤ５０４、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５を有する。また、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８を有する。ディスプレイ５０８にはタッチパネルが装着されていることが好ましい。また、通信ネットワーク９を利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２を有する。また、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)５１３に対する各種データの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ５１４を有する。また、上記各構成要素を図５に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。

＜画像処理システムの機能について＞
図６は、本実施形態の画像処理システム２００の一部を構成する、撮像装置１、通信端末３、画像管理装置５、及び情報端末７の各機能ブロック図である。

<<撮像装置１の機能構成>>
撮像装置１は、受付部１２、撮像部１３、集音部１４、接続部１５、及び記憶・読出部１９を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮像装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。

また、撮像装置１は、図３に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４の１つ以上によって構築される記憶部１０００を有している。記憶部１０００には撮像装置用のプログラム及び端末ＩＤが記憶されている。

撮像装置１の受付部１２は、主に、図３に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、閲覧者（図２では、設置者Ｘ）からの操作入力を受け付ける。なお、撮像装置１は設置者Ｘによる撮像のための操作がなくても自動的かつ定期的に周囲を撮像する。定期の間隔は、設置者Ｘが撮像装置１に設定してもよいし、閲覧者Ｙが画像管理装置５を介して設定してもよい。

撮像部１３は、主に、図３に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、及びＣＰＵ１１１の処理によって実現され、風景等を撮像し、画像データを作成する。

集音部１４は、主に、図３に示されているマイク１０８及び音処理ユニット１０９、及び、ＣＰＵ１１１の処理によって実現され、撮像装置１の周囲の音を収音する。

接続部１５は、主に、ネットワークＩ／Ｆ１１６及びＣＰＵ１１１の処理によって実現され、通信端末３からの電力供給を受けると共に、通信端末３とデータ通信を行う。

記憶・読出部１９は、主に、図３に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データを記憶したり、記憶部１０００から各種データを読み出したりする。なお、以下では、撮像装置１が記憶部１０００から読み書きする場合でも「記憶・読出部１９を介して」という記載を省略する場合がある。

<<通信端末３の機能構成>>
通信端末３は、送受信部３１、受付部３２、接続部３３、及び記憶・読出部３９を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＲＯＭ３０２からＲＡＭ３０４上に展開された通信端末用のプログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は手段である。

また、通信端末３は、図４に示されているＲＯＭ３０２及びＲＡＭ３０４によって構築される記憶部３０００を有している。記憶部３０００には通信端末用のプログラムが記憶されている。

（通信端末３の各機能構成）
通信端末３の送受信部３１は、主に、図４に示されている通信部３０５及びＣＰＵ３０１の処理によって実現され、無線ルータ９ａ及び通信ネットワーク９を介して、画像管理装置５と各種データの送受信を行う。なお、以下では、通信端末３が画像管理装置５と通信する場合でも、「送受信部３１を介して」という記載を省略する場合がある。

通信端末３の受付部３２は、主に、図４に示されているＣＰＵ３０１等の処理によって実現され、閲覧者（図２では、設置者Ｘ）からの操作入力を受け付ける。

接続部３３は、主に、図４に示されているＵＳＢ I/F３０３、及びＣＰＵ３０１の処理によって実現され、撮像装置１に電力供給すると共に、データ通信を行う。

記憶・読出部３９は、主に、図４に示されているＣＰＵ３０１の処理によって実現され、記憶部３０００に各種データを記憶したり、記憶部３０００から各種データを読み出したりする。なお、以下では、通信端末３が記憶部３０００から読み書きする場合でも「記憶・読出部３９を介して」という記載を省略する場合がある。

<<画像管理装置の機能構成>>
画像管理装置５は、送受信部５１、人物検知部５２、サムネイル作成部５３、画面作成部５４、及び記憶・読出部５９を有している。これら各部は、図５に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された画像管理装置用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、画像管理装置５は、図５に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、拠点管理ＤＢ５００１、撮像管理ＤＢ５００２、画像管理ＤＢ５００３、サムネイル管理ＤＢ５００４、解析情報管理ＤＢ５００５、及び、点数表・描画点表ＤＢ５００６が構築されている。以下、各データベースについて説明する。

表１は、拠点管理ＤＢ５００１に記憶される各情報をテーブル状に示す拠点管理テーブルを示す。拠点管理テーブルでは、地域ＩＤ、地域名、拠点ＩＤ、拠点名、拠点レイアウトマップ、及び、装置ＩＤの各フィールドが関連付けて記憶されている。また、拠点管理テーブルの１つの行をレコードという場合がある。以下の各テーブルでも同様である。このうち、地域ＩＤは、地域を識別するための識別情報である。地域ＩＤの一例としては重複しない番号とアルファベットの組み合わせが挙げられる。

地域名は、例えば、関東、東京、渋谷区、ニューヨーク州、ニューヨーク市等、土地の区域又は範囲を示す。地域名称と言ってもよい。なお、識別情報とは、複数の対象からある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち２つ以上の組み合わせをいう。以下のＩＤ又は識別情報についても同じである。

拠点ＩＤは、拠点を識別するための識別情報の一例である。拠点ＩＤは拠点名に対し重複しないように付与される。拠点固有情報と称してもよい。拠点ＩＤの一例としては重複しない番号とアルファベットの組み合わせが挙げられる。拠点とは撮像装置１が設置され周囲を撮像するよりどころとなる所を言う。拠点の一例が店舗である。

拠点名は、渋谷店等の店舗名や、渋谷会場等の会場名等であり、拠点の名称である。拠点レイアウトマップには、各拠点のレイアウトや地図を示す画像データなどのファイル名が登録される。拠点レイアウトマップにより拠点における撮像装置１や取扱商品などの位置が２次元座標で特定される。

端末ＩＤは、撮像装置１を識別するための識別情報である。端末固有情報と称してもよい。端末ＩＤは、例えば、撮像装置１の例えばシリアル番号、製造番号、型番と重複しない数値、ＩＰアドレス、又は、ＭＡＣアドレスなどであるがこれらには限定されない。表１に示すように、１つの拠点には１つ以上の撮像装置（端末ＩＤ）が設置されており、それらの位置が拠点レイアウトマップに登録されている。

拠点管理テーブルは、設置者Ｘ又は閲覧者Ｙが登録してもよいし、画像処理システム２００のサプライヤーが登録してもよい。

表２は、撮像管理ＤＢ５００２に記憶される各情報をテーブル状に示す撮像管理テーブルである。撮像管理テーブルでは、拠点ＩＤごとに、撮像タイトル、撮像開始日時、及び撮像終了日時の各フィールドが関連付けて記憶されている。撮像タイトルは、閲覧者Ｙが入力したイベントのタイトルである。つまり、閲覧者Ｙが消費者の行動を監視したい何らかのイベントが店舗で催される場合に、このイベントの名称が撮像タイトルとなる。当然ながら、イベントの名称は閲覧者Ｙが任意に付与できるためイベントの名称でなくてもよい。例えば、単に撮像年月日とすることもできる。閲覧者Ｙは、画像データの複数のファイルから所望の画像データを抽出する際に、撮像タイトルを参照することができる。なお、１回の撮像イベントで複数の画像データが時系列に（定期的に）撮像される。撮像開始日時は、閲覧者Ｙによって入力された日時であり、撮像装置１が撮像を開始する（又は開始した）日時を示す。撮像終了日時は、閲覧者Ｙによって入力された日時であり、撮像装置１が撮像を終了する（又は終了した）日時を示す。閲覧者Ｙは撮像開始日時と撮像終了日時を事前に登録しておくこともできる（予約撮像）。撮像管理テーブルは、主に画像管理装置５が登録する。

表３は、画像管理ＤＢ５００３に記憶される各情報をテーブル状に示す画像管理テーブルである。画像管理テーブルでは、端末ＩＤごとに、画像ＩＤ、画像データのファイル名、及び撮像日時が関連付けて記憶されている。画像ＩＤは、画像データを一意に識別するための識別情報の一例である。画像固有情報と称してもよい。画像データのファイル名は、画像ＩＤで特定される画像データのファイル名である。撮像日時は画像データが端末ＩＤで示される撮像装置１で撮像された日時である。画像データも、記憶部５０００に記憶されている。

例えば、情報端末７で画像管理装置５にアクセスし、表２の撮像管理テーブルから拠点名と撮像タイトルを選ぶ。画像管理装置５は拠点ＩＤに対応付けられている端末ＩＤを表１の拠点管理テーブルから読み出すことができる。端末ＩＤが明らかになるので、画像管理テーブルの端末ＩＤに対応付けられた画像データのうち撮像日時が撮像開始日時から撮像終了日時に含まれる画像データを画像管理装置５が特定できる。

当然ながら、閲覧者Ｙは端末ＩＤや拠点ＩＤを直接指定することもできる。本実施形態では、簡単のため閲覧者Ｙが端末ＩＤを指定して閲覧する態様を主に説明する。なお、画像管理テーブルは、主に画像管理装置５が登録する。

表４は、サムネイル管理ＤＢ５００４に記憶される各情報をテーブル状に示すサムネイル管理テーブルである。サムネイルとは親指程度のという意味であり、サムネイル画像は縮小した、画素数を低減した又は一覧用のイメージデータという意味になる。

サムネイル管理テーブルでは、画像ＩＤごとに、サムネイルＩＤ、サムネイル画像のファイル名、及び所定領域情報が関連付けて記憶されている。サムネイルＩＤは、画像ＩＤで示される画像データに基づいて作成されたサムネイル画像を一意に識別するための識別情報の一例である。サムネイル固有情報と称してもよい。サムネイル画像のファイル名は、サムネイルＩＤで示されるサムネイル画像のファイル名である。サムネイル画像のファイル名は画像管理装置５が付与する。所定領域情報は、画像ＩＤで示される画像データにおいて、サムネイル画像が作成された所定領域を示す。サムネイル管理テーブルは、主に画像管理装置５が登録する。

表５は、解析情報管理ＤＢ５００５に記憶される各情報をテーブル状に示す解析情報テーブルである。解析情報テーブルでは、画像ＩＤごとに、領域ＩＤ及び領域範囲が関連付けて記憶されている。画像ＩＤについては上記のとおりである。領域範囲とは画像データにおいて人検知領域を特定するための情報である。人検知領域は、画像データの解析により来客者（人）が検出された来客者の外接矩形である。領域ＩＤは、人検知領域を一意に識別するための識別情報の一例である。領域番号や領域固有情報と称してもよい。例えば、画像ごとに１から始まる連番がareaｎの"ｎ"に設定される。

領域範囲により人検知領域が特定される。来客者が検出される人検知領域は矩形であるものとして、例えば、左上頂点の座標（x,y）と幅（width）と高さ（height）が領域範囲となる。対角の２点の座標で人検知領域が特定されてもよい。なお、領域範囲は、全天球に画像が貼り付けられる前の平面の状態の画像データの座標に基づいて決定されている。補足すると、撮像装置１は当初、平面画像を出力するが、閲覧時には全天球に平面画像が貼り付けられ全天球画像が作成されている。

表６は、点数表・描画点表ＤＢ５００６に記憶される各情報をテーブル状に示す点数表及び描画点表である。点数表は、表６（ａ）に示されているように、中心点の種類と、予め定められた点数が関連付けられている。これら各種中心点のいずれかと点数により描画点が算出される。画像管理装置５は予め点数表を記憶しておき、情報端末７に対して点数表を送信することで、情報端末７はヒートマップ画像を作成する際に点数表を利用する。

また、中心点の種類は、中心点（基本中心点）、複数の中心点同士の中心点を示す平均中心点（第１の平均中心点）、及び複数の前記平均中心点同士の平均中心点（第２平均中心点）を含む。また、点数は、平均点、平均中心点、及び第２平均中心点の順に高い値となる。

表６（ｂ）は、描画点表を示す。描画点表は、各描画点情報（描画点の位置と点数）を管理するための表である。画像管理装置は、予め描画点表（描画点の位置と得点が空の状態）を記憶しておき、情報端末７に対して描画点表（描画点の位置と得点が空の状態）を送信する。情報端末７は、描画点表に描画点の位置及び点数を保存することで、ヒートマップ画像の作成に利用する。

（画像管理装置の各機能構成）
画像管理装置５の送受信部５１は、主に、図５に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク９を介して通信端末３、又は情報端末７と各種データの送受信を行う。なお、以下では、画像管理装置５が情報端末７と通信する場合でも、「送受信部５１を介して」という記載を省略する場合がある。

人物検知部５２は、主に、図５に示されているＣＰＵ５０１の処理によって実現され、画像データから人を検出する。この人の検出は適切な特徴量の設定と、学習識別装置の設定により行われる。例えば、特徴量としては、Haar-like特徴、LBP(Local Binary Patterns)特徴、HOG(Histogram of Oriented Gradients)特徴などが知られている。また、学習識別装置としては、ディープラーニング、ＳＶＭ(Support Vector Machines)、AdaBoostを用いたカスケード分類などが知られている。ただし、これらに限られるものではなく人を検出できればよい。

サムネイル作成部５３は、主に、図５に示されているＣＰＵ５０１の処理によって実現され、所定領域画像のサムネイル画像を作成する。

画面作成部５４は、画像データを情報端末７に送信する際に、ＨＴＭＬデータ、JavaScript（登録商標）及びＣＳＳなどで情報端末７が画像データを表示するための画面情報を作成する。画面情報の作成はこれらに限られず情報端末７が解釈できる形式で送信されればよい。

記憶・読出部５９は、主に、図５に示されているＨＤＤ５０５、及びＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データを記憶したり、記憶部５０００から各種データを読み出したりする。なお、以下では、画像管理装置５が記憶部５０００から読み書きする場合でも「記憶・読出部５９を介して」という記載を省略する場合がある。

＜情報端末７の機能構成＞
情報端末７は、送受信部７１、受付部７２、表示制御部７３、ヒートマップ演算部７４、棒グラフ演算部７５、及び、記憶・読出部７９を有している。これら各部は、図５に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された情報端末７用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、情報端末７は、図５に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部７０００を有している。記憶部７０００には情報端末７用のプログラムが記憶されている。情報端末７用のプログラムは、例えばブラウザソフトウェアであるが、ブラウザソフトウェアのような通信機能を備えたアプリケーションソフトウェアでもよい。また、画像管理装置５から情報端末７に送信されるＨＴＭＬやスクリプト言語で記述された情報も情報端末７用のプログラムとなる。

（情報端末７の各機能構成）
情報端末７の送受信部７１は、主に、図５に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク９を介して画像管理装置５と各種データの送受信を行う。なお、以下では、情報端末７が画像管理装置５と通信する場合でも、「送受信部７１を介して」という記載を省略する場合がある。

受付部７２は、主に、図５に示されているキーボード５１１及びマウス５１２、並びにＣＰＵ５０１の処理によって実現され、ユーザ（図２では、閲覧者Ｙ）からの操作入力を受け付ける。

表示制御部７３は、主に、図５に示されているＣＰＵ５０１の処理によって実現され、画像管理装置５から送信された画面情報を解釈して情報端末７のディスプレイ５０８に各種画面を表示させるための制御を行なう。表示制御部７３は、更に画像表示部８１、画像重畳部８２及び棒グラフ表示部８３を有する。画像表示部８１は、平面の画像データを全天球に貼り付けることで三次元空間に配置する。画像重畳部８２は、ヒートマップ演算部７４が作成したヒートマップ画像を平面の画像データに重畳させる。棒グラフ表示部８３は、棒グラフ６０４を全天球の外側に配置することで三次元空間に配置する。

ヒートマップ演算部７４は、図５に示されているＣＰＵ５０１の処理によって実現され、解析情報からヒートマップ画像を作成する。ヒートマップ画像は、例えば延べ人数が検知された場所が延べ人数に応じて色分けされた分布表現である。例えば、人が多く検知された場所は濃い色が与えられ、人が少ない場所は薄い色で表示されるか又は色が与えられない。

棒グラフ演算部７５は、図５に示されているＣＰＵ５０１の処理によって実現され、解析情報の棒グラフ６０４を作成する。棒グラフ演算部７５は、異なる時刻に撮像された全天球画像の同じエリアで人が検出された場合、人の同一性を判断する。同じ人かどうかは、顔、服装、背格好などを組み合わせて判断される。顔で判断される場合、棒グラフ演算部７５は顔認識を行い、顔の眉、眼、鼻孔、唇などの位置を特定でき、これらの顔のパーツの間隔やパーツを結ぶ直線の角度などから人の同一性を判断する。服装の場合、例えば画素値のヒストグラムを作成し、各画素値の画素数の比率から同一性を判断する。背格好の場合、人の外接矩形の高さが同程度どうかが判断される。

棒グラフ演算部７５は、エリアごとに個別人数をカウントする。つまり、個体の識別を行い、同一の人ごとにカウントする。異なる人が検知されると人ごとに人数をカウントする。したがって、エリアごとに、個別の人の数だけの個別人数がカウントされる。同じ人についてカウントされた個別人数が２以上でも一人と見なすことができる。また、棒グラフ演算部７５は、個別の人のエリアにおける滞在時間を集計する。例えば、３回の撮像で連続して同じ人が検知された場合、滞在時間は３である。撮像間隔又は全天球画像のメタデータである撮像時刻に基づいてこれを時間に変換してもよい。

記憶・読出部７９は、主に、図５に示されているＨＤ５０４、及びＣＰＵ５０１の処理によって実現され、記憶部７０００に各種データを記憶したり、記憶部７０００から各種データを読み出したりする。なお、以下では、情報端末７が記憶部７０００から読み書きする場合でも「記憶・読出部７９を介して」という記載を省略する場合がある。

＜ヒートマップ画像の作成＞
まず、図７を用いてヒートマップ画像の作成手順を説明する。図７は情報端末７がヒートマップ画像を作成する手順を示すフローチャート図の一例である。図７の処理は、閲覧者がヒートマップを用いた解析を行うための操作を行うとスタートする。なお、閲覧者が指定した画像データは画像管理装置５から情報端末７に送信されている。送信の際、画像データに対応付けられている、解析情報管理ＤＢ５００５や点数表・描画点表ＤＢ５００６が情報端末７に送信されている。

まず、記憶・読出部７９は、記憶部７０００から、元の画像データの解像度を読み出す（Ｓ１１）。また、記憶・読出部７９は、記憶部７０００から解析情報管理ＤＢ５００５の領域範囲を読み出す（Ｓ１２）。そして、記憶・読出部７９は、記憶部７０００に記憶されている元の画像データ群のうち、取得していない任意の画像データを読み出す（Ｓ１３）。

次に、ヒートマップ演算部７４は、新たに読み出された画像データの画像ＩＤと同じ画像ＩＤが解析情報管理ＤＢ５００５において関連付けられている領域ＩＤがあるか否かにより、人検知領域があるか否かを判断する（Ｓ１４）。

ヒートマップ演算部７４が人検知領域がないと判断した場合には（Ｓ１４のＮｏ）、処理はステップＳ２６に進む。一方、ヒートマップ演算部７４が、人検知領域があると判断した場合（Ｓ１４のＹｅｓ）、ヒートマップ演算部７４は、領域範囲に基づき、人検知領域の中心点を算出すると共に、点数表を利用して、中心点ｐ１の得点を算出する（Ｓ１５）。

具体的には、図９（ａ）に示されているように、任意の画像データにおいて、例えば、４つの人検知領域が存在する場合、ヒートマップ演算部７４は、まず人検知領域ａ１を選択し、図９（ｂ）に示されているように、人検知領域ａ１の中心点ｐ１を算出する。そして、ヒートマップ演算部７４は点数表を利用して、図９（ｃ）に示されているように、中心点ｐ１の得点を算出することで、描画点ｓ１を算出する。この描画点ｓ１は、中心点ｐ１の位置と得点の両方の情報を有している。描画点は、ヒートマップ画像が作成される際の色の濃淡の重み付けに利用される。

図７に戻り、ヒートマップ演算部７４は、記憶部７０００に記憶されている描画点表に、描画点ｓ１を示す描画点情報を保存する（Ｓ１６）。

続いて、図８に示されているように、ヒートマップ演算部７４は、同じ任意の撮像画像において、選択されていない人検知領域があるか否かを判断する（Ｓ１７）。そして、ヒートマップ演算部７４が選択されていない人検知領域があると判断した場合（Ｓ１７のＹｅｓ）、上記ステップＳ１５，Ｓ１６と同様の処理が行なわれる。即ち、ヒートマップ演算部７４は、人検知領域における領域範囲に基づき、次の人検知領域の中心点を算出すると共に、点数表を利用して、中心点ｐ２の得点を算出する（Ｓ１８）。

具体的には、図１０（ａ）に示されているように、同じ任意の画像データにおいて、ヒートマップ演算部７４は、次の人検知領域ａ２を選択し、図１０（ｂ）に示されているように、人検知領域ａ２の中心点ｐ２を算出する。そして、ヒートマップ演算部７４は、点数表を利用して、図１０（ｃ）に示されているように、中心点ｐ２の得点を算出することで、描画点ｓ２を算出する。この描画点ｓ２は、中心点ｐ２の位置と得点の両方の情報を有している。そして、図８に戻り、ヒートマップ演算部７４は、記憶部７０００に記憶されている描画点表に、描画点ｓ２を示す描画点情報を保存する（Ｓ１９）。

次に、ヒートマップ演算部７４は、一の人検知領域に他の人検知領域の中心点は含まれるか否かを判断する(Ｓ２０)。そして、ヒートマップ演算部７４が含まれないと判断した場合（Ｓ２０のＮｏ）、ステップＳ１７の処理に戻る。

一方、ヒートマップ演算部７４が含まれると判断した場合には（Ｓ２０のＹｅｓ）、ヒートマップ演算部７４は、点数表を利用して、平均中心点を算出する（Ｓ２１）。具体的には、図１１（ａ）に示されているように、人検知領域ａ２に人検知領域ａ１の中心が含まれている場合には、ヒートマップ演算部７４は、描画点ｓ１と描画点ｓ２の真ん中の位置を平均中心点ｐ１２として算出する。そして、ヒートマップ演算部７４は、点数表を利用して、平均中心点ｐ１２の得点を算出することで、新たに描画点ｓ１２を算出する。この描画点ｓ１２は、平均中心点ｐ１２の位置と得点の両方の情報を有している。

そして、図８に戻り、ヒートマップ演算部７４は、記憶部７０００に記憶されている描画点表に描画点ｓ１２を示す描画点情報を保存する（Ｓ２２）。

続いて、ヒートマップ演算部７４は算出された平均中心点が複数あるか否かを判断する（Ｓ２３）。ここでは、まだ１つしかないため、ステップＳ１７の処理に戻る。

そして、ステップＳ１７によって、ヒートマップ演算部７４が３つ目の人検知領域ａ３があると判断すると（Ｓ１７のＹｅｓ）、３つ目の人検知領域ａ３において、上記ステップＳ１８，Ｓ１９と同様の処理が行なわれる。

具体的には、図１２（ａ）に示されているように、同じ任意の画像データにおいて、ヒートマップ演算部７４は、３つ目の人検知領域ａ３を選択し、図１２（ｂ）に示されているように、人検知領域ａ３の中心点ｐ３を算出する。そして、ヒートマップ演算部７４は、点数表を利用して、図１２（ｃ）に示されているように、中心点ｐ３の得点を算出することで、描画点ｓ３を算出する。この描画点ｓ３は、中心点ｐ３の位置と得点の両方の情報を有している。

更に、ステップＳ２０の処理後、ステップＳ２１，Ｓ２２の処理が行なわれる。具体的には、図１３（ａ）に示されているように、人検知領域ａ３に人検知領域ａ１，ａ２の中心が含まれている場合には、ヒートマップ演算部７４は、描画点ｓ１と描画点ｓ３の真ん中の位置を平均中心点ｐ１３として算出すると共に、描画点ｓ２と描画点ｓ３の真ん中の位置を平均中心点ｐ２３として算出する。

そして、ヒートマップ演算部７４は、点数表を利用して、平均中心点ｐ１３，ｐ２３の各得点を算出することで、新たに描画点ｓ１３，ｓ２３を算出する。各描画点ｓ１３，ｓ２３は、それぞれ平均中心点ｐ１３，ｐ２３の位置と得点の両方の情報を有している。そして、ヒートマップ演算部７４は、記憶部７０００に記憶されている描画点表に描画点ｓ１３，ｓ２３を示す各描画点情報を保存する。

次に、ヒートマップ演算部７４は、算出された平均中心点が複数あるか否かを判断する（Ｓ２３）。ヒートマップ演算部７４が複数あると判断した場合には（Ｓ２３のＹｅｓ）、ヒートマップ演算部７４は、平均中心点同士の平均中心点（第２平均中心点）を算出すると共に、点数表を利用して、第２平均中心点の得点を算出することで、描画点を算出する（Ｓ２４）。

具体的には、図１４（ａ）に示されているように、ヒートマップ演算部７４は、３つの描画点ｓ１２，ｓ１３，ｓ２３の真ん中（重心）の位置を第２平均中心点ｐ１２１３２３として算出する。そして、ヒートマップ演算部７４は、点数表を利用して、第２平均中心点ｐ１２１３２３の得点を算出することで、新たに描画点ｓ１２１３２３を算出する。描画点ｓ１２１３２３は、第２平均中心点ｐ１２１３２３の位置と得点の両方の情報を有している。そして、ヒートマップ演算部７４は、記憶部７０００に記憶されている描画点表に描画点ｓ１２１３２３を示す描画点情報を保存する（Ｓ２５）。

次に、ステップＳ１７に戻り、ＹＥＳに進み、ステップＳ１８，Ｓ１９の処理が行なわれる。具体的には、図１５（ａ）に示されているように、同じ任意の撮像画像において、ヒートマップ演算部７４は、４つ目の人検知領域ａ４を選択し、図１５（ｂ）に示されているように、人検知領域ａ４の中心点ｐ４を算出する。そして、ヒートマップ演算部７４は、点数表を利用して、図１５（ｃ）に示されているように、中心点ｐ４の得点を算出することで、描画点ｓ４を算出する。この描画点ｓ４は、中心点ｐ４の位置と得点の両方の情報を有している。

そして、ヒートマップ演算部７４は、記憶部７０００に記憶されている描画点表に、描画点ｓ４を示す描画点情報を保存する。これにより、任意の画像データ内の全ての人検知領域についての描画点の算出が行なわれるため、ステップＳ１７の処理に戻ると、ヒートマップ演算部７４は、選択されていない人検知領域がない（Ｓ１７のＮｏ）と判断し、図７に示されているステップＳ２６の処理に進む。

次に、ヒートマップ演算部７４は、画像データ群のうち、読み出されていない画像データがあるか否かを判断する（Ｓ２６）。そして、ヒートマップ演算部７４が読み出されていない撮像画像データがあると判断した場合には（Ｓ２６のＹｅｓ）、ステップＳ１３の処理に戻る。

一方、ヒートマップ演算部７４が、読み出されていない画像データがないと判断した場合には（Ｓ２６のＹｅｓ）、ヒートマップ演算部７４は、所定範囲内の描画点を集約して、描画点表に集約後の描画点を示す描画点情報を保存する（Ｓ２８）。

ここで、具体例として、例えば、図１６（ａ）、（ｂ）、（ｃ）に示されているように、続けて撮像されることで得られた３つの画像データｄ１、ｄ２、ｄ３があり、それぞれの描画点ｓ４１，ｓ４２，ｓ４３が同じ位置でない状態について説明する。３つの画像データを重ねると、図１７（ａ）に示されているように、描画点ｓ４１を中心とした所定範囲内（波線部分）に他の描画点ｓ４２，ｓ４３が存在している。このような場合、ヒートマップ演算部７４は、３つの描画点ｓ４１，ｓ４２，ｓ４３を１つの描画点ｓ４１４２４３に集約する。この場合、描画点ｓ４１４２４３の得点は、３つの描画点ｓ４１，ｓ４２，ｓ４３の各得点の合計となる。なお、集約後の描画点ｓ４１４２４３を示す描画点情報が保存される場合、集約前の各描画点ｓ４１，ｓ４２，ｓ４３の各描画点情報はそのまま保存される。但し、集約後の描画点ｓ４１４２４３を示す描画点情報が保存されることに代えて、集約前の各描画点ｓ４１，ｓ４２，ｓ４３の各描画点情報が削除されるようにしてもよい。

以上により、全ての画像データについて描画点の算出が行なわれ、描画点表に全ての描画点情報が保存されると、画像重畳部８２は、描画点表の全ての描画点情報に基づき、ヒートマップ画像をレンダリングする。すなわち平面の画像データと同じサイズの描画メモリに描画点情報に基づき色分け表示６０３を生成する。これを画像データに重畳することで画像データとヒートマップ画像を関連付ける。

図１８は、描画点に基づいて作成されたヒートマップ画像が付された画像データを示す図の一例である。図面は白黒であるが、異なる時刻に撮像された画像データにおいて人検知領域が存在する数に応じ、数が多い方から少ない方にかけて、赤色、オレンジ色、黄色、黄緑色、青色等で表現される。しかし、ここでは、白黒の濃淡で表現し、多い方から少ない方にかけて、濃色から淡色で表現されている。

また、図７〜図１７で説明したヒートマップ画像の作成方法は一例に過ぎず、延べ人数が検知された場所が延べ人数に応じて色分けされた分布表現で表示できれば、作成方法は限定されない。

＜平面の画像データの全天球画像への変換＞
次に、平面の画像データの全天球画像への変換について説明する。全天球画像へ変換されることで三次元空間に画像データが全天球画像として配置される。画像表示部８１は図１８のように、ヒートマップ画像が重畳された画像データを全天球画像に変換して情報端末７のディスプレイ５０８に表示させる。

ここでは、メルカトル図法で平面の画像データが得られている場合を例にして説明する。球体の緯度と経度と、メルカトル図法の座標Ｘ，Ｙには以下の関係がある。なお、Ｒは球の半径である。
X=π×Ｒ×(経度／１８０)
Y=−Ｒ×Log(tan((45+緯度／２)×π／１８０))
半径Ｒは画像データの水平方向の解像度（画素数）を用いて、水平方向の解像度＝２Ｒπにより求めることができる。したがって、図１９に示すように、画像表示部８１はヒートマップ画像が重畳された平面の画像データの各画素を球体の表面に貼り付け全天球画像を得ることができる。なお、図１９では緯度をφ、経度をθとしている。緯度９０度でtanが無限大となるため緯度９０又はこの周辺の画像は保管処理などで生成する。

また、画像表示部８１は、後の処理のため、緯度φ、経度θ、半径Ｒで表される極座標を直行座標（ｘ、ｙ、ｚ）に変換する。変換式は以下のとおりである。
ｘ＝Ｒsinθ・cosφ、ｙ＝Ｒsinθ・sinφ、ｚ＝Ｒcosθ
なお、この場合の直行座標の原点は球の中心であるが、
次に、表示制御部７３は全天球画像をディスプレイ５０８に表示するための画像処理を行う。具体的には、全天球画像と仮想カメラＩＣをワールド座標系に配置して、全天球画像をディスプレイ５０８に射影変換する。

図２０は、全天球画像と仮想カメラＩＣのワールド座標系における配置例を説明する図の一例である。仮想カメラＩＣは、３次元の全天球として表示されている全天球画像に対して、その画像を見る閲覧者の視点の位置に相当するものである。全天球画像が、全天球ＣＳであるとすると、図２０に示されているように、仮想カメラＩＣが全天球画像の外部に位置している。全天球画像における所定領域Ｔは、仮想カメラＩＣと全天球画像との距離によって決まる。仮想カメラＩＣが全天球画像に接近すると所定領域Ｔは狭くなるし（画像が大きく映る）、仮想カメラＩＣが全天球画像から離れると所定領域Ｔは広くなる（画像が小さく映る）。

閲覧者が行う拡大・縮小の操作は、仮想カメラＩＣと全天球画像との距離の変更に相当する。仮想カメラＩＣと全天球画像のどちらが移動したと仮定して所定領域Ｔを計算しても結果は同じである。また、閲覧者は、全天球画像を上下左右に回転させて所定領域Ｔを移動させることができる。この処理は、仮想カメラＩＣの位置を移動することと等価である。

続いて座標変換について説明する。三次元の全天球画像を２次元のディスプレイ５０８に表示するには、情報端末７が、ワールド変換、ビュー変換、射影変換、及び、ビューポート変換（正規化処理）の各処理を行う。ワールド変換は全天球画像をワールド座標系に配置することを言う。なお、ワールド座標系における全天球画像と仮想カメラＩＣの初期位置は予め決まっているものとする。上記の緯度・経度から変換された全天球画像の座標は球の中心を原点とする座標系なので、平行移動、回転移動の一般的な変換行列Ｍｗでワールド座標系の座標に変換できる。全天球画像の中心を原点とする座標系がワールド座標系でもよい。

ビュー変換は仮想カメラＩＣの座標を回転、平行移動させる変換であり、三次元の全天球画像を仮想カメラＩＣの向きと全天球画像までの距離に応じた画像に変換する処理に相当する。この変換を行う行列をビュー変換行列Ｍｖという。すなわち、仮想カメラＩＣの位置と向きを閲覧者が操作する位置と向きに移動させる処理に相当する。

次に、射影変換は、三次元のオブジェクトを仮想カメラＩＣから所定距離の画面に射影した場合の二次元座標に変換する処理である。この変換を行う行列を射影変換行列Ｍｐという。

射影変換が行われた後の座標はＸ軸（-1.0〜+1.0）、Ｙ軸（-1.0〜+1.0）、Ｚ軸（0．0〜+1.0）に変換されている。ビューポート変換はこれをディスプレイ５０８の座標へ変換する。すなわち、射影変換後のＸ＝-1.0がディスプレイ５０８のＸ＝０ピクセルに、射影変換後のＸ＝1.0がディスプレイ５０８のＸ＝解像度（例えば１２８０）に対応付けられる。射影変換後のＹ＝-1.0がディスプレイ５０８のＹ＝０ピクセルに、射影変換後のＹ＝1.0がディスプレイ５０８のＹ＝解像度（例えば７２０）に対応付けられる。この変換を行う行列をビューポート変換行列Ｍsという。

以上により、表示制御部７３がＭｓＭｐＭｖをワールド座標系の全天球画像の各座標に乗じると、ディスプレイ５０８の座標に変換できる。表示制御部７３はヒートマップ画像が重畳され三次元の座標を持つ全天球画像を情報端末７のディスプレイ５０８に表示することができる。

図２１は、全天球画像の一例を示す。図２１（ａ）と（ｂ）は図１８の画像データが全天球画像に変換されたものである。図２１（ａ）と（ｂ）の違いは仮想カメラＩＣの向きであり、閲覧者が自由に三次元の全天球画像を自由に表示できる。そして、図２１（ａ）（ｂ）では棒グラフ６０４が表示されている。以下ではこの棒グラフ６０４について説明する。なお、図２１は、全天球画像に対する仮想カメラＩＣの距離が長いため、全天球画像が球体で表示されている。全天球画像と仮想カメラＩＣの距離が短くなると、図２１の全天球画像が図１８のように表示されるため、閲覧者は画像を拡大してみたり、全天球画像として俯瞰したりすることができる。

＜棒グラフの表示＞
図１８のようにヒートマップ画像を表示することで、人が検知されやすい場所が赤色などの濃い色で表示されるため、閲覧者は一目で人が検知されやすい場所を特定できる。しかしながら、ヒートマップ画像では１人の人が同じ場所で何度も検出されたのか、複数の人が１度ずつ検出されたのかを閲覧者が判別することが困難になる。

そこで、本実施形態では、異なる時刻に撮像された画像データで検知された人が同じ人かどうかを情報端末７が判別して個別人数をカウントする。そして、個別人数を棒グラフ６０４で表示する。

図２２は、棒グラフ６０４の描画を説明する図の一例である。棒グラフ６０４を描画するため、棒グラフ演算部７５は平面の画像データを正方形又は長方形のエリア６１０に分割する。エリア６１０のサイズは限定されず、例えば閲覧者が任意に設定できることが好ましい。閲覧者が設定しない場合、例えば初期設定のサイズでエリア６１０に分割される。

棒グラフ演算部７５は、閲覧者などに指定された時間内に撮像された全天球画像において、エリア６１０ごとに異なる人が何人検出されたのかを集計する。例えば、あるエリア６１０においてＡさんが３回、Ｂさんが１回（同じ人かどうか分かればよいので個人識別までは行わなくてよい）、検知された場合、検知された回数はＡさんが３回、Ｂさんが１回であるが、個別人数は、Ａさんが１人、Ｂさんも１人である。一方、ヒートマップ画像では４人が検知された場合の色分け表示６０３で表示される。したがって、同じ人が何度も検出された場合、棒グラフ６０４とヒートマップ画像との対比により閲覧者は同じ人が何度も検出されたために色が赤いなどということを判断できる。逆に、棒グラフ６０４が長ければ違う人が何人も検出されたため、ヒートマップ画像の色が赤いなどということを判断できる。

図２３は、棒グラフ演算部７５が棒グラフ６０４を作成する手順を示すフローチャート図の一例である。図２３の処理は、閲覧者が棒グラフ６０４を表示する操作を行うことでスタートする。

棒グラフ演算部７５は、平面の画像データの解像度を取得し、また、解析情報管理ＤＢ５００５の解析情報を取得する（Ｓ１０）。

次に、棒グラフ演算部７５は画像群（一連の画像データ）を取得する（Ｓ２０）。一連の画像データとは、図２５で後述するように閲覧者が指定する時間範囲に１つの撮像装置１により撮像された複数の画像データ、ある撮像装置１が撮像した全ての画像データなどである。

棒グラフ演算部７５は１つずつ画像データを参照する（Ｓ３０）。

そして、棒グラフ演算部７５は解析情報管理ＤＢ５００５の解析情報を参照して次の人検知領域があるか否かを判断する（Ｓ４０）。

ステップＳ４０の判断がＮｏの場合、処理はステップＳ８０に進む。ステップＳ４０の判断がＹｅｓの場合、棒グラフ演算部７５はこの人検知領域の人が過去に同じエリアで検知されているか否かを判断する（Ｓ５０）。補足すると、まず、棒グラフ演算部７５は人検知領域の重心（又は中心）が属するエリア６１０を決定する。そして、時間的に１つ前の画像データの同じエリアで検知された人がいるか否かを判断する。同じエリアで検知された人がいる場合、棒グラフ演算部７５は現在の画像データの領域範囲の人と、時間的に１つ前の画像データの領域範囲の人（同じエリアに重心又は中心を持つ人検知領域の人）が同じかどうかを判断する。判断方法は上記のとおりである。同じ人の場合、ステップＳ５０の判断はＹｅｓとなる。

ステップＳ５０の判断がＹｅｓの場合、棒グラフ演算部７５は人検知領域の重心（又は中心）が属するエリアの個別の人の検知回数をカウントアップする（Ｓ６０）。例えば、Ａさんが同じエリアで検知された場合、このエリアにおけるＡさんの検知回数を１つ大きくする。このように、Ａさんの検知回数を大きくするのはＡさんの滞在時間を測定するためである。滞在時間を測定せずに、Ａさんという個人の個別人数を単純に測定する場合はカウントアップしないでよい。

ステップＳ５０の判断がＮｏの場合、棒グラフ演算部７５は人検知領域の重心（又は中心）が属するエリアで人が検知されたことを記録する（Ｓ７０）。例えば、人検知領域の重心（又は中心）が属するエリアでＢさんが初めて検知された場合、このエリアで人が検知された旨が記録される。Ｂさんという個人を識別する情報はなくてよい。

次に、棒グラフ演算部７５は次の画像データがあるか否かを判断する（Ｓ８０）。次の画像データがある場合（Ｓ８０のＹｅｓ）、処理はステップＳ３０に戻り、ステップＳ３０〜Ｓ７０が実行される。

次の画像データがない場合（Ｓ８０のＮｏ）、棒グラフ演算部７５はエリアごとに個別人数を集計する（Ｓ９０）。すなわち、同じＡさんが複数回、同じエリアで検知されていても個別人数は１人とカウントされる。また、Ｂさんが１回でもエリアで検知されていれば個別人数は１人とカウントされる。この場合、このエリアの個別人数は合計して２人である。ただし、合計せずに個別の人ごとに個別人数を有していてもよい。

次に、棒グラフ演算部７５は、検知された人ごとに滞在時間を算出する（Ｓ１００）。すなわち、同じ人がどのくらいの時間、エリアに滞在したか算出される。例えば、同じＡさんが３回、同じエリアで検知されている場合、滞在時間は３である。Ｂさんが１回、エリアで検知されている場合、滞在時間は１である。この滞在時間の３や１を、時間の単位（例えば分）に変換してもよい。滞在時間は人ごとに集計されてもよいし、エリア単位で合計されてもよい。

図２３のステップＳ５０では１つ前の撮像時刻の画像データのみで同じ人が検知されたかどうかが判断されている。しかし、棒グラフ演算部７５は、過去の全ての画像データで同じ人が検知されたかどうかを判断してもよい。棒グラフ演算部７５は同じ人ごとに個別人数をカウントする。したがって、いったん売り場を離れたが戻ってきた人を識別できる。更に、棒グラフ演算部７５は戻ってきた人の数をカウントすることもできる。例えば、Ａさんが合計で３回検知されたが、そのうち、１回は売り場に戻ってから検知された場合、Ａさんが戻ってきた回数が１になる。Ｂさんなど他の来客者についても同様にカウントできる。

次に、棒グラフ表示部８３はエリアごとに個別人数をレンダリングする（Ｓ１１０）。詳細は図２４を用いて説明する。なお、レンダリングとは立体形状の棒グラフを２次元のディスプレイ５０８に表示することをいう。

図２３の処理を情報端末７でなく画像管理装置５が行ってもよい。この場合、閲覧者が図２５の設定画面で入力した設定が画像管理装置５に送信される。画像管理装置５はヒートマップ画像を作成し画像データに重畳して、個別人数をカウントして棒グラフを作成し全天球画像に配置する。これを２次元の画面に描画して情報端末７に送信する。

図２４を用いて棒グラフ６０４のレンダリングについて説明する。図２４（ａ）に示すように、棒グラフ表示部８３はエリアごとの個別人数の合計を図２４（ｂ）に示すように全天球画像６０２で棒グラフ６０４として表示する。エリアごとに滞在時間の合計を棒グラフ６０４とすることもできる。

説明の便宜上、棒グラフ表示部８３は平面の画像データを三次元のローカル座標系に配置し、エリアに棒グラフ６０４を作成する。まず、各エリア６１０の中心Ｐの座標は明らかであるので、平面の画像データから全天球画像への変換と同様に、図２４（ｂ）における位置Ｐ´（ｘ₀,ｙ₀,ｚ₀）が算出される。

位置Ｐ´で全天球に接する接平面６２０の方程式は以下で与えられる。a,b,c,は全天球画像６０２の中心の座標である。また、x,y,zの係数がそのまま接平面６２０の法線ベクトルｎである。

(x0-a)(x-a)＋(y0-b)(y-b)＋(z0-c)(z-c)＝R²
図２４（ａ）に示すように、棒グラフ表示部８３はローカル座標系の各エリアで個別人数に比例した高さの棒グラフ６０４を作成する。説明を容易にするため、ローカル座標系とワールド座標系のＸ，Ｙ，Ｚ軸が同じ方向であるとする。ローカル座標系の棒グラフ６０４をワールド座標系に配置する際、棒グラフ表示部８３は、(x₀-a)とＸ軸のなす角度、(y₀-b)とＹ軸のなす角度、(z₀-c)とＺ軸のなす角度、ローカル座標系の棒グラフ６０４を回転させる。また、中心Ｐが位置Ｐ´に移動する平行移動で移動させる。

このように立体の棒グラフ６０４を全天球画像６０２の外側に貼り付けることができる。ワールド座標系に棒グラフ６０４が配置されたので、以降は上記の変換により表示制御部７３がディスプレイ５０８に表示することができる。なお、滞在時間も個別人数と同様に棒グラフ６０４で表示することができる。

以上説明したように、本実施形態の情報端末７は、全天球画像に個別人数を立体的に表示するため、色分けされた解析情報と立体表示された解析情報を同時に表示できる。閲覧者は複数の解析情報の関係を把握しやすくなる。

このように、形状（高さ）により解析情報の大きさを表すことができる。高さ以外にも形状として棒グラフ６０４の太さで解析情報の大きさを表すことができる。また、立体的に表すことができれば棒グラフ６０４以外の立体物で解析情報を表してもよい。例えば、円柱や三角柱などの多角柱又は円すいや三角すいなどの多角すい等で解析情報を表すことができる。

＜解析情報のその他の例＞
本実施形態では、解析情報として延べ人数、個別人数及び滞在時間を例とし、延べ人数を色で個別人数又は滞在時間を棒グラフ６０４でそれぞれ表した。しかし、解析情報はこれらに限られない。解析情報のその他の例を以下に示す。

表７は複数の解析情報を表示するに当たり、色の濃淡で表示される解析情報と棒グラフ６０４で表示される解析情報の組み合わせの例を示す。色の濃淡で表示される解析情報は第一の解析情報であり、棒グラフ６０４で表示される解析情報は第二の解析情報の一例である。

まず、「個別人数」と「エリアの商品を購入した人数」の組み合わせでは、個別人数が色の濃淡で表示される。延べ人数が個別人数に置き換わっただけで上記の図７〜１７で説明した処理でヒートマップ演算部７４は個別人数を色の濃淡で表示できる（ヒートマップ画像を作成する）。この個別人数はエリアごとの個別人数の合計である。あるいは、エリアを個別人数の合計に応じた色で塗り分けでもよい。エリアの商品を購入した人数とは、各エリアの商品を購入した人の人数である。例えば、ＰＯＳ(Point Of Sales)では各商品の売上をリアルタイムで管理しているため、何時にどの商品が売れたというデータを持っている。また、棒グラフ演算部７５はエリアごとに商品ＩＤなどを対応付けて管理しているものとする。エリアと商品ＩＤの対応はＰＯＳが持っていてもよい。棒グラフ演算部７５は閲覧者が指定した時間の範囲でエリアの商品ＩＤと一致する販売記録の商品の数をカウントする。エリアで販売された商品の数を購入した人数としてもよい。また、商品でなく購入した人の数をカウントしてもよい。

「個別人数」と「エリアの売上高」の組み合わせでは、個別人数が色の濃淡で表示される。個別人数のヒートマップ画像は「個別人数」と「エリアの商品を購入した人数」と同じでよい。また、エリアの売上高も同様にＰＯＳが利用される。棒グラフ演算部７５は閲覧者が指定した時間の範囲でエリアの商品ＩＤと一致する販売記録の商品の売上高を合計する。

「商品を手に取った人数」と「エリアの商品を購入した人数」の組み合わせでは、商品を手に取った人数が色の濃淡で表示される。この場合、画像管理装置５は予め画像解析により商品を手に取るという行為を行った人の領域範囲を解析情報管理ＤＢ５００５に記録しておく。商品を手に取るという行為の検出には、機械学習やパターンマッチングが利用される。また、商品を手に取った人の解析を情報端末７が行ってもよい。画像データごとに人の領域範囲が得られるので、ヒートマップ演算部７４は延べ人数の場合と同様に商品を手に取った人数を色の濃淡で表示できる。

このように、本実施形態では、種々の解析情報を、色と棒グラフ６０４の組み合わせで視覚的に表示できる。

＜ユーザインタフェース＞
続いて、図２５を用いて、情報端末７のユーザインタフェースについて説明する。図２５は情報端末７がディスプレイ５０８に表示する設定画面７０１の一例を示す。設定画面７０１は画像表示欄７０２、ヒートマップ選択欄７０３、バーチャート選択欄７０４、滞在時間の下限欄と上限欄７０６、表示ボタン７０５、日時範囲設定欄７０７、及び、カメラＩＤ選択欄７０８を有する。

画像表示欄７０２には全天球画像が表示される。複数の全天球画像が解析の対象なので、閲覧者が選択した全天球画像が表示される。ヒートマップ選択欄７０３には色の濃淡で表示される解析情報がプルダウンで表示される。バーチャート選択欄７０４には棒グラフ６０４で表示される解析情報がプルダウンで表示される。滞在時間の下限欄と上限欄７０６には、滞在時間の下限と上限が入力される。表示ボタン７０５はヒートマップ画像及び棒グラフ６０４の表示の有無が設定される。日時範囲設定欄７０７には解析の対象の画像データが撮像された日時の範囲が設定される。カメラＩＤ選択欄７０８には解析の対象となる画像データを撮像した撮像装置１がプルダウンで表示される。

このように設定画面７０１に種々の表示条件が表示されるので、閲覧者はインタラクティブに表示条件を切り替えて表示することができる。例えば、滞在時間の下限により、情報端末７は滞在時間が短い人の個別人数を表示しなくなる。逆に、滞在時間の上限により情報端末７は極端に滞在時間が長い人の個別人数を表示しなくなる。したがって、滞在時間の下限欄と上限欄７０６により棒グラフ６０４で表示される個別人数等をフィルタリングすることが可能になる。

滞在時間によるフィルタリングは、図２３のステップＳ９０の前にステップＳ１００を行い、滞在時間が上限と下限に入る人の人数をカウントすればよい。

なお、図２５に示す他、エリアのサイズ又は数を設定する欄を設定画面７０１が有することが好適である。

また、設定画面７０１はデータ保存ボタン７０９、インポートボタン７１０、及び、エクスポートボタン７１１を有している。データ保存ボタン７０９を閲覧者が押下すると、受付部７２が押下を受け付け、ヒートマップ演算部７４が記憶部７０００に解析情報表示データを保存する。表８は解析情報表示データを模式的に説明する図の一例である。

表８の解析情報表示データでは、データＩＤ、画像ＩＤ、ヒートマップ画像、高さデータ、滞在時間、及び、対象範囲が対応付けて記憶される。データＩＤは保存される解析情報表示データを一意に識別するための識別情報である。画像ＩＤは上記したものであるが、解析に使用された複数の画像データのうちディスプレイ５０８に表示されている画像データの画像ＩＤである。ヒートマップ画像は、色の濃淡で表示されている解析情報とヒートマップ画像そのものである。高さデータは、棒グラフ６０４で表示される解析情報と各エリアの人数（表８では個別人数）である。滞在時間は滞在時間の下限欄と上限欄７０６で設定された値である。対象範囲は日時範囲設定欄７０７で設定された値である。

このように、集計された解析情報表示データが保存されるので、次回、閲覧者が表示させたい場合に再度、集計するよりも短時間に表示できる。また、画像データのダウンロードも不要なので、通信コスト及び計算コストを低減することができる。

また、エクスポートボタン７１１を閲覧者が押下すると、受付部７２が押下を受け付け、記憶・読出部７９が所定のファイル形式で記憶部７０００や記憶媒体に解析情報表示データを保存する。所定のファイル形式とは例えばエクセル形式などである。エクセル形式で、所定のシートに画像データ、ヒートマップ画像及び高さデータを保存でき、解析情報表示データに含まれるその他のデータをシートに保存できる。したがって、閲覧者は所定のファイル形式で編集された解析情報表示データを更に加工したり、高さデータなどを編集できる。

また、インポートボタン７１０を閲覧者が押下すると、受付部７２が押下を受け付け、記憶・読出部７９が所定のファイル形式の解析情報表示データを記憶部７０００や記憶媒体から読み出し、情報端末７が扱うデータ形式に変換する。例えば、エクセル形式で保存されている場合、どのシートのどのセルに解析情報表示データが格納されているかという情報を記憶・読出部７９が保持している。したがって、エクスポートされた所定のファイル形式の解析情報表示データを情報端末７が扱うデータ形式に変換できる。閲覧者は、所定のファイル形式で編集された高さデータなどを再度、ディスプレイ５０８に表示できる。

＜球の内側への画像表示と外側への表示の切り替え＞
図２０等で説明したように、全天球の内側に画像データが貼り付けられるが、全天球の外側に画像データが貼り付けられてもよい。この貼付場所を情報端末７が切り替えるための切替条件として、以下のような切替条件が考えられる。

表９の切替条件によれば、仮想カメラＩＣの位置が、全天球画像の全体が画角に入らない位置であれば、画像データが全天球の内側に貼り付けられ、解析情報としてヒートマップ画像が表示される。仮想カメラＩＣの位置が、全天球の全体が画角に入る位置であれば、画像データが全天球の外側に貼り付けられ、解析情報としてヒートマップ画像と棒グラフ６０４が表示される。

図２６を用いて説明する。図２６は仮想カメラＩＣの位置と画角に対する全天球の関係を模式的に説明する図の一例である。図２６（ａ）では、仮想カメラＩＣの画角αに全天球画像の全体が入っていない。したがって、全天球の内側に画像データが貼り付けられ、ヒートマップ画像のみが表示される。これに対し図２６（ｂ）では、仮想カメラＩＣの画角αに全天球画像の全体が入っている。したがって、全天球の外側に画像データが貼り付けられ、ヒートマップ画像と棒グラフ６０４が表示される。

閲覧者は、複数の解析情報を画像と一緒に閲覧したい場合は全天球の外側から、画像自体を大きく見たい場合は球の内側からといった使い分けが可能となる。

図２７（ａ）を用いて切り替えの判断について説明する。全天球の直径は２Ｒ、仮想カメラＩＣの画角をαとする。仮想カメラＩＣに全天球の全体がちょうど収まる時の仮想カメラＩＣの位置は、全天球の中心から距離Ｌ_０の位置である。
距離Ｌ_０＝Ｒ/（tan(α/2)）
したがって、仮想カメラＩＣのワールド座標系における座標と全天球の中心との距離Ｌを定期的に算出して、距離Ｌ＞Ｌ０かどうかを画像重畳部８２と棒グラフ表示部８３が判断することで、画像の描画位置（内側、外側）、及び、棒グラフ６０４の表示有無を判断できる。

次に、図２７（ｂ）〜（ｅ）を用いて、全天球の内側への描画と外側への描画について説明する。画像重畳部８２は、図２７（ｂ）のように内側に描画されている画像を、図２７（ｃ）に示すように外側に描画する。あるいはこの逆を行う。したがって、画像を内側から外側へ、外側から内側に平行移動すればよい。

図２７（ｄ）は全天球を上面から見た図であり、図２７（ｅ）は全天球を側面から見た図である。まず、経度θ１〜θ２の範囲がディスプレイ５０８に映っているとする。経度θ１〜θ２は三次元のオブジェクトを二次元に射影した場合と逆の変換により求めることができる。この時の表示されている経度の範囲はＡ度である。Ａ度は緯度によって異なるが、ディスプレイ５０８上の座標から算出できる。あるいは、距離Ｌ０は一定なので距離Ｌ０の時のＡ度を緯度ごとに予め求めておくことができる。

内側の画像が外側に平行移動するとθ１はθ１´に移動し、θ２はθ２´に移動する。したがって、以下の計算によりθ１´、θ２´を求めることができる。
θ１´＝θ１−（１８０−Ａ）
θ２´＝θ２＋（１８０−Ａ）
次に、緯度φ１〜φ２の範囲がディスプレイ５０８に映っているとする。緯度φ１〜φ２は三次元のオブジェクトを二次元に射影した場合と逆の変換により求めることができる。この時の緯度の範囲はＢ度である。Ｂ度は経度によって異なるが、ディスプレイ５０８上の座標から算出できる。あるいは、距離Ｌ０は一定なので距離Ｌ０の時のＢ度を経度ごとに予め求めておくことができる。

内側の画像が外側に平行移動するとφ１はφ１´に移動し、φ２はφ２´に移動する。しかし、平行移動の場合、緯度は一定でよいので以下の関係がある
φ１´＝φ１
φ２´＝φ２
以上のようにθ１、φ１、θ２、φ２で決定される矩形領域の画像を、θ１´、φ１´、θ２´、φ２´で決定される矩形領域に移動する。緯度に変更がないので、経度だけを変更すればよい。θ１´〜θ１の範囲の画像、θ２´〜θ２の範囲の画像も向きを考慮して外側に描画できる。

なお、棒グラフ６０４については、エリアの中心（重心）を特定し法線ベクトルを求めることで上記と同様に表示できる。エリアの中心（重心）は同じようにエリアの中心（重心）の経度を変更することで求められる。

＜棒グラフの平滑化＞
上記の棒グラフ６０４の高さに基づいて各エリアの棒グラフ６０４を平滑化することで閲覧者が見やすくなる場合がある。図２８（ａ）は棒グラフ６０４の高さが平滑化された平滑化グラフ７２０を有する全天球画像を示し、図２８（ｂ）は平滑化グラフ７２０のみを示す。棒グラフ６０４では棒グラフ６０４がないエリアが存在したが、平滑化グラフ７２０では棒グラフ６０４がない場所に高さが与えられる。

図２９は平滑化処理を説明する図の一例である。最も簡単には、ローカル座標系に配置された画像データの棒グラフ６０４に対し、棒グラフ表示部８３は所定距離内で隣接した棒グラフ６０４の上面の中心を直線で結ぶ。３つ又は４つの棒グラフ６０４で１つの面ができるため、この面をポリゴンとして三次元空間に配置することでエリアを平滑化して、全天球画像に平滑化グラフ７２０を表示できる。

また、平滑化フィルターを使用してもよい。例えば３×３のエリアごとにフィルターをかける場合、３×３で各要素が１／９のオペレータ（演算子）を用意し、注目するエリア（中央のエリア）とその周辺の高さをそれぞれ掛け合わせ、注目するエリアの高さを求める。これを各エリアについて行うと、全体が平滑化される。各エリアで平滑化後の高さが得られるので、高さを結んだポリゴンで表してもよいし、棒グラフで表してもよい。なお、注目するエリアに近いほど要素を大きくし、遠くなるほど要素を小さくなるようにオペレータ（演算子）が決定されるガウシアンフィルタで平滑化してもよい。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では１つの解析情報を色分け表示６０３で表し、１つの解析情報を棒グラフ６０４で表したが、複数の解析情報が色分け表示６０３により同時に表わされてもよいし、複数の解析情報が棒グラフ６０４により同時に表わされてもよい。

また、本実施形態では、全天球の外側に棒グラフが配置されたが、全天球の内側に棒グラフが配置されてもよい。

例えば、情報端末７と画像管理装置５が一体の情報処理装置が本実施形態で説明された処理を一台で実行してもよい。また、画像管理装置５が有する機能の全て又は１以上を情報端末７が有していてよく、情報端末７が有する機能の全て又は１以上を画像管理装置５が有していてもよい。すなわち、本実施形態で情報端末７が行う処理を画像管理装置５が行ってもよく、画像管理装置５が行う処理を情報端末７が行ってもよい。

また、以上の実施例で示した図６などの構成例は、撮像装置１、通信端末３、画像管理装置５及び情報端末７の処理の理解を容易にするために、主な機能に応じて分割したものである。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。撮像装置１、通信端末３、画像管理装置５及び情報端末７の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。また、画像処理システム２００が複数の画像管理装置５を有していてもよい。

また、画像管理装置５の記憶部５０００のデータベースは、画像管理装置５が直接有する他、画像管理装置５が読み書き可能な通信ネットワーク９上にあればよい。

なお、画像重畳部８２は情報関連付け手段の一例であり、画像表示部８１は配置手段の一例であり、棒グラフ表示部８３は解析情報配置手段の一例であり、表示制御部７３は表示手段の一例であり、ディスプレイ５０８は表示装置の一例であり、棒グラフ演算部７５は作成手段の一例である。受付部７２は受付手段の一例であり、記憶・読出部７９は記憶手段の一例であり、記憶部７０００は記憶装置の一例である。

１ 撮像装置
３ 通信端末
５ 画像管理装置
７ 情報端末
５２ 人物検出部
７３ 表示制御部
７４ ヒートマップ演算部
７５ 棒グラフ演算部
８１ 画像表示部
８２ 画像重畳部
８３ 棒グラフ表示部
２００ 画像処理システム

特表２０１２‐５１７６５２号公報

Claims (17)

1. 所定よりも広角の画像データと前記画像データの解析情報を表示する画像処理システムであって、
   前記画像データを解析して得られた第一の解析情報を前記画像データに関連づける情報関連付け手段と、
   前記第一の解析情報が関連付けられた前記画像データを三次元空間に配置する配置手段と、
   前記画像データを解析して得られた第二の解析情報を三次元空間のオブジェクトとして三次元空間の前記画像データと関連付けて配置する解析情報配置手段と、
   前記第一の解析情報、前記第二の解析情報、及び前記画像データを表示装置に表示する表示手段と、を有する画像処理システム。
2. 前記情報関連付け手段は、前記第一の解析情報を画像の濃淡で表し、
   前記解析情報配置手段は前記第二の解析情報の大きさを前記オブジェクトの形状で表す請求項１に記載の画像処理システム。
3. 前記画像データが分割して生成されたエリアごとに前記画像データを解析して前記エリアごとに前記第二の解析情報を作成する作成手段を有し、
   前記解析情報配置手段は、前記第二の解析情報の大きさが形状で表された前記オブジェクトを三次元空間の前記画像データの前記エリアに配置する請求項２に記載の画像処理システム。
4. 前記配置手段は、球体に前記画像データを貼り付けることで三次元空間に前記画像データを配置し、
   前記解析情報配置手段は、前記球体の表面に前記オブジェクトを配置する請求項３に記載の画像処理システム。
5. 前記解析情報配置手段は、各エリアの前記オブジェクトの高さを周囲の前記エリアの前記オブジェクトの高さに基づいて平滑化する請求項４に記載の画像処理システム。
6. 前記配置手段は、球体に前記画像データを貼り付けることで三次元空間に前記画像データを配置し、
   前記表示手段は、所定の画角を有する視点の前記画角に入る前記球体の少なくとも一部の画像を前記表示装置に射影するものであり、
   前記画角に前記球体の全体が入る場合、前記配置手段は前記球体の外側に前記画像データを貼り付け、
   前記画角に前記球体の全体が入らない場合、前記配置手段は前記球体の内側に前記画像データを貼り付ける請求項１〜５のいずれか１項に記載の画像処理システム。
7. 前記解析情報配置手段は、前記画角に前記球体の全体が入る場合、前記球体に前記オブジェクトを配置し、前記画角に前記球体の全体が入らない場合、前記球体に前記オブジェクトを配置しない請求項６に記載の画像処理システム。
8. 前記表示手段は、前記第一の解析情報及び前記第二の解析情報の表示に関する設定を受け付ける設定画面を前記表示装置に表示し、
   前記第一の解析情報及び前記第二の解析情報を作成するための前記画像データの選択を受け付ける受付手段を有する請求項１〜７のいずれか１項に記載の画像処理システム。
9. 前記受付手段は、前記第二の解析情報の範囲の指定を受け付け、
   前記解析情報配置手段は、指定された範囲の前記第二の解析情報を三次元空間のオブジェクトとして三次元空間の前記画像データに配置する請求項８に記載の画像処理システム。
10. 前記受付手段は、複数の前記第一の解析情報から１つの前記第一の解析情報の選択を受け付け、複数の前記第二の解析情報から１つの前記第二の解析情報の選択を受け付け、
    前記表示手段は、選択された前記第一の解析情報及び前記第二の解析情報を前記表示装置に表示する請求項８又は９に記載の画像処理システム。
11. 前記受付手段は、前記第一の解析情報及び前記第二の解析情報の表示の有無を受け付ける請求項１０に記載の画像処理システム。
12. 前記画像データ、前記第一の解析情報及び前記第二の解析情報を記憶装置に記憶させる記憶手段を有し、
    前記記憶手段は前記記憶装置から前記画像データ、前記第一の解析情報及び前記第二の解析情報を読み出し、
    前記表示手段は、前記記憶手段が読み出した前記画像データ、前記第一の解析情報及び前記第二の解析情報を表示装置に表示する請求項１〜１１のいずれか１項に記載の画像処理システム。
13. 前記記憶手段は、前記画像データ、前記第一の解析情報及び前記第二の解析情報を所定のファイル形式で記憶装置にエクスポートし、
    前記記憶装置から、所定のファイル形式の前記画像データ、前記第一の解析情報及び前記第二の解析情報をインポートする請求項１２に記載の画像処理システム。
14. 所定よりも広角の画像データと前記画像データの解析情報を表示する情報処理装置であって、
    前記画像データを解析して得られた第一の解析情報を前記画像データに関連付ける情報関連付け手段と、
    前記第一の解析情報が関連付けられた前記画像データを三次元空間に配置する配置手段と、
    前記画像データを解析して得られた第二の解析情報を三次元空間のオブジェクトとして三次元空間の前記画像データを関連付けて配置する解析情報配置手段と、
    前記第一の解析情報、前記第二の解析情報、及び前記画像データを表示装置に表示する表示手段と、を有する情報処理装置。
15. 所定よりも広角の画像データを解析して得られた第一の解析情報を前記画像データに関連付ける情報関連付け手段と、
    前記第一の解析情報が関連付けられた前記画像データを三次元空間に配置する配置手段と、
    前記画像データを解析して得られた第二の解析情報を三次元空間のオブジェクトとして三次元空間の前記画像データと関連付けて配置する解析情報配置手段と、を有し、
    前記第一の解析情報、前記第二の解析情報、及び前記画像データを他の情報処理装置に送信して表示させる情報処理装置。
16. 所定よりも広角の画像データと前記画像データの解析情報を表示する情報処理装置を、
    前記画像データを解析して得られた第一の解析情報を前記画像データに関連付ける情報関連付け手段と、
    前記第一の解析情報が関連付けられた前記画像データを三次元空間に配置する配置手段と、
    前記画像データを解析して得られた第二の解析情報を三次元空間のオブジェクトとして三次元空間の前記画像データと関連付けて配置する解析情報配置手段と、
    前記第一の解析情報、前記第二の解析情報、及び前記画像データを表示装置に表示する表示手段、として機能させるためのプログラム。
17. 情報処理装置に、
    所定よりも広角の画像データを解析して得られた第一の解析情報を前記画像データと関連付けるステップと、
    前記第一の解析情報が関連付けられた前記画像データを三次元空間に配置するステップと、
    前記画像データを解析して得られた第二の解析情報を三次元空間のオブジェクトとして三次元空間の前記画像データと関連付けて配置するステップと、
    前記情報処理装置に、前記第一の解析情報、前記第二の解析情報、及び前記画像データを他の情報処理装置に送信して表示させるステップと、
    を実行させるためのプログラム。

Images