JP2017163195A - 画像処理システム、プログラム、画像処理方法 - Google Patents

Abstract

【課題】広角画像に対し付加的な情報を付加できる画像処理システムを提供すること。【解決手段】１つ以上の情報処理装置５，７を含む画像処理システム２００であって、所定よりも画角が広い広角画像を表示装置に表示する表示手段７３と、前記表示装置に表示された前記広角画像の領域の指定を受け付ける受付手段７２と、前記表示装置における前記領域の座標を前記広角画像が解析される際の平面画像の座標に変換する座標変換手段７４と、前記平面画像の解析結果が有する座標と前記領域の座標を比較した結果に基づいて、前記領域に関する情報を作成する解析手段５６と、を有する。【選択図】図１

Description

本発明は、画像処理システム、プログラム及び画像処理方法に関する。

来客者の行動を小売店の店長等が分析して店舗運営や商品企画等に反映させることが従来から行われている。解析には例えば店舗内に設置されたカメラの映像が利用され、店長などは店舗内の映像を見て来客者がどのように移動するか、どの場所に滞留するかなどを把握する。これにより、来客者の動線や興味を引きやすい商品や展示方法が分かるため店舗運営や商品企画等に反映させることができる。

単に店内の各場所の映像を提供するだけでなく、カメラと画像処理技術を組み合わせることで映像を加工して店長等が分析しやすい情報を出力する監視システムが考案されている（例えば、特許文献１参照。）。特許文献１には、店舗エリア内を細分化して複数のサブエリアを形成し、動線データベース内の各動線データから指定されたサブエリアを通過した人物の動線データを抽出する人物行動分析装置が開示されている。

このように映像から人を検知すれば、人の検知結果をヒートマップ（対象をマスに区切り、各マスの注目度に応じてマスの表示色を変更する分析方法）などの分布表現に変換して元の映像に付加するといった活用も可能になる。

ところで、監視カメラに広角な画角の広角カメラを採用することで一台のカメラで広い場所をカバーできるため、コスト増を抑制できる。このため、監視カメラとして広角カメラが採用される場合が増えてきている。

しかしながら、画角が広い広角画像で例えばヒートマップ等の分布表現を行っても所望の情報が得られない場合がある。例えば、天井には人が存在しないが広角画像に天井が映っている場合、天井を含めてヒートマップが作成されてしまう。この場合、天井に比べて通路の方が遙かに人が検知されやすいため（例えば通路だけが真っ赤になる）、ヒートマップにより天井に人がいないことは分かっても、通路のどこにどのくらいの人がいるかという本来知りたい情報が得られない。

そこで、広角画像に店長等がエリアを設定してこのエリア内の人などを検知することが考えられる。しかし、広角画像は立体的に歪曲しており、店長等がこの広角画像を見て分析するのに対し、人の検知などの画像解析は広角画像が平面画像に変換された状態で行われるため、人の検知結果を設定されたエリアに適用することが困難であるという問題があった。

本発明は、上記課題に鑑み、広角画像に対し付加的な情報を付加できる画像処理システムを提供することを目的とする。

本発明は、１つ以上の情報処理装置を含む画像処理システムであって、所定よりも画角が広い広角画像を表示装置に表示する表示手段と、前記表示装置に表示された前記広角画像の領域の指定を受け付ける受付手段と、前記表示装置における前記領域の座標を前記広角画像が解析される際の平面画像の座標に変換する座標変換手段と、前記平面画像の解析結果が有する座標と前記領域の座標を比較した結果に基づいて、前記領域に関する情報を作成する解析手段と、を有する。

広角画像に対し付加的な情報を付加できる画像処理システムを提供することができる。

画像処理システムによる処理の概略を説明する図の一例である。 画像処理システムの概略構成図の一例である。 撮像装置のハードウェア構成図の一例である。 無線通信機能を有したクレードルの場合の通信端末のハードウェア構成図の一例である。 画像管理装置及び情報端末のハードウェア構成図の一例である。 画像処理システムの一部を構成する、撮像装置、通信端末、画像管理装置、及び情報端末の各機能ブロック図の一例である。 閲覧者Ｙがエリアを登録するために操作するポインティングデバイスの軌跡を説明する図の一例である 全天球画像が処理される各フェーズの画像の形態と座標の変換を説明する図の一例である。 閲覧者が指定したエリアを情報端末が画像管理装置に登録する手順を示すフローチャート図の一例である 終了点が平面画像の端部を跨ぐエリアを説明する図の一例である。 画像管理装置のエリア検査部がエリアを検査する手順を示すフローチャート図の一例である。 エリアと人検知エリアを説明する図の一例である。 画像管理装置がエリアを表示するための処理手順を示すフローチャート図の一例である。 エリアの登録時に情報端末がディスプレイに表示するエリア登録画面の一例である。 エリアの登録例を説明する図の一例である。 エリアの関連付けを説明する図の一例である。 エリア表示画面の一例を示す図である。 他方のエリアに包含されたエリアの表示例を示す図である。 エリアの検査結果を説明する図の一例である。

以下、本発明を実施するための形態について図面を参照しながら説明する。
図１は、本実施形態の画像処理システムによる処理の概略を説明する図の一例である。画像処理システムは周囲の３６０°の画角を撮像可能な撮像装置を有している。この撮像装置が撮像した画像を全天球画像と称することにする。

（１）図１（ａ）に示すように閲覧者は情報端末７を操作して全天球画像１０を回転、拡大、縮小などして全天球画像１０の所望の表示範囲６４０を閲覧できる。全天球画像１０は球体なのでこの表示範囲６４０は厳密には三次元に湾曲しているが、表示範囲６４０は全天球画像１０のごく一部なのでほとんど気にならない。閲覧者は全天球画像１０を平面画像に変換していない状態で、全天球画像１０から任意のエリア６０２を指定する。このエリア６０２の例えば対角頂点は画面上の座標（以下、スクリーン座標という）で特定される。

（２）図１（ｂ）に示すように、情報端末７は、エリア６０２を示すスクリーン座標をワールド座標系（三次元座標）に変換する。これは、画面は二次元であるが閲覧者Ｙが指し示すエリア６０２は曲面に映っているため、この曲面におけるエリア６０２の位置を精度よく特定するためである。

（３）図１（ｃ）に示すように、情報端末７はエリア６０２の三次元座標を二次元座標に変換する。この二次元座標は、平面画像に全天球画像が変換される前の座標系における座標である。したがって、平面画像１１におけるエリア６０２の位置が特定される。

平面画像１１は人検知の解析の際に使用される画像であり、人が検知された人検知エリア（対象領域）も平面画像１１の二次元座標で特定されている。したがって、人検知エリアと閲覧者が設定したエリア６０２を同じ座標系で扱うことが可能になり、人検知エリアと設定されたエリアの相対位置によってエリアに人が存在したか否かが判断される。

また、再度、情報端末７がエリア６０２を表示する際は、エリア６０２の座標が全天球画像１０と同じ三次元座標に変換されるので、閲覧者Ｙが設定したエリア６０２が設定時と同じように表示される。

このように本実施形態の画像処理システムは、全天球画像１０を撮像する撮像装置を使用することでコスト増を抑制できる。また、全天球画像１０のように広い画像データに閲覧者が任意にエリア６０２を設定するので天井などを検知対象から除外できる。全天球画像１０のように歪曲した画像データにエリア６０２が設定されても、人検知などの解析（画像処理）が行われる平面画像１１の座標系にエリア６０２の座標が変換されるので、人検知等の解析結果を設定されたエリア６０２に適用しやすくなる。

＜用語について＞
所定よりも画角が広い広角画像とは、少なくとも通常の撮像装置（例えば３５ｍｍフィルムのカメラ）の画角よりも広い画角の画像をいう。あるいは、魚眼レンズで撮像されている画像のように湾曲した画像をいう。好ましくは水平方向に３６０°上下方向に１８０°の画角を有するが必ずしも水平方向に３６０°上下方向に１８０°の画角を有さなくてもよい。本実施形態では一例として全天球画像を用いて説明する。

なお、撮像装置１は当初、平面画像を出力するが、閲覧時には全天球に平面画像が貼り付けられ全天球画像１０が作成されている。本実施形態ではエリアの指定後エリアが平面画像の座標に変換される。

領域とは広角画像内の一部をいう。エリア、区域又は範囲と称されてもよい。領域はどのような形状でもよい。本実施形態ではエリアという用語で説明する。

広角画像が解析されるとは、広角画像に対し何らかの画像解析が行われることをいう。画像解析とは対象の検知や認識である。また、対象とは全天球画像に撮像されている被写体である。閲覧者が中止する被写体が対象となりうる。また、対象とは全天球画像に映っていたりいなかったりする場合があるため移動可能であるか又は可搬性があるものである。また、対象とはドアのように形状が変化したり、ランプのように点灯又は消灯してその状態が変化するものである。本実施形態では一例として対象が人（歩行者）であるとして説明する。

領域（エリア）に関する情報とは、広角画像の解析結果に基づいて作成される領域（エリア）の情報をいう。広角画像の解析結果が対象の検知結果である場合、領域（エリア）に関する情報は対象の有無に関する情報である。また、広角画像の解析結果が対象の動作内容である場合、領域（エリア）に関する情報は対象がどのような動作をしているかに関する情報である。広角画像の解析結果が対象の状態である場合、領域（エリア）に関する情報は対象の状態に関する情報である。また、領域（エリア）に関する情報は広角画像の解析結果が加工されたものでもよい。例えば、一定期間の広角画像の解析結果がある場合、領域（エリア）に関する情報は対象が検知された回数、頻度、状態が変化した回数や頻度などが加工された情報となる。

＜画像処理システムのシステム構成＞
図２は、画像処理システム２００の概略構成図の一例である。画像処理システム２００は、通信ネットワーク９を介して接続された画像管理装置５、撮像装置１、通信端末３、及び、情報端末７を有している。撮像装置１は設置者Ｘにより店舗内に設置されている。情報端末７は閲覧者Ｙにより操作される。

通信ネットワーク９は、店舗内や閲覧者Ｙの所属先の企業のＬＡＮ、ＬＡＮをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等の少なくとも１つを含んで構築されている。通信端末３や情報端末７がＬＡＮを介さずに直接、回線電話網や携帯電話網に接続する場合は、ＬＡＮを介さずにプロバイダネットワークに接続することができる。また、通信ネットワークにはＷＡＮやインターネットが含まれる。通信ネットワークは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。

撮像装置１は、上記のように１度の撮像で周囲３６０度を撮像し全天球画像を作成するカメラである。デジタルスチルカメラ又はデジタルビデオカメラと呼ばれる場合がある。また、通信端末３にカメラが付いている場合は、通信端末３がデジタルカメラとなりうる。本実施形態では、説明を分かりやすくするために撮像装置１は全天球画像を得るためのデジタルカメラとして説明を行う。撮像装置１は定期的に周囲３６０を撮像する。必ずしも定期的である必要はなく、不定期に撮像してもよいし、設置者Ｘの操作により撮像してもよいし、閲覧者Ｙが画像管理装置５に要求することで画像管理装置５からの命令で撮像してもよい。

なお、撮像装置１は、視線が異なる何枚かの風景を自動的に撮像し、複数の画像データを合成することで全天球画像を作成してもよい。

通信端末３は、撮像装置１の代わりに通信ネットワーク９に接続する通信機能を有している。通信端末３は、撮像装置１への電力供給や店舗への固定を行うためのクレードル(Cradle)である。クレードルとは、撮像装置１の機能を拡張する拡張機器をいう。通信端末３は撮像装置１と接続するためのインタフェースを有し、これにより撮像装置１は通信端末３の機能を利用できる。通信端末３は、このインタフェースを介して撮像装置１とデータ通信を行なう。そして、無線ルータ９ａ及び通信ネットワーク９を介して画像管理装置５とデータ通信を行なう。

なお、撮像装置１が無線ルータ９ａや通信ネットワーク９と直接、データ通信する機能を有する場合、通信端末３はなくてもよい。あるいは、撮像装置１と通信端末３が一体に構成されていてもよい。

画像管理装置５は、例えば、サーバとして機能する情報処理装置であり、通信ネットワーク９を介して、通信端末３及び情報端末７とデータ通信を行なうことができる。画像管理装置５には、OpenGL ES（３Ｄグラフィックス用のＡＰＩ：Application Interface）がインストールされている。OpenGL ESを呼び出すことでメルカトル画像から全天球画像を作成したり、全天球画像の一部の画像（所定領域画像）のサムネイル画像を作成したりすることができる。

なお、画像管理装置５にはクラウドコンピューティングが適用されていることが好ましい。クラウドコンピューティングの物理的な構成に厳密な定義はないが、情報処理装置を構成するＣＰＵ、ＲＡＭ、ストレージなどのリソースが負荷に応じて動的に接続・切断されることで情報処理装置の構成や設置場所が柔軟に変更される構成が知られている。また、クラウドコンピューティングでは、画像管理装置５が仮想化されることが一般的である。１台の情報処理装置が仮想化によって複数の画像管理装置５としての機能を提供することや、複数の情報処理装置が仮想化によって一台の画像管理装置５としての機能を提供することができる。なお、画像管理装置５がクラウドコンピューティングとしてではなく単独の情報処理装置により提供されることも可能である。

情報端末７は、例えば、ノートＰＣ(Personal Computer)であり、通信ネットワーク９を介して、画像管理装置５とデータ通信を行う。情報端末７は、ノートＰＣの他、タブレット端末、ＰＣ、ＰＤＡ（Personal Digital Assistant）、電子黒板、テレビ会議端末、ウェアラブルＰＣ、ゲーム機、携帯電話、カーナビゲーションシステム、スマートフォンなどでもよい。また、これらに限られるものではない。

撮像装置１、通信端末３、及び無線ルータ９ａは、店舗等の各販売拠点で設置者Ｘによって所定の位置に設置される。情報端末７は、各販売拠点を統括する本社等に設置され、画像管理装置５を介して送られて来る各拠点の状況を表した画像を表示することで、閲覧者Ｙが各拠点の状況を表した画像を閲覧することができる。ただし、情報端末７は本社以外の場所からも画像管理装置５と通信可能である。

＜実施形態のハードウェア構成＞
次に、図３〜図５を用いて、本実施形態の撮像装置１、通信端末３，情報端末７及び画像管理装置５のハードウェア構成を説明する。

<<撮像装置>>
図３は、撮像装置１のハードウェア構成図の一例である。以下では、撮像装置１は、２つの撮像素子を使用した全方位撮像装置とするが、撮像素子は３つ以上でもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置１と同じ機能を有するようにしてもよい。

図３に示されているように、撮像装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及びアンテナ１１７ａによって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とはパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。更に、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、いわゆるメルカトル画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、該撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮像装置１によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置１には表示部が設けられていないが、表示部を設けてもよい。

マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、撮像装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮像モードや撮像条件などを入力する。

ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインタフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。ＤＲＡＭ１１４に記憶されたメルカトル画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／ＦとなるネットワークＩ／Ｆ１１６を介して通信端末３等の外部装置に送信されたりする。

通信部１１７は、撮像装置１に設けられたアンテナ１１７ａを介して、WiFi(wireless fidelity)、ＮＦＣ、又はＬＴＥ（Long Term Evolution）等の離無線技術によって、通信端末３等の外部装置と通信を行う。この通信部１１７によっても、メルカトル画像のデータを通信端末３の外部装置に送信することができる。

電子コンパス１１８は、地球の磁気から撮像装置１の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。

<<通信端末>>
次に、図４を用いて、通信端末３のハードウェア構成を説明する。なお、図４は、無線通信機能を有したクレードルの場合の通信端末３のハードウェア構成図である。

図４に示されているように、通信端末３は、通信端末３全体の動作を制御するＣＰＵ３０１、基本入出力プログラムを記憶したＲＯＭ３０２、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)３０４、Wi-fi、ＮＦＣ、ＬＴＥ等でデータ通信する通信部３０５、撮像装置１と有線で通信するためのＵＳＢ I/F３０３、カレンダーや時間情報を保持するＲＴＣ（Real Time Clock）３０６を有している。

また、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン３１０を備えている。

なお、ＲＯＭ３０２には、ＣＰＵ３０１が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。

通信部３０５は、アンテナ３０５ａを利用して無線通信の信号により、無線ルータ９ａ等と通信を行う。

図示する他、ＧＰＳ（Global Positioning Systems）衛星又は屋内ＧＰＳとしてのＩＭＥＳ(Indoor MEssaging System）によって通信端末３の位置情報（緯度、経度、及び高度）を含んだＧＰＳ信号を受信するＧＰＳ受信部を備えていてもよい。

<<画像管理装置、情報端末>>
図５を用いて、画像管理装置５及びノートＰＣの場合の情報端末７のハードウェア構成を説明する。なお、図５は、画像管理装置５及び情報端末７のハードウェア構成図である。画像管理装置５及び情報端末７はともにコンピュータであるため、以下では、画像管理装置５の構成について説明する。情報端末７の構成は画像管理装置５と同様であるとし、相違があるとしても本実施形態の説明に関し支障がないものとする。

画像管理装置５は、画像管理装置５全体の動作を制御するＣＰＵ５０１、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３を有する。また、画像管理装置５用のプログラム等の各種データを記憶するＨＤ５０４、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５を有する。また、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８を有する。ディスプレイ５０８にはタッチパネルが装着されていることが好ましい。また、通信ネットワーク９を利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２を有する。また、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)５１３に対する各種データの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ５１４を有する。また、上記各構成要素を図１１に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。

＜画像処理システムの機能について＞
図６は、画像処理システム２００の一部を構成する、撮像装置１、通信端末３、画像管理装置５、及び情報端末７の各機能ブロック図である。

<<撮像装置１の機能構成>>
撮像装置１は、受付部１２、撮像部１３、集音部１４、接続部１５、及び記憶・読出部１９を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮像装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。

また、撮像装置１は、図３に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４の１つ以上によって構築される記憶部１０００を有している。記憶部１０００には撮像装置用のプログラム及び端末ＩＤが記憶されている。

撮像装置１の受付部１２は、主に、図３に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、ユーザ（図２では、設置者Ｘ）からの操作入力を受け付ける。なお、撮像装置１は設置者Ｘによる撮像のための操作がなくても自動的かつ定期的に周囲を撮像する。定期の間隔は、設置者Ｘが撮像装置１に設定してもよいし、閲覧者Ｙが画像管理装置５を介して設定してもよい。

撮像部１３は、主に、図３に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、及びＣＰＵ１１１の処理によって実現され、風景等を撮像し、画像データを作成する。

集音部１４は、主に、図３に示されているマイク１０８及び音処理ユニット１０９、及び、ＣＰＵ１１１の処理によって実現され、撮像装置１の周囲の音を収音する。

接続部１５は、主に、ネットワークＩ／Ｆ１１６及びＣＰＵ１１１の処理によって実現され、通信端末３からの電力供給を受けると共に、通信端末３とデータ通信を行う。

記憶・読出部１９は、主に、図３に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データを記憶したり、記憶部１０００から各種データを読み出したりする。なお、以下では、撮像装置１が記憶部１０００から読み書きする場合でも「記憶・読出部１９を介して」という記載を省略する場合がある。

<<通信端末３の機能構成>>
通信端末３は、送受信部３１、受付部３２、接続部３３、及び記憶・読出部３９を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＲＯＭ３０２からＲＡＭ３０４上に展開された通信端末用のプログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は手段である。

また、通信端末３は、図４に示されているＲＯＭ３０２及びＲＡＭ３０４によって構築される記憶部３０００を有している。記憶部３０００には通信端末用のプログラムが記憶されている。

（通信端末３の各機能構成）
通信端末３の送受信部３１は、主に、図４に示されている通信部３０５及びＣＰＵ３０１の処理によって実現され、無線ルータ９ａ及び通信ネットワーク９を介して、画像管理装置５と各種データの送受信を行う。なお、以下では、通信端末３が画像管理装置５と通信する場合でも、「送受信部３１を介して」という記載を省略する場合がある。

受付部３２は、主に図４に示されているＣＰＵ３０１の処理によって実現され、ユーザ（図２では、設置者Ｘ）からの操作入力を受け付ける。

接続部３３は、主に、図４に示されているＵＳＢ I/F３０３、及びＣＰＵ３０１の処理によって実現され、撮像装置１に電力供給すると共に、データ通信を行う。

記憶・読出部３９は、主に、図４に示されているＣＰＵ３０１の処理によって実現され、記憶部３０００に各種データを記憶したり、記憶部３０００から各種データを読み出したりする。なお、以下では、通信端末３が記憶部３０００から読み書きする場合でも「記憶・読出部３９を介して」という記載を省略する場合がある。

<<画像管理装置の機能構成>>
画像管理装置５は、送受信部５１、人物検知部５２、サムネイル作成部５３、画面作成部５４、エリア登録部５５、エリア検査部５６、及び記憶・読出部５９を有している。これら各部は、図５に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された画像管理装置用の装置プログラム５０１０に従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、画像管理装置５は、図５に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、拠点管理ＤＢ５００１、撮像管理ＤＢ５００２、画像管理ＤＢ５００３、サムネイル管理ＤＢ５００４、エリア情報管理ＤＢ５００５、及び、解析情報管理ＤＢ５００６が構築されている。以下、各データベースについて説明する。

表１は、拠点管理ＤＢ５００１に記憶される各情報をテーブル状に示す拠点管理テーブルである。拠点管理テーブルでは、地域ＩＤ、地域名、拠点ＩＤ、拠点名、拠点レイアウトマップ、及び、装置ＩＤの各フィールドが関連付けて記憶されている。また、拠点管理テーブルの１つの行をレコードという場合がある。以下の各テーブルでも同様である。このうち、地域ＩＤは、地域を識別するための識別情報である。地域ＩＤの一例としては重複しない番号とアルファベットの組み合わせが挙げられる。

地域名は、例えば、関東、東京、渋谷区、ニューヨーク州、ニューヨーク市等、土地の区域又は範囲を示す。地域名称と言ってもよい。なお、識別情報とは、複数の対象からある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち２つ以上の組み合わせをいう。以下のＩＤ又は識別情報についても同じである。

拠点ＩＤは、拠点を識別するための識別情報の一例である。拠点ＩＤは拠点名に対し重複しないように付与される。拠点固有情報と称してもよい。拠点ＩＤの一例としては重複しない番号とアルファベットの組み合わせが挙げられる。拠点とは撮像装置１が設置され周囲を撮像するよりどころとなる所を言う。拠点の一例が店舗である。

拠点名は、渋谷店等の店舗名や、渋谷会場等の会場名等であり、拠点の名称である。拠点レイアウトマップには、各拠点のレイアウトや地図を示す画像データなどのファイル名が登録される。拠点レイアウトマップにより拠点における撮像装置１や取扱商品などの位置が２次元座標で特定される。

端末ＩＤは、撮像装置１を識別するための識別情報である。端末固有情報と称してもよい。端末ＩＤは、例えば、撮像装置１の例えばシリアル番号、製造番号、型番と重複しない数値、ＩＰアドレス、又は、ＭＡＣアドレスなどであるがこれらには限定されない。表１に示すように、１つの拠点には１つ以上の撮像装置（端末ＩＤ）が設置されており、それらの位置がレイアウトマップなどで管理されている。拠点管理テーブルは、設置者Ｘ又は閲覧者Ｙが登録してもよいし、画像処理システム２００のサプライヤーが登録してもよい。

表２は、撮像管理ＤＢ５００２に記憶される各情報をテーブル状に示す撮像管理テーブルである。撮像管理テーブルでは、拠点ＩＤごとに、撮像タイトル、撮像開始日時、及び撮像終了日時の各フィールドが関連付けて記憶されている。撮像タイトルは、閲覧者Ｙが入力したイベントのタイトルである。つまり、閲覧者Ｙが消費者の行動を監視したい何らかのイベントが店舗で催される場合に、このイベントの名称が撮像タイトルとなる。当然ながら、イベントの名称は閲覧者Ｙが任意に付与できるためイベントの名称でなくてもよい。例えば、単に撮像年月日とすることもできる。閲覧者Ｙは、画像データの複数のファイルから所望の画像データを抽出する際に、撮像タイトルを参照することができる。なお、１回の撮像イベントで複数の画像データが時系列に（定期的に）撮像される。撮像開始日時は、閲覧者Ｙによって入力された日時であり、撮像装置１が撮像を開始する（又は開始した）日時を示す。撮像終了日時は、閲覧者Ｙによって入力された日時であり、撮像装置１が撮像を終了する（又は終了した）日時を示す。閲覧者Ｙは撮像開始日時と撮像終了日時を事前に登録しておくこともできる（予約撮像）。撮像管理テーブルは、主に画像管理装置５が登録する。

表３は、画像管理ＤＢ５００３に記憶される各情報をテーブル状に示す画像管理テーブルである。画像管理テーブルでは、端末ＩＤごとに、画像ＩＤ、画像データのファイル名、及び撮像日時が関連付けて記憶されている。画像ＩＤは、画像データを一意に識別するための識別情報の一例である。画像固有情報と称してもよい。画像データのファイル名は、画像ＩＤで特定される画像データのファイル名である。撮像日時は画像データが端末ＩＤで示される撮像装置１で撮像された日時である。画像データも、記憶部５０００に記憶されている。

例えば、画像ファイルの閲覧の際、閲覧者Ｙは情報端末７で画像管理装置５にアクセスし、表２の撮像管理テーブルから撮像タイトルを選ぶ。画像管理装置５はこの撮像タイトルの拠点ＩＤに対応付けられている端末ＩＤを表１の拠点管理テーブルから読み出すことができる。端末ＩＤが明らかになるので、画像管理テーブルの端末ＩＤに対応付けられた画像データのうち撮像日時が撮像開始日時から撮像終了日時に含まれる画像データを画像管理装置５が特定できる。

当然ながら、閲覧者Ｙは端末ＩＤや拠点ＩＤを直接指定することもできる。本実施形態では、簡単のため閲覧者Ｙが端末ＩＤを指定して閲覧する態様を主に説明する。なお、画像管理テーブルは、主に画像管理装置５が登録する。

表４は、サムネイル管理ＤＢ５００４に記憶される各情報をテーブル状に示すサムネイル管理テーブルである。サムネイルとは親指程度のという意味であり、サムネイル画像は縮小した、画素数を低減した又は一覧用のイメージデータという意味になる。

サムネイル管理テーブルでは、画像ＩＤごとに、サムネイルＩＤ、サムネイル画像のファイル名、及び所定領域情報が関連付けて記憶されている。サムネイルＩＤは、画像ＩＤで示される画像データに基づいて作成されたサムネイル画像を一意に識別するための識別情報の一例である。サムネイル固有情報と称してもよい。サムネイル画像のファイル名は、サムネイルＩＤで示されるサムネイル画像のファイル名である。サムネイル画像のファイル名は画像管理装置５が付与する。所定領域情報は、画像ＩＤで示される画像データにおいて、サムネイル画像が作成された所定領域を示す。サムネイル管理テーブルは、主に画像管理装置５が登録する。

表５は、エリア情報管理ＤＢ５００５に記憶される各情報をテーブル状に示すエリア情報テーブルである。エリア情報テーブルでは、端末ＩＤごとに、登録エリアＩＤ、登録エリアの名称、値、及び、関連づけの各フィールドが関連付けて記憶されている。端末ＩＤは上記と同じものである。登録エリアＩＤは登録されたエリアを一意に識別するための識別情報の一例である。エリア固有情報と称してもよい。登録エリアの名称は、閲覧者Ｙが任意に付与することができるエリアの名称である。値は、エリアを特定するための情報であり、エリアが矩形であれば例えば、左上のコーナーの座標（x,y）と幅（width）と高さ（height）である。対角の２点の座標でもよい。エリア情報テーブルの値は、平面画像の座標系に基づいて決定されている。関連づけのフィールドにはエリアに関連付けられた他のエリアの登録エリアＩＤが登録される。例えば、表５のarea_1はarea_3と関連付けられている。エリアの関連づけは閲覧者Ｙが任意に行うことができる。また、３つ以上のエリアを関連付けることもできる。

各エリアの座標は重なり合っていてもよい。二つのエリア（area_A, area_B）を包含関係にある（area_A⊃area_B）ように登録することができる。これにより、area_A内で更に特定のエリア（area_B）の人の有無などを閲覧者Ｙが分析したい場合、包含関係にあるエリアを登録することで、area_A内で検知された人数に対して更にarea_Bで検知された人数を把握することができる。また、area_A に対し複数のarea_Bを閲覧者Ｙが登録することで、人がいない天井等を除外してヒートマップを作成できる。このように、画像全体に対して分析する母数を限定することができ、不要な情報を排除した分析を行うことができる。

表６は、解析情報管理ＤＢ５００６に記憶される各情報をテーブル状に示す解析情報テーブルである。解析情報テーブルでは、画像ＩＤごとに、人検知エリアＩＤ、及び値が関連づけて管理されている。画像ＩＤは上記と同じである。人検知エリアＩＤは人が検知されたエリアを一意に識別するための識別情報の一例である。人検知エリア固有情報と称してもよい。値は、人検知エリアを特定するための情報である。データの形式は登録エリアと同様である。例えば、画像ＩＤ＝au123456ifauyの全天球画像（全天球画像に変換される前の平面画像）には２つの人検知エリアがあり、それぞれの値が登録されている。

（画像管理装置の各機能構成）
画像管理装置５の送受信部５１は、主に、図５に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理等によって実現され、通信ネットワーク９を介して通信端末３、又は情報端末７と各種データの送受信を行う。なお、以下では、画像管理装置５が情報端末７と通信する場合でも、「送受信部５１を介して」という記載を省略する場合がある。

人物検知部５２は、主に、図５に示されているＣＰＵ５０１の処理等によって実現され、画像データから人物を検知する。この人物の検知は適切な特徴量の設定と、学習識別装置の設定により行われる。例えば、特徴量としては、Haar-like特徴、LBP(Local Binary Patterns)特徴、HOG(Histogram of Oriented Gradients)特徴などが知られている。また、学習識別装置としては、ＳＶＭ(Support Vector Machines)、AdaBoostを用いたカスケード分類などが知られている。ただし、これらに限られるものではなく人を検知できればよい。

サムネイル作成部５３は、主に、図５に示されているＣＰＵ５０１の処理等によって実現され、所定領域画像のサムネイル画像を作成する。

画面作成部５４は、図５に示されているＣＰＵ５０１の処理によって実現され、画像データを情報端末７に送信する際に、ＨＴＭＬデータ、JavaScript（登録商標）及びＣＳＳなどで情報端末７が画像データを表示するための画面情報を作成する。エリアを特定する情報は平面画像の座標系で記述されているので、エリアを表示するための画面データを送信する際、画面作成部５４はエリアの座標をワールド座標系の座標に変換する処理を行う。

エリア登録部５５は、図５に示されているＣＰＵ５０１の処理等によって実現され、情報端末７からエリア情報テーブルに登録する情報を取得してエリア情報管理ＤＢ５００５に登録する。

エリア検査部５６は、図５に示されているＣＰＵ５０１の処理等によって実現され、解析情報を用いてエリアを検査し、エリアに関する情報を作成する。

記憶・読出部５９は、主に、図５に示されているＨＤＤ５０５、及びＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データを記憶したり、記憶部５０００から各種データを読み出したりする。なお、以下では、画像管理装置５が記憶部５０００から読み書きする場合でも「記憶・読出部５９を介して」という記載を省略する場合がある。

＜情報端末７の機能構成＞
情報端末７は、送受信部７１、受付部７２、表示制御部７３、エリア座標算出部７４、及び、記憶・読出部７９を有している。これら各部は、図５に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された情報端末７用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、情報端末７は、図５に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部７０００を有している。記憶部７０００には情報端末７用の端末プログラム７０１０が記憶されている。情報端末７用の端末プログラム７０１０は、例えばブラウザソフトウェアであるが、ブラウザソフトウェアのような通信機能を備えたアプリケーションソフトウェアでもよい。また、ブラウザソフトウェアは画面データを実行して画面を表示したり、操作を受け付けたりするため、端末プログラム７０１０には画像管理装置５が送信する画面データ（ＨＴＭＬ、JavaScript（登録商標）等）が含まれる。

（情報端末７の各機能構成）
情報端末７の送受信部７１は、主に、図５に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理等によって実現され、通信ネットワーク９を介して画像管理装置５と各種データの送受信を行う。なお、以下では、情報端末７が画像管理装置５と通信する場合でも、「送受信部７１を介して」という記載を省略する場合がある。

受付部７２は、主に、図５に示されているキーボード５１１及びマウス５１２、並びにＣＰＵ５０１の処理等によって実現され、ユーザ（図２では、閲覧者Ｙ）からの操作入力を受け付ける。

表示制御部７３は、主に、図５に示されているＣＰＵ５０１の処理等によって実現され、画像管理装置５から送信された画面情報を解釈して情報端末７のディスプレイ５０８に各種画面を表示させるための制御を行なう。

エリア座標算出部７４は、受付部７２が受け付けたエリアを指定する画面上の座標を、平面画像の座標に変換する。すなわち、ワールド座標系への変換、平面画像の二次元座標への変換を行う。

記憶・読出部７９は、主に、図５に示されているＨＤ５０４、及びＣＰＵ５０１の処理によって実現され、記憶部７０００に各種データを記憶したり、記憶部７０００から各種データを読み出したりする。なお、以下では、情報端末７が記憶部７０００から読み書きする場合でも「記憶・読出部７９を介して」という記載を省略する場合がある。

＜エリアの登録＞
図７を用いてエリアの登録について説明する。図７は、閲覧者Ｙがエリアを登録するために操作するポインティングデバイスの軌跡を説明する図の一例である。閲覧者Ｙは情報端末７のキーボード５１１やマウス５１２又はタッチパネルなどのポインティングデバイスを操作してある点からある点までドラッグする。情報端末７の受付部７２はこの操作を受け付けて、図７（ａ）に示すような矢印で表される軌跡を取得する。図７で示される座標はディスプレイ５０８に全天球画像のまま表示された場合の画面におけるスクリーン座標である。

エリアを登録するための操作の一例は、ポインティングデバイスを用いて任意の箇所をドラッグする操作である。ディスプレイ５０８がタッチパネルを有する場合、タッチドラッグや、ピンチ操作で登録を受け付けてもよい。これらの場合、受付部７２は、該操作の際にドラッグの開始点６５１と終了点６５２の座標を取得する。図７（ａ）では開始点６５１がエリア６０２の左上頂点（upperLeft）、終了点６５２がエリア６０２の右下頂点（lowerRight）であるが、ドラッグの方向により開始点６５１と終了点６５２がエリア６０２のどの頂点となるかは異なる。

また、図７（ｂ）に示すように右下から左上に閲覧者Ｙがドラッグした場合、開始点よりも終了点の方が、座標が小さくなる。この場合、エリア座標算出部７４は開始点６５１を基準にして終了点６５２に至までの軌跡の座標からドラッグ方向を判断する。軌跡によりドラッグ方向が左上であると判断すると、開始点６５１に対し負値の幅と負値の高さを検出する。

また、図７（ｃ）に示すようにドラッグ方向が左下であると判断すると、開始点６５１に対し負値の幅と正値の高さを検出する。また、図７（ｄ）に示すようにドラッグ方向が右上であると判断すると、開始点６５１に対し正値の幅と負値の高さを検出する。

受付部７２は閲覧者Ｙのドラッグ方向を検出して原点（開始点の場合、終了点の場合、それ以外の場合がある）、幅（lrx1-ulx1）or（urx1-llx1）及び高さ（lry1-uly1）（lly1-ury1）、を算出する。原点はエリアの左上頂点であるものとする。例えば、図７（ｂ）の開始点６５１に負値の幅と負値の高さを加えると、原点（左上頂点）の座標が得られる。図７（ｃ）（ｄ）についても同様である。

対角頂点の２点の座標でなく原点に対し幅と高さが記録されることで、全天球画像においても適切にエリアを指定できる。すなわち、全天球画像は境目がないので２点によるエリアの指定では二通りの領域指定（左上頂点からエリア内を通って右下頂点に至る領域、右下頂点からエリア外を通って左上頂点に至る領域）が可能なためである。このように、全天球画像に特有の処理として、受付部７２はドラッグ方向が様々であってもそれを吸収してエリアの特定する情報を適切に算出することができる。

なお、エリアの形状は矩形でなくてもよく、ポインティングデバイスの任意の軌跡が囲む領域でエリアを特定してもよい。この場合、エリアは時系列の座標で特定される。また、閲覧者Ｙが任意の2点をポインティングデバイスで指し示した場合の座標からエリアを特定してもよい。この場合、閲覧者Ｙは左上の頂点の次に右下の頂点を指し示すなどの規則に従うことが好ましい。

＜座標変換について＞
図８は全天球画像が処理される各フェーズの画像の形態と座標の変換を説明する図の一例である。図８（ａ）は変換の手順を示す。
・スクリーン座標系からワールド座標系
この変換にはビュー変換と射影変換が使用される。一般にはワールド座標系からスクリーン座標系へ変換されるので、本実施形態ではビュー変換と射影変換のそれぞれ逆変換が適用される。ビュー変換は仮想的なカメラの座標を回転、平行移動させる変換であり、三次元のオブジェクトをカメラの向きに応じた画像に変換する処理に相当する。ビュー変換の変換行列Ｍｖは以下のようになる。

ここでＸｘ、Ｙｘ、ＺｘはカメラのＸ軸を、Ｘｙ、Ｙｙ、ＺｙはカメラのＹ軸を、Ｘｚ、Ｙｚ、ＺｚはカメラのＺ軸を示し、Ｐはカメラの位置ベクトル、Ｘ，Ｙ，ＺはＸ軸、Ｙ軸、Ｚ軸の方向余弦を示す。

次に、射影変換は、三次元のオブジェクトをカメラから所定距離の画面に射影した場合の二次元座標に変換する。図８（ｂ）は射影変換を説明する図である。カメラからスクリーンｍ２までの距離をＮ，オブジェクトが存在しうる範囲を面ｍ１までの距離Ｆとする。θは情報端末７の画面の幅方向の画角である。これらから射影変換行列Ｍｐは以下のようになる。なお、距離Ｎ、Ｆは予め定められた値が設定される。

したがって、スクリーン座標における全天球画像の任意の点の座標（ｘ_ｃ、ｙ_ｃ、ｚ_ｃ）はワールド座標系の座標（ｘ_ｗ、ｙ_ｗ、ｚ_ｗ）に以下のように変換される。ｚ_ｃは以下の式で算出される。このＺはオブジェクトまでの距離である。
z_c＝｛（Ｎ＋Ｆ）Ｚ−２ＮＦ｝／（Ｎ−Ｆ）

・ワールド座標系からｕｖ座標系
この変換はワールド座標系の全天球画像を正規化することで行われる。正規化とは座標の範囲が（0, 0) から (1, 1)に含まれるようにすることをいう。ｕｖ座標系の座標を（u, v）とする。また、仮想的なカメラからの距離ｒ、距離ｒに対するｘ_ｗ、ｙ_ｗ、ｚ_ｗの比をｄｘ、ｄｙ、ｄｚとする。
r = sqrt(x ^2, + y^2 + z^2)
dx = x/r
dy = y/r
dz = z/r
以上からｕ座標は以下のようになる。
u = 1/2 + arctan(dz/dx) / 2*PI + 1/4
但し、u ≧ 1のとき u=ｕ-1とする。

また、ｖ座標は以下のようになる。
v = 1/2 - arcsin(dy) / PI
・ｕｖ座標系から平面画像の座標系
正規化されたｕｖ座標と、平面画像の解像度の積を算出する。
平面画像のｘ方向の解像度をresolutionWidth、ｙ方向の解像度をresolutionHeightとする。
平面画像の座標 (x, y) = (u * resolutionWidth, v * resolutionHeight)
以上により、情報端末７で指定されたエリアのディスプレイ５０８のスクリーン座標を平面画像の座標に変換できる。

なお、平面画像をディスプレイ５０８に表示する際はこの逆の変換を行えばよい。

＜エリアの登録＞
続いて、図９〜１３を用いて画像処理システム２００の動作手順を説明する。

図９は、閲覧者が指定したエリアを情報端末７が画像管理装置５に登録する手順を示すフローチャート図の一例である。図９の処理は、閲覧者Ｙがエリアの登録を開始する操作を行うとスタートする。また、図１０を適宜参照して説明する。図１０は右下頂点が平面画像の端部を跨ぐエリアを説明する図の一例である。

情報端末７には画像データがダウンロードされている。画像データは端末ＩＤと関連付けられてるので情報端末７は端末ＩＤを保持している。閲覧者Ｙはポインティングデバイスによるドラッグ操作を開始する。情報端末７の受付部７２はドラッグ操作を受け付ける（Ｓ１０）。受付部７２は例えば、マウスのオンマウスダウンイベントやタッチパネルのタッチイベントを取得する。この時、ディスプレイ５０８の左上コーナーを原点とするスクリーン座標を取得できる。

次に、エリア座標算出部７４は開始点６５１の座標を記憶部７０００などに記録する（Ｓ２０）。

次に、エリア座標算出部７４はドラッグ操作は継続しているか否かを判断する（Ｓ３０）。受付部７２が例えば、オンマウスアップイベントを検出すると、ステップＳ３０の判断はＮｏになる。

ステップＳ３０の判断がＹｅｓの間、エリア座標算出部７４はドラッグが続く限りエリアの矩形を更新しながら、ポインティングデバイスの現在の座標を記録する（Ｓ４０）。

ステップＳ３０の判断がＮｏの場合、エリア座標算出部７４はドラッグ操作が終了した時点での現在の座標が、終了点６５２の座標であると判断する（Ｓ５０）。なお、図７で説明したように常にポインティングデバイスの座標が検知されるのでドラッグ方向が判断され、ドラッグ方向に依存しないエリアの座標（左上頂点と右下頂点）が得られている。

次に、エリア座標算出部７４は、左上頂点の座標と右下頂点の座標を座標変換する。上記のように、スクリーン座標系→ワールド座標系→ｕｖ座標系→平面画像の座標系に変換する（Ｓ６０）。

変換処理により最終的に得られる座標は全天球画像が二次元で表現された平面座標のものなので、左上頂点と右下頂点が平面画像の端部を跨ぐ場合がある。この場合、端部を跨ぐことを考慮してエリアの幅と高さを算出しないと、幅や高さが負値になりエリアを正しく特定できない。

図１０には、平面画像において端部を跨ぐ左上頂点と右下頂点が示されている。図１０に示すように、平面画像におけるエリアの配置には４つのパターンがあり得る。パターン１は、右下頂点がｘ方向の端部とｙ方向の端部を跨がない場合である。パターン１の場合、エリアは分割されない。端部を跨ぐとは、平面画像のｘ方向の解像度又はｙ方向の解像度を右下頂点が超えてしまうことをいう。あるいは、右下頂点の座標が左上頂点の座標よりも小さいことをいう。

パターン２は右下頂点がｙ方向の端部のみを跨ぐ場合である。この場合、エリアは上下に２つに分割される。パターン３は右下頂点がｘ方向の端部のみを跨ぐ場合である。この場合、エリアは左右に２つに分割される。パターン４は右下頂点がｘ方向とｙ方向の両方で端部を跨ぐ場合である。この場合、エリアは上下左右の４つに分割される。エリア座標算出部７４はこのパターンを判断してエリアの幅と高さを適切に算出する。エリア１〜４はそれぞれパターン１〜４に適合するものとし、エリア１〜４の左上頂点と右下頂点の座標を以下に示す。
エリア１：左上頂点（ulx1,uly1）、右下頂点（lrx1,lry1）
エリア２：左上頂点（ulx2,uly2）、右下頂点（lrx2,lry2）
エリア３：左上頂点（ulx3,uly3）、右下頂点（lrx3,lry3）
エリア４：左上頂点（ulx4,uly4）、右下頂点（lrx4,lry4）
図１０から明らかなように、各エリアの幅と高さは以下のように算出される。
エリア１：幅 ＝lrx1−ulx1
高さ＝lry1−ulx1
エリア２：幅 ＝lrx2−ulx2
高さ＝高さの解像度−uly2＋lry2
エリア３：幅 ＝幅の解像度−ulx3＋lrx3
高さ＝lry3−ulx3
エリア４：幅 ＝幅の解像度−ulx4＋lrx4
高さ＝高さの解像度−uly4＋lry4
図９に戻って説明する。
次に、右下頂点のｘ座標が左上頂点のｘ座標よりも大きいか否かを判断する（Ｓ７０）。すなわち、パターン３か４であるかどうかを判断する。

ステップＳ７０の判断がＹｅｓの場合、パターン１又は２なのでエリア座標算出部７４は、右下頂点のｘ座標から左上頂点のｘ座標の差分を算出する（Ｓ８０）。つまり、右下頂点と左上頂点の差分をそのままエリアの幅とする。

ステップＳ７０の判断がＮｏの場合、パターン３又は４なのでエリア座標算出部７４は、幅の解像度を考慮して幅を算出する（Ｓ９０）。具体的には上記のエリア３、４の幅の算出式で算出する。

次に、右下頂点のｙ座標が左上頂点のｙ座標よりも大きいか否かを判断する（Ｓ１００）。すなわち、パターン２か４であるかどうかを判断する。

ステップＳ１００の判断がＹｅｓの場合、パターン１又は３なのでエリア座標算出部７４は、右下頂点のｙ座標から左上頂点のｙ座標の差分を算出する（Ｓ１１０）。つまり、右下頂点と左上頂点の差分をそのままエリアの高さとする。

ステップＳ１００の判断がＮｏの場合、パターン２又は４なのでエリア座標算出部７４は、高さの解像度を考慮して高さを算出する（Ｓ１２０）。具体的には上記のエリア２、４の高さの算出式で算出する。

このように、右下頂点が平面画像の端部を跨ぐか否かを判断して、跨ぐ場合には解像度を考慮して幅と高さを算出することで、エリアの左上頂点に対する幅と高さを正しく算出できる。全天球画像のままエリアを閲覧者Ｙが指定しても、平面画像において正しくエリアを特定できる。

幅と高さの算出が完了すると、エリア座標算出部７４はエリアの任意の名称の入力を受け付ける（Ｓ１３０）。詳細は図１４（ｂ）にて説明される。

エリア座標算出部７４は、端末ＩＤ、エリアの開始点、幅、高さ、及び、名称を画像管理装置５に送信する（Ｓ１４０）。以上が１つのエリアの登録であり、閲覧者Ｙはエリアごとに同様の処理を行う。

＜エリアの検査＞
平面画像にエリアが設定されたので、解析情報を用いてエリアを検査することができる。解析情報の一例として人の検知結果を使用する。

図１１は、画像管理装置５のエリア検査部５６がエリアを検査する手順を示すフローチャート図の一例である。なお、適宜図１２を参照して説明する。図１２はエリアと人検知エリアを説明する図の一例である。

例えば、エリアごとに人の有無を検知できれば、ある期間に各エリアにどの位の人が存在したかを定量的に調べることができる。図１１では、エリアの検査の一例としてエリア毎の人数のカウント結果をグラフや数字等で出力する例を示す。図１１の処理は例えば、閲覧者Ｙが端末ＩＤや画像ＩＤ等を指定してエリアの検査を開始する操作を行うと実行される。あるいは、撮像装置１が撮像を終了させ人検知の解析が終了すると自動的に開始する。また、図１１は１つの画像データ（画像フレーム）ごとに実行される。

まず、エリア検査部５６は平面画像の解像度と解析情報を取得する（Ｓ１０）。平面画像の解像度は図１０の平面画像の解像度と同じであり予め既知であるか、記憶部５０００に記憶されている。解析情報は解析情報管理ＤＢ５００６に記憶されている。

次に、エリア検査部５６はエリアを特定する情報をエリア情報管理ＤＢ５００５から取得する（Ｓ２０）。エリアは端末ＩＤに関連付けられているので、エリアの検査の対象となっている画像データに関連付けられている端末ＩＤを特定し、この端末ＩＤに関連付けられている登録エリアＩＤの値（エリアを特定する情報）を順番に読み出す。

次のエリアが登録されていない場合（Ｓ３０のＮｏ）、図１１の処理は終了する。

対のエリアが登録されている場合（Ｓ３０のＹｅｓ）、平面画像に対するエリアの位置を判断してエリアを分割する処理を行う（Ｓ４０〜Ｓ８０）。

エリアを分割する処理について図１２に基づき説明する。図１２のエリア１〜４はそれぞれ図１０のエリア１〜４と同様である。エリア２〜４のように平面画像の端部を跨ぐエリアは、端部を跨いだ後のエリアがどこにあるかを特定しないと人検知エリアとの関係を判断できない。このため、平面画像の端部を跨ぐエリアは以下のように平面画像の端部で分割される。

エリア１：エリア１は平面画像の端部を跨がないのでエリア１は分割されない。

エリア２：エリア２は平面画像のｙ方向の端部を跨ぐのでエリア２とエリア２'に分割される。

エリア２ 左上頂点（x2,y2）、 幅＝width2,高さ＝幅方向の解像度-y2
エリア２'左上頂点（x2,0）、幅＝width2,高さ＝height2−（高さの解像度-y2）
エリア３：エリア３は平面画像のｘ方向の端部を跨ぐのでエリア３とエリア３'に分割される。

エリア３ 左上頂点（x3,y3）、幅＝幅の解像度−x3、高さ＝height
エリア３'左上頂点（0,y3）、幅＝width3−（幅の解像度−x3）、高さ＝height3
エリア４：エリア４は平面画像のｘ方向とｙ方向の端部を跨ぐのでエリア４、４'、４''、４'''に分割される。

エリア４ 左上頂点（x4,y4）、幅＝幅の解像度−x4、高さ＝高さの解像度−y4
エリア４' 左上頂点（0,0）、幅＝width4−（幅の解像度−x4）,高さ＝height4−（高さの解像度-y4）
エリア４''左上頂点（x4,0）、幅＝幅の解像度−x4、高さ＝height4−（高さの解像度-y4）
エリア４'''左上頂点（0,y4）、幅＝width4−（幅の解像度−x4）、高さ＝高さの解像度−y4
図１１に戻って説明する。エリア検査部５６は、エリアを特定する情報のうち原点(x,y)及び幅から、右下頂点の座標（lrx, lry）を算出する（Ｓ４０）。すなわち、原点のｘ座標に幅を加算して、右下頂点の座標のｘ座標lrxを算出する。

右下頂点のｘ座標lrxが平面画像のｘ方向の解像度よりも大きいか否かを判断する（Ｓ５０）。「平面画像のｘ方向の解像度＜ｘ座標lrx」の場合、右下頂点の座標が平面画像のｘ方向の端部を跨ぐ。すなわち、図１２のエリア３の状態となる。

ステップＳ５０の判断がＹｅｓの場合、エリア検査部５６はエリアをx方向に二分割して、エリア３とエリア３'という２つのエリアを作成する（Ｓ６０）。エリア３とエリア３'の（左上頂点の座標、幅、高さ）は図１２で説明した。

次に、エリア検査部５６は右下頂点のｙ座標lryが平面画像のｙ方向の解像度よりも大きいか否かを判断する（Ｓ７０）。「平面画像のｙ方向の解像度＜ｙ座標lry」の場合、右下頂点の座標が平面画像のｙ方向の端部を跨ぐ。すなわち、図１２のエリア２の状態となる。

ステップＳ７０の判断がＹｅｓの場合、エリア検査部５６はエリアをｙ方向に二分割して、エリア２とエリア２'という２つのエリアを作成する（Ｓ８０）。エリア２とエリア２'の（左上頂点の座標、幅、高さ）は図１２に示した。

また、ステップＳ５０とＳ７０の両方でＹｅｓと判断されるエリア４は、エリア４、４'、４''、４'''の４つに分割される。エリア４、４'、４''、４''' の（左上頂点の座標、幅、高さ）は図１２に示した。

次に、この分割したエリアごとに人が検知された回数をカウントアップする処理を行う。エリア検査部５６は、画像データに人検知エリアがあるか否かを判断する（Ｓ９０）。ステップＳ９０の判断がＮｏの場合、処理はステップＳ３０に戻る。

ステップＳ９０の判断がＹｅｓの場合、エリア検査部５６は分割されたエリアを１つ取り出す（Ｓ１００）。

そして、分割されたエリアに人検知エリアの中心が含まれるか否かを判断する（Ｓ１１０）。

ステップＳ１１０の判断がＹｅｓの場合、エリア検査部５６はエリアで人が検知された回数を１つ大きくする（Ｓ１２０）。回数はエリアごとにカウントされ、エリアが分割されていても分割前のエリアごとにカウントされる。このように解析結果を用いてエリアごとにエリアに関する情報を作成できる。エリアが互いに重複していないという前提であるため、この後、処理はステップＳ９０に戻り次の人検知エリアについて処理される。エリアが互いに重複している場合、処理はステップＳ１００に戻ればよい。

ステップＳ１１０の判断がＮｏの場合、処理はステップＳ１００に戻り次の分割されたエリアを取り出す。したがって、１つの人検知エリアに対し分割されたエリアが総当たりで人検知エリアの中心を含むか否かが判断される。

以上で、エリアごとに人が検知された数が測定された。次の画像データ（画像フレーム）で同じ処理を行えば、情報端末７はエリアごとにある期間に人が検知された回数や頻度などをグラフ等で表示できる。

また、情報端末７は包含するエリアと包含されるエリアを座標に基づいて特定し、包含するエリアにおける人検知の回数に対し、包含されるエリアにおける人の検知の回数の比などを算出できる。包含されるエリアが複数あれば、包含するエリアにおけるヒートマップなどを容易に作成できる。

なお、人検知エリアの中心を比較するのでなく人検知エリアの一部でもエリアと重複している場合に、エリアの人の数をカウントしてもよい。この場合、複数のエリアで同一人物がカウントされる場合があるが、エリアに接近した人をカウントできる。また、人検知エリアとエリアの重複面積が最も多いエリアの人の数をカウントしてもよい。この場合、複数のエリアで同一人物がカウントされることを抑制し、エリアに接近した人をカウントできる。また、人検知エリアとエリアの距離が閾値内の場合にエリアの人の数をカウントしてもよい。

＜エリアの表示＞
画像管理装置５に登録されているエリアを情報端末７が表示する処理を説明する。画像管理装置５に登録されているエリアを特定するための情報（値）は平面画像における座標であり、情報端末７は全天球画像を表示するので、エリアを特定する情報をワールド座標系の座標に変換する必要がある。

図１３は、情報端末７がエリアを表示するための処理手順を示すフローチャート図の一例である。図１３の処理は閲覧者Ｙが情報端末７を操作して画像データの閲覧を画像管理装置５に要求するとスタートする。なお、画像データが特定されているので端末ＩＤが特定されている。

まず、情報端末７の表示制御部７３は、平面画像の解像度を取得する（Ｓ１０）。解像度は既知である。人検知エリアも表示する場合は、解析情報管理ＤＢ５００６から解析情報を取得しておく。

表示制御部７３は、エリアを特定する情報を画像管理装置５のエリア情報管理５００５から取得する（Ｓ２０）。エリアは端末ＩＤに関連付けられているので、表示対象の画像データに関連付けられている端末ＩＤを特定すればよい。

次に、表示制御部７３は平面画像と同じ解像度のレンダリングベースを作成する（Ｓ３０）。これは、全天球画像にレンダリングベースを新規レイヤとして貼り付けるためである。例えば、ＨＴＭＬのタグであるｃａｎｖａｓタグを使用する。

表示制御部７３は撮像装置１に次のエリアが登録されているか否かを判断する（Ｓ４０）。撮像装置１に次のエリアが登録されている場合、表示制御部７３はエリアの分割処理を行う（Ｓ５０）。この分割処理は図１１で説明した。

そして、分割された全てのエリアをレンダリングベースにレンダリングする（Ｓ６０、Ｓ７０）。分割されたエリアの座標が分かるので、レンダリングベースに矩形を描画すればよい。すなわち、分割されたエリアの座標で特定される四角形を描画する。エリアには半透明で表示される処理が施される。また、エリアごとに異なる色（半透明）が付される。半透明とすることで閲覧者Ｙは全天球画像を目視することができる。

すべてのエリアについて処理が終わると（Ｓ４０のＮｏ）、表示制御部７３はレンダリングベースをレイヤ化する（Ｓ７０）。レイヤ化とはｃａｎｖａｓタグの全体を１枚の画像データとして生成することをいう。エリアがない場所は完全な透明になる。

表示制御部７３は、レイヤ化されたエリアを全天球画像に貼付する（Ｓ８０）。すなわち、レイヤ化された平面画像を、従来と同様に全天球に貼り付ける処理を行う。これにより、全天球画像にレイヤが貼り付けられた状態になる。

閲覧者Ｙは全天球画像に重ねてエリアを確認することができる。なお、図１３の処理を画像管理装置５が行ってもよい。閲覧者Ｙは画像データを表示しながらエリアを表示したりしなかったりを操作できる。

＜画面例＞
図１４から図１８を用いてエリアの登録から表示までの画面例を示す。
図１４（ａ）はエリアの登録時に情報端末７がディスプレイ５０８に表示するエリア登録画面６０１の一例である。

閲覧者Ｙは全天球画像内を表示させエリアの登録を行うためのメニューを選択する。そして、上記のように、任意の位置をマウス等のポインティングデバイスでドラッグすることでエリアを指定する。図１４（ａ）にはドラッグされたエリア６０２が点線で示されている。エリア６０２の位置が登録される。なお、処理としては、情報端末７の受付部７２はドラッグの開始点と終了点の座標を検出して、表示制御部７３がこの座標を対角頂点とする矩形を表示する。

閲覧者Ｙは図１４（ｂ）に示すようにエリアに名称を付与できる。図１４（ｂ）では名称登録欄６０３が表示されている。閲覧者Ｙは名称を入力してＯＫボタン６０４を押下する。情報端末７の受付部７２はこの操作を受け付けて、送受信部７１が端末ＩＤ、エリアを特定するための情報（値）及び名称を画像管理装置５に送信する。名称は任意であるが例えば、図１４（ｂ）のエリアは冷蔵庫に指定されたので「冷蔵庫」などを入力する。したがって、陳列する具体的な商品等で名称を付与できる。

図１５（ａ）は複数の座標点によるエリアの登録例を説明する図の一例である。閲覧者Ｙは指定したいエリアを囲むように座標点６０５の入力を繰り返す（例えばポインティングデバイス６５０でクリック又はタッチする）。情報端末７の受付部７２は座標点６０５の入力を受け付け、情報端末７の表示制御部７３は座標点６０５と座標点６０５の間を点線で囲むなどしてエリア６０２を明示する。このようなエリアの登録は矩形以外のエリアを登録したい場合に有効である。

図１５（ｂ）はフリーハンドによるエリアの登録例を説明する図の一例である。この場合、閲覧者Ｙはエリアの外縁に沿ってポインティングデバイス６５０をドラッグする。情報端末７の受付部７２は軌跡６０６の座標を受け付け、情報端末７の表示制御部７３はポインティングデバイス６５０の軌跡６０６を線で表示するなどしてエリア６０２を明示する。任意の形状のエリアを短時間で指定できる。

図１６（ａ）はエリアの関連付けを説明する図の一例である。閲覧者Ｙがエリア６０２Ａの後にエリア６０２Ｂを指定した。例えばエリアＡに「冷蔵庫」、エリアＢに「レジ前」という名称が付与されたものとする。エリア６０２Ｂをエリア６０２Ａと関連付けたい場合、閲覧者Ｙはエリア６０２Ａを選択した状態で、例えばエリア６０２Ｂ内で右クリックすることにより関連づけのためのメニューを表示させる。エリア６０２Ａには選択中であることを示すマーク６６０が表示される。受付部７２はこのメニューの選択操作を受け付け、表示制御部７３が図１６（ａ）のようなエリア関連付け欄６１０が表示させる。エリア関連付け欄６１０には「関連づけするエリアを選択してください」というメッセージ６１１、選択中のエリア６１２として「レジ前」が表示される。

閲覧者Ｙがエリア６０２Ａをポインティングデバイス６５０で選択すると、受付部７２がポインティングデバイス６５０の位置を検出してエリア６０２Ａが選択されたと判断する。受付部７２はエリア６０２Ａで登録されているエリアＡの名称（冷蔵庫）をエリア関連付け欄６１０の関連付けられるエリア６１３に表示する。このように、閲覧者Ｙはエリアを選択するという簡単な操作でエリア同士を関連付けることができる。また、すでに指定されているエリアが表示されるので、閲覧者Ｙがこれから登録しようとしているエリアとの相対位置が分かりやすい。

図１６（ｂ）はエリアの中に更に登録されるエリアを説明する図の一例である。図１６（ｂ）ではエリア６０２Ｃの中にエリア６０２Ａが登録されている。情報端末７はエリア６０２Ｃの座標とエリア６０２Ａの座標を比較することでエリア６０２Ａがエリア６０２Ｃに包含されていると判断できる。あるいは明示的に閲覧者Ｙが指定してもよい。したがって、画像管理装置５は、エリア６０２Ｃで検知された人の総数に対し更にエリア６０２Ａで検知された人の数の比率などを簡単に算出できる。

図１７はエリア表示画面６２１の一例を示す図である。図１７（ａ）は、登録されたエリア６０２の表示例を示す図である。図１７（ａ）では２つのエリア６０２Ａ，６０２Ｄが表示されているがそれぞれが異なる色で表示されている。情報端末７がディスプレイ５０８に表示する画面データは、上記のように情報端末７の表示制御部７３が作成するが画像管理装置５の画面作成部５４も作成できる。図では白黒であるが、例えばエリア６０２Ａは赤でエリア６０２Ｄは青で表示される。これにより、異なるエリア６０２が表示されていることを閲覧者Ｙに把握させやすくなる。なお、表示される色は一例であり、閲覧者Ｙが指定できてもよい。

一方、情報端末７の表示制御部７３は関連づけされたエリアを同じ色で表示する。図１７（ｂ）では関連付けられた「レジ前」のエリア６０２Ｂと「冷蔵庫」のエリア６０２Ａが同じ色で表示されている。情報端末７の表示制御部７３、エリア情報管理ＤＢ５００５を参照して関連付けのフィールドを読み出し、関連付けされている複数のエリアを同じ色に設定する。図では白黒であるが、例えば赤で表示される。なお、表示される色は一例である。閲覧者Ｙはエリアの色を見ることで関連付けられたエリアを判断しやすくなる。

なお、各エリアの色は半透明なので、各エリアが全天球画像に映っているどの被写体に対して指定されたのかを、閲覧者Ｙは容易に判断できる。

図１８（ａ）は、他方のエリアに包含されたエリアの表示例を示す。それぞれのエリア６０２Ａ，６０２Ｃが別々の色で表示されるので、閲覧者Ｙは包含されているエリアを判断しやすい。なお、包含されたエリア６０２Ａが包含するエリア６０２Ｃと関連付けられた場合、同色になってしまい判別が困難になる。情報端末７の表示制御部７３は、エリア情報管理ＤＢ５００５を参照してエリアを特定する情報（値）を読み出し、一方が他方に完全に包含されるエリアを特定する。そして、包含されるエリアにエリアの色と異なる色の枠線を形成するなどする。これにより情報端末７が全天球画像を表示した際、重複したエリアが判別可能になる。あるいは、一方を点滅させたり、輝度を落としたり、同色の斜線で表示したりしてもよい。

図１８（ｂ）は人検知エリアの表示例を示す図である。情報端末７の表示制御部７３は予め解析情報管理ＤＢ５００６から読み出した人検知エリアを平面画像に形成しておく。形成方法はエリアの場合と同じである。このように、情報端末７は人検知エリア６３０をエリア６０２と共に又はエリア６０２とは別に表示することができる。情報端末７は閲覧者Ｙの操作で人検知エリアの表示と非表示を切り替えることができる。例えば、図１８（ｂ）の例では、人検知エリア６３０の中心がエリア６０２Ａと重複しているので、エリア６０２Ａにおいて人が検知されたと判断される。

＜エリアの検査結果＞
図１９はエリアの検査結果を説明する図の一例である。図１９（ａ）では横軸が日付、縦軸が検知された人の数である。人数はエリアごとにカウントされている。すなわち、１日当たりに検知された人の数がエリアごとに表示されている。閲覧者Ｙは表示させるエリアを選択できる。したがって、人が多いエリアや少ないエリアを判断しやすい。また、日付によってどのような変化があるかを把握しやすい。

図１９（ｂ）は、全天球画像の全体の人のカウント数が表示された画面を示す。図１９（ｂ）の下段のグラフは図１９（ａ）と同じである。図１９（ｂ）の上段では日付ごとに全天球画像の全体で検知された人のカウント数が棒グラフで表示されている。なお、図１９（ｂ）では２つの撮像装置Ａ，Ｂのカウント数が示されている。全天球画像の全体で検知される人のカウント数が多ければエリアで検知される人の数も多くなる傾向がある。したがって、全体と部分（エリア）の関係を把握しやすくすることもできる。

なお、図１９のような検査結果を情報端末７は印刷することもできるし、他の機器や端末に送信することもできる。

＜まとめ＞
以上説明したように本実施形態の画像処理システムは、全天球画像１０のように歪曲した画像データにエリア６０２が設定されても、エリア６０２が人検知などの解析（画像処理）が行われる平面画像１１の座標系に変換されるので、人検知等の解析結果を設定されたエリア６０２に適用しやすい。また、全天球画像に境界がないが平面画像で境界（端部）が生じても、エリアを分割するのでエリアごとに人検知等の解析結果を正しく適用できる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では人が検知されたが、情報端末７は男女の別を判断して男女がそれぞれ検知された回数を表示してもよい。あるいは、手を伸ばす、座る、商品を戻すなどの動作を判別して各動作の回数を表示してもよい。また、商品の有無、商品の数、体積、商品の配置が乱れているかどうかなどを表示してもよい。

また、上記の実施形態では、情報端末７でエリアが登録され画像管理装置５がエリアに関する情報を作成したが、情報端末７でエリアに関する情報まで作成してもよいし、画像管理装置５がエリアの指定を受け付けてもよい。また、情報端末７と画像管理装置５が一体の情報処理装置が本実施形態で説明された処理を一台で実行してもよい。また、画像管理装置５が有する機能の全て又は１以上を情報端末７が有していてよく、情報端末７が有する機能の全て又は１以上を画像管理装置５が有していてもよい。

また、以上の実施例で示した図６などの構成例は、撮像装置１、通信端末３、画像管理装置５及び情報端末７の処理の理解を容易にするために、主な機能に応じて分割したものである。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。撮像装置１、通信端末３、画像管理装置５及び情報端末７の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。また、画像処理システム２００が複数の画像管理装置５を有していてもよい。

また、画像管理装置５の記憶部５０００のデータベースは、画像管理装置５が直接有する他、画像管理装置５が読み書き可能な通信ネットワーク９上にあればよい。

なお、ディスプレイ５０８は表示装置の一例であり、受付部７２は受付手段の一例であり、エリア座標算出部７４は座標変換手段の一例であり、エリア検査部５６は解析手段の一例であり、表示制御部７３は表示手段の一例である。画像管理装置５は第一の情報処理装置の一例であり、情報端末７は第二の情報処理装置の一例である。本実施形態で説明した画像処理システム２００が行う処理は画像処理方法の一例である。

１ ：撮像装置
３ ：通信端末
５ ：画像管理装置
７ ：情報端末
３１ ：送受信部
５１ ：送受信部
５２ ：人物検知部
５４ ：画面作成部
５５ ：エリア登録部
５６ ：エリア検査部
２００ ：画像処理システム

特開２００９‐０４８２２９号公報

Claims (15)

1. １つ以上の情報処理装置を含む画像処理システムであって、
   所定よりも画角が広い広角画像を表示装置に表示する表示手段と、
   前記表示装置に表示された前記広角画像の領域の指定を受け付ける受付手段と、
   前記表示装置における前記領域の座標を前記広角画像が解析される際の平面画像の座標に変換する座標変換手段と、
   前記平面画像の解析結果が有する座標と前記領域の座標を比較した結果に基づいて、前記領域に関する情報を作成する解析手段と、
   を有する画像処理システム。
2. 前記座標変換手段は、前記領域の前記表示装置における座標を三次元座標に変換し、前記三次元座標を前記平面画像の座標に変換する請求項１に記載の画像処理システム。
3. 前記広角画像は周囲３６０°が撮像された全天球画像であり、
   前記座標変換手段は、前記平面画像の座標に変換された前記領域が前記平面画像の解像度を超えている場合、前記平面画像の解像度を考慮して前記領域の幅と高さを算出し、
   前記解析手段は、前記幅及び高さを用いて算出した前記平面画像の座標における前記領域の右下頂点が前記平面画像の端部を跨ぐ場合、前記端部で前記領域を分割し、
   分割された各領域の座標と前記解析結果が有する座標とを比較する請求項１又は２に記載の画像処理システム。
4. 前記解析手段が作成した前記領域に関する情報を前記領域ごとに出力する請求項１〜３のいずれか１項に記載の画像処理システム。
5. 前記平面画像の前記解析結果は、予め定められた対象が前記平面画像で検知された場合に前記対象を含む対象領域の座標を有し、
   前記解析手段は、前記対象領域の少なくとも一部が前記領域と重複する場合、前記領域で前記対象が検知されたことに基づいて前記領域に関する情報を作成する請求項４に記載の画像処理システム。
6. 前記解析手段は、前記広角画像ごとに前記対象領域の少なくとも一部が前記領域と重複するか否かを判断し、
   重複する場合に、前記領域ごとに前記対象が検知された回数をカウントし、
   前記表示手段は、前記回数を前記領域ごとに表示する請求項５に記載の画像処理システム。
7. 前記表示手段は、前記広角画像の全体で前記対象が検知された回数と共に、前記領域ごとに前記対象が検知された回数を表示する請求項６に記載の画像処理システム。
8. 前記受付手段は、前記表示装置におけるポインティングデバイスの２点の座標で指定される矩形の範囲、
   前記表示装置におけるポインティングデバイスの複数の点で囲まれる範囲、又は、
   前記表示装置におけるポインティングデバイスの軌跡で囲まれる範囲、により前記領域の指定を受け付ける請求項１〜７のいずれか１項に記載の画像処理システム。
9. 前記受付手段は、すでに受け付けた前記領域を表示した状態で、次の前記領域の指定を受け付ける請求項８に記載の画像処理システム。
10. 前記表示手段は、前記領域を前記表示装置に表示する際、前記領域を半透明にして前記広角画像に重ねて表示する請求項１〜９のいずれか１項に記載の画像処理システム。
11. 前記受付手段は、指定された前記領域のうち任意の２つ以上の前記領域の関連付けを受け付け、
    前記表示手段は、関連付けられた２つの前記領域を同色で前記表示装置に表示する請求項１０に記載の画像処理システム。
12. 前記受付手段は、前記領域の全体が他方の前記領域に包含される前記領域の指定を受け付け、
    前記解析手段は、包含する前記領域で前記対象が検知された回数に対する、包含された前記領域で前記対象が検知された回数の比を算出し、
    前記表示手段は、前記比を表示する請求項７に記載の画像処理システム。
13. 第一の情報処理装置と第二の情報処理装置を含む画像処理システムであって、
    前記第二の情報処理装置は、
    所定よりも画角が広い広角画像を表示装置に表示する表示手段と、
    前記表示装置に表示された前記広角画像の領域の指定を受け付ける受付手段と、
    前記表示装置における前記領域の座標を前記広角画像が解析される際の平面画像の座標に変換する座標変換手段と、を有し、
    前記第一の情報処理装置は、
    前記平面画像の解析結果が有する座標と前記領域の座標を比較した結果に基づいて、前記領域に関する情報を作成する解析手段、を有する画像処理システム。
14. 情報処理装置を、
    所定よりも画角が広い広角画像を表示装置に表示する表示手段と、
    前記表示装置に表示された前記広角画像の領域の指定を受け付ける受付手段と、
    前記表示装置における前記領域の座標を前記広角画像が解析される際の平面画像の座標に変換する座標変換手段と、
    前記平面画像の解析結果が有する座標と前記領域の座標を比較した結果に基づいて、前記領域に関する情報を作成する解析手段として機能させるためのプログラム。
15. １つ以上の情報処理装置を含む画像処理システムが行う画像処理方法であって、
    表示手段が、所定よりも画角が広い広角画像を表示装置に表示するステップと、
    受付手段が、前記表示装置に表示された前記広角画像の領域の指定を受け付けるステップと、
    座標変換手段が、前記表示装置における前記領域の座標を前記広角画像が解析される際の平面画像の座標に変換するステップと、
    解析手段が、前記平面画像の解析結果が有する座標と前記領域の座標を比較した結果に基づいて、前記領域に関する情報を作成するステップと、
    を有する画像処理方法。

Images