JP2017162432A - 画像処理システム、情報処理装置、情報端末、プログラム - Google Patents

Abstract

【課題】人の興味の度合いをより詳細に判断することが可能な画像処理システムを提供すること。【解決手段】１つ以上の情報処理装置を有する画像処理システム２００であって、画像データから人が含まれる人領域を検出する人検出手段５２と、前記人検出手段によって検出された前記人領域から前記人の動作と該動作の方向を判断する動作判断手段５５と、前記方向に基づいて決定される前記画像データの所定領域を前記動作に応じて評価する評価手段５６と、前記画像データと共に前記評価手段による評価を表示装置に表示する表示手段７３と、を有する。【選択図】図１

Description

本発明は、画像処理システム、情報処理装置、情報端末及びプログラムに関する。

小売業ではＰＯＳ（Point Of System）の売上データを用いることで、売れている商品・売れていない商品を判別し、店長などが商品ごとに改善策を策定することが従来から行われている。具体的には価格設定などを見直すなどの従来の改善策の他に、ＶＭＤ（Visual Merchandising）と呼ばれる商品の見せ方の改善が行われようになってきた。

しかしながら、ＰＯＳの売上データを参照する方法では、商品が「売れたか否か」はわかるが、来客者が「各商品に対して興味を持ったのか否か」はわからないため、必ずしも適切な改善策を策定することができない場合があった。

そこで、カメラと画像処理技術を組み合わせることで映像を加工して店長等が分析しやすい情報を出力する監視システムが考案されている（例えば、特許文献１参照。）。特許文献１には、画像から店舗への来客者の購買行動を判断し、ＰＯＳデータには現れない来客者の商品に対する行動を取得する技術が開示されている。このような技術が活用されれば、ＰＯＳの売上データには現れない来客者の商品に対する行動を分析しやすくなる。

しかしながら、従来の技術では「商品（又は商品が置かれている棚）に対し来客者がアクセスしたか否か」の２種類を判断できても、来客者がどの程度その商品に興味を持ったのかを判断できないという問題があった。すなわち、来客者が商品に対しアクセスすれば商品に対して興味が「あった」と判別し、アクセスしなければ「なかった」と判別するという２種類の判別しかできず、来客者がどの程度その商品に興味を持ったのかを判断することができなかった。

本発明は上記課題に鑑み、人の興味の度合いをより詳細に判断することが可能な画像処理システムを提供することを目的とする。

本発明は、１つ以上の情報処理装置を有する画像処理システムであって、画像データから人が含まれる人領域を検出する人検出手段と、前記人検出手段によって検出された前記人領域から前記人の動作と該動作の方向を判断する動作判断手段と、前記方向に基づいて決定される前記画像データの所定領域を前記動作に応じて評価する評価手段と、前記画像データと共に前記評価手段による評価を表示装置に表示する表示手段と、を有する。

人の興味の度合いをより詳細に判断することが可能な画像処理システムを提供することができる。

画像処理システムによる人の興味の度合いの判断例を説明する図である。 画像処理システムの概略構成図の一例である。 撮像装置のハードウェア構成図の一例である。 無線通信機能を有したクレードルの場合の通信端末のハードウェア構成図の一例である。 画像管理装置及び情報端末のハードウェア構成図の一例である。 画像処理システムの一部を構成する、撮像装置、通信端末、画像管理装置、及び情報端末の各機能ブロック図の一例である。 人が検出された領域を模式的に示す図の一例である。 画像解析部がアクションを判断する手順を示すフローチャート図の一例である。 商品ゾーンごとの集計を模式的に説明する図の一例である。 領域に関する商品ゾーンを判断する手順を示すフローチャート図の一例である。 商品ゾーンの定義方法を模式的に示す図である。 評価部が商品ゾーンを定義する手順を示すフローチャート図の一例である。 撮像装置、通信端末、画像管理装置、及び情報端末の各機能ブロック図である（実施例３）。 閲覧者が指定する興味度を示す図の一例である。 操作１に対し情報端末が表示する画面例を示す図の一例である。 操作２に対し情報端末が表示する画面例を示す図の一例である。 操作３に対し情報端末が表示する画面例を示す図の一例である。 操作４に対し情報端末が表示する画面例を示す図の一例である。 操作５に対し情報端末が表示する画面例を示す図の一例である。 操作６に対し情報端末が表示する画面例を示す図の一例である。 ヒートマップの作成に関し重み付けを説明する図の一例である。 画像処理システムの概略構成図の一例である（実施例４）。 スタッフ端末のハードウェア構成図の一例である。 本実施例の画像処理システムの一部を構成する、画像管理装置、情報端末及びスタッフ端末の各機能ブロック図である（実施例４）。 店舗における画像処理システムの利用形態を説明する図の一例である。 来客者が倒れるという事象が発生した店舗を示す図である。 スタッフ端末のディスプレイに表示される事象記録画面の一例を示す図である。 事象記録要求により設定される事象フラグを模式的に説明する図の一例である。 画像処理システムの全体的な動作手順を示すシーケンス図の一例である。 画像管理装置が画像を管理する手順を示すフローチャート図の一例である。 画像管理装置がジェスチャを検出して事象フラグをＯＮに設定する手順を示すフローチャート図の一例である。 スタッフ端末と画像管理装置の間で行われる動作を示すシーケンス図の一例である。 通信端末が事象記録要求を画像管理装置に送信するシーケンス図の一例である。 情報端末のディスプレイに表示される閲覧画面の一例である。 来客者が画像データに合成された来客者合成画面を示す図の一例である（第１実施形態）。 情報視覚化部が画像データに来客者を合成する手順を示すフローチャート図の一例である。 情報端末がディスプレイに表示した画像データを示す図の一例である（第２実施形態）。 情報視覚化部が画像データに来客者を合成する手順を示すフローチャート図の一例である。 閲覧者が行う解析操作を説明する図の一例である（第３実施形態）。 来客者合成画面の一例を示す図である。 情報視覚化部が画像データに来客者を合成する手順を示すフローチャート図の一例である。 第４実施形態で表示される画像データの生成方法を説明する図の一例である（第４実施形態）。 同じ商品ゾーンに興味度を示した来客者が写っている画像データが時系列に来客者合成枠と共に表示される図の一例である。 情報視覚化部が画像データに来客者を合成する手順を示すフローチャート図の一例である。 ディスプレイに表示される画像データを説明する図の一例である（第５実施形態）。 情報視覚化部が画像データに来客者を合成する手順を示すフローチャート図の一例である。 ディスプレイに表示される画像データを説明する図の一例である（第６実施形態）。 情報視覚化部が画像データに来客者を合成する手順を示すフローチャート図の一例である。

以下、本発明を実施するための形態について図面を参照しながら説明する。

＜本実施形態の画像解析の一例＞
図１は、画像処理システムによる人の興味の度合いの判断例を説明する図である。図１では、一例としてアパレル業界の店舗を来客者が訪れた場合を例にして説明する。来客者は目的の商品まで店内を歩いたり、興味を引く商品を探したりしながら店内を歩く。画像処理システムは各地に設置された広角カメラにより来客者を撮像し、画像データを解析して来客者のアクションを判断する。

図１（ａ）に示すように、画像処理システムは、まず来客者が歩いているかどうかを判断できる。歩いている場合、画像処理システムは更に顔向きなどから進行方向を向いているのか商品の方向を向いているのかなどを判断できる。進行方向を向いていない場合、何らかの商品を見たと考えてよいので、来客者が歩きながら商品の方向を見たと判断できる。

また、図１（ｂ）に示すように、来客者が立ち止まっている場合、来客者は何らかの商品を立ち止まって見ていると判断できる。立ち止まって見ている場合は、歩きながら見ている場合よりも興味の度合いが高いと判断できる。更に、図１（ｃ）に示すように画像処理システムは画像を解析して、来客者が手を伸ばしたか否かを判断できる。手を伸ばして見ている場合、立ち止まって見ている場合よりも興味の度合いが高いと判断できる。

また、図１（ｄ）に示すように、画像処理システムは商品である服を来客者が身体に当てているかどうかを解析できる。この場合、手を伸ばして見ている場合よりも興味の度合いが高いと判断できる。

このように、本実施形態の画像処理システムは、店舗内の来客者の様子を撮像した画像から種々の動作を判断することで、商品又は商品ゾーンに対する興味の度合いを多段階に判断することができる。また、来客者の動作の対象は興味の対象であり、動作の方向により予め定義されていた商品ゾーンを決定すれば、商品ゾーンに対する興味の強さを視覚的に表示することも可能となる。

＜用語について＞
上記の広角画像は、所定よりも画角が広い画像であり、少なくとも通常の撮像装置（例えば３５ｍｍフィルムのカメラ）の画角よりも広い画角の画像をいう。あるいは、魚眼レンズで撮像されている画像のように湾曲した画像をいう。広角画像の一例の全天球画像は、周囲３６０°の全方位が撮像された画像である。全方位画像、パノラマ画像、全天球パノラマ画像など、どのように呼ばれていてもよい。また、周囲３６０°の画像の一部が画像処理などの関係で欠けていても本実施形態の説明に支障がない場合は全天球画像と称する。全天球画像により広範囲をカバーできるので撮像装置の設置数を少なくすることができる。

人とは興味、関心、反応又は応答などの動作を示す者である。動作により興味、関心、反応又は応答の程度が判断される。なお、人の他、動物などが検出されてもよい。人は屋内で検出されても屋外で検出されてもよい。屋内又は屋外では商品やサービスが提供される。商品やサービスは興味等の対象となる。

評価とは、この興味の程度を決定したり判断したりすることをいう。本実施形態では興味の程度が多段階に評価される。多段階とは少なくとも３段階以上であることが好ましい。

＜画像処理システムのシステム構成＞
図２は、画像処理システム２００の概略構成図の一例である。画像処理システム２００は、通信ネットワーク９を介して接続された画像管理装置５、撮像装置１、通信端末３、及び、情報端末７を有している。撮像装置１は設置者Ｘにより店舗内に設置されている。情報端末７は閲覧者Ｙにより操作される。

通信ネットワーク９は、店舗内や閲覧者Ｙの所属先の企業のＬＡＮ、ＬＡＮをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等の少なくとも１つを含んで構築されている。通信端末３や情報端末７がＬＡＮを介さずに直接、回線電話網や携帯電話網に接続する場合は、ＬＡＮを介さずにプロバイダネットワークに接続することができる。また、通信ネットワークにはＷＡＮやインターネットが含まれる。通信ネットワークは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。

撮像装置１は、上記のように１度の撮像で周囲３６０度を撮像し全天球画像を作成するカメラである。デジタルスチルカメラ又はデジタルビデオカメラと呼ばれる場合がある。また、通信端末３にカメラが付いている場合は、通信端末３がデジタルカメラとなりうる。本実施形態では、説明を分かりやすくするために撮像装置１は全天球画像を得るためのデジタルカメラとして説明を行う。撮像装置１は定期的に周囲３６０を撮像する。必ずしも定期的である必要はなく、不定期に撮像してもよいし、設置者Ｘの操作により撮像してもよいし、閲覧者Ｙが画像管理装置５に要求することで画像管理装置５からの命令で撮像してもよい。

なお、撮像装置１は、視線が異なる何枚かの風景を自動的に撮像し、複数の画像データを合成することで全天球画像を作成してもよい。

通信端末３は、撮像装置１の代わりに通信ネットワーク９に接続する通信機能を有している。通信端末３は、撮像装置１への電力供給や店舗への固定を行うためのクレードル(Cradle)である。クレードルとは、撮像装置１の機能を拡張する拡張機器をいう。通信端末３は撮像装置１と接続するためのインタフェースを有し、これにより撮像装置１は通信端末３の機能を利用できる。通信端末３は、このインタフェースを介して撮像装置１とデータ通信を行なう。そして、無線ルータ９ａ及び通信ネットワーク９を介して画像管理装置５とデータ通信を行なう。

なお、撮像装置１が無線ルータ９ａや通信ネットワーク９と直接、データ通信する機能を有する場合、通信端末３はなくてもよい。あるいは、撮像装置１と通信端末３が一体に構成されていてもよい。

画像管理装置５は、例えば、サーバとして機能する情報処理装置であり、通信ネットワーク９を介して、通信端末３及び情報端末７とデータ通信を行なうことができる。画像管理装置５には、OpenGL ES（3Dグラフィックス用のＡＰＩ：Application Interface）がインストールされている。OpenGL ESを呼び出すことでメルカトル画像から全天球画像を作成したり、全天球画像の一部の画像（所定領域画像）のサムネイル画像を作成したりすることができる。

なお、画像管理装置５にはクラウドコンピューティングが適用されていることが好ましい。クラウドコンピューティングの物理的な構成に厳密な定義はないが、情報処理装置を構成するＣＰＵ、ＲＡＭ、ストレージなどのリソースが負荷に応じて動的に接続・切断されることで情報処理装置の構成や設置場所が柔軟に変更される構成が知られている。また、クラウドコンピューティングでは、画像管理装置５が仮想化されることが一般的である。１台の情報処理装置が仮想化によって複数の画像管理装置５としての機能を提供することや、複数の情報処理装置が仮想化によって一台の画像管理装置５としての機能を提供することができる。なお、画像管理装置５がクラウドコンピューティングとしてではなく単独の情報処理装置により提供されることも可能である。

情報端末７は、例えば、ノートＰＣ(Personal Computer)であり、通信ネットワーク９を介して、画像管理装置５とデータ通信を行う。情報端末７は、ノートＰＣの他、タブレット端末、ＰＣ、ＰＤＡ（Personal Digital Assistant）、電子黒板、テレビ会議端末、ウェアラブルＰＣ、ゲーム機、携帯電話、カーナビゲーションシステム、スマートフォンなどでもよい。また、これらに限られるものではない。

撮像装置１、通信端末３、及び無線ルータ９ａは、店舗等の各販売拠点で設置者Ｘによって所定の位置に設置される。情報端末７は、各販売拠点を統括する本社等に設置され、画像管理装置５を介して送られて来る各拠点の状況を表した画像を表示することで、閲覧者Ｙが各拠点の状況を表した画像を閲覧することができる。ただし、情報端末７は本社以外の場所からも画像管理装置５と通信可能である。画像管理装置５は、各拠点の通信端末３から送られて来た画像データやその解析結果を情報端末７に送信する。

＜実施形態のハードウェア構成＞
次に、図３〜図５を用いて、本実施形態の撮像装置１、通信端末３，情報端末７及び画像管理装置５のハードウェア構成を説明する。

<<撮像装置>>
図３は、撮像装置１のハードウェア構成図の一例である。以下では、撮像装置１は、２つの撮像素子を使用した全方位撮像装置とするが、撮像素子は３つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置１と同じ機能を有するようにしてもよい。

図３に示されているように、撮像装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及びアンテナ１１７ａによって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とはパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。更に、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、メルカトル画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、該撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮像装置１によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置１には表示部が設けられていないが、表示部を設けてもよい。

マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、撮像装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮像モードや撮像条件などを入力する。

ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインタフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。ＤＲＡＭ１１４に記憶されたメルカトル画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／ＦとなるネットワークＩ／Ｆ１１６を介して通信端末３等の外部装置に送信されたりする。

通信部１１７は、撮像装置１に設けられたアンテナ１１７ａを介して、WiFi(wireless fidelity)、ＮＦＣ、又はＬＴＥ（Long Term Evolution）等の離無線技術によって、通信端末３等の外部装置と通信を行う。この通信部１１７によっても、メルカトル画像のデータを通信端末３の外部装置に送信することができる。

電子コンパス１１８は、地球の磁気から撮像装置１の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。

<<通信端末>>
次に、図４を用いて、通信端末３のハードウェア構成を説明する。なお、図４は、無線通信機能を有したクレードルの場合の通信端末３のハードウェア構成図である。

図４に示されているように、通信端末３は、通信端末３全体の動作を制御するＣＰＵ３０１、基本入出力プログラムを記憶したＲＯＭ３０２、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)３０４、Wi-fi、ＮＦＣ、ＬＴＥ等でデータ通信する通信部３０５、撮像装置１と有線で通信するためのＵＳＢ I/F３０３、カレンダーや時間情報を保持するＲＴＣ（Real Time Clock）３０６を有している。

また、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン３１０を備えている。

なお、ＲＯＭ３０２には、ＣＰＵ３０１が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。

通信部３０５は、アンテナ３０５ａを利用して無線通信信号により、無線ルータ９ａ等と通信を行う。

図示する他、ＧＰＳ（Global Positioning Systems）衛星又は屋内ＧＰＳとしてのＩＭＥＳ(Indoor MEssaging System）によって通信端末３の位置情報（緯度、経度、及び高度）を含んだＧＰＳ信号を受信するＧＰＳ受信部を備えていてもよい。

<<画像管理装置、情報端末７>>
図５を用いて、画像管理装置５及びノートＰＣの場合の情報端末７のハードウェア構成を説明する。なお、図５は、画像管理装置５及び情報端末７のハードウェア構成図である。画像管理装置５及び情報端末７はともにコンピュータであるため、以下では、画像管理装置５の構成について説明する。情報端末７の構成は画像管理装置５と同様であるとし、相違があるとしても本実施形態の説明に関し支障がないものとする。

画像管理装置５は、画像管理装置５全体の動作を制御するＣＰＵ５０１、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３を有する。また、画像管理装置５用のプログラム等の各種データを記憶するＨＤ５０４、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５を有する。また、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８を有する。ディスプレイ５０８にはタッチパネルが装着されていることが好ましい。また、通信ネットワーク９を利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２を有する。また、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)５１３に対する各種データの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ５１４を有する。また、上記各構成要素を図５に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。

＜画像処理システムの機能について＞
図６は、本実施形態の画像処理システム２００の一部を構成する、撮像装置１、通信端末３、画像管理装置５、及び情報端末７の各機能ブロック図である。

<<撮像装置１の機能構成>>
撮像装置１は、受付部１２、撮像部１３、集音部１４、接続部１５、及び記憶・読出部１９を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮像装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。

また、撮像装置１は、図３に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４の１つ以上によって構築される記憶部１０００を有している。記憶部１０００には撮像装置用のプログラム及び端末ＩＤが記憶されている。

撮像装置１の受付部１２は、主に、図３に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、ユーザ（図２では、設置者Ｘ）からの操作入力を受け付ける。なお、撮像装置１は設置者Ｘによる撮像のための操作がなくても自動的かつ定期的に周囲を撮像する。定期の間隔は、設置者Ｘが撮像装置１に設定してもよいし、閲覧者Ｙが画像管理装置５を介して設定してもよい。

撮像部１３は、主に、図３に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、及びＣＰＵ１１１の処理によって実現され、風景等を撮像し、画像データを作成する。

集音部１４は、主に、図３に示されているマイク１０８及び音処理ユニット１０９、及び、ＣＰＵ１１１の処理によって実現され、撮像装置１の周囲の音を収音する。

接続部１５は、主に、ネットワークＩ／Ｆ１１６及びＣＰＵ１１１の処理によって実現され、通信端末３からの電力供給を受けると共に、通信端末３とデータ通信を行う。

記憶・読出部１９は、主に、図３に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データを記憶したり、記憶部１０００から各種データを読み出したりする。なお、以下では、撮像装置１が記憶部１０００から読み書きする場合でも「記憶・読出部１９を介して」という記載を省略する場合がある。

<<通信端末３の機能構成>>
通信端末３は、送受信部３１、受付部３２、接続部３３、及び記憶・読出部３９を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＲＯＭ３０２からＲＡＭ３０４上に展開された通信端末用のプログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は手段である。

また、通信端末３は、図４に示されているＲＯＭ３０２及びＲＡＭ３０４によって構築される記憶部３０００を有している。記憶部３０００には通信端末用のプログラムが記憶されている。

（通信端末３の各機能構成）
通信端末３の送受信部３１は、主に、図４に示されている通信部３０５及びＣＰＵ３０１の処理によって実現され、無線ルータ９ａ及び通信ネットワーク９を介して、画像管理装置５と各種データの送受信を行う。なお、以下では、通信端末３が画像管理装置５と通信する場合でも、「送受信部３１を介して」という記載を省略する場合がある。

接続部３３は、主に、図４に示されているＵＳＢ I/F３０３、及びＣＰＵ３０１の処理によって実現され、撮像装置１に電力供給すると共に、データ通信を行う。

記憶・読出部３９は、主に、図４に示されているＣＰＵ３０１の処理によって実現され、記憶部３０００に各種データを記憶したり、記憶部３０００から各種データを読み出したりする。なお、以下では、通信端末３が記憶部３０００から読み書きする場合でも「記憶・読出部３９を介して」という記載を省略する場合がある。

<<画像管理装置の機能構成>>
画像管理装置５は、送受信部５１、人物検出部５２、サムネイル作成部５３、画面作成部５４、画像解析部５５、評価部５６、及び記憶・読出部５９を有している。これら各部は、図５に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された画像管理装置用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、画像管理装置５は、図４に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、拠点管理ＤＢ５００１、撮像管理ＤＢ５００２、画像管理ＤＢ５００３、サムネイル管理ＤＢ５００４、解析情報管理ＤＢ５００５、及び、興味度管理ＤＢ５００６が構築されている。以下、各データベースについて説明する。

表１は、拠点管理ＤＢ５００１に記憶される各情報をテーブル状に示す拠点管理テーブルを示す。拠点管理テーブルでは、地域ＩＤ、地域名、拠点ＩＤ、拠点名、拠点レイアウトマップ、及び、装置ＩＤの各フィールドが関連付けて記憶されている。また、拠点管理テーブルの１つの行をレコードという場合がある。以下の各テーブルでも同様である。このうち、地域ＩＤは、地域を識別するための識別情報である。地域ＩＤの一例としては重複しない番号とアルファベットの組み合わせが挙げられる。

地域名は、例えば、関東、東京、渋谷区、ニューヨーク州、ニューヨーク市等、土地の区域又は範囲を示す。地域名称と言ってもよい。なお、識別情報とは、複数の対象からある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち２つ以上の組み合わせをいう。以下のＩＤ又は識別情報についても同じである。

拠点ＩＤは、拠点を識別するための識別情報の一例である。拠点ＩＤは拠点名に対し重複しないように付与される。拠点固有情報と称してもよい。拠点ＩＤの一例としては重複しない番号とアルファベットの組み合わせが挙げられる。拠点とは撮像装置１が設置され周囲を撮像するよりどころとなる所を言う。拠点の一例が店舗である。

拠点名は、渋谷店等の店舗名や、渋谷会場等の会場名等であり、拠点の名称である。拠点レイアウトマップには、各拠点のレイアウトや地図を示す画像データなどのファイル名が登録される。拠点レイアウトマップにより拠点における撮像装置１や取扱商品などの位置が２次元座標で特定される。

端末ＩＤは、撮像装置１を識別するための識別情報である。端末固有情報と称してもよい。端末ＩＤは、例えば、撮像装置１の例えばシリアル番号、製造番号、型番と重複しない数値、ＩＰアドレス、又は、ＭＡＣアドレスなどであるがこれらには限定されない。表１に示すように、１つの拠点には１つ以上の撮像装置（端末ＩＤ）が設置されており、それらの位置が拠点レイアウトマップに登録されている。

拠点管理テーブルは、設置者Ｘ又は閲覧者Ｙが登録してもよいし、画像処理システム２００のサプライヤーが登録してもよい。

表２は、撮像管理ＤＢ５００２に記憶される各情報をテーブル状に示す撮像管理テーブルである。撮像管理テーブルでは、拠点ＩＤごとに、撮像タイトル、撮像開始日時、及び撮像終了日時の各フィールドが関連付けて記憶されている。撮像タイトルは、閲覧者Ｙが入力したイベントのタイトルである。つまり、閲覧者Ｙが消費者の行動を監視したい何らかのイベントが店舗で催される場合に、このイベントの名称が撮像タイトルとなる。当然ながら、イベントの名称は閲覧者Ｙが任意に付与できるためイベントの名称でなくてもよい。例えば、単に撮像年月日とすることもできる。閲覧者Ｙは、画像データの複数のファイルから所望の画像データを抽出する際に、撮像タイトルを参照することができる。なお、１回の撮像イベントで複数の画像データが時系列に（定期的に）撮像される。撮像開始日時は、閲覧者Ｙによって入力された日時であり、撮像装置１が撮像を開始する（又は開始した）日時を示す。撮像終了日時は、閲覧者Ｙによって入力された日時であり、撮像装置１が撮像を終了する（又は終了した）日時を示す。閲覧者Ｙは撮像開始日時と撮像終了日時を事前に登録しておくこともできる（予約撮像）。撮像管理テーブルは、主に画像管理装置５が登録する。

表３は、画像管理ＤＢ５００３に記憶される各情報をテーブル状に示す画像管理テーブルである。画像管理テーブルでは、端末ＩＤごとに、画像ＩＤ、画像データのファイル名、及び撮像日時が関連付けて記憶されている。画像ＩＤは、画像データを一意に識別するための識別情報の一例である。画像固有情報と称してもよい。画像データのファイル名は、画像ＩＤで特定される画像データのファイル名である。撮像日時は画像データが端末ＩＤで示される撮像装置１で撮像された日時である。画像データも、記憶部５０００に記憶されている。

例えば、情報端末７で画像管理装置５にアクセスし、表２の撮像管理テーブルから拠点名と撮像タイトルを選ぶ。画像管理装置５は拠点ＩＤに対応付けられている端末ＩＤを表１の拠点管理テーブルから読み出すことができる。端末ＩＤが明らかになるので、画像管理テーブルの端末ＩＤに対応付けられた画像データのうち撮像日時が撮像開始日時から撮像終了日時に含まれる画像データを画像管理装置５が特定できる。

当然ながら、閲覧者Ｙは端末ＩＤや拠点ＩＤを直接指定することもできる。本実施形態では、簡単のため閲覧者Ｙが端末ＩＤを指定して閲覧する態様を主に説明する。なお、画像管理テーブルは、主に画像管理装置５が登録する。

表４は、サムネイル管理ＤＢ５００４に記憶される各情報をテーブル状に示すサムネイル管理テーブルである。サムネイルとは親指程度のという意味であり、サムネイル画像は縮小した、画素数を低減した又は一覧用のイメージデータという意味になる。

サムネイル管理テーブルでは、画像ＩＤごとに、サムネイルＩＤ、サムネイル画像のファイル名、及び所定領域情報が関連付けて記憶されている。サムネイルＩＤは、画像ＩＤで示される画像データに基づいて作成されたサムネイル画像を一意に識別するための識別情報の一例である。サムネイル固有情報と称してもよい。サムネイル画像のファイル名は、サムネイルＩＤで示されるサムネイル画像のファイル名である。サムネイル画像のファイル名は画像管理装置５が付与する。所定領域情報は、画像ＩＤで示される画像データにおいて、サムネイル画像が作成された所定領域を示す。サムネイル管理テーブルは、主に画像管理装置５が登録する。

表５は、解析情報管理ＤＢ５００５に記憶される各情報をテーブル状に示す解析情報テーブルである。解析情報テーブルでは、画像ＩＤごとに、領域ＩＤ、領域範囲、アクション及び方向が関連付けて記憶されている。画像ＩＤについては上記のとおりである。領域ＩＤ、範囲、アクション、及び、方向について詳細は後述される。まず、領域は、全天球画像の解析により来客者（人）が検出された来客者の外接矩形である。領域ＩＤは、領域を一意に識別するための識別情報の一例である。領域番号や領域固有情報と称してもよい。例えば、画像ごとに１から始まる連番がarea_ｎの"ｎ"に設定される。

領域範囲は領域を特定するための情報である。来客者が検出される領域は矩形であるものとして、例えば、左上頂点の座標（x,y）と幅（width）と高さ（height）が領域範囲となる。対角の２点の座標で領域が特定されてもよい。なお、領域範囲は、全天球に画像が貼り付けられる前の平面の状態の平面画像の座標系に基づいて決定されている。補足すると、撮像装置１は当初、平面画像を出力するが、閲覧時には全天球に平面画像が貼り付けられ全天球画像が作成されている。アクションは、領域で検出された来客者の動作内容であり、表８に示す番号に置き換えられている。方向は、アクションの方向（動作の方向）を示す。

表６は、興味度管理ＤＢ５００６に記憶される各情報をテーブル状に示す興味度管理テーブルである。興味度管理テーブルでは、来客者のアクションごとにアクションがどの程度の興味の強さを意味するかが登録されている。この興味の強さが興味度である。したがって、画像管理装置５はアクションから興味度を決定できる。なお、来客者のアクションとは商品に対し来客者が示した行動、動作又は反応等を示す。アクションには単に通り過ぎたことが含まれる。

（画像管理装置の各機能構成）
画像管理装置５の送受信部５１は、主に、図５に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク９を介して通信端末３、又は情報端末７と各種データの送受信を行う。なお、以下では、画像管理装置５が情報端末７と通信する場合でも、「送受信部５１を介して」という記載を省略する場合がある。

人物検出部５２は、主に、図５に示されているＣＰＵ５０１の処理によって実現され、画像データから人を検出する。この人の検出は適切な特徴量の設定と、学習識別装置の設定により行われる。例えば、特徴量としては、Haar-like特徴、LBP(Local Binary Patterns)特徴、HOG(Histogram of Oriented Gradients)特徴などが知られている。また、学習識別装置としては、ＳＶＭ(Support Vector Machines)、AdaBoostを用いたカスケード分類などが知られている。ただし、これらに限られるものではなく人を検出できればよい。

サムネイル作成部５３は、主に、図５に示されているＣＰＵ５０１の処理によって実現され、所定領域画像のサムネイル画像を作成する。

画面作成部５４は、画像データを情報端末７に送信する際に、ＨＴＭＬデータ、JavaScript（登録商標）及びＣＳＳなどで情報端末７が画像データを表示するための画面情報を作成する。

画像解析部５５は、主に、図５に示されているＣＰＵ５０１の処理によって実現され、来客者が検出された領域に対し来客者のアクションを判断する画像処理を行う。動作そのものを画像から判断することは困難であるため姿勢形状とのマッチングによりアクションを判断する。すなわち、画像処理システムの運営者などが代表的な姿勢を登録しておき、画像解析部５５が検出された人の形状とマッチングを行う。アクションとして代表的な姿勢（上記した、進行方向を向いて歩いている、進行方向を向かないで歩いている、歩いていない、商品に手を伸ばす、商品を身体に当てるなど）を例えばＳＶＭに学習させる。来客者の動作と姿勢の間には相関があるので、姿勢を個別に学習する。好ましくは、ＳＶＭは移動状態と静止状態で別々に姿勢を学習する。これにより１つのＳＶＭが学習する姿勢の数が減少するので、ＳＶＭの姿勢認識精度が向上する。なお、移動状態か静止状態かは、全天球画像が動画であれば来客者が移動するかどうかにより判断してもよいし、画像が変化したことにより判別してもよいし、脚部の開きの大きさをパターンマッチング等により判別してもよい。姿勢を判断する際にアクションの方向も判断される。なお、姿勢の判断については非特許文献１を参照されたい。

評価部５６は、主に、図５に示されているＣＰＵ５０１の処理によって実現され、決定されたアクションを、興味度管理ＤＢ５００６に基づいて興味度に変換する。また、評価部５６は、時系列の複数の画像データについて、アクションの方向から後述する商品ゾーンを特定し、商品ゾーンごとに同じアクション（興味度）が与えられた回数をカウントする。

記憶・読出部５９は、主に、図５に示されているＨＤＤ５０５、及びＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データを記憶したり、記憶部５０００から各種データを読み出したりする。なお、以下では、画像管理装置５が記憶部５０００から読み書きする場合でも「記憶・読出部５９を介して」という記載を省略する場合がある。

＜情報端末７の機能構成＞
情報端末７は、送受信部７１、受付部７２、表示制御部７３、及び、記憶・読出部７９を有している。これら各部は、図５に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された情報端末７用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、情報端末７は、図５に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部７０００を有している。記憶部７０００には情報端末７用のプログラムが記憶されている。情報端末７用のプログラムは、例えばブラウザソフトウェアであるが、ブラウザソフトウェアのような通信機能を備えたアプリケーションソフトウェアでもよい。

（情報端末７の各機能構成）
情報端末７の送受信部７１は、主に、図５に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク９を介して画像管理装置５と各種データの送受信を行う。なお、以下では、情報端末７が画像管理装置５と通信する場合でも、「送受信部７１を介して」という記載を省略する場合がある。

受付部７２は、主に、図５に示されているキーボード５１１及びマウス５１２、並びにＣＰＵ５０１の処理によって実現され、ユーザ（図２では、閲覧者Ｙ）からの操作入力を受け付ける。

表示制御部７３は、主に、図５に示されているＣＰＵ５０１の処理によって実現され、画像管理装置５から送信された画面情報を解釈して情報端末７のディスプレイ５０８に各種画面を表示させるための制御を行なう。

記憶・読出部７９は、主に、図５に示されているＨＤ５０４、及びＣＰＵ５０１の処理によって実現され、記憶部７０００に各種データを記憶したり、記憶部７０００から各種データを読み出したりする。なお、以下では、情報端末７が記憶部７０００から読み書きする場合でも「記憶・読出部７９を介して」という記載を省略する場合がある。

＜人の検出とアクションの判断例＞
画像管理装置５が来客者の商品に対する興味の度合いを判断するには、画像管理装置５が人を検出することが必要になる。人物検出部５２は画像処理にて人を検出し、検出した領域を画像内の座標として解析情報管理ＤＢ５００５に登録し、画像解析部５５は領域からアクションを判断する。

図７は、人が検出された領域６０２を模式的に示す図の一例である。図７（ａ）では、５つの領域６０２が検出されている。図７（ａ）の平面画像は例えば全天球に貼り付けられる前のメルカトル図法により作成された画像である。天井部は歪んでいる可能性があるが天井には人がいないため不都合は少ない。また、全天球画像のうち足下に近い部分も歪んでいる可能性があるが床に近い所定範囲（閾値となる緯度以下）では人検出を行わなければよい。あるいは、全天球画像に変換された状態で人を検出したりアクションを判断したりしてもよい。

画像解析部５５は、人が検出された領域６０２に対し来客者が行うアクションを判断する。その結果、図７（ｂ）のように各領域６０２は、判断されたアクション６０３とそのアクションの方向を持つ。

例えば、歩いている場合に顔向きが正面方向か横向きかをパターンマッチングにより判断できる。アクション０の場合、方向はない。顔向きが商品の向きの場合、アクション１と判断されるが、この場合は顔の向きがアクションの方向である。また、立ち止まっていると判断され、パターンマッチングにより手を伸ばしたと判断されると、アクション３と判断されるが、この場合の方向は来客者が伸ばした手の方向である。

パターンマッチングにより商品を身体に当てたと判断されるとアクション４と判断されるが、この場合、過去の画像データから来客者が商品を取った棚の方向が判断される。パターンマッチングにより商品を身体に当てたと判断されるとアクション５と判断されるが、この場合、過去の画像データから来客者が商品を取った棚の方向が判断される。

なお、アクションの内容は０〜５の6個に限られず、より多くの種類のアクションを判断してもよい。また、方向は平面画像の所定方向（例えばｘ方向、ｙ方向）を０度にして時計回り又は反時計回りに３６０度の値を取る。画像解析部５５はその矩形データとアクションの判断結果を解析情報管理ＤＢ５００５に登録する。

図７（ｃ）は、撮像装置１により撮像された画像の一例を示す。二人の来客者が人として検出され、それぞれの領域６０２が図示されている。このような画像は、情報端末７が画像管理装置５から取得することができる。

＜アクションの判断手順＞
図８は、画像解析部５５がアクションを判断する手順を示すフローチャート図の一例である。図８の処理は、画像データへの人の検出処理が行われるとスタートする。あるいは、閲覧者Ｙが画像管理装置５に処理を要求する。

画像解析部５５は画像管理ＤＢ５００３を参照して例えば一連の画像データを取得する（Ｓ１０）。一連の画像データは、例えば、同じ撮像装置１が撮像したある期間の画像データである。

次に、画像解析部５５は、順番に画像データを１つずつ読み出す（Ｓ２０）。

そして、画像解析部５５は、画像データに人が検出された領域６０２があるか否かを判断する（Ｓ３０）。

ステップＳ３０の判断がＮｏの場合、処理はステップＳ１７０に進む。ステップＳ３０の判断がＹｅｓの場合、画像解析部５５は姿勢を推定する（Ｓ４０）。姿勢の推定により顔向きも推定される。

まず、姿勢に基づいて歩いているか否かを判断する（Ｓ５０）。ステップＳ４０の判断がＹｅｓの場合、画像解析部５５は顔が進行方向を向いているか否かを判断する（Ｓ６０）。

ステップＳ６０の判断がＹｅｓの場合、画像解析部５５は商品を見ずに通り過ぎたというアクションを来客者が行ったと判断する（Ｓ７０）。

ステップＳ６０の判断がＮｏの場合、画像解析部５５は商品を歩きながら見たというアクションを来客者が行ったと判断する（Ｓ８０）。

次に、ステップＳ５０の判断がＮｏの場合、来客者は立ち止まっているので、画像解析部５５は手を伸ばしているか否かを判断する（Ｓ９０）。

ステップＳ９０の判断がＹｅｓの場合、画像解析部５５は来客者が商品に手を伸ばしていると判断する（Ｓ１００）。

ステップＳ９０の判断がＮｏの場合、画像解析部５５は来客者が商品を持っているか否かを判断する（Ｓ１１０）。

ステップＳ１１０の判断がＮｏの場合、画像解析部５５は来客者が商品を立ち止まって見ているというアクションを行ったと判断する（Ｓ１２０）。

ステップＳ１１０の判断がＹｅｓの場合、画像解析部５５は来客者が商品をかごに入れた（又は持っていった）、体に当てた、又は、棚に戻したかどうかを判断する（Ｓ１３０）。

この結果、画像解析部５５は来客者が商品をかごに入れたというアクションを行ったと判断するか（Ｓ１４０）、来客者が商品を体に当てたというアクションを行ったと判断するか（Ｓ１５０）、又は、来客者が商品を棚に返したと判断する（Ｓ１６０）。

次に、処理はステップＳ３０に戻り、ステップＳ３０でＮｏと判断されると、画像解析部５５は次の画像データがあるか否かを判断する（Ｓ１７０）。画像データがある場合、処理はステップＳ２０に戻り、次の画像データがない場合、図８の処理は終了する。

このように姿勢から種々のアクションを判断できる。種々のアクションを判断できれば興味度を多段階に判断できる。

＜商品ゾーンごとの集計＞
人が検出された領域６０２についてアクションと方向が分かっているのでこれらを利用して、「各商品ゾーンに対するアクションの分布」を作成できる。商品ゾーンとは同じ種類の商品や関連した商品が集まっている店舗内の場所である。具体的には１つ以上の棚の集合であったり、商品が密接して配置されたりしている場所である。

図９は商品ゾーン６１０ごとの集計を模式的に説明する図の一例である。商品ゾーン６１０の形状は不定形であるが、多角形でもよい。閲覧者Ｙは集計したい商品ゾーン６１０を予め定義しておく。図９では２つの商品ゾーン６１０Ａ，Ｂが図示されている。人が検出される領域６０２は、商品ゾーン６１０に隣接していたり、重なっていたりする。来客者は商品ゾーン６１０に対し何らかのアクションを取ることが多いと考えられる。したがって、商品ゾーン６１０を向いている領域６０２のアクションを、商品ゾーン６１０に対して行われたものとみなし評価部５６が集計する。

図９の領域６０２Ａ〜６０２Ｃはそれぞれ商品ゾーン６１０Ａと隣接している。隣接しているとは商品ゾーン６１０の中心と領域６０２の中心が所定距離内であることをいう。この距離は画像上のピクセル数でよい。また、領域６０２Ａ〜６０２Ｃで行われたアクションは、商品ゾーン６１０Ａを向いている。商品ゾーン６１０を向いているとは、アクションの方向を延長すると延長線上に商品ゾーン６１０があることをいう。例えば、商品ゾーンの外縁をいくつかの点の集合として表しておき、アクションの方向の延長線がこの点から所定距離内を通過する場合に延長線上に商品ゾーン６１０があると判断できる。あるいは、簡略化して商品ゾーンの外接矩形と延長線が交差する場合に、延長線上に商品ゾーン６１０があると判断してもよい。

よって領域６０２Ａ〜６０２Ｃのアクションは、商品ゾーン６１０Ａに対して行われたとみなして評価部５６が集計する。一方、領域６０２Ｄは、商品ゾーン６１０Ａだけでなく商品ゾーン６１０Ｂと隣接している（又は重複領域を持っている）。しかし、アクションの方向が商品ゾーン６１０Ｂを向いている（アクションの方向に延長すると、商品ゾーン６１０Ｂに到達する）ため、商品ゾーン６１０Ｂへのアクションとして集計する。

また領域６０２Ｅは商品ゾーン６１０Ａと重複しているが、アクションの方向が商品ゾーン６１０Ａを向いていないため、商品ゾーン６１０Ａへのアクションとして集計しない。

評価部５６はこれらの処理をすべての領域６０２に対して行い、領域６０２と商品ゾーン６１０を対応づける。商品ゾーン６１０Ａ，６１０Ｂは以下のように領域６０２とそのアクションと対応付けられる。

商品ゾーン６１０Ａ：アクション４×１、アクション２×２
商品ゾーン６１０Ｂ：アクション３×１

表７は、解析情報管理ＤＢ５００５に記憶される各情報をテーブル状に示す解析情報テーブルである。なお、表７の説明では、表５との相違を主に説明する。表７の解析情報テーブルには、対象ゾーンの座標のフィールドが追加されている。対象ゾーンの座標のフィールドは、商品ゾーン６１０を特定する情報が登録されている。したがって、各領域６０２のアクションが向いている方向の商品ゾーン６１０と領域６０２が対応付けられる。商品ゾーン６１０を特定する情報は、対象ゾーンの外縁の点を示す座標の集合、又は、外接矩形を生成した場合の左上頂点の座標（x,y）と幅（width）と高さ（height）などである。

更に、評価部５６は、商品ゾーン６１０ごとにアクションの数を集計することにより、表８に示すように、各商品ゾーン６１０に対する各アクションの分布テーブルが得られる。表８では、ある集計期間の間、各商品ゾーン６１０において、アクション０〜５が判断された回数が示されている。したがって、商品ゾーン６１０ごとに各アクションの頻度が分かり、店舗内で見ればアクションの分布が得られることになる。

＜商品ゾーンの判断＞
図１０は、領域６０２に関する商品ゾーン６１０を判断する手順を示すフローチャート図の一例である。図１０の処理は、アクションの判断が終わるとスタートする。あるいは、閲覧者Ｙが画像管理装置５に処理を要求する。

評価部５６は画像管理ＤＢ５００３を参照して例えば一連の画像データを取得する（Ｓ１０）。一連の画像データは、例えば、同じ撮像装置１が撮像したある期間の画像データである。

次に、評価部５６は、順番に画像データを１つずつ読み出す（Ｓ２０）。

そして、評価部５６は、画像データに人が検出された領域６０２があるか否かを判断する（Ｓ３０）。

ステップＳ３０の判断がＹｅｓの場合、評価部５６は、人が検出された領域６０２に隣接又は重複する商品ゾーン６１０があるか否かを判断する（Ｓ４０）。この判断は、商品ゾーン６１０の中心と領域６０２の中心が所定距離内であるかどうかを判断すればよい。

ステップＳ４０の判断がＮｏの場合、処理はステップＳ３０に戻る。ステップＳ４０の判断がＹｅｓの場合、評価部５６は領域６０２で判断されたアクションが方向を持っているか否かを判断する（Ｓ５０）。これはアクションの番号を判断すればよい。アクション０以外は方向を持っている。

ステップＳ５０の判断がＮｏの場合、評価部５６は隣接する全ての商品ゾーン６１０へのアクションであるとして判断し、アクションの数を１つ大きくする（Ｓ６０）。これにより、方向が不明の場合も領域６０２を集計することができる。

ステップＳ５０の判断がＹｅｓの場合、評価部５６はアクションの方向の延長線上に隣接する商品ゾーン６１０があるか否かを判断する（Ｓ７０）。

ステップＳ７０の判断がＮｏの場合、処理はステップＳ３０に戻る。ステップＳ７０の判断がＹｅｓの場合、評価部５６はアクションの方向の延長線上にある商品ゾーン６１０のアクションの数を１つ大きくする（Ｓ８０）。

ステップＳ３０の判断がＮｏの場合、評価部５６は次の画像があるか否かを判断する（Ｓ９０）。

ステップＳ９０の判断がＹｅｓの場合、処理はステップＳ２０に戻り、ステップＳ９０の判断がＮｏの場合、図１０の処理は終了する。

以上説明したように本実施例の画像処理システム２００では、来客者の商品に対する興味の程度を多段階に評価できる。また、アクションの方向に基づいて商品ゾーン６１０を判断し、商品ゾーン６１０に対し行われた興味（アクション）の数をカウントできるので、ある商品ゾーン６１０ごとにどのような興味が多いかを定量化できる。したがって、商品ゾーン６１０に対するアクション（興味）の内容を閲覧者Ｙなどが分析できるようになる。

本実施例では、商品ゾーン６１０が予め決まっていない場合に商品ゾーン６１０を決定する画像処理システム２００について説明する。なお、画像処理システム２００の機能については実施例１と同様であるか、違いがあっても本実施例の説明には支障がないものとする。

実施例１では商品ゾーン６１０が予め定義されていたが、予め定義されていなくても人が検出された領域６０２に基づいて画像管理装置５が商品ゾーン６１０を定義することができる。アクションの方向が商品ゾーン６１０であると推定してよいためである。したがって、画像管理装置５は領域６０２と領域６０２が持つアクションの方向から商品ゾーン６１０を推定又は特定できる。

図１１は、商品ゾーン６１０の定義方法を模式的に示す図である。まず、人物検出部５２が人を検出することで領域６０２Ａ〜６０２Ｆが検出されている。画像解析部５５は領域６０２Ａ〜６０２Ｆのアクションを判断しており、方向が分かっている。アクションの方向に商品ゾーン６１０がある場合が多いと考えてよいため、評価部５６はアクションの方向に領域６０２のサイズに応じた大きさの商品ゾーン６１０を定義する。

図１１では、各領域６０２の短辺（幅）と同じ長さの辺を持った正方形を商品ゾーン６１０として図示している。評価部５６は、アクションの方向を示す直線と領域６０２から短辺（幅）の半分だけ離れた垂直線又は水平線の交点を正方形の中心に決定する。すなわち、アクションの方向を示す直線が領域６０２の上辺と交差する場合、領域６０２の上辺から短辺（幅）の半分だけ離れた上辺と平行な水平線との交点が求められる。アクションの方向を示す直線が領域６０２の下辺と交差する場合、領域６０２の下辺から短辺（幅）の半分だけ離れた下辺と平行な水平線との交点が求められる。アクションの方向を示す直線が領域６０２の右辺と交差する場合、領域６０２の右辺から短辺（幅）の半分だけ離れた右辺と平行な垂直線との交点が求められる。アクションの方向を示す直線が領域６０２の左辺と交差する場合、領域６０２の左辺から短辺（幅）の半分だけ離れた左辺と平行な垂直線との交点が求められる。

この正方形の中心から上下左右に短辺（幅）の半分はなれた直線で囲まれる矩形が求める正方形である。商品ゾーン６１０を領域６０２の短辺（幅）と同じ長さの辺を持った正方形としたので、商品ゾーン６１０に領域６０２のサイズを反映させることができる。なお、領域６０２の長辺（高さ）と同じ長さの辺を持つ正方形や、領域６０２と同じ幅と高さを持つ長方形を商品ゾーン６１０として定義してもよい。また、商品ゾーン６１０は正方形や長方形などの矩形の他、円や楕円などでもよい。この場合も、円の直径や楕円の長軸又は短軸に領域６０２のサイズが反映されることが好ましい。

例外として、領域６０２Ｆのようにアクションが方向を持たない場合がある。この場合、領域６０２Ｆの来客者がどの方向に対しアクションしているのか不明なので、評価部５６は商品ゾーン６１０を定義しない。また、前後の画像データではアクションが検出されている可能性もある。ただし、周辺の全ての方向にアクションを行い得ると推定して、領域６０２Ｆの周囲の任意の方向又は全方向に商品ゾーン６１０を設定してもよい。

図１１では、領域６０２Ａに対し商品ゾーン６１０Ａ、領域６０２Ｂに対し商品ゾーン６１０Ｂ、領域６０２Ｃに対し商品ゾーン６１０Ｃ、領域６０２Ｄに対し商品ゾーン６１０Ｄ、領域６０２Ｅに対し商品ゾーン６１０Ｅ、がそれぞれ定義されている。領域６０２Ｆに対しては商品ゾーンが定義されない。

図１２は、評価部５６が商品ゾーン６１０を定義する手順を示すフローチャート図の一例である。図１２の処理は、アクションの判断が終わるとスタートする。あるいは、閲覧者Ｙが画像管理装置５に処理を要求する。

評価部５６は画像管理ＤＢ５００３を参照して例えば一連の画像データを取得する（Ｓ１０）。一連の画像データは、例えば、同じ撮像装置１が撮像したある期間の画像データである。

次に、評価部５６は、順番に画像データを１つずつ読み出す（Ｓ２０）。

そして、評価部５６は、画像データに人が検出された領域６０２があるか否かを判断する（Ｓ３０）。

ステップＳ３０の判断がＹｅｓの場合、評価部５６は領域６０２がアクションの方向を持っているか否かを判断する（Ｓ４０）。

ステップＳ４０の判断がＮｏの場合、処理はステップＳ３０に戻る。ステップＳ４０の判断がＹｅｓの場合、評価部５６はアクションの方向であって、領域６０２に隣接する商品ゾーン６１０を定義する（Ｓ５０）。

この後、処理はステップＳ３０に戻り、領域６０２がある間、ステップＳ３０〜Ｓ５０が実行される。

ステップＳ３０の判断がＮｏの場合、評価部５６は次の画像データがあるか否かを判断し（Ｓ６０）、次の画像データがなくなると図１２の処理が終了する。

以上の処理により、領域６０２とアクションの方向から算出される商品ゾーン６１０が定義され、領域６０２に商品ゾーン６１０が対応付けられた解析情報管理ＤＢ５００５が得られる。

表９は、本実施例において解析情報管理ＤＢ５００５に記憶される解析情報テーブルを模式的に示す。表９の説明では、表５との相違を主に説明する。表９の解析情報テーブルには、商品ゾーン６１０の座標のフィールドが追加されている。商品ゾーン６１０の座標は、領域６０２とアクションの方向に基づいて定義された商品ゾーン６１０の左上頂点の座標である。商品ゾーン６１０である正方形の中心の座標でもよい。幅と高さは互いに同じであり、領域６０２の幅と同じである。

このように本実施例の画像処理システムは、商品ゾーン６１０が定義されていなくても領域６０２に基づいて商品ゾーン６１０を定義することができる。商品ゾーン６１０が定義されれば商品ゾーン６１０に対するアクション（興味）の内容を閲覧者Ｙなどが分析できるようになる。

本実施例では実施例１、２で得られた解析情報テーブルの内容を表示する情報端末７について説明する。これにより、来客者の興味の程度をヒートマップなどのような分布表現で表示することが可能になる。閲覧者Ｙは商品に対する興味の度合いを視覚的に把握することができる。

図１３は、本実施例の画像処理システム２００の一部を構成する、撮像装置１、通信端末３、画像管理装置５、及び情報端末７の各機能ブロック図である。また、本実施例において、図６において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。図１３の情報端末７は情報視覚化部７４を有している。情報視覚化部７４は、図５に示されているＣＰＵ５０１の処理によって実現され、解析情報テーブルや分布テーブルを視覚化するための各種の評価を行う。

視覚化は実施例１と実施例２で少し異なっているため、実施例１の場合と実施例２の場合を分けて説明する。

＜実施例１ 商品ゾーンが予め定義されている場合＞
実施例１では表８の分布テーブルが得られていることになる。情報視覚化部７４は閲覧者Ｙの操作に応じてこの分布テーブルのアクションの回数を加工して、表示制御部７３がディスプレイ５０８に表示する。以下では、閲覧者の３つの操作に対する表示例を説明する。

１．操作１
特定のアクション（興味度）を閲覧者Ｙが指定して、情報端末７はその興味度がカウントされた回数を視覚的に表示する。図１４は閲覧者Ｙが指定する興味度を示す図の一例であり、図１５は操作１に対し情報端末７が表示する画面例を示す図の一例である。

１．１ まず、閲覧者Ｙは、着目したい興味度を指定する。図１４（ａ）に示すように、情報端末７が画像データを取得し、閲覧者Ｙがマウスやタッチパネルなどのポインティングデバイスで所定のメニューを押下する。受付部７２はこの操作を受け付けて表示制御部７３が図１４（ｂ）のプルダウンメニューを表示させる。閲覧者Ｙはポインティングデバイスで興味度を選択する。受付部７２はこの操作を受け付けて表示制御部７３が図１４（ｃ）のように、閲覧者Ｙが選択した興味度（図では興味度２）をメニューに表示する。

１．２ 情報視覚化部７４は、分布テーブルにおいて表示中の画像データに対応付けられている１つ以上の商品ゾーン６１０から、受付部７２が受け付けた興味度の回数を取得する。例えば、興味度が２であるとして表８を例にすると１３，１７…Ｎ２ｍの回数が取得される。情報視覚化部７４は、回数の大小を色に変換する。色への変換方法は主に２つある。１つは、いくつかの閾値で区切って２つの閾値に含まれる回数に所定の色に割り当てる方法である。もう１つは、全ての商品ゾーン６１０の回数の合計で各商品ゾーン６１０の回数で除算してパーセンテージを算出し、同様に閾値で区切って回数に色を割り当てる方法である。前者の方法では、絶対的な回数の大小を色で表示することができ、後者の方法ではある画像データにおけるある興味度について各商品ゾーン６１０の相対的な比較が可能になる。

図１５では、画像データに重畳して２つの商品ゾーン６１０が図示されており、それぞれが異なる色で表示されている。図では白黒であるが実際にはカラーで表示される。また、画像データの右端には色ガイド６２０が表示される。色ガイド６２０は色がどのくらいの回数を表すかを示す。したがって、閲覧者Ｙは商品ゾーン６１０の色と色ガイド６２０を比較して、各商品ゾーン６１０に指定した興味度のアクションがどのくらいの回数、カウントされたかを視覚的に把握できる。

また、図１５に示すように、商品ゾーン６１０に回数を重畳して表示してもよい。閲覧者Ｙは回数そのものを把握できる。

なお、商品ゾーン６１０の原点、幅、高さは分布テーブルに登録されているため、表示制御部７３は画像データに商品ゾーン６１０を示す矩形を描画できる。領域６０２を半透明にして描画してもよい。これにより、閲覧者Ｙは色の付された商品ゾーン６１０にどのような商品があるかを把握できる。

２．操作２
商品ゾーン６１０を閲覧者Ｙが指定して、情報端末７はその商品ゾーン６１０で各興味度がカウントされた回数を視覚的に表示する。図１６は操作２に対し情報端末７が表示する画面例を示す図の一例である。

２．１ 閲覧者Ｙは、店舗を撮像した画像データをディスプレイ５０８に表示する。また、閲覧者Ｙは来客者の興味度を知りたい箇所（商品ゾーン）をポインティングデバイス６４０で指定する。受付部７２は閲覧者Ｙが指定した位置の座標を受け付ける。

２．２ 情報視覚化部７４は、受け取った座標を含む又はその座標に最も近い商品ゾーン６１０を分布テーブルから探し出す。

２．３ 情報視覚化部７４は、特定した商品ゾーン６１０に対応する興味度と回数の組を分布テーブルから取得する。表８の例で閲覧者Ｙがx1,y1で指定される商品ゾーン６１０を取得した場合、興味度０：５２、興味度１：２３、興味度２：１３、興味度３：１１、興味度４：７、興味度５：４、という興味度と回数の組が取得される。

２．４ 情報視覚化部７４は、興味度と回数の対応を視覚的に表示する（例えば、ポップアップ表示する）。図１６（ｂ）では棒グラフで各興味度の回数が表示されている。興味度０〜５には予め色が対応付けられている。各興味度の棒グラフにおける高さに回数の違いが反映される。例えば、最も回数が多い興味度の高さがある一定の高さになり、他の興味度のグラフの高さは比例計算で決定される。

また、例えば、各興味度の回数を合計し各回数を除算することでパーセンテージを算出し、相対的な違いをグラフで表示してもよい。図１６（ｂ）では円グラフで各興味度の回数が表示されている。これにより、相対的な違いを閲覧者Ｙが把握しやすくなる。

したがって、操作２によれば、指定された商品ゾーンにおける興味度とその興味度を示した来客者の人数を閲覧者Ｙが視覚的に把握できる。

３．操作３
画像データの全ての商品ゾーン６１０の興味度の差異を一覧表示する。情報端末７は商品ゾーン６１０ごとに興味度と回数の代表値を算出し、視覚的に表示する。図１７は操作３に対し情報端末７が表示する画面例を示す図の一例である。

３．１ 閲覧者Ｙは、画像データの全ての商品ゾーン６１０の興味度の差異を一覧表示する操作を行う。受付部７２がこの操作を受け付け、情報視覚化部７４は、商品ゾーン６１０ごとに、来客者が示した多段階の興味度の人数を反映する代表値を所定の計算式により算出する。

計算式の例としては、興味度ごとに重みを付与し回数を乗じて足し合わせる式がある。例えば、興味度が０〜５があるとすると、興味度０の重みは０、興味度１の重みは１、興味度２の重みは２、興味度３の重みは３、興味度４の重みは４、興味度５の重みは５である。興味度０〜５は興味が強いほど数値が大きくなっている。表８の例では、x1,y1で指定される商品ゾーン６１０について、興味度０×５２、興味度１×２３、興味度２×１３、興味度３×１１、興味度４×７、興味度５×４、が算出される。これらの興味度と回数の積の合計が代表値である。

この他、最も頻度が多い回数の興味度と該回数の積（最頻値）、回数が中央値になる興味度と該回数の積（中間値）、回数の合計を６で除算した平均値、最も多い回数の興味度と該回数の積（最大値）を用いてもよい。あるいは、回数との積を求めずに、回数に基づいて興味度を取り出してもよい。

また、これらの代表値の求め方を情報端末７がディスプレイ５０８に表示して、閲覧者Ｙに選択させてもよい。

３．２ 代表値が算出されたら、情報視覚化部７４は、代表値に応じて商品ゾーン６１０を色に対応させる。色を対応させる方法は、操作１と同様でよい。

３．３ 図１７に示すように、画像データの５つの商品ゾーン６１０が代表値に対応した色で表示される。

したがって、操作３によれば、全ての商品ゾーンについて興味度の差異を閲覧者Ｙは視覚的に把握できる。

＜実施例２ 商品ゾーンが予め定義されていない場合＞
実施例２では表９の解析情報テーブルが得られていることになる。情報視覚化部７４は閲覧者Ｙの操作に応じて解析情報テーブルの商品ゾーン６１０の座標を使用して、表示制御部７３がディスプレイ５０８に商品ゾーン６１０を表示する。以下では、閲覧者の３つの操作に対する表示例を説明する。

４．操作４
特定のアクション（興味度）を閲覧者Ｙが指定して、情報端末７がその興味度に対応する商品ゾーン６１０を視覚的に表示する。図１８は操作４に対し情報端末７が表示する画面例を示す図の一例である。

４．１ 閲覧者Ｙは興味度を選択する。選択方法は操作１で説明した方法と同様でよい。

４．２ 情報視覚化部７４は選択された興味度が対応付けられた商品ゾーン６１０の座標を解析情報テーブルから読み出す。情報視覚化部７４は商品ゾーン６１０に興味度に基づいて決定される色を対応付ける。図１８に示すように、選択された興味度を有する商品ゾーン６１０が画像データに重複して表示される。なお、複数の商品ゾーン６１０が重なっている場合、重なる商品ゾーン６１０が含まれる範囲をひとつの連続した商品ゾーン６１０と見なす。

したがって、操作４によれば、指定された興味度が生じた商品ゾーンを閲覧者Ｙが視覚的に把握できる。

５．操作５
商品ゾーン６１０を閲覧者Ｙが指定して、情報端末７がその商品ゾーン６１０の興味度を視覚的に表示する。図１９は操作５に対し情報端末７が表示する画面例を示す図の一例である。

５．１ 図１９（ａ）に示すように、ユーザは画像データの中で来客者の興味度を知りたい箇所をポインティングデバイスなどで指定する。受付部７２はポインティングデバイス６４０が入力した位置の座標を取得する。

５．２ 閲覧者は取得された座標に最も近い商品ゾーン６１０を解析情報テーブルから探し出す。該当する商品ゾーン６１０が２つ以上、存在する場合、図１９（ｂ）に示すように情報視覚化部７４は、複数の商品ゾーン６１０を閲覧者Ｙに提示し、どれか一つの商品ゾーン６１０を選択させる。図１９（ｃ）に示すように、受付部７２は１つの商品ゾーン６１０の選択を受け付ける。表示制御部７３は必要に応じて画像データを拡大表示（ズーム・イン）する。

５．３ 情報視覚化部７４はこのようにして求めた商品ゾーン６１０に対応する興味度を解析情報テーブルから取得して、興味度によって決まっている色を割り当てる。

５．４ 図１９（ｄ）に示すように、表示制御部７３は商品ゾーン６１０を割り当てられた色で画像データに表示する。

したがって、操作５によれば、指定された商品ゾーンにおける興味度を閲覧者Ｙが視覚的に把握できる。

６．操作６
画像データの全ての商品ゾーン６１０の興味度の差異を一覧表示する。情報端末７は商品ゾーン６１０ごとに興味度を色で示す。商品ゾーン６１０が重なっている領域６０２は、興味度を足し合わせてから色に変換する。図２０は操作６に対し情報端末７が表示する画面例を示す図の一例である。

６．１ 閲覧者Ｙは、画像データの全ての商品ゾーン６１０の興味度の差異を一覧表示する操作を行う。受付部７２がこの操作を受け付ける。

６．２ 情報視覚化部７４は、それぞれの商品ゾーン６１０に対応する興味度を解析情報テーブルから取得する。商品ゾーン６１０が重なっている範囲は、重なりに応じた興味度を算出する。この算出方法は図２１にて説明される。

６．３ 情報視覚化部７４は、興味度を色に当てはめてヒートマップを生成する。ヒートマップの作成方法は図２１にて後述される。

６．４ 図２０に示すように、表示制御部７３は画像データにヒートマップを重畳して表示する。図２０では、同心円状の色の濃度が徐々に変化する（グラデーション）商品ゾーン６１０が表示されている。色が濃いほど商品ゾーン６１０が重なっていることを示す。

したがって、操作６によれば、色の濃さによって来客者が各商品ゾーン６１０にどのくらい興味を示したかを閲覧者Ｙが視覚的に判断できる。

＜ヒートマップの作成＞
図２１を用いてヒートマップの作成方法を説明する。図２１は、ヒートマップの作成に関し重み付けを説明する図の一例である。

商品ゾーン６１０にグラデーションをレンダリングするための重み付け値を情報視覚化部７４が設定する。図２１に示すように、商品ゾーン６１０である矩形の中心点（cx1, cy1）を算出し、この点を中心とし近傍に一定間隔に格子点を設定する。格子点数を一定とするため、間隔は商品ゾーン６１０のサイズに応じた値とする。これにより、商品ゾーン６１０の大きさに応じて描画するグラデーションのサイズに差を生じさせることができる。そして、各格子点に、興味度に応じた値であって、中心を最大値となる重み付け値を設定する。

また、ある商品ゾーン６１０と重なり合う別の商品ゾーン６１０がある場合、各々の中心点の平均の中心点（cxn, cyn ）を算出する。cxn＝cx1+cx2、cyn＝cy1+cy2である。同様に、中心とし近傍に一定間隔に格子点を設定する。そして、平均の中心点が相対的に高値となるように重み付け値を算出する。この時の重み付け値は商品ゾーン６１０が１つの場合よりも大きい。例えば、着目している商品ゾーン６１０と重複する全ての商品ゾーン６１０の数をカウントして、この数と平均の興味度の積に応じた最大値を平均の中心点に設定する。なお、各商品ゾーン６１０は１度しか重複する数にカウントされない。

したがって、興味度が高く重複している商品ゾーンほど、中心点の重み付け値が高値となる。中心点の周りの格子点は、中心点から離れるほど小さくなる重み付けが与えられる。これにより、商品ゾーン６１０をグラデーションで表示でき、商品ゾーン６１０が集まる部分を濃く描画できる。

なお、中心点の周囲に格子点を設定するのでなく、中心点を中心にガウス関数などによりなだらかな色の変化を与えてもよい。

また、ある商品ゾーン６１０と重なり合う別の商品ゾーン６１０がある場合、それぞれの格子点の重み付け値をそのまま合計してもよい。格子点が完全に一致することは少ないので着目している商品ゾーン６１０の格子点と最も近い格子点の重み付け値を合計する。この場合、重み付け値に応じて濃度が高い色が設定される。多くの商品ゾーン６１０が重なるほど格子点の重み付け値が大きくなるので、商品ゾーン６１０が多くある場所を濃く表示できる。

実施例１〜３で説明した画像処理システム２００が例えば小売店に配置された場合を想定する。撮像装置１は定期的に周囲を撮像しているがスタッフが店内で何らかの注目すべき事象に気づく場合がある。例えば、来客者同士のトラブル、特異な行動をする客、病人発生、商品の散乱、施設の損壊、などがある。これらの事象は撮像装置１により撮像されているが、こういった事象は閲覧者Ｙも把握しておくべきことである。このため、スタッフがこういった事象に遭遇した場合、「今、起こったこと」を後から閲覧者Ｙが画像で確認したい場合が少なくない。

閲覧者Ｙが後から画像を確認するためには、事象に気づいた時刻や場所などを記憶しておくかメモしておくこと等が必要である。しかし、このような作業は忙しいスタッフにとって面倒である。そこで、スタッフ等が撮像を継続している撮像装置１の画像データに事象が起こった旨を記録することが考えられる。例えば、ある時間範囲の画像データに事象が起こった旨を記録しておけば、後から事象が起きた頃の画像を容易に探し出せる。

しかし、事象が起こった旨を記録する権限があるのは撮像装置１の操作権限を持つ者（一般には店舗の店長や本社のマネージャ等。本実施例では閲覧者Ｙ。）のみに限られ、店舗で実際に事象に遭遇する機会が最も多い一般のスタッフはそもそも撮像装置１の操作権限がない。スタッフにこのような権限が与えられていれば、スタッフ又は閲覧者Ｙが画像の閲覧時に画像データに事象が起こった旨を記録することはできるが、リアルタイムに事象が起こった旨を記録することは困難であった。

そこで、本実施例では、撮像装置１の撮像中に注目すべき事象が発生した場合、スタッフが画像管理装置５に通知することで、事象が写った特定の画像データに画像管理装置５が、事象が起こった旨を記録する。このような構成にすれば、スタッフはリアルタイムに事象が起こった旨を画像データに記録できる。したがって、閲覧者Ｙは後から記録を検索するなどして、事象が写っている画像データに速やかにアクセスできる。

＜システム構成について＞
図２２は、画像処理システム２００の概略構成図の一例である。なお、図２２の説明では、図２において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。

図２２にはスタッフが操作するスタッフ端末４が記載されている。スタッフＺは、店舗の職員、従業員、部員、社員、アルバイト、パートなどである。スタッフＺに閲覧者Ｙや設置者Ｘが含まれてよい。スタッフ端末４は、可搬性が高い情報処理装置であり、例えば、スマートフォン、タブレット端末、ノートＰＣ、ウェアラブルＰＣ、ゲーム機、携帯電話、ＰＤＡなどであるが、これらに限られるものではない。また、可搬性が高い必要はなく据え置き型の情報処理装置をスタッフＺが使用してもよい。

スタッフ端末４では、スタッフ端末４用のプログラムが動作している。スタッフ端末４用のプログラムは、例えばブラウザソフトウェアや画像処理システム２００に専用のアプリケーションソフトウェアである。専用のアプリケーションソフトウェアは画像管理装置５のＩＰアドレス等を保持しており画像管理装置５と通信する。また、ブラウザソフトウェアの場合、スタッフＺの操作によりスタッフ端末４が画像管理装置５と通信する。

スタッフ端末４は、ユーザの操作を受け付けて事象記録要求を画像管理装置５に送信する。事象記録要求とは、事象が起こった旨の記録の要求である。詳細は後述される。

図２３は、スタッフ端末４のハードウェア構成図の一例を示す。スタッフ端末４は、スタッフ端末４の全体の動作を制御するＣＰＵ４０１、ＩＰＬ(Initial Program Loader)等のプログラムを記憶したＲＯＭ４０２、ＣＰＵ４０１のワークエリアとして使用されるＲＡＭ４０３を有する。また、スタッフ端末４用のプログラム４３０や画像データ等の各種データを記憶するフラッシュメモリ４０４、ＣＰＵ４０１の制御にしたがってフラッシュメモリ４０４に対する各種データの読み出し又は書き込みを制御するＳＳＤ（Solid State Drive）４０５を有する。また、フラッシュメモリ等の記録メディア４０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ４０７、スタッフ端末４に対する各種操作を受け付ける操作ボタン４０８、スタッフ端末４の電源のＯＮ／ＯＦＦを切り換えるための電源スイッチ４０９、通信ネットワークを利用して無線又は有線でデータ伝送をするためのネットワークＩ／Ｆ(Interface)４１７を有する。

また、スタッフ端末４は、ＣＰＵ４０１の制御にしたがって被写体を撮像して画像データを取得する内蔵型のカメラ４１２、このカメラ４１２の駆動を制御する撮像素子Ｉ／Ｆ４１３、音声を入力する内蔵型のマイク４１４、音声を出力する内蔵型のスピーカ４１５を有する。また、ＣＰＵ４０１の制御にしたがってマイク４１４及びスピーカ４１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ４１６、ＣＰＵ４０１の制御にしたがってディスプレイ４５０に画像データを伝送するディスプレイＩ／Ｆ４１７、各種の外部機器を接続するための外部機器接続Ｉ／Ｆ４１８を有する。また、ＧＰＳの衛星からの電波を受信して位置を検出するＧＰＳ受信装置４１９、スタッフ端末４に生じる加速度を検出する加速度センサ４２０、携帯電話網を介して音声通信・データ通信を行うＬＴＥ通信部４２１、及び、上記各構成要素を図２に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン４２２を有する。

ディスプレイ４５０は、液晶や有機ＥＬによって構成され、ユーザが操作するメニュー、撮像した映像、メッセージなどを表示する表示領域である。ディスプレイＩ／Ｆ４１７は、ディスプレイ４５０のタッチパネル機能に対応している。

カメラ４１２は、レンズや、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含み、固体撮像素子として、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)や、ＣＣＤ（Charge Coupled Device）等が用いられる。

外部機器接続Ｉ／Ｆ４１８には、ＵＳＢ(Universal Serial Bus)ケーブル等によって、各種の外部デバイスを装着可能である。例えば、Bluetooth（登録商標）などの近距離無線通信装置を接続できる。

また、フラッシュメモリ４０４にはスタッフ端末４用のプログラム４３０が記憶されている。スタッフ端末４用のプログラム４３０はネットワークＩ／Ｆ４１１によりプログラム配信用のサーバからダウンロードされる。

なお、記録メディア４０６は、スタッフ端末４に対して着脱自在な構成となっている。また、上記のプログラム４３０は、記録メディア４０６に記録された状態で配布される場合がある。

＜機能について＞
図２４は、本実施例の画像処理システム２００の一部を構成する、画像管理装置５、情報端末７及びスタッフ端末４の各機能ブロック図である。なお、撮像装置１と通信端末３については省略した。本実施例において、図１３において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。

図２４の画像管理装置５は事象記録部５７を有している。事象記録部５７は、図５に示されているＣＰＵ５０１の処理によって実現され、スタッフ端末４からの事象記録要求を受信すると画像管理テーブルに事象フラグを設定する。

表１０は、本実施例の画像管理ＤＢ５００３に記憶される画像管理テーブルを示す。表１０の画像管理テーブルでは、新たに事象フラグのフィールドを有している。事象フラグにはＯＮ又はＯＦＦ（ＯＦＦの場合は何も記録されなくてよい）が設定される。ＯＮの場合には、更にスタッフＩＤとカテゴリＩＤが設定される。スタッフＩＤはスタッフＺを特定する機能を有する情報であり、スタッフ特定情報と称してもよい。また、カテゴリＩＤは後述する事象のカテゴリを特定する機能を有する情報であり、事象分類情報と称してもよい。

例えば、画像ＩＤがP0001の事象フラグには「ＯＮ：Ｓ００１，Ｃ００１」と設定されているので、スタッフＩＤがＳ００１のスタッフＺが、カテゴリＩＤがＣ００１の事象フラグを設定したことが示されている。なお、１つの画像データに複数のスタッフＺが事象フラグを設定できる。

<<スタッフ端末４の機能について>>
スタッフ端末４は、図示するように送受信部４１、受付部４２、表示制御部４３、事象記録要求部４４、及び、記憶・読出部４９を有する。これら各部は、図２３に示されている各構成要素のいずれかが、フラッシュメモリ４０４からＲＡＭ４０３上に展開されたスタッフ端末４用のプログラムに従ったＣＰＵ４０１からの命令によって動作することで実現される機能又は手段である。

また、スタッフ端末４は、図２３に示されているＲＯＭ４０２、ＲＡＭ４０３、及びフラッシュメモリ４０４の１つ以上によって構築される記憶部４０００を有している。記憶部４０００にはスタッフ端末４用のプログラム４３０が記憶されている。また、スタッフＩＤや認証のためのパスワードが記憶されていてもよい。

スタッフ端末４の送受信部４１は、主に、図２３に示されているネットワークＩ／Ｆ４１１及びＣＰＵ４０１の処理によって実現され、通信ネットワーク９を介して画像管理装置５と各種データの送受信を行う。なお、以下では、スタッフ端末４が画像管理装置５と通信する場合でも、「送受信部４１を介して」という記載を省略する場合がある。また、スタッフ端末４はＬＴＥ通信部４２１を使用して通信してもよい。

スタッフ端末４の受付部４２は、主に、図２３に示されている操作ボタン４０８及びＣＰＵ４０１の処理によって実現され、スタッフＺからの操作入力を受け付ける。

表示制御部４３は、主に、図２３に示されているディスプレイＩ／Ｆ４１７及びＣＰＵ４０１の処理によって実現され、ＣＵＩ（Character User Interface）やＧＵＩ（Graphical User Interface）と呼ばれる画面を作成しディスプレイ４５０に表示させる。

事象記録要求部４４は、主に、図２３に示されているＣＰＵ４０１の処理によって実現され、ユーザが所定の操作を行った場合、事象記録要求をサーバに送信する。事象記録要求には、事象が起こった旨の記録の要求に加え、撮像装置１の端末ＩＤ、事象開始情報、事象終了情報、スタッフＩＤ、及びカテゴリＩＤが含まれることが好ましい。事象開始情報は事象フラグの設定を開始する時刻に関する情報であり、事象終了情報は事象フラグの設定を終了する時刻に関する情報である。

記憶・読出部４９は、主に、図２３に示されているＣＰＵ４０１の処理によって実現され、記憶部４０００に各種データを記憶したり、記憶部４０００から各種データを読み出したりする。

＜事象の記録について＞
図２５は店舗における画像処理システム２００の利用形態を説明する図の一例である。店舗に撮像装置１が設置され、店内の様子を定期的に撮像している（定点観測している）。また、店内ではスタッフ端末４を携帯するスタッフＺが作業している。上記のように、撮像された画像データは画像管理テーブルに登録される。図２５には表１０の画像データのファイル名を除く項目が示されている。すなわち、図２５では３つの画像データが撮像された様子を模式的に示しており、それぞれに来客者Ｇが撮像されている。３つの画像データ６０１の１つに、端末ＩＤ、画像ＩＤ、撮像日時、及び、事象フラグが示されている。撮像中又は撮像後、店舗のバックヤードや店舗外で閲覧者Ｙが画像データを閲覧できる。

次に、図２６に示すように、店舗内で注目すべき事象が発生したものとする。図２６は、来客者Ｇが倒れるという事象が発生した店舗を示す図である。スタッフＺはこの事象に遭遇し注目すべき事象であると判断する。

来客者Ｇが倒れる様子は撮像されているので事象自体は画像データに記録されている。図２６では４つの画像データが撮像されているが、４つめの画像データには倒れた来客者Ｇが撮像されている。この事象を閲覧者Ｙが閲覧する場合、事象が捉えられている画像データを容易に探し出せることが好ましい。そこで、スタッフＺは、店舗内で事象が写っている画像データに事象が写っていることを示す印（事象フラグ）を付与する。

図２７を用いて、スタッフによる事象記録のためのスタッフ端末４の操作について説明する。この操作により事象記録要求が画像管理装置５に送信される。図２７は、スタッフ端末４のディスプレイ４５０に表示される事象記録画面６８０の一例を示す。事象記録画面６８０はスタッフ端末４用のプログラム４３０が生成する画面の１つである。事象記録画面６８０は、カメラ番号６１１、カテゴリ選択欄６１２、開始時間欄６１３、終了時間欄６１４、開始ボタン６１５、及び、終了ボタン６１６を有する。

カメラ番号６１１は、撮像装置１を特定するための番号である。スタッフＺは事象が起きた場所を撮像している撮像装置１のカメラ番号６１１を指定する。カメラ番号６１１は端末ＩＤと同じでもよいし異なっていてもよい。異なっている場合は、カメラ番号６１１と端末ＩＤが対応付けられたテーブルを用いて画像管理装置５がカメラ番号６１１を端末ＩＤに変換する。

カテゴリ選択欄６１２は、事象のカテゴリをスタッフＺが選択するための欄である。カテゴリの一例は、来客者同士のトラブル、特異な行動をする来客者、病人発生、商品の散乱、施設の損壊、その他などである。

開始時間欄６１３は、スタッフＺが事象記録要求を画像管理装置５に送信した時（又は受信した時）を基準に、事象フラグの設定を遡る時間をスタッフＺが指定するための欄である。スタッフＺが事象を発見した時はすでに事象が起きた後なので、事象は事象記録要求よりも前に始まっている。このため、スタッフＺはどのくらい前に事象が起きたかを推定して開始時間欄６１３に設定する。開始時間欄の時間は事象開始情報に相当する。

終了時間欄６１４は、スタッフＺが終了ボタン６１６を押下して事象記録終了を画像管理装置５に送信した時（又は受信した時）を基準に、事象フラグの設定を延長する時間をスタッフＺが指定するための欄である。スタッフＺが事象の終了を確認した時に終了ボタン６１６を押下することができればよいが、スタッフＺは作業に追われて終了ボタン６１６を押下することを忘れる場合がある。このため、スタッフＺは開始ボタン６１５の押下後、どのくらい記録すれば事象を記録し終わるか推定して終了時間欄６１４に設定する。これにより、早めに終了ボタン６１６を押下しておくことができるので、終了ボタン６１６の押し忘れを抑制できる。終了時間欄の時間は事象終了情報に相当する。

開始ボタン６１５は、スタッフＺが事象記録要求を画像管理装置５に送信するためのボタンである。終了ボタン６１６は、スタッフＺが事象記録終了を画像管理装置５に送信するためのボタンである。なお、スタッフが終了ボタン６１６を押し忘れても、画像管理装置５の事象記録部５７は事象記録要求から所定の時間の経過後に自動的に終了ボタン６１６が押下されたとみなす。

変形例として、スタッフ端末４は、開始ボタン６１５の押下で開始時間欄６１３と終了時間欄６１４の両方を画像管理装置５に送信してよい。これにより、スタッフＺは１回の操作で事象開始情報と事象終了情報を送信できる。この場合、終了ボタン６１６はなくてもよいし、終了ボタン６１６は即座に記録を終了するためのボタンとして用意されていてもよい。また、スタッフＺはスタッフ端末４用のプログラム４３０を起動させた際に画像管理装置５にログインしている。このため、事象記録要求と事象記録終了にはスタッフＩＤが含まれている。

図２８は、事象記録要求により設定される事象フラグを模式的に説明する図の一例である。画像管理装置５の事象記録部５７は事象記録要求に基づいて画像管理テーブルの事象フラグにＯＮを設定し、事象記録終了に基づいてＯＮの設定を終了する。事象フラグはＯＦＦが初期状態（デフォルト値）である。事象開始情報により「１３：５２：２４」という時刻が指定され、事象終了情報によりそれから６秒後が指定されたものとする。

この場合、図２８に示すように「１３：５２：２４」〜「１３：５２：２９」の画像データに対し事象記録部５７が事象フラグにＯＮを設定する。すなわち、図２８で太い枠で強調された画像データにはＯＮの事象フラグが設定される。また、図２８には記載がないがスタッフＩＤとカテゴリＩＤが設定されている。

したがって、閲覧者Ｙは事象フラグがＯＮの画像データを検索することで、事象が写っている画像データを速やかに閲覧できる。また、スタッフＺが事象に気づいた時から過去に遡って画像データを閲覧できる。

＜画像管理装置の動作について＞
図２９は、画像処理システム２００の全体的な動作手順を示すシーケンス図の一例である。
S1：撮像装置１は画像管理装置５からの指示により定期的に周囲を撮像する。
S2：撮像装置１の接続部１５は画像データを通信端末３に送信する。
S3：通信端末３の送受信部３１は画像データを画像管理装置５に送信する。
S4：画像管理装置５の記憶・読出部は画像管理テーブルに画像データを登録する。ステップS1〜S4は繰り返し実行される。
S5：スタッフＺの操作を受け付けて、スタッフ端末４が事象記録要求を画像管理装置５に送信する。
S6：画像管理装置５の事象記録部５７は画像管理テーブルの事象フラグにＯＮを設定する。詳細は図３０にて説明される。
S7：スタッフ端末４が事象記録終了を画像管理装置５に送信する。これにより、事象フラグにＯＮを設定することが終了される。詳細は図３０にて説明される。

図３０は、画像管理装置５が画像を管理する手順を示すフローチャート図の一例である。図３０の処理は、例えば、画像データの撮像ごとに繰り返し実行される。

画像管理装置５は定期的に撮像装置１に撮像させるものとする。このため、画像管理装置５は撮像時刻になったかどうかを判断する（Ｓ１０）。ステップＳ１０の判断がＮｏの場合、図３０の処理は終了する。

ステップＳ１０の判断がＹｅｓの場合、画像管理装置５は撮像装置１に対し画像の撮像を要求する（Ｓ２０）。撮像装置１が撮像した画像データは画像管理装置５に送信される。

次に、事象記録部５７は事象記録要求を受信したか否かを判断する（Ｓ３０）。事象記録要求が受信されない場合、図３０の処理は終了する。

ステップＳ３０の判断がＹｅｓの場合、事象記録部５７は事象記録終了を受信したか否かを判断する（Ｓ４０）。事象記録終了には終了時間欄６１４がゼロの場合とそうでない場合がある。

終了時間欄６１４がゼロの事象記録終了を受信した場合（Ｓ４０のＹｅｓ）、図３０の処理は終了する。

終了時間欄６１４がゼロの事象記録終了を受信してない場合、又は、事象記録終了を受信していない場合（Ｓ４０のＮｏ）、終了予定時間が経過したか否かを判断する（Ｓ５０）。この終了予定時間は、ゼロ以外の終了時間欄６１４で指定される時間、又は、スタッフＺが終了ボタン６１６を押し忘れた場合に記録開始から自動で設定されている時間である。ステップＳ５０の判断がＹｅｓの場合、図３０の処理は終了する。

ステップＳ５０の判断がＮｏの場合、事象記録部５７は画像データの事象フラグにＯＮを設定する（Ｓ６０）。事象記録部５７は撮像された直後の画像データの事象フラグをＯＮに設定すると共に、記録開始情報で指定された過去の画像データの事象フラグもＯＮに設定する。

このように、スタッフＺはスタッフ端末４を使用して事象記録要求を画像管理装置５に送信でき、閲覧者Ｙは事象フラグがＯＮの画像データを検索することで、事象が写っている画像データを速やかに閲覧できる。

＜ジェスチャによる事象が起こった旨の記録の要求＞
上記の本実施例ではスタッフＺがスタッフ端末４を操作する必要があるため、事象が起こった旨の記録を要求するために時間がかかってしまう傾向がある。そこで、スタッフＺがジェスチャにより事象フラグをＯＮに設定できれば便利である。事象に遭遇したスタッフＺは撮像装置１に向かって予め定められているジェスチャを行う。

この場合のジェスチャとしては、日常的な作業では行わない動作であればよい。例えば、両手を垂直方向に挙げて左右に９０°開く動作を繰り返す、頭上に挙げた両手で円を形成するなどである。あるいは、特定の道具（旗など）を決まった方向に動かす、あるいはライトを点灯して撮像装置１に向ける、などでもよい。撮像装置１は全天球画像を撮像するので、スタッフＺは事象の撮像の邪魔にならない位置でジェスチャを行うことができる。また、事象が出現している場所から離れた位置でスタッフＺがジェスチャする場合、スタッフＺは事象が出現している場所を指し示す動作を行う。この動作がジェスチャとなることで、事象が起こった旨の記録の要求をスタッフＺが送信でき、事象の場所をスタッフＺが知らせることができる。

スタッフＺのジェスチャが写っている画像データは画像管理装置５に送信される。つまり、事象が出現している全天球の画像データにスタッフＺが写りこんだ状態で画像管理装置５に送信される。画像解析部５５は画像を解析しスタッフＺのジェスチャを検出する。予め定められたジェスチャが映っている場合、事象記録部５７は画像管理テーブルの事象フラグにＯＮを設定する。なお、画像データを過去にどの程度遡り、どのくらいでＯＮの設定を終了するかは予め事象記録部５７に登録されているものとする。

図３１は、画像管理装置５がジェスチャを検出して事象フラグをＯＮに設定する手順を示すフローチャート図の一例である。図３１の処理は、画像データの撮像中、繰り返し実行される。

まず、画像管理装置５の送受信部５１は画像データを受信する（Ｓ１０）。

次に、画像管理装置５の画像解析部５５は画像データを解析し、ジェスチャが含まれているか否かを判断する（Ｓ２０）。ジェスチャが含まれていない場合、処理はステップＳ４０に進む。

ジェスチャが検出された場合、事象記録部５７は予め定められた所定時間前まで画像管理テーブルの事象フラグをＯＮに設定する（Ｓ３０）。なお、どの撮像装置１が撮像したかはジェスチャが含まれる画像データを送信した撮像装置１として決定される。また、カテゴリＩＤやスタッフＩＤは登録されなくてもよい。あるいは、画像解析部５５が顔認識を行ったり名札などを文字認識したりしてスタッフＺを特定してもよい。また、スタッフＺが事象のカテゴリに応じてジェスチャを変えることなどにより、事象記録部５７はカテゴリＩＤを特定できる。

ジェスチャが検出されない場合（Ｓ２０のＮｏ）、事象記録部５７は予め定められた所定時間が経過したか否かを判断する（Ｓ４０）。所定時間が経過するまでは、引き続き、画像管理テーブルの事象フラグをＯＮに設定する（Ｓ５０）。

所定時間が経過した場合（Ｓ４０のＮｏ）、事象フラグをＯＮに設定することなく図３１の処理は終了する。

このように、スタッフＺがスタッフ端末４を操作しなくてもジェスチャにより事象が起こった旨の記録を要求できる。

＜ジェスチャで事象記録要求を送信する＞
また、スタッフＺはスタッフ端末４を使ったジェスチャで事象記録要求を画像管理装置５に送信してもよい。すなわち、スタッフ端末４とジェスチャの両方が使用される。

図３２は、スタッフ端末４と画像管理装置５の間で行われる動作を示すシーケンス図の一例である。

S1：まず、スタッフＺは事象に遭遇すると、スタッフ端末４を用いたジェスチャを行う。例えば、スタッフ端末４を左右に振る、上下に振る、大きく円を描くように回す、等を行う。これらのジェスチャにより生じる時系列の加速度の変化を加速度センサ４２０が検出する。スタッフ端末４の事象記録要求部４４は予め定められた加速度のパターンが検出されると、事象記録要求を送信するためのジェスチャが検出されたと判断する。

S2：スタッフ端末４の事象記録要求部４４は事象記録要求を画像管理装置５に送信する。この事象記録要求には。スタッフＩＤが含まれるが、端末ＩＤ、事象開始情報、事象終了情報、及びカテゴリＩＤは含まれない。

S3：画像管理装置５の送受信部５１は事象記録要求を受信し、事象記録部５７は受信した前後の時間（前後時間）を決定する。例えば、前後５分、受信する前に３分・受信後に５分などのように決定する。これにより、事象開始情報、事象終了情報が不要になる。

S4：次に、画像解析部５５はステップS3で決定した前後時間の画像データからステップS1のジェスチャを検出する。すなわち、撮像装置１が複数ある場合に、ジェスチャが検出された撮像装置１を特定できる。

S5：画像管理装置５の事象記録部５７は、特定した撮像装置１が撮像した画像データに対応付けて事象フラグをＯＮに設定する。なお、前後時間より事象フラグをＯＮに設定する画像データを特定でき、スタッフＩＤも送信されている。

したがって、スタッフＺは事象記録画面６８０を操作しなくても事象記録要求を送信できる。事象開始情報、事象終了情報を送信できなくてもおよその前後時間を決定し、スタッフＩＤも登録できる。また、ジェスチャの種類によってカテゴリＩＤを登録することも可能である。

＜周囲の音量の変化による事象記録要求の送信＞
スタッフＺが主体的に事象記録要求を送信する他、環境の変化を撮像装置１等が検出して事象記録要求を画像管理装置５に送信してもよい。例えば、何かの事象が起こった場合、来客者Ｇが騒いだり大きな音が発生したりする場合がある。そこで、周囲の音量が閾値を超えた場合に、通信端末３が事象記録要求を画像管理装置５に送信する。

図３３は、通信端末３が事象記録要求を画像管理装置５に送信するシーケンス図の一例である。
S1：撮像装置１はマイク１０８を備えているため、常にマイク１０８で周囲の音を集音している。
S2：また、撮像装置１は定期的に周囲を撮像している。
S3：撮像装置１は撮像前後に集音した音データと共に画像データを通信端末３に送信する。
S4：通信端末３の接続部３３は音データと画像データを受信し、例えば受付部３２が音データの音量が閾値以上か否かを判断する。
S5：閾値以上の場合、送受信部３１は画像データと共に事象記録要求を画像管理装置５に送信する。この事象記録要求には、端末ＩＤが含まれる。事象開始情報、事象終了情報は含まれないが、画像管理装置５はおよその前後時間を決定できる。また、カテゴリＩＤについては送信されないが、周囲が騒がしかったことを示すカテゴリＩＤが設定される。
S6：閾値以上の場合、送受信部３１は画像データを画像管理装置５に送信する。

このように音量を契機にして事象記録要求を画像管理装置５に送信できるので、スタッフＺが事象記録要求を画像管理装置５に送信しなくても事象フラグをＯＮに設定できる。なお、音量の他、建物に生じた振動（地震など）、温度、湿度などを契機としてもよい。

＜閲覧について＞
図３４は、情報端末７のディスプレイ５０８に表示される閲覧画面６９０の一例である。閲覧画面６９０は、メニュー欄６２７、画像部６２５、及び、サムネイル部６２６を有する。メニュー欄６２７は、カテゴリ指定欄６２１とスタッフ選択欄６２２を有する。カテゴリ指定欄６２１は、閲覧者Ｙがカテゴリを選択するための欄であり、スタッフ選択欄６２２は閲覧者ＹがスタッフＺを選択するための欄である。したがって、閲覧者ＹはカテゴリやスタッフＺを指定して事象フラグがＯＮの画像データを検索できる。

また、サムネイル部６２６にはサムネイル画像６２３が表示される。事象フラグがＯＮの画像データのサムネイル画像６２３には、アイコン６２４が表示される。したがって、閲覧者Ｙは、事象フラグがＯＮの画像データを検索しなくても、どの画像データの事象フラグがＯＮかを一目で把握できる。

以上説明したように、本実施例の画像処理システム２００では、スタッフが事象に遭遇したタイミングで画像データに事象が起こった旨を記録できる。

本実施例では実施例１、２で得られた解析情報テーブルの内容を表示する情報端末７について説明する。実施例１、２により、各商品ゾーン６１０に対する来客者Ｇの興味度を多段階に評価した。また、実施例３では来客者の興味の程度をヒートマップなどで表示することができた。しかし、実施例３の表示では、閲覧者Ｙは来客者Ｇを閲覧することができなかった。すなわち、店舗内の各商品ゾーン６１０に対して実際の来客者Ｇが興味を示している様子を閲覧者Ｙが視覚的に把握するにはヒートマップと画像データと照らし合わせる必要がある。

そこで、本実施例では、所定の興味度の来客者Ｇを画像データに配置して表示することができる画像処理システム２００について説明する。これにより、閲覧者Ｙは来客者Ｇの購買行動をより詳しく解析できるようになる。

なお、本実施例において、画像管理装置５と情報端末７の機能ブロック図は、実施例３の図１３と同様でよい。情報端末７の情報視覚化部７４は、商品に興味を示している来客者Ｇを画像データの商品ゾーン６１０に対応づけて表示する。したがって、画像データ上のどの商品ゾーン６１０に対してどのように興味を示しているかを閲覧者が把握しやすくなる。具体的には、商品ゾーン６１０に対して興味を示す来客者Ｇ（の画像）が、興味の対象とした商品ゾーン６１０に重畳して表示される、あるいは、時系列に沿って１つ１つスライドショーで表示される。以下では、いくつかの実施形態に分けて説明する。

＜第１実施形態＞
第１実施形態では、閲覧者Ｙは任意の興味度を指定できる。情報端末７は指定された興味度を示した来客者Ｇを１つの画像データに表示させる。

図３５は、来客者が画像データに合成された来客者合成画面６６０を示す図の一例である。来客者合成画面６６０には複数の来客者Ｇが写っている。これらの来客者Ｇは同じ興味度を示した来客者である。１つの画像データに複数の来客者Ｇが表示されているのは、情報視覚化部７４が来客者Ｇを合成したためである。以下、このような画像データの表示手順を説明する。

図３６は情報視覚化部７４が画像データに来客者Ｇを合成する手順を示すフローチャート図の一例である。図３６の処理は、例えば閲覧者Ｙが画像を解析するための操作を行うとスタートする。

情報端末７の受付部７２は母集団の設定を受け付ける（Ｓ１０）。母集団とは、解析の対象となる画像データをいう。例えば、端末ＩＤにより撮像装置１が特定され、また、ある時間範囲、ある特定の日、ある曜日などを閲覧者Ｙが設定できる。

次に、受付部７２は興味度の設定を受け付ける（Ｓ２０）。すなわち、図１４に示すユーザインタフェースから閲覧者Ｙは興味度を指定する。なお、閲覧者Ｙは複数の興味度を選択できる。

次に、情報視覚化部７４は、解析情報テーブルから指定された興味度が対応付けられている画像データを特定する（Ｓ３０）。表７の解析情報テーブルに示すようにアクション（興味度）に画像ＩＤが対応付けられており、表９の解析情報テーブルに示すようにアクション（興味度）に画像ＩＤが対応付けられている。

次に、情報視覚化部７４は人が写っていない無人画像を読み出す（Ｓ４０）。無人画像は、例えば、開店前に撮像された画像データなどである。なお、無人画像を使う必要はなく、ステップＳ３０で特定した任意の画像データを使ってもよい。

次に、情報視覚化部７４は、解析情報テーブルで指定された興味度の領域範囲を取得して画像データから人部分をトリミングする（Ｓ５０）。人部分は領域範囲と同じものである。解析情報テーブルには人が検知されている領域を特定できる領域範囲が登録されているので、人が写っている矩形の人部分をトリミングできる。

次に、情報視覚化部７４は、無人画像にトリミングした人部分を合成する（Ｓ６０）。この合成は、領域範囲で指定される場所に単に人部分を重畳する（又は配置する）処理でよい。撮像装置１は同じ範囲の画像データを撮像しているので、合成しても各来客者Ｇの背景は同じであるため違和感が生じにくい。

情報視覚化部７４は、１つの無人画像に一人以上の来客者Ｇが写っている画像データを表示する（Ｓ７０）。これにより、図３５の画像データが表示される。画像データにはある興味度の来客者Ｇが実際に写っているので、閲覧者はどのような来客者Ｇ（男女、年齢層、服装など）がこの興味度を示したかを確認できる。また、どの場所に来客者Ｇが多い又は少ないなどを確認できる。なお、図１４で閲覧者Ｙが複数の興味度を選択した場合、第５実施形態又は第６実施形態のように各来客者Ｇが興味度に応じて色分けして表示されることが好ましい。

＜第２実施形態＞
第２実施形態でも閲覧者Ｙが任意の興味度を指定できる点は同じであるが、情報端末７は指定された興味度を示した来客者Ｇの画像データを１つ１つ表示させる。

図３７は、情報端末７がディスプレイ５０８に表示した画像データ６０１を示す図である。図３７では同じ興味度を示した来客者Ｇが写っている画像データが時系列に表示される。なお、画像データに複数の来客者Ｇが写っている場合、１つの画像データに複数の来客者Ｇが表示される。図３７では再生ボタン６４１、早送りボタン６４３、及び、巻き戻しボタン６４２が表示されている。閲覧者Ｙは再生ボタン６４１を押下して次の画像データを表示させ、早送りボタン６４３で自動的に次々と画像データを表示させ、巻き戻しボタン６４２で次々と時間的に前の画像データを表示させる。以下、このような画像データの表示手順を説明する。

図３８は情報視覚化部７４が画像データに来客者Ｇを合成する手順を示すフローチャート図の一例である。図３８の処理は、例えば閲覧者Ｙが画像を解析するための操作を行うとスタートする。ステップＳ１０〜Ｓ３０の処理は図３６と同様である。

ステップＳ４０では、情報視覚化部７４は画像データを時系列にソートする（Ｓ４０）。

以降は、受付部７２が受け付けた操作に応じて、表示制御部７３が画像データを切り替えてディスプレイ５０８に表示する（Ｓ５０）。

したがって、画像データには一度に撮像された来客者Ｇしか写っていないので、閲覧者Ｙは各来客者Ｇを解析しやすい。また、時間と共に来客者Ｇがどのように移動したかや、どのような来客者Ｇが多いかを解析できる。

＜第３実施形態＞
第３実施形態では、閲覧者Ｙが興味を持っている商品ゾーン６１０に対し、興味を示した来客者Ｇを表示させる。

まず、図３９を用いて閲覧者の操作とディスプレイ５０８に表示される画像データを説明する。図３９は、閲覧者が行う解析操作を説明する図の一例である。

１．図３９（ａ）に示すように、閲覧者Ｙは商品ゾーン６１０をポインティングデバイス６４０などで指定する（クリックする）。この商品ゾーン６１０は、どのくらいの数の来客者Ｇがどの程度の興味度を示したかを閲覧者Ｙが知りたい商品ゾーン６１０である。

２．図３９（ｂ）に示すように、情報端末７はクリックされた位置を含む商品ゾーン６１０をディスプレイ５０８に表示する。

３．図３９（ｃ）に示すように、複数の商品ゾーン６１０がある場合、閲覧者Ｙは１つの商品ゾーン６１０をマウスなどで選択する。

４．図４０に示すように、情報端末７は、この商品ゾーン６１０に興味を示した来客者Ｇを１つの画像データに合成した来客者合成画面６６０を表示する。この来客者合成画面６６０によれば、閲覧者Ｙは商品ゾーン６１０ごとにどのくらいの来客者Ｇが興味を示したかを把握できる。図４０の来客者合成枠６７０は複数の来客者Ｇの外接矩形であるが、この来客者合成枠６７０が大きいほど１つの商品ゾーン６１０に興味を示した来客者Ｇの場所に広がりがあることになる。よって、閲覧者Ｙは狙い通りの集客が行われているかどうかなどを判断して商品の配置を換えたりすることができる。なお、来客者合成枠６７０の形状は円形や多角形などでよく、その形状は限定されない。

以下、このような画像データの表示手順を説明する。
図４１は情報視覚化部７４が画像データに来客者Ｇを合成する手順を示すフローチャート図の一例である。図３８の処理は、例えば閲覧者Ｙが画像を解析するための操作を行うとスタートする。ステップＳ１０の処理は図３８と同様である。

次に、受付部７２は任意の画像データの場所の指定を受け付ける（Ｓ２０）。任意の画像データは無人画像でよいが、画像データの撮像範囲は同じなのでどの画像データでもよい。

次に情報視覚化部７４はステップＳ２０の場所を含む商品ゾーン６１０を特定する（Ｓ３０）。解析情報テーブルには対象ゾーンの座標が登録されているため、ステップＳ２０の場所を含む商品ゾーン６１０を特定できる。

情報視覚化部７４は複数の商品ゾーン６１０を特定したか否かを判断する（Ｓ４０）。複数ある場合は、表示制御部７３が複数の商品ゾーン６１０を画像データに強調して表示し、受付部７２が１つの商品ゾーン６１０の選択を受け付ける（Ｓ５０）。

次に、情報視覚化部７４は、選択された商品ゾーン６１０に対応付けられている領域範囲と画像データを特定する（Ｓ６０）。上記のように解析情報テーブルから商品ゾーン６１０に対応付けられている領域範囲を特定でき、この領域範囲を有する画像データを特定できる。以降のステップＳ７０〜Ｓ１００の処理は図３６のステップＳ４０〜Ｓ７０と同様でよい。

このように、閲覧者Ｙが知りたい商品ゾーンに対し興味を示した来客者を表示できるので、閲覧者Ｙはどのような来客者がどのくらい興味を示したかを解析できる。

＜第４実施形態＞
第４実施形態も第３実施形態同様に、閲覧者Ｙが興味を持っている商品ゾーン６１０に対し、興味を示した来客者Ｇを表示させる。しかし、第４実施形態では、情報端末７は指定された商品ゾーン６１０に興味度を示した来客者Ｇの画像データを１つ１つ表示させる。

図４２は、第４実施形態で表示される画像データの生成方法を説明する図の一例である。
１．図４２（ａ）の画像データの生成方法は図４０と同様である。図４２（ａ）では閲覧者Ｙが指定した商品ゾーン６１０が表示されているが、これはなくてもよい。
２．次に、図４２（ｂ）に示すように、情報端末７は商品ゾーン６１０に興味を示した来客者Ｇが占める領域範囲の外接矩形を算出する。これが図４０の来客者合成枠６７０である。
３．図４２（ｃ）に示すように、情報端末７は来客者合成枠６７０を強調して表示する。
４．図４３は、同じ商品ゾーン６１０に興味度を示した来客者Ｇが写っている画像データが時系列に来客者合成枠６７０と共に表示される図の一例である。

なお、画像データに複数の来客者Ｇが写っている場合、複数の来客者Ｇが表示される。ある商品ゾーン６１０に対し興味を示した来客者Ｇのうち、一度に撮像された来客者Ｇしか表示されないので、閲覧者Ｙは各来客者Ｇを解析しやすい。また、時間と共に来客者Ｇがどのように移動したかや、どのような来客者Ｇが多いかを解析できる。なお、図４３では、来客者合成枠６７０の外に来客者Ｇが写っている場合があるが、来客者合成枠６７０があるので閲覧者は、来客者合成枠６７０の外の来客者Ｇを無視できる。また、来客者合成枠６７０内の来客者Ｇのみをトリミングして無人画像に配置してもよい。

以下、このような画像データの表示手順を説明する。
図４４は情報視覚化部７４が画像データに来客者Ｇを合成する手順を示すフローチャート図の一例である。図４４の処理は、例えば閲覧者Ｙが画像を解析するための操作を行うとスタートする。ステップＳ１０〜Ｓ６０の処理は図４１と同様である。

ステップＳ７０では、情報視覚化部７４は画像データを時系列にソートする（Ｓ７０）。

以降は、受付部７２が受け付けた操作に応じて、表示制御部７３が画像データを切り替えてディスプレイ５０８に表示する（Ｓ８０）。なお、この時、表示制御部７３は来客者合成枠６７０を表示する。

したがって、閲覧者Ｙはある商品ゾーン６１０に興味を示した来客者Ｇを個別に解析しやすい。また、来客者合成枠６７０の中で時間と共に来客者Ｇがどのように移動したかや、どのような来客者Ｇが多いかを解析できる。

＜第５実施形態＞
第５実施形態では、第３実施形態において来客者Ｇを興味度で色分けして表示する画像処理システムを説明する。

図４５は、ディスプレイ５０８に表示される画像データを説明する図の一例である。図４５では各来客者Ｇが、興味度によって異なる色で表示されている。色分けするまでの処理は第３実施形態と同様でよい。

図４６は情報視覚化部７４が画像データに来客者Ｇを合成する手順を示すフローチャート図の一例である。図４６の処理は、例えば閲覧者Ｙが画像を解析するための操作を行うとスタートする。まず、図４６はステップＳ８５を除き図４１と同様である。

ステップＳ８５では、情報視覚化部７４は人部分を興味度に応じて着色する（Ｓ８５）。表７の解析情報テーブルに示すように領域範囲にはアクション（興味度）が対応付けられており、表９の解析情報テーブルに示すように領域範囲にはアクション（興味度）が対応付けられている。これにより、図４５に示すように興味度によって異なる色で来客者Ｇを表示できる。なお、人部分は矩形領域なので、図４５のように人型に表示することは困難な可能性がある。この場合、表示制御部７３は各人部分に半透明の処理を施すなどが好ましい。

したがって、ある商品ゾーン６１０に対し複数の来客者Ｇが表示されても、閲覧者Ｙは各来客者Ｇの興味度を判別しやすくなる。

＜第６実施形態＞
第６実施形態では、第４実施形態において来客者Ｇを興味度で色分けして表示する画像処理システムを説明する。

図４７は、ディスプレイ５０８に表示される画像データを説明する図の一例である。図４７では各来客者Ｇが、興味度によって異なる色で表示されている。色分けするまでの処理は第４実施形態と同様でよい。

図４８は情報視覚化部７４が画像データに来客者Ｇを合成する手順を示すフローチャート図の一例である。図４８の処理は、例えば閲覧者Ｙが画像を解析するための操作を行うとスタートする。まず、図４８はステップＳ８０を除き図４４と同様である。

ステップＳ８０では、情報視覚化部７４は閲覧者の操作を受け付けて、人部分を興味度で着色し、切り替えて表示する（Ｓ８０）。表７の解析情報テーブルに示すように領域範囲にはアクション（興味度）が対応付けられており、表９の解析情報テーブルに示すように領域範囲にはアクション（興味度）が対応付けられている。これにより、図４７に示すように興味度によって異なる色で来客者Ｇを表示できる。

したがって、ある商品ゾーン６１０に対し興味がある来客者Ｇがどのくらいの興味度かを、閲覧者Ｙは一人ずつ（一画像データずつ）解析できる。また、時間的にどのように変化するかを解析できる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、上記の実施形態では、画像管理装置５が人を検出したり、アクションを判断したが、情報端末７が人を検出したり、アクションを判断してもよい。また、上記の実施形態では情報端末７が商品ゾーン６１０の色を決定していたが、商品ゾーン６１０の色を画像管理装置５が決定してもよい。画像管理装置５が第５実施例の処理を行ってもよい。また、情報端末７と画像管理装置５が一体の情報処理装置が本実施形態で説明された処理を一台で実行してもよい。また、画像管理装置５が有する機能の全て又は１以上を情報端末７が有していてよく、情報端末７が有する機能の全て又は１以上を画像管理装置５が有していてもよい。

また、以上の実施例で示した図６、１３、２４などの構成例は、撮像装置１、通信端末３、画像管理装置５及び情報端末７の処理の理解を容易にするために、主な機能に応じて分割したものである。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。撮像装置１、通信端末３、画像管理装置５及び情報端末７の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。また、画像処理システム２００が複数の画像管理装置５を有していてもよい。

また、画像管理装置５の記憶部５０００のデータベースは、画像管理装置５が直接有する他、画像管理装置５が読み書き可能な通信ネットワーク９上にあればよい。

なお、人物検出部５２は人検出手段の一例であり、画像解析部５５は動作判断手段の一例であり、評価部５６は評価手段の一例であり、表示制御部７３は表示手段の一例であり、ディスプレイ５０８は表示装置の一例である。商品ゾーン６１０は所定領域の一例であり、領域６０２は人領域の一例であり、受付部７２は受付手段の一例であり、事象記録部５７はフラグ設定手段の一例である。

１ ：撮像装置
３ ：通信端末
５ ：画像管理装置
７ ：情報端末
４４ ：事象記録要求部
５１ ：送受信部
５２ ：人物検出部
５５ ：画像解析部
５６ ：評価部
５７ ：事象記録部
７３ ：情報視覚化部７４
２００ ：画像処理システム

特許第４９７２４９１号公報

中島慶人著、「監視システムのための画像処理による移動人物の検出と認識に関する研究」、総合研究大学院大学学位授与論文、2006年9月29日

Claims (20)

1. １つ以上の情報処理装置を有する画像処理システムであって、
   画像データから人が含まれる人領域を検出する人検出手段と、
   前記人検出手段によって検出された前記人領域から前記人の動作と該動作の方向を判断する動作判断手段と、
   前記方向に基づいて決定される前記画像データの所定領域を前記動作に応じて評価する評価手段と、
   前記画像データと共に前記評価手段による評価を表示装置に表示する表示手段と、
   を有する画像処理システム。
2. 前記評価手段は、前記所定領域を前記動作に応じて多段階に評価し、
   前記表示手段は、前記評価手段による多段階の評価を前記画像データと共に表示装置に表示する請求項１に記載の画像処理システム。
3. 前記評価手段は、予め定められている前記所定領域を前記方向に基づいて決定して前記動作に応じて評価する請求項１又は２に記載の画像処理システム。
4. 前記評価手段は、予め定められている１つ以上の前記所定領域から前記方向の延長線上にある前記所定領域を決定して前記動作に応じて評価する請求項３に記載の画像処理システム。
5. 前記評価手段は、予め定められている１つ以上の前記所定領域のうち、前記方向の延長線上にあり、かつ、前記方向が判断された前記人領域に隣接した前記所定領域を決定して前記動作に応じて評価する請求項４に記載の画像処理システム。
6. 前記方向が判断されない場合、前記人領域に隣接した全ての前記所定領域を前記動作に応じて評価する請求項３に記載の画像処理システム。
7. 前記評価手段は、前記所定領域を多段階に評価した際の前記評価の段階を前記所定領域に付与し、複数の前記画像データの前記所定領域に対し同じ前記評価の段階を付与した回数を前記所定領域ごとにカウントし、
   前記評価の段階の指定を受け付ける受付手段を有し、
   前記表示手段は、前記受付手段が受け付けた前記評価の段階についてカウントされている前記回数を前記所定領域ごとに視覚化して表示する請求項１〜６のいずれか１項に記載の画像処理システム。
8. 前記評価手段は、前記所定領域を多段階に評価した際の前記評価の段階を前記所定領域に付与し、複数の前記画像データの前記所定領域に対し同じ前記評価の段階を付与した回数を前記所定領域ごとにカウントし、
   前記所定領域の指定を受け付ける受付手段を有し、
   前記表示手段は、前記受付手段が受け付けた前記所定領域に対応付けられている前記評価の段階のそれぞれの前記回数を視覚化して表示する請求項１〜６のいずれか１項に記載の画像処理システム。
9. 前記評価手段は、前記所定領域を多段階に評価した際の前記評価の段階を前記所定領域に付与し、複数の前記画像データの前記所定領域に対し同じ前記評価の段階を付与した回数を前記所定領域ごとにカウントし、
   所定の操作を受け付ける受付手段を有し、
   前記受付手段が前記所定の操作を受け付けた場合、前記表示手段は、前記評価の段階と前記回数から前記所定領域を代表する代表値を算出し、前記代表値を視覚化して表示する請求項１〜６のいずれか１項に記載の画像処理システム。
10. 前記評価手段は、前記人領域に対し前記動作の前記方向に隣接した範囲を前記所定領域に決定し、該所定領域を前記動作に応じて評価する請求項１に記載の画像処理システム。
11. 前記評価手段は、前記人領域に隣接する前記範囲の大きさを、前記人領域の大きさに応じて変化させる請求項１０に記載の画像処理システム。
12. 前記評価手段は、前記所定領域を多段階に評価した際の前記評価の段階を前記所定領域に付与し、
    前記評価の段階の指定を受け付ける受付手段を有し、
    前記表示手段は、前記受付手段が受け付けた前記評価の段階が付与されている前記所定領域を視覚化して表示する請求項１０又は１１に記載の画像処理システム。
13. 前記評価手段は、前記所定領域を多段階に評価した際の前記評価の段階を前記所定領域に付与し、
    前記画像データの位置の指定を受け付ける受付手段を有し、
    前記表示手段は、前記受付手段が受け付けた前記位置に最も近い前記所定領域に付与された前記評価の段階を視覚化して表示する請求項１０又は１１に記載の画像処理システム。
14. 前記評価手段は、前記所定領域を多段階に評価した際の前記評価の段階を前記所定領域に付与し、
    所定の操作を受け付ける受付手段を有し、
    前記受付手段が前記所定の操作を受け付けた場合、前記表示手段は、複数の前記所定領域の重なりが大きいほど中心の濃度が大きくなり、前記中心から離れるほど徐々に濃度が小さくなる色で前記所定領域を表示する請求項１０又は１１に記載の画像処理システム。
15. 任意の情報処理装置から、画像データを撮像する撮像装置が所定の事象を撮像している旨の通知を取得した場合、
    少なくとも通知を取得した時の画像データに事象が撮像されている旨の事象フラグを設定するフラグ設定手段を有する請求項１〜１４のいずれか１項に記載の画像処理システム。
16. 指定された評価の段階の前記所定領域を動作の方向とする人、又は、前記所定領域に前記動作の方向を示した人を含む画像データを表示装置に表示する表示手段と、
    を有する請求項１〜１４いずれか１項に記載の画像処理システム。
17. 撮像装置が撮像した画像データと共に情報処理装置による評価を表示装置に表示する情報端末と通信可能な情報処理装置であって、
    画像データから人が含まれる人領域を検出する人検出手段と、
    前記人検出手段によって検出された前記人領域から前記人の動作と該動作の方向を判断する動作判断手段と、
    前記方向に基づいて決定される前記画像データの所定領域を前記動作に応じて評価する評価手段と、を有する情報処理装置。
18. 撮像装置が撮像した画像データから人が含まれる人領域を検出する人検出手段と、
    前記人検出手段によって検出された前記人領域から前記人の動作と該動作の方向を判断する動作判断手段と、
    前記方向に基づいて決定される前記画像データの所定領域を前記動作に応じて評価する評価手段と、を有する情報処理装置と通信可能な情報端末であって、
    前記画像データと共に前記評価手段による評価を表示装置に表示する表示手段、を有する情報端末。
19. 撮像装置が撮像した画像データと共に情報処理装置による評価を表示装置に表示する情報端末と通信可能な情報処理装置を、
    画像データから人が含まれる人領域を検出する人検出手段と、
    前記人検出手段によって検出された前記人領域から前記人の動作と該動作の方向を判断する動作判断手段と、
    前記方向に基づいて決定される前記画像データの所定領域を前記動作に応じて評価する評価手段、として機能させるためのプログラム。
20. 撮像装置が撮像した画像データから人が含まれる人領域を検出する人検出手段と、
    前記人検出手段によって検出された前記人領域から前記人の動作と該動作の方向を判断する動作判断手段と、
    前記方向に基づいて決定される前記画像データの所定領域を前記動作に応じて評価する評価手段と、を有する情報処理装置と通信可能な情報端末を、
    前記画像データと共に前記評価手段による評価を表示装置に表示する表示手段、として機能させるためのプログラム。

Images