JP2018025882A - 情報処理装置及びその制御方法、表示装置、コンピュータプログラム - Google Patents

Abstract

【課題】より少ない数のネットワークカメラ機器を用いて顧客情報と購買情報を正しく関連付け、マーケティング分析を支援することができる技術を提供する。さらに、少ないコストおよび作業負荷で購買情報と顧客情報を関連付ける技術を提供する。【解決手段】情報処理装置は、所定の場所において撮影された、人物が写り込んでいる撮影画像を取得する第１の取得手段と、撮影画像に写り込んでいる人物の身体的特性を示す人物情報を取得する第２の取得手段と、取引の内容を示す取引情報を取得する第３の取得手段と、撮影画像を選択可能に表示手段に表示させる表示制御手段と、撮影画像の選択に応じて、当該撮影画像から取得された人物情報と、取引情報とを関連付けて記憶手段に記憶させる記憶制御手段とを備える。【選択図】 図６

Description

本発明は情報処理装置及びその制御方法、表示装置、コンピュータプログラムに関し、特に、顧客情報を収集してマーケティング分析に活用するための技術に関する。

店舗には、ファーストフード、レストランなどの飲食店や、スーパーマーケット、衣料品店、家電量販店などの小売店があるが、いずれの店舗であっても、購買顧客の情報を把握し、その情報を広告や販売促進などのマーケティングに活かすことが望まれている。購買顧客の情報を取得する手法には、購買時に会員カードを提示してもらうことで取得する手法や、店員が会計時に顧客の年齢や性別を推定して入力する手法などがある。

また、ネットワークカメラを用いてレジ前の指定領域に来た顧客の顔画像を取得し、取得した顔画像を解析して顧客情報を取得し、得られた顧客情報と購買情報を関連付けて、マーケティング分析に活用することが知られている。

さらに、効率的なワントゥワンマーケティングを行うために、顧客の入店・退店時に顔認証を行い、認識した顧客情報を顧客データベースから検索し、購買情報と顧客情報を関連付けることが知られている（特許文献１参照）。購買者の情報を知ることでより詳細なマーケティング分析が行えるため、購買情報と顧客情報を関連付ける手法は有益である。

特開２００４−３２６２０８号公報

しかしながら、特許文献１の構成では、顧客の入店から退店までを追跡するために多数のネットワークカメラ機器を設置する必要があり、機器の設置にかかるコストも大きい。

本発明は上記の課題に鑑みなされたものであり、より少ない数のネットワークカメラ機器を用いて顧客情報と購買情報を正しく関連付け、マーケティング分析を支援することができる技術を提供する。さらに、少ないコストおよび作業負荷で購買情報と顧客情報を関連付ける技術を提供する。

上記目的を達成するため、本発明による情報処理装置は以下の構成を備える。即ち、
所定の場所において撮影された、人物が写り込んでいる撮影画像を取得する第１の取得手段と、
前記撮影画像に写り込んでいる人物の身体的特性を示す人物情報を取得する第２の取得手段と、
取引の内容を示す取引情報を取得する第３の取得手段と、
前記撮影画像を選択可能に表示手段に表示させる表示制御手段と、
前記撮影画像の選択に応じて、当該撮影画像から取得された人物情報と、前記取引情報とを関連付けて記憶手段に記憶させる記憶制御手段と
を備える。

本発明によれば、より少ない数のネットワークカメラ機器を用いて顧客情報と購買情報を正しく関連付け、マーケティング分析を支援することができる。

マーケティング分析システムの全体構成を示すブロック図 店舗のレイアウトの一例を示す平面図 情報処理装置のハードウェア構成例を示すブロック図 マーケティング分析システムの機能構成を示すブロック図 データテーブルの一例を示す図 マーケティング分析処理の処理手順を示すフローチャート 購買者の選択を受け付ける画面例を示す図 マーケティング分析処理の処理手順を示すフローチャート 検知方式切り替えを受け付ける画面例を示す図

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。

＜実施形態１＞
（システム構成）
以下、本発明の第一の実施形態（実施形態１）を説明する。まず、図１を用いて本実施形態におけるマーケティング分析支援システム（以下、「マーケティング分析システム」という）の構成を説明する。

図１において、１０１は、マーケティング分析システムである。マーケティング分析システム１０１は、スーパーマーケットやコンビニエンスストア、衣料品販売店、家電量販店、書店などの小売店舗を対象にして構築されるものである。本システムは、クライアントＰＣ１０２、マーケティングサーバ１０３、ネットワークカメラサーバ１０４、ＰＯＳサーバ１０５、ネットワークカメラ１０６、ＰＯＳレジ１０７を備えている。

１０２はクライアントＰＣ（パーソナルコンピュータ）であり、ユーザからの指示を受け付けて、マーケティングサーバ１０３、ネットワークカメラサーバ１０４、ＰＯＳサーバ１０５に対して指示を行い、その結果を表示する。

１０３はマーケティングサーバであり、クライアントＰＣ１０２またはＰＯＳサーバ１０５からの指示を受け付け、指示に基づいてマーケティング分析処理を行う。マーケティング分析処理とは、顧客の年齢や性別などの顧客情報と、購買品や購買時刻などの購買情報を用いてデータ分析を行い、分析レポートを作成することをいう。データ分析の一例としては、購買者の年代別の購入状況や年代別の購買推移を分析する年代別分析、併せて購入した購買品を分析する併売分析などがある。データ分析を行うために、マーケティングサーバ１０３は必要に応じてＰＯＳサーバ１０５に蓄積されている購買情報を参照する。

１０４はネットワークカメラサーバであり、クライアントＰＣ１０２、マーケティングサーバ１０３、またはＰＯＳサーバ１０５からの指示を受け付け、指示に基づいてネットワークカメラ制御処理を行う。ネットワークカメラ制御処理とは、ネットワークカメラサーバ１０４と同じネットワークに接続されている複数のネットワークカメラ１０６に対して制御指示を行い、カメラの動作を制御する処理を指す。また、ネットワークカメラ制御処理には、ネットワークカメラ１０６の動作結果に応じて、ネットワークカメラサーバ１０４が自律的に制御を行う処理も含む。

１０５はＰＯＳサーバであり、ＰＯＳレジ１０７と合わせて、店舗での売り上げに関する購買情報を管理するＰＯＳ（Ｐｏｉｎｔ ｏｆ ｓａｌｅｓ）システムを構成する。このＰＯＳシステムでは購買情報として、商品名、価格、数量、日時などの販売実績にかかわる情報を管理する。なお、本実施形態では、商品の売買を行う例を説明しているが、各種サービスを含めた様々な取引についても本システムは適用可能である。したがって、ＰＯＳシステムは広く取引の内容を示す購買情報（取引情報）を取得する。取引情報には、取引時刻、取引対象の名称、取引対象の単価、取引対象の点数、及び、取引金額の少なくともいずれかの情報が含まれうる。

１０６は撮像装置（ネットワークカメラ）である。ネットワークカメラ１０６は、店舗に設けられ、店舗の画像を取得する。ネットワークカメラ１０６は、ネットワークカメラサーバ１０４からの制御指示を受け付け、画像取得や、カメラの回転方向の制御、音声の収録などを行う。後述するように、所定の場所を撮影して、人物が写り込んでいる撮影画像を生成する。

１０７はＰＯＳレジであり、ＰＯＳシステムを構成する。ＰＯＳレジは、一般的なＰＣおよびキャッシュレジスター装置としての機能を有しており、入出金機、レシート発行用プリンタ、カードリーダ、バーコードリーダなどが接続されていてもよい。

１０２〜１０５、１０４と１０６、及び、１０５と１０７は、それぞれネットワークに接続され相互に通信が可能である。また、各機能の全て又は一部を一台のＰＣあるいはサーバに集約し、一台で構成するようにしてもよい。以下、クライアントＰＣ１０２、マーケティングサーバ１０３、ネットワークカメラサーバ１０４、及び、ＰＯＳサーバ１０５を一台の情報処理装置に集約して構成する場合の例を説明する。

図２は、店舗のレイアウトの一例を示す平面図である。店舗には、出入口、通路スペース、ＰＯＳレジが置かれるレジスペース、複数の商品棚が設けられており、ネットワークカメラ（２０１〜２０３）も設置されている。

２０１はレジカメラであり、レジスペースにおける会計の様子を撮像する目的で設置される。レジカメラ２０１を用いることで、会計を行っている顧客や、会計待ちをしている顧客の様子、会計処理を行う店員の様子などの画像を取得できる。

２０２は入口カメラであり、出入口における顧客の通行の様子を撮像する目的で設置される。２０３は出口カメラであり、出入口における顧客の通行の様子を撮像する目的で設置される。入口カメラ２０２を用いることで、顧客の入店時の画像を取得することができ、出口カメラ２０３を用いることで、顧客の退店時の画像が取得できる。本実施形態に係るマーケティング分析システム１０１は、図２に示したようなレイアウトの小売店舗に設置され、ネットワークカメラから取得される画像情報とＰＯＳレジに入力される購買情報を合わせて購買者の情報を取得し、マーケティング分析処理を行う。

（ハードウェア構成）
図３は、クライアントＰＣ１０２、マーケティングサーバ１０３、ネットワークカメラサーバ１０４、及び、ＰＯＳサーバ１０５を実現するための情報処理装置のハードウェア構成例を示すブロック図である。情報処理装置は、パーソナルコンピュータ（ＰＣ）により実現されるが、組込みシステム、タブレット端末等により実現してもよい。

図３において、ＣＰＵ９９０は中央演算処理装置であり、コンピュータプログラムに基づいて他の構成要素と協働し、情報処理装置全体の動作を制御する。ＲＯＭ９９１は読出し専用メモリであり、基本プログラムや基本処理に使用するデータ等を記憶する。ＲＡＭ９９２は書込み可能メモリであり、ＣＰＵ９９０のワークエリア等として機能する。

外部記憶ドライブ９９３は記録媒体へのアクセスを実現し、ＵＳＢメモリ等のメディア（記録媒体）９９４に記憶されたコンピュータプログラムやデータを本システムにロードすることができる。ストレージ９９５はＳＳＤ（ソリッドステートドライブ）等の大容量メモリとして機能する装置である。ストレージ９９５には、各種コンピュータプログラムやデータが格納される。

操作部９９６はユーザからの指示やコマンドの入力を受け付ける装置であり、キーボードやポインティングデバイス、タッチパネル等がこれに相当する。ディスプレイ９９７は、操作部９９６から入力されたコマンドや、それに対する情報処理装置の応答出力等を表示する表示装置である。インターフェイス（Ｉ／Ｆ）９９８は外部装置とのデータのやり取りを中継する装置である。システムバス９９９は、情報処理装置内のデータの流れを司るデータバスである。

なお、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。

（機能構成）
図４は、システム全体の機能構成３０１を示すブロック図である。図４の各機能は、上記情報処理装置がコンピュータプログラムに基づき動作することにより実現される。

３０２はＰＣ画面表示部であり、各処理部の結果を受け、クライアントＰＣ１０２の画面に対して表示を行う。

３０３はＰＣ入力受付部であり、クライアントＰＣ１０２において、ユーザによる入力を受け付けて、各処理部へ処理の指示を行う。ここでのユーザとは、例えば、マーケティング分析を行いたい小売店舗の店員や小売店舗を統括するエリアマネージャを指す。

３０４は顧客情報処理部であり、ＰＯＳサーバ１０５においてＰＯＳ入力受付部３０９からの指示を受けて、顧客情報の取得や蓄積を行う。顧客情報処理部３０４では、ネットワークカメラ制御部３０５を通じて、ネットワークカメラ１０６から画像を取得し、映像解析部３０６を用いて取得した画像を解析して顧客の性別や年齢等を含む顧客情報を取得し、顧客情報保持部３１１に保存する。

３０５はネットワークカメラ制御部であり、ネットワークカメラサーバ１０４においてＰＣ入力受付部３０３または顧客情報処理部３０４からの指示を受けて、ネットワークカメラ１０６に対して制御指示を行う。ネットワークカメラ制御部３０５では、複数ネットワークカメラに対して画像取得や、カメラの回転方向の制御、音声の収録などの制御指示を行う。

３０６は映像解析部であり、マーケティングサーバ１０３において顧客情報処理部３０４からの指示を受けて、映像解析を行う。映像解析部３０６では、顧客情報処理部３０４がネットワークカメラ１０６から取得した画像に対して、顔認識や年齢性別推定などの画像解析処理を行う。

３０７は購買情報処理部であり、ＰＯＳサーバ１０５においてＰＯＳ入力受付部３０９からの指示を受けて、購買情報の取得や蓄積を行う。購買情報処理部では、小売店舗の店員が販売時に行う売り上げ情報の処理を行う。また、売り上げ情報と併せて、購買した顧客の情報も付加して、購買情報保持部３１２に保存する。

３０８はＰＯＳ画面表示部であり、各処理部の結果を受け、ＰＯＳレジ１０７の画面に対して表示を行う。３０９はＰＯＳ入力受付部であり、ＰＯＳレジ１０７において、ユーザによる入力を受け付けて、各処理部へ処理の指示を行う。また、ＰＯＳ入力受付部３０９は、売り上げの記録など会計処理操作の受け付けも行う。

３１０はマーケティング分析処理部であり、マーケティングサーバ１０３においてＰＣ入力受付部３０３からの指示を受けて、マーケティング分析処理を行う。マーケティング分析処理部３１０では、購買情報保持部３１２、顧客情報保持部３１１に保存されている情報を用いて、年代別分析、併売分析などのマーケティング分析処理を行い、処理結果をマーケティング分析情報保持部３１３に保存する。

３１１は顧客情報保持部であり、ＰＯＳサーバ１０５において、顧客情報に関わる情報を保持する。３１２は購買情報保持部であり、ＰＯＳサーバ１０５において、購買情報に関わる情報を保持する。

３１３はマーケティング分析情報保持部であり、マーケティングサーバ１０３において、マーケティング分析に関わる情報を保持する。ここでのマーケティング分析に関わる情報とは、マーケティング分析処理部３１０で使用されるユーザからの入力情報や、年代別分析、併売分析などの処理結果情報を指す。

（データ構造）
本システムでは、ネットワークカメラ１０６が取得した画像から購買者の情報を取得し、それと売り上げ情報である購買情報とを関連付けて保存する。図５を用いて、データテーブルの一例を示す。図５は、システムが保持する顧客情報と購買情報およびその関連を表したデータテーブルの一例である。

テーブル４０１は、注文ＩＤ、注文日時、顧客ＩＤ、合計金額を含んでいる。注文ＩＤは顧客ごとの注文売り上げを管理するために付与される注文を識別するためのＩＤ（識別情報）である。注文日時は注文売り上げを行った日時である。顧客ＩＤは注文に対応する購買者を識別するためのＩＤ（識別情報）である。合計金額は、注文売り上げの合計の金額である。

テーブル４０２は、注文ＩＤ、明細ＩＤ、商品名、点数、単価を含んでいる。注文ＩＤはテーブル４０１と同様である。明細ＩＤは、注文に含まれる商品ごとに付与されるＩＤ（識別情報）であり、同一の注文内で一意なＩＤが付与される。商品名は顧客が購買した商品の名称を表す。点数は顧客が購入した商品点数である。単価は顧客が購入した商品の単価を表す。

テーブル４０３は、顧客ＩＤ、年齢、性別、画像、画像取得時刻、退店確認を含んでいる。顧客ＩＤはテーブル４０１と同様である。年齢、性別はそれぞれ購買者の年齢、性別のデータを表す。画像は、入口カメラ２０２から取得した顧客の顔画像を表す。画像取得時刻は画像の取得時刻を表す。退店確認は、顧客が店舗から退店したかどうかを表しており、退店済の顧客には「済」と表示される。本実施形態では、顧客の個人情報である顔画像は退店確認された後に消去する構成としており、退店確認された顧客の画像は消去される。テーブル４０３では、顧客ＩＤ「ｚ９９８」、「ｚ９９９」は退店確認が「済」とされているため、顧客ＩＤ「ｚ９９８」、「ｚ９９９」の画像はともに消去されている。

本実施形態では、ネットワークカメラが取得した顧客の画像がそのままデータテーブルに格納されている構成としているが、画像は別のデータベースに格納され、その格納場所へのリンクをデータテーブルとして保持する構成であってもよい。また、各テーブル間に引かれた矢印は関連を示しており、注文ＩＤ、顧客ＩＤの各データを介して各テーブルを参照できる。例えば、顧客ＩＤが「ａ００１」の男性が、注文ＩＤ「ｏｒｄｅｒ１」が示す購買（「ビスケット」を二つと「チョコレート」を一つ）を行ったことがわかる。また、顧客情報として年齢、性別、画像を用いているが、これに限定されるものでなく、他に身長や服装などの顧客の属性を表す情報が含まれていてもよい。

（マーケティング分析処理）
以下、図６を用いて、マーケティング分析システム１０１における処理（マーケティング分析処理）の流れを説明する。図６は、マーケティング分析処理の処理手順を示すフローチャートである。以下の各ステップは、ＣＰＵ９９０の制御に基づき実行される。

Ｓ５０１において、ネットワークカメラ制御部３０５は、入口カメラ２０２から入り口付近において撮影された、人物が写り込んでいる撮影画像を取得する。Ｓ５０２において、映像解析部３０６は、Ｓ５０１で取得した入口付近の画像に対して画像解析処理を行い、撮影画像に写り込んでいる顧客情報（人物情報）を取得する。顧客情報とは、顧客の年齢や性別、顔認識情報などの身体的特性にかかわる情報を指す。顧客情報の取得は公知の手法を適用することにより行うことができる。例えば、特開２００９−８６９０１号公報には、入力画像に映された人物の年齢を推定する構成が記載されている。顧客情報（人物情報）には、身長、髪型、体重等の人物の身体的特性を示す他の情報や撮影時刻の情報等が含まれてもよい。

Ｓ５０３において、映像解析部３０６は、Ｓ５０２で取得した顧客情報を、顧客情報保持部３１１の店舗内顧客リストに追加し、保存する。店舗内顧客リストとは、マーケティング分析システム１０１が現在時刻において店舗内に滞在している顧客を管理するためのリストであり、テーブル４０３の形で情報を保持する。Ｓ５０２、Ｓ５０３では、Ｓ５０１で取得した画像に顧客情報が含まれていない場合、処理を行わず次の処理に進む。

Ｓ５０４において、顧客情報処理部３０４は、ＰＯＳレジ１０７で購買処理が開始されたかどうかを判定する。購買処理が開始されていれば（Ｓ５０４でＹＥＳ）Ｓ５０５へ進み、開始されていなければ（Ｓ５０４でＮＯ）Ｓ５０６へ進む。

Ｓ５０５において、購買情報処理部３０７はユーザの入力を受け付けて購買処理を行い、購買情報を購買情報保持部３１２に保存する。購買処理の詳細については図６（ｂ）を用いて説明する。

Ｓ５０９において、購買情報処理部３０７は、店舗内顧客リストに含まれる顧客情報をＰＯＳレジ１０７が備える表示装置の画面に表示する。図７は、ＰＯＳレジ１０７に表示される画面の一例を示す図である。

６０１は顧客が購買しようとしている商品のリストを表示する領域であり、商品名、点数、単価などが表示される。図７の例では、顧客は単価２００円のビスケット２点と単価２４０円のチョコレート１点を購買しようとしていることを表している。

６０２は会計処理に関わる合計金額などの情報を表示する領域である。顧客が購買しようとしている商品の合計金額、預かり金額、お釣りなどを表示する。６０１、６０２は、購買情報（取引情報）に含まれる情報である。これらの購買情報は、例えば、商品に付されたタグ（バーコード、ＮＦＣタグ等を含む）の読み取りに応じて取得される。

６０３は店舗内顧客リストに含まれる顧客情報を表示する店舗内顧客リスト表示領域である。店舗内顧客リスト表示領域には、店員が購買情報と関連付く購買者を選択するために必要となる画像などの情報を表示し、ユーザからの選択指示を受け付ける。図７の例では、６０４に示すように顧客情報のうち画像情報を表示する構成としているが、これに限らない。年齢や性別、画像取得時刻など顧客情報に含まれる情報のうち、ユーザが購買者選択を行うために用いることができるものであればどのようなものでもよい。また、この画面では、６０５に示すように吹き出しなどで補助的に顧客情報（図７の例では年齢と性別）を表示し、購買者の選択が容易になっている。ユーザは店舗内顧客リスト表示領域６０３を見て、購買しようとしている顧客を判断し、購買者として選択する。また、購買者候補が選択された場合に、選択されたことがわかるような強調表示を行う。図７の例では６０６に示したように選択された画像を枠で囲んだ表示を行っている。このようにして、Ｓ５０９では、撮影画像を選択可能にＰＯＳレジ１０７のディスプレイに表示させる表示制御を行う。

図６（ｂ）の説明に戻る。Ｓ５１０において、購買情報処理部３０７は、ユーザによる購買者選択の指示を受け付けて、指定された顧客情報を購買者として扱う。

Ｓ５１１において、購買情報処理部３０７は、選択された購買者の顧客情報と購買情報を関連付けて購買処理を実施し、購買情報を購買情報保持部３１２に保存する。このとき購買情報は４０１〜４０３が示すテーブルの形で保存される。このようにして、撮影画像の選択に応じて、当該撮影画像から取得された顧客情報（人物情報）と、購買情報（取引情報）とを関連付けて記憶装置に記憶させる。そして、Ｓ５０６へ進む。

図６（ａ）の説明に戻る。Ｓ５０６において、ネットワークカメラ制御部３０５は、ネットワークカメラ１０６に制御指示を行い、出口カメラ２０３から出口付近の画像を取得する。

Ｓ５０７において、映像解析部３０６は、Ｓ５０６で取得した出口付近の画像に対して画像解析処理を行い、画像に含まれる顧客情報を取得する。

Ｓ５０８において、映像解析部３０６は、Ｓ５０７で取得した顧客情報を用いて、同等の顧客情報を検索し、顧客情報保持部３１１の店舗内顧客リストから該当する顧客情報を削除する。ここで顧客情報を削除することで、図７の６０４には退店した顧客が表示されなくなる。これにより、６０４では店内にいる顧客のみを選択できるようにしている。ここでの顧客情報の検索では、顔認識情報など誤検知しにくい情報を主として用い、他の属性情報も合わせて考慮することで高い精度で検索することができる。顧客の退店に応じて、テーブル４０３においてその顧客の退店確認を「済」に設定する。Ｓ５０７、Ｓ５０８では、画像に顧客情報が含まれていない場合、処理を行わず次の処理に進む。

上記Ｓ５０１〜Ｓ５０８によって、マーケティング分析システム１０１は購買情報と顧客情報を関連付けることが可能となる。マーケティング分析システム１０１は、購買情報と顧客情報を関連付けた情報を用いて、年代別分析、併売分析などのマーケティング分析処理を行い、結果を出力する。

以上のように第一の実施形態のマーケティング分析システムによれば、入口カメラおよび出口カメラで取得した顧客情報を用いて、店舗内に滞在している顧客を管理し、店舗内顧客と購買情報とを容易に関連付けることが可能となる。すなわち、入店時に撮影された撮影画像をＰＯＳレジの画面に選択可能に表示し、選択された撮影画像から取得された顧客情報（人物情報）と購買情報（取引情報）を関連付けて記憶する記憶制御をすることで、顧客情報と購買情報の収集・解析を容易にした。これにより、少ないカメラ台数でシステム構築が行え、少ないコストおよび作業負荷で顧客情報と購買情報を関連付けることができ、より多様なマーケティング分析ができる。

また、本実施形態では、店舗等の所定の空間的範囲の内部に存在する人物の顧客情報を保持し、その保持された顧客情報に対応する撮影画像を表示装置に表示させる。そのために、本実施形態では、入口付近に設けられた撮像装置を介して取得された撮影画像に写り込んでいる人物の人物情報を取得したことに応じて、当該人物情報を新たに保持する。また、人物が空間的範囲から退出したことの検知に応じて、当該人物が写り込んでいる撮影画像から取得された人物情報を保持対象から削除する。具体的には、出口付近に設けられた撮像装置を介して取得された撮影画像を解析して取得された人物情報を保持対象から削除する。したがって、少数のカメラを設けるだけで画像解析に基づく顧客情報と購買情報との対応付けを行い、マーケティング分析を支援することが可能となる。

＜実施形態２＞
実施形態１においては、入口カメラおよび出口カメラで取得した顧客情報から、店舗内に滞在している顧客を管理し、店舗内顧客と購買情報とを容易に関連付けることが可能なマーケティング分析システムを説明した。本発明の第二の実施形態（実施形態２）では、店員からの指示を受け付けて、店舗内に滞在している顧客の管理方式を切り替え、顧客の管理方式に応じた店舗内顧客と購買情報との関連付けを行うことが可能な構成を説明する。本実施形態の構成によれば、混雑度など店舗の状況に応じて顧客の管理方式を切り替えることで容易に購買情報と顧客情報を関連付けることができる。本実施形態におけるシステムの全体概要、プログラムの構成、データ構造は、実施形態１と同様のため詳細な説明を省略する。

（マーケティング分析処理）
以下、図８を用いて、マーケティング分析システム１０１における処理の流れを説明する。図８は、本実施形態におけるマーケティング分析処理の処理手順を示すフローチャートである。以下の各ステップは、ＣＰＵ９９０の制御に基づき実行される。

Ｓ７０１において、購買情報処理部３０７はユーザによるＰＯＳ入力受付部３０９からの検知方式切り替え指示を受け付ける。ここでは、検知方式切り替え指示として、入店から退店までの店舗内に滞在している顧客を管理する「入店退店方式」と、レジ待ち列に並んでから退店までの顧客を管理する「レジ並び方式」のいずれかが指示される場合の例を説明する。検知方式はこれに限らず、「顧客が特定の売り場エリアに入ってからレジで会計を終えるまで」のように、会計の前後の店舗内に滞在している顧客がリストとして管理できる方式であればどのようなものでもよい。

図９は、検知方式切り替え指示の際の画面例を示す図である。８０１は６０３と同様に、店舗内顧客リストに含まれる顧客情報を表示する店舗内顧客リスト表示領域である。店舗内顧客リスト表示領域には、店員が購買者を選択するために必要となる画像などの情報を表示する。８０２は、入店退店方式への検知方式切り替え指示を受け付けるボタンである。８０３は、レジ並び方式への検知方式切り替え指示を受け付けるボタンである。ボタン８０２またはボタン８０３が押されると、８０１の店舗内顧客リスト表示領域に表示される情報が切り替わる。８０２が押されると、８０１には入店から退店までの店舗内に滞在している顧客がリストとして表示され、８０３が押されると、レジ待ち列に並んでから退店までの顧客が表示される。

Ｓ７０１において入店退店方式が指示された場合は、Ｓ７０２へ進んでＳ７０２〜Ｓ７０９の処理を行う。Ｓ７０２〜Ｓ７０９の各ステップの処理は、図６のＳ５０１〜Ｓ５０８と同様のため説明を省略する。Ｓ７０９の処理を終えると、Ｓ７０１へ戻る。

Ｓ７０１において、レジ並び方式が指示された場合の処理の流れをＳ７１０〜Ｓ７１７を用いて説明する。Ｓ７１０において、ネットワークカメラ制御部３０５は、ネットワークカメラ１０６に制御指示を行い、レジカメラ２０１からレジ待ち列付近の画像を取得する。このとき、レジカメラ２０１は、レジ待ちの列が形成される画像領域に顧客が映りこんだらレジ待ち列に並んだと認識し、レジ待ち列付近の画像を取得する。

Ｓ７１１において、映像解析部３０６は、Ｓ７１０で取得したレジ待ち列付近の画像に対して画像解析処理を行い、画像に含まれる顧客情報を取得する。画像解析処理は、図６のＳ５０２と同様に、公知の手法を適用して行うことができる。

Ｓ７１２において、映像解析部３０６は、Ｓ７１１で取得した顧客情報を、顧客情報保持部３１１のレジ待ち顧客リストに追加し、保存する。レジ待ち顧客リストとは、マーケティング分析システム１０１が現在時刻においてレジ待ちで列を形成している顧客を管理するためのリストであり、４０３に示すテーブルの形で情報を保持する。Ｓ７１１、Ｓ７１２では、画像に顧客情報が含まれていない場合、処理を行わず次の処理に進む。

Ｓ７１３において、顧客情報処理部３０４は、ＰＯＳレジ１０７で購買処理が開始されたかどうかを判定する。購買処理が開始されていれば（Ｓ７１３でＹＥＳ）Ｓ７１４に進み、開始されていなければ（Ｓ７１３でＮＯ）Ｓ７１５に進む。

Ｓ７１４において、購買情報処理部３０７はユーザの入力を受け付けて購買処理を行い、購買情報を購買情報保持部３１２に保存する。Ｓ７１４における購買処理の詳細は、対象とするリストが店舗内顧客リストからレジ待ち顧客リストに変わるのみで、実施形態１において説明した図６（ｂ）の処理と同様のため、詳細な説明を省略する。そして、Ｓ７１５へ進む。

Ｓ７１５において、ネットワークカメラ制御部３０５は、ネットワークカメラ１０６に制御指示を行い、出口カメラ２０３から出口付近の画像を取得する。

Ｓ７１６において、映像解析部３０６は、Ｓ７１５で取得した出口付近の画像に対して画像解析処理を行い、画像に含まれる顧客情報を取得する。

Ｓ７１７において、映像解析部３０６は、顧客情報保持部３１１のレジ待ち顧客リストからＳ７１６で取得した顧客情報を用いて、同等の顧客情報を検索し、該当する顧客情報を削除する。Ｓ７１６、Ｓ７１７では、画像に顧客情報が含まれていない場合、処理を行わず次の処理に進む。

以上のように、本実施形態のマーケティング分析システムによれば、店員からの指示を受け付けて、店舗内に滞在している顧客の管理方式を切り替え、顧客の管理方式に応じた店舗内顧客と購買情報とを関連付けることができる。すなわち、本実施形態では、店舗内領域、レジ待ち列範囲等の空間的範囲の指定を受け付ける受付処理を行い、受け付けた空間的範囲の指定に応じて、顧客情報（人物情報）を保持する空間的範囲を切り替える。そのため、ユーザは、店舗の大きさや顧客の人数等に応じて、ＰＯＳレジの表示装置の表示対象となる撮影画像の個数を調整することができ、容易に購買情報と撮影画像を対応付けて、マーケティング情報を収集することが可能となる。したがって、店舗内が混み合って店舗内顧客リスト表示領域に多数の顧客情報が表示される場合であっても、管理方式を切り替えることで容易に購買者情報の関連付けを行うことができる。

上記のように本発明の各実施形態によれば、少ないコストおよび作業負荷で購買情報と顧客情報を関連付けることができ、より多様なマーケティング分析が可能となる。また、店舗内に滞在している顧客管理方式の切り替えが行え、混雑度など店舗の状況に応じて切り替えることで容易に購買情報と顧客情報を関連付けることができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：マーケティング分析システム、１０２：クライアントＰＣ、１０３：マーケティングサーバ、１０４：ネットワークカメラサーバ、１０５：ＰＯＳサーバ、１０６：ネットワークカメラ、１０７：ＰＯＳレジ

Claims (15)

1. 所定の場所において撮影された、人物が写り込んでいる撮影画像を取得する第１の取得手段と、
   前記撮影画像に写り込んでいる人物の身体的特性を示す人物情報を取得する第２の取得手段と、
   取引の内容を示す取引情報を取得する第３の取得手段と、
   前記撮影画像を選択可能に表示手段に表示させる表示制御手段と、
   前記撮影画像の選択に応じて、当該撮影画像から取得された人物情報と、前記取引情報とを関連付けて記憶手段に記憶させる記憶制御手段と
   を備えることを特徴とする情報処理装置。
2. 前記第２の取得手段は、前記撮影画像を解析して当該撮影画像に写り込んでいる人物の人物情報を取得することを特徴とする請求項１に記載の情報処理装置。
3. 所定の空間的範囲の内部に存在する人物の前記人物情報を保持する保持手段をさらに備え、
   前記保持手段は、前記第２の取得手段が前記撮影画像に写り込んでいる人物の人物情報を取得したことに応じて、当該人物情報を新たに保持し、
   前記表示制御手段は、前記保持手段に保持された人物情報に対応する撮影画像を表示手段に表示させる
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記第１の取得手段は、前記所定の場所として、前記空間的範囲の入口において撮影された人物の撮影画像を取得することを特徴とする請求項３に記載の情報処理装置。
5. 前記保持手段は、人物が前記空間的範囲から退出したことの検知に応じて、当該人物が写り込んでいる撮影画像から取得された人物情報を保持対象から削除することを特徴とする請求項３又は４に記載の情報処理装置。
6. 第２の所定の場所において撮影された、人物が写り込んでいる撮影画像を取得する第４の取得手段をさらに備え、
   前記第２の取得手段は、前記第４の取得手段により取得された撮影画像を解析して当該撮影画像に写り込んでいる人物の身体的特性を示す人物情報をさらに取得し、
   前記保持手段は、前記第２の取得手段が前記第４の取得手段により取得された撮影画像に写り込んでいる人物の人物情報を取得したことに応じて、当該人物情報を保持対象から削除する
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記空間的範囲の指定を受け付ける受付手段をさらに備え、
   前記保持手段は、前記受付手段が受け付けた空間的範囲の指定に応じて、前記人物情報を保持する前記空間的範囲を切り替える
   ことを特徴とする請求項３から６のいずれか１項に記載の情報処理装置。
8. 前記受付手段が指定を受け付ける空間的範囲には、店舗内領域とレジ待ち列範囲との少なくともいずれかが含まれることを特徴とする請求項７に記載の情報処理装置。
9. 前記表示制御手段は、前記取引情報を前記表示手段にさらに表示させることを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
10. 前記第３の取得手段は、商品に付されたタグの読み取りに応じて前記取引情報を取得し、
    前記表示制御手段は、レジに設けられた表示手段に前記撮影画像を表示させる
    ことを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。
11. 前記人物情報には、人物の性別、年齢、及び、撮影時刻の少なくともいずれかの情報が含まれることを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
12. 前記取引情報には、取引時刻、取引対象の名称、取引対象の単価、取引対象の点数、及び、取引金額の少なくともいずれかの情報が含まれることを特徴とする請求項１から１１のいずれか１項に記載の情報処理装置。
13. 所定の場所において撮影された、人物が写り込んでいる撮影画像を取得する第１の取得手段と、
    前記撮影画像に写り込んでいる人物の身体的特性を示す人物情報を取得する第２の取得手段と、
    取引の内容を示す取引情報を取得する第３の取得手段と、
    前記撮影画像を選択可能に表示する表示手段と、
    前記撮影画像の選択に応じて、当該撮影画像から取得された人物情報と、前記取引情報とを関連付けて記憶手段に記憶させる記憶制御手段と
    を備えることを特徴とする表示装置。
14. 所定の場所において撮影された、人物が写り込んでいる撮影画像を取得する第１の取得工程と、
    前記撮影画像に写り込んでいる人物の身体的特性を示す人物情報を取得する第２の取得工程と、
    取引の内容を示す取引情報を取得する第３の取得工程と、
    前記撮影画像を選択可能に表示手段に表示させる表示制御工程と、
    前記撮影画像の選択に応じて、当該撮影画像から取得された人物情報と、前記取引情報とを関連付けて記憶手段に記憶させる記憶制御工程と
    を備えることを特徴とする情報処理装置の制御方法。
15. コンピュータを、請求項１から１２のいずれか１項に記載の情報処理装置、又は、請求項１３に記載の表示装置が備える各手段として機能させるためのコンピュータプログラム。

Images