JP2021047810A - 購買行動データ収集システム、及び購買行動データ収集プログラム - Google Patents

Abstract

【課題】客が商品に関する何の情報に関心を示しているかを示すデータを収集可能とする購買行動データ収集システム、及び購買行動データ収集プログラムを提供すること。【解決手段】実施形態によれば、購買行動データ収集システムは、視線認識部、商品認識部、商品姿勢認識部、商品情報検索部、視認情報判別部、情報記録部を有する。視線認識部は、客の視線を認識する。商品認識部は、客による視認対象とする商品を特定する。商品姿勢認識部は、商品の姿勢を認識する。商品情報検索部は、特定された商品の外装に付された複数の情報を含むパッケージ情報を検索する。視認情報判別部は、客の視線、商品の姿勢、及びパッケージ情報をもとに、客が視認している商品の外装に付された情報を判別する。情報記録部は、客が視認していると判別された情報を含む商品視認情報を記録させる。【選択図】図２

Description

本発明の実施形態は、購買行動データ収集システム、及びコンピュータに実行させる購買行動データ収集プログラムに関する。

従来より、客の購買行動を分析して、店舗側の販売促進策に結び付けが可能なデータとして提供するシステムが知られている。従来のシステムでは、例えば、客の手の動きをもとに客が把持している商品を認識したり、客の視線をもとに何れの商品を見ているかを認識したりすることでデータを収集している。従って、従来のシステムでは、客が興味を示している商品についてのデータを収集可能である。

しかしながら、客が興味を示している商品についてのデータを収集するだけでは、客の購買行動が、商品に関する何の情報に基づいて行われているか推定することが困難である。

国際公開第２０１５／０３３５７７号

本発明の実施形態が解決しようとする課題は、客が商品に関する何の情報に関心を示しているかを示すデータを収集可能な購買行動データ収集システム、及び購買行動データ収集プログラムを提供することである。

実施形態によれば、購買行動データ収集システムは、視線認識部、商品認識部、商品姿勢認識部、商品情報検索部、視認情報判別部、情報記録部を有する。視線認識部は、客の視線を認識する。商品認識部は、客による視認対象とする商品を特定する。商品姿勢認識部は、商品の姿勢を認識する。商品情報検索部は、特定された商品の外装に付された複数の情報を含むパッケージ情報を検索する。視認情報判別部は、客の視線、商品の姿勢、及びパッケージ情報をもとに、客が視認している商品の外装に付された情報を判別する。情報記録部は、客が視認していると判別された情報を含む商品視認情報を記録させる。

本実施形態の購買行動データ収集システムの構成を示すブロック図。 本実施形態におけるサーバの要部回路構成を示すブロック図。 本実施形態におけるカメラ設置データベースに記録されたデータの一例を示す図。 本実施形態におけるカメラによる撮影範囲の一例を説明するための図。 本実施形態におけるカメラによって撮影される画像の一例を示す図。 本実施形態における商品視認情報データベースに記録される商品視認情報のデータ構成の一例を示す図。 本実施形態における購買行動データ収集プログラムに従って実行する主要な処理の手順を示すフローチャート。 パッケージ情報が示す商品に付された複数の情報にそれぞれ対応する領域範囲を示す図。 客による商品に対する視認の状況を示す図。

以下、本実施形態について、図面を参照しながら説明する。

図１は、本実施形態の購買行動データ収集システムの構成を示すブロック図である。本実施形態の購買行動データ収集システムは、例えば量販店、大型電気店、ホームセンターなどの店舗１０に設置される。購買行動データ収集システムは、客が商品の購入などのために商品を手に取るなどした場合に、その商品の外装に付された複数の情報の何れに注目しているかを判別し、その注目している情報を収集する。

図１に示すように、店舗１０は、売場１１とそれ以外のバックヤード１２とからなる。売場１１には、複数の商品棚１３が配置されており、商品棚１３の間及び商品棚１３と壁との間が客の通路となっている。入店した客は、売場１１の通路を回り、商品棚１３から購入したい商品を取ってショッピングカート等に入れる。客は、商品の外装（パッケージ）に記載された各種の情報を確認した上で、商品を購入するか否かを判断する場合がある。買物を終えた客は、売場１１の一部に設けられた会計場で会計（決済処理）を行う。

店舗１０では、売場１１にいる客が注目している商品の情報を収集するために、画像入力システム２０が備えられている。画像入力システム２０は、店舗１０にいる客を撮影した画像の画像データを入力するため、例えば天井などに設置された複数台のカメラ２１（天井カメラと称する場合がある）、例えば商品棚１３などに設置された複数台のカメラ２２（棚前カメラと称する場合がある）、カメラ２１，２２を制御するカメラコントローラ２３とを含む。

カメラ２１（天井カメラ）は、例えば、売場１１の通路全域を撮影領域としてカバーできるように、通路毎に設置されている。カメラ２１は、購買行動をしている客の画像を上方から撮影する。カメラ２１により撮影される画像をもとに、客の位置（特に頭あるいは顔の位置）、客による商品を取り出す動作（腕、手の動きなど）、客が手に取っている商品の位置などを検出することができる。カメラ２１の台数及び取付場所は、特に制限されるものではない。要は、通路全域を撮影領域とし、通路に居る客の状況を撮影できればよい。図１では、１つの通路に１台のカメラ２１が設置されていることを示している。

カメラ２２（棚前カメラ）は、例えば、商品棚１３の前方を撮影領域としてカバーできるように、商品棚１３の上部から通路側に向けて設置されている。カメラ２２は、商品棚１３の前にいる商品を見ている客の画像を撮影する。カメラ２２により撮影される画像をもとに、客の顔（顔位置、目、鼻、口などパーツの位置、向きなど）、眼球の位置及び瞳の位置（視線方向）、客が手に取っている商品の位置などを検出することができる。カメラ２２の台数及び取付場所は、特に制限されるものではない。カメラ２２は、例えば、商品棚１３の区切り毎に設置され、区切りに置かれる商品と対応付けられる。図１では、１つの商品棚１３にのみカメラ２２を示しているが、他の商品棚１３にも同様にしてカメラ２２が設置されているものとする。

こうして、複数のカメラ２１，２２により客が商品を見ている状況の画像を撮影することで、画像をもとに客が商品を商品棚１３から取り出したこと、また客が持っている商品を検出することができる。さらに画像中における客の位置（顔、頭、目、瞳）と商品の位置関係、画像を撮影したカメラ２１，２２の設置位置をもとにして、商品と客の位置関係を特定し、客の視線方向から商品の外装（パッケージ）の何れの情報を客が視認しているかを特定することができる。

なお、本実施形態では、カメラ２１，２２により撮影された画像をもとにして、客が商品を商品棚１３から取り出したこと、客が持っている商品を検出するとしているが、各種のセンサを設けて検出することもできる。例えば、商品棚１３に赤外線センサ、重量センサなどを設けて、商品棚１３から商品が取り出されたことを検出するようにしても良い。例えば、重量センサは、商品棚１３に置かれた商品の重量変化を検出することができる。すなわち、重量センサによって重量が軽くなったことが検出された場合に、客が商品を商品棚１３から取るという行動をしたこと判別し、また重量センサの設置位置に置かれた商品を客が持っていることを判別できる。

なお、前述した説明では、客の状況を判別するための情報を取得するために、カメラ２１，２２とセンサ（重量センサなど）とを設けた構成例について説明したが、その他の入力デバイスを用いて各種の情報を取得できるようにしても良い。

カメラコントローラ２３は、有線通信又は無線通信を介してカメラ２１，２２を接続して動作を制御する。カメラコントローラ２３は、各カメラ２１，２２で撮影された画像信号を受信する。

顧客認識装置３１は、来店した客を認識するための装置であり、例えば店舗１０の入り口近くに設置される。顧客認識装置３１は、例えば、顔認証技術を利用し、来店した客の顔画像を撮影して、予め登録された客の顔画像の特徴データと照合することで客を特定する。あるいは、顧客認識装置３１は、会員カードやスマートフォンなどの携帯機器に記憶された、客固有の識別データ（顧客ＩＤ）を読み取る装置とすることもできる。顧客認識装置３１は、認識された顧客のデータをサーバ４０に送信する。

サーバ４０は、カメラコントローラ２３を通じて入力される画像データをもとに、客の視線を認識する視線認識部と、客が手に持つなどしている客による視認対象とする商品を特定する商品認識部と、客が商品を視認している時の商品の姿勢を認識する商品姿勢認識部と、特定された商品の外装に付された複数の見かけ上の情報を含むパッケージ情報を後述するパッケージ情報データベース４３Ｂから検索する商品情報検索部と、客の視線、商品の姿勢、及びパッケージ情報をもとに、客が視認している商品の外装に付された情報を判別する視認情報判別部と、客が視認していると判別された情報を含む商品視認情報を後述する商品視認情報データベース４３Ａに記録させる記録部としての機能を有する。サーバ４０は、これらの機能を実現するために、後述する購買行動データ収集プログラムを実装している。

なお、図１では、カメラコントローラ２３及びサーバ４０がいずれもバックヤード１２に設けられているものとして図示されているが、必ずしもバックヤード１２に設けられていなくてもよい。例えばカメラコントローラ２３は、各カメラ２１，２２との間で信号を送受信できるのであれば、売場１１に設けられていてもよい。サーバ４０は、インターネット等のネットワークを介してコンピュータ資源を提供するクラウドコンピューティングの環境下に置かれていてもよい。

図２は、本実施形態におけるサーバ４０の要部回路構成を示すブロック図である。サーバ４０は、プロセッサ４１、メインメモリ４２、補助記憶デバイス４３、通信装置４４、第１のＩ／Ｏ（Input / Output）インターフェース４６、第２のＩ／Ｏインターフェース４７及びシステム伝送路４８を備える。システム伝送路４８は、アドレスバス、データバス、制御信号線等を含む。サーバ４０は、システム伝送路４８に、プロセッサ４１、メインメモリ４２、補助記憶デバイス４３、通信装置４４、及び第１，第２のＩ／Ｏインターフェース４６、４７を接続する。サーバ４０では、プロセッサ４１、メインメモリ４２及び補助記憶デバイス４３と、これらを接続するシステム伝送路４８とによってコンピュータが構成される。

プロセッサ４１は、上記コンピュータの中枢部分に相当する。プロセッサ４１は、オペレーティングシステム又はアプリケーションプログラムに従って、サーバ４０としての各種の機能を実現するべく各部を制御する。プロセッサ４１は、例えばＣＰＵ（Central Processing Unit）である。

メインメモリ４２は、上記コンピュータの主記憶部分に相当する。メインメモリ４２は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ４２は、不揮発性のメモリ領域ではオペレーティングシステム又はアプリケーションプログラムを記憶する。アプリケーションプログラムは、後述する購買行動データ収集プログラムを含む。メインメモリ４２は、プロセッサ４１が各部を制御するための処理を実行する上で必要なデータを不揮発性又は揮発性のメモリ領域で記憶する場合もある。メインメモリ４２は、揮発性のメモリ領域を、プロセッサ４１によってデータが適宜書き換えられるワークエリアとして使用する。不揮発性のメモリ領域は、例えばＲＯＭ（Read Only Memory）である。揮発性のメモリ領域は、例えばＲＡＭ（Random Access Memory）である。

補助記憶デバイス４３は、上記コンピュータの補助記憶部分に相当する。例えばＥＥＰＲＯＭ（Electric Erasable Programmable Read-Only Memory）、ＨＤＤ（Hard Disc Drive）、あるいはＳＳＤ（Solid State Drive）等が補助記憶デバイス４３となり得る。補助記憶デバイス４３は、プロセッサ４１が各種の処理を行う上で使用するデータ、あるいはプロセッサ４１での処理によって作成されたデータ等を保存する。補助記憶デバイス４３は、後述する購買行動データ収集プログラムを含むアプリケーションプログラムを記憶する場合もある。

通信装置４４は、プロセッサ４１からの指令により、外部のネットワーク（インターネットを含む）を通じて外部の機器と通信し、各種の情報を受信する。通信装置４４は、例えば環境情報とする天気、温度、湿度などの情報をＷｅｂサイトから取得する、あるいは測定機器から入力する場合に用いられる。

第１のＩ／Ｏインターフェース４６は、カメラコントローラ２３との間でデータ信号の送信および受信を行う。第２のＩ／Ｏインターフェース４７は、顧客認識装置３１との間でデータ信号の送信および受信を行う。

サーバ４０は、メインメモリ４２又は補助記憶デバイス４３において、商品視認情報データベース４３Ａ、パッケージ情報データベース４３Ｂ、購買データベース４３Ｃ、カメラ設置データベース４３Ｄが記憶される。

商品視認情報データベース４３Ａは、客が視認していると判別された、外装（パッケージ）に付された情報及び同情報に関係する各種情報（図６参照）を含む商品視認情報が記録される。パッケージ情報データベース４３Ｂは、店舗１０において販売される商品のパッケージ情報が記録される。パッケージ情報は、例えば商品の外装に付された複数の情報などを含む。商品の外装に付された情報には、例えば商品名、商品画像、原材料表示、アレルギー物質、注意書き、商品説明、栄養成分、保管方法、賞味（消費）期限などがある。パッケージ情報には、各情報がパッケージに掲載されている面（外装面）を示す面情報、面上の情報が記載された領域範囲を示す領域情報などを含む。例えば、商品が箱形である場合には、６面のそれぞれについて、何れの領域範囲に何れの情報が掲載されているかを示す情報がパッケージ情報に設定されている。

また、パッケージ情報には、パッケージ（商品の外装）の形状（箱型、袋型、トレー型など）を示す形状情報、あるいはパッケージの外見上の特徴を示す特徴データが含まれている。形状情報あるいは特徴データをもとにして、カメラ２１，２２によって撮影された商品の画像をもとに、商品の姿勢を検出することができる。

特徴データは、撮影された商品の画像との照合に用いられるデータであり、商品の外装に付された情報（印刷物や文字など）や形状（箱形、袋型など）をもとに作成される。特徴データは、１つの商品について様々な姿勢に応じたデータが用意されている。例えば、何れかの姿勢に対応する特徴データと、撮影された商品の画像との照合率（類似度）が高い場合に、該当する特徴データに対応する姿勢が現在の商品の姿勢状態であると判別することができる。

購買データベース４３Ｃは、客により購入された（決済処理が完了した）商品の決済情報が客毎に記録される。カメラ設置データベース４３Ｄは、店舗１０に設置された複数のカメラ２１，２２と、カメラ２１，２２の設置位置に対応する場所に並べられた商品との対応関係を示すデータが記憶される。

図３は、本実施形態におけるカメラ設置データベース４３Ｄに記録されたデータの一例を示す図である。図３に示すように、カメラ設置データベース４３Ｄは、複数のカメラ２１（天井カメラ）の識別情報（天井カメラＩＤ）、カメラ２１の撮影範囲に設置されたカメラ２２（棚前カメラ）の識別情報（棚前カメラＩＤ）、カメラ２２（棚前カメラ）が設置された位置近くの商品棚１３の置かれた商品の識別情報（商品コード）が、それぞれ関連付けて記録される。

天井カメラＩＤ及び棚前カメラＩＤは、売場１１に配置された各カメラ２１，２２に対して個々に割り当てられた一意のコードである。各カメラ２１，２２で撮影され、カメラコントローラ２３へと送信される画像データには、当該カメラ２１，２２に設定されたカメラＩＤが付与される。従って、例えばカメラ２１，２２によって撮影された画像に含まれる商品は、棚前カメラＩＤと対応づけられた商品コードが示す商品の何れかであることが特定できる。

図３に示すカメラ設置データベース４３Ｄでは、１つのカメラ２１（天井カメラ）に対して、複数のカメラ２２（棚前カメラ）が関連づけられていることを示している。すなわち、１台の天井カメラによる撮影範囲に複数の商品棚１３が含まれていることを示している。

なお、１台のカメラ２２（棚前カメラ）に対して複数のカメラ２１（天井カメラ）が関連づけられていても良いし、カメラ２１（天井カメラ）とカメラ２２（棚前カメラ）とが１対１で関連づけられていても良い。店舗１０に設置されるカメラ２１，２２の設置台数とし設置位置に応じて、カメラ設置データベース４３Ｄに各データが記録される。

図４は、本実施形態におけるカメラ２１とカメラ２２による撮影範囲の一例を説明するための図である。

図４に示すように、カメラ２１（天井カメラ）は、購買行動をしている客の画像を上方から撮影する。従って、カメラ２１により撮影される画像をもとに、客の位置（特に頭あるいは顔の位置）、客による商品を取り出す動作（腕、手の動きなど）、客が手に取っている商品の位置などを検出することができる。

また、図４に示すように、カメラ２２（棚前カメラ）は、例えば商品棚１３の上部に取り付けられ、通路側に向けて撮影することで、商品棚１３の前にいる商品を見ている客の画像を撮影する。カメラ２２により撮影される画像をもとに、客の顔（顔位置、目、鼻、口などパーツの位置、向きなど）、眼球の位置及び瞳の位置（視線方向）、客が手に取っている商品の位置などを検出することができる。

図５は、本実施形態におけるカメラ２２によって撮影される画像の一例を示す図である。

図５に示すように、カメラ２２により撮影される画像から、客の顔に相当するエリアＡＲ１、眼球の位置に相当するエリアＡＲ２、商品に相当するエリアＳなどを検出することができる。

図６は、本実施形態における商品視認情報データベース４３Ａに記録される商品視認情報のデータ構成の一例を示す図ある。

商品視認情報は、例えば、店舗１０において買い物をする客毎に生成される。

商品視認情報には、客が買い物している間に手に取るなどして視認した商品に付された情報に関するデータが記録される。例えば、商品視認情報には、視認対象となった商品の商品コード、商品に付された視認の対象となった情報を示す視認対象情報、視認対象情報に対する視認時間と視認回数の情報が含まれる。

また、図６に示すように、商品視認情報には、客を識別する顧客ＩＤ、顧客ＩＤに対応する客に関する各種の情報を含む顧客属性情報、客が購買行動をした時（客による商品の視認がされる時）の環境情報、視認対象となった商品が客により購入されたか否かを示す購買情報が含まれる。客に関する情報としては、例えば、年齢、性別、購買履歴などを含む。環境情報には、例えば天気、温度、湿度、日時などを含む。なお、その他の情報を含んでいても良い。

なお、商品視認情報は、顧客属性情報と購買情報を含めない場合には、客毎に生成する必要はなく、顧客ＩＤを記録する必要もない。

次に、本実施形態のサーバ４０による動作について説明する。

図７は、本実施形態におけるサーバ４０のプロセッサ４１が購買行動データ収集プログラムに従って実行する主要な処理の手順を示すフローチャートである。以下、図７を用いて、サーバ４０が有する機能について具体的に説明する。図７では、例えば来店した１人の客に対する処理の手順を示しており、複数の客に対してそれぞれ並行して同様の処理を実行する。なお、以下に説明する内容は一例である。同様な機能を得ることが可能であればその手順及び内容は特に限定されるものではない。

顧客認識装置３１は、来店した客を認識するための処理を実行し、認識された顧客のデータをサーバ４０に送信する。プロセッサ４１は、第２のＩ／Ｏインターフェース４７を通じて、顧客認識装置３１からのデータを受信し、客認識処理を実行する（Ａｃｔ１）。客認識処理では、例えば商品視認情報データベース４３Ａに来店した客用の顧客ＩＤを記録し、来店した客に対応する商品視認情報の記録を開始する。

プロセッサ４１は、第１のＩ／Ｏインターフェース４６を介してカメラコントローラ２３から各カメラ２１，２２で撮影されている画像の画像データを時分割で順次取り込む。プロセッサ４１は、画像データを取り込む毎に、画像データを解析して、客が商品を商品棚１３から取り出す動作をしているかを判定する。

プロセッサ４１は、画像データをもとに、客が商品を商品棚１３から取り出す動作をしていると判定された場合（Ａｃｔ２、Ｙｅｓ）、この動作が検出された画像を撮影したカメラ２１，２２をもとに撮影された商品を認識する（Ａｃｔ３）。すなわち、プロセッサ４１は、客が商品を取り出す動作を撮影した画像に対応する天井カメラＩＤ及び棚前カメラＩＤをもとにカメラ設置データベース４３Ｄを検索して、対応する商品コードを判別する。

カメラ設置データベース４３Ｄにおいて、１つの棚前カメラＩＤに対して複数の商品コードが対応づけられている場合には、複数の商品コードを判別する。なお、商品棚１３の各棚位置に赤外線センサ、重量センサなどのセンサを設け、商品棚１３の何れの棚位置から商品が取り出されたか検出できるようにすることで、商品を特定して１つの商品コードを判別するようにしても良い。

次に、プロセッサ４１は、カメラ設置データベース４３Ｄをもとに判別された商品コードをもとにパッケージ情報データベース４３Ｂを検索し、商品コードが示す商品のパッケージ情報を取得する（Ａｃｔ４）。

プロセッサ４１は、カメラ２１，２２によって撮影された商品の画像をもとに、客に所持されている商品の姿勢を認識する（Ａｃｔ５）。例えば、プロセッサ４１は、パッケージ情報に含まれる商品の特徴データと、撮影された画像中の商品の画像とを照合して、何れの姿勢に対応する特徴データとの照合率（類似度）が高いかを判別する。

なお、プロセッサ４１は、複数の商品コードに対応するパッケージ情報を取得している場合には、各パッケージ情報の商品の特徴データとの照合を実行する。この結果、照合率（類似度）が高い特徴データに対応する商品を、客に所持されている商品として特定することができる。

プロセッサ４１は、照合結果をもとにして判定される商品の姿勢と、画像を撮影したカメラ２１，２２の設置位置の位置関係に基づいて、商品の姿勢を認識する。商品の姿勢を認識することで、商品の何れの面が客の方を向いているか、すなわち客が視認している商品の外装面を特定することができる。

なお、プロセッサ４１は、カメラ２１とカメラ２２のそれぞれにより撮影された画像に対して、同様にして姿勢を認識するための処理を実行しても良いし、何れか一方の画像を対象として処理を実行しても良い。

また、プロセッサ４１は、特徴データを用いた認識ではなく、パッケージ（商品の外装）の形状を示す形状情報を用いて商品の姿勢を認識するようにしても良い。

次に、プロセッサ４１は、カメラ２１，２２によって撮影された画像をもとに、客の視線を認識する（Ａｃｔ６）。例えば、プロセッサ４１は、図５に示すように、カメラ２２によって撮影された客の画像から、客の顔に相当するエリアＡＲ１、眼球の位置に相当するエリアＡＲ２を検出する。さらに、プロセッサ４１は、エリアＡＲ１の画像から、例えば客の目、鼻、口、眉などパーツの位置を検出し、画像を撮影したカメラ２２の設置位置との位置関係から客の顔の向きを推定する。さらに、プロセッサ４１は、エリアＡＲ２の画像から、眼球の瞳の位置を検出して、顔の向き、カメラ２２の設置位置をもとに視線方向を推定する。

プロセッサ４１は、商品の姿勢、客の位置と視線方向、及びパッケージ情報をもとに、客が視認している外装の情報（視認対象情報）を判別する（Ａｃｔ７）。

図８は、パッケージ情報が示す、ある商品のある面（例えば箱形状のパッケージの裏面）に付された複数の情報にそれぞれ対応する領域範囲ＯＪ１〜ＯＪ７を示す図である。パッケージの裏面には、例えば商品名（ＯＪ１）、原材料表示（ＯＪ２）、アレルギー物質（ＯＪ３）、注意書き（ＯＪ４）、商品説明（ＯＪ５）、栄養成分（ＯＪ６）、保管方法（ＯＪ７）などの情報が記載されている。パッケージ情報には、各情報に対応する領域範囲を示す領域情報が定義されている。

プロセッサ４１は、客の視線方向が、領域情報が示す領域範囲ＯＪ１〜ＯＪ７の何れに含まれるかを特定し、領域範囲（視認対象情報）毎に視認している時間を計測し、その時間を累積して記録する（Ａｃｔ８）。すなわち、プロセッサ４１は、視認対象情報を示す面情報及び領域情報と対応づけて視認時間を記録していく。なお、予め設定された時間（例えば１秒）以上、継続して視線が領域に含まれている場合に視認していると判定しても良いし、単純に視線が領域内に含まれている時間を累積するようにしても良い。

プロセッサ４１は、商品に対する視認が終了すると判別されるまで、前述したように、商品の姿勢の認識、視線の認識、視認対象情報の判別、視認時間の記録を繰り返して実行する（Ａｃｔ９，Ｎｏ→Ａｃｔ５〜８）。

図９は、客による商品に対する視認の状況を示している。客は、商品を手にして情報を確認する場合には、視認対象とする面を顔側に向けて、その面に記載された関心のある情報に視線方向を向けて内容の確認を行う。複数の情報について関心があれば、対象とする情報に視線方向を変えて内容の確認を行う。また、客は、特定の面だけでなく、表面、裏面、側面など、視認対象とする面を代えるように商品の姿勢を代えて、それぞれ面に記載された情報の確認を行う。プロセッサ４１は、こうした客による視認対象情報の変更に対応した処理を実行して、それぞれの視認対象情報についての視認時間を記録する。

なお、前述した説明では、視認対象情報に対する視認時間の記録について説明しているが、視認対象情報に対する視認回数を同様にして記録することができる。例えば、プロセッサ４１は、何れかの視認対象情報に対した視認をした後、一定時間が経過した後に、再び、同じ商品視認情報が視認対象となった場合に視認回数をカウントする。すなわち、同じ情報を何度も見直す場合には、客が特に興味を持つ情報である可能性が高いため、視認時間と共に視認回数を記録しておく。

プロセッサ４１は、客による商品に対する視認が終了したと判別された場合（Ａｃｔ９、Ｎｏ）、視認の対象としていた商品の対応する商品視認情報を商品視認情報データベース４３Ａに記録する。商品に対する視認の終了は、例えば客がカメラ２２による撮影範囲から外れた、商品を商品棚１３に戻した、商品に対する視認がない状態が一定時間以上続く、などの状況が検出された場合とする。

プロセッサ４１は、図６に示すように、視認対象としていた対象商品の商品コードと対応づけて、視認対象となった商品視認情報、視認時間、視認回数を対応づけて記録する（Ａｃｔ１０）。客が商品に付された複数の情報について注目していた場合には、それぞれの商品視認情報に対応する視認時間、視認回数を対応づけて記録する。

プロセッサ４１は、客が他の商品棚１３に移動するなどして、他の商品について同様に手にとって（Ａｃｔ２、Ｙｅｓ）、外装に記録された情報の確認をしていることが検出される場合には（Ａｃｔ３〜９）、前述と同様にして、対象商品の商品視認情報を商品視認情報データベース４３Ａに記録する（Ａｃｔ１０）。

こうして、商品の外装に付された情報毎の視認時間と視認回数を商品視認情報に含めることで、客による情報毎の興味の度合いを推定できるデータを収集することができる。

客による店舗１０での購買行動が終了し、会計場で会計（決済処理）がされると、この客が購入した商品についての決済情報が購買データベース４３Ｃに記録される（Ａｃｔ１１、Ｙｅｓ）。

プロセッサ４１は、購買データベース４３Ｃに記録された決済情報が示す客が購入された商品と、商品視認情報データベース４３Ａに記録された商品視認情報が示す客が興味を示した商品とを突合し、商品視認情報が記録された商品のうち何れの商品が実際に購入されているかを判別する。プロセッサ４１は、突合することで判別された、例えば購入された商品に対応する商品コードが記録された商品視認情報に、購入されたことを示す購買情報を追加する（Ａｃｔ１２）。

こうして、購買情報を商品視認情報に追加することで、客が外装に記録された情報を視認した商品と実際に購入された商品との関連を推定することができるデータを収集することができる。

また、プロセッサ４１は、商品視認情報に記録された顧客ＩＤに対応する客属性情報を、例えば会員データベースなどから取得して商品視認情報に追加する。さらに、プロセッサ４１は、通信装置４４を通じて外部の機器から取得される天気、温度、湿度などの情報、日時の情報などを含む環境情報を商品視認情報に追加する（Ａｃｔ１３）。

こうして、客属性情報、環境情報を商品視認情報に追加することで、どのような環境下において、どのような客が、商品に関する何れの情報に注目するかを推定できるデータを収集することが可能となる。

なお、前述した説明では、客が商品を手に取った場合に、この商品を視認対象としているが、客が商品を手に取っていない商品を視認対象としても良い。例えば、商品棚１３に置かれた商品の位置を、例えば商品棚１３の各棚位置と商品の形状情報などをもとに特定することにより、前述したように客の視線方向を検出して、商品の何れの情報を視認しているかを判別することができる。

このようにして、本実施形態における購買行動データ収集システムでは、客が商品のどこをどれだけ見ているのかを認識し、客に関心があるパッケージ上の情報を特定して記録することで、客が商品に関する何の情報に関心を示しているかを示すデータを収集可能となる。これらのデータを収集することで、それぞれの商品が売れる、売れない理由をより具体的に推定可能となる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

また、前述した実施の形態において記載した処理は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。コンピュータは、記録媒体に記録されたプログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。

１０…店舗、１１…売場、１２…バックヤード、１３…商品棚、２０…画像入力システム、２１,２２…カメラ、２３…カメラコントローラ、３１…顧客認識装置、４０…サーバ、４１…プロセッサ、４２…メインメモリ、４３…補助記憶デバイス、４３Ａ…商品視認情報データベース、４３Ｂ…パッケージ情報データベース、４３Ｃ…購買データベース、４３Ｄ…カメラ設置データベース、４４…通信装置、４６，４７…Ｉ／Ｏインターフェース。

Claims (6)

1. 客の視線を認識する視線認識部と、
   客による視認対象とする商品を特定する商品認識部と、
   商品の姿勢を認識する商品姿勢認識部と、
   特定された商品の外装に付された複数の情報を含むパッケージ情報を検索する商品情報検索部と、
   客の視線、商品の姿勢、及びパッケージ情報をもとに、客が視認している商品の外装に付された情報を判別する視認情報判別部と
   客が視認していると判別された情報を含む商品視認情報を記録させる情報記録部と
   を有する購買行動データ収集システム。
2. 前記視認情報判別部は、客が視認していると判別された情報毎に視認時間を判別し、
   前記情報記録部は、客が視認していると判別された情報と前記視認時間が関連づけられた前記商品視認情報を記録させる請求項１記載の購買行動データ収集システム。
3. 前記客を識別する客識別手段をさらに有し、
   前記情報記録部は、前記客に関する客属性情報を含む前記商品視認情報を記録させる請求項１または請求項２記載の購買行動データ収集システム。
4. 前記情報記録部は、客が購入した商品に関する購買情報を取得し、前記商品視認情報に含まれる前記情報に対応する商品に応じて、前記購買情報を含む前記商品視認情報を記録させる請求項１〜３の何れかに記載の購買行動データ収集システム。
5. 客による商品の視認がされた状況における環境情報を取得する取得手段をさらに有し、
   前記情報記録部は、前記環境情報を含む前記商品視認情報を記録させる請求項１〜４の何れかに記載の購買行動データ収集システム。
6. コンピュータを、
   客の視線を認識する視線認識部と、
   客による視認対象とする商品を特定する商品認識部と、
   商品の姿勢を認識する商品姿勢認識部と、
   特定された商品の外装に付された複数の情報を含むパッケージ情報を検索する商品情報検索部と、
   客の視線、商品の姿勢、及びパッケージ情報をもとに、客が視認している商品の外装に付された情報を判別する視認情報判別部と
   客が視認していると判別された情報を含む商品視認情報を記録させる情報記録部として機能させるための購買行動データ収集プログラム。

Images