JP2018195017A - 情報処理プログラム、情報処理方法及び情報処理装置 - Google Patents

Abstract

【課題】非購買状況を踏まえた商品の販売を促進することを目的とする。【解決手段】来店を検出すると、店舗内における行動履歴情報を参照して、過去の来店時に購入されなかった複数の商品から少なくともいずれかの商品を選択し、選択した前記商品に関する情報を出力する、処理をコンピュータに実行させることを特徴とする情報処理プログラムが提供される。【選択図】図８

Description

本発明は、情報処理プログラム、情報処理方法及び情報処理装置に関する。

メーカや小売業者は、店舗の購買データや売上実績等を活用して人気商品や売り上げの傾向、一緒に購入される商品の組み合わせ等を分析することで、購買者のニーズを把握し、販売戦略や商品開発に活用している。例えば、客の過去の購買実績に基づいて個々の客に適した情報提供や適切なサービス提供を行うことが提案されている（例えば、特許文献１〜３参照）。

特開２００１−２９０９３４号公報 特開２００２−９２２８４号公報 特開２００１−２４９９８７号公報

しかしながら、上記手法では、商品を購入しなかった場合、非購買者のニーズの把握がわからない。例えば、客が商品を購入しなかった経緯が他商品と比較したが買わなかったのか、興味のある商品なので手に取ったが買わなかったのか、興味のない商品であって見なかったのか等、その商品が買われなかった理由がわからない。

これに対して、非購買者のニーズを把握するために、アンケートや聞き取り調査を行い、来店者の行動やニーズを調査する方法がある。また、機械的に店舗内の行動を測定する方法として、来店者や商品等にセンサを取り付ける方法やＫＩＮＥＣＴを用いて行動を判定する方法がある。

しかしながら、インタビュー等は調査期間に限界があり、インタビューに回答する人の主観に左右され易い。また、来店者や商品等にセンサを取り付け、行動を判定する方法では、調査の対象がセンサを取り付けた人や商品に限定される。ＫＩＮＥＣＴを用いて行動を判定する方法では、行動判定の精度が低い。よって、いずれの場合も商品の購買の現状を正確に把握できていなかったり、購買状況の日々の変化に追従できていなかったりる。

そこで、１つの側面では、本発明は、非購買状況を踏まえた商品の販売を促進することを目的とする。

１つの実施態様では、来店を検出すると、店舗内における行動履歴情報を参照して、過去の来店時に購入されなかった複数の商品から少なくともいずれかの商品を選択し、選択した前記商品に関する情報を出力する処理をコンピュータに実行させることを特徴とする情報処理プログラムが提供される。

１つの側面では、本発明は、非購買状況を踏まえた商品の販売を促進することができる。

第１実施形態に係る情報処理システムの全体構成の一例を示す図。 第１実施形態に係る情報処理装置の機能構成の一例を示す図。 一実施形態に係る動線データＤＢ及び店内エリアマスタＤＢの一例を示す図。 一実施形態に係る視線データＤＢ及び店・棚内エリアマスタＤＢの一例を示す図。 一実施形態に係る判定情報テーブルの一例を示す図。 第１実施形態に係るＰＯＳ情報テーブルの一例を示す図。 第１実施形態に係る購買判定情報テーブルの一例を示す図。 第１実施形態に係る行動レシートの一例を示す図。 一実施形態に係る情報処理装置のハードウェア構成の一例を示す図。 一実施形態に係るデータ処理装置による学習とレコメンド情報生成を説明する図。 第１実施形態に係る行動履歴情報の記録処理とレコメンド情報出力処理の一例を示すフローチャート。 第１実施形態に係るレコメンド情報の生成処理の一例を示すフローチャート。 第２実施形態に係る情報処理装置の機能構成の一例を示す図。 第２実施形態に係るＰＯＳ情報テーブルの一例を示す図。 第２実施形態に係る商品カテゴリテーブルの一例を示す図。 第２実施形態に係るランキングリストの一例を示す図。 第２実施形態に係る繰り返し／順番テーブルの一例を示す図。 第２実施形態に係る繰り返し順序生成処理の一例を示すフローチャート。 第２実施形態に係るレコメンド情報の生成処理の一例を示すフローチャート。 第２実施形態に係る行動レシートの一例を示す図。

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［情報処理システムの全体構成］
まず、本発明の一実施形態に係る情報処理システムの全体構成の一例について、図１を参照しながら説明する。図１は、本実施形態に係る情報処理システムの全体構成の一例を示す。本実施形態に係る情報処理システムは、情報処理装置１０及びデータ処理装置５０を有する。情報処理装置１０及びデータ処理装置５０は、ネットワーク４０を介して接続されている。

情報処理装置１０は、１又は複数の店舗内に配置された動線検知カメラＷ１〜Ｗ３と通信し、動線検知カメラＷ１〜Ｗ３から店舗内における来店客の動きを示す画像データを取得する。情報処理装置１０は、動線検知カメラＷ１〜Ｗ３が撮影した画像データに基づき、客が来店してから店舗を出るまでの行動の動線データ、来店者人数、及び客の属性情報を取得する。

また、視線検知カメラＶ１〜Ｖ３は、店舗内の棚の前に人が来たときの視線の動きを測定する。情報処理装置１０は、１又は複数の店舗内の各棚に配置された視線検知カメラＶ１〜Ｖ３が検出した、店舗内の所定棚の商品を見る視線データを取得する。

なお、本実施形態では、動線検知カメラＷ１〜Ｗ３及び視線検知カメラＶ１〜Ｖ３の数をそれぞれ３つとしているが、各カメラの数はこれに限らず、店舗内に１つまたは複数個ずつ設置されてもよい。

情報処理装置１０は、動線検知カメラＷ１〜Ｗ３が撮影した画像データから、図１の右上の枠内に示すように、客が所定のエリアや棚の前で立ち止まったかどうか、客が商品を手に取ったかどうか、客が他の商品と比較したかを判定する。判定結果は、客に薦めるレコメンド情報に反映される。

また、情報処理装置１０は、視線検知カメラＶ１〜Ｖ３が検知した視線データから、図１の左上の枠内に示すように、客が客が所定のエリアや棚のどの商品を見ているか、客がどのくらいの時間、どのくらいの頻度でその商品を見ているかを判定する。

視線検知カメラＶ１〜Ｖ３を用いた視線検出の一例としては、基準点を目頭、動点を虹彩にして位置関係を使う方法と、基準点を角膜反射、動点を瞳孔にして位置関係を使う方法が挙げられる。基準点を目頭、動点を虹彩にして位置関係を使う方法では、視線検知カメラＶ１〜Ｖ３には可視光を撮影するカメラで客の動きを撮影する。基準点を角膜反射、動点を瞳孔にして位置関係を使う方法では、赤外線ＬＥＤでユーザーの顔を照らして、赤外線カメラで客の目を撮影する。

なお、動線検知カメラＷ１〜Ｗ３及び視線検知カメラＶ１〜Ｖ３による動線データ及び視線データの取得方法は、上記に限らず、カメラ以外の公知のセンサを使用して取得することができる。

情報処理装置１０は、客がレジで商品を購入したときにＰＯＳ（point of sales system）システムを用いて記憶された商品の購買に関するＰＯＳ情報を得る。上記動線検知カメラＷ１〜Ｗ３から取得した動線データ、視線検知カメラＶ１〜Ｖ３から取得した視線データ及びＰＯＳ情報は、来店客毎に記憶され、情報処理装置１０が取得した行動履歴情報に含まれる。情報処理装置１０は、取得した行動履歴情報を用いて客に推薦するレコメンド情報を生成し、提示する。

以上に説明したように、情報処理装置１０は、来店客の動線及び視線に関する下記（１）〜（３）のデータとレジで取得した下記（４）のＰＯＳ情報を蓄積する。加えて、情報処理装置１０は、下記（５）の客の属性情報を蓄積してもよい。
（１）動線検知カメラで取得した店舗内移動情報（動線データ：客の位置座標、時間）
（２）視線検知カメラで取得した棚前の視線情報（視線データ：客の視線座標、時間）
（３）後述する検討レベルの判定の結果による客の動作（「見る、手を伸ばす」等）
（４）レジで取得したＰＯＳ情報（購入時刻、購入商品、購入数量、購入金額）
（５）動線検知カメラが判定した属性情報（年代、性別等）
上記の蓄積した情報により、来店者の商品及び棚に対する比較行動、購入した商品とどの商品が比較されたか（比較度合、比較時間）、興味のある商品なので手に取ったが買わなかったのか、興味のない商品であって見なかった等を把握することができる。これにより、客が興味を示すと予想される過去の来店時に購入されなかった商品情報を含むレコメンド情報を生成し、客に提示することができる。

データ処理装置５０は、情報処理装置１０が蓄積した行動履歴情報及び（３）の判定結果の各情報を受信し、各情報を入力したディープラーニングを実行し、学習する。データ処理装置５０は、学習の結果生成した学習モデルを用いて、情報処理装置１０から受信した新たな行動履歴情報を入力し、入力情報に対する行動の判定結果、つまり、商品の検討レベルの判定結果（例えば、「見た」、「手に持った」、「比較した」等の行動判定）を出力する。データ処理装置５０は、商品の検討レベルの判定結果から、客に薦めるレコメンド情報を生成してもよい。

データ処理装置５０は、出力した検討レベルの判定結果を情報処理装置１０に送信する。情報処理装置１０は、受信した検討レベルの判定結果を分析して、客が興味を示すと予想される、過去の来店時に購入されなかった商品情報を含むレコメンド情報を生成し、客に提示することができる。情報処理装置１０は、データ処理装置５０からレコメンド情報を受信した場合には、それを客に提示する。

なお、情報処理装置１０は、サーバ、パーソナルコンピュータＰＣ、タブレット型端末、スマートフォン、ＰＤＡ（Personal Digital Assistants）等を適用することができる。データ処理装置５０は、ディープラーニング（機械学習）が可能な装置である。

［情報処理装置の機能構成］
次に、本発明の第１実施形態に係る情報処理装置１０の機能構成の一例について、図２を参照しながら説明する。図２は、本実施形態に係る情報処理装置１０の機能構成の一例を示す。本実施形態に係る情報処理装置１０は、取得部１１、記憶部１２、検出部１３、画像処理部１４、判定部１５、選択部１６、制御部１７、出力部１８及び通信部１９を有する。

取得部１１は、動線検知カメラＷ１〜Ｗ３及び視線検知カメラＶ１〜Ｖ３から各検出値を取得する。記憶部１２は、動線データＤＢ２０、店内エリアマスタＤＢ２１、視線データＤＢ２２、店・棚内エリアマスタＤＢ２３、判定情報テーブル２４、ＰＯＳ情報テーブル２５、購買判定情報テーブル２６及び情報処理プログラム２７を記憶する。

動線データＤＢ２０は、図１の中央の枠内に示される店舗Ｓの客の動線に対する動線データを記憶する。動線データＤＢ２０の一例を、図３の左上表に示す。動線データＤＢ２０は、店舗内の各動線検知カメラＷ１〜Ｗ３が撮影した動画像を所定時間単位（１秒等）の静止画に分け、各静止画データから店舗内の座標（Ｘ，Ｙ）とその位置における客の顔の向きとタイムスタンプとを含む動線データを動線ＩＤに対応させて記憶する。動線データＤＢ２０には、客の年代及び性別の情報を記憶してもよい。

店内エリアマスタＤＢ２１は、図３の右上表に一例を示すように、エリアＩＤ毎に、エリアの左上座標（Ｘ１，Ｙ１）及び右下座標（Ｘ２，Ｙ２）、フロア名及びフロアＩＤを記憶する。例えば、図１の中央の枠内のエリアＡは弁当・おにぎりエリアであり、エリアＢはパン・菓子エリアであり、エリアＣは飲料エリアであることが、店内エリアマスタＤＢ２１により定義されている。

来店客の連続した動作に付与された動線ＩＤ毎の動線データにより、客が店内エリアマスタＤＢ２１内で定義されるどこのエリアを巡り、どのエリアで時間を費やし、退店したかが分かる。

視線データＤＢ２２は、各視線検知カメラＶ１〜Ｖ３が検知した、店舗内において客が棚に並ぶ商品を見るときの視線データを記憶する。具体的には、図４の左上表に一例を示すように、視線データＤＢ２２は、同一又は隣り合う棚の商品に送られる一連の視線の動き毎に付与される視線ＩＤに対応させて、視線の座標（Ｘ，Ｙ）と時刻（タイムスタンプ）とを含む視線データを記憶する。

店・棚内エリアマスタＤＢ２３は、図４の右上表に一例を示すように、棚エリア（店内エリア）毎に、棚エリアの左上座標及び右下座標、商品名及び商品ＩＤを記憶する。例えば、図１の左の枠内のエリアＡは、焼肉弁当、唐揚弁当、おにぎりなどの各棚エリアに分かれて各商品が置かれていることが、店・棚内エリアマスタＤＢ２３に定義されている。

判定情報テーブル２４は、図５に一例を示すように、客が商品購入を検討する際の検討レベルの判定結果を記憶する。判定部１５は、取得した動線データから、図１の右の枠内に一例を示すように、客の検討レベルを判定する。図５の例では、判定情報テーブル２４は、動線ＩＤ、エリアＩＤ、客が立ち止ったときの時刻を示す開始時刻、動画像を複数の静止画に分けたときの各静止画の画像ＩＤ、画像時刻及び検討レベルの判定結果の情報を記憶する。なお、判定部１５は、動線データのうち、連続した動作を一つの動作として判断し、連続していない分断された動作は、それぞれを別の動作としてカウントする。

ＰＯＳ情報テーブル２５は、図６に一例を示すように、レジＮｏ．、客が購入した商品名、商品を識別するための商品ＩＤ、購入数量、購入金額及び購入時刻を記憶する。ＰＯＳ情報テーブル２５は、レジの機器とネットワークを介して繋がるＰＯＳシステム内に記憶されるため、情報処理装置１０内に記憶しなくてもよい。なお、図５に一例を示す判定情報テーブル２４の判定結果の情報は、判定部１５による判定結果の情報及び学習済みのモデルを用いてデータ処理装置５０が判定した検討レベルの判定結果の情報を含む。

選択部１６は、店舗内における行動履歴情報を参照して、過去の来店時に購入されなかった複数の商品から少なくともいずれかの商品を選択する。選択部１６は、店舗内にて過去に来店した客（他の客を含む）毎に、該客により「手に取る」等の特定の行為が行われた複数の商品のＩＤ（識別情報）と、該複数の商品のそれぞれに対する特定の行為（比較されたか、興味をもたれたか等）とに基づき購買判定情報を生成し、過去に興味を持たれたが購入されなかった商品から、購入されそうな商品を選択する。

選択部１６は、複数の商品のそれぞれに対して特定の行為が行われた順序情報を取得し、特定した複数の商品から前記順序情報に基づき少なくともいずれかの商品の識別情報を選択してもよい。

図７（ａ）〜図７（ｃ）に一例を示すように、購買判定情報テーブル２６は、来店客の属性（例えば、年代、性別等）、日付、時刻、購買判定情報及び商品の価格を記憶する。本実施形態では、購買判定情報テーブル２６に記憶された情報を用いて、図８（ａ）〜図８（ｃ）に一例を示すように、レコメンド情報を含む行動レシートが印字され、レジにて客に提示される。

レコメンド情報は、購買判定情報に基づき生成される。レコメンド情報の一例としては、図７に［興味］のラベルや［比較］のラベルが付された、過去において興味があると予想されるが、購入されていない商品や、購入されていないが比較された商品情報が挙げられる。レコメンド情報は、商品のエリア情報、新商品等の商品に関する情報、商品購入時の特典情報等を含んでもよい。

図８（ａ）に示す行動レシートでは、購入品しながったが興味があると予想される商品に［興味］のラベルを付けてレシートに出力している。また、以前に購入した商品と比較していた商品に［比較］のラベルを付けてレシートに出力している。

これにより、過去に購入しなかった購買状況を踏まえ、精度良くレコメンド情報を出力することができ、客の購買意欲を高め、商品の販売を促進することができる。レコメンド情報を含む行動レシートの内容や、購買判定情報テーブル２６に記憶されたその他の情報は、商品開発メーカや商品の小売店等の製造側及び販売側の端末装置にネットワーク４０を介して通知することができる。製造側及び販売側の端末装置に通知する場合、［興味］や[比較］のラベルを付けて可視化して表示することにより、商品開発者や販売者が注目しやすいようにすることが好ましい。

以下に、本実施形態におけるラベルの定義を示す。以下に示すラベルの全部又は一部をレシートに出力してもよい。ただし、以下のラベルの定義は一例であり、これに限らない。
[注目］客は５秒以内でちらっと見たが、手に取らなかった程度
[興味］客は５秒以上見たが、手に取らなかった程度
[比較］客は商品を手に取った程度
[購入］客は商品を購入した
検出部１３は、来店客を検出し、客が来店したか否かを判定する。検出部１３は、図１の中央の枠に示す店舗Ｓの入口の天井付近に設置されたＷｅｂカメラ５５を用いて、入店時、店の入口の上部から撮影するＷｅｂカメラ等の動画像を解析することで、店舗Ｓに人が来店したか否かを判定する。ただし、検出部１３は、他の公知の方法を用いて来店客を検出してもよい。

画像処理部１４は、動線検知カメラＷ１〜Ｗ３が撮影した動画像を１秒単位で分割した静止画の画像データ（教師データ）を加工する。画像処理部１４は、静止画の画像データから「商品に手を伸ばす」、「商品を見る」等の画像が含まれる教師データを抽出する。また、画像処理部１４は、店舗内の動線検知カメラＷ１〜Ｗ３が設置された測定場所を撮影した、背景のみの画像（背景画像）を取得する。画像処理部１４は、これらの画像を加工し、教師データから背景画像を削除する。具体的には、画像処理部１４は、背景画像と教師データの画像とを差分抽出ツールにより処理し、教師データの元画像から背景を除去した人物のみの画像データを作成する。次に、画像処理部１４は、背景を除去した画像の色情報をグレースケールに変換し、モノクロに加工する。

判定部１５は、モノクロに加工した画像をＣＳＶファイル形式に変換する。判定部１５は、ＣＳＶファイル形式のモノクロ画像が示す行動に対して「商品に手を伸ばす」、「商品を見る」等の商品の検討レベルの判定を行う。通信部１９は、ＣＳＶファイル形式のモノクロ画像をデータ処理装置５０に送信し、データ処理装置５０がモノクロ画像が示す行動を、学習モデルを用いて判定してもよい。

制御部１７は、情報処理装置１０の全体を制御する。出力部１８は、選択した商品（選択した商品の識別情報から識別される商品）に関する情報を出力する。商品に関する情報としては、購入していない商品であるが。過去に手に取ったりして興味があると予想される商品情報、購入していないが比較された商品情報、これらの検討レベルを示す情報を含んでもよい。

商品に関する情報の出力方法としては、選択した商品に関する情報の紙媒体への出力、選択した商品に関する情報の店内又は店周辺に配置された表示部への表示、及び選択した商品に関する情報の来店客が所有する端末への表示の少なくともいずれかであればよい。商品に関する情報の具体的出力方法としては、レシートに印字する、客が所持するスマートフォンやその他の端末装置の画面にレシートやレコメンド情報を表示したり、商品に対応するクーポンを表示したりすることが挙げられる。商品に関する情報の他の具体的出力方法としては、店内のディスプレイ（例えば図１の中央に示す店舗のレジ脇のディスプレイ１０２）や店周辺のサイネージに表示することが挙げられる。

通信部１９は、データ処理装置５０及びその他の機器と通信を行う。通信部１９は、行動履歴情報をデータ処理装置５０に送信し、データ処理装置５０が学習モデルを用いて判定した行動履歴情報の各行動の判定結果を受信する。

［情報処理装置のハードウェア構成］
次に、本発明の一実施形態に係る情報処理装置１０のハードウェア構成の一例について、図９を参照しながら説明する。図９は、本実施形態に係る情報処理装置１０のハードウェア構成の一例を示す。情報処理装置１０は、入力装置１０１、出力装置１０２、外部Ｉ／Ｆ１０３、ＲＡＭ（Random Access Memory）１０４、ＲＯＭ（Read Only Memory）１０５、ＣＰＵ（Central Processing Unit）１０６、通信Ｉ／Ｆ１０７、及びＨＤＤ（Hard Disk Drive）１０８などを備え、それぞれがバスＢで相互に接続されている。

入力装置１０１は、キーボードやマウスなどを含み、情報処理装置１０に各操作信号を入力するために用いられる。出力装置１０２は、ＬＣＤ（Liquid crystal Display）モニタ等のディスプレイ、プリンタ、ＣＲＴ（Cathode Ray Tube）などを含み、各種の処理結果を出力する。本実施形態では、出力装置１０２は、レコメンド情報を含むレシートを印字するプリンタであったり、レコメンド情報を表示するディスプレイであってもよい。

通信Ｉ／Ｆ１０７は、情報処理装置１０をネットワークに接続するインターフェースである。これにより、情報処理装置１０は、通信Ｉ／Ｆ１０７を介してデータ処理装置５０等の他の機器と通信を行うことができる。

ＨＤＤ１０８は、プログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、情報処理装置１０の全体を制御する基本ソフトウェア及び情報処理プログラム２７がある。例えば、ＨＤＤ１０８には、各種のデータベースやプログラム等が格納されてもよい。

外部Ｉ／Ｆ１０３は、外部装置とのインターフェースである。外部装置には、記録媒体１０３ａなどがある。これにより、情報処理装置１０は、外部Ｉ／Ｆ１０３を介して記録媒体１０３ａの読み取り及び／又は書き込みを行うことができる。記録媒体１０３ａには、ＣＤ（Compact Disk）、及びＤＶＤ（Digital Versatile Disk）、ならびに、ＳＤメモリカード（SD Memory card）やＵＳＢメモリ（Universal Serial Bus memory）等がある。

ＲＯＭ１０５は、電源を切っても内部データを保持することができる不揮発性の半導体メモリである。ＲＯＭ１０５には、ネットワーク設定等のプログラム及びデータが格納されている。ＲＡＭ１０４は、プログラムやデータを一時保持する揮発性の半導体メモリである。ＣＰＵ１０６は、ＨＤＤ１０８やＲＯＭ１０５などの記憶装置から、プログラムやデータをＲＡＭ１０４上に読み出し、処理を実行することで、情報処理装置１０全体の制御や搭載機能を実現する演算装置である。

かかる構成により、本実施形態に係る情報処理装置１０では、ＣＰＵ１０６が、例えばＲＡＭ１０４、ＲＯＭ１０５、ＨＤＤ１０８内に格納されたプログラム及びデータを用いて行動履歴情報の記録処理、レコメンド情報生成処理等を実行する。

取得部１１の機能は、例えば、入力装置１０１により実現可能である。記憶部１２の機能は、例えば、ＲＡＭ１０４、ＲＯＭ１０５及びＨＤＤ１０８により実現可能である。動線データＤＢ２０、店内エリアマスタＤＢ２１、視線データＤＢ２２、店・棚内エリアマスタＤＢ２３、判定情報テーブル２４、ＰＯＳ情報テーブル２５、購買判定情報テーブル２６に記憶された情報は、ＲＡＭ１０４、ＨＤＤ１０８、又はネットワークを介して情報処理装置１０に接続されるデータ処理装置５０又はクラウド上のサーバ等に格納され得る。

検出部１３、画像処理部１４、判定部１５、選択部１６、制御部１７の各機能は、例えば、情報処理装置１０にインストールされた情報処理プログラム２７及びその他のプログラムが、ＣＰＵ１０６に実行させる処理により実現可能である。

出力部１８の機能は、例えば、出力装置１０２により実現可能である。通信部１９の機能は、例えば、通信Ｉ／Ｆ１０７により実現可能である。

［機械学習による検討レベルの判定］
データ処理装置５０により実行される機械学習による行動判定について、図１０を参照しながら説明する。図１０（ａ）は、データ処理装置５０の学習時の動作の一例を示し、図１０（ｂ）は、データ処理装置５０の行動判定時の動作の一例を示す。

図１０（ａ）の学習時には、情報処理装置１０の通信部１９は、ＣＳＶファイル形式に変換したモノクロ画像と、判定部１５による商品の検討レベルの判定結果の情報とをデータ処理装置５０に送信する（ステップＳ１）。学習データは、加工前の画像データであってもよいが、モノクロ画像が好ましい。

データ処理装置５０は、ＣＳＶファイル形式のモノクロ画像と検討レベルの判定結果の情報とを受信し（ステップＳ２）、ディープラーニングを実行し（ステップＳ３）、学習モデルを作成する（ステップＳ４）。

上記学習の繰り返しによりデータ処理装置５０が学習モデルを構築した後、判定部１５によるモノクロ画像の検討レベルの判定を行わず、データ処理装置５０が学習モデルを使用して検討レベルの判定（又は／及び購買判定情報の生成）を行ってもよい。

図１０（ｂ）の判定時には、通信部１９は、新たな行動履歴情報を示すモノクロ画像をデータ処理装置５０に送信する（ステップＳ５）。データ処理装置５０は、ＣＳＶファイル形式のモノクロ画像を受信する（ステップＳ６）。データ処理装置５０は、モノクロ画像を入力し、学習モデルを使用してディープラーニングを実行し、検討レベルの判定結果の情報を出力する（ステップＳ７）。データ処理装置５０は、出力された検討レベルの判定結果の情報を情報処理装置１０に送信する（ステップＳ８）。データ処理装置５０は学習モデルを使用して検討レベルの判定、又は／及び購買判定情報の生成を行ってもよい。

情報処理装置１０の判定部１５は、データ処理装置５０から検討レベルの判定結果の情報を受信する。検討レベルの判定結果の情報は、図５に一例を示す判定情報テーブル２４の判定情報に蓄積される。

このように、本実施形態では、判定部１５又はデータ処理装置５０が、行動履歴情報に基づき商品の検討レベルの判定を行う。行動履歴情報は、動線検知カメラＷ１〜Ｗ３により撮影されたデータであり、情報処理装置１０は、客が店内の棚前に滞留していて、かつ、客が棚の方向を向いている行動履歴情報を絞り込み、該当する時間を特定し、その時間帯の画像を動作判定する画像として使用する。このとき、例えば、図３の動線データＤＢ２０に記憶された顔向情報を使用して客が棚の方向を向いているかを判定することができる。

本実施形態では、教師データ（「商品を手にした」、「複数の商品を比較した」などのモデル画像データ）をもとにした映像解析で来店者の動作を判定することで行動を精度良く判定することができる。

更に、判定精度を向上させるため、本実施形態では、教師データに使用する画像に、人物以外の背景を削除する、画像をモノクロ化してノイズを除去する。このようにして生成されたモノクロ画像を用いて画像内の行動が精度良く判定される。
＜第１実施形態＞
［行動履歴情報の記録処理及びレコメンド情報出力処理］
次に、第１実施形態に係る記録処理及びレコメンド情報出力処理の一例について図１１を参照して説明する。図１１は、第１実施形態実施形態に係る記録処理及びレコメンド情報出力処理の一例を示したフローチャートである。

本処理が開始されると、検出部１３は、来店客があるかを判定する(ステップＳ１１)。検出部１３は、Ｗｅｂカメラ５５が撮影した画像内に来店客の映像を検出すると、来店客があると判定し、取得部１１は、動線データを取得したかを判定する(ステップＳ１３)。取得部１１は、動線検知カメラＷ１〜Ｗ３が撮影した動画像から来店客の動線データを取得した場合、動線データＤＢ２０に記憶し(ステップＳ１５)、ステップＳ１７に進む。取得部１１は、動線データを取得しない場合、そのままステップＳ１７に進む。

次に、取得部１１は、視線データを取得したかを判定する(ステップＳ１７)。取得部１１は、視線検知カメラＶ１〜Ｖ３を用いて店舗内の所定棚の商品を見る視線データを取得した場合、視線データＤＢ２２に記憶し(ステップＳ１９)、ステップＳ２１に進む。取得部１１は、視線データを取得しない場合、そのままステップＳ２１に進む。

次に、画像処理部１４は、取得した動線データを１秒単位の静止画の画像データに分け、人物の映っている画像を取り出し、各画像データを画像処理し、モノクロ画像を生成する。判定部１５は、モノクロ画像から客の商品の検討レベルを判定する(ステップＳ２１)。データ処理装置５０にディープラーニングを実行させ、商品の検討レベルを判定させてもよい。これにより、店内の棚前に客が来たときに、その状態を撮影した映像データ（動線データ）から棚前の人の行動（例えば、手を伸ばした等）を判定することができる。本実施形態では、本判定の精度を高めるために、動線検知カメラＷ１〜Ｗ３のデータから人がどの方向を向いているかを取得し、判定すべき画像の選別に利用する。

次に、判定部１５は、検討レベルの判定情報を判定情報テーブル２４に記憶する(ステップＳ２３)。次に、判定部１５は、客がレジで会計したかを判定する(ステップＳ２５)。判定部１５は、客がレジで会計していないと判定すると、ステップＳ１３に戻り、ステップＳ１３〜Ｓ２５の処理を繰り返し、店内における客の動き及び視線に応じて動線データ及び視線データを収集し、動線データに基づく客の商品に対する検討レベルを判定する。

ステップＳ２５において、判定部１５は、客がレジで会計したと判定すると、選択部１６は、図１２のレコメンド情報生成処理を実行する（ステップＳ２５）。次に、出力部１８は、レコメンド情報生成処理にて生成されたレコメンド情報を含む行動レシートを印字し(ステップＳ２９)、本処理を終了する。

図８に示すように、行動レシートには、来店者が購入した商品情報、エリア情報、商品に対する比較行動、購入した商品とどの商品が比較（回数、時間）されたかの情報等が印字され、レジで会計を終わらせた客に渡される。

［レコメンド情報生成処理］
次に、図１１のステップＳ２７にて呼び出されるレコメンド情報生成処理について、図１２を参照しながら説明する。図１２は、本実施形態に係るレコメンド情報生成処理の一例を示すフローチャートである。

まず、選択部１６は、動線データＤＢ２０と店内エリアマスタＤＢ２１を用いて動線加工後のデータを生成する(ステップＳ３１)。具体的には、選択部１６は、動線検知カメラＷ１〜Ｗ３で取得した店舗内の移動情報（動線データ：客の位置座標、時間）と店内エリアマスタＤＢ２１のエリアＩＤとエリアの領域座標とを対応させて、動線加工後のデータを生成する。図３の例では、動線データＤＢ２０に格納される客の位置座標（Ｘ，Ｙ）と店内エリアマスタＤＢ２１に格納される各エリアの領域座標とから、動線ＩＤで識別される客の一連の動作について、どのエリアにどれだけの時間滞在していたかを示す動線加工後のデータが生成される。動線加工後のデータの一例が、図３の下表に示される。

図１２に戻り、次に、選択部１６は、視線データＤＢ２２と店・棚内エリアマスタＤＢ２３を用いて視線加工後のデータを生成する(ステップＳ３３)。具体的には、選択部１６は、視線検知カメラＶ１〜Ｖ３を用いて取得した店舗の棚内の視線情報（視線データ：客の位置座標、時間）と店・棚内エリアマスタＤＢ２３の棚エリアＩＤと棚エリアの領域座標とを対応させて、視線加工後のデータを生成する。店内エリアＩＤに複数の棚エリアＩＤが定義され得る。店内エリアＩＤだけを定義し、棚エリアＩＤはなくてもよい。図４の例では、視線データＤＢ２２に格納される客の視線座標（Ｘ，Ｙ）と店・棚内エリアマスタＤＢ２３に格納される棚エリアの領域座標とから、視線ＩＤで識別される客の視線がどの店内エリアのどの棚エリアのどの商品にいつ向けられたかを示す視線加工後のデータが生成される。視線加工後のデータの一例が、図４の下表に示される。

図１２に戻り、次に、選択部１６は、動線加工後のデータと視線加工後のデータと検討レベルの判定結果データとＰＯＳデータを対応付けて商品の購買レベルを判定し、購買判定情報を生成する(ステップＳ３５)。具体的には、選択部１６は、以下のようにして各データを紐付ける。
・動線加工後のデータとＰＯＳデータの紐付では、選択部１６は、図６のＰＯＳ情報テーブル２５に記録された時刻をキーに、動線加工後のデータの開始時刻及び終了時刻がＰＯＳ情報テーブル２５に記録された時刻の前後のデータを絞り込む。選択部１６は、絞り込んだ動線加工後のデータについて、エリアＩＤが示すエリアがＰＯＳシステム前のエリアのデータを絞り込んで紐づける。
・動線データと視線データの紐付では、選択部１６は、動線加工後のデータと、視線加工後のデータとを用いて、動線加工後のデータの座標が視線検知カメラＶ１〜Ｖ３が設置された棚エリアに入っている動線加工後のデータを絞り込む。次に、選択部１６は、絞り込んだ動線加工後のデータについて、さらに一定時間以上その棚エリアに滞留している動線加工後のデータを絞り込む。選択部１６は、絞り込んだ動線加工後のデータの時間と、視線加工後のデータの時間が一致するものを紐付ける。

選択部１６は、絞り込み後の、紐付けた動線加工後のデータと視線加工後のデータと、該視線加工後のデータに対応付く検討レベルの判定結果の情報を判定情報テーブル２４から選択する。なお、判定情報テーブル２４には、エリアＩＤの他、各エリア内の棚エリアＩＤを有していてもよい。

動線加工後のデータから選択した検討レベルの判定結果が、どの商品に対する行動であるかは次のように判定できる。例えば、図５の判定情報テーブル２４、図３の下表の動線加工後のデータ及び図４の下表の視線加工後のデータを例に挙げて説明する。この場合、図５の判定情報テーブル２４において、開始時刻「１８：２７：００」に所定の棚に立ち止り、時刻「１８：２７：０１」〜「１８：２７：０５」における動線データに基づく検討レベルの判定結果は「見る」である。また、時刻「１８：２７：０６」〜「１８：２７：０８」における動線データに基づく検討レベルの判定結果は「手に取る」である。

図３の動線加工後のデータを参照すると、「１８：２７：０１」〜「１８：２８：００」の時間、動線ＩＤ「Ｄ００１」の客は、エリアＩＤが「Ａ」のエリアにいることがわかる。また、図４の視線加工後のデータを参照すると、「１８：２７：０２」の時刻には、エリアＩＤ「Ａ」（棚エリアＩＤが「Ａ−１」）に置かれた商品ＩＤ「ＩＤ Ｐ１」が示す商品名「唐揚弁当」に視線が向けられていることがわかる。

さらに、「１８：２７：０６」の時刻には、エリアＩＤが「Ａ」（棚エリアＩＤが「Ａ−２」）にに置かれた商品ＩＤ「ＩＤ Ｐ２」が示す商品名「焼肉弁当」に視線が向けられていることがわかる。さらに、図６のＰＯＳ情報テーブル２５を参照すると、「１８：２７：００」〜「１８：２７：０８」は、Ｎｏ．１のレジで、商品名「焼肉弁当」が購入された時刻「１８：２８：００」の前後の時間である。

図１２に戻り、次に、選択部１６は、レコメンド情報を含むレシートを生成し（ステップＳ３７）、購買レベルを有する購買判定情報を購買判定情報テーブル２６に記憶し（ステップＳ３９）、本処理を終了する。

本例では、図７のＳ２に示すように、属性「３０代、男性」の客が、時刻「１８：２８：００」にお弁当エリアに入り、５８０円の焼肉弁当を購入した商品情報が購買判定情報テーブル２６に記憶される。また、５００円の唐揚弁当は購入しなかったが、興味を持っているという購買レベルを有する購買判定情報が商品情報と対応付けて購買判定情報テーブル２６に記憶される。

以上に説明したように、本実施形態に係る情報処理装置１０によれば、店舗内において取得した動線データと視線データの取得時間と取得位置の情報をキーして、商品を購入しなかった場合の購買行動を含めた客の購買行動を機械的に抽出する。これにより、購入しなかったが興味を持っていると予想される商品情報を抽出し、可視化することができる。可視化の方法の一例としては、図８（ａ）〜図８（ｃ）に示す行動レシートへの購買判定情報の印字が挙げられる。例えば、出力部１８は、[]の購買レベルを示すラベルを付けて、レシート等に印字し、購買行動を可視化してもよい。[注目]、[比較]及び[興味]のラベルは、注目した商品、比較した商品、興味を持った商品を示す。これにより、購入しなかったが、興味を持っていたり、注目していて将来的に購入の可能性があると予測される商品を、容易に認識することができる。

本実施形態では、過去に迷っていた商品で買われていない商品を、客だけでなく、店舗等の販売側や商品開発側に通知する。これにより、店舗側では、よりよい売り場づくりの考察に活用できる。また、販売員はターゲットとなる客（例えば、属性情報から年代が同じ客層）により適した商品をレコメンドすることができる。その結果、商品の販売を促進することができる。

また、客側は、商品に関する有益な情報を得ることができる。例えば、客が、商品Ａ及び商品Ｂの購入を検討し、いずれの商品を購入するかについて迷った結果、商品Ａを購入したとする。この場合、将来的に商品Ｂを購入する可能性は他の商品よりも高いと言える。このように、行動履歴情報から「買われていない」が興味を持たれている商品のピックアップを行い迷った客だけでなく他の客に知らせることで、流行や他人の評価をいち早くつかむことができる。

なお、本実施形態では、行動履歴情報は、自己の行動履歴に基づく情報であってもよいし、他の客の行動履歴に基づく情報であってもよい。図８（ｃ）に示すように、行動レシートとともに、例えば[興味]のラベルが付いた商品についてのクーポン券を発行することで、更に購買意欲を刺激し、商品の販売を促進することができる。

また、過去に迷っていた商品で買われていない商品を可視化することにより、来店者の行動履歴情報をＰＯＳ情報と連携させて、商品毎に分析及び分析結果の可視化を行うことができる。これにより、メーカは、同一カテゴリの商品内での競合又は非競合を発見し、商品開発に役立てることができる。

例えば、商品購入の時間帯別に購買行動を参照及び分析したり、客の属性別に購買行動を参照及び分析したりすることで、当該客にとって、目的意識や注目度の高い商品カテゴリを把握することができ、これにより、商品開発に役立てることができる。

将来的には、分析軸として、店舗パターン（郊外型・都市型）などについても考慮しながら、本実施形態に係る購買行動を分析して商品開発を行うことができる。
＜第２実施形態＞
［情報処理装置の機能構成］
他の購買者がカロリーを意識する傾向がある商品の場合、レコメンド可能な複数の商品のうち、低カロリーの商品を優先的にレコメンドしたり、クーポン券にレコメンドする商品が低カロリーであることを表示したりすることで、更に商品の販売促進を促すことができる。

以下では、上記を踏まえて、本発明の第２実施形態に係る情報処理装置１０の機能構成及び動作について説明する。図１３は、第２実施形態に係る情報処理装置１０の機能構成の一例を示す。本実施形態では、図２に示した第１実施形態に係る情報処理装置１０の機能構成に加えて、記憶部１２に、商品カテゴリテーブル２８、ランキングリスト２９及び繰り返し／順番テーブル３０を有する。

本実施形態に係るＰＯＳ情報テーブル２５では、説明の便宜のために、図６に示す内容に替えて、図１４に示す内容を使用する。

図１５は、第２実施形態に係る商品カテゴリテーブル２８の一例を示す。商品カテゴリテーブル２８は、商品カテゴリと商品ＩＤと商品のカロリーの情報を有する。

図１６は、第２実施形態に係るランキングリスト２９の一例を示す。ランキングリスト２９は、商品名と商品のカロリーとＰＯＳ売上数量の情報を有する。

図１７は、第２実施形態に係る繰り返し／順番テーブル３０の一例を示す。繰り返し／順番テーブル３０は、客が過去に繰り返し比較した、かつ後半に見ていた同じカテゴリ商品の組み合わせを保持する。本実施形態では、繰り返し購入された商品や商品購入の順序を考慮してレコメンド情報を生成する。以下では、まず、繰り返し順序情報の生成処理について説明し、その後、繰り返し順序情報を活用したレコメンド情報の生成処理について説明する。

商品カテゴリテーブル２８、ランキングリスト２９及び繰り返し／順番テーブル３０に記憶された情報は、ＲＡＭ１０４、ＨＤＤ１０８、又はネットワークを介して情報処理装置１０に接続されるデータ処理装置５０又はクラウド上のサーバ等に格納され得る。

［繰り返し順序情報の生成処理］
次に、繰り返し／順番テーブル３０に記憶する繰り返し順序情報の生成処理の一例について、図１８を参照しながら説明する。図１８は、第２実施形態に係る繰り返し順序情報の生成処理の一例を示すフローチャートである。

以下の繰り返し順序情報の生成処理は、バッチ処理化し、情報処理装置１０が定期的（週次、月次等）に実行して繰り返し順序情報を定期的に再作成し、繰り返し／順番テーブル３０に保持しておく。

本処理が開始されると、制御部１７は、商品カテゴリ毎に商品名とその商品ＩＤ、ＰＯＳ売上数量、商品カロリー量の情報を有するランキングリスト２９を作成する（ステップＳ４１）。次に、制御部１７は、ランキングリスト２９をＰＯＳ売上数量で降順にソートする（ステップＳ４３）。次に、制御部１７は、過去に客が繰り返し比較し、かつ、入店から退店までの時間を半分に分けたときの後半に見ていた同じカテゴリの商品の組み合わせを繰り返し／順番テーブル３０に保持し(ステップＳ４５)、本処理を終了する。

［レコメンド情報の生成処理］
次に、本実施形態に係るレコメンド情報の生成処理の一例について、図１９を参照しながら説明する。図１９は、第２実施形態に係るレコメンド情報の生成処理の一例を示すフローチャートである。図１９において、第１実施形態に係るレコメンド情報の生成処理の一例を示す図２のステップと同一のステップ番号が付された処理は、図２の各ステップにて実行される処理と同一処理であるため、ここでは説明を省略する。つまり、ステップＳ３１〜ステップＳ３５、ステップＳ３７及びステップＳ３９は、図２の同一ステップ番号の処理と同じである。

本処理が開始されると、ステップＳ３１〜Ｓ３５の処理が実行され、購入されなかった商品の購買レベルが判定され、購買判定情報が生成される。次に、選択部１６は、客が手に取って比較し、購入した商品について、客が繰り返し比較した同じカテゴリの商品を繰り返し／順番テーブル３０から抽出する（ステップＳ４７）。図１７に示す繰り返し／順番テーブル３０を例にすると、客が手に取って比較し、購入した商品が「チョコＣ」である場合、客が繰り返し比較した同じカテゴリの商品は「チョコＢ」と「チョコＡ」となる。よって、この場合、選択部１６が抽出した商品は、「チョコＢ」と「チョコＡ」である。

次に、選択部１６は、抽出した商品のうち、ランキングリスト２９の上位２０％の商品であって、かつ、購入した商品よりも低カロリーの商品を選択する（ステップＳ４９）。なお、選択する商品は、ランキングリストの上位２０％の商品でなくてもよく、ランキング上位から所定個の商品を選択するようにしてもよい。

次に、選択部１６は、選択した低カロリーの商品をレコメンド情報として含むレシートを生成し（ステップＳ３７）、購買レベルを購買判定情報テーブル２６に記憶し（ステップＳ３９）、本処理を終了する。例えば、図１６のランキングリスト２９を例に挙げると、上記抽出した「チョコＢ」と「チョコＡ」は、ランキングリスト２９の上位２０％の商品である。この場合、選択部１６は、チョコＡ及びチョコＢの商品を低カロリーの商品としてレコメンド情報に含んだレシートを生成する。

一方、例えば、チョコＢが購入したチョコＣよりも高カロリーの商品であって、チョコＡが購入したチョコＣよりも低カロリーの商品である場合には、チョコＡのみを低カロリーの商品としてレコメンド情報に含んだレシートを生成する。

その結果、図２０に一例を示すように、左側に示すこれまでのレシートに対して、右側の行動レシートは、第２実施形態に係る情報処理装置１０により生成される。これによれば、これまでのレシートには、購買商品の一つにチョコＣを印字し、裏面には購買の内訳を記している。

一方、本実施形態に係る情報処理装置１０は、行動レシートに購買された商品とその単価とともに、レコメンド情報の一例であるチョコＡの情報を印字する。印字内容の一例としては、［おすすめ］のラベルを付した「チョコＡ」の商品名と、カロリーと金額を、購入したチョコＣと比較して低カロリーであることを示す数値とともに表示する。チョコＡ及びチョコＢの商品が低カロリーの商品である場合、チョコＡ及びチョコＢをレコメンド情報に含んだレシートが生成される。

このようにして、本実施形態では、棚の商品に対して、順序的に後半に見ている、繰り返して比較している商品については情報提供の比重を重くする。また、同じカテゴリの商品内比較の場合はカロリー情報を記憶し、提案時に情報チョコＣの商品よりも低カロリーのチョコＡの商品を、「同じ商品カテゴリで他購買者が購入している今人気の低カロリー商品」としてレコメンド対象とする。これにより、客の嗜好に合わせて商品をレコメンドすることで、更に商品の販売を促進することができる。

なお、手に取る等の特定の行為が後半に行われたと判定された場合であっても、同じ特定の行為が前半にも行われていると判定した場合、前記商品を購入する可能性が低いと判定することができる。この場合、商品を購入する可能性が低いと判定された商品は、レコメンド情報対象とはならない。

以上、各実施形態に係る情報処理装置１０によれば、来店客の行動を測定し、データ化することで、調査者の主観に左右されることなく、一定の基準でセンシング計測、行動判定、データ蓄積を自動で実施することができる。これにより、データの正確性が確保され、信頼性が向上し、商品の販売を促進することができる。

また、調査の対象者を全来店客の動線データ及び視線データを取得することで、客観的に同じ尺度で機械的に来店客定の行動を把握でき、調査コストの削減を図ることができる。店内動線データと、来店者の商品検討レベルの行動判定（「商品を手にした」「複数の商品を比較した」など）の情報と視線データに基づき、来店客がどこの棚に一番最初に行ったか（かごに最初に入れた商品等）を特定できる。これにより、よりよい売り場づくりや、顧客への提案等に役立てることができる。小売やメーカは行動レシートから商品購入の決め手や消費者の嗜好等を探るなどして、販売戦略や商品開発に役立てることができる。

本実施形態において、繰り返し手に取られた商品と同様に、後半に見た商品は、前半に見た商品よりもレコメンドする重み付けを高くしてもよい。これは、来店時の前半は、客は棚の全体を見回し、特徴的な商品を見ていないのに対して、来店時の後半には、棚の全体を見回し、特徴的な商品を見ている可能性が高いためである。本実施形態では、例えば、後半に見る商品の数が少ない程、その商品に注目していると判定し、重み付けを高くするようにしてもよい。

以上、情報処理プログラム、情報処理方法及び情報処理装置を上記実施形態により説明したが、本発明に係る情報処理プログラム、情報処理方法及び情報処理装置は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。また、上記実施形態及び変形例が複数存在する場合、矛盾しない範囲で組み合わせることができる。

例えば、本発明に係る情報処理システムは、情報処理装置１０及びデータ処理装置５０は、ネットワーク４０を介して接続されている形態に限らない。例えば、本発明に係る情報処理システムは、情報処理装置１０の機能を複数の装置に分散して処理してもよい。本発明に係る情報処理システムは、データ処理装置５０の機能を情報処理装置１０内に有していてもよい。

また、本発明に係る情報処理システムは、複数の店舗にて得た行動履歴情報に基づきレコメンド情報を生成し、行動レシートに出力したり、表示部に表示することができる。更に、本発明に係る情報処理システムは、来店客の行動履歴情報に基づきレコメンド情報を生成することに限らず、例えば、イベント会場の来場客の行動履歴情報に基づきレコメンド情報を生成してもよい。この場合にも、来場客が所持するスマートフォンや、会場内のディスプレイへの表示や所定のデジタルサイネージへの表示、紙媒体への印字等の方法にて、ユーザに対して購買しなかった商品のレコメンドを行うことができる。

この場合、イベント会場の入口にＷｅｂカメラを設置し、Ｗｅｂカメラの画像に基づき、イベント会場に人が来場したか否かを判定してもよい。つまり、上記実施形態における店舗への来店時の各処理は、所定の会場への来場時の各処理に適用することができる。また、店舗内における動線データ及び視線データの取得、行動履歴情報の蓄積、購買判定情報の生成、レコメンド情報を生成及び出力は、会場内における動線データ及び視線データの取得、行動履歴情報の蓄積、購買判定情報の生成、レコメンド情報を生成及び出力に適用することができる。

以上の説明に関し、更に以下の項を開示する。
（付記１）
来店を検出すると、店舗内における行動履歴情報を参照して、過去の来店時に購入されなかった複数の商品から少なくともいずれかの商品を選択し、
選択した前記商品に関する情報を出力する、
処理をコンピュータに実行させることを特徴とする情報処理プログラム。
（付記２）
前記行動履歴情報は、前記店舗内にて過去に来店した客毎に、前記客により特定の行為が行われた複数の商品の識別情報と、該複数の商品のそれぞれに対して該特定の行為が行われた順序情報と、該複数の商品のそれぞれが該客によって購入されたか否かを示す情報とを含み、
前記購入されたか否かを示す情報を参照して、過去の来店時に購入されなかった複数の商品を特定し、
特定した前記複数の商品から前記順序情報に基づき少なくともいずれかの商品の識別情報を選択する、
付記１に記載の情報処理プログラム。
（付記３）
前記順序情報に基づき、特定の行為が行われた順番が後になるほど、前記商品を購入する可能性が高いと判定し、
前記判定の結果に応じて、前記複数の商品から少なくともいずれかの商品の識別情報を選択する、
付記２に記載の情報処理プログラム。
（付記４）
前記順序情報に基づき、特定の行為が所定の順番よりも後に行われたと判定した場合であっても、同じ特定の行為が所定の順番よりも前にも行われていると判定した場合、前記商品を購入する可能性が低いと判定し、
前記判定の結果に応じて、前記複数の商品から少なくともいずれかの商品の識別情報を選択する、
付記２又は３に記載の情報処理プログラム。
（付記５）
前記商品に関する情報は、前記識別情報に基づき識別される商品に対する前記特定の行為を示す情報及び該商品に関する特典情報の少なくともいずれかを含む、
付記２〜４のいずれか一項に記載の情報処理プログラム。
（付記６）
前記商品に関する情報の出力は、前記選択した商品に関する情報の紙媒体への出力、前記選択した商品に関する情報の前記店内又は店周辺に配置された表示部への表示、及び前記選択した商品に関する情報の前記来店客が所有する端末への表示の少なくともいずれかである、
付記１〜５のいずれか一項に記載の情報処理プログラム。
（付記７）
来店を検出すると、店舗内における行動履歴情報を参照して、過去の来店時に購入されなかった複数の商品から少なくともいずれかの商品を選択し、
選択した前記商品に関する情報を出力する、
ことをコンピュータが実行する情報処理方法。
（付記８）
前記行動履歴情報は、前記店舗内にて過去に来店した客毎に、前記客により特定の行為が行われた複数の商品の識別情報と、該複数の商品のそれぞれに対して該特定の行為が行われた順序情報と、該複数の商品のそれぞれが該客によって購入されたか否かを示す情報とを含み、
前記購入されたか否かを示す情報を参照して、過去の来店時に購入されなかった複数の商品を特定し、
特定した前記複数の商品から前記順序情報に基づき少なくともいずれかの商品の識別情報を選択する、
付記７に記載の情報処理方法。
（付記９）
前記順序情報に基づき、特定の行為が行われた順番が後になるほど、前記商品を購入する可能性が高いと判定し、
前記判定の結果に応じて、前記複数の商品から少なくともいずれかの商品の識別情報を選択する、
付記８に記載の情報処理方法。
（付記１０）
前記順序情報に基づき、特定の行為が所定の順番よりも後に行われたと判定した場合であっても、同じ特定の行為が所定の順番よりも前にも行われていると判定した場合、前記商品を購入する可能性が低いと判定し、
前記判定の結果に応じて、前記複数の商品から少なくともいずれかの商品の識別情報を選択する、
付記８又は９に記載の情報処理方法。
（付記１１）
前記商品に関する情報は、前記識別情報に基づき識別される商品に対する前記特定の行為を示す情報及び該商品に関する特典情報の少なくともいずれかを含む、
付記８〜１０のいずれか一項に記載の情報処理方法。
（付記１２）
前記商品に関する情報の出力は、前記選択した商品に関する情報の紙媒体への出力、前記選択した商品に関する情報の前記店内又は店周辺に配置された表示部への表示、及び前記選択した商品に関する情報の前記来店客が所有する端末への表示の少なくともいずれかである、
付記７〜１１のいずれか一項に記載の情報処理方法。
（付記１３）
来店を検出すると、店舗内における行動履歴情報を参照して、過去の来店時に購入されなかった複数の商品から少なくともいずれかの商品を選択する選択部と、
選択した前記商品に関する情報を出力する出力部と、
を有する情報処理装置。
（付記１４）
前記行動履歴情報は、前記店舗内にて過去に来店した客毎に、前記客により特定の行為が行われた複数の商品の識別情報と、該複数の商品のそれぞれに対して該特定の行為が行われた順序情報と、該複数の商品のそれぞれが該客によって購入されたか否かを示す情報とを含み、
前記選択部は、前記購入されたか否かを示す情報を参照して、過去の来店時に購入されなかった複数の商品を特定し、
特定した前記複数の商品から前記順序情報に基づき少なくともいずれかの商品の識別情報を選択する、
付記１３に記載の情報処理装置。
（付記１５）
前記順序情報に基づき、特定の行為が行われた順番が後になるほど、前記商品を購入する可能性が高いと判定する判定部を有し、
前記選択部は、前記判定の結果に応じて、前記複数の商品から少なくともいずれかの商品の識別情報を選択する、
付記１４に記載の情報処理装置。
（付記１６）
前記判定部は、前記順序情報に基づき、特定の行為が所定の順番よりも後に行われたと判定した場合であっても、同じ特定の行為が所定の順番よりも前にも行われていると判定した場合、前記商品を購入する可能性が低いと判定し、
前記選択部は、前記判定の結果に応じて、前記複数の商品から少なくともいずれかの商品の識別情報を選択する、
付記１４又は１５に記載の情報処理装置。
（付記１７）
前記商品に関する情報は、前記識別情報に基づき識別される商品に対する前記特定の行為を示す情報及び該商品に関する特典情報の少なくともいずれかを含む、
付記１４〜１６のいずれか一項に記載の情報処理装置。
（付記１８）
前記商品に関する情報の出力は、前記選択した商品に関する情報の紙媒体への出力、前記選択した商品に関する情報の前記店内又は店周辺に配置された表示部への表示、及び前記選択した商品に関する情報の前記来店客が所有する端末への表示の少なくともいずれかである、
付記１３〜１７のいずれか一項に記載の情報処理装置。

１０ 情報処理装置
１１ 取得部
１２ 記憶部
１３ 検出部
１４ 画像処理部
１５ 判定部
１６ 選択部
１７ 制御部
１８ 出力部
１９ 通信部
２０ 、動線データＤＢ
２１ 店内エリアマスタＤＢ
２２ 視線データＤＢ
２３ 店・棚内エリアマスタＤＢ
２４ 判定情報テーブル
２５ ＰＯＳ情報テーブル
２６ 購買判定情報テーブル
２７ 情報処理プログラム
２８ 商品カテゴリテーブル
２９ ランキングリスト
３０ 繰り返し／順番テーブル
５０ データ処理装置
Ｗ１，Ｗ２，Ｗ３ 動線検知カメラ
Ｖ１，Ｖ２，Ｖ３ 視線検知カメラ

Claims (8)

1. 来店を検出すると、店舗内における行動履歴情報を参照して、過去の来店時に購入されなかった複数の商品から少なくともいずれかの商品を選択し、
   選択した前記商品に関する情報を出力する、
   処理をコンピュータに実行させることを特徴とする情報処理プログラム。
2. 前記行動履歴情報は、前記店舗内にて過去に来店した客毎に、前記客により特定の行為が行われた複数の商品の識別情報と、該複数の商品のそれぞれに対して該特定の行為が行われた順序情報と、該複数の商品のそれぞれが該客によって購入されたか否かを示す情報とを含み、
   前記購入されたか否かを示す情報を参照して、過去の来店時に購入されなかった複数の商品を特定し、
   特定した前記複数の商品から前記順序情報に基づき少なくともいずれかの商品の識別情報を選択する、
   請求項１に記載の情報処理プログラム。
3. 前記順序情報に基づき、特定の行為が行われた順番が後になるほど、前記商品を購入する可能性が高いと判定し、
   前記判定の結果に応じて、前記複数の商品から少なくともいずれかの商品の識別情報を選択する、
   請求項２に記載の情報処理プログラム。
4. 前記順序情報に基づき、特定の行為が所定の順番よりも後に行われたと判定した場合であっても、同じ特定の行為が所定の順番よりも前にも行われていると判定した場合、前記商品を購入する可能性が低いと判定し、
   前記判定の結果に応じて、前記複数の商品から少なくともいずれかの商品の識別情報を選択する、
   請求項２又は３に記載の情報処理プログラム。
5. 前記商品に関する情報は、前記識別情報に基づき識別される商品に対する前記特定の行為を示す情報及び該商品に関する特典情報の少なくともいずれかを含む、
   請求項２〜４のいずれか一項に記載の情報処理プログラム。
6. 前記商品に関する情報の出力は、前記選択した商品に関する情報の紙媒体への出力、前記選択した商品に関する情報の前記店内又は店周辺に配置された表示部への表示、及び前記選択した商品に関する情報の前記来店客が所有する端末への表示の少なくともいずれかである、
   請求項１〜５のいずれか一項に記載の情報処理プログラム。
7. 来店を検出すると、店舗内における行動履歴情報を参照して、過去の来店時に購入されなかった複数の商品から少なくともいずれかの商品を選択し、
   選択した前記商品に関する情報を出力する、
   ことをコンピュータが実行する情報処理方法。
8. 来店を検出すると、店舗内における行動履歴情報を参照して、過去の来店時に購入されなかった複数の商品から少なくともいずれかの商品を選択する選択部と、
   選択した前記商品に関する情報を出力する出力部と、
   を有する情報処理装置。

Images