JP2022149539A - 情報処理装置、プログラム、および行動分析システム - Google Patents

Abstract

【課題】店舗内における顧客の行動を推定する判定精度向上を容易に行う情報処理端末装置、プログラムおよび行動分析システムを提供する。【解決手段】行動分析システム１において、情報処理装置としての行動分析装置３０は、カメラ１０から取得した撮像データから特定の顧客の特徴情報（例えば顔画像）を抽出し、当該特徴情報を含む撮像データを時系列に並べ、特徴情報を含む撮像データから顧客が商品陳列棚に対して手を伸ばしてから戻すまでの１動作を示す撮像データを抽出する。情報処理装置５０は、行動分析装置３０が推定した１取引における購入商品と、当該１取引において実際に取引された取引情報に含まれる購入商品と、を比較して、両者が異なる場合、行動分析装置３０が推定した行動情報を修正する。【選択図】図１

Description

本発明の実施形態は、情報処理装置、プログラム、および行動分析システムに関する。

従来、小売店などにおける顧客の行動を検出することが行われている（例えば、特許文献１）。店舗は、検出した顧客の行動に基づいて拡販のための各種施策を実行することができる。例えば、店舗は、検出した顧客の移動軌跡（動線）に基づいて商品の配置を変更したり、顧客が商品陳列棚から商品を取り出したことの検出に伴って当該商品に関連する他の商品のレコメンドやクーポンを配信したりすることができる。

また、近年、機械学習で人の行動を推定する取り組みがなされている。機械学習においては、機械学習モデルの判定精度向上が重要となってくる。機械学習モデルの判定精度向上のためには、実環境におけるセンサ値と正解ラベルとを対応づけた訓練データが必要となるが、当該訓練データの収集には手間とコストを要するのが実情である。

本発明が解決しようとする課題は、店舗内における顧客の行動を推定する機械学習モデルの判定精度向上を容易に行うことが可能な情報処理装置、プログラム、および行動分析システムを提供することである。

実施形態の情報処理装置は、店舗に設けられたセンサのセンサ情報に基づいて推定された顧客の行動を示す行動情報と、当該行動情報に基づいて当該顧客が１取引で購入したと推定される商品を識別する商品識別情報と、当該１取引を特定することが可能な取引特定情報と、を対応付けた購入推定情報を取得する購入推定情報取得部と、前記店舗の取引に係る情報であって、１取引で取引された商品の前記商品識別情報と前記取引特定情報とを対応付けた取引情報を取得する取引情報取得部と、前記取引特定情報で特定される１取引に関して、前記購入推定情報に含まれる前記商品識別情報と前記取引情報に含まれる前記商品識別情報とを比較する比較部と、前記比較部による比較の結果、前記購入推定情報に含まれる前記商品識別情報と前記取引情報に含まれる前記商品識別情報とが一致しない場合、前記取引情報に基づいて前記行動情報を修正する修正部と、前記修正部が修正した行動情報を出力する出力部と、を備える。

図１は、実施形態の情報処理装置を含む行動分析システムの概略を示す図である。 図２は、実施形態の情報処理装置のハードウェア構成を示すブロック図である。 図３は、実施形態の情報処理装置のメモリ部に記憶される購入推定情報ファイルのデータ構成を示す図である。 図４は、実施形態の情報処理装置のメモリ部に記憶される推定対象データファイルのデータ構成を示す図である。 図５は、実施形態の情報処理装置のメモリ部に記憶される取引情報ファイルのデータ構成を示す図である。 図６は、実施形態の情報処理装置のメモリ部に記憶される修正データファイルのデータ構成を示す図である。 図７は、実施形態の情報処理装置における制御部の機能構成を示すブロック図である。 図８は、実施形態の情報処理装置の制御部による処理の流れを示すフローチャートである。 図９は、実施形態の情報処理装置における行動情報の修正画面を示す図である。

以下、図面を参照して実施形態の情報処理装置、プログラム、および行動分析システムについて説明する。なお、以下に説明する実施形態によりこの発明が限定されるものではない。例えば、以下に説明する実施形態では、行動分析システムをスーパーマーケットに適用する例について説明するが、商品を販売する各種店舗に広く適用することができる。

図１は、情報処理装置を含む行動分析システムの概略を示す図である。本実施形態の行動分析システム１は、食料品や日用品等を販売するスーパーマーケット（以下、店舗ともいう）などに適用される。行動分析システム１は、複数のカメラ１０、複数のＰＯＳ（Point Of Sales）端末２０、行動分析装置３０、店舗サーバ４０、および情報処理装置５０を備える。これら複数のカメラ１０、複数のＰＯＳ端末２０、行動分析装置３０、店舗サーバ４０、および情報処理装置５０は、ＬＡＮ（Local Area Network）等のネットワークを介して互いに通信可能に接続されている。

カメラ１０は、店舗の売り場に複数配置される。各カメラ１０は、売り場内に配置される各商品陳列棚にそれぞれ対応して設けられ、対応する商品陳列棚における顧客の動作等を撮像可能となっている。各カメラ１０は、撮像した撮像データを随時行動分析装置３０に出力する。撮像データは、カメラ１０が撮像した画像データと当該画像データが撮像された時刻を示す情報と撮像したカメラを特定する情報とが対応づけられている。カメラ１０は、店舗内に設けられたセンサの一例である。また、カメラ１０が出力する撮像データはセンサ情報の一例である。

ＰＯＳ端末２０は、店舗の売り場の会計場所に複数設けられる。ＰＯＳ端末２０は、顧客が購入する商品の商品情報を登録（以下、商品登録ともいう）し、商品登録した商品について会計処理を実行する。会計処理とは、顧客が購入する商品の代金の支払を行うための処理であり、例えば、合計金額の算出、釣銭の算出、キャッシュレス決済における決済サーバとの情報の送受信、レシートの発行などの処理である。なお、ＰＯＳ端末２０は、店員が操作するＰＯＳ端末でもよいし、顧客が操作するセルフＰＯＳ端末でもよい。ＰＯＳ端末２０は、店舗における取引の会計処理を実行する会計装置の一例である。なお、会計装置は、商品登録と会計処理を別装置で行う、いわゆるセミセルフＰＯＳにおける会計装置であってもよい。

ＰＯＳ端末２０は、取引情報を店舗サーバ４０に出力する。取引情報とは、１取引で取引された商品を識別する商品識別情報（例えば、商品コードや商品名等）と、１取引を特定する取引特定情報（例えば、支払（精算）時刻とＰＯＳ端末Ｎｏなど）と、を対応付けた情報である。店舗サーバ４０は、取得した取引情報を記憶部（図示せず）に記憶する。ＰＯＳ端末２０は、取引情報を随時店舗サーバ４０に出力してもよいし、定期的（例えば、毎日所定時刻）に出力してもよい。

行動分析装置３０は、カメラ１０から取得した撮像データに基づいて顧客の行動を推定する。例えば、行動分析装置３０は、商品陳列棚から商品を取り出した動作（以下、取得動作ともいう）、商品陳列棚から取り出した商品を当該商品陳列棚に戻す動作（以下、返却動作ともいう）、ＰＯＳ端末２０で精算する動作（以下、精算動作ともいう）等の顧客の行動を推定する。顧客の行動の推定は、機械学習モデルを用いて行われる。また、行動分析装置３０は、推定された顧客の行動に基づいて当該顧客が１取引で購入した商品を推定する。

ここで、行動分析装置３０の機能について詳細に説明する。行動分析装置３０が実行する処理は、推定対象データの生成、顧客の行動の推定、購入推定情報の生成、推定結果を活用するシステムへの情報の出力、店舗サーバ４０への情報の出力などである。以下、これら処理について説明する。

（推定対象データの生成）
推定対象データは、機械学習モデルに入力するためのデータで、カメラ１０から取得した撮像データに基づいて画像処理によって生成される画像データである。行動分析装置３０は、店舗の売り場のレイアウトデータを記憶している。レイアウトデータは、商品陳列棚の配置、各商品陳列棚と当該陳列棚に陳列されている商品とを対応付けた情報等を備えている。行動分析装置３０は、機械学習モデルにデータを入力するための前処理として、カメラ１０から取得した撮像データとレイアウトデータとに基づいて推定対象データを生成する。

行動分析装置３０は、カメラ１０から取得した撮像データから特定の顧客の特徴情報（例えば、顔画像など）を抽出し、当該特徴情報を含む撮像データを時系列に並べる。また、行動分析装置３０は、特徴情報を含む撮像データから顧客が商品陳列棚に対して手を伸ばしてから戻すまでの１動作を示す撮像データを抽出する。各撮像データには撮像したカメラ１０を特定する情報（カメラＮｏ）が対応づけられている。各カメラ１０は各商品陳列棚に対応しており、またレイアウトデータにより各商品陳列棚と当該商品陳列棚に陳列されている商品とが対応づけられているため、行動分析装置３０は撮像データに示される顧客がどの商品に手を伸ばしたかを認識することができる。また、行動分析装置３０は、特定した顧客がＰＯＳ端末２０に位置してから立ち去るまでの撮像データを抽出する。なお、上記撮像データの抽出を機械学習モデルによって行うことも可能である。こうして撮像データが抽出されることで推定対象データが生成される。

行動分析装置３０によって抽出された、特定の顧客が商品陳列棚に対して手を伸ばしてから戻すまでの１動作を示す撮像データ、ＰＯＳ端末２０に位置してから立ち去るまでの撮像データのそれぞれは、推定対象データの一例である。これら推定対象データを時系列に並べることによって、特定の顧客の１取引における行動を推定するためのデータが生成される。

（顧客の行動の推定）
顧客の行動の推定は、機械学習モデルを用いて実行される。機械学習モデルは、撮像データと当該撮像データに含まれる行動についての正解ラベルとを備えた訓練データに基づいて生成されたものである。また、機械学習モデルは、情報処理装置５０から取得する行動情報を訓練データとしてトレーニングを実行し、機械学習モデルのパラメータを調整する。これにより、機械学習モデルの判定精度を向上することができる。情報処理装置５０から取得する行動情報については後述する。

機械学習モデルには推定対象データが入力される。機械学習モデルは、例えば、特定した顧客が商品陳列棚に対して手を伸ばしてから戻すまでの１動作を示す撮像データが入力されると、当該撮像データに含まれる顧客の行動が取得動作や返却動作であるか判定する。機械学習モデルは、顧客の行動を抽出し、抽出した行動が実行されたと判定される確率値が所定値（例えば７０パーセント）以上であると、当該行動が行われたと推定する。機械学習モデルには顧客の１取引中の行動に関する推定対象データが入力され、機械学習モデルは各推定対象データに含まれる行動を抽出し、抽出した行動が実行されたか否か判定する。例えば、機械学習モデルは、顧客の１取引中の取得動作、返却動作、精算動作等の行動が実行されたか否か判定する。機械学習モデルは、抽出した１取引の行動を示す情報（以下、行動情報ともいう）を出力する。行動情報は、例えば、取得、返却、精算などの行動の名称と、当該行動が実行されたか否かの判定結果と、当該行動が行われたと推定される時間と、を含む。機械学習モデルに入力された推定対象データと、機械学習モデルから出力された行動情報とには同一の判定ＩＤが付与されて両者は対応づけられる。

（購入推定情報の生成）
行動分析装置３０は、機械学習モデルから随時出力される各行動情報に基づいて購入推定情報を生成する。購入推定情報は、機械学習モデルが出力した１取引の行動を示す行動情報、当該行動情報に基づいて顧客が１取引で購入したと推定される商品を識別する商品識別情報、および当該１取引を特定することが可能な取引特定情報が対応付けられた情報を含む。本実施形態においては、購入推定情報は、さらに１取引で購入したと推定される商品ごとの個数を示す情報を含む。商品識別情報は、例えば商品名や商品コードなどである。取引特定情報は、本実施形態では、ＰＯＳ端末２０で精算されたと推定される時刻とＰＯＳ端末Ｎｏとで構成される。ＰＯＳ端末２０で精算されたと推定される時刻は、例えば精算動作中のレシートを受領した行動を推定した時刻を設定してもよい。また、顧客がＰＯＳ端末２０に位置した時刻と、精算を終えてＰＯＳ端末２０から立ち去った時刻と、をセットにして精算時刻として扱ってもよい。

（推定結果を活用するシステムへの情報の出力）
行動分析装置３０は、機械学習モデルが出力した行動情報、あるいは当該行動情報に基づいて推定された購入推定情報を外部システムに出力する。外部システムは、行動分析装置３０から取得した情報に基づいて各種サービスを展開する。外部システムの一例としては、クーポン発行システム等が挙げられる。クーポン発行システムは、顧客が商品陳列棚からある商品を取り出したことを示す行動情報を行動分析装置３０から取得すると、当該商品に関連する商品のクーポンを顧客の携帯端末に配信するなどの処理が可能となる。なお、外部システムはクーポン発行システムに限らない。

（店舗サーバ４０への情報の出力）
行動分析装置３０は、生成した推定対象データおよび購入推定情報を随時店舗サーバ４０に出力する。推定対象データおよび購入推定対象情報には判定ＩＤも含まれる。店舗サーバ４０は、取得した推定対象データおよび購入推定情報を記憶部（図示せず）に記憶する。なお、本実施形態では、行動分析装置３０が店舗サーバ４０に出力する推定対象データおよび購入推定対象情報には、機械学習モデルで顧客が実行したと判定された行動に関するものに加えて、行動は抽出されたが顧客が実行したとは判定されなかった行動に関するものも含まれる。しかしながら、行動分析装置３０が店舗サーバ４０に出力する推定対象データおよび購入推定対象情報は、機械学習モデルで顧客が実行したと判定された行動に関するものだけでもよい。

次に、店舗サーバ４０について説明する。店舗サーバ４０は、各ＰＯＳ端末２０から取引情報を取得し、当該取引情報を記憶する。また、店舗サーバ４０は行動分析装置３０から購入推定情報および推定対象データを取得し、これら購入推定情報および推定対象データを記憶する。そして、店舗サーバ４０は、例えば情報処理装置５０からの出力要求に応じて、所定期間（例えば１カ月間）の取引情報、推定対象データ、および購入推定情報を情報処理装置５０に出力する。店舗サーバ４０は、情報処理装置５０からの出力要求に応じてではなく、予め設定されたタイミングで、所定期間の取引情報、推定対象データ、および購入推定情報を情報処理装置５０に出力してもよい。

また、店舗サーバ４０は、店舗で取り扱っている商品について、商品コードと商品情報（商品名、価格等）とを対応付けた商品マスタを記憶する。店舗で取り扱う商品は日々変化するので、商品マスタは適宜更新される。店舗サーバ４０は、各ＰＯＳ端末２０に商品マスタを送信する。

情報処理装置５０は、行動分析装置３０の機械学習モデルをトレーニングするための訓練データを行動分析装置３０に提供する。情報処理装置５０は、行動分析装置３０が推定した１取引における購入商品と、当該１取引において実際に取引された取引情報に含まれる購入商品と、を比較して、両者が異なる場合、行動分析装置３０が推定した行動情報を修正する。例えば、情報処理装置５０は、実際に取引された取引情報を正解データとして行動情報を修正する。そして、情報処理装置５０は、修正した行動情報を行動分析装置３０に出力する。行動分析装置３０は、情報処理装置５０から取得した行動情報を訓練データとして機械学習モデルがトレーニングを実行することで当該機械学習モデルの判定精度を向上させることができる。情報処理装置５０は、上記のとおり機能するので、訓練データ生成装置ということもできる。

次に、情報処理装置５０のハードウェア構成について説明する。図２は、情報処理装置５０のハードウェア構成を示すブロック図である。情報処理装置５０は、制御部５００と、メモリ部５１０と、表示装置５２０と、入力装置５３０と、通信部５４０と、を備えている。制御部５００、メモリ部５１０、表示装置５２０、入力装置５３０、および通信部５４０は、バス５５０等を介して互いに接続されている。

制御部５００は、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３を備えたコンピュータで構成されている。ＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、互いにバス５５０を介して接続されている。

ＣＰＵ５０１は情報処理装置５０の全体の動作を制御する。ＲＯＭ５０２は、ＣＰＵ５０１の駆動に用いられるプログラムなどの各種プログラムや各種データを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用され、ＲＯＭ５０２やメモリ部５１０に記憶された各種プログラムや各種データを展開する。制御部５００は、ＣＰＵ５０１がＲＯＭ５０２や、メモリ部５１０に記憶されＲＡＭ５０３に展開された制御プログラムに従って動作することによって、情報処理装置５０の各種制御処理を実行する。

メモリ部５１０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶媒体で構成されており、電源を遮断しても記憶内容を維持する。メモリ部５１０は、制御プログラム５１１、購入推定情報ファイル５１２、推定対象データファイル５１３、取引情報ファイル５１４、および修正データファイル５１５を記憶する。なお、購入推定情報ファイル５１２、推定対象データファイル５１３、取引情報ファイル５１４、および修正データファイル５１５は外部メモリに記憶されていてもよい。

制御プログラム２１１は、情報処理装置５０を、行動分析装置３０の機械学習モデルに提供する訓練データの生成装置として機能させるプログラムなどである。

購入推定情報ファイル５１２は、店舗サーバ４０から取得した購入推定情報を管理するファイルである。購入推定情報は、１取引毎のデータであって、行動分析装置３０から随時店舗サーバ４０に送信される。情報処理装置５０は、例えば、毎月１回、１カ月分の購入推定情報を店舗サーバ４０から取得する。購入推定情報に含まれる各情報は、行動分析装置３０で推定された情報である。図３は、購入推定情報ファイル５１２のデータ構成を示す図である。購入推定情報ファイル５１２に登録される各データは、精算時刻、ＰＯＳ端末Ｎｏ、商品名、行動、時間、判定、確率値、および判定ＩＤを示す情報が対応づけられている。

精算時刻の項目には、１取引において精算されたと推定される時刻を示す情報が登録される。すなわち、精算時刻に登録される情報は、行動分析装置３０がカメラ１０からの撮像データに基づいて推定した精算時刻を示す情報である。ＰＯＳ端末Ｎｏの項目には、精算されたと推定されるＰＯＳ端末２０を識別するユニークな番号が登録される。精算時刻と精算されたＰＯＳ端末２０の番号を特定することで、１取引を特定することが可能となる。言い換えれば、精算時刻とＰＯＳ端末Ｎｏとの組み合わせは、取引特定情報の一例である。なお、店舗に設置されるＰＯＳ端末２０等の会計機が１台の場合は、精算時刻のみによって１取引が特定できることから、精算時刻のみが取引特定情報となる。

商品名の項目には、顧客が購入したと推定された商品の名称を示す情報が登録される。商品名の項目に登録される情報は、商品識別情報の一例である。購入推定情報ファイル５１２は、商品識別情報として商品コードを登録するようにしてもよい。行動の項目には、行動分析装置３０で抽出された顧客の行動内容を示す情報が登録される。行動名の項目に登録される情報は、行動情報の一例である。時間の項目には、行動を推定するために用いられた撮像データの開始時刻と終了時刻を示す情報が登録される。時間の項目には、例えば、行動を推定するために用いられた撮像データの開始時刻のみ、あるいは終了時間のみを登録するようにしてもよい。

判定の項目には、行動分析装置３０で抽出された顧客の行動内容が正しいか誤っているかの判定結果を示す情報が登録される。判定の項目に「○」が登録されたものは、対応する行動が行われたと判定されたことを示す。確率値の項目には、行動分析装置３０の機械学習モデルが抽出した行動を正しいと判定する確率を示す情報が登録される。図３に示す例では、２０２１年３月３日１２時１５分にＰＯＳ端末Ｎｏが１のＰＯＳ端末２０で精算された１取引において、１０時３８分～３９分の行動で商品Ａが取り出された確率が９０パーセントであり、商品Ａが取り出されて購入されたと行動分析装置が判定したことを示している。判定ＩＤの項目には、行動分析装置３０の機械学習モデルにおける入力（推定対象データ）と出力（行動情報）とを対応付ける情報が登録される。

推定対象データファイル５１３は、店舗サーバ４０から取得した推定対象データを管理するファイルである。推定対象データは、行動分析装置３０が生成した個々の行動ごとの撮像データであって、行動分析装置３０から随時店舗サーバ４０に送信される。情報処理装置５０は、購入推定情報を取得するタイミングで推定対象データを店舗サーバ４０から取得する。図４は、推定対象データファイル５１３のデータ構成を示す図である。推定対象データファイル５１３に登録される各データは、時間、カメラＮｏ、撮像データ、商品名、および判定ＩＤを示す情報が対応づけられている。

時間の項目には、行動を推定するために用いられた撮像データの開始時刻と終了時刻を示す情報が登録される。カメラＮｏの項目には、撮像データを撮像したカメラを識別するユニークな番号が登録される。撮像データの項目には、対応する時間およびカメラＮｏのカメラで撮像された撮像データが登録される。商品名の項目には、対応する撮像データの撮像対象となっている商品、言い換えれば行動分析装置３０が抽出した行動の対象となっている商品の名称を示す情報が登録される。判定ＩＤの項目には、上述したとおり、行動分析装置３０の機械学習モデルにおける入力（推定対象データ）と出力（行動情報）とを対応付ける情報が登録される。

取引情報ファイル５１４は、店舗サーバ４０から取得した取引情報を管理するファイルである。取引情報は、各ＰＯＳ端末２０から随時店舗サーバ４０に送信される。情報処理装置５０は、購入推定情報を取得するタイミングで取引情報を店舗サーバ４０から取得する。図５は、取引情報ファイル５１４のデータ構成を示す図である。取引情報ファイル５１４に登録される各データは、精算時刻、ＰＯＳ端末Ｎｏ、商品名を示す情報が対応づけられている。

精算時刻の項目には、ＰＯＳ端末２０で記録された精算時間を示す情報が登録される。ＰＯＳ端末Ｎｏの項目には、ＰＯＳ端末２０を識別するユニークな番号が登録される。精算時刻と精算されたＰＯＳ端末２０の番号を特定することで、１取引を特定することが可能となる。上述したように、精算時刻とＰＯＳ端末Ｎｏとの組み合わせは、取引特定情報の一例である。

修正データファイル５１５は、行動分析装置３０に訓練データとして出力する修正データを管理するファイルである。修正データは、情報処理装置５０で生成される。修正データは、１取引において、機械学習モデルの出力に基づいて推定された購入商品と、ＰＯＳ端末２０で精算された取引情報に基づく購入商品と、の比較に基づいて生成される。図６は、修正データファイル５１５のデータ構成を示す図である。修正データファイル５１５に登録される各データは、行動、修正後判定、時間、カメラＮｏ、および撮像データを示す情報が対応づけられている。

行動の項目には、購入推定情報ファイル５１２における行動の項目と同様に、行動分析装置３０で抽出された顧客の行動内容を示す情報が登録される。修正後判定の項目には、情報処理装置５０が修正した判定結果が登録される。図６の例では、修正後判定の項目に「×」が登録されているので、機械学習モデルによる取得動作の判定結果の「○」に誤りがあり、「×」に修正されたことを示している。行動の項目に登録される情報および修正後判定の項目に登録される情報は、修正された行動情報の一例である。

時間の項目には、行動を推定するために用いられた撮像データの開始時刻と終了時刻を示す情報が登録される。カメラＮｏの項目には、撮像データを撮像したカメラを識別するユニークな番号が登録される。撮像データの項目には、対応する時間およびカメラＮｏのカメラで撮像された撮像データが登録される。修正データファイル５１５は、修正された行動情報（行動および修正後判定の各項目に登録された情報）、および当該行動情報に対応する推定対象データ（時間、カメラＮｏ、および撮像データの各項目に登録された情報）が登録されているということができる。

図２に戻って説明する。表示装置５２０は、後述する修正画面等、各種情報を表示する。入力装置５３０は、制御部５００に対して情報を入力するもので、表示装置５２０の表面に設けられたタッチパネルや、キーボード等で構成される。通信部５４０は、行動分析装置３０や店舗サーバ４０等の外部装置と通信するためのインターフェイスである。制御部５００は、通信部５４０を介して外部装置と接続されることで、当該外部装置と情報（データ）の送受信が可能となる。

続いて、情報処理装置５０の機能構成について説明する。図７は、情報処理装置５０の制御部５００の機能構成を示すブロック図である。制御部５００は、ＣＰＵ５０１がＲＯＭ５０２やメモリ部５１０に記憶された制御プログラムにしたがって動作することで、購入推定情報取得部５００１、撮像データ取得部５００２、取引情報取得部５００３、記憶処理部５００４、比較部５００５、修正部５００６、表示処理部５００７、受付部５００８、および出力部５００９として機能する。なお、これら各機能を専用回路等のハードウェアで構成してもよい。

購入推定情報取得部５００１は、店舗に設けられたセンサのセンサ情報に基づいて推定された顧客の行動を示す行動情報と、当該行動情報に基づいて当該顧客が１取引で購入したと推定される商品を識別する商品識別情報と、当該１取引を特定することが可能な取引特定情報と、を対応付けた購入推定情報を取得する。行動情報は、例えば、カメラ１０の撮像データに基づいて、行動分析装置３０の機械学習モデルによって推定された顧客の行動を示す情報である。商品識別情報は、例えば、行動分析装置３０の機械学習モデルの推定結果に基づいて顧客が１取引で購入したと推定される商品名である。取引特定情報は、例えば、行動分析装置３０が推定した精算時刻およびＰＯＳ端末Ｎｏである。購入推定情報取得部５００１は、購入推定情報を店舗サーバ４０から取得する。

撮像データ取得部５００２は、カメラ１０の撮像データを取得する。詳細には、撮像データ取得部５００２は、行動分析装置３０が生成した推定対象データを店舗サーバ４０から取得する。すなわち、撮像データ取得部５００２は、行動分析装置３０の機械学習モデルに入力された撮像データを店舗サーバ４０から取得する。

取引情報取得部５００３は、店舗の取引に係る情報であって、１取引で取引された商品の商品識別情報と取引特定情報とを対応付けた取引情報を取得する。商品識別情報は、例えば、商品の名称を示す商品名である。取引特定情報は、例えば、ＰＯＳ端末２０で記録された精算時刻と当該ＰＯＳ端末２０の番号である。取引情報取得部５００３は、店舗サーバ４０から取引情報を取得する。

なお、購入推定情報取得部５００１、撮像データ取得部５００２、および取引情報取得部５００３は、例えば、毎月１回同じタイミングで、それぞれ店舗サーバ４０から情報を取得する。購入推定情報取得部５００１、撮像データ取得部５００２、および取引情報取得部５００３は、店舗サーバ４０に出力要求を出力するなどして能動的に情報を取得してもよいし、店舗サーバ４０の出力を待って受動的に情報を取得してもよい。

記憶処理部５００４は、購入推定情報取得部５００１、撮像データ取得部５００２、および取引情報取得部５００３が取得した情報をメモリ部５１０に記憶する。具体的には、記憶処理部５００４は、購入推定情報取得部５００１が取得した購入推定情報を購入推定情報ファイル５１２に登録する。また、記憶処理部５００４は、撮像データ取得部５００２が取得した推定対象データを推定対象データファイル５１３に登録する。同様に、記憶処理部５００４は、取引情報取得部５００３が取得した取引情報を取引情報ファイル５１４に登録する。さらに、記憶処理部５００４は、修正部５００６が修正した行動情報を修正データファイル５１５に登録する。

比較部５００５は、取引特定情報で特定される１取引に関して、購入推定情報に含まれる商品識別情報と取引情報に含まれる商品識別情報とを比較する。例えば、比較部５００５は、１取引に関して、行動分析装置３０によって顧客が購入したと推定された商品の商品名および個数とＰＯＳ端末２０で実際に顧客が精算した商品の商品名および個数とを比較する。

修正部５００６は、比較部５００５による比較の結果、購入推定情報に含まれる商品識別情報と取引情報に含まれる商品識別情報とが一致しない場合、取引情報に基づいて行動情報を修正する。具体的には、修正部５００６は、比較部５００５による比較の結果、行動分析装置３０によって顧客が購入したと推定された商品の商品名および個数とＰＯＳ端末２０で実際に顧客が購入した商品の商品名および個数とが一致しない場合、ＰＯＳ端末２０の取引情報に基づいて行動情報を修正する。

例えば、特定の１取引において、機械学習モデルによって顧客がある商品を取得したと推定したことに基づいて、行動分析装置３０が当該商品を購入したと推定したが、ＰＯＳ端末２０から出力された取引情報には当該商品が含まれていないことがある。この場合、修正部５００６は、オペレータが撮像データを確認するなどしたうえで受付部５００８に入力された修正入力に基づいて機械学習モデルによる上記商品が取得されたことを示す行動情報を修正する。なお、修正部５００６は、自動的に行動情報を修正してもよい。例えば、上記の例において、修正部５００６は、取引情報が正解データで、機械学習モデルによる上記商品が取得されたとの推定が誤りであると判断して、当該取得を示す行動情報をオペレータの確認なしで修正してもよい。

表示処理部５００７は、取引特定情報で特定される１取引に関する、撮像データ取得部５００２が取得した撮像データ、購入推定情報取得部５００１が取得した行動情報と商品識別情報、および取引情報取得部５００３が取得した商品識別情報を表示可能な修正画面を表示装置５２０に表示する。具体的には、表示処理部５００７は、行動分析装置３０から出力された情報であって、１取引に関する推定対象データ、推定された顧客の行動を示す行動情報、および商品名を表示装置５２０に表示する。また、表示処理部５００７は、商品名で識別される商品の個数も表示する。併せて、表示処理部５００７は、ＰＯＳ端末２０から出力された情報であって、上記１取引で顧客が購入した商品の商品名とその個数を表示装置５２０に表示する。

受付部５００８は、行動情報の修正の入力を受付ける。例えば、情報処理装置５０を操作するオペレータが表示装置５２０に表示される確認画面を見ながら入力装置５３０に入力する行動情報の修正入力を受付ける。

出力部５００９は、修正部５００６が修正した行動情報を出力する。具体的には、出力部５００９は、修正部５００６によって修正された行動情報を行動分析装置３０に出力する。修正された行動情報は、行動分析装置３０の機械学習モデルの訓練データとして活用される。

次に、情報処理装置５０の制御部５００の処理について説明する。図８は、情報処理装置５０の制御部５００による処理の流れを示すフローチャートである。

まず、制御部５００にトリガ情報が入力される（Ｓ１）。トリガ情報は、機械学習モデルの訓練データの生成開始を指示する情報で、オペレータの操作によって入力されてもよいし、予め設定された日時に店舗サーバ４０から入力されてもよい。トリガ情報が入力されると、購入推定情報取得部５００１が購入推定情報を店舗サーバ４０から取得し、記憶処理部５００４が当該購入推定情報を購入推定情報ファイル５１２に記憶する（Ｓ２）。

併せて、撮像データ取得部５００２が推定対象データを店舗サーバ４０から取得し、記憶処理部５００４が当該推定対象データを推定対象データファイル５１３に記憶する（Ｓ３）。また、取引情報取得部５００３が取引情報を店舗サーバ４０から取得し、記憶処理部５００４が当該取引情報を取引情報ファイルに５１４に記憶する（Ｓ４）。購入推定情報取得部５００１、撮像データ取得部５００２、および取引情報取得部５００３が取得する各情報は、同時期（例えば同じ１カ月間）のデータである。

続いて、比較部５００５は、購入推定情報ファイル５１２、推定対象データファイル５１３、および取引情報ファイルに５１４に記憶されている情報から、１取引分の購入推定情報、推定対象データ、および取引情報を抽出して対応づける（Ｓ５）。購入推定情報と取引情報との対応づけは、取引特定情報（精算時刻とＰＯＳ端末Ｎｏ）をキーとして行う（図３および図５参照）。なお、購入推定情報に含まれる精算時刻は推定された時刻であるため、取引情報に含まれる精算時刻と一致しない場合がある。この場合、比較部５００５は、購入推定情報と取引情報とを比較して、ＰＯＳ端末Ｎｏが一致し、かつ、精算時刻が最も近い１取引同士を対応付ける。また、購入推定情報と推定対象データとの対応づけは、判定ＩＤをキーとして行う（図３および図４参照）。

次いで、比較部５００５は、対応付けた購入推定情報および取引情報のそれぞれに含まれる商品名および個数を比較する（Ｓ６）。言い換えれば、比較部５００５は、行動分析装置３０で顧客が購入したと推定された商品と当該顧客が実際にＰＯＳ端末２０で精算した商品とを比較する。

制御部５００は、比較部５００５の比較の結果、購入推定情報に含まれる商品の商品名および個数と取引情報に含まれる商品の商品名および個数とに不一致があるか否か判断する（Ｓ７）。不一致すなわち一致しない商品名が１つでもある場合（Ｓ７のＹ）、表示処理部５００７は、表示装置５２０に修正画面５２１を表示する（Ｓ８）。

制御部５００は、受付部５００８が行動情報の修正入力を受付けた否か判断する（Ｓ９）。なお、修正画面および行動情報の修正入力の詳細については後述する。修正入力を受付けないと（Ｓ９のＮ）、制御部５００はＳ９の処理に戻る。修正入力を受付けると（Ｓ９のＹ）、修正部５００６は、修正入力に基づいて行動情報を修正する（Ｓ１０）。例えば、修正部５００６は、顧客がある商品を取得したと推定された行動情報を、顧客が当該商品を取得していないという行動情報に修正する。

次いで、記憶処理部５００４は、修正した行動情報をメモリ部５１０の修正データファイル５１５に記憶する（Ｓ１１）。制御部５００は、取得した情報の全取引についてＳ５～Ｓ１１の処理が完了したか否か判断する（Ｓ１２）。完了していなければ（Ｓ１２のＮ）、制御部５００は、Ｓ５の処理に戻る。完了していれば（Ｓ１２のＹ）、出力部５００９は修正データ（修正データファイル５１５に蓄積された修正行動情報）を行動分析装置３０に出力する。そして、制御部５００は処理を終了する。なお、Ｓ７の処理において不一致がない場合（Ｓ７のＮ）、制御部５００は、Ｓ８～Ｓ１１の処理をスキップしてＳ１２の処理に移行する。

以上の処理により、ＰＯＳ端末２０の取引情報に基づいて、行動分析装置３０の機械学習モデルが推定した行動情報を修正し、修正した行動情報を訓練データとして行動分析装置３０に出力する。

次に、修正画面および行動情報の修正入力について説明する。図９は、修正画面５２１の一例を示す図である。修正画面５２１は、撮像データ表示領域５２２、購入推定情報表示領域５２３、および取引情報表示領域５２４を備える。

撮像データ表示領域５２２には、表示フレーム５２２１が形成されている。表示フレーム５２２１には、行動分析装置３０の機械学習モデルに入力された推定対象データが表示される。推定対象データは、カメラ映像すなわちカメラ１０が撮像した撮像データである。

購入推定情報表示領域５２３には、再生ボタン５２３１、時刻表示部５２３２、判定行動情報表示部５２３３、確率値表示部５２３４、修正行動情報表示部５２３５、修正ボタン５２３６、削除ボタン５２３７、項目追加ボタン５２３８、および確認ボタン５２３９が表示される。再生ボタン５２３１、時刻表示部５２３２、判定行動情報表示部５２３３、確率値表示部５２３４、修正行動情報表示部５２３５、修正ボタン５２３６、および削除ボタン５２３７は、推定対象データごと、言い換えれば１つの行動ごとに対応づけられている。購入推定情報表示領域５２３には、１取引分の情報が表示される。

再生ボタン５２３１は、行動分析装置３０の機械学習モデルに入力された推定対象データを再生させるボタンである。時刻表示部５２３２は、推定対象データの撮像開始時刻を表示する。判定行動情報表示部５２３３は、推定対象データに対応する行動情報および判定結果を表示する。具体的には、判定行動情報表示部５２３３は、推定対象データから行動分析装置３０の機械学習モデルが抽出した商品、行動、および当該機械学習モデルによる行動の判定結果を表示する。図９の１段目の例では、行動分析装置３０の機械学習モデルによって、顧客が商品陳列棚から商品Ａを１つ取得したことが抽出され、抽出された行動が正しいと判定されたことを示している。

確率値表示部５２３４は、行動分析装置３０の機械学習モデルが抽出した行動が実行されたと判定される確率値を表示する。修正行動情報表示部５２３５は、判定結果が修正された行動情報および判定結果を表示する。修正行動情報表示部５２３５は、判定結果が修正されない行動情報については判定行動情報表示部５２３３と同一の表示を行う。また、修正行動情報表示部５２３５は、判定結果が修正された行動情報および判定結果を強調表示する。強調表示は、他の表示と文字の色を変えたり文字の太さを変えたりすることでなされる。図９の２段目の例では、行動分析装置３０の機械学習モデルによって顧客が商品陳列棚から商品Ｂを取得した行動が正しい（実行された）と判定された結果が誤りであるとして、商品陳列棚から商品Ｂが取得されていないと修正されたことを示している。

修正ボタン５２３６は、行動情報を修正するためのボタンである。修正ボタン５２３６が操作されると、例えば修正後の内容を入力可能なダイアログがポップアップ表示される。削除ボタン５２３７は、購入推定情報表示領域５２３に表示された対応する１行、すなわち削除ボタン５２３７自体も含め、当該削除ボタン５２３７に対応する、再生ボタン５２３１、時刻表示部５２３２、判定行動情報表示部５２３３、確率値表示部５２３４、修正行動情報表示部５２３５、修正ボタン５２３６を削除するためのボタンである。

購入推定情報表示領域５２３に表示された１行分の表示を削除する場合としては、再生ボタン５２３１によって再生された推定対象データが、人物が撮像されていない場合、特定した顧客でない他の人物が撮像されている場合、１回の行動が重複して撮像されている場合、顧客が何もしていない（取得動作や精算動作を行っていない）状態が撮像されている場合、などである。これらは、行動分析装置３０で実行されたカメラ１０の撮像データから推定対象データを生成する処理が適切に行われなかった場合である。このため、行動分析装置３０における推定対象データ生成処理も機械学習モデルを用いてなされている場合、購入推定情報表示領域５２３から削除された行動に関するデータを当該推定対象データ生成処理の訓練データとして行動分析装置３０に出力すれば、当該推定対象データ生成処理の精度を向上させることができる。

項目追加ボタン５２３８は、オペレータが手動で項目を追加するボタンである。確認ボタン５２３９は、修正した行動情報を記憶するためのボタンである。なお、修正内容を入力完了した段階（例えば、修正後の内容を入力可能なポップアップ表示が閉じられた時点）で自動的に修正データを記憶するようにしてもよく、この場合、確認ボタン５２３９は不要となる。

取引情報表示領域５２４には、対応レシート情報表示部５２４１が表示される。対応レシート情報表示部５２４１は、購入推定情報表示領域５２３に表示された１取引分の情報に対応する１取引について、ＰＯＳ端末２０で精算された取引情報に含まれる商品の商品名と個数とを表示する。

このような修正画面５２１を用いた行動情報の修正について説明する。まず、上述したように比較部５００５の比較結果で不一致があると、修正画面５２１が表示される。つまり、取引特定情報で特定された１取引について、行動分析装置３０によって顧客が購入したと推定された商品（個数含む）とＰＯＳ端末２０で精算された商品（個数含む）とが一致していないと、修正画面５２１が表示される。

図９の例においては、行動分析装置３０が出力した購入推定情報に含まれる商品は商品Ａ、商品Ｂ、商品Ｃであるのに対し、ＰＯＳ端末２０が出力した取引情報に含まれる商品は商品Ａ、商品Ｃである。

購入推定情報表示領域５２３には、行動分析装置３０が商品Ａ、商品Ｂ、商品Ｃが購入されたと推定した根拠となる行動情報が表示される。行動分析装置３０は、商品Ａについて、機械学習モデルが取得動作を推定した（判定行動情報表示部５２３３の１段目参照）ことに基づいて商品Ａが購入されたと推定している。同様に、行動分析装置３０は、商品Ｂについて、機械学習モデルが取得動作を推定した（判定行動情報表示部５２３３の２段目参照）ことに基づいて商品Ｂが購入されたと推定している。

商品Ｃについては、行動分析装置３０において、２つの推定対象データが生成されて機械学習モデルで行動が判定されている。詳細には、商品Ｃについては、機械学習モデルによって１つは取得動作が推定されず（判定行動情報表示部５２３３の３段目参照）、１つは取得動作が推定されている（判定行動情報表示部５２３３の５段目参照）。この機械学習モデルの推定結果に基づいて、行動分析装置３０は、商品Ｃが購入されたと推定している。上記判定行動情報表示部５２３３の３段目に表示される情報は、センサ情報に基づいて抽出された顧客の行動であって当該顧客が実行したものと推定されなかった行動を示す情報の一例である。

商品Ｄについては、行動分析装置３０において、２つの推定対象データが生成されて機械学習モデルで行動が判定されている。詳細には、商品Ｄについては、機械学習モデルによって１つは取得動作が推定され（判定行動情報表示部５２３３の４段目参照）、１つは返却動作が推定されている（判定行動情報表示部５２３３の６段目参照）。この機械学習モデルの推定結果に基づいて、行動分析装置３０は、商品Ｄが顧客によって商品陳列棚から取り出されたものの、当該商品陳列棚に戻されて顧客によって購入されていないと推定している。

情報処理装置５０を操作するオペレータは、行動分析装置３０が出力した購入推定情報に含まれるが、ＰＯＳ端末２０が出力した取引情報に含まれない商品Ｂに関する行動情報を修正する。修正にあたって、オペレータは、商品Ｂに関する行動情報に対応する２段目の再生ボタン５２３１を操作して表示フレーム５２２１に表示される推定対象データを目視して確認する。オペレータは、推定対象データを目視で確認した結果、商品Ｂが顧客によって商品陳列棚から取得されていないことを確認すると２段目の修正ボタン５２３６を操作して取得動作の判定結果を「○」から「×」に修正する。これにより行動情報が修正される。

なお、情報処理装置５０は、修正画面を表示することなく、自動的に行動情報を修正してもよい。例えば、図９に示す例では、購入推定情報に含まれるが取引情報に含まれない商品Ｂに関する行動情報は１つだけであるので、この行動情報を自動的に修正することができる。また、例えば、購入推定情報において購入されたと推定された商品Ｂの個数が２つであるのに対し、取引情報に含まれる商品Ｂの個数が１つである場合、確率値が低い行動情報を誤りとして自動的に「○」から「×」に修正してもよい。

ただし、本実施形態のように、修正画面を表示してオペレータが確認のうえ、行動情報を修正することにより正確な修正データを行動分析装置３０に提供することができる。顧客による万引きや店員による商品登録忘れ等により、顧客によって商品が商品陳列棚から取り出されても精算されない場合があるからである。なお、修正画面が表示されるのは、購入推定情報に含まれる商品の商品名および個数と取引情報に含まれる商品の商品名および個数とが一致しない場合だけであるので、オペレータの負担が必要以上に大きくなることはない。

以上説明したとおり、実施形態の情報処理装置５０は、店舗に設けられたセンサのセンサ情報に基づいて推定された顧客の行動を示す行動情報と、当該行動情報に基づいて当該顧客が１取引で購入したと推定される商品を識別する商品識別情報と、当該１取引を特定することが可能な取引特定情報と、を対応付けた購入推定情報を取得する購入推定情報取得部５００１と、前記店舗の取引に係る情報であって、１取引で取引された商品の前記商品識別情報と前記取引特定情報とを対応付けた取引情報を取得する取引情報取得部５００３と、前記取引特定情報で特定される１取引に関して、前記購入推定情報に含まれる前記商品識別情報と前記取引情報に含まれる前記商品識別情報とを比較する比較部５００５と、前記比較部５００５による比較の結果、前記購入推定情報に含まれる前記商品識別情報と前記取引情報に含まれる前記商品識別情報とが一致しない場合、前記取引情報に基づいて前記行動情報を修正する修正部５００６と、前記修正部５００６が修正した行動情報を出力する出力部５００９と、を備える。

これにより、取引情報を活用して、機械学習モデルで推定された行動情報を修正することができ、修正された行動情報を訓練データとして機械学習モデルに提供することができる。このため、店舗内における顧客の行動を推定する機械学習モデルの判定精度向上を容易に行うことが可能となる。

また、実施形態の情報処理装置５０は、購入推定情報取得部５００１は、センサ情報に基づいて抽出された顧客の行動であって当該顧客が実行したものと推定されなかった行動を示す行動情報を取得する。

これにより、機械学習モデルが推定しなかった行動、言い換えると機械学習モデルが実行されなかったと判定した行動を示す行動情報についても修正することが可能となる。このため、情報処理装置５０は、修正した行動情報をより多く機械学習モデルに提供できるので、機械学習モデルの判定精度をより向上させることが可能となる。

さらに、実施形態の情報処理装置５０は、センサ情報は、カメラ１０の撮像データであって、撮像データを取得する撮像データ取得部５００２と、前記撮像データ取得部５００２が取得した撮像データを表示装置５２０に表示する表示処理部５００７と、行動情報の修正の入力を受付ける受付部５００８と、をさらに備える。

これにより、情報処理装置５０を操作するオペレータが顧客の行動を撮像した撮像データを確認したうえで、行動情報を修正することができる。このため、行動情報をより正確に修正することができる。

加えて、実施形態の情報処理装置５０は、表示処理部５００７は、取引特定情報で特定される１取引に関する、撮像データ取得部５００２が取得した撮像データ、購入推定情報取得部５００１が取得した行動情報と商品識別情報、および取引情報取得部５００３が取得した商品識別情報を表示可能な修正画面を前記表示装置に表示する。

これにより、行動情報を修正するオペレータの操作性を向上することができる。このため、オペレータの負荷を軽減することが可能となる。

なお、上記実施形態において、行動分析装置３０、店舗サーバ４０、および情報処理装置５０で実行される制御プログラムは、ＣＤ－ＲＯＭ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上記実施形態の上記各装置で実行される制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良く、さらには、インターネット等のネットワーク経由で提供するように構成しても良い。

以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 行動分析システム
１０ カメラ
２０ ＰＯＳ端末（会計装置）
３０ 行動分析装置
４０ 店舗サーバ
５０ 情報処理装置
５００１ 購入推定情報取得部
５００２ 撮像データ取得部
５００３ 取引情報取得部
５００４ 記憶処理部
５００５ 比較部
５００６ 修正部
５００７ 表示処理部
５００８ 受付部
５００９ 出力部

特開２０２０-２７３１３号公報

Claims (6)

1. 店舗に設けられたセンサのセンサ情報に基づいて推定された顧客の行動を示す行動情報と、当該行動情報に基づいて当該顧客が１取引で購入したと推定される商品を識別する商品識別情報と、当該１取引を特定することが可能な取引特定情報と、を対応付けた購入推定情報を取得する購入推定情報取得部と、
   前記店舗の取引に係る情報であって、１取引で取引された商品の前記商品識別情報と前記取引特定情報とを対応付けた取引情報を取得する取引情報取得部と、
   前記取引特定情報で特定される１取引に関して、前記購入推定情報に含まれる前記商品識別情報と前記取引情報に含まれる前記商品識別情報とを比較する比較部と、
   前記比較部による比較の結果、前記購入推定情報に含まれる前記商品識別情報と前記取引情報に含まれる前記商品識別情報とが一致しない場合、前記取引情報に基づいて前記行動情報を修正する修正部と、
   前記修正部が修正した行動情報を出力する出力部と、
   を備える情報処理装置。
2. 前記購入推定情報取得部は、前記センサ情報に基づいて抽出された顧客の行動であって当該顧客が実行したものと推定されなかった行動を示す行動情報を取得する、
   請求項１に記載の情報処理装置。
3. 前記センサ情報は、カメラの撮像データであって、
   前記撮像データを取得する撮像データ取得部と、
   前記撮像データ取得部が取得した撮像データを表示装置に表示する表示処理部と、
   前記行動情報の修正の入力を受付ける受付部と、をさらに備える、
   請求項１または２に記載の情報処理装置。
4. 前記表示処理部は、前記取引特定情報で特定される１取引に関する、前記撮像データ取得部が取得した撮像データ、前記購入推定情報取得部が取得した行動情報と商品識別情報、および前記取引情報取得部が取得した商品識別情報を表示可能な修正画面を前記表示装置に表示する、
   請求項３に記載の情報処理装置。
5. 情報処理装置をコンピュータで制御するためのプログラムであって、
   前記コンピュータを、
   店舗に設けられたセンサのセンサ情報に基づいて推定された顧客の行動を示す行動情報と、当該行動情報に基づいて当該顧客が１取引で購入したと推定される商品を識別する商品識別情報と、当該１取引を特定することが可能な取引特定情報と、を対応付けた購入推定情報を取得する購入推定情報取得部と、
   前記店舗の取引に係る情報であって、１取引で取引された商品の前記商品識別情報と前記取引特定情報とを対応付けた取引情報を取得する取引情報取得部と、
   前記取引特定情報で特定される１取引に関して、前記購入推定情報に含まれる前記商品識別情報と前記取引情報に含まれる前記商品識別情報とを比較する比較部と、
   前記比較部による比較の結果、前記購入推定情報に含まれる前記商品識別情報と前記取引情報に含まれる前記商品識別情報とが一致しない場合、前記取引情報に基づいて前記行動情報を修正する修正部と、
   前記修正部が修正した行動情報を出力する出力部と、
   して機能させるプログラム。
6. 店舗内の顧客の行動を推定する行動分析装置と、前記店舗における取引の会計処理を実行する会計装置と、前記会計装置で会計処理された取引の取引情報に基づいて前記行動分析装置で推定された顧客の行動を示す情報を修正する情報処理装置と、を備えた行動分析システムであって、
   前記情報処理装置は、
   前記行動分析装置が出力した情報であって、前記店舗に設けられたセンサのセンサ情報に基づいて推定された顧客の行動を示す行動情報、当該行動情報に基づいて当該顧客が１取引で購入したと推定される商品を識別する商品識別情報、および当該１取引を特定することが可能な取引特定情報を対応付けた購入推定情報を、取得する購入推定情報取得部と、
   前記会計装置が出力した前記店舗の取引に係る情報であって、１取引で取引された商品の前記商品識別情報と前記取引特定情報とを対応付けた取引情報を取得する取引情報取得部と、
   前記取引特定情報で特定される１取引に関して、前記購入推定情報に含まれる前記商品識別情報と前記取引情報に含まれる前記商品識別情報とを比較する比較部と、
   前記比較部による比較の結果、前記購入推定情報に含まれる前記商品識別情報と前記取引情報に含まれる前記商品識別情報とが一致しない場合、前記取引情報に基づいて前記行動情報を修正する修正部と、
   前記修正部が修正した行動情報を、前記行動分析装置に出力する出力部と、
   を備える行動分析システム。

Images