JP2022042014A - 制御方法、プログラム、情報処理装置、及び情報処理システム - Google Patents

Abstract

【課題】本発明は、撮影画像を用いて分析する制御方法、プログラム、情報処理装置、及び情報処理システムを提供する。【解決手段】本実施形態に係る制御方法は、情報処理装置が実行するものであって、撮影装置が撮影した撮影画像を用いて、販売促進活動と、前記販売促進活動により獲得した新規リピーターとの関係を分析する処理と、前記分析による結果を、前記販売促進活動による効果として表示する処理と、を含み、前記販売促進活動は、店舗において行われる、前記店員による顧客への試供品の提供である。【選択図】図１

Description

本発明は、制御方法、プログラム、情報処理装置、及び情報処理システムに関する。

店舗において、商品購入のため同一の自店舗を複数回利用する顧客であるリピーターを獲得することは、売上向上に貢献するものである。売上やリピート率を向上させるために、店員（販売員）の発話や表情を分析する方法が提案されている。

特開２０１６－２０６７３６号公報

ところで、店舗では、新規のリピーター（新規リピーター）を獲得するために種々の販売促進（販促）活動が行われるが、この販売促進活動がどの程度リピーターの獲得に効果を発揮するのかを把握することは難しい。

本発明は、上記の課題を鑑みてなされたものであり、販売促進活動と新規リピーター獲得との関係を容易に把握することを目的とする。

一実施形態にかかる情報処理装置が実行する制御方法は、撮影装置が撮影した撮影画像を用いて、販売促進活動と、前記販売促進活動により獲得した新規リピーターとの関係を分析する処理と、前記分析による結果を、前記販売促進活動による効果として表示する処理と、を含み、前記販売促進活動は、店舗において行われる、前記店員による顧客への試供品の提供である。

一実施形態によれば、販売促進活動と新規リピーター獲得との関係を容易に把握することができる。

情報処理システムの構成の一例を示す図である。 情報処理装置のハードウェア構成の一例を示す図である。 端末装置のハードウェア構成の一例を示す図である。 情報処理装置の機能構成の一例を示す図である。 撮影画像情報の一例を示す図である。 顧客情報の一例を示す図である。 店員判別モデルの一構成例を説明するための模式図である。 顧客認識モデルの一構成例を説明するための模式図である。 店員動作認識モデルの一構成例を説明するための模式図である。 端末装置の機能構成の一例を示す図である。 情報処理装置による、第一の分析処理の一例を示すフローチャートである。 情報処理装置による、第二の分析処理の一例を示すフローチャートである。 効果表示画面の一例を示す図である。 実施の形態２に係る情報処理装置の機能構成の一例を示す図である。 実施の形態２に係る撮影画像情報の一例を示す図である。 実施の形態２に係る撮影位置座標を説明するための模式図である。 実施の形態２に係る顧客情報の一例を示す図である。 実施の形態２に係る情報処理装置による、第二の分析処理の一例を示すフローチャートである。

以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

＜システム概要＞
本実施形態に係る情報処理システムの概要について説明する。本実施形態に係る情報処理システムは、撮影装置によって撮影された画像（撮影画像）を用いて、販売促進活動による効果、すなわち、販売促進活動と新規リピーター獲得との関係を分析するためのシステムである。本実施形態では、例えば、販売促進活動により獲得できたリピーターの数が多ければ多いほど、当該販売促進活動による効果が大きいものとする。

また、本実施形態に係る情報処理システムは、一の小売店等の店舗を対象とするものとしたが、これに限られない。例えば、本情報処理システムは、イベント施設や宿泊施設を対象としてもよく、また、一の店舗に限らず、複数店舗を対象としてもよい。

また、例えば、本実施形態における新規リピーターとは、新規にリピーターになった顧客である。具体的に、新規リピーターとは、まだリピーターになっていない時に販売促進活動を提供され、その後来店して、提供された販売促進活動に関連する商品を購入（決済）した顧客であるが、これに限られない。この販売促進活動に関連する商品を、単に関連商品ともいい、この商品には例えばサービス等も含まれるものとする。また、複数の商品カテゴリ（後述）に係る販売促進活動が提供され、その後の来店において、これらの複数の商品カテゴリのうちの１つ又は複数の販売促進活動に関連する商品を購入した場合にも、新規リピーターになったといえる。なお、本実施形態において、新規リピーターになった顧客は、その後もリピーターとして取り扱われるものとするが、これに限られない。

また、例えば、本実施形態における見込み客とは、販売促進活動に関連する商品を提供されて、これら提供された商品を受け取った顧客である。上述の通り、次回以降の来店時に上記商品等に関連する商品を購入した場合に新規リピーターになることから、見込み客は、新規リピーターの候補といえる。

＜システム構成＞
図１は、本実施形態に係る情報処理システム１の構成の一例を示す図である。図１に例示するように、本実施形態に係る情報処理システム１は、情報処理装置１０、撮影装置２０、及び端末装置３０を備える。情報処理装置１０、撮影装置２０、及び端末装置３０は、ネットワークＮを介して相互に通信可能に接続される。ネットワークＮは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。また、情報処理装置１０と撮影装置２０とを接続するネットワークと、情報処理装置１０と端末装置３０とを接続するネットワークと、撮影装置２０と端末装置３０とを接続するネットワークとは、異なるものであってもよい。

なお、図１の例では、情報処理システム１は、情報処理装置１０、撮影装置２０、及び端末装置３０をそれぞれ１つ備えるが、複数備えてもよい。

情報処理装置１０は、撮影装置２０から撮影画像を受け取り、所定の処理を実行して、販売促進活動による効果に関する情報を端末装置３０に対して送信する装置（コンピュータ）である。情報処理装置１０は、ＰＣ（Personal Computer）、スマートフォン、タブレット端末、サーバ、又はこれらの組み合わせである。情報処理装置１０について、詳しくは後述する。

撮影装置２０は、カメラともいい、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と、撮像素子の出力信号に対して所定の画像処理を施して撮影画像（画像データ）を生成する画像処理ＩＣ（Integrated Circuit）と、有線又は無線の通信を行う通信部とを備えて構成される。撮影装置２０は、例えば、１秒間に数回～数十回の周期で撮影を行い、撮影により得られた画像を情報処理装置１０へ送信する。また、撮影装置２０は、自身のカメラＩＤ（identifier；識別子）や、撮影画像についての撮影日時等の情報を撮影画像に付して情報処理装置１０へ送信することもできる。

撮影装置２０は、店舗の複数個所に設置され、各撮影装置２０は店舗内における所定の範囲を撮影するものとする。各撮影装置２０によって撮影される範囲が重複することのないように、且つ、すべての撮影装置２０によって店舗全体を撮影できるように、設置や設定がなされてもよい。本実施形態に係る情報処理システム１では、撮影装置２０が入口に設置され、さらに、複数の商品の棚（商品棚）を撮影できるように、撮影装置２０が商品棚の上方や店舗の天井等に設置される構成とする。また、店舗の入口に設置される撮影装置２０は、来店する人物を撮影する目的で設置される。また、店舗の清算カウンター（レジのある場所や決済が可能な場所）にも撮影装置２０が設置されてもよく、その場合、その撮影装置２０は、購入する人物を撮影するする目的で使用されてもよい。

端末装置３０は、一例として、店舗に従事する人物（ユーザ）が閲覧や操作に利用する端末である。端末装置３０は、情報処理装置１０によって送信された販売促進活動による効果に関する情報をネットワークＮを介して取得し、画面上に表示させる。また、撮影装置２０が撮影した画像を、ネットワークＮを介して情報処理装置１０から取得してもよい。端末装置３０は、ＰＣ、スマートフォン、又はタブレット端末であるが、これに限られない。

＜ハードウェア構成＞
次に、情報処理装置１０のハードウェア構成について図２を用いて説明する。図２は、情報処理装置１０のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置１０は、バスＢ１を介して相互に接続された、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信Ｉ／Ｆ１０４と、入出力Ｉ／Ｆ１０５と、ドライブ装置１０６と、を備える。さらに、情報処理装置１０は、入力装置１０７と、出力装置１０８と、を備える。

プロセッサ１０１は、ストレージ１０３に記憶されたプログラムをメモリ１０２に展開して実行することにより、情報処理装置１０の各構成を制御し、情報処理装置１０の機能を実現する。プロセッサ１０１が実行するプログラムは、ＯＳ（Operating System）及び効果分析プログラム等の制御プログラムを含むが、これに限られない。プロセッサ１０１が制御プログラムを実行することにより、本実施形態に係る制御方法が実現される。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、又はこれらの組み合わせである。

メモリ１０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）、ＭＲＡＭ（Magnetoresistive RAM）、又はこれらの組み合わせである。

ストレージ１０３は、ＯＳ、制御プログラム、及び各種のデータを記憶する。ストレージ１０３は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＣＭ（Storage Class Memories）、又はこれらの組み合わせである。

通信Ｉ／Ｆ１０４は、情報処理装置１０をネットワークＮに接続させるためのインタフェースである。

入出力Ｉ／Ｆ１０５は、情報処理装置１０に入力装置１０７及び出力装置１０８を接続するためのインタフェースである。

ドライブ装置１０６は、ディスクメディア１０９のデータを読み書きする。ディスクメディア１０９は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ、又はこれらの組み合わせである。ディスクメディア１０９は、例えば、ＣＤ、ＤＶＤ、ＦＤ、ＭＯ、又はこれらの組み合わせである。

入力装置１０７は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、又はこれらの組み合わせである。

出力装置１０８は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、又はこれらの組み合わせである。

なお、本実施形態において、制御プログラムは、情報処理装置１０の製造段階でメモリ１０２又はストレージ１０３に書き込まれてもよいし、ネットワークＮを介して情報処理装置１０に提供されてもよいし、非一時的でコンピュータ読み取り可能な記録媒体を介して情報処理装置１０に提供されてもよい。

図３は、端末装置３０のハードウェア構成の一例を示す図である。図３に示すように、端末装置３０は、バスＢ３を介して相互に接続された、プロセッサ３０１と、メモリ３０２と、ストレージ３０３と、通信Ｉ／Ｆ３０４と、入出力Ｉ／Ｆ３０５と、を備える。さらに、端末装置３０は、入力装置３０７と、出力装置３０８と、を備える。

プロセッサ３０１は、ストレージ３０３に記憶されたプログラムをメモリ３０２に展開して実行することにより、端末装置３０の各構成を制御し、端末装置３０の機能を実現する。プロセッサ３０１が実行するプログラムは、ＯＳ、及び表示制御プログラム等の制御プログラムを含むが、これに限られない。プロセッサ３０１は、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＡＳＩＣ、ＤＳＰ、又はこれらの組み合わせである。

メモリ３０２は、例えば、ＲＯＭ、ＲＡＭ、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ、ＳＲＡＭ、ＭＲＡＭ、又はこれらの組み合わせである。

ストレージ３０３は、ＯＳ、制御プログラム、及び各種のデータを記憶する。ストレージ３０３は、例えば、フラッシュメモリ、ＨＤＤ、ＳＳＤ、ＳＣＭ、又はこれらの組み合わせである。

通信Ｉ／Ｆ３０４は、端末装置３０をネットワークＮに接続させるためのインタフェースである。通信Ｉ／Ｆ３０４は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、又はこれらの組み合わせによる無線通信が可能である。

入出力Ｉ／Ｆ３０５は、端末装置３０に入力装置３０７及び出力装置３０８を接続するためのインタフェースである。

入力装置３０７は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、又はこれらの組み合わせである。

出力装置３０８は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、又はこれらの組み合わせである。

なお、本実施形態において、制御プログラムは、端末装置３０の製造段階でメモリ３０２又はストレージ３０３に書き込まれてもよいし、ネットワークＮを介して端末装置３０に提供されてもよいし、非一時的でコンピュータ読み取り可能な記録媒体を介して端末装置３０に提供されてもよい。

＜機能構成＞
次に、情報処理装置１０、及び端末装置３０の機能構成についてそれぞれ説明する。図４は、情報処理装置１０の機能構成の一例を示す図である。図４に例示するように、情報処理装置１０は、通信部１１と、記憶部１２と、制御部１３と、を備える。

通信部１１は、通信Ｉ／Ｆ１０４により実現される。通信部１１は、撮影装置２０から撮影画像を受信する。また、通信部１１は、端末装置３０に対して分析結果等の情報を送信し、端末装置３０からユーザによるリクエストを受信する。このようにして、通信部１１は、ネットワークＮを介して、撮影装置２０や端末装置３０との間で情報の送受信を行う。

記憶部１２は、メモリ１０２及びストレージ１０３により実現される。記憶部１２には、画像記憶部１２０、撮影画像情報１２１、顧客情報１２２、サーバプログラム１２５、店員判別モデル１２６、顧客認識モデル１２７、及び店員動作認識モデル１２８が格納される。

画像記憶部１２０は、撮影装置２０が撮影した実体である撮影画像を格納する。本実施形態に係る撮影画像は静止画像（フレーム画像）であってもよいし、動画像であってもよい。撮影画像が静止画像として格納される場合、ＰＮＧ（Portable Network Graphics）、ＧＩＦ（Graphics Interchange Format）、又はＪＰＥＧ（Joint Photographic Experts Group）等のファイル形式が採用され得る。また、撮影画像が動画像として格納される場合、ＭＰＥＧ（Moving Picture Experts Group）、ＡＶＩ（Audio Video Interleave）、又はＦＬＶ（Flash Video）等のファイル形式が採用され得る。ただし、これらのファイル形式は一例であって、撮影画像は如何なる形式で保存されてもよい。

撮影画像情報１２１は、撮影画像に関する特徴等の情報である。図５は、撮影画像情報１２１の一例を示す図である。図５に例示するように、撮影画像情報１２１は、情報項目として「撮影画像ＩＤ」、及び「属性情報」等を含む。なお、図５には、撮影画像情報１２１をデータベースの形態で格納する一例を図示したが、撮影画像情報１２１の格納形態はこれに限定されない。

「撮影画像ＩＤ」は、画像記憶部１２０に格納される撮影画像を特定するための識別子（ＩＤ）である。図５に例示するように、本実施形態に係る「撮影画像ＩＤ」は、ファイル名（“ファイル００１”，“ファイル００２”，…）を格納するが、このファイル名に代えて、画像記憶部１２０に格納される撮影画像に対するポインタを格納してもよい。

「属性情報」は、情報項目「撮影画像ＩＤ」によって特定される撮影画像に関する属性（プロパティ）に関する情報である。図５に例示するように、本実施形態に係る「属性情報」は「撮影日時」を含むが、これに限られない。

「撮影日時」は、「撮影画像ＩＤ」によって特定される撮影画像が撮影装置２０によって撮影された時刻である。図５には、例えば、「撮影画像ＩＤ」が“ファイル００１”である撮影画像の「撮影日時」が“２０２０年０１月１５日１０時００分００秒”であることを例示したが、「撮影日時」に格納される情報の形式はこれに限られない。

また、本実施形態において、上述の撮影装置２０によって撮影された撮影画像は、後述する画像取得部１３０によって情報処理装置１０に取り込まれ、この取り込まれた撮影画像は画像記憶部１２０に記憶されるものとする。そのため、図５に例示する撮影画像情報１２１の各情報項目の値は、画像取得部１３０によって撮影装置２０より撮影画像が取得された後に格納されてもよい。また、「撮影画像ＩＤ」に格納されるファイル名は、画像取得部１３０によって付与されるものとするが、これに限られない。また、「撮影日時」の値は、上述したように、撮影装置２０により付与され、画像取得部１３０によって読み出されるものとするが、これに限られない。

次に、記憶部１２の機能構成に関する説明にもどり、図６を用いて顧客情報１２２について説明する。ここでは、販売促進活動の一つである、試供品（サンプル）を顧客に提供する活動を例にとり説明を行う。

図６は、顧客情報１２２の一例を示す図である。顧客情報１２２とは、来店した顧客に関する情報である。図６に例示するように、顧客情報１２２は、情報項目として「顧客ＩＤ」、「画像ＩＤ」、「初回来店日時」、「来店回数」、「試供品の商品カテゴリ」、「リピーターフラグ」、及び「見込み客フラグ」等を含む。なお、図６には、顧客情報１２２をデータベースの形態で格納する一例を図示したが、顧客情報１２２の格納形態はこれに限定されない。

「顧客ＩＤ」は、来店した顧客を特定するための識別子である。図６に例示するように、本実施形態に係る「顧客ＩＤ」は、顧客のＩＤ（“顧客００１”，“顧客００２”，…，“顧客Ｑ”）を格納する。なお、Ｑは０以上の整数である。本実施形態では、店員が新規顧客に試供品を提供すると、後述する顧客特定部１３３により当該新規顧客に対して顧客ＩＤが付与され、図６に例示する顧客情報１２２にデータが追加されるものとする。

「画像ＩＤ」は、情報項目「顧客ＩＤ」によって特定される顧客が撮影された画像ＩＤを格納する。図６は、例えば、「顧客ＩＤ」が“顧客００１”である顧客が撮影された画像ＩＤが“ファイル００１”であることを例示する。また、新規顧客の場合には、試供品が提供された時点の撮影画像から過去に所定時間分遡った撮影画像を対象として、この新規顧客が被写体となった画像を抽出し、この画像の画像ＩＤを「画像ＩＤ」に格納するものとする。なお、図６に例示する「画像ＩＤ」は、各顧客が撮影された画像のうち最新の画像ＩＤを格納するものとしたが、これまで顧客が撮影された撮影画像が複数ある場合には、これらの画像ＩＤをすべて格納してもよい。本実施形態において、この「画像ＩＤ」の値は、後述する顧客特定部１３３により格納されてもよい。

「初回来店日時」は、「顧客ＩＤ」によって特定される顧客が初めて当該店舗を訪問した日時である。図６は、例えば、「顧客ＩＤ」が“顧客００１”である顧客の「初回来店日時」が“２０２０年０１月１５日１０時００分００秒”であることを例示する。なお、「初回来店日時」に格納される情報の形式はこれに限られない。

また、新規顧客の場合には、例えば、入口に設置されている撮影装置２０によって撮影された撮影画像から、当該新規顧客が被写体となった撮影画像を抽出する。そして、抽出した撮影画像について、例えば、図５に例示する撮影画像情報１２１の「撮影日時」に格納されている情報を参照し、この情報を新規顧客の「初回来店日時」に格納してもよい。本実施形態において、この「初回来店日時」の値は、後述する顧客特定部１３３により格納されてもよい。

「来店回数」は、「顧客ＩＤ」によって特定される顧客が当該店舗に来店した回数である。図６には、例えば、「顧客ＩＤ」が“顧客００２”である顧客の「来店回数」が“１０回”であることを例示したが、「来店回数」に格納される情報の形式はこれに限られない。本実施形態において、この「来店回数」に格納される値は、後述する顧客特定部１３３によって更新されるものとするが、これに限られない。

「試供品の商品カテゴリ」は、「顧客ＩＤ」によって特定される顧客に対して店員が提供した試供品の商品カテゴリである。言い換えると、「試供品の商品カテゴリ」は、「顧客ＩＤ」によって特定される顧客が受け取った試供品の商品カテゴリである。本実施形態において、商品カテゴリとは、例えば、洗顔料，シャンプー等の商品種別である。図６には、「顧客ＩＤ」が“顧客００１”である顧客の「試供品の商品カテゴリ」が“商品００１”であることを例示したが、「試供品の商品カテゴリ」に格納される情報の形式はこれに限定されない。また、顧客が受け取った試供品の商品カテゴリが複数ある場合には、「試供品の商品カテゴリ」は、これら複数の商品カテゴリを格納してもよい。

また、本実施形態において、「試供品の商品カテゴリ」に格納される値が具体的にどのような商品のカテゴリを指すかは、予め記憶部１２等に格納されているものする。このようにして、例えば、“商品００１”が“洗顔料”の商品カテゴリを示す場合には、“顧客００１”が“洗顔料”に関連する試供品を受け取ったことがわかる。本実施形態において、この「試供品の商品カテゴリ」に格納される値は、後述する店員動作認識部１３５によって更新されるものとするが、これに限られない。

「リピーターフラグ」は、リピーターであるか否かを示す情報であり、リピーターである場合には“１”が格納されており、リピーターでない場合には“０”が格納されている。また、顧客情報１２２に対して新たに顧客の情報が追加される際には、この「リピーターフラグ」には“０”が格納される。また、「顧客ＩＤ」によって特定される顧客が、後述する新規リピーター判定部１３７や顧客特定部１３３等の処理において新規にリピーターになったと判定された場合に、当該顧客の「リピーターフラグ」には“１”が格納される。なお、本実施形態では、この「リピーターフラグ」の値は、新規リピーター判定部１３７によって格納又は更新されるものとする。

また、図６において、例えば、「顧客ＩＤ」が“顧客００１”，“顧客００３”である顧客の「リピーターフラグ」が“０”であることから、“顧客００１”，“顧客００３”がリピーターではないことを示している。また、図６において「顧客ＩＤ」が“顧客００２”である顧客の「リピーターフラグ」が“１”であることから、“顧客００２”がリピーターであることを示している。

また、例えば、“顧客００３”のように、３回来店しても未だ関連商品を購入したことがない場合、「リピータープラグ」には“０”が格納されたままとなる。なお、本実施形態において、一度「リピータープラグ」に“１”を格納すると、その後は当該値を変化しないものとしたが、これに限られない。例えば、いったん「リピーターフラグ」に“１”が格納された顧客（リピーターになった顧客）が、一定期間当該店舗において商品を購入しない場合には、もはやリピーターではないものとして、「リピーターフラグ」に“０”が格納されてもよい。

「見込み客フラグ」は、見込み客であるか否かを示す情報であり、見込み客である場合には“１”が格納されており、見込み客であない場合には“０”が格納されている。また、顧客情報１２２に対して新たに顧客の情報が追加される際には、この「見込み客フラグ」には“０”が格納される。また、「顧客ＩＤ」によって特定される顧客が、後述する見込み客判定部１３６等の処理において見込み客であると判定された場合に、当該顧客の「見込み客フラグ」には“１”が格納される。なお、本実施形態では、この「見込み客フラグ」の値は、見込み客判定部１３６によって格納（更新）されるものとする。

また、本実施形態において、顧客がリピーターになった場合には、見込み客ではなくなる。その際、後述する見込み客判定部１３６は、当該顧客の「見込み客フラグ」の値を“０”に更新する。

次に、記憶部１２の機能構成に関する説明にもどり、サーバプログラム１２５について説明する。サーバプログラム１２５は、メモリカード又はディスクメディア１０９等の記録媒体に記録された態様で提供され、情報処理装置１０が、提供されたサーバプログラム１２５を取得して記憶部１２に記憶する。ただし、このサーバプログラム１２５は、例えば、情報処理装置１０の製造段階において記憶部１２に書き込まれてもよい。

また、例えば、サーバプログラム１２５は、遠隔の他のサーバ装置等により配信されてもよく、この場合、情報処理装置１０は、配信されるサーバプログラム１２５をネットワークＮを介して取得してもよい。また、例えば、サーバプログラム１２５は、ディスクメディア１０９等の記録媒体に記録されたものをドライブ装置１０６等が読み出して情報処理装置１０の記憶部１２に書き込まれてもよい。

次に、店員判別モデル１２６、顧客認識モデル１２７、及び店員動作認識モデル１２８について説明する。本実施形態に係る情報処理装置１０は、いわゆるＡＩ（Artificial Intelligence）を活用して、店員の判別（認識）、顧客の認識、及び、店員による行動の認識等の処理を行うものであり、これらの処理に用いる店員判別モデル１２６、顧客認識モデル１２７、及び店員動作認識モデル１２８を備える。店員判別モデル１２６、顧客認識モデル１２７、及び店員動作認識モデル１２８は、予め機械学習がなされた学習済の学習モデルであり、ニューラルネットワーク又はＳＶＭ（Support Vector Machine）等の学習モデルが採用され得る。

また、本実施形態における店員判別モデル１２６、顧客認識モデル１２７、及び店員動作認識モデル１２８は、情報処理装置１０によって学習及び再学習の処理が行われる。ただし、これらの学習モデルの学習及び再学習の処理は別の装置で行われてもよく、この場合に上述の学習モデルは、例えば、サーバプログラム１２５と共に記録媒体を介して提供されてもよく、また、サーバプログラム１２５とは別に他のサーバ装置等により配信されてもよい。

本実施形態に係る店員判別モデル１２６は、店員が写っているか否かを判別する。この店員判別モデル１２６について、図７を用いて説明する。図７は、店員判別モデル１２６の一構成例を示す模式図である。図示の店員判別モデル１２６は、複数のニューロンが相互に結合したニューラルネットワークの構造をなしている。このような学習モデルは公知技術であるため詳しい説明は省略するが、ニューロンは複数の入力に対して演算を行い、演算結果として１つの値を出力する素子である。ニューロンは、演算に用いられる重み付けの係数及び閾値等の情報を有している。このようなニューラルネットワークの学習モデルは、一又は複数のデータの入力を受け付ける入力層と、入力層にて受け付けられたデータに対して演算処理を行う中間層と、中間層の演算結果を集約して一又は複数の値を出力する出力層とを備えている。

店員判別モデル１２６は、撮影装置２０により撮影されたＰ枚分（Ｐは１以上の整数）の撮影画像（フレーム画像）を入力として受け付ける。図７に例示するように、撮影画像１から撮影画像ＰまでのＰ枚分の撮影画像が、店員判別モデル１２６へ入力される。店員判別モデル１２６は、Ｐ枚分の撮影画像の各入力に対して、各撮影画像に係る適性度、すなわち、店員が写っている確からしさを、０．００～１．００の数値で適性度として出力するよう構成され、予め学習処理がなされている。本実施形態において適性度は、その数値が大きいほど適性度が高いことを示す。

具体的には、本実施形態に係る店員判別モデル１２６は、例えば、過去の店員の撮影画像を、適性度と対応付けた学習用データ（教師データ）を適性度とを対応付けた教師データを用いて、例えば、店員判別モデル１２６において上述した手法により学習がなされる。このように、この店員判別モデル１２６は、適性度が高い撮影画像、すなわち、当該撮影画像中に映っている人物が店員であることの確からしさが大きい（店員が写っている可能性が高い）撮影画像に対して数値１を出力するように学習がなされる。

さらに、この店員判別モデル１２６は、適性度が低い撮影画像、すなわち、当該撮影画像中に映っている人物が店員であることの確からしさが小さい（店員ではない人物が写っている可能性が高い）撮影画像に対して数値０を出力するように学習がなされる。なお、図７に示す店員判別モデル１２６は一例であり、店員の判定やその学習には、フレーム画像における特徴点に関する情報を用いてもよい。

顧客認識モデル１２７は、撮影装置２０によって取得された撮影画像から、各撮影画像内の被写体である顧客がいずれの顧客であるかを特定する処理を行う。この顧客認識モデル１２７について、図８を用いて説明する。図８は、顧客認識モデル１２７の一構成例を示す模式図である。図示の顧客認識モデル１２７は、上述した店員判別モデル１２６と同様に、複数のニューロンが相互に結合したニューラルネットワークの構造をなしているため、重複部分についての説明は省略する。顧客認識モデル１２７は、中間層の演算結果を集約して複数の値を出力する点において店員判別モデル１２６と相違するが、このような学習モデルも公知であるため詳しい説明は省略する。

この顧客認識モデル１２７は、撮影装置２０によって撮影されたＱ枚分（Ｑは１以上の整数）の撮影画像を入力として受け付ける。顧客認識モデル１２７は、これらＱ枚分の撮影画像の入力に対して、顧客００１から顧客ＱまでのＱ人に分類した結果を出力するよう構成され、予め学習処理がなされている。

また、本実施形態に係る顧客認識モデル１２７の出力は、それぞれ０．００～１．００の数値情報であり、最も大きな数値が出力された顧客ＩＤが、入力された撮影画像の分類結果、すなわち、特定された顧客の顧客ＩＤとなる。なお、本実施形態では、出力の値と閾値とを比較し、出力の値が閾値に満たない場合には新規顧客であると判定するが、これに限られない。

店員動作認識モデル１２８は、撮影装置２０によって撮影された撮影画像から、各撮影画像内で被写体である店員が実行している行動、すなわち、店員行動を特定する処理を行う。本実施形態において、店員行動とは、例えば、商品を陳列する、顧客に試供品を提供する等の、店員による行動の種別（行動パターン）をいい、予めシステム管理者によって設定されるものとするが、これに限定されない。この店員動作認識モデル１２８について、図９を用いて説明する。図９は店員動作認識モデル１２８の一構成例を示す模式図である。

図示の店員動作認識モデル１２８は、上述した顧客認識モデル１２７と同様に、複数のニューロンが相互に結合したニューラルネットワークの構造をなしており、中間層の演算結果を集約して複数の値を出力する。なお、上述の店員判別モデル１２６や顧客認識モデル１２７との重複部分についての説明は省略する。

この店員動作認識モデル１２８は、撮影装置２０によって撮影されたＲ枚分（Ｒは１以上の整数）の撮影画像を入力として受け付ける。これらＲ枚分の撮影画像は店員が被写体であるものとする。店員動作認識モデル１２８は、これらＲ枚分の撮影画像の入力に対して、店員の各行動種別に分類した結果を出力するよう構成され、予め学習処理がなされている。

また、本実施形態に係る店員動作認識モデル１２８が出力する店員行動の種別である、店員行動１～Ｌ（Ｌは１以上の整数）は、それぞれ０．００～１．００の数値情報であり、最も大きな数値が出力された種別が、入力された撮影画像の分類結果、すなわち、店員の行動種別（店員行動１～Ｌ）となる。本実施形態に係る店員動作認識モデル１２８の入力は、情報処理装置１０に取り込まれたすべての撮影画像のうち、店員判別モデル１２６により、撮影画像の被写体が店員であると判定された撮影画像とするが、これに限られない。

また、本実施形態では、店内に設置された商品棚とは別に、店員が試供品を格納する棚が予め１つ設置されているものとし、顧客が自発的に試供品を利用または取得することを避けるため、この商品棚は店員のみが利用するものとする。本実施形態において、試供品が格納されている棚を試供品用棚ともいい、この試供品用棚は引き出しを備える棚であるものとし（図１参照）、各引き出しには後述する各商品カテゴリの試供品が格納されているものとするが、これに限定されない。試供品用棚には、一の引き出しに複数種類の商品カテゴリの試供品が格納されてもよいし、複数の引き出しに一の商品カテゴリの試供品が格納されてもよい。また、商品用棚は、引き出しの態様でなくてもよいし、店舗に設置される商品棚のうちの１つ又は複数を試供品用棚として割り当ててもよい。また、試供品用棚は複数設置されてもよい。

本実施形態では、店員が顧客に試供品を提供する動作が撮影された撮影画像を抽出する。店員が顧客に試供品を提供する動作としては、例えば、店員が顧客を試供品用棚に連れていく動作であったり、店員が顧客に試供品を手渡ししている動作であったり、また、店員が自身の後方に顧客を連れ立った形で試供品用棚へ向かって歩く動作が含まれる。本実施形態に係る店員動作認識モデル１２８では、“店員行動１”が試供品を提供する動作であると定義し、上述のような動作が写っている撮影画像が“店員行動１”に該当するように学習が行われる。

次に、情報処理装置１０の機能構成に関する説明にもどり、制御部１３について説明する。この制御部１３は、通信部１１から受信したデータを処理して、その処理結果を通信部１１へ与える処理を行う。この制御部１３は、画像取得部１３０、店員判別部１３１、顧客特定部１３３、店員動作認識部１３５、見込み客判定部１３６、及び新規リピーター判定部１３７を含む。本実施形態に係る制御部１３は、記憶部１２に記憶されたサーバプログラム１２５を読み出して実行することにより、上述の画像取得部１３０、店員判別部１３１、顧客特定部１３３、店員動作認識部１３５、見込み客判定部１３６、及び新規リピーター判定部１３７等が、ソフトウェア的な機能部として制御部１３に実現される。

画像取得部１３０は、撮影装置２０により撮影された撮影画像を、撮影装置２０から取得する処理を行う。そして、画像取得部１３０は、取得した撮影画像を記憶部１２内の画像記憶部１２０に格納する処理を行ってもよい。

店員判別部１３１は、店内（例えば、入口と清算カウンターを除く場所）の、画像取得部１３０によって取得された撮影画像を店員判別モデル１２６の入力とし、その出力に基づき、入力された撮影画像に店員が写っているか否かを判定する。具体的に、店員判別部１３１は、店員判別モデル１２６に対して撮影画像Ａを入力すると、店員判別モデル１２６が出力する適性度が閾値（例えば０．７）を超えた場合に、撮影画像Ａに店員が写っていると判定する。また、例えば、撮影画像Ｂの適性度が第１閾値である０．７を超え、第２閾値である０．９を超えない場合に、店員判別部１３１は、撮影画像Ｂに店員が写っていないと判断してもよい。

顧客特定部１３３は、画像取得部１３０によって取得された撮影画像を顧客認識モデル１２７の入力とし、顧客認識モデル１２７の出力に基づき、入力された撮影画像の被写体がいずれの顧客であるかを特定する。具体的に、顧客特定部１３３は、顧客認識モデル１２７に対して撮影画像Ｃを入力すると、最も大きい出力となる顧客ＩＤを備える顧客を、被写体である顧客として絞り込む。なお、上述したように、本実施形態では、顧客特定部１３３は、出力の値と閾値とを比較し、出力の値が閾値に満たない場合には新規顧客であると判定するが、これに限られない。新規顧客と判定した場合には、顧客特定部１３３は、当該顧客に顧客ＩＤを付与し、この顧客ＩＤを備えるデータを顧客情報１２２に追加してもよい。

また、顧客特定部１３３は、店舗の入口に設置されている撮影装置２０によって撮影された撮影画像を用いて、来店した顧客を特定し得る。そして、顧客特定部１３３は、特定した顧客に対し、図６に例示する顧客情報１２２上で、この顧客の「来店回数」の値を、１つインクリメントししてもよい。

また、顧客特定部１３３は、店舗の清算カウンターに設置されている撮影装置２０によって撮影された撮影画像（清算時の撮影画像）を用いて、商品を購入した顧客を特定してもよい。

また、顧客特定部１３３は、店内の、例えば、入口と清算カウンターを除く場所における商品棚に設置されている撮影装置２０によって撮影された撮影画像を用いて、店員から試供品を受け取った顧客を特定してもよい。また、顧客特定部１３３は、当該顧客が試供品を受け取った場面が撮影されている撮影画像の画像ＩＤを、図６に例示する顧客情報１２２中の「画像ＩＤ」に格納してもよい。また、新規顧客の場合、顧客特定部１３３は、この「画像ＩＤ」を備える撮影画像について、例えば、図５に例示する撮影画像情報１２１を参照し、「撮影日時」に格納される値を、図６に例示する顧客情報１２２中の「初回来店日時」に格納してもよい。

店員動作認識部１３５は、画像取得部１３０によって取得された撮影画像を店員動作認識モデル１２８の入力とし、店員動作認識モデルの出力に基づき、入力された撮影画像の被写体がいずれの店員行動であるかを判定する。具体的に、店員動作認識部１３５は、店員動作認識モデル１２８に対して撮影画像Ｄを入力すると、最も大きい出力となる店員行動の種別が該当する店員行動であると判定する。このようにして、本実施形態では、“店員行動１”（試供品を提供する動作）が写っている撮影画像を抽出する。上述したように、本実施形態において、店員動作認識モデル１２８の入力は、画像取得部１３０によって情報処理装置１０に取り込まれたすべての撮影画像のうち、店員判別部１３１により、撮影画像の被写体が店員であると判定された撮影画像とするが、これに限られない。

また、店員動作認識部１３５は、“店員行動１”（試供品を提供する動作）に関する撮影画像として絞り込まれた撮影画像が撮影された時間から所定期間に撮影された撮影画像に基づき、画像認識技術等を用いて、店員が試供品用棚のどの引き出しから試供品を取り出して顧客に提供したかを特定する。このような画像認識技術は公知であるため、説明を省略する。このようにして、店員がどのような商品カテゴリの試供品を顧客に提供したかを特定することができる。

なお、本実施形態では、店員が試供品用棚のどの引き出しから試供品を取り出して顧客に提供したかを特定することにより、試供品の商品カテゴリを判断するものとしたが、これに限られない。例えば、店員動作認識モデル１２８に、例えば、１番上の引き出しから試供品を取り出す動作を学習させておくことにより、１番上の引き出しから試供品を取り出す動作が撮影された撮影画像を抽出できるようにしてもよい。

また、例えば店員動作認識部１３５は、撮影画像において後方の顧客によって店員が隠れてしまい、引き出しの特定が難しい場合には、顧客に試供品を提供した場面が撮影されている撮影画像や、顧客が提供された試供品を保持している状態が撮影された撮影画像から、公知の画像認識技術等を用いて、提供対象となった試供品やその商品カテゴリを特定してもよい。そして、本実施形態において、店員動作認識部１３５は、特定した商品カテゴリの値を、図６に例示する顧客情報１２２の「試供品の商品カテゴリ」に格納する。また、店員による試供品の提供後、顧客が試供品を受け取らなかったと認識された場合には、試供品の授受が行われなかったとし、顧客には試供品の提供がなされなかった（試供品を受け取らなかった）ものとしてもよい。

見込み客判定部１３６は、上述の店員動作認識部１３５によって試供品の授受がなされたと判定された場合には、試供品を受け取った顧客が見込み客（新規リピーターの候補）であると判定する。なお、上述したように、本実施形態における新規リピーターとは、購入前にはリピーターではなく、この度の購入において新規にリピーターになった顧客である。したがって、見込み客判定部１３６は、図６に例示する顧客情報１２２を参照して、試供品を受け取った顧客についての「リピーターフラグ」の値に“１”が格納されている場合には、見込み客であると判定しない。しかし、見込み客判定部１３６は、図６に例示する顧客情報１２２を参照して、試供品を受け取った顧客についての「リピーターフラグ」の値に“０”が格納されている場合には、試供品の提供に伴い、当該顧客を見込み客であると判定する。

また、見込み客判定部１３６は、見込み客であると判定した顧客について、図６に例示する顧客情報１２２の「見込み客フラグ」に“１”を格納する。また、顧客がリピーターになった場合には、見込み客ではなくなるため、見込み客判定部１３６は、当該顧客の「見込み客フラグ」の値を“０”に更新する。

新規リピーター判定部１３７は、上述の見込み客判定部１３６によって見込み客と判定された顧客が、その後来店し、その来店時に、提供された試供品に関連する商品を購入した場合に、当該顧客が新規リピーターであると判定する。

具体的には、上述したように、顧客特定部１３３が、顧客認識モデル１２７を用いて、店舗の入口に設置されている撮影装置２０によって撮影された撮影画像から、来店した顧客（顧客ＩＤ）を特定し得る。また、上述したように、本実施形態において、顧客特定部１３３により新規顧客に係る顧客ＩＤが付与されて顧客情報１２２にデータが追加されるのは、店員が当該新規顧客に試供品を提供したタイミングである。したがって、既に試供品が提供され、その後来店した顧客（見込み客）については顧客情報１２２に顧客データがあり、この顧客データの「リピーターフラグ」が“０”であることになる。

そこで、新規リピーター判定部１３７は、入口に設置してある撮影装置２０の撮影画像から顧客特定部１３３により顧客が特定されると、顧客情報１２２（図６参照）を参照し、このこの顧客の「リピーターフラグ」に“０”が格納されているか否かの情報を取得する。

ここで、「リピーターフラグ」に“０”が格納されている場合、すなわち、見込み客である場合、この顧客が、提供された試供品に関連する商品を購入するか否かにより、新規にリピーターになるか否かが決まる。上述したように、顧客特定部１３３は、店舗の清算カウンターに設置されている撮影装置２０によって撮影された撮影画像を用いて、商品を購入した顧客を特定し得る。そこで、新規リピーター判定部１３７は、顧客特定部１３３により、見込み客が商品を購入したことがわかると、購入した商品の商品カテゴリが試供品の商品カテゴリと同一であるか否かを判定する。ここで、新規リピーター判定部１３７は、見込み客が購入した際の撮影画像や購入データから、購入した商品の商品カテゴリを判定し得る。

このようにして、新規リピーター判定部１３７は、見込み客が試供品の関連商品を購入したと判断した場合には、当該見込み客が新規リピーターになったと判定する。すなわち、新規リピーター判定部１３７は、新規リピーターを獲得したと判定する。一方、新規リピーター判定部１３７は、見込み客が試供品の関連商品を購入しなかった、あるいは、購入した商品が試供品の関連商品ではなかったと判断した場合には、当該見込み客が新規リピーターにはならなかったと判定する。すなわち、新規リピーター判定部１３７は、新規リピーターを獲得しなかったと判定する。このように、新規リピーター判定部１３７による処理は、試供品提供等の販売促進活動と、獲得した新規リピーターとの関係を分析する処理にも該当することから、新規リピーター判定部１３７は分析部としての機能を備えるといえる。

また、新規リピーター判定部１３７は、新規にリピーターになった顧客を判定すると同時に、新規リピーターの情報を例えば端末装置３０に表示させてもよい。したがって、新規リピーター判定部１３７は、表示制御機能としての機能を併せもつことから、表示制御部としての機能を備えるといえる。この表示機能については、図１３を用いて後述する。

次に、端末装置３０の機能構成について説明する。図１０は、端末装置３０の機能構成の一例を示す図である。図１０に例示するように、端末装置３０は、通信部３１と、記憶部３２と、制御部３３と、操作部３４と、表示部３５と、を備える。

通信部３１は、通信Ｉ／Ｆ３０４により実現される。通信部３１は、ネットワークＮを介して、情報処理装置１０や撮影装置２０との間でデータの送受信を行う。

記憶部３２は、メモリ３０２及びストレージ３０３により実現される。記憶部３２は、分析結果を含む各種の情報を記憶する。

制御部３３は、プロセッサ３０１がプログラムを実行し、他のハードウェア構成と協働することにより実現される。制御部３３は、端末装置３０の動作全体を制御する。

操作部３４は、端末装置３０を使用するユーザからの入力を受け付け、受け付けた入力を示す操作情報を制御部３３に供給する。

表示部３５は、上述の制御部３３による制御にしたがって画面表示を行う。

なお、図示を省略したが、端末装置３０は、撮影機能等の他の機能を備えてもよい。

＜第一の分析処理＞
図１１は、本実施形態に係る情報処理装置１０の制御部１３が行う、第一の分析処理を示すフローチャート（ステップＳ１～Ｓ７）である。第一の分析処理とは、販売促進活動と新規リピーター獲得との関係を分析する処理の一つであり、具体的には、顧客が初めて試供品を提供されてから見込み客と判定されるまでの処理である。図１１を用いて、第一の分析処理について説明する。

ステップＳ１において、画像取得部１３０が、入口に設置されている撮影装置２０によって撮影された撮影画像を、撮影装置２０から取得すると、顧客特定部１３３は、取得されたこの撮影画像を顧客認識モデル１２７の入力とする。顧客特定部１３３は、顧客認識モデル１２７の出力に基づき、入力された撮影画像の被写体である顧客（顧客ＩＤ）を特定する。ここで、顧客特定部１３３は、最も大きな数値が出力された顧客ＩＤを備える顧客が、入力された撮影画像の被写体である顧客、すなわち、来店した顧客であると認識する。

続いて、見込み客判定部１３６は、来店した顧客について、顧客情報１２２の「見込み客フラグ」の値を参照し、来店したのは見込み客であるか否かを判定する（ステップＳ１）。本実施形態において、過去の来店時に見込み客であると判定された顧客であれば、当該顧客について、顧客情報１２２の「見込み客フラグ」に“１”が格納されている。そこで、「見込み客フラグ」に“１”が格納されている場合には、見込み客判定部１３６は、見込み客が来店したと判定する（ステップＳ１におけるＹＥＳルート参照）。そして、連結子Ａを介し、後述する図１２のステップＴ１に進む。一方、過去の来店時に試供品を提供されていない顧客は見込み客に該当しないので、顧客情報１２２の「見込み客フラグ」に“０”が格納されている。見込み客判定部１３６は、「見込み客フラグ」に“０”が格納されている場合には、見込み客ではない顧客が来店したと判定する（ステップＳ１におけるＮＯルート参照）。

ステップＳ１にて見込み客ではない顧客が来店したと判定された場合、画像取得部１３０は、店内で撮影された撮影画像を撮影装置２０から取得すると、店員判別部１３１は、取得された撮影画像に店員が写っているか否かを判定する。具体的に、店員判別部１３１は、店内で撮影された撮影画像を店員判別モデル１２６の入力とし、その出力に基づいて、撮影画像に店員が写っているか否かを判定する。その際、店員判別部１３１は、上記出力が閾値を超えた場合に、撮影画像に店員が写っていると判定（識別）する。このようにして、ステップ２では、店内で撮影された撮影画像を用いて、撮影画像に店員が写っていると判定された写真を絞り込む（識別する）。そして、処理がステップＳ３に移行する。

ステップＳ３において、店員動作認識部１３５は、ステップＳ２にて絞り込まれた、店員が写っている撮影画像を店員動作認識モデル１２８の入力とし、店員動作認識モデル１２８の出力に基づき、入力された撮影画像に写っている店員の行動がいずれの店員行動であるかを判定する。具体的に、店員動作認識部１３５は、最も大きな数値が出力された店員行動の種別が、入力した撮影画像に写っている店員行動であると認識する。そして、店員動作認識部１３５は、“店員行動１”（試供品を提供する動作）が写っている撮影画像を抽出し、処理がステップＳ４に進む（ステップＳ３におけるＹＥＳルート参照）。一方、試供品提供に関する撮影画像が抽出されない場合には、ステップＳ３の処理を繰り返す（ステップＳ３におけるＮＯルート参照）。

ステップＳ４において、店員動作認識部１３５は、ステップＳ３にて抽出された撮影画像の撮影日時から所定期間中に撮影された撮影画像に基づき、画像認識技術等を用いて、店員が試供品用棚のどの引き出しから試供品を取り出して顧客に提供したかを特定する。この撮影日時より所定期間中に撮影された撮影画像とは、抽出された撮影画像が撮影された時期（日時）の前後所定期間中に撮影された撮影画像であり、この所定期間は任意に設定され得る。このステップＳ４の処理により、店員動作認識部１３５は、店員がいずれの商品カテゴリの試供品を顧客に提供したかを特定する（ステップＳ４）。そして、処理がステップＳ５に進む。

続いて、ステップＳ３にて抽出された撮影画像に、店員と共に顧客が写っている場合を例にとり説明する。なお、店員だけが写っている場合の処理については後述する。顧客特定部１３３は、ステップＳ３にて抽出された撮影画像を顧客認識モデル１２７の入力とし、顧客認識モデル１２７の出力に基づき、入力された撮影画像に（店員と共に）写っている顧客（顧客ＩＤ）を特定する（ステップＳ５）。ここで、顧客特定部１３３は、最も大きな数値が出力された顧客ＩＤを備える顧客が、入力した撮影画像に写っている顧客、すなわち、試供品を受け取った顧客であると認識する。上述したように、本実施形態では、顧客特定部１３３は、出力の値と閾値とを比較し、出力の値が閾値に満たない場合には新規顧客であると判定する。そして、新規顧客と判定した場合には、顧客特定部１３３は、当該顧客に顧客ＩＤを付与し、この顧客ＩＤを備えるデータを顧客情報１２２に追加して、当該顧客の「リピーターフラグ」には“０”を格納する。

また、ステップＳ５では、ステップＳ３にて抽出された撮影画像に顧客が写っていない場合には、当該写真の前後に撮影された撮影画像や、ステップＳ３にて抽出された撮影画像を撮影した撮影装置２０の近傍にある撮影装置２０によってほぼ同時刻に撮影された撮影画像をも用いて顧客を特定してもよい。

続いて、見込み客判定部１３６は、図６に例示する顧客情報１２２を参照して、ステップＳ５にて特定された顧客（試供品を受け取った顧客）が既にリピーターであるか否かを判定する（ステップＳ６）。具体的に、見込み客判定部１３６は、顧客情報１２２を参照し、ステップＳ５にて特定した顧客についての「リピーターフラグ」の値に“０”が格納されている場合には、未だリピーターになっていないことから、ステップＳ７に進み（ステップＳ６におけるＮＯルート参照）、見込み客であると判定する（ステップＳ７）。また、見込み客判定部１３６は、見込み客であると判定した顧客について、図６に例示する顧客情報１２２の「見込み客フラグ」に“１”を格納する。そして、処理が終了する。

一方、ステップＳ６において、ステップＳ５にて特定した顧客についての「リピーターフラグ」の値に“１”が格納されている場合には、見込み客判定部１３６は、当該顧客が既にリピーターであると判断する（ステップＳ６におけるＹＥＳルート参照）。この場合には、見込み客であるとは判定されず、処理が終了する。

＜第二の分析処理＞
図１２は、本実施形態に係る情報処理装置１０の制御部１３が行う、第二の分析処理を示すフローチャート（ステップＴ１～Ｔ２）である。第二の分析処理とは、販売促進活動と新規リピーター獲得との関係を分析する処理の一つであり、具体的には、見込み客が試供品提供後に来店し、この見込み客を新規リピーターとして獲得するまでの処理である。この図１２を用いて、第二の分析処理について説明する。

なお、図１２のステップＴ１の処理は、上述したように、図１１のステップＳ１の処理において見込み客が来店したと判定された（ステップＳ１におけるＹＥＳルート参照）後に実行されるものである。

ステップＳ１にて見込み客が来店したと判定された後、ステップＴ１において、新規リピーター判定部１３７は、例えば、撮影装置２０によって撮影される撮影画像を用いて、この見込み客の店内での行動を追跡し、清算カウンターで（何らかの）商品を購入したかを判断する。ここで、障害物の影響等により見込み客の追跡が難しい場合には、顧客特定部１３３が、店舗の清算カウンターに設置されている撮影装置２０によって撮影された撮影画像（清算時の撮影画像）を用いて、見込み客が清算カウンターの写真に写っているか、すなわち、見込み客が購入したかを判断してもよい。

そして、新規リピーター判定部１３７は、見込み客が（何らかの）商品を購入したことがわかると、購入した商品の商品カテゴリが試供品の商品カテゴリと同一であるか否かを判定する。すなわち、新規リピーター判定部１３７は、当該見込み客が、試供品の関連商品を購入したか否かを判定する。具体的に、新規リピーター判定部１３７は、見込み客の清算時の撮影画像や購入データから、試供品の関連商品を購入したかを判定する。見込み客が試供品の関連商品を購入したと判断されると、ステップＴ２の処理に進む（ステップＴ１におけるＹＥＳルート参照）。一方、見込み客が試供品の関連商品を購入しなかったと判断されると、処理を終了する（ステップＴ１におけるＮＯルート参照）。

上述したステップＴ１にて、見込み客が試供品の関連商品を購入したと判断されると、ステップＴ２において、新規リピーター判定部１３７は、当該見込み客が新規にリピーターになったと判断する。すなわち、新規リピーター判定部１３７は、当該店舗が新規リピーターを獲得したと判定（判断）する。そして、処理を終了する。

このように、当該店舗が新規にリピーターを獲得した場合、試供品の提供という販売促進活動はこの見込み客にとって効果があったと考えられる。したがって、新規リピーター判定部１３７による処理は、販売促進活動と獲得した新規リピーターとの関係を分析しているともいえる。

情報処理装置１０は、以上のステップＳ１～Ｓ７（図１１参照），Ｔ１～Ｔ２（図１２参照）の処理を経て分析した、新規に獲得したリピーターに関する情報を、端末装置３０に送信することができる。端末装置３０は、受信した新規リピーターに関する情報を表示部３５によりディスプレイ上に表示させてもよい。この表示の一例について図１３を用いて説明する。図１３は、効果表示画面の一例を示す図である。

情報処理装置１０の新規リピーター判定部１３７は、新規にリピーターになった顧客を判定すると同時に、例えば、各月に新規リピーターになった（合計）人数、すなわち、新規リピーター数を月別に表示してもよい（図１３参照）。また、図１３に例示するように、新規リピーターの増減数も併せて表示させてもよい。図１３に例示する効果表示画面は一例にすぎず、例えば、試供品の商品カテゴリ毎に獲得した新規リピーター数を表示させてもよい。

以上説明した通り、本実施形態によれば、販売促進活動として店員が行った試供品提供により、新規にリピーターになった顧客の数等を可視化することができる。これにより、試供品提供等の販売促進活動と新規リピーター獲得との関係を容易に把握することができる。

＜実施の形態２＞
上述した実施形態（実施の形態１ともいう）では、提供された試供品に関連する商品を顧客が購入したか否かに基づき、試供品提供と新規リピーターの獲得との関係を把握するものとしたが、本実施の形態２においては、顧客が手に取った位置、顧客が滞在した時間が長い位置等の情報や、購入済みの商品の商品カテゴリに関する情報をも併せて、試供品提供と新規リピーターの獲得との関係を把握することを目的とする。

実施の形態２に係る情報処理システム１の構成、情報処理装置１０のハードウェア構成、端末装置３０のハードウェア構成、店員判別モデル１２６、顧客認識モデル１２７、店員動作認識モデル１２８、端末装置３０の機能構成、第一分析処理の一例を示すフローチャート、及び効果表示画面は、それぞれ、上述した実施の形態１に係る情報処理システム１の構成（図１参照）、情報処理装置１０のハードウェア構成（図２参照）、端末装置３０のハードウェア構成（図３参照）、店員判別モデル１２６（図７参照）、顧客認識モデル１２７（図８参照）、店員動作認識モデル１２８（図９参照）、端末装置３０の機能構成（図１０参照）、第一分析処理の一例を示すフローチャート（図１１参照）、及び効果表示画面（図１３参照）と同等であるため説明を省略する。

＜機能構成＞
実施の形態２に係る情報処理装置１０の機能構成について図１４を用いて説明する。図１４は、実施の形態２に係る情報処理装置１０の機能構成の一例を示す図である。本実施の形態２に係る情報処理装置１０の機能構成は、実施の形態１に係る情報処理装置１０の機能構成（図４参照）に対して、制御部１３に位置特定部１３８が含まれている点において実施の形態１と異なる。本実施の形態２に係る制御部１３は、記憶部１２に記憶されたサーバプログラム１２５を読み出して実行することにより、位置特定部１３８等が、ソフトウェア的な機能部として制御部１３に実現される。なお、他の機能構成については、実施の形態１に係る情報処理装置１０の機能構成（図４参照）と同様のため、説明を省略する。

位置特定部１３８は、後述する位置特定アルゴリズムを用いて、顧客の位置する座標や、顧客の位置する周辺にある商品棚等を特定する。

次に、実施の形態２に係る撮影画像情報１２１について、図１５を用いて説明する。図１５は、実施の形態２に係る撮影画像情報１２１の一例を示す図である。図１５に例示するように、本実施の形態２に係る撮影画像情報１２１は、実施の形態１に係る撮影画像情報１２１に対して、情報項目「属性情報」に「撮影位置情報」が含まれている点において実施の形態１と異なる。なお、本実施の形態２に係る撮影画像情報１２１の他の構成については、実施の形態１に係る撮影画像情報１２１の構成（図５参照）と同様のため説明を省略する。

「撮影位置情報」は、店舗内のマップ（店内マップ）における、「撮影画像ＩＤ」によって特定される撮影画像の座標である。「撮影位置情報」について図１６を用いて説明する。図１６は、撮影位置座標を説明するための模式図である。図１６の左図は一の撮影装置２０Ａによる撮影画像の例示である。右図は店内マップの例示であり、上から店内をみた様子を模式的に表した図である。

実施の形態２では、撮影画像上の所定の矩形が、店内のマップにおける所定の矩形に対応するものとし、例えば、８点アルゴリズムを用いてこれらの各頂点を対応付ける。この８点アルゴリズムは公知のため具体的な説明は省略する。また、この店内マップのデータは、例えば、デジタルデータとして情報処理装置１０の記憶部１２等に格納しておいてもよく、その場合、この店内マップにおける座標は、デジタルデータ化した店内マップ上での座標としてもよい。

図１６の撮影画像及び店内マップ中のＡ１～Ａ４は、店内に設置されている商品棚を示し、同一の符号が付与されている商品棚は同一の棚であることを示す。すなわち、図１６に例示する撮影画像（左図）中の商品棚Ａ１～Ａ４は、店内マップ上では、それぞれ、右図の商品棚Ａ１～Ａ４の場所（座標）に位置する。なお、図１６では、店内マップ上に、Ａ１～Ａ４のみを図示したが、それ以外に備えられる商品棚の符号は省略する。また、本実施の形態２において、商品棚Ａ１～Ａ４は、それぞれ、特定の商品カテゴリ（例えば、洗剤，洗顔料）に関連する商品を陳列しているものとするが、これに限られない。また、複数の商品棚のうち２以上の商品棚に同一の商品カテゴリに属する商品が陳列されていてもよいし、一の商品棚に複数の商品カテゴリに属する商品が陳列されてもよい。

また、図１６に例示するように、撮影画像（左図）の全体が、店内マップ（右図）の点線で示す矩形に対応する場合、撮影画像上の点Ｋ１～Ｋ４が、店内マップ上の点Ｍ１～Ｍ４の各Ｘ座標，Ｙ座標に対応する。本実施の形態２では、図１５に例示する撮影画像情報１２１中の「撮影位置情報」は、図１６に例示する、店内マップ上における矩形の対角位置に存在する、例えば２つの頂点Ｍ１，Ｍ４の座標、すなわち、（Ｍ１＿Ｘ，Ｍ１＿Ｙ）－（Ｍ４＿Ｘ，Ｍ４＿Ｙ）を格納するものとする。なお、「撮影位置情報」に格納される座標は、頂点Ｍ１，Ｍ４の座標に限られず、頂点Ｍ１～Ｍ４のうちいずれの２点の座標が選択されてもよいし、頂点Ｍ１～Ｍ４のうちの一の頂点の座標、あるいは、頂点Ｍ１～Ｍ４のうちの３又は４つの頂点の座標を格納するものとしてもよい。また、上述したように、座標の対応付けに用いられる手法は８点アルゴリズムに限られない。このような座標を特定するための手法を位置特定アルゴリズムともいう。

また、本実施の形態２では、予め店内マップ上での各商品棚の座標と、各商品棚に陳列される商品カテゴリに関する情報を管理しておき、例えば、記憶部１２に格納しておくものとする。この場合、商品棚の移動や増減、また、商品（カテゴリ）の陳列が変更される場合には、その都度、上記情報を変更するものとする。

このようにして、店舗の店内マップ上での位置（座標）を、例えば、顧客の顔の向き、顧客が手に取った商品、滞在時間と併せて特定することにより、当該顧客が興味をもっていたり、購入を検討したりしている商品を関連付けることができる。なお、顧客の向いている方向を特定するためには、公知の画像認識技術等を用いることができる。なお、このような技術は公知であるため説明を省略する。また、顧客が手に取った商品を特定するためには、公知の画像認識技術等を用いてもよいし、例えば、顧客行動を認識し得る学習モデルを用いて顧客行動を特定してもよい。

次に、実施の形態２に係る顧客情報１２２について、図１７を用いて説明する。図１７は、実施の形態２に係る顧客情報１２２の一例を示す図である。図１７に例示するように、本実施の形態２に係る顧客情報１２２は、実施の形態１に係る顧客情報１２２に対して、情報項目に「購入済み商品カテゴリ」、及び「顧客位置情報」が含まれている点において実施の形態１と異なる。なお、本実施の形態２に係る顧客情報１２２の他の構成については、実施の形態１に係る顧客情報１２２の構成（図６参照）と同様のため説明を省略する。

情報項目「購入済み商品カテゴリ」は、「顧客ＩＤ」によって特定される顧客が、店舗において購入したことのある商品の商品カテゴリを格納する。図１７は、例えば、「顧客ＩＤ」が“顧客００２”である顧客と、「顧客ＩＤ」が“顧客００３”である顧客の、計２人の顧客の「購入済み商品カテゴリ」が、共に“商品００２”であることを例示する。例えば、この“商品００２”が“化粧水”の商品カテゴリを示す場合には、“顧客００２”と“顧客００３”とが、過去に“化粧水”の商品を購入したことがあることがわかる。なお、過去に顧客が購入した商品が複数あり、これらの商品カテゴリが複数にわたる場合には、これらの商品カテゴリのすべてを格納してもよい。

上述したように、顧客特定部１３３は、店舗の清算カウンターに設置されている撮影装置２０によって撮影された撮影画像（清算時の撮影画像）を用いて、商品を購入した顧客を特定し得る。また、上述したように、新規リピーター判定部１３７は、見込み客が購入した際の撮影画像や購入データから、購入した商品の商品カテゴリを判定し得る。したがって、この「購入済み商品カテゴリ」は、新規リピーター判定部１３７によって判定された商品カテゴリが格納される。

また、顧客情報１２２の「リピーターフラグ」の値を参照すると、“顧客００２”が既にリピーターであることがわかる。これは、“顧客００２”の「リピーターフラグ」の値が“１”であることから明らかである。一方、“顧客００３”は購入履歴がある（「購入済み商品カテゴリ」に値が格納されていることから明らか）にも関わらず、まだリピーターではない（「リピーターフラグ」が“０”であることから明らか）ことがわかる。実施の形態２においても、リピーターとは、提供された試供品に関連する商品（関連商品）を購入した顧客である。そのため、“顧客００３”は、“商品００１”に関連する試供品を提供されているにも関わらず、“商品００１”ではなく“商品００２”に関連する商品を購入しているために、リピーターになっていないことがわかる。本実施の形態２では、このような購入済みの商品カテゴリに関する情報についても効果分析の対象とすることにより、リピーターに至らない原因の分析も行い得る。

情報項目「顧客位置情報」は、「顧客ＩＤ」によって特定される顧客が、商品を手に取った位置（座標）を格納する。これは、顧客が興味をもっている商品であれば、それを手に取る可能性があることに基づく。また、情報項目「顧客位置情報」には、「顧客ＩＤ」によって特定される顧客が滞在した時間が長い位置（座標）を格納してもよい。これは、顧客が購入のために商品を比較検討している可能性がある場合には、それらの商品の前に所定時間以上滞在すると考えられるためである。図１７には、例えば、「顧客ＩＤ」が“顧客００２”である顧客が、商品を所定時間以上眺める等して滞在時間が長くなった位置（場所）の座標が、（２００，１００）であることを例示する。また、長時間滞在した場所が複数あった場合には、これら複数の場所の座標を「顧客位置情報」に格納してもよい。なお、この「顧客位置情報」に格納される顧客の位置（座標）情報は、位置特定部１３８が前述の位置特定アルゴリズムを用いて特定し得る。

このように、本実施の形態２では、「購入済み商品カテゴリ」と「顧客位置情報」とにも着目し、試供品提供と新規リピーター獲得との関係を把握する。

＜第一及び第二の分析処理＞
実施の形態２に係る情報処理装置１０の制御部１３が行う、第一の分析処理は、実施の形態１に係る第一の分析処理（図１１に例示するステップＳ１～Ｓ７）と同様であるため、ここでは説明を省略する。ここでは、実施の形態２に係る情報処理装置１０の制御部１３が行う、第二の分析処理について、図１８を用いて説明する。図１８は、実施の形態２に係る情報処理装置１０の制御部１３が行う、第二の分析処理を示すフローチャート（ステップＴ１～Ｔ３）である。なお、実施の形態１にて上述したように、ここでの第二の分析処理も、販売促進活動と新規リピーター獲得との関係を分析する処理の一つであり、具体的には、見込み客が試供品提供後に来店し、この見込み客を新規リピーターとして獲得するまでの処理である。

この図１８に例示する第二の分析処理は、実施の形態１に係る処理（図１２参照）に対して、ステップＴ１のＮＯルートにステップＴ３の処理が追加されている点において実施の形態１と異なる。なお、他の処理（ステップＴ１，Ｔ２）については、実施の形態１に係る処理と同様のため説明を省略する。また、実施の形態１にて上述したように、図１２のステップＳ１にて、見込み客判定部１３６により見込み客が来店したと判定された（ステップＳ１におけるＹＥＳルート参照）後、連結子Ａを介し、図１８のステップＴ１が開始される。

図１８のステップＴ１にて、来店した見込み客が関連商品を購入したと判定された場合、ステップＴ３の処理が開始される（ステップＴ１におけるＮＯルート参照）。

ステップＴ３では、ステップＴ１の処理にて、見込み客による試供品の関連商品の購入がなかったと判断されると、当該見込み客について、顧客情報１２２の情報項目「購入済み商品カテゴリ」と「顧客位置情報」との値を取得し、これらの値を用いて分析を行う。上述した通り、このステップＴ１のＮＯルートは、見込み客が試供品提供後に来店を行い、試供品の関連商品を購入しなかった場合を示している。このような場合に、新規リピーター判定部１３７は、図１７に例示する顧客情報１２２を参照し、見込み客の「購入済み商品カテゴリ」の値を取得し、購入に至らなかった原因を分析する（ステップＴ３）。

図１７の“顧客００３”を例にとると、この図１７に例示する顧客情報１２２から、この“顧客００３”が提供された試供品の商品カテゴリは“商品００１”（例えば、洗顔料）であることがわかる。しかしながら、この“顧客００３”が、例えば、見込み客と判定された後に来店して購入した商品の商品カテゴリは“商品００２”（例えば、化粧水）であり、提供された試供品の商品カテゴリと異なる。そして、この“顧客００３”は“商品００１”（試供品の商品カテゴリ）に関連する商品を購入していないために、未だリピーターになっていない。このことから、“顧客００３”が興味をもっている商品カテゴリは、“商品００１”（例えば、洗顔料）よりも商品００２”（例えば、化粧水）であると分析できる。

このように、本実施の形態２では、例えば、上述の購入済み商品カテゴリの情報を用いて分析結果を端末装置３０に表示させることが可能となる（図示を省略）。さらに、購入履歴のある顧客が来店した場合には、例えば、店員が所有する端末装置３０に対して、当該顧客が既に購入している商品カテゴリを通知することも可能となる。そうすることで、店員に対し、既に購入済みの商品カテゴリの試供品をこの見込み客に提供するように促すこともでき、顧客の更なる購入や新規リピーターの獲得につなげることが期待できる。

図１７の“顧客００３”を例にとると、図１７に例示する顧客情報１２２から、この“顧客００３”の“顧客位置情報”は、座標（２００，１００）であることがわかる。位置特定部１３８は、この座標（２００，１００）がどの商品棚の周辺であるかを特定し得る。例えば、位置特定部１３８により、座標（２００，１００）がシャンプーの商品棚の周辺であると特定されると、当該見込み客はシャンプー（例えば、商品カテゴリは“商品００３”）の商品棚の前に所定時間以上位置していたことがわかる。上述した通り、顧客が所定時間以上ある一定の場所に位置していた場合には、当該顧客が商品購入のため商品を比較検討していたり、顧客がその商品に興味をもっていたりすることが考えられる。このことから、当該見込み客が購入を検討している商品、あるいは、興味ある商品の商品カテゴリは、提供された試供品の商品カテゴリ“商品００１”（例えば洗顔料）よりも、“商品００３”（例えばシャンプー）であると分析できる。そして、処理を終了する。

このように、本実施の形態２では図示を省略するが、例えば、上述の“顧客位置情報”を用いた分析結果を端末装置３０に表示させることも可能となる。また、見込み客が来店した場合等には、例えば、店員が所有する端末装置３０上で、顧客位置情報や、当該顧客が興味をもっている可能性のある商品カテゴリをも通知することが可能となる。これにより、本システムは、見込み客が所定時間以上検討していた商品カテゴリの試供品を当該見込み客に提供することを、店員に促すことができ、顧客の更なる購入につなげることが期待できる。また、店員は、見込み客が商品の購入を検討している可能性が高い位置に駆け寄り、当該見込み客に対して説明を行ったり、試供品等の声掛けを行ったりすることも可能となる。その結果、販売促進の機会を増加させ、新規リピーターの獲得につなげることが期待できる。

以上説明した通り、実施の形態２によれば、販売促進活動として店員が試供品を提供することにより、新規にリピーターになった顧客の数等が把握できると共に、試供品を提供された顧客（見込み客）が購入に至らなかった場合の分析結果（原因等）を可視化することができる。これにより、試供品提供等の販売促進活動と新規リピーター獲得との関係をより詳細に容易に把握できる。

実施の形態１、及び実施の形態２では、店員であるか否かを判別するために店員判別モデル１２６を用いたが、店員判別モデル１２６に代えて服認証技術を用いてもよいし、店員判別モデル１２６と服認証技術とを併用してもよい。この服認証技術は、公知の技術であるため説明を省略する。服認証技術を用いる場合には、顧客と店員との判別が可能な（店員であることが判別可能な）服を店員が着用することが望ましい。

また、実施の形態１、及び実施の形態２に係る画像取得部１３０は、取得した撮影画像に含まれる各フレーム画像に対して個人認証処理等を施してもよい。この個人認証処理については既存の技術であるため詳しい説明は省略するが、例えば顔認証の処理を施すことにより、フレーム画像に写っている人（個人，被写体）を特定してもよい。また、画像取得部１３０は、個人認証処理を施したフレーム画像とその被写体に関する情報とを紐づけて後述する記憶部１２に格納してもよい。このように画像取得部１３０が、個人認証処理を施す場合には、店員判別モデル１２６や顧客認識モデル１２７を省略してもよい。

また、実施の形態１、及び実施の形態２では、一人の店員から試供品を受け取った顧客が一人である場合を例にとり説明を行ったが、一人の店員から試供品を受け取った顧客が複数あってもよい。その場合、見込み客判定部１３６が、これら複数の顧客を特定してもよい。

また、実施の形態１、及び実施の形態２では、リピーターとは、新規にリピーターになった顧客であるものとしたが、これに限られない。例えば、過去にリピーターになってからしばらくの間購入していない顧客に対してはリピーターではなくなったものとして取り扱い、当該顧客が来店して購入を行った場合に新規にリピーターになったと判定してもよい。

また、実施の形態１、及び実施の形態２に係る新規リピーター判定部１３７は、見込み客が試供品の授受がなされてから次回以降の来店時に、過去に提供された試供品に関連する商品を購入した場合に、当該見込み客が新規リピーターであると判定したが、これに限られない。例えば、関連商品の購入に限らず、試供品提供後に何らかの商品を購入すればリピーターであると判定されてもよい。

また、実施の形態１、及び実施の形態２では、販売促進活動による効果を把握することを目的とし、販売促進活動の中で、試供品の提供を例にとり説明を行った。そのため、試供品の授受が行われた撮影画像を処理対象としたが、例えば、試供品の授受が行われたか否かに限らず、店員が顧客に対して行った、例えば、声がけ等の行動が撮影された撮影画像すべてを処理対象としてもよい。

今回開示された実施形態は例示であり、制限的なものではない。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

＜付記＞
本実施形態は、以下の開示を含む。

（付記１）
情報処理装置が実行する制御方法であって、
撮影装置が撮影した撮影画像を用いて、販売促進活動と、前記販売促進活動により獲得した新規リピーターとの関係を分析する処理と、
前記分析による結果を、前記販売促進活動による効果として表示する処理と、
を含み、
前記販売促進活動は、店舗において行われる、前記店員による顧客への試供品の提供である、
制御方法。

（付記２）
前記情報処理装置は、前記撮影画像から店員が写っている撮影画像を識別し、前記識別した撮影画像から前記販売促進活動に係る撮影画像を抽出し、前記抽出した撮影画像を用いて前記関係を分析する、
付記１に記載の制御方法。

（付記３）
前記情報処理装置は、前記抽出した撮影画像から顧客を特定し、前記特定した顧客がリピーターであるか否かを判定し、前記顧客が前記リピーターではない場合に見込み客であると判定する、
付記２に記載の制御方法。

（付記４）
前記情報処理装置は、前記見込み客が再度来店したことを認識し、前記見込み客が前記販売促進活動に関連する商品を購入したか否かを判定し、前記判定の結果に基づき前記関係を分析する、
付記３に記載の制御方法。

（付記５）
前記情報処理装置は、前記見込み客が前記販売促進活動に関連する商品を購入した場合に、当該見込み客がリピーターになったと判断する、
付記４に記載の制御方法。

（付記６）
前記情報処理装置は、前記リピーターになった見込み客に提供された前記販売促進活動が前記見込み客にとって効果があったと判断する、
付記５に記載の制御方法。

（付記７）
前記店員が写っている撮影画像を入力として受け付け、前記店員の各種行動に分類するよう学習がなされた学習済みモデルを用いて、前記撮影画像を前記学習済みモデルへ入力し、前記店員による前記販売促進活動が撮影された撮影画像を抽出する、
付記２から付記６までのいずれか１項に記載の制御方法。

（付記８）
前記情報処理装置は、前記効果をユーザの端末装置に表示させる、
付記１から付記７までのいずれか１項に記載の制御方法。

（付記９）
コンピュータに、
撮影装置が撮影した撮影画像を用いて、販売促進活動と、前記販売促進活動により獲得した新規リピーターとの関係を分析する処理と、
前記分析による結果を、前記販売促進活動による効果として表示する処理と、
を実行させるためのプログラムであって、
前記販売促進活動は、店舗において行われる、前記店員による顧客への試供品の提供であるプログラム。

（付記１０）
撮影装置が撮影した撮影画像を用いて、販売促進活動と、前記販売促進活動により獲得した新規リピーターとの関係を分析する分析部と、
前記分析による結果を、前記販売促進活動による効果として表示する表示制御部と、
を備え、
前記販売促進活動は、店舗において行われる、前記店員による顧客への試供品の提供である、
情報処理装置。

（付記１１）
撮影装置と、
情報処理装置と、
を備えた情報処理システムであって、
前記撮影装置が、撮影画像を撮影する処理と、
前記情報処理装置が、前記撮影画像を用いて、販売促進活動と、前記販売促進活動により獲得した新規リピーターとの関係を分析する処理と、
前記情報処理装置が、前記分析による結果を、前記販売促進活動による効果として表示する処理と、
を実行し、
前記販売促進活動は、店舗において行われる、前記店員による顧客への試供品の提供である、
情報処理システム。

１ 情報処理システム
１０ 情報処理装置
１１ 通信部
１２ 記憶部
１３ 制御部
２０ 撮影装置
３０ 端末装置
３１ 通信部
３２ 記憶部
３３ 制御部
３４ 操作部
３５ 表示部
１０１ プロセッサ
１０２ メモリ
１０３ ストレージ
１０４ 通信Ｉ／Ｆ
１０５ 入出力Ｉ／Ｆ
１０６ ドライブ装置
１０７ 入力装置
１０８ 出力装置
１０９ ディスクメディア
１２０ 画像記憶部
１２１ 撮影画像情報
１２２ 顧客情報
１２５ サーバプログラム
１２６ 店員判別モデル
１２７ 顧客認識モデル
１２８ 店員動作認識モデル
１３０ 画像取得部
１３１ 店員判別部
１３３ 顧客特定部
１３５ 店員動作認識部
１３６ 見込み客判定部
１３７ 新規リピーター判定部
１３８ 位置特定部
３０１ プロセッサ
３０２ メモリ
３０３ ストレージ
３０４ 通信Ｉ／Ｆ
３０５ 入出力Ｉ／Ｆ
３０７ 入力装置
３０８ 出力装置

Claims (11)

1. 情報処理装置が実行する制御方法であって、
   撮影装置が撮影した撮影画像を用いて、販売促進活動と、前記販売促進活動により獲得した新規リピーターとの関係を分析する処理と、
   前記分析による結果を、前記販売促進活動による効果として表示する処理と、
   を含み、
   前記販売促進活動は、店舗において行われる、前記店員による顧客への試供品の提供である、
   制御方法。
2. 前記情報処理装置は、前記撮影画像から店員が写っている撮影画像を識別し、前記識別した撮影画像から前記販売促進活動に係る撮影画像を抽出し、前記抽出した撮影画像を用いて前記関係を分析する、
   請求項１に記載の制御方法。
3. 前記情報処理装置は、前記抽出した撮影画像から顧客を特定し、前記特定した顧客がリピーターであるか否かを判定し、前記顧客が前記リピーターではない場合に見込み客であると判定する、
   請求項２に記載の制御方法。
4. 前記情報処理装置は、前記見込み客が再度来店したことを認識し、前記見込み客が前記販売促進活動に関連する商品を購入したか否かを判定し、前記判定の結果に基づき前記関係を分析する、
   請求項３に記載の制御方法。
5. 前記情報処理装置は、前記見込み客が前記販売促進活動に関連する商品を購入した場合に、当該見込み客がリピーターになったと判断する、
   請求項４に記載の制御方法。
6. 前記情報処理装置は、前記リピーターになった見込み客に提供された前記販売促進活動が前記見込み客にとって効果があったと判断する、
   請求項５に記載の制御方法。
7. 前記店員が写っている撮影画像を入力として受け付け、前記店員の各種行動に分類するよう学習がなされた学習済みモデルを用いて、前記撮影画像を前記学習済みモデルへ入力し、前記店員による前記販売促進活動が撮影された撮影画像を抽出する、
   請求項２から請求項６までのいずれか１項に記載の制御方法。
8. 前記情報処理装置は、前記効果をユーザの端末装置に表示させる、
   請求項１から請求項７までのいずれか１項に記載の制御方法。
9. コンピュータに、
   撮影装置が撮影した撮影画像を用いて、販売促進活動と、前記販売促進活動により獲得した新規リピーターとの関係を分析する処理と、
   前記分析による結果を、前記販売促進活動による効果として表示する処理と、
   を実行させるためのプログラムであって、
   前記販売促進活動は、店舗において行われる、前記店員による顧客への試供品の提供であるプログラム。
10. 撮影装置が撮影した撮影画像を用いて、販売促進活動と、前記販売促進活動により獲得した新規リピーターとの関係を分析する分析部と、
    前記分析による結果を、前記販売促進活動による効果として表示する表示制御部と、
    を備え、
    前記販売促進活動は、店舗において行われる、前記店員による顧客への試供品の提供である、
    情報処理装置。
11. 撮影装置と、
    情報処理装置と、
    を備えた情報処理システムであって、
    前記撮影装置が、撮影画像を撮影する処理と、
    前記情報処理装置が、前記撮影画像を用いて、販売促進活動と、前記販売促進活動により獲得した新規リピーターとの関係を分析する処理と、
    前記情報処理装置が、前記分析による結果を、前記販売促進活動による効果として表示する処理と、
    を実行し、
    前記販売促進活動は、店舗において行われる、前記店員による顧客への試供品の提供である、
    情報処理システム。
    

Images