JP2023048516A - 人物の属性と人物の画像に基づくデータとを対応付ける装置、方法、およびプログラム - Google Patents

Abstract

【課題】人物の属性と人物の画像に基づくデータとを対応付ける装置、方法及びプログラムを提供する。
【解決手段】収集装置１００は、複数の会員の夫々について、会員識別情報及び属性を記憶する会員データベースに接続する会員データベース接続部と、店舗への来店者を撮影した画像を取得する画像取得部と、店舗における商品代金の決済に応じて、購入者の会員識別情報を取得する会員識別情報取得部と、商品代金の決済に応じて、画像取得部により取得された画像の中から、購入者に対応する来店者の画像を購入者画像として選択する選択部と、会員データベースにおける、会員識別情報に応じた購入者の属性と、購入者画像に基づく購入者データとを対応付ける対応付処理部と、を備える。
【選択図】図２

Description

特許法第３０条第２項適用申請有り 公開１：令和２年９月２９日に、「ファッションスタイルモニターへご協力のお願い」と題した告知（資料１）を、ＳＨＩＢＵＹＡＴＳＵＴＡＹＡ（東京都渋谷区宇田川町２１番６号）にて掲示。令和２年１２月１日および令和３年２月１日に、令和２年９月２９日の「ファッションスタイルモニターへご協力のお願い」と題した告知における実施期間の表示を延長更新した再告知（資料２、３）を掲示。 公開２：令和２年１０月１日から出願日令和３年９月２８日に至るまでの間、ＳＨＩＢＵＹＡ ＴＳＵＴＡＹＡにて、上記の「ファッションスタイルモニターへご協力のお願い」と題した告知（資料１～３）のとおりに、森田岳大が発明した、人物の属性と人物の画像に基づくデータとを対応付ける技術を実施。 公開３：令和３年４月１日に、「ファッションスタイルモニターへご協力のお願い」と題した告知（資料４）を、柏の葉蔦屋書店（千葉県柏市若柴２２７番１号）にて掲示。 公開４：令和３年４月１日から出願日令和３年９月２８日に至るまでの間、柏の葉蔦屋書店にて、上記の「ファッションスタイルモニターへご協力のお願い」と題した告知（資料４）のとおりに、森田岳大が発明した、人物の属性と人物の画像に基づくデータとを対応付ける技術を実施。この際、「ファッションスタイルモニター参加専用レジ」との掲示（資料５）を用いて当該技術を使用するレジを来店者に案内。 公開５：令和３年５月２９日に、「ファッションスタイルモニターへご協力のお願い」と題した告知（資料６）を、代官山蔦屋書店（東京都渋谷区猿楽町１７番５号）にて掲示。令和３年８月１日に、令和３年５月２９日の「ファッションスタイルモニターへご協力のお願い」と題した告知における実施期間の表示を延長更新した再告知（資料７）を掲示。 公開６：令和３年６月１日から出願日令和３年９月２８日に至るまでの間、代官山蔦屋書店にて、上記の「ファッションスタイルモニターへご協力のお願い」と題した告知（資料６、７）のとおりに、森田岳大が発明した、人物の属性と人物の画像に基づくデータとを対応付ける技術を実施。

本発明は、人物の属性と人物の画像に基づくデータとを対応付ける装置、方法、およびプログラムに関する。

従来、例えば服装などの人物の外見と、例えば年齢および性別等の人物の属性との関連性を示すデータを得るために、各人物の外見を撮影した画像に対して人手でその人物の属性をタグ付けする必要があった。

本発明の第１の態様においては、装置を提供する。装置は、複数の会員のそれぞれについて、会員識別情報および属性を記憶する会員データベースに接続する会員データベース接続部を備えてよい。装置は、店舗への来店者を撮影した画像を取得する画像取得部を備えてよい。装置は、店舗における商品代金の決済に応じて、購入者の会員識別情報を取得する会員識別情報取得部を備えてよい。装置は、商品代金の決済に応じて、画像取得部により取得された画像の中から、購入者に対応する来店者の画像を購入者画像として選択する選択部を備えてよい。装置は、会員データベースにおける、会員識別情報に応じた購入者の属性と、購入者画像に基づく購入者データとを対応付ける対応付処理部とを備えてよい。

購入者データは、購入者画像の少なくとも一部を含んでよい。

画像取得部は、店舗への来店者を撮影した動画像を取得してよい。選択部は、動画像の中から購入者画像を選択してよい。

選択部は、動画像中において、商品代金の決済を行なった購入者に対応する来店者を、商品代金の決済に対応する時点から遡って追跡して得られる画像の中から、購入者画像を選択してよい。

選択部は、商品代金の決済を行なった購入者に対応する来店者を正面から撮影した画像を購入者画像として選択してよい。

選択部は、購入者に対応する来店者の、正面を向いたと判定したタイミングにおける画像を購入者画像として選択してよい。

選択部は、購入者に対応する来店者の、予め定められた通路における予め定められた位置を通過するタイミングにおける画像を購入者画像として選択してよい。

対応付処理部は、購入者の属性と、購入者画像に基づく購入者データとの対応付けに合意した購入者に対してインセンティブを付与するインセンティブ付与部を有してよい。

装置は、来店者の画像の少なくとも一部をマスクするマスク処理部を備えてよい。対応付処理部は、購入者の属性と、購入者に対応する来店者の、少なくとも一部がマスクされた購入者画像に基づく購入者データとを対応付けてよい。

マスク処理部は、来店者の画像における、来店者の顔の少なくとも一部に対応する部分をマスクしてよい。

装置は、来店者の画像から、来店者の外見的特徴を抽出する特徴抽出部を備えてよい。購入者データは、購入者に対応する来店者の外見的特徴を含んでよい。

対応付処理部は、会員データベースの中から、会員識別情報を用いて購入者の属性を取得する属性取得部を有してよい。対応付処理部は、購入者の属性と、購入者画像に基づく購入者データとを対応付けて画像属性記録部に格納する画像属性格納部を有してよい。

装置は、対応する購入者データおよび属性の複数の組を訓練データとして用いて、人物の画像に基づいてその人物の属性を予測する予測モデルを学習により生成するモデル生成部を備えてよい。

装置は、指定された属性に対応付けられた１または複数の購入者画像を出力する画像出力部を備えてよい。

本発明の第２の態様においては、方法を提供する。方法は、コンピュータが、店舗への来店者を撮影した画像を取得することを含んでよい。方法は、コンピュータが、店舗における商品代金の決済に応じて、購入者の会員識別情報を取得することを含んでよい。方法は、コンピュータが、商品代金の決済に応じて、来店者を撮影した画像の中から、購入者に対応する来店者の画像を購入者画像として選択することを含んでよい。方法は、コンピュータが、複数の会員のそれぞれについて会員識別情報および属性を記憶する会員データベースにおける、会員識別情報に応じた購入者の属性と、購入者画像に基づく購入者データとを対応付けることを含んでよい。

本発明の第３の態様においては、コンピュータにより実行されるプログラムを提供する。プログラムは、コンピュータを、複数の会員のそれぞれについて、会員識別情報および属性を記憶する会員データベースに接続する会員データベース接続部として機能させてよい。プログラムは、コンピュータを、店舗への来店者を撮影した画像を取得する画像取得部として機能させてよい。プログラムは、コンピュータを、店舗における商品代金の決済に応じて、購入者の会員識別情報を取得する会員識別情報取得部として機能させてよい。プログラムは、コンピュータを、商品代金の決済に応じて、画像取得部により取得された画像の中から、購入者に対応する来店者の画像を購入者画像として選択する選択部として機能させてよい。プログラムは、コンピュータを、会員データベースにおける、会員識別情報に応じた購入者の属性と、購入者画像に基づく購入者データとを対応付ける対応付処理部として機能させてよい。

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る収集装置１００の利用形態の一例を示す。 本実施形態に係る収集装置１００の構成を、会員ＤＢ１１０と共に示す。 本実施形態に係る収集装置１００における、購入者の属性および購入者データを対応付ける動作フローを示す。 本実施形態に係る会員ＤＢ１１０が記憶する会員データベースの一例を示す。 本実施形態に係る画像属性記憶部２６０に格納される画像属性データの一例を示す。 本実施形態に係る収集装置１００における、予測モデルの生成フローを示す。 本実施形態に係る収集装置１００における、指定された属性に応じた購入者データを出力する動作フローを示す。 本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る収集装置１００の利用形態の一例を示す。本実施形態において、収集装置１００は、店舗１０に設けられた通信装置６０および会員ＤＢ１１０（会員データベース１１０）に接続される。

店舗１０は、例えば衣料品店等の、来店者７０が入店して商品を見て回り、気に入った商品を購入することができる施設であってよい。店舗１０は、店内に、１または複数の陳列棚２０ａ～ｆ（「陳列棚２０」とも示す。）と、１または複数の撮像装置３０ａ～ｈ（「撮像装置３０」とも示す。）と、１または複数の会計カウンター４０と、１または複数のＰＯＳ端末５０ａ～ｂ（「ＰＯＳ端末５０」とも示す。）と、通信装置６０とを備える。

１または複数の陳列棚２０のそれぞれは、店内の各所に配置され、商品の展示に用いられる。店舗１０は、少なくとも一部の衣服等を吊り下げて展示してもよい。なお、「商品」とは、本実施形態においては物としての商品である。これに代えて、「商品」は、代金を得て提供するサービスとしての商品であってもよい。

１または複数の撮像装置３０のそれぞれは、店舗１０内を撮影可能な位置に配置される。１または複数の撮像装置３０のうちの少なくとも１つは、監視カメラであってもよく、監視業務とは別に収集装置１００によって利用されてよい。各撮像装置３０は、定期的、不定期的、または特定の撮影条件が満たされたことに応じて店内の静止画像を撮影してよく、店内の動画像を撮影してもよい。

会計カウンター４０は、来店者７０が購入する商品を決済する場所である。１または複数のＰＯＳ端末５０のそれぞれは、会計カウンター４０に設置され、来店者７０により購入された商品の代金を決済する。通信装置６０は、有線または無線により、１または複数の撮像装置３０および１または複数のＰＯＳ端末５０に接続される。通信装置６０は、１または複数の撮像装置３０により撮影された画像を収集装置１００へと送信する。また、通信装置６０は、１または複数のＰＯＳ端末５０による商品の決済情報の少なくとも一部を収集装置１００へと送信する。

会員ＤＢ１１０は、複数の会員のそれぞれについて、会員識別情報および属性を記憶する。ここで、複数の会員が加入する会員システムは、店舗１０または店舗１０を含む店舗グループ等の１事業者が提供するポイントシステム、複数の事業者にわたる共通の共通ポイントシステム、クレジットカード、電子マネー、およびその他の任意の会員サービスを提供するシステムであってよい。

収集装置１００は、通信装置６０および会員ＤＢ１１０に接続される。収集装置１００は、ＰＣ（パーソナルコンピュータ）、ワークステーション、サーバコンピュータ、汎用コンピュータ、タブレット型コンピュータ、またはスマートフォン等のコンピュータであってよく、複数のコンピュータが接続されたコンピュータシステムであってもよい。このようなコンピュータシステムもまた広義のコンピュータである。また、収集装置１００は、コンピュータ内で１または複数実行可能な仮想コンピュータ環境によって実装されてもよい。これに代えて、収集装置１００は、使用目的に適合するように設計された専用コンピュータであってもよく、専用回路によって実現された専用ハードウェアであってもよい。

収集装置１００は、１または複数の撮像装置３０のそれぞれから、店舗１０への来店者７０を撮影した画像を取得する。収集装置１００は、会計カウンター４０において商品代金が決済されたことに応じて購入者の会員識別情報を取得して、購入者の少なくとも１つの属性を会員ＤＢ１１０から取得する。収集装置１００は、各来店者７０を撮影した画像の中から、商品代金を決済した購入者に対応する来店者７０の画像を選択する。そして、収集装置１００は、取得した購入者の少なくとも１つの属性と、選択した画像に基づく購入者データとを対応付ける。

本実施形態において、収集装置１００は、インターネットまたは携帯通信ネットワーク等のネットワークを介して店舗１０内の６０に接続される。これに代えて、収集装置１００は、店舗１０内に設置されて、店舗１０内の各撮像装置３０と通信してもよい。この場合、収集装置１００は、各ＰＯＳ端末５０と直接通信してもよく、各ＰＯＳ端末５０からの決済情報を受け取る決済サーバ等と通信して、会員識別情報を受け取ってもよい。

以上に示した収集装置１００は、商品が購入されたことに応じて、購入者を撮影した画像に基づく購入者データと、購入者の少なくとも１つの属性との関連性を示すデータを、自動的に収集することができる。したがって、収集装置１００は、人物の画像に対して人手でその人物の属性をタグ付けする場合と比較して、誤りを減らして効率良くタグ付けを行なうことができる。

図２は、本実施形態に係る収集装置１００の構成を、会員ＤＢ１１０と共に示す。収集装置１００は、会員ＤＢ接続部２００と、画像取得部２０５と、画像記憶部２１０と、会員識別情報取得部２１５と、選択部２２５と、画像処理部２３０と、対応付処理部２４５と、画像属性記憶部２６０とを備える。

会員ＤＢ接続部２００は、会員ＤＢ１１０に接続し、収集装置１００内の他の構成要素からの要求に応じて会員ＤＢ１１０をアクセス（例えば読み出しおよび書き込み）する。画像取得部２０５は、店舗１０への来店者７０を撮影した画像を各撮像装置３０から取得する。画像取得部２０５は、取得した画像を画像記憶部２１０に格納する。画像記憶部２１０は、画像取得部２０５に接続され、画像取得部２０５により格納された画像を記憶する。

会員識別情報取得部２１５は、店舗１０における商品代金の決済に応じて、購入者の会員識別情報をＰＯＳ端末５０から取得する。選択部２２５は、画像記憶部２１０および会員識別情報取得部２１５に接続される。選択部２２５は、商品代金の決済に応じて、画像取得部２０５により取得されて画像記憶部２１０に格納された画像の中から、購入者に対応する来店者７０の画像を購入者画像として選択する。

画像処理部２３０は、選択部２２５に接続される。画像処理部２３０は、購入者画像に対して必要に応じて画像処理を行なう。そして、画像処理部２３０は、購入者画像に基づく購入者データを出力する。画像処理部２３０は、マスク処理部２３５および特徴抽出部２４０のうちの少なくとも１つを有してよい。

マスク処理部２３５は、購入者に対応する来店者７０の画像の少なくとも一部をマスクする。例えば、マスク処理部２３５は、来店者７０の画像における、来店者７０の顔の少なくとも一部に対応する部分をマスクする。特徴抽出部２４０は、購入者に対応する来店者７０の画像から、来店者７０の外見的特徴を抽出する。

対応付処理部２４５は、会員識別情報取得部２１５および画像処理部２３０に接続される。対応付処理部２４５は、会員ＤＢ１１０における、会員識別情報に応じた購入者の属性と、購入者画像に基づく購入者データとを対応付ける。対応付処理部２４５は、属性取得部２５０と、画像属性格納部２５５とを有する。

属性取得部２５０は、会員識別情報取得部２１５から受け取った会員識別情報を用いて、会員ＤＢ１１０の中から購入者の属性を取得する。画像属性格納部２５５は、会員ＤＢ１１０から取得した購入者の属性と、購入者画像に基づく購入者データとを対応付けて画像属性記憶部２６０に格納する。

また、対応付処理部２４５は、インセンティブ付与部２５７を有してもよい。インセンティブ付与部２５７は、購入者の属性と、購入者画像に基づく購入者データとの対応付けに合意した購入者に対してインセンティブを付与する。画像属性記憶部２６０は、１または複数の購入者のそれぞれについて、購入者の属性と、購入者画像に基づく購入者データとを対応付けた画像属性データを記憶する。

収集装置１００は、モデル生成部２６５を更に備えてもよい。モデル生成部２６５は、画像属性記憶部２６０に接続される。モデル生成部２６５は、画像属性記憶部２６０に格納された、対応する購入者データおよび属性の複数の組（すなわち画像属性データ）を訓練データとして用いて、人物の画像に基づいてその人物の属性を予測する予測モデルを学習により生成する。

収集装置１００は、画像出力部２７０を更に備えてもよい。画像出力部２７０は、画像属性記憶部２６０に接続される。画像出力部２７０は、収集装置１００のユーザ等から人物の属性の指定を受け付ける。そして、画像出力部２７０は、指定された属性に対応付けられた１または複数の購入者データを画像属性記憶部２６０から検索して出力する。購入者データが購入者画像を含む場合、画像出力部２７０は、検索した購入者データに含まれる購入者画像を出力する。

図３は、本実施形態に係る収集装置１００における、購入者の属性および購入者データを対応付ける動作フローを示す。ステップ３００（Ｓ３００）において、画像取得部２０５は、店舗１０への１または複数の来店者７０を撮影した画像を各撮像装置３０から取得する。画像取得部２０５は、各撮像装置３０が定期的、不定期的、または特定の撮影条件が満たされたことに応じて撮影する、来店者７０の静止画像を各撮像装置３０から取得してよい。また、画像取得部２０５は、各撮像装置３０から、店舗１０への来店者７０を撮影した動画像を取得してもよい。なお、動作フローの説明の便宜上、画像取得部２０５は、Ｓ３００において１または複数の来店者７０の画像を取得するものとして示すが、画像取得部２０５は、各撮像装置３０から常時送られてくる画像を画像属性記憶部２６０に格納してもよい。

いずれかのＰＯＳ端末５０において商品代金の決済（会計）が行なわれると（Ｓ３１０の「Ｙ」）、会員識別情報取得部２１５は、Ｓ３２０において、購入者の会員識別情報を取得する。ここで、会員識別情報取得部２１５は、商品代金の決済情報をＰＯＳ端末５０から受け取り、決済情報に含まれるクレジットカード番号、または提示された会員カードまたは会員コードから読み取られた会員番号等のうち、会員サービスで定められた識別情報を会員識別情報として取得してよい。決済情報は、別途決済サーバ等に送信されてよく、決済サーバは、クレジットカードへの課金等の決済処理を行なってよい。

Ｓ３３０において、選択部２２５は、商品代金の決済が行なわれたことに応じて、画像記憶部２１０に格納された画像の中から、購入者に対応する来店者７０の画像を購入者画像として選択する。画像記憶部２１０は、例えば以下に示す方法を用いて購入者画像を選択してよい。

（１）購入者に対応する来店者７０の、予め定められた位置における画像を選択する。
選択部２２５は、購入者に対応する来店者７０の、店舗１０内の１または複数の予め定められた通路における、１または複数の予め定められた位置を通過するタイミングにおける画像を購入者画像として選択する。図１の例において、選択部２２５は、購入者に対応する来店者７０が会計カウンター４０に向かって進んで、特定位置８０ａ～ｄのいずれかを通過するタイミングにおける来店者７０の画像を購入者画像として選択する。

選択部２２５は、特定位置８０を通過して会計カウンター４０に到着した購入者が商品代金の決済をしたことに応じて、購入者が特定位置８０を通過するタイミングにおける画像を画像記憶部２１０から検索して購入者画像として選択してよい。画像記憶部２１０が動画像を記憶している場合、選択部２２５は、動画像の中から購入者画像を選択してよい。

ここで、選択部２２５は、順次撮影された複数の静止画像または動画像中において、商品代金の決済を行なった購入者に対応する来店者７０を商品代金の決済に対応する時点から遡って追跡して得られる画像の中から、購入者画像を選択してよい。例えば選択部２２５は、商品代金の決済に対応する時点において決済が行なわれたＰＯＳ端末５０に応じた位置にいる購入者を画像内で特定し、連続する静止画像または動画像を１フレームずつ遡りながら購入者の直前の位置を画像内で特定していく。このようにして、選択部２２５は、時間を遡って購入者の位置を追跡していき、購入者が特定位置８０を通過するタイミングにおける画像を特定して購入者画像とする。なお、選択部２２５は、購入者が２以上の撮像装置３０の撮影対象領域にわたって移動している場合には、２以上の撮像装置３０により撮影された２以上の静止画像または動画像を用いて購入者の移動を追跡してよい。これにより、選択部２２５は、順次撮影された複数の静止画像または動画像を用いて、購入者の決済時点から確実に遡って購入者画像として用いる来店者７０の画像を特定することができる。

また、選択部２２５は、商品代金の決済に対応する時点において決済が行なわれたＰＯＳ端末５０に応じた位置にいる購入者を画像内で特定し、特定位置８０を通過するタイミングで撮影された複数の来店者７０の画像の中から、購入者の外見的特徴と一致し、または最も近い外見的特徴を有する来店者７０が撮影された画像を購入者画像として選択してもよい。

（２）購入者に対応する来店者７０の、予め定められた基準を満たす画像を選択する。
選択部２２５は、購入者に対応する来店者７０の、予め定められた基準を満たす画像を購入者画像として選択する。例えば、選択部２２５は、商品代金の決済を行なった購入者に対応する来店者７０を正面から撮影した画像を購入者画像として選択する。選択部２２５は、上記の（１）と同様にして、順次撮影された複数の静止画像または動画像中において、商品代金の決済を行なった購入者に対応する来店者７０を商品代金の決済に対応する時点から遡って追跡して得られる画像の中から、購入者画像を選択してよい。選択部２２５は、購入者に対応する来店者７０の、正面を向いたと判定したタイミングにおける画像を購入者画像として選択してよい。ここで、選択部２２５は、購入者に対応する来店者７０が正面を向いているか否かの判定を、例えば画像中の人物の顔領域から目鼻口を検出しこれらの位置関係から顔の向きを検出する等の予め定められた画像処理アルゴリズムを用いて行なってもよく、人物の画像から人物が正面を向いているか否かを判定するように学習された機械学習モデルを用いて行なってもよい。

また、選択部２２５は、商品代金の決済に対応する時点において決済が行なわれたＰＯＳ端末５０に応じた位置にいる購入者を画像内で特定し、正面を向いている複数の来店者７０のそれぞれの画像の中から、購入者の外見的特徴と一致し、または最も近い外見的特徴を有する来店者７０が撮影された画像を購入者画像として選択してもよい。なお、選択部２２５は、予め定められた基準を満たす画像として、来店者７０の正面、側面、背面、またはその他の方向を向いている画像の中から、１または複数の画像を選択してもよい。購入者が特定の方向を向いている画像を購入者画像として選択することで、選択部２２５は、購入者画像を規格化して機械学習用の訓練データとして利用しやすくすることができ、また、購入者画像同士で見比べやすくすることができる。

Ｓ３４０において、画像処理部２３０は、選択部２２５が選択した購入者画像（購入者に対応する来店者７０の画像）に対して必要に応じて画像処理を行なって、購入者画像に基づく購入者データを生成する。画像処理部２３０は、例えば以下の少なくとも１つに示す画像処理を行なう。

（１）マスク処理
画像処理部２３０内のマスク処理部２３５は、購入者に対応する来店者７０の画像の少なくとも一部をマスクする。例えば、収集装置１００が人物のファッションとその人物の属性との関連付けに用いられる場合、人物の顔部分は服装よりも重要度が低い。したがって、マスク処理部２３５は、購入者画像における、購入者の顔の少なくとも一部に対応する部分をマスクしてよい。マスク処理部２３５は、購入者画像内において購入者が位置する範囲内における文字（名前）、手相または指紋、所持するクレジットカードもしくは会員カード、またはその他の個人情報が撮影された領域をマスクすることにより、購入者画像から個人情報を除去してよい。マスク処理部２３５は、画像領域のマスクの手法として、マスク対象範囲を上塗り（黒塗り、白抜き）すること、マスク対象範囲をぼかすこと、マスク対象範囲を除いた部分を抜き出してマスク済みの購入者画像とすること、またはその他の不鮮明化手法を用いてよい。

画像処理部２３０は、マスク処理済みの購入者画像に基づく購入者データを生成する。ここで、画像処理部２３０は、マスク処理済みの購入者画像の少なくとも一部を購入者データとして出力してよい。

（２）特徴抽出処理
画像処理部２３０内の特徴抽出部２４０は、購入者に対応する来店者７０の画像から、来店者７０の外見的特徴を抽出する。例えば、特徴抽出部２４０は、購入者画像から、購入者の顔の輪郭、目鼻口等の顔のパーツの形、髪型、髭の有無および形、または服装に関する特徴等の様々な外見的特徴のうちの少なくとも１つを抽出する。特徴抽出部２４０が購入者画像から購入者の外見的特徴を抽出することで、収集装置１００は、人物の外見的特徴とその人物の属性との関連付けを行なうことができる。

画像処理部２３０は、購入者の外見的特徴を含む購入者データを出力する。ここで、画像処理部２３０は、購入者の外見的特徴自体を購入者データとしてもよく、購入者の外見的特徴に加えて購入者画像の少なくとも一部を含む購入者データを生成してもよい。この場合において、画像処理部２３０は、購入者データに含める購入者画像として、上記（１）によるマスク済みの購入者画像を用いてもよい。例えば、画像処理部２３０は、購入者の顔の少なくとも一部をマスクした購入者画像を購入者データに含め、マスクされた購入者の顔部分については画像の代わりに外見的特徴を購入者データに含めてもよい。

なお、例えば購入者または来店者との間で画像をマスク等せずに利用してよい旨の合意がある場合には、収集装置１００は、画像処理部２３０を備えなくてもよい。この場合、収集装置１００は、購入者画像をマスクせずに購入者データに含めてもよい。

Ｓ３５０において、対応付処理部２４５内の属性取得部２５０は、会員識別情報取得部２１５から受け取った会員識別情報を用いて、会員ＤＢ１１０の中から購入者の少なくとも１つの属性を取得する。ここで属性取得部２５０は、購入者データと対応付けるべき少なくとも１つの属性の指定を予め受けてよい。そして、属性取得部２５０は、会員識別情報取得部２１５から受け取った会員識別情報に対応付けて会員ＤＢ１１０に格納された複数の属性の属性値のうち、指定された少なくとも１つの属性の属性値を、購入者の少なくとも１つの属性として取得してよい。

Ｓ３６０において、対応付処理部２４５内の画像属性格納部２５５は、会員ＤＢ１１０から取得した購入者の属性と、購入者画像に基づく購入者データとを対応付けて画像属性記憶部２６０に格納する。これにより、画像属性記憶部２６０は、１または複数の購入者のそれぞれについて、購入者の属性と、購入者画像に基づく購入者データとを対応付けた画像属性データを記憶することができる。ここで、購入者の少なくとも一部がマスクされた購入者画像を用いる場合には、属性取得部２５０は、購入者の属性と、少なくとも一部がマスクされた購入者画像に基づく購入者データとを対応付ける。

Ｓ３７０において、対応付処理部２４５内のインセンティブ付与部２５７は、購入者の属性と、購入者画像に基づく購入者データとの対応付けに合意した購入者に対してインセンティブを付与する。ここで、収集装置１００は、購入者の合意を、商品代金の決済時に受け取ってよい。この場合、ＰＯＳ端末５０は、購入者の合意の有無を含む決済情報を生成する。収集装置１００の会員識別情報取得部２１５は、購入者の会員識別情報と共に購入者の合意に関する合意情報を取得する。インセンティブ付与部２５７は、購入者が属性および購入者データの対応付けに合意したか否かを合意情報によって判断する。

これに代えて、複数のＰＯＳ端末５０のうちの少なくとも１つのＰＯＳ端末５０（例えばＰＯＳ端末５０ｂ）は、属性および購入者データの対応付けに合意済みの購入者専用であってもよい。この場合、インセンティブ付与部２５７は、ＰＯＳ端末５０ｂによって商品代金の決済が行なわれたことに応じて、購入者に対してインセンティブを付与する。

また、会員ＤＢ１１０は、各会員が、属性および購入者データの対応付けに合意したか否かを示す合意情報を会員識別情報に対応付けて予め登録してもよい。この場合、インセンティブ付与部２５７は、購入者の会員識別情報に対応付けられた合意情報が、購入者が合意済みであることを示すことに応じて、購入者に対してインセンティブを付与する。

本実施形態において、インセンティブ付与部２５７は、インセンティブとして、購入者に対して会員ポイントを付与する。インセンティブ付与部２５７は、会員ＤＢ１１０に格納された購入者の会員ポイント数に、インセンティブとしての会員ポイント数を加算することを会員ＤＢ接続部２００に指示してよい。これに代えて、インセンティブは、商品代金の割引、クーポンの発行、またはその他の、属性および購入者データの対応付けに合意した購入者に対する任意の優遇処置であってよい。

収集装置１００は、Ｓ３２０からＳ３７０の処理を終えると、Ｓ３００へと処理を進めて次の購入者に対する処理を行なう。なお、購入者が属性および購入者データの対応付けに合意していない場合、収集装置１００は、Ｓ３３０からＳ３７０までの処理を行なわずにＳ３００へと処理を進めて次の購入者に対する処理を行なってよい。

以上に示した収集装置１００によれば、商品代金の決済のために購入者が提供する会員識別情報を用いて、購入者画像に基づく購入者データと、購入者の少なくとも１つの属性とを自動的に対応付けることができる。したがって、収集装置１００によれば、購入者データに対して対応付けるべき属性を人手で入力する処理を省くことができ、購入者データおよび少なくとも１つの属性を対応付けた画像属性データの生成を高速に行なうことができる。

なお、本実施形態においては、収集装置１００は、商品代金の決済に応じて、商品代金の決済時点より前における購入者に対応する来店者７０の画像を検索し、購入者画像として選択する。これに代えて、収集装置１００は、商品代金が決済された後における購入者に対応する来店者７０の画像を画像記憶部２１０から検索し、購入者画像として選択するようにしてもよい。この場合、選択部２２５は、例えば商品代金の決済が行なわれてから１０分後、または店舗１０の閉店後等、決済から十分な時間が経過した後に、順次撮影された複数の静止画像または動画像中において、商品代金の決済を行なった購入者に対応する来店者７０を、商品代金の決済に対応する時点から時間順に追跡して得られる画像の中から、購入者画像を選択してよい。

また、本実施形態においては、画像処理部２３０は、選択部２２５により選択された購入者画像に対して画像処理を行なう。これに代えて、画像処理部２３０は、画像取得部２０５により取得された来店者７０の画像に対して画像処理を行なってから画像記憶部２１０に格納してもよい。

図４は、本実施形態に係る会員ＤＢ１１０が記憶する会員データベース（会員ＤＢ）の一例を示す。会員ＤＢは、複数の会員のそれぞれについて、会員を識別する会員識別情報（会員ＩＤ）、および当該会員が有する複数の属性についての属性データを記憶する。

「会員ＩＤ」は、会員サービスにおいて個々の会員を識別するための識別子であり、例えば会員サービスの会員番号または会員サービスへのログインＩＤ等である。これに代えて、会員ＤＢは、「会員ＩＤ」として、対象者の名前、電子メールアドレス、住所、電話番号、対象者所有の携帯端末の識別情報、またはこれらの少なくとも１つの組み合わせに基づいて生成された情報を用いてもよい。

「属性データ」は、本図において「氏名」、「性別」、および「年令」等が列挙されているように、会員が有する各種の属性についての属性値である。一例として、「属性データ」は、例えば名前、生年月日、年令または年代、性別、住所、または電話番号等の少なくと１つのような会員の基本情報に関する１または複数の基本属性についての属性値を含んでよい。

また、「属性データ」は、例えば例えば既婚／未婚、住居形態、世帯年収、個人年収、職種、自動車の所有有無、および住居の所有有無等の少なくとも１つのような会員の生活態様に関する１または複数の生活属性についての属性値を含んでもよい。

また、「属性データ」は、例えば衣類に対する品質志向／チャレンジ志向／堅実志向／ブランド志向等、食に対する高級志向／倹約志向／値引志向等、住に対するコンビニ志向／都会志向／地域重視志向等、その他健康志向、キャリア志向、およびグローバル志向等の少なくとも１つのような、志向、傾向及び／又は嗜好を示す１または複数の志向性についての属性値を含んでもよい。また、志向性は、対象者の嗜好に関する属性として、例えば、ドライブ、グルメ、旅行、およびスポーツ等の各種の趣味に対する嗜好の有無または嗜好度、各種の商品等に対する嗜好の有無または嗜好度、並びに各種のウェブサイト等に対する嗜好の有無または嗜好度等の少なくとも１つを含んでよい。

また、「属性データ」は、複数の商品等、あるいは複数の商品群またはサービス群のそれぞれに対する各対象者の購買可能性を示す属性のセットである購買ポテンシャルデータを含んでもよい。購買ポテンシャルデータは、一例としてエンターテインメント、食品、および日用品といった商品等のジャンル、種別、または分類のそれぞれについて、そのジャンル等に対応する各商品または各サービスに対応付けられた属性を含んでよい。購買ポテンシャルデータの各属性は、その属性に対応付けられた商品等に対する対象者の嗜好性を示す嗜好属性であってよい。

図５は、本実施形態に係る画像属性記憶部２６０に格納される画像属性データの一例を示す。対応付処理部２４５内の画像属性格納部２５５は、１または複数の購入者のそれぞれについて、会員ＤＢから取得された少なくとも１つの属性を含む属性データと、購入者データとを対応付けた画像属性データを画像属性記憶部２６０に格納する。なお、画像属性格納部２５５は、購入者データに会員識別情報を追加して画像属性記憶部２６０に格納してもよい。

図６は、本実施形態に係る収集装置１００における、予測モデルの生成フローを示す。Ｓ６００において、モデル生成部２６５は、収集装置１００のユーザ等から予測モデルの生成指示を入力する。Ｓ６１０において、モデル生成部２６５は、１または複数の購入者のそれぞれについて、購入者データおよび少なくとも１つの属性の組を画像属性記憶部２６０から読み出して、複数組のデータを含む訓練データとして取得する。

Ｓ６２０において、モデル生成部２６５は、対応する購入者データおよび属性の複数の組を訓練データとして用いて、人物の画像に基づいてその人物の属性を予測する予測モデルを学習により生成する。ここで、予測モデルは、一例としてニューラルネットワークまたはＳＶＭ等の機械学習モデルであってよい。モデル生成部２６５は、訓練データ中の各サンプル（例えば購入者画像）をモデルに入力した場合のモデルの出力と、ラベル（例えば予測対象とする属性の属性値）との誤差を低減させるように、モデルのパラメータを更新していく。例えばニューラルネットワークを用いる場合、モデル生成部２６５は、各サンプルを入力したことに応じてニューラルネットワークが出力する出力値とラベルとの誤差を用いて、バックプロパゲーション等の手法により、ニューラルネットワークの各ニューロン間の重みおよび各ニューロンのバイアス等を調整する。

Ｓ６３０において、モデル生成部２６５は、生成した予測モデルを例えば外部の記憶装置または予測モデルを使用する装置等に出力する。このようにして生成された予測モデルは、予測対象とする属性に応じて、人物の画像から、その人物の年令または性別等の基本情報、衣類に関する品質指向等の志向性、または、ある商品に対する購買ポテンシャル等の様々な属性を予測するために用いることができる。

以上に示したモデル生成部２６５によれば、収集装置１００は、人物の画像に対してその人物の属性を人手でタグ付けして訓練データを準備する必要なしに、人物の画像から人物の少なくとも１つの属性を予測する予測モデルを生成することができる。これにより収集装置１００は、より高速に効率良く予測モデルを生成することができる。

図７は、本実施形態に係る収集装置１００における、指定された属性に応じた購入者データを出力する動作フローを示す。Ｓ７００において、画像出力部２７０は、収集装置１００のユーザ等から少なくとも１つの属性の指定を入力する。

Ｓ７１０において、画像出力部２７０は、画像属性記憶部２６０に格納された複数の購入者のそれぞれについての属性および購入者データの組の中から、指定された属性に対応付けられた購入者データを検索する。例えば、「３０代かつ男性」との属性が指定された場合、画像出力部２７０は、画像属性記憶部２６０に格納された画像属性データの中から、「３０代かつ男性」との属性に対応付けられた少なくとも１つの購入者データのセットを検索する。

Ｓ７２０において、画像出力部２７０は、Ｓ７１０で検索した、指定された属性に対応付けられた１または複数の購入者データのセットのそれぞれにおける少なくとも一部分を出力する。例えば、画像出力部２７０は、指定された属性に対応付けられた１または複数の購入者データのセットの中から、１または複数の購入者画像を出力する。画像出力部２７０は、指定された属性に対応付けられた１または複数の購入者データのセットの少なくとも一部分を、ユーザ等が使用する端末等の表示装置に対して出力して表示させてよい。

以上に示した画像出力部２７０によれば、指定された属性を有する購入者の画像を出力する等、属性を指定して、その属性を有する購入者の購入者データを出力することができる。したがって、画像出力部２７０は、指定された属性に応じた購入者データのサンプルを提供することができる。

本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／またはアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／またはディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のコンピュータ等のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

図８は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ２２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。

本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、およびディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インターフェイス２２２２、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０およびキーボード２２４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ２２４０を介して入／出力コントローラ２２２０に接続されている。

ＣＰＵ２２１２は、ＲＯＭ２２３０およびＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。

通信インターフェイス２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ－ＲＯＭドライブ２２２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。

ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、および／またはコンピュータ２２００のハードウェアに依存するプログラムを格納する。入／出力チップ２２４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ２２２０に接続してよい。

プログラムが、ＤＶＤ－ＲＯＭ２２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、またはＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ２２００の使用に従い情報の操作または処理を実現することによって構成されてよい。

例えば、通信がコンピュータ２２００および外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェイス２２２２に対し、通信処理を命令してよい。通信インターフェイス２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭ２２０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。

また、ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６（ＤＶＤ－ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。

様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ２２００上またはコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 店舗
２０ａ～ｆ 陳列棚
３０ａ～ｈ 撮像装置
４０ 会計カウンター
５０ａ～ｂ ＰＯＳ端末
６０ 通信装置
７０ 来店者
８０ａ～ｄ 特定位置
１００ 収集装置
１１０ 会員ＤＢ
２００ 会員ＤＢ接続部
２０５ 画像取得部
２１０ 画像記憶部
２１５ 会員識別情報取得部
２２５ 選択部
２３０ 画像処理部
２３５ マスク処理部
２４０ 特徴抽出部
２４５ 対応付処理部
２５０ 属性取得部
２５５ 画像属性格納部
２５７ インセンティブ付与部
２６０ 画像属性記憶部
２６５ モデル生成部
２７０ 画像出力部
２２００ コンピュータ
２２０１ ＤＶＤ－ＲＯＭ
２２１０ ホストコントローラ
２２１２ ＣＰＵ
２２１４ ＲＡＭ
２２１６ グラフィックコントローラ
２２１８ ディスプレイデバイス
２２２０ 入／出力コントローラ
２２２２ 通信インターフェイス
２２２４ ハードディスクドライブ
２２２６ ＤＶＤ－ＲＯＭドライブ
２２３０ ＲＯＭ
２２４０ 入／出力チップ
２２４２ キーボード

Claims (16)

1. 複数の会員のそれぞれについて、会員識別情報および属性を記憶する会員データベースに接続する会員データベース接続部と、
   店舗への来店者を撮影した画像を取得する画像取得部と、
   前記店舗における商品代金の決済に応じて、購入者の会員識別情報を取得する会員識別情報取得部と、
   前記商品代金の決済に応じて、前記画像取得部により取得された画像の中から、前記購入者に対応する来店者の画像を購入者画像として選択する選択部と、
   前記会員データベースにおける、前記会員識別情報に応じた前記購入者の属性と、前記購入者画像に基づく購入者データとを対応付ける対応付処理部と
   を備える装置。
2. 前記購入者データは、前記購入者画像の少なくとも一部を含む請求項１に記載の装置。
3. 前記画像取得部は、店舗への来店者を撮影した動画像を取得し、
   前記選択部は、前記動画像の中から前記購入者画像を選択する
   請求項１または２に記載の装置。
4. 前記選択部は、前記動画像中において、前記商品代金の決済を行なった前記購入者に対応する来店者を、前記商品代金の決済に対応する時点から遡って追跡して得られる画像の中から、前記購入者画像を選択する
   請求項３に記載の装置。
5. 前記選択部は、前記商品代金の決済を行なった前記購入者に対応する来店者を正面から撮影した画像を前記購入者画像として選択する請求項１から４のいずれか一項に記載の装置。
6. 前記選択部は、前記購入者に対応する来店者の、正面を向いたと判定したタイミングにおける画像を前記購入者画像として選択する請求項５に記載の装置。
7. 前記選択部は、前記購入者に対応する来店者の、予め定められた通路における予め定められた位置を通過するタイミングにおける画像を前記購入者画像として選択する請求項１から６のいずれか一項に記載の装置。
8. 前記対応付処理部は、前記購入者の前記属性と、前記購入者画像に基づく購入者データとの対応付けに合意した前記購入者に対してインセンティブを付与するインセンティブ付与部を有する請求項１から７のいずれか一項に記載の装置。
9. 来店者の画像の少なくとも一部をマスクするマスク処理部を更に備え、
   前記対応付処理部は、前記購入者の属性と、前記購入者に対応する来店者の、少なくとも一部がマスクされた前記購入者画像に基づく購入者データとを対応付ける
   請求項１から８のいずれか一項に記載の装置。
10. 前記マスク処理部は、来店者の画像における、来店者の顔の少なくとも一部に対応する部分をマスクする請求項９に記載の装置。
11. 来店者の画像から、来店者の外見的特徴を抽出する特徴抽出部を更に備え、
    前記購入者データは、前記購入者に対応する来店者の前記外見的特徴を含む
    請求項１から１０のいずれか一項に記載の装置。
12. 前記対応付処理部は、
    前記会員データベースの中から、前記会員識別情報を用いて前記購入者の属性を取得する属性取得部と、
    前記購入者の属性と、前記購入者画像に基づく購入者データとを対応付けて画像属性記録部に格納する画像属性格納部と
    を有する請求項１から１１のいずれか一項に記載の装置。
13. 対応する購入者データおよび属性の複数の組を訓練データとして用いて、人物の画像に基づいてその人物の属性を予測する予測モデルを学習により生成するモデル生成部を更に備える請求項１から１２のいずれか一項に記載の装置。
14. 指定された属性に対応付けられた１または複数の前記購入者画像を出力する画像出力部を更に備える請求項１から１３のいずれか一項に記載の装置。
15. コンピュータが、店舗への来店者を撮影した画像を取得することと、
    前記コンピュータが、前記店舗における商品代金の決済に応じて、購入者の会員識別情報を取得することと、
    前記コンピュータが、前記商品代金の決済に応じて、来店者を撮影した画像の中から、前記購入者に対応する来店者の画像を購入者画像として選択することと、
    前記コンピュータが、複数の会員のそれぞれについて会員識別情報および属性を記憶する会員データベースにおける、前記会員識別情報に応じた前記購入者の属性と、前記購入者画像に基づく購入者データとを対応付けることと
    を含む方法。
16. コンピュータにより実行され、前記コンピュータを、
    複数の会員のそれぞれについて、会員識別情報および属性を記憶する会員データベースに接続する会員データベース接続部と、
    店舗への来店者を撮影した画像を取得する画像取得部と、
    前記店舗における商品代金の決済に応じて、購入者の会員識別情報を取得する会員識別情報取得部と、
    前記商品代金の決済に応じて、前記画像取得部により取得された画像の中から、前記購入者に対応する来店者の画像を購入者画像として選択する選択部と、
    前記会員データベースにおける、前記会員識別情報に応じた前記購入者の属性と、前記購入者画像に基づく購入者データとを対応付ける対応付処理部と
    して機能させるプログラム。

Images