JP2020204942A - 顧客情報取得支援システム及び顧客情報取得支援方法 - Google Patents

Abstract

【課題】顧客の個人情報を含まない、商品を購入した全ての顧客の属性情報のみの顧客情報を、従来に比較して精度良く収集することができる顧客情報取得支援システムを提供する。【解決手段】本発明の顧客情報取得支援システムは、計測対象である顧客の深度情報を取得するデプス画像取得装置と、観察期間に取得される深度情報から、顧客の属性情報を抽出する属性情報推定部とを備える。【選択図】図１

Description

本発明は、顧客情報取得支援システム及び顧客情報取得支援方法に関する。

近年、スーパーマーケットやコンビニエンスストアにおいて、ＰＯＳ（point of sale）システムが導入され、店舗における商品の販売動向に応じた在庫管理が行われている。
このＰＯＳシステムの導入により、商品の在庫管理に関する処理に要する時間が低減し、店舗の従業員の手間が低減し、商品の仕入れの誤りを防止することができる。
また、ＰＯＳシステムにより、顧客が商品を購入する際に、当該商品を購入した顧客の個人を特定する個人情報（名前、住所、電話番号など）を含む顧客情報を収集する。顧客情報には、その顧客の各々の特徴を示す属性情報（性別、年齢、職業、趣味など）も含まれている。そして、顧客の各々の顧客情報と、顧客が購買した商品を示す商品情報とを結びつけ、商品の販売促進などに利用することも行われている（例えば、特許文献１参照）。

特開２００２−８１４４号公報

ここで、商品を購入した顧客の顧客情報を収集する際、予め店舗に対してカードの登録などを行ってもらう必要がある。しかし、全ての顧客が所定の登録をするとは限らないため、店舗側は来店する顧客全ての顧客情報を取得することができない。
例えば、その店舗の立地により、固定された顧客でなく、たまに利用する、あるいは１度しか訪れない顧客が多い店舗もある。そのような顧客は登録を行うことは一般的に少なく、商品を購入した顧客の顧客情報が収集できない場合もある。

一方、近年、個人情報の保護が注目されるようになり、顧客情報における個人情報が一方的に使用されることに抵抗を感じる顧客もある。そのため、顧客自身からの顧客情報の収集自体が難しくなっている。
そのため、顧客の属性情報を取得するため、性別や年齢などを入力する機構をレジスター（例えば、ＰＯＳシステムの端末であるＰＯＳ端末）に設け、商品の会計を行う際に販売員がその属性情報を入力することが行われている。
しかし、入力ミスによる取得した属性情報の精度の悪さや、販売員ごとの判定のバラツキ、繁忙時における未入力などにより、商品と顧客の属性情報との関係を満足に取得することができない。

本発明は、このような状況に鑑みてなされたもので、顧客の個人情報を含まない、商品を購入した全ての顧客の属性情報のみの顧客情報を、従来に比較して精度良く収集することができる顧客情報取得支援システム及び顧客情報取得支援方法を提供する。

上述した課題を解決するために、本発明の顧客情報取得支援システムは、計測対象である顧客の深度情報を取得するデプス画像取得装置と、観察期間に取得される前記深度情報から、当該顧客の属性情報を抽出する属性情報推定部とを備えることを特徴とする。

本発明の顧客情報取得支援システムは、前記属性情報推定部が、時系列に順次入力される前記深度情報を示す複数の画像から推定される前記顧客の属性情報を推定することを特徴とする。

本発明の顧客情報取得支援システムは、前記属性情報推定部が、時系列に順次入力される前記深度情報による前記顧客の動きから前記顧客の属性情報を推定することを特徴とする。

本発明の顧客情報取得支援システムは、前記動きが前記顧客の顔の動きとしての表情であり、前記属性情報推定部が、前記表情に基づき、前記顧客の属性情報を推定することを特徴とする。

本発明の顧客情報取得支援システムは、前記動きが前記顧客の身体の動きとしての動作であり、前記属性情報推定部が、前記動作に基づき、前記顧客の属性情報を推定することを特徴とする。

本発明の顧客情報取得支援システムは、前記属性情報推定部が、前記観察期間における前記深度情報を示す複数の画像から前記顧客の属性情報を推定する機械学習モデルを備えていることを特徴とする。

本発明の顧客情報取得支援システムは、前記デプス画像取得装置がＴＯＦ（time of flight）センサであることを特徴とする。

本発明の顧客情報取得支援システムは、前記属性情報が、少なくとも、年齢、性別、職業、人種、趣味、嗜好、体型、感情を含むことを特徴とする。

本発明の顧客情報取得支援システムは、前記観測期間が、店舗のカウンターに前記顧客が滞在している時間範囲であることを特徴とする。

本発明の顧客情報取得支援システムは、前記観測期間が、少なくとも、ＰＯＳ（point of sales）端末における購入した商品に対する顧客の支払処理が行われる期間であることを特徴とする。

本発明の顧客情報取得支援システムは、前記商品の種別と当該商品を購入した前記顧客の属性情報とを対応付ける情報対応付部をさらに備えることを特徴とする。

本発明の顧客情報取得支援方法は、デプス画像取得装置により計測対象である顧客の深度情報を取得する過程と、属性情報推定部が、観察期間に取得される前記深度情報から、当該顧客の属性情報を抽出する過程とを含むことを特徴とする。

以上説明したように、本発明によれば、顧客の個人情報を含まない、商品を購入した顧客の属性情報のみの顧客情報を、従来に比較して精度良く収集することができる顧客情報取得支援システム及び顧客情報取得支援方法を提供することができる。

本発明の一実施形態による顧客情報取得支援システムを用いた顧客情報取得処理の一例を示す概念図である。 商品管理データベース２＿１における商品販売管理テーブルの構成例を示す図である。 商品管理データベース２＿１における販売履歴データテーブルの構成例を示す図である。 属性情報データベース１＿２における属性情報データテーブルの構成例を示す図である。 本実施形態による顧客情報取得支援システムの構成例を示すブロック図である。 対応付情報データベース３＿１における対応付情報データテーブルの構成例を示す図である。 デプス画像取得装置１２０が顧客の深度情報を含むデプス動画像を属性推定サーバ１に送信する処理の動作例を示すフローチャートである。 ＰＯＳ端末３００が商品の販売処理の終了時に販売情報を販売管理サーバ２に送信する処理の動作例を示すフローチャートである。 属性推定サーバ１が顧客の深度情報を含むデプス動画像により、この顧客の属性情報を推定する処理の動作例を示すフローチャートである。 情報対応付サーバ３が顧客の属性情報とこの顧客が購入した商品とを対応付ける処理の動作例を示すフローチャートである。

以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本発明の一実施形態による顧客情報取得支援システムを用いた顧客情報取得処理の一例を示す概念図である。図１においては、コンビニエンスストア２００において、顧客２５０が商品２６０を購入する場合について示している。販売員２７０がＰＯＳ端末３００に対して、商品２６０の販売情報（商品識別情報、単価、数、売上など）を入力する。ＰＯＳ端末３００は、販売員２７０の上記入力に対応して、管理センターにおける在庫管理部門のサーバ（後述する販売管理サーバ２）に対して、商品２６０の販売情報を出力する。

在庫管理部門のサーバは、商品管理データベース２＿１における商品販売管理テーブル及び販売履歴データテーブルに対して、上記販売情報を書き込んで記憶させる。
図２は、商品管理データベース２＿１における商品販売管理テーブルの構成例を示す図である。商品販売管理テーブルは、各店舗の在庫管理などに用いられるテーブルであり、管理センターが管理している店舗単位に設けられており、レコード毎に、商品識別情報、商品名、在庫上限数、在庫下限数、実在庫数、単価、販売数、売上の各々の欄が設けられている。

商品識別情報は、商品の各々を個別に識別する識別情報である。商品名は、商品識別情報により識別される商品の名称である。在庫上限数は、この商品の当該店舗における在庫数の上限を示している。在庫上限数は、例えば商品の賞味期限や保管期限などと、当該店舗における一日の販売数とにより設定されている。在庫下限数は、この商品の当該店舗における在庫数の下限を示している。在庫下限数は、例えば商品の当該店舗における一日の販売数とにより設定されている。

実在庫数は、当該店舗における現在の商品の在庫数を示している。単価は、この商品の一個あたりの価格を示している。販売数は、例えば所定の期間（１日）における商品の販売した数を示している。売上は、単価と販売数とを乗算した結果、換言すれば、顧客が支払った金額である。在庫管理部門のサーバは、各商品の実在庫数が在庫上限数と在庫下限数との間の適性在庫数となるように、各店舗への商品の供給などを管理する。

図３は、商品管理データベース２＿１における販売履歴データテーブルの構成例を示す図である。販売履歴データテーブルは、各店舗の商品の販売の履歴を管理するために用いられるテーブルである。販売履歴データテーブルは、管理センターが管理している店舗単位に設けられており、レコード毎に、販売識別情報、タイムスタンプ、商品識別情報、購入数、売上の各々の欄が設けられている。

販売識別情報は、店舗を識別する情報も含んだ、顧客の支払単位の販売の各々を識別する識別情報である。タイムスタンプは、上記販売の時刻、すなわちＰＯＳ端末により商品の販売処理が行われた時刻を示している。この販売処理が行われた時刻は、例えば、バーコードで商品に添付されているバーコードを読み取った時間などである。商品識別情報は、商品販売管理テーブルと同様であり、商品の各々を個別に識別する識別情報である。購入数は、当該販売単位で顧客が購入した商品識別情報の示す商品の数である。顧客が購入した商品が複数の種類ある場合、同様の販売識別情報及びタイムスタンプのレコードが商品の種類の数生成される。

図１に戻り、デプス画像取得装置１２０は、ＰＯＳ端末３００の近傍に計測対象である顧客２５０が撮像可能な位置に設置されている。
また、デプス画像取得装置１２０は、顧客２５０の身体形状の深度情報である深度画像を、単位時間当たりに所定枚数の動画像（例えば、一秒間に３０フレームの深度画像）として撮像する。
そして、デプス画像取得装置１２０は、インターネットを含む情報通信網５００に接続されたクラウドサーバ（後述する属性推定サーバ１）に対して、観察期間内の動画像を出力する。ここで観察期間は、少なくとも、商品のバーコードを読み取った時間から、会計の終了処理までの時間範囲を含んでいる。

クラウドサーバは、クラウド記憶部（モデル記憶部）１＿１から、動画像から属性情報を推定する機械学習モデルを読み出す。この機械学習モデルは、例えば、人間の動画像と、その動画像の人間のすでに判っている属性情報とからなる教師データにより、予め学習が行われている。
そして、クラウドサーバは、ＰＯＳ端末３００から供給される動画像を、上記機械学習モデルに入力し、この機械学習モデルに顧客の属性情報の推定を行わせる。
そして、クラウドサーバは、機械学習モデルが推定した顧客の属性情報を、属性情報データベース１＿２に対して書き込んで記憶させる。

図４は、属性情報データベース１＿２における属性情報データテーブルの構成例を示す図である。属性情報データテーブルは、各店舗で取得した動画像から推定した顧客の属性情報を管理するテーブルであり、管理センターが管理している店舗単位に設けられており、レコード毎に、推定識別情報、画像データインデックス、タイムスタンプ、属性情報の各々の欄が設けられている。

推定識別情報は、動画像から推定した属性情報の各々を識別する識別情報である。画像データインデックスは、例えば、属性情報データベース１＿２において、動画像のデータが書き込まれた記憶領域のアドレスを示している。タイムスタンプは、動画像の観察期間の開始の時刻と終了の時刻とが記載されている。属性情報は、機械学習モデルが動画像から推定した顧客の年齢、性別、職業、人種、趣味、嗜好、体型（身体的特徴）、性格、感情などの情報を示している。

図１に戻り、情報対応付サーバ３は、商品管理データベース２＿１のと、属性情報データベース１＿２の属性情報データテーブルとの各々を参照し、商品の販売識別情報毎に、当該商品と、購入した顧客の属性情報との対応付けの処理を行う。
そして、管理センターは、情報対応付サーバ３が供給する商品と顧客の属性情報との対応付けのデータに基づき、店舗に訪れる顧客の属性情報に対応して、店舗において販売する商品の種類や、種類毎の商品の在庫量などのマーケット調査報告４０２を作成する。
また、管理センターは、機械学習モデルの推定した、来客する顧客の属性情報、特に顧客の属性情報における職業や体格に対応させ、当該属性情報を有する顧客が購入する商品の広告を、各店舗のホームページに対してリアルタイムに表示させる。

図５は、本実施形態による顧客情報取得支援システムの構成例を示すブロック図である。図５において、顧客情報取得支援システム１００は、例えば、属性推定サーバ１、モデル記憶部１＿１、属性情報データベース１＿２、販売管理サーバ２、商品管理データベース２＿１、情報対応付サーバ３、対応付情報データベース３＿１、デプス画像取得装置１２０及びＰＯＳ端末３００の各々を備えている。

属性推定サーバ１には、観察期間の開始時刻及び終了時刻を示すタイムスタンプと、店舗の識別情報である店舗識別情報とが付加されたデプス動画像が供給される。デプス動画像は、観察期間内に時系列に取得された顧客の深度情報を示す複数枚の画像（以下、例えばデプス画像と示す）が、取得された順番に配列された集合体である。本実施形態においては、深度情報としてデプス画像を例として説明しているが、デプス画像に代えて３次元点群情報でも良い。
また、属性推定サーバ１は、モデル記憶部１＿１に記憶されている機械学習モデルを読出し、この機械学習モデルに対して上記デプス動画像におけるデプス画像を、時刻順に時系列に順次入力する。
そして、属性推定サーバ１は、デプス動画像から機械学習モデルが推定した顧客の属性情報に推定識別情報を付与して、属性情報データベース１＿２の対応する店舗（店舗識別情報）毎の属性情報データテーブルに書き込んで記憶させる。

販売管理サーバ２は、各店舗のＰＯＳ端末３００から商品の販売情報（店舗識別情報を含む）が供給された場合、商品管理データベース２＿１における上記店舗識別情報に対応する店舗の商品販売管理テーブルに対して、販売情報（商品識別情報、商品名、単価、販売数、売上）を書き込む。
そして、販売管理サーバ２は、商品識別情報及び販売数などにより、実在庫数を算出し、この算出した実在庫数と、在庫上限数及び在庫下限数の各々と比較し、店舗識別情報の示す店舗に対する商品の仕入れ数などを求める。
また、販売管理サーバ２は、販売情報（商品識別情報、購入数、売上）と、このＰＯＳ端末３００で店員が販売処理を行った時刻を示すタイムスタンプとに販売識別情報を付与して、商品管理データベース２＿１における店舗識別情報の示す店舗の販売履歴データテーブルに書き込んで記憶させる。

情報対応付サーバ３は、店舗単位において（同一店舗間において）、属性情報データベース１＿２における属性情報データテーブルと、商品管理データベース２＿１における販売履歴データテーブルとの各々を参照し、タイムスタンプを比較することにより、販売識別情報と推定識別情報との対応付けを行う。
ここで、情報対応付サーバ３は、店舗毎に、推定識別情報のタイムスタンプの時刻範囲に、タイムスタンプの時刻が含まれる販売識別情報を抽出し、これらの推定識別情報及び販売識別情報の各々を対応付ける処理を行う。

そして、情報対応付サーバ３は、対応付情報データベース３＿１の対応付情報データテーブルに、対応付けられた推定識別情報及び販売識別情報の各々を組合せとして、書き込んで記憶させる。
図６は、対応付情報データベース３＿１における対応付情報データテーブルの構成例を示す図である。対応付情報データテーブルは、商品と当該商品を購入した顧客の属性情報とを対応付けた情報（対応付情報）を管理するテーブルである。対応付情報データテーブルは、管理センターが管理している店舗単位（店舗識別情報単位）に設けられている。対応付情報データテーブルは、レコード毎に、対応付識別情報、推定識別情報、販売識別情報、商品識別情報、購入数、属性情報の各々の欄が設けられている。

対応付識別情報は、商品と、当該商品を購入した顧客の属性情報との対応付けの組合せの各々を識別する識別情報である。推定識別情報は、動画像から推定した属性情報の各々を識別する識別情報である。販売識別情報は、店舗を識別する情報も含んだ、顧客の支払単位の販売の各々を識別する識別情報である。商品識別情報は、商品の各々を個別に識別する識別情報である。購入数は、商品識別情報の示す商品の顧客の購入数である。属性情報は、機械学習モデルが動画像から推定した顧客の年齢、性別、職業、人種、趣味、嗜好、体型（身体的特徴）、性格、感情などの情報を示している。

図７は、デプス画像取得装置１２０が顧客の深度情報を含むデプス動画像を属性推定サーバ１に送信する処理の動作例を示すフローチャートである。
本実施形態においては、デプス画像取得装置１２０は、例えば、連続的に所定の時間単位でデプス画像を撮像している（一例としては、一秒間に３０枚）。
また、デプス画像取得装置１２０は、レジカウンター前の顧客の身体の動きがデプス動画像として撮像可能な位置に配置されている。
デプス画像取得装置１２０は、例えば、ＰＯＳ端末３００、レジカウンター、顧客がレジカウンターの前に立った際に当該顧客と対向する位置の壁、あるいは天井などに配置される。

ステップＳ１１：デプス画像取得装置１２０は、例えば、所定の被写界深度（自身に備えられたＴＯＦセンサからの距離）範囲内における対象物の有無、すなわち、顧客が存在しているか否かの判定を行う。ここで、本実施形態における所定の深度範囲内における対象物の有無とは、商品の購入の際に、レジカウンターの前に立つ顧客と、デプス画像取得装置１２０との距離が予め設定した距離範囲に含まれるか否かを示している。
このとき、デプス画像取得装置１２０は、対象物である顧客の位置が所定の深度範囲に含まれている場合、処理をステップＳ１２へ進める。一方、デプス画像取得装置１２０は、対象物である顧客の位置が所定の深度範囲に含まれていない場合、ステップＳ１１の処理を繰返す。

ステップＳ１２：店舗の従業員は、レジカウンターを挟んで対面する顧客に対して、この顧客に対する対応を行う。
上記従業員は、顧客の購入する商品の単品の金額及び商品の個数などを、ＰＯＳ端末３００に対して入力する販売処理を行う。
ここで、店舗がコンビニエンスストアの場合、顧客は商品を購入するのみではなく、例えば、税金や公共料金の支払、さらに宅配便の依頼などを、サービスカウンターにおいて行う。

ステップＳ１３：デプス画像取得装置１２０は、ＰＯＳ端末３００からの販売処理の終了を示す制御信号である終了制御信号が供給されたか否かの判定を行う。ここで、ＰＯＳ端末３００は、例えば、商品の販売処理における顧客に対するレシートの発行のタイミングで、デプス画像取得装置１２０に対して上記終了制御信号を出力する。
このとき、デプス画像取得装置１２０は、終了制御信号が供給された場合、処理をステップＳ１４へ進める。一方、デプス画像取得装置１２０は、終了制御信号が供給されない場合、処理をステップＳ１２へ進める。

ステップＳ１４：デプス画像取得装置１２０は、顧客が所定の深度範囲に入った時刻から終了制御信号が供給された時刻までのデプス画像の集合をデプス動画像として、属性推定サーバ１に対して出力する。
そして、デプス画像取得装置１２０は、デプス動画像を属性推定サーバ１に出力した後、処理をステップＳ１１へ進める。
ここで、デプス動画像としては、顧客が所定の深度範囲に入った時刻から予め設定された時間分前のデプス画像から、終了制御信号から予め設定された時間分のデプス画像を含めても良い。

また、上述した構成においては、終了制御情報によりデプス動画像の終端（終了時刻）が決定されている。しかしながら、一旦、所定の深度範囲に入った対象物が、この深度範囲から外れた時刻により、デプス動画像の終端を決定してもよい。
また、上述した構成においては、所定の深度範囲に入った時刻によりデプス動画像の始端（開始時刻）が決定されている。しかしながら、当該顧客の直前の顧客の販売処理が終了したタイミングにより、デプス動画像の始端を決定しても良い。

図８は、ＰＯＳ端末３００が商品の販売処理の終了時に販売情報を販売管理サーバ２に送信する処理の動作例を示すフローチャートである。
ＰＯＳ端末３００は、店舗の従業員が顧客と対面するレジカウンターに配置されている。顧客がレジカウンターの前に立った時点において、図８における処理が行われる。

ステップＳ２１：店舗の従業員は、ＰＯＳ端末３００が設定されたレジカウンターを挟み、顧客と対向した位置において、この顧客に対する商品の販売処理を行う。
上記従業員は、顧客の購入する商品の単品の金額及び商品の個数などを、ＰＯＳ端末３００に対して入力する販売処理を行う。

ステップＳ２２：ＰＯＳ端末３００は、従業員が商品の金額及び個数の入力を終了し、レシートの発行を行うか否かにより、対面している顧客に対する販売処理が終了したか否かの判定を行う。
このとき、ＰＯＳ端末３００は、対面している顧客に対する販売処理が終了した場合、処理をステップＳ２３へ進める。一方、ＰＯＳ端末３００は、対面している顧客に対する販売処理が終了していない場合、処理をステップＳ２１へ進める。

ステップＳ２３：ＰＯＳ端末３００は、販売情報を販売管理サーバ２に対して送信する。
また、ＰＯＳ端末３００は、終了制御信号をデプス画像取得装置１２０に対して送信する。
そして、ＰＯＳ端末３００は、処理をステップＳ２１へ進める。
これにより、販売管理サーバ２は、商品管理データベース２＿１における商品販売管理テーブルに対して、販売情報（商品識別情報、商品名、単価、販売数、売上）を書き込み、また、販売履歴データテーブルに対して、販売情報（商品識別情報、購入数、売上）及びタイムスタンプを書き込んで記憶させる。

図９は、属性推定サーバ１が顧客の深度情報を含むデプス動画像により、この顧客の属性情報を推定する処理の動作例を示すフローチャートである。
モデル記憶部１＿１には、デプス動画像から顧客の属性情報を推定する、すでに学習された機械学習モデルが書き込まれて記憶されている。店舗の従業員が顧客と対面するレジカウンターに配置されている。また、この機械学習モデルは、属性情報としての顧客の年齢、性別、職業、人種、趣味、嗜好、体型（身体的特徴）、性格、感情などの全てを一括して推定するモデルでも良いし、顧客の年齢、性別、職業、人種、趣味、嗜好、体型（身体的特徴）、性格、感情などを個別に推定する複数のモデルでもよい。

ステップＳ３１：属性推定サーバ１は、デプス動画像がデプス画像取得装置１２０から供給されたか（入力したか）否かの判定を行う。
このとき、属性推定サーバ１は、デプス動画像がデプス画像取得装置１２０から供給された場合、処理をステップＳ３２へ進める。
一方、属性推定サーバ１は、デプス動画像がデプス画像取得装置１２０から供給されない場合、ステップＳ３１の動作を繰返す。

ステップＳ３２：属性推定サーバ１は、供給されたデプス動画像を、属性情報データベース１＿２の記憶領域に書き込む。
そして、属性推定サーバ１は、デプス動画像に対して推定識別情報を付与し、属性情報データベース１＿２の属性情報データテーブルに新たなレコードを生成し、この新たなレコードに付与した推定識別情報を書き込んで記憶させる。

また、属性推定サーバ１は、このデプス動画像を書き込んだ記憶領域のアドレスを、属性情報データベース１＿２の属性情報データテーブルにおける、上記新たなレコードの画像データインデックスに書き込んで記憶させる。
同様に、属性推定サーバ１は、デプス動画像の始端の時刻と終端の時刻とを、属性情報データベース１＿２の属性情報データテーブルにおける、上記新たなレコードのタイムスタンプに書き込んで記憶させる。

ステップＳ３３：属性推定サーバ１は、モデル記憶部１＿１から、所定の機械学習モデルを読み出す。
この機械学習モデルは、すでに説明したように、顧客の深度情報を含むデプス動画像から、顧客の深度情報を抽出し、顧客の３次元形状を推定し、この３次元形状の動き、すなわち身体の動作（身体の動きや形状）や顔の表情（顔の動きや形状）などから、年齢、性別、職業、人種、趣味、嗜好、体型（身体的特徴）、性格、感情などを含む顧客の属性情報を推定するモデルとして学習されたものである。

ステップＳ３４：属性推定サーバ１は、属性情報データベース１＿２の属性情報データテーブルにおける画像データインデックスを読み出す。
そして、属性推定サーバ１は、属性情報データベース１＿２において、画像データインデックスの示すアドレスから、デプス動画像を構成するデプス画像を読出し、順次、デプス画像を機械学習モデルに入力する。
これにより、機械学習モデルは、入力されるデプス動画像により、そのデプス画像に深度情報が含まれている顧客の属性情報を推定する。

ステップＳ３５：属性推定サーバ１は、デプス動画像から推定した顧客の属性情報を、属性情報データベース１＿２の属性情報データテーブルの対応するレコードに書き込んで記憶させる。

本実施形態における機械学習モデルは、顧客の深度情報を有するデプス画像を時系列に連結したデプス動画像を用いているため、この時系列な深度情報の変化によって顧客の挙動（動作）及び顔の表情などの顧客の状態を示す多くの情報を推定に用いることが可能であり、カード登録の際のように、登録する顧客自身が示す属性情報に比較して、より客観的な高い精度のデータとして、マーケッティングに使用し易い分類で顧客の属性情報を抽出することができる。

また、実画像からも同様に顧客の動作を、実画像のまま、あるいは画像の特徴点を抽出して、あるいはステレオ画像などの複数の画像からからデプス画像を生成し、機械学習モデルに入力することで、本実施形態と同様に顧客の属性情報を得ることが技術的には可能である。
しかしながら、ＴＯＦセンサの場合には、深度情報を示すデプス画像を直接に取得することが可能であるが、ステレオ画像などの複数の画像からデプス画像を生成する画像処理のため、システムの負荷が増加し、機械学習モデルに入力するデプス画像を生成するために余分な時間を要することになる。

さらに、実画像からデプス画像を作成した後、この実画像を消去する構成としても、顧客の顔が一旦撮像されることで、この撮像された後に画像処理などを行うために記憶部に記憶される画像を、外部に漏らさずにどのように消去するか、本当に確実に消去できるのかなど、顧客のプライバシーの秘匿が問題となり、実画像を用いた属性情報の推定は困難である。
一方、本実施形態においては、デプス画像を始めから３次元形状計測装置１２０から取得しているため、顧客の顔の深度情報はあるが、実画像とは異なり、顧客の各々を個人として特定するものではないため、顧客に対するプライバシーの問題が生じない。

図１０は、情報対応付サーバ３が顧客の属性情報とこの顧客が購入した商品とを対応付ける処理の動作例を示すフローチャートである。この顧客の属性情報と商品との対応付の処理はリアルタイムで行っても良いが、本実施形態においては、所定の周期で対応付を行うバッチ処理として説明する。

ステップＳ４１：情報対応付サーバ３は、自身内部のタイマーを確認して、所定の時間が経過して、予め設定した対応付の処理周期となったか否かの判定を行う。
このとき、情報対応付サーバ３は、予め設定した対応付の処理周期となった場合、処理をステップＳ４２へ進める。一方、情報対応付サーバ３は、予め設定した対応付の処理周期となっていない場合、ステップＳ４２の処理を繰返す。

ステップＳ４２：情報対応付サーバ３は、商品管理データベース２＿１における販売履歴テーブルを参照し、対応付を行っていない販売識別情報を抽出する。
販売履歴テーブルには、例えば、対応付を行ったか否かを示すフラグを各レコードに設けるように構成してもよい。この構成の場合、情報対応付サーバ３は、対応付を行うために抽出した販売識別情報のレコードが処理済みであることを示すフラグを立てる。
また、情報対応付サーバ３は、販売履歴テーブルにおいて抽出した販売識別情報のレコードのタイムスタンプの時刻を読み出す。

ステップＳ４３：情報対応付サーバ３は、属性情報データベース１＿２における同一店舗の属性情報データテーブルを参照し、処理対象の販売識別情報のタイムスタンプの時刻が含まれる時刻範囲のタイムスタンプの推定識別情報を検索する。
そして、情報対応付サーバ３は、処理対象の販売識別情報のタイムスタンプの時刻が含まれる時刻範囲のタイムスタンプの推定識別情報を抽出する。

ステップＳ４４：そして、情報対応付サーバ３は、販売識別情報と、抽出された販売識別情報に対応する推定識別情報とを組とし、対応付識別情報を付与し、対応付情報データベース３＿１の対応付データテーブルに書き込んで記憶させる。
また、情報対応付サーバ３は、商品管理データベース２＿１の販売履歴テーブルから、処理対象の販売識別情報に対応する商品識別情報を読み出し、対応付データテーブルにおける対応する対応付識別情報のレコードに書き込んで記憶させる。
同様に、情報対応付サーバ３は、属性情報データベース１＿２の属性情報データテーブルから、抽出された属性識別情報の属性情報を読み出し、対応付データテーブルにおける対応する対応付識別情報のレコードに書き込んで記憶させる。

ステップＳ４５：情報対応付サーバ３は、商品管理データベース２＿１における販売履歴テーブルを参照し、対応付を行っていない未処理の販売識別情報の有無を判定する。ここで、情報対応付サーバ３は、例えば、処理済みであることを示すフラグが立っているか否かにより、各販売識別情報に対応付けの処理が未処理であるか否かの判定を行う。
このとき、情報対応付サーバ３は、対応付け処理が未処理である販売識別情報がある場合、処理をステップＳ４２へ進める。一方、情報対応付サーバ３は、対応付け処理が未処理である販売識別情報がない場合、処理をステップＳ４１へ進める。

また、本実施形態によれば、デプス画像取得装置１２０をＴＯＦセンサから構成されたデプス画像を撮像する装置として説明したが、すでに述べたように、個人情報の秘匿性を満たすために実画像を使用せず、デプス画像を取得することができれば、すなわち３次元点群を含めた対象物の深度情報を取得することができれば、レーザー距離計、３Ｄスキャナーなどを用いることができる。
一方、ＴＯＦセンサを用いる場合、デプス画像取得装置のサイズが小型化かつ安価に構成することができ、かつ外見からは計測していること自体が、デプス画像の撮像対象の顧客から確認できないという特徴を持つ。そのため、顧客が緊張したりすることがなくなり、より自然な動きの情報を有するデプス動画像を取得することができ、機械学習モデルが推定する属性情報の精度が向上する。

上述した処理により、本実施形態によれば、顧客の購入した商品と、当該顧客の属性情報とを容易に対応付けることができ、従来のように店舗の従業員が顧客の属性情報を入力して取得する場合に比較し、取得する属性情報の精度が高くなり、かつ従業員が忙しくとも取得を失念することがなく、商品を購入した全ての顧客の属性情報を取得することができる。

このとき、本実施形態によれば、顧客自身が属性情報を登録する場合に比較し、時系列的な深度情報を有するデプス画像、すなわちデプス動画像から抽出される顧客の動きや、表情の変化及び状態（これらから顧客の深層心理が推定できる）から顧客の属性情報を抽出するため、より客観性のある属性情報を得ることができ、属性情報とこの属性情報を有する顧客の購入した商品との対応付の精度が向上する。

また、本実施形態によれば、デプス動画像における顧客の動きや表情から当該顧客の属性情報が推定できるため、顧客が属性情報を予め登録しておく必要が無く、かつ店舗に来た顧客全ての属性情報を得ることができるため、登録を行った顧客だけではなく、商品を購入する全ての顧客の属性情報を取得することが可能となり、登録により収集する場合に比較して、より多くの顧客の属性情報を容易に取得することが可能となる。
また、本実施形態によれば、属性情報と販売情報のタイムスタンプとを用いることにより、各店舗の時間帯毎（例えば、朝、昼、晩、夜中など）に来る顧客の属性情報を得ることができ、時間帯毎における商品の在庫や仕入れを計画することが容易にできる。すでに記載したマーケット調査報告４０２における、各店舗の仕入れ計画などが管理センターにおいて策定される。

また、本実施形態によれば、この属性情報をクラスタリングによって複数のグループに分類し、この分類したグループの属性情報に共通する商品を抽出することにより、どのような属性情報を有した顧客が、いずれの種類の商品を好むかなどを分析することが容易にできる。
また、本実施形態によれば、デプス動画像から推定される、顧客の属性情報における感情（例えば、落ち着いている、そわそわしている、明らかに気分を害している、怒っているなどの感情）を確認することにより、顧客の属性情報と、レジカウンターにおける自身の会計までの我慢可能な待ち時間との関係を得ることが可能となり、時間帯による来店する顧客の属性情報に対応させて、レジカウンターにおいて会計を行う従業員のシフトを計画することができる。

また、本実施形態によれば、新たに店舗を出店する場合、すでに顧客の属性情報を収集している既存の店舗から、新たに店舗を出店する地域と類似した地域の店舗を抽出し、抽出した店舗で得られた顧客の属性情報に基づき、新たに出店する店舗における商品の品揃えを、上述したクラスタリングしたグループから決定することが可能となる。すでに記載したマーケット調査報告４０２における、新たに出店する各店舗における品揃えを含む店舗設計などが管理センターにおいて策定される。

また、新たに出店する店舗の前の道路などにデプス画像取得装置１２０を設置し、出店する店舗の道を通行する人間のデプス動画像を取得し、どのような属性情報を有する人間が出店予定の店舗の前の道路を利用するかを確認してもよい。この得られた属性情報に基づき、すでにクラスタリングで得られた属性情報のグループのいずれに属するかを判定し、新たに出店する店舗の商品の品揃えに反映させることもできる。
この場合、店舗を新たに出店する際におこなう通行人の属性（性別、年代、職業など）に対して、より詳細な性格を含めた属性情報の取得が可能であるため、高い精度で新たに出店する店舗に来店するであろう顧客の属性情報を予め取得することができる。

また、本実施形態によれば、デプス動画像から推定される顧客の状態が何かを記載している状態である場合、例えば、宅配便の伝票などの記載を行っていることが推定され、この宅配便などの伝票の記載の処理を行うレジカウンターを、他の商品の会計を行うレジカウンターに対して独立して設けるようにしたりするなどの、店舗のレイアウトにも利用可能である。宅配便を依頼する顧客が多い時間帯などが判定できれば、その時間帯のみにおいて専用のレジカウンターを設定するようにレイアウト変更してもよい。

また、本実施形態によれば、深度情報を取得するため、レジカウンターに列となって並んでいる顧客の各々を分離して識別することが可能であるため、各レジカウンターに並んでいる人数を推定することが可能であり、所定の人数以上が並んでいる場合に、状況に応じて店舗のバックヤードで作業をしている他の従業員を呼び出すことができる。

また、本実施形態によれば、動作や表情から顧客の深層心理が推定することにより、問題のある性格か否か、癖のある性格か否か、何に対して拘りがあるか否かを容易に推定することが可能であり、デプス動画像からリアルタイムに顧客の属性情報を推定する構成において、デプス動画像から推定された顧客の性格が高い確率で問題を生じやすい性格である場合、クレーマー対応が可能な従業員にレジカウンターにおける会計を行わせるなど店舗の危機管理を有効に行うことができる。

なお、本発明における図１の属性推定サーバ１，販売管理サーバ２及び情報対応付サーバ３の各々の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、顧客の属性情報の推定、販売した商品の販売情報の管理、顧客の購入した商品と当該顧客の属性情報との対応付けの各々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１…属性推定サーバ
１＿１…モデル記憶部
１＿２…属性情報データベース
２…販売管理サーバ
２＿１…商品管理データベース
３…情報対応付サーバ
３＿１…対応付情報データベース
１２０…デプス画像取得装置
３００…ＰＯＳ端末
５００…情報通信網

Claims (12)

1. 計測対象である顧客の深度情報を取得するデプス画像取得装置と、
   観察期間に取得される前記深度情報から、当該顧客の属性情報を抽出する属性情報推定部と
   を備えることを特徴とする顧客情報取得支援システム。
2. 前記属性情報推定部が、時系列に順次入力される前記深度情報を示す複数の画像から推定される前記顧客の属性情報を推定する
   ことを特徴とする請求項１に記載の顧客情報取得支援システム。
3. 前記属性情報推定部が、時系列に順次入力される前記深度情報による前記顧客の動きから前記顧客の属性情報を推定する
   ことを特徴とする請求項２に記載の顧客情報取得支援システム。
4. 前記動きが前記顧客の顔の動きとしての表情であり、
   前記属性情報推定部が、前記表情に基づき、前記顧客の属性情報を推定する
   ことを特徴とする請求項３に記載の顧客情報取得支援システム。
5. 前記動きが前記顧客の身体の動きとしての動作であり、
   前記属性情報推定部が、前記動作に基づき、前記顧客の属性情報を推定する
   ことを特徴とする請求項３または請求項４に記載の顧客情報取得支援システム。
6. 前記属性情報推定部が、前記観察期間における前記深度情報を示す複数の画像から前記顧客の属性情報を推定する機械学習モデルを備えている
   ことを特徴とする請求項１から請求項５のいずれか一項に記載の顧客情報取得支援システム。
7. 前記デプス画像取得装置がＴＯＦ（time of flight）センサである
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の顧客情報取得支援システム。
8. 前記属性情報が、少なくとも、年齢、性別、職業、人種、趣味、嗜好、体型、感情を含む
   ことを特徴とする請求項１から請求項７のいずれか一項に記載の顧客情報取得支援システム。
9. 前記観測期間が、店舗のカウンターに前記顧客が滞在している時間範囲である
   ことを特徴とする請求項１から請求項８のいずれか一項に記載の顧客情報取得支援システム。
10. 前記観測期間が、少なくとも、ＰＯＳ（point of sales）端末における購入した商品に対する顧客の支払処理が行われる期間である
    ことを特徴とする請求項１から請求項９のいずれか一項に記載の顧客情報取得支援システム。
11. 前記商品の種別と当該商品を購入した前記顧客の属性情報とを対応付ける情報対応付部をさらに備える
    ことを特徴とする請求項１０に記載の顧客情報取得支援システム。
12. デプス画像取得装置により計測対象である顧客の深度情報を取得する過程と、
    属性情報推定部が、観察期間に取得される前記深度情報から、当該顧客の属性情報を抽出する過程と
    を含むことを特徴とする顧客情報取得支援方法。

Images