JP2022190355A - 情報処理システム、情報処理方法、及び情報処理プログラム - Google Patents

Abstract

【課題】店舗を利用する利用者の属性と当該利用者の購入商品情報とを容易に登録することが可能な情報処理システム、情報処理方法、及び情報処理プログラムを提供すること。【解決手段】情報処理システムは、利用者の購入商品の情報を含む購入商品情報を取得する商品取得処理部と、前記利用者を撮像した撮像画像を取得する画像取得処理部と、前記画像取得処理部により取得される前記撮像画像から前記利用者の利用者画像を抽出する抽出処理部と、前記抽出処理部により抽出される前記利用者画像に基づいて前記利用者の属性を判定する判定処理部と、前記判定処理部により判定される前記利用者の属性を示す属性情報と、前記商品取得処理部により取得される前記購入商品情報とを関連付けて登録する登録処理部と、を備える。【選択図】図１

Description

本発明は、利用者の属性情報を登録する情報処理システム、情報処理方法、及び情報処理プログラムに関する。

飲食店、物販店などの店舗では、施設内のカメラが撮像した利用者（顧客）の撮像画像から利用者の年齢、性別などの属性を取得してマーケティングに活用している。例えば、店舗の出入口及び通路に配置されたカメラが店内を移動する顧客を連続して撮像し、撮像画像から顧客の年齢、性別などを判別するシステムが提案されている（例えば特許文献１参照）。

特許第４７７８５３２号公報

ここで、店舗のマーケティングでは、利用者の属性と利用者が購入した商品との関係を把握することが望ましい。しかし、従来の技術では、利用者の属性と利用者が購入した商品との関係を判別することが困難である。また、店員が利用者の属性と利用者が購入した商品とを対応付けて登録する方法では、店員の負担が大きくなり、また店員の主観で判別することになるため確度が低いという問題が生じる。

本発明の目的は、店舗を利用する利用者の属性と当該利用者の購入商品情報とを容易に登録することが可能な情報処理システム、情報処理方法、及び情報処理プログラムを提供することにある。

本発明に係る情報処理システムは、利用者の購入商品の情報に対応する購入商品情報を取得する商品取得処理部と、前記利用者を撮像した撮像画像を取得する画像取得処理部と、前記画像取得処理部により取得される前記撮像画像から前記利用者の利用者画像を抽出する抽出処理部と、前記抽出処理部により抽出される前記利用者画像に基づいて前記利用者の属性を判定する判定処理部と、前記判定処理部により判定される前記利用者の属性を示す属性情報と、前記商品取得処理部により取得される前記購入商品情報とを関連付けて登録する登録処理部と、を備えるシステムである。

本発明に係る情報処理方法は、一又は複数のプロセッサーが、利用者の購入商品の情報に対応する購入商品情報を取得する商品取得ステップと、前記利用者を撮像した撮像画像を取得する画像取得ステップと、前記画像取得ステップにおいて取得される前記撮像画像から前記利用者の利用者画像を抽出する抽出ステップと、前記抽出ステップにより抽出される前記利用者画像に基づいて前記利用者の属性を判定する判定ステップと、前記判定ステップにおいて判定される前記利用者の属性を示す属性情報と、前記商品取得ステップにおいて取得される前記購入商品情報とを関連付けて登録する登録ステップと、を実行する方法である。

本発明に係る情報処理プログラムは、利用者の購入商品の情報に対応する購入商品情報を取得する商品取得ステップと、前記利用者を撮像した撮像画像を取得する画像取得ステップと、前記画像取得ステップにおいて取得される前記撮像画像から前記利用者の利用者画像を抽出する抽出ステップと、前記抽出ステップにより抽出される前記利用者画像に基づいて前記利用者の属性を判定する判定ステップと、前記判定ステップにおいて判定される前記利用者の属性を示す属性情報と、前記商品取得ステップにおいて取得される前記購入商品情報とを関連付けて登録する登録ステップと、一又は複数のプロセッサーに実行させるためのプログラムである。

本発明によれば、店舗を利用する利用者の属性と当該利用者の購入商品情報とを容易に登録することが可能な情報処理システム、情報処理方法、及び情報処理プログラムが提供される。

図１は、本発明の実施形態に係る会計システムの構成を示すブロック図である。 図２は、本発明の実施形態に係る会計システムで使用される画像分析情報テーブルの一例を示す図である。 図３は、本発明の実施形態に係る会計システムで使用される属性情報テーブルの一例を示す図である。 図４は、本発明の実施形態に係る会計システムで使用される会計情報の一例を示す図である。 図５は、本発明の実施形態に係る会計システムで使用される購入商品情報の一例を示す図である。 図６は、本発明の実施形態に係る会計システムで使用される利用者情報の一例を示す図である。 図７は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図８は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図９は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図１０は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図１１は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図１２は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図１３は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図１４は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図１５は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図１６は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図１７は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図１８は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図１９は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図２０は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図２１は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図２２は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図２３は、本発明の実施形態に係る会計端末で実行される会計処理の手順の一例を示すフローチャートである。 図２４は、本発明の実施形態に係る会計端末で実行される会計処理の手順の一例を示すフローチャートである。 図２５は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。

以下添付図面を参照しながら、本発明の実施形態について説明し、本発明の理解に供する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。

［会計システム１００］
図１に示すように、本発明の実施形態に係る会計システム１００は、会計端末１とカメラ２とデータベースＤＢとを含む。会計端末１、カメラ２、及びデータベースＤＢは、ＬＡＮ、インターネット、ＷＡＮ、又は公衆電話回線などの通信網Ｎ１を介して通信可能である。

カメラ２は、被写体の画像を撮像してデジタル画像データとして出力するデジタルカメラである。カメラ２は、デジタル画像データを通信網Ｎ１を通じて会計端末１に送信する通信機能を備えている。カメラ２は、１台であってもよいし複数台であってもよい。具体的には、カメラ２は、店舗内に設置され、店舗の利用者（客）を含む所定エリアを撮像する。例えば、カメラ２は、店舗のレジに設置され、レジから店内側の所定エリアを撮像する。カメラ２は、所定のフレームレートで所定エリアを撮像して、画像データを会計端末１に送信する。前記所定エリアは、例えば会計を行う利用者を撮像可能なエリアである。また、前記所定エリアは、例えば店舗内の全体のエリアであってもよい。本発明では、カメラ２に、店舗に既設のカメラを適用することも可能である。また、カメラ２は、会計端末１に搭載されてもよい。

会計端末１は、店舗に設置され、利用者の購入商品の会計を行う機器（例えばＰＯＳ端末）である。会計端末１は、店員の操作を受け付けて会計を行ってもよいし、利用者の操作を受け付けて会計を行ってもよい。また、会計端末１は、カメラ２により撮像される所定エリアの撮像画像に基づいて、会計を行う利用者の属性（年齢、性別など）を判定し、利用者の属性を示す属性情報と利用者の購入商品に関する購入商品情報とを関連付けて登録する。店舗は、例えば飲食店、物販店（小売店）などである。以下の実施形態では、店舗の一例として飲食店を挙げて説明する。

本実施形態では、会計端末１単体が本発明に係る情報処理システムに相当するが、本発明に係る情報処理システムは、会計端末１、カメラ２、及びデータベースＤＢを含んで構成されてもよい。また、会計端末１、カメラ２、及びデータベースＤＢが一体の機器であってもよい。

［会計端末１］
図１に示されるように、会計端末１は、制御部１１、記憶部１２、操作表示部１３、及び通信部１４などを備える情報処理装置（例えばＰＯＳ端末）である。なお、会計端末１は、１台のコンピューターに限らず、複数台のコンピューターが協働して動作するコンピューターシステムであってもよい。また、会計端末１で実行される各種の処理は、一又は複数のプロセッサーによって分散して実行されてもよい。会計端末１は、本発明の情報処理システムの一例である。

通信部１４は、会計端末１を有線又は無線で通信網Ｎ１に接続し、通信網Ｎ１を介して一又は複数のカメラ２などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。

操作表示部１３は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような表示部と、操作を受け付けるマウス、キーボード、又はタッチパネルのような操作部とを備えるユーザーインターフェースである。

記憶部１２は、各種の情報を記憶する半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などを含む不揮発性の記憶部である。具体的に、記憶部１２には、カメラ２が撮像する撮像画像の分析結果を登録する画像分析情報テーブルＤ１、前記撮像画像から抽出される利用者（客）の属性を登録する属性情報テーブルＤ２などが記憶される。図２は、画像分析情報テーブルＤ１の一例を示す図であり、図３は、属性情報テーブルＤ２の一例を示す図である。なお、前記撮像画像には、レジで会計を行う一又は複数の利用者の画像が含まれる。

図２に示すように、画像分析情報テーブルＤ１には、前記撮像画像から抽出される利用者の顔画像に設定される顔番号ごとに、利用者番号、顔領域（横方向）、顔領域（縦方向）、性別、年齢、表示済フラグなどの情報が登録される。前記利用者番号は、店員が前記撮像画像に含まれる利用者画像を選択する操作に応じて設定される利用者識別情報である。前記顔領域（横方向及び縦方向）は、前記撮像画像に含まれる利用者の顔画像の位置及び範囲を示す情報である。前記性別は、制御部１１が前記撮像画像に含まれる利用者画像に基づいて判定した利用者の性別である。前記年齢は、制御部１１が前記撮像画像に含まれる利用者画像に基づいて判定した利用者の年齢である。前記表示済フラグは、会計端末１の操作表示部１３に表示される会計画面（図７等参照）に利用者の属性が表示済みか否かを示す情報である。制御部１１は、前記撮像画像を取得すると、当該撮像画像を分析（画像解析）して前記各情報を画像分析情報テーブルＤ１に登録する。

図３に示すように、属性情報テーブルＤ２には、前記利用者番号ごとに、性別、年齢、年代、修正中フラグなどの情報が登録される。制御部１１は、前記撮像画像において店員が利用者画像を選択（図９等参照）するごとに、選択操作の順番に対応する前記利用者番号に関連付けて、前記性別、前記年齢、前記年代を登録する。前記修正中フラグは、登録した前記性別及び前記年齢の少なくともいずれかを修正する操作（本発明の修正操作）（図１３等参照）が行われている（修正中）か否かを示す情報である。

制御部１１は、前記撮像画像に基づいて画像分析情報テーブルＤ１及び属性情報テーブルＤ２に各情報を登録する。

なお、他の実施形態として、画像分析情報テーブルＤ１及び属性情報テーブルＤ２の一方又は両方が、会計端末１から通信網Ｎ１を介してアクセス可能な他のサーバーに記憶されてもよい。この場合、会計端末１の制御部１１は、必要に応じて前記サーバーから各種の情報を取得して、後述の会計処理（図２３及び図２４参照）などの各処理を実行してもよい。

また、制御部１１は、データベースＤＢに格納される各種情報に基づいて会計処理を実行する。データベースＤＢには、会計情報Ｄ３、購入商品情報Ｄ４、利用者情報Ｄ５などのデータが記憶される。図４は、会計情報Ｄ３の一例を示す図であり、図５は、購入商品情報Ｄ４の一例を示す図であり、図６は、利用者情報Ｄ５の一例を示す図である。

図４に示すように、会計情報Ｄ３には、会計ごとに、会計番号、購入商品数、グループ人数などの情報が含まれる。前記会計番号は、会計ごとに付与される識別情報である。前記購入商品数は、会計対象の商品の合計数である。前記グループ人数は、家族客、団体客などの合計人数であり、例えば飲食店のテーブルの利用人数である。

図５に示すように、購入商品情報Ｄ４には、会計ごとに、会計番号、購入商品（注文商品）などの情報が含まれる。複数の利用者を含むグループの場合、例えば同一の会計番号に対して、複数の購入商品が関連付けられて登録される。

会計情報Ｄ３及び購入商品情報Ｄ４は、例えば注文端末（不図示）に入力された情報に基づいてデータベースＤＢに記憶されてもよい。

図６に示すように、利用者情報Ｄ５には、会計ごとに、性別、年齢、年代などの情報が含まれる。制御部１１は、属性情報テーブルＤ２に登録される利用者の属性を、利用者情報Ｄ５の対応する会計番号に関連付けて登録する。

また、記憶部１２には、制御部１１に後述の会計処理（図２３及び図２４参照）を実行させるための会計プログラム（本発明の情報処理プログラムに相当）などの制御プログラムが記憶されている。例えば、前記会計プログラムは、ＣＤ又はＤＶＤなどのコンピューター読取可能な記録媒体に非一時的に記録されており、会計端末１が備えるＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部１２に記憶される。

制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の演算処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部１１は、前記ＲＯＭ又は記憶部１２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより会計端末１を制御する。

具体的に、制御部１１は、図１に示すように、商品取得処理部１１１、画像取得処理部１１２、抽出処理部１１３、判定処理部１１４、登録処理部１１５、表示処理部１１６、受付処理部１１７などの各種の処理部を含む。なお、制御部１１は、前記ＣＰＵで前記会計プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部１１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記会計プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。

商品取得処理部１１１は、利用者の購入商品の情報に対応する購入商品情報を取得する。具体的には、商品取得処理部１１１は、データベースＤＢを参照して、利用者に対応する会計情報Ｄ３及び購入商品情報Ｄ４を取得する。会計情報Ｄ３（図５参照）及び購入商品情報Ｄ４（図６参照）は、前記購入商品情報の一例である。例えば飲食店において、利用者が食事を終えてレジで会計する場合に、利用者が伝票をレジ担当の店員に手渡すと、店員は読取装置などにより伝票の情報コードを読み取る。これにより、商品取得処理部１１１は、前記情報コードに対応する会計番号（図５及び図６参照）に基づいて利用者の購入商品情報を取得する。前記会計番号は、本発明の購入商品情報の一例である。また商品取得処理部１１１は、本発明の商品取得処理部の一例である。

画像取得処理部１１２は、カメラ２により撮像される、店舗のレジ前の利用者を含む所定エリアの撮像画像を取得する。画像取得処理部１１２は、本発明の画像取得処理部の一例である。

抽出処理部１１３は、画像取得処理部１１２により取得される前記撮像画像から利用者の利用者画像を抽出する。具体的には、抽出処理部１１３は、前記撮像画像から利用者の顔画像を抽出する。前記撮像画像に複数の利用者が含まれる場合には、抽出処理部１１３は、利用者ごとの顔画像を抽出する。抽出処理部１１３は、顔画像を抽出すると、顔番号に関連付けて、当該顔画像の顔領域の情報を画像分析情報テーブルＤ１（図２参照）に登録する。抽出処理部１１３は、本発明の抽出処理部の一例である。

判定処理部１１４は、抽出処理部１１３により抽出される前記利用者画像に基づいて前記利用者の属性を判定する。例えば、判定処理部１１４は、機械学習を行って生成された学習済みモデルを利用して、顔画像から利用者の性別及び年齢を推定する。前記撮像画像に複数の利用者が含まれる場合には、判定処理部は、利用者ごとに性別及び年齢を判定する。判定処理部１１４は、利用者の属性（性別及び年齢）を判定すると、前記顔番号に関連付けて、当該性別及び年齢の情報を画像分析情報テーブルＤ１（図２参照）に登録する。判定処理部１１４は、本発明の判定処理部の一例である。

登録処理部１１５は、判定処理部１１４により判定される利用者の属性を示す属性情報と、商品取得処理部１１１により取得される前記購入商品情報とを関連付けて登録する。例えば、登録処理部１１５は、商品取得処理部１１１が伝票の前記情報コード基づいて取得した会計番号に、利用者の性別及び年齢の情報を関連付けた利用者情報Ｄ５（図６参照）をデータベースＤＢに記憶する。また、登録処理部１１５は、判定処理部１１４により判定された年齢に応じた年代を利用者情報Ｄ５に登録する。登録処理部１１５は、本発明の登録処理部の一例である。

表示処理部１１６は、画像取得処理部１１２により取得される前記撮像画像を操作表示部１３に表示させ、かつ前記撮像画像から抽出される利用者の利用者画像に対応付けて当該利用者の属性情報を操作表示部１３に表示させる。

図７には、操作表示部１３に表示される会計画面の一例を示している。会計画面には、飲食店で注文可能な全ての注文品の情報と、会計を行う利用者（ここでは３人グループ）を撮像した撮像画像Ｐ１と、当該グループの注文品（購入商品）に関する注文情報と、各利用者の属性を表示及び編集するための属性編集欄Ｐ２とが表示される。また図８に示すように、表示処理部１１６は、会計画面において撮像画像Ｐ１を表示させるとともに、撮像画像Ｐ１から判定された各利用者の性別及び年齢（属性情報）を利用者画像（例えば顔画像）の近傍に表示させる。これにより、店員は、会計画面において、利用者の性別及び年齢を把握することができる。表示処理部１１６は、本発明の表示処理部の一例である。

受付処理部１１７は、操作表示部１３に表示される会計画面の撮像画像Ｐ１において、前記利用者画像を選択する選択操作を受け付ける。例えば図９に示すように、店員は撮像画像Ｐ１に含まれる一人の利用者（例えば右端の利用者）の利用者画像（顔画像）をタッチする。これにより、受付処理部１１７は、店員のタッチ操作を受け付ける。

受付処理部１１７が前記タッチ操作（図９参照）を受け付けると、登録処理部１１５は、画像分析情報テーブルＤ１において、タッチされた利用者画像の利用者に対応する性別及び年齢に関連付けられた利用者番号に「１」を登録する。また、表示処理部１１６は、前記会計画面において、撮像画像Ｐ１の顔画像の近傍に利用者番号「１」を表示させ（図１０参照）、属性編集欄Ｐ２の番号「１」に対応する欄に性別及び年代（年齢）を表示させる。図９及び図１０に示す例では、表示処理部１１６は、属性編集欄Ｐ２の番号「１」に対応付けて、「男」及び「４０－４９（４１）」を表示させる。前記会計画面に表示される利用者番号「１」の画像は、本発明の順番画像の一例である。なお、本発明の順番画像は、数字に限定されず、アルファベットなどの文字又は記号であってもよい。

表示処理部１１６が属性編集欄Ｐ２に利用者の属性を表示させると、登録処理部１１５は、画像分析情報テーブルＤ１の利用者番号「１」に対応する表示済フラグに「ＯＮ（表示済）」を登録する（図２参照）。また、登録処理部１１５は、属性情報テーブルＤ２の利用者番号「１」に対応する性別、年齢、及び年代に利用者の情報（ここでは、「男」、「４１」、「４０－４９」）を登録する（図３参照）。

撮像画像Ｐ１に含まれる一人の利用者の属性が登録されると、続いて図１１に示すように、店員は撮像画像Ｐ１に含まれる他の利用者（例えば左端の利用者）の利用者画像（顔画像）をタッチする。受付処理部１１７は、店員のタッチ操作を受け付ける。

受付処理部１１７が前記タッチ操作（図１１参照）を受け付けると、登録処理部１１５は、画像分析情報テーブルＤ１において、タッチされた利用者画像の利用者に対応する性別及び年齢に関連付けられた利用者番号に「２」を登録する。また、表示処理部１１６は、前記会計画面において、撮像画像Ｐ１の顔画像の近傍に利用者番号「２」を表示させ（図１１参照）、属性編集欄Ｐ２の番号「２」に対応する欄に性別及び年代（年齢）を表示させる。図１１に示す例では、表示処理部１１６は、属性編集欄Ｐ２の番号「２」に対応付けて「女」及び「３０－３９（３８）」を登録する。

表示処理部１１６が属性編集欄Ｐ２に利用者の属性を表示させると、登録処理部１１５は、画像分析情報テーブルＤ１の利用者番号「２」に対応する表示済フラグに「ＯＮ（表示済）」を登録する（図２参照）。また、登録処理部１１５は、属性情報テーブルＤ２の利用者番号「２」に対応する性別、年齢、及び年代に利用者の情報（ここでは、「女」、「３８」、「３０－３９」）を登録する（図３参照）。

続いて図１２に示すように、店員は撮像画像Ｐ１に含まれる残り利用者（例えば中央の利用者）の利用者画像（顔画像）をタッチする。受付処理部１１７は、店員のタッチ操作を受け付ける。

受付処理部１１７が前記タッチ操作（図１２参照）を受け付けると、登録処理部１１５は、画像分析情報テーブルＤ１において、タッチされた利用者画像の利用者に対応する性別及び年齢に関連付けられた利用者番号に「３」を登録する。また、表示処理部１１６は、前記会計画面において、撮像画像Ｐ１の顔画像の近傍に利用者番号「３」を表示させ（図１２参照）、属性編集欄Ｐ２の番号「３」に対応する欄に性別及び年代（年齢）を表示させる。図１２に示す例では、表示処理部１１６は、属性編集欄Ｐ２の番号「３」に対応付けて「女」及び「１０－１９（１１）」を登録する。

表示処理部１１６が属性編集欄Ｐ２に利用者の属性を表示させると、登録処理部１１５は、画像分析情報テーブルＤ１の利用者番号「３」に対応する表示済フラグに「ＯＮ（表示済）」を登録する（図２参照）。また、登録処理部１１５は、属性情報テーブルＤ２の利用者番号「３」に対応する性別、年齢、及び年代に利用者の情報（ここでは、「女」、「１１」、「１０－１９」）を登録する（図３参照）。

以上のようにして、撮像画像に含まれる利用者の属性（性別及び年齢）と、当該利用者の購入商品情報とが関連付けられて登録される。上述の例では、「唐揚定食 ７００円」、「かつ丼 ６００円」、及び「ラーメン ５５０円」と、利用者番号「１」の「男 ４０－４９（４１）」と、利用者番号「２」の「女 ３０－３９（３８）」と、利用者番号「３」の「女 １０－１９（１１）」とが互いに関連付けられて登録される。前記登録操作が完了した場合、店員は、図１２に示す会計画面において「ＯＫ」ボタンをタッチする。店員が「ＯＫ」ボタンをタッチすると、制御部１１は前記購入商品の会計処理を実行する。

ここで、店員は、前記会計画面において、属性編集欄Ｐ２に登録された利用者の性別及び年齢を修正することが可能である。受付処理部１１７は、前記会計画面において前記属性情報を修正する修正操作を受け付ける。また、表示処理部１１６は、受付処理部１１７が前記修正操作を受け付けた場合に修正後の前記属性情報を表示させる。例えば図１３に示すように、店員は、利用者番号「１」の性別及び年齢の少なくともいずれかを修正したい場合に、利用者番号「１」の「修正」ボタンをタッチする。これにより、受付処理部１１７は、修正操作を受け付ける。また登録処理部１１５は、属性情報テーブルＤ２（図３参照）の利用者番号「１」の修正中フラグを「ＯＮ」に設定する。また表示処理部１１６は、タッチされた「修正」ボタンの領域の色を変更する（図１４参照）。その後、店員が利用者番号「１」の「男」をタッチすると（図１４参照）、表示処理部１１６は、「男」を「女」に修正して表示する。また、登録処理部１１５は、画像分析情報テーブルＤ１及び属性情報テーブルＤ２の利用者番号「１」の「男」を「女」に修正して登録する。

また、店員が利用者番号「１」の「修正」ボタンをタッチして「４０－４９（４１）」をタッチすると（図１５参照）、表示処理部１１６は、図１６に示すように、数字を入力（選択）するためのテンキーを表示させる。店員がテンキーにより「５０」を入力して「ＯＫ」ボタンをタッチすると（図１７参照）、表示処理部１１６は、図１８に示すように、「４０－４９（４１）」を「５０－５９（５０）」に修正して表示する。また、登録処理部１１５は、画像分析情報テーブルＤ１及び属性情報テーブルＤ２の利用者番号「１」の「４０－４９（４１）」を「５０－５９（５０）」に修正して登録する。

以上のように、登録処理部１１５は、利用者の属性情報を画像分析情報テーブルＤ１及び属性情報テーブルＤ２に登録する。また登録処理部１１５は、前記属性情報を会計情報Ｄ３（図４参照）に登録する。すなわち、登録処理部１１５は、利用者の性別及び年齢と前記購入商品情報とを関連付けて登録する。また、表示処理部１１６は、撮像画像Ｐ１が表示された会計画面において、利用者番号の情報と前記属性情報と前記購入商品情報とを関連付けて表示させる。

上述の実施形態では、判定処理部１１４が撮像画像に含まれる利用者画像から利用者の属性（性別及び年齢）を判定し、登録処理部１１５が、ユーザー（店員）が選択した利用者画像に対応する前記属性情報に関連付けて利用者番号を登録する構成である。他の実施形態として、登録処理部１１５は、店員の選択操作によらずに、自動的に、前記撮像画像に含まれる各利用者画像に対応する前記属性情報に関連付けて利用者番号を登録してもよい。

また、前記他の実施形態において、判定処理部１１４が利用者の属性を判定できない場合に、登録処理部１１５は、店員の操作に基づいて属性を登録してもよい。例えば図１９に示すように、判定処理部１１４が撮像画像Ｐ１に含まれる右端の利用者画像の利用者の性別及び年齢を判定（推定）できない場合、当該利用者画像に性別及び年齢の情報が表示されない。この場合、店員が前記利用者画像をタッチすると、表示処理部１１６は、前記利用者画像の顔画像の近傍に利用者番号「４」を表示させ、利用者番号「４」の「修正」ボタンの領域の色を変更する（図２０参照）。また、表示処理部１１６は、属性編集欄Ｐ２に仮の性別（「男」）及び年齢（「００－０９（００）」）を表示させる（図２０参照）。また店員が性別及び年齢をタッチして、性別及び年齢を入力すると、表示処理部１１６は、性別及び年齢を修正する。また、登録処理部１１５は、画像分析情報テーブルＤ１及び属性情報テーブルＤ２の利用者番号「４」に性別及び年齢を登録する。

また、撮像画像Ｐ１に、グループに属さない利用者が映り込む場合がある。例えば図２１に示すように、撮像画像Ｐ１に含まれる左端の利用者画像は同一グループに属さない利用者の画像である。この場合に、店員は当該利用者の情報を削除する操作を行うことができる。具体的には、店員は、図２１に示す会計画面において、撮像画像Ｐ１の左端の利用者画像の利用者番号「２」をタッチする。店員が利用者番号「２」をタッチすると、表示処理部１１６は利用者番号「２」を削除し、登録処理部１１５は、画像分析情報テーブルＤ１及び属性情報テーブルＤ２の利用者番号「２」に対応する情報を削除する。また、表示処理部１１６は、図２２に示すように、撮像画像Ｐ１の他の利用者画像の番号「３」及び「４」をそれぞれ番号「２」及び「３」に繰り上げ、属性編集欄Ｐ２の番号「３」及び「４」の属性情報を番号「２」及び「３」に繰り上げる。また、登録処理部１１５は、画像分析情報テーブルＤ１及び属性情報テーブルＤ２の利用者番号「３」及び「４」の属性情報を利用者番号「２」及び「３」に繰り上げる。

このように、受付処理部１１７は、前記会計画面において前記利用者画像に対応付けて表示された利用者番号を削除する操作を受け付ける。そして、表示処理部１１６は、前記会計画面の属性編集欄Ｐ２において互いに関連付けて表示された利用者番号の情報と前記属性情報とを削除する。

［会計処理］
以下、会計端末１の制御部１１によって実行される会計処理について説明する。例えば、制御部１１は、カメラ２が撮像したレジ前の所定エリアの撮像画像を取得することにより前記会計プログラムの実行を開始することによって、前記会計処理を開始する。なお、制御部１１は、一又は複数のカメラ２が複数のレジのそれぞれの所定エリアを撮像する場合に、取得した撮像画像ごとに前記会計処理を個別に並行して実行してもよい。

なお、本発明は、前記会計処理に含まれる一又は複数のステップを実行する会計方法の発明として捉えることができる。前記会計方法は、本発明の情報処理方法の一例である。

なお、ここで説明する前記会計処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記会計処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部１１が前記会計処理における各ステップを実行する場合を例に挙げて説明するが、他の実施形態では、複数のプロセッサーが前記会計処理における各ステップを分散して実行してもよい。

図２３は、前記会計処理に含まれる属性判定処理の手順の一例を示すフローチャートである。制御部１１は、前記会計処理に際し、先ず、前記撮像画像に基づいて利用者の属性を判定する属性判定処理を実行する。

ステップＳ１において、制御部１１は、利用者の購入商品の情報に対応する購入商品情報を取得する。具体的には、制御部１１は、データベースＤＢを参照して、利用者に対応する会計情報Ｄ３（図４参照）及び購入商品情報Ｄ４（図５参照）を取得する。例えば、制御部１１は、伝票から会計番号を取得し、会計番号に関連付けられた会計情報Ｄ３及び購入商品情報Ｄ４を取得する。ステップＳ１は、本発明の商品取得ステップの一例である。

次にステップＳ２において、制御部１１は、カメラ２により撮像される、店舗のレジ前の利用者を含む所定エリアの撮像画像Ｐ１を取得する。制御部１１は、取得した撮像画像Ｐ１を会計画面に表示させる（図７参照）。ステップＳ２は、本発明の画像取得ステップの一例である。

次にステップＳ３において、制御部１１は、画像分析情報テーブルＤ１（図２参照）の顔番号を「０」に設定し、性別、年齢、表示済フラグをクリア（初期化）する。

次にステップＳ４において、制御部１１は、取得した撮像画像Ｐ１の走査（スキャン処理）を開始する。例えば、制御部１１は、撮像画像Ｐ１を横方向右側から走査する。

次にステップＳ５において、制御部１１は、撮像画像Ｐ１から顔画像を検出したか否かを判定する。制御部１１が撮像画像Ｐ１から前記顔画像を検出した場合（Ｓ５：Ｙｅｓ）、処理はステップＳ６に移行する。一方、制御部１１が撮像画像Ｐ１から前記顔画像を検出しない場合（Ｓ５：Ｎｏ）、処理はステップＳ１０に移行する。

ステップＳ６では、制御部１１は、撮像画像Ｐ１から前記顔画像を抽出して、画像分析情報テーブルＤ１（図２参照）に、前記顔番号「１」及び顔領域（横方向及び縦方向）を登録する。ステップＳ５，Ｓ６は、本発明の抽出ステップの一例である。

次にステップＳ７において、制御部１１は、抽出した前記顔画像に基づいて、性別及び年齢を判定（推定）する。ステップＳ７は、本発明の判定ステップの一例である。

次にステップＳ８において、制御部１１は、判定した性別及び年齢を、画像分析情報テーブルＤ１の前記顔番号「１」に関連付けて登録する。ここでは、制御部１１は、「男」、「４１」を前記顔番号「１」に関連付けて登録する。

次にステップＳ９において、制御部１１は、判定した性別及び年齢を、会計画面の撮像画像Ｐ１に表示させる（図８参照）。なお、図８には、便宜上、３人の利用者の性別及び年齢が表示されているが、ステップＳ９では、右端の利用者の「男 ４１」のみが表示される。

次にステップＳ１０において、制御部１１は、撮像画像Ｐ１の終端（ここでは左端）まで走査が完了したか否かを判定する。制御部１１は、走査を完了すると（Ｓ１０：Ｙｅｓ）、属性判定処理を終了する。一方、制御部１１は、走査を完了していない場合（Ｓ１０：Ｎｏ）、ステップＳ１０１に移行して走査を続行する。

制御部１１は、撮像画像Ｐ１の走査を続行して次の顔画像を検出すると（Ｓ５：Ｙｅｓ）、上述のステップＳ６～Ｓ９の処理を実行する。このようにして、制御部１１は、撮像画像Ｐ１から顔画像を検出しなくなるまで上述の処理を繰り返す。制御部１１は、前記属性判定処理を終了すると、以下に示す属性登録処理を実行する。図８は、制御部１１が撮像画像Ｐ１に対して前記属性登録処理を終了した状態を示している。

図２４は、前記会計処理の手順の一例を示すフローチャートである。制御部１１は、前記属性判定処理（図２３参照）が終了すると、ユーザー（店員）の操作に応じて利用者の属性を登録する属性登録処理、登録した属性を修正する属性編集処理、及び会計処理を実行する。

ステップＳ１１において、制御部１１は、画像分析情報テーブルＤ１及び属性情報テーブルＤ２において、前記利用者番号を「０」に設定し、前記表示済フラグ及び前記修正中フラグを「ＯＦＦ」に設定する。

次にステップＳ１２において、制御部１１は、会計画面（図８参照）において、店員によるタッチ入力を検出したか否かを判定する。制御部１１が前記タッチ入力を検出すると（Ｓ１２：Ｙｅｓ）、処理はステップＳ１３に移行する。制御部１１は前記タッチ入力を検出するまで待機する（Ｓ１２：Ｎｏ）。

ステップＳ１３において、制御部１１は、前記タッチ入力の位置が撮像画像Ｐ１の顔画像か否かを判定する。前記タッチ入力の位置が前記顔画像である場合（Ｓ１３：Ｙｅｓ）、処理はステップＳ１４に移行する。前記タッチ入力の位置が前記顔画像でない場合（Ｓ１３：Ｎｏ）、処理はステップＳ２１に移行する。

ステップＳ１４において、制御部１１は、前記顔画像に対応する前記顔番号に関連付けて画像分析情報テーブルＤ１に登録された属性（性別及び年齢）が、会計画面の属性編集欄Ｐ２（図９参照）に表示済みであるか否かを判定する。前記属性が属性編集欄Ｐ２に表示済みでない場合（Ｓ１４：Ｎｏ）、処理はステップＳ１５に移行する。一方、前記属性が属性編集欄Ｐ２に表示済みである場合（Ｓ１４：Ｙｅｓ）、処理はステップＳ１２に戻る。

ステップＳ１５において、制御部１１は、画像分析情報テーブルＤ１（図２参照）の前記属性に対応する前記利用者番号に「１」を登録する。

次にステップＳ１６において、制御部１１は、前記顔画像の近傍に利用者番号「１」を表示させる（図１０参照）。

次にステップＳ１７において、制御部１１は、属性編集欄Ｐ２（図９参照）の利用者番号「１」に対応する欄に性別、年齢、及び年代を表示させる（図１０参照）。

次にステップＳ１８において、制御部１１は、画像分析情報テーブルＤ１の前記表示済フラグを「ＯＮ」に設定する。

次にステップＳ１９において、制御部１１は、属性情報テーブルＤ２（図３参照）の利用者番号「１」に対応付けて性別、年齢、及び年代を登録する。その後、制御部１１は、ステップＳ１２に戻り、上述の処理を繰り返す。店員は、撮像画像Ｐ１に含まれる全ての利用者画像をタッチして、各利用者の属性情報を属性編集欄Ｐ２に表示する。

ステップＳ１３において前記タッチ入力の位置が前記顔画像でない場合（Ｓ１３：Ｎｏ）、ステップＳ２１に移行し、制御部１１は、前記タッチ入力の位置が属性編集欄Ｐ２の修正ボタンの位置であるか否かを判定する（図１３参照）。前記タッチ入力の位置が前記修正ボタンの位置である場合（Ｓ２１：Ｙｅｓ）、処理はステップＳ２２に移行する。前記タッチ入力の位置が前記修正ボタンの位置でない場合（Ｓ２１：Ｎｏ）、処理はステップＳ３１に移行する。

ステップＳ２２では、制御部１１は、店員から属性編集欄Ｐ２の属性を修正する操作を受け付けて、当該属性を修正する修正処理を実行する。

例えば図１３に示すように、店員が利用者番号「１」の修正ボタンをタッチすると、制御部１１は、属性情報テーブルＤ２の利用者番号「１」の修正中フラグを「ＯＮ」に設定し、会計画面において、タッチされた修正ボタンの領域の色を変更する（図１４参照）。制御部１１は、修正ボタンを点灯又は点滅させてもよい。

前記修正中フラグがＯＮになって、店員が属性編集欄Ｐ２の利用者番号「１」の「男」をタッチすると（図１４参照）、制御部１１は、「男」を「女」に修正して表示する。また、制御部１１は、画像分析情報テーブルＤ１及び属性情報テーブルＤ２の利用者番号「１」の「男」を「女」に修正して登録する。

また前記修正中フラグがＯＮになって、店員が属性編集欄Ｐ２の利用者番号「１」の「４０－４９（４１）」をタッチすると（図１５参照）、制御部１１は、図１６に示すように、数字を入力（選択）するためのテンキーを表示させる。店員がテンキーにより「５０」を入力してＯＫボタンをタッチすると（図１７参照）、制御部１１は、図１８に示すように、「４０－４９（４１）」を「５０－５９（５０）」に修正して表示する。また、制御部１１は、画像分析情報テーブルＤ１及び属性情報テーブルＤ２の利用者番号「１」の「４０－４９（４１）」を「５０－５９（５０）」に修正して登録する。

店員による属性編集欄Ｐ２の編集作業が完了すると、制御部１１は、前記修正中フラグをＯＦＦに設定して、修正ボタンの色を元の色に戻す。

ステップＳ１３において前記タッチ入力の位置が修正ボタンの位置でない場合（Ｓ２１：Ｎｏ）、ステップＳ３１に移行し、制御部１１は、前記タッチ入力の位置がＯＫボタンの位置であるか否かを判定する（図１２参照）。前記タッチ入力の位置が前記ＯＫボタンの位置である場合（Ｓ３１：Ｙｅｓ）、処理はステップＳ３２に移行する。前記タッチ入力の位置が前記ＯＫボタンの位置でない場合（Ｓ３１：Ｎｏ）、処理は終了する。

ステップＳ３２において、制御部１１は、前記属性情報を利用者情報Ｄ５（図６参照）に登録する。例えば、制御部１１は、利用者情報Ｄ５において、利用者の伝票の前記情報コード基づいて取得した会計番号に、当該利用者の性別及び年齢の情報を関連付けて登録する。ステップＳ３２は、本発明の登録ステップの一例である。

最後のステップＳ３３において、制御部１１は、前記購入商品の会計処理を実行する。制御部１１は、以上のようにして利用者の購入商品に対する前記会計処理を実行する。

上述の会計処理では、制御部１１は、撮像画像Ｐ１に含まれる利用者画像から利用者の属性（性別及び年齢）を判定し、店員が選択した利用者画像に対応する前記属性情報に関連付けて利用者番号を登録している。他の実施形態として、制御部１１は、店員の選択操作によらずに、自動的に、撮像画像Ｐ１に含まれる各利用者画像に対応する前記属性情報に関連付けて利用者番号を登録してもよい。

また、前記他の実施形態において、制御部１１は、利用者の属性を判定できない場合に、店員の操作に基づいて属性を登録してもよい。例えば図１９に示すように、制御部１１は、撮像画像に含まれる右端の利用者画像の利用者の性別及び年齢を判定できない場合、当該利用者画像に性別及び年齢の情報が表示されない。この場合、店員が前記利用者画像をタッチすると、制御部１１は、前記利用者画像の顔画像の近傍に利用者番号「４」を表示させ、利用者番号「４」の修正ボタンの領域の色を変更する（図２０参照）。また店員が性別及び年齢をタッチして、性別及び年齢を入力すると、制御部１１は、性別及び年齢を修正する。また、制御部１１は、画像分析情報テーブルＤ１及び属性情報テーブルＤ２の利用者番号「４」に性別及び年齢を登録する。

また、図２１に示す会計画面において、店員が撮像画像Ｐ１の左端の利用者画像の利用者番号「２」をタッチすると、制御部１１は、前記利用者画像の利用者番号「２」を削除し、画像分析情報テーブルＤ１及び属性情報テーブルＤ２の利用者番号「２」に対応する情報を削除する。また、制御部１１は、図２２に示すように、撮像画像Ｐ１の他の利用者画像の番号「３」及び「４」をそれぞれ番号「２」及び「３」に繰り上げ、属性編集欄Ｐ２の番号「３」及び「４」の属性情報を番号「２」及び「３」に繰り上げる。また、制御部１１は、画像分析情報テーブルＤ１及び属性情報テーブルＤ２の利用者番号「３」及び「４」の属性情報を利用者番号「２」及び「３」に繰り上げる。

以上説明したように、本実施形態に係る会計システム１００は、利用者の購入商品の情報を含む購入商品情報を取得し、前記利用者を撮像した撮像画像Ｐ１を取得し、撮像画像Ｐ１から前記利用者の利用者画像を抽出する。また、会計システム１００は、抽出した前記利用者画像に基づいて前記利用者の属性（性別及び年齢）を判定し、判定した前記利用者の属性を示す属性情報と、取得した前記購入商品情報とを関連付けて登録する。これにより、店舗を利用する利用者の属性と当該利用者の購入商品情報とを容易に登録することが可能になる。また、店員による利用者の属性情報の登録操作が不要になる。このため、店員の作業負荷を低減することができ、また正確な属性情報を登録することができる。よって、店舗の市場調査及びマーケティングの精度を向上させることができる。

本発明の会計システム１００は、上述の実施形態に限定されない。会計システム１００は、以下に示す形態であってもよい。

他の実施形態として、例えば図２５に示すように、制御部１１は、撮像画像Ｐ１に含まれる利用者画像（顔画像）から利用者の性別、年齢などの属性を判定できなかった場合に、利用者画像の顔画像の近傍に「？」を表示させてもよい。この場合、例えば店員は、図２５に示す会計画面において、「？」が付与された前記顔画像をタッチして、「年齢」を入力する。これにより、制御部１１は、前記利用者に対応する年齢を登録及び表示することができる。

１ ：会計端末
２ ：カメラ
１００ ：会計システム
１１１ ：商品取得処理部
１１２ ：画像取得処理部
１１３ ：抽出処理部
１１４ ：判定処理部
１１５ ：登録処理部
１１６ ：表示処理部
１１７ ：受付処理部
Ｄ１ ：画像分析情報テーブル
Ｄ２ ：属性情報テーブル
Ｄ３ ：会計情報
Ｄ４ ：購入商品情報
Ｄ５ ：利用者情報
Ｐ１ ：撮像画像
Ｐ２ ：属性編集欄

Claims (11)

1. 利用者の購入商品の情報に対応する購入商品情報を取得する商品取得処理部と、
   前記利用者を撮像した撮像画像を取得する画像取得処理部と、
   前記画像取得処理部により取得される前記撮像画像から前記利用者の利用者画像を抽出する抽出処理部と、
   前記抽出処理部により抽出される前記利用者画像に基づいて前記利用者の属性を判定する判定処理部と、
   前記判定処理部により判定される前記利用者の属性を示す属性情報と、前記商品取得処理部により取得される前記購入商品情報とを関連付けて登録する登録処理部と、
   を備える情報処理システム。
2. 前記画像取得処理部により取得される前記撮像画像を表示部に表示させ、かつ前記撮像画像から抽出される前記利用者の前記利用者画像に対応付けて当該利用者の前記属性情報を前記表示部に表示させる表示処理部をさらに備える、
   請求項１に記載の情報処理システム。
3. 前記表示処理部は、前記利用者画像の近傍に前記属性情報を表示させる、
   請求項２に記載の情報処理システム。
4. 前記表示部に表示される前記撮像画像において前記利用者画像を選択する選択操作を受け付ける受付処理部をさらに備え、
   前記表示処理部は、選択された前記利用者画像に前記選択操作の順番を表す順番画像を対応付けて表示させる、
   請求項２又は請求項３に記載の情報処理システム。
5. 前記登録処理部は、前記属性情報と前記購入商品情報とを関連付けて登録する、
   請求項４に記載の情報処理システム。
6. 前記表示処理部は、前記撮像画像が表示された前記表示部において、前記順番の情報と前記属性情報と前記購入商品情報とを関連付けて表示させる、
   請求項５に記載の情報処理システム。
7. 前記受付処理部は、前記表示部において前記属性情報を修正する修正操作を受け付け、
   前記表示処理部は、前記受付処理部が前記修正操作を受け付けた場合に修正後の前記属性情報を表示させる、
   請求項６に記載の情報処理システム。
8. 前記受付処理部は、前記表示部において前記利用者画像に対応付けて表示された前記順番画像を削除する操作を受け付け、
   前記表示処理部は、前記表示部において互いに関連付けて表示された前記順番の情報と前記属性情報とを削除する、
   請求項６に記載の情報処理システム。
9. 前記抽出処理部は、前記撮像画像から複数の利用者のそれぞれの利用者画像を抽出し、
   前記判定処理部は、前記利用者画像ごとに前記利用者の属性を判定する、
   請求項１から請求項８のいずれか１項に記載の情報処理システム。
10. 一又は複数のプロセッサーが、
    利用者の購入商品の情報に対応する購入商品情報を取得する商品取得ステップと、
    前記利用者を撮像した撮像画像を取得する画像取得ステップと、
    前記画像取得ステップにおいて取得される前記撮像画像から前記利用者の利用者画像を抽出する抽出ステップと、
    前記抽出ステップにより抽出される前記利用者画像に基づいて前記利用者の属性を判定する判定ステップと、
    前記判定ステップにおいて判定される前記利用者の属性を示す属性情報と、前記商品取得ステップにおいて取得される前記購入商品情報とを関連付けて登録する登録ステップと、
    を実行する情報処理方法。
11. 利用者の購入商品の情報に対応する購入商品情報を取得する商品取得ステップと、
    前記利用者を撮像した撮像画像を取得する画像取得ステップと、
    前記画像取得ステップにおいて取得される前記撮像画像から前記利用者の利用者画像を抽出する抽出ステップと、
    前記抽出ステップにより抽出される前記利用者画像に基づいて前記利用者の属性を判定する判定ステップと、
    前記判定ステップにおいて判定される前記利用者の属性を示す属性情報と、前記商品取得ステップにおいて取得される前記購入商品情報とを関連付けて登録する登録ステップと、
    一又は複数のプロセッサーに実行させるための情報処理プログラム。

Images