JP2018101420A - 情報処理システムおよび情報処理プログラム - Google Patents

Abstract

【課題】顔認証を用いた利便性の高い情報処理システムを提供する。【解決手段】情報処理システムは、来店者の顔を含む画像を取得する第１のインターフェースと、第１のプロセッサと、第２のインターフェースと、第２のプロセッサとを有する。第１のプロセッサは、第１のインターフェースにより取得した画像から抽出する来店者の顔情報と会員データベースに登録済みの各会員の登録顔情報とを顔認証し、来店者の顔情報との認証が成功した登録顔情報に対応する会員の登録情報を来店者の顔情報に対応づけて来店者データベースに記憶する。第２のプロセッサは、第２のインターフェースにより取得した画像から抽出する決済対象者の顔情報と来店者データベースが記憶する来店者の顔情報とを顔認証し、決済対象者の顔情報との認証が成功した来店者の顔情報に対応する会員の登録情報を用いて決済処理を行う。【選択図】図１１

Description

本実施形態は、情報処理システムおよび情報処理プログラムに関する。

従来、顧客管理などの情報処理システムには、顔認証を用いるものがある。顔認証処理は、顔照合の対象となる登録情報が多ければ多いほど、処理時間がかかる。また、顔認証を用いた情報処理システムは、人為的な操作によって、顔認証の誤認識率（ＦＲＲ（本人拒否率）、ＦＡＲ（他人許容率））を補うものがある。しかしながら、人為的な操作を前提する顔認証処理は、セルフＰＯＳレジなどによる決済処理を含む情報処理システムに適用し難い。

特開２００４−３２６２０８号公報

本発明は、顔認証を用いた利便性の高い情報処理システムおよび情報処理プログラムを提供することを目的とする。

実施形態によれば、情報処理システムは、来店者の顔を含む画像を取得する第１のインターフェースと、第１のプロセッサと、第２のインターフェースと、第２のプロセッサとを有する。第１のインターフェースは、来店者の顔を含む画像を取得する。第１のプロセッサは、第１のインターフェースにより取得した画像から抽出する来店者の顔情報と会員データベースに登録済みの各会員の登録顔情報とを顔認証し、来店者の顔情報との認証が成功した登録顔情報に対応する会員の登録情報を来店者の顔情報に対応づけて来店者データベースに記憶する。第２のインターフェースは、決済対象者の顔を含む画像を取得する。第２のプロセッサは、第２のインターフェースにより取得した画像から抽出する決済対象者の顔情報と来店者データベースが記憶する来店者の顔情報とを顔認証し、決済対象者の顔情報との認証が成功した来店者の顔情報に対応する会員の登録情報を用いて決済処理を行う。

図１は、第１の実施形態に係る情報処理システムの構成例を概略的に示す図である。 図２は、第１の実施形態に係る情報処理システムを構成する各装置のハードウエア構成例を示すブロック図である。 図３Ａは、第１の実施形態に係る情報処理システムによる処理機能を説明するための図である。 図３Ｂは、第１の実施形態に係る情報処理システムによる処理機能の変形例を示す図である。 図４は、第１の実施形態に係る情報処理システムにおける情報記憶処理の流れを説明するためのフローチャートである。 図５は、第１の実施形態に係る情報処理システムにおける決済処理の流れを説明するためのフローチャートである。 図６は、第２の実施形態に係る情報処理システムのハードウエア構成例を示すブロック図である。 図７は、第２の実施形態に係る情報処理システムの第１の具体例を示す図である。 図８は、第２の実施形態に係る情報処理システムの第２の具体例を示す図である。 図９Ａは、第２の実施形態に係る情報処理システムによる処理機能を説明するための図である。 図９Ｂは、第２の実施形態に係る情報処理システムによる処理機能の変形例を示す図である。 図１０は、第２の実施形態に係る情報処理システムにおける情報記憶処理の流れを説明するためのフローチャートである。 図１１は、第２の実施形態に係る情報処理システムにおける決済処理としての第１の処理例の流れを説明するためのフローチャートである。 図１２は、第２の実施形態に係る情報処理システムにおける決済処理としての第２の処理例の流れを説明するためのフローチャートである。 図１３は、第３の実施形態に係る情報処理システムのハードウエア構成例を示すブロック図である。 図１４は、第３の実施形態に係る決済端末の構成例を示す図である。 図１５は、第３の実施形態に係る情報処理システムにおける決済処理の流れを説明するためのフローチャートである。 図１６は、第３の実施形態に係る商品認識処理を説明するためのフローチャートである。 図１７は、第３の実施形態に係る情報処理システムの変形例を示す図である。

以下、実施の形態について、図面を参照して説明する。 （第１の実施形態）
第１の実施形態は、顧客の情報を会員として登録する仕組みが導入された運用を想定する。第１の実施形態は、会員登録した顧客が店舗に来店し、購入した商品の決済を行って退店することを想定する。また、第１の実施形態に係る情報処理システムは、顔認証によって顧客（会員）を特定し、特定した顧客の会員情報を用いて商品の購入金額などの決済を行う。

図１は、第１の実施形態に係る情報処理システムの構成例を概略的に示す図である。
第１の実施形態に係る情報処理システムは、センタサーバ１０１、店舗サーバ１０２、決済端末１０３、第１カメラ１０４、および、第２カメラ１０５などにより構成する。なお、情報処理システムは、図１に示す構成に限定されない。情報処理システムは、運用規模、運用条件あるいは設置環境などに応じて装置構成を変えて実現できる。例えば、センタサーバ１０１及び店舗サーバ１０２は一体化した装置で実現しても良い。また、店舗サーバ１０２および決済端末１０３は、一体化した装置で実現しても良い。また、第１カメラ１０４は店舗サーバ１０２に設けても良い。第２カメラ１０５は、決済端末１０３に設けても良い。また、センタサーバ１０１あるいは店舗サーバ１０２は、複数の装置で実現しても良い。

センタサーバ１０１は、顧客情報を管理する装置である。センタサーバ１０１は、例えば、本情報処理システムにおける顧客情報を管理するためのセンタに設置する。センタサーバ１０１は、たとえば、本情報処理システムを運用する複数の店舗を統括する本社に設置しても良いし、クラウド上に設けても良い。

センタサーバ１０１は、会員情報データベース（会員ＤＢ）１０１ａを有する。会員ＤＢ１０１ａは、会員ごとの会員情報を記憶する。会員情報は、会員の顔認証用の登録情報（登録顔情報）および会員の登録情報を含む。センタサーバ１０１は、店舗サーバ１０２にネットワーク接続する。センタサーバ１０１と店舗サーバ１０２とは、地理的に離れていてよい。

店舗サーバ１０２は、店舗内の情報を管理する装置である。店舗サーバ１０２は、例えば、店舗内に設置する。店舗サーバ１０２は、店舗内の各機器と接続できれば、店舗外に設置しても良い。店舗サーバ１０２は、来店者情報データベース（来店者ＤＢ）１０２ａを有する。来店者ＤＢ１０２ａは、来店者ごとの来店者情報を記憶する。来店者情報は、来店者の顔情報および来店者の登録情報などを含む。

店舗サーバ１０２は、センタサーバ１０１、決済端末１０３および第１カメラ１０４に接続する。第１カメラ１０４は、入店した人物（来店者）の顔を撮影する。たとえば、第１カメラ１０４は、店舗の入口付近に設置し、入口から入店する人物の顔を撮影する。第１カメラ１０４は、顔認証に用いる顔画像として来店者の顔を撮影するものであれば良い。店舗サーバ１０２は、第１カメラ１０４が撮影した画像を取得する。店舗サーバ１０２は、第１カメラ１０４が撮影した画像から来店者の顔情報を抽出する。なお、第１カメラ１０４は、撮影した画像から来店者の顔を検出し、検出した来店者の顔を含む画像（顔画像）データを店舗サーバ１０２へ供給しても良い。

また、店舗サーバ１０２は、決済端末１０３にも接続する。店舗サーバ１０２と複数の決済端末１０３とは、例えば、店舗内のネットワークを介して接続する。決済端末１０３は、店舗内に１台であっても良いし、複数あっても良い。図１に示す構成例では、決済コーナーは、店舗の出口の手前にある。入口から入店した利用者は、売場で商品を選択した後、売場から決済コーナーへ入る。決済コーナーに入った利用者は、決済端末１０３を用いて商品の購入決済を行う。決済を終了した利用者は、出口から退店するレイアウトとなっている。

決済端末１０３は、商品の購入代金などの金額の決済を行う装置である。決済端末１０３は、第２カメラ１０５に接続する。第２カメラ１０５は、金額の決済を行う人物（決済対象者）の顔を撮影する。たとえば、第２カメラ１０５は、決済コーナーの入口付近に設置する。決済端末１０３は、第２カメラ１０５が撮影した画像を取得する。決済端末１０３は、第２カメラ１０５が撮影した画像から決済対象者の顔を検出し、検出した決済対象者の顔画像から顔情報を抽出する。

次に、図２は、第１の実施形態に係る情報処理システムを構成する各装置のハードウエア構成例を示すブロック図である。
センタサーバ１０１は、プロセッサ１１１、メモリ１１２、ネットワーク（ＮＷ）Ｉ／Ｆ１１３、および、記憶部１１４を有する。プロセッサ１１１は、プログラムを実行することにより種々の処理機能を実現する。メモリ１１２は、ＲＯＭなどのプログラムメモリ、ＲＡＭなどのワーキングメモリなどを含む。プロセッサ１１１は、メモリ１１２が記憶するプログラムを実行することにより種々の処理機能を実現する。

ネットワークＩ／Ｆ１１３は、ネットワークを介して店舗サーバ１０２と接続するためのインターフェースである。例えば、ネットワークＩ／Ｆ１１３は、店舗外の広域ネットワークを介して店舗サーバ１０２と通信する。記憶部１１４は、大容量の不揮発性メモリである。例えば、記憶部１１４は、ハードディスクドライブ（ＨＤＤ）あるいはソリッドステートドライブ（ＳＳＤ）などの記憶装置で構成する。記憶部１１４は、会員ＤＢ１０１ａを有する。

店舗サーバ１０２は、プロセッサ１２１、メモリ１２２、ネットワーク（ＮＷ）Ｉ／Ｆ１２３、カメラＩ／Ｆ１２４．決済端末Ｉ／Ｆ１２５、および、記憶部１２６を有する。プロセッサ１２１は、プログラムを実行することにより種々の処理機能を実現する。メモリ１２２は、ＲＯＭなどのプログラムメモリ、ＲＡＭなどのワーキングメモリなどを含む。プロセッサ１２１は、メモリ１２２が記憶するプログラムを実行することにより種々の処理機能を実現する。

ネットワークＩ／Ｆ１２３は、ネットワークを介してセンタサーバ１０１と接続するためのインターフェースである。例えば、ネットワークＩ／Ｆ１２３は、店外の広域ネットワークを介してセンタサーバ１０１と通信する。

カメラＩ／Ｆ１２４は、第１カメラ１０４と接続するためのインターフェースである。カメラＩ／Ｆ１２４は、専用ケーブルを介して第１カメラ１０４と接続するインターフェースであっても良い。また、カメラＩ／Ｆ１２４は、無線通信を介して第１カメラ１０４と接続するインターフェースであっても良い。また、カメラＩ／Ｆ１２４は、第１カメラ１０４が接続された店内のローカルエリアネットワーク（ＬＡＮ）に接続するＬＡＮインターフェースであっても良い。

決済端末Ｉ／Ｆ１２５は、店内の決済端末１０３と接続するためのインターフェースである。決済端末Ｉ／Ｆ１２５は、たとえば、店内のＬＡＮに接続するＬＡＮインターフェースであっても良い。
記憶部１２６は、大容量の不揮発性メモリである。例えば、記憶部１２６は、ＨＤＤあるいはＳＳＤなどの記憶装置で構成する。記憶部１２６は、来店者情報を記憶する来店者ＤＢ１０２ａを有する。

決済端末１０３は、プロセッサ１３１、メモリ１３２、店舗サーバＩ／Ｆ１３３、カメラＩ／Ｆ１３４、操作部１３５、表示部１３６、商品識別部１３７、および決済部１３８を有する。プロセッサ１３１は、プログラムを実行することにより種々の処理機能を実現する。メモリ１３２は、ＲＯＭなどのプログラムメモリ、ＲＡＭなどのワーキングメモリなどを含む。プロセッサ１３１は、メモリ１３２が記憶するプログラムを実行することにより種々の処理機能を実現する。たとえば、プロセッサ１３１は、決済部１３８を用いて購入代金を決済する決済処理を行う機能を有する。

店舗サーバＩ／Ｆ１３３は、店舗サーバ１０２と接続するためのインターフェースである。店舗サーバＩ／Ｆ１３３は、たとえば、店舗サーバ１０２が接続されたＬＡＮに接続するＬＡＮインターフェースで実現できる。

カメラＩ／Ｆ１３４は、第２カメラ１０５と接続するためのインターフェースである。カメラＩ／Ｆ１３４は、たとえば、専用ケーブルあるいは無線通信を介して第２カメラ１０５と接続するインターフェースで実現できる。また、カメラＩ／Ｆ１３４は、第２カメラ１０５が接続されたＬＡＮに接続するＬＡＮインターフェースであっても良い。

操作部１３５は、決済処理に係る操作を入力する操作装置である。表示部１３６は、表示装置である。たとえば、表示部１３６は、購入商品名や決済金額などを表示する。商品識別部１３７は、決済する商品を識別する。決済部１３８は、購入金額を決済する。決済部１３８は、例えば、キャッシャー、カード処理装置などを含む。

次に、第１の実施形態に係る情報処理システムにおける各装置の処理機能について概略的に説明する。
図３Ａは、第１の実施形態に係る情報処理システムによる処理機能を説明するための図である。なお、図３Ａに示す各部は、各装置内のプロセッサがメモリに記憶したプログラムを実行することにより実現する処理機能である。
また、以下に説明する第１の実施形態では、情報処理システムを利用する各顧客は、通常、予め会員登録しておくことを前提とする。センタサーバ１０１は、顧客の会員情報を会員ＤＢ１０１ａに登録する登録部２０１を有する。登録部２０１は、プロセッサ１１１がメモリ１１２に記憶した登録処理用のプログラムを実行することにより実現する処理機能である。登録部２０１は、会員ごとの会員登録情報を取得し、取得した会員登録情報の全てあるいは一部を会員情報として会員ＤＢ１０１ａに登録する。

会員情報は、当該会員の登録用の顔情報（登録顔情報）Ｒｆ、および、当該会員の登録個人情報（登録情報）Ｒｉを含む。登録顔情報Ｒｆは、顔認証処理に用いる情報である。登録顔情報Ｒｆは、当該会員の顔画像そのものであっても良いし、顔認証処理に用いる当該会員の顔の特徴量であっても良い。また、登録情報Ｒｉは、当該会員の氏名、性別、年齢、住所、電話番号、メールアドレス、会員ＩＤ、および、決済情報などの個人情報を含む。決済情報は、たとえば、金額の決済に利用可能なクレジット決済情報あるいは金額の決済に利用可能な会員ポイント情報などの情報である。

センタサーバ１０１は、会員情報を登録した会員ＤＢ１０１ａを管理する。センタサーバ１０１は、店舗サーバ１０２から要求に応じて会員ＤＢ１０１ａが保持する情報を提供する。たとえば、センタサーバ１０１は、店舗サーバ１０２からの問合せに対して会員ＤＢ１０１ａに登録した登録顔情報Ｒｆを提供する。また、センタサーバ１０１は、店舗サーバ１０２からの会員の登録情報Ｒｉの問合せに対して登録情報Ｒｉを提供する。また、センタサーバ１０１は、店舗サーバ１０２からの要求を受けて会員ＤＢ１０１ａにおける会員情報の更新、又は、会員情報への新たな情報の追記などを行うようにしても良い。

店舗において、来店確認部２１１は、顧客の入店を確認する。来店確認部２１１は、処理の開始、即ち、顔画像の撮影を行うタイミングを与えるトリガーを発生する。来店確認部２１１は、店舗の入口に設け、入店する人物を検知するゲート（入館ゲート）で構成しても良い。また、来店確認部２１１は、第１カメラ１０４を明示的に設置し、来店した顧客自身が押す撮影ボタンで構成しても良い。また、来店確認部２１１は、入口付近に設置したカメラが継続的に撮影する画像から画像認識処理により人物あるいは顔を検出するものであっても良い。

第１カメラ１０４は、来店確認部２１１が来店を確認すると、撮影部２２１により入店する顧客（来店者）の顔を含む画像を撮影する。第１カメラ１０４は、来店者の顔を撮影した画像（撮影画像）データを店舗サーバ１０２へ供給する。第１カメラ１０４は、撮影した画像のうち顔が含まれる画像データのみを店舗サーバ１０２へ供給しても良い。また、第１カメラ１０４は、撮影した画像のうち顔領域の画像を切り出した顔画像データを店舗サーバ１０２へ供給しても良い。なお、顔情報は、撮影画像から抽出される情報である。このため、第１カメラ１０４が店舗サーバ１０２へ供給する情報は、顔情報を含む情報である。

店舗サーバ１０２は、画像取得部２３０により、カメラＩ／Ｆ１２４を介して第１カメラ１０４が撮影した撮影画像（顔情報を含む情報）を取得する。画像取得部２３０は、プロセッサ１２１に制御されるカメラＩ／Ｆ１２４により実現する。また、顔抽出部２３１は、画像取得部２３０により取得した第１カメラ１０４の撮影画像から来店者の顔情報Ｃｆを抽出する。顔抽出部２３１は、プロセッサ１２１がプログラムを実行することにより実現する。顔抽出部２３１は、第１カメラ１０４の撮影画像から抽出した来店者の顔情報Ｃｆを顔認証部２３２へ供給するとともに、来店者ＤＢ１０２ａに記憶する。

たとえば、顔抽出部２３１は、取得した撮影画像から顔領域の画像を抽出し、抽出した顔領域の画像から顔認証に用いる顔情報としての顔の特徴量を抽出しても良い。この場合、顔抽出部２３１は、顔の特徴量を来店者の顔情報Ｃｆとして顔認証部２３２へ供給し、来店者ＤＢ１０２ａに記憶する。また、顔抽出部２３１は、顔領域の画像を所定のサイズに切り出した顔画像データを来店者の顔情報Ｃｆとして顔認証部２３２へ供給し、来店者ＤＢ１０２ａに記憶しても良い。

登録顔情報取得部２３４は、会員ＤＢ１０１ａが記憶する登録顔情報Ｒｆをセンタサーバ１０１から取得する。登録顔情報取得部２３４は、プロセッサ１２１がネットワークＩ／Ｆ１２３を介してセンタサーバ１０１と通信することにより実現する処理機能である。登録顔情報取得部２３４は、センタサーバ１０１から登録顔情報Ｒｆを取得し、顔認証部２３２へ供給する。例えば、登録顔情報取得部２３４は、センタサーバ１０１へ登録顔情報Ｒｆを問い合わせ、問合せに対する応答としてセンタサーバ１０１から顔認証の対象とする登録顔情報Ｒｆを取得する。

顔認証部２３２は、顔抽出部２３１から供給される来店者の顔情報Ｃｆと登録顔情報取得部２３４が取得する会員の顔情報（登録顔情報）Ｒｆとの顔照合による顔認証処理を行う。顔認証部２３２は、プロセッサ１２１がメモリ１２２に記憶した顔認証用のプログラムを実行することにより実現する処理機能である。顔認証部２３２の顔認証処理は、特定のアルゴリズムに限定されるものではない。

また、第１の実施形態では、決済を開始するまでの間（決済コーナーへ行くまでの間）に顔認証の結果が得られればよい。このため、来店者の顔情報Ｃｆと会員の顔情報Ｒｆとの顔認証処理には、十分な処理時間が見込める。従って、顔認証部２３２は、会員ＤＢ１０１ａの登録顔情報Ｒｆが多い場合であっても、処理時間がかかる高度なアルゴリズムによる顔認証処理が行える。

例えば、顔認証処理は、複数の顔の特徴的な部位（例えば、目、鼻、口などの特徴点）の相対的な位置を示す特徴量（顔の特徴量）を顔情報として照合するものであっても良い。顔の特徴量を用いて顔認証を行う場合、会員ＤＢ１０１ａ及び来店者ＤＢ１０２ａは、会員の顔情報Ｒｆ及び来店者の顔情報Ｃｆとして顔の特徴量を記憶しても良い。顔の特徴量は、人間が一瞥して個人を特定できる情報ではない。このため、顔情報として顔の特徴量をＤＢに登録することにより、個人情報保護などのセキュリティ性が向上できる。

なお、来店者の顔情報Ｃｆと登録顔情報Ｒｆとの顔認証処理は、センタサーバ１０１が実施しても良い。この場合、顔認証部２３２と登録顔情報取得部２３４とは、来店者の顔情報Ｃｆと登録顔情報Ｒｆとの顔認証をセンタサーバ１０１へ依頼し、その顔認証の結果を取得するものとすればよい。センタサーバ１０１は、店舗サーバ１０２からの依頼に応じて顔認証処理を実施し、その顔認証の処理結果を店舗サーバ１０２へ返すようにすれば良い。

登録情報取得部２３５は、センタサーバ１０１から特定の会員の登録情報Ｒｉを取得する。登録情報取得部２３５は、プロセッサ１２１がネットワークＩ／Ｆ１２３を介してセンタサーバ１０１と通信することにより実現する処理機能である。登録情報取得部２３５は、顔認証部２３２の顔認証処理によって来店者の顔画像と一致した（同定した）登録顔情報Ｒｆに対応する会員の登録情報Ｒｉを取得する。登録情報取得部２３５は、取得した会員（来店者と同定した会員）の登録情報Ｒｉと当該来店者の顔情報Ｃｆとを１人の来店者情報として来店者ＤＢ１０２ａに記憶する。これにより、来店者ＤＢ１０２ａは、来店者ごとの来店者情報として、来店者の顔情報Ｃｆと当該来店者と同定した会員の登録情報Ｒｉとを記憶する。

また、店舗内の決済コーナーにおいて、決済開始部２４１は、決済対象者を検出する。決済開始部２４１は、決済処理の開始、即ち、決済対象者の顔を撮影するタイミングを与えるトリガーを発生する。決済開始部２４１は、決済コーナーの入口あるいは決済端末１０３の手前に設けたゲートにより、決済しようとする人物を検知するように構成しても良い。また、決済開始部２４１は、第２カメラ１０５を明示的に設置し、決済を行いたい顧客自身が押す撮影ボタンで構成しても良い。また、決済開始部２４１は、決済コーナーの入口あるいは決済端末１０３付近に設置したカメラが撮影した画像から決済対象者を検出するものであっても良い。

第２カメラ１０５は、撮影部２５１により商品等の購入代金を精算する利用者（決済対象者）の顔を撮影する。第２カメラ１０５は、たとえば、決済開始部２４１が決済対象者を検知すると、決済対象者の顔を含む画像を撮影する。第２カメラ１０５は、決済対象者の顔を撮影した画像（撮影画像）データを決済端末１０３へ供給する。第２カメラ１０５は、撮影した画像のうち顔が含まれる画像のみを決済端末１０３へ供給しても良い。また、第２カメラ１０５は、撮影した画像のうち顔領域の画像を所定のサイズに切り出した画像データを決済端末１０３へ供給しても良い。なお、顔情報は、撮影画像から抽出される情報である。このため、第２カメラ１０５が決済端末１０３へ供給する情報は、顔情報を含む情報である。 決済端末１０３は、画像取得部２６０により第２カメラ１０５が撮影した撮影画像（顔情報を含む情報）を取得する。画像取得部２６０は、プロセッサ１３１が制御するカメラＩ／Ｆ１３４により実現する。顔抽出部２６１は、画像取得部２６０が取得した画像から顔情報を抽出し、抽出した顔情報を顔認証部２６２へ供給する。顔抽出部２６１は、プロセッサ１３１がプログラムを実行することにより実現する機能である。また、顔抽出部２６１は、取得した画像に含まれる顔画像から算出する顔の特徴量（顔認証に用いる特徴量）を決済対象者の顔情報として顔認証部２６２へ供給しても良い。

顔認証部２６２は、顔抽出部２６１から供給される決済対象者の顔情報と来店者ＤＢ１０２ａが記憶する来店者の顔情報Ｃｆとの顔照合による顔認証処理を行う。顔認証部２６２は、プロセッサ１３１がメモリ１３２に記憶した顔認証用のプログラムを実行することにより実現する処理機能である。顔認証部２６２の顔認証処理は、特定のアルゴリズムに限定されるものではない。ただし、店舗サーバ１０２の顔認証部２３２と決済端末１０３の顔認証部２６２は、原則として同じアルゴリズムで顔認証を行うものである。

来店者ＤＢ１０２ａが記憶する来店者の顔情報の数は、会員ＤＢ１０１ａが記憶する会員の顔情報の数よりも少ない。従って、顔認証部２６２の顔認証処理は、決済対象者の顔情報と照合する顔情報を来店者の顔情報Ｃｆに絞り込めるため、高速な顔認証が行える。また、顔認証部２６２は、第２カメラ１０５が撮影した画像（決済時の顔画像）から抽出した顔情報と第１カメラ１０４が撮影した顔画像（来店時の顔画像）から抽出した顔情報Ｃｆとを照合する。このため、顔認証部２６２は、経時変化の影響が少ない顔画像同士での高精度な顔認証が行える。

なお、第２カメラ１０５が撮影した画像から抽出した決済対象者の顔情報と来店者の顔情報Ｃｆとの顔認証処理は、店舗サーバ１０２が実施しても良い。この場合、顔認証部２６２は、決済対象者の顔情報と来店者情報の顔情報Ｃｆとの顔認証を店舗サーバ１０２へ依頼し、その顔認証の結果を取得するものとすればよい。店舗サーバ１０２は、決済端末１０３からの依頼に応じて顔認証処理を実施し、その顔認証の処理結果を決済端末１０３へ返すようにすれば良い。

決済部２６３は、第２カメラ１０５が撮影した購入者に対して決済処理を行う。決済部２６３は、顔認証部２６２から顔認証の結果を取得する。決済部２６３は、顔認証部２６２の顔認証によって決済対象者が特定の来店者であることが認証できた場合、当該来店者の来店者情報の登録情報Ｒｉを取得する。決済部２６３は、取得した登録情報Ｒｉを用いて通常処理として決済処理を実行する。

たとえば、登録情報Ｒｉを用いた決済処理は、登録情報Ｒｉに含まれるクレジット決済情報による決済が適用できる。この場合、センタサーバ１０１は、クレジット決済情報を登録情報Ｒｉの一部として会員ＤＢ１０１ａに登録する。決済部２６３は、登録情報Ｒｉに含まれるクレジット決済情報をクレジット信販会社に照会し、購入金額の課金処理を行う。また、登録情報Ｒｉを用いた決済処理は、予め貯めた会員ポイントによる購入金額の支払い手続きであってもよい。これらの決済処理によれば、利用者は、顔認証による得られる会員の登録情報Ｒｉを用いて自動的に購入金額の決済が可能となる。

また、決済部２６３は、決済対象者の顔情報がどの来店者の顔情報Ｃｆとも一致しなかった場合、予め定めた例外処理によって決済処理を行う。また、例外処理による決済処理は、店員の居る決済端末に顧客を誘導し、店員を介した購入決済手続きにより商品の購入を完了させるもので良い。また、例外処理による決済処理は、顧客が所持しているクレジットカードを利用したセルフレジ方式により購入決済を行うことでも良い。これらの例外処理によれば、顔認証が失敗した場合であっても、商品の購入などの金額の決済処理を完了させることが可能である。

また、決済部２６３は、決済処理が完了した後、決済内容などを店舗サーバ１０２に通知しても良い。決済内容の通知を受けた店舗サーバ１０２は、決済内容をセンタサーバ１０１へ通知しても良い。決済内容の通知を受けたセンタサーバ１０１は、決済内容に基づいて会員ＤＢ１０１ａの会員情報を更新したり、決済内容を会員情報に対応づけて記憶したりしても良い。

退店確認部２７１は、顧客の退店を確認する。退店確認部２７１は、店舗の出口に設け、顧客の退店を検知するゲート（退館ゲート）で構成しても良い。また、退店確認部２７１は、退店する顧客を一意に識別するため、レシートなどの購入決済情報履歴との照合を行うものでも良い。また、退店確認部２７１は、店舗の出口付近に設けたカメラが撮影する画像から顧客の退店を認識するものでも良い。また、出口経路のレイアウトなどにより、決済処理後の顧客が退店することを前提とする運用である場合、退店確認部２７１は、省略しても良い。

店舗サーバ１０２の後処理部２８１は、退店確認の通知を受けると、当該顧客の来店者情報を来店者ＤＢ１０２ａから削除する。また、決済完了後の顧客が退店することを前提とする運用である場合、後処理部２８１は、決済部２６３からの決済完了の通知を受けて当該顧客の来店者情報を削除しても良い。また、後処理部２８１は、所定時間以上が経過した来店者情報を抽出して削除するようにしても良い。

図３Ｂは、図３Ａに示す第１の実施形態に係る情報処理システムによる処理機能の構成の変形例を示す図である。なお、図３Ｂは、図３Ａと同一の構成箇所には同一符号を付して詳細な説明するものする。

図３Ｂに示す第１カメラ１０４´は、図３Ａに示す第１カメラ１０４の構成に加えて、顔抽出部２２２を有する。図３Ｂに示す第２カメラ１０５´は、図３Ａに示す第２カメラ１０５の構成に加えて顔抽出部２５２を有する。また、図３Ｂに示す店舗サーバ１０２´は、図３Ａに示す店舗サーバ１０２の画像取得部２３０及び顔抽出部２３１に代えて、顔情報取得部２３１´を有する。また、図３Ｂに示す決済端末１０３´は、図３Ａに示す決済端末１０３の画像取得部２６０及び顔抽出部２６１に代えて、顔情報取得部２６１´を有する。

第１カメラ１０４´の顔抽出部２２２は、撮影部２２１が撮影した画像から顔情報を抽出する。顔抽出部２２２は、撮影した画像から抽出した顔情報を店舗サーバ１０２´の顔情報取得部２３１´へ供給する。すなわち、図３Ｂに示す情報処理システムは、第１カメラ１０４´が撮影した画像そのものではなく、撮影した画像から抽出した顔情報（少なくとも顔情報を含む情報）を店舗サーバ１０２´へ供給する。店舗サーバ１０２´の顔情報取得部２３１´は、撮影した画像から抽出した顔情報（少なくとも顔情報を含む情報）を第１カメラ１０４´から取得する。顔情報取得部２３１´は、取得した顔情報を顔認証部２３２へ供給するとともに、来店者ＤＢ１０２ａに記憶する。

なお、第１カメラ１０４´は、撮影した画像とともに、撮影した画像から抽出した顔情報を店舗サーバ１０２´へ供給するようにしても良い。この場合、店舗サーバ１０２´の顔情報取得部２３１´は、来店者ＤＢに撮影画像を記憶するようにしても良い。

第２カメラ１０５´の顔抽出部２５２は、撮影部２５１が撮影した画像から顔情報を抽出する。顔抽出部２５２は、撮影した画像から抽出した顔情報を決済端末１０３´の顔情報取得部２６１´へ供給する。すなわち、図３Ｂに示す情報システムは、第２カメラ１０５´が撮影した画像そのものではなく、撮影した画像から抽出した顔情報（少なくとも顔情報を含む情報）を決済端末１０３´へ供給する。決済端末１０３´の顔情報取得部２６１´は、撮影した画像から抽出した顔情報（少なくとも顔情報を含む情報）を第２カメラ１０５´から取得する。顔情報取得部２６１´は、取得した顔情報を顔認証部２６２へ供給する。

なお、第１の実施形態に係る情報処理システムは、図３Ａに示す構成と図３Ｂに示す構成とを組み合わせて実現しても良い。たとえば、情報処理システムは、第１カメラおよび店舗サーバを図３Ａの構成とし、第２カメラ及び決済端末を図３Ｂの構成としても良い。また、情報処理システムは、第１カメラおよび店舗サーバを図３Ｂの構成とし、第２カメラ及び決済端末を図３Ａの構成としても良い。

また、図３Ａ及び図３Ｂに示す各部は、情報処理システム内のどの装置が実現しても良い。たとえば、店舗サーバ１０２の各部は、一部又は全部を決済端末１０３に設けても良い。また、決済端末１０３の各部は、一部又は全部を店舗サーバ１０２に設けても良い。たとえば、小規模の店舗であれば、店舗サーバ１０２と決済端末１０３を一体的に構成した装置で情報処理システムを実現しても良い。また、センタサーバ１０１の各部も、一部又は全部を店舗サーバ１０２に設けても良い。
また、以下の説明は、主に、図３Ａに示す構成例を想定する。

次に、第１の実施形態に係る情報処理システムにおいて、来店者情報を来店者ＤＢ１０２ａに記憶する情報記憶処理について説明する。
図４は、第１の実施形態に係る情報処理システムにおける情報記憶処理の流れを説明するためのフローチャートである。
顧客が店舗に来店すると、来店確認部２１１は、顧客の入店を検出する（ＡＣＴ１００）。来店確認部２１１は、顧客の入店を検出すると、顧客が入店したこと（或いは顔画像の撮影開始）を第１カメラ１０４に通知する。第１カメラ１０４は、来店確認部２１１から顧客が入店した事を通知されると、入店した顧客（来店者）の顔を撮影する（ＡＣＴ１０１）。第１カメラ１０４は、来店者の顔を含む画像を撮影した撮影画像（顔情報を含む情報）を店舗サーバ１０２へ供給する。

店舗サーバ１０２のプロセッサ１２１は、カメラＩ／Ｆ１２４を介して第１カメラ１０４から撮影画像（顔情報を含む情報）を取得する（ＡＣＴ１０２）。プロセッサ１２１は、取得した撮影画像から来店者の顔情報Ｃｆを抽出する（ＡＣＴ１０３）。プロセッサ１２１は、第１カメラ１０４の撮影画像から来店者の顔情報Ｃｆが抽出できた場合、抽出した来店者の顔情報Ｃｆを来店者ＤＢ１０２ａに記憶する（ＡＣＴ１０４）。来店者の顔情報Ｃｆは、顔画像から抽出する顔照合に用いる顔の特徴量であっても良いし、撮影画像から顔領域の画像を抽出した顔画像データであっても良い。

なお、図３Ｂに示す構成であれば、店舗サーバ１０２´は、撮影画像から抽出した顔情報を第１カメラ１０４´から取得するものとなる。 また、プロセッサ１２１は、来店者の顔情報Ｃｆが得られると、来店者の顔情報Ｃｆと一致する会員ＤＢ１０１ａの登録顔情報Ｒｆを検索する顔認証処理を行う。たとえば、プロセッサ１２１は、センタサーバ１０１の会員ＤＢ１０１ａから顔認証（照合）の対象となる複数の登録顔情報Ｒｆを取得する（ＡＣＴ１０５）。プロセッサ１２１は、来店者の顔情報Ｃｆとセンタサーバ１０１から取得した各登録顔情報Ｒｆとの顔認証（１：Ｎの顔照合）を行う（ＡＣＴ１０６）。

たとえば、プロセッサ１２１は、来店者の顔情報Ｃｆと同定（同一人物であると判断）できる登録顔情報Ｒｆが有るか否かにより、顔認証が成功したか否かを判断する（ＡＣＴ１０７）。たとえば、プロセッサ１２１は、来店者の顔情報Ｃｆと特定の登録顔情報Ｒｆとが同定（同一人物であると判断）すると、顔認証が成功したものとする。また、プロセッサ１２１は、来店者の顔情報Ｃｆがどの登録顔情報Ｒｆとも同定しなかった場合、顔認証が失敗したものとする。

顔認証が成功した場合（ＡＣＴ１０７、ＹＥＳ）、プロセッサ１２１は、来店者の顔情報Ｃｆと同定した登録顔情報Ｒｆに対応する登録情報Ｒｉを取得する（ＡＣＴ１０８）。プロセッサ１２１は、登録情報Ｒｉを取得すると、取得した登録情報Ｒｉを当該来店者の顔情報Ｃｆと対応づけて来店者情報として来店者ＤＢ１０２ａに記憶する（ＡＣＴ１０９）。なお、プロセッサ１２１は、登録顔情報Ｒｆとともに登録情報Ｒｉを取得するようにしても良い。

また、顔認証が失敗した場合（ＡＣＴ１０７、ＮＯ）、プロセッサ１２１は、来店者が会員登録されていないと見做し、例外処理（非会員処理）を行う。たとえば、プロセッサ１２１は、顔認証が失敗した場合、当該来店者に対して非会員用の情報を生成する（ＡＣＴ１１０）。プロセッサ１２１は、非会員の情報に対応づけて当該来店者の顔情報Ｃｆを非会員の来店者情報として来店者ＤＢ１０２ａに記憶する（ＡＣＴ１０９）。

なお、来店者の顔情報Ｃｆと登録顔情報Ｒｆとの顔認証処理は、センタサーバ１０１が実施しても良い。この場合、店舗サーバ１０２のプロセッサ１２１は、ＡＣＴ１０５−１０８に代わる処理として、センタサーバ１０１へ顔認証を依頼し、その結果を取得する処理を行う。例えば、プロセッサ１２１は、来店者の顔情報Ｃｆと登録顔情報Ｒｆとの顔認証の依頼とをセンタサーバ１０１へ送信する。プロセッサ１２１は、顔認証を依頼した後、来店者の顔情報Ｃｆと同定した登録顔情報Ｒｆに対応する登録情報Ｒｉ、又は、顔認証の失敗の通知をセンタサーバ１０１から取得する。

上記のような情報記憶処理によれば、店舗サーバは、実際に来店した来店者の顔情報と来店者の会員としての登録情報とを来店者情報として来店者ＤＢに記憶することができる。また、来店者の顔情報と登録済みの会員の登録顔情報との顔認証処理は、顧客が決済を行うまでの期間で実施できる。このため、会員数が非常に多い運用形態であっても、顧客が買い物などで売場にいる時間を有効に活用して時間のかかる顔認証処理を実施できる。この結果、入店時に顔認証処理の完了待ちで入店を待たされるなどのサービス低下を回避することが可能となる。

次に、第１の実施形態に係る情報処理システムにおける決済処理について説明する。
図５は、第１の実施形態に係る情報処理システムにおける決済処理の流れを説明するためのフローチャートである。
決済開始部２４１は、決済対象者を検出することにより決済開始を検知する（ＡＣＴ２００）。決済開始部２４１は、例えば、顧客が決済コーナーの入口を通過した場合、又は、顧客が所定のボタン（撮影ボタンあるいは決済開始ボタン）を押した場合、決済開始を検知しても良い。また、決済開始部２４１は、カメラが撮影した画像から決済対象者が検出された場合、決済開始を判断しても良い。決済開始部２４１は、決済開始を判断すると、決済開始を第２カメラ１０５へ通知する。

第２カメラ１０５は、決済開始の通知を受けると、決済対象者（購入者）の顔画像を撮影する（ＡＣＴ２０１）。第２カメラ１０５は、撮影した撮影画像（顔情報を含む情報）を決済端末１０３へ供給する。
決済端末１０３のプロセッサ１３１は、カメラＩ／Ｆ１３４を介して第２カメラ１０５から撮影画像（顔情報を含む情報）を取得する（ＡＣＴ２０２）。プロセッサ１３１は、撮影画像を取得すると、取得した撮影画像から決済対象者の顔情報を抽出する（ＡＣＴ２０３）。

なお、図３Ｂに示す構成であれば、決済端末１０３´は、撮影画像から抽出した顔情報を第２カメラ１０５´から取得するものとなる。 プロセッサ１３１は、決済対象者の顔情報が抽出できた場合、顔認証部２６２の機能により決済対象者の顔情報と来店者の顔情報Ｃｆとの顔認証を行う（ＡＣＴ２０４）。プロセッサ１３１は、決済対象者の顔情報と同定（同一人物であると判断）できる来店者の顔情報Ｃｆが有るか否かにより、顔認証が成功したか否かを判断する（ＡＣＴ２０５）。たとえば、プロセッサ１３１は、決済対象者の顔情報と同定する来店者の顔情報Ｃｆが存在する場合、顔認証が成功したものとする。また、プロセッサ１３１は、決済対象者の顔情報がどの来店者の顔情報Ｃｆとも同定しなかった場合、顔認証が失敗したものとする。

顔認証が成功した場合（ＡＣＴ２０５、ＹＥＳ）、プロセッサ１３１は、決済部２６３の機能により決済対象者の顔情報と同定した来店者の顔情報Ｃｆに対応する登録情報Ｒｉを取得する（ＡＣＴ２０６）。プロセッサ１３１は、登録情報Ｒｉを取得すると、取得した登録情報Ｒｉを用いて決済処理を行う（ＡＣＴ２０７）。例えば、登録情報Ｒｉには、決済に使用できる決済情報としてクレジット決済情報あるいは会員ポイント情報が含まれるものとする。この場合、プロセッサ１３１は、取得した登録情報Ｒｉに含まれる決済情報によって商品の購入代金などの金額を決済すればよい。

ここで、登録情報Ｒｉを用いた決済処理は、例えば、登録情報Ｒｉに含まれるクレジット決済情報を用いて金額の決済を行う。また、登録情報Ｒｉを用いた決済処理は、予め貯めてあった会員ポイントによる支払い手続きによるものであっても良い。何れの決済処理の場合であっても、登録情報Ｒｉを用いて決済を行うことにより、顧客の手を煩わせることなく自動的に商品購入などに伴う決済手続きを済ませることが可能となる。

なお、プロセッサ１３１は、決済処理において、決済内容を示すレシートをプリントしても良い。また、プロセッサ１３１は、決済処理が完了すると、決済内容を示す情報を記憶部に記憶したり、決済内容などの情報をセンタサーバ１０１へ通知したりするようにしても良い。

退店確認部２７１は、顧客が退店したことを確認する（ＡＣＴ２０８）。たとえば、退店確認部２７１は、決済処理が完了した顧客が出口から退店することを確認する。退店確認部２７１は、顧客が退店したことを確認すると、退店した顧客を示す情報（例えば、会員ＩＤなどの来店者情報の識別情報の一部で良い）を店舗サーバ１０２へ通知する。

店舗サーバ１０２のプロセッサ１２１は、退店確認部２７１からの退店の確認情報を受けると、後処理部２８１の機能により退店した顧客の来店者情報を来店者ＤＢ１０２ａから削除する（ＡＣＴ２０９）。
なお、決済処理を終えた顧客が必ず退店することを前提とする運用であれば、ＡＣＴ２０８の退店確認処理は省略して良い。また、プロセッサ１２１は、退店確認部２７１が退店を確認できなかった顧客の来店者情報を削除するため、所定の期間以上が経過した来店者情報を削除しても良い。例えば、プロセッサ１２１は、店舗が閉店した後、来店者ＤＢ１０２ａの来店者情報を削除しても良い。

また、顔認証が失敗した場合（ＡＣＴ２０５、ＮＯ）、プロセッサ１３１は、当該決済対象者に対して、予め定めた例外処理による決済処理を行う（ＡＣＴ２１０）。顔認証の失敗は、当該決済対象者が来店者情報の来店者であることを認証できなかった事を意味する。プロセッサ１３１は、顔認証が失敗した場合（決済対象者が来店者情報の来店者であることが認証できなかった場合）、決済処理に用いる決済情報を含む識別情報が確認できない。プロセッサ１３１は、顔認証が失敗した決済対象者に対して、会員情報として登録した識別情報を用いた決済処理ができないと判断し、例外処理による決済処理を行う。

例外処理による決済処理は、たとえば、店員を介した決済手続きでも良いし、セルフレジ方式により顧客が提示するクレジットカードあるいは現金による決済でも良い。また、プロセッサ１３１は、例外処理による決済処理を行うため、例外処理による決済処理が可能な決済端末１０３へ当該顧客を誘導するようにしても良い。本情報処理システムは、顔認証が失敗した顧客に対しても、例外処理による決済処理により商品の購入代金などの決済が可能となる。また、プロセッサ１３１は、決済対象者の顔情報が非会員の来店者情報の顔情報と認証された場合も、例外処理による決済処理を行うようにしても良い。

なお、上述した決済対象者の顔情報と来店者情報の顔情報との顔認証処理は、店舗サーバ１０２が実施しても良い。この場合、決済端末１０３のプロセッサ１３１は、ＡＣＴ２０６−２０８に代わる処理として、店舗サーバ１０２へ顔認証を依頼し、顔認証の結果を取得する処理を行う。例えば、プロセッサ１３１は、決済対象者の顔情報とともに来店者の顔情報との顔認証の依頼を店舗サーバ１０２へ送信する。この場合、プロセッサ１３１は、顔認証の結果として、決済対象者の顔情報と同定した来店者の識別情報、又は、顔認証の失敗の通知を店舗サーバ１０２から取得する。

上記のように、本情報処理システムでは、決済処理における顔認証処理の対象となる登録情報は、情報記憶処理で来店者ＤＢ１０２ａに記憶した来店者情報の顔情報となる。来店者ＤＢ１０２ａは、実際に来店した顧客（来店者）の情報のみを記憶するものであるから、会員ＤＢの会員情報に比べて小規模なデータベースである。従って、第１の実施形態に係る情報処理システムでは、決済処理における顔認証処理が高速に実施できる。この結果、第１の実施形態に係る情報処理システムでは、高速な顔認証処理により個人ができ、予め登録した決済情報を用いた決済処理が遅滞なく提供できる。

第１の実施形態に係る情報処理システムでは、決済処理において、来店時に撮影した顔画像と決済直前に撮影した顔画像とを用いて顔認証を行う。来店時と決済時とは、当該顧客の髪型および服装に変化が少ないことが期待できる。

また、第１の実施形態において、来店時の撮影と決済処理の直前の撮影とは撮影時差が実運用上数時間程度であることが予想される。このため、来店時と決済時とでは、当該顧客の顔自体に経時変化が少ないと考えられる。従って、決済処理の顔認証は、撮影時差が少ない来店時の顔画像との照合を行う事になる。これにより、第１の実施形態の決済処理における顔認証処理は、会員情報の顔情報に対する顔認証処理よりも、認証精度が高いことが期待できる。また、第１の実施形態に係る情報処理システムでは、髪型或いは服装などの付帯的な情報の同一性を判定することにより、顔認証の結果を確認しても良い。

（第２の実施形態）
次に、第２の実施形態について説明する。
第２の実施形態に係る情報処理システムは、顧客が入力（或いは予め設定）する顔情報以外の識別情報を取得する。第２の実施形態に係る情報処理システムは、第１の実施形態で説明したような顔情報による顔認証の他に、顔情報以外の識別情報で人物を認証する機能を有する。顔情報を用いた人物の認証は、顔を撮影した時期や撮影条件によって認証精度が変動する可能性がある。第２の実施形態に係る情報処理システムは、顔認証の精度の不足によって認証が失敗した場合に識別情報による認証で補うことが可能である。また、第２の実施形態に係る情報処理システムは、顔認証による認証に加えて、識別情報による認証を行うことにより厳格な認証を行うことも可能である。

図６は、第２の実施形態に係る情報処理システムのハードウエア構成例を示すブロック図である。
図６に示す第２の実施形態に係る情報処理システムは、センタサーバ１０１、店舗サーバ３０２、決済端末３０３、第１カメラ１０４、第２カメラ１０５、第１情報入力装置３０６、第２情報入力装置３０７を有する。

なお、図６に示すセンタサーバ１０１、第１カメラ１０４、第２カメラ１０５は、第１の実施形態で説明したものと同様な機能を有するもので実現できるため、同一符号を付して詳細な説明を省略する。また、図６に示す店舗サーバ３０２及び決済端末３０３内の構成についても、図２に示すものと同様なもので実現できるものは、同一符号を付して詳細な説明を省略する。

ただし、図６に示すメモリ１２２、記憶部１２６、メモリ１３２が記憶する情報は、図２に示す第１実施形態とは異なる。また、プロセッサ１２１およびプロセッサ１３１がメモリ１２２およびメモリ１３２に記憶したプログラムを実行することにより実現する機能も、図２に示す第１実施形態とは異なる。

図６に示す店舗サーバ３０２は、図２に示す店舗サーバ１０２の構成に情報入力Ｉ／Ｆ３２１を追加した構成を有する。情報入力Ｉ／Ｆ３２１は、顔情報以外の顧客を特定するための情報を取得するためのインターフェースである。たとえば、情報入力Ｉ／Ｆ３２１は、第１カメラ１０４で顔が撮影される顧客（来店者）が第１情報入力装置３０６に入力する情報を取得する。第１情報入力装置３０６は、顧客を識別する顔情報以外の情報を入力できるものであれば良い。例えば、第１情報入力装置３０６は、顧客が所有する携帯端末であっても良いし、入口付近に設置したテンキーなどのキーボードであっても良い。

図６に示す決済端末３０３は、図２に示す決済端末３０３の構成に情報入力Ｉ／Ｆ３３１を追加した構成を有する。情報Ｉ／Ｆ３３１は、顔情報以外の顧客を特定するための情報を取得するためのインターフェースである。たとえば、情報入力Ｉ／Ｆ３３１は、第２カメラ１０５で顔が撮影される顧客（決済対象者）が第２情報入力装置３０７に入力する情報を取得する。第２情報入力装置３０７は、顧客を識別する顔情報以外の情報を入力できるものであれば良い。例えば、第２情報入力装置３０７は、顧客が所有する携帯端末であっても良いし、決済端末３０３の付近に設置したテンキーなどのキーボードであっても良い。

図７は、第２の実施形態に係る情報処理システムの第１の具体例を示す図である。
図７に示す例において、第１情報入力装置３０６および第２情報入力装置３０７は、顧客が所持するモバイル端末Ｍである。モバイル端末Ｍ（３０６、３０７）は、無線通信機能を有するものとする。モバイル端末Ｍの無線通信方式は、たとえば、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）あるいはＷｉＦｉ（登録商標）などである。情報入力Ｉ／Ｆ３２１および情報入力Ｉ／Ｆ３３１は、顧客が所持するモバイル端末Ｍの無線通信方式に対応する無線通信ターミナルＴで構成する。

例えば、モバイル端末Ｍは、店舗内に設置した無線通信ターミナルＴとの無線通信により、予め設定しておいた固有ＩＤを店舗サーバ１０２へ通知できる。固有ＩＤは、当該店舗の情報処理システムにおいて、当該顧客を識別できる情報であればよい。店舗サーバ１０２は、情報入力Ｉ／Ｆ３２１としての無線通信ターミナルＴにより来店者のモバイル端末Ｍから固有ＩＤを取得する。また、決済端末３０３は、情報入力Ｉ／Ｆ３３１としての無線通信ターミナルＴにより決済対象者のモバイル端末Ｍから固有ＩＤを取得する。

また、情報入力Ｉ／Ｆ３２１として機能する無線通信ターミナルＴは、感度の調整により特定の範囲にモバイル端末Ｍが有ることを検知するセンサとしても利用できる。たとえば、無線通信ターミナルＴは、第１カメラ１０４の撮影位置を通信範囲に設定することにより、モバイル端末Ｍを所持する顧客が撮影位置に存在するか否かを検知しても良い。同様に、情報入力Ｉ／Ｆ３３１として機能する無線通信ターミナルＴは、モバイル端末Ｍを所持する顧客が第２カメラ１０５の撮影位置に存在することを検知しても良い。

図８は、第２の実施形態に係る情報処理システムの第２の具体例を示す図である。
図８に示す例において、第１情報入力装置３０６および第２情報入力装置３０７は、顧客が情報を入力するキー入力ターミナルＫ（Ｋ１、Ｋ２）である。情報入力Ｉ／Ｆ３２１は、第１情報入力装置３０６としてのキー入力ターミナルＫ１に入力された情報を取得する。情報入力Ｉ／Ｆ３３１は、第２情報入力装置３０７としてのキー入力ターミナルＫ２に入力された情報を取得する。

たとえば、来店した顧客（来店者）は、第１カメラ１０４で顔が撮影される場合、キー入力ターミナルＫ１に識別情報としての任意のパスワードを入力する。また、キー入力ターミナルＫ２は、決済時に顧客（決済対象者）がキー入力ターミナルＫ１に入力したパスワードを再び入力される。

第１情報入力装置３０６としてのキー入力ターミナルＫ１は、第１カメラ１０４の撮影位置付近に設置する。例えば、キー入力ターミナルＫ１は、第１カメラ１０４で顔が撮影される顧客（来店者）がキー入力し易い位置に設置する。また、第２情報入力装置３０７としてのキー入力ターミナルＫ２は、第２カメラ１０５の撮影位置付近に設置する。例えば、キー入力ターミナルＫ２は、決済端末３０３において、決済対象者がキー入力し易い位置に設置する。

なお、キー入力ターミナルＫ１は、第１カメラ１０４が顧客の顔を撮影するタイミングとほぼ同時期にキー入力を求めるのが、顧客の利便性を鑑みて合理的である。ただし、決済処理において、キー入力ターミナルＫ１は、必ずしも第２カメラ１０５が決済対象者の顔を撮影するタイミングで、キー入力を求める必要は無い。たとえば、第２カメラ１０５を決済コーナーの入口付近に設置し、キー入力ターミナルＫ２は、決済端末３０３に一体化して設置しても良い。

また、第１情報入力装置３０６、第２情報入力装置３０７としては、キー入力ターミナルＫ１，Ｋ２の代わりに、顔情報以外の顧客の生体情報を識別情報として入力する生体情報入力装置を設けても良い。個人認証に利用可能な顔情報以外の生体情報としては、指紋、静脈、虹彩、音声、心拍などがある。これらの生体情報のうち何れかの生体情報を入力する装置を、第１情報入力装置３０６、第２情報入力装置３０７として設けても良い。

次に、第２の実施形態に係る情報処理システムにおける各装置の処理機能について概略的に説明する。
図９Ａは、第２の実施形態に係る情報処理システムによる処理機能を説明するための図である。
なお、図９Ａは、図３Ａに示す処理機能と同様なものには、同一符号を付している。図９Ａにおいて、図３Ｂと同一符号を付した処理機能については詳細な説明を省略する。
店舗サーバ３０２は、第１情報入力装置３０６からの情報を来店者情報の一部として来店者ＤＢ１０２ａに記憶する情報取得部４３１を有する。たとえば、情報取得部４３１は、第１情報入力装置３０６がモバイル端末Ｍであれば、情報入力Ｉ／Ｆ３２１による無線通信でモバイル端末Ｍから識別情報（例えば固有ＩＤ）を受信する。情報取得部４３１は、モバイル端末Ｍから固有ＩＤを受信すると、受信した固有ＩＤを来店者ＤＢ１０２ａに記憶する。また、情報取得部４３１は、情報入力Ｉ／Ｆ３２１により第１情報入力装置３０６としてのキー入力ターミナルＫ１に入力された情報（例えばパスワード）を取得する。情報取得部４３１は、キー入力ターミナルＫ１に入力されたパスワードを取得すると、取得したパスワードを来店者ＤＢ１０２ａに記憶する。

また、決済端末３０３は、情報取得部４６１と照合部４６２とを有する。情報取得部４６１は、第２情報入力装置３０７に入力された来店者を識別するための顔情報以外の識別情報を取得する。たとえば、情報取得部４６１は、第２情報入力装置３０７がモバイル端末Ｍであれば、情報入力Ｉ／Ｆ３３１による無線通信でモバイル端末Ｍから識別情報（例えば固有ＩＤ）を受信する。情報取得部４６１は、モバイル端末Ｍから固有ＩＤを受信すると、受信した固有ＩＤを照合部４６２へ供給する。また、情報取得部４６１は、第２情報入力装置３０７がキー入力ターミナルＫ２であれば、情報入力Ｉ／Ｆ３３１によりキー入力ターミナルＫ２に入力された情報（例えばパスワード）を取得する。情報取得部４６１は、キー入力ターミナルＫ２に入力されたパスワードを取得すると、取得したパスワードを照合部４６２へ供給する。

また、照合部４６２は、情報取得部４６１が取得する識別情報と来店者ＤＢ１０２ａが記憶する来店者の識別情報とを照合する。照合部４６２は、情報取得部４６１から識別情報が供給されると、供給された識別情報と一致する来店者の識別情報を来店者ＤＢ１０２ａから検索する。

図９Ｂは、図９Ａに示す第２の実施形態に係る情報処理システムによる処理機能の構成の変形例を示す図である。なお、図９Ｂは、図９Ａと同一の構成箇所には同一符号を付して詳細な説明するものする。

図９Ｂに示す第１カメラ１０４´は、図９Ａに示す第１カメラ１０４の構成に加えて、顔抽出部２２２を有する。図９Ｂに示す第２カメラ１０５´は、図９Ａに示す第２カメラ１０５の構成に加えて顔抽出部２５２を有する。また、図９Ｂに示す店舗サーバ３０２´は、図９Ａに示す店舗サーバ３０２の画像取得部２３０及び顔抽出部２３１に代えて、顔情報取得部２３１´を有する。また、図９Ｂに示す決済端末３０３´は、図９Ａに示す決済端末３０３の画像取得部２６０及び顔抽出部２６１に代えて、顔情報取得部２６１´を有する。

なお、図９Ｂに示す顔抽出部２２２、顔抽出部２５２、顔情報取得部２３１´および顔情報取得部２６１´は、図３Ｂと同一の構成で実現できるものである。
また、第２の実施形態に係る情報システムは、図９Ａに示す構成と図９Ｂに示す構成とを組み合わせて実現しても良い。たとえば、情報処理システムは、第１カメラおよび店舗サーバを図９Ａの構成とし、第２カメラ及び決済端末を図９Ｂの構成としても良い。また、情報処理システムは、第１カメラおよび店舗サーバを図９Ｂの構成とし、第２カメラ及び決済端末を図９Ａの構成としても良い。
また、以下の説明は、主に、図９Ａに示す構成例を想定するものとする。

次に、第２の実施形態に係る情報処理システムにおける情報記憶処理の流れについて説明する。
図１０は、第２の実施形態に係る情報処理システムにおける情報記憶処理の流れを説明するためのフローチャートである。
図１０に示す情報記憶処理の例では、情報処理システムは、来店者の顔情報を記憶する処理と来店者が入力する識別情報を記憶する処理とを並行して実施する。すなわち、第１カメラ１０４は、来店確認部２１１から顧客が入店した通知を受けると、入店した顧客（来店者）の顔画像を撮影する（ＡＣＴ３０１）。第１カメラ１０４は、来店者の顔を撮影した撮影画像（顔情報を含む情報）を店舗サーバ３０２へ供給する。また、第１情報入力装置３０６は、第１カメラ１０４による撮影と並行して、来店者からの識別情報Ｃｉの入力を受け付ける（ＡＣＴ３１１）。第１情報入力装置３０６は、来店者が入力する識別情報Ｃｉ或いは来店者が予め設定した識別情報Ｃｉを店舗サーバ３０２へ供給する。

店舗サーバ３０２のプロセッサ１２１は、第１カメラ１０４から撮影画像を取得する処理（ＡＣＴ３０２）と第１情報入力装置３０６から識別情報を取得する処理（ＡＣＴ３１２）とを並行して実行する。
すなわち、店舗サーバ３０２のプロセッサ１２１は、顔抽出部２３１の機能によりカメラＩ／Ｆ１２４を介して第１カメラ１０４から撮影画像（顔情報を含む情報）を取得する（ＡＣＴ３０２）。プロセッサ１２１は、顔抽出部２３１の機能により取得した撮影画像から来店者の顔情報Ｃｆを抽出する（ＡＣＴ３０３）。プロセッサ１２１は、第１カメラ１０４の撮影画像から来店者の顔情報Ｃｆが抽出できた場合、抽出した顔情報Ｃｆを来店者ＤＢ１０２ａに記憶する（ＡＣＴ３０４）。
なお、図９Ｂに示す構成であれば、店舗サーバ３０２´は、撮影画像から抽出した顔情報を第１カメラ１０４´から取得するものとなる。

また、店舗サーバ３０２のプロセッサ１２１は、情報取得部４３１の機能により情報入力Ｉ／Ｆ３２１を介して第１情報入力装置３０６から来店者の識別情報Ｃｉを取得する（ＡＣＴ３１２）。来店者の識別情報Ｃｉは、第１情報入力装置３０６としてのモバイル端末Ｍから受信する固有ＩＤであっても良いし、キー入力ターミナルＫ１に来店者自身が入力するパスワードであっても良い。プロセッサ１２１は、第１情報入力装置３０６から来店者の識別情報Ｃｉが取得できた場合、取得した識別情報Ｃｉを来店者ＤＢ１０２ａに記憶する（ＡＣＴ３１３）。

また、プロセッサ１２１は、来店者の顔情報Ｃｆが得られると、顔認証部２３２および登録顔情報取得部２３４の機能により、来店者の顔情報Ｃｆと会員ＤＢ１０１ａの登録顔情報Ｒｆとの顔認証処理を行う。たとえば、プロセッサ１２１は、登録顔情報取得部２３４の機能によりセンタサーバ１０１の会員ＤＢ１０１ａから顔照合の対象となる複数の登録顔情報Ｒｆを取得する（ＡＣＴ３０５）。プロセッサ１２１は、顔認証部２３２の機能により、来店者の顔情報Ｃｆと取得した各登録顔情報Ｒｆとの顔認証（１：Ｎの顔照合）を行う（ＡＣＴ３０６）。プロセッサ１２１は、来店者の顔情報Ｃｆと同定（同一人物であると判断）できる登録顔情報Ｒｆが有るか否かにより、顔認証が成功したか否かを判断する（ＡＣＴ３０７）。

顔認証が成功した場合（ＡＣＴ３０７、ＹＥＳ）、プロセッサ１２１は、登録情報取得部２３５の機能により来店者の顔情報Ｃｆと同定した登録顔情報Ｒｆに対応する会員の登録情報Ｒｉを取得する（ＡＣＴ３０８）。プロセッサ１２１は、会員の登録情報Ｒｉを取得すると、取得した登録情報Ｒｉを当該来店者の識別情報Ｃｉと共に、来店者の顔情報Ｃｆに対応づけて来店者情報として来店者ＤＢ１０２ａに記憶する（ＡＣＴ３０９）。

また、顔認証が失敗した場合（ＡＣＴ３０７、ＮＯ）、プロセッサ１２１は、来店者が会員登録されていないと見做し、例外処理（非会員処理）を行う。たとえば、プロセッサ１２１は、顔認証が失敗した場合、当該来店者に対して非会員用の登録情報を生成する（ＡＣＴ３１０）。プロセッサ１２１は、非会員の登録情報を来店者の識別情報Ｃｉと共に、当該来店者の顔情報Ｃｆに対応づけて非会員の来店者情報として来店者ＤＢ１０２ａに記憶する（ＡＣＴ３０９）。

なお、来店者の顔情報Ｃｆと登録顔情報Ｒｆとの顔認証処理は、センタサーバ１０１が実施しても良い。この場合、店舗サーバ３０２のプロセッサ１２１は、ＡＣＴ３０５−３０８に代わる処理として、センタサーバ１０１へ顔認証を依頼し、その結果を取得する処理を行う。例えば、プロセッサ１２１は、登録顔情報Ｒｆとの顔認証の依頼とともに来店者の顔情報Ｃｆをセンタサーバ１０１へ送信する。プロセッサ１２１は、顔認証を依頼した後、来店者の顔情報Ｃｆと同定した登録顔情報Ｒｆに対応する登録情報Ｒｉ、又は、顔認証の失敗の通知をセンタサーバ１０１から取得する。

上記のような情報記憶処理によれば、店舗サーバは、実際に来店した顧客の顔情報と顧客が指定する識別情報と顧客の登録情報とを来店者情報として来店者ＤＢに記憶することができる。また、来店者の顔情報と登録済みの会員の登録顔情報との顔認証処理は、顧客が決済を行うまでの期間で実施できる。このため、会員数も多く顔認証処理に時間がかかることが予想される運用形態であっても、顧客が買い物などで売場にいる時間を有効に活用して処理を実施できる。この結果、入店時に顔認証処理の完了待ちによって入店を待たされるなどのサービス低下を回避できる。

次に、第２の実施形態に係る情報処理システムにおける決済処理について説明する。
図１１は、第２の実施形態に係る情報処理システムにおける決済処理としての第１の処理例の流れを説明するためのフローチャートである。
図１１に示す決済処理の例では、情報処理システムは、決済対象者の顔情報による顔認証と決済対象者が入力する識別情報による認証（照合）処理とを並行して実施する。すなわち、第２カメラ１０５は、決済開始部２４１が決済開始を検出すると（ＡＣＴ４００）、決済対象者の顔を撮影する（ＡＣＴ４０１）。第２カメラ１０５は、決済対象者の顔を撮影した撮影画像（顔情報を含む情報）を店舗サーバ３０２へ供給する。また、第２情報入力装置３０７は、第２カメラ１０５による撮影と並行して、決済対象者からの識別情報の入力を受け付ける（ＡＣＴ４１１）。第２情報入力装置３０７は、決済対象者が入力する識別情報を決済端末３０３へ供給する。

決済端末３０３のプロセッサ１３１は、カメラＩ／Ｆ１３４を介して第２カメラ１０５から撮影画像（顔情報を含む情報）を取得する（ＡＣＴ４０２）。プロセッサ１３１は、撮影画像を取得すると、取得した撮影画像から決済対象者の顔情報を抽出する（ＡＣＴ４０３）。なお、図９Ｂに示す構成であれば、決済端末３０３´は、撮影画像から抽出した顔情報を第２カメラ１０５´から取得するものとなる。

プロセッサ１３１は、決済対象者の顔情報が抽出できた場合、決済対象者の顔情報と来店者の顔情報Ｃｆとの顔認証を行う（ＡＣＴ４０４）。プロセッサ１３１は、決済対象者の顔情報と同定（同一人物であると判断）できる来店者の顔情報Ｃｆが有るか否かにより、顔認証が成功したか否かを判断する（ＡＣＴ４０５）。

顔認証が成功した場合（ＡＣＴ４０５、ＹＥＳ）、プロセッサ１３１は、決済部２６３の機能により決済対象者の顔情報と同定した来店者の顔情報Ｃｆに対応する登録情報Ｒｉを取得する（ＡＣＴ４０６）。プロセッサ１３１は、登録情報Ｒｉを取得すると、取得した登録情報Ｒｉを用いて通常の決済処理を行う（ＡＣＴ４０７）。通常の決済処理は、第１の実施形態において図５のＡＣＴ２０７の決済処理として説明した処理が実施可能である。

退店確認部２７１は、顧客が退店したことを確認する（ＡＣＴ４０８）。店舗サーバ３０２のプロセッサ１２１は、退店確認部２７１からの退店の確認情報を受けると、退店した顧客の来店者情報を来店者ＤＢ１０２ａから削除する（ＡＣＴ４０９）。

また、決済端末３０３のプロセッサ１３１は、情報取得部４６１の機能により情報入力Ｉ／Ｆ３３１を介して第２情報入力装置３０７から決済対象者の識別情報を取得する（ＡＣＴ４１２）。決済対象者の識別情報は、第２情報入力装置３０７としてのモバイル端末Ｍから受信する固有ＩＤであっても良いし、キー入力ターミナルＫ２に決済対象者自身が入力するパスワードであっても良い。プロセッサ１３１は、第２情報入力装置３０７から識別情報を取得すると、取得した識別情報と来店者ＤＢ１０２ａが記憶する来店者の識別情報Ｃｉとを照合する（ＡＣＴ４１３）。上記ＡＣＴ４１１−４１３の処理は、ＡＣＴ４０１−４０７の処理と並行して実施される。

顔認証が失敗した場合（ＡＣＴ４０５、ＮＯ）、プロセッサ１３１は、識別情報の照合結果を確認する（ＡＣＴ４１４）。識別情報の照合が成功した場合（ＡＣＴ４１４、ＹＥＳ）、プロセッサ１３１は、取得した識別情報と一致した来店者の識別情報Ｃｉに対応する登録情報Ｒｉを取得する（ＡＣＴ４０６）。プロセッサ１３１は、登録情報Ｒｉを取得すると、取得した登録情報Ｒｉを用いて通常の決済処理を行う（ＡＣＴ４０７）。

また、顔認証が失敗し、かつ、識別情報の照合にも失敗した場合（ＡＣＴ４１４、ＮＯ）、プロセッサ１３１は、当該決済対象者に対して、予め定めた例外処理による決済処理を行う（ＡＣＴ４１０）。例外処理による決済処理は、ＡＣＴ２１０で説明した処理が適用できる。

なお、上述した決済対象者が入力する識別情報の照合処理は、店舗サーバ３０２が実施しても良い。この場合、決済端末３０３のプロセッサ１３１は、ＡＣＴ４１１−４１４に代わる処理として、店舗サーバ３０２へ識別情報の照合を依頼し、その結果を取得する処理を行う。例えば、プロセッサ１３１は、取得した識別情報と来店者情報として記憶している識別情報との照合の依頼を店舗サーバ３０２へ送信する。プロセッサ１３１は、識別情報の照合結果として、識別情報が一致した来店者の登録情報、又は、識別情報の照合が失敗した旨の通知を店舗サーバ３０２から取得すればよい。

図１２は、第２の実施形態に係る情報処理システムにおける決済処理としての第２の処理例の流れを説明するためのフローチャートである。
図１２に示す決済処理の例では、情報処理システムは、決済対象者の顔情報による顔認証に続いて決済対象者が入力する識別情報による認証（照合）処理を実施する。

すなわち、第２カメラ１０５は、決済開始部２４１が決済開始を検出すると（ＡＣＴ４００）、決済対象者の顔を撮影する（ＡＣＴ４０１）。第２カメラ１０５は、決済対象者の顔を撮影した撮影画像を店舗サーバ３０２へ供給する。

決済端末３０３のプロセッサ１３１は、カメラＩ／Ｆ１３４を介して第２カメラ１０５から撮影画像を取得する（ＡＣＴ４０２）。プロセッサ１３１は、撮影画像を取得すると、取得した撮影画像から決済対象者の顔情報を抽出する（ＡＣＴ４０３）。

プロセッサ１３１は、決済対象者の顔情報が抽出できた場合、決済対象者の顔情報と来店者の顔情報Ｃｆとの顔認証を行う（ＡＣＴ４０４）。プロセッサ１３１は、決済対象者の顔情報と同定（同一人物であると判断）できる来店者の顔情報Ｃｆが有るか否かにより、顔認証が成功したか否かを判断する（ＡＣＴ４０５）。

顔認証が成功した場合（ＡＣＴ４０５、ＹＥＳ）、第２情報入力装置３０７は、決済対象者からの識別情報の入力を受け付ける（ＡＣＴ４１１）。第２情報入力装置３０７は、決済対象者が入力する識別情報を決済端末３０３へ供給する。決済端末３０３のプロセッサ１３１は、情報取得部４６１の機能により情報入力Ｉ／Ｆ３３１を介して第２情報入力装置３０７から決済対象者の識別情報を取得する（ＡＣＴ４１２）。プロセッサ１３１は、第２情報入力装置３０７から識別情報を取得すると、取得した識別情報と来店者ＤＢ１０２ａが記憶する来店者の識別情報Ｃｉとを照合する（ＡＣＴ４１３）。

なお、上記ＡＣＴ４１１−４１３の処理は、ＡＣＴ４０１−４０７の処理と並行して実施して良い。この場合、第２情報入力装置３０７は、第２カメラ１０５による撮影と並行して識別情報の入力を受け付ける。決済端末３０３のプロセッサ１３１は、顔認証が失敗した場合（ＡＣＴ４０５、ＮＯ）、識別情報の照合結果を確認する（ＡＣＴ４１４）。

識別情報の照合が成功した場合（ＡＣＴ４１４、ＹＥＳ）、プロセッサ１３１は、取得した識別情報と一致した来店者の識別情報Ｃｉに対応する登録情報Ｒｉを取得する（ＡＣＴ４０６）。プロセッサ１３１は、登録情報Ｒｉを取得すると、取得した登録情報Ｒｉを用いて通常の決済処理を行う（ＡＣＴ４０７）。通常の決済処理は、第１の実施形態において図５のＡＣＴ２０７の決済処理として説明した処理が実施可能である。

退店確認部２７１は、顧客が退店したことを確認する（ＡＣＴ４０８）。店舗サーバ３０２のプロセッサ１２１は、退店確認部２７１からの退店の確認情報を受けると、退店した顧客の来店者情報を来店者ＤＢ１０２ａから削除する（ＡＣＴ４０９）。

また、顔認証が失敗した場合（ＡＣＴ４０５、ＮＯ）、あるいは、識別情報の照合が失敗した場合（ＡＣＴ４１４、ＮＯ）、プロセッサ１３１は、当該決済対象者に対して、予め定めた例外処理による決済処理を行う（ＡＣＴ４１０）。例外処理による決済処理は、ＡＣＴ２１０で説明した処理が適用できる。

上述した第２の実施形態において、決済処理の第１の処理例は、決済対象者の顔の撮影と並行して、第２情報入力装置による決済対象者からの識別情報の入力を行う。決済端末は、決済対象者の顔情報による顔認証と決済対象者の識別情報による照合処理とを並行して実施する。決済端末は、顔認証が成功した場合に通常の決済処理を実行し、顔認証が失敗した場合であっても識別情報による照合処理が成功すれば、通常の決済処理を行う。情報処理システムは、図１１に示す決済処理により、顔認証の精度が不足した場合であっても、識別情報による照合処理によって通常の決済処理を提供できる。

上述した第２の実施形態における決済処理の第２の処理例は、決済対象者の顔情報による顔認証と決済対象者が入力する識別情報の照合とをシーケンシャルに実施する。すなわち、情報処理システムは、顔認証処理の後段に識別情報による照合処理を行うことにより、厳格な顧客の認証処理を可能とする。

すなわち、図１２に示す処理において、決済端末は、顔認証が成功し、かつ、識別情報による照合の成功した場合にのみ、登録情報を用いた通常の決済処理を行う。また、決済端末は、顔認証が失敗した場合、或いは、識別情報による照合が失敗した場合、会員の登録情報を用いることなく、例外処理としての決済処理を行う。このような処理フローとすることにより、商品の購入などの決済処理を厳格にし、商品の購入処理代金を顧客口座から引き落とす直接決済処理が可能となる。

なお、図１２に示す処理において、ＡＣＴ４０１−４０５の処理とＡＣＴ４１１−４１４の処理とは、処理順序を入れ替えても良い。また、ＡＣＴ４０１−４０５の処理とＡＣＴ４１１−４１４の処理とは並列して実施しても良い。ＡＣＴ４０１−４０５の処理とＡＣＴ４１１−４１４の処理とを並行して実施する場合、決済端末は、顔認証の結果と識別情報の照合結果とに基づき処理内容を決定すれば良い。

また、決済対象者が入力する識別情報の照合処理は、店舗サーバ３０２が実施しても良い。この場合、決済端末３０３のプロセッサ１３１は、ＡＣＴ４１１−４１４に代わる処理として、店舗サーバ３０２へ識別情報の照合を依頼し、その結果を取得する処理を行う。例えば、プロセッサ１３１は、取得した識別情報と来店者情報として記憶している識別情報との照合の依頼を店舗サーバ３０２へ送信する。プロセッサ１３１は、識別情報の照合結果として、識別情報が一致した来店者の登録情報、又は、識別情報の照合が失敗した旨の通知を店舗サーバ３０２から取得できる。

（第３の実施形態）
次に、第３の実施形態について説明する。
図１３は、第３の実施形態に係る情報処理システムのハードウエア構成例を示すブロック図である。
図１３に示す第３の実施形態に係る情報処理システムは、センタサーバ１０１、店舗サーバ３０２、決済端末５０３、第１カメラ１０４、第１情報入力装置３０６を有する。また、図１３に示す例では、第２カメラ１０５および第２情報入力装置３０７は、決済端末５０３に一体的に構成されるものとする。第２カメラ１０５および第２情報入力装置３０７は、インターフェースを介して決済端末５０３に接続される決済端末５０３とは独立した装置しても良い。

図１３に示すセンタサーバ１０１、店舗サーバ３０２、第１カメラ１０４、第２カメラ１０５、第１情報入力装置３０６および第２情報入力装置３０７は、第１或いは第２の実施形態で説明したものと同様な機能を有するもので実現できるため、同一符号を付して詳細な説明を省略する。また、図１３に示す決済端末５０３内の構成についても、図６に示すものと同様なもので実現できるものは、同一符号を付して詳細な説明を省略する。ただし、図１３に示すメモリ１３２が記憶する情報は、図６に示すものとは異なる。また、図１３に示すプロセッサ１３１がメモリ１３２に記憶したプログラムを実行することにより実現する機能も、図６に示すものとは異なる。

図１３に示す決済端末５０３は、図６に示す決済端末３０３と第２カメラ１０５と第２情報入力装置３０７とを含む構成である。つまり、決済端末５０３は、第２カメラ１０５と第２情報入力装置３０７とを一体的に構成したものである。決済端末５０３は、カメラ５３１、カメラＩ／Ｆ５３２、および商品情報ＤＢ５３３を有する。カメラ５３１は、商品を撮影するためのカメラであり、カメラＩ／Ｆ５３２は、カメラ５３１を接続するためのインターフェースである。商品情報ＤＢ５３３は、商品に関する情報を記憶するメモリである。決済端末５０３において、カメラ５３１、カメラＩ／Ｆ５３２、商品情報ＤＢ５３３およびプロセッサ１３１は、商品識別部１３７として機能する。

図１４は、決済端末５０３の構成例を示す図である。
図１４に示すように、決済端末５０３は、プロセッサ１３１を有する本体を有する。第２カメラ１０５は、カメラＩ／Ｆ１３４を介して決済端末５０３の本体に接続する。また、第２情報入力装置３０７としてキー入力ターミナルＫ２は、情報入力Ｉ／Ｆ３３１としてのターミナルＩ／Ｆを介して決済端末５０３の本体に接続する。

商品を撮影するためのカメラ５３１は、カメラＩ／Ｆ５３２を介して決済端末５０３の本体に接続する。決済端末５０３は、商品カゴを載置する載置台を有する。カメラ５３１は、載置台上の所定位置に載置された商品カゴの中を撮影する。決済対象者は、購入したい商品を入れた商品カゴを載置台上の所定位置にセットする。

カメラＩ／Ｆ５３２は、カメラ５３１が撮影した商品カゴ内の画像を取得する。プロセッサ１３１は、商品カゴ内の画像から商品の画像、および、商品のバーコードの画像を検出する。プロセッサ１３１は、商品情報ＤＢ５３３の情報を参考にしつつ、商品のバーコードの画像および商品の画像により商品カゴ内の各商品を認識する。

図１３及び図１４に示す構成によれば、決済端末５０３は、顧客が提示する複数の商品を一括して認識する商品識別部１３７を有する。このため、決済端末５０３は、商品情報（金額など）を個別に入力したり、商品を個別にスキャンしたりする手間と時間を省くことができる。第３の実施形態に係る情報処理システムは、顔認証あるいは顔認証と入店時に入力される識別情報により、顧客の手間を省き短時間で認証できる本発明の利点を最大限に発揮することが可能となる。

なお、図１３及び図１４に示す構成例は、適宜変更可能である。たとえば、決済端末５０３は、第１カメラ１０４を省略したもの構成でも良い。この場合、第１カメラ１０４は、第１、第２の実施形態で説明したように決済コーナーの入口などに設置したものに置き換えてよい。また、決済端末５０３は、第２情報入力装置３０７を省略した構成でも良い。第２情報入力装置３０７は、決済端末５０３とは別に設置したキー入力ターミナルでも良いし、顧客が所持するモバイル端末でも良い。

上記のような第３の実施形態に係る情報処理システムは、第２の実施形態と同様な情報記憶処理が行える。このため、第３の実施形態に係る情報処理システムについては、情報記憶処理の説明を省略するものとする。

次に、第３の実施形態に係る情報処理システムにおける決済処理について説明する。
図１５は、第３の実施形態に係る情報処理システムにおける決済処理の流れを説明するためのフローチャートである。
図１５に示す決済処理は、図１２に示す決済処理に商品認識処理を追加したものである。このため、図１５において、図１２に示す処理と同様な処理については、同一符号を付して詳細な説明を省略するものとする。たとえば、ＡＣＴ４００−４０５、ＡＣＴ４１１−４１４、ＡＣＴ４０６−４１０は、第２の実施形態で説明した図１２に示す処理と同様な処理で実現できる。

図１５に示す決済処理において、決済端末５０３のプロセッサ１３１は、顔認証が成功した場合に、商品認識処理を実行する（ＡＣＴ５０１）。商品認識処理は、カメラ５３１が撮影する全商品を含む画像から精算の対象となる全ての商品を認識する処理である。プロセッサ１３１は、商品認識処理が終了すると、商品の認識が成功したか否かを判断する（ＡＣＴ５０２）。プロセッサ１３１は、商品の認識が成功したと判断した場合（ＡＣＴ５０２、ＹＥＳ）、決済対象者が入力する識別情報の照合による人物認証に進む。また、プロセッサ１３１は、商品の認識が失敗したと判断した場合（ＡＣＴ５０２、ＮＯ）、例外処理による決済処理に進む。

次に、ＡＣＴ５０１の商品認識処理について説明する。
図１６は、商品認識処理を説明するためのフローチャートである。
プロセッサ１３１は、カメラ５３１により決済の対象となる全商品を含む画像を撮影する（ＡＣＴ５１１）。たとえば、カメラ５３１は、所定位置にセットされた商品カゴ内を撮影する。プロセッサ１３１は、カメラ５３１が撮影した画像をカメラＩ／Ｆ５３２を介して取得する。

プロセッサ１３１は、カメラ５３１が撮影した画像（商品画像）を取得すると、取得した商品画像から商品に印刷されたバーコードを探すバーコード領域抽出を行う（ＡＣＴ５２１）。プロセッサ１３１は、バーコード領域を抽出すると、抽出したバーコード領域におけるバーコードをデコードする（ＡＣＴ５２２）。プロセッサ１３１は、バーコードをデコードすると、デコードした結果を基に当該商品の商品情報を商品情報ＤＢ５３３から取得する（ＡＣＴ５２３）。

プロセッサ１３１は、商品画像に含まれる全ての商品のバーコードについて、ＡＣＴ５２１−５２３の処理を実施する。また、プロセッサ１３１は、ＡＣＴ５２１−５２３の処理（バーコード認識処理）による商品認識の結果をメモリ１３２に保持する。

また、プロセッサ１３１は、ＡＣＴ５２１−５２３の処理（バーコード認識処理）と並行して、オブジェクト認識処理を行う（ＡＣＴ５３１−５３３）。プロセッサ１３１は、商品画像から商品形状の輪郭をオブジェクト情報として抽出する（ＡＣＴ５３１）。プロセッサ１３１は、オブジェクト情報を抽出すると、個々の商品毎にオブジェクト切出しを行う（ＡＣＴ５３２）。プロセッサ１３１は、商品毎にオブジェクトを切出すと、商品ごとのオブジェクト情報と商品情報ＤＢ５３３が記憶する商品情報とのマッチングにより各商品を認識する（ＡＣＴ５３３）。プロセッサ１３１は、商品画像から切り出す全ての商品オブジェクトについてＡＣＴ５３３の処理を実施する。プロセッサ１３１は、オブジェクト認識処理による商品認識の結果をメモリ１３２に保持する。

プロセッサ１３１は、バーコード認識による商品認識の結果と、オブジェクト認識による商品認識の結果とを照合する（ＡＣＴ５４１）。プロセッサ１３１は、バーコード認識の結果とオブジェクト認識の結果とが一致すれば、商品認識処理が成功したものとする。また、プロセッサ１３１は、バーコード認識の結果とオブジェクト認識の結果とが一致しなければ、商品認識処理が失敗したものとする。

なお、図１６に示す商品認識処理においては、ＡＣＴ５３１−５３３の処理（商品オブジェクト認識）あるいはＡＣＴ５２１−５２３の処理の何れか一方を省略しても良い。また、図１５に示す決済処理においては、ＡＣＴ４１１−４１４の処理（識別情報の照合）を省略しても良い。

図１７は、第３の実施形態に係る情報処理システムの変形例を示す図である。
図１７に示す情報処理システムは、商品にＲＦＩＤタグが取り付けられていることを前提する。決済端末６０３は、各商品のＲＦＩＤタグ情報を一括して読み取るＲＦＩＤリーダ６３１を有する。図１７に示す決済端末６０３は、図１４に示す構成において、カメラ５３１及びカメラＩ／Ｆ５３２を、ＲＦＩＤリーダ６３１及びＲＦＩＤインターフェース６３２に置き換えたものある。

また、図１７は、第２情報入力装置３０７として生体情報入力装置６０７を設けた例を示す。生体情報入力装置６０７は、顔情報以外の生体情報を入力するものである。第２情報入力装置３０７として生体情報入力装置６０７は、情報入力Ｉ／Ｆ３３１を介いて決済端末６０３の本体に接続する。なお、第２情報入力装置３０７を生体情報入力装置６０７とする場合、第１情報入力装置３０６も生体情報入力装置とする必要がある。

図１７に示す構成の情報処理システムは、図１５に示す決済処理における商品認識処理がＲＦＩＤリーダ６３１によるＲＦＩＤタグの読み取りに基づく商品認識処理となる。たとえば、ＲＦＩＤリーダ６３１は、所定位置にセットされた商品カゴ内が通信範囲となるように設定される。プロセッサ１３１は、ＲＦＩＤリーダ６３１により商品カゴ内の各商品に付けられたＲＦＩＤタグから情報を読み取る。プロセッサ１３１は、各ＲＦＩＤタグから読み取った情報を基に各商品の商品情報を商品情報ＤＢ５３３から取得する。このような処理によって、図１７に示す決済端末６０３は、決済対象者の商品カゴ内にある各商品を一括して認識することが可能となる。

また、図１７に示す構成例は、第１情報入力装置３０６及び第２情報入力装置３０７として生体情報入力装置を用いる。これにより、図１７に示す構成の情報処理システムは、顧客がパスワードなどの入力を行う手間も省くことができる。たとえば、指紋認証などの顔情報以外の生体認証によれば、生体情報入力装置で生体情報を読み取らせるだけで、顧客の認証を精度よく実施することが可能となる。

なお、第１及び第２情報入力装置が入力する識別情報を顧客の生体情報とする場合、入店する度に来店者の生体情報を入力する必要は無い。たとえば、会員情報の登録情報Ｒｉに顔以外の生体情報も登録しておけば、入店時に生体情報を入力する作業は不要となる。つまり、登録情報Ｒｉに顔以外の生体情報を登録しておけば、決済端末６０３は、生体情報入力装置６０７で入力された生体情報と登録情報Ｒｉの生体情報との照合ができる。

上記のような第３の実施形態に係る情報処理システムによれば、複数の商品を一括して認識できる商品認識処理を含む決済処理が提供できる。これにより、第３の実施形態よれば、情報処理システムは、顔認証で特定する会員の登録情報を用いて高速な一括の商品認識処理で認識する商品をセルフ決済できるシステムを提供できる。

上記のように、各実施形態の情報処理システムは、顔認証により会員ＤＢの会員情報から顧客を特定する処理を顧客が買い物をしている間に実施することができる。この結果、情報処理システムは、決済処理において、顧客の顔認証の処理に係る処理時間を削減でき、迅速な決済処理ができる。

また、各実施形態の情報処理システムは、来店時に取得する来店者の顔情報と会員の顔情報との顔認証で特定した会員の顧客情報を来店者ＤＢに記憶する。各実施形態に係る情報処理システムは、決済処理において決済対象者の顔情報と来店者ＤＢの顔情報とを照合することにより、顔照合処理の対象（母集団）を会員登録数から来店者数へ削減できる。この結果として、各実施形態の情報処理システムは、決済処理における処理時間の削減、および、精度の向上が可能となる。

更に、各実施形態の情報処理システムは、来店者の顔情報に対応づけて顔認証で特定した会員の顧客情報を来店者ＤＢに記憶する。情報処理システムは、決済時の顔情報は、会員登録時の顔情報に比べて、来店時の顔情報との時差が少ないため、高い精度で顔認証が行える。

上述した各実施形態に係る情報処理システムにおける基本的な構成例について以下に纏める。 ［１］
実施形態に係る情報処理システムは、第１の顔情報入手部と、登録顔情報入手部と、第１の顔認証部と、登録情報入手部と、来店者情報記憶部と、第２の顔情報入手部と、第２の顔認証部と、決済部と、削除部とを有する。第１の顔情報入手部は、来店者の顔情報を第１の顔情報として入手する。登録顔情報入手部は、前記第１の顔情報と照合する会員の登録顔情報を入手する。第１の顔認証部は、前記第１の顔情報と各会員の登録顔情報との照合により第１の顔情報の来店者がどの会員かを認証する。登録情報入手部は、第１の顔情報との認証が成功した登録顔情報に対応する会員の登録情報を入手する。来店者情報記憶部は、前記第１の顔情報と前記登録情報入手部により入手した登録情報と対応づけた来店者情報を記憶部に記憶する。第２の顔情報入手部は、決済対象者の顔情報を第２の顔情報として入手する。第２の顔認証部は、前記記憶部に記憶した第１の顔情報と前記第２の顔情報入手部により入手した第２の顔情報との照合により第２の顔情報の決済対象者がどの来店者であるかを認証する。決済部は、第２の顔情報との認証が成功した第１の顔情報に対応する前記登録情報に基づいて前記決済対象者が決済すべき金額を決済する。削除部は、決済部により決済が完了した来店者情報を前記記憶部から削除する。［２］
上記［１］の情報処理システムは、さらに、来店者の顔を撮影する第１の撮影部を備え、前記第１の顔情報入手部は第１の撮影部が撮影した画像を取得する。［３］
上記［１］の情報処理システムは、さらに、決済対象者の顔を撮影する第２の撮影部を備え、前記第２の顔情報入手部は第２の撮影部が撮影した画像を取得する。［４］
上記［１］の情報処理システムは、さらに、第１の識別情報入手部と、第２の識別情報入手部と、照合部とを備え、第１の識別情報入手部は、前記第１の顔情報の来店者を特定するための第１の識別情報を入手する。第２の識別情報入手部は、前記第２の顔情報の決済対象者を特定するための第２の識別情報を入手する。照合部は、前記第１の識別情報と前記第２の識別情報とを照合する。［５］
上記［４］の情報処理システムは、前記第１の識別情報入手部が、無線通信により無線通信機器から前記第１の識別情報を受信し、前記第２の識別情報入手部が、無線通信により無線通信機器から前記第２の識別情報を受信する。［６］
上記［４］の情報処理システムは、前記第１の識別情報及び前記第２の識別情報が、前記顧客が定める暗証番号である。［７］
上記［４］の情報処理システムは、前記第１の識別情報及び前記第２の識別情報が、前記顧客の顔情報以外の生体認証情報である。［８］
上記［１］の情報処理システムは、さらに、前記顧客が購入する商品を一括して認識する商品認識部を備え、前記決済部は、前記商品認識部により認識した商品の購入代金を決済する。［９］
上記［８］の情報処理システムは、前記商品認識部が、購入対象の全商品を含む画像を撮影した商品画像から抽出した各商品に付与されたバーコードをデコードする。

なお、上述した各実施形態では、装置内のメモリにプロセッサが実行するプログラムが予め記憶されている場合で説明をした。しかし、プロセッサが実行するプログラムは、ネットワークから装置にダウンロードしても良いし、記憶媒体から装置にインストールしてもよい。記憶媒体としては、ＣＤ−ＲＯＭ等のプログラムを記憶でき、かつ装置が読み取り可能な記憶媒体であれば良い。また、予めインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働して実現させるものであってもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０１…センタサーバ、１０１ａ…会員情報データベース、１０２、３０２…店舗サーバ、１０２ａ…来店者情報データベース、１０３、３０３、５０３、６０３…決済端末、１０４…第１カメラ、１０５…第２カメラ、１１１…プロセッサ、１１２…メモリ、１１４…記憶部、１２１…プロセッサ、１２２…メモリ、１２６…記憶部、１３１…プロセッサ、１３２…メモリ、１３５…操作部、１３６…表示部、１３７…商品識別部、１３８…決済部。

実施形態によれば、情報処理システムは、第１のインターフェースと、第１のプロセッサと、第２のインターフェースと、第２のプロセッサとを有する。第１のインターフェースと、来店者の顔情報を第１のカメラから取得する。第１のプロセッサは、前記第１のインターフェースにより取得した情報に含まれる来店者の顔情報と会員データベースに登録済みの各会員の登録顔情報とを顔認証し、前記来店者の顔情報との認証が成功した登録顔情報に対応する会員の登録情報を前記来店者の顔情報に対応づけて来店者データベースに記憶する。第２のインターフェースは、決済対象者の顔情報を前記第１のカメラとは異なる位置に設置された第２のカメラから取得する。第２のプロセッサは、前記第２のインターフェースにより取得した情報に含まれる決済対象者の顔情報と前記来店者データベースが記憶する来店者の顔情報とを顔認証し、前記決済対象者の顔情報との認証が成功した来店者の顔情報に対応する前記会員の登録情報を用いて決済処理を行う。

Claims (6)

1. 来店者の顔情報を含む情報を取得する第１のインターフェースと、
   前記第１のインターフェースにより取得した情報に含まれる来店者の顔情報と会員データベースに登録済みの各会員の登録顔情報とを顔認証し、前記来店者の顔情報との認証が成功した登録顔情報に対応する会員の登録情報を前記来店者の顔情報に対応づけて来店者データベースに記憶する第１のプロセッサと、
   決済対象者の顔情報を含む情報を取得する第２のインターフェースと、
   前記第２のインターフェースにより取得した情報に含まれる決済対象者の顔情報と前記来店者データベースが記憶する来店者の顔情報とを顔認証し、前記決済対象者の顔情報との認証が成功した来店者の顔情報に対応する前記会員の登録情報を用いて決済処理を行う第２のプロセッサと、
   を有する情報処理システム。
2. 前記第２のプロセッサは、決済が完了した来店者の顔情報と前記来店者の顔情報に対応する情報とを前記来店者データベースから削除させる、
   請求項１に記載の情報処理システム。
3. さらに、来店者の顔を含む画像を撮影し、撮影した画像から顔情報を抽出する第１カメラを有し、
   前記第１のプロセッサは、前記第１カメラが撮影した画像から抽出した前記来店者の顔情報と登録顔情報とを顔認証する、
   請求項１又は２の何れかに記載の情報処理システム。
4. さらに、決済対象者の顔を含む画像を撮影し、撮影した画像から顔情報を抽出する第２カメラを有し、
   前記第２のプロセッサは、前記第２カメラが撮影した画像から抽出した前記決済対象者の顔情報と登録顔情報とを顔認証する、
   請求項１乃至３の何れか１項に記載の情報処理システム。
5. さらに、前記来店者を特定する第１の識別情報を取得する第１の情報入力インターフェースと、
   前記決済対象者を特定する第２の識別情報を取得する第２の情報入力インターフェースと、
   前記第２のプロセッサは、前記第１の識別情報と前記第２の識別情報との照合により前記来店者と前記決済対象者とが同一人物であることを確認する、
   請求項１乃至３の何れか１項に記載の情報処理システム。
6. コンピュータに、
   来店者の顔情報を含む情報を取得する第１のインターフェースにより取得した情報に含まれる来店者の顔情報と会員データベースに登録済みの各会員の登録顔情報とを顔認証させ、
   前記来店者の顔情報との認証が成功した登録顔情報に対応する会員の登録情報を前記来店者の顔情報に対応づけて来店者データベースに記憶させ、
   決済対象者の顔情報を含む情報を取得する第２のインターフェースにより取得した情報に含まれる決済対象者の顔情報と前記来店者データベースが記憶する来店者の顔情報とを顔認証させ、
   前記決済対象者の顔情報との認証が成功した来店者の顔情報に対応する前記会員の登録情報を用いて決済処理を実行させる、
   情報処理プログラム。