JP2022073249A - 情報処理システム、情報処理システムの制御方法、およびプログラム - Google Patents

Abstract

【課題】 顔認証を用いた決済処理において、決済の時間を短縮しつつも、認証漏れの発生を低減することが可能な仕組みを提供すること。【解決手段】 人物の特徴を示す特徴情報を、人物ごとに管理する管理手段を備える。そして、第１の画像データに映る人物の特徴情報と、前記管理手段で管理する前記特徴情報それぞれとを照合し、前記管理手段で管理する人物ごとの類似度を算出する。さらに、算出された類似度が高い人物の前記管理手段で管理する前記特徴情報から順に、第２の画像データに映る人物の特徴情報と照合し、当該第２の画像データに映る人物を特定する。【選択図】 図２

Description

本発明は、情報処理システム、情報処理システムの制御方法、およびプログラムに関する。

従来から、顔認証を用いた決済システムがある。従来の決済システムでは、予め会員の顔画像と、クレジットカード等の決済情報とを紐づけて会員情報として記憶装置に記憶しておく。次に、店舗レジに設置されたカメラで撮影した決済者の顔画像と会員情報として記憶されている顔画像とを照合する。そして、照合が成功した場合に、照合した顔画像と紐づく決済情報に基づき支払いを行う。

特許文献１には、顔認証を用いた決済システムが開示されている。特許文献１では、店内カメラを用いて、来店者と、登録されているすべての会員情報とを照合し、来店中の会員の会員リストを作成する。そして、レジでは会員リストとレジに来た人を、再度照合して会員を特定する。

特開２０１８－１０１４２０号公報

ところで、従来の決済システムには、記憶装置に記憶される会員情報が多くなると、照合の処理時間がかかり、レジでの決済時間が長くなってしまうという課題があった。

特許文献１に記載の技術を用いることで、決済時間を短縮することは可能である。しかしながら、一般的に店内カメラで得られる映像は、店内を俯瞰的に撮影した俯瞰映像である場合が多く、俯瞰映像は、人物を正面から撮影して得られる映像に比べて照合の精度が低下するため、誤認証が起きる可能性がある。誤認証によって誤った来店中の会員リストが作られていれば、レジカメラ映像で認証しようとしても会員が見つからないという認証漏れが起きてしまう恐れがあった。

本発明は、顔認証を用いた決済処理において、決済の時間を短縮しつつも、認証漏れの発生を低減することが可能な仕組みを提供することを目的とする。

本発明は、人物の特徴を示す特徴情報を、人物ごとに管理する管理手段と、第１の画像データに映る人物の特徴情報と、前記管理手段で管理する前記特徴情報それぞれとを照合し、前記管理手段で管理する人物ごとの類似度を算出する算出手段と、前記算出手段により算出された類似度が高い人物の前記管理手段で管理する前記特徴情報から順に、第２の画像データに映る人物の特徴情報と照合し、当該第２の画像データに映る人物を特定する特定手段とを備えることを特徴とする。

本発明によると、顔認証を用いた決済処理において、決済の時間を短縮し、かつ、認証漏れの発生を低減することができる。

本実施形態におけるシステム構成図 本実施形態における情報処理装置が置かれた店舗のイメージ図 本実施形態における管理装置のハードウェア構成図 本実施形態における管理装置の機能構成を示すブロック図 実施例１における本実施形態における管理装置が保存するデータの例 本実施形態における情報処理装置のハードウェア構成図 本実施形態における情報処理装置の機能構成を示すブロック図 実施例１における装置が保存するデータの例 実施例１における管理装置が行う会員登録のフローチャート 実施例１における情報処理装置１２と管理装置１０が連携して行う第一の顔照合のフローチャート 実施例１における情報処理装置が行う第二の顔照合のフローチャート 実施例２における情報処理装置が保存するデータの例 実施例３における情報処理装置が保存するデータの例

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。

（実施例１）
図１は、本実施形態におけるシステム構成の一例を示す図である。

本実施形態における認証システム（情報処理システム）は、管理装置１０、情報処理装置１２、店内撮像装置１４、および、レジ撮像装置１５を有している。

管理装置１０、情報処理装置１２は、ネットワーク１１を介して相互に接続されている。情報処理装置１２、店内撮像装置１４、レジ撮像装置１５は、ネットワーク１３を介して相互に接続されている。

ネットワーク１１、ネットワーク１３は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。なお、ネットワーク１１、ネットワーク１３は、インターネットや、無線ＬＡＮ（ＷＩＲＥＬＥＳＳ ＬＡＮ）、ＷＡＮ（ＷＩＤＥ ＡＲＥＡ ＮＥＴＷＯＲＫ）等により実現されてもよい。

管理装置１０は、会員のクレジットカード情報などの決済情報、会員の名前、年齢などの個人情報、顔画像、および、顔認証に用いる顔情報などを保存し、管理する装置である。管理装置１０は、店内撮像装置１４から取得した店内映像と、管理装置１０から取得した会員情報を用いた第一の顔照合を行い、来店者リストを作成する。

本実施例では、管理装置１０は、データセンターに１台設置される。他の実施形態として、複数あってもよい。また、店舗、クラウド上などに置かれてもよい。

情報処理装置１２は、店舗来店者の会員情報、決済情報等を保存し、顔認証を行う装置である。また、レジ撮像装置１５から取得したレジ映像と、来店者リストに保存された会員情報を用いて、第二の顔照合を行い、会員を特定する。

本実施例では、情報処理装置１２は、各店舗に１つずつ置かれ、それぞれの店舗ごとの店内撮像装置１４、レジ撮像装置１５と接続される。他の実施形態として、情報処理装置１２をデータセンター、クラウド上などに置いてもよい。また、機能を実現するためのプログラムがインストールされたレジ端末によって実現されてもよい。

また、他の実施形態として、管理装置１０と、情報処理装置１２は一体の装置でも良い。すなわち、情報処理装置１２が実行する第二の顔照合を管理装置１０が実行しても良い。

店内撮像装置１４、および、レジ撮像装置１５は、映像を撮像する装置である。例えば、ネットワークカメラ、モジュールカメラ等、形態は特に規定しない。ネットワーク１３を介して、撮像した映像を撮影時刻等の撮影データと共に情報処理装置１２に送信する。

本実施例では、図２に示す通り、店舗２０において、１台の店内撮像装置２０２が設置されて来店者２０３を撮影し、レジ２０１ごとに１台のレジ撮像装置２０４が設置され決済者２０５を撮影しているものとする。なお、店内撮像装置２０２は、図１の店内撮像装置１４と同一の撮像装置を示し、レジ撮像装置２０４は、図１のレジ撮像装置１５と同一の撮像装置を示す。図２は、本実施形態における情報処理装置１２が置かれた店舗のイメージ図の一例である。

他の実施形態として、店内撮像装置１４は、店内に複数設置されてもよいし、店外に設置されてもよい。また、レジ撮像装置１５は、複数設置されてもよいし、独立した装置ではなく、スマートフォンやタブレット等に情報処理装置１２と共に同梱されてもよい。

図３は、管理装置１０のハードウェア構成の一例を示す図である。図３に示すように、管理装置１０は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ハードディスクドライブ（ＨＤＤ）１０４、通信部１０５、入力装置１０６及び表示装置１０７を有する。通信部１０５はネットワーク１１に接続されている。

ＣＰＵ１０１は、ＲＯＭ１０２に記録された制御プログラムを読みだして各種処理を実行する。ＲＡＭ１０３は主メモリやワークエリア等の一時記憶領域として用いられる。ＨＤＤ１０４は、映像ファイルや会員情報の保存に用いる。

通信部１０５はネットワーク１１を介して通信を行う回路である。

以上のように、管理装置１０のハードウェア構成は、パーソナルコンピュータ（ＰＣ）に搭載されているハードウェア構成と同様のハードウェア構成要素を有している。そのため、管理装置１０で実現される各種機能は、ＰＣ上で動作するソフトウェアとして実装することが可能である。管理装置１０は、ＣＰＵ１０１がプログラムを実行することにより、後述の図４の機能、及び図９のフローチャートを実現することができる。

次に、本実施形態に係る管理装置１０の機能構成の一例について、図４を用いて説明する。図４は、本実施形態における管理装置の機能構成の一例を示すブロック図である。

管理装置１０には、会員情報登録部３００、顔情報取得部３０１、顔照合部３０２、会員情報送信部３０３が設けられている。

会員情報登録部３００は、図５に示す会員情報リストのように、会員ＩＤ５０１と、クレジットカード情報などの決済情報５０２、顔認証に用いる顔情報５０３を保存する。他には、会員の名前、年齢などの属性情報、顔画像などを保存してもよい。以下の説明では、これらの情報をまとめて会員情報と呼ぶ。

本実施例では、システム管理者は、管理装置１０のキーボード、カメラ等の入力装置を使って会員情報を予め保存するが、決済情報や顔情報が保存されれば、方法や内容は規定しない。

顔情報取得部３０１は、後述する情報処理装置１２から特徴量（特徴情報とも呼ぶ）を含む顔情報を受信する。

顔照合部３０２は、顔情報取得部３０１から取得した特徴量（店内撮像装置１４の画像から、情報処理装置１２が抽出した特徴量）と、会員情報登録部３００から取得した特徴量（顔情報５０３）を用いて第一の顔照合を行い、類似度スコアを算出する。

会員情報送信部３０３は、顔照合部３０２から取得した類似度スコアと、会員情報登録部３００から取得した会員情報を、情報処理装置１２に送信する。

図６は、情報処理装置１２のハードウェア構成の一例を示す図である。図６に示すように、情報処理装置１２は、ＣＰＵ１２１、ＲＯＭ１２２、ＲＡＭ１２３、ハードディスクドライブ（ＨＤＤ）１２４、通信部１２５、入力装置１２６及び表示装置１２７を有する。通信部１２５はネットワーク１１、および、ネットワーク１３に接続されている。

ＣＰＵ１２１は、ＲＯＭ１２２に記録された制御プログラムを読みだして各種処理を実行する。ＲＡＭ１２３は主メモリやワークエリア等の一時記憶領域として用いられる。ＨＤＤ１２４は、映像ファイルや会員情報の保存に用いる。

通信部１２５はネットワーク１１、および、ネットワーク１３を介して通信を行う回路である。

以上のように、情報処理装置１２のハードウェア構成は、パーソナルコンピュータ（ＰＣ）に搭載されているハードウェア構成と同様のハードウェア構成要素を有している。そのため、情報処理装置１２で実現される各種機能は、ＰＣ上で動作するソフトウェアとして実装することが可能である。情報処理装置１２は、ＣＰＵ１２１がプログラムを実行することにより、後述の図７の機能、及び図１０、および、図１１のフローチャートを実現することができる。

次に、本実施形態に係る情報処理装置１２の機能構成の一例について、図７を用いて説明する。

情報処理装置１２には、画像取得部４００、顔検出部４０１、特徴量取得部４０２、来店者情報送信部４０３、会員情報取得部４０４、来店者リスト管理部４０５、顔照合部４０６、決済部４０７が設けられている。

画像取得部４００は、店内撮像装置１４、および、レジ撮像装置１５から画像や撮影時刻等の撮影データを受信し、受信した撮影データを、順次、顔検出部４０１へ送信する。送信する画像は静止画であっても動画であってもよい。また、静止画や動画をまとめて画像データと呼んでも良い。

顔検出部４０１は、画像取得部４００から受信した画像に対して、顔検出を行い、画像中の顔が含まれる領域を顔領域として抽出する。本実施例では、背景差分によって顔領域を抽出するが、顔および顔の位置を検出するものであれば、いかなる形態のものであってもよい。

特徴量抽出部４０２は、顔検出部４０１で抽出された顔領域から、所定の演算に基づいて特徴量を抽出する特徴量抽出処理を行う。本実施例では、画像から目、口等のエッジを検出して人物の顔の顔情報（特徴量）を抽出する処理を行う。

来店者情報送信部４０３は、特徴量抽出部４０２が抽出した特徴量を管理装置１０に送信する。

会員情報取得部４０４は、管理装置１０から、会員ＩＤ５０１、決済情報５０２、顔情報（特徴量）５０３を含む会員情報、類似度スコア等を取得する。

来店者リスト管理部４０５は、図８に示す来店者リストのように、会員情報取得部４０４から取得した情報を、それぞれ会員ＩＤ８０１、決済情報８０２、顔情報８０３、類似度スコア８０４に保存する。来店者リストは、来店者ごとに作られ、店内撮像装置１４が検出した来店者の数だけ来店者リストが保存される。なお、来店者リストに、会員情報取得部４０４から会員情報を取得した時刻や、画像取得部４００から取得した画像等も保存してもよい。

顔照合部４０６は、レジ撮像装置１５の映像から抽出した決済者の特徴量に対して、来店者リストの類似度スコア８０４の高い会員情報の顔情報８０３を順次使って、第二の顔照合を行う。

顔照合の結果、類似度スコアが所定の閾値以上であった場合、当該類似度スコアが所定の閾値以上である会員情報に対応する会員ＩＤ８０１と決済情報８０２とを、決済部４０７に通知する。

本実施形態では、１人の来店者に対して１つの来店者リストが紐づけられる。そして、来店者を店内撮像装置１４の画像を用いて追尾し、追尾している人物がレジ撮像装置１５の前に来ると、当該来店者に紐づく来店者リストを用いて、第二の顔照合を行う。

しかしながら、他の実施形態として、複数の来店者に対して、１つの来店者リストを作成してもよい。その場合、来店者リストには、店内のいずれかの来店者と、会員との類似度スコアが保存される。そして、第二の顔照合では、決済者が誰かに関わらず、来店者リストの類似度スコアの高い会員情報から順次、照合が行われる。

ここで、図８を用いて第二の顔照合の方法の一例について説明する。認証成功の閾値となる類似度スコアを７００と設定したとする。

まず、顔照合部４０６は、レジ撮像装置１５の映像から抽出した決済者の特徴量と、第一の顔照合で来店者リストの類似度スコア８０４が最も高い７８０である会員ＩＤ００００３の特徴量と、を照合する。照合の結果、得られた類似度スコアは、６８０であったとする。そうすると、所定の閾値７００を超えていないため、顔照合部４０６は、レジ前にいる決済者は会員ＩＤ００００３ではないと判定する。

次に、顔照合部４０６は、レジ撮像装置１５の映像から抽出した決済者の特徴量と、来店者リストの類似度スコア８０４が６６０である会員ＩＤ００００１の特徴量と照合する。すなわち、第一の顔照合における類似度スコアが、会員ＩＤ００００３の次に高い会員の特徴量と照合する。照合の結果、得られた類似度スコアは、７２０であったとする。そうすると、所定の閾値７００を超えているため、顔照合部４０６は、レジ前にいる決済者は、会員ＩＤ００００１と判定する。

決済部４０７は、顔照合部４０６によって特定された会員の会員ＩＤ８０１に対応する決済情報８０２を用いて、決済処理を行う。本実施例では、不図示のシステムから決済額を受け取り、不図示の決済システムに決済額、会員ＩＤ、決算情報を送信することで決済処理を行う。

次に、本実施形態に係る、管理装置１０が実行する会員登録処理のフローを、図９を用いて説明する。会員登録処理は、会員が店舗で決済を行うよりも前に事前に実行される。

会員登録処理は、システム管理者が、管理装置１０上で不図示の登録処理開始ボタンを押下すると処理が開始される。

Ｓ５０１において、不図示の撮像装置によって撮影し得られた静止画から特徴量を取得し、会員情報登録部３００に送信する。

Ｓ５０２において、不図示のキーボード等の入力装置を用いて、システム管理者から会員ＩＤや、クレジットカード情報などの決済情報の入力を受け付け、会員情報登録部３００に送信する。会員情報登録部３００は、Ｓ５０１で送信された特徴量と、Ｓ５０２で送信された会員ＩＤや、クレジットカード情報などの決済情報とを、会員情報として、図５に示す会員情報リストに保存する。なお、会員情報は、会員が所有する携帯電話などのモバイル端末から、ネットワークを介して取得しても良い。

次に、本実施形態に係る、情報処理装置１２と管理装置１０が連携して実行する、店内撮像装置１４の映像を用いた第一の顔照合フローを、図１０を用いて説明する。

第一の顔照合フローは、システム管理者が不図示の第一の照合処理開始ボタンを押下すると処理が開始される。なお、他の実施形態として、店舗の営業開始時刻を予め情報処理装置１２に記憶させておき、営業開始時刻になったことを条件に、第一の顔照合フローを実行しても良い。

Ｓ６００において、情報処理装置１２の画像取得部４００は、店内撮像装置１４（第１の撮像装置）から店舗内の映像（第１の画像データ）を受け取る。

Ｓ６０１において、情報処理装置１２の顔検出部４０１は、画像取得部４００から受け取った映像に対して顔検出を行い、顔領域を取得する。

Ｓ６０２において、情報処理装置１２の特徴量抽出部４０２は、顔領域から特徴量を抽出する。

Ｓ６０３において、情報処理装置１２の来店者情報送信部４０３は、Ｓ６０２で抽出した特徴量を、管理装置１０の顔情報取得部３０１に送信する。

Ｓ６０４において、管理装置１０の顔照合部３０２は、情報処理装置１２から送信された特徴量を受信する。

そして、Ｓ６０５において、管理装置１０の顔照合部３０２は、受信した特徴量と、管理装置１０の会員情報登録部３００から取得した会員の特徴量を比較し、類似度スコアを算出する。

Ｓ６０６において、管理装置１０の会員情報送信部３０３は、Ｓ６０５で算出した類似度スコアと、管理装置１０の会員情報登録部３００から取得した会員情報とを併せて、情報処理装置１２の会員情報取得部４０４に送信する。

Ｓ６０７において、情報処理装置１２の来店者リスト管理部４０５は、類似度スコアと、会員情報とを受信し、図８に示す通り、来店者リストとして保存する（Ｓ６０８）。

以上の第一の顔照合フローを、店内撮像装置１４が起動している間に繰り返し続けることで、店舗内に滞在する来店者と、全ての登録済の会員情報の紐づけを行う。

本実施例では、全ての登録済の会員情報の紐づけを行い、全ての会員情報を来店者リストに登録したが、他の実施形態として、類似度スコアがあらかじめ設定された閾値以上の会員情報のみ来店者リストに登録してもよい。

また、他の実施形態として、第一の顔照合フローにおいて情報処理装置１２が実行する処理の一部または全部を管理装置１０が実行しても良い。

次に、本実施形態に係る、情報処理装置１２が実行する、レジ撮像装置１５の映像を用いた第二の顔照合フローを、図１１を用いて説明する。

第二の顔照合フローは、システム管理者が不図示の第二の顔照合処理開始ボタンを押下すると処理が開始される。なお、他の実施形態として、店舗の営業開始時刻を予め情報処理装置１２に記憶させておき、営業開始時刻になったことを条件に、第二の顔照合フローを実行しても良い。

Ｓ７００において、画像取得部４００は、レジ撮像装置１５（第２の撮像装置）から、レジで商品の決済をおこなう決済者の顔を正面から撮影した映像（第２の画像データ）を取得する。

Ｓ７０１において、顔検出部４０１は、画像取得部４００から取得した映像に対して顔検出を行い、顔領域を取得する。

Ｓ７０２において、特徴量抽出部４０２は、Ｓ７０１で取得した顔領域から特徴量を抽出する。

Ｓ７０３において、顔照合部４０６は、Ｓ７０２で取得した決済者の特徴量と、来店者リスト管理部４０５で管理する来店者リスト（図８）に登録されている会員情報のうち、最も類似度スコア８０４が高い会員情報の顔情報８０３との類似度スコアを算出する。

すなわち、Ｓ７０３において、Ｓ６０５で算出された類似度が高い人物の、来店者リスト（図８）で管理する特徴情報から順に、第２の画像データに映る人物の特徴情報と照合し、当該第２の画像データに映る人物を特定する特定処理を行う（特定手段）。

本実施形態では、１人の来店者に対して１つの来店者リストが紐づけられる。そして、来店者を店内撮像装置１４の画像を用いて追尾し、追尾している人物がレジ撮像装置１５の前に来ると、Ｓ７０３において、当該来店者に紐づく来店者リストを用いて、第二の顔照合を行う。

本実施形態では、来店者を店内撮像装置１４の画像を用いて追尾し、追尾している間に、第一の顔照合が行われ、その結果を基に来店者リストが１つ生成され、当該来店者に紐づけられる。そして、追尾している来店者がレジ撮像装置１５の前に来ると、Ｓ７０３において、当該来店者に紐づく来店者リストを用いて、第二の顔照合を行う。

Ｓ７０４において、顔照合部４０６は、Ｓ７０３で算出した類似度スコアが所定の閾値を超えるかを判定し、超えていれば、そのときＳ７０３で来店者リスト管理部４０５から取得した会員情報に対応する人物が決済者であると特定し、次の処理に遷移する。閾値を超えていなければ、Ｓ７０３に戻り、次に類似度スコア８０４が高い会員情報との比較を行う。

来店者リストに登録されている全ての会員情報との比較を行っても、類似度スコアの閾値を超えなかった場合、非登録者であるとし、不図示の現金払い等の決済を行う。

Ｓ７０５において、決済部４０７は、特定された決済者の決済情報８０２を用いて、決済処理を行う。

なお、他の実施形態として、第二の顔照合フローにおいて情報処理装置１２が実行する処理の一部または全部を管理装置１０が実行しても良い。

以上説明したように、本実施形態によれば、店内撮像装置１４による俯瞰映像で第一の顔照合を行って、第二の顔照合の候補者を絞っておく。そして、絞った候補者の顔画像を用いて、レジカメラによる正面顔映像で第二の照合を行うことで、店内撮像装置の映像の認証精度が低い場合であっても、レジでの認証時間を短縮しながらも、精度の高い顔認証を行うことができる。

（実施例２）
次に、実施例２について説明する。以下では、実施例１と異なる点についてのみ説明し、その他については、特に触れない限りは実施例１と同様であるものとする。

実施例２では、図８の来店者リストに、第一の顔照合が行われた時刻を示す時刻データを追加して、来店者リストの更新を行う機能を加える。また、実施例２では、第一の顔照合が、所定のタイミングで複数回行われることを前提とする。すなわち、実施例２では、店内撮像装置１４の映像を同一人物に対して複数回取得し、取得するごとに類似度スコアを算出する。

所定のタイミングとは、所定時間ごとに１回でも良いし、店内撮像装置１４の映像に決済者が映ったタイミングでも良いし、店内撮像装置１４が決済者の顔を正面から捉えたタイミングでも良い。

まず、図１０に示す、情報処理装置１２と管理装置１０が連携して実行する、店内撮像装置１４の映像による第一の顔照合フローのうち、変更箇所を説明する。

Ｓ６０８において、情報処理装置１２の来店者リスト管理部４０５は、会員の類似度スコア、会員情報、および、第一の顔照合を行った時刻１２０１を、後述する図１２の来店者リストとして保存する。この時、以前の照合で得られた類似度スコア１２０２と比較し、値が上回った場合は、代表類似度スコア１２０３として順序を並び替える。

図１２を用いて来店者リストの更新方法について説明する。図１２は、来店者リストに、照合が行われた時刻データを追加した場合の情報処理装置１２が保存する来店者リストである。

図１２において、ある来店者に対して、会員ＩＤ００００２と照合した結果、１４：００時点では類似度スコア４００が最高値であり、代表類似度スコア１２０３として扱われていたとする。しかし、その後１４：２０の照合で類似度スコア６２０が得られると、会員ＩＤ００００２の代表類似度スコア１２０３は、６２０に更新される。ここで、１４：２０にレジに来店者が到達し、第二の顔照合を行ったとする。その場合、代表類似度スコア１２０３が７８０の会員ＩＤ００００３、代表類似度スコア１２０３が６６０の会員ＩＤ００００１、代表類似度スコア１２０３が６２０の会員ＩＤ００００２の順で照合を行う。

更に、照合から一定時間経過した照合結果（時刻１２０１、および類似度スコア１２０２）を破棄して、来店者リストを更新する機能を加えても良い。例えば、照合から３０分経過したら照合結果を破棄する。すると、１４：３０にレジに来店者が到達し、第二の顔照合を行う場合、会員ＩＤ００００３の１４：００の照合結果は破棄される。そのため、類似度スコア６６０の会員ＩＤ００００１、類似度スコア６２０の会員ＩＤ００００２、類似度スコア３３０の会員ＩＤ００００３の順で照合を行う。

以上のように、実施例２によると、類似度スコアの最高値が更新に応じて、第二の顔照合の順番を決定する基準となる代表類似度スコアも更新し、更に、時間経過によって照合結果を破棄する。

そうすることで、店内カメラの映像による誤認証の影響を小さくし、レジカメラの映像による第二の顔照合で正しく認証しやすくすることができる。

（実施例３）
次に、実施例３について説明する。以下では、実施例１と異なる点についてのみ説明し、特に触れない限りは実施例１と同様であるものとする。

実施例３では、店舗に設置した店内撮像装置１４ごとに算出された類似度スコアを図８の来店者リストに追加して、店内撮像装置１４ごとの重みを考慮した評価スコアを照合順序の指標に用いる。

まず、図１０に示す、情報処理装置１２と管理装置１０が連携して実行する、店内撮像装置１４の映像による第一の顔照合フローのうち、変更箇所を説明する。

Ｓ６０８において、情報処理装置１２の来店者リスト管理部４０５は、会員の類似度スコア、会員情報を、店内撮像装置１４ごとのデータとして来店者リストとして保存する。また、店内撮像装置１４ごとの重みを考慮した評価スコアを算出し、保存する。

図１３を用いて、実施例３におけるＳ６０８の処理をより詳細に説明する。図１３は、店舗に設置した店内撮像装置１４ごとに算出された類似度スコアと、店内撮像装置１４ごとの重みを考慮して算出した評価スコアを追加した来店者リストである。

例えば、店舗の出入口、鮮魚コーナー、野菜コーナーにそれぞれ店内撮像装置１４を設置したとする。また、出入口、野菜コーナー、鮮魚コーナーの順に映像の解像度が高くなっていくものとする。その場合、出入口の映像は解像度が低いため重み２、鮮魚コーナーは解像度が高く鮮明であるため重み７、野菜コーナーはその間であるため重み５と定義しておく。そして、評価スコアは、各カメラから得られた類似度スコアと、各カメラの重みをかけて足し合わせたものとする。

図１３において、ある来店者を、出入口を写す店内撮像装置１４で撮影し、管理装置１０を介して、会員ＩＤ００００３に対して類似度スコア６６０を取得した。同様に、鮮魚コーナーの映像から類似度スコア５７０を取得し、野菜コーナーの映像から類似度スコア８００を取得した。この場合、ある来店者のＩＤ００００３に対する評価スコアは９３１０になる。同様に、会員ＩＤ００００１は８３３０、会員ＩＤ００００２は４４５０と算出される。

Ｓ７０４においては、算出された評価スコアの順でレジでの認証を行う。

以上のように、カメラの解像度等によって重みを付け、重みを用いた評価スコアを第二の顔照合の順序決定に用いることで、店内カメラの信頼度を考慮した認証処理が行える。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。また、上述の実施形態の一部を適宜組み合わせてもよい。

それから、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピューターを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピューターで実現するために、該コンピューターに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータープログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法として、コンピューターネットワーク上のサーバに本発明を形成するコンピュータープログラムを記憶し、接続のあったクライアントコンピューターがコンピュータープログラムをダウンロードしてプログラムする方法も考えられる。

１０ 管理装置
１１ ネットワーク
１２ 情報処理装置
１３ ネットワーク
１４ 店内撮像装置
１５ レジ撮像装置
３００ 会員情報登録部
３０１ 顔情報取得部
３０２ 顔照合部
３０３ 会員情報送信部
４００ 画像取得部
４０１ 顔検出部
４０２ 特徴量抽出部
４０３ 来店者情報送信部
４０４ 会員情報取得部
４０５ 来店者リスト管理部
４０６ 顔照合部
４０７ 決済部

Claims (10)

1. 人物の特徴を示す特徴情報を、人物ごとに管理する管理手段と、
   第１の画像データに映る人物の特徴情報と、前記管理手段で管理する前記特徴情報それぞれとを照合し、前記管理手段で管理する人物ごとの類似度を算出する算出手段と、
   前記算出手段により算出された類似度が高い人物の前記管理手段で管理する前記特徴情報から順に、第２の画像データに映る人物の特徴情報と照合し、当該第２の画像データに映る人物を特定する特定手段と
   を備えることを特徴とする情報処理システム。
2. 前記第１の画像データは、店内を撮像する第１の撮像装置により撮像された画像データであり、前記第２の画像データは、レジで決済を行う人物を正面から撮像する第２の撮像装置により撮像された画像データであることを特徴とする請求項１に記載の情報処理システム。
3. 前記第１の撮像手段は、店内に複数設置され、
   前記算出手段は、前記第１の画像データが、いずれの前記第１の撮像手段により撮像された画像データであるかによって、当該算出手段で算出する類似度に重みづけを行うことを特徴とする請求項２に記載の情報処理システム。
4. 前記特定手段により特定された人物に紐づく決済情報に基づいて決済を行う決済手段を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
5. 前記特定手段は、前記算出手段で算出された前記類似度が閾値よりも低い人物については、前記第２の画像データに映る人物の特徴情報との照合を行わないことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
6. 前記算出手段により算出してから所定時間が経過した前記類似度は、前記特定手段による特定処理に用いないことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
7. 前記特徴情報は、人物の顔の特徴量であることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理システム。
8. 前記第１の画像データを取得する取得手段を更に備え、
   前記取得手段は、前記第１の画像データを同一人物に対して複数回取得し、
   前記算出手段は、前記取得手段により、同一人物に対する前記第１の画像データを取得するごとに、前記類似度を算出することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理システム。
9. 人物の特徴を示す特徴情報を、人物ごとに管理する管理手段を備える情報処理システムの制御方法であって、
   第１の画像データに映る人物の特徴情報と、前記管理手段で管理する前記特徴情報それぞれとを照合し、前記管理手段で管理する人物ごとの類似度を算出する算出ステップと、
   前記算出ステップで算出された類似度が高い人物の前記管理手段で管理する前記特徴情報から順に、第２の画像データに映る人物の特徴情報と照合し、当該第２の画像データに映る人物を特定する特定ステップと
   を備えることを特徴とする情報処理システムの制御方法。
10. コンピューターを、請求項１乃至８のいずれか１項に記載の情報処理システムの各手段として機能させるためのプログラム。

Images