JP2018136731A - 情報処理装置およびプログラム - Google Patents

Abstract

【課題】複数人で一取引の買い物を行った際に、会計処理に関わる顧客以外の行動を制限しない情報処理装置およびプログラムを提供する。【解決手段】チェックアウト領域の入口に位置する登録領域を撮像した、一取引に係る顧客が映る第１撮像画像と、出口領域を撮像した第２撮像画像とからそれぞれ算出した特徴量の類似性に基づいて、顧客特定部（特定手段）は、登録領域から出口領域まで移動した顧客を特定する。第１判断処理部は、特定手段が特定した顧客に関連付いた会計情報ＩＤ（識別情報）に、会計済を示す情報が付加されているかを判定する。さらに、第２判断処理部は、特定された顧客と同一の識別情報に関連付いた他の顧客が、特定手段で特定済かを判定して、識別情報に会計済を示す情報が付加されておらず、なおかつ、他の顧客が特定手段で特定済であることを条件として、報知部（報知手段）に対して、取引が未会計であることを報知させる。【選択図】図８

Description

本発明の実施形態は、情報処理装置およびプログラムに関する。

従来、スーパーマーケット等の店舗では、店員がＰＯＳ（Point Of Sale）端末を操作することで、商品の登録と会計とを行っていた。また、店舗では、商品の登録を店員が行い、商品の会計を顧客自身が行うセミセルフ等と呼ばれるチェックアウト方式や、商品の登録および会計を顧客自身が行うセルフ等と呼ばれるチェックアウト方式も利用されている。

ところで、前記したセミセルフやセルフでは、商品の会計は顧客に委ねられている。したがって、会計を行わないまま店舗から出てしまう「カゴ抜け」等と呼ばれる不正行為が行われる可能性がある。従来、このような不正行為を未然に防ぐために、セミセルフにおいて、商品の登録を依頼した顧客を撮像する撮像装置と、店舗の出口近傍等を撮像する撮像装置とを設け、これらの撮像装置で撮像された顧客の撮像画像を照合することで、未会計の顧客が出口付近に存在するか否かを判定する技術が知られている（例えば、特許文献１）。

しかしながら、このような従来のカゴ抜け防止方法にあっては、家族連れや友人連れ等の複数人のグループで一取引の買い物を行った際に、会計が完了する前に、同じグループに属する顧客の中の１人が店舗から退出しようとした場合に、未会計の顧客が退出しようとしているとして報知されてしまう可能性があった。すなわち、会計が完了するまで、同じグループに属する顧客は行動を制限されてしまっていた。

本発明が解決しようとする課題は、複数人のグループで一取引の買い物を行った際に、会計処理に関わる顧客以外の行動を制限することのない情報処理装置およびプログラムを提供することである。

実施形態の情報処理装置は、記憶手段と、付加手段と、特定手段と、第１の判定手段と、第２の判定手段と、報知手段とを備える。記憶手段は、商品の登録を行う第１領域で一取引分の商品が登録される毎に、当該一取引に係る各顧客を、第１領域で撮像した第１撮像画像に含まれる各顧客の特徴量と、一取引を識別する識別情報とを関連付けて記憶する。付加手段は、登録された商品の会計を行う第２領域で一取引分の会計が行われる毎に、記憶手段が記憶する識別情報に会計済を示す情報を付加する。特定手段は、記憶手段が記憶する特徴量と、顧客が退出する第３領域を撮像した第２撮像画像に含まれる顧客の特徴量との類似性に基づいて、第１領域から前記第３領域まで移動した顧客を特定する。第１の判定手段は、特定手段が特定した顧客に関連付けられた識別情報に、会計済を示す情報が付加されているかを判定する。第２の判定手段は、特定手段が特定した顧客と同一の識別情報に関連付けられた他の顧客が、特定手段で特定済かを判定する。報知手段は、識別情報に会計済を示す情報が付加されておらず、他の顧客が特定手段で特定済であることを条件として、取引が未会計であることを報知する。

図１は、実施形態に係る店舗のレイアウトの一例を模式的に示す図である。 図２は、実施形態に係る監視装置の構成の一例を模式的に示す図である。 図３は、実施形態に係る登録装置の構成の一例を示す図である。 図４は、第１撮像画像の一例を示す図である。 図５は、第１撮像画像に映っている顔領域の識別方法について説明する散布図の一例である。 図６は、実施形態の登録装置が実行する第１撮像画像の識別処理の流れの一例を示すフローチャートである。 図７は、実施形態に係る会計装置の構成の一例を示す図である。 図８は、実施形態に係る監視サーバの構成の一例を示す図である。 図９は、顧客特定部が顧客を特定する際に使用するテーブルの一例を示す図であり、図９（ａ）は、判断テーブルのデータ構造の一例を示す図である。図９（ｂ）は、退出者テーブルのデータ構造の一例を示す図である。 図１０は、実施形態の監視サーバが実行する監視処理の流れの一例を示すフローチャートである。

（監視装置の全体構成の説明）
以下、添付図面を参照して、本発明に係る情報処理装置の一例である監視サーバを備えた監視装置１００の実施形態を詳細に説明する。なお、本実施形態では、本発明を、スーパーマーケット等の店舗に適用した例について説明するが、本発明はこの実施形態に限定されるものではない。

図１は、本実施形態に係る監視装置１００が備えられた店舗Ｓのレイアウトの一例を模式的に示す図である。図１に示すように、店舗Ｓは、商品の登録および会計に係るチェックアウト領域Ａ１を有する。チェックアウト領域Ａ１は、登録領域Ａ１１と、会計領域Ａ１２と、出口領域Ａ１３とを含む。

登録領域Ａ１１は、チェックアウト領域Ａ１の入口に位置する第１領域の一例であり、複数の登録装置１０が設けられている。会計領域Ａ１２は、顧客が、登録が済んだ商品の会計を行う第２領域の一例であり、複数の会計装置２０が設けられている。出口領域Ａ１３は、チェックアウト領域Ａ１の出口に位置する第３領域の一例であり、チェックアウト領域Ａ１の出口Ｂ１１が設けられている。なお、図示しないが、店舗Ｓ内には販売対象の商品が陳列される陳列領域があるものとする（例えば、チェックアウト領域Ａ１の上方等）。

登録装置１０は、店員により操作され、顧客が購入する商品の登録処理を行う商品販売データ処理装置である。会計装置２０は、顧客により操作され、登録装置１０で登録された商品の会計処理を行う商品販売データ処理装置である。つまり、登録装置１０と会計装置２０とは、協働することによって、セミセルフ等と呼ばれるチェックアウト方式を実現する。

図１に示した店舗Ｓにおいて、顧客が商品を購入する際の動作は以下のようになる。まず、顧客は、購入する商品を買い物カゴ等に入れて登録領域Ａ１１（登録装置１０）に運ぶ。登録装置１０では、店員が、商品に付与されたバーコードを、後述する読取部１４（図３）に読み取らせることで商品の登録を行う。このとき、顧客は、登録装置１０の近傍で登録処理の終了を待つ。一取引に係る全ての商品の登録が完了すると、店員は会計先となる会計装置２０を一つ選択（指定）し、その会計装置２０を顧客に通知することで会計先への案内を行う。また、登録装置１０は、登録した各商品の単価や数量等の情報を含んだ会計情報を、指定された会計装置２０に送信する。

顧客は商品の登録が完了すると、商品（買い物カゴ）を持って会計領域Ａ１２に移動し、店員により指定された会計装置２０で、購入した商品の代金を決済する会計を行う。その際、会計装置２０は、登録装置１０から事前に送信された会計情報に基づき会計処理を実行する。そして、顧客は、会計が完了すると、購入した商品をレジ袋等に入れて、出口領域Ａ１３（出口Ｂ１１）に移動する。その後、顧客は、出口Ｂ１１を通過してチェックアウト領域Ａ１から退出する。

このように、セミセルフ方式では、登録と会計とを分担するため、レジ待ち時間の短縮等、処理の効率化を図ることができる。しかしながら、セミセルフ方式では、会計が顧客自身に委ねられているため、商品を未会計のまま店舗外に持ち出すカゴ抜け等と呼ばれる不正行為が行われる可能性がある。

そこで、本実施形態の監視装置１００では、登録領域Ａ１１および出口領域Ａ１３において、顧客の顔を含む映像をそれぞれ撮像し、監視サーバ４０（図２）において、その撮像画像に基づいて不正行為の可能性がある顧客の検知および報知を行う。以下、本実施形態に係る監視装置１００の構成について説明する。

図２は、本実施形態に係る監視装置１００の構成の一例を模式的に示す図である。同図に示すように、監視装置１００は、前記した登録装置１０および会計装置２０とともに、第１カメラ３１と、第２カメラ３２と、監視サーバ４０とを備える。登録装置１０、会計装置２０、第２カメラ３２および監視サーバ４０は、ＬＡＮ（Local Area network）等のネットワークＮ１に接続される。

第１カメラ３１は、第１領域の一例である登録領域Ａ１１（登録装置１０）において、顧客の顔を撮像する撮像装置である。第１カメラ３１は、登録装置１０の各々に設けられる（図１）。より好ましくは、第１カメラ３１は、登録装置１０の各々において、顧客の顔を撮像可能な位置に設けられる。登録装置１０と第１カメラ３１は、接続線Ｌ１により接続される。なお、第１カメラ３１の設置位置は特に問わず、登録装置１０と一体的に設けられてもよいし、監視カメラ等の形態で店舗の天井等に設けられてもよい。

本実施形態にあっては、第１カメラ３１は、登録装置１０において、顧客と、当該顧客と一緒に店舗Ｓを訪れて登録装置１０が行う登録処理に立ち会った、同伴者である他の顧客と、の顔を含む画像を、登録処理が行われている間に繰り返して撮像する。

登録装置１０は、登録処理が完了した後、前記した会計情報、および当該会計情報を一意に特定する識別情報の一例である会計情報ＩＤ９０（図９）を生成する。そして、登録装置１０は、店員が指定した会計装置２０に対して会計情報および会計情報ＩＤ９０を送信する。さらに、登録装置１０は、第１カメラ３１と協働し、登録処理の間に繰り返して撮像された画像（以下、第１画像Ｉ１と呼ぶ）のうち、一取引に係る顧客の顔を含む画像を、会計情報ＩＤ９０とともに、監視サーバ４０に送信する。なお、第１画像Ｉ１は、第１撮像画像の一例であり、静止画および動画を含む。

会計装置２０は、登録装置１０から送信された会計情報に基づいて会計処理を行う。そして、会計装置２０は、会計処理が完了した後で、会計情報に係る会計処理が済んだことを示す会計完了フラグ９２を発行する。そして、会計装置２０は、会計完了フラグ９２を、会計情報ＩＤ９０とともに監視サーバ４０に送信する。

第２カメラ３２は、第３領域の一例である出口領域Ａ１３に存在する顧客を撮像する撮像装置である。第２カメラ３２は、出口Ｂ１１を通過する顧客の顔を含む画像を撮像することが可能な位置に設けられる。第２カメラ３２は、撮像した第２画像Ｉ２を監視サーバ４０に送信する。第２画像Ｉ２は第２撮像画像の一例である。なお、第２カメラ３２の設置位置は特に問わず、監視カメラ等の形態で店舗Ｓの天井等に設けられてもよい。

監視サーバ４０は、第１カメラ３１で撮像された第１画像Ｉ１と、第２カメラ３２で撮像された第２画像Ｉ２とに基づき、チェックアウト領域Ａ１内における顧客の動作を監視するサーバ装置である。監視サーバ４０は、第１画像Ｉ１と第２画像Ｉ２とに基づき、未会計でチェックアウト領域Ａ１を退出する顧客の検知と報知とを行う。なお、監視サーバ４０は、一緒に店舗Ｓを訪れた複数の顧客（１グループの属する複数の顧客）に係る一取引が未会計である場合でも、当該複数の顧客のうち最後の退出者以外については報知を行わず、チェックアウト領域Ａ１からの退出を許可する。

（登録装置の機能構成の説明）
図３は、本実施形態に係る登録装置１０の構成の一例を示す図である。図３に示すように、登録装置１０は、制御部１１を備える。制御部１１は、ＣＰＵ（Central Processing Unit）やＳｏＣ（System-on-a-Chip）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えた、一般的なコンピュータシステムの構成を有する。

制御部１１には、バス等を介して、表示部１２、操作部１３、読取部１４、記憶部１５、接続インタフェース１６および通信インタフェース１７等が接続される。

表示部１２は、液晶ディスプレイ等の表示デバイスを有する。表示部１２は、制御部１１の制御の下、登録された商品の商品名や商品コード等、各種の情報を表示する。操作部１３は、各種の操作キーやポインティングデバイスを有し、オペレータ（店員）の操作を受け付ける。例えば、操作部１３は、登録処理の開始や完了を指示する操作キーや、商品コードや商品の個数等を入力するための置数キー等を有する。なお、操作部１３は、表示部１２の表示画面上に設けられたタッチパネルであってもよい。

読取部１４は、バーコードや二次元コード等のコードシンボルを読み取り可能なコードリーダである。例えば、読取部１４は、商品に付与されたコードシンボルから、当該コードシンボルに保持された商品コードを読み取る。ここで、商品コードは、商品識別情報であって、商品の種別毎に固有の商品コードが付与されている。

記憶部１５は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置である。記憶部１５は、制御部１１により実行されるプログラムおよび当該プログラムの実行に用いられる各種データを記憶する。例えば、記憶部１５は、各商品の商品コードと、当該商品の商品名および単価等を含む商品情報とを対応付けた商品マスタ（図示せず）を予め記憶している。

接続インタフェース１６は、第１カメラ３１と接続可能なインタフェースである。接続インタフェース１６は、接続線Ｌ１を介して、第１カメラ３１から入力される第１撮像画像を受け付ける。通信インタフェース１７は、ネットワークＮ１に接続可能な通信インタフェースである。通信インタフェース１７は、ネットワークＮ１に接続された外部装置（例えば、会計装置２０、監視サーバ４０）との間で各種情報を送受信する。

前記構成の登録装置１０において、店員の操作により購入対象の商品に付与されたコードシンボルの読み取りが行われると、制御部１１は、読取部１４で読み取られた商品コードをＲＡＭ等に記憶することで商品の登録を行う。また、制御部１１は、商品の購入点数（個数）が入力されると、その点数を商品コードと対応付けて登録する。さらに、制御部１１は、商品の登録処理が行われている間、第１カメラ３１によって第１画像Ｉ１を撮像する。

一取引分の商品の登録が完了すると、制御部１１は、それまでに登録された商品コードと購入点数とに基づき会計情報を生成する。会計情報は、例えば、各商品（商品コード）の商品名や金額、総支払額等を含む。なお、商品名や金額は、制御部１１が、記憶部１５が記憶している商品マスタに登録された商品情報に基づいて算出する。

また、制御部１１は、操作部１３等を介して、店員により特定の会計装置２０が選択（指定）されると、その会計装置２０宛に会計情報、および会計情報ＩＤ９０を送信する。なお、会計装置２０の選択は、会計装置２０の空き状況等に基づいて、制御部１１が自動で選択する構成としてもよい。さらに、制御部１１は、登録処理中に取得した複数の第１画像Ｉ１のうち、顧客の顔を含む第１画像Ｉ１、および会計情報ＩＤ９０を監視サーバ４０に送信する。なお、監視サーバ４０に送信する第１画像Ｉ１の枚数は特に問わないものとする。

第１カメラ３１が撮像する第１画像Ｉ１は、後述する退出者特定処理において、一取引に係る顧客を識別する際の基準画像となる。そのため、制御部１１は、第１画像Ｉ１の中から、各顧客の顔の特徴的な部分が撮像された第１画像Ｉ１のみを選定して、監視サーバ４０に送信する。例えば、制御部１１は、登録処理中に撮像された第１画像Ｉ１のうち、顔領域の面積や顔の向き等の状態に基づいて監視サーバ４０に送信する画像を選定する構成、すなわち、各顧客の顔が、なるべく正面から大きく撮像された第１画像Ｉ１を選択して監視サーバ４０に送信する構成とすることが好ましい。

図４に、第１画像Ｉ１の一例を示す。一取引に係る複数の顧客Ｃ、Ｄ、…は、通常は一緒に行動するため、登録処理を行っている間も隣り合っている可能性が高い。そのため、第１カメラ３１には、例えば、図４に示すような、顧客Ｃと顧客Ｄの２名が映った第１画像Ｉ１が撮像される。そして、第１カメラ３１による撮像は繰り返し行われるため、別の第１画像Ｉ１には、同じ取引に係る、顧客Ｃ、Ｄ以外の別の顧客が映る可能性が高い。

図４に示す第１画像Ｉ１が撮像された際に、登録装置１０の制御部１１は、顧客Ｃの顔領域Ｉ１１と顧客Ｄの顔領域Ｉ１２とをそれぞれ検出して、登録装置１０のＲＡＭ等に一時記憶する。ここで、顔領域Ｉ１１は、同一取引に係る１番目に検出された顔領域であることを示す。また、顔領域Ｉ１２は、同一取引に係る２番目に検出された顔領域であることを示す。そして、第１画像Ｉ１は繰り返し撮像されるため、顧客Ｃ、Ｄ、…の顔領域が、それぞれ複数枚撮像される。すなわち、複数の顔領域Ｉ１ｉ（ｉ＝１、２、…）が得られる。なお、顔領域Ｉ１ｉは、ｉ番目に検出された顔領域を表すものとする。

次に、図５を用いて、登録装置１０が行う、第１画像Ｉ１に映っている顔領域Ｉ１ｉが何人分の顔を含むかを識別する識別方法について説明する。図５は、第１画像Ｉ１に映っている顔領域Ｉ１ｉの識別方法について説明する散布図の一例である。特に、図５は、顧客Ｃ、Ｄの２人を含む複数の顔領域Ｉ１ｉからそれぞれ算出したｍ種類の特徴量のうち、２種類の特徴量Ｆａ、Ｆｂを、それぞれ横軸と縦軸にとった散布図の一例である。なお、ｍ種類の特徴量とは、例えば、顔領域Ｉ１ｉの色相や色度、眼間距離、上瞼と下瞼で挟まれた領域の面積、両眼と鼻の位置関係、鼻と唇の位置関係等、顔認識で一般的に使用される特徴量である。

図５にプロットされた各点は、それぞれ、顔領域Ｉ１ｉ（ｉ＝１、２、…）を示している。図５からわかるように、顔領域Ｉ１１、Ｉ１３、Ｉ１６はひとつの塊（クラスタＧ１）を形成する。そして、顔領域Ｉ１２、Ｉ１７は別のクラスタＧ２を形成する。そして、クラスタＧ１の境界は、識別関数ｇ１で区分されて、クラスタＧ２の境界は、識別関数ｇ２で区分される。このように、特徴量Ｆａ、Ｆｂの値に基づいて、サンプル（この場合は顔領域Ｉ１ｉ）をグルーピングする処理は、一般にクラスタリングと呼ばれている。なお、図５は、２種類の特徴量Ｆａ、Ｆｂを用いてクラスタリングを行った例であるが、実際には、ｍ種類の特徴量Ｆａ、…、Ｆｍを用いたクラスタリングを行う。また、図５には、各クラスタの辺縁を表す楕円形状の識別関数ｇ１、ｇ２を示したが、識別関数ｇ１、ｇ２の形状は楕円形状に限定されるものではなく、例えば、直線状の識別関数ｇ３としてもよい。

このようなクラスタリングによって、顔領域Ｉ１ｉから算出された特徴量Ｆａ、Ｆｂの値に基づいて、撮像された顔領域Ｉ１ｉが属するクラスタＧａ（ａ＝１、２、…）を特定することができる。なお、同じクラスタＧａに属する顔領域Ｉ１ｉは、いずれも同一の顧客Ｃまたは顧客Ｄを表している。但し、どのクラスタＧａが顧客Ｃに対応するかは不明である。

（第１撮像画像の識別処理の説明）
次に、登録装置１０が行う、第１カメラ３１が撮像した第１画像Ｉ１の中から、顔領域Ｉ１ｉ（ｉ＝１、２、…）を検出して、さらに、検出された顔領域Ｉ１ｉを識別して監視サーバ４０に送信する識別処理について説明する。図６は、本実施形態の登録装置１０が実行する第１画像Ｉ１（第１撮像画像）の識別処理の流れの一例を示すフローチャートである。なお、本処理は、登録処理のバックグラウンドで実行される。また、本識別処理の中で実行される顔領域の検出や特徴量の算出は、いずれも公知の技術を用いて行うものとする。

まず、制御部１１は、操作部１３等を介した登録開始の指示があるかを判断する（ステップＳ１０）。登録開始の指示があるとき（ステップＳ１０：Ｙｅｓ）は、ステップＳ１２に進む。一方、登録開始の指示がないとき（ステップＳ１０：Ｎｏ）は、ステップＳ１０を繰り返す。

制御部１１は、第１カメラ３１に撮像を行わせる（ステップＳ１２）。

続いて、制御部１１は、第１カメラ３１から入力される第１画像Ｉ１から、顔領域Ｉ１ｉが検出されたかを判断する（ステップＳ１４）。顔領域Ｉ１ｉが検出されたとき（ステップＳ１４：Ｙｅｓ）はステップＳ１６に進む。一方、顔領域Ｉ１ｉが検出されないとき（ステップＳ１４：Ｎｏ）は、ステップＳ２０に進む。なお、第１画像Ｉ１が複数の顔領域Ｉ１ｉを含む場合は、全ての顔領域Ｉ１ｉを検出する。

制御部１１は、顔領域Ｉ１ｉから、予め決められた特徴量Ｆ１ｉｊ（ｊ＝１、２、…、ｍ）を算出する（ステップＳ１６）。ここで、特徴量Ｆ１ｉｊとは、ｉ番目に検出された顔領域Ｉ１ｉから算出したｊ番目の特徴量を示す。なお、ｍ種類の特徴量は、予め決められているものとする。

次に、制御部１１は、顔領域Ｉ１ｉを、その顔領域Ｉ１ｉから算出された特徴量Ｆ１ｉｊと関連付けて、ＲＡＭ等に一時記憶する（ステップＳ１８）。このとき、第１画像Ｉ１の記憶容量を削減するために、第１画像Ｉ１全体ではなく、顔領域Ｉ１ｉのみを部分画像として切り出して記憶するのが望ましい。例えば、１枚の第１画像Ｉ１の中に複数の顔領域が映っている場合は、図４に示したように、複数の顔領域Ｉ１１、Ｉ１２をそれぞれ切り出して記憶する。

さらに、制御部１１は、操作部１３等を介して登録完了が指示されたか否かを判定する（ステップＳ２０）。登録完了の指示がない場合（ステップＳ２０：Ｎｏ）、制御部１１は、ステップＳ１２に処理を戻す。これにより、商品の登録が行われている間、第１カメラ３１で撮像された顔領域Ｉ１ｉが、特徴量Ｆ１ｉｊと関連付けられて一時記憶される。なお、図６には記載しないが、後述する退出者特定処理を容易に行うために、店員は、登録処理を行っている最中に、操作部１３を介して、現在登録中の取引に係る顧客人数を示す付帯情報９４（例えば、グループの人数、性別等）を入力し、入力した付帯情報９４をＲＡＭ等に記憶してもよい。

ステップＳ２０において登録完了が指示されると（ステップＳ２０：Ｙｅｓ）、制御部１１は、一時記憶された複数の顔領域Ｉ１ｉ同士で特徴量Ｆ１ｉｊを照合して、顔領域Ｉ１ｉを同一の顧客毎のクラスタに識別する（ステップＳ２２）。具体的には、制御部１１は、特徴量Ｆ１ｉｊに基づいて、複数の顔領域Ｉ１ｉをクラスタリングする（図５）。なお、前記した付帯情報９４が得られれば、クラスタリングを行った結果得られるクラスタ数が予めわかるので、ステップＳ２２の処理を、より一層容易に実行することができる。ステップＳ２２の処理による識別結果、すなわち、顧客毎に識別された顔領域Ｉ１ｉと特徴量Ｆ１ｉｊとは、再度ＲＡＭ等に一時記憶される。なお、記憶しておく顔領域Ｉ１ｉの数に制限はないが、顔領域Ｉ１ｉの面積が、所定の最低面積に比べて小さい場合には、その顔領域Ｉ１ｉから算出された特徴量Ｆ１ｉｊの信頼性は低い可能性がある。したがって、監視サーバ４０が行う後述する退出者特定処理の性能が低下する恐れがあるため、記憶対象から外すのが好ましい。

続いて、制御部１１は、ステップＳ２２で識別した顔領域Ｉ１ｉと特徴量Ｆ１ｉｊとを関連付けて、会計情報ＩＤ９０とともに、監視サーバ４０に送信する（ステップＳ２４）。そして、制御部１１は、顔領域Ｉ１ｉの識別処理を終了する。

（会計装置の機能構成の説明）
図７は、本実施形態に係る会計装置２０の構成の一例を示す図である。図７に示すように、会計装置２０は、制御部２１を備える。制御部２１は、ＣＰＵやＳｏＣや、ＲＯＭ、ＲＡＭ等を備えた、一般的なコンピュータシステムの構成を有する。

制御部２１には、バス等を介して、表示部２２、操作部２３、印字部２４、記憶部２５および通信インタフェース２６等が接続される。

表示部２２は、液晶ディスプレイ等の表示デバイスを有する。表示部２２は、制御部２１の制御の下、会計情報等の各種の情報を表示する。操作部２３は、各種の操作キーやポインティングデバイスを有し、オペレータ（顧客Ｃ、Ｄ、…）の操作を受け付ける。例えば、操作部２３は、会計処理の開始や完了を指示する操作キー等を有する。なお、操作部２３は、表示部２２の表示面上に設けられたタッチパネルであってもよい。

印字部２４は、サーマルプリンタ等の印字装置である。印字部２４は、制御部２１の制御の下、会計情報の内訳等をレシート用紙等の紙媒体に印字する。記憶部２５は、ＨＤＤやフラッシュメモリ等の記憶装置である。記憶部２５は、制御部２１により実行されるプログラムおよび当該プログラムの実行に用いられる各種データを記憶する。

通信インタフェース２６は、ネットワークＮ１に接続可能な通信インタフェースである。通信インタフェース２６は、ネットワークＮ１に接続された外部装置（例えば、登録装置１０、監視サーバ４０）と各種情報を送受信する。

また、制御部２１には、不図示の接続インタフェースを介して、硬貨や紙幣の入金を受け付ける金銭入金装置や、釣り銭等を払い出す金銭出金装置等が接続される（何れも図示せず）。

会計装置２０において、制御部２１は、登録装置１０から送信された会計情報をＲＡＭ等に一時記憶し、当該会計情報に係る会計処理の開始を待機する。顧客Ｃ、Ｄ、…（もしくは、その中の少なくとも一人）は、登録装置１０の店員が指示した会計装置２０に移動すると、操作部２３を介して会計処理の開始を指示する。制御部２１は、会計処理の開始が指示されると、一時記憶された会計情報に基づき、商品代金の支払い（入金）を受け付ける。そして、制御部２１は、支払いが完了すると、その内訳を印字したレシート用紙を印字部２４から出力させ、会計処理を終了する。

なお、制御部２１は、会計処理が終了した際に、会計処理の対象となった会計情報に対して、当該会計情報に係る会計処理が済んだことを示す会計完了フラグ９２を発行する。そして、制御部２１は、会計情報を特定する会計情報ＩＤ９０と、会計完了フラグ９２とを関連付けて、監視サーバ４０に送信する。

（監視サーバの機能構成の説明）
図８は、本実施形態に係る監視サーバ４０の構成の一例を示す図である。図８に示すように、監視サーバ４０は、制御部４１を備える。制御部４１は、ＣＰＵやＳｏＣや、ＲＯＭ、ＲＡＭ等を備えた、一般的なコンピュータシステムの構成を有する。

制御部４１には、バス等を介して記憶部４２、報知部４３および通信インタフェース４４等が接続される。記憶部４２は、ＨＤＤやフラッシュメモリ等の記憶装置である。記憶部４２は、制御部４１により実行されるプログラムおよび当該プログラムの実行に用いられる各種データを記憶する。また、記憶部４２は、記憶手段の一例であり、チェックアウト領域Ａ１の出口Ｂ１１（図１）からの退出者について、会計処理の完了状態を監視するための判断テーブルＴ１（図９）を記憶する。

報知部４３は、報知手段の一例であり、例えばブザーやチャイム等の鳴動装置を備える。この報知部４３は、制御部４１が備える、後述する第２判断処理部４１５の判断結果に基づいて警報音を発生させることにより、不正退出の報知を行う。

通信インタフェース４４は、ネットワークＮ１に接続し、他の装置（登録装置１０、会計装置２０、第２カメラ３２等）との間で各種情報を送受信する。

制御部４１は、図８に示すように、画像取得部４１０、特徴量算出部４１１、会計完了情報付与部４１２、顧客特定部４１３、第１判断処理部４１４、および第２判断処理部４１５等の機能部を備える。これらの機能部は、記憶部４２に記憶されたプログラムの実行によりソフトウェア的に、あるいは制御部４１が備える専用プロセッサ等によりハードウェア的に実現される。

画像取得部４１０は、通信インタフェース４４を介して、登録装置１０から、第１カメラ３１で撮像した第１画像Ｉ１から検出した顔領域Ｉ１ｉと、顔領域Ｉ１ｉが有する特徴量Ｆ１ｉｊとを取得する。また、画像取得部４１０は、第２カメラ３２で撮像された第２画像Ｉ２を取得する。

特徴量算出部４１１は、画像取得部４１０が取得した第２画像Ｉ２から、顔領域を検出する。このとき検出される顔領域を、以後顔領域Ｉ２ｐと呼ぶ。すなわち、顔領域Ｉ２ｐは、画像取得部４１０が取得した第２画像Ｉ２からｐ番目に検出された顔領域であるとする。そして、特徴量算出部４１１は、顔領域Ｉ２ｐが有する顔特徴を表す特徴量Ｆ２ｐｊを算出する。特徴量Ｆ２ｐｊは、前記した特徴量Ｆ１ｉｊと同じｍ種類の特徴量である。特徴量算出部４１１は、検出された顔領域Ｉ２ｐと特徴量Ｆ２ｐｊとを関連付けて、ＲＡＭ等に一時記憶する。なお、画像取得部４１０は、登録装置１０から、第１カメラ３１で撮像した第１画像Ｉ１のみを取得して、特徴量算出部４１１において、顔領域Ｉ１ｉの検出と特徴量Ｆ１ｉｊの算出を行う構成としてもよい。

会計完了情報付与部４１２は、付加手段の一例である。会計完了情報付与部４１２は、会計装置２０が送信する、一取引分の会計が行われる毎に発行される会計完了フラグ９２と、当該一取引を特定する会計情報ＩＤ９０とを受信して、記憶部４２が記憶する後述する判断テーブルＴ１（図９）に、受信した会計完了フラグ９２を付加する。

顧客特定部４１３は、特定手段の一例であり、顔領域Ｉ１ｉと顔領域Ｉ２ｐとを照合する。具体的には、顧客特定部４１３は、顔領域Ｉ２ｐの特徴量Ｆ２ｐｊと、顔領域Ｉ１ｉの特徴量Ｆ１ｉｊとの類似度に基づいて、顔領域Ｉ２ｐに最も近い顔領域Ｉ１ｉを特定する。すなわち、顧客特定部４１３は、顔領域Ｉ２ｐが、図６のステップＳ２２において識別されたどのクラスタに属するかを判断する退出者特定処理を行う。特徴量Ｆ２ｐｊと特徴量Ｆ１ｉｊとの類似度は、例えば、同じ特徴量Ｆ２ｐｊと特徴量Ｆ１ｉｊとの差分値の総和を求めることによって算出することができる。この場合、差分値の総和が小さいほど、類似度が高いと判断する。そして、顔領域Ｉ２ｐと最も類似祖が高い顔領域Ｉ１ｉを有する顧客を退出者であると特定する。あるいは、特徴量Ｆ２ｐｊと、図５に示した識別関数ｇ１、ｇ２、ｇ３とを比較することによって、特徴量Ｆ２ｐｊがどのクラスタに属するかを求めることによって、退出者を特定してもよい。

この退出者特定処理によって、顧客特定部４１３は、一取引に係る顧客Ｃ、Ｄ、…の中の誰が、チェックアウト領域Ａ１の出口Ｂ１１から退出しようとしているか、あるいは、記憶された顔領域Ｉ１ｉの中に該当する顧客がいないかを特定する。なお、退出者特定処理によって特定できるのは、例えば、第ｎグループのａ番目の顧客が退出しようとしているという情報である。すなわち、退出者がどの顧客Ｃ、Ｄ、…であるかを特定することができる訳ではない。また、特定された退出者がどの取引に係る顧客かは不明であるため、顧客特定部４１３は、顔領域Ｉ２ｐを、記憶部４２が記憶している全ての顔領域Ｉ１ｉと照合する。

第１判断処理部４１４は、第１の判定手段の一例であり、退出者特定処理によって特定した顧客に関連付けられた会計情報ＩＤ９０に、会計済を示す情報が付加されているかを判定する会計完了判断処理を行う。具体的には、第１判断処理部４１４は、後述する判断テーブルＴ１（図９）における、特定された退出者が属するグループの会計完了フラグ９２の状態に基づいて、会計処理が完了しているかを判断する。詳しくは後述する。

第２判断処理部４１５は、第２の判定手段の一例であり、退出者特定処理によって特定した顧客と同一の会計情報ＩＤ９０に関連付けられた他の顧客が、顧客特定部４１３で特定済かを判定する最終退出者判定処理を行う。具体的には、第２判断処理部４１５は、後述する判断テーブルＴ１（図９）における、特定された顧客が属するグループの退出者フラグ９６の状態に基づいて、最後の退出者であるかを判断する。詳しくは後述する。

さらに、第２判断処理部４１５は、特定した顧客が係る一取引の会計処理が完了しておらず、なおかつ、特定した顧客が、当該一取引に係る最後の退出者であることを条件として、報知部４３に対して、報知を行う指示を出す報知判断処理を行う。

なお、第２判断処理部４１５は、特定した退出者が係る一取引の会計処理が完了している場合には、当該一取引に係る顧客Ｃ、Ｄ、…の全員のデータ（顔領域Ｉ１ｉと特徴量Ｆ１ｉｊ）を、判断テーブルＴ１から無効とするグループデータ無効化処理を行う。このグループデータ無効化処理を行うことによって、次回以降の退出者特定処理を行う際の顔領域Ｉ１ｉの照合範囲を狭めることができるため、顧客特定部４１３の演算量を削減することができる。

また、第２判断処理部４１５は、特定した顧客が係る一取引の会計処理が完了しておらず、なおかつ、特定した顧客が、当該一取引に係る最後の退出者でない場合には、特定した退出者のデータ（顔領域Ｉ１ｉと特徴量Ｆ１ｉｊ）のみを、判断テーブルＴ１から無効とする特定データ無効化処理を行う。この特定データ無効化処理を行うことによって、次回以降の退出者特定処理を行う際の顔領域Ｉ１ｉの照合範囲を狭めることができるため、顧客特定部４１３の演算量を削減することができる。なお、グループデータ無効化処理および特定データ無効化処理は、該当するデータを無効とする以外に、該当するデータを判断テーブルＴ１から削除してもよい。

（退出者特定処理の説明）
次に、図９を用いて、顧客特定部４１３が行う退出者特定処理の具体的な方法について説明する。図９（ａ）は、記憶部４２が記憶する判断テーブルＴ１のデータ構造の一例を示す図である。

判断テーブルＴ１は、ともに前記した、登録処理後に登録装置１０から監視サーバ４０に送信される情報と、会計処理後に会計装置２０から監視サーバ４０に送信される情報とを格納する。すなわち、判断テーブルＴ１は、図９（ａ）に示すように、登録装置１０から送信された、第１画像Ｉ１からｉ番目に検出された顔領域Ｉ１ｉ（ｉ＝１、２、…）と、顔領域Ｉ１ｉから算出されたｍ個の特徴量Ｆ１ｉｊ（ｊ＝１、２、…、ｍ）とを格納する。また、判断テーブルＴ１は、会計装置２０から送信された、会計情報ＩＤ９０と会計完了フラグ９２と、登録装置１０から送信された、店員が入力した付帯情報９４と、各グループに属する顧客がチェックアウト領域Ａ１の出口Ｂ１１から退出したことを示す退出者フラグ９６とを格納する。

このとき、会計情報ＩＤ９０は、一取引毎に付与されて、登録装置１０と会計装置２０の双方から監視サーバ４０に送信される。監視サーバ４０の制御部４１は、会計情報ＩＤ９０に基づいて、登録装置１０から送信された、各顧客の顔領域Ｉ１ｉおよび特徴量Ｆ１ｉｊを、登録装置１０から送信された、会計完了フラグ９２および付帯情報９４と関連付けて、判断テーブルＴ１に格納する。例えば、図９に示すように、グループ１の取引には、会計情報ＩＤ９０として、番号９０ａが付与されて、別のグループ２の取引には会計情報ＩＤ９０として、番号９０ｂが付与される。したがって、同じ会計情報ＩＤ９０が付与されていることに基づいて、登録装置１０から送信された情報と、会計装置２０から送信された情報とを関連付けることができる。

なお、顔領域Ｉ１ｉについては、必ずしも判断テーブルＴ１に格納しておく必要はない。しかし、顔領域Ｉ１ｉを格納しておくことによって、例えば、特定の顧客が識別できない状況が発生した際に、記憶された顔領域Ｉ１ｉを分析することによって、新たな特徴量Ｆ１ｉｊの設定を行うことができる。

ここで、以後の説明を簡単にするため、取引を行った各グループＫ（Ｋ＝１、２、…）に属する各顧客を、符号Ｋｈ（Ｋ＝１、２、…、ｈ＝１、２、…）で表すものとする。すなわち、グループ１には、顧客１１、顧客１２、顧客１３、…が属して、グループ２には、顧客２１、顧客２２、…が属しているものとする。

一方、監視サーバ４０の画像取得部４１０は、前記したように、第２カメラ３２から所定の時間間隔で第２画像Ｉ２を取得する。そして、特徴量算出部４１１は、取得された第２画像Ｉ２の中から、ｐ番目の顔領域Ｉ２ｐ（ｐ＝１、２、…）を検出して、検出された顔領域Ｉ２ｐの特徴量Ｆ２ｐｊ（ｊ＝１、２、…ｍ）を算出する。この処理によって、特徴量算出部４１１は、図９（ｂ）に示す退出者テーブルＴ２を取得する。退出者テーブルＴ２は、顔領域Ｉ２ｐと特徴量Ｆ２ｐｊとを関連付けて格納する。

顧客特定部４１３は、退出者テーブルＴ２の顔領域Ｉ２ｐが有する特徴量Ｆ２ｐｊに基づいて、顔領域Ｉ２ｐが、判断テーブルＴ１に登録された、いずれの顔領域Ｉ１ｉ（ｉ＝１、２、…）に類似しているか、あるいは、いずれの顔領域Ｉ１ｉにも類似しないかを特定する。このとき、判断テーブルＴ１には、全ての取引に係る顧客Ｋｈの顔領域Ｉ１ｉが登録されており、退出者テーブルＴ２の顔領域Ｉ２ｐは、どの取引に係る顧客Ｋｈの情報であるかは不明であるため、顧客特定部４１３は、顔領域Ｉ２ｐと、判断テーブルＴ１に登録された全ての顔領域Ｉ１ｉとの照合を行う。

顧客特定部４１３が行う照合は、前記したように、特徴量の類似性を算出することによって行ってもよいし、図５で説明した識別関数ｇ１、ｇ２を用いて、顔領域Ｉ２ｐが属するクラスタを特定することによって行ってもよい。そして、顔領域Ｉ２ｐが、取引とは無関係な顔領域（判断テーブルＴ１に格納されていない顔領域）であった場合には、顧客特定部４１３は、顔領域Ｉ２ｐに該当する顧客は存在しないと判断して、顔領域Ｉ２ｐを棄却する。

（報知判断処理の説明）
次に、第１判断処理部４１４および第２判断処理部４１５が行う報知判断処理の内容について説明する。顧客特定部４１３が、顔領域Ｉ２ｐと顔領域Ｉ１ｉとの類似性を判断した後で、第１判断処理部４１４は、特定された顔領域Ｉ１ｉを有する顧客Ｋｈに係る会計処理が完了しているかを判断する。具体的には、第１判断処理部４１４は、判断テーブルＴ１において、特定された顧客Ｋｈが属するグループについて、会計完了フラグ９２を参照する。そして、会計完了フラグ９２が会計完了になっていることを条件として、第１判断処理部４１４は、特定された顧客Ｋｈが属するグループの会計処理が完了していると判断する。

次に、第２判断処理部４１５は、特定された顧客Ｋｈが、当該顧客Ｋｈが属するグループの最後の退出者であるかを判断する。具体的には、第２判断処理部４１５は、退出する顧客Ｋｈを特定する毎に、退出者フラグ９６欄に、当該顧客Ｋｈが退出したことを示すチェックマーク９６ｉを付与する。さらに、第２判断処理部４１５は、顧客特定部４１３が顧客Ｋｈを特定する毎に、退出者フラグ９６欄の顧客Ｋｈに対応する欄を参照して、同じグループに属する別の顧客Ｋｈに対応する退出者フラグ９６欄の全てにチェックマーク９６ｉが付与されていることを条件として、特定された顧客Ｋｈは、グループの中で最後の退出者であると判断する。例えば、図９の判断テーブルＴ１は、グループ１の顧客１１と顧客１３は、既に退出済みであることを示している。

そして、第２判断処理部４１５は、顔領域Ｉ２ｐから特定された顧客Ｋｈに係る一取引の会計処理が完了しておらず、なおかつ、顧客Ｋｈが、当該顧客Ｋｈに係る一取引に属する顧客のうち、最後の退出者であることを条件として、報知部４３に警報音を発生させることにより、不正退出の報知を行う。すなわち、顧客Ｋｈと同じ会計情報ＩＤ９０を付与された別の顧客の全てが、既に顧客特定部４１３で特定されて、退出者フラグ９６欄にチェックマーク９６ｉが付与されていることを条件として、第２判断処理部４１５は、報知部４３に警報音を発生させる。

また、第２判断処理部４１５は、前記した条件に当てはまらない場合には、報知部４３に警報音を発生させない。すなわち、第２判断処理部４１５は、顔領域Ｉ２ｐから特定された顧客Ｋｈに係る一取引の会計処理が完了している場合には、報知部４３に警報音を発生させない。さらに、第２判断処理部４１５は、顔領域Ｉ２ｐから特定された顧客Ｋｈに係る一取引の会計処理が完了しておらず、なおかつ、顧客Ｋｈが、当該顧客Ｋｈに係る一取引に属する顧客のうち、最後の退出者でない場合には、報知部４３に警報音を発生させない。

（顧客特定部および判断処理部が行う処理の流れの説明）
次に、図１０を用いて、監視サーバ４０が行う監視処理について説明する。図１０は、本実施形態の監視サーバ４０が実行する監視処理の流れの一例を示すフローチャートである。なお、図１０の処理に先立って、監視サーバ４０は、登録装置１０から、顔領域Ｉ１ｉと、特徴量Ｆ１ｉｊと、会計情報ＩＤ９０と、付帯情報９４とを受信して、会計装置２０から、会計情報ＩＤ９０と、会計完了フラグ９２とを受信して、前記した判断テーブルＴ１（図９）の作成を完了しているとする。

画像取得部４１０は、第２カメラ３２から第２画像Ｉ２を取得する（ステップＳ３０）。

特徴量算出部４１１は、第２カメラ３２から入力される第２画像Ｉ２の中から、顔領域Ｉ２ｐを検出する（ステップＳ３２）。

特徴量算出部４１１は、顔領域Ｉ２ｐから、特徴量Ｆ２ｐｊ（ｊ＝１、２、…、ｍ）を算出する（ステップＳ３４）。

顧客特定部４１３は、退出者特定処理を行い、顔領域Ｉ２ｐが該当する顧客Ｋｈを特定する（ステップＳ３６）。なお、退出者特定処理の具体的な内容は、前記した通りである。

第１判断処理部４１４は、会計完了判断処理を行って、退出者に係る一取引の会計処理が完了しているかを判断する（ステップＳ３８）。なお、会計完了判断処理の具体的な内容は、前記した通りである。退出者特定処理によって特定した顧客Ｋｈに係る一取引の会計処理が完了していると判断された場合（ステップＳ３８：Ｙｅｓ）は、ステップＳ４０の処理に移行する。一方、退出者特定処理によって特定した顧客Ｋｈに係る一取引の会計処理が完了していないと判断された場合（ステップＳ３８：Ｎｏ）は、ステップＳ４４の処理に移行する。

退出者特定処理によって特定した顧客Ｋｈに係る一取引の会計処理が完了していると判断された場合（ステップＳ３８：Ｙｅｓ）は、第２判断処理部４１５は、最終退出者判定処理を行って、顧客Ｋｈは、当該顧客Ｋｈが属するグループの最終退出者かを判断する（ステップＳ４０）。なお、最終退出者判定処理の具体的な内容は、前記した通りである。ステップＳ４０において、顧客Ｋｈが最終退出者である場合（ステップＳ４０：Ｙｅｓ）は、監視サーバ４０は、図１０の監視処理を終了する。一方、顧客Ｋｈが最終退出者でない場合（ステップＳ４０：Ｎｏ）は、ステップＳ４２に移行する。

退出者特定処理によって特定した顧客Ｋｈが係る一取引の会計処理が完了していないと判断された場合（ステップＳ３８：Ｎｏ）は、第２判断処理部４１５は、最終退出者判定処理を行って、顧客Ｋｈは、当該顧客Ｋｈが属するグループの最終退出者かを判断する（ステップＳ４４）。ステップＳ４４において、顧客Ｋｈが最終退出者である場合（ステップＳ４４：Ｙｅｓ）は、ステップＳ４６に移行する。一方、顧客Ｋｈが最終退出者でない場合（ステップＳ４４：Ｎｏ）は、ステップＳ４２に移行する。

第２判断処理部４１５は、報知部４３に対して警報音を発生させることにより、不正退出の報知を行わせる（ステップＳ４６）。その後、監視サーバ４０は、図１０の監視処理を終了する。

第２判断処理部４１５は、顧客Ｋｈを退出者として記憶する（ステップＳ４２）。具体的には、第２判断処理部４１５は、判断テーブルＴ１の退出者フラグ９６欄に、顧客Ｋｈが退出したことを示すチェックマーク９６ｉを付与する。その後、監視サーバ４０は、ステップＳ３０に移行して、前記した処理を繰り返す。

以上説明したように、実施形態に係る情報処理装置の一例である監視サーバ４０によれば、記憶部４２（記憶手段）が記憶する、チェックアウト領域Ａ１の入口に位置する登録領域Ａ１１（第１領域）の撮像画像のうち、一取引に係る顧客が映る第１画像Ｉ１（第１撮像画像）から算出した特徴量Ｆ１ｉｊと、出口領域Ａ１３（第３領域）を撮像した第２画像Ｉ２（第２撮像画像）から算出した特徴量Ｆ２ｐｊとの類似性に基づいて、顧客特定部４１３（特定手段）は、登録領域Ａ１１から出口領域Ａ１３まで移動した顧客Ｋｈを特定する。そして、第１判断処理部４１４（第１の判断手段）は、顧客特定部４１３が特定した顧客Ｋｈに関連付けられた会計情報ＩＤ９０（識別情報）に、会計完了フラグ９２（会計済を示す情報）が付加されているかを判定する。さらに、第２判断処理部４１５（第２の判断手段）は、顧客特定部４１３が特定した顧客Ｋｈと同一の会計情報ＩＤ９０に関連付けられた他の顧客が、顧客特定部４１３で特定済かを判定する。そして、第２判断処理部４１５は、会計情報ＩＤ９０に会計済を示す情報が付加されておらず、なおかつ、他の顧客が顧客特定部４１３で特定済であることを条件として、報知部４３（報知手段）に対して、取引が未会計であることを報知させる。したがって、複数人のグループで一取引の買い物を行った際に、会計処理に関わる顧客以外の行動を制限することがない。

また、実施形態に係る監視サーバ４０によれば、登録領域Ａ１１（第１領域）には、一取引分の商品の登録を店員が行うための登録装置１０が設置されて、会計領域Ａ１２（第２領域）には、登録装置１０で登録された商品の会計を、一取引に係る顧客が行うための会計装置２０が設置される。そして、第１画像Ｉ１（第１撮像画像）は、登録装置１０において、一取引に係る顧客の顔を含むように撮像された画像であり、第２画像Ｉ２（第２撮像画像）は、出口領域Ａ１３（第３領域）において、前記顧客の顔を含むように撮像された画像である。したがって、登録処理を行っている間、および出口領域Ａ１３を退出する際に、一取引に係る顧客の顔を含む画像を確実に撮像することができる。

さらに、実施形態に係る監視サーバ４０によれば、記憶部４２（記憶手段）は、第１画像Ｉ１（第１撮像画像）に映った、一取引に係る各顧客の複数の顔領域Ｉ１ｉからそれぞれ算出された特徴量Ｆ１ｉｊを記憶する。したがって、各顧客に対して、それぞれ複数の特徴量Ｆ１ｉｊが記憶されるため、顔の向きや顔の大きさが変化した場合であっても、顧客を確実に識別して特定することができる。

そして、実施形態に係る監視サーバ４０によれば、第２判断処理部４１５（第２の判定手段）は、特定した顧客Ｋｈに関連付けられた会計情報ＩＤ９０（識別情報）に会計済を示す情報が付加されておらず、なおかつ、顧客Ｋｈと同一の識別情報に関連付けられた他の顧客の全てが顧客特定部４１３で特定済でないことを条件として、記憶部４２（記憶手段）が記憶する、顧客Ｋｈの顔領域Ｉ１ｉの特徴量Ｆ１ｉｊを無効にする。したがって、次回以降の退出者特定処理を行う際の顔領域Ｉ１ｉの照合範囲を狭めることができるため、顧客特定部４１３（特定手段）の演算量を削減することができる。

また、実施形態に係る監視サーバ４０によれば、第２判断処理部４１５（第２の判定手段）は、特定した顧客Ｋｈに関連付けられた会計情報ＩＤ９０（識別情報）に会計済を示す情報が付加されていることを条件として、記憶部４２（記憶手段）が記憶する、会計情報ＩＤ９０に関連付けられた特徴量Ｆ１ｉｊを全て無効にする。したがって、次回以降の退出者特定処理を行う際の顔領域Ｉ１ｉの照合範囲を狭めることができるため、顧客特定部４１３（特定手段）の演算量をより一層削減することができる。

以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、前記した実施形態では、登録装置１０が、第１画像Ｉ１の中から検出された顔領域Ｉ１ｉの識別処理を行うものとして説明したが、識別処理は、監視サーバ４０で行う構成としてもよい。すなわち、登録装置１０は、撮像した第１画像Ｉ１のみを監視サーバ４０に送信して、監視サーバ４０が、受信した第１画像Ｉ１から、顔領域Ｉ１ｉの検出と、特徴量Ｆ１ｉｊの算出と、顔領域Ｉ１ｉの識別処理とを行う構成としてもよい。あるいは、登録装置１０は、撮像した第１画像Ｉ１から検出した顔領域Ｉ１ｉのみを監視サーバ４０に送信して、監視サーバ４０が、受信した顔領域Ｉ１ｉから、特徴量Ｆ１ｉｊの算出と、顔領域Ｉ１ｉの識別処理とを行う構成としてもよい。

１０ 登録装置
２０ 会計装置
３１ 第１カメラ
３２ 第２カメラ
４０ 監視サーバ（情報処理装置）
４２ 記憶部（記憶手段）
４３ 報知部（報知手段）
９０ 会計情報ＩＤ（識別情報）
９２ 会計完了フラグ
９４ 付帯情報
９６ 退出者フラグ
１００ 監視装置
４１３ 顧客特定部（特定手段）
４１４ 第１判断処理部（第１の判定手段）
４１５ 第２判断処理部（第２の判定手段）
Ａ１１ 登録領域（第１領域）
Ａ１２ 会計領域（第２領域）
Ａ１３ 出口領域（第３領域）
Ｆ１ｉｊ、Ｆ２ｐｊ 特徴量
Ｉ１ 第１画像（第１撮像画像）
Ｉ２ 第２画像（第２撮像画像）
Ｉ１ｉ、Ｉ２ｐ 顔領域
Ｃ、Ｄ、Ｋｈ 顧客
Ｔ１ 判断テーブル
Ｔ２ 退出者テーブル

特開２０１６−１０３２１２号公報

Claims (6)

1. 商品の登録を行う第１領域と、登録された商品の会計を行う第２領域と、会計を済ませた顧客が退出する第３領域とを含むチェックアウト領域の顧客を監視する情報処理装置であって、
   前記第１領域で一取引分の商品が登録される毎に、当該一取引に係る各顧客を、前記第１領域で撮像した第１撮像画像に含まれる前記各顧客の特徴量と、前記一取引を識別する識別情報とを関連付けて記憶する記憶手段と、
   前記第２領域で一取引分の会計が行われる毎に、前記記憶手段が記憶する前記識別情報に会計済を示す情報を付加する付加手段と、
   前記記憶手段が記憶する前記特徴量と、前記第３領域を撮像した第２撮像画像に含まれる顧客の特徴量との類似性に基づいて、前記第１領域から前記第３領域まで移動した顧客を特定する特定手段と、
   前記特定手段が特定した前記顧客に関連付けられた前記識別情報に、会計済を示す情報が付加されているかを判定する第１の判定手段と、
   前記特定手段が特定した前記顧客と同一の識別情報に関連付けられた他の顧客が、前記特定手段で特定済かを判定する第２の判定手段と、
   前記識別情報に会計済を示す情報が付加されておらず、前記他の顧客が前記特定手段で特定済であることを条件として、前記取引が未会計であることを報知する報知手段と、
   を備えることを特徴とする情報処理装置。
2. 前記第１領域には、前記一取引分の商品の登録を店員が行うための登録装置が設置され、
   前記第２領域には、前記登録装置で登録された商品の会計を、前記一取引に係る顧客が行うための会計装置が設置され、
   前記第１撮像画像は、前記登録装置において、前記一取引に係る顧客の顔を含むように撮像された画像であり、
   前記第２撮像画像は、前記第３領域において、前記顧客の顔を含むように撮像された画像である
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記記憶手段は、前記第１撮像画像に映った、前記一取引に係る顧客の複数の顔領域からそれぞれ算出した特徴量を記憶する
   ことを特徴とする請求項１または請求項２に記載の情報処理装置。
4. 前記第２の判定手段は、特定した前記顧客に関連付けられた前記識別情報に会計済を示す情報が付加されておらず、なおかつ、前記顧客と同一の識別情報に関連付けられた他の顧客の全てが前記特定手段で特定済でないことを条件として、前記記憶手段が記憶する、前記顧客の特徴量を無効にする
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の情報処理装置。
5. 前記第２の判定手段は、特定した前記顧客に関連付けられた前記識別情報に会計済を示す情報が付加されていることを条件として、前記記憶手段が記憶する、前記識別情報に関連付けられた前記特徴量を全て無効にする
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の情報処理装置。
6. 商品の登録を行う第１領域と、登録された商品の会計を行う第２領域と、会計を済ませた顧客が退出する第３領域とを含むチェックアウト領域の顧客を監視する情報処理装置で動作するプログラムあって、
   コンピュータを、
   前記第１領域で一取引分の商品が登録される毎に、当該一取引に係る各顧客を、前記第１領域で撮像した第１撮像画像に含まれる前記各顧客の特徴量と、前記一取引を識別する識別情報とを関連付けて記憶する記憶手段と、
   前記第２領域で一取引分の会計が行われる毎に、前記記憶手段が記憶する前記識別情報に会計済を示す情報を付加する付加手段と、
   前記記憶手段が記憶する前記特徴量と、前記第３領域を撮像した第２撮像画像に含まれる顧客の特徴量との類似性に基づいて、前記第１領域から前記第３領域まで移動した顧客を特定する特定手段と、
   前記特定手段が特定した前記顧客に関連付けられた前記識別情報に、会計済を示す情報が付加されているかを判定する第１の判定手段と、
   前記特定手段が特定した前記顧客と同一の識別情報に関連付けられた他の顧客が、前記特定手段で特定済かを判定する第２の判定手段と、
   前記識別情報に会計済を示す情報が付加されておらず、前記他の顧客が前記特定手段で特定済であることを条件として、前記取引が未会計であることを報知する報知手段と、
   して機能させるためのプログラム。

Images