JP2011086088A - 情報処理装置、情報処理装置の制御方法およびプログラム - Google Patents

Abstract

【課題】店員や顧客の不正行為を容易且つ迅速に判断するためのレポートを出力可能な情報処理装置、情報処理装置の制御方法およびプログラムを提供する。
【解決手段】ＰＯＳ端末１の会計処理結果である会計情報を取得する会計情報取得部７１と、ＰＯＳ端末１を操作している店員および会計処理時の顧客の少なくとも一方を判定する店員／顧客判定部９２と、取得した会計情報に、会計処理の例外処理を示す情報が含まれる場合、店員／顧客判定部９２により判定した店員の店員ＩＤまたは顧客の顧客ＩＤと、例外処理の種別を含む所定事項と、を関連付けた例外処理情報を生成し、データーベース１０３に記録する例外処理情報記録部１０１と、データーベース１０３に記憶されている例外処理情報を、店員ＩＤまたは顧客ＩＤごとに集計し、集計レポート５０として出力する履歴情報出力部１０５と、を備えた。
【選択図】図１７

Description

本発明は、スーパーマーケット等の小売店内やファミリーレストラン等の飲食店内において、店員や顧客の不正行為を検出するための情報処理装置、情報処理装置の制御方法およびプログラムに関するものである。

従来、小売店や飲食店内において、店員の会計処理時の不正行為を検出するためのシステムとして、特許文献１が提案されている。当該特許文献１に記載のシステムは、ＰＯＳ端末（ＰＯＳターミナル）と、ＰＯＳ端末周辺を撮像するカメラと、フォトジャーナルレコーダーと、検索端末と、により構成されている。フォトジャーナルレコーダーとは、ジャーナルデーター（取引履歴データー）と、カメラにより撮像されたＰＯＳ端末周辺の画像データーと、店員によるＰＯＳ端末の操作履歴（操作履歴データー）と、を関連付けて記録するものである。そして、管理者（オペレーター）が検索端末を用いて、時間やＰＯＳ端末の操作情報等の所定の検索条件を指定することにより、検索条件に一致するジャーナルデーターや画像データーをディスプレイに表示する。

特開２００５−１１５５０４号公報

しかしながら、上記特許文献１に記載のシステムでは、管理者が指定した検索条件に一致する記録データー（会計処理の内容およびその時の撮像画像）を一覧表示するのみであり、会計処理において不正行為が行われたか否かを検出するためには、逐一、管理者が記録データーを確認しなければならない。つまり、管理者が能動的に（自発的に）検索処理を実行し、その検索結果である記録データーを検証しなければ不正行為が行われたか否かを判断できないため、不正行為の検出に膨大な時間と労力が掛かるという問題がある。また、記録データーを確認しただけでは、それが不正行為に当たるのか否かの判断が難しい場合もある。

本発明は、上記の問題に鑑み、店員や顧客の不正行為を容易且つ迅速に判断するためのレポートを出力可能な情報処理装置、情報処理装置の制御方法およびプログラムを提供することを目的とする。

本発明の情報処理装置は、会計処理部の会計処理結果である会計情報を取得する会計情報取得部と、会計処理部を操作している店員および会計処理時の顧客の少なくとも一方を判定する店員／顧客判定部と、取得した会計情報に、会計処理の例外処理を示す情報が含まれる場合、店員／顧客判定部により判定した店員の店員ＩＤまたは顧客の顧客ＩＤと、例外処理の種別を含む所定事項と、を関連付けた例外処理情報を生成し、データーベースに記録する例外処理情報記録部と、データーベースに記憶されている例外処理情報を、店員ＩＤまたは顧客ＩＤごとに集計し、履歴情報として出力する履歴情報出力部と、を備えたことを特徴とする。

本発明の情報処理装置の制御方法は、会計処理部およびデーターベースを、内部または外部に備えた情報処理装置の制御方法であって、情報処理装置が、会計処理部の会計処理結果である会計情報を取得する会計情報取得ステップと、会計処理部を操作している店員および会計処理時の顧客の少なくとも一方を判定する店員／顧客判定ステップと、取得した会計情報に、会計処理の例外処理を示す情報が含まれる場合、店員／顧客判定ステップで判定した店員の店員ＩＤまたは顧客の顧客ＩＤと、例外処理の種別を含む所定事項と、を関連付けた例外処理情報を生成し、データーベースに記録する例外処理情報記録ステップと、データーベースに記憶されている例外処理情報を、店員ＩＤまたは顧客ＩＤごとに集計し、履歴情報として出力する履歴情報出力ステップと、を実行することを特徴とする。

これらの構成によれば、店員ＩＤまたは顧客ＩＤと、例外処理に関する所定事項と、を関連付けた例外処理情報をデーターベースに記録しておき、それらの例外処理情報を、店員ＩＤまたは顧客ＩＤごとに集計して出力するため、当該集計結果である履歴情報から、店員または顧客の不正行為を容易且つ迅速に判断することができる。つまり、管理者が、出力された履歴情報に基づいて、その店員または顧客が過去にどのような例外処理に関与しているか、またその回数などを確認することができるため、その内容を踏まえて、不正行為の有無を客観的に判断することができる。

上記に記載の情報処理装置において、検索キーとして、店員ＩＤ、顧客ＩＤ、例外処理の種別、例外処理日時、例外処理番号、例外処理の対象となる商品、会計処理部が配置されたレジカウンター前の顧客の有無、店員の位置のうち、少なくとも１の情報を指定する検索キー指定部と、データーベースから、指定された検索キーに該当する例外処理情報を抽出する例外処理情報抽出部と、をさらに備え、履歴情報出力部は、例外処理情報抽出部により抽出された例外処理情報を集計して、履歴情報を出力することが好ましい。

上記に記載の情報処理装置の制御方法において、情報処理装置が、検索キーとして、店員ＩＤ、顧客ＩＤ、例外処理の種別、例外処理日時、例外処理番号、例外処理の対象となる商品、会計処理部が配置されたレジカウンター前の顧客の有無、店員の位置のうち、少なくとも１の情報を指定する検索キー指定ステップと、データーベースから、指定された検索キーに該当する例外処理情報を抽出する例外処理情報抽出ステップと、をさらに実行し、履歴情報出力ステップでは、例外処理情報抽出ステップで抽出された例外処理情報を集計して、履歴情報を出力することが好ましい。

これらの構成によれば、データーベースから、指定された検索キーに該当する例外処理情報を抽出し、抽出された例外処理情報を集計して、履歴情報を出力することができる。これにより、管理者は、必要とする履歴情報を容易に入手することができる。

上記に記載の情報処理装置において、店員および顧客の少なくとも一方を監視する監視部と、監視部の監視結果から、店員および顧客の少なくとも一方の不正の可能性を判定する不正判定部と、をさらに備え、履歴情報出力部は、取得した会計情報に、例外処理を示す情報が含まれ、且つ不正判定部により不正の可能性ありと判定された場合、該当する店員または顧客の例外処理情報を集計して、履歴情報を出力することが好ましい。

上記に記載の情報処理装置の制御方法において、情報処理装置が、店員および顧客の少なくとも一方を監視する監視ステップと、監視ステップの監視結果から、店員および顧客の少なくとも一方の不正の可能性を判定する不正判定ステップと、をさらに実行し、履歴情報出力ステップでは、取得した会計情報に、例外処理を示す情報が含まれ、且つ不正判定ステップで不正の可能性ありと判定された場合、該当する店員または顧客の例外処理情報を集計して、履歴情報を出力することが好ましい。

これらの構成によれば、店員や顧客の監視結果から不正の可能性があると判定された場合のみ、履歴情報が出力されるため、管理者は、履歴情報が出力されたときに、不正行為の判断を行えばよい。これにより、管理者が能動的に検索処理を実行する必要がないため、不正行為の検証に要する労力を大幅に軽減することができる。また、不正の可能性が自動判定されるため、管理者の主観や力量に拠らず、不正行為の有無を正確に判断することができる。

上記に記載の情報処理装置において、履歴情報出力部は、電子メールまたはＷｅｂアプリケーションを用いて、予め定められた管理者に、履歴情報を送信することが好ましい。

上記に記載の情報処理装置の制御方法において、履歴情報出力ステップでは、電子メールまたはＷｅｂアプリケーションを用いて、予め定められた管理者に、履歴情報を送信することが好ましい。

これらの構成によれば、管理者の居場所に関わらず、履歴情報を送信することができる。

上記に記載の情報処理装置において、監視部は、店員および顧客の少なくとも一方を撮像する撮像部を含み、履歴情報出力部は、履歴情報と共に、不正判定部の判定時における撮像部の撮像結果を出力することが好ましい。

上記に記載の情報処理装置の制御方法において、監視ステップでは、店員および顧客の少なくとも一方を撮像することにより監視を行い、履歴情報出力ステップでは、履歴情報と共に、当該不正判定ステップの不正判定時における監視ステップの撮像結果を出力することが好ましい。

これらの構成によれば、履歴情報と共に、不正の可能性があると判定されたときにおける撮像部の撮像結果が出力されるため、管理者は、当該撮像結果を不正行為の検証材料とすることができる。

上記に記載の情報処理装置において、商品の購入時に会計情報取得部により取得した会計情報である購入時情報を、当該購入時における撮像部の撮像結果と関連付けてデーターベースに記録する購入時情報記録部をさらに備え、履歴情報出力部は、履歴情報と共に、例外処理の対象となる商品の購入時における撮像部の撮像結果を出力することが好ましい。

この構成によれば、履歴情報と共に、例外処理の対象となる商品の購入時における撮像部の撮像結果が出力されるため、管理者は、当該撮像結果を不正行為の検証材料とすることができる。

上記に記載の情報処理装置において、撮像部は、動画および静止画を撮像し、履歴情報出力部は、撮像部の撮像結果として、静止画の撮像結果である静止画像と、動画の撮像結果である動画像を再生するためのリンク画像と、を出力することが好ましい。

この構成によれば、管理者は、静止画像と動画像の両方で、商品の購入時や不正判定時における店員や顧客の状況を把握することができる。また、動画像については、リンク画像の読み取りによって再生が可能となるため、再生時間の長い動画像であっても、記録および再生が可能となる。
なお、「リンク画像」とは、履歴情報が印刷物として出力される場合、その動画像のリンク先を示すバーコードや２次元コードなどのコード画像を指し、履歴情報がＷｅｂページとして出力される場合、その動画像とリンクされたアイコンなどを指す。

上記に記載の情報処理装置において、例外処理の種別が、商品の返品を行う「返品」である場合、不正判定部は、返品処理時における撮像部の撮像結果または例外処理情報と、返品処理の対象となる商品の購入時における撮像部の撮像結果または購入時情報と、を照合し、返品処理時の顧客と、購入時の顧客と、が同一人物でない場合、不正の可能性ありと判定することが好ましい。

この構成によれば、返品処理時の顧客と、購入時の顧客と、が同一人物でないことから、不正返品の可能性が高いと判定し、履歴情報を出力することができる。

上記に記載の情報処理装置において、不正判定部は、監視部による例外処理時の監視結果から、顧客の有無を判別し、当該顧客が存在しない場合、不正の可能性ありと判定することが好ましい。

この構成によれば、例外処理時に顧客が存在しないことから、不正の可能性が高いと判定し、履歴情報を出力することができる。
なお、当該構成の適用を、例外処理の種別が「ミスレジ」、「返品」、「両替」、「割引」、「値引」の場合など、特定の例外処理のみに限定しても良い。

上記に記載の情報処理装置において、例外処理の種別が、特定の人に対して商品の割引きを行う「特定割引」である場合、不正判定部は、特定割引処理時の監視結果から、該当する顧客が、特定の人に該当するか否かを判別し、当該特定の人に該当しない場合、不正の可能性ありと判定することが好ましい。

この構成によれば、特定割引処理時に、該当する顧客が特定の人（「社員割引」の場合の社員など）に該当しないことから、不正割引の可能性が高いと判定し、履歴情報を出力することができる。

本発明のプログラムは、コンピューターに、上記に記載の情報処理装置の制御方法における各ステップを実行させることを特徴とする。

このプログラムを用いることにより、店員や顧客の不正行為を容易且つ迅速に判断するためのレポートを出力可能な情報処理装置の制御方法を実現することができる。

第１実施形態に係る店舗監視システムのシステム構成図である。 第１実施形態に係る店舗監視システムの機能ブロック図である。 第１実施形態に係るレシートプリンターの制御ブロック図である。 第１実施形態に係るデーター変換の具体例を示す図である。 第１実施形態に係る例外処理データーベースの説明図である。 第１実施形態に係る会計処理データーベースの説明図である。 第１実施形態に係るレシートプリンターの情報出力処理を示すフローチャートである。 第２実施形態に係る店舗監視システムの機能ブロック図である。 第２実施形態に係る、情報処理装置による会計情報の取得をトリガーとした監視データー記録処理を示すフローチャートである。 第２実施形態に係る、情報処理装置によるレシートの読み取りをトリガーとした監視データー記録処理、およびＰＯＳ端末のレシート内容変更処理を示すフローチャートである。 第２実施形態に係る、情報処理装置による特定行動の検出をトリガーとした監視データー記録処理を示すフローチャートである。 第２実施形態に係る例外処理発生検出テーブルの一例を示す図である。 第２実施形態に係る例外処理発生検出パターンの他の例を示す機能ブロック図である。 第２実施形態に係る例外処理発生検出パターンの他の例を示す模式図である。 第２実施形態に係る特定行動発生検出テーブルの一例を示す図である。 第２実施形態に係る特定行動発生検出パターンの他の例を示すフローチャートである。 第３実施形態に係る店舗監視システムの機能ブロック図である。 第３実施形態に係る、情報処理装置によるデーター記録処理を示すフローチャートである。 第３実施形態に係る、情報処理装置による集計レポート作成処理を示すフローチャートである。 第３実施形態に係る集計レポート（返品処理時）の一例を示す図である。 第３実施形態に係る集計レポート（ミスレジ処理時）の一例を示す図である。 第３実施形態に係る集計レポート（社員割引処理時）の一例を示す図である。

以下、添付の図面を参照し、本発明の情報処理装置、情報処理装置の制御方法およびプログラムについて説明する。なお、以下に示す各実施形態では、本発明の情報処理装置を、店舗監視システムに適用した場合について例示する。当該店舗監視システムは、スーパーマーケット等の小売店内やファミリーレストラン等の飲食店において、店員や顧客の不正行為を検出するべく構築されたものである。

［第１実施形態］
図１は、第１実施形態に係る店舗監視システムＳＹ１のシステム構成図である。同図に示すように、店舗監視システムＳＹ１は、会計処理を行うＰＯＳ端末１と、レシートＲを発行するレシートプリンター２と、会計情報を表示するカスタマディスプレイ４と、店員を監視する店員監視カメラ３と、店舗監視システムＳＹ１を統括する店舗管理サーバー５と、集計レポート５０を印刷するレポート出力用プリンター８と、により構成されている。ＰＯＳ端末１とレシートプリンター２、レシートプリンター２とカスタマディスプレイ４、および店舗管理サーバー５とレポート出力用プリンター８は、シリアルインターフェース（例えば、ＵＳＢ（Universal Serial Bus）インターフェース）により通信可能に接続される。また、ＰＯＳ端末１、レシートプリンター２、店員監視カメラ３および店舗管理サーバー５は、店舗内ＬＡＮ６（有線ＬＡＮまたは無線ＬＡＮ）により通信可能に接続される。

なお、図１では、ＰＯＳ端末１が１台の場合を例示しているが、店舗監視システムＳＹ１内に複数台のＰＯＳ端末１が存在する構成であっても良い。この場合、各ＰＯＳ端末１のそれぞれに対応したレシートプリンター２、店員監視カメラ３およびカスタマディスプレイ４が設置される。

ＰＯＳ端末１は、レジカウンター７に設置されたレジスターであり、店員（オペレーター）により入力された商品情報に基づいて会計処理を実行する。そして、会計処理の処理結果である会計情報（レシートＲ印刷用の印刷データーやカスタマディスプレイ４表示用の表示データーなど。以下、これらを「出力データー」と総称する。）を、レシートプリンター２に出力する。

店員監視カメラ３は、例えばＣＣＤカメラであり、レジカウンター７の周囲（天井やカスタマディスプレイ４付近など）に設置される。撮像対象は、レジカウンター７でレジ操作を行っている店員、会計処理時の顧客やレジカウンター７上に載置された商品などである。なお、店員監視カメラ３は、１のレジカウンター７に対し、複数個設置されても良い。店員監視カメラ３の撮像結果は、レシートプリンター２に出力される。

レシートプリンター２は、ＰＯＳ端末１から出力された出力データー（印刷データー）に基づいて、レシートＲを発行（印刷）する。また、レシートプリンター２は、レシートＲを発行する機能以外にも、ＰＯＳ端末１から出力された出力データー（表示データー）をカスタマディスプレイ４に転送する機能、店員監視カメラ３の撮像結果を取得する機能、出力データー（印刷データーおよび表示データー）に基づいてＰＯＳ端末１の操作を判定する機能、その判定結果を所定形式のデーターに変換する機能、変換データーおよび店員監視カメラ３の撮像結果を店舗管理サーバー５へ送信する機能など、各種機能を備えている。このように、レシートプリンター２を主幹として各種情報の入出力を行うことで（レシートプリンター２が取得した各種情報をフィルタリングして必要な情報を出力することで）、ＰＯＳ基幹ネットワーク（ＰＯＳ端末１を主幹としたネットワーク）のトラフィックに影響を与えることがない。また、既存のＰＯＳシステムに本発明を適用する際、ＰＯＳ基幹ネットワーク自体の変更が不要となる。

店舗管理サーバー５は、レシートプリンター２から変換データーや店員監視カメラ３の撮像結果を取得し、これらをデーターベース５１（図２参照）に格納する。また、必要に応じて、データーベース５１に格納した情報を集計し、レポート出力用プリンター８にて出力する。なお、レポート出力用プリンター８としては一般的なプリンターを適用可能であるため、説明を省略する。

次に、図２を参照し、店舗監視システムＳＹ１の機能構成について説明する。ＰＯＳ端末１は、主な機能構成として、会計処理部１１を有している。会計処理部１１は、精算処理や例外処理を含む会計処理を実行する。また、会計処理に伴って生成される出力データーを、レシートプリンター２に出力する。

なお、本実施形態において、例外処理とは、不正行為に関連する可能性の高い処理を指す。具体的には、ＰＯＳ端末１の会計処理中において入力データーをキャンセルするための「中止処理」、会計処理後に当該会計処理の取り消し行うための「取消処理（ミスレジ処理）」、商品の返品を行うための「返品処理」、商品の値引きを行うための「値引処理」、商品の割引きを行うための「割引処理」、および金銭の両替を行うための「両替処理」、キャッシュドロア内の金銭と売上を照合するための「点検処理」、出金または返金を行うための「出金/返金処理」、およびレシートＲを再発行するための「再発行処理」などを指す。

なお、以下の説明において、これらの各処理は、例外処理の種別として区別される。また、便宜上、ＰＯＳ端末１で実行可能な処理（但し、トランザクションデーターが発生するもの）のうち、例外処理以外の処理を、「通常処理」と称する。当該通常処理には、商品購入時に実行される「精算処理」が含まれる。

店員監視カメラ３は、主な機能構成として、撮像部３１を有している。撮像部３１は、レジカウンター７周りを撮像するものであり、当該撮像部３１により撮像された撮像データーは、店員監視カメラ３を識別するためのカメラＩＤや撮像日時などの情報と関連付けられ、撮像結果として、レシートプリンター２に出力される。なお、撮像日時とは、店員監視カメラ３に備えられたＲＴＣ（Real Time Clock，図示省略）の計時結果を指す。

カスタマディスプレイ４は、主な機能構成として、表示部４１を有している。表示部４１は、レシートプリンター２から出力された表示データーに基づいて、顧客に提示するための会計情報を表示する。

レシートプリンター２は、主な機能構成として、出力データー取得部２１、操作判定部２２、データー変換部２３、変換データー出力部２４、撮像結果取得部２５、印刷部２６および表示データー出力部２７を有している。出力データー取得部２１は、ＰＯＳ端末１（会計処理部１１）から出力された出力データーを取得する。

操作判定部２２は、出力データー取得部２１が取得した出力データーの意味解析を行い、ＰＯＳ端末１の操作を判定する。具体的には、ＰＯＳ端末１において会計処理の例外処理を実行するための操作が行われたか否かを判定する。その他、例外処理の種別や取引金額などを判定する。

データー変換部２３は、操作判定部２２の判定結果を、店舗管理サーバー５が解釈可能な所定形式のデーターに変換する。本実施形態では、当該所定形式のデーターとして、ＸＭＬ（Extensible Markup Language）データーに変換するものとする（図４（ｃ）参照）。

変換データー出力部２４は、データー変換部２３により変換された変換データー（ＸＭＬデーター）を店舗管理サーバー５に出力する。なお、以下の説明においては、操作判定部２２により例外処理を実行するための操作であると判定された場合の変換データーを、「例外処理情報」と称する。また、例外処理を実行するための操作ではないと判定された場合の変換データー（通常処理に関する情報）を、「通常処理情報」と称する。

また、変換データー出力部２４は、例外処理情報を出力する際、当該例外処理情報と共に、後述する撮像結果取得部２５が取得した撮像結果を出力する。このとき出力対象となる撮像結果は、操作判定部２２の判定時を基準とした前後所定時間分の店員監視カメラ３の撮像結果である。つまり、ＰＯＳ端末１で例外処理が実行されたと判定したとき（≒例外処理発生時）から、前後所定時間分の撮像結果が出力される。なお、撮像結果の記録方法については、第２実施形態にて後述する記録制御部８３（図８参照）の記録方法を適用可能である。この場合、レシートプリンター２内に、記録制御部８３および記憶部８０（図８参照）を有する構成となる。

撮像結果取得部２５は、店員監視カメラ３（撮像部３１）から撮像結果を取得する。印刷部２６は、出力データーが印刷データーの場合、これをレシート用紙に印刷し、レシートＲを発行する。表示データー出力部２７は、出力データーが表示データーの場合、これをカスタマディスプレイ４（表示部４１）に出力する。

店舗管理サーバー５は、主な機能構成として、データーベース５１および集計結果出力部５２を有している。データーベース５１は、変換データー出力部２４から出力された変換データーおよび撮像結果を格納する。なお、詳細については後述するが、データーベース５１は、例外処理情報を記憶する例外処理データーベース５１ａ（図５参照）と、全ての会計処理の情報（通常処理情報および例外処理情報）を記憶する会計処理データーベース５１ｂ（図６参照）と、から成る。

集計結果出力部５２は、例外処理データーベース５１ａに記憶された例外処理情報に基づいて、店員ごと（店員ＩＤごと）または顧客ごと（顧客ＩＤごと）に例外処理の発生状況を集計し、その集計結果を、集計レポート５０として出力する。本実施形態の場合、出力方法としては、レポート出力用プリンター８による印刷出力を想定しているが、ディスプレイ（図示省略）への表示出力であっても良いし、電子メールやＷｅｂアプリケーションを利用した管理者（店長など）への通知であっても良い。なお、集計方法および集計レポート５０の具体例については、第３実施形態にて後述する（図２０ないし図２２参照）。

次に、図３を参照し、店舗監視システムＳＹ１の制御構成について説明する。ＰＯＳ端末１は、ＰＯＳアプリケーション１６を有している。当該ＰＯＳアプリケーション１６は、会計処理部１１の主要部を成す。

レシートプリンター２は、入力インターフェース６１、出力インターフェース６２、キャラクタジェネレーター６３、メイン処理部６４、プリントメカ６５、変換テーブル６６、データータップ意味解析部６７、上位層送信部６８およびＤＶＲアプリケーション６９を有している。このうち、変換テーブル６６、データータップ意味解析部６７、上位層送信部６８およびＤＶＲアプリケーション６９が、本実施形態に係るレシートプリンター２の特有の構成である。

なお、特に図示しないが、メイン処理部６４およびデータータップ意味解析部６７は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより実現される。また、上位層送信部６８は、無線／有線ＬＡＮ端子などにより実現される。

入力インターフェース６１を介して、ＰＯＳ端末１の出力データー（印刷データーおよび表示データー）を取得すると、メイン処理部６４は、キャラクタジェネレーター６３を参照して、テキストデーターへの変換処理を行う。なお、ＰＯＳ端末１からの出力データーがテキストデーター形式の場合、変換処理に代えて、そのテキストデーターを抜き出す処理を行う。テキスト化された表示データーは、出力インターフェース６２を介してカスタマディスプレイ４に出力される。また、テキスト化された印刷データーは、プリントメカ６５に出力される。なお、レシートプリンター２が無効な周辺機器に指定されている場合、テキスト化されたデーターは、カスタマディスプレイ４のみに出力される。また、レシートプリンター２が有効な周辺機器に指定されている場合、テキスト化されたデーターは、カスタマディスプレイ４およびプリントメカ６５に出力される。

データータップ意味解析部６７は、テキスト化された表示データーまたは印刷データーをタップし、変換テーブル６６を参照して意味解析を行うことにより、ＰＯＳ端末１の操作を判定する。当該変換テーブル６６は、ＰＯＳアプリケーション１６のファイルフォーマットによって、その変換規則を書き換え可能となっている。このため、ファイルフォーマットが異なる種々のＰＯＳシステムに組み込まれた場合でも、支障なく意味解析を行うことができ、ひいては正確にＰＯＳ端末１の操作を判定することができる。つまり、本実施形態のレシートプリンター２は、変換テーブル６６およびデータータップ意味解析部６７を備えたことにより、種々の仕様のＰＯＳ端末１の操作を判定可能となっている。また、これにより、種々のＰＯＳシステムに適用可能となり、汎用性を高めることができる。

データータップ意味解析部６７は、意味解析を行った後、その解析結果を、店舗管理サーバー５が解釈可能なＸＭＬ形式のデーターに変換し、上位層送信部６８に出力する。つまり、例外処理情報および通常処理情報は、ＸＭＬ言語にて記述される。

図４は、データータップ意味解析部６７によるデーター変換の具体例を示す図である。データータップ意味解析部６７は、テキスト化されたカスタマディスプレイ４へのデーター（図４（ａ）参照）およびテキスト化されたプリントメカ６５へのデーター（図４（ｂ）参照）を、データータップ変換機能によりデータータップしてＸＭＬデーター化し、上位層へのデーター（図４（ｃ）参照）に変換する。同図では、精算処理時における出力データー（商品名や単価、小計額の表示・印刷を行うためのデーター）の変換例を例示している。このように、上位層へのデーターとして、マークアップ言語に変換することで、Ｗｅｂページとしての文書公開や、データー変換が容易である等の利点がある。

図３の説明に戻る。ＤＶＲアプリケーション６９は、店員監視カメラ３の撮像結果を、所定の記憶領域（第２実施形態のサブ記憶部８４に相当）に記録しておき、そのうち所定時間分の撮像結果を、データータップ意味解析部６７による例外処理の判定をトリガーとして、上位層送信部６８に出力する。上位層送信部６８は、例外処理発生時、データータップ意味解析部６７から出力されたＸＭＬデーター（例外処理情報）に、ＤＶＲアプリケーション６９から出力された撮像結果を付加して、店舗管理サーバー５に送信する。また、通常処理発生時は、データータップ意味解析部６７から出力されたＸＭＬデーター（通常処理情報）のみを送信する。

店舗管理サーバー５は、例外処理情報および店員監視カメラ３の撮像結果を記憶する例外処理データーベース５１ａと、例外処理情報および通常処理情報を記憶する会計処理データーベース５１ｂと、を有している。例外処理データーベース５１ａは、集計レポート５０の印刷を目的として設けられたデーターベースである。例外処理データーベース５１ａに記録されたデーターは、例えば店員ごとまたは顧客ごとに集計され、レポート出力用プリンター８により印刷される。なお、検索キーとして、他項目を指定すれば、日付ごと、例外処理の種別ごと、例外処理の対象となる商品ごとに、集計レポート５０を出力することも可能である。

また、会計処理データーベース５１ｂは、会計処理（トランザクションデーター）の全記録を目的として設けられたデーターベースである。特に図示しないが、会計履歴として、トランザクションデーターを印刷出力したり、表示出力したりすることが可能である。

次に、図５および図６を参照し、例外処理データーベース５１ａおよび会計処理データーベース５１ｂの記録内容について説明する。図５は、例外処理データーベース５１ａの説明図である。同図に示すように、例外処理データーベース５１ａには、例外処理情報と、店員監視カメラ３の撮像結果とが、関連付けられて記憶されている。例外処理情報としては、操作判定部２２の判定結果である、トランザクション番号、トランザクション発生日時、トランザクション種別（例外処理の種別）、取引金額、店員ＩＤ、ＰＯＳ端末ＩＤおよびトランザクションデーターなどが含まれる。また、撮像結果としては、撮像日時、カメラＩＤおよび撮像データーなどが含まれる。

一方、図６は、会計処理データーベース５１ｂの説明図である。同図に示すように、会計処理データーベース５１ｂには、通常処理情報および例外処理情報が記憶されている。通常処理情報としては、例外処理情報に準じた各項目が記憶される。なお、同図では、通常処理情報と例外処理情報を区別して記載しているが、トランザクション番号順に列記し、両者を区別することなく、会計処理情報として記憶しても良い。また、会計処理データーベース５１ｂの中に、例外処理データーベース５１ａが包含される形態をとっても良い。

次に、図７のフローチャートを参照し、レシートプリンター２の情報出力処理について説明する。レシートプリンター２は、ＰＯＳ端末１の出力データーを取得すると（Ｓ１１，出力データー取得部２１）、メイン処理部６４にて、これをテキストデーターに変換する（Ｓ１２）。また、データータップ意味解析部６７にて、テキスト化されたデーターから、ＰＯＳ端末１の操作判定を行い（Ｓ１３，操作判定部２２）、その操作が例外処理の実行を伴うものであるか否かを判別する（Ｓ１４，操作判定部２２）。

例外処理の実行を伴うものである場合は（Ｓ１４：Ｙｅｓ）、操作判定結果をＸＭＬデーターに変換し、変換データー（例外処理情報）を生成する（Ｓ１５，データー変換部２３）。また、ＤＶＲアプリケーション６９にて、店員監視カメラ３の撮像結果を収集する（Ｓ１６，撮像結果取得部２５）。その後、上位層送信部６８により、変換データー（例外処理情報）および撮像結果を、店舗管理サーバー５に送信する（Ｓ１７，変換データー出力部２４）。一方、例外処理の実行を伴うものでない場合は（Ｓ１４：Ｎｏ）、操作判定結果をＸＭＬデーターに変換して、変換データー（通常処理情報）を生成し（Ｓ１８，データー変換部２３）、上位層送信部６８により、当該変換データーを店舗管理サーバー５に送信する（Ｓ１９，変換データー出力部２４）。

なお、Ｓ１６において、ＤＶＲアプリケーション６９は、データータップ意味解析部６７による操作判定結果に応じて、撮像結果を収集しても良い。具体的には、トランザクションデーターの内容（例えば、例外処理の種別や取引金額など）に応じて、収集する撮像時間（操作判定部２２の判定時を基準とした前後所定時間）を決定し、その撮像時間内の撮像結果を収集しても良い。この構成によれば、例外処理の種別や取引金額に適した撮像結果（例えば、取引金額が大きい場合は、重要度が高くなるため撮像時間を長く設定するなど）を、店舗管理サーバー５に送信することができる。

以上、説明したとおり、第１実施形態のレシートプリンター２によれば、ＰＯＳ端末１から出力された出力データーに基づいて、ＰＯＳ端末１の操作を判定し、その判定結果を店舗管理サーバー５に出力するため、ＰＯＳ端末１の改変を必要とすることなく、ＰＯＳ端末１の操作を検出することができる。これにより、ＰＯＳアプリケーション１６を変更するなどの必要がないため、操作検出機能の追加に伴う開発負担を大幅に軽減することができ、ひいては小売店側のコスト負担も軽減することができる。また、一般的にＰＯＳアプリケーション１６によってファイルフォーマットが異なるが、本実施形態のレシートプリンター２は、データータップ変換機能を有しているため、変換テーブル６６の書き換えにより多種多様なＰＯＳシステムに適用可能となり、その汎用性を高めることができる。

また、ＰＯＳ端末１の操作が、例外処理を実行するための操作であると判定された場合は、その旨を示す例外処理情報が、例外処理データーベース５１ａに記録され、店員ごとまたは顧客ごとの集計レポート５０として出力可能であるため、当該集計レポート５０を、店員のオペレーション教育、顧客応対状況の把握、不正行為の検出などに利用することができる。また、例外処理データーベース５１ａには、例外処理情報が、店員監視カメラ３の撮像結果と関連付けられて記憶されるため、当該撮像結果を集計レポート５０に含めて印刷することで、管理者は、例外処理発生時の状況を、より詳細に把握することができる。さらに、記録対象となる撮像時間は、例外処理の種別や取引金額に応じて決定することができるため、各トランザクションに応じた適切な撮像時間の撮像結果を保全しておくことができ、不正行為を立証する際の有用な証拠として利用することができる。

なお、上記の実施形態では、本発明の情報処理装置をレシートプリンター２に内蔵した構成としたが、印刷部２６を除いた一部、または全部をレシートプリンター２以外の外部装置、あるいは店舗管理サーバー５により実現しても良い。例えば、店員監視カメラ３の撮像結果を、レシートプリンター２を介して店舗管理サーバー５に送信する構成としたが、店舗管理サーバー５が直接取得する構成としても良い。この場合、ＤＶＲアプリケーション６９は、店舗管理サーバー５内に搭載される。また、店舗管理サーバー５の各部を、ＰＯＳシステムやＷＷＷサーバーで実現しても良い。

また、上記の実施形態では、全ての会計処理時において、変換データーを店舗管理サーバー５に送信するものとしたが、例外処理発生時のみ送信しても良い。また、例外処理発生時には、変換データーと共に、例外処理の種別や取引金額に応じた撮像時間の撮像結果を送信しても良い旨を記載したが、例外処理の種別や取引金額に依らず、同一撮像時間の撮像結果を送信しても良い。さらに、例外処理発生時のみならず、通常処理発生時においても、変換データーと共に撮像結果を送信するようにしても良い。

また、上記の実施形態では、変換データー形式をＸＭＬデーターとして記載しているが、ＣＳＶ(Comma Separated Values)など別形式を用いても良い。

［第２実施形態］
次に、図８ないし図１６を参照し、本発明の第２実施形態について説明する。本実施形態は、例外処理の発生を正確に特定することで、不正行為の証拠として有用な監視データー（第１実施形態の撮像結果に相当）を効率的に記録することを課題としている。そこで、例外処理の発生を検出する方法について詳細に説明する。なお、本実施形態において、第１実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第１実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。

図８は、第２実施形態に係る店舗監視システムＳＹ２の機能ブロック図である。本実施形態の店舗監視システムＳＹ２は、ＰＯＳ端末１と、レシートプリンター２と、レシートＲを読み取るレシートスキャナー９と、店内を監視する店内監視カメラ１０と、店舗監視システムＳＹ２を統括する店舗管理サーバー５と、により構成されている。システム構成について特に図示しないが、ＰＯＳ端末１とレシートプリンター２、およびレシートプリンター２とレシートスキャナー９は、シリアルインターフェースにより通信可能に接続される。また、本実施形態では、店内監視カメラ１０の撮像結果が、店舗内ＬＡＮ６（図１参照）を介して店舗管理サーバー５に直接送信される構成となっている。なお、点線枠で示すように、レシートプリンター２、レシートスキャナー９および店舗管理サーバー５により、情報処理装置Ａ２が構成される。

レシートスキャナー９は、主な機能構成として、読取部９１を有している。読取部９１は、返品処理やミスレジ処理等の発生時に、顧客が提示したレシートＲを読み取る。詳細については後述するが、本実施形態では、このレシートＲの読み取りによって、例外処理を検出可能となっている。

ＰＯＳ端末１は、主な機能構成として、会計処理部１１、読取結果取得部１２、会計処理情報読出部１３および再登録部１４を有している。会計処理部１１は、会計処理を実行し、その処理結果である会計情報（第１実施形態の出力データーに相当）を、レシートプリンター２に出力する。

読取結果取得部１２は、レシートスキャナー９（読取部９１）によるレシートＲの読取結果（トランザクション番号、商品コード、商品名、数量、価格、トランザクション発生日時、店員ＩＤ、ＰＯＳ端末ＩＤなどの情報）を取得する。会計処理情報読出部１３は、読取結果取得部１２が取得したレシートＲの読取結果を元に、会計処理データーベース５１ｂ（図６参照）から、該当する会計処理情報（トランザクションデーター）を読み出す。再登録部１４は、会計処理情報読出部１３が読み出した会計処理情報の一部のみを変更して、会計処理データーベース５１ｂに再登録するためのものであり、キーボードなどの操作手段を含む概念である。このように、会計処理後に当該会計処理の取り消しを行う場合、店員は、レシートＲに記載された商品を再入力する手間を省くことができるため、会計処理業務の効率化を図ることができる。

一方、レシートプリンター２は、主な機能構成として、会計情報取得部７１、例外処理発生検出部７２、印刷部２６および読取結果出力部７４を有している。会計情報取得部７１は、ＰＯＳ端末１（会計処理部１１）から出力された会計情報を取得する。

例外処理発生検出部７２は、会計情報取得部７１により例外処理を示す情報が含まれる会計情報を取得することにより、例外処理の発生を検出する。なお、図８では、カスタマディスプレイ４（図２等参照）の図示を省略したが、カスタマディスプレイ４に表示するための表示データーから、例外処理の発生を検出しても良い。また、上記のとおり、例外処理発生検出部７２は、レシートスキャナー９（読取部９１）により、レシートＲを読み取ることによっても、例外処理の発生を検出する。

印刷部２６は、会計情報取得部７１が取得した会計情報をレシート用紙に印刷し、レシートＲを発行する。読取結果出力部７４は、レシートスキャナー９により、レシートＲを読み取った場合、その読取結果を、ＰＯＳ端末１に出力する。

店内監視カメラ１０は、主な機能構成として、撮像部３２を有している。店内監視カメラ１０は、レジカウンター７周りや店舗入り口など、店内に複数配置される。また、各店内監視カメラ１０の撮像データーは、各店内監視カメラ１０を識別するためのカメラＩＤや撮像日時などの情報と関連付けられ、監視データー（第１実施形態の撮像結果に相当）として、店舗管理サーバー５に出力される。

店舗管理サーバー５は、主な機能構成として、監視データー取得部８１、特定行動判定部８２、記録制御部８３、記憶部８０および監視データー検索部８６を有している。記憶部８０は、撮像部３２の撮像が行われている間、所定時間分の監視データーを随時更新しながら記憶するサブ記憶部８４（バッファ）と、サブ記憶部８４に記憶された監視データーの一部を不揮発に記憶するメイン記憶部８５と、から成る。

監視データー取得部８１は、複数の店内監視カメラ１０（撮像部３２）から、リアルタイムに監視データーを取得する。特定行動判定部８２は、監視データー取得部８１が取得した監視結果から、店員および顧客の少なくとも一方の特定行動を判定する。つまり、店員が周囲を見渡す（キョロキョロする）などの不審行動や顧客が店舗入り口から直接レジカウンター７前に移動したなど、例外処理に伴って多く見られる特定行動を判定する。

記録制御部８３は、メイン記憶部８５への監視データーの記録を制御する。具体的には、特定行動判定部８２により特定行動が判定された場合、特定行動判定時を基準とした所定時間分（Ｌ時間分）の監視データーを、メイン記憶部８５に記録する。また、記録制御部８３は、例外処理発生検出部７２により例外処理の発生が検出された場合も、例外処理の発生検出時を基準とした所定時間分（Ｎ時間分）の監視データーを、メイン記憶部８５に記録する。この場合、記録制御部８３は、サブ記憶部８４に記憶された監視データーの中から、例外処理の発生検出前の監視データーを含む所定時間分の監視データーを、メイン記憶部８５に記録可能である。

なお、「特定行動判定時を基準とした所定時間（Ｌ時間）」や「例外処理の発生検出時を基準とした所定時間（Ｎ時間）」のＬやＮの値については、ユーザーが任意に設定可能である。また、「特定行動判定時を基準とした所定時間分（Ｌ時間分）の監視データー」は、特定行動判定時のＰ時間前（但し、０＜Ｐ≦Ｌ））を開始時刻とする監視データーとして設定しても良く、この場合のＰの値についても、ユーザーが任意に設定可能である。同様に、「例外処理の発生検出時を基準とした所定時間分（Ｎ時間分）の監視データー」は、例外処理発生検出時のＭ時間前（但し、０＜Ｍ≦Ｎ））を開始時刻とする監視データーとして設定しても良く、この場合のＭの値についても、ユーザーが任意に設定可能である。

ところで、記録制御部８３は、上記の所定時間分の監視データーに、例外処理発生時または特定行動判定時の状況を示すタグ情報を付加して、メイン記憶部８５に記憶させる。タグ情報とは、具体的に、例外処理の種別（トランザクションの種別）、店内における店員の位置、レジカウンター７周りにおける顧客の有無、レジカウンター７周りを含む店内の音声データー、例外処理発生日時（トランザクション発生日時）、特定行動判定日時などを指す。その他、タグ情報として、読取部９１によるレシートＲの読み取り結果の各項目および第１実施形態に示した例外処理情報の各項目（図５等参照）を利用可能である。

なお、「店内における店員の位置」は、店内監視カメラ１０の撮像データーを用いて顔認証を行い、顔認証用データーベース（図示省略）に記憶された店員の顔画像と照合することにより、特定可能である。また、店内に、複数のＲＦＩＤ（Radio Frequency Identification）リーダーを配置しておき、店員には、ＲＦＩＤが組み込まれた店員カード２００（図１３（ｂ）参照）を所持させることにより、店内における各店員の位置を特定しても良い。この場合、店員カード２００には、店員ＩＤが記録された記憶部２０１（ＩＣチップ）およびＲＦＩＤリーダーと無線通信するための無線通信部２０２（アンテナ）が設けられていることが前提である。また、ＲＦＩＤリーダーは、図示しない無線ＬＡＮルーター等を経由して店舗内ＬＡＮ６に接続されたレシートプリンター２または、店舗管理サーバー５と通信を行うこととなる。その他、ＧＰＳ（Global Positioning System）アンテナが搭載された電子機器を店員に所持させて、店内における各店員の位置を特定しても良い。

また、「レジカウンター周りにおける顧客の有無」は、店内監視カメラ１０の撮像データーを解析することにより判定可能である。さらに、「レジカウンター周りを含む店内の音声データー」は、レジカウンター７周りなど、店内に複数のマイクを配置しておき、その音声解析結果を利用可能である。

監視データー検索部８６は、監視データーに付加されたタグ情報を利用して、監視データーの検索を行うものであり、キーボードやマウスなどの操作手段を含む概念である。なお、監視データー検索部８６の検索キーとして、店員ＩＤや例外処理の種別を指定することで、第３実施形態にて後述する集計レポート５０（図２０ないし図２２参照）を印刷させることが可能である。

次に、図９ないし図１１のフローチャートを参照し、記録制御部８３の制御方法について詳細に説明する。上記のとおり、記録制御部８３は、会計情報の取得、レシートＲの読み取りおよび特定行動の検出をトリガーとして、メイン記憶部８５への監視データーの記録を行う。そこで、監視データー記録処理の各事例について説明する。

図９は、情報処理装置Ａ２による、会計情報の取得をトリガーとした監視データー記録処理を示すフローチャートである。まず、レシートプリンター２は、ＰＯＳ端末１から会計情報を取得すると（Ｓ２１，会計情報取得部７１）、当該会計情報に例外処理を示す情報が含まれるか否かに応じて、例外処理の発生の有無を判定する（Ｓ２２，例外処理発生検出部７２）。ここで、例外処理の発生を検出した場合は（Ｓ２２：Ｙｅｓ）、さらに例外処理の種別を判別する（Ｓ２３，例外処理発生検出部７２）。

店舗管理サーバー５は、レシートプリンター２で判別された例外処理の種別に応じて、例外処理発生時のタグ情報を収集する（Ｓ２４，記録制御部８３）。例えば、「取消処理」や「返品処理」の場合は、タグ情報として、店内における店員の位置、レジカウンター７周りにおける顧客の有無を収集し、「値引処理」や「割引処理」の場合は、タグ情報として、レジカウンター７周りを含む店内の音声データーを収集する、などが考えられる。なお、レジカウンター７周りにおける顧客の有無については、店内監視カメラ１０による顔検出や、赤外線を用いた人感センサーにより判定可能であり、その判定結果をタグ情報として収集する。また、店内の音声データーについては、レジカウンター７や店内に配置されたマイクの音声認識結果をタグ情報として収集する。

さらに、店舗管理サーバー５は、レシートプリンター２で判別された例外処理の種別に応じた所定時間分の監視データーを、上記のタグ情報と共に記録する（Ｓ２５，記録制御部８３）。例えば、「取消処理」や「返品処理」の場合は、例外処理検出時の前後２０秒間（合計４０秒間）の監視データーを記録し、「値引処理」や「割引処理」の場合は、例外処理検出後３０秒間の監視データーを記録する、などが考えられる。このとき、記録制御部８３は、サブ記憶部８４に記憶された監視データーの中から、必要な監視データーを読み出して、メイン記憶部８５に記憶する。

一方、Ｓ２２において、レシートプリンター２が例外処理の発生を検出しなかった場合は（Ｓ２２：Ｎｏ）、レシートプリンター２から店舗管理サーバー５に指令が送信されないため、店舗管理サーバー５で監視データーの記録が行われることなく、処理が終了する。

なお、上記の例では、例外処理の種別に応じてタグ情報を収集したり、例外処理の種別に応じて監視データーの撮像時間を決定したりしたが、例外処理の種別に依らず、同一のタグ情報を収集したり、監視データーの撮像時間を同一時間としたりしても良い。

図１０は、情報処理装置Ａ２による、レシートＲの読み取りをトリガーとした監視データー記録処理、およびＰＯＳ端末１のレシート内容変更処理を示すフローチャートである。本例は、「取消処理」や「返品処理」など、顧客からレシートＲの提示を必要とする例外処理が行われる場合の処理である。また、図中において、平行四辺形の枠は、店員の操作を伴う処理であることを示している。

レシートプリンター２は、レシートスキャナー９からレシートＲの読取結果を取得することにより（Ｓ３１）、例外処理の発生を検出する（Ｓ３２，例外処理発生検出部７２）。また、ＰＯＳ端末１に対し、レシートＲの読取結果を出力する（Ｓ３３，読取結果出力部７４）。

また、店舗管理サーバー５は、レシートＲの読み取り時（≒例外処理発生検出時）のタグ情報を収集する（Ｓ３４，記録制御部８３）。この場合、タグ情報として、例えば例外処理発生日時などの情報を収集することが考えられる。さらに、店舗管理サーバー５は、レシートＲの読み取り時を基準とした所定時間分の監視データーを、上記のタグ情報と共に記録する（Ｓ３５，記録制御部８３）。ここでは、例えばレシートＲの読み取り時の２０秒前を読み取り開始タイミングとし、記録時間が６０秒の監視データーを記録する、などが考えられる。

一方、ＰＯＳ端末１は、レシートプリンター２からレシートＲの読取結果を取得すると（Ｓ３６，読取結果取得部１２）、店員による「取消キー」（ＰＯＳ端末１のキーボードに設けられた所定のキー）の押下により（Ｓ３７）、会計処理データーベース５１ｂ（図６参照）から、該当する会計処理情報（トランザクションデーター）を読み出す（Ｓ３８，会計処理情報読出部１３）。その後、店員によるレシート内容の変更操作が行われ、会計処理情報の再登録が行われる（Ｓ３９，再登録部１４）。なお、当該再登録に伴って、新たなレシートＲが発行されるが、当該工程については説明を省略する。

図１１は、情報処理装置Ａ２による、店員や顧客の特定行動の検出をトリガーとした監視データー記録処理を示すフローチャートである。本例は、店舗管理サーバー５により全ての工程が実行される。店舗管理サーバー５は、取得した監視データーから店員および／または顧客の特定行動を検出すると（Ｓ４１：Ｙｅｓ）、特定行動の発生検出パターンを判別する（Ｓ４２，特定行動判定部８２）。「特定行動の発生検出パターン」については、図１５にて後述する。その後、特定行動の発生検出パターンに応じて、タグ情報を収集し（Ｓ４３，記録制御部８３）、特定行動の発生検出パターンに応じた所定時間分の監視データーを、上記のタグ情報と共に記録する（Ｓ４４，記録制御部８３）。

一方、Ｓ４１において、店員および／または顧客の特定行動が検出されなかった場合（Ｓ４１：Ｎｏ）、店舗管理サーバー５は、監視データーの記録を行うことなく、処理を終了する。

なお、上記の例では、特定行動の発生検出パターンに応じてタグ情報を収集したり、特定行動の発生検出パターンに応じて監視データーの撮像時間を決定したりしたが、発生検出パターンに依らず、同一のタグ情報を収集したり、監視データーの撮像時間を同一時間としたりしても良い。

次に、図１２ないし図１６を参照し、監視データー記録処理のトリガーとなる発生検出パターンの設定について説明する。図１２は、例外処理発生検出テーブルの一例を示す図である。なお、当該テーブルは、レシートプリンター２および店舗管理サーバー５の双方から参照可能に記憶されていれば良く、レシートプリンター２、店舗管理サーバー５、その他の外部装置のいずれに格納されていても良い。また、例外処理発生検出テーブルを、各装置内に、分割して格納することも可能である。

同図に示すように、例外処理発生検出テーブルは、発生検出パターンごとに、パターンＩＤと、例外処理の発生検出パターン（監視データー記録処理のトリガーとなる事象）と、検出対象の要否と、記録開始タイミングと、記録時間（撮像時間）と、が関連付けて記憶されている。例えば、同図の例では、検出対象の要否が、「パターンＩＤ：ａ１」および「パターンＩＤ：ａ２」において「○」となっているため、例外処理を示す会計情報を取得したとき（パターンＩＤ：ａ１）と、レシートスキャナー９によりレシートＲを読み取ったとき（パターンＩＤ：ａ２）に、例外処理の発生を検出する。なお、「パターンＩＤ：ａ１」は、図９に示したフローチャート、「パターンＩＤ：ａ２」は、図１０に示したフローチャートに相当する。

また、例外処理を示す会計情報を取得した場合は、記録開始タイミングおよび記録時間が、それぞれ「例外処理の種別に応じて」となっているため、例外処理の種別に応じて別途定められた記録開始タイミングおよび記録時間に従う。また、レシートＲを読み取ったときは、レシートＲの読み取り時の２０秒前を読み取り開始タイミングとし、記録時間が６０秒の監視データーを、サブ記憶部８４から読み出して、メイン記憶部８５に記憶する。

その他、例外処理の発生検出パターンとしては、レシートプリンター２のボタン操作（パターンＩＤ：ａ３）、店員カード２００のボタン操作（パターンＩＤ：ａ４）、重量センサー（図示省略）による商品またはレシートＲの載置検出（パターンＩＤ：ａ５）、画像認識による商品またはレシートＲの載置検出（パターンＩＤ：ａ６）、音声認識による例外処理キーワードの検出（パターンＩＤ：ａ７）、音声認識による通常処理キーワードの非検出（パターンＩＤ：ａ８）、ＬＥＤの消灯検出（パターンＩＤ：ａ９）、などを設定可能である。

「パターンＩＤ：ａ３」については、図１３（ａ）に示すように、レシートプリンター２に、店員または顧客が操作可能な操作部７５が設けられていることが前提である。当該操作部７５は、店員または顧客により、例外処理が発生したと判断されたときに操作されるものであり、その操作結果は、例外処理発生検出部７２に出力される。なお、操作部７５以外の構成要素については、図８と同様であるため、説明を省略する。また、「パターンＩＤ：ａ４」については、図１３（ｂ）に示すように、店員が所持する店員カード２００に、店員ＩＤが記録された店員ＩＤ記憶部２０１と、レシートプリンター２と無線通信を行うための無線通信部２０２と、店員が操作可能な操作部２０３と、が設けられていることが前提である。当該操作部２０３は、店員により、例外処理が発生したと判断されたときに操作されるものであり、その操作結果は店員ＩＤ記憶部２０１から読み出された店員ＩＤと共に、無線通信部２０２を介して、レシートプリンター２の例外処理発生検出部７２に送信される。例外処理発生検出部７２は、受信した店員ＩＤがレシートプリンター２の操作者（レジ担当者）と一致する場合、店員カード２００の操作結果に基づいて、例外処理の発生を検出する。このように、「パターンＩＤ：ａ３」および「パターンＩＤ：ａ４」を検出対象とすることで、レジの混雑などが原因で例外処理の操作を後回しにしたような場合でも、確実に例外処理の発生を検出することができる。また、「パターンＩＤ：ａ４」については、店員ＩＤの判別を行うため、レシートプリンター２が、隣のレジカウンター７における店員カード２００の操作結果を誤って受信してしまうことがない。

また、「パターンＩＤ：ａ５」については、図１４（ａ）に示す構成が前提である。すなわち、ＰＯＳ端末１およびレシートプリンター２と共に、商品またはレシートＲを載置するための所定の載置部２１１と、当該所定の載置部２１１に商品またはレシートＲが載置されたことを検出する重量センサー２１２（載置検出部）と、がレジカウンター７上に設けられ、レシートプリンター２と重量センサー２１２が、シリアル接続されていることが前提である。重量センサー２１２は、シート型の重量測定装置であり、商品等が載置されると、その検出結果をレシートプリンター２の例外処理発生検出部７２に出力する。また、「パターンＩＤ：ａ６」については、特に図示しないが、商品またはレシートＲを載置するための所定の載置部と、当該所定の載置部に商品またはレシートＲが載置されたことを載置前後の画像差分と判別することにより画像認識するためのカメラ（店内監視カメラ１０を適用しても良い）と、が設けられ、レシートプリンター２がその検出結果を取得可能であることが前提である。このように、「パターンＩＤ：ａ５」および「パターンＩＤ：ａ６」を検出対象とすることで、商品の返品や交換、レシートＲの取り消しや修正などの例外処理の発生を、迅速に検出することができる。

また、「パターンＩＤ：ａ７」および「パターンＩＤ：ａ８」については、レジカウンター７周りの音声を取得するマイクと、取得した音声を認識する音声認識部（図示省略）とが設けられ、レシートプリンター２がその認識結果を取得可能であることが前提である。このように、「パターンＩＤ：ａ７」を検出対象とすることで、店員または顧客により例外処理時に発声される所定のキーワード（例えば、「間違っています。」、「返品をお願いします。」などの例外処理キーワード）を認識して、例外処理の発生を迅速に検出することができる。また、「パターンＩＤ：ａ８」を検出対象とすることで、店員または顧客により通常処理時に発声される所定のキーワード（例えば、「〜が、〜点。」などの通常処理キーワード）の非認識により、例外処理の発生を迅速に検出することができる。

また、「パターンＩＤ：ａ９」については、図１４（ｂ）に示すに示す構成が前提である。すなわち、ＰＯＳ端末１およびレシートプリンター２と共に、商品、レシートＲまたは手などにより、その光を遮ることが可能なＬＥＤ投光器２２１と、そのＬＥＤの光を受光するＬＥＤ受光器２２２と、がレジカウンター７上に設けられ、レシートプリンター２とＬＥＤ受光器２２２が、シリアル接続されていることが前提である。ＬＥＤ受光器２２２は、ＬＥＤ投光器２２１から投射された光が、所定の載置部２１１に載置された何らかの物体で遮られたことを検出すると、その検出結果をレシートプリンター２の例外処理発生検出部７２に出力する。このように、「パターンＩＤ：ａ９」を検出対象とすることで、店員や顧客は、商品、レシートＲまたは手など、適当な手段を臨機応変に用いて例外処理の発生を検出させることができる。

なお、図１２に示した例外処理発生検出テーブルは、店舗管理サーバー５などの操作により、その内容を適宜変更可能である。つまり、どの発生検出パターンを検出対象とするのか、また例外処理が検出された場合の監視データーの記録開始タイミングおよび記録時間について、適宜変更可能である。

続いて、図１５を参照し、特定行動発生検出テーブルについて説明する。なお、当該テーブルは、店舗管理サーバー５内に格納されているものとする。また、上記の例外処理発生検出テーブルと同様に、店舗管理サーバー５などの操作によって、その内容を適宜変更可能である。

同図に示すように、特定行動発生検出テーブルは、発生検出パターンごとに、パターンＩＤと、特定行動の発生検出パターン（監視データー記録処理のトリガーとなる事象）と、検出対象の要否と、記録開始タイミングと、記録時間と、が関連付けて記憶されている。例えば、同図の例では、検出対象の要否が、「パターンＩＤ：ｂ１」および「パターンＩＤ：ｂ２」において「○」となっているため、顧客が入り口から直接レジ前に移動したとき（パターンＩＤ：ｂ１）と、レジ待ち行列があるにも関わらず顧客が割り込んだとき（パターンＩＤ：ｂ２）に、特定行動の発生を検出する。なお、これらは、店内監視カメラ１０にて、顧客の顔認証を行い、その顧客の移動を追跡することで検出可能である。つまり、店内監視カメラ１０から取得した監視データーから単位時間ごとのフレーム間の差分を取ることで動領域を検出し、その動領域に対して顔検出（顔特徴量に相当する部分がないか確認）を実施する。これにより、顔検出ができた部分を人と判別し、判別した個人を追跡する。また、店内に、複数のＲＦＩＤリーダーが配置されている場合、ＲＦＩＤが組み込まれた会員カードを顧客が所持することで、顧客の位置検出が可能である。

その他、特定行動の発生検出パターンとしては、顧客が店員に商品またはレシートＲを渡した（パターンＩＤ：ｂ３）、店員が周囲を見渡した（パターンＩＤ：ｂ４）、店員がレジカウンター７に何度も出入りした（パターンＩＤ：ｂ５）などを設定可能である。

ここで、図１６のフローチャートを参照し、「パターンＩＤ：ｂ３」の検出処理について説明する。店舗管理サーバー５（特定行動判定部８２）は、店内監視カメラ１０の監視結果から、店員の顔検出および顔認識を行い（Ｓ５１）、店員の位置を特定する（Ｓ５２）。同様に、店内監視カメラ１０の監視結果から、顧客の顔検出および顔認識を行い（Ｓ５３）、顧客の位置を特定する（Ｓ５４）。さらに、顧客の手の動きをトレースし（Ｓ５５）、顧客が店員の方向へ手を動かしたことを判定した場合（Ｓ５６）、その判定結果から商品またはレシートＲの受け渡しが行われたと判定する（Ｓ５７）。このように、「パターンＩＤ：ｂ３」を検出対象とすることで、店員と顧客による例外処理の特徴的な動作を、特定行動として検出することができる。また、「パターンＩＤ：ｂ４」については、店内監視カメラ１０の監視結果から動領域を検出し、その動領域から人の顔を検出する、といった工程を繰り返すことにより、店員の動き（頭部の位置変化）を検出する。これにより、頭部の位置変化が激しい場合（周囲を見回すような動きの場合）は周囲を見渡した、つまり不正行為を行った可能性が高いなどと判断することができる。

また、「パターンＩＤ：ｂ５」については、レジカウンター７を撮像する店内監視カメラ１０から、同じ店員が続けて何回も検出されているかを判定する。これにより、例えば、レジカウンター７周辺を行ったり来たりするような、不自然な行動を簡単に検出することができる。また、店内に、複数のＲＦＩＤリーダーが配置されている場合、ＲＦＩＤが組み込まれた店員カード２００の所持を店員に義務付けることで、このような店員の行動検出が可能である。

以上、説明したとおり、第２実施形態の情報処理装置Ａ２によれば、例外処理の発生を検出し、当該例外処理の発生検出時を基準とした所定時間分の監視データーを記録するため、不必要な監視データー記録を防止することができる。これにより、不正行為の証拠として有用な監視データーのみを記録することができ、ひいては不正行為をより効率的に検出することができる。また、店内監視カメラ１０の監視が行われている間、所定時間分の監視データーを随時更新しながら記憶するサブ記憶部８４を備えているため、例外処理の発生検出前の監視データーも記録することができる。これにより、例外処理発生前の監視データーが重要と考えられるような不正行為であっても、支障なく検出することができる。

また、例外処理の発生を検出したときだけでなく、店員や顧客の特定行動が判定された場合も、特定行動判定時を基準とした所定時間分の監視データーを記録することができる。これにより、店長などが効率的に不正行為を確認することができる。

また、監視データー記録処理のトリガーとなる例外処理／特定行動の発生検出パターンを、店舗に応じてカスタマイズできるため、利便性が良い。また、記録開始タイミングや記録時間についても、発生検出パターンごとに設定できるため、さらに利便性が良い。

なお、上記の実施形態の例外処理発生検出部７２は、会計情報取得部７１により例外処理を示す情報が含まれる会計情報を取得することにより、例外処理の発生を検出したが、ＰＯＳ端末１において「取消キー」など例外処理のトリガーとなるキー操作が行われたことをレシートプリンター２が認識可能な場合、当該キー操作を認識することにより、例外処理の発生を検出しても良い。

また、上記の実施形態では、レシートプリンター２、レシートスキャナー９および店舗管理サーバー５により、情報処理装置Ａ２が構成されるものとしたが、店舗管理サーバー５を省略する構成としても良い。この場合、店舗管理サーバー５の各部をレシートプリンター２が備える構成となる。また、ＰＯＳ端末１内に、情報処理装置Ａ２の各部を備えたり、記憶部８０を情報処理装置Ａ２の外部に備えたりしても良い。

また、上記の実施形態では、監視データーとして、店内監視カメラ１０の撮像結果を記録するものとしたが、ＲＦＩＤリーダーにより店員および／または顧客を監視する場合は、店内に配置された複数のＲＦＩＤリーダーの読取結果を、監視データーとして記録するようにしても良い。また、ＧＰＳを用いて、店員および／または顧客を監視する場合は、ＧＰＳデーター（店員および／または顧客の位置情報）を、監視データーとして記録するようにしても良い。

また、上記の実施形態では、レシートＲの読取結果を利用して、会計処理情報の再登録を行う場合を例示したが（図１０参照）、例外処理として、オペレーションミスによる２度打ちが発生したことを検出した場合、レシートプリンター２に設けられた所定のボタンの押下により、図示しない会計処理バッファ内の登録済みの情報を元に、ミスを起こした直前の状態に復元できるようにしても良い。なお、２度打ちの発生は、同じ商品データーが続けて入力されたことをレシートプリンター２側で自動検知しても良いし、店員による図示しない操作部の操作によって検出しても良い。この場合、店員は、重複した商品のみをＰＯＳ端末１側で削除することにより、ミスレジ処理と、正しい精算処理とを一括して行うことができる。

［第３実施形態］
次に、図１７ないし図２２を参照し、本発明の第３実施形態について説明する。本実施形態は、店員および／または顧客の不正行為を容易且つ迅速に判断するための集計レポート５０（履歴情報）を作成することを課題としている。なお、本実施形態において、上記の各実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、上記の各実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。

図１７は、第３実施形態に係る店舗監視システムＳＹ３の機能ブロック図である。本実施形態の店舗監視システムＳＹ３は、ＰＯＳ端末１と、レシートプリンター２と、店員を監視する店員監視カメラ３と、店舗監視システムＳＹ３を統括する店舗管理サーバー５（外部装置）と、により構成されている。上記の各実施形態と同様に、ＰＯＳ端末１とレシートプリンター２は、シリアルインターフェースにより通信可能に接続される。また、店員監視カメラ３の撮像結果は、店舗内ＬＡＮ６（図１参照）を介して店舗管理サーバー５に送信される構成となっている。なお、本実施形態では、点線枠で示すように、レシートプリンター２および店舗管理サーバー５により、情報処理装置Ａ３が構成される。

ＰＯＳ端末１は、主な機能構成として、会計処理部１１を有している。また、店員監視カメラ３は、主な機能構成として、撮像部３１を有している。撮像部３１は、第１実施形態と同様に、レジカウンター７の周囲に設置されており、店員、顧客およびレジカウンター７上の商品などを撮像する。撮像部３１による撮像は、常時行われており、その撮像結果は、後述するデーターベース１０３に記憶される。なお、会計処理時(例外処理時および購入時（精算処理時）を含む)においては、各会計処理時の撮像結果（会計処理時を基準とした前後所定時間の撮像データー）が、各会計処理のトランザクションデーターと関連付けられてデーターベース１０３に記憶される。また、撮像部３１は、動画および静止画を撮像可能となっている。但し、動画のみを撮像し、その中の１コマを静止画として利用しても良い。

レシートプリンター２は、主な機能構成として、会計情報取得部７１、店員／顧客判定部９２および印刷部２６を有している。会計情報取得部７１は、ＰＯＳ端末１（会計処理部１１）から、会計情報を取得する。

店員／顧客判定部９２は、ＰＯＳ端末１を操作している店員、および会計処理時の顧客の少なくとも一方を判定する。本実施形態では、取得した会計情報に含まれる店員ＩＤや顧客ＩＤなどの情報に基づいて、店員および／または顧客を判定する。なお、店員が店員カード２００（図１３（ｂ）参照）を所持している場合、並びに顧客が会員カードを所持している場合は、ＲＦＩＤリーダーの読取結果に基づいて、店員および／または顧客を判定しても良い。さらに、店内監視カメラ１０の撮像結果から顔認証を行い、その認証結果に基づいて、店員および／または顧客を判定しても良い。なお、顔認証については、顔特徴量に基づいて、顔認証用データーベース（店員や顧客の顔特徴量が記録されたデーターベース，図示省略）に記録されている人物と、同一人物であるか否かを判定することが可能である。顔特徴量の抽出については、図１８にて後述する。

印刷部２６は、会計情報取得部７１が取得した会計情報をレシート用紙に印刷し、レシートＲを発行する。

一方、店舗管理サーバー５は、主な機能構成として、例外処理情報記録部１０１、購入時情報記録部１０２、データーベース１０３、不正判定部１０４、履歴情報出力部１０５、検索キー指定部１０６および例外処理情報抽出部１０７を有している。

例外処理情報記録部１０１は、会計情報取得部７１が取得した会計情報に、例外処理を示す情報が含まれる場合、店員／顧客判定部９２により判定された店員の店員ＩＤまたは顧客の顧客ＩＤと、例外処理の種別を含む所定事項(トランザクションデーターを含む)と、を関連付けた例外処理情報を生成し、データーベース１０３に記録する。つまり、例外処理情報記録部１０１は、例外処理発生時のみ、例外処理情報を生成してデーターベース１０３に記録する。

購入時情報記録部１０２は、商品の購入時に会計情報取得部７１により取得した会計情報である購入時情報（トランザクションデーターに相当する）を、データーベース１０３に記録する。

記録制御部８３は、第２実施形態と同様に機能させることができる。つまり、図示しないサブ記憶部８４（バッファ）に、所定時間分の撮像データーを随時更新しながら記憶しておき、記録制御部８３により、サブ記憶部８４に記憶された撮像データーの一部を読み出して、メイン記憶部８５に相当するデーターベース１０３に記録することが可能である。なお、本実施形態の記録制御部８３は、撮像部３１の撮像結果に撮像結果に人物が含まれる場合、当該撮像結果から得られる顧客データー（色特徴量および顔特徴量）を付加してデーターベース１０３に記録する。色特徴量および顔特徴量の抽出については、図１８にて後述する。

データーベース１０３は、上記のとおり、例外処理情報と例外処理時における撮像部３１の撮像結果とを関連付けて記憶すると共に、購入時情報と購入時における撮像部３１の撮像結果とを関連付けて記憶する。

不正判定部１０４は、撮像部３１の監視結果から、店員および顧客の少なくとも一方の不正の可能性を判定する。例えば、店員の不正については、第２実施形態に示した特定行動の発生検出パターンのうち、「店員が周囲を見渡した（パターンＩＤ：ｂ４）」や「店員がレジカウンターに何度も出入りした（パターンＩＤ：ｂ５）」などを検出した場合、不正の可能性ありと判定できる。また、顧客の不正については、例えばレジカウンター７を通さずに商品を持ち去ってしまうことを検出した場合、不正の可能性ありと判定できる。

その他、不正判定部１０４は、商品の返品時の顧客と、購入時の顧客と、が同一人物でないこと、会計処理時にレジカウンター７前に顧客が存在しないこと、特定の人（例えば、社員）に対して商品の割引きを行う特定割引処理時の顧客が特定の人に該当しないこと、などを検出した場合、不正の可能性ありと判定する。なお、これらの判定処理については、図１９にて後述する。

履歴情報出力部１０５は、会計情報取得部７１が取得した会計情報に、例外処理を示す情報が含まれ、且つ不正判定部１０４により不正の可能性ありと判定された場合、該当する店員または顧客の例外処理情報を集計して、集計レポート５０を出力する。また、履歴情報出力部１０５は、後述する検索キー指定部１０６により検索キーが指定された場合も、集計レポート５０を出力する。なお、本実施形態では、出力方法として、印刷出力と、電子メールまたはＷｅｂアプリケーションを用いた管理者（店長など）への送信を想定している。また、詳細については後述するが、集計レポート５０には、各例外処理情報に関連付けられている撮像部３１の撮像結果も併せて印刷／表示される。

検索キー指定部１０６は、集計レポート５０を出力するための検索キーを指定するものであり、キーボードやマウスなどの操作手段を含む概念である。検索キーとしては、店員ＩＤ、顧客ＩＤ、例外処理の種別、例外処理日時、例外処理番号、例外処理の対象となる商品、レジカウンター７前の顧客の有無、店員の位置、レジカウンター７周りを含む店内の音声データーや撮像データーなど、例外処理情報から特定可能な情報や撮像部３１の撮像結果から特定可能な情報（第２実施形態に示したタグ情報など）を指定可能である。

例外処理情報抽出部１０７は、データーベース１０３から、検索キー指定部１０６により指定された検索キーに該当する例外処理情報を抽出する。このとき、複数の項目（例えば、店員ＩＤ、顧客ＩＤ）が指定された場合は、それらをａｎｄ条件またはｏｒ条件として、例外処理情報を抽出する。履歴情報出力部１０５は、例外処理情報抽出部１０７により抽出された例外処理情報を集計して、履歴情報を出力する。

次に、図１８のフローチャートを参照し、情報処理装置Ａ３によるデーター記録処理について説明する。なお、当該処理は、返品時の顧客と購入時の顧客とが同一人物であるか否かを判別するために必要な顧客データー（色特徴量および顔特徴量）を記録する処理である。

レシートプリンター２が会計情報を取得すると（Ｓ６１，会計情報取得部７１）、店舗管理サーバー５は、店内監視カメラ１０の撮像データーを取得する（Ｓ６２）。そして、記録制御部８３により、フレーム間の差分と、背景差分を抽出し（Ｓ６３）、当該抽出結果から動領域を検出する（Ｓ６４）。また、検出した動領域から顔検出を行い（Ｓ６５）、衣類部分の色特徴量を抽出する（Ｓ６６）。さらに、顔検出を行った顔部分の画像を正規化し（Ｓ６７）、顔特徴量を抽出する（Ｓ６８）。その後、抽出した色特徴量および顔特徴量を顧客データーとして、撮像結果と共にデーターベース１０３に記録する（Ｓ６９）。

なお、顔特徴量については、特定割引処理時の顧客が特定の人に該当するか否かを判別するためにも用いられる。この場合の顔特徴量は、特定の人の顔画像（写真）から予め算出しておき、図示しない顔特徴量データーベースに格納しておけばよい。なお、本実施形態では、「社員」を特定の人とし、社員割引処理時の不正を判定するものとする。

次に、図１９のフローチャートを参照し、情報処理装置Ａ３による集計レポート作成処理について説明する。当該処理は、店員や顧客の不正の可能性ありと判定した場合に出力される集計レポート５０の作成処理である。上記のとおり、例外処理時であって且つ店員や顧客の不正の可能性ありと判定した場合に集計レポート５０を出力するため、当該処理のトリガーとなる会計情報には、例外処理を示す情報が含まれることが前提である。

レシートプリンター２が会計情報を取得すると（Ｓ７１，会計情報取得部７１）、店舗管理サーバー５は、例外処理情報を生成し、データーベース１０３に記録する（Ｓ７２，例外処理情報記録部１０１）。また、不正判定部１０４は、下記に示すとおり、例外処理の種別を判別し、その種別に応じて不正の可能性を判定する。

例えば、例外処理の種別が「返品」である場合（Ｓ７３：Ｙｅｓ）、データーベース１０３から、返品処理時の顧客データー（色特徴量および顔特徴量）および購入時の顧客データー（色特徴量および顔特徴量）を取得し（Ｓ７４）、両者を比較する（Ｓ７５）。その結果、返品時の顧客と購入時の顧客とが同一人物であるか否かを判別し（Ｓ７６）、同一人物の場合は（Ｓ７６：Ｙｅｓ）、不正の可能性なしと判定して処理を終了する。また、同一人物ではない場合は（Ｓ７６：Ｎｏ）、不正の可能性ありと判定し、履歴情報出力部１０５により、データーベース１０３から該当する顧客の画像データーおよび例外処理情報（返品履歴）を取得し（Ｓ７７）、集計レポート５０を作成する（Ｓ７８）。

一方、例外処理の種別が「ミスレジ」である場合（Ｓ７９：Ｙｅｓ）、不正判定部１０４は、店内監視カメラ１０の撮像データーに基づく顔検出結果を取得して（Ｓ８０）、レジカウンター７前に顧客が存在するか否かを判別する（Ｓ８１）。顧客が存在する場合は（Ｓ８１：Ｙｅｓ）、不正の可能性なしと判定して処理を終了する。また、顧客が存在しない場合は（Ｓ８１：Ｎｏ）、不正の可能性ありと判定し、履歴情報出力部１０５により、データーベース１０３から該当する店員および顧客の画像データーおよび該当するレジ係（店員）のミスレジ履歴を取得し（Ｓ８２）、集計レポート５０を作成する（Ｓ７８）。

一方、例外処理の種別が「社員割引」である場合（Ｓ８３：Ｙｅｓ）、不正判定部１０４は、顔特徴量データーベースから割引対象者データー（顔特徴量）を取得し（Ｓ８４）、該当する店員であるか否かを判別する（Ｓ８５）。該当する店員である場合は（Ｓ８５：Ｙｅｓ）、不正の可能性なしと判定して処理を終了する。また、該当する店員ではない場合は（Ｓ８５：Ｎｏ）、不正の可能性ありと判定し、履歴情報出力部１０５により、データーベース１０３から該当する店員および顧客の画像データーおよび該当するレジ係（店員）の社員割引履歴を取得し（Ｓ８６）、集計レポート５０を作成する（Ｓ７８）。

次に、図２０ないし図２２を参照し、集計レポート５０の内容について説明する。図２０は、返品処理時において、不正の可能性ありと判定された場合に出力される集計レポート５０ａの一例を示す図である。この場合の集計レポート５０ａには、レポート発行日時およびレポート番号の他、返品時における顧客の顔画像（静止画像）１２１と、購入時における顧客の顔画像（静止画像）１２２と、動画像を再生するためのバーコード１２３（リンク画像）と、返品概要１２４と、返品顧客に関する過去の返品状況１２５と、映像リンクの説明１２６と、が含まれる。

同図の例では、購入時における顧客の顔画像１２２が非表示となっている。これは、返品時に提示されるレシートＲの情報が、データーベース１０３内に存在しなかったことを意味する。例えば、他店舗で購入した商品と、偽造したレシートＲを用いて返品が行われたような場合である。これにより、集計レポート５０ａを確認する管理者は、不正返品（架空返品）が行われた可能性が極めて高いと判断することができる。

また、バーコード１２３は、返品時における撮像部３１の撮像結果を確認するためのものであり、映像リンクの説明１２６に記載されているとおり、図示しないバーコードリーダーにて、バーコード１２３をスキャンすることにより、図示しないディスプレイ上で、返品時の映像を表示させることができる。

また、返品概要１２４は、データーベース１０３に記録された例外処理情報から得られる情報であり、返品発生時刻（例外処理発生日時）、トランザクション番号、返品物（返品の対象となる商品の商品名）、返品額（例外処理時の取引金額）、返品時レジ担当（例外処理情報または撮像結果から判定される返品処理時の店員の名前）、購入該当履歴の有無（返品時に提示されたレシートＲに記載の情報と同内容のトランザクションデーターがデーターベース１０３に存在するか否か）、などが含まれる。

また、返品顧客に関する過去の返品状況１２５には、過去（例えば、１年以内）における返品顧客の返品回数、その際の返品物一覧およびその割合、返品顧客の返品時におけるレジ担当の回数およびその割合、などが含まれる。これらの情報から、管理者は、返品の頻度や、返品の対象となっている商品を類推することができ、顧客と店員が共謀した不正返品であるか否かを判断することができる。例えば、同図の例のように、返品時におけるレジ担当が決まった人物である場合、顧客と店員が共謀して不正返品を行っている可能性が高いと判断することができる。

なお、図１９に示した集計レポート５０ａに対し、購入時における顧客の顔画像１２２が表示されていたり（購入該当履歴が存在していたり）、返品顧客の返品時におけるレジ担当として複数の店員の名前が表示されているような場合、管理者は、不正返品を行っている可能性が低いと判断することができる。

図２０は、ミスレジ処理時において、不正の可能性ありと判定された場合に出力される集計レポート５０ｂの一例を示す図である。この場合の集計レポート５０ｂには、レポート発行日時およびレポート番号の他、ミスレジ発生時におけるレジカウンター７周りの画像（静止画像）１３１と、動画像を再生するためのバーコード１３２と、ミスレジ概要１３３と、レジ担当に関する過去のミスレジ発生状況１３４と、映像リンクの説明１３５と、が含まれる。このうちバーコード１３２は、ミスレジ発生時における撮像部３１の撮像結果（動画）を確認するためのものであり、映像リンクの説明１３５にその旨が記載されている。

また、ミスレジ概要１３３は、データーベース１０３に記録された例外処理情報から得られる情報であり、ミスレジ発生時刻（例外処理発生日時）、トランザクション番号、取消額（例外処理時の取引金額）、ミスレジ発生時のレジ担当（例外処理情報または撮像結果から判定されるミスレジ発生時の店員の名前）、対象顧客の有無（ミスレジ発生時にレジカウンター７前に顧客が存在するか否か）、などが含まれる。同図の例では、対象顧客が「なし」になっており、ミスレジ発生時におけるレジカウンター７周りの画像１３１からもそのことが確認できるため、ミスレジ不正の可能性が高いと判断することができる。

また、レジ担当に関する過去のミスレジ発生状況１３４には、過去（例えば、１年以内）におけるレジ担当の総ミスレジ回数、同期間におけるレジ担当の総労働時間（図示しない勤怠管理データーベースから得られる情報）、単位時間（例えば、１時間）当たりのミスレジ発生回数、ミスレジ発生時間帯およびその割合、などが含まれる。これらの情報から、管理者は、該当するレジ担当に、どの程度ミスレジがあるのか、またどのような時間帯にミスレジが多いのか、などを把握することができるため、その結果を、店員のオペレーション教育に利用することができる。さらに、対象顧客が存在する状況におけるミスレジ発生回数が、顧客が存在しない状況におけるミスレジ発生回数よりも明らかに高いことやミスレジ発生時間帯に偏りがあること、などからミスレジ不正の可能性が高いと判断することができる。

なお、図２０に示した集計レポート５０ｂに対し、ミスレジ発生時におけるレジカウンター７周りの画像１３１に顧客が含まれていたり（対象顧客が存在したり）、顧客の有無によってミスレジ発生回数に偏りがない場合、管理者は、ミスレジ不正の可能性が低いと判断することができる。

図２２は、社員割引処理時時において、不正の可能性ありと判定された場合に出力される集計レポート５０ｃの一例を示す図である。この場合の集計レポート５０ｃには、レポート発行日時およびレポート番号の他、社員割引発生時における顧客の顔画像（静止画像）１４１と、社員割引発生時におけるレジカウンター７周りの画像（静止画像）１４２と、社員割引発生時における動画像を再生するためのバーコード１４３と、社員割引概要１４４と、レジ担当に関する過去の社員割引発生状況１４５と、映像リンクの説明１４６と、が含まれる。バーコード１４３および映像リンクの説明１４６については、図２０および図２１の例と同様であるため説明を省略する。

社員割引概要１４４は、データーベース１０３に記録された例外処理情報から得られる情報であり、社員割引発生時刻（例外処理発生日時）、トランザクション番号、購入額、割引額、社員割引発生時のレジ担当（例外処理情報または撮像結果から判定される社員割引発生時の店員の名前）、対象社員（顔特徴量から同一人物と判定された社員が存在する場合、その名前）、などが含まれる。なお、本例においては、購入額から割引額を差し引いた金額が、例外処理時の取引金額となる。また、同図の例では、対象社員として「店員該当者なし」となっているため、不正社員割引の可能性が高いと判断することができる。

また、レジ担当に関する過去の社員割引発生状況１４５には、過去（例えば、１年以内）におけるレジ担当の総社員割引回数、同期間におけるレジ担当の総労働時間（図示しない勤怠管理データーベースから得られる情報）、単位時間当たりの社員割引発生回数、社員割引担当回数（社員割引の対象となった店員の名前とその割合）などが含まれる。これらの情報から、管理者は、該当するレジ担当が、どの程度社員割引を行っているのか、またどの人物に対して社員割引を行っているのか、などを把握することができる。これにより、単位時間当たりの社員割引発生回数が極端に多いことや社員割引担当回数に偏りがあること、などから不正社員割引の可能性が高いと判断することができる。

なお、図２２に示した集計レポート５０ｃに対し、単位時間当たりの社員割引発生回数が少なかったり、社員割引担当回数に偏りがない場合、管理者は、不正社員割引の可能性が低いと判断することができる。

ところで、上記のとおり、図２０ないし図２２に示した集計レポート５０は、管理者が任意のタイミングで、検索キー指定部１０６により検索キーを指定した場合も出力させることが可能である。例えば、検索キーとして例外処理番号（トランザクション番号）を指定することにより、その例外処理の種別に応じた集計レポート５０（５０ａ，５０ｂ，５０ｃのいずれか）を出力させることができる。また、店員ＩＤと、例外処理の種別の指定（ａｎｄ条件）により、レジ担当に関する過去のミスレジ発生状況１３４（図２１参照）やレジ担当に関する過去の社員割引発生状況１４５（図２２参照）などを、集計レポート５０として出力させることができる。

また、検索キーとしてレジカウンター７前の顧客の有無を指定することで、対象顧客「なし」と判定された例外処理の一覧（店員ごと、または例外処理の種別ごとに分類されていることが好ましい）を含む集計レポート５０を出力させても良い。さらに、検索キーとして店員の位置を指定することで、指定位置（指定レジカウンター）に店員が存在するときの例外処理の一覧（店員ごと、顧客ごと、または例外処理の種別ごとに分類されていることが好ましい）を含む集計レポート５０を出力させても良い。このように、管理者は、検索キーの指定により、必要とする集計レポート５０を、必要なタイミングで出力させることができる。

以上、説明したとおり、第３実施形態の情報処理装置Ａ３によれば、店員ＩＤ、顧客ＩＤ、例外処理に関する所定事項（トランザクションデーター）を関連付けた例外処理情報をデーターベース１０３に記録しておき、それらの例外処理情報を、店員ＩＤまたは顧客ＩＤごとに集計して集計レポート５０を出力可能であるため、当該集計結果から、店員または顧客の不正行為を容易且つ迅速に判断することができる。つまり、管理者が、出力された集計レポート５０に基づいて、その店員または顧客が過去にどのような例外処理に関与しているか、またその回数などを確認することができるため、その内容を踏まえて、不正行為の有無を判断することができる。

また、店員や顧客の監視結果から不正の可能性があると判定された場合は、管理者が特別な操作を行うことなく集計レポート５０を出力させることができる。つまり、管理者が能動的に検索処理を実行する必要がないため、不正行為の検証に要する労力を大幅に軽減することができる。また、不正の可能性が客観的に判定されるため、管理者の主観や力量に拠らず、不正行為の有無を正確に判断することができる。

また、集計レポート５０を、予め定められた管理者に対し、電子メールまたはＷｅｂアプリケーションを用いて、送信することができるため、管理者の居場所に関わらず、履歴情報を送信することができる。また、集計レポート５０には、例外処理情報から得られる履歴情報と共に、会計処理時（購入時や例外処理発生時）における撮像部３１の撮像結果が出力されるため、管理者は、当該撮像結果を不正行為の検証材料とすることができる。

また、管理者は、集計レポート５０から静止画像と動画像の両方で、商品の購入時や不正判定時における店員や顧客の状況を確認することができるため、より正確にレジカウンター７周りの状況を把握することができる。また、動画像については、バーコード１２３，１３２，１４３の読み取りによって再生が可能となるため、店長などがすばやく動画像を確認することができる。

なお、上記の実施形態では、集計レポート５０が印刷出力される場合を例示したが、履歴情報がＷｅｂページなどとして出力される場合は、バーコード１２３，１３２，１４３に代えて、その動画像とリンクされたアイコン（リンク画像）を表示しても良い。

また、上記の実施形態では、店舗管理サーバー５に接続されたレポート出力用プリンター８から集計レポート５０が印刷されるものとしたが、レシートプリンター２によって集計レポート５０を印刷するようにしても良い。また、店員の不正に関する集計レポート５０の場合は、不正が検出されたレジカウンター７以外に配置されている他のレシートプリンター２（店舗内ＬＡＮ６に接続されているもの）から集計レポート５０を印刷するようにしても良い。この構成によれば、不正の可能性ありと判定された時、店内にてリアルタイムに店員または顧客の不正検証を行うことができる。

また、上記の実施形態では、例外処理の種別が、ミスレジ処理の場合、例外処理時に顧客が存在しないことを条件として、不正の可能性ありと判定したが、その他の例外処理（例えば、「返品処理」、「両替処理」、「割引処理」、「値引処理」など）にも適用可能である。

また、上記の実施形態では、会計情報に例外処理を示す情報が含まれることにより、例外処理の発生を検出したが、第２実施形態に示したように、レシートＲの読み取りや、店員や顧客が所定の操作部を操作すること、所定の載置部に商品やレシートＲが載置されること、などによって例外処理の発生を検出しても良い。

また、上記の実施形態では、レシートプリンター２および店舗管理サーバー５により、情報処理装置Ａ３が構成されるものとしたが、店舗管理サーバー５を省略する構成としても良い。この場合、店舗管理サーバー５の各部をレシートプリンター２が備える構成となる。また、ＰＯＳ端末１内に、情報処理装置Ａ３の各部を備えたり、データーベース１０３を情報処理装置Ａ３の外部に備えたりしても良い。

以上、第１実施形態ないし、第３実施形態によれば、レシートプリンター２において例外処理の発生を検出可能であり、その例外処理発生時点を基準として監視データーを記録することにより、店員や顧客の不正検証に有用な監視データーを効率的に記録することができる。また、例外処理時の所定事項を店員および／または顧客ごとに集計し、店員監視カメラ３の撮像結果と共に集計レポート５０として出力することで、管理者が不正行為の有無を容易且つ迅速に判断することができる、などの効果を奏することができる。

なお、上記の各実施形態に係る店舗監視システムＳＹ１ないしＳＹ３の制御方法（上記各実施形態で示したフローチャート）の各ステップをプログラムとして提供することが可能である。また、そのプログラムを各種記録媒体（ＣＤ−ＲＯＭ、フラッシュメモリー等）に格納して提供することも可能である。すなわち、コンピューターを、レシートプリンター２や情報処理装置Ａ２，Ａ３の各構成要素として機能させるためのプログラム、およびそれを記録した記録媒体も、本発明の権利範囲に含まれるものである。

また、上記の各実施形態では、本発明の情報処理装置を、レシートプリンター２や店舗管理サーバー５によって実現する場合を例示したが、他の電子機器によって実現してもよい。また、店員や顧客の不正検出以外の用途で利用しても良い。その他、上述した実施例によらず、店舗監視システムＳＹ１ないしＳＹ３の装置構成や処理工程等について、本発明の要旨を逸脱しない範囲で、適宜変更が可能である。

１…ＰＯＳ端末 ２…レシートプリンター ３…店員監視カメラ ４…カスタマディスプレイ ５…店舗管理サーバー ６…店舗内ＬＡＮ ７…レジカウンター ８…レポート出力用プリンター ９…レシートスキャナー １０…店内監視カメラ １６…ＰＯＳアプリケーション ５０…集計レポート ５１…データーベース（第１実施形態） ６１…入力インターフェース ６２…出力インターフェース ６３…キャラクタジェネレーター ６４…メイン処理部 ６５…プリントメカ ６６…変換テーブル ６７…データータップ意味解析部 ６８…上位層送信部 ６９…ＤＶＲアプリケーション １０３…データーベース（第３実施形態） Ａ２，Ａ３…情報処理装置 Ｒ…レシート ＳＹ１，ＳＹ２，ＳＹ３…店舗監視システム

Claims (16)

1. 会計処理部の会計処理結果である会計情報を取得する会計情報取得部と、
   前記会計処理部を操作している店員および前記会計処理時の顧客の少なくとも一方を判定する店員／顧客判定部と、
   取得した前記会計情報に、前記会計処理の例外処理を示す情報が含まれる場合、前記店員／顧客判定部により判定した前記店員の店員ＩＤまたは前記顧客の顧客ＩＤと、前記例外処理の種別を含む所定事項と、を関連付けた例外処理情報を生成し、データーベースに記録する例外処理情報記録部と、
   前記データーベースに記憶されている前記例外処理情報を、前記店員ＩＤまたは前記顧客ＩＤごとに集計し、履歴情報として出力する履歴情報出力部と、を備えたことを特徴とする情報処理装置。
2. 検索キーとして、前記店員ＩＤ、前記顧客ＩＤ、前記例外処理の種別、例外処理日時、例外処理番号、前記例外処理の対象となる商品、前記会計処理部が配置されたレジカウンター前の顧客の有無、店員の位置のうち、少なくとも１の情報を指定する検索キー指定部と、
   前記データーベースから、指定された前記検索キーに該当する前記例外処理情報を抽出する例外処理情報抽出部と、をさらに備え、
   前記履歴情報出力部は、前記例外処理情報抽出部により抽出された前記例外処理情報を集計して、前記履歴情報を出力することを特徴とする請求項１に記載の情報処理装置。
3. 前記店員および前記顧客の少なくとも一方を監視する監視部と、
   前記監視部の監視結果から、前記店員および前記顧客の少なくとも一方の不正の可能性を判定する不正判定部と、をさらに備え、
   前記履歴情報出力部は、取得した前記会計情報に、前記例外処理を示す情報が含まれ、且つ前記不正判定部により不正の可能性ありと判定された場合、該当する前記店員または前記顧客の前記例外処理情報を集計して、前記履歴情報を出力することを特徴とする請求項１に記載の情報処理装置。
4. 前記履歴情報出力部は、電子メールまたはＷｅｂアプリケーションを用いて、予め定められた管理者に、前記履歴情報を送信することを特徴とする請求項３に記載の情報処理装置。
5. 前記監視部は、前記店員および前記顧客の少なくとも一方を撮像する撮像部を含み、
   前記履歴情報出力部は、前記履歴情報と共に、前記不正判定部の不正判定時における前記撮像部の撮像結果を出力することを特徴とする請求項３または４に記載の情報処理装置。
6. 商品の購入時に前記会計情報取得部により取得した会計情報である購入時情報を、当該購入時における前記撮像部の撮像結果と関連付けて前記データーベースに記録する購入時情報記録部をさらに備え、
   前記履歴情報出力部は、前記履歴情報と共に、前記例外処理の対象となる商品の購入時における前記撮像部の撮像結果を出力することを特徴とする請求項５に記載の情報処理装置。
7. 前記撮像部は、動画および静止画を撮像し、
   前記履歴情報出力部は、前記撮像部の撮像結果として、前記静止画の撮像結果である静止画像と、前記動画の撮像結果である動画像を再生するためのリンク画像と、を出力することを特徴とする請求項５または６に記載の情報処理装置。
8. 前記例外処理の種別が、商品の返品を行う「返品」である場合、
   前記不正判定部は、返品処理時における前記撮像部の撮像結果または例外処理情報と、返品処理の対象となる商品の購入時における前記撮像部の撮像結果または購入時情報と、を照合し、返品処理時の顧客と、購入時の顧客と、が同一人物でない場合、不正の可能性ありと判定することを特徴とする請求項６に記載の情報処理装置。
9. 前記不正判定部は、前記監視部による例外処理時の監視結果から、顧客の有無を判別し、当該顧客が存在しない場合、不正の可能性ありと判定することを特徴とする請求項３ないし８のいずれか１項に記載の情報処理装置。
10. 前記例外処理の種別が、特定の人に対して商品の割引きを行う「特定割引」である場合、
    前記不正判定部は、特定割引処理時の監視結果から、該当する顧客が、前記特定の人に該当するか否かを判別し、当該特定の人に該当しない場合、不正の可能性ありと判定することを特徴とする請求項３ないし９のいずれか１項に記載の情報処理装置。
11. 会計処理部およびデーターベースを、内部または外部に備えた情報処理装置の制御方法であって、
    前記情報処理装置が、
    前記会計処理部の会計処理結果である会計情報を取得する会計情報取得ステップと、
    前記会計処理部を操作している店員および前記会計処理時の顧客の少なくとも一方を判定する店員／顧客判定ステップと、
    取得した前記会計情報に、前記会計処理の例外処理を示す情報が含まれる場合、前記店員／顧客判定ステップで判定した前記店員の店員ＩＤまたは前記顧客の顧客ＩＤと、前記例外処理の種別を含む所定事項と、を関連付けた例外処理情報を生成し、前記データーベースに記録する例外処理情報記録ステップと、
    前記データーベースに記憶されている前記例外処理情報を、前記店員ＩＤまたは前記顧客ＩＤごとに集計し、履歴情報として出力する履歴情報出力ステップと、を実行することを特徴とする情報処理装置の制御方法。
12. 前記情報処理装置が、
    検索キーとして、前記店員ＩＤ、前記顧客ＩＤ、前記例外処理の種別、例外処理日時、例外処理番号、前記例外処理の対象となる商品、前記会計処理部が配置されたレジカウンター前の顧客の有無、店員の位置のうち、少なくとも１の情報を指定する検索キー指定ステップと、
    前記データーベースから、指定された前記検索キーに該当する前記例外処理情報を抽出する例外処理情報抽出ステップと、をさらに実行し、
    前記履歴情報出力ステップでは、前記例外処理情報抽出ステップで抽出された前記例外処理情報を集計して、前記履歴情報を出力することを特徴とする請求項１１に記載の情報処理装置の制御方法。
13. 前記情報処理装置が、
    前記店員および前記顧客の少なくとも一方を監視する監視ステップと、
    前記監視ステップの監視結果から、前記店員および前記顧客の少なくとも一方の不正の可能性を判定する不正判定ステップと、をさらに実行し、
    前記履歴情報出力ステップでは、取得した前記会計情報に、前記例外処理を示す情報が含まれ、且つ前記不正判定ステップで不正の可能性ありと判定された場合、該当する前記店員または前記顧客の前記例外処理情報を集計して、前記履歴情報を出力することを特徴とする請求項１１または１２に記載の情報処理装置の制御方法。
14. 前記履歴情報出力ステップでは、電子メールまたはＷｅｂアプリケーションを用いて、予め定められた管理者に、前記履歴情報を送信することを特徴とする請求項１３に記載の情報処理装置の制御方法。
15. 前記監視ステップでは、前記店員および前記顧客の少なくとも一方を撮像することにより監視を行い、
    前記履歴情報出力ステップでは、前記履歴情報と共に、当該不正判定ステップの不正判定時における前記監視ステップの撮像結果を出力することを特徴とする請求項１３または１４に記載の情報処理装置の制御方法。
16. コンピューターに、請求項１１ないし１５のいずれか１項に記載の情報処理装置の制御方法における各ステップを実行させるためのプログラム。

Images