以下、添付の図面を参照し、本発明の情報処理装置、情報処理装置の制御方法およびプログラムについて説明する。なお、以下に示す各実施形態では、本発明の情報処理装置を、店舗監視システムに適用した場合について例示する。当該店舗監視システムは、スーパーマーケット等の小売店内やファミリーレストラン等の飲食店において、店員や顧客の不正行為を検出するべく構築されたものである。
[第1実施形態]
図1は、第1実施形態に係る店舗監視システムSY1のシステム構成図である。同図に示すように、店舗監視システムSY1は、会計処理を行うPOS端末1と、レシートRを発行するレシートプリンター2と、会計情報を表示するカスタマディスプレイ4と、店員を監視する店員監視カメラ3と、店舗監視システムSY1を統括する店舗管理サーバー5と、集計レポート50を印刷するレポート出力用プリンター8と、により構成されている。POS端末1とレシートプリンター2、レシートプリンター2とカスタマディスプレイ4、および店舗管理サーバー5とレポート出力用プリンター8は、シリアルインターフェース(例えば、USB(Universal Serial Bus)インターフェース)により通信可能に接続される。また、POS端末1、レシートプリンター2、店員監視カメラ3および店舗管理サーバー5は、店舗内LAN6(有線LANまたは無線LAN)により通信可能に接続される。
なお、図1では、POS端末1が1台の場合を例示しているが、店舗監視システムSY1内に複数台のPOS端末1が存在する構成であっても良い。この場合、各POS端末1のそれぞれに対応したレシートプリンター2、店員監視カメラ3およびカスタマディスプレイ4が設置される。
POS端末1は、レジカウンター7に設置されたレジスターであり、店員(オペレーター)により入力された商品情報に基づいて会計処理を実行する。そして、会計処理の処理結果である会計情報(レシートR印刷用の印刷データーやカスタマディスプレイ4表示用の表示データーなど。以下、これらを「出力データー」と総称する。)を、レシートプリンター2に出力する。
店員監視カメラ3は、例えばCCDカメラであり、レジカウンター7の周囲(天井やカスタマディスプレイ4付近など)に設置される。撮像対象は、レジカウンター7でレジ操作を行っている店員、会計処理時の顧客やレジカウンター7上に載置された商品などである。なお、店員監視カメラ3は、1のレジカウンター7に対し、複数個設置されても良い。店員監視カメラ3の撮像結果は、レシートプリンター2に出力される。
レシートプリンター2は、POS端末1から出力された出力データー(印刷データー)に基づいて、レシートRを発行(印刷)する。また、レシートプリンター2は、レシートRを発行する機能以外にも、POS端末1から出力された出力データー(表示データー)をカスタマディスプレイ4に転送する機能、店員監視カメラ3の撮像結果を取得する機能、出力データー(印刷データーおよび表示データー)に基づいてPOS端末1の操作を判定する機能、その判定結果を所定形式のデーターに変換する機能、変換データーおよび店員監視カメラ3の撮像結果を店舗管理サーバー5へ送信する機能など、各種機能を備えている。このように、レシートプリンター2を主幹として各種情報の入出力を行うことで(レシートプリンター2が取得した各種情報をフィルタリングして必要な情報を出力することで)、POS基幹ネットワーク(POS端末1を主幹としたネットワーク)のトラフィックに影響を与えることがない。また、既存のPOSシステムに本発明を適用する際、POS基幹ネットワーク自体の変更が不要となる。
店舗管理サーバー5は、レシートプリンター2から変換データーや店員監視カメラ3の撮像結果を取得し、これらをデーターベース51(図2参照)に格納する。また、必要に応じて、データーベース51に格納した情報を集計し、レポート出力用プリンター8にて出力する。なお、レポート出力用プリンター8としては一般的なプリンターを適用可能であるため、説明を省略する。
次に、図2を参照し、店舗監視システムSY1の機能構成について説明する。POS端末1は、主な機能構成として、会計処理部11を有している。会計処理部11は、精算処理や例外処理を含む会計処理を実行する。また、会計処理に伴って生成される出力データーを、レシートプリンター2に出力する。
なお、本実施形態において、例外処理とは、不正行為に関連する可能性の高い処理を指す。具体的には、POS端末1の会計処理中において入力データーをキャンセルするための「中止処理」、会計処理後に当該会計処理の取り消し行うための「取消処理(ミスレジ処理)」、商品の返品を行うための「返品処理」、商品の値引きを行うための「値引処理」、商品の割引きを行うための「割引処理」、および金銭の両替を行うための「両替処理」、キャッシュドロア内の金銭と売上を照合するための「点検処理」、出金または返金を行うための「出金/返金処理」、およびレシートRを再発行するための「再発行処理」などを指す。
なお、以下の説明において、これらの各処理は、例外処理の種別として区別される。また、便宜上、POS端末1で実行可能な処理(但し、トランザクションデーターが発生するもの)のうち、例外処理以外の処理を、「通常処理」と称する。当該通常処理には、商品購入時に実行される「精算処理」が含まれる。
店員監視カメラ3は、主な機能構成として、撮像部31を有している。撮像部31は、レジカウンター7周りを撮像するものであり、当該撮像部31により撮像された撮像データーは、店員監視カメラ3を識別するためのカメラIDや撮像日時などの情報と関連付けられ、撮像結果として、レシートプリンター2に出力される。なお、撮像日時とは、店員監視カメラ3に備えられたRTC(Real Time Clock,図示省略)の計時結果を指す。
カスタマディスプレイ4は、主な機能構成として、表示部41を有している。表示部41は、レシートプリンター2から出力された表示データーに基づいて、顧客に提示するための会計情報を表示する。
レシートプリンター2は、主な機能構成として、出力データー取得部21、操作判定部22、データー変換部23、変換データー出力部24、撮像結果取得部25、印刷部26および表示データー出力部27を有している。出力データー取得部21は、POS端末1(会計処理部11)から出力された出力データーを取得する。
操作判定部22は、出力データー取得部21が取得した出力データーの意味解析を行い、POS端末1の操作を判定する。具体的には、POS端末1において会計処理の例外処理を実行するための操作が行われたか否かを判定する。その他、例外処理の種別や取引金額などを判定する。
データー変換部23は、操作判定部22の判定結果を、店舗管理サーバー5が解釈可能な所定形式のデーターに変換する。本実施形態では、当該所定形式のデーターとして、XML(Extensible Markup Language)データーに変換するものとする(図4(c)参照)。
変換データー出力部24は、データー変換部23により変換された変換データー(XMLデーター)を店舗管理サーバー5に出力する。なお、以下の説明においては、操作判定部22により例外処理を実行するための操作であると判定された場合の変換データーを、「例外処理情報」と称する。また、例外処理を実行するための操作ではないと判定された場合の変換データー(通常処理に関する情報)を、「通常処理情報」と称する。
また、変換データー出力部24は、例外処理情報を出力する際、当該例外処理情報と共に、後述する撮像結果取得部25が取得した撮像結果を出力する。このとき出力対象となる撮像結果は、操作判定部22の判定時を基準とした前後所定時間分の店員監視カメラ3の撮像結果である。つまり、POS端末1で例外処理が実行されたと判定したとき(≒例外処理発生時)から、前後所定時間分の撮像結果が出力される。なお、撮像結果の記録方法については、第2実施形態にて後述する記録制御部83(図8参照)の記録方法を適用可能である。この場合、レシートプリンター2内に、記録制御部83および記憶部80(図8参照)を有する構成となる。
撮像結果取得部25は、店員監視カメラ3(撮像部31)から撮像結果を取得する。印刷部26は、出力データーが印刷データーの場合、これをレシート用紙に印刷し、レシートRを発行する。表示データー出力部27は、出力データーが表示データーの場合、これをカスタマディスプレイ4(表示部41)に出力する。
店舗管理サーバー5は、主な機能構成として、データーベース51および集計結果出力部52を有している。データーベース51は、変換データー出力部24から出力された変換データーおよび撮像結果を格納する。なお、詳細については後述するが、データーベース51は、例外処理情報を記憶する例外処理データーベース51a(図5参照)と、全ての会計処理の情報(通常処理情報および例外処理情報)を記憶する会計処理データーベース51b(図6参照)と、から成る。
集計結果出力部52は、例外処理データーベース51aに記憶された例外処理情報に基づいて、店員ごと(店員IDごと)または顧客ごと(顧客IDごと)に例外処理の発生状況を集計し、その集計結果を、集計レポート50として出力する。本実施形態の場合、出力方法としては、レポート出力用プリンター8による印刷出力を想定しているが、ディスプレイ(図示省略)への表示出力であっても良いし、電子メールやWebアプリケーションを利用した管理者(店長など)への通知であっても良い。なお、集計方法および集計レポート50の具体例については、第3実施形態にて後述する(図20ないし図22参照)。
次に、図3を参照し、店舗監視システムSY1の制御構成について説明する。POS端末1は、POSアプリケーション16を有している。当該POSアプリケーション16は、会計処理部11の主要部を成す。
レシートプリンター2は、入力インターフェース61、出力インターフェース62、キャラクタジェネレーター63、メイン処理部64、プリントメカ65、変換テーブル66、データータップ意味解析部67、上位層送信部68およびDVRアプリケーション69を有している。このうち、変換テーブル66、データータップ意味解析部67、上位層送信部68およびDVRアプリケーション69が、本実施形態に係るレシートプリンター2の特有の構成である。
なお、特に図示しないが、メイン処理部64およびデータータップ意味解析部67は、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)などにより実現される。また、上位層送信部68は、無線/有線LAN端子などにより実現される。
入力インターフェース61を介して、POS端末1の出力データー(印刷データーおよび表示データー)を取得すると、メイン処理部64は、キャラクタジェネレーター63を参照して、テキストデーターへの変換処理を行う。なお、POS端末1からの出力データーがテキストデーター形式の場合、変換処理に代えて、そのテキストデーターを抜き出す処理を行う。テキスト化された表示データーは、出力インターフェース62を介してカスタマディスプレイ4に出力される。また、テキスト化された印刷データーは、プリントメカ65に出力される。なお、レシートプリンター2が無効な周辺機器に指定されている場合、テキスト化されたデーターは、カスタマディスプレイ4のみに出力される。また、レシートプリンター2が有効な周辺機器に指定されている場合、テキスト化されたデーターは、カスタマディスプレイ4およびプリントメカ65に出力される。
データータップ意味解析部67は、テキスト化された表示データーまたは印刷データーをタップし、変換テーブル66を参照して意味解析を行うことにより、POS端末1の操作を判定する。当該変換テーブル66は、POSアプリケーション16のファイルフォーマットによって、その変換規則を書き換え可能となっている。このため、ファイルフォーマットが異なる種々のPOSシステムに組み込まれた場合でも、支障なく意味解析を行うことができ、ひいては正確にPOS端末1の操作を判定することができる。つまり、本実施形態のレシートプリンター2は、変換テーブル66およびデータータップ意味解析部67を備えたことにより、種々の仕様のPOS端末1の操作を判定可能となっている。また、これにより、種々のPOSシステムに適用可能となり、汎用性を高めることができる。
データータップ意味解析部67は、意味解析を行った後、その解析結果を、店舗管理サーバー5が解釈可能なXML形式のデーターに変換し、上位層送信部68に出力する。つまり、例外処理情報および通常処理情報は、XML言語にて記述される。
図4は、データータップ意味解析部67によるデーター変換の具体例を示す図である。データータップ意味解析部67は、テキスト化されたカスタマディスプレイ4へのデーター(図4(a)参照)およびテキスト化されたプリントメカ65へのデーター(図4(b)参照)を、データータップ変換機能によりデータータップしてXMLデーター化し、上位層へのデーター(図4(c)参照)に変換する。同図では、精算処理時における出力データー(商品名や単価、小計額の表示・印刷を行うためのデーター)の変換例を例示している。このように、上位層へのデーターとして、マークアップ言語に変換することで、Webページとしての文書公開や、データー変換が容易である等の利点がある。
図3の説明に戻る。DVRアプリケーション69は、店員監視カメラ3の撮像結果を、所定の記憶領域(第2実施形態のサブ記憶部84に相当)に記録しておき、そのうち所定時間分の撮像結果を、データータップ意味解析部67による例外処理の判定をトリガーとして、上位層送信部68に出力する。上位層送信部68は、例外処理発生時、データータップ意味解析部67から出力されたXMLデーター(例外処理情報)に、DVRアプリケーション69から出力された撮像結果を付加して、店舗管理サーバー5に送信する。また、通常処理発生時は、データータップ意味解析部67から出力されたXMLデーター(通常処理情報)のみを送信する。
店舗管理サーバー5は、例外処理情報および店員監視カメラ3の撮像結果を記憶する例外処理データーベース51aと、例外処理情報および通常処理情報を記憶する会計処理データーベース51bと、を有している。例外処理データーベース51aは、集計レポート50の印刷を目的として設けられたデーターベースである。例外処理データーベース51aに記録されたデーターは、例えば店員ごとまたは顧客ごとに集計され、レポート出力用プリンター8により印刷される。なお、検索キーとして、他項目を指定すれば、日付ごと、例外処理の種別ごと、例外処理の対象となる商品ごとに、集計レポート50を出力することも可能である。
また、会計処理データーベース51bは、会計処理(トランザクションデーター)の全記録を目的として設けられたデーターベースである。特に図示しないが、会計履歴として、トランザクションデーターを印刷出力したり、表示出力したりすることが可能である。
次に、図5および図6を参照し、例外処理データーベース51aおよび会計処理データーベース51bの記録内容について説明する。図5は、例外処理データーベース51aの説明図である。同図に示すように、例外処理データーベース51aには、例外処理情報と、店員監視カメラ3の撮像結果とが、関連付けられて記憶されている。例外処理情報としては、操作判定部22の判定結果である、トランザクション番号、トランザクション発生日時、トランザクション種別(例外処理の種別)、取引金額、店員ID、POS端末IDおよびトランザクションデーターなどが含まれる。また、撮像結果としては、撮像日時、カメラIDおよび撮像データーなどが含まれる。
一方、図6は、会計処理データーベース51bの説明図である。同図に示すように、会計処理データーベース51bには、通常処理情報および例外処理情報が記憶されている。通常処理情報としては、例外処理情報に準じた各項目が記憶される。なお、同図では、通常処理情報と例外処理情報を区別して記載しているが、トランザクション番号順に列記し、両者を区別することなく、会計処理情報として記憶しても良い。また、会計処理データーベース51bの中に、例外処理データーベース51aが包含される形態をとっても良い。
次に、図7のフローチャートを参照し、レシートプリンター2の情報出力処理について説明する。レシートプリンター2は、POS端末1の出力データーを取得すると(S11,出力データー取得部21)、メイン処理部64にて、これをテキストデーターに変換する(S12)。また、データータップ意味解析部67にて、テキスト化されたデーターから、POS端末1の操作判定を行い(S13,操作判定部22)、その操作が例外処理の実行を伴うものであるか否かを判別する(S14,操作判定部22)。
例外処理の実行を伴うものである場合は(S14:Yes)、操作判定結果をXMLデーターに変換し、変換データー(例外処理情報)を生成する(S15,データー変換部23)。また、DVRアプリケーション69にて、店員監視カメラ3の撮像結果を収集する(S16,撮像結果取得部25)。その後、上位層送信部68により、変換データー(例外処理情報)および撮像結果を、店舗管理サーバー5に送信する(S17,変換データー出力部24)。一方、例外処理の実行を伴うものでない場合は(S14:No)、操作判定結果をXMLデーターに変換して、変換データー(通常処理情報)を生成し(S18,データー変換部23)、上位層送信部68により、当該変換データーを店舗管理サーバー5に送信する(S19,変換データー出力部24)。
なお、S16において、DVRアプリケーション69は、データータップ意味解析部67による操作判定結果に応じて、撮像結果を収集しても良い。具体的には、トランザクションデーターの内容(例えば、例外処理の種別や取引金額など)に応じて、収集する撮像時間(操作判定部22の判定時を基準とした前後所定時間)を決定し、その撮像時間内の撮像結果を収集しても良い。この構成によれば、例外処理の種別や取引金額に適した撮像結果(例えば、取引金額が大きい場合は、重要度が高くなるため撮像時間を長く設定するなど)を、店舗管理サーバー5に送信することができる。
以上、説明したとおり、第1実施形態のレシートプリンター2によれば、POS端末1から出力された出力データーに基づいて、POS端末1の操作を判定し、その判定結果を店舗管理サーバー5に出力するため、POS端末1の改変を必要とすることなく、POS端末1の操作を検出することができる。これにより、POSアプリケーション16を変更するなどの必要がないため、操作検出機能の追加に伴う開発負担を大幅に軽減することができ、ひいては小売店側のコスト負担も軽減することができる。また、一般的にPOSアプリケーション16によってファイルフォーマットが異なるが、本実施形態のレシートプリンター2は、データータップ変換機能を有しているため、変換テーブル66の書き換えにより多種多様なPOSシステムに適用可能となり、その汎用性を高めることができる。
また、POS端末1の操作が、例外処理を実行するための操作であると判定された場合は、その旨を示す例外処理情報が、例外処理データーベース51aに記録され、店員ごとまたは顧客ごとの集計レポート50として出力可能であるため、当該集計レポート50を、店員のオペレーション教育、顧客応対状況の把握、不正行為の検出などに利用することができる。また、例外処理データーベース51aには、例外処理情報が、店員監視カメラ3の撮像結果と関連付けられて記憶されるため、当該撮像結果を集計レポート50に含めて印刷することで、管理者は、例外処理発生時の状況を、より詳細に把握することができる。さらに、記録対象となる撮像時間は、例外処理の種別や取引金額に応じて決定することができるため、各トランザクションに応じた適切な撮像時間の撮像結果を保全しておくことができ、不正行為を立証する際の有用な証拠として利用することができる。
なお、上記の実施形態では、本発明の情報処理装置をレシートプリンター2に内蔵した構成としたが、印刷部26を除いた一部、または全部をレシートプリンター2以外の外部装置、あるいは店舗管理サーバー5により実現しても良い。例えば、店員監視カメラ3の撮像結果を、レシートプリンター2を介して店舗管理サーバー5に送信する構成としたが、店舗管理サーバー5が直接取得する構成としても良い。この場合、DVRアプリケーション69は、店舗管理サーバー5内に搭載される。また、店舗管理サーバー5の各部を、POSシステムやWWWサーバーで実現しても良い。
また、上記の実施形態では、全ての会計処理時において、変換データーを店舗管理サーバー5に送信するものとしたが、例外処理発生時のみ送信しても良い。また、例外処理発生時には、変換データーと共に、例外処理の種別や取引金額に応じた撮像時間の撮像結果を送信しても良い旨を記載したが、例外処理の種別や取引金額に依らず、同一撮像時間の撮像結果を送信しても良い。さらに、例外処理発生時のみならず、通常処理発生時においても、変換データーと共に撮像結果を送信するようにしても良い。
また、上記の実施形態では、変換データー形式をXMLデーターとして記載しているが、CSV(Comma Separated Values)など別形式を用いても良い。
[第2実施形態]
次に、図8ないし図16を参照し、本発明の第2実施形態について説明する。本実施形態は、例外処理の発生を正確に特定することで、不正行為の証拠として有用な監視データー(第1実施形態の撮像結果に相当)を効率的に記録することを課題としている。そこで、例外処理の発生を検出する方法について詳細に説明する。なお、本実施形態において、第1実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第1実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。
図8は、第2実施形態に係る店舗監視システムSY2の機能ブロック図である。本実施形態の店舗監視システムSY2は、POS端末1と、レシートプリンター2と、レシートRを読み取るレシートスキャナー9と、店内を監視する店内監視カメラ10と、店舗監視システムSY2を統括する店舗管理サーバー5と、により構成されている。システム構成について特に図示しないが、POS端末1とレシートプリンター2、およびレシートプリンター2とレシートスキャナー9は、シリアルインターフェースにより通信可能に接続される。また、本実施形態では、店内監視カメラ10の撮像結果が、店舗内LAN6(図1参照)を介して店舗管理サーバー5に直接送信される構成となっている。なお、点線枠で示すように、レシートプリンター2、レシートスキャナー9および店舗管理サーバー5により、情報処理装置A2が構成される。
レシートスキャナー9は、主な機能構成として、読取部91を有している。読取部91は、返品処理やミスレジ処理等の発生時に、顧客が提示したレシートRを読み取る。詳細については後述するが、本実施形態では、このレシートRの読み取りによって、例外処理を検出可能となっている。
POS端末1は、主な機能構成として、会計処理部11、読取結果取得部12、会計処理情報読出部13および再登録部14を有している。会計処理部11は、会計処理を実行し、その処理結果である会計情報(第1実施形態の出力データーに相当)を、レシートプリンター2に出力する。
読取結果取得部12は、レシートスキャナー9(読取部91)によるレシートRの読取結果(トランザクション番号、商品コード、商品名、数量、価格、トランザクション発生日時、店員ID、POS端末IDなどの情報)を取得する。会計処理情報読出部13は、読取結果取得部12が取得したレシートRの読取結果を元に、会計処理データーベース51b(図6参照)から、該当する会計処理情報(トランザクションデーター)を読み出す。再登録部14は、会計処理情報読出部13が読み出した会計処理情報の一部のみを変更して、会計処理データーベース51bに再登録するためのものであり、キーボードなどの操作手段を含む概念である。このように、会計処理後に当該会計処理の取り消しを行う場合、店員は、レシートRに記載された商品を再入力する手間を省くことができるため、会計処理業務の効率化を図ることができる。
一方、レシートプリンター2は、主な機能構成として、会計情報取得部71、例外処理発生検出部72、印刷部26および読取結果出力部74を有している。会計情報取得部71は、POS端末1(会計処理部11)から出力された会計情報を取得する。
例外処理発生検出部72は、会計情報取得部71により例外処理を示す情報が含まれる会計情報を取得することにより、例外処理の発生を検出する。なお、図8では、カスタマディスプレイ4(図2等参照)の図示を省略したが、カスタマディスプレイ4に表示するための表示データーから、例外処理の発生を検出しても良い。また、上記のとおり、例外処理発生検出部72は、レシートスキャナー9(読取部91)により、レシートRを読み取ることによっても、例外処理の発生を検出する。
印刷部26は、会計情報取得部71が取得した会計情報をレシート用紙に印刷し、レシートRを発行する。読取結果出力部74は、レシートスキャナー9により、レシートRを読み取った場合、その読取結果を、POS端末1に出力する。
店内監視カメラ10は、主な機能構成として、撮像部32を有している。店内監視カメラ10は、レジカウンター7周りや店舗入り口など、店内に複数配置される。また、各店内監視カメラ10の撮像データーは、各店内監視カメラ10を識別するためのカメラIDや撮像日時などの情報と関連付けられ、監視データー(第1実施形態の撮像結果に相当)として、店舗管理サーバー5に出力される。
店舗管理サーバー5は、主な機能構成として、監視データー取得部81、特定行動判定部82、記録制御部83、記憶部80および監視データー検索部86を有している。記憶部80は、撮像部32の撮像が行われている間、所定時間分の監視データーを随時更新しながら記憶するサブ記憶部84(バッファ)と、サブ記憶部84に記憶された監視データーの一部を不揮発に記憶するメイン記憶部85と、から成る。
監視データー取得部81は、複数の店内監視カメラ10(撮像部32)から、リアルタイムに監視データーを取得する。特定行動判定部82は、監視データー取得部81が取得した監視結果から、店員および顧客の少なくとも一方の特定行動を判定する。つまり、店員が周囲を見渡す(キョロキョロする)などの不審行動や顧客が店舗入り口から直接レジカウンター7前に移動したなど、例外処理に伴って多く見られる特定行動を判定する。
記録制御部83は、メイン記憶部85への監視データーの記録を制御する。具体的には、特定行動判定部82により特定行動が判定された場合、特定行動判定時を基準とした所定時間分(L時間分)の監視データーを、メイン記憶部85に記録する。また、記録制御部83は、例外処理発生検出部72により例外処理の発生が検出された場合も、例外処理の発生検出時を基準とした所定時間分(N時間分)の監視データーを、メイン記憶部85に記録する。この場合、記録制御部83は、サブ記憶部84に記憶された監視データーの中から、例外処理の発生検出前の監視データーを含む所定時間分の監視データーを、メイン記憶部85に記録可能である。
なお、「特定行動判定時を基準とした所定時間(L時間)」や「例外処理の発生検出時を基準とした所定時間(N時間)」のLやNの値については、ユーザーが任意に設定可能である。また、「特定行動判定時を基準とした所定時間分(L時間分)の監視データー」は、特定行動判定時のP時間前(但し、0<P≦L))を開始時刻とする監視データーとして設定しても良く、この場合のPの値についても、ユーザーが任意に設定可能である。同様に、「例外処理の発生検出時を基準とした所定時間分(N時間分)の監視データー」は、例外処理発生検出時のM時間前(但し、0<M≦N))を開始時刻とする監視データーとして設定しても良く、この場合のMの値についても、ユーザーが任意に設定可能である。
ところで、記録制御部83は、上記の所定時間分の監視データーに、例外処理発生時または特定行動判定時の状況を示すタグ情報を付加して、メイン記憶部85に記憶させる。タグ情報とは、具体的に、例外処理の種別(トランザクションの種別)、店内における店員の位置、レジカウンター7周りにおける顧客の有無、レジカウンター7周りを含む店内の音声データー、例外処理発生日時(トランザクション発生日時)、特定行動判定日時などを指す。その他、タグ情報として、読取部91によるレシートRの読み取り結果の各項目および第1実施形態に示した例外処理情報の各項目(図5等参照)を利用可能である。
なお、「店内における店員の位置」は、店内監視カメラ10の撮像データーを用いて顔認証を行い、顔認証用データーベース(図示省略)に記憶された店員の顔画像と照合することにより、特定可能である。また、店内に、複数のRFID(Radio Frequency Identification)リーダーを配置しておき、店員には、RFIDが組み込まれた店員カード200(図13(b)参照)を所持させることにより、店内における各店員の位置を特定しても良い。この場合、店員カード200には、店員IDが記録された記憶部201(ICチップ)およびRFIDリーダーと無線通信するための無線通信部202(アンテナ)が設けられていることが前提である。また、RFIDリーダーは、図示しない無線LANルーター等を経由して店舗内LAN6に接続されたレシートプリンター2または、店舗管理サーバー5と通信を行うこととなる。その他、GPS(Global Positioning System)アンテナが搭載された電子機器を店員に所持させて、店内における各店員の位置を特定しても良い。
また、「レジカウンター周りにおける顧客の有無」は、店内監視カメラ10の撮像データーを解析することにより判定可能である。さらに、「レジカウンター周りを含む店内の音声データー」は、レジカウンター7周りなど、店内に複数のマイクを配置しておき、その音声解析結果を利用可能である。
監視データー検索部86は、監視データーに付加されたタグ情報を利用して、監視データーの検索を行うものであり、キーボードやマウスなどの操作手段を含む概念である。なお、監視データー検索部86の検索キーとして、店員IDや例外処理の種別を指定することで、第3実施形態にて後述する集計レポート50(図20ないし図22参照)を印刷させることが可能である。
次に、図9ないし図11のフローチャートを参照し、記録制御部83の制御方法について詳細に説明する。上記のとおり、記録制御部83は、会計情報の取得、レシートRの読み取りおよび特定行動の検出をトリガーとして、メイン記憶部85への監視データーの記録を行う。そこで、監視データー記録処理の各事例について説明する。
図9は、情報処理装置A2による、会計情報の取得をトリガーとした監視データー記録処理を示すフローチャートである。まず、レシートプリンター2は、POS端末1から会計情報を取得すると(S21,会計情報取得部71)、当該会計情報に例外処理を示す情報が含まれるか否かに応じて、例外処理の発生の有無を判定する(S22,例外処理発生検出部72)。ここで、例外処理の発生を検出した場合は(S22:Yes)、さらに例外処理の種別を判別する(S23,例外処理発生検出部72)。
店舗管理サーバー5は、レシートプリンター2で判別された例外処理の種別に応じて、例外処理発生時のタグ情報を収集する(S24,記録制御部83)。例えば、「取消処理」や「返品処理」の場合は、タグ情報として、店内における店員の位置、レジカウンター7周りにおける顧客の有無を収集し、「値引処理」や「割引処理」の場合は、タグ情報として、レジカウンター7周りを含む店内の音声データーを収集する、などが考えられる。なお、レジカウンター7周りにおける顧客の有無については、店内監視カメラ10による顔検出や、赤外線を用いた人感センサーにより判定可能であり、その判定結果をタグ情報として収集する。また、店内の音声データーについては、レジカウンター7や店内に配置されたマイクの音声認識結果をタグ情報として収集する。
さらに、店舗管理サーバー5は、レシートプリンター2で判別された例外処理の種別に応じた所定時間分の監視データーを、上記のタグ情報と共に記録する(S25,記録制御部83)。例えば、「取消処理」や「返品処理」の場合は、例外処理検出時の前後20秒間(合計40秒間)の監視データーを記録し、「値引処理」や「割引処理」の場合は、例外処理検出後30秒間の監視データーを記録する、などが考えられる。このとき、記録制御部83は、サブ記憶部84に記憶された監視データーの中から、必要な監視データーを読み出して、メイン記憶部85に記憶する。
一方、S22において、レシートプリンター2が例外処理の発生を検出しなかった場合は(S22:No)、レシートプリンター2から店舗管理サーバー5に指令が送信されないため、店舗管理サーバー5で監視データーの記録が行われることなく、処理が終了する。
なお、上記の例では、例外処理の種別に応じてタグ情報を収集したり、例外処理の種別に応じて監視データーの撮像時間を決定したりしたが、例外処理の種別に依らず、同一のタグ情報を収集したり、監視データーの撮像時間を同一時間としたりしても良い。
図10は、情報処理装置A2による、レシートRの読み取りをトリガーとした監視データー記録処理、およびPOS端末1のレシート内容変更処理を示すフローチャートである。本例は、「取消処理」や「返品処理」など、顧客からレシートRの提示を必要とする例外処理が行われる場合の処理である。また、図中において、平行四辺形の枠は、店員の操作を伴う処理であることを示している。
レシートプリンター2は、レシートスキャナー9からレシートRの読取結果を取得することにより(S31)、例外処理の発生を検出する(S32,例外処理発生検出部72)。また、POS端末1に対し、レシートRの読取結果を出力する(S33,読取結果出力部74)。
また、店舗管理サーバー5は、レシートRの読み取り時(≒例外処理発生検出時)のタグ情報を収集する(S34,記録制御部83)。この場合、タグ情報として、例えば例外処理発生日時などの情報を収集することが考えられる。さらに、店舗管理サーバー5は、レシートRの読み取り時を基準とした所定時間分の監視データーを、上記のタグ情報と共に記録する(S35,記録制御部83)。ここでは、例えばレシートRの読み取り時の20秒前を読み取り開始タイミングとし、記録時間が60秒の監視データーを記録する、などが考えられる。
一方、POS端末1は、レシートプリンター2からレシートRの読取結果を取得すると(S36,読取結果取得部12)、店員による「取消キー」(POS端末1のキーボードに設けられた所定のキー)の押下により(S37)、会計処理データーベース51b(図6参照)から、該当する会計処理情報(トランザクションデーター)を読み出す(S38,会計処理情報読出部13)。その後、店員によるレシート内容の変更操作が行われ、会計処理情報の再登録が行われる(S39,再登録部14)。なお、当該再登録に伴って、新たなレシートRが発行されるが、当該工程については説明を省略する。
図11は、情報処理装置A2による、店員や顧客の特定行動の検出をトリガーとした監視データー記録処理を示すフローチャートである。本例は、店舗管理サーバー5により全ての工程が実行される。店舗管理サーバー5は、取得した監視データーから店員および/または顧客の特定行動を検出すると(S41:Yes)、特定行動の発生検出パターンを判別する(S42,特定行動判定部82)。「特定行動の発生検出パターン」については、図15にて後述する。その後、特定行動の発生検出パターンに応じて、タグ情報を収集し(S43,記録制御部83)、特定行動の発生検出パターンに応じた所定時間分の監視データーを、上記のタグ情報と共に記録する(S44,記録制御部83)。
一方、S41において、店員および/または顧客の特定行動が検出されなかった場合(S41:No)、店舗管理サーバー5は、監視データーの記録を行うことなく、処理を終了する。
なお、上記の例では、特定行動の発生検出パターンに応じてタグ情報を収集したり、特定行動の発生検出パターンに応じて監視データーの撮像時間を決定したりしたが、発生検出パターンに依らず、同一のタグ情報を収集したり、監視データーの撮像時間を同一時間としたりしても良い。
次に、図12ないし図16を参照し、監視データー記録処理のトリガーとなる発生検出パターンの設定について説明する。図12は、例外処理発生検出テーブルの一例を示す図である。なお、当該テーブルは、レシートプリンター2および店舗管理サーバー5の双方から参照可能に記憶されていれば良く、レシートプリンター2、店舗管理サーバー5、その他の外部装置のいずれに格納されていても良い。また、例外処理発生検出テーブルを、各装置内に、分割して格納することも可能である。
同図に示すように、例外処理発生検出テーブルは、発生検出パターンごとに、パターンIDと、例外処理の発生検出パターン(監視データー記録処理のトリガーとなる事象)と、検出対象の要否と、記録開始タイミングと、記録時間(撮像時間)と、が関連付けて記憶されている。例えば、同図の例では、検出対象の要否が、「パターンID:a1」および「パターンID:a2」において「○」となっているため、例外処理を示す会計情報を取得したとき(パターンID:a1)と、レシートスキャナー9によりレシートRを読み取ったとき(パターンID:a2)に、例外処理の発生を検出する。なお、「パターンID:a1」は、図9に示したフローチャート、「パターンID:a2」は、図10に示したフローチャートに相当する。
また、例外処理を示す会計情報を取得した場合は、記録開始タイミングおよび記録時間が、それぞれ「例外処理の種別に応じて」となっているため、例外処理の種別に応じて別途定められた記録開始タイミングおよび記録時間に従う。また、レシートRを読み取ったときは、レシートRの読み取り時の20秒前を読み取り開始タイミングとし、記録時間が60秒の監視データーを、サブ記憶部84から読み出して、メイン記憶部85に記憶する。
その他、例外処理の発生検出パターンとしては、レシートプリンター2のボタン操作(パターンID:a3)、店員カード200のボタン操作(パターンID:a4)、重量センサー(図示省略)による商品またはレシートRの載置検出(パターンID:a5)、画像認識による商品またはレシートRの載置検出(パターンID:a6)、音声認識による例外処理キーワードの検出(パターンID:a7)、音声認識による通常処理キーワードの非検出(パターンID:a8)、LEDの消灯検出(パターンID:a9)、などを設定可能である。
「パターンID:a3」については、図13(a)に示すように、レシートプリンター2に、店員または顧客が操作可能な操作部75が設けられていることが前提である。当該操作部75は、店員または顧客により、例外処理が発生したと判断されたときに操作されるものであり、その操作結果は、例外処理発生検出部72に出力される。なお、操作部75以外の構成要素については、図8と同様であるため、説明を省略する。また、「パターンID:a4」については、図13(b)に示すように、店員が所持する店員カード200に、店員IDが記録された店員ID記憶部201と、レシートプリンター2と無線通信を行うための無線通信部202と、店員が操作可能な操作部203と、が設けられていることが前提である。当該操作部203は、店員により、例外処理が発生したと判断されたときに操作されるものであり、その操作結果は店員ID記憶部201から読み出された店員IDと共に、無線通信部202を介して、レシートプリンター2の例外処理発生検出部72に送信される。例外処理発生検出部72は、受信した店員IDがレシートプリンター2の操作者(レジ担当者)と一致する場合、店員カード200の操作結果に基づいて、例外処理の発生を検出する。このように、「パターンID:a3」および「パターンID:a4」を検出対象とすることで、レジの混雑などが原因で例外処理の操作を後回しにしたような場合でも、確実に例外処理の発生を検出することができる。また、「パターンID:a4」については、店員IDの判別を行うため、レシートプリンター2が、隣のレジカウンター7における店員カード200の操作結果を誤って受信してしまうことがない。
また、「パターンID:a5」については、図14(a)に示す構成が前提である。すなわち、POS端末1およびレシートプリンター2と共に、商品またはレシートRを載置するための所定の載置部211と、当該所定の載置部211に商品またはレシートRが載置されたことを検出する重量センサー212(載置検出部)と、がレジカウンター7上に設けられ、レシートプリンター2と重量センサー212が、シリアル接続されていることが前提である。重量センサー212は、シート型の重量測定装置であり、商品等が載置されると、その検出結果をレシートプリンター2の例外処理発生検出部72に出力する。また、「パターンID:a6」については、特に図示しないが、商品またはレシートRを載置するための所定の載置部と、当該所定の載置部に商品またはレシートRが載置されたことを載置前後の画像差分と判別することにより画像認識するためのカメラ(店内監視カメラ10を適用しても良い)と、が設けられ、レシートプリンター2がその検出結果を取得可能であることが前提である。このように、「パターンID:a5」および「パターンID:a6」を検出対象とすることで、商品の返品や交換、レシートRの取り消しや修正などの例外処理の発生を、迅速に検出することができる。
また、「パターンID:a7」および「パターンID:a8」については、レジカウンター7周りの音声を取得するマイクと、取得した音声を認識する音声認識部(図示省略)とが設けられ、レシートプリンター2がその認識結果を取得可能であることが前提である。このように、「パターンID:a7」を検出対象とすることで、店員または顧客により例外処理時に発声される所定のキーワード(例えば、「間違っています。」、「返品をお願いします。」などの例外処理キーワード)を認識して、例外処理の発生を迅速に検出することができる。また、「パターンID:a8」を検出対象とすることで、店員または顧客により通常処理時に発声される所定のキーワード(例えば、「〜が、〜点。」などの通常処理キーワード)の非認識により、例外処理の発生を迅速に検出することができる。
また、「パターンID:a9」については、図14(b)に示すに示す構成が前提である。すなわち、POS端末1およびレシートプリンター2と共に、商品、レシートRまたは手などにより、その光を遮ることが可能なLED投光器221と、そのLEDの光を受光するLED受光器222と、がレジカウンター7上に設けられ、レシートプリンター2とLED受光器222が、シリアル接続されていることが前提である。LED受光器222は、LED投光器221から投射された光が、所定の載置部211に載置された何らかの物体で遮られたことを検出すると、その検出結果をレシートプリンター2の例外処理発生検出部72に出力する。このように、「パターンID:a9」を検出対象とすることで、店員や顧客は、商品、レシートRまたは手など、適当な手段を臨機応変に用いて例外処理の発生を検出させることができる。
なお、図12に示した例外処理発生検出テーブルは、店舗管理サーバー5などの操作により、その内容を適宜変更可能である。つまり、どの発生検出パターンを検出対象とするのか、また例外処理が検出された場合の監視データーの記録開始タイミングおよび記録時間について、適宜変更可能である。
続いて、図15を参照し、特定行動発生検出テーブルについて説明する。なお、当該テーブルは、店舗管理サーバー5内に格納されているものとする。また、上記の例外処理発生検出テーブルと同様に、店舗管理サーバー5などの操作によって、その内容を適宜変更可能である。
同図に示すように、特定行動発生検出テーブルは、発生検出パターンごとに、パターンIDと、特定行動の発生検出パターン(監視データー記録処理のトリガーとなる事象)と、検出対象の要否と、記録開始タイミングと、記録時間と、が関連付けて記憶されている。例えば、同図の例では、検出対象の要否が、「パターンID:b1」および「パターンID:b2」において「○」となっているため、顧客が入り口から直接レジ前に移動したとき(パターンID:b1)と、レジ待ち行列があるにも関わらず顧客が割り込んだとき(パターンID:b2)に、特定行動の発生を検出する。なお、これらは、店内監視カメラ10にて、顧客の顔認証を行い、その顧客の移動を追跡することで検出可能である。つまり、店内監視カメラ10から取得した監視データーから単位時間ごとのフレーム間の差分を取ることで動領域を検出し、その動領域に対して顔検出(顔特徴量に相当する部分がないか確認)を実施する。これにより、顔検出ができた部分を人と判別し、判別した個人を追跡する。また、店内に、複数のRFIDリーダーが配置されている場合、RFIDが組み込まれた会員カードを顧客が所持することで、顧客の位置検出が可能である。
その他、特定行動の発生検出パターンとしては、顧客が店員に商品またはレシートRを渡した(パターンID:b3)、店員が周囲を見渡した(パターンID:b4)、店員がレジカウンター7に何度も出入りした(パターンID:b5)などを設定可能である。
ここで、図16のフローチャートを参照し、「パターンID:b3」の検出処理について説明する。店舗管理サーバー5(特定行動判定部82)は、店内監視カメラ10の監視結果から、店員の顔検出および顔認識を行い(S51)、店員の位置を特定する(S52)。同様に、店内監視カメラ10の監視結果から、顧客の顔検出および顔認識を行い(S53)、顧客の位置を特定する(S54)。さらに、顧客の手の動きをトレースし(S55)、顧客が店員の方向へ手を動かしたことを判定した場合(S56)、その判定結果から商品またはレシートRの受け渡しが行われたと判定する(S57)。このように、「パターンID:b3」を検出対象とすることで、店員と顧客による例外処理の特徴的な動作を、特定行動として検出することができる。また、「パターンID:b4」については、店内監視カメラ10の監視結果から動領域を検出し、その動領域から人の顔を検出する、といった工程を繰り返すことにより、店員の動き(頭部の位置変化)を検出する。これにより、頭部の位置変化が激しい場合(周囲を見回すような動きの場合)は周囲を見渡した、つまり不正行為を行った可能性が高いなどと判断することができる。
また、「パターンID:b5」については、レジカウンター7を撮像する店内監視カメラ10から、同じ店員が続けて何回も検出されているかを判定する。これにより、例えば、レジカウンター7周辺を行ったり来たりするような、不自然な行動を簡単に検出することができる。また、店内に、複数のRFIDリーダーが配置されている場合、RFIDが組み込まれた店員カード200の所持を店員に義務付けることで、このような店員の行動検出が可能である。
以上、説明したとおり、第2実施形態の情報処理装置A2によれば、例外処理の発生を検出し、当該例外処理の発生検出時を基準とした所定時間分の監視データーを記録するため、不必要な監視データー記録を防止することができる。これにより、不正行為の証拠として有用な監視データーのみを記録することができ、ひいては不正行為をより効率的に検出することができる。また、店内監視カメラ10の監視が行われている間、所定時間分の監視データーを随時更新しながら記憶するサブ記憶部84を備えているため、例外処理の発生検出前の監視データーも記録することができる。これにより、例外処理発生前の監視データーが重要と考えられるような不正行為であっても、支障なく検出することができる。
また、例外処理の発生を検出したときだけでなく、店員や顧客の特定行動が判定された場合も、特定行動判定時を基準とした所定時間分の監視データーを記録することができる。これにより、店長などが効率的に不正行為を確認することができる。
また、監視データー記録処理のトリガーとなる例外処理/特定行動の発生検出パターンを、店舗に応じてカスタマイズできるため、利便性が良い。また、記録開始タイミングや記録時間についても、発生検出パターンごとに設定できるため、さらに利便性が良い。
なお、上記の実施形態の例外処理発生検出部72は、会計情報取得部71により例外処理を示す情報が含まれる会計情報を取得することにより、例外処理の発生を検出したが、POS端末1において「取消キー」など例外処理のトリガーとなるキー操作が行われたことをレシートプリンター2が認識可能な場合、当該キー操作を認識することにより、例外処理の発生を検出しても良い。
また、上記の実施形態では、レシートプリンター2、レシートスキャナー9および店舗管理サーバー5により、情報処理装置A2が構成されるものとしたが、店舗管理サーバー5を省略する構成としても良い。この場合、店舗管理サーバー5の各部をレシートプリンター2が備える構成となる。また、POS端末1内に、情報処理装置A2の各部を備えたり、記憶部80を情報処理装置A2の外部に備えたりしても良い。
また、上記の実施形態では、監視データーとして、店内監視カメラ10の撮像結果を記録するものとしたが、RFIDリーダーにより店員および/または顧客を監視する場合は、店内に配置された複数のRFIDリーダーの読取結果を、監視データーとして記録するようにしても良い。また、GPSを用いて、店員および/または顧客を監視する場合は、GPSデーター(店員および/または顧客の位置情報)を、監視データーとして記録するようにしても良い。
また、上記の実施形態では、レシートRの読取結果を利用して、会計処理情報の再登録を行う場合を例示したが(図10参照)、例外処理として、オペレーションミスによる2度打ちが発生したことを検出した場合、レシートプリンター2に設けられた所定のボタンの押下により、図示しない会計処理バッファ内の登録済みの情報を元に、ミスを起こした直前の状態に復元できるようにしても良い。なお、2度打ちの発生は、同じ商品データーが続けて入力されたことをレシートプリンター2側で自動検知しても良いし、店員による図示しない操作部の操作によって検出しても良い。この場合、店員は、重複した商品のみをPOS端末1側で削除することにより、ミスレジ処理と、正しい精算処理とを一括して行うことができる。
[第3実施形態]
次に、図17ないし図22を参照し、本発明の第3実施形態について説明する。本実施形態は、店員および/または顧客の不正行為を容易且つ迅速に判断するための集計レポート50(履歴情報)を作成することを課題としている。なお、本実施形態において、上記の各実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、上記の各実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。
図17は、第3実施形態に係る店舗監視システムSY3の機能ブロック図である。本実施形態の店舗監視システムSY3は、POS端末1と、レシートプリンター2と、店員を監視する店員監視カメラ3と、店舗監視システムSY3を統括する店舗管理サーバー5(外部装置)と、により構成されている。上記の各実施形態と同様に、POS端末1とレシートプリンター2は、シリアルインターフェースにより通信可能に接続される。また、店員監視カメラ3の撮像結果は、店舗内LAN6(図1参照)を介して店舗管理サーバー5に送信される構成となっている。なお、本実施形態では、点線枠で示すように、レシートプリンター2および店舗管理サーバー5により、情報処理装置A3が構成される。
POS端末1は、主な機能構成として、会計処理部11を有している。また、店員監視カメラ3は、主な機能構成として、撮像部31を有している。撮像部31は、第1実施形態と同様に、レジカウンター7の周囲に設置されており、店員、顧客およびレジカウンター7上の商品などを撮像する。撮像部31による撮像は、常時行われており、その撮像結果は、後述するデーターベース103に記憶される。なお、会計処理時(例外処理時および購入時(精算処理時)を含む)においては、各会計処理時の撮像結果(会計処理時を基準とした前後所定時間の撮像データー)が、各会計処理のトランザクションデーターと関連付けられてデーターベース103に記憶される。また、撮像部31は、動画および静止画を撮像可能となっている。但し、動画のみを撮像し、その中の1コマを静止画として利用しても良い。
レシートプリンター2は、主な機能構成として、会計情報取得部71、店員/顧客判定部92および印刷部26を有している。会計情報取得部71は、POS端末1(会計処理部11)から、会計情報を取得する。
店員/顧客判定部92は、POS端末1を操作している店員、および会計処理時の顧客の少なくとも一方を判定する。本実施形態では、取得した会計情報に含まれる店員IDや顧客IDなどの情報に基づいて、店員および/または顧客を判定する。なお、店員が店員カード200(図13(b)参照)を所持している場合、並びに顧客が会員カードを所持している場合は、RFIDリーダーの読取結果に基づいて、店員および/または顧客を判定しても良い。さらに、店内監視カメラ10の撮像結果から顔認証を行い、その認証結果に基づいて、店員および/または顧客を判定しても良い。なお、顔認証については、顔特徴量に基づいて、顔認証用データーベース(店員や顧客の顔特徴量が記録されたデーターベース,図示省略)に記録されている人物と、同一人物であるか否かを判定することが可能である。顔特徴量の抽出については、図18にて後述する。
印刷部26は、会計情報取得部71が取得した会計情報をレシート用紙に印刷し、レシートRを発行する。
一方、店舗管理サーバー5は、主な機能構成として、例外処理情報記録部101、購入時情報記録部102、データーベース103、不正判定部104、履歴情報出力部105、検索キー指定部106および例外処理情報抽出部107を有している。
例外処理情報記録部101は、会計情報取得部71が取得した会計情報に、例外処理を示す情報が含まれる場合、店員/顧客判定部92により判定された店員の店員IDまたは顧客の顧客IDと、例外処理の種別を含む所定事項(トランザクションデーターを含む)と、を関連付けた例外処理情報を生成し、データーベース103に記録する。つまり、例外処理情報記録部101は、例外処理発生時のみ、例外処理情報を生成してデーターベース103に記録する。
購入時情報記録部102は、商品の購入時に会計情報取得部71により取得した会計情報である購入時情報(トランザクションデーターに相当する)を、データーベース103に記録する。
記録制御部83は、第2実施形態と同様に機能させることができる。つまり、図示しないサブ記憶部84(バッファ)に、所定時間分の撮像データーを随時更新しながら記憶しておき、記録制御部83により、サブ記憶部84に記憶された撮像データーの一部を読み出して、メイン記憶部85に相当するデーターベース103に記録することが可能である。なお、本実施形態の記録制御部83は、撮像部31の撮像結果に撮像結果に人物が含まれる場合、当該撮像結果から得られる顧客データー(色特徴量および顔特徴量)を付加してデーターベース103に記録する。色特徴量および顔特徴量の抽出については、図18にて後述する。
データーベース103は、上記のとおり、例外処理情報と例外処理時における撮像部31の撮像結果とを関連付けて記憶すると共に、購入時情報と購入時における撮像部31の撮像結果とを関連付けて記憶する。
不正判定部104は、撮像部31の監視結果から、店員および顧客の少なくとも一方の不正の可能性を判定する。例えば、店員の不正については、第2実施形態に示した特定行動の発生検出パターンのうち、「店員が周囲を見渡した(パターンID:b4)」や「店員がレジカウンターに何度も出入りした(パターンID:b5)」などを検出した場合、不正の可能性ありと判定できる。また、顧客の不正については、例えばレジカウンター7を通さずに商品を持ち去ってしまうことを検出した場合、不正の可能性ありと判定できる。
その他、不正判定部104は、商品の返品時の顧客と、購入時の顧客と、が同一人物でないこと、会計処理時にレジカウンター7前に顧客が存在しないこと、特定の人(例えば、社員)に対して商品の割引きを行う特定割引処理時の顧客が特定の人に該当しないこと、などを検出した場合、不正の可能性ありと判定する。なお、これらの判定処理については、図19にて後述する。
履歴情報出力部105は、会計情報取得部71が取得した会計情報に、例外処理を示す情報が含まれ、且つ不正判定部104により不正の可能性ありと判定された場合、該当する店員または顧客の例外処理情報を集計して、集計レポート50を出力する。また、履歴情報出力部105は、後述する検索キー指定部106により検索キーが指定された場合も、集計レポート50を出力する。なお、本実施形態では、出力方法として、印刷出力と、電子メールまたはWebアプリケーションを用いた管理者(店長など)への送信を想定している。また、詳細については後述するが、集計レポート50には、各例外処理情報に関連付けられている撮像部31の撮像結果も併せて印刷/表示される。
検索キー指定部106は、集計レポート50を出力するための検索キーを指定するものであり、キーボードやマウスなどの操作手段を含む概念である。検索キーとしては、店員ID、顧客ID、例外処理の種別、例外処理日時、例外処理番号、例外処理の対象となる商品、レジカウンター7前の顧客の有無、店員の位置、レジカウンター7周りを含む店内の音声データーや撮像データーなど、例外処理情報から特定可能な情報や撮像部31の撮像結果から特定可能な情報(第2実施形態に示したタグ情報など)を指定可能である。
例外処理情報抽出部107は、データーベース103から、検索キー指定部106により指定された検索キーに該当する例外処理情報を抽出する。このとき、複数の項目(例えば、店員ID、顧客ID)が指定された場合は、それらをand条件またはor条件として、例外処理情報を抽出する。履歴情報出力部105は、例外処理情報抽出部107により抽出された例外処理情報を集計して、履歴情報を出力する。
次に、図18のフローチャートを参照し、情報処理装置A3によるデーター記録処理について説明する。なお、当該処理は、返品時の顧客と購入時の顧客とが同一人物であるか否かを判別するために必要な顧客データー(色特徴量および顔特徴量)を記録する処理である。
レシートプリンター2が会計情報を取得すると(S61,会計情報取得部71)、店舗管理サーバー5は、店内監視カメラ10の撮像データーを取得する(S62)。そして、記録制御部83により、フレーム間の差分と、背景差分を抽出し(S63)、当該抽出結果から動領域を検出する(S64)。また、検出した動領域から顔検出を行い(S65)、衣類部分の色特徴量を抽出する(S66)。さらに、顔検出を行った顔部分の画像を正規化し(S67)、顔特徴量を抽出する(S68)。その後、抽出した色特徴量および顔特徴量を顧客データーとして、撮像結果と共にデーターベース103に記録する(S69)。
なお、顔特徴量については、特定割引処理時の顧客が特定の人に該当するか否かを判別するためにも用いられる。この場合の顔特徴量は、特定の人の顔画像(写真)から予め算出しておき、図示しない顔特徴量データーベースに格納しておけばよい。なお、本実施形態では、「社員」を特定の人とし、社員割引処理時の不正を判定するものとする。
次に、図19のフローチャートを参照し、情報処理装置A3による集計レポート作成処理について説明する。当該処理は、店員や顧客の不正の可能性ありと判定した場合に出力される集計レポート50の作成処理である。上記のとおり、例外処理時であって且つ店員や顧客の不正の可能性ありと判定した場合に集計レポート50を出力するため、当該処理のトリガーとなる会計情報には、例外処理を示す情報が含まれることが前提である。
レシートプリンター2が会計情報を取得すると(S71,会計情報取得部71)、店舗管理サーバー5は、例外処理情報を生成し、データーベース103に記録する(S72,例外処理情報記録部101)。また、不正判定部104は、下記に示すとおり、例外処理の種別を判別し、その種別に応じて不正の可能性を判定する。
例えば、例外処理の種別が「返品」である場合(S73:Yes)、データーベース103から、返品処理時の顧客データー(色特徴量および顔特徴量)および購入時の顧客データー(色特徴量および顔特徴量)を取得し(S74)、両者を比較する(S75)。その結果、返品時の顧客と購入時の顧客とが同一人物であるか否かを判別し(S76)、同一人物の場合は(S76:Yes)、不正の可能性なしと判定して処理を終了する。また、同一人物ではない場合は(S76:No)、不正の可能性ありと判定し、履歴情報出力部105により、データーベース103から該当する顧客の画像データーおよび例外処理情報(返品履歴)を取得し(S77)、集計レポート50を作成する(S78)。
一方、例外処理の種別が「ミスレジ」である場合(S79:Yes)、不正判定部104は、店内監視カメラ10の撮像データーに基づく顔検出結果を取得して(S80)、レジカウンター7前に顧客が存在するか否かを判別する(S81)。顧客が存在する場合は(S81:Yes)、不正の可能性なしと判定して処理を終了する。また、顧客が存在しない場合は(S81:No)、不正の可能性ありと判定し、履歴情報出力部105により、データーベース103から該当する店員および顧客の画像データーおよび該当するレジ係(店員)のミスレジ履歴を取得し(S82)、集計レポート50を作成する(S78)。
一方、例外処理の種別が「社員割引」である場合(S83:Yes)、不正判定部104は、顔特徴量データーベースから割引対象者データー(顔特徴量)を取得し(S84)、該当する店員であるか否かを判別する(S85)。該当する店員である場合は(S85:Yes)、不正の可能性なしと判定して処理を終了する。また、該当する店員ではない場合は(S85:No)、不正の可能性ありと判定し、履歴情報出力部105により、データーベース103から該当する店員および顧客の画像データーおよび該当するレジ係(店員)の社員割引履歴を取得し(S86)、集計レポート50を作成する(S78)。
次に、図20ないし図22を参照し、集計レポート50の内容について説明する。図20は、返品処理時において、不正の可能性ありと判定された場合に出力される集計レポート50aの一例を示す図である。この場合の集計レポート50aには、レポート発行日時およびレポート番号の他、返品時における顧客の顔画像(静止画像)121と、購入時における顧客の顔画像(静止画像)122と、動画像を再生するためのバーコード123(リンク画像)と、返品概要124と、返品顧客に関する過去の返品状況125と、映像リンクの説明126と、が含まれる。
同図の例では、購入時における顧客の顔画像122が非表示となっている。これは、返品時に提示されるレシートRの情報が、データーベース103内に存在しなかったことを意味する。例えば、他店舗で購入した商品と、偽造したレシートRを用いて返品が行われたような場合である。これにより、集計レポート50aを確認する管理者は、不正返品(架空返品)が行われた可能性が極めて高いと判断することができる。
また、バーコード123は、返品時における撮像部31の撮像結果を確認するためのものであり、映像リンクの説明126に記載されているとおり、図示しないバーコードリーダーにて、バーコード123をスキャンすることにより、図示しないディスプレイ上で、返品時の映像を表示させることができる。
また、返品概要124は、データーベース103に記録された例外処理情報から得られる情報であり、返品発生時刻(例外処理発生日時)、トランザクション番号、返品物(返品の対象となる商品の商品名)、返品額(例外処理時の取引金額)、返品時レジ担当(例外処理情報または撮像結果から判定される返品処理時の店員の名前)、購入該当履歴の有無(返品時に提示されたレシートRに記載の情報と同内容のトランザクションデーターがデーターベース103に存在するか否か)、などが含まれる。
また、返品顧客に関する過去の返品状況125には、過去(例えば、1年以内)における返品顧客の返品回数、その際の返品物一覧およびその割合、返品顧客の返品時におけるレジ担当の回数およびその割合、などが含まれる。これらの情報から、管理者は、返品の頻度や、返品の対象となっている商品を類推することができ、顧客と店員が共謀した不正返品であるか否かを判断することができる。例えば、同図の例のように、返品時におけるレジ担当が決まった人物である場合、顧客と店員が共謀して不正返品を行っている可能性が高いと判断することができる。
なお、図19に示した集計レポート50aに対し、購入時における顧客の顔画像122が表示されていたり(購入該当履歴が存在していたり)、返品顧客の返品時におけるレジ担当として複数の店員の名前が表示されているような場合、管理者は、不正返品を行っている可能性が低いと判断することができる。
図20は、ミスレジ処理時において、不正の可能性ありと判定された場合に出力される集計レポート50bの一例を示す図である。この場合の集計レポート50bには、レポート発行日時およびレポート番号の他、ミスレジ発生時におけるレジカウンター7周りの画像(静止画像)131と、動画像を再生するためのバーコード132と、ミスレジ概要133と、レジ担当に関する過去のミスレジ発生状況134と、映像リンクの説明135と、が含まれる。このうちバーコード132は、ミスレジ発生時における撮像部31の撮像結果(動画)を確認するためのものであり、映像リンクの説明135にその旨が記載されている。
また、ミスレジ概要133は、データーベース103に記録された例外処理情報から得られる情報であり、ミスレジ発生時刻(例外処理発生日時)、トランザクション番号、取消額(例外処理時の取引金額)、ミスレジ発生時のレジ担当(例外処理情報または撮像結果から判定されるミスレジ発生時の店員の名前)、対象顧客の有無(ミスレジ発生時にレジカウンター7前に顧客が存在するか否か)、などが含まれる。同図の例では、対象顧客が「なし」になっており、ミスレジ発生時におけるレジカウンター7周りの画像131からもそのことが確認できるため、ミスレジ不正の可能性が高いと判断することができる。
また、レジ担当に関する過去のミスレジ発生状況134には、過去(例えば、1年以内)におけるレジ担当の総ミスレジ回数、同期間におけるレジ担当の総労働時間(図示しない勤怠管理データーベースから得られる情報)、単位時間(例えば、1時間)当たりのミスレジ発生回数、ミスレジ発生時間帯およびその割合、などが含まれる。これらの情報から、管理者は、該当するレジ担当に、どの程度ミスレジがあるのか、またどのような時間帯にミスレジが多いのか、などを把握することができるため、その結果を、店員のオペレーション教育に利用することができる。さらに、対象顧客が存在する状況におけるミスレジ発生回数が、顧客が存在しない状況におけるミスレジ発生回数よりも明らかに高いことやミスレジ発生時間帯に偏りがあること、などからミスレジ不正の可能性が高いと判断することができる。
なお、図20に示した集計レポート50bに対し、ミスレジ発生時におけるレジカウンター7周りの画像131に顧客が含まれていたり(対象顧客が存在したり)、顧客の有無によってミスレジ発生回数に偏りがない場合、管理者は、ミスレジ不正の可能性が低いと判断することができる。
図22は、社員割引処理時時において、不正の可能性ありと判定された場合に出力される集計レポート50cの一例を示す図である。この場合の集計レポート50cには、レポート発行日時およびレポート番号の他、社員割引発生時における顧客の顔画像(静止画像)141と、社員割引発生時におけるレジカウンター7周りの画像(静止画像)142と、社員割引発生時における動画像を再生するためのバーコード143と、社員割引概要144と、レジ担当に関する過去の社員割引発生状況145と、映像リンクの説明146と、が含まれる。バーコード143および映像リンクの説明146については、図20および図21の例と同様であるため説明を省略する。
社員割引概要144は、データーベース103に記録された例外処理情報から得られる情報であり、社員割引発生時刻(例外処理発生日時)、トランザクション番号、購入額、割引額、社員割引発生時のレジ担当(例外処理情報または撮像結果から判定される社員割引発生時の店員の名前)、対象社員(顔特徴量から同一人物と判定された社員が存在する場合、その名前)、などが含まれる。なお、本例においては、購入額から割引額を差し引いた金額が、例外処理時の取引金額となる。また、同図の例では、対象社員として「店員該当者なし」となっているため、不正社員割引の可能性が高いと判断することができる。
また、レジ担当に関する過去の社員割引発生状況145には、過去(例えば、1年以内)におけるレジ担当の総社員割引回数、同期間におけるレジ担当の総労働時間(図示しない勤怠管理データーベースから得られる情報)、単位時間当たりの社員割引発生回数、社員割引担当回数(社員割引の対象となった店員の名前とその割合)などが含まれる。これらの情報から、管理者は、該当するレジ担当が、どの程度社員割引を行っているのか、またどの人物に対して社員割引を行っているのか、などを把握することができる。これにより、単位時間当たりの社員割引発生回数が極端に多いことや社員割引担当回数に偏りがあること、などから不正社員割引の可能性が高いと判断することができる。
なお、図22に示した集計レポート50cに対し、単位時間当たりの社員割引発生回数が少なかったり、社員割引担当回数に偏りがない場合、管理者は、不正社員割引の可能性が低いと判断することができる。
ところで、上記のとおり、図20ないし図22に示した集計レポート50は、管理者が任意のタイミングで、検索キー指定部106により検索キーを指定した場合も出力させることが可能である。例えば、検索キーとして例外処理番号(トランザクション番号)を指定することにより、その例外処理の種別に応じた集計レポート50(50a,50b,50cのいずれか)を出力させることができる。また、店員IDと、例外処理の種別の指定(and条件)により、レジ担当に関する過去のミスレジ発生状況134(図21参照)やレジ担当に関する過去の社員割引発生状況145(図22参照)などを、集計レポート50として出力させることができる。
また、検索キーとしてレジカウンター7前の顧客の有無を指定することで、対象顧客「なし」と判定された例外処理の一覧(店員ごと、または例外処理の種別ごとに分類されていることが好ましい)を含む集計レポート50を出力させても良い。さらに、検索キーとして店員の位置を指定することで、指定位置(指定レジカウンター)に店員が存在するときの例外処理の一覧(店員ごと、顧客ごと、または例外処理の種別ごとに分類されていることが好ましい)を含む集計レポート50を出力させても良い。このように、管理者は、検索キーの指定により、必要とする集計レポート50を、必要なタイミングで出力させることができる。
以上、説明したとおり、第3実施形態の情報処理装置A3によれば、店員ID、顧客ID、例外処理に関する所定事項(トランザクションデーター)を関連付けた例外処理情報をデーターベース103に記録しておき、それらの例外処理情報を、店員IDまたは顧客IDごとに集計して集計レポート50を出力可能であるため、当該集計結果から、店員または顧客の不正行為を容易且つ迅速に判断することができる。つまり、管理者が、出力された集計レポート50に基づいて、その店員または顧客が過去にどのような例外処理に関与しているか、またその回数などを確認することができるため、その内容を踏まえて、不正行為の有無を判断することができる。
また、店員や顧客の監視結果から不正の可能性があると判定された場合は、管理者が特別な操作を行うことなく集計レポート50を出力させることができる。つまり、管理者が能動的に検索処理を実行する必要がないため、不正行為の検証に要する労力を大幅に軽減することができる。また、不正の可能性が客観的に判定されるため、管理者の主観や力量に拠らず、不正行為の有無を正確に判断することができる。
また、集計レポート50を、予め定められた管理者に対し、電子メールまたはWebアプリケーションを用いて、送信することができるため、管理者の居場所に関わらず、履歴情報を送信することができる。また、集計レポート50には、例外処理情報から得られる履歴情報と共に、会計処理時(購入時や例外処理発生時)における撮像部31の撮像結果が出力されるため、管理者は、当該撮像結果を不正行為の検証材料とすることができる。
また、管理者は、集計レポート50から静止画像と動画像の両方で、商品の購入時や不正判定時における店員や顧客の状況を確認することができるため、より正確にレジカウンター7周りの状況を把握することができる。また、動画像については、バーコード123,132,143の読み取りによって再生が可能となるため、店長などがすばやく動画像を確認することができる。
なお、上記の実施形態では、集計レポート50が印刷出力される場合を例示したが、履歴情報がWebページなどとして出力される場合は、バーコード123,132,143に代えて、その動画像とリンクされたアイコン(リンク画像)を表示しても良い。
また、上記の実施形態では、店舗管理サーバー5に接続されたレポート出力用プリンター8から集計レポート50が印刷されるものとしたが、レシートプリンター2によって集計レポート50を印刷するようにしても良い。また、店員の不正に関する集計レポート50の場合は、不正が検出されたレジカウンター7以外に配置されている他のレシートプリンター2(店舗内LAN6に接続されているもの)から集計レポート50を印刷するようにしても良い。この構成によれば、不正の可能性ありと判定された時、店内にてリアルタイムに店員または顧客の不正検証を行うことができる。
また、上記の実施形態では、例外処理の種別が、ミスレジ処理の場合、例外処理時に顧客が存在しないことを条件として、不正の可能性ありと判定したが、その他の例外処理(例えば、「返品処理」、「両替処理」、「割引処理」、「値引処理」など)にも適用可能である。
また、上記の実施形態では、会計情報に例外処理を示す情報が含まれることにより、例外処理の発生を検出したが、第2実施形態に示したように、レシートRの読み取りや、店員や顧客が所定の操作部を操作すること、所定の載置部に商品やレシートRが載置されること、などによって例外処理の発生を検出しても良い。
また、上記の実施形態では、レシートプリンター2および店舗管理サーバー5により、情報処理装置A3が構成されるものとしたが、店舗管理サーバー5を省略する構成としても良い。この場合、店舗管理サーバー5の各部をレシートプリンター2が備える構成となる。また、POS端末1内に、情報処理装置A3の各部を備えたり、データーベース103を情報処理装置A3の外部に備えたりしても良い。
以上、第1実施形態ないし、第3実施形態によれば、レシートプリンター2において例外処理の発生を検出可能であり、その例外処理発生時点を基準として監視データーを記録することにより、店員や顧客の不正検証に有用な監視データーを効率的に記録することができる。また、例外処理時の所定事項を店員および/または顧客ごとに集計し、店員監視カメラ3の撮像結果と共に集計レポート50として出力することで、管理者が不正行為の有無を容易且つ迅速に判断することができる、などの効果を奏することができる。
なお、上記の各実施形態に係る店舗監視システムSY1ないしSY3の制御方法(上記各実施形態で示したフローチャート)の各ステップをプログラムとして提供することが可能である。また、そのプログラムを各種記録媒体(CD−ROM、フラッシュメモリー等)に格納して提供することも可能である。すなわち、コンピューターを、レシートプリンター2や情報処理装置A2,A3の各構成要素として機能させるためのプログラム、およびそれを記録した記録媒体も、本発明の権利範囲に含まれるものである。
また、上記の各実施形態では、本発明の情報処理装置を、レシートプリンター2や店舗管理サーバー5によって実現する場合を例示したが、他の電子機器によって実現してもよい。また、店員や顧客の不正検出以外の用途で利用しても良い。その他、上述した実施例によらず、店舗監視システムSY1ないしSY3の装置構成や処理工程等について、本発明の要旨を逸脱しない範囲で、適宜変更が可能である。