JP2023089895A - 不正行為推定装置及びその制御プログラム、不正行為推定方法 - Google Patents

Abstract

【課題】客が不正行為を行った信頼性の高さに応じて適切に対処することができる不正行為推定装置、その制御プログラム及び不正行為推定方法を提供する。
【解決手段】セルフＰＯＳシステム１００において、不正行為推定システム２００の不正行為推定装置２２は、購買者による決済端末への商品登録操作から操作情報を取得する第１取得部２２２、商品登録操作を行う購買者の行動を認識する行動認識部２２１、購買者の行動の信頼度を取得する第２取得部２２４及び操作情報及び信頼度に基づく結果情報を出力する出力部２２６を備える。
【選択図】図１

Description

本発明の実施形態は、不正行為推定装置及びその制御プログラム、不正行為推定方法に関する。

近年、スーパーマーケット等の小売店では、人件費の削減、感染症の感染予防対策等の観点から、セルフＰＯＳ（Point Of Sales）端末が注目されている。セルフＰＯＳ端末は、買上商品の登録から決済までの操作を客が自ら行うようにしたフルセルフ対応の決済端末である。このようなセルフＰＯＳ端末を操作する客を監視するため、多くの場合監視カメラが設置されている。

このようなセルフＰＯＳ端末及び監視カメラが導入された店舗のシステムでは、例えば監視カメラに取り込まれる撮影データを基に、買上商品を持つ手の動きから客の行動が認識される。その客の行動から不正行為の有無が判断され、不正行為と判断された場合、例えば店員への報知、セルフＰＯＳ端末上での警告等が行われる。しかしながら、監視カメラの死角に手が進入する場合、照明状況により物体の影で手が見えない場合、客の行動は正しく認識されない。この信頼性の低い認識結果により、客の正常行為を誤って不正行為と判断される可能性がある。また、客の不正行為を誤って正常行為と判断される可能性がある。このため、客との間でトラブルが発生したり、店舗に対する信頼が低下する等の事態を回避したいとの要望がある。

特開２０１８－４１２５５号公報

本発明の実施形態が解決しようとする課題は、客が不正行為を行った信頼性の高さに応じて適切に対処することができる不正行為推定装置及びその制御プログラム、不正行為推定方法を提供しようとするものである。

一実施形態において、不正行為推定装置は、第１取得手段と、行動認識手段と、第２取得手段と、出力手段とを備える。第１取得手段は、購買者による決済端末への商品登録操作から操作情報を取得する。行動認識手段は、商品登録操作を行う購買者の行動を認識する。第２取得手段は、購買者の行動の信頼度を取得する。出力手段は、操作情報及び信頼度に基づく結果情報を出力する。

図１は、セルフＰＯＳ端末が導入された店舗のシステム構成図である。 図２は、セルフＰＯＳ端末とカメラとの位置関係を説明するための図である。 図３は、アテンダント端末のディスプレイに表示される監視画像の一例を示す模式図である。 図４は、不正行為推定装置の要部回路構成を示すブロック図である。 図５は、行動ファイルのデータ構造の一例を示す模式図である。 図６は、時系列バッファの一例を示す模式図である。 図７は、出力テーブルの一例を示す模式図である。 図８は、行動認識部及び第２取得部としての機能を説明するための流れ図である。 図９は、操作認識部及び第１取得部としての機能を説明するための流れ図である。 図１０は、不正推定部としての機能を説明するための流れ図である。 図１１は、出力部としての機能を説明するための流れ図である。 図１２は、行動認識に係る他の実施形態を説明するための模式図である。

以下、一実施形態について、図面を用いて説明する。
図１は、セルフＰＯＳ端末１１が導入された店舗のシステム構成図である。本システムは、セルフＰＯＳシステム１００と、不正行為推定システム２００を含む。セルフＰＯＳシステム１００は、複数台のセルフＰＯＳ端末１１と、ＰＯＳサーバ１２と、表示制御装置１３と、アテンダント端末１４と、通信ネットワーク１５と、を備える。複数台のセルフＰＯＳ端末１１と、ＰＯＳサーバ１２と、表示制御装置１３とは、通信ネットワーク１５に接続する。アテンダント端末１４は、表示制御装置１３に接続する。通信ネットワーク１５は、典型的にはＬＡＮ（Local Area Network）である。ＬＡＮは、有線ＬＡＮであってもよいし、無線ＬＡＮであってもよい。

セルフＰＯＳ端末１１は、買上商品の登録から決済までの操作を客が自ら行うようにしたフルセルフ対応の決済端末である。客は、購買者、消費者、顧客等と称される場合もある。ＰＯＳサーバ１２は、各セルフＰＯＳ端末１１の動作を一元的に制御するためのサーバ用コンピュータである。表示制御装置１３は、各セルフＰＯＳ端末１１から出力されるデータ信号を基に、セルフＰＯＳ端末１１毎に監視画像ＳＣ（図３を参照）を生成して、アテンダント端末１４の表示デバイスに表示させるコントローラである。アテンダント端末１４は、アテンダントと称される店員が、各セルフＰＯＳ端末１１の状態を監視するための端末である。アテンダント端末１４は、液晶ディスプレイ、有機ＥＬディスプレイ等のディスプレイを備える。アテンダント端末１４は、ディスプレイの画面を複数に区分し、区分毎に異なるアテンダント端末１４の監視画像ＳＣを表示する。アテンダント端末１４は、店員端末の一例である。このようなセルフＰＯＳシステム１００は、従来周知のものをそのまま適用することができる。

不正行為推定システム２００は、複数のカメラ２１と、不正行為推定装置２２とを含む。複数のカメラ２１は、それぞれ複数のセルフＰＯＳ端末１１と１対１で対応している。カメラ２１は、対応するセルフＰＯＳ端末１１を操作する客を撮影するためのものである。

不正行為推定装置２２は、行動認識部２２１、操作認識部２２２、第１取得部２２３、第２取得部２２４、不正推定部２２５及び出力部２２６としての機能を有する。行動認識部２２１は、各カメラ２１から出力される撮影データを基に、セルフＰＯＳ端末１１への商品登録操作を行う客の行動を認識する機能である。行動認識部２２１は、行動認識手段と称することもできる。操作認識部２２２は、表示制御装置１３からアテンダント端末１４へと出力される監視画像ＳＣのデータを基に、客によるセルフＰＯＳ端末１１への商品登録操作を認識する機能である。操作認識部２２２は、操作認識手段と称することもできる。第１取得部２２３は、認識された商品登録操作から操作情報を取得する機能である。第１取得部２２３は、第１取得手段と称することもできる。第２取得部２２４は、行動認識部２２１による認識結果を基にその認識結果の信頼度を取得する機能である。第２取得部２２４は、第２取得手段と称することもできる。不正推定部２２５は、第１取得部２２３による操作情報と第２取得部２２４による信頼度とを基に、客の不正行為を推定する機能である。不正推定部２２５は、不正推定手段と称することもできる。出力部２２６は、推定された結果情報を出力する機能である。出力部２２６は、出力手段と称することもできる。

図２は、セルフＰＯＳ端末１１とカメラ２１との位置関係を説明するための図である。始めに、セルフＰＯＳ端末１１の外観構成について説明する。

セルフＰＯＳ端末１１は、床面に設置された本体４０と、この本体４０の脇に設置された袋詰め台５０とを備える。本体４０は、その上部にタッチパネル４１を取り付けている。タッチパネル４１は、ディスプレイとタッチセンサとで構成される。タッチパネル４１は、表示部の一例である。ディスプレイは、セルフＰＯＳ端末１１を操作するオペレータに対して種々の画面を表示するためのデバイスである。タッチセンサは、オペレータによる画面へのタッチ入力を検知するためのデバイスである。セルフＰＯＳ端末１１においてオペレータは、通常は客である。

本体４０は、袋詰め台５０が設置された側とは反対側の側面中央部に籠台６０を設けている。籠台６０は、売場から来た客が買上商品を入れた籠等を置くためのものである。客は、タッチパネル４１の画面が見えるように、図２において本体４０の手前側に立って作業を行う。このため客から見ると、本体４０を挟んで右側に籠台６０があり、左側に袋詰め台５０がある。本実施形態では、客が立つ側を本体４０の正面とし、袋詰め台５０が設置されている側を本体４０の左側とし、籠台６０が設けられている側を本体４０の右側とする。

本体４０は、その内部にスキャナ、カードリーダ、レシートプリンタ、現金処理機等を備える。そして本体４０の正面に、スキャナの読取窓４２、カード挿入口４３、レシート発行口４４、硬貨投入口４５、硬貨払出口４６、紙幣投入口４７及び紙幣払出口４８を形成する。また、本体４０の右側面から外部へと通信ケーブルが延びており、この通信ケーブルの先端にハンディスキャナ６１が接続されている。また、図示しないが、電子マネー媒体用のリーダ・ライタも本体４０に備えられている。

本体４０は、その上面に表示ポール６４を取り付けている。表示ポール６４は、その先端部に発光部６５を備える。発光部６５は、例えば青色と赤色とを選択的に発光する。表示ポール６４は、発光部６５の発光色によってセルフＰＯＳ端末１１の状態、例えば待機中、動作中、呼出中、エラー中、不正行為発生中等を表示する。表示ポール６４は、発光部６５の点滅によってセルフＰＯＳ端末１１の状態を表示してもよい。

袋詰め台５０は、その上部に袋保持具５２を取り付けた構造となっている。袋保持具５２は、一対の保持アーム５３を備えており、この保持アーム５３で店舗備え付けのレジ袋又は客が持参した買物袋いわゆるマイバッグ等を保持する。

次に、セルフＰＯＳ端末１１とカメラ２１との位置関係を説明する。
図２に示すように、カメラ２１は、セルフＰＯＳ端末１１の正面に立って、本体４０、袋詰め台５０及び籠台６０等の部品と対峙する客を上方から撮影可能な位置に設置されている。

セルフＰＯＳ端末１１の正面に立った客は、先ず、向かって右側の籠台６０に買上商品を入れた籠等を書き、左側の保持アーム５３にレジ袋又はマイバッグ等を保持させる。次いで、客は、タッチパネル４１に表示されるガイダンスに従い、タッチパネル４１を操作して、セルフＰＯＳ端末１１の利用開始を宣言する。

その後、客は、籠台６０に置かれた籠から買上商品を１点ずつ手に取る。そして、その買上商品にバーコードが付されている場合には、客は、そのバーコードを読取窓４２に翳してスキャナで読み取らせることで、商品登録を行う。買上商品にバーコートが付されていない場合には、客は、タッチパネル４１を操作してバーコード無し商品のリストから買上商品を選択することで、商品登録を行う。客は、登録を終えた買上商品をレジ袋又はマイバッグ等に入れる。

全ての買上商品を登録し終えた客は、タッチパネル４１を操作して決済方法を選択する。例えば現金決済を選択した場合には、客は、紙幣投入口４７又は硬貨投入口４５に紙幣又は硬貨を投入し、紙幣払出口４８又は硬貨払出口４６から払い出された釣銭を取り出す。例えば電子マネー決済を選択したならば、客は、リーダ・ライタに電子マネー媒体を翳す。例えばクレジットカード決済を選択したならば、客は、カード挿入口４３にクレジットカードを挿入する。こうして、決済を終えたならば、客は、レシート発行口４４から発行されるレシートを受け取り、保持アーム５３から外したレジ袋又はマイバッグを持って退店する。

すなわちカメラ２１は、セルフＰＯＳ端末１１の正面で上記の如く行動する客の手の動きを撮影可能な位置に設置されている。

図３は、アテンダント端末１４のディスプレイに表示される監視画像ＳＣの一例を示す模式図である。前述したように、アテンダント端末１４のディスプレイには、複数のセルフＰＯＳ端末１１のそれぞれに対する監視画像ＳＣが区分されて表示される。図３は、そのうちの１つのセルフＰＯＳ端末１１に対する監視画像ＳＣの一例である。他のセルフＰＯＳ端末１１に対する監視画像ＳＣの構成もこれと同様なので、ここでの説明は省略する。

図３に示すように、監視画像ＳＣは、レジ番号欄７１、端末状態欄７２、エラー情報欄７３、宣言情報欄７４、明細欄７５及び合計欄７６を含む。

レジ番号欄７１は、レジ番号を表示するための欄である。レジ番号は、各セルフＰＯＳ端末１１を個々に識別するために、各セルフＰＯＳ端末１１に対して重複しないように割り当てられた一連の番号である。レジ番号は、各セルフＰＯＳ端末１１を識別するための識別情報である。

端末状態欄７２は、セルフＰＯＳ端末１１の動作状態を表示するための欄である。例えば動作状態として「待機中」、「利用開始」、「登録中」、「決済開始」及び「決済中」のいずれかを端末状態欄７２に表示する。

「待機中」は、前の客が決済を終えてから、次の客の利用開始が宣言されるまでの状態である。「待機中」の状態にあるセルフＰＯＳ端末１１のタッチパネル４１には、初期画像が表示される。初期画像は、例えば店舗備え付けのレジ袋を使用するか、マイバッグを使用するかを客に選択させるためのタッチボタンを含む画像である。

「利用開始」は、セルフＰＯＳ端末１１の正面に立った客が、決済のための利用開始を宣言した状態である。客は、レジ袋を使用するかマイバッグを使用するかの選択操作を初期画像に対して行う。この選択操作が利用開始を宣言となる。この選択操作を受けて、セルフＰＯＳ端末１１の動作状態は「利用開始」となる。

「登録中」は、客自身による買上商品の登録操作を受け付けている状態である。１点目の買上商品が登録されると、セルフＰＯＳ端末１１の動作状態は「登録中」となる。以後、決済への移行が宣言されるまで、セルフＰＯＳ端末１１の動作状態は「登録中」を維持する。

「決済開始」は、買上商品の登録を終えた客が決済への移行を宣言した状態である。「登録中」の状態にあるセルフＰＯＳ端末１１のタッチパネル４１には、［会計］のソフトキーが表示されている。買上商品の登録を終えた客は、［会計］のソフトキーにタッチする。この操作が決済への移行宣言となる。この操作を受けて、セルフＰＯＳ端末１１の動作状態は「決済開始」となる。

「決済中」は、現金決済、電子マネー決済、クレジットカード決済等の決済処理を実行している状態である。例えば紙幣投入口４７又は硬貨投入口４５に紙幣又は硬貨が投入されると、セルフＰＯＳ端末１１の動作状態は「決済中」となる。そして、決済処理を終えると、セルフＰＯＳ端末１１の動作状態は「待機中」に戻る。

エラー情報欄７３は、セルフＰＯＳ端末１１で発生したエラー情報を表示するための欄である。エラー情報は、通信エラー、レシート切れエラー等である。宣言情報欄７４は、客の宣言操作内容を表示するための欄である。例えば客がマイバッグを選択した場合、レジ袋が不要であることを示す「袋不要」が表示される。

明細欄７５は、セルフＰＯＳ端末１１で登録された買上商品の明細情報を表示するための欄である。明細情報は、例えば買上商品の商品名、点数、金額等である。合計欄７６は、セルフＰＯＳ端末１１で登録された買上商品の合計情報を表示するための欄である。合計情報は、合計点数、合計金額、投入金額、お釣り等である。

なお、監視画像ＳＣの構成は、これに限定されるものではない。その他の項目が表示される欄が配置されていてもよい。また、図３に表示されているテキストデータの項目もこれに限定されるものではない。その他の項目のテキストデータが表示されていてもよい。

図４は、不正行為推定装置２２の要部回路構成を示すブロック図である。不正行為推定装置２２は、プロセッサ８１、メインメモリ８２、補助記憶デバイス８３、時計８４、スピーカ８５、カメラインターフェース８６、通信インターフェース８７及びシステムバス８８を備える。システムバス８８は、アドレスバス、データバス等を含む。不正行為推定装置２２は、プロセッサ８１と、メインメモリ８２、補助記憶デバイス８３、時計８４、スピーカ８５、カメラインターフェース８６及び通信インターフェース８７とを、システムバス８８で接続することにより、コンピュータを構成する。

プロセッサ８１は、上記コンピュータの中枢部分に相当する。プロセッサ８１は、オペレーティングシステム又はアプリケーションプログラムに従って、不正行為推定装置２２としての各種の機能を実現するべく各部を制御する。プロセッサ８１は、例えばＣＰＵ（Central Processing Unit）である。

メインメモリ８２は、上記コンピュータの主記憶部分に相当する。メインメモリ８２は、不揮発性のメモリ領域及び揮発性のメモリ領域を含む。メインメモリ８２は、不揮発性のメモリ領域ではオペレーティングシステム又はアプリケーションプログラムを記憶する。メインメモリ８２は、揮発性のメモリ領域では、プロセッサ８１が各部を制御するための処理を実行する上で必要なデータを記憶する。この種のデータは、不揮発性のメモリ領域で記憶される場合もある。メインメモリ８２は、揮発性のメモリ領域を、プロセッサ８１によってデータが適宜書き換えられるワークエリアとして使用する。不揮発性のメモリ領域は、例えばＲＯＭ（Read Only Memory）である。揮発性のメモリ領域は、例えばＲＡＭ（Random Access Memory）である。

補助記憶デバイス８３は、上記コンピュータの補助記憶部分に相当する。補助記憶デバイス８３としては、例えばＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disc Drive）又はＥＥＰＲＯＭ（登録商標）（Electric Erasable Programmable Read-Only Memory）等の周知の記憶デバイスを単独で、あるいは複数組み合わせて用いられる。補助記憶デバイス８３は、プロセッサ８１が各種の処理を行う上で使用するデータ、プロセッサ８１での処理によって生成されたデータ等を保存する。補助記憶デバイス８３は、アプリケーションプログラムを記憶する場合もある。

メインメモリ８２又は補助記憶デバイス８３が記憶するアプリケーションプログラムは後述する制御プログラムを含む。制御プログラムをメインメモリ８２又は補助記憶デバイス８３にインストールする方法は特に限定されない。リムーバブルな記録媒体に制御プログラムを記録して、あるいはネットワークを介した通信により制御プログラムを配信して、メインメモリ８２又は補助記憶デバイス８３にインストールすることができる。記録媒体は、ＣＤ－ＲＯＭ、メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。

時計８４は、不正行為推定装置２２の時刻情報源として機能する。プロセッサ８１は、時計８４によって計時される時刻情報を基に、現在の日付及び時刻を取得する。

スピーカ８５は、音データを出力するための出力デバイスである。音データは、音、音声等を含む。

カメラインターフェース８６は、各カメラ２１と通信するためのインターフェースである。各カメラ２１から出力される撮影データは、カメラインターフェース８６を介して不正行為推定装置２２へと取り込まれる。撮影データは、カメラ２１に対応したセルフＰＯＳ端末１１を操作する客を撮影した撮影映像、撮影画像等を含む。

通信インターフェース８７は、セルフＰＯＳ端末１１、ＰＯＳサーバ１２、表示制御装置１３等との間で通信プロトコルに従いデータ通信を行うためのインターフェースである。例えば表示制御装置１３から出力される画像データは、通信インターフェース８７を介して不正行為推定装置２２へと取り込まれる。画像データは、セルフＰＯＳ端末１１毎に生成される監視画像ＳＣのデータである。

かかる構成の不正行為推定装置２２は、メインメモリ８２における揮発性メモリ領域の一部を、行動ファイル８２１（図５を参照）、時系列バッファ８２２（図６を参照）及び出力テーブル８２３（図７を参照）の領域とする。そして不正行為推定装置２２は、この領域に、行動ファイル８２１、時系列バッファ８２２及び出力テーブル８２３を形成する。

図５は、行動ファイル８２１のデータ構造の一例を示す模式図である。図５に示すように、行動ファイル８２１は、セルフＰＯＳ端末１１を識別するレジ番号別に、時刻ＴＭと、行動ステータスＡＳＴと、認識率ＲＰと、フレーム画像とを関連付けて記録したデータファイルである。時刻ＴＭは、行動ステータスＡＳＴを取得した時点における時刻である。行動ステータスＡＳＴは、後述するプロセッサ８１の行動認識部２２１の機能により客の行動を認識した状態を表す。本実施形態では、客の行動は、取出し行動及び袋詰め行動とする。

取出し行動は、籠台６０に置かれた籠から買上商品を取り出す行動である。例えば片手又は両手の骨格が本体４０の右側に移動し、買上商品を持ち上げるような動きを検出した場合、プロセッサ８１は、取出し行動があったと認識する。

袋詰め行動は、登録を終えた買上商品を袋詰め台５０のレジ袋又はマイバッグ等に入れる行動である。例えば登録行動を行った手の骨格が本体の左側に移動し、買上商品をレジ袋又はマイバッグ等に入れるような動きを検出した場合、プロセッサ８１は、袋詰め行動があったと認識する。

認識率ＲＰは、プロセッサ８１が撮影画像に含まれる客の行動を取出し行動として認識した認識率とその客の行動を袋詰め行動として認識した認識率とに基づいて算出された数値である。認識率ＲＰは、例えば百分率である。フレーム画像は、カメラ２１で撮影された撮影画像である。行動ファイル８２１には、フレーム画像を取得した順に記録される。なお、図５に表示されている項目はこれに限定されるものではない。その他の項目が表示されていてもよい。図５に表示されているテキストデータの内容は一例である。

図６は、時系列バッファ８２２の一例を示す模式図である。図６に示すように、時系列バッファ８２２は、セルフＰＯＳ端末１１を識別するレジ番号別に、開始時刻ＳＴＭと、終了時刻ＦＴＭと、ステータスＳＴ又は出力コードＯＣ（図７を参照）と、信頼度ＣＤとを関連付けて記述するための領域を有したものである。
開始時刻ＳＴＭは、行動ファイル８２１に行動ステータスＡＳＴが最も早く記述されている時刻ＴＭである。開始時刻ＳＴＭは、操作ステータスＨＳＴを取得した時点における時刻である。開始時刻ＳＴＭは、出力コードＯＣを取得した時点における時刻である。終了時刻ＦＴＭは、行動ファイル８２１に行動ステータスＡＳＴが最も遅く記述されている時刻ＴＭである。
ステータスＳＴは、行動ステータスＡＳＴ及び操作ステータスＨＳＴを含む。操作ステータスＨＳＴは、後述するプロセッサ８１の操作認識部２２２の機能により客によるセルフＰＯＳ端末１１への商品登録操作を認識した状態を表す。
信頼度ＣＤは、プロセッサ８１が客の行動として認識した認識結果の信頼性の高さである。信頼度ＣＤは、認識率ＲＰを基に算出された数値である。信頼度ＣＤは、例えば百分率である。信頼度ＣＤは、購買者の行動の信頼度の一例である。

時系列バッファ８２２には、開始時刻ＳＴＭの早い順にステータスＳＴ又は出力コードＯＣ、及び、信頼度ＣＤが記述される。本実施形態では、ステータスＳＴとして行動ステータスＡＳＴが記述される場合、開始時刻ＳＴＭ、終了時刻ＦＴＭ及び信頼度ＣＤが記述される。ステータスＳＴとして操作ステータスＨＳＴ又は出力コードＯＣが記述される場合、開始時刻ＳＴＭが記述され、終了時刻ＦＴＭ及び信頼度ＣＤには例えばＮＵＬＬ値が記述されるものとする。なお、図６に表示されている項目はこれに限定されるものではない。その他の項目が表示されていてもよい。

図７は、出力テーブル８２３の一例を示す模式図である。図７に示すように、出力テーブル８２３は、出力コードＯＣと、行動ステータスＡＳＴ“１１”の信頼度ＣＤの閾値と、行動ステータスＡＳＴ“１２”の信頼度ＣＤの閾値と、出力データとを関連付けて記述したデータテーブルである。
出力コードＯＣは、同一行の行動ステータスＡＳＴ“１１”の信頼度ＣＤの閾値、行動ステータスＡＳＴ“１２”の信頼度ＣＤの閾値及び出力データによって識別される一意の出力識別情報である。行動ステータスＡＳＴ“１１”は、取出し行動を示す。行動ステータスＡＳＴ“１２”は、袋詰め行動を示す。
行動ステータスＡＳＴ“１１”の信頼度ＣＤの閾値及び行動ステータスＡＳＴ“１２”の信頼度ＣＤの閾値をどのように設定するかは任意である。閾値は、不正行為推定装置２２において固定の数値であってもよいし、店舗によって所望の閾値に変更可能であってもよい。本実施形態では、店舗が予め行動ステータスＡＳＴ“１１”の信頼度ＣＤの閾値及び行動ステータスＡＳＴ“１２”の信頼度ＣＤの閾値を設定するものとする。閾値は、店舗が同一行の出力データを出力することを許容する数値、出力データを出力する基準値等ともいえる。閾値は、所定の条件の一例である。
出力データは、同一行の行動ステータスＡＳＴ“１１”の信頼度ＣＤの閾値及び行動ステータスＡＳＴ“１２”の信頼度ＣＤの閾値をそれぞれ満たす場合、セルフＰＯＳ端末１１又はアテンダント端末１４へと出力されるデータである。出力データは、例えばセルフＰＯＳ端末用テキストデータ、アテンダント端末用テキストデータ、音データ、色データ等である。

セルフＰＯＳ端末用テキストデータは、例えば「登録漏れの買上商品があります」等である。セルフＰＯＳ端末用テキストデータは、客に対して不正行為を報知する内容であればよい。セルフＰＯＳ端末用テキストデータは、結果情報の一例である。セルフＰＯＳ端末用テキストデータは、不正行為を知らしめる情報の一例である。
アテンダント端末用テキストデータは、例えば「レジＮｏ．Ｘのレジで不正行為が行われました」等である。アテンダント端末用テキストデータは、アテンダントに対して客の不正行為を報知する内容であればよい。アテンダント端末用テキストデータは、結果情報の一例である。アテンダント端末用テキストデータは、不正行為を知らしめる情報の一例である。
音データは、例えば連続した音でもよいし、間欠的に繰り返す音でもよい。音データは、例えば「登録漏れの買上商品があります」という音声でもよい。音データは、客又はアテンダントに対して客の不正行為を知らしめる音であればよい。音データは、結果情報の一例である。音データは、不正行為を知らしめる音の一例である。
色データは、例えば発光色を表すデータである。色データは、アテンダントに対して客の不正行為を知らしめる色であればよい。色データは、結果情報の一例である。本実施形態では、店舗が予め出力データを設定するものとする。出力データは、例えば出力先のデータ、出力方法に係るデータを含んでもよい。

図７に示すように、例えば行動ステータスＡＳＴ“１１”の信頼度ＣＤが９５以上であり、行動ステータスＡＳＴ“１２”の信頼度ＣＤが８５以上である場合、出力コードＯＣ“９１”及び“９３”に対応したセルフＰＯＳ端末用テキストデータ及び音データが出力データとして出力される。行動ステータスＡＳＴ“１１”の信頼度ＣＤの閾値及び行動ステータスＡＳＴ“１２”の信頼度ＣＤの閾値の設定により、１つの出力データが出力されてもよいし、複数の出力データの組み合わせが出力されてもよい。なお、図７に表示されている項目はこれに限定されるものではない。その他の項目が表示されていてもよい。図７に表示されているテキストデータの内容は一例である。

不正行為推定装置２２の行動認識部２２１、操作認識部２２２、第１取得部２２３、第２取得部２２４、不正推定部２２５及び出力部２２６としての機能は、セルフＰＯＳ端末１１毎に備えられる機能である。他のセルフＰＯＳ端末１１に対する行動認識部２２１、操作認識部２２２、第１取得部２２３、第２取得部２２４、不正推定部２２５及び出力部２２６としての機能も同様である。不正行為推定装置２２は、行動認識部２２１、操作認識部２２２、第１取得部２２３、第２取得部２２４、不正推定部２２５及び出力部２２６としての機能を、プロセッサ８１と、該プロセッサ８１を制御する制御プログラムとによって実現する。

図８乃至図１１は、不正行為推定装置２２におけるプロセッサ８１の要部制御手順を示す流れ図である。以下、これらの流れ図を用いて、セルフＰＯＳ端末１１が導入された店舗のシステムの主要な動作について説明する。なお、以下に説明する動作は一例である。同様な結果が得られるのであれば、その手順は特に限定されるものではない。

図８は、行動認識部２２１及び第２取得部２２４としての機能を説明するための流れ図である。
プロセッサ８１は、ＡＣＴ１として客を認識するのを待ち受けている。カメラ２１は、セルフＰＯＳ端末１１の正面に立つ客を上方から撮影可能な位置に設置されている。そこでプロセッサ８１は、カメラ２１の撮影映像から、セルフＰＯＳ端末１１の正面に人物が立ったことを検出すると、客を認識したと判断する。

客を認識すると、プロセッサ８１は、ＡＣＴ１においてＹＥＳと判定し、ＡＣＴ２へと進む。プロセッサ８１は、ＡＣＴ２としてセルフＰＯＳ端末１１のレジ番号を取得する。各カメラ２１は、各セルフＰＯＳ端末１１と１対１で対応している。そこでプロセッサ８１は、セルフＰＯＳ端末１１の正面に立つ客を撮影しているカメラ２１の識別情報からセルフＰＯＳ端末１１を特定し、そのセルフＰＯＳ端末１１のレジ番号を取得する。

プロセッサ８１は、ＡＣＴ３としてカメラ２１で撮影されたフレーム画像の取得を開始する。プロセッサ８１は、フレーム画像を取得する毎に、行動ファイル８２１にフレーム画像を保存する。

プロセッサ８１は、ＡＣＴ４としてカメラ２１で撮影されたフレーム画像から人物、つまりは客の骨格を推定する。骨格推定は、ディープラーニング等のＡＩ技術を使うことによって、安価なカメラ２１でも実現できる。プロセッサ８１は、骨格推定によって得られた手の動きと、その動きに伴い変化する手と興味領域（ＲＯＩ）、例えばセルフＰＯＳ端末１１の本体４０、袋詰め台５０又は籠台６０との位置関係の時間的な変化から、客の取出し行動又は袋詰め行動を認識し、各々の認識率ＲＰを算出する。具体的にはプロセッサ８１は、手の動きから、取出し行動として認識した認識率と袋詰め行動として認識した認識率とを算出する。プロセッサ８１は、これらの認識率の中で最も高い認識率を、認識率ＲＰとする。例えば取出し行動の認識率が９８パーセントであり、袋詰め行動の認識率が２パーセントである場合、認識率ＲＰは９８パーセントとなる。プロセッサ８１は、９８パーセントの認識率ＲＰが算出された取出し行動を、客の行動として認識する。なお、手の動きに基づく認識率ＲＰの算出処理は既存の処理で周知なので、具体的な説明は省略する。

プロセッサ８１は、ＡＣＴ５として、ＡＣＴ４の処理を基に取出し行動を認識したか否かを確認する。行動認識部２２１の機能により取出し行動を認識した場合、プロセッサ８１は、ＡＣＴ５においてＹＥＳと判定し、ＡＣＴ６へと進む。

プロセッサ８１は、ＡＣＴ６として行動ステータスＡＳＴを“１１”とする。その後、プロセッサ８１は、ＡＣＴ１２の処理へと進む。

プロセッサ８１は、ＡＣＴ１２として時計８４で計時されている現在の時刻ＴＭを取得する。プロセッサ８１は、ＡＣＴ１３として、ＡＣＴ２の処理で取得したレジ番号が設定された行動ファイル８２１に、ＡＣＴ３の処理で保存されたフレーム画像に対応して、時刻ＴＭと、行動ステータスＡＳＴとして“１１”と、ＡＣＴ４の処理で算出した認識率ＲＰとを関連付けて記述する。その後、プロセッサ８１は、ＡＣＴ３に戻る。

取出し行動を認識しない場合、プロセッサ８１は、ＡＣＴ５においてＮＯと判定し、ＡＣＴ７へと進む。

プロセッサ８１は、ＡＣＴ７として、ＡＣＴ４の処理を基に袋詰め行動を認識したか否かを確認する。行動認識部２２１の機能により袋詰め行動を認識した場合、プロセッサ８１は、ＡＣＴ７においてＹＥＳと判定し、ＡＣＴ８へと進む。

プロセッサ８１は、ＡＣＴ８として、ＡＣＴ２の処理で取得したレジ番号が設定された時系列バッファ８２２に、行動ステータスＡＳＴとして“１１”が開始時刻ＳＴＭ、終了時刻ＦＴＭ及び信頼度ＣＤと共に記述されているか否かを確認する。

時系列バッファ８２２に行動ステータスＡＳＴとして“１１”が記述されていない場合、プロセッサ８１は、ＡＣＴ８においてＮＯと判定し、ＡＣＴ９へと進む。

プロセッサ８１は、ＡＣＴ９として第２取得部２２４の機能により行動ファイル８２１を参照して行動ステータスＡＳＴとして“１１”が記述されている認識率ＲＰを基に信頼度ＣＤを算出する。例えばプロセッサ８１は、行動ステータスＡＳＴとして“１１”が記述されている１又は複数の認識率ＲＰの中から最も高い認識率ＲＰを抽出する。プロセッサ８１は、この最も高い認識率ＲＰを、取出し行動の信頼度ＣＤとする。取出し行動の信頼度ＣＤが高いと、プロセッサ８１が取出し行動として認識した認識結果の信頼性が高い、すなわち客が取出し行動を行った信頼性が高いことを意味する。取出し行動の信頼度ＣＤが低いと、プロセッサ８１が取出し行動として認識した認識結果の信頼性が低い、すなわち客が取出し行動を行った信頼性が低いことを意味する。

プロセッサ８１は、ＡＣＴ１０として時系列バッファ８２２に、行動ステータスＡＳＴとして“１１”を開始時刻ＳＴＭ、終了時刻ＦＴＭ及び信頼度ＣＤと共に記述する。開始時刻ＳＴＭは、行動ファイル８２１に行動ステータスＡＳＴとして“１１”が最も早く記述されている時刻ＴＭである。終了時刻ＦＴＭは、行動ファイル８２１に行動ステータスＡＳＴとして“１１”が最も遅く記述されている時刻ＴＭである。その後、プロセッサ８１は、ＡＣＴ１１へと進む。

時系列バッファ８２２に行動ステータスＡＳＴとして“１１”が記述されている場合、プロセッサ８１は、ＡＣＴ８においてＹＥＳと判定し、ＡＣＴ９及びＡＣＴ１０の処理をスキップしてＡＣＴ１１へと進む。

プロセッサ８１は、ＡＣＴ１１として行動ステータスＡＳＴを“１２”とする。

プロセッサ８１は、ＡＣＴ１２として時計８４で計時されている現在の時刻ＴＭを取得する。プロセッサ８１は、ＡＣＴ１３として行動ファイル８２１に、ＡＣＴ３の処理で保存されたフレーム画像に対応して、時刻ＴＭと、行動ステータスＡＳＴとして“１２”と、ＡＣＴ４の処理で算出した認識率ＲＰとを関連付けて記述する。その後、プロセッサ８１は、ＡＣＴ３に戻る。

袋詰め行動を認識しない場合、プロセッサ８１は、ＡＣＴ７においてＮＯと判定し、ＡＣＴ１４へと進む。

プロセッサ８１は、ＡＣＴ１４として時系列バッファ８２２に、行動ステータスＡＳＴとして“１２”が開始時刻ＳＴＭ、終了時刻ＦＴＭ及び信頼度ＣＤと共に記述されているか否かを確認する。

時系列バッファ８２２に行動ステータスＡＳＴとして“１２”が記述されていない場合、プロセッサ８１は、ＡＣＴ１４においてＮＯと判定し、ＡＣＴ１５へと進む。

プロセッサ８１は、ＡＣＴ１５として第２取得部２２４の機能により行動ファイル８２１を参照して行動ステータスＡＳＴとして“１２”が記述されている認識率ＲＰを基に信頼度ＣＤを算出する。例えばプロセッサ８１は、行動ステータスＡＳＴとして“１２”が記述されている１又は複数の認識率ＲＰの中から最も高い認識率ＲＰを抽出する。プロセッサ８１は、この最も高い認識率ＲＰを、袋詰め行動の信頼度ＣＤとする。袋詰め行動の信頼度ＣＤが高いと、プロセッサ８１が袋詰め行動として認識した認識結果の信頼性が高い、すなわち客が袋詰め行動を行った信頼性が高いことを意味する。袋詰め行動の信頼度ＣＤが低いと、プロセッサ８１が袋詰め行動として認識した認識結果の信頼性が低い、すなわち客が袋詰め行動を行った信頼性が低いことを意味する。

プロセッサ８１は、ＡＣＴ１６として時系列バッファ８２２に、行動ステータスＡＳＴとして“１２”を開始時刻ＳＴＭ、終了時刻ＦＴＭ及び信頼度ＣＤと共に記述する。開始時刻ＳＴＭは、行動ファイル８２１に行動ステータスＡＳＴとして“１２”が最も早く記述されている時刻ＴＭである。終了時刻ＦＴＭは、行動ファイル８２１に行動ステータスＡＳＴとして“１２”が最も遅く記述されている時刻ＴＭである。以上で、プロセッサ８１は、行動認識部２２１及び第２取得部２２４としての機能を終了する。

時系列バッファ８２２に行動ステータスＡＳＴとして“１２”が記述されている場合、プロセッサ８１は、ＡＣＴ１４においてＹＥＳと判定し、ＡＣＴ１５及びＡＣＴ１６の処理をスキップして行動認識部２２１及び第２取得部２２４としての機能を終了する。

通常、客は、セルフＰＯＳ端末１１に対して取出し行動、袋詰め行動を順番に繰り返すことで、買上商品のデータをセルフＰＯＳ端末１１に登録する。したがって、時系列バッファ８２２には、行動ステータスＡＳＴが“１１”、“１２”の順番で時系列に記述されることとなる。

その後、再び、カメラ２１の撮影映像から、セルフＰＯＳ端末１１の正面に人物が立ったことを検出すると、プロセッサ８１はＡＣＴ２乃至ＡＣＴ１６の処理を前述したのと同様に実行する。

図９は、操作認識部２２２及び第１取得部２２３としての機能を説明するための流れ図である。
プロセッサ８１は、ＡＣＴ２１としてセルフＰＯＳ端末１１に対して利用開始が宣言されるのを待ち受けている。利用開始が宣言されると、当該セルフＰＯＳ端末１１に対応した監視画像ＳＣの端末状態欄７２には「利用開始」が表示される。プロセッサ８１は、表示制御装置１３を介して取得した監視画像ＳＣの端末状態欄７２から「利用開始」の文字を認識できるか確認する。「利用開始」の文字を認識できた場合、プロセッサ８１は、操作認識部２２２の機能により利用開始が宣言されたと認識する。

利用開始が宣言されたことを認識すると、プロセッサ８１は、ＡＣＴ２１においてＹＥＳと判定し、ＡＣＴ２２へと進む。プロセッサ８１は、ＡＣＴ２２としてセルフＰＯＳ端末１１のレジ番号を取得する。監視画像ＳＣのレジ番号欄７１には、レジ番号が表示されている。プロセッサ８１は、表示制御装置１３を介して取得した監視画像ＳＣのレジ番号欄７１からレジ番号の文字を認識し、その文字をレジ番号として取得する。

プロセッサ８１は、ＡＣＴ２３として操作ステータスＨＳＴを“２１”とする。操作ステータスＨＳＴ“２１”は、利用開始操作を示す。プロセッサ８１は、ＡＣＴ２４として時計８４で計時されている現在の時刻ＴＭを取得する。プロセッサ８１は、ＡＣＴ２５として、ＡＣＴ２２の処理で取得したレジ番号が設定された時系列バッファ８２２に、開始時刻ＳＴＭとしての時刻ＴＭと、操作ステータスＨＳＴとして“２１”とを関連付けて記述する。なお、プロセッサ８１は、終了時刻ＦＴＭ及び信頼度ＣＤにＮＵＬＬ値を記述する。

したがって、セルフＰＯＳ端末１１の正面に立った客が利用開始のための宣言操作を行うと、当該セルフＰＯＳ端末１１に対応する時系列バッファ８２２に、先ず操作ステータスＨＳＴとして“２１”がその時刻ＴＭと共に記述される。

プロセッサ８１は、ＡＣＴ２６としてセルフＰＯＳ端末１１に対する操作認識を開始する。具体的にはプロセッサ８１は、表示制御装置１３を介して取得した監視画像ＳＣの文字認識により得られる情報の遷移から、例えば商品登録操作、決済開始操作等を認識する。

例えばプロセッサ８１は、明細欄７５に買上商品の商品名、点数、金額等の明細情報が追加されると、商品登録操作があったと認識する。例えばプロセッサ８１は、端末状態欄７２の表示が「決済開始」に切り替わった場合、決済開始操作があったと認識する。

プロセッサ８１は、ＡＣＴ２７又はＡＣＴ２８として商品登録操作又は決済開始操作を認識するのを待ち受ける。

ＡＣＴ２７又はＡＣＴ２８の待ち受け状態において、操作認識部２２２の機能により商品登録操作を認識すると、プロセッサ８１は、ＡＣＴ２７においてＹＥＳと判定し、ＡＣＴ２９へと進む。

プロセッサ８１は、ＡＣＴ２９として第１取得部２２３の機能により操作ステータスＨＳＴを“２２”とする。操作ステータスＨＳＴ“２２”は、商品登録操作を示す。プロセッサ８１は、ＡＣＴ３０として第１取得部２２３の機能により時計８４で計時されている現在の時刻ＴＭを取得する。プロセッサ８１は、ＡＣＴ３１として時系列バッファ８２２に、開始時刻ＳＴＭとしての時刻ＴＭと、操作ステータスＨＳＴとして“２２”とを関連付けて記述する。なお、プロセッサ８１は、終了時刻ＦＴＭ及び信頼度ＣＤにＮＵＬＬ値を記述する。操作ステータスＨＳＴは、操作情報の一例である。現在の時刻ＴＭは、操作情報の一例である。その後、プロセッサ８１は、ＡＣＴ２７又はＡＣＴ２８の待ち受け状態に戻る。

ＡＣＴ２７又はＡＣＴ２８の待ち受け状態において、操作認識部２２２の機能により決済開始操作を認識すると、プロセッサ８１は、ＡＣＴ２８においてＹＥＳと判定し、ＡＣＴ３２へと進む。プロセッサ８１は、ＡＣＴ３２としてセルフＰＯＳ端末１１に対する操作認識を終了する。

プロセッサ８１は、ＡＣＴ３３として操作ステータスＨＳＴを“２３”とする。操作ステータスＨＳＴ“２３”は、決済開始操作を示す。プロセッサ８１は、ＡＣＴ３４として時計８４で計時されている現在の時刻ＴＭを取得する。プロセッサ８１は、ＡＣＴ３５として時系列バッファ８２２に、開始時刻ＳＴＭとしての時刻ＴＭと、操作ステータスＨＳＴとして“２３”とを関連付けて記述する。なお、プロセッサ８１は、終了時刻ＦＴＭ及び信頼度ＣＤにＮＵＬＬ値を記述する。以上で、プロセッサ８１は、操作認識部２２２及び第１取得部２２３としての機能を終了する。

通常、客は、セルフＰＯＳ端末１１に対して利用開始操作、商品登録操作、決済開始操作の順に操作を行う。したがって、時系列バッファ８２２には、操作ステータスＨＳＴが“２１”、“２２”、“２３”の順番で時系列に記述されることとなる。

その後、再び、監視画像ＳＣのデータから、セルフＰＯＳ端末１１の利用開始操作を検出すると、プロセッサ８１はＡＣＴ２２乃至ＡＣＴ３５の処理を前述したのと同様に実行する。

図１０は、不正推定部２２５としての機能を説明するための流れ図である。
本実施形態では、プロセッサ８１は、買上商品毎に、図１０に示される手順の処理を実行するものとする。
プロセッサ８１は、ＡＣＴ４１として時系列バッファ８２２に行動ステータスＡＳＴとして“１２”すなわち袋詰め行動が記述されているか否かを確認する。行動ステータスＡＳＴとして“１２”が記述されている場合、プロセッサ８１は、ＡＣＴ４１においてＹＥＳと判定し、ＡＣＴ４２へと進む。

プロセッサ８１は、ＡＣＴ４２として操作ステータスＨＳＴとして“２２”すなわち商品登録操作が記述されているか否かを確認する。具体的にはプロセッサ８１は、行動ステータスＡＳＴとして“１２”が記述された開始時刻ＳＴＭよりも１つ前に、開始時刻ＳＴＭとしての時刻ＴＭと関連付けて操作ステータスＨＳＴとして“２２”が記述されているか否かを確認する。操作ステータスＨＳＴとして“２２”が記述されている場合、プロセッサ８１は、ＡＣＴ４２においてＹＥＳと判定し、不正推定部２２５としての機能を終了する。なお、操作ステータスＨＳＴとして“２２”が記述されている場合、時系列バッファ８２２には、行動ステータスＡＳＴ“１１”、操作ステータスＨＳＴ“２２”、行動ステータスＡＳＴ“１２”の順番で時系列に記述されていることとなる。

操作ステータスＨＳＴとして“２２”が記述されていない場合、プロセッサ８１は、ＡＣＴ４２においてＮＯと判定し、ＡＣＴ４３へと進む。なお、操作ステータスＨＳＴとして“２２”が記述されていない場合、時系列バッファ８２２には、行動ステータスＡＳＴ“１１”、行動ステータスＡＳＴ“１２”の順番で時系列に記述されていることとなる。

プロセッサ８１は、ＡＣＴ４３として時系列バッファ８２２に行動ステータスＡＳＴとして記述された“１１”と同一行の信頼度ＣＤすなわち取出し行動の信頼度ＣＤが、出力テーブル８２３に記述された行動ステータスＡＳＴ“１１”の信頼度ＣＤの閾値を満たすか否かを、出力コードＯＣ順に確認する。時系列バッファ８２２に記述された取出し行動の信頼度ＣＤが出力テーブル８２３に記述された行動ステータスＡＳＴ“１１”の信頼度ＣＤの閾値を満たさない場合、プロセッサ８１は、ＡＣＴ４３においてＮＯと判定し、ＡＣＴ４５へと進む。ＡＣＴ４５の処理は、後述する。

時系列バッファ８２２に記述された取出し行動の信頼度ＣＤが出力テーブル８２３に記述された行動ステータスＡＳＴ“１１”の信頼度ＣＤの閾値を満たす場合、プロセッサ８１は、ＡＣＴ４３においてＹＥＳと判定し、ＡＣＴ４４へと進む。

プロセッサ８１は、ＡＣＴ４４として時系列バッファ８２２に行動ステータスＡＳＴとして記述された“１２”と同一行の信頼度ＣＤすなわち袋詰め行動の信頼度ＣＤが、出力テーブル８２３に記述された、ＡＣＴ４３の処理で確認した行動ステータスＡＳＴ“１１”の信頼度ＣＤの閾値と同一行の行動ステータスＡＳＴ“１２”の信頼度ＣＤの閾値を満たすか否かを確認する。時系列バッファ８２２に記述された袋詰め行動の信頼度ＣＤが出力テーブル８２３に記述された行動ステータスＡＳＴ“１２”の信頼度ＣＤの閾値を満たさない場合、プロセッサ８１は、ＡＣＴ４４においてＮＯと判定し、ＡＣＴ４５へと進む。

プロセッサ８１は、ＡＣＴ４５として行動ファイル８２１及び時系列バッファ８２２をログとして記録する。例えばプロセッサ８１は、メインメモリ８２における不揮発性メモリ領域の一部に、当該行動ファイル８２１及び時系列バッファ８２２を記憶してもよい。この場合、メインメモリ８２は、記憶部の一例である。その後、プロセッサ８１は、ＡＣＴ４９へと進む。ＡＣＴ４９の処理は、後述する。

時系列バッファ８２２に記述された袋詰め行動の信頼度ＣＤが出力テーブル８２３に記述された行動ステータスＡＳＴ“１２”の信頼度ＣＤの閾値を満たす場合、プロセッサ８１は、ＡＣＴ４４においてＹＥＳと判定し、ＡＣＴ４６へと進む。

プロセッサ８１は、ＡＣＴ４６として出力コードＯＣを取得する。プロセッサ８１は、ＡＣＴ４７として時計８４で計時されている現在の時刻ＴＭを取得する。プロセッサ８１は、ＡＣＴ４８として時系列バッファ８２２に、開始時刻ＳＴＭとしての時刻ＴＭと、ＡＣＴ４６の処理で取得した出力コードＯＣとを関連付けて記述する。なお、プロセッサ８１は、終了時刻ＦＴＭ及び信頼度ＣＤにＮＵＬＬ値を記述する。

プロセッサ８１は、ＡＣＴ４９として出力テーブル８２３の出力コードＯＣ全てについて、取出し行動及び袋詰め行動の信頼度ＣＤと閾値との比較が実行されたか否かを確認する。出力コードＯＣ全てについて取出し行動及び袋詰め行動の信頼度ＣＤと閾値との比較が実行されていない場合、プロセッサ８１は、ＡＣＴ４９においてＮＯと判定し、ＡＣＴ４３に戻る。その後、プロセッサ８１はＡＣＴ４３乃至ＡＣＴ４８の処理を前述したのと同様に実行する。

出力コードＯＣ全てについて取出し行動及び袋詰め行動の信頼度と閾値との比較が実行された場合、プロセッサ８１は、ＡＣＴ４９においてＹＥＳと判定し、不正推定部２２５としての機能を終了する。

このように、時系列バッファ８２２に操作ステータスＨＳＴとして“２２”が記述されていない場合であって、時系列バッファ８２２に記述された取出し行動の信頼度ＣＤ及び袋詰め行動の信頼度ＣＤが、出力テーブル８２３に記述された行動ステータスＡＳＴ“１１”の信頼度ＣＤ及び行動ステータスＡＳＴ“１２”の信頼度ＣＤの閾値をそれぞれ満たす場合、プロセッサ８１は、客が取出したが商品登録操作をしていない商品の袋詰め行動を行った信頼性が高いと推定する。すなわちプロセッサ８１は、不正推定部２２５の機能により客の行為を不正行為と推定する。この場合、プロセッサ８１は、時系列バッファ８２２に行動ステータスＡＳＴ“１１”の信頼度ＣＤの閾値及び行動ステータスＡＳＴ“１２”の信頼度ＣＤの閾値を満たした出力コードＯＣを記述する。

時系列バッファ８２２に操作ステータスＨＳＴとして“２２”が記述されていない場合であって、時系列バッファ８２２に記述された取出し行動の信頼度ＣＤが出力テーブル８２３に記述された行動ステータスＡＳＴ“１１”の信頼度ＣＤの閾値を満たさない場合及び／又は時系列バッファ８２２に記述された袋詰め行動の信頼度ＣＤが出力テーブル８２３に記述された行動ステータスＡＳＴ“１２”の信頼度ＣＤの閾値を満たさない場合、プロセッサ８１は、客が取出したが商品登録操作をしていない商品の袋詰め行動を行った信頼性が低いと推定する。この場合、プロセッサ８１は、行動ファイル８２１及び時系列バッファ８２２をログとして記録する。

図１１は、出力部２２６としての機能を説明するための流れ図である。
プロセッサ８１は、ＡＣＴ５１として時系列バッファ８２２に出力コードＯＣが記述されるのを待ち受ける。時系列バッファ８２２に出力コードＯＣが記述されると、プロセッサ８１は、ＡＣＴ５１においてＮＯと判定し、ＡＣＴ５２へと進む。プロセッサ８１は、ＡＣＴ５２としてその出力コードＯＣが“９１”であるか否かを確認する。

出力コードＯＣが“９１”である場合、プロセッサ８１は、ＡＣＴ５２においてＹＥＳと判定し、ＡＣＴ５３へと進む。プロセッサ８１は、ＡＣＴ５３として出力部２２６の機能により第１出力コマンドを通信インターフェース８７からセルフＰＯＳ端末１１へと出力する。具体的にはプロセッサ８１は、出力コードＯＣとして“９１”が記述された時系列バッファ８２２のレジ番号を取得する。プロセッサ８１は、出力テーブル８２３を参照して出力コードＯＣ“９１”と同一行の出力データすなわちセルフＰＯＳ端末用テキストデータを取得する。第１出力コマンドは、レジ番号及びセルフＰＯＳ端末用テキストデータを含む。

セルフＰＯＳ端末１１は、第１出力コマンドに含まれるレジ番号で識別されるセルフＰＯＳ端末１１のタッチパネル４１に、セルフＰＯＳ端末用テキストデータを表示させる。その後、プロセッサ８１は、ＡＣＴ５４へと進む。

出力コードＯＣが“９１”でない場合、プロセッサ８１は、ＡＣＴ５２においてＮＯと判定し、ＡＣＴ５４へと進む。すなわちＡＣＴ５３の処理後又は出力コードＯＣが“９１”でない場合、プロセッサ８１は、ＡＣＴ５４としてその出力コードＯＣが“９２”であるか否かを確認する。

出力コードＯＣが“９２”である場合、プロセッサ８１は、ＡＣＴ５４においてＹＥＳと判定し、ＡＣＴ５５へと進む。プロセッサ８１は、ＡＣＴ５５として出力部２２６の機能により第２出力コマンドを通信インターフェース８７から表示制御装置１３を介してアテンダント端末１４へと出力する。具体的にはプロセッサ８１は、出力コードＯＣとして“９２”が記述された時系列バッファ８２２のレジ番号を取得する。プロセッサ８１は、出力テーブル８２３を参照して出力コードＯＣ“９２”と同一行の出力データすなわちアテンダント端末用テキストデータを取得する。第２出力コマンドは、レジ番号及びアテンダント端末用テキストデータを含む。

表示制御装置１３は、第２出力コマンドに含まれるレジ番号で識別されるアテンダント端末１４の監視画像ＳＣに、アテンダント端末用テキストデータを表示させる。その後、プロセッサ８１は、ＡＣＴ５６へと進む。

出力コードＯＣが“９２”でない場合、プロセッサ８１は、ＡＣＴ５４においてＮＯと判定し、ＡＣＴ５６へと進む。すなわちＡＣＴ６５の処理後又は出力コードＯＣが“９２”でない場合、プロセッサ８１は、ＡＣＴ５６としてその出力コードＯＣが“９３”であるか否かを確認する。

出力コードＯＣが“９３”である場合、プロセッサ８１は、ＡＣＴ５６においてＹＥＳと判定し、ＡＣＴ５７へと進む。プロセッサ８１は、ＡＣＴ５７として出力部２２６の機能により第３出力コマンドを通信インターフェース８７からセルフＰＯＳ端末１１へと出力する。具体的にはプロセッサ８１は、出力コードＯＣとして“９３”が記述された時系列バッファ８２２のレジ番号を取得する。プロセッサ８１は、出力テーブル８２３を参照して出力コードＯＣ“９３”と同一行の出力データすなわち音データを取得する。第３出力コマンドは、レジ番号及び音データを含む。

セルフＰＯＳ端末１１は、第３出力コマンドに含まれるレジ番号で識別されるセルフＰＯＳ端末１１のスピーカ８５に音データを出力させる。その後、プロセッサ８１は、ＡＣＴ６８へと進む。

出力コードＯＣが“９３”でない場合、プロセッサ８１は、ＡＣＴ５６においてＮＯと判定し、ＡＣＴ５８へと進む。すなわちＡＣＴ５７の処理後又は出力コードＯＣが“９３”でない場合、プロセッサ８１は、ＡＣＴ５８としてその出力コードＯＣが“９４”であるか否かを確認する。

出力コードＯＣが“９４”である場合、プロセッサ８１は、ＡＣＴ５８においてＹＥＳと判定し、ＡＣＴ５９へと進む。プロセッサ８１は、ＡＣＴ５９として出力部２２６の機能により第４出力コマンドを通信インターフェース８７からセルフＰＯＳ端末１１へと出力する。具体的にはプロセッサ８１は、出力コードＯＣとして“９４”が記述された時系列バッファ８２２のレジ番号を取得する。プロセッサ８１は、出力テーブル８２３を参照して出力コードＯＣ“９４”と同一行の出力データすなわち色データを取得する。第４出力コマンドは、レジ番号及び色データを含む。

セルフＰＯＳ端末１１は、第４出力コマンドに含まれるレジ番号で識別されるセルフＰＯＳ端末１１の発光部６５を色データに基づいて発光させる。発光部６５を所定の色を選択的に発光させてもよいし、点滅させてもよい。以上で、プロセッサ８１は、出力部２２６としての機能を終了する。

出力コードＯＣが“９４”でない場合、プロセッサ８１は、ＡＣＴ５８においてＮＯと判定し、出力部２２６としての機能を終了する。

以上詳述したように、不正行為推定装置２２のプロセッサ８１は、カメラ２１で撮影されたフレーム画像を基に、セルフＰＯＳ端末１１への商品登録操作を行う客の取出し行動及び袋詰め行動を認識すると、認識率ＲＰを算出する。プロセッサ８１は、行動ファイル８２１に、フレーム画像に対応して時刻ＴＭ、行動ステータスＡＳＴ及び認識率ＲＰを記述する。プロセッサ８１は、行動ファイル８２１に記述された認識率ＲＰを基に、取出し行動及び袋詰め行動の信頼度ＣＤを算出する。プロセッサ８１は、時系列バッファ８２２に、開始時刻ＳＴＭ、終了時刻ＦＴＭ、行動ステータスＡＳＴ及び信頼度ＣＤを記述する。また、プロセッサ８１は、表示制御装置１３からアテンダント端末１４へと出力される監視画像ＳＣのデータを基に、商品登録操作を認識すると、時系列バッファ８２２に操作情報として、操作ステータスＨＳＴ及び開始時刻ＳＴＭとしての現在の時刻ＴＭを記述する。プロセッサ８１は、商品登録操作の操作情報と、取出し行動及び袋詰め行動の信頼度ＣＤとに基づく結果情報を出力する。

例えば時系列バッファ８２２に操作ステータスＨＳＴとして“２２”が記述されていない場合であって、時系列バッファ８２２に記述された取出し行動の信頼度ＣＤ及び袋詰め行動の信頼度ＣＤが、出力テーブル８２３に記述された行動ステータスＡＳＴ“１１”の信頼度ＣＤ及び行動ステータスＡＳＴ“１２”の信頼度ＣＤの閾値をそれぞれ満たす場合、プロセッサ８１は、その出力コードＯＣを取得し、開始時刻ＳＴＭとしての現在の時刻ＴＭと共に時系列バッファ８２２に記述する。そして、プロセッサ８１は、出力テーブル８２３の出力コードＯＣに対応した出力データを含む１又は複数の出力コマンドをセルフＰＯＳ端末１１又はアテンダント端末１４へと出力する。

例えばプロセッサ８１は、出力データとしてのセルフＰＯＳ端末用テキストデータを含む第１出力コマンドをセルフＰＯＳ端末１１へと出力すると、セルフＰＯＳ端末１１のタッチパネル４１に、不正行為を報知する内容のセルフＰＯＳ端末用テキストデータが表示される。これにより、客に対して不正行為があったことを注意喚起する、客から事情を聞くことができる。その結果、セルフＰＯＳ端末１１に対する客の不正行為が抑止される。

例えばプロセッサ８１は、出力データとしてのアテンダント端末用テキストデータを含む第２出力コマンドをアテンダント端末１４へと出力すると、アテンダント端末１４の監視画像ＳＣに、不正行為を報知する内容のアテンダント端末用テキストデータが表示される。これにより、アテンダントは、不正行為の発生を容易に知ることができる。アテンダントは、速やかに該当する客に注意喚起する、客から事情を聞くことができる。その結果、セルフＰＯＳ端末１１に対する客の不正行為が抑止される。

例えばプロセッサ８１は、出力データとしての音データを含む第３出力コマンドをセルフＰＯＳ端末１１へと出力すると、セルフＰＯＳ端末１１のスピーカ８５に客の不正行為を知らしめる音データが出力される。これにより、客に対して不正行為があったことを注意喚起することができる。音又は音声を確認したアテンダントは、速やかに該当する客に注意喚起する、客から事情を聞くことができる。その結果、セルフＰＯＳ端末１１に対する客の不正行為が抑止される。

例えばプロセッサ８１は、出力データとしての色データを含む第４出力コマンドをセルフＰＯＳ端末１１へと出力すると、色データに基づいて客の不正行為を知らしめるようにセルフＰＯＳ端末１１の発光部６５を発光させる。これにより、発光部６５の発光又は点滅を確認したアテンダントは、速やかに該当する客に注意喚起する、客から事情を聞くことができる。その結果、セルフＰＯＳ端末１１に対する客の不正行為が抑止される。

このように、客が取出したが商品登録操作をしていない商品の袋詰め行動を行った信頼性が高いと推定された場合、行動ステータスＡＳＴ“１１”すなわち取出し行動の信頼度ＣＤの閾値及び行動ステータスＡＳＴ“１２”すなわち袋詰め行動の信頼度ＣＤの閾値に応じて出力データが出力される。これらの閾値及び出力データは、店舗で予め設定することが可能である。このため、店舗のポリシーに応じて、不正行為の報知基準、不正行為の報知先、不正行為の報知方法等を設定することができる。

例えば時系列バッファ８２２に操作ステータスＨＳＴとして“２２”が記述されていない場合であって、時系列バッファ８２２に記述された取出し行動の信頼度ＣＤが出力テーブル８２３に記述された行動ステータスＡＳＴ“１１”の信頼度ＣＤの閾値を満たさない場合及び／又は時系列バッファ８２２に記述された袋詰め行動の信頼度ＣＤが出力テーブル８２３に記述された行動ステータスＡＳＴ“１２”の信頼度ＣＤの閾値を満たさない場合、プロセッサ８１は、行動ファイル８２１及び時系列バッファ８２２をログとして記録する。

このように、客が取出したが商品登録操作をしていない商品の袋詰め行動を行った信頼性が低いと推定された場合、行動ファイル８２１及び時系列バッファ８２２がログとして記録される。出力データは出力されないため、客の正常行為を誤って不正行為と判断されたり、客の不正行為を誤って正常行為と判断されることがない。このため、客との間でトラブルが発生したり、店舗に対する信頼が低下する等の事態を抑止できる。また、アテンダントは、ログを分析することによって客が不正行為を行ったか否かを確認することができる。さらに、ログとして記録された行動ファイル８２１は、フレーム画像による骨格推定の精度向上を図るための学習処理に用いることができる。

したがって、本実施形態によれば、客が不正行為を行った信頼性の高さに応じて適切に対処することができる。

以上、不正行為推定装置及びその制御プログラム、不正行為推定方法の実施形態について説明したが、かかる実施形態はこれに限定されるものではない。

前記実施形態では、１台のセルフＰＯＳ端末１１に対して１台のカメラ２１を配置する場合を例示した。カメラ２１は、必ずしもセルフＰＯＳ端末１１毎に配置しなくてもよい。例えば隣接する２台のセルフＰＯＳ端末１１を操作する客を１台のカメラ２１で撮影できるのであれば、カメラ２１の台数を減らしてもよい。ただしその場合には、図８のＡＣＴ２において、撮影映像に写し出されている人物の位置に最も近いセルフＰＯＳ端末１１のレジ番号を取得することになる。また、例えば１台のセルフＰＯＳ端末１１に対して複数台のカメラ２１を配置してもよい。そうすることにより、セルフＰＯＳ端末１１の死角を減らし、客の行動を精度良く認識することができる。

前記実施形態では、プロセッサ８１は、行動ステータスＡＳＴとして“１１”が記述されている１又は複数の認識率ＲＰの中から最も高い認識率ＲＰを抽出し、これを取出し行動の信頼度ＣＤとする場合を例示した。例えばプロセッサ８１は、行動ステータスＡＳＴとして“１１”が記述されている認識率ＲＰが複数ある場合、その平均値を算出してもよい。プロセッサ８１は、この平均値を、取出し行動の信頼度ＣＤとしてもよい。袋詰め行動も同様に、プロセッサ８１は、ステータスＳＴとして“１２”が記述されている認識率ＲＰが複数ある場合、その平均値を算出してもよい。プロセッサ８１は、この平均値を、袋詰め行動の信頼度ＣＤとしてもよい。

前記実施形態では、客の行動として取出し行動及び袋詰め行動を例示した。例えばプロセッサ８１は、登録行動、退店行動等を認識してもよい。登録行動は、籠から取り出した買上商品のデータをセルフＰＯＳ端末１１に登録する行動である。例えば取出し行動を行った手の骨格が、本体４０の中央で買上商品を読取窓４２に翳すような動きを検出した場合、プロセッサ８１は、登録行動があったと認識する。あるいは、片手の骨格が、本体４０のタッチパネル４１を操作するような動きを検出した場合、プロセッサ８１は、登録行動があったと認識する。退店行動は、決済を終えた客がセルフＰＯＳ端末１１から離れる行動である。例えば決済を終えた客の手の骨格がレジ袋又はマイバッグ等を保持アーム５３から外すような動きをしたのち、カメラ２１の撮影映像から客を検知できなくなると、プロセッサ８１は、退店行動があったと認識する。

前記実施形態では、出力コードＯＣ“９２”は、アテンダント端末用テキストデータである場合を例示した。
例えば出力コードＯＣ“９２”は、アテンダント端末用テキストデータ及び音データでもよい。この場合、アテンダント端末１４の監視画像ＳＣにアテンダント端末用テキストデータを表示させると共に、アテンダント端末１４のスピーカに音データを出力させる。音データは、例えば連続した音でもよいし、間欠的に繰り返す音でもよい。音データは、例えば「レジＮｏ．Ｘのレジで不正行為が行われました」という音声でもよい。音データは、アテンダントに対して客の不正行為を知らしめる音又は音声であればよい。この場合、アテンダント端末用テキストデータ及び音データは、不正行為を知らしめる情報の一例である。
例えば出力テーブル８２３に、出力コードＯＣ“９１”乃至出力コードＯＣ“９４”に加えて、出力コードＯＣ“９５”を追加してもよい。出力コードＯＣ“９５”の出力データは、例えばアテンダント端末用音データとしてもよい。アテンダント端末用音データは、不正行為を知らしめる情報の一例である。アテンダント端末用音データは、結果情報の一例である。この場合、出力コードＯＣ“９３”の出力データは、例えばセルフＰＯＳ端末用音データとしてもよい。セルフＰＯＳ端末用音データは、不正行為を知らしめる情報の一例である。セルフＰＯＳ端末用音データは、結果情報の一例である。

前記実施形態では、プロセッサ８１は、ログとして記録するために行動ファイル８２１及び時系列バッファ８２２をメインメモリ８２における不揮発性メモリ領域の一部に記憶する場合を例示した。例えばプロセッサ８１は、通信インターフェース８７を介してＰＯＳサーバ１２に行動ファイル８２１及び時系列バッファ８２２を送信してもよい。ＰＯＳサーバ１２は、メインメモリ又は補助記憶デバイスに行動ファイル８２１及び時系列バッファ８２２を記憶してもよい。行動ファイル８２１及び時系列バッファ８２２は、例えば不正行為推定装置２２が通信可能な外部装置のメモリに記憶してもよい。

前記実施形態では、時系列バッファ８２２に操作ステータスＨＳＴとして“２２”が記述されていない場合であって、時系列バッファ８２２に記述された取出し行動の信頼度ＣＤが出力テーブル８２３に記述された行動ステータスＡＳＴ“１１”の信頼度ＣＤの閾値を満たさない場合及び／又は時系列バッファ８２２に記述された袋詰め行動の信頼度ＣＤが出力テーブル８２３に記述された行動ステータスＡＳＴ“１２”の信頼度ＣＤの閾値を満たさない場合、プロセッサ８１は、行動ファイル８２１及び時系列バッファ８２２をログとして記録する場合を例示した。
例えば時系列バッファ８２２に操作ステータスＨＳＴとして“２２”が記述されていない場合であって、時系列バッファ８２２に記述された取出し行動の信頼度ＣＤ及び袋詰め行動の信頼度ＣＤが、出力テーブル８２３に記述された行動ステータスＡＳＴ“１１”の信頼度ＣＤ及び行動ステータスＡＳＴ“１２”の信頼度ＣＤの閾値をそれぞれ満たす場合も、プロセッサ８１は、行動ファイル８２１及び時系列バッファ８２２をログとして記録してもよい。

前記実施形態では、出力テーブル８２３には、行動ステータスＡＳＴ“１１”の信頼度ＣＤの閾値及び行動ステータスＡＳＴ“１２”の信頼度ＣＤの閾値が記述されている場合を例示した。例えば出力テーブル８２３は、出力コードＯＣと、行動ステータスＡＳＴ“１１”の信頼度ＣＤの第１閾値と、行動ステータスＡＳＴ“１１”の信頼度ＣＤの第２閾値と、行動ステータスＡＳＴ“１２”の信頼度ＣＤの第１閾値と、行動ステータスＡＳＴ“１２”の信頼度ＣＤの第２閾値と、出力データとを関連付けて記述したデータテーブルでもよい。第１閾値及び第２閾値をどのように設定するかは任意である。店舗が予め行動ステータスＡＳＴ“１１”の信頼度ＣＤの第１閾値及び第２閾値、及び、行動ステータスＡＳＴ“１２”の信頼度ＣＤの第１閾値及び第２閾値を設定するものとする。
例えば時系列バッファ８２２に操作ステータスＨＳＴとして“２２”が記述されていない場合であって、時系列バッファ８２２に記述された取出し行動の信頼度ＣＤ及び袋詰め行動の信頼度ＣＤが、出力テーブル８２３に記述された行動ステータスＡＳＴ“１１”の信頼度ＣＤの第１閾値及び行動ステータスＡＳＴ“１２”の信頼度ＣＤの第１閾値をそれぞれ満たす場合、プロセッサ８１は、その出力コードＯＣを取得し、開始時刻ＳＴＭとしての現在の時刻ＴＭと共に時系列バッファ８２２に記述してもよい。
例えば時系列バッファ８２２に操作ステータスＨＳＴとして“２２”が記述されていない場合であって、時系列バッファ８２２に記述された取出し行動の信頼度ＣＤが出力テーブル８２３に記述された行動ステータスＡＳＴ“１１”の信頼度ＣＤの第１閾値を満たさないが第２閾値を満たす場合及び／又は時系列バッファ８２２に記述された袋詰め行動の信頼度ＣＤが出力テーブル８２３に記述された行動ステータスＡＳＴ“１２”の信頼度ＣＤＤの第１閾値を満たさないが第２閾値を満たす場合、プロセッサ８１は、行動ファイル８２１及び時系列バッファ８２２をログとして記録してもよい。

前記実施形態において、アテンダント端末１４が表示制御装置１３としての機能を内包していてもよい。この場合、操作認識部２２２は、アテンダント端末１４から監視画像ＳＣのデータを取得し、セルフＰＯＳ端末１１に対する客の操作を認識する。あるいは、操作認識部２２２は、各セルフＰＯＳ端末１１から出力されるデータ信号を、例えばルータを介して通信ネットワーク１５から取り込み、そのデータ信号を基にセルフＰＯＳ端末１１に対する客の操作を認識してもよい。

前記実施形態では、不正行為推定装置２２は、行動認識部２２１、操作認識部２２２、第１取得部２２３、第２取得部２２４、不正推定部２２５及び出力部２２６としての機能を有する場合を例示した。不正行為推定装置２２は、複数の装置に機能を分散させたシステムによって実現されてもよい。

前記実施形態では、カメラ２１で撮影された画像から客の骨格を推定し、その骨格推定に基づいた手の位置と興味領域、例えばセルフＰＯＳ端末１１の本体４０、袋詰め台５０又は籠台６０等の位置と対応関係の時間的な変化に基づいて、客の取出し行動及び袋詰め行動を認識した。このように行動認識の手法は、骨格推定に基づいた手法に限定されない。
例えば、図１２に示すように、プロセッサ８１は、カメラ２１で撮影されたフレーム画像毎に客の左手及び右手を推定し、左手の領域を示す第１のバウンディングボックス９１と、右手の領域を示す第２のバウンディングボックス９２とを推論する。またプロセッサ８１は、籠台６０に置かれた籠９０の領域を示す第３のバウンディングボックス９３を推論する。
プロセッサ８１は、第１のバウンディングボックス９１又は第２のバウンディングボックス９２のなかから、商品を持っている手の領域を示すバウンディングボックス９１又は９２を選択する。例えば図１２においては、第２のバウンディングボックス９２が選択される。プロセッサ８１は、各フレーム画像から選択した第１又は第２のバウンディングボックス９１又は９２の動きを追従する。またプロセッサ８１は、第３のバウンディングボックスを興味領域（ＲＯＩ）とする。そしてプロセッサ８１は、第１又は第２のバウンディングボックス９１又は９２の動きに伴い変化する第１又は第２のバウンディングボックス９１又は９２と興味領域との位置関係の時間的な変化から、客の取出し行動及び袋詰め行動を認識する。
なお、興味領域は、籠９０の領域を示す第３のバウンディングボックス９３に限定されない。例えば、袋詰め台５０に置かれたレジ袋又はマイバッグ等の領域を示す第４のバウンディングボックスを推論し、この第４のバウンディングボックスを興味領域として、第１又は第２のバウンディングボックス９１又は９２の動きと興味領域との位置関係の時間的な変化から、客の取出し行動及び袋詰め行動を認識してもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１…セルフＰＯＳ端末、１２…ＰＯＳサーバ、１３…表示制御装置、１４…アテンダント端末、１５…通信ネットワーク、２１…カメラ、２２…不正行為推定装置、４０…本体、４１…タッチパネル、４２…読取窓、４３…カード挿入口、４４…レシート発行口、４５…硬貨投入口、４６…硬貨払出口、４７…紙幣投入口、４８…紙幣払出口、５０…袋詰め台、５２…袋保持具、５３…保持アーム、６０…籠台、６１…ハンディスキャナ、６３…置台、６４…表示ポール、６５…発光部、８１…プロセッサ、８２…メインメモリ、８３…補助記憶デバイス、８４…時計、８５…スピーカ、８６…カメラインターフェース、８７…通信インターフェース、８８…システムバス、１００…セルフＰＯＳシステム、２００…不正行為推定システム、８２１…行動ファイル、８２２…時系列バッファ、８２３…出力テーブル、２２１…行動認識部、２２２…操作認識部、２２３…第１取得部、２２４…第２取得部、２２５…不正推定部、２２６…出力部。

Claims (10)

1. 購買者による決済端末への商品登録操作から操作情報を取得する第１取得手段と、
   前記商品登録操作を行う前記購買者の行動を認識する行動認識手段と、
   前記購買者の行動の信頼度を取得する第２取得手段と、
   前記操作情報及び前記信頼度に基づく結果情報を出力する出力手段と、
   を具備する不正行為推定装置。
2. 前記信頼度が所定の条件を満たす場合、前記出力手段は、前記決済端末の表示部に不正行為を知らしめる情報を出力する、請求項１記載の不正行為推定装置。
3. 前記信頼度が所定の条件を満たす場合、前記出力手段は、店員端末に不正行為を知らしめる情報を出力する、請求項１記載の不正行為推定装置。
4. 前記信頼度が所定の条件を満たす場合、前記出力手段は、前記決済端末に不正行為を知らしめる音を出力する、請求項１記載の不正行為推定装置。
5. 前記信頼度が所定の条件を満たす場合、前記出力手段は、不正行為を知らしめるように前記決済端末の発光部を発光させる、請求項１記載の不正行為推定装置。
6. 前記信頼度が所定の条件を満たさない場合、前記出力手段は、前記結果情報を出力せず、前記操作情報及び前記信頼度を記憶部に記憶する、請求項１記載の不正行為推定装置。
7. 不正行為推定装置のコンピュータに、
   購買者による決済端末への商品登録操作から操作情報を取得する機能、
   前記商品登録操作を行う前記購買者の行動を認識する機能、
   前記購買者の行動の信頼度を取得する機能、及び
   前記操作情報及び前記信頼度に基づく結果情報を出力する機能、
   を実現させるための制御プログラム。
8. 不正行為推定装置が、
   購買者による決済端末への商品登録操作から操作情報を取得し、
   前記商品登録操作を行う前記購買者の行動を認識し、
   前記購買者の行動の信頼度を取得し、
   前記操作情報及び前記信頼度に基づく結果情報を出力する、不正行為推定方法。
9. 前記行動認識手段は、カメラで撮影された画像から推定される購買者の骨格に基づいた手の位置と決済端末に係る興味領域の位置との対応関係の時間的な変化に基づいて、前記購買者の行動を認識する、請求項１記載の不正行為推定装置。
10. 前記行動認識手段は、カメラで撮影された画像から推定される購買者の手の領域を示すバウンディングボックスの位置と決済端末に係る興味領域の位置との対応関係の時間的な変化に基づいて、前記購買者の行動を認識する、請求項１記載の不正行為推定装置。

Images