JP2022110707A - 監視装置、監視システム及び監視方法 - Google Patents

Abstract

【課題】 本発明の実施形態が解決しようとする課題は、セルフＰＯＳ端末の操作に関わる誤った行動を店員等の担当者が速やかに確認することを可能とする。【解決手段】 一実施形態において、監視装置は、検出手段及び記録手段を備える。検出手段は、決済端末を操作する操作者の行動を撮影して得られた動画データに基づいて、操作者の誤った行動を検出する。記録手段は、検出手段により検出された行動が映っている動画データの範囲を識別可能とするインデックスデータを記録する。【選択図】 図９

Description

本発明の実施形態は、監視装置、監視システム及び監視方法に関する。

セルフＰＯＳ端末は、買上商品の登録から決済までの各種の操作を原則として客が行うようにしたフルセルフタイプの決済端末である。
このようなセルフＰＯＳ端末では、客が買上商品群に加えた商品が、買上商品として正しく登録されないなどの誤った操作が行われてしまうことがあり得る。
そこで、カメラにより客の行動を撮影することは既に行われており、撮影された画像を店員等が確認することで、どのような操作が行われたのかを確認することが可能である。
しかしながら、客の行動を記録した動画から客の誤った行動を店員が見つけ出すには、長い時間を要する場合があった。
このような事情から、セルフＰＯＳ端末の操作に関わる誤った行動を店員等の担当者が速やかに確認できることが望まれていた。

特開２０１１－６５３２５号公報

本発明の実施形態が解決しようとする課題は、セルフＰＯＳ端末の操作に関わる誤った行動を店員等の担当者が速やかに確認することを可能とする監視装置、監視システム及び監視方法を提供することにある

一実施形態において、監視装置は、検出手段及び記録手段を備える。検出手段は、決済端末を操作する操作者の行動を撮影して得られた動画データに基づいて、操作者の誤った行動を検出する。記録手段は、検出手段により検出された行動が映っている動画データの範囲を識別可能とするインデックスデータを記録する。

セルフＰＯＳ端末が導入された店舗のシステム構成図。 セルフＰＯＳ端末とカメラとの位置関係を説明するための図。 アテンダント端末のディスプレイに表示される監視画像の一例を示す模式図。 不正行為認識装置の要部回路構成を示すブロック図。 メッセージテーブルの一例を示す模式図。 時系列バッファの一例を示す模式図。 行動認識部としての機能を説明するための流れ図。 操作認識部としての機能を説明するための流れ図。 不正判定部としての機能を説明するための流れ図。 不正判定部としての機能を説明するための流れ図。 不正判定部としての機能を説明するための流れ図。 報知部及び動画再生部としての機能を説明するための流れ図。

以下、一実施形態について、図面を用いて説明する。
図１は、セルフＰＯＳ端末１１が導入された店舗のシステム構成図である。本システムは、セルフＰＯＳシステム１００と、不正行為認識システム２００を含む。セルフＰＯＳシステム１００は、複数台のセルフＰＯＳ端末１１と、ＰＯＳサーバ１２と、表示制御装置１３と、通信ネットワーク１４と、を備える。複数台のセルフＰＯＳ端末１１と、ＰＯＳサーバ１２と、表示制御装置１３とは、通信ネットワーク１４に接続する。通信ネットワーク１４は、典型的にはＬＡＮ（Local Area Network）である。ＬＡＮは、有線ＬＡＮであってもよいし、無線ＬＡＮであってもよい。

セルフＰＯＳ端末１１は、買上商品の登録から決済までの操作を客が自ら行うようにしたフルセルフ対応の決済端末である。客は、購買者、消費者、顧客等と称される場合もある。店員がセルフＰＯＳ端末１１の操作者となる場合もある。しかしながらセルフＰＯＳ端末１１の操作者は主としては客であるため、以下においては操作者が客であるとして説明する。ＰＯＳサーバ１２は、各セルフＰＯＳ端末１１の動作を一元的に制御するためのサーバ用コンピュータである。表示制御装置１３は、各セルフＰＯＳ端末１１から出力されるデータ信号を基に、セルフＰＯＳ端末１１毎に監視画像ＳＣ（図３を参照）を生成して、アテンダント端末２４の表示デバイスに表示させるコントローラである。このようなセルフＰＯＳシステム１００は、従来周知のものをそのまま適用することができる。

不正行為認識システム２００は、複数のカメラ２１と、画像記憶装置２２と、不正行為認識装置２３と、アテンダント端末２４とを含む。複数のカメラ２１は、それぞれ複数のセルフＰＯＳ端末１１と１対１で対応している。
カメラ２１は、対応するセルフＰＯＳ端末１１を操作する操作者を撮影し、撮像データを出力するためのものである。撮像データは、操作者の動作を表す動画データである。従ってカメラ２１としては、例えば動画撮影の機能を備えたビデオカメラが用いられる。カメラ２１は、撮影デバイスの一例である。
画像記憶装置２２は、内蔵する記憶デバイスに、各カメラ２１から出力される撮像データを、各カメラ２１が対応するセルフＰＯＳ端末１１のレジ番号に関連付けて記憶する。画像記憶装置２２としては、ＳＳＤ（Solid State Drive）又はＨＤＤ（Hard Disc Drive）などの大容量の記憶装置を単独又は組み合わせて用いることができる。

不正行為認識装置２３は、行動認識部２３１、操作認識部２３２、不正判定部２３３、報知部２３４及び動画再生部２３５としての機能を有する。行動認識部２３１は、画像記憶装置２２により記憶されている撮像データを基に、セルフＰＯＳ端末１１に対する客の行動を認識する機能である。操作認識部２３２は、表示制御装置１３からアテンダント端末２４へと出力される監視画像ＳＣのデータを基に、セルフＰＯＳ端末１１に対する客の操作を認識する機能である。不正判定部２３３は、行動認識部２３１による認識結果と操作認識部２３２による認識結果とを基に、セルフＰＯＳ端末１１の操作に関わる誤った客の行動（以下、不正行為と称する）を判定する機能である。報知部２３４は、不正判定部２３３により不正行為であると判定された場合に報知する機能である。報知は、例えばアテンダント端末２４からアテンダントと称され、各セルフＰＯＳ端末１１での操作状況を監視する担当者である店員に対して行われる。動画再生部２３５は、画像記憶装置２２により記憶されている撮像データに基づく動画再生をアテンダント端末２４にて行わせる機能である。
アテンダント端末２４は、表示制御装置１３及び不正行為認識装置２３に接続する。アテンダント端末２４は、アテンダントが使用する情報端末装置である。アテンダント端末２４は、液晶ディスプレイ、有機ＥＬディスプレイ等のディスプレイを備える。アテンダント端末２４は、ディスプレイの画面を複数に区分し、区分毎に異なるアテンダント端末２４の監視画像ＳＣを表示する。
不正行為認識装置２３は、監視装置の一例である。そして不正行為認識システム２００は、監視システムの一例である。

図２は、セルフＰＯＳ端末１１とカメラ２１との位置関係を説明するための図である。始めに、セルフＰＯＳ端末１１の外観構成について説明する。
セルフＰＯＳ端末１１は、床面に設置された本体４０と、この本体４０の脇に設置された袋詰め台５０とを備える。本体４０は、その上部にタッチパネル４１を取り付けている。タッチパネル４１は、ディスプレイとタッチセンサとで構成される。ディスプレイは、セルフＰＯＳ端末１１を操作するオペレータに対して種々の画面を表示するためのデバイスである。タッチセンサは、オペレータによる画面へのタッチ入力を検知するためのデバイスである。セルフＰＯＳ端末１１においてオペレータは、通常は客である。

本体４０は、袋詰め台５０が設置された側とは反対側の側面中央部に籠台６０を設けている。籠台６０は、売場から来た客が買上商品を入れた籠等を置くためのものである。客は、タッチパネル４１の画面が見えるように、図２において本体４０の手前側に立って作業を行う。このため客から見ると、本体４０を挟んで右側に籠台６０があり、左側に袋詰め台５０がある。以下の説明では、客が立つ側を本体４０の正面とし、袋詰め台５０が設置されている側を本体４０の左側とし、籠台６０が設けられている側を本体４０の右側とする。

本体４０は、その正面に、スキャナの読取窓４２、カード挿入口４３、レシート発行口４４、硬貨投入口４５、硬貨払出口４６、紙幣投入口４７及び紙幣払出口４８を形成する。また、本体４０の右側面から外部へと通信ケーブル６１が延びており、この通信ケーブル６１の先端に電子マネー媒体用のリーダ・ライタ６２が接続されている。リーダ・ライタ６２は、本体４０の右側面上部に設けられた置台６３に置かれている。

本体４０は、その上面に表示ポール６４を取り付けている。表示ポール６４は、その先端部に例えば青色と赤色とを選択的に発光させる発光部６５を備える。表示ポール６４は、発光部６５の発光色によってセルフＰＯＳ端末１１の状態、例えば待機中、動作中、呼出中、エラー中等を表示する。
袋詰め台５０は、ハウジング５１の上部に袋保持具５２を取り付けた構造となっている。袋保持具５２は、一対の保持アーム５３を備えており、この保持アーム５３で店舗備え付けのレジ袋又は客が持参した買物袋いわゆるマイバッグ等を保持する。

次に、セルフＰＯＳ端末１１とカメラ２１との位置関係を説明する。
図２に示すように、カメラ２１は、セルフＰＯＳ端末１１の正面に立って、本体４０、袋詰め台５０及び籠台６０等の部品と対峙する客を上方から撮影可能な位置に設置されている。

セルフＰＯＳ端末１１の正面に立った客は、先ず、向かって右側の籠台６０に買上商品を入れた籠等を書き、左側の保持アーム５３にレジ袋又はマイバッグ等を保持させる。次いで、客は、タッチパネル４１に表示されるガイダンスに従い、タッチパネル４１を操作して、セルフＰＯＳ端末１１の利用開始を宣言する。
その後、客は、籠台６０に置かれた籠から買上商品を１点ずつ手に取る。そして、その買上商品にバーコードが付されている場合には、客は、そのバーコードを読取窓４２に翳してスキャナで読み取らせることで、商品登録を行う。買上商品にバーコートが付されていない場合には、客は、タッチパネル４１を操作してバーコード無し商品のリストから買上商品を選択することで、商品登録を行う。客は、登録を終えた買上商品をレジ袋又はマイバッグ等に入れる。

全ての買上商品を登録し終えた客は、タッチパネル４１を操作して決済方法を選択する。例えば現金決済を選択した場合には、客は、紙幣投入口４７又は硬貨投入口４５に紙幣又は硬貨を投入し、紙幣払出口４８又は硬貨払出口４６から払い出された釣銭を取り出す。例えば電子マネー決済を選択したならば、客は、リーダ・ライタ６２に電子マネー媒体を翳す。例えばクレジットカード決済を選択したならば、客は、カード挿入口４３にクレジットカードを挿入する。こうして、決済を終えたならば、客は、レシート発行口４４から発行されるレシートを受け取り、保持アーム５３から外したレジ袋又はマイバックを持って退店する。
すなわちカメラ２１は、セルフＰＯＳ端末１１の正面で上記の如く行動する客の手の動きを撮影可能な位置に設置されている。

図３は、アテンダント端末２４のディスプレイに表示される監視画像ＳＣの一例を示す模式図である。前述したように、アテンダント端末２４のディスプレイには、複数のセルフＰＯＳ端末１１のそれぞれに対する監視画像ＳＣが区分されて表示される。図３は、そのうちの１つのセルフＰＯＳ端末１１に対する監視画像ＳＣの一例である。他のセルフＰＯＳ端末１１に対する監視画像ＳＣの構成もこれと同様なので、ここでの説明は省略する。
図３に示すように、監視画像ＳＣは、レジ番号欄７１、端末状態欄７２、エラー情報欄７３、宣言情報欄７４、明細欄７５及び合計欄７６を含む。

レジ番号欄７１は、レジ番号を表示するための欄である。レジ番号は、各セルフＰＯＳ端末１１を個々に識別するために、各セルフＰＯＳ端末１１に対して重複しないように割り当てられた一連の番号である。レジ番号は、各セルフＰＯＳ端末１１を識別するための識別情報である。
端末状態欄７２は、セルフＰＯＳ端末１１の動作状態を表示するための欄である。本実施形態では、動作状態として「待機中」、「利用開始」、「登録中」、「決済開始」及び「決済中」のいずれかを端末状態欄７２に表示する。

「待機中」は、前の客が決済を終えてから、次の客の利用開始が宣言されるまでの状態である。「待機中」の状態にあるセルフＰＯＳ端末１１のタッチパネルには、初期画像が表示される。初期画像は、例えば店舗備え付けのレジ袋を使用するか、マイバックを使用するかを客に選択させるためのタッチボタンを含む画像である。
「利用開始」は、セルフＰＯＳ端末１１の正面に立った客が、決済のための利用開始を宣言した状態である。客は、レジ袋を使用するかマイバックを使用するかの選択操作を初期画像に対して行う。この選択操作が利用開始を宣言となる。この選択操作を受けて、セルフＰＯＳ端末１１の動作状態は「利用開始」となる。

「登録中」は、客自身による買上商品の登録操作を受け付けている状態である。１点目の買上商品が登録されると、セルフＰＯＳ端末１１の動作状態は「登録中」となる。以後、決済への移行が宣言されるまで、セルフＰＯＳ端末１１の動作状態は「登録中」を維持する。
「決済開始」は、買上商品の登録を終えた客が決済への移行を宣言した状態である。「登録中」の状態にあるセルフＰＯＳ端末１１のタッチパネル４１には、［会計］のソフトキーが表示されている。買上商品の登録を終えた客は、［会計］のソフトキーにタッチする。この操作が決済への移行宣言となる。この操作を受けて、セルフＰＯＳ端末１１の動作状態は「決済開始」となる。

「決済中」は、現金決済、電子マネー決済、クレジットカード決済等の決済処理を実行している状態である。例えば、紙幣投入口４７又は硬貨投入口４５に紙幣又は硬貨が投入されると、セルフＰＯＳ端末１１の動作状態は「決済中」となる。そして、決済処理を終えると、セルフＰＯＳ端末１１の動作状態は「待機中」に戻る。

エラー情報欄７３は、セルフＰＯＳ端末１１で発生したエラー情報を表示するための欄である。エラー情報は、通信エラー、レシート切れエラー等である。
宣言情報欄７４は、客の宣言操作内容を表示するための欄である。例えば、客がマイバックを選択した場合、レジ袋が不要であることを示す「袋不要」が表示される。
明細欄７５は、セルフＰＯＳ端末１１で登録された買上商品の明細情報を表示するための欄である。明細情報は、例えば買上商品の商品名、点数、金額等である。合計欄７６は、セルフＰＯＳ端末１１で登録された買上商品の合計情報を表示するための欄である。合計情報は、合計点数、合計金額、投入金額、お釣り等である。

なお、監視画像ＳＣの構成は、これに限定されるものではない。その他の項目が表示される欄が配置されていてもよい。また、図３に表示されているテキストデータの項目もこれに限定されるものではない。その他の項目のテキストデータが表示されていてもよい。

図４は、不正行為認識装置２３の要部回路構成を示すブロック図である。不正行為認識装置２３は、プロセッサ８１、メインメモリ８２、補助記憶デバイス８３、時計８４、画像インターフェース８５、通信インターフェース８６及びシステムバス８７を備える。システムバス８７は、アドレスバス、データバス等を含む。不正行為認識装置２３は、プロセッサ８１と、メインメモリ８２、補助記憶デバイス８３、時計８４、画像インターフェース８５及び通信インターフェース８６とを、システムバス８７で接続することにより、コンピュータを構成する。

プロセッサ８１は、上記コンピュータの中枢部分に相当する。プロセッサ８１は、オペレーティングシステム又はアプリケーションプログラムに従って、不正行為認識装置２３としての各種の機能を実現するべく各部を制御する。プロセッサ８１は、例えばＣＰＵ（Central Processing Unit）である。

メインメモリ８２は、上記コンピュータの主記憶部分に相当する。メインメモリ８２は、不揮発性のメモリ領域及び揮発性のメモリ領域を含む。メインメモリ８２は、不揮発性のメモリ領域ではオペレーティングシステム又はアプリケーションプログラムを記憶する。メインメモリ８２は、揮発性のメモリ領域では、プロセッサ８１が各部を制御するための処理を実行する上で必要なデータを記憶する。この種のデータは、不揮発性のメモリ領域で記憶される場合もある。メインメモリ８２は、揮発性のメモリ領域を、プロセッサ８１によってデータが適宜書き換えられるワークエリアとして使用する。不揮発性のメモリ領域は、例えばＲＯＭ（Read Only Memory）である。揮発性のメモリ領域は、例えばＲＡＭ（Random Access Memory）である。

補助記憶デバイス８３は、上記コンピュータの補助記憶部分に相当する。補助記憶デバイス８３としては、例えばＳＳＤ、ＨＤＤ又はＥＥＰＲＯＭ（Electric Erasable Programmable Read-Only Memory）等の周知の記憶デバイスを単独で、あるいは複数組み合わせて用いられる。補助記憶デバイス８３は、プロセッサ８１が各種の処理を行う上で使用するデータ、プロセッサ８１での処理によって生成されたデータ等を保存する。補助記憶デバイス８３は、アプリケーションプログラムを記憶する場合もある。

メインメモリ８２又は補助記憶デバイス８３が記憶するアプリケーションプログラムは後述する制御プログラムを含む。制御プログラムをメインメモリ８２又は補助記憶デバイス８３にインストールする方法は特に限定されない。リムーバブルな記録媒体に制御プログラムを記録して、あるいはネットワークを介した通信により制御プログラムを配信して、メインメモリ８２又は補助記憶デバイス８３にインストールすることができる。記録媒体は、ＣＤ－ＲＯＭ、メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。

時計８４は、不正行為認識装置２３の時刻情報源として機能する。プロセッサ８１は、時計８４によって計時される時刻情報を基に、現在の日付及び時刻を取得する。
画像インターフェース８５は、画像記憶装置２２と通信するためのインターフェースである。画像記憶装置２２に記憶されている撮像データは、画像インターフェース８５を介して不正行為認識装置２３へと取り込まれる。

通信インターフェース８６は、表示制御装置１３及びアテンダント端末２４と通信するためのインターフェースである。表示制御装置１３から出力される画像データは、通信インターフェース８６を介して不正行為認識装置２３へと取り込まれる。画像データは、セルフＰＯＳ端末１１毎に生成される監視画像ＳＣのデータである。アテンダント端末２４出力される各種のデータは、通信インターフェース８６を介して不正行為認識装置２３へと取り込まれる。プロセッサ８１によりアテンダント端末２４へと与えるべき各種のデータは、通信インターフェース８６を介してアテンダント端末２４へと出力される。

かかる構成の不正行為認識装置２３は、メインメモリ８２における揮発性メモリ領域の一部をメッセージテーブル８２１の領域とする。そして不正行為認識装置２３は、この領域に、図５に示すデータ構造のメッセージテーブル８２１を形成する。
図５は、メッセージテーブル８２１の一例を示す模式図である。図示するように、メッセージテーブル８２１は、エラーコードＥＣと関連付けてメッセージのテキストデータを記述したデータテーブルである。エラーコードＥＣと、それに関連付けられたメッセージのテキストデータとについては、後述の説明の中で明らかにする。

また、不正行為認識装置２３は、メインメモリ８２における揮発性メモリ領域の一部を時系列バッファ８２２の領域とする。そして不正行為認識装置２３は、この領域に、図６に示すデータ構造の時系列バッファ８２２を、セルフＰＯＳ端末１１の数だけ形成する。
図６は、時系列バッファ８２２の一例を示す模式図である。図示するように、時系列バッファ８２２は、セルフＰＯＳ端末１１を識別するレジ番号別に、ステータスＳＴ又はエラーコードＥＣを時刻ＴＭの早い順に記述するための領域を有したものである。ステータスＳＴについても、後述の説明の中で明らかにする。

しかして不正行為認識装置２３は、セルフＰＯＳ端末１１に対する客の不正行為を抑止するために、前述した行動認識部２３１、操作認識部２３２、不正判定部２３３及び報知部２３４としての機能を、プロセッサ８１と、該プロセッサ８１を制御する制御プログラムとによって実現する。

行動認識部２３１、操作認識部２３２、不正判定部２３３及び報知部２３４としての機能は、セルフＰＯＳ端末１１毎に備えられる機能である。そこで以下では、１台のセルフＰＯＳ端末１１に対する行動認識部２３１、操作認識部２３２、不正判定部２３３及び報知部２３４としての機能を詳細に説明する。他のセルフＰＯＳ端末１１に対する行動認識部２３１、操作認識部２３２、不正判定部２３３及び報知部２３４としての機能も同様なので、ここでの説明は省略する。

図７は、行動認識部２３１としての機能を説明するための流れ図である。
プロセッサ８１は、ＡＣＴ１として客を認識するのを待ち受けている。カメラ２１は、セルフＰＯＳ端末１１の正面に立つ客を上方から撮影可能な位置に設置されている。そこでプロセッサ８１は、カメラ２１の映像データから、セルフＰＯＳ端末１１の正面に人物が立ったことを検出すると、客を認識したと判断する。

客を認識すると、プロセッサ８１は、ＡＣＴ１においてＹＥＳと判定し、ＡＣＴ２へと進む。プロセッサ８１は、ＡＣＴ２としてセルフＰＯＳ端末１１のレジ番号を取得する。各カメラ２１は、各セルフＰＯＳ端末１１と１対１で対応している。そこでプロセッサ８１は、セルフＰＯＳ端末１１の正面に立つ客を撮影しているカメラ２１の識別情報からセルフＰＯＳ端末１１を特定し、そのセルフＰＯＳ端末１１のレジ番号を取得する。

プロセッサ８１は、ＡＣＴ３として客の行動認識を開始する。具体的にはプロセッサ８１は、カメラ２１で撮影されている画像から人物、つまりは客の骨格を推定する。骨格推定は、ディープラーニング等のＡＩ技術を使うことによって、安価なカメラ２１でも実現できる。プロセッサ８１は、骨格推定によって得られた手の動きから、客の取出し行動、登録行動、袋詰め行動又は退店行動を認識する。

取出し行動は、籠台６０に置かれた籠から買上商品を取り出す行動である。例えば、片手又は両手の骨格が本体４０の右側に移動し、買上商品を持ち上げるような動きを検出した場合、プロセッサ８１は、取出し行動があったと認識する。

登録行動は、籠から取り出した買上商品のデータをセルフＰＯＳ端末１１に登録する行動である。例えば、取出し行動を行った手の骨格が、本体４０の中央で買上商品を読取窓４２に翳すような動きを検出した場合、プロセッサ８１は、登録行動があったと認識する。あるいは、片手の骨格が、本体４０のタッチパネル４１を操作するような動きを検出した場合、プロセッサ８１は、登録行動があったと認識する。

袋詰め行動は、登録を終えた買上商品を袋詰め台５０のレジ袋又はマイバッグ等に入れる行動である。例えば、登録行動を行った手の骨格が本体の左側に移動し、買上商品をレジ袋又はマイバッグ等に入れるような動きを検出した場合、プロセッサ８１は、袋詰め行動があったと認識する。

退店行動は、決済を終えた客がセルフＰＯＳ端末１１から離れる行動である。例えば、決済を終えた客の手の骨格がレジ袋又はマイバッグ等を保持アーム５３から外すような動きをしたのち、カメラ２１の映像データから客を検知できなくなると、プロセッサ８１は、退店行動があったと認識する。

プロセッサ８１は、ＡＣＴ４乃至ＡＣＴ７として、取出し行動、登録行動、袋詰め行動又は退店行動を認識するのを待ち受ける。この待ち受け状態において、取出し行動を認識すると、プロセッサ８１は、ＡＣＴ４においてＹＥＳと判定し、ＡＣＴ８へと進む。プロセッサ８１は、ＡＣＴ８としてステータスＳＴを“１１”とする。登録行動を認識すると、プロセッサ８１は、ＡＣＴ５においてＹＥＳと判定し、ＡＣＴ９へと進む。プロセッサ８１は、ＡＣＴ９としてステータスＳＴを“１２”とする。袋詰め行動を認識すると、プロセッサ８１は、ＡＣＴ６においてＹＥＳと判定し、ＡＣＴ１０へと進む。プロセッサ８１は、ＡＣＴ１０としてステータスＳＴを“１３”とする。

プロセッサ８１は、ＡＣＴ８、ＡＣＴ９又はＡＣＴ１０の処理を終えると、ＡＣＴ１１へと進む。プロセッサ８１は、ＡＣＴ１１として時計８４で計時されている現在時刻ＴＭを取得する。そしてプロセッサ８１は、ＡＣＴ１２として、ＡＣＴ２の処理で取得したレジ番号が設定された時系列バッファ８２２に、時刻ＴＭとステータスＳＴとを関連付けて記述する。その後、プロセッサ８１は、ＡＣＴ４乃至ＡＣＴ７の待ち受け状態に戻る。

このように、行動認識部２３１の機能により、セルフＰＯＳ端末１１に対する取出し行動が認識された場合には、当該セルフＰＯＳ端末１１のレジ番号が設定された時系列バッファ８２２に、ステータスＳＴとして“１１”がその時刻ＴＭとともに記述される。同様に、登録行動が認識された場合には、同時系列バッファ８２２に、ステータスＳＴとして“１２”がその時刻ＴＭとともに記述される。袋詰め行動が認識された場合には、同時系列バッファ８２２に、ステータスＳＴとして“１３”がその時刻ＴＭとともに時系列バッファ８２２に記述される。
通常、客は、セルフＰＯＳ端末１１に対して取出し行動、登録行動、袋詰め行動を順番に繰り返すことで、買上商品のデータをセルフＰＯＳ端末１１に登録する。したがって、時系列バッファ８２２には、ステータスＳＴが“１１”、“１２”、“１３”の順番で時系列に記憶されることとなる。

ＡＣＴ４乃至ＡＣＴ７の待ち受け状態において、退店行動を認識した場合には、プロセッサ８１は、ＡＣＴ７においてＹＥＳと判定し、ＡＣＴ１３へと進む。プロセッサ８１は、ＡＣＴ１３として客の行動認識を終了する。
行動認識を終了したプロセッサ８１は、ＡＣＴ１４としてステータスＳＴを“１４”とする。またプロセッサ８１は、ＡＣＴ１５として時計８４で計時されている現在時刻ＴＭを取得する。そしてプロセッサ８１は、ＡＣＴ１６として、ＡＣＴ２の処理で取得したレジ番号が設定された時系列バッファ８２２に、時刻ＴＭとステータスＳＴとを関連付けて記述する。したがって、客が退店したセルフＰＯＳ端末１１に対応する時系列バッファ８２２には、ステータスＳＴとして“１４”が時刻ＴＭとともに記憶される。

以上で、プロセッサ８１は、行動認識部２３１としての機能を終了する。その後、再び、カメラ２１の映像データから、セルフＰＯＳ端末１１の正面に人物が立ったことを検出すると、プロセッサ８１はＡＣＴ２乃至ＡＣＴ１６の処理を前述したのと同様に実行する。

図８は、操作認識部２３２としての機能を説明するための流れ図である。
プロセッサ８１は、ＡＣＴ２１としてセルフＰＯＳ端末１１に対して利用開始が宣言されるのを待ち受けている。利用開始が宣言されると、当該セルフＰＯＳ端末１１に対応した監視画像ＳＣの端末状態欄７２には「利用開始」が表示される。プロセッサ８１は、表示制御装置１３を介して取得した監視画像ＳＣの端末状態欄７２から「利用開始」の文字を認識できるか確認する。「利用開始」の文字を認識できた場合、プロセッサ８１は、利用開始が宣言されたと認識する。

利用開始が宣言されたことを認識すると、プロセッサ８１は、ＡＣＴ１においてＹＥＳと判定し、ＡＣＴ２へと進む。プロセッサ８１は、ＡＣＴ２としてセルフＰＯＳ端末１１のレジ番号を取得する。監視画像ＳＣのレジ番号欄７１には、レジ番号が表示されている。プロセッサ８１は、表示制御装置１３を介して取得した監視画像ＳＣのレジ番号欄７１からレジ番号の文字を認識し、その文字をレジ番号として取得する。

プロセッサ８１は、ＡＣＴ２３としてステータスＳＴを“２１”とする。またプロセッサ８１は、ＡＣＴ２４として時計８４で計時されている現在時刻ＴＭを取得する。そしてプロセッサ８１は、ＡＣＴ２５として、ＡＣＴ２２の処理で取得したレジ番号が設定された時系列バッファ８２２に、時刻ＴＭとステータスＳＴとを関連付けて記述する。
したがって、セルフＰＯＳ端末１１の正面に立った客が利用開始のための宣言操作を行うと、当該セルフＰＯＳ端末１１に対応する時系列バッファ８２２に、先ずステータスＳＴとして“２１”がその時刻ＴＭとともに記憶される。

プロセッサ８１は、ＡＣＴ２６としてセルフＰＯＳ端末１１に対する操作認識を開始する。具体的にはプロセッサ８１は、表示制御装置１３を介して取得した監視画像ＳＣの文字認識により得られる情報の遷移から、商品登録操作、登録削除操作、決済開始操作又は決済終了操作を認識する。
例えばプロセッサ８１は、明細欄７５に買上商品の商品名、点数、金額等の明細情報が追加されると、商品登録操作があったと認識する。例えばプロセッサ８１は、合計欄７６に表示されている合計点数又は合計金額が減少すると、登録削除操作があったと認識する。例えばプロセッサ８１は、端末状態欄７２の表示が「決済開始」に切り替わった場合、決済開始操作があったと認識する。例えばプロセッサ８１は、端末状態欄７２の表示が「待機中」に切り替わった場合、決済終了操作があったと認識する。

プロセッサ８１は、ＡＣＴ２７乃至ＡＣＴ３０として、商品登録操作、登録削除操作、決済開始操作又は決済終了操作を認識するのを待ち受ける。商品登録操作を認識すると、プロセッサ８１は、ＡＣＴ２７においてＹＥＳと判定し、ＡＣＴ３１へと進む。プロセッサ８１は、ＡＣＴ３１としてステータスＳＴを“２２”とする。登録削除操作を認識すると、プロセッサ８１は、ＡＣＴ２８においてＹＥＳと判定し、ＡＣＴ３２へと進む。プロセッサ８１は、ＡＣＴ３２としてステータスＳＴを“２３”とする。決済開始操作を認識すると、プロセッサ８１は、ＡＣＴ２９においてＹＥＳと判定し、ＡＣＴ３３へと進む。プロセッサ８１は、ＡＣＴ３３としてステータスＳＴを“２４”とする。

プロセッサ８１は、ＡＣＴ３１、ＡＣＴ３２又はＡＣＴ３３の処理を終えると、ＡＣＴ３４へと進む。プロセッサ８１は、ＡＣＴ３４として時計８４で計時されている現在時刻ＴＭを取得する。そしてプロセッサ８１は、ＡＣＴ３５として、ＡＣＴ２２の処理で取得したレジ番号が設定された時系列バッファ８２２に、時刻ＴＭとステータスＳＴとを関連付けて記述する。その後、プロセッサ８１は、ＡＣＴ２７乃至ＡＣＴ３０の待ち受け状態に戻る。

このように、操作認識部２３２の機能により、セルフＰＯＳ端末１１に対する商品登録操作が認識された場合には、当該セルフＰＯＳ端末１１のレジ番号が設定された時系列バッファ８２２に、ステータスＳＴとして“２２”がその時刻ＴＭとともに記述される。同様に、登録削除操作が認識された場合には、同時系列バッファ８２２に、ステータスＳＴとして“２３”がその時刻ＴＭとともに記述される。決済開始操作が認識された場合には、同時系列バッファ８２２に、ステータスＳＴとして“２４”がその時刻ＴＭとともに時系列バッファ８２２に記述される。

通常、客の登録行動により、セルフＰＯＳ端末１１に対して商品登録操作又は登録削除操作が行われる。したがって、時系列バッファ８２２には、登録行動を示すステータスＳＴ、すなわち“１２”の後に、商品登録操作又は登録削除操作を示すステータス、すなわち“２２”又は”２３”が記憶される。
また、全買上商品の袋詰め行動を終えた客は、決済開始を宣言する。したがって、時系列バッファ８２２には、袋詰め行動を示すステータスＳＴ、すなわち“１３”の後に、決済開始操作を示すステータス、すなわち“２４”が記憶される。

ＡＣＴ２７乃至ＡＣＴ３０の待ち受け状態において、決済終了操作を認識した場合には、プロセッサ８１は、ＡＣＴ３０においてＹＥＳと判定し、ＡＣＴ３６へと進む。プロセッサ８１は、ＡＣＴ３６としてセルフＰＯＳ端末１１に対する操作認識を終了する。
操作認識を終了したプロセッサ８１は、ＡＣＴ３７としてステータスＳＴを“２５”とする。またプロセッサ８１は、ＡＣＴ３８として時計８４で計時されている現在時刻ＴＭを取得する。そしてプロセッサ８１は、ＡＣＴ３９として、ＡＣＴ２２の処理で取得したレジ番号が設定された時系列バッファ８２２に、時刻ＴＭとステータスＳＴ＝２５とを関連付けて記述する。したがって、決済が終了したセルフＰＯＳ端末１１に対応する時系列バッファ８２２には、ステータスＳＴとして“２５”が時刻ＴＭとともに記憶される。

以上で、プロセッサ８１は、操作認識部２３２としての機能を終了する。その後、再び、監視画像ＳＣのデータから、セルフＰＯＳ端末１１の利用開始操作を検出すると、プロセッサ８１はＡＣＴ２２乃至ＡＣＴ２９の処理を前述したのと同様に実行する。

図９乃至図１１は、不正判定部２３３としての機能を説明するための流れ図である。
プロセッサ８１は、ＡＣＴ４１として行動認識部２３１により取出し行動が認識されるのを待ち受ける。前述したように、取出し行動が認識されたセルフＰＯＳ端末１１のレジ番号が設定された時系列バッファ８２２には、ステータスＳＴとして“１１”が記述される。プロセッサ８１は、時系列バッファ８２２にステータスＳＴとして“１１”が記述されたことを検出すると、ＡＣＴ４１においてＹＥＳと判定し、ＡＣＴ４２へと進む。

プロセッサ８１は、ＡＣＴ４２として利用開始操作後であるか否かを確認する。セルフＰＯＳ端末１１に対して利用開始操作が行われると、時系列バッファ８２２には、ステータスＳＴとして“２１”が記述される。そこでプロセッサ８１は、ステータスＳＴとして“１１”が記述された時刻ＴＭからその時刻を遡る方向に時系列バッファ８２２を検索する。そして、ステータスとして“２１”が記述されていることを検出すると、プロセッサ８１は、利用開始操作後であると判定する。これに対し、ステータスとして“１４”又は“２５”を検出するか、時系列バッファ８２２の検索を終えた場合、プロセッサ８１は、利用開始操作後でないと判定する。

利用開始後でない場合、プロセッサ８１は、ＡＣＴ４２においてＮＯと判定し、ＡＣＴ４３へと進む。プロセッサ８１は、ＡＣＴ４３としてエラーコードＥＣを“９１”とする。またプロセッサ８１は、ＡＣＴ４４として時計８４で計時されている現在時刻ＴＭを取得する。そしてプロセッサ８１は、ＡＣＴ４５として、時系列バッファ８２２に、時刻ＴＭとエラーコードＥＣとを関連付けて記述する。その後、プロセッサ８１は、ＡＣＴ４６へと進む。

一方、利用開始後である場合には、プロセッサ８１は、ＡＣＴ４２においてＹＥＳと判定する。プロセッサ８１は、ＡＣＴ４３乃至ＡＣＴ４５の処理をスキップして、ＡＣＴ４６へと進む。
したがって、利用開始の宣言操作が行われていないセルフＰＯＳ端末１１において、商品の取出し行動が認識された場合には、そのセルフＰＯＳ端末１１のレジ番号が設定された時系列バッファ８２２に、エラーコードＥＣとして“９１”が記憶される。
このように、利用開始操作を認識していないにも拘わらず、取出し行動を認識した場合には、時系列バッファ８２２に、エラーコードＥＣとして“９１”が記憶される。すなわち、エラーコードＥＣの“９１”は、利用開始の宣言操作を行わずに取出し行動を行った客の行為を不正行為「不正取出し」として識別するコードである。

プロセッサ８１は、ＡＣＴ４６として行動認識部２３１により袋詰め行動が認識されたか否かを確認する。前述したように、袋詰め行動が認識されると、時系列バッファ８２２にステータスＳＴとして“１２”が記述される。時系列バッファ８２２にステータスＳＴとして“１２”が記述されていない場合、プロセッサ８１は、ＡＣＴ４６においてＮＯと判定し、ＡＣＴ４７へと進む。
プロセッサ８１は、ＡＣＴ４７として行動認識部２３１により取出し行動が認識されたか否かを確認する。前述したように、取出し行動が認識されると、時系列バッファ８２２にステータスＳＴとして“１１”が記述される。時系列バッファ８２２にステータスＳＴとして“１１”が記述されていない場合、プロセッサ８１は、ＡＣＴ４７においてＮＯと判定し、ＡＣＴ４８へと進む。

プロセッサ８１は、ＡＣＴ４８として行動認識部２３１により退店行動が認識されたか否かを確認する。前述したように、退店行動が認識されると、時系列バッファ８２２にステータスＳＴとして“１４”が記述される。時系列バッファ８２２にステータスＳＴとして“１４”が記述されていない場合、プロセッサ８１は、ＡＣＴ４８においてＮＯと判定し、ＡＣＴ４６へと戻る。
ここにプロセッサ８１は、ＡＣＴ４６乃至ＡＣＴ４８において、１点目の商品の取出し行動を行った客が、その後、袋詰め行動を行うか、別の商品の取出し行動を行うか、退店行動を行うのを待ち受ける。

この待ち受け状態において、時系列バッファ８２２にステータスＳＴとして“１３”が記述されると、プロセッサ８１は、ＡＣＴ４６においてＹＥＳと判定し、図１０のＡＣＴ６１へと進む。
プロセッサ８１は、ＡＣＴ６１として商品登録操作後であるか否かを確認する。前述したように、操作認識部２３２において商品登録操作が認識されると、時系列バッファ８２２にステータスＳＴとして“２２”が記述される。したがって、ステータスＳＴとして“１３”が記述された時刻ＴＭよりも１つ前の時刻ＴＭと関連付けてステータスＳＴとして“２２”が記述されている場合には、プロセッサ８１は、商品登録操作後であると認識する。プロセッサ８１は、ＡＣＴ６１においてＮＯと判定し、図９のＡＣＴ４６へと戻る。すなわちプロセッサ８１は、ＡＣＴ４６乃至ＡＣＴ４８の待ち受け状態に戻る。

これに対し、ステータスＳＴとして“１３”が記述された時刻ＴＭよりも１つ前の時刻ＴＭと関連付けてステータスＳＴとして“２２”が記述されていない場合には、プロセッサ８１は商品登録操作後でないと認識する。プロセッサ８１は、ＡＣＴ６１においてＹＥＳと判定し、ＡＣＴ６２へと進む。
プロセッサ８１は、ＡＣＴ６２として登録削除操作後であるか否かを確認する。前述したように、操作認識部２３２において登録削除操作が認識されると、時系列バッファ８２２にステータスＳＴとして“２３”が記述される。したがって、ステータスＳＴとして“１３”が記述された時刻ＴＭよりも１つ前の時刻ＴＭと関連付けてステータスＳＴとして“２３”が記述されている場合には、プロセッサ８１は、登録削除操作後であると認識する。換言すれば、ステータスＳＴとして“１３”が記述された時刻ＴＭよりも１つ前の時刻ＴＭと関連付けてステータスＳＴとして“２３”が記述されていない場合には、プロセッサ８１は、登録削除操作後でないと認識する。

登録削除操作後でない場合、プロセッサ８１は、ＡＣＴ６２においてＮＯと判定し、ＡＣＴ６３へと進む。プロセッサ８１は、ＡＣＴ６３としてエラーコードＥＣを“９２”とする。またプロセッサ８１は、ＡＣＴ６４として時計８４で計時されている現在時刻ＴＭを取得する。そしてプロセッサ８１は、ＡＣＴ６５として、ステータスＳＴとして“１３”が記述された時系列バッファ８２２に、時刻ＴＭとエラーコードＥＣとを関連付けて記述する。その後、プロセッサ８１は、図９のＡＣＴ４６へと戻る。すなわちプロセッサ８１は、ＡＣＴ４６乃至ＡＣＴ４８の待ち受け状態に戻る。
このように、商品登録操作又は登録削除操作を認識していないにも拘わらず、袋詰め行動を認識した場合には、時系列バッファ８２２に、エラーコードＥＣとして“９２”が記憶される。すなわち、エラーコードＥＣの“９２”は、商品登録操作をしていない商品の袋詰め行動を行った客の行為を不正行為「偽登録」として識別するコードである。

一方、登録削除操作後である場合には、プロセッサ８１は、ＡＣＴ６２においてＹＥＳと判定し、ＡＣＴ６６へと進む。プロセッサ８１は、ＡＣＴ６６としてエラーコードＥＣを“９３”とする。またプロセッサ８１は、ＡＣＴ６７として時計８４で計時されている現在時刻ＴＭを取得する。そしてプロセッサ８１は、ＡＣＴ６８として、ステータスＳＴとして“１３”が記述された時系列バッファ８２２に、時刻ＴＭとエラーコードＥＣとを関連付けて記述する。その後、プロセッサ８１は、図９のＡＣＴ４６へと戻る。すなわちプロセッサ８１は、ＡＣＴ４６乃至ＡＣＴ４８の待ち受け状態に戻る。
このように、登録削除操作を認識した後に袋詰め行動を認識した場合には、時系列バッファ８２２に、エラーコードＥＣとして“９３”が記憶される。すなわち、エラーコードＥＣの“９３”は、登録削除操作をした商品の袋詰め行動を行った客の行為を不正行為「偽取消」として識別するコードである。

図９の説明に戻る。
ＡＣＴ４６乃至ＡＣＴ４８の待ち受け状態において、時系列バッファ８２２にステータスＳＴとして“１１”が記述されて取出し行動が認識された場合には、プロセッサ８１は、図１１のＡＣＴ７１へと進む。プロセッサ８１は、ＡＣＴ７１として決済開始操作後であるか否かを確認する。前述したように、操作認識部２３２において決済開始操作が認識されると、時系列バッファ８２２にステータスＳＴとして“２４”が記述される。したがって、ステータスＳＴとして“１１”が記述された時刻ＴＭよりも１つ前の時刻ＴＭと関連付けてステータスＳＴとして“２４”が記述されている場合には、プロセッサ８１は、決済開始操作後であると認識する。換言すれば、ステータスＳＴとして“１１”が記述された時刻ＴＭよりも１つ前の時刻ＴＭと関連付けてステータスＳＴとして“２４”が記述されていない場合には、プロセッサ８１は、決済開始操作後でないと認識する。

決済開始操作後でない場合、プロセッサ８１は、ＡＣＴ７１においてＮＯと判定し、ＡＣＴ７２へと進む。プロセッサ８１は、ＡＣＴ７２として決済終了操作後であるか否かを確認する。前述したように、操作認識部２３２において決済終了操作が認識されると、時系列バッファ８２２にステータスＳＴとして“２５”が記述される。したがって、ステータスＳＴとして“１１”が記述された時刻ＴＭよりも１つ前の時刻ＴＭと関連付けてステータスＳＴとして“２５”が記述されている場合には、プロセッサ８１は、決済終了操作後であると認識する。換言すれば、ステータスＳＴとして“１１”が記述された時刻ＴＭよりも１つ前の時刻ＴＭと関連付けてステータスＳＴとして“２５”が記述されていない場合には、プロセッサ８１は、決済終了操作後でないと認識する。
決済終了操作後でない場合、プロセッサ８１は、ＡＣＴ７２においてＮＯと判定し、図９のＡＣＴ４６へと戻る。すなわちプロセッサ８１は、ＡＣＴ４６乃至ＡＣＴ４８の待ち受け状態に戻る。

一方、決済開始後若しくは決済終了後の場合には、プロセッサ８１は、ＡＣＴ７１又はＡＣＴ７２においてＹＥＳと判定し、ＡＣＴ７３へと進む。プロセッサ８１は、ＡＣＴ７３としてエラーコードＥＣを“９４”とする。またプロセッサ８１は、ＡＣＴ７４として時計８４で計時されている現在時刻ＴＭを取得する。そしてプロセッサ８１は、ＡＣＴ７５として、ステータスＳＴとして“１１”が記述された時系列バッファ８２２に、時刻ＴＭとエラーコードＥＣとを関連付けて記述する。その後、プロセッサ８１は、図９のＡＣＴ４６へと戻る。すなわちプロセッサ８１は、ＡＣＴ４６乃至ＡＣＴ４８の待ち受け状態に戻る。

このように、決済開始操作又は決済終了操作を認識した後であるにも拘わらず、商品取出し行動を認識した場合には、時系列バッファ８２２に、エラーコードＥＣとして“９４”が記憶される。すなわち、エラーコードＥＣの“９４”は、決済開始操作又は決済終了操作の後に未登録の商品を籠から取り出す客の行為を不正行為「登録漏れ」として識別するコードである。

図９の説明に戻る。
ＡＣＴ４６乃至ＡＣＴ４８の待ち受け状態において、時系列バッファ８２２にステータスＳＴとして“１４”が記述されて退店行動が認識された場合には、プロセッサ８１は、ＡＣＴ４８においてＹＥＳと判定し、ＡＣＴ４９へと進む。プロセッサ８１は、ＡＣＴ４９として決済終了操作後であるか否かを確認する。前述したように、操作認識部２３２において決済終了操作が認識されると、時系列バッファ８２２にステータスＳＴとして“２５”が記述される。したがって、ステータスＳＴとして“１４”が記述された時刻ＴＭよりも１つ前の時刻ＴＭと関連付けてステータスＳＴとして“２５”が記述されている場合には、プロセッサ８１は、決済終了操作後であると認識する。換言すれば、ステータスＳＴとして“１４”が記述された時刻ＴＭよりも１つ前の時刻ＴＭと関連付けてステータスＳＴとして“２５”が記述されていない場合には、プロセッサ８１は、決済終了操作後でないと認識する。
決済終了操作後である場合、プロセッサ８１は、ＡＣＴ４９においてＹＥＳと判定する。プロセッサ８１は、不正判定部２３３としての機能を終了する。

これに対し、決済終了操作後でない場合には、プロセッサ８１は、ＡＣＴ４９においてＮＯと判定し、ＡＣＴ５０へと進む。プロセッサ８１は、ＡＣＴ５０としてエラーコードＥＣを“９５”とする。またプロセッサ８１は、ＡＣＴ５１として時計８４で計時されている現在時刻ＴＭを取得する。そしてプロセッサ８１は、ＡＣＴ５２として、ステータスＳＴとして“１４”が記述された時系列バッファ８２２に、時刻ＴＭとエラーコードＥＣとを関連付けて記述する。
このように、決済終了操作を認識していないにも拘わらず、退店行動を認識した場合には、時系列バッファ８２２に、エラーコードＥＣとして“９５”が記憶される。すなわち、エラーコードＥＣの“９５”は、決済終了操作の前に退店行動を行った客の行為を不正行為「未決済」として識別するコードである。
以上で、プロセッサ８１は、不正判定部２３３としての機能を終了する。その後、再び、取出し行動が認識されると、プロセッサ８１は、ＡＣＴ４２乃至ＡＣＴ５２、ＡＣＴ６１乃至ＡＣＴ６８及びＡＣＴ７１乃至ＡＣＴ７５の処理を前述したのと同様に実行する。

このようにプロセッサ８１が情報処理を実行することで実現される行動認識部２３１及び不正判定部２３３により、操作者である客の誤った行動としての不正行為を動画データである撮像データに基づいて検出する。つまり情報処理をプロセッサ８１が実行することによって、プロセッサ８１を中枢部分とするコンピュータは検出手段として機能する。

図１２は、報知部２３４及び動画再生部２３５としての機能を説明するための流れ図である。
プロセッサ８１は、ＡＣＴ８１として時系列バッファ８２２にエラーコードＥＣが記述されるのを待ち受ける。時系列バッファ８２２にエラーコードＥＣが記述されると、プロセッサ８１は、ＡＣＴ８１においてＹＥＳと判定し、ＡＣＴ８２へと進む。プロセッサ８１は、ＡＣＴ８２としてそのエラーコードＥＣが“９１”であるか否かを確認する。

エラーコードＥＣが“９１”である場合、プロセッサ８１は、ＡＣＴ８２においてＹＥＳと判定し、ＡＣＴ８３へと進む。プロセッサ８１は、ＡＣＴ８３として不正行為「不正取出し」の報知を行う。すなわちプロセッサ８１は、メッセージテーブル８２１を検索して、エラーコードＥＣが“９１”のメッセージデータを取得する。またプロセッサ８１は、エラーコードＥＣとして“９１”が記述された時系列バッファ８２２のレジ番号を取得する。そしてプロセッサ８１は、メッセージデータとレジ番号とを付加した報知コマンドを通信インターフェース８６から表示制御装置１３へと出力する。

表示制御装置１３は、報知コマンドに含まれるレジ番号で識別される監視画像ＳＣに、メッセージデータのテキストを表示させる。その結果、監視画像ＳＣには、例えば「レジＮｏ．Ｘのレジで不正取出しが行われました」という不正行為を報知するテキストが表示される。ただし表示制御装置１３は、当該テキスト中の“Ｘ”を、報知コマンドに含まれるレジ番号に置換する。したがってアテンダントは、表示されたテキストに示されるレジ番号が設定されたセルフＰＯＳ端末１１を利用している客に対し、不正行為「不正取出し」があったことを注意喚起できる。

エラーコードＥＣが“９１”でない場合、プロセッサ８１は、ＡＣＴ８２においてＮＯと判定し、ＡＣＴ８４へと進む。プロセッサ８１は、ＡＣＴ８４としてそのエラーコードＥＣが“９２”であるか否かを確認する。
エラーコードＥＣが“９２”である場合、プロセッサ８１は、ＡＣＴ８４においてＹＥＳと判定し、ＡＣＴ８５へと進む。プロセッサ８１は、ＡＣＴ８５として不正行為「偽登録」の報知を行う。すなわちプロセッサ８１は、メッセージテーブル８２１を検索して、エラーコードＥＣが“９２”のメッセージデータを取得する。またプロセッサ８１は、エラーコードＥＣとして“９２”が記述された時系列バッファ８２２のレジ番号を取得する。そしてプロセッサ８１は、メッセージデータとレジ番号とを付加した報知コマンドを通信インターフェース８６から表示制御装置１３へと出力する。

表示制御装置１３は、報知コマンドに含まれるレジ番号で識別される監視画像ＳＣに、メッセージデータのテキストを表示させる。その結果、監視画像ＳＣには、例えば「レジＮｏ．Ｘのレジで偽登録が行われました」という不正行為を報知するテキストが表示される。ただし表示制御装置１３は、当該テキスト中の“Ｘ”を、報知コマンドに含まれるレジ番号に置換する。したがってアテンダントは、表示されたテキストに示されるレジ番号が設定されたセルフＰＯＳ端末１１を利用している客に対し、不正行為「偽登録」があったことを注意喚起できる。

エラーコードＥＣが“９２”でない場合、プロセッサ８１は、ＡＣＴ８４においてＮＯと判定し、ＡＣＴ８６へと進む。プロセッサ８１は、ＡＣＴ８６としてそのエラーコードＥＣが“９３”であるか否かを確認する。
エラーコードＥＣが“９３”である場合、プロセッサ８１は、ＡＣＴ８６においてＹＥＳと判定し、ＡＣＴ８７へと進む。プロセッサ８１は、ＡＣＴ８７として不正行為「偽取消」の報知を行う。すなわちプロセッサ８１は、メッセージテーブル８２１を検索して、エラーコードＥＣが“９３”のメッセージデータを取得する。またプロセッサ８１は、エラーコードＥＣとして“９３”が記述された時系列バッファ８２２のレジ番号を取得する。そしてプロセッサ８１は、メッセージデータとレジ番号とを付加した報知コマンドを通信インターフェース８６から表示制御装置１３へと出力する。

表示制御装置１３は、報知コマンドに含まれるレジ番号で識別される監視画像ＳＣに、メッセージデータのテキストを表示させる。その結果、監視画像ＳＣには、例えば「レジＮｏ．Ｘのレジで偽取消が行われました」という不正行為を報知するテキストが表示される。ただし表示制御装置１３は、当該テキスト中の“Ｘ”を、報知コマンドに含まれるレジ番号に置換する。したがってアテンダントは、表示されたテキストに示されるレジ番号が設定されたセルフＰＯＳ端末１１を利用している客に対し、不正行為「偽取消」があったことを注意喚起できる。

エラーコードＥＣが“９３”でない場合、プロセッサ８１は、ＡＣＴ８６においてＮＯと判定し、ＡＣＴ８８へと進む。プロセッサ８１は、ＡＣＴ８８としてそのエラーコードＥＣが“９４”であるか否かを確認する。
エラーコードＥＣが“９４”である場合、プロセッサ８１は、ＡＣＴ８８においてＹＥＳと判定し、ＡＣＴ８９へと進む。プロセッサ８１は、ＡＣＴ８９として不正行為「登録漏れ」の報知を行う。すなわちプロセッサ８１は、メッセージテーブル８２１を検索して、エラーコードＥＣが“９４”のメッセージデータを取得する。またプロセッサ８１は、エラーコードＥＣとして“９４”が記述された時系列バッファ８２２のレジ番号を取得する。そしてプロセッサ８１は、メッセージデータとレジ番号とを付加した報知コマンドを通信インターフェース８６から表示制御装置１３へと出力する。

表示制御装置１３は、報知コマンドに含まれるレジ番号で識別される監視画像ＳＣに、メッセージデータのテキストを表示させる。その結果、監視画像ＳＣには、例えば「レジＮｏ．Ｘのレジで登録漏れがありました」という不正行為を報知するテキストが表示される。ただし表示制御装置１３は、当該テキスト中の“Ｘ”を、報知コマンドに含まれるレジ番号に置換する。したがってアテンダントは、表示されたテキストに示されるレジ番号が設定されたセルフＰＯＳ端末１１を利用している客に対し、不正行為「登録漏れ」があったことを注意喚起できる。

エラーコードＥＣが“９４”でない場合、プロセッサ８１は、ＡＣＴ８８においてＮＯと判定し、ＡＣＴ９０へと進む。プロセッサ８１は、ＡＣＴ９０としてそのエラーコードＥＣが“９５”であるか否かを確認する。
エラーコードＥＣが“９５”である場合、プロセッサ８１は、ＡＣＴ９０においてＹＥＳと判定し、ＡＣＴ９１へと進む。プロセッサ８１は、ＡＣＴ９１として不正行為「未決済」の報知を行う。すなわちプロセッサ８１は、メッセージテーブル８２１を検索して、エラーコードＥＣが“９５”のメッセージデータを取得する。またプロセッサ８１は、エラーコードＥＣとして“９５”が記述された時系列バッファ８２２のレジ番号を取得する。そしてプロセッサ８１は、メッセージデータとレジ番号とを付加した報知コマンドを通信インターフェース８６から表示制御装置１３へと出力する。

表示制御装置１３は、報知コマンドに含まれるレジ番号で識別される監視画像ＳＣに、メッセージデータのテキストを表示させる。その結果、監視画像ＳＣには、例えば「レジＮｏ．Ｘのレジは未決済です」という不正行為を報知するテキストが表示される。ただし表示制御装置１３は、当該テキスト中の“Ｘ”を、報知コマンドに含まれるレジ番号に置換する。したがってアテンダントは、表示されたテキストに示されるレジ番号が設定されたセルフＰＯＳ端末１１を利用していた客に対し、不正行為「未決済」であることを注意喚起できる。

プロセッサ８１は、ＡＣＴ８３、ＡＣＴ８５、ＡＣＴ８７、ＡＣＴ８９及びＡＣＴ９１のいずれかを終えると、ＡＣＴ９２及びＡＣＴ９３の待受状態へと進む。プロセッサ８１は、ＡＣＴ９２及びＡＣＴ９３としては、報知の解除又は動画の再生が指示されるのを待ち受ける。

アテンダントは、プロセッサ８１によりＡＣＴ８３、ＡＣＴ８５、ＡＣＴ８７、ＡＣＴ８９及びＡＣＴ９１にて上記のように実行された報知に関して、報知の対象となった客の実際の行為を確認したいならば、例えばアテンダント端末２４での予め定められた操作により動画の再生を指示する。例えば表示制御装置１３は、監視画像ＳＣに各種のエラー報知のためのメッセージデータのテキストを表示させる際には、動画の再生を指示するための、例えばソフトキーなどのユーザインタフェースを監視画像ＳＣに表示させる。そしてアテンダントは、例えば上記のユーザインタフェースの操作により動画の再生を指示する。アテンダント端末２４は、該当の操作がなされたならば、動画の再生を不正行為認識装置２３に要求する。

このようにしてアテンダント端末２４からの動画の再生要求を受けると、不正行為認識装置２３にてプロセッサ８１は、ＡＣＴ９３においてＹＥＳと判定してＡＣＴ９４へと進む。プロセッサ８１は、ＡＣＴ９４として動画の再生をアテンダント端末２４に対して指示する。プロセッサ８１は例えば、ＡＣＴ８１においてＹＥＳと判定した際にエラーコードＥＣが記述された時系列バッファ８２２のレジ番号を取得する。そしてプロセッサ８１は、当該の取得したレジ番号に関連付けて画像記憶装置２２に記憶されている撮像データのうちの一部の再生範囲の撮像データを画像記憶装置２２から読み出す。プロセッサ８１は例えば、ＡＣＴ８１においてＹＥＳと判定した際に記述されたエラーコードＥＣに関連付けて時系列バッファ８２２に記述された時刻ＴＭに基づいて再生範囲を決定する。そしてプロセッサ８１は、読み出した撮像データを、通信インターフェース８６を介してアテンダント端末２４に送る。以上で、報知部２３４及び動画再生部２３５としての機能を終了する。

再生範囲は例えば、時刻ＴＭから予め定められた再生時間を遡った時刻から時刻ＴＭまでの時間範囲とする。再生時間は、不正行為認識装置２３の設計者又は管理者などによって任意に定められてよい。ただし再生時間は、各種の不正行為が撮影されている期間を含むように定められるべきである。

なお再生時間は、エラーコードＥＣに応じて個別に定められてもよい。例えば、エラーコードＥＣとして“９２”が記述された場合には、少なくとも袋詰め行動が映った動画を再生できればよい。これに対して、エラーコードＥＣとして“９４”が記述された場合には、決済開始操作から商品取出し行動までが映った動画を再生する必要があるのだとするならば、この場合に関する再生時間の最適値は、エラーコードＥＣとして“９２”が記述された場合に関する再生時間の最適値よりも大きくなる。従って、各エラーの再生時間の最適値を考慮した個別の再生時間を定めておくことが効果的である。

このようにして不正行為認識装置２３から送られた撮像データを受けるとアテンダント端末２４は、この撮像データが表す動画をディスプレイで再生する。その結果、直前にテキストにより報知された不正行為に関する客の行動をアテンダントに確認させることができる。

以上のように、不正行為認識装置２３の動画再生部２３５としての機能と、アテンダント端末２４との協働によって、インデックスとしての時刻ＴＭで識別される範囲の撮像データに基づく動画を再生する。かくして情報処理をプロセッサ８１が実行することによって、プロセッサ８１を中枢部分とするコンピュータは、アテンダント端末２４との協働によって第１の再生手段としての機能を実現する。

エラーコードＥＣに関連付けて時系列バッファ８２２に記述された時刻ＴＭは、不正行為が映っている撮像データの領域を識別可能とするインデックスデータに相当する。そしてプロセッサ８１が前述の様にエラーコードＥＣに関連付けて時系列バッファ８２２に時刻ＴＭを記述することによって、インデックスデータの記録が行われている。つまり情報処理をプロセッサ８１が実行することによって、プロセッサ８１を中枢部分とするコンピュータは記録手段として機能する。

さて、例えばＡＣＴ８３又はＡＣＴ９１における報知に関しては、速やかに客への声がけをアテンダントが行うことが有効である場合がある。そしてこのような場合にアテンダントは、例えばアテンダント端末２４での予め定められた操作により報知の解除を指示する。例えば表示制御装置１３は、監視画像ＳＣに各種のエラー報知のためのメッセージデータのテキストを表示させる際には、報知の解除を指示するための、例えばソフトキーなどのユーザインタフェースを監視画像ＳＣに表示させる。そしてアテンダントは、上記のユーザインタフェースの操作により報知の解除を指示する。アテンダント端末２４は、該当の操作がなされたならば、報知の解除を不正行為認識装置２３に要求する。
このようにしてアテンダント端末２４からの報知の解除要求を受けると、不正行為認識装置２３にてプロセッサ８１は、ＡＣＴ９２においてＹＥＳと判定し、報知部２３４及び動画再生部２３５としての機能を終了する。

以上詳述したように、不正行為認識装置２３は、行動認識部２３１及び不正判定部２３３として、カメラ２１の撮像データに基づき、セルフＰＯＳ端末１１に対する客のアテンダント端末２４不正行為を検出する機能を有している。また不正行為認識装置２３は、不正判定部２３３として、不正行為として検出された行動が映っている撮像データの範囲を識別可能とするインデックスデータとしての時刻ＴＭを記録する機能を有している。このため不正行為認識装置２３によれば、時刻ＴＭに基づいて、不正行為として検出された行動が映っている撮像データの範囲が容易に識別可能となり、当該の範囲の撮影データを確認することで、セルフＰＯＳ端末１１の操作に関わる誤った行動をアテンダントが速やかに確認することが可能となる。

不正行為認識システム２００は、画像記憶装置２２に備えられた記憶デバイスに撮像データを記憶しておく。また不正行為認識システム２００は、アテンダント端末２４での再生指示に応じて動画再生部２３５が、上記の記憶された撮像データのうちの、記録されている時刻ＴＭに基づいて識別される範囲の撮像データに基づく動画をアテンダント端末２４で表示させる。このため不正行為認識システム２００によれば、セルフＰＯＳ端末１１の操作に関わる誤った行動をアテンダントに速やかに確認させることが可能となる。

この実施形態は、次のような種々の変形実施が可能である。
プロセッサ８１は、図１２中のＡＣＴ８３、ＡＣＴ８５、ＡＣＴ８７、ＡＣＴ８９及びＡＣＴ９１の少なくとも１つから、ＡＣＴ９４へと進んでもよい。つまりプロセッサ８１は、再生指示を受けることなく、不正行為が検出されたことに応じて、その不正行為が映った動画を再生させてもよい。この場合にプロセッサ８１を中枢とするコンピュータは、第２の再生手段として機能する。

インデックスデータは、不正行為が映った動画範囲の開始タイミングを表すデータであってもよい。あるいはインデックスデータは、不正行為が映った動画範囲の開始タイミング及び終了タイミングをそれぞれ表すデータであってもよい。この他、インデックスデータは、不正行為が映った動画範囲を識別可能であれば、どのようなデータであっても構わない。

カメラ２１は、不正行為認識システム２００に含まれなくてもよい。つまり、セルフＰＯＳ端末１１又は店舗の天井などに防犯目的などで備えられた監視カメラなどをカメラ２１の代わりに活用することもできる。

画像記憶装置２２は、不正行為認識システム２００に含まれなくてもよい。また撮像データは、補助記憶デバイス８３又はこれとは別に不正行為認識装置２３に備えた記憶デバイスに記憶されてもよい。

前記実施形態では、１台のセルフＰＯＳ端末１１に対して１台のカメラ２１を配置する場合を例示した。カメラ２１は、必ずしもセルフＰＯＳ端末１１毎に配置しなくてもよい。例えば隣接する２台のセルフＰＯＳ端末１１を操作する客を１台のカメラ２１で撮影できるのであれば、カメラ２１の台数を減らしてもよい。ただしその場合には、図７のＡＣＴ２において、映像に写し出されている人物の位置に最も近いセルフＰＯＳ端末１１のレジ番号を取得することになる。

前記実施形態では、報知部２３４はアテンダント端末２４を介してアテンダントに報知する場合を例示した。報知先はアテンダント端末２４に限定されるものではない。例えば、不正行為のあったセルフＰＯＳ端末１１を報知先としてもよい。その場合、例えば発光部６５が所定の色で発光することで、店員に不正行為が行われていることを知らしめる。あるいは、タッチパネル４１に警告メッセージを表示させて、客に不正行為を検知したことを知らしめる。また、店員が携帯する通信端末との無線通信により、表示または音声で不正行為の警告を発するようにしてもよい。

前記実施形態において、アテンダント端末２４が表示制御装置１３としての機能を内包していてもよい。この場合、操作認識部２３２は、アテンダント端末２４から監視画像ＳＣのデータを取得し、セルフＰＯＳ端末１１に対する客の操作を認識する。あるいは、操作認識部２３２は、各セルフＰＯＳ端末１１から出力されるデータ信号を、例えばルータを介して通信ネットワーク１４から取り込み、そのデータ信号を基にセルフＰＯＳ端末１１に対する客の操作を認識してもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１…セルフＰＯＳ端末、１２…ＰＯＳサーバ、１３…表示制御装置、１４…通信ネットワーク、２１…カメラ、２２…画像記憶装置、２３…不正行為認識装置、２４…アテンダント端末、４０…本体、４１…タッチパネル、４２…読取窓、５０…袋詰め台、８１…プロセッサ、８２…メインメモリ、８３…補助記憶デバイス、８４…時計、８５…画像インターフェース、８６…通信インターフェース、８７…システムバス、１００…セルフＰＯＳシステム、２００…不正行為認識システム、２３１…行動認識部、２３２…操作認識部、２３３…不正判定部、２３４…報知部、２３５…動画再生部。

Claims (5)

1. 決済端末を操作する操作者の行動を撮影して得られた動画データに基づいて、前記操作者の誤った行動を検出する検出手段と、
   前記検出手段により検出された行動が映っている前記動画データの範囲を識別可能とするインデックスデータを記録する記録手段と、
   を具備する監視装置。
2. 決済端末を操作する操作者の行動を撮影する撮影デバイスと、
   前記撮影デバイスにより得られた動画データを記憶する記憶デバイスと、
   前記動画データに基づいて、前記操作者の誤った行動を検出する検出手段と、
   前記検出手段により検出された行動が前記動画データのどの範囲に映っているかを識別可能とするインデックスデータを記録する記録手段と、
   を具備する監視システム。
3. 前記記憶デバイスにより記憶された前記動画データのうちで前記記録手段により記録された前記インデックスデータで識別される範囲の動画データに基づく動画を再生する第１の再生手段、
   をさらに具備する請求項２に記載の監視システム。
4. 前記検出手段により誤った行動が検出されたことに応じて、前記記憶デバイスにより記憶された前記動画データのうちで当該検出のために参照した範囲の動画データに基づく動画を再生する第２の再生手段、
   をさらに備える請求項２又は請求項３に記載の監視システム。
5. 決済端末を操作する操作者の行動を撮影して得られた動画データに基づいて、前記操作者の誤った行動を検出し、
   検出された行動が映っている前記動画データの範囲を識別可能とするインデックスデータを記録する、
   監視方法。

Images