JP2023117900A - 監視装置、決済装置及びプログラム - Google Patents

Abstract

【課題】フルセルフ対応の決済装置に対する客の不正行為を抑止する。【解決手段】監視装置は、行動認識手段と、操作認識手段と、不正検出手段と、画像取得手段と、出力手段とを備える。行動認識手段は、決済装置に対する決済者の行動を認識する。操作認識手段は、決済者による決済装置への操作入力を認識する。不正検出手段は、行動認識手段及び操作認識手段による認識結果を基に決済者の不正行為を検出する。画像取得手段は、決済装置を操作する決済者を撮影するカメラの撮影画像から、不正検出手段により検出された不正行為を特定する画像を取得する。出力手段は、不正行為を特定する画像を出力する。【選択図】 図３

Description

本発明の実施形態は、監視装置及び決済装置と、各々のプログラムとに関する。

近年、スーパーマーケット等の小売店では、人件費の削減、感染症の感染予防対策等の観点から、セルフＰＯＳ（Point Of Sales）端末が注目されている。セルフＰＯＳ端末は、買上商品の登録から決済までの操作を客が自ら行うようにしたフルセルフ対応の決済装置である。このため、客の不正行為を抑止できる技術の開発が求められている。

特開２０２１－１５７４２０号公報

本発明の実施形態が解決しようとする課題は、フルセルフ対応の決済装置に対する客の不正行為を抑止する技術を提供しようとするものである。

一実施形態において、監視装置は、行動認識手段と、操作認識手段と、不正検出手段と、画像取得手段と、出力手段とを備える。行動認識手段は、決済装置に対する決済者の行動を認識する。操作認識手段は、決済者による決済装置への操作入力を認識する。不正検出手段は、行動認識手段及び操作認識手段による認識結果を基に決済者の不正行為を検出する。画像取得手段は、決済装置を操作する決済者を撮影するカメラの撮影画像から、不正検出手段により検出された不正行為を特定する画像を取得する。出力手段は、不正行為を特定する画像を出力する。

図１は、フルセルフ方式のチェックアウトシステムを示す概略構成図である。 図２は、セルフＰＯＳ端末の外観構成を示す斜視図である。 図３は、監視装置の要部回路構成を示すブロック図である。 図４は、画像メモリのデータ構造を示す模式図である。 図５は、状態メモリのデータ構造を示す模式図である。 図６は、リストメモリのデータ構造を示す模式図である。 図７は、不正メモリのデータ構造を示す模式図である。 図８は、操作認識部としての機能を説明するための流れ図である。 図９は、行動認識部としての機能を説明するための流れ図である。 図１０は、不正検出部、画像取得部及び出力部としての機能を説明するための流れ図である。 図１１は、不正検出部、画像取得部及び出力部としての機能を説明するための流れ図である。 図１２は、不正検出部、画像取得部及び出力部としての機能を説明するための流れ図である。 図１３は、不正検出部、画像取得部及び出力部としての機能を説明するための流れ図である。 図１４は、不正検出部、画像取得部及び出力部としての機能を説明するための流れ図である。 図１５は、商品登録画面の一例を示す模式図である。 図１６は、アテンダント端末における画面の一例を示す模式図である。

以下、実施形態について、図面を用いて説明する。

［チェックアウトシステムの説明］
図１は、フルセルフ方式のチェックアウトシステム１００を示す概略構成図である。チェックアウトシステム１００は、複数台のセルフＰＯＳ端末１０とアテンダント端末２０と店舗サーバ３０とを含む。チェックアウトシステム１００は、各セルフＰＯＳ端末１０とアテンダント端末２０と店舗サーバ３０とをＬＡＮ（Local Area Network）等の通信ネットワーク４０で接続する。店舗サーバ３０は、通信ネットワーク４０で接続された各セルフＰＯＳ端末１０及びアテンダント端末２０に対し、本チェックアウトシステム１００に係る様々なサービスを提供する。

複数台のセルフＰＯＳ端末１０は、それぞれ店舗の会計場に設置されており、買物を終えた客が操作者となる。商品が陳列された売場において買上商品を買物かご等に入れて会計場へと移動した客は、セルフＰＯＳ端末１０を操作して、買上商品の登録から支払いまでの取引に係る決済をセルフで行う。セルフＰＯＳ端末１０は、決済装置の一例である。決済装置は、決済端末、会計装置、会計端末、商品登録装置、商品登録端末等と言い換えることができる。

アテンダント端末２０は、会計場の出口近傍に設けられた監視場に設置されている。アテンダント端末２０は、セルフＰＯＳ端末１０毎に登録された買上商品のリスト等を表示デバイスに表示する。またアテンダント端末２０は、セルフＰＯＳ端末１０でエラーが発生した場合にはそのエラー情報を報知する。監視場にいる店員、いわゆるアテンダントは、アテンダント端末２０において表示され、また報知された情報を基に会計場の監視を行う。なお、図１では、アテンダント端末２０の台数を１台としているが、複数台のアテンダント端末２０が通信ネットワーク４０に接続されていてもよい。

各セルフＰＯＳ端末１０は、それぞれ監視装置５０を備える。監視装置５０は、セルフＰＯＳ端末１０の外部にあってもよいし、内部にあってもよい。監視装置５０は、セルフＰＯＳ端末１０を操作する客、いわゆる決済者を監視するための装置である。具体的には監視装置５０は、セルフＰＯＳ端末１０の近傍に設けられたカメラ６０で撮影される画像等の情報に基づき、セルフＰＯＳ端末１０を操作して取引の決済を行っている決済者を監視し、その決済者が不正な行動をとった場合にアラートを通知する。不正な行動とは、例えば買上商品をセルフＰＯＳ端末１０に登録せずに袋詰めする行動である。不正な行動とは、例えば買上商品の代金を支払わずに会計場から退出する行動である。アラートの通知先は、セルフＰＯＳ端末１０とアテンダント端末２０の両方又は一方である。各監視装置５０は、通信ネットワーク４０を介してアテンダント端末２０に接続しており、アラート信号をアテンダント端末２０へと出力可能である。各監視装置５０は、通信ネットワーク４０を介さずにアテンダント端末２０と接続してもよい。

［セルフＰＯＳ端末の説明］
図２は、セルフＰＯＳ端末１０の外観構成を示す斜視図である。セルフＰＯＳ端末１０は、本体１０１と、該本体１０１の左右に配置された第１の商品載置台１０２及び第２の商品載置台１０３とを備える。本体１０１に向かって右側に配置される第１の商品載置台１０２は、決済者である客が登録前の買上商品を載置するための場所である。登録前の買上商品は、通常、買物かごに入れられて第１の商品載置台１０２に載置される。登録前の買上商品は、ショッピングカートに入れられた状態で第１の商品載置台１０２の上方に配置されてもよい。

本体１０１に向かって左側に配置される第２の商品載置台１０３は、決済者が登録後の買上商品を載置するための場所である。登録後の買上商品は、例えば第２の商品載置台１０３に置かれた収容体、例えば買物かご、レジ袋又はマイバッグ等に入れられる。登録後の買上商品は、第２の商品載置台１０３に直接置かれてもよい。図２において、第２の商品載置台１０３は、その上部に支柱を介して一時置き台１０４を設けている。一時置き台１０４は、例えば、商品をレジ袋等に入れる前に一時的に載置するための台である。一時置き台１０４には、左右に離間させて２本の保持アーム１０５が設けられている。決済者は、これらの保持アーム１０５を用いて、レジ袋、マイバッグ等を開口した状態で第２の商品載置台１０３の上に置くことが可能である。

本体１０１は、入出力デバイスとしてタッチパネル１１、カードリーダ１２、プリンタ１３、スキャナ１４、ハンドスキャナ１５、現金処理機１６、スピーカ１７等を備える。

タッチパネル１１は、表示デバイスとしてのディスプレイと、入力デバイスとしてのタッチセンサとを含む。ディスプレイは、決済開始画面、商品登録画面、支払い方法選択画面、会計画面等の種々の画面情報を表示する。決済開始画面は、取引の決済開始を受け付ける画面である。決済開始画面には、取引の決済開始を指令するためのスタートキーが配置される。買上商品の登録を始める決済者は、スタートキーにタッチする。スタートキーがタッチ操作されたことをタッチセンサが検知すると、セルフＰＯＳ端末１０のコントローラは、ディスプレイの画面を決済開始画面から商品登録画面へと切り替える。

商品登録画面は、登録された買上商品の商品名、価格、合計金額等の明細情報を表示する画面である。商品登録画面には、登録を終えた買上商品の代金支払いへの移行を指令するための会計キーが配置される。買上商品の登録を終えた決済者は、支払いキーにタッチする。会計キーがタッチ操作されたことをタッチセンサが検知すると、セルフＰＯＳ端末１０のコントローラは、ディスプレイの画面を商品登録画面から支払い方法選択画面へと切り替える。

支払い方法選択画面は、現金支払い、クレジットカード支払い、電子マネー支払い等の支払い方法の選択入力を受け付ける画面である。支払い方法選択画面には、現金支払いを指令するための現金キー、クレジットカード支払いを指令するためのクレジットキー、電子マネー支払いを指令するための電子マネーキー等が配置される。例えば、現金支払いを希望する決済者は、現金キーにタッチする。現金キーがタッチ操作されたことをタッチセンサが検知すると、セルフＰＯＳ端末１０のコントローラは、ディスプレイの画面を支払い方法選択画面から会計画面へと切り替える。会計画面は、取引の合計金額、現金の預かり金額、及び、釣銭額等を表示する画面である。

カードリーダ１２は、クレジットカード、電子マネーカード、ポイントカード等のカード媒体に記録されたデータを読み取るデバイスである。カード媒体が磁気カードの場合、カードリーダ１２は磁気カードリーダである。カード媒体がＩＣカードの場合、カードリーダ１２は、ＩＣカードリーダである。セルフＰＯＳ端末１０は、カードリーダ１２として磁気カードリーダ又はＩＣカードリーダのいずれか一方を備えていてもよいし、両方を備えていてもよい。カードリーダ１２は、カードへのデータ書込み機能を有したカードリーダ・ライタであってもよい。

プリンタ１３は、レシート用紙に買上レシート、クレジットカード伝票等に係るデータを印刷するデバイスである。プリンタ１３によって種々のデータが印刷されたレシート用紙は、カッタによりカットされて、レシート発行口から発行される。プリンタ１３は、例えばサーマルプリンタ又はドットインパクトプリンタ等によって実現される。

スキャナ１４及びハンドスキャナ１５は、商品を識別する情報を読み取るものである。本実施形態において、スキャナ１４及びハンドスキャナ１５は、商品を識別する情報として商品に付されたバーコードを読み取るものとする。スキャナ１４は、商品に付されたバーコードが相対するように読取窓（ガラス窓）に翳された商品のバーコードを光学的に読取る。ハンドスキャナ１５は、決済者によって手持ちで操作されるもので、商品に付されたバーコードに近接されることによりバーコードを光学的に読取る。なお、スキャナ１４及びハンドスキャナ１５は、商品を認識する情報を読み取るものであればよく、例えば二次元コード等、バーコード以外の情報を読み取るものであってもよい。

現金処理機１６は、現金を処理するものである。現金処理機１６は、紙幣投入口１６１、紙幣排出口１６２、硬貨投入口１６３及び硬貨排出口１６４を有する。現金処理機１６は、紙幣投入口１６１に投入された紙幣を処理する。現金処理機１６は、釣銭としての紙幣を紙幣排出口１６２から排出する。現金処理機１６は、硬貨投入口１６３に投入された硬貨を受け入れて処理する。現金処理機１６は、釣銭としての硬貨を硬貨排出口１６４から排出する。

スピーカ１７は、アラートしての警告音、あるいは、メッセージとしての音声などの音を出力する。

本体１０１の上方部には、撮像装置としてのカメラ６０が取り付けられている。カメラ６０は、セルフＰＯＳ端末１０を操作する決済者を撮影するものである。図２に示すように、タッチパネル１１のディスプレイ、カードリーダ１２のカード挿入口、プリンタ１３のレシート発行口、スキャナ１４の読取窓及び現金処理機１６の紙幣投入口１６１、紙幣排出口１６２、硬貨投入口１６３及び硬貨排出口１６４は、本体１０１の１つの面（以下、正面とする）に配置されている。このため決済者は、本体１０１の正面と対峙するように立って、セルフＰＯＳ端末１０を操作する。カメラ６０は、その決済者のほぼ全身を上方から撮影する。したがって、決済者の頭部、顔面、両肩、両腕、胸部、腹部等がカメラ６０によって撮影される。

［監視装置の構成説明］
図３は、監視装置５０の要部回路構成を示すブロック図である。監視装置５０は、プロセッサ５１、メインメモリ５２、補助記憶デバイス５３、時計５４、カメラインターフェース５５、端末インターフェース５６、ネットワークインターフェース５７及びシステム伝送路５８等を備える。システム伝送路５８は、アドレスバス、データバス、制御信号線等を含む。システム伝送路５８は、プロセッサ５１と他の各部とを接続し、相互間で授受されるデータ信号を伝送する。

監視装置５０は、プロセッサ５１と、メインメモリ５２、補助記憶デバイス５３、時計５４、カメラインターフェース５５、端末インターフェース５６及びネットワークインターフェース５７とをシステム伝送路５８で接続することにより、コンピュータを構成する。

プロセッサ５１は、上記コンピュータの中枢部分に相当する。プロセッサ５１は、オペレーティングシステム又はアプリケーションプログラムに従って、監視装置５０としての各種の機能を実現するべく各部を制御する。プロセッサ５１は、例えばＣＰＵ（Central Processing Unit）である。

メインメモリ５２は、上記コンピュータの主記憶部分に相当する。メインメモリ５２は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ５２は、不揮発性のメモリ領域ではオペレーティングシステム又はアプリケーションプログラムを記憶する。メインメモリ５２は、プロセッサ５１が各部を制御するための処理を実行する上で必要なデータを不揮発性又は揮発性のメモリ領域で記憶する場合もある。メインメモリ５２は、揮発性のメモリ領域を、プロセッサ５１によってデータが適宜書き換えられるワークエリアとして使用する。不揮発性のメモリ領域は、例えばＲＯＭ（Read Only Memory）である。揮発性のメモリ領域は、例えばＲＡＭ（Random Access Memory）である。

補助記憶デバイス５３は、上記コンピュータの補助記憶部分に相当する。例えばＥＥＰＲＯＭ（Electric Erasable Programmable Read-Only Memory）、ＨＤＤ（Hard Disk Drive）、あるいはＳＳＤ（Solid State Drive）等が補助記憶デバイス５３となり得る。補助記憶デバイス５３は、プロセッサ５１が各種の処理を行う上で使用するデータ、プロセッサ５１での処理によって作成されたデータ等を保存する。補助記憶デバイス５３は、上記のアプリケーションプログラムを記憶する場合もある。

カメラインターフェース５５は、セルフＰＯＳ端末１０に設けられたカメラ６０を接続する。カメラインターフェース５５は、カメラ６０の駆動を制御する制御信号をカメラ６０に対して出力する。カメラ６０は、この制御信号に従って撮影動作を行う。カメラインターフェース５５は、カメラ６０によって撮影された画像データを取り込む。

端末インターフェース５６は、セルフＰＯＳ端末１０を接続する。端末インターフェース５６は、セルフＰＯＳ端末１０との間でデータ通信を行う。

ネットワークインターフェース５７は、通信ネットワーク４０を介してアテンダント端末２０を接続する。ネットワークインターフェース５７は、アテンダント端末２０との間でデータ通信を行う。

かかる構成の監視装置５０は、メインメモリ５２における揮発性メモリ領域の一部を画像メモリ５２１、状態メモリ５２２、リストメモリ５２３及び不正メモリ５２４と領域とする。

図４は、画像メモリ５２１のデータ構造を示す模式図である。画像メモリ５２１は、撮影時刻と関連付けて、その時刻にカメラ６０で撮影された複数のフレーム画像を記憶するための領域である。

図５は、状態メモリ５２２のデータ構造を示す模式図である。状態メモリ５２２は、遷移時刻と関連付けて、複数のステータスデータを記憶するための領域である。ステータスデータは、セルフＰＯＳ端末１０を操作する決済者の行動及びその決済者によるセルフＰＯＳ端末１０への操作入力に関しての種々の状態を示すデータである。状態の詳細については後述する。遷移時刻は、ステータスデータが示す状態に遷移した時刻である。

図６は、リストメモリ５２３のデータ構造を示す模式図である。リストメモリ５２３は、登録時刻と関連付けて、複数の登録商品データを記憶するための領域である。登録商品データは、セルフＰＯＳ端末１０で登録された商品に係るデータであり、商品名と商品画像とを含む。登録商品データは、価格、買上点数等のデータをさらに含んでいてもよい。登録商品データは、商品画像を省略してもよい。

図７は、不正メモリ５２４のデータ構造を示す模式図である。不正メモリ５２４は、認識時刻と関連付けて、複数の不正データを記憶するための領域である。不正データは、不正区分、回数及び不正認識画像を含む。不正区分は、不正の種類を識別する情報である。不正の種類については後述する。回数は、不正の発生回数である。不正認識画像は、不正を特定可能な画像である。

図３の説明に戻る。
プロセッサ５１は、操作認識部５１１、行動認識部５１２、不正検出部５１３、画像取得部５１４及び出力部５１５としての機能を少なくとも備える。操作認識部５１１は、決済者によるセルフＰＯＳ端末１０への操作入力を認識する機能である。操作認識部５１１は、操作認識手段と言い換えることができる。行動認識部５１２は、セルフＰＯＳ端末１０に対する決済者の行動を認識する機能である。行動認識部５１２は、行動認識手段と言い換えることができる。不正検出部５１３は、行動認識部５１２及び操作認識部５１１による認識結果を基に決済者の不正行為を検出する機能である。不正検出部５１３は、不正検出手段と言い換えることができる。画像取得部５１４は、セルフＰＯＳ端末１０を操作する決済者を撮影するカメラ６０の撮影画像から、不正検出部５１３により検出された不正行為を特定する画像を取得する機能である。画像取得部５１４は、画像取得手段と言い換えることができる。出力部５１５は、不正行為を特定する画像をセルフＰＯＳ端末１０又はアテンダント端末２０に出力する機能である。出力部５１５は、出力手段と言い換えることができる。

操作認識部５１１、行動認識部５１２、不正検出部５１３、画像取得部５１４及び出力部５１５としての機能は、プロセッサ５１が決済者監視プログラムに従って実行する情報処理によって実現される。

決済者監視プログラムは、メインメモリ５２又は補助記憶デバイス５３に記憶されるアプリケーションプログラムの一種である。決済者監視プログラムをメインメモリ５２又は補助記憶デバイス５３にインストールする方法は特に限定されるものではない。リムーバブルな記録媒体に決済者監視プログラムを記録して、あるいはネットワークを介した通信により決済者監視プログラムを配信して、メインメモリ５２又は補助記憶デバイス５３にインストールすることができる。記録媒体は、ＣＤ－ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。

［監視装置の機能説明］
次に、監視装置５０のプロセッサ５１が有する操作認識部５１１、行動認識部５１２、不正検出部５１３、画像取得部５１４及び出力部５１５としての各機能について、図８乃至図１４の流れ図及び図１５、図１６の画面例を用いて説明する。なお、以下に説明する流れ図の手順及びその内容は一例である。同様な効果を奏し得るのであればその手順及び内容は適宜変更することができる。また、画面例も一例である。同様な効果を奏し得るのであればそのレイアウト、表示項目等は適宜変更することができる。

図８は、操作認識部５１１としての機能を説明するための流れ図である。買物を終えて会計場へ入った決済者は、空いているセルフＰＯＳ端末１０の正面に立つ。そして決済者は、登録前の買上商品を収容した買物かごを第１の商品載置台１０２に置き、空の買物かご、レジ袋、マイバッグ等の収容体を第２の商品載置台１０３の上に置く。セルフＰＯＳ端末１０のタッチパネル１１には、決済開始画面が表示されている。決済者は、決済開始画面に配置されたスタートキーをタッチする。

監視装置５０のプロセッサ５１は、図８のＡＣＴ１として利用開始のための操作入力データを待ち受けている。利用開始のための操作入力データは、決済開始画面のスタートキーがタッチされたことに応じてセルフＰＯＳ端末１０から監視装置５０へと出力される。プロセッサ５１は、利用開始のための操作入力データを入力すると、ＡＣＴ２へと進む。プロセッサ５１は、ＡＣＴ２として画像メモリ５２１、状態メモリ５２２、リストメモリ５２３及び不正メモリ５２４を初期化する。また、プロセッサ５１は、ＡＣＴ３として時計５４で計時されている時刻を遷移時刻として取得し、その遷移時刻と関連付けて状態メモリ５２２にステータス「１１」を記憶する。すなわち、ステータス「１１」は、決済者によるセルフＰＯＳ端末１０への利用開始のための操作入力を認識した状態を示す。

プロセッサ５１は、ＡＣＴ４として行動認識開始を通知する。この通知は、プロセッサ５１自身に対して行う。この通知を受けたプロセッサ５１は、行動認識部５１２としての機能を開始する。すなわちプロセッサ５１は、操作認識部５１１としての機能と並行して、行動認識部５１２としての機能を実行する。ここで、説明の便宜上、先に行動認識部５１２としての機能について説明する。

図９は、行動認識部５１２としての機能を説明するための流れ図である。行動認識部５１２としての機能を開始すると、プロセッサ５１は、ＡＣＴ２１としてカメラ６０に起動信号を出力する。カメラ６０は、起動信号を受けて撮影を開始する。プロセッサ５１は、ＡＣＴ２２としてカメラ６０による撮影画像を取り込む。撮影画像は、静止画であってもよいし、動画であってもよい。プロセッサ５１は、ＡＣＴ２３としてその撮影画像を基にセルフＰＯＳ端末１０の正面に対峙する決済者の行動を認識する。具体的にはプロセッサ５１は、撮影画像から決済者の骨格を推定する。骨格推定は、ディープラーニング等のＡＩ技術を用いて行う。プロセッサ５１は、例えば骨格推定によって得られた手の動き等から、取出し行動、登録行動、袋詰め行動又は退出行動を認識する。なお、行動認識部５１２としての機能は、操作者の動作を検知するモーション検知等により実現してもよい。

取出し行動とは、決済者が第１の商品載置台１０２に載置された買物かごから商品を取り出す行動である。例えば、商品登録前の第１の商品載置台１０２から商品を取り出して袋詰めすることなく、客のポケットなどに詰める行動も取出行動の１つである。登録行動とは、決済者が商品をスキャナ１４の読取窓に翳して商品に付されたバーコードをスキャナ１４で読み取らせる行動である。袋詰め行動とは、決済者が商品を第２の商品載置台１０３に用意した収容体に収容する行動である。なお、収容体に収容せずに商品を第２の商品載置台１０３又は一時置き台１０４に載置する行動も袋詰め行動の一種である。退出行動は、決済者がセルフＰＯＳ端末１０の前から離れて会計場から退出する行動である。

プロセッサ５１は、ＡＣＴ２４として取出し行動を認識したか否かを確認する。取出し行動を認識していない場合、プロセッサ５１は、ＡＣＴ２５として登録行動を認識したか否かを確認する。登録行動を認識していない場合、プロセッサ５１は、ＡＣＴ２６として袋詰め行動を認識したか否かを確認する。袋詰め行動を認識していない場合、プロセッサ５１は、ＡＣＴ２７として退出行動を認識したか否かを確認する。退出行動を認識していない場合、プロセッサ５１は、ＡＣＴ２８として行動認識を終了するか否かを確認する。後述するが、操作認識部５１１としての機能の中で、行動認識の終了が通知される。行動認識を終了しない場合、プロセッサ５１は、ＡＣＴ２２へと戻る。

このようにプロセッサ５１は、行動認識の終了が通知されるまでの間、カメラ６０による撮影画像（動画）を順次取り込み、その撮影画像を基に決済者の行動を認識する。その結果、取出し行動を認識した場合には、プロセッサ５１は、ＡＣＴ２９へと進む。プロセッサ５１は、ＡＣＴ２９として取出し行動を認識し得た複数枚のフレーム画像を、その撮影時刻とともに画像メモリ５２１に記憶する。取出し行動を認識し得た画像とは、決済者が買い物かごから商品を取り出す際の手の動きが映し出された画像である。プロセッサ５１は、ＡＣＴ３０として時計５４で計時されている時刻を遷移時刻として取得し、その遷移時刻と関連付けて状態メモリ５２２にステータス「２１」を記憶する。すなわち、ステータス「２１」は、決済者の取出し行動を認識した状態を示す。

プロセッサ５１は、ＡＣＴ２９及びＡＣＴ３０の処理を終えると、ＡＣＴ２２へと戻る。プロセッサ５１は、再びカメラ６０による撮影画像（動画）を順次取り込み、その撮影画像を基に決済者の行動を認識する。その結果、登録行動を認識した場合には、プロセッサ５１は、ＡＣＴ３１へと進む。プロセッサ５１は、ＡＣＴ３１として登録行動を認識し得た複数枚のフレーム画像を、その撮影時刻とともに画像メモリ５２１に記憶する。登録行動を認識し得た画像とは、決済者が商品をスキャナ１４の読取窓に翳す際の手の動きが映し出された画像である。プロセッサ５１は、ＡＣＴ３２として時計５４で計時されている時刻を遷移時刻として取得し、その遷移時刻と関連付けて状態メモリ５２２にステータス「２２」を記憶する。すなわち、ステータス「２２」は、決済者の登録行動を認識した状態を示す。

プロセッサ５１は、ＡＣＴ３１及びＡＣＴ３２の処理を終えると、ＡＣＴ２２へと戻る。プロセッサ５１は、再びカメラ６０による撮影画像（動画）を順次取り込み、その撮影画像を基に決済者の行動を認識する。その結果、袋詰め行動を認識した場合には、プロセッサ５１は、ＡＣＴ３３へと進む。プロセッサ５１は、ＡＣＴ３３として袋詰め行動を認識し得た複数枚のフレーム画像を、その撮影時刻とともに画像メモリ５２１に記憶する。袋詰め行動を認識し得た画像とは、決済者が商品を収容体に収容する際の手の動きが映し出された画像である。あるいは、決済者が商品を第２の商品載置台１０３又は一時置き台１０４の上に載置する際の手の動きが映し出された画像である。プロセッサ５１は、ＡＣＴ３４として時計５４で計時されている時刻を遷移時刻として取得し、その遷移時刻と関連付けて状態メモリ５２２にステータス「２３」を記憶する。すなわち、ステータス「２３」は、決済者の袋詰め行動を認識した状態を示す。

プロセッサ５１は、ＡＣＴ３３及びＡＣＴ３４の処理を終えると、ＡＣＴ２２へと戻る。プロセッサ５１は、再びカメラ６０による撮影画像（動画）を順次取り込み、その撮影画像を基に決済者の行動を認識する。その結果、退出行動を認識した場合には、プロセッサ５１は、ＡＣＴ３５へと進む。プロセッサ５１は、ＡＣＴ３５として退出行動を認識し得た複数枚のフレーム画像を、その撮影時刻とともに画像メモリ５２１に記憶する。退出行動を認識し得た画像とは、セルフＰＯＳ端末１０の前から離れていく決済者の動きが映し出された画像である。プロセッサ５１は、ＡＣＴ３６として時計５４で計時されている時刻を遷移時刻として取得し、その遷移時刻と関連付けて状態メモリ５２２にステータス「２４」を記憶する。すなわち、ステータス「２４」は、決済者の退出行動を認識した状態を示す。

プロセッサ５１は、ＡＣＴ３５及びＡＣＴ３６の処理を終えると、ＡＣＴ２２へと戻る。プロセッサ５１は、再びカメラ６０による撮影画像（動画）を順次取り込み、その撮影画像を基に決済者の行動を認識する。そして、取出し行動、登録行動、袋詰め行動又は退出行動を認識した場合には、プロセッサ５１は、それぞれＡＣＴ２９乃至ＡＣＴ３６の処理を前述したのと同様に実行する。

プロセッサ５１は、行動認識の終了が通知されると、ＡＣＴ３７へと進む。プロセッサ５１は、ＡＣＴ３７としてカメラ６０に停止信号を出力する。カメラ６０は、停止信号を受けて撮影を終了する。以上で、プロセッサ５１は、行動認識部５１２としての機能を終了する。

操作認識部５１１の機能説明に戻る。
決済者が決済開始画面のスタートキーをタッチすると、タッチパネル１１の画面は、決済開始画面から商品登録画面ＳＣａ（図１５を参照）に切り替わる。

図１５は、商品登録画面ＳＣａの一例である。図示するように、商品登録画面ＳＣａは、メッセージ表示領域Ｍａと、リスト表示領域Ｌａと、合計表示領域Ａａと、登録商品画像表示領域Ｐａと、不正特定画像表示領域Ｑａと、会計キーＢｘと、中止キーＢｙと、店員呼出キーＢｚと、を含む。

メッセージ表示領域Ｍａには、商品登録の操作方法を示すメッセージとして例えば「商品のバーコードを読取窓に近づけてください」が表示される。リスト表示領域Ｌａには、登録済商品の商品名、点数及び価格等がリスト形式で表示される。合計表示領域Ａａには、登録済商品の合計点数及び合計金額が表示される。登録商品画像表示領域Ｐａには、買上商品として登録された商品の画像が表示される。不正特定画像表示領域Ｑａは、画像取得部５１４の機能により取得し得た不正行為を特定するための画像と警告メッセージとが表示される。会計キーＢｘは、買上商品の登録を終了した決済者が会計開始を指示するためのソフトキーである。中止キーＢｙは、決済者が買上商品の登録中止を指示するためのソフトキーである。店員呼出キーＢｚは、決済者が店員の呼び出しを指示するためのソフトキーである。

図１６は、図１５の商品登録画面ＳＣａが表示されているセルフＰＯＳ端末１０に対してアテンダント端末２０の表示デバイスに表示される画面ＳＣｂの一例である。アテンダント端末２０の表示デバイスには、各セルフＰＯＳ端末１０の商品登録画面ＳＣａにそれぞれ対応した画面ＳＣｂが区分けされて、画面ＳＣｂが複数表示される。

画面ＳＣｂは、リスト表示領域Ｌｂと、合計表示領域Ａｂと、不正特定画像表示領域Ｑｂとを含む。リスト表示領域Ｌｂには、商品登録画面ＳＣａのリスト表示領域Ｌａと同一内容が表示される。合計表示領域Ａｂには、商品登録画面ＳＣａの合計表示領域Ａａと同一内容が表示される。不正特定画像表示領域Ｑｂには、商品登録画面ＳＣａの不正特定画像表示領域Ｑａと同一内容が表示される。ただし、不正特定画像表示領域Ｑａに表示される警告メッセージは、決済者、つまりは客向けであるのに対し、不正特定画像表示領域Ｑｂに表示される警告メッセージはアテンダント、つまりは店員向けである。

図８のＡＣＴ４において行動認識開始を通知したプロセッサ５１は、ＡＣＴ５としてセルフＰＯＳ端末１０からの操作入力データを待ち受ける。操作入力データには、商品登録に係る操作入力データ、登録中止の指示に係る操作入力データ、会計開始の指示に係る操作入力データ等がある。商品登録に係る操作入力データとは、決済者が商品のバーコードを読取窓に翳す操作を受けて、スキャナ１４がスキャニングしたバーコードで識別される商品のデータである。商品のデータには、少なくとも商品名が含まれる。登録中止の指示に係る操作入力データとは、決済者が商品登録画面ＳＣａの中止キーＢｙにタッチする操作を受けて、セルフＰＯＳ端末１０から出力される中止キー信号のデータである。会計開始の指示に係る操作入力データとは、決済者が商品登録画面ＳＣａの会計キーＢｘにタッチする操作を受けて、セルフＰＯＳ端末１０から出力される会計キー信号のデータである。

プロセッサ５１は、セルフＰＯＳ端末１０から操作入力データを入力すると、ＡＣＴ６として商品登録に係る操作入力データを入力したのか、登録中止の指示に係る操作入力データを入力したのか、会計開始の指示に係る操作入力データを入力したのかを確認する。プロセッサ５１は、その他の操作入力データを入力した場合にはＡＣＴ５に戻り、次の操作入力データを待ち受ける。

ＡＣＴ５乃至ＡＣＴ８の操作入力データ待ち受け状態において、商品登録に係る操作入力データを入力した場合には、プロセッサ５１は、ＡＣＴ９へと進む。プロセッサ５１は、ＡＣＴ９として時計５４で計時されている時刻を登録時刻として取得し、その登録時刻と関連付けて状態メモリ５２２にステータス「１２」を記憶する。すなわち、ステータス「１２」は、商品登録に係る操作入力データを認識した状態を示す。

プロセッサ５１は、ＡＣＴ１０として登録商品画像を取得する。例えばプロセッサ５１は、登録時刻の直前に画像メモリ５２１に記憶した複数枚の登録行動を認識し得たフレーム画像から、商品の画像を切り出し、登録商品画像として取得する。商品の画像は、決済者が読取窓に翳している物体の画像である。商品の画像は、決済者の手の一部が含まれていてもよい。商品登録に係る操作入力データに予め設定された商品画像のデータが含まれている場合、登録商品画像は、その操作入力データに含まれている商品画像でもよい。プロセッサ５１は、ＡＣＴ１１として登録時刻に関連付けて、商品登録に係る操作入力データに含まれる商品名と、登録商品画像とをリストメモリ５２３に記憶する。その後、プロセッサ５１はＡＣＴ５に戻り、次の操作入力データを待ち受ける。

ＡＣＴ５乃至ＡＣＴ８の操作入力データ待ち受け状態において、ＡＣＴ７にて登録中止に係る操作入力データを入力した場合には、プロセッサ５１は、ＡＣＴ１２へと進む。プロセッサ５１は、ＡＣＴ１２として時計５４で計時されている時刻を登録中止時刻として取得し、その登録中止時刻と関連付けて状態メモリ５２２にステータス「１５」を記憶する。すなわち、ステータス「１５」は、登録中止に係る操作入力データを認識した状態を示す。

プロセッサ５１は、ＡＣＴ１３として行動認識終了を通知する。この通知は、プロセッサ５１自身に対して行う。この通知を受けたプロセッサ５１は、行動認識部５１２としての機能を終了する。またプロセッサ５１は、ＡＣＴ１４として状態メモリ５２２のデータを補助記憶デバイス５３に保存する。以上で、プロセッサ５１は、操作認識部５１１としての機能を終了する。

ＡＣＴ５乃至ＡＣＴ８の操作入力データ待ち受け状態において、ＡＣＴ８にて会計開始に係る操作入力データを入力した場合には、プロセッサ５１は、ＡＣＴ１５へと進む。プロセッサ５１は、ＡＣＴ１５として時計５４で計時されている時刻を会計開始時刻として取得し、その会計開始時刻と関連付けて状態メモリ５２２にステータス「１３」を記憶する。すなわち、ステータス「１３」は、会計開始に係る操作入力データを認識した状態を示す。

プロセッサ５１は、ＡＣＴ１６として会計終了データを待ち受ける。会計終了データは、セルフＰＯＳ端末１０において、現金支払い、クレジットカード支払い、電子マネー支払い等の支払い方法の選択入力を受け付け、選択された支払い方法による代金の支払いが終了した際に、セルフＰＯＳ端末１０から出力されるデータである。会計終了データが入力されると、プロセッサ５１は、ＡＣＴ１７へと進む。プロセッサ５１は、ＡＣＴ１７として時計５４で計時されている時刻を会計終了時刻として取得し、その会計終了時刻と関連付けて状態メモリ５２２にステータス「１４」を記憶する。すなわち、ステータス「１４」は、会計終了に係る操作入力データを認識した状態を示す。

その後、プロセッサ５１は、前述したＡＣＴ１３へと進む。すなわちプロセッサ５１は、行動認識終了を通知する。またプロセッサ５１は、状態メモリ５２２のデータを補助記憶デバイス５３に保存する。以上で、プロセッサ５１は、操作認識部５１１としての機能を終了する。

プロセッサ５１は、セルフＰＯＳ端末１０から利用開始のための操作入力データを入力する毎に、図８のＡＣＴ１乃至ＡＣＴ１７で示される操作認識部５１１としての処理を実行する。また、プロセッサ５１は、図９のＡＣＴ２１乃至ＡＣＴ３７で示される行動認識部５１２としての処理を実行する。かくして、補助記憶デバイス５３には、セルフＰＯＳ端末１０を利用して決済をセルフで行った決済者毎に、その決済者に係る種々のステータスを時系列に記憶した状態メモリ５２２のデータが保存される。したがって、この状態メモリ５２２のデータを解析することによって、決済者による操作履歴及び決済者の行動履歴を検証することができる。

一方、監視装置５０は、決済者による不正をリアルタイムに検出し、当該決済者に警告し、またアテンダントに通知することによって、不正を未然に防ぐようにしている。このような不正防止機能は、不正検出部５１３、画像取得部５１４及び出力部５１５により実現される。

図１０乃至図１４は、不正検出部５１３、画像取得部５１４及び出力部５１５としての機能を説明するための流れ図である。図１０において、プロセッサ５１は、ＡＣＴ４１として状態メモリ５２２にステータス「１１」が記憶されるのを待ち受ける。

状態メモリ５２２にステータス「１１」が記憶されると、プロセッサ５１は、ＡＣＴ４２へと進む。プロセッサ５１は、ＡＣＴ４２として状態メモリ５２２から次のステータスデータを取得する。そしてプロセッサ５１は、ＡＣＴ４３としてステータス「２１」を取得するか、ＡＣＴ４４としてステータス「２４」を取得するのを待ち受ける。すなわちプロセッサ５１は、決済者によるセルフＰＯＳ端末１０への利用開始のための操作入力を認識すると、その決済者の取出し行動を認識するか、退出行動を認識するのを待ち受ける。

ＡＣＴ４３及びＡＣＴ４４の待ち受け状態において、ステータス「２１」を取得すると、プロセッサ５１は、ＡＣＴ４５へと進む。プロセッサ５１は、ＡＣＴ４５として状態メモリ５２２から次のステータスデータを取得する。そしてプロセッサ５１は、ＡＣＴ４６としてステータス「２２」を取得するか、ＡＣＴ４７としてステータス「２３」を取得するか、ＡＣＴ４８としてステータス「２４」を取得するのを待ち受ける。すなわちプロセッサ５１は、決済者の取出し行動を認識すると、その決済者の登録行動を認識するか、袋詰め行動を認識するか、退出行動を認識するのを待ち受ける。

ＡＣＴ４６乃至ＡＣＴ４８の待ち受け状態において、ステータス「２２」を取得すると、プロセッサ５１は、図１１のＡＣＴ５１へと進む。プロセッサ５１は、ＡＣＴ５１として状態メモリ５２２から次のステータスデータを取得する。そしてプロセッサ５１は、ＡＣＴ５２としてステータス「２３」を取得するか、ＡＣＴ５３としてステータス「２４」を取得するか、ＡＣＴ５４としてステータス「２１」を取得するのを待ち受ける。すなわちプロセッサ５１は、決済者の登録行動を認識すると、その決済者の袋詰め行動を認識するか、退出行動を認識するか、取出し行動を認識するのを待ち受ける。

ＡＣＴ５２乃至ＡＣＴ５４の待ち受け状態において、ステータス「２３」を取得すると、プロセッサ５１は、ＡＣＴ５５へと進む。プロセッサ５１は、ＡＣＴ５５として状態メモリ５２２からステータス「２３」よりも１つ前に記憶されているステータスを取得する。プロセッサ５１は、ＡＣＴ５６としてステータス「２３」よりも１つ前に記憶されているステータスが「１２」であるか否かを確認する。すなわちプロセッサ５１は、袋詰め行動の前に商品登録に係る操作入力データを認識しているか否かを確認する。ステータス「１２」が記憶されている場合、プロセッサ５１は、ＡＣＴ５７へと進む。プロセッサ５１は、ＡＣＴ５７としてリストメモリ５２３に記憶した最新の商品登録画像をセルフＰＯＳ端末１０へと出力する。これにより、セルフＰＯＳ端末１０においては、商品登録画面ＳＣａの登録商品画像表示領域Ｐａに商品登録画像が表示される。この画像は、決済者がセルフＰＯＳ端末１０のスキャナ１４でバーコードを読み取らせることによって登録処理された買上商品の画像である。

ＡＣＴ５７の処理を終えたプロセッサ５１は、図１０のＡＣＴ４２に戻る。そしてプロセッサ５１は、ＡＣＴ４２以降の処理を前述したのと同様に実行する。

このようにプロセッサ５１は、決済者の取出し行動を認識し、続いて登録行動を認識し、商品登録に係る操作入力データを認識してから、袋詰め行動を認識した場合には、不正無しと認定する。プロセッサ５１は、登録処理された買上商品の画像をセルフＰＯＳ端末１０へと出力する。

次に、決済者の不正を認識した場合について説明する。
はじめに、決済者が商品の登録行動を行ったが、未登録のまま袋詰め行動を行った不正について説明する。このような不正は、例えば決済者がバーコードを手で隠してスキャナ１４の読取窓に翳す行為をした場合に生じる。その場合、状態メモリ５２２には、取出し行動を示すステータス「２１」の次に、登録行動を示すステータス「２２」が記憶され、続いて袋詰め行動を示すステータス「２３」が記憶される。ただし、ステータス「２２」とステータス「２３」との間に、商品登録に係る操作入力データを示すステータス「１２」は記憶されない。すなわち、図１１のＡＣＴ５６において、ステータス「２３」よりも１つ前に記憶されているステータスが「１２」でない場合（ＡＣＴ５６のＮＯ）が該当する。

プロセッサ５１は、図１２のＡＣＴ６１へと進む。プロセッサ５１は、ＡＣＴ６１として袋詰め行動画像を取得する。具体的にはプロセッサ５１は、ステータス「２３」の遷移時刻前後に画像メモリ５２１に記憶した袋詰め行動を認識し得た複数枚のフレーム画像を取得する。プロセッサ５１は、ＡＣＴ６２としてその取得したフレーム画像から、不正行為を特定する画像として、袋詰め行動によって袋詰めされた商品を特定可能な画像を切り出す。例えばプロセッサ５１は、決済者が手に持っている商品の画像を切り出す。例えばプロセッサ５１は、決済者が第２の商品載置台１０３又は一時置き台１０４に載置した商品の画像を切り出す。

ここに、プロセッサ５１は、図１１のＡＣＴ５６の処理により、不正検出部５１３として機能する。またプロセッサ５１は、図１２のＡＣＴ６１及びＡＣＴ６２の処理により画像取得部５１４として機能する。

ＡＣＴ６２の処理を終えたプロセッサ５１は、ＡＣＴ６３として不正区分を「９１」とする。不正区分「９１」は、商品未登録の不正を示す情報である。プロセッサ５１は、ＡＣＴ６４として回数カウンタを＋１だけカウントアップする。回数カウンタは、図８のＡＣＴ２において、各メモリを初期化する際に“０”にリセットされている。

プロセッサ５１は、ＡＣＴ６５として不正データを不正メモリ５２４に記憶する。すなわちプロセッサ５１は、時計５４にて計時されている現在時刻を不正の認識時刻とする。そしてプロセッサ５１は、この認識時刻と関連付けて、ＡＣＴ６３において決定した不正区分と、ＡＣＴ６４において更新した回数カウンタの値と、ＡＣＴ６２において取得した不正行為を特定する画像、すなわち不正認識画像とを、不正メモリ５２４に記憶する。

プロセッサ５１は、ＡＣＴ６６として不正認識画像と不正区分「９１」に対応した決済者向けの警告メッセージとをセルフＰＯＳ端末１０に出力する。これにより、セルフＰＯＳ端末１０においては、商品登録画面ＳＣａの不正特定画像表示領域Ｑａに、不正認識画像と決済者向けの警告メッセージとが表示される。警告メッセージは、例えば「商品が未登録です。登録し直してください」等のように、画像の商品が未登録であること、商品の再登録が必要であること、等を通知する内容である。このように、商品の登録行動を行ったが、未登録のまま袋詰め行動を行った決済者に対しては、不正特定画像表示領域Ｑａに不正認識画像と警告メッセージとが表示される。

プロセッサ５１は、ＡＣＴ６７として回数が閾値Ｎ以上であるか否かを確認する。回数が閾値Ｎ以上である場合、プロセッサ５１は、ＡＣＴ６８へと進む。プロセッサ５１は、ＡＣＴ６８として不正認識画像と不正区分「９１」に対応したアテンダント向けの警告メッセージとをアテンダント端末２０に出力する。これにより、アテンダント端末２０においては、セルフＰＯＳ端末１０に対応する画面ＳＣｂの不正特定画像表示領域Ｑｂに、不正認識画像とアテンダント向けの警告メッセージとが表示される。警告メッセージは、例えば「商品の未登録が発生しました」等のように、商品未登録の不正が発生したことをアテンダントに通知する内容である。このように決済者がＮ回以上不正を犯した場合には、アテンダント端末２０を介してアテンダントに報告がなされる。

閾値Ｎは、“１”以上の任意の値である。例えば、不正行為を検出する毎にアテンダント端末２０にその行為を通知する場合には、閾値Ｎを“１”とする。例えば、１回の決済で３回以上の不正行為が検出された場合にアテンダント端末２０にその行為を通知する場合には、閾値Ｎを“３”とする。閾値Ｎを“２”以上とすることで、不正行為がアテンダント端末２０に通知される回数が減少するので、アテンダントの負担が軽減される。しかし、アテンダントが決済者の不正行為を見逃すおそれがある。閾値Ｎを“１”とすれば、不正行為が検出される毎にアテンダント端末２０にその行為が通知されるので、アテンダントが不正行為を見逃す確率は低減される。

ここに、プロセッサ５１は、ＡＣＴ６６及びＡＣＴ６８の処理により、出力部５１５として機能する。

回数が閾値Ｎ未満である場合、あるいは回数が閾値Ｎ以上であるために不正認識画像と警告メッセージとをアテンダント端末２０に出力したプロセッサ５１は、図１３のＡＣＴ７１へと進む。プロセッサ５１は、ＡＣＴ７１として状態メモリ５２２から次のステータスデータを取得する。そしてプロセッサ５１は、ＡＣＴ７２としてステータス「２２」を取得するか、ＡＣＴ７３としてステータス「２４」を取得するか、ＡＣＴ７４としてステータス「２１」を取得するのを待ち受ける。すなわちプロセッサ５１は、商品未登録の不正行為を検出すると、決済者の登録行動を認識するか、退出行動を認識するか、取出し行動を認識するのを待ち受ける。

商品登録画面ＳＣａの不正特定画像表示領域Ｑａに表示された不正認識画像と警告メッセージとを確認した決済者は、商品未登録の不正を解消する場合、不正認識画像で特定される商品を第２の商品載置台１０３から取り出して登録行動を行う。すなわち、図１３のＡＣＴ７２乃至ＡＣＴ７４の待ち受け状態において、ステータス「２２」を取得した場合（ＡＣＴ７２のＹＥＳ）が該当する。

プロセッサ５１は、ＡＣＴ７５へと進む。プロセッサ５１は、ＡＣＴ７５として不正認識画像と警告メッセージとの出力を解除する。これにより、セルフＰＯＳ端末１０においては、不正特定画像表示領域Ｑａの表示が消去する。アテンダント端末２０においては、不正特定画像表示領域Ｑｂの表示が消去する。

ＡＣＴ７５の処理を終えると、プロセッサ５１は、図１１のＡＣＴ５１へと進む。プロセッサ５１は、ＡＣＴ５１以降の処理を前述したのと同様に実行する。

したがって、決済者の登録行動により商品のバーコードがスキャナ１４で読み取られた場合、状態メモリ５２２には、ステータス「２２」の後にステータス「１２」が記憶される。また、その後の決済者の袋詰め行動により、状態メモリ５２２には、ステータス「２３」が記憶される。その結果、プロセッサ５１は、ＡＣＴ５１、ＡＣＴ５５及びＡＣＴ５７の処理を順次実行して、図１０のＡＣＴ４２に戻る。すなわち、商品未登録の不正が解消される。

その一方で、決済者が商品未登録の不正を解消することなく、次の商品を第１の商品載置台１０２から取り出す不正行為を繰り返す場合があり得る。図１３のＡＣＴ７２乃至ＡＣＴ７４の待ち受け状態において、ステータス「２１」を取得した場合（ＡＣＴ７４のＹＥＳ）が該当する。

プロセッサ５１は、ＡＣＴ７６へと進む。プロセッサ５１は、ＡＣＴ７６としてセルフＰＯＳ端末１０に対してエラー命令を出力する。エラー命令を入力したセルフＰＯＳ端末１０は、エラー状態となって操作不能となる。エラー状態は、アテンダントによるエラー解除操作が行われないと解除されない。

プロセッサ５１は、ＡＣＴ７７としてアテンダント端末２０にエラー信号を出力する。エラー信号は、ＡＣＴ６２において取得した不正認識画像と、不正区分「９１」に対応したアテンダント向けの警告メッセージとを含む。エラー信号を入力したアテンダント端末２０は、セルフＰＯＳ端末１０に対応する画面ＳＣｂの不正特定画像表示領域Ｑｂに、不正認識画像とアテンダント向けの警告メッセージとを表示する。またアテンダント端末２０は、セルフＰＯＳ端末１０がエラーとなったことをアテンダントに報知する。報知の方法は、限定されない。例えば、ランプの点灯により報知してもよいし、エラー音の鳴動により報知してもよい。不正内容とエラーを確認したアテンダントは、セルフＰＯＳ端末１０の場所まで出向いて不正を解消するように決済者に告げる。またアテンダントは、エラーを解除するための操作を行う。エラーが解除されると、セルフＰＯＳ端末１０からエラー解除信号が監視装置５０に出力される。

エラー命令及びエラー信号の出力を行ったプロセッサ５１は、ＡＣＴ７８としてエラー解除信号を待ち受ける。端末インターフェース５６を介してエラー解除信号を受信すると、プロセッサ５１は、ＡＣＴ７１へと戻る。したがって決済者は、未登録商品の登録行動、つまりは商品未登録の不正を解消するための操作を行わないと、次の商品登録に進むことはできない。

次に、決済者が商品の登録行動を行ったが、未登録のまま袋詰め行動もしないで次の商品を取り出す不正について説明する。このような不正は、例えば決済者がバーコードを手で隠してスキャナ１４の読取窓に翳し、さらにその商品を袋詰めせずに床等に場所に置く等の行為をした場合に生じる。その場合、状態メモリ５２２には、取出し行動を示すステータス「２１」の次に、登録行動を示すステータス「２２」が記憶されるが、その次に袋詰め行動を示すステータス「２３」は記憶されず、再び取出し行動を示すステータス「２１」が記憶される。すなわち、図１１のＡＣＴ５２乃至ＡＣＴ５４の待ち受け状態において、ステータス「２１」が記憶された場合（ＡＣＴ５４のＹＥＳ）が該当する。

プロセッサ５１は、図１４のＡＣＴ８１へと進む。プロセッサ５１は、ＡＣＴ８１として状態メモリ５２２からステータス「２１」よりも１つ前に記憶されているステータスを取得する。プロセッサ５１は、ＡＣＴ８２としてステータス「２１」よりも１つ前に記憶されているステータスが「１２」であるか否かを確認する。すなわちプロセッサ５１は、決済者の取出し行動の前に商品登録に係る操作入力データを認識しているか否かを確認する。ステータス「１２」が記憶されている場合、袋詰めされなかった商品は正しく登録されており、不正はない。この場合、プロセッサ５１は、ＡＣＴ８３へと進む。プロセッサ５１は、ＡＣＴ８３としてリストメモリ５２３に記憶した最新の商品登録画像をセルフＰＯＳ端末１０へと出力する。これにより、セルフＰＯＳ端末１０においては、商品登録画面ＳＣａの登録商品画像表示領域Ｐａに商品登録画像が表示される。

ＡＣＴ８３の処理を終えたプロセッサ５１は、図１０のＡＣＴ４５に戻る。すなわち、ＡＣＴ４３においてステータス「２１」を取得した場合と同様の処理へと進む。そしてプロセッサ５１は、ＡＣＴ４５以降の処理を前述したのと同様に実行する。

一方、ＡＣＴ８２において、ステータス「２１」よりも１つ前に記憶されているステータスが「１２」でない場合、袋詰めしなかった商品は未登録である。この場合、プロセッサ５１は、ＡＣＴ８４へと進む。プロセッサ５１は、ＡＣＴ８４として登録行動画像を取得する。具体的にはプロセッサ５１は、ステータス「２１」よりも１つ前に記憶されたステータス「２２」の遷移時刻前後に画像メモリ５２１に記憶した登録行動を認識し得た複数枚のフレーム画像を取得する。プロセッサ５１は、ＡＣＴ８５としてその取得したフレーム画像から、不正行為を特定する画像として、登録行動によって読取窓に翳された商品を特定可能な画像を切り出す。例えばプロセッサ５１は、決済者が読取窓に翳している手で把持している商品の画像を切り出す。

ここに、プロセッサ５１は、図１４のＡＣＴ８２の処理により、不正検出部５１３として機能する。またプロセッサ５１は、図１４のＡＣＴ８４及びＡＣＴ８５の処理により画像取得部５１４として機能する。

ＡＣＴ８５の処理を終えたプロセッサ５１は、ＡＣＴ８６として不正区分を「９２」とする。不正区分「９２」は、商品未登録かつ袋詰め無しの不正を示す情報である。プロセッサ５１は、ＡＣＴ８７として回数カウンタを＋１だけカウントアップする。

プロセッサ５１は、ＡＣＴ８８として不正データを不正メモリ５２４に記憶する。すなわちプロセッサ５１は、時計５４にて計時されている現在時刻を不正の認識時刻とする。そしてプロセッサ５１は、この認識時刻と関連付けて、ＡＣＴ８６において決定した不正区分と、ＡＣＴ８７において更新した回数カウンタの値と、ＡＣＴ８５において取得した不正行為を特定する画像、すなわち不正認識画像とを、不正メモリ５２４に記憶する。

プロセッサ５１は、ＡＣＴ８９として不正認識画像と不正区分「９２」に対応した決済者向けの警告メッセージとをセルフＰＯＳ端末１０に出力する。これにより、セルフＰＯＳ端末１０においては、商品登録画面ＳＣａの不正特定画像表示領域Ｑａに、不正認識画像と決済者向けの警告メッセージとが表示される。警告メッセージは、例えば「商品が未登録です。袋詰めしなかった商品を登録し直してください」等のように、画像の商品が未登録であること、袋詰めしなかった商品の再登録が必要であること、等を通知する内容である。

プロセッサ５１は、ＡＣＴ９０としてセルフＰＯＳ端末１０に対してエラー命令を出力する。エラー命令を入力したセルフＰＯＳ端末１０は、エラー状態となって操作不能となる。エラー状態は、アテンダントによるエラー解除操作が行われないと解除されない。

プロセッサ５１は、ＡＣＴ９１としてアテンダント端末２０にエラー信号を出力する。エラー信号は、ＡＣＴ８５において取得した不正認識画像と、不正区分「９２」に対応したアテンダント向けの警告メッセージとを含む。エラー信号を入力したアテンダント端末２０は、セルフＰＯＳ端末１０に対応する画面ＳＣｂの不正特定画像表示領域Ｑｂに、不正認識画像とアテンダント向けの警告メッセージとを表示する。またアテンダント端末２０は、セルフＰＯＳ端末１０がエラーとなったことをアテンダントに報知する。報知の方法は、限定されない。例えば、ランプの点灯により報知してもよいし、エラー音の鳴動により報知してもよい。不正内容とエラーを確認したアテンダントは、セルフＰＯＳ端末１０の場所まで出向いて不正を解消するように決済者に告げる。またアテンダントは、エラーを解除するための操作を行う。エラーが解除されると、セルフＰＯＳ端末１０からエラー解除信号が監視装置５０に出力される。

ここに、プロセッサ５１は、ＡＣＴ８９およびＡＣＴ９１の処理により、出力部５１５として機能する。

プロセッサ５１は、ＡＣＴ９２としてエラー解除信号を待ち受ける。端末インターフェース５６を介してエラー解除信号を受信すると、プロセッサ５１は、図１３のＡＣＴ７１へと戻る。したがって決済者は、袋詰めしなかった未登録商品の不正を解消するための操作を行わないと、次の商品を登録することはできない。

次に、決済者が買物かごから取り出した商品について登録行動を行わずに袋詰め行動を行った不正について説明する。この場合、状態メモリ５２２には、取出し行動を示すステータス「２１」の次に、袋詰め行動を示すステータス「２３」が記憶される。すなわち、図１０のＡＣＴ４６乃至ＡＣＴ４８の待ち受け状態において、ステータス「２３」を取得した場合（ＡＣＴ４７のＹＥＳ）が該当する。

プロセッサ５１は、図１２のＡＣＴ６１へと進む。そしてプロセッサ５１は、ＡＣＴ６１乃至ＡＣＴ６８の処理、さらには図１３のＡＣＴ７１以降の処理を前述したのと同様に実行する。すなわちプロセッサ５１は、袋詰め行動画像を取得し、その画像から不正行為を特定する画像を切り出す。またプロセッサ５１は、不正データを不正メモリ５２４に記憶する。プロセッサ５１は、不正認識画像と不正区分「９１」に対応した決済者向けの警告メッセージとをセルフＰＯＳ端末１０に出力する。また回数が閾値Ｎ以上である場合、プロセッサ５１は、不正認識画像と不正区分「９１」に対応したアテンダント向けの警告メッセージとをアテンダント端末２０に出力する。

これにより、セルフＰＯＳ端末１０においては、商品登録画面ＳＣａの不正特定画像表示領域Ｑａに、不正認識画像として登録行動を行わずに袋詰め行動を行った商品の画像と決済者向けの警告メッセージとが表示される。このように、買物かごから取り出した商品について登録行動を行わずに袋詰め行動を行った決済者に対しては、商品登録画面ＳＣａの不正特定画像表示領域Ｑａに不正認識画像と警告メッセージが表示される。また、回数が閾値Ｎ以上の場合には、アテンダント端末２０におけるセルフＰＯＳ端末１０に対応する画面ＳＣｂの不正特定画像表示領域Ｑｂに、同様な不正認識画像とアテンダント向けの警告メッセージとが表示される。このように決済者がＮ回以上不正を犯した場合には、アテンダント端末２０を介してアテンダントに報告がなされる。

その後、プロセッサ５１は、次のステータスデータとしてステータス「２２」を取得するか、ステータス「２４」を取得するか、ステータス「２１」を取得するのを待ち受ける。ここで、ステータス「２２」を取得した場合、プロセッサ５１は、不正認識画像と警告メッセージとの出力を解除する。すなわち、決済者が商品未登録の不正を正した場合には、以後の商品登録が可能となる。しかし、不正を正すことなく買物かごから次の商品を取り出した場合には、セルフＰＯＳ端末１０がエラー状態となる。

最後に、買上商品の代金を支払わずに会計場から退出する不正について説明する。このような不正は、図１０のＡＣＴ４３又はＡＣＴ４４の待ち受け状態、又は同図のＡＣＴ４６乃至ＡＣＴ４８の待ち受け状態、又は図１１のＡＣＴ５２乃至ＡＣＴ５４の待ち受け状態、図１３のＡＣＴ７２乃至ＡＣＴ７４の待ち受け状態において、次のステータスとしてステータス「２４」を取得した場合（ＡＣＴ４４、ＡＣＴ４８、ＡＣＴ５４又はＡＣＴ７４のＹＥＳ）に発覚する。

プロセッサ５１は、図１０のＡＣＴ１０１へと進む。プロセッサ５１は、状態メモリ５２２からステータス「２４」よりも１つ前に記憶されているステータスを取得する。プロセッサ５１は、ＡＣＴ１０２としてステータス「２４」よりも１つ前に記憶されているステータスが「１４」または「１５」であるか否かを確認する。すなわちプロセッサ５１は、退出行動の前に会計終了に係る操作入力データ又は登録中止に係る操作入力データを認識しているか否かを確認する。退出行動の前に会計終了に係る操作入力データ又は登録中止に係る操作入力データを認識している場合、退出行動は正当な行動である。プロセッサ５１は、不正検出部５１３としての機能を終了する。

これに対し、ステータス「２４」よりも１つ前に記憶されているステータスが「１４」または「１５」でない場合、すなわち、会計終了に係る操作入力データ又は登録中止に係る操作入力データを認識していない場合、退出行動は不正な行動である。プロセッサ５１は、ＡＣＴ１０３として退出行動画像を取得する。具体的にはプロセッサ５１は、ステータス「２４」の遷移時刻前後に画像メモリ５２１に記憶した退出行動を認識し得た複数枚のフレーム画像を取得する。プロセッサ５１は、ＡＣＴ１０４としてその取得したフレーム画像から、不正行為を特定する画像として、決済者である人物を特定可能な画像を切り出す。例えばプロセッサ５１は、決済者の顔が映し出された画像を切り出す。

プロセッサ５１は、ＡＣＴ１０５として不正区分を「９９」とする。不正区分「９９」は、未会計退出の不正を示す情報である。プロセッサ５１は、ＡＣＴ１０６として回数カウンタを＋１だけカウントアップする。そしてプロセッサ５１は、ＡＣＴ１０７として不正データを不正メモリ５２４に記憶する。すなわちプロセッサ５１は、時計５４にて計時されている現在時刻を不正の認識時刻とする。そしてプロセッサ５１は、この認識時刻と関連付けて、ＡＣＴ１０５において決定した不正区分と、ＡＣＴ１０６において更新した回数カウンタの値と、ＡＣＴ１０４において取得した不正行為を特定する画像、すなわち不正認識画像とを、不正メモリ５２４に記憶する。

プロセッサ５１は、ＡＣＴ１０８としてセルフＰＯＳ端末１０に対してエラー命令を出力する。またプロセッサ５１は、ＡＣＴ１０９としてアテンダント端末２０にエラー信号を出力する。エラー信号は、ＡＣＴ１０４において取得した不正認識画像と、不正区分「９９」に対応したアテンダント向けの警告メッセージとを含む。警告メッセージは、例えば「未会計のまま退出しようとする決済者がいます」等というように、アテンダントに注意を喚起する内容である。
エラー命令及びエラー信号を出力したプロセッサ５１は、不正検出部５１３としての機能を終了する。

［監視装置の効果説明］
以上詳述したように、監視装置５０によれば、セルフＰＯＳ端末１０において発生し得る客の不正行為を抑止できる効果を奏する。

例えば、買上商品を未登録のまま袋詰めする不正行為を決済者が犯した場合、セルフＰＯＳ端末１０のタッチパネル１１には、不正認識画像と警告メッセージとが表示される。不正認識画像は、決済者が未登録のまま袋詰めを行った買上商品を特定可能な画像である。警告メッセージは、未登録商品を登録し直すことを指示する内容である。不正認識画像を警告メッセージとともに表示することで、上述した不正行為の抑止効果を図ることができる。すなわち、タッチパネル１１に不正認識画像が警告メッセージとともに表示されることで、他の客や店員に不正があったことを知られる可能性がある。しかも、不正認識画像は未登録商品を特定可能な画像であるため、どの商品に対して不正を行ったかということも容易に特定される。このため、決済者は不正行為を行い難くなる。

その上、決済者が警告メッセージを無視して次の商品の登録操作に移行した場合には、セルフＰＯＳ端末１０を操作不能として、アテンダント端末２０に警告が発せられる。したがって、上述した不正行為が見逃されることはない。

例えば、決済者が買上商品を登録するふるまいだけして袋詰めをしない不正もあり得る。この場合も、セルフＰＯＳ端末１０のタッチパネル１１には、不正認識画像と警告メッセージとが表示される。不正認識画像は、決済者が登録するふるまいをした買上商品を特定可能な画像である。したがって、上記と同様に、不正行為の抑止効果を図り得る。

また、決済者が不正行為を閾値Ｎ回以上行った場合には、アテンダント端末２０の表示デバイスに同様な不正認識画像と警告メッセージとが表示される。したがって、アテンダントが不正行為に気づいて決済者に注意喚起できるので、不正行為の抑止効果は大きい。

また、決済者が会計せずに会計場を立ち去ろうとした場合には、例えばその決済者の顔が映し出された不正認識画像がアテンダント端末２０の表示デバイスに表示される。したがって、多くの決済者で会計場が混雑していても、アテンダントは不正に立ち去る決済者を容易に特定することができる。

［変形例］
前記実施形態では、セルフＰＯＳ端末１０がそれぞれ監視装置５０を備える場合を例示した。２台以上のセルフＰＯＳ端末１０に対して１台の監視装置５０を接続し、当該監視装置５０のプロセッサ５１が、２台以上のセルフＰＯＳ端末１０毎に、操作認識部５１１、行動認識部５１２、不正検出部５１３、画像取得部５１４及び出力部５１５としての機能を有するようにしてもよい。

カメラ６０は、セルフＰＯＳ端末１０に取り付けられていなくてもよい。例えば会計場の天井部に取り付けられていてもよい。また、２台以上のカメラで撮影される画像から決済者の行動を認識してもよい。

行動認識部５１２が認識する行動は、取出し行動、登録行動、袋詰め行動及び退出行動に限定されない。例えば買い物かごから取り出した商品を登録操作せずに袋詰めする、あるいは同伴者に手渡す等の一連の行動を不正行動として認識してもよい。この場合、不正行動を認識した画像から商品を特定可能な画像を切り出して、セルフＰＯＳ端末１０又はアテンダント端末２０にその画像を出力すればよい。また、画像の出力先は、別の端末、例えば店員が携帯している情報通信端末であってもよい。また、決済者または決済者以外の人間が、手や腕等によりカメラ６０を隠す行動を認識するようにしてもよい。

前記実施形態では、出力部５１５の機能として不正認識画像が警告メッセージとともに表示されるように出力したが、出力部５１５の機能はこれに限定されない。例えばセルフＰＯＳ端末１等に不正認識画像だけが表示されるように出力しても、不正抑止の効果は奏し得るものである。

前記実施形態では、不正を検出する毎にその不正認識画像を出力したが、画像を出力するタイミングはこれに限らない。例えば、決済者が会計キーＢｘにタッチしたタイミング、つまりは会計開始が指示されたタイミングで不正認識画像を出力してもよい。この場合は、図１３のＡＣＴ７４においてＹＥＳと判定した場合、ＡＣＴ７６乃至ＡＣＴ７８の処理を省略して、図１０のＡＣＴ４５の処理へと進むようにすればよい。

前記実施形態では、プロセッサ５１は、決済開始画面のスタートキーがタッチされたことに応じて利用開始を認識した。例えば、セルフＰＯＳ端末１０の正面に立つ人物を検出可能な人感センサを設け、プロセッサ５１は、人感センサが人物を検出したことに応じて利用開始を認識してもよい。この場合、プロセッサ５１は、人感センサが人物を検出しなくなった場合に退出行動が行われたと認識してもよい。

前記実施形態では、監視装置５０は、セルフＰＯＳ端末１０の外部にあってもよいし、内部にあってもよいと説明した。他の実施形態としては、セルフＰＯＳ端末１０が、監視装置５０としての機能を組み入れて実現させることも可能である。すなわち、決済者の行動を認識する行動認識手段（行動認識部５１２）と、前記決済者による操作入力を認識する操作認識手段（操作認識部５１１）と、前記行動認識手段及び前記操作認識手段による認識結果を基に前記決済者の不正行為を検出する不正検出手段（不正検出部５１３）と、前記決済装置を操作する決済者を撮影するカメラの撮影画像から、前記不正検出手段により検出された不正行為を特定する画像を取得する画像取得手段（画像取得部５１４）と、前記不正行為を特定する画像を出力する出力手段（出力部５１５）とを具備する決済装置（セルフＰＯＳ端末１０）としてもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…セルフＰＯＳ端末、１１…タッチパネル、１４…スキャナ、２０…アテンダント端末、３０…店舗サーバ、４０…通信ネットワーク、５０…監視装置、５１…プロセッサ、５２…メインメモリ、５３…補助記憶デバイス、５４…時計、５５…カメラインターフェース、５６…端末インターフェース、５７…ネットワークインターフェース、６０…カメラ、１００…チェックアウトシステム、１０２…第１の商品載置台、１０３…第２の商品載置台、５１１…操作認識部、５１２…行動認識部、５１３…不正検出部、５１４…画像取得部、５１５…出力部、５２１…画像メモリ、５２２…状態メモリ、５２３…リストメモリ、５２４…不正メモリ、Ｑａ，Ｑｂ…不正特定画像表示領域。

Claims (8)

1. 決済装置に対する決済者の行動を認識する行動認識手段と、
   前記決済者による前記決済装置への操作入力を認識する操作認識手段と、
   前記行動認識手段及び前記操作認識手段による認識結果を基に前記決済者の不正行為を検出する不正検出手段と、
   前記決済装置を操作する決済者を撮影するカメラの撮影画像から、前記不正検出手段により検出された不正行為を特定する画像を取得する画像取得手段と、
   前記不正行為を特定する画像を出力する出力手段と、
   を具備する監視装置。
2. 前記行動認識手段は、前記カメラの撮影画像を基に前記決済者の行動を認識する、請求項１記載の監視装置。
3. 前記行動認識手段は、前記決済者が商品を手に取る取出し行動と、前記決済者が手にした商品を袋詰めする袋詰め行動とを少なくとも認識し、
   前記操作認識手段は、前記決済装置への商品登録のための操作入力を少なくとも認識し、
   前記不正検出手段は、前記行動認識手段が前記取出し行動と前記袋詰め行動とを認識した間に、前記操作認識手段が前記商品登録のための操作入力を認識し得なかった場合に前記不正行為を検出し、
   前記画像取得手段は、前記決済者の袋詰め行動を認識するのに用いた前記カメラの撮影画像から、その袋詰め行動によって袋詰めされた商品を含む画像を検出する、請求項２記載の監視装置。
4. 前記行動認識手段は、前記決済者が手にした商品を前記決済装置に登録する登録行動を少なくとも認識し、
   前記操作認識手段は、前記決済装置への商品登録のための操作入力を少なくとも認識し、
   前記不正検出手段は、前記行動認識手段が前記登録行動を認識したが前記操作認識手段が前記商品登録のための操作入力を認識し得なかった場合に前記不正行為を検出し、
   前記画像取得手段は、前記決済者の登録行動を認識するのに用いた前記カメラの撮影画像から、その登録行動によって決済装置に翳された商品を含む画像を検出する、請求項２記載の監視装置。
5. 前記出力手段は、前記不正行為を特定する画像を前記決済装置の表示デバイスに表示出力する、請求項１乃至４のうちいずれか一に記載の監視装置。
6. コンピュータを、
   決済装置に対する決済者の行動を認識する行動認識手段、
   前記決済者による前記決済装置への操作入力を認識する操作認識手段、
   前記行動認識手段及び前記操作認識手段による認識結果を基に前記決済者の不正行為を検出する不正検出手段、
   前記決済装置を操作する決済者を撮影するカメラの撮影画像から、前記不正検出手段により検出された不正行為を特定する画像を取得する画像取得手段、及び、
   前記不正行為を特定する画像を出力する出力手段、
   として機能させるためのプログラム。
7. 決済者の行動を認識する行動認識手段と、
   前記決済者による操作入力を認識する操作認識手段と、
   前記行動認識手段及び前記操作認識手段による認識結果を基に前記決済者の不正行為を検出する不正検出手段と、
   前記決済者を撮影するカメラの撮影画像から、前記不正検出手段により検出された不正行為を特定する画像を取得する画像取得手段と、
   前記不正行為を特定する画像を出力する出力手段と、
   を具備する決済装置。
8. コンピュータを、
   決済者の行動を認識する行動認識手段、
   前記決済者による操作入力を認識する操作認識手段、
   前記行動認識手段及び前記操作認識手段による認識結果を基に前記決済者の不正行為を検出する不正検出手段、
   前記決済者を撮影するカメラの撮影画像から、前記不正検出手段により検出された不正行為を特定する画像を取得する画像取得手段、及び、
   前記不正行為を特定する画像を出力する出力手段、
   として機能させるためのプログラム。