JP2023089895A - 不正行為推定装置及びその制御プログラム、不正行為推定方法 - Google Patents
不正行為推定装置及びその制御プログラム、不正行為推定方法 Download PDFInfo
- Publication number
- JP2023089895A JP2023089895A JP2022052150A JP2022052150A JP2023089895A JP 2023089895 A JP2023089895 A JP 2023089895A JP 2022052150 A JP2022052150 A JP 2022052150A JP 2022052150 A JP2022052150 A JP 2022052150A JP 2023089895 A JP2023089895 A JP 2023089895A
- Authority
- JP
- Japan
- Prior art keywords
- reliability
- processor
- action
- behavior
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009471 action Effects 0.000 title claims abstract description 210
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000000694 effects Effects 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 5
- 230000006399 behavior Effects 0.000 description 69
- 230000006870 function Effects 0.000 description 45
- 238000012545 processing Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 21
- 238000012544 monitoring process Methods 0.000 description 18
- 238000012856 packing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 7
- 102100031102 C-C motif chemokine 4 Human genes 0.000 description 6
- 101150079344 ACT4 gene Proteins 0.000 description 5
- 101000908384 Bos taurus Dipeptidyl peptidase 4 Proteins 0.000 description 5
- 101100054768 Dictyostelium discoideum act27 gene Proteins 0.000 description 5
- 101100054769 Dictyostelium discoideum act28 gene Proteins 0.000 description 5
- HEFNNWSXXWATRW-UHFFFAOYSA-N Ibuprofen Chemical compound CC(C)CC1=CC=C(C(C)C(O)=O)C=C1 HEFNNWSXXWATRW-UHFFFAOYSA-N 0.000 description 5
- 101000777470 Mus musculus C-C motif chemokine 4 Proteins 0.000 description 5
- 101100056774 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) ARP3 gene Proteins 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 101150026261 ACT7 gene Proteins 0.000 description 4
- 101100434207 Arabidopsis thaliana ACT8 gene Proteins 0.000 description 4
- 101100161922 Dictyostelium discoideum act22 gene Proteins 0.000 description 4
- 101150024393 ACT5 gene Proteins 0.000 description 3
- 101100215339 Arabidopsis thaliana ACT11 gene Proteins 0.000 description 3
- 101100215341 Arabidopsis thaliana ACT12 gene Proteins 0.000 description 3
- 101100434208 Arabidopsis thaliana ACT9 gene Proteins 0.000 description 3
- 101100217138 Mus musculus Actr10 gene Proteins 0.000 description 3
- 101100492334 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) ARP1 gene Proteins 0.000 description 3
- 101100490404 Dibothriocephalus dendriticus ACT6 gene Proteins 0.000 description 2
- 101100108071 Dictyostelium discoideum act10 gene Proteins 0.000 description 2
- 101100215368 Dictyostelium discoideum act21 gene Proteins 0.000 description 2
- 101100054770 Dictyostelium discoideum act29 gene Proteins 0.000 description 2
- 102100026620 E3 ubiquitin ligase TRAF3IP2 Human genes 0.000 description 2
- 101710140859 E3 ubiquitin ligase TRAF3IP2 Proteins 0.000 description 2
- 101000679851 Homo sapiens Tumor necrosis factor receptor superfamily member 4 Proteins 0.000 description 2
- 206010037180 Psychiatric symptoms Diseases 0.000 description 2
- 102100022153 Tumor necrosis factor receptor superfamily member 4 Human genes 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 101100054773 Caenorhabditis elegans act-2 gene Proteins 0.000 description 1
- 208000035473 Communicable disease Diseases 0.000 description 1
- 101100054763 Dictyostelium discoideum act23 gene Proteins 0.000 description 1
- 101100054764 Dictyostelium discoideum act24 gene Proteins 0.000 description 1
- 101100054766 Dictyostelium discoideum act25 gene Proteins 0.000 description 1
- 101100054767 Dictyostelium discoideum act26 gene Proteins 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Cash Registers Or Receiving Machines (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
Description
本発明の実施形態は、不正行為推定装置及びその制御プログラム、不正行為推定方法に関する。
近年、スーパーマーケット等の小売店では、人件費の削減、感染症の感染予防対策等の観点から、セルフPOS(Point Of Sales)端末が注目されている。セルフPOS端末は、買上商品の登録から決済までの操作を客が自ら行うようにしたフルセルフ対応の決済端末である。このようなセルフPOS端末を操作する客を監視するため、多くの場合監視カメラが設置されている。
このようなセルフPOS端末及び監視カメラが導入された店舗のシステムでは、例えば監視カメラに取り込まれる撮影データを基に、買上商品を持つ手の動きから客の行動が認識される。その客の行動から不正行為の有無が判断され、不正行為と判断された場合、例えば店員への報知、セルフPOS端末上での警告等が行われる。しかしながら、監視カメラの死角に手が進入する場合、照明状況により物体の影で手が見えない場合、客の行動は正しく認識されない。この信頼性の低い認識結果により、客の正常行為を誤って不正行為と判断される可能性がある。また、客の不正行為を誤って正常行為と判断される可能性がある。このため、客との間でトラブルが発生したり、店舗に対する信頼が低下する等の事態を回避したいとの要望がある。
本発明の実施形態が解決しようとする課題は、客が不正行為を行った信頼性の高さに応じて適切に対処することができる不正行為推定装置及びその制御プログラム、不正行為推定方法を提供しようとするものである。
一実施形態において、不正行為推定装置は、第1取得手段と、行動認識手段と、第2取得手段と、出力手段とを備える。第1取得手段は、購買者による決済端末への商品登録操作から操作情報を取得する。行動認識手段は、商品登録操作を行う購買者の行動を認識する。第2取得手段は、購買者の行動の信頼度を取得する。出力手段は、操作情報及び信頼度に基づく結果情報を出力する。
以下、一実施形態について、図面を用いて説明する。
図1は、セルフPOS端末11が導入された店舗のシステム構成図である。本システムは、セルフPOSシステム100と、不正行為推定システム200を含む。セルフPOSシステム100は、複数台のセルフPOS端末11と、POSサーバ12と、表示制御装置13と、アテンダント端末14と、通信ネットワーク15と、を備える。複数台のセルフPOS端末11と、POSサーバ12と、表示制御装置13とは、通信ネットワーク15に接続する。アテンダント端末14は、表示制御装置13に接続する。通信ネットワーク15は、典型的にはLAN(Local Area Network)である。LANは、有線LANであってもよいし、無線LANであってもよい。
図1は、セルフPOS端末11が導入された店舗のシステム構成図である。本システムは、セルフPOSシステム100と、不正行為推定システム200を含む。セルフPOSシステム100は、複数台のセルフPOS端末11と、POSサーバ12と、表示制御装置13と、アテンダント端末14と、通信ネットワーク15と、を備える。複数台のセルフPOS端末11と、POSサーバ12と、表示制御装置13とは、通信ネットワーク15に接続する。アテンダント端末14は、表示制御装置13に接続する。通信ネットワーク15は、典型的にはLAN(Local Area Network)である。LANは、有線LANであってもよいし、無線LANであってもよい。
セルフPOS端末11は、買上商品の登録から決済までの操作を客が自ら行うようにしたフルセルフ対応の決済端末である。客は、購買者、消費者、顧客等と称される場合もある。POSサーバ12は、各セルフPOS端末11の動作を一元的に制御するためのサーバ用コンピュータである。表示制御装置13は、各セルフPOS端末11から出力されるデータ信号を基に、セルフPOS端末11毎に監視画像SC(図3を参照)を生成して、アテンダント端末14の表示デバイスに表示させるコントローラである。アテンダント端末14は、アテンダントと称される店員が、各セルフPOS端末11の状態を監視するための端末である。アテンダント端末14は、液晶ディスプレイ、有機ELディスプレイ等のディスプレイを備える。アテンダント端末14は、ディスプレイの画面を複数に区分し、区分毎に異なるアテンダント端末14の監視画像SCを表示する。アテンダント端末14は、店員端末の一例である。このようなセルフPOSシステム100は、従来周知のものをそのまま適用することができる。
不正行為推定システム200は、複数のカメラ21と、不正行為推定装置22とを含む。複数のカメラ21は、それぞれ複数のセルフPOS端末11と1対1で対応している。カメラ21は、対応するセルフPOS端末11を操作する客を撮影するためのものである。
不正行為推定装置22は、行動認識部221、操作認識部222、第1取得部223、第2取得部224、不正推定部225及び出力部226としての機能を有する。行動認識部221は、各カメラ21から出力される撮影データを基に、セルフPOS端末11への商品登録操作を行う客の行動を認識する機能である。行動認識部221は、行動認識手段と称することもできる。操作認識部222は、表示制御装置13からアテンダント端末14へと出力される監視画像SCのデータを基に、客によるセルフPOS端末11への商品登録操作を認識する機能である。操作認識部222は、操作認識手段と称することもできる。第1取得部223は、認識された商品登録操作から操作情報を取得する機能である。第1取得部223は、第1取得手段と称することもできる。第2取得部224は、行動認識部221による認識結果を基にその認識結果の信頼度を取得する機能である。第2取得部224は、第2取得手段と称することもできる。不正推定部225は、第1取得部223による操作情報と第2取得部224による信頼度とを基に、客の不正行為を推定する機能である。不正推定部225は、不正推定手段と称することもできる。出力部226は、推定された結果情報を出力する機能である。出力部226は、出力手段と称することもできる。
図2は、セルフPOS端末11とカメラ21との位置関係を説明するための図である。始めに、セルフPOS端末11の外観構成について説明する。
セルフPOS端末11は、床面に設置された本体40と、この本体40の脇に設置された袋詰め台50とを備える。本体40は、その上部にタッチパネル41を取り付けている。タッチパネル41は、ディスプレイとタッチセンサとで構成される。タッチパネル41は、表示部の一例である。ディスプレイは、セルフPOS端末11を操作するオペレータに対して種々の画面を表示するためのデバイスである。タッチセンサは、オペレータによる画面へのタッチ入力を検知するためのデバイスである。セルフPOS端末11においてオペレータは、通常は客である。
本体40は、袋詰め台50が設置された側とは反対側の側面中央部に籠台60を設けている。籠台60は、売場から来た客が買上商品を入れた籠等を置くためのものである。客は、タッチパネル41の画面が見えるように、図2において本体40の手前側に立って作業を行う。このため客から見ると、本体40を挟んで右側に籠台60があり、左側に袋詰め台50がある。本実施形態では、客が立つ側を本体40の正面とし、袋詰め台50が設置されている側を本体40の左側とし、籠台60が設けられている側を本体40の右側とする。
本体40は、その内部にスキャナ、カードリーダ、レシートプリンタ、現金処理機等を備える。そして本体40の正面に、スキャナの読取窓42、カード挿入口43、レシート発行口44、硬貨投入口45、硬貨払出口46、紙幣投入口47及び紙幣払出口48を形成する。また、本体40の右側面から外部へと通信ケーブルが延びており、この通信ケーブルの先端にハンディスキャナ61が接続されている。また、図示しないが、電子マネー媒体用のリーダ・ライタも本体40に備えられている。
本体40は、その上面に表示ポール64を取り付けている。表示ポール64は、その先端部に発光部65を備える。発光部65は、例えば青色と赤色とを選択的に発光する。表示ポール64は、発光部65の発光色によってセルフPOS端末11の状態、例えば待機中、動作中、呼出中、エラー中、不正行為発生中等を表示する。表示ポール64は、発光部65の点滅によってセルフPOS端末11の状態を表示してもよい。
袋詰め台50は、その上部に袋保持具52を取り付けた構造となっている。袋保持具52は、一対の保持アーム53を備えており、この保持アーム53で店舗備え付けのレジ袋又は客が持参した買物袋いわゆるマイバッグ等を保持する。
次に、セルフPOS端末11とカメラ21との位置関係を説明する。
図2に示すように、カメラ21は、セルフPOS端末11の正面に立って、本体40、袋詰め台50及び籠台60等の部品と対峙する客を上方から撮影可能な位置に設置されている。
図2に示すように、カメラ21は、セルフPOS端末11の正面に立って、本体40、袋詰め台50及び籠台60等の部品と対峙する客を上方から撮影可能な位置に設置されている。
セルフPOS端末11の正面に立った客は、先ず、向かって右側の籠台60に買上商品を入れた籠等を書き、左側の保持アーム53にレジ袋又はマイバッグ等を保持させる。次いで、客は、タッチパネル41に表示されるガイダンスに従い、タッチパネル41を操作して、セルフPOS端末11の利用開始を宣言する。
その後、客は、籠台60に置かれた籠から買上商品を1点ずつ手に取る。そして、その買上商品にバーコードが付されている場合には、客は、そのバーコードを読取窓42に翳してスキャナで読み取らせることで、商品登録を行う。買上商品にバーコートが付されていない場合には、客は、タッチパネル41を操作してバーコード無し商品のリストから買上商品を選択することで、商品登録を行う。客は、登録を終えた買上商品をレジ袋又はマイバッグ等に入れる。
全ての買上商品を登録し終えた客は、タッチパネル41を操作して決済方法を選択する。例えば現金決済を選択した場合には、客は、紙幣投入口47又は硬貨投入口45に紙幣又は硬貨を投入し、紙幣払出口48又は硬貨払出口46から払い出された釣銭を取り出す。例えば電子マネー決済を選択したならば、客は、リーダ・ライタに電子マネー媒体を翳す。例えばクレジットカード決済を選択したならば、客は、カード挿入口43にクレジットカードを挿入する。こうして、決済を終えたならば、客は、レシート発行口44から発行されるレシートを受け取り、保持アーム53から外したレジ袋又はマイバッグを持って退店する。
すなわちカメラ21は、セルフPOS端末11の正面で上記の如く行動する客の手の動きを撮影可能な位置に設置されている。
図3は、アテンダント端末14のディスプレイに表示される監視画像SCの一例を示す模式図である。前述したように、アテンダント端末14のディスプレイには、複数のセルフPOS端末11のそれぞれに対する監視画像SCが区分されて表示される。図3は、そのうちの1つのセルフPOS端末11に対する監視画像SCの一例である。他のセルフPOS端末11に対する監視画像SCの構成もこれと同様なので、ここでの説明は省略する。
図3に示すように、監視画像SCは、レジ番号欄71、端末状態欄72、エラー情報欄73、宣言情報欄74、明細欄75及び合計欄76を含む。
レジ番号欄71は、レジ番号を表示するための欄である。レジ番号は、各セルフPOS端末11を個々に識別するために、各セルフPOS端末11に対して重複しないように割り当てられた一連の番号である。レジ番号は、各セルフPOS端末11を識別するための識別情報である。
端末状態欄72は、セルフPOS端末11の動作状態を表示するための欄である。例えば動作状態として「待機中」、「利用開始」、「登録中」、「決済開始」及び「決済中」のいずれかを端末状態欄72に表示する。
「待機中」は、前の客が決済を終えてから、次の客の利用開始が宣言されるまでの状態である。「待機中」の状態にあるセルフPOS端末11のタッチパネル41には、初期画像が表示される。初期画像は、例えば店舗備え付けのレジ袋を使用するか、マイバッグを使用するかを客に選択させるためのタッチボタンを含む画像である。
「利用開始」は、セルフPOS端末11の正面に立った客が、決済のための利用開始を宣言した状態である。客は、レジ袋を使用するかマイバッグを使用するかの選択操作を初期画像に対して行う。この選択操作が利用開始を宣言となる。この選択操作を受けて、セルフPOS端末11の動作状態は「利用開始」となる。
「登録中」は、客自身による買上商品の登録操作を受け付けている状態である。1点目の買上商品が登録されると、セルフPOS端末11の動作状態は「登録中」となる。以後、決済への移行が宣言されるまで、セルフPOS端末11の動作状態は「登録中」を維持する。
「決済開始」は、買上商品の登録を終えた客が決済への移行を宣言した状態である。「登録中」の状態にあるセルフPOS端末11のタッチパネル41には、[会計]のソフトキーが表示されている。買上商品の登録を終えた客は、[会計]のソフトキーにタッチする。この操作が決済への移行宣言となる。この操作を受けて、セルフPOS端末11の動作状態は「決済開始」となる。
「決済中」は、現金決済、電子マネー決済、クレジットカード決済等の決済処理を実行している状態である。例えば紙幣投入口47又は硬貨投入口45に紙幣又は硬貨が投入されると、セルフPOS端末11の動作状態は「決済中」となる。そして、決済処理を終えると、セルフPOS端末11の動作状態は「待機中」に戻る。
エラー情報欄73は、セルフPOS端末11で発生したエラー情報を表示するための欄である。エラー情報は、通信エラー、レシート切れエラー等である。宣言情報欄74は、客の宣言操作内容を表示するための欄である。例えば客がマイバッグを選択した場合、レジ袋が不要であることを示す「袋不要」が表示される。
明細欄75は、セルフPOS端末11で登録された買上商品の明細情報を表示するための欄である。明細情報は、例えば買上商品の商品名、点数、金額等である。合計欄76は、セルフPOS端末11で登録された買上商品の合計情報を表示するための欄である。合計情報は、合計点数、合計金額、投入金額、お釣り等である。
なお、監視画像SCの構成は、これに限定されるものではない。その他の項目が表示される欄が配置されていてもよい。また、図3に表示されているテキストデータの項目もこれに限定されるものではない。その他の項目のテキストデータが表示されていてもよい。
図4は、不正行為推定装置22の要部回路構成を示すブロック図である。不正行為推定装置22は、プロセッサ81、メインメモリ82、補助記憶デバイス83、時計84、スピーカ85、カメラインターフェース86、通信インターフェース87及びシステムバス88を備える。システムバス88は、アドレスバス、データバス等を含む。不正行為推定装置22は、プロセッサ81と、メインメモリ82、補助記憶デバイス83、時計84、スピーカ85、カメラインターフェース86及び通信インターフェース87とを、システムバス88で接続することにより、コンピュータを構成する。
プロセッサ81は、上記コンピュータの中枢部分に相当する。プロセッサ81は、オペレーティングシステム又はアプリケーションプログラムに従って、不正行為推定装置22としての各種の機能を実現するべく各部を制御する。プロセッサ81は、例えばCPU(Central Processing Unit)である。
メインメモリ82は、上記コンピュータの主記憶部分に相当する。メインメモリ82は、不揮発性のメモリ領域及び揮発性のメモリ領域を含む。メインメモリ82は、不揮発性のメモリ領域ではオペレーティングシステム又はアプリケーションプログラムを記憶する。メインメモリ82は、揮発性のメモリ領域では、プロセッサ81が各部を制御するための処理を実行する上で必要なデータを記憶する。この種のデータは、不揮発性のメモリ領域で記憶される場合もある。メインメモリ82は、揮発性のメモリ領域を、プロセッサ81によってデータが適宜書き換えられるワークエリアとして使用する。不揮発性のメモリ領域は、例えばROM(Read Only Memory)である。揮発性のメモリ領域は、例えばRAM(Random Access Memory)である。
補助記憶デバイス83は、上記コンピュータの補助記憶部分に相当する。補助記憶デバイス83としては、例えばSSD(Solid State Drive)、HDD(Hard Disc Drive)又はEEPROM(登録商標)(Electric Erasable Programmable Read-Only Memory)等の周知の記憶デバイスを単独で、あるいは複数組み合わせて用いられる。補助記憶デバイス83は、プロセッサ81が各種の処理を行う上で使用するデータ、プロセッサ81での処理によって生成されたデータ等を保存する。補助記憶デバイス83は、アプリケーションプログラムを記憶する場合もある。
メインメモリ82又は補助記憶デバイス83が記憶するアプリケーションプログラムは後述する制御プログラムを含む。制御プログラムをメインメモリ82又は補助記憶デバイス83にインストールする方法は特に限定されない。リムーバブルな記録媒体に制御プログラムを記録して、あるいはネットワークを介した通信により制御プログラムを配信して、メインメモリ82又は補助記憶デバイス83にインストールすることができる。記録媒体は、CD-ROM、メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。
時計84は、不正行為推定装置22の時刻情報源として機能する。プロセッサ81は、時計84によって計時される時刻情報を基に、現在の日付及び時刻を取得する。
スピーカ85は、音データを出力するための出力デバイスである。音データは、音、音声等を含む。
カメラインターフェース86は、各カメラ21と通信するためのインターフェースである。各カメラ21から出力される撮影データは、カメラインターフェース86を介して不正行為推定装置22へと取り込まれる。撮影データは、カメラ21に対応したセルフPOS端末11を操作する客を撮影した撮影映像、撮影画像等を含む。
通信インターフェース87は、セルフPOS端末11、POSサーバ12、表示制御装置13等との間で通信プロトコルに従いデータ通信を行うためのインターフェースである。例えば表示制御装置13から出力される画像データは、通信インターフェース87を介して不正行為推定装置22へと取り込まれる。画像データは、セルフPOS端末11毎に生成される監視画像SCのデータである。
かかる構成の不正行為推定装置22は、メインメモリ82における揮発性メモリ領域の一部を、行動ファイル821(図5を参照)、時系列バッファ822(図6を参照)及び出力テーブル823(図7を参照)の領域とする。そして不正行為推定装置22は、この領域に、行動ファイル821、時系列バッファ822及び出力テーブル823を形成する。
図5は、行動ファイル821のデータ構造の一例を示す模式図である。図5に示すように、行動ファイル821は、セルフPOS端末11を識別するレジ番号別に、時刻TMと、行動ステータスASTと、認識率RPと、フレーム画像とを関連付けて記録したデータファイルである。時刻TMは、行動ステータスASTを取得した時点における時刻である。行動ステータスASTは、後述するプロセッサ81の行動認識部221の機能により客の行動を認識した状態を表す。本実施形態では、客の行動は、取出し行動及び袋詰め行動とする。
取出し行動は、籠台60に置かれた籠から買上商品を取り出す行動である。例えば片手又は両手の骨格が本体40の右側に移動し、買上商品を持ち上げるような動きを検出した場合、プロセッサ81は、取出し行動があったと認識する。
袋詰め行動は、登録を終えた買上商品を袋詰め台50のレジ袋又はマイバッグ等に入れる行動である。例えば登録行動を行った手の骨格が本体の左側に移動し、買上商品をレジ袋又はマイバッグ等に入れるような動きを検出した場合、プロセッサ81は、袋詰め行動があったと認識する。
認識率RPは、プロセッサ81が撮影画像に含まれる客の行動を取出し行動として認識した認識率とその客の行動を袋詰め行動として認識した認識率とに基づいて算出された数値である。認識率RPは、例えば百分率である。フレーム画像は、カメラ21で撮影された撮影画像である。行動ファイル821には、フレーム画像を取得した順に記録される。なお、図5に表示されている項目はこれに限定されるものではない。その他の項目が表示されていてもよい。図5に表示されているテキストデータの内容は一例である。
図6は、時系列バッファ822の一例を示す模式図である。図6に示すように、時系列バッファ822は、セルフPOS端末11を識別するレジ番号別に、開始時刻STMと、終了時刻FTMと、ステータスST又は出力コードOC(図7を参照)と、信頼度CDとを関連付けて記述するための領域を有したものである。
開始時刻STMは、行動ファイル821に行動ステータスASTが最も早く記述されている時刻TMである。開始時刻STMは、操作ステータスHSTを取得した時点における時刻である。開始時刻STMは、出力コードOCを取得した時点における時刻である。終了時刻FTMは、行動ファイル821に行動ステータスASTが最も遅く記述されている時刻TMである。
ステータスSTは、行動ステータスAST及び操作ステータスHSTを含む。操作ステータスHSTは、後述するプロセッサ81の操作認識部222の機能により客によるセルフPOS端末11への商品登録操作を認識した状態を表す。
信頼度CDは、プロセッサ81が客の行動として認識した認識結果の信頼性の高さである。信頼度CDは、認識率RPを基に算出された数値である。信頼度CDは、例えば百分率である。信頼度CDは、購買者の行動の信頼度の一例である。
開始時刻STMは、行動ファイル821に行動ステータスASTが最も早く記述されている時刻TMである。開始時刻STMは、操作ステータスHSTを取得した時点における時刻である。開始時刻STMは、出力コードOCを取得した時点における時刻である。終了時刻FTMは、行動ファイル821に行動ステータスASTが最も遅く記述されている時刻TMである。
ステータスSTは、行動ステータスAST及び操作ステータスHSTを含む。操作ステータスHSTは、後述するプロセッサ81の操作認識部222の機能により客によるセルフPOS端末11への商品登録操作を認識した状態を表す。
信頼度CDは、プロセッサ81が客の行動として認識した認識結果の信頼性の高さである。信頼度CDは、認識率RPを基に算出された数値である。信頼度CDは、例えば百分率である。信頼度CDは、購買者の行動の信頼度の一例である。
時系列バッファ822には、開始時刻STMの早い順にステータスST又は出力コードOC、及び、信頼度CDが記述される。本実施形態では、ステータスSTとして行動ステータスASTが記述される場合、開始時刻STM、終了時刻FTM及び信頼度CDが記述される。ステータスSTとして操作ステータスHST又は出力コードOCが記述される場合、開始時刻STMが記述され、終了時刻FTM及び信頼度CDには例えばNULL値が記述されるものとする。なお、図6に表示されている項目はこれに限定されるものではない。その他の項目が表示されていてもよい。
図7は、出力テーブル823の一例を示す模式図である。図7に示すように、出力テーブル823は、出力コードOCと、行動ステータスAST“11”の信頼度CDの閾値と、行動ステータスAST“12”の信頼度CDの閾値と、出力データとを関連付けて記述したデータテーブルである。
出力コードOCは、同一行の行動ステータスAST“11”の信頼度CDの閾値、行動ステータスAST“12”の信頼度CDの閾値及び出力データによって識別される一意の出力識別情報である。行動ステータスAST“11”は、取出し行動を示す。行動ステータスAST“12”は、袋詰め行動を示す。
行動ステータスAST“11”の信頼度CDの閾値及び行動ステータスAST“12”の信頼度CDの閾値をどのように設定するかは任意である。閾値は、不正行為推定装置22において固定の数値であってもよいし、店舗によって所望の閾値に変更可能であってもよい。本実施形態では、店舗が予め行動ステータスAST“11”の信頼度CDの閾値及び行動ステータスAST“12”の信頼度CDの閾値を設定するものとする。閾値は、店舗が同一行の出力データを出力することを許容する数値、出力データを出力する基準値等ともいえる。閾値は、所定の条件の一例である。
出力データは、同一行の行動ステータスAST“11”の信頼度CDの閾値及び行動ステータスAST“12”の信頼度CDの閾値をそれぞれ満たす場合、セルフPOS端末11又はアテンダント端末14へと出力されるデータである。出力データは、例えばセルフPOS端末用テキストデータ、アテンダント端末用テキストデータ、音データ、色データ等である。
出力コードOCは、同一行の行動ステータスAST“11”の信頼度CDの閾値、行動ステータスAST“12”の信頼度CDの閾値及び出力データによって識別される一意の出力識別情報である。行動ステータスAST“11”は、取出し行動を示す。行動ステータスAST“12”は、袋詰め行動を示す。
行動ステータスAST“11”の信頼度CDの閾値及び行動ステータスAST“12”の信頼度CDの閾値をどのように設定するかは任意である。閾値は、不正行為推定装置22において固定の数値であってもよいし、店舗によって所望の閾値に変更可能であってもよい。本実施形態では、店舗が予め行動ステータスAST“11”の信頼度CDの閾値及び行動ステータスAST“12”の信頼度CDの閾値を設定するものとする。閾値は、店舗が同一行の出力データを出力することを許容する数値、出力データを出力する基準値等ともいえる。閾値は、所定の条件の一例である。
出力データは、同一行の行動ステータスAST“11”の信頼度CDの閾値及び行動ステータスAST“12”の信頼度CDの閾値をそれぞれ満たす場合、セルフPOS端末11又はアテンダント端末14へと出力されるデータである。出力データは、例えばセルフPOS端末用テキストデータ、アテンダント端末用テキストデータ、音データ、色データ等である。
セルフPOS端末用テキストデータは、例えば「登録漏れの買上商品があります」等である。セルフPOS端末用テキストデータは、客に対して不正行為を報知する内容であればよい。セルフPOS端末用テキストデータは、結果情報の一例である。セルフPOS端末用テキストデータは、不正行為を知らしめる情報の一例である。
アテンダント端末用テキストデータは、例えば「レジNo.Xのレジで不正行為が行われました」等である。アテンダント端末用テキストデータは、アテンダントに対して客の不正行為を報知する内容であればよい。アテンダント端末用テキストデータは、結果情報の一例である。アテンダント端末用テキストデータは、不正行為を知らしめる情報の一例である。
音データは、例えば連続した音でもよいし、間欠的に繰り返す音でもよい。音データは、例えば「登録漏れの買上商品があります」という音声でもよい。音データは、客又はアテンダントに対して客の不正行為を知らしめる音であればよい。音データは、結果情報の一例である。音データは、不正行為を知らしめる音の一例である。
色データは、例えば発光色を表すデータである。色データは、アテンダントに対して客の不正行為を知らしめる色であればよい。色データは、結果情報の一例である。本実施形態では、店舗が予め出力データを設定するものとする。出力データは、例えば出力先のデータ、出力方法に係るデータを含んでもよい。
アテンダント端末用テキストデータは、例えば「レジNo.Xのレジで不正行為が行われました」等である。アテンダント端末用テキストデータは、アテンダントに対して客の不正行為を報知する内容であればよい。アテンダント端末用テキストデータは、結果情報の一例である。アテンダント端末用テキストデータは、不正行為を知らしめる情報の一例である。
音データは、例えば連続した音でもよいし、間欠的に繰り返す音でもよい。音データは、例えば「登録漏れの買上商品があります」という音声でもよい。音データは、客又はアテンダントに対して客の不正行為を知らしめる音であればよい。音データは、結果情報の一例である。音データは、不正行為を知らしめる音の一例である。
色データは、例えば発光色を表すデータである。色データは、アテンダントに対して客の不正行為を知らしめる色であればよい。色データは、結果情報の一例である。本実施形態では、店舗が予め出力データを設定するものとする。出力データは、例えば出力先のデータ、出力方法に係るデータを含んでもよい。
図7に示すように、例えば行動ステータスAST“11”の信頼度CDが95以上であり、行動ステータスAST“12”の信頼度CDが85以上である場合、出力コードOC“91”及び“93”に対応したセルフPOS端末用テキストデータ及び音データが出力データとして出力される。行動ステータスAST“11”の信頼度CDの閾値及び行動ステータスAST“12”の信頼度CDの閾値の設定により、1つの出力データが出力されてもよいし、複数の出力データの組み合わせが出力されてもよい。なお、図7に表示されている項目はこれに限定されるものではない。その他の項目が表示されていてもよい。図7に表示されているテキストデータの内容は一例である。
不正行為推定装置22の行動認識部221、操作認識部222、第1取得部223、第2取得部224、不正推定部225及び出力部226としての機能は、セルフPOS端末11毎に備えられる機能である。他のセルフPOS端末11に対する行動認識部221、操作認識部222、第1取得部223、第2取得部224、不正推定部225及び出力部226としての機能も同様である。不正行為推定装置22は、行動認識部221、操作認識部222、第1取得部223、第2取得部224、不正推定部225及び出力部226としての機能を、プロセッサ81と、該プロセッサ81を制御する制御プログラムとによって実現する。
図8乃至図11は、不正行為推定装置22におけるプロセッサ81の要部制御手順を示す流れ図である。以下、これらの流れ図を用いて、セルフPOS端末11が導入された店舗のシステムの主要な動作について説明する。なお、以下に説明する動作は一例である。同様な結果が得られるのであれば、その手順は特に限定されるものではない。
図8は、行動認識部221及び第2取得部224としての機能を説明するための流れ図である。
プロセッサ81は、ACT1として客を認識するのを待ち受けている。カメラ21は、セルフPOS端末11の正面に立つ客を上方から撮影可能な位置に設置されている。そこでプロセッサ81は、カメラ21の撮影映像から、セルフPOS端末11の正面に人物が立ったことを検出すると、客を認識したと判断する。
プロセッサ81は、ACT1として客を認識するのを待ち受けている。カメラ21は、セルフPOS端末11の正面に立つ客を上方から撮影可能な位置に設置されている。そこでプロセッサ81は、カメラ21の撮影映像から、セルフPOS端末11の正面に人物が立ったことを検出すると、客を認識したと判断する。
客を認識すると、プロセッサ81は、ACT1においてYESと判定し、ACT2へと進む。プロセッサ81は、ACT2としてセルフPOS端末11のレジ番号を取得する。各カメラ21は、各セルフPOS端末11と1対1で対応している。そこでプロセッサ81は、セルフPOS端末11の正面に立つ客を撮影しているカメラ21の識別情報からセルフPOS端末11を特定し、そのセルフPOS端末11のレジ番号を取得する。
プロセッサ81は、ACT3としてカメラ21で撮影されたフレーム画像の取得を開始する。プロセッサ81は、フレーム画像を取得する毎に、行動ファイル821にフレーム画像を保存する。
プロセッサ81は、ACT4としてカメラ21で撮影されたフレーム画像から人物、つまりは客の骨格を推定する。骨格推定は、ディープラーニング等のAI技術を使うことによって、安価なカメラ21でも実現できる。プロセッサ81は、骨格推定によって得られた手の動きと、その動きに伴い変化する手と興味領域(ROI)、例えばセルフPOS端末11の本体40、袋詰め台50又は籠台60との位置関係の時間的な変化から、客の取出し行動又は袋詰め行動を認識し、各々の認識率RPを算出する。具体的にはプロセッサ81は、手の動きから、取出し行動として認識した認識率と袋詰め行動として認識した認識率とを算出する。プロセッサ81は、これらの認識率の中で最も高い認識率を、認識率RPとする。例えば取出し行動の認識率が98パーセントであり、袋詰め行動の認識率が2パーセントである場合、認識率RPは98パーセントとなる。プロセッサ81は、98パーセントの認識率RPが算出された取出し行動を、客の行動として認識する。なお、手の動きに基づく認識率RPの算出処理は既存の処理で周知なので、具体的な説明は省略する。
プロセッサ81は、ACT5として、ACT4の処理を基に取出し行動を認識したか否かを確認する。行動認識部221の機能により取出し行動を認識した場合、プロセッサ81は、ACT5においてYESと判定し、ACT6へと進む。
プロセッサ81は、ACT6として行動ステータスASTを“11”とする。その後、プロセッサ81は、ACT12の処理へと進む。
プロセッサ81は、ACT12として時計84で計時されている現在の時刻TMを取得する。プロセッサ81は、ACT13として、ACT2の処理で取得したレジ番号が設定された行動ファイル821に、ACT3の処理で保存されたフレーム画像に対応して、時刻TMと、行動ステータスASTとして“11”と、ACT4の処理で算出した認識率RPとを関連付けて記述する。その後、プロセッサ81は、ACT3に戻る。
取出し行動を認識しない場合、プロセッサ81は、ACT5においてNOと判定し、ACT7へと進む。
プロセッサ81は、ACT7として、ACT4の処理を基に袋詰め行動を認識したか否かを確認する。行動認識部221の機能により袋詰め行動を認識した場合、プロセッサ81は、ACT7においてYESと判定し、ACT8へと進む。
プロセッサ81は、ACT8として、ACT2の処理で取得したレジ番号が設定された時系列バッファ822に、行動ステータスASTとして“11”が開始時刻STM、終了時刻FTM及び信頼度CDと共に記述されているか否かを確認する。
時系列バッファ822に行動ステータスASTとして“11”が記述されていない場合、プロセッサ81は、ACT8においてNOと判定し、ACT9へと進む。
プロセッサ81は、ACT9として第2取得部224の機能により行動ファイル821を参照して行動ステータスASTとして“11”が記述されている認識率RPを基に信頼度CDを算出する。例えばプロセッサ81は、行動ステータスASTとして“11”が記述されている1又は複数の認識率RPの中から最も高い認識率RPを抽出する。プロセッサ81は、この最も高い認識率RPを、取出し行動の信頼度CDとする。取出し行動の信頼度CDが高いと、プロセッサ81が取出し行動として認識した認識結果の信頼性が高い、すなわち客が取出し行動を行った信頼性が高いことを意味する。取出し行動の信頼度CDが低いと、プロセッサ81が取出し行動として認識した認識結果の信頼性が低い、すなわち客が取出し行動を行った信頼性が低いことを意味する。
プロセッサ81は、ACT10として時系列バッファ822に、行動ステータスASTとして“11”を開始時刻STM、終了時刻FTM及び信頼度CDと共に記述する。開始時刻STMは、行動ファイル821に行動ステータスASTとして“11”が最も早く記述されている時刻TMである。終了時刻FTMは、行動ファイル821に行動ステータスASTとして“11”が最も遅く記述されている時刻TMである。その後、プロセッサ81は、ACT11へと進む。
時系列バッファ822に行動ステータスASTとして“11”が記述されている場合、プロセッサ81は、ACT8においてYESと判定し、ACT9及びACT10の処理をスキップしてACT11へと進む。
プロセッサ81は、ACT11として行動ステータスASTを“12”とする。
プロセッサ81は、ACT12として時計84で計時されている現在の時刻TMを取得する。プロセッサ81は、ACT13として行動ファイル821に、ACT3の処理で保存されたフレーム画像に対応して、時刻TMと、行動ステータスASTとして“12”と、ACT4の処理で算出した認識率RPとを関連付けて記述する。その後、プロセッサ81は、ACT3に戻る。
袋詰め行動を認識しない場合、プロセッサ81は、ACT7においてNOと判定し、ACT14へと進む。
プロセッサ81は、ACT14として時系列バッファ822に、行動ステータスASTとして“12”が開始時刻STM、終了時刻FTM及び信頼度CDと共に記述されているか否かを確認する。
時系列バッファ822に行動ステータスASTとして“12”が記述されていない場合、プロセッサ81は、ACT14においてNOと判定し、ACT15へと進む。
プロセッサ81は、ACT15として第2取得部224の機能により行動ファイル821を参照して行動ステータスASTとして“12”が記述されている認識率RPを基に信頼度CDを算出する。例えばプロセッサ81は、行動ステータスASTとして“12”が記述されている1又は複数の認識率RPの中から最も高い認識率RPを抽出する。プロセッサ81は、この最も高い認識率RPを、袋詰め行動の信頼度CDとする。袋詰め行動の信頼度CDが高いと、プロセッサ81が袋詰め行動として認識した認識結果の信頼性が高い、すなわち客が袋詰め行動を行った信頼性が高いことを意味する。袋詰め行動の信頼度CDが低いと、プロセッサ81が袋詰め行動として認識した認識結果の信頼性が低い、すなわち客が袋詰め行動を行った信頼性が低いことを意味する。
プロセッサ81は、ACT16として時系列バッファ822に、行動ステータスASTとして“12”を開始時刻STM、終了時刻FTM及び信頼度CDと共に記述する。開始時刻STMは、行動ファイル821に行動ステータスASTとして“12”が最も早く記述されている時刻TMである。終了時刻FTMは、行動ファイル821に行動ステータスASTとして“12”が最も遅く記述されている時刻TMである。以上で、プロセッサ81は、行動認識部221及び第2取得部224としての機能を終了する。
時系列バッファ822に行動ステータスASTとして“12”が記述されている場合、プロセッサ81は、ACT14においてYESと判定し、ACT15及びACT16の処理をスキップして行動認識部221及び第2取得部224としての機能を終了する。
通常、客は、セルフPOS端末11に対して取出し行動、袋詰め行動を順番に繰り返すことで、買上商品のデータをセルフPOS端末11に登録する。したがって、時系列バッファ822には、行動ステータスASTが“11”、“12”の順番で時系列に記述されることとなる。
その後、再び、カメラ21の撮影映像から、セルフPOS端末11の正面に人物が立ったことを検出すると、プロセッサ81はACT2乃至ACT16の処理を前述したのと同様に実行する。
図9は、操作認識部222及び第1取得部223としての機能を説明するための流れ図である。
プロセッサ81は、ACT21としてセルフPOS端末11に対して利用開始が宣言されるのを待ち受けている。利用開始が宣言されると、当該セルフPOS端末11に対応した監視画像SCの端末状態欄72には「利用開始」が表示される。プロセッサ81は、表示制御装置13を介して取得した監視画像SCの端末状態欄72から「利用開始」の文字を認識できるか確認する。「利用開始」の文字を認識できた場合、プロセッサ81は、操作認識部222の機能により利用開始が宣言されたと認識する。
プロセッサ81は、ACT21としてセルフPOS端末11に対して利用開始が宣言されるのを待ち受けている。利用開始が宣言されると、当該セルフPOS端末11に対応した監視画像SCの端末状態欄72には「利用開始」が表示される。プロセッサ81は、表示制御装置13を介して取得した監視画像SCの端末状態欄72から「利用開始」の文字を認識できるか確認する。「利用開始」の文字を認識できた場合、プロセッサ81は、操作認識部222の機能により利用開始が宣言されたと認識する。
利用開始が宣言されたことを認識すると、プロセッサ81は、ACT21においてYESと判定し、ACT22へと進む。プロセッサ81は、ACT22としてセルフPOS端末11のレジ番号を取得する。監視画像SCのレジ番号欄71には、レジ番号が表示されている。プロセッサ81は、表示制御装置13を介して取得した監視画像SCのレジ番号欄71からレジ番号の文字を認識し、その文字をレジ番号として取得する。
プロセッサ81は、ACT23として操作ステータスHSTを“21”とする。操作ステータスHST“21”は、利用開始操作を示す。プロセッサ81は、ACT24として時計84で計時されている現在の時刻TMを取得する。プロセッサ81は、ACT25として、ACT22の処理で取得したレジ番号が設定された時系列バッファ822に、開始時刻STMとしての時刻TMと、操作ステータスHSTとして“21”とを関連付けて記述する。なお、プロセッサ81は、終了時刻FTM及び信頼度CDにNULL値を記述する。
したがって、セルフPOS端末11の正面に立った客が利用開始のための宣言操作を行うと、当該セルフPOS端末11に対応する時系列バッファ822に、先ず操作ステータスHSTとして“21”がその時刻TMと共に記述される。
プロセッサ81は、ACT26としてセルフPOS端末11に対する操作認識を開始する。具体的にはプロセッサ81は、表示制御装置13を介して取得した監視画像SCの文字認識により得られる情報の遷移から、例えば商品登録操作、決済開始操作等を認識する。
例えばプロセッサ81は、明細欄75に買上商品の商品名、点数、金額等の明細情報が追加されると、商品登録操作があったと認識する。例えばプロセッサ81は、端末状態欄72の表示が「決済開始」に切り替わった場合、決済開始操作があったと認識する。
プロセッサ81は、ACT27又はACT28として商品登録操作又は決済開始操作を認識するのを待ち受ける。
ACT27又はACT28の待ち受け状態において、操作認識部222の機能により商品登録操作を認識すると、プロセッサ81は、ACT27においてYESと判定し、ACT29へと進む。
プロセッサ81は、ACT29として第1取得部223の機能により操作ステータスHSTを“22”とする。操作ステータスHST“22”は、商品登録操作を示す。プロセッサ81は、ACT30として第1取得部223の機能により時計84で計時されている現在の時刻TMを取得する。プロセッサ81は、ACT31として時系列バッファ822に、開始時刻STMとしての時刻TMと、操作ステータスHSTとして“22”とを関連付けて記述する。なお、プロセッサ81は、終了時刻FTM及び信頼度CDにNULL値を記述する。操作ステータスHSTは、操作情報の一例である。現在の時刻TMは、操作情報の一例である。その後、プロセッサ81は、ACT27又はACT28の待ち受け状態に戻る。
ACT27又はACT28の待ち受け状態において、操作認識部222の機能により決済開始操作を認識すると、プロセッサ81は、ACT28においてYESと判定し、ACT32へと進む。プロセッサ81は、ACT32としてセルフPOS端末11に対する操作認識を終了する。
プロセッサ81は、ACT33として操作ステータスHSTを“23”とする。操作ステータスHST“23”は、決済開始操作を示す。プロセッサ81は、ACT34として時計84で計時されている現在の時刻TMを取得する。プロセッサ81は、ACT35として時系列バッファ822に、開始時刻STMとしての時刻TMと、操作ステータスHSTとして“23”とを関連付けて記述する。なお、プロセッサ81は、終了時刻FTM及び信頼度CDにNULL値を記述する。以上で、プロセッサ81は、操作認識部222及び第1取得部223としての機能を終了する。
通常、客は、セルフPOS端末11に対して利用開始操作、商品登録操作、決済開始操作の順に操作を行う。したがって、時系列バッファ822には、操作ステータスHSTが“21”、“22”、“23”の順番で時系列に記述されることとなる。
その後、再び、監視画像SCのデータから、セルフPOS端末11の利用開始操作を検出すると、プロセッサ81はACT22乃至ACT35の処理を前述したのと同様に実行する。
図10は、不正推定部225としての機能を説明するための流れ図である。
本実施形態では、プロセッサ81は、買上商品毎に、図10に示される手順の処理を実行するものとする。
プロセッサ81は、ACT41として時系列バッファ822に行動ステータスASTとして“12”すなわち袋詰め行動が記述されているか否かを確認する。行動ステータスASTとして“12”が記述されている場合、プロセッサ81は、ACT41においてYESと判定し、ACT42へと進む。
本実施形態では、プロセッサ81は、買上商品毎に、図10に示される手順の処理を実行するものとする。
プロセッサ81は、ACT41として時系列バッファ822に行動ステータスASTとして“12”すなわち袋詰め行動が記述されているか否かを確認する。行動ステータスASTとして“12”が記述されている場合、プロセッサ81は、ACT41においてYESと判定し、ACT42へと進む。
プロセッサ81は、ACT42として操作ステータスHSTとして“22”すなわち商品登録操作が記述されているか否かを確認する。具体的にはプロセッサ81は、行動ステータスASTとして“12”が記述された開始時刻STMよりも1つ前に、開始時刻STMとしての時刻TMと関連付けて操作ステータスHSTとして“22”が記述されているか否かを確認する。操作ステータスHSTとして“22”が記述されている場合、プロセッサ81は、ACT42においてYESと判定し、不正推定部225としての機能を終了する。なお、操作ステータスHSTとして“22”が記述されている場合、時系列バッファ822には、行動ステータスAST“11”、操作ステータスHST“22”、行動ステータスAST“12”の順番で時系列に記述されていることとなる。
操作ステータスHSTとして“22”が記述されていない場合、プロセッサ81は、ACT42においてNOと判定し、ACT43へと進む。なお、操作ステータスHSTとして“22”が記述されていない場合、時系列バッファ822には、行動ステータスAST“11”、行動ステータスAST“12”の順番で時系列に記述されていることとなる。
プロセッサ81は、ACT43として時系列バッファ822に行動ステータスASTとして記述された“11”と同一行の信頼度CDすなわち取出し行動の信頼度CDが、出力テーブル823に記述された行動ステータスAST“11”の信頼度CDの閾値を満たすか否かを、出力コードOC順に確認する。時系列バッファ822に記述された取出し行動の信頼度CDが出力テーブル823に記述された行動ステータスAST“11”の信頼度CDの閾値を満たさない場合、プロセッサ81は、ACT43においてNOと判定し、ACT45へと進む。ACT45の処理は、後述する。
時系列バッファ822に記述された取出し行動の信頼度CDが出力テーブル823に記述された行動ステータスAST“11”の信頼度CDの閾値を満たす場合、プロセッサ81は、ACT43においてYESと判定し、ACT44へと進む。
プロセッサ81は、ACT44として時系列バッファ822に行動ステータスASTとして記述された“12”と同一行の信頼度CDすなわち袋詰め行動の信頼度CDが、出力テーブル823に記述された、ACT43の処理で確認した行動ステータスAST“11”の信頼度CDの閾値と同一行の行動ステータスAST“12”の信頼度CDの閾値を満たすか否かを確認する。時系列バッファ822に記述された袋詰め行動の信頼度CDが出力テーブル823に記述された行動ステータスAST“12”の信頼度CDの閾値を満たさない場合、プロセッサ81は、ACT44においてNOと判定し、ACT45へと進む。
プロセッサ81は、ACT45として行動ファイル821及び時系列バッファ822をログとして記録する。例えばプロセッサ81は、メインメモリ82における不揮発性メモリ領域の一部に、当該行動ファイル821及び時系列バッファ822を記憶してもよい。この場合、メインメモリ82は、記憶部の一例である。その後、プロセッサ81は、ACT49へと進む。ACT49の処理は、後述する。
時系列バッファ822に記述された袋詰め行動の信頼度CDが出力テーブル823に記述された行動ステータスAST“12”の信頼度CDの閾値を満たす場合、プロセッサ81は、ACT44においてYESと判定し、ACT46へと進む。
プロセッサ81は、ACT46として出力コードOCを取得する。プロセッサ81は、ACT47として時計84で計時されている現在の時刻TMを取得する。プロセッサ81は、ACT48として時系列バッファ822に、開始時刻STMとしての時刻TMと、ACT46の処理で取得した出力コードOCとを関連付けて記述する。なお、プロセッサ81は、終了時刻FTM及び信頼度CDにNULL値を記述する。
プロセッサ81は、ACT49として出力テーブル823の出力コードOC全てについて、取出し行動及び袋詰め行動の信頼度CDと閾値との比較が実行されたか否かを確認する。出力コードOC全てについて取出し行動及び袋詰め行動の信頼度CDと閾値との比較が実行されていない場合、プロセッサ81は、ACT49においてNOと判定し、ACT43に戻る。その後、プロセッサ81はACT43乃至ACT48の処理を前述したのと同様に実行する。
出力コードOC全てについて取出し行動及び袋詰め行動の信頼度と閾値との比較が実行された場合、プロセッサ81は、ACT49においてYESと判定し、不正推定部225としての機能を終了する。
このように、時系列バッファ822に操作ステータスHSTとして“22”が記述されていない場合であって、時系列バッファ822に記述された取出し行動の信頼度CD及び袋詰め行動の信頼度CDが、出力テーブル823に記述された行動ステータスAST“11”の信頼度CD及び行動ステータスAST“12”の信頼度CDの閾値をそれぞれ満たす場合、プロセッサ81は、客が取出したが商品登録操作をしていない商品の袋詰め行動を行った信頼性が高いと推定する。すなわちプロセッサ81は、不正推定部225の機能により客の行為を不正行為と推定する。この場合、プロセッサ81は、時系列バッファ822に行動ステータスAST“11”の信頼度CDの閾値及び行動ステータスAST“12”の信頼度CDの閾値を満たした出力コードOCを記述する。
時系列バッファ822に操作ステータスHSTとして“22”が記述されていない場合であって、時系列バッファ822に記述された取出し行動の信頼度CDが出力テーブル823に記述された行動ステータスAST“11”の信頼度CDの閾値を満たさない場合及び/又は時系列バッファ822に記述された袋詰め行動の信頼度CDが出力テーブル823に記述された行動ステータスAST“12”の信頼度CDの閾値を満たさない場合、プロセッサ81は、客が取出したが商品登録操作をしていない商品の袋詰め行動を行った信頼性が低いと推定する。この場合、プロセッサ81は、行動ファイル821及び時系列バッファ822をログとして記録する。
図11は、出力部226としての機能を説明するための流れ図である。
プロセッサ81は、ACT51として時系列バッファ822に出力コードOCが記述されるのを待ち受ける。時系列バッファ822に出力コードOCが記述されると、プロセッサ81は、ACT51においてNOと判定し、ACT52へと進む。プロセッサ81は、ACT52としてその出力コードOCが“91”であるか否かを確認する。
プロセッサ81は、ACT51として時系列バッファ822に出力コードOCが記述されるのを待ち受ける。時系列バッファ822に出力コードOCが記述されると、プロセッサ81は、ACT51においてNOと判定し、ACT52へと進む。プロセッサ81は、ACT52としてその出力コードOCが“91”であるか否かを確認する。
出力コードOCが“91”である場合、プロセッサ81は、ACT52においてYESと判定し、ACT53へと進む。プロセッサ81は、ACT53として出力部226の機能により第1出力コマンドを通信インターフェース87からセルフPOS端末11へと出力する。具体的にはプロセッサ81は、出力コードOCとして“91”が記述された時系列バッファ822のレジ番号を取得する。プロセッサ81は、出力テーブル823を参照して出力コードOC“91”と同一行の出力データすなわちセルフPOS端末用テキストデータを取得する。第1出力コマンドは、レジ番号及びセルフPOS端末用テキストデータを含む。
セルフPOS端末11は、第1出力コマンドに含まれるレジ番号で識別されるセルフPOS端末11のタッチパネル41に、セルフPOS端末用テキストデータを表示させる。その後、プロセッサ81は、ACT54へと進む。
出力コードOCが“91”でない場合、プロセッサ81は、ACT52においてNOと判定し、ACT54へと進む。すなわちACT53の処理後又は出力コードOCが“91”でない場合、プロセッサ81は、ACT54としてその出力コードOCが“92”であるか否かを確認する。
出力コードOCが“92”である場合、プロセッサ81は、ACT54においてYESと判定し、ACT55へと進む。プロセッサ81は、ACT55として出力部226の機能により第2出力コマンドを通信インターフェース87から表示制御装置13を介してアテンダント端末14へと出力する。具体的にはプロセッサ81は、出力コードOCとして“92”が記述された時系列バッファ822のレジ番号を取得する。プロセッサ81は、出力テーブル823を参照して出力コードOC“92”と同一行の出力データすなわちアテンダント端末用テキストデータを取得する。第2出力コマンドは、レジ番号及びアテンダント端末用テキストデータを含む。
表示制御装置13は、第2出力コマンドに含まれるレジ番号で識別されるアテンダント端末14の監視画像SCに、アテンダント端末用テキストデータを表示させる。その後、プロセッサ81は、ACT56へと進む。
出力コードOCが“92”でない場合、プロセッサ81は、ACT54においてNOと判定し、ACT56へと進む。すなわちACT65の処理後又は出力コードOCが“92”でない場合、プロセッサ81は、ACT56としてその出力コードOCが“93”であるか否かを確認する。
出力コードOCが“93”である場合、プロセッサ81は、ACT56においてYESと判定し、ACT57へと進む。プロセッサ81は、ACT57として出力部226の機能により第3出力コマンドを通信インターフェース87からセルフPOS端末11へと出力する。具体的にはプロセッサ81は、出力コードOCとして“93”が記述された時系列バッファ822のレジ番号を取得する。プロセッサ81は、出力テーブル823を参照して出力コードOC“93”と同一行の出力データすなわち音データを取得する。第3出力コマンドは、レジ番号及び音データを含む。
セルフPOS端末11は、第3出力コマンドに含まれるレジ番号で識別されるセルフPOS端末11のスピーカ85に音データを出力させる。その後、プロセッサ81は、ACT68へと進む。
出力コードOCが“93”でない場合、プロセッサ81は、ACT56においてNOと判定し、ACT58へと進む。すなわちACT57の処理後又は出力コードOCが“93”でない場合、プロセッサ81は、ACT58としてその出力コードOCが“94”であるか否かを確認する。
出力コードOCが“94”である場合、プロセッサ81は、ACT58においてYESと判定し、ACT59へと進む。プロセッサ81は、ACT59として出力部226の機能により第4出力コマンドを通信インターフェース87からセルフPOS端末11へと出力する。具体的にはプロセッサ81は、出力コードOCとして“94”が記述された時系列バッファ822のレジ番号を取得する。プロセッサ81は、出力テーブル823を参照して出力コードOC“94”と同一行の出力データすなわち色データを取得する。第4出力コマンドは、レジ番号及び色データを含む。
セルフPOS端末11は、第4出力コマンドに含まれるレジ番号で識別されるセルフPOS端末11の発光部65を色データに基づいて発光させる。発光部65を所定の色を選択的に発光させてもよいし、点滅させてもよい。以上で、プロセッサ81は、出力部226としての機能を終了する。
出力コードOCが“94”でない場合、プロセッサ81は、ACT58においてNOと判定し、出力部226としての機能を終了する。
以上詳述したように、不正行為推定装置22のプロセッサ81は、カメラ21で撮影されたフレーム画像を基に、セルフPOS端末11への商品登録操作を行う客の取出し行動及び袋詰め行動を認識すると、認識率RPを算出する。プロセッサ81は、行動ファイル821に、フレーム画像に対応して時刻TM、行動ステータスAST及び認識率RPを記述する。プロセッサ81は、行動ファイル821に記述された認識率RPを基に、取出し行動及び袋詰め行動の信頼度CDを算出する。プロセッサ81は、時系列バッファ822に、開始時刻STM、終了時刻FTM、行動ステータスAST及び信頼度CDを記述する。また、プロセッサ81は、表示制御装置13からアテンダント端末14へと出力される監視画像SCのデータを基に、商品登録操作を認識すると、時系列バッファ822に操作情報として、操作ステータスHST及び開始時刻STMとしての現在の時刻TMを記述する。プロセッサ81は、商品登録操作の操作情報と、取出し行動及び袋詰め行動の信頼度CDとに基づく結果情報を出力する。
例えば時系列バッファ822に操作ステータスHSTとして“22”が記述されていない場合であって、時系列バッファ822に記述された取出し行動の信頼度CD及び袋詰め行動の信頼度CDが、出力テーブル823に記述された行動ステータスAST“11”の信頼度CD及び行動ステータスAST“12”の信頼度CDの閾値をそれぞれ満たす場合、プロセッサ81は、その出力コードOCを取得し、開始時刻STMとしての現在の時刻TMと共に時系列バッファ822に記述する。そして、プロセッサ81は、出力テーブル823の出力コードOCに対応した出力データを含む1又は複数の出力コマンドをセルフPOS端末11又はアテンダント端末14へと出力する。
例えばプロセッサ81は、出力データとしてのセルフPOS端末用テキストデータを含む第1出力コマンドをセルフPOS端末11へと出力すると、セルフPOS端末11のタッチパネル41に、不正行為を報知する内容のセルフPOS端末用テキストデータが表示される。これにより、客に対して不正行為があったことを注意喚起する、客から事情を聞くことができる。その結果、セルフPOS端末11に対する客の不正行為が抑止される。
例えばプロセッサ81は、出力データとしてのアテンダント端末用テキストデータを含む第2出力コマンドをアテンダント端末14へと出力すると、アテンダント端末14の監視画像SCに、不正行為を報知する内容のアテンダント端末用テキストデータが表示される。これにより、アテンダントは、不正行為の発生を容易に知ることができる。アテンダントは、速やかに該当する客に注意喚起する、客から事情を聞くことができる。その結果、セルフPOS端末11に対する客の不正行為が抑止される。
例えばプロセッサ81は、出力データとしての音データを含む第3出力コマンドをセルフPOS端末11へと出力すると、セルフPOS端末11のスピーカ85に客の不正行為を知らしめる音データが出力される。これにより、客に対して不正行為があったことを注意喚起することができる。音又は音声を確認したアテンダントは、速やかに該当する客に注意喚起する、客から事情を聞くことができる。その結果、セルフPOS端末11に対する客の不正行為が抑止される。
例えばプロセッサ81は、出力データとしての色データを含む第4出力コマンドをセルフPOS端末11へと出力すると、色データに基づいて客の不正行為を知らしめるようにセルフPOS端末11の発光部65を発光させる。これにより、発光部65の発光又は点滅を確認したアテンダントは、速やかに該当する客に注意喚起する、客から事情を聞くことができる。その結果、セルフPOS端末11に対する客の不正行為が抑止される。
このように、客が取出したが商品登録操作をしていない商品の袋詰め行動を行った信頼性が高いと推定された場合、行動ステータスAST“11”すなわち取出し行動の信頼度CDの閾値及び行動ステータスAST“12”すなわち袋詰め行動の信頼度CDの閾値に応じて出力データが出力される。これらの閾値及び出力データは、店舗で予め設定することが可能である。このため、店舗のポリシーに応じて、不正行為の報知基準、不正行為の報知先、不正行為の報知方法等を設定することができる。
例えば時系列バッファ822に操作ステータスHSTとして“22”が記述されていない場合であって、時系列バッファ822に記述された取出し行動の信頼度CDが出力テーブル823に記述された行動ステータスAST“11”の信頼度CDの閾値を満たさない場合及び/又は時系列バッファ822に記述された袋詰め行動の信頼度CDが出力テーブル823に記述された行動ステータスAST“12”の信頼度CDの閾値を満たさない場合、プロセッサ81は、行動ファイル821及び時系列バッファ822をログとして記録する。
このように、客が取出したが商品登録操作をしていない商品の袋詰め行動を行った信頼性が低いと推定された場合、行動ファイル821及び時系列バッファ822がログとして記録される。出力データは出力されないため、客の正常行為を誤って不正行為と判断されたり、客の不正行為を誤って正常行為と判断されることがない。このため、客との間でトラブルが発生したり、店舗に対する信頼が低下する等の事態を抑止できる。また、アテンダントは、ログを分析することによって客が不正行為を行ったか否かを確認することができる。さらに、ログとして記録された行動ファイル821は、フレーム画像による骨格推定の精度向上を図るための学習処理に用いることができる。
したがって、本実施形態によれば、客が不正行為を行った信頼性の高さに応じて適切に対処することができる。
以上、不正行為推定装置及びその制御プログラム、不正行為推定方法の実施形態について説明したが、かかる実施形態はこれに限定されるものではない。
前記実施形態では、1台のセルフPOS端末11に対して1台のカメラ21を配置する場合を例示した。カメラ21は、必ずしもセルフPOS端末11毎に配置しなくてもよい。例えば隣接する2台のセルフPOS端末11を操作する客を1台のカメラ21で撮影できるのであれば、カメラ21の台数を減らしてもよい。ただしその場合には、図8のACT2において、撮影映像に写し出されている人物の位置に最も近いセルフPOS端末11のレジ番号を取得することになる。また、例えば1台のセルフPOS端末11に対して複数台のカメラ21を配置してもよい。そうすることにより、セルフPOS端末11の死角を減らし、客の行動を精度良く認識することができる。
前記実施形態では、プロセッサ81は、行動ステータスASTとして“11”が記述されている1又は複数の認識率RPの中から最も高い認識率RPを抽出し、これを取出し行動の信頼度CDとする場合を例示した。例えばプロセッサ81は、行動ステータスASTとして“11”が記述されている認識率RPが複数ある場合、その平均値を算出してもよい。プロセッサ81は、この平均値を、取出し行動の信頼度CDとしてもよい。袋詰め行動も同様に、プロセッサ81は、ステータスSTとして“12”が記述されている認識率RPが複数ある場合、その平均値を算出してもよい。プロセッサ81は、この平均値を、袋詰め行動の信頼度CDとしてもよい。
前記実施形態では、客の行動として取出し行動及び袋詰め行動を例示した。例えばプロセッサ81は、登録行動、退店行動等を認識してもよい。登録行動は、籠から取り出した買上商品のデータをセルフPOS端末11に登録する行動である。例えば取出し行動を行った手の骨格が、本体40の中央で買上商品を読取窓42に翳すような動きを検出した場合、プロセッサ81は、登録行動があったと認識する。あるいは、片手の骨格が、本体40のタッチパネル41を操作するような動きを検出した場合、プロセッサ81は、登録行動があったと認識する。退店行動は、決済を終えた客がセルフPOS端末11から離れる行動である。例えば決済を終えた客の手の骨格がレジ袋又はマイバッグ等を保持アーム53から外すような動きをしたのち、カメラ21の撮影映像から客を検知できなくなると、プロセッサ81は、退店行動があったと認識する。
前記実施形態では、出力コードOC“92”は、アテンダント端末用テキストデータである場合を例示した。
例えば出力コードOC“92”は、アテンダント端末用テキストデータ及び音データでもよい。この場合、アテンダント端末14の監視画像SCにアテンダント端末用テキストデータを表示させると共に、アテンダント端末14のスピーカに音データを出力させる。音データは、例えば連続した音でもよいし、間欠的に繰り返す音でもよい。音データは、例えば「レジNo.Xのレジで不正行為が行われました」という音声でもよい。音データは、アテンダントに対して客の不正行為を知らしめる音又は音声であればよい。この場合、アテンダント端末用テキストデータ及び音データは、不正行為を知らしめる情報の一例である。
例えば出力テーブル823に、出力コードOC“91”乃至出力コードOC“94”に加えて、出力コードOC“95”を追加してもよい。出力コードOC“95”の出力データは、例えばアテンダント端末用音データとしてもよい。アテンダント端末用音データは、不正行為を知らしめる情報の一例である。アテンダント端末用音データは、結果情報の一例である。この場合、出力コードOC“93”の出力データは、例えばセルフPOS端末用音データとしてもよい。セルフPOS端末用音データは、不正行為を知らしめる情報の一例である。セルフPOS端末用音データは、結果情報の一例である。
例えば出力コードOC“92”は、アテンダント端末用テキストデータ及び音データでもよい。この場合、アテンダント端末14の監視画像SCにアテンダント端末用テキストデータを表示させると共に、アテンダント端末14のスピーカに音データを出力させる。音データは、例えば連続した音でもよいし、間欠的に繰り返す音でもよい。音データは、例えば「レジNo.Xのレジで不正行為が行われました」という音声でもよい。音データは、アテンダントに対して客の不正行為を知らしめる音又は音声であればよい。この場合、アテンダント端末用テキストデータ及び音データは、不正行為を知らしめる情報の一例である。
例えば出力テーブル823に、出力コードOC“91”乃至出力コードOC“94”に加えて、出力コードOC“95”を追加してもよい。出力コードOC“95”の出力データは、例えばアテンダント端末用音データとしてもよい。アテンダント端末用音データは、不正行為を知らしめる情報の一例である。アテンダント端末用音データは、結果情報の一例である。この場合、出力コードOC“93”の出力データは、例えばセルフPOS端末用音データとしてもよい。セルフPOS端末用音データは、不正行為を知らしめる情報の一例である。セルフPOS端末用音データは、結果情報の一例である。
前記実施形態では、プロセッサ81は、ログとして記録するために行動ファイル821及び時系列バッファ822をメインメモリ82における不揮発性メモリ領域の一部に記憶する場合を例示した。例えばプロセッサ81は、通信インターフェース87を介してPOSサーバ12に行動ファイル821及び時系列バッファ822を送信してもよい。POSサーバ12は、メインメモリ又は補助記憶デバイスに行動ファイル821及び時系列バッファ822を記憶してもよい。行動ファイル821及び時系列バッファ822は、例えば不正行為推定装置22が通信可能な外部装置のメモリに記憶してもよい。
前記実施形態では、時系列バッファ822に操作ステータスHSTとして“22”が記述されていない場合であって、時系列バッファ822に記述された取出し行動の信頼度CDが出力テーブル823に記述された行動ステータスAST“11”の信頼度CDの閾値を満たさない場合及び/又は時系列バッファ822に記述された袋詰め行動の信頼度CDが出力テーブル823に記述された行動ステータスAST“12”の信頼度CDの閾値を満たさない場合、プロセッサ81は、行動ファイル821及び時系列バッファ822をログとして記録する場合を例示した。
例えば時系列バッファ822に操作ステータスHSTとして“22”が記述されていない場合であって、時系列バッファ822に記述された取出し行動の信頼度CD及び袋詰め行動の信頼度CDが、出力テーブル823に記述された行動ステータスAST“11”の信頼度CD及び行動ステータスAST“12”の信頼度CDの閾値をそれぞれ満たす場合も、プロセッサ81は、行動ファイル821及び時系列バッファ822をログとして記録してもよい。
例えば時系列バッファ822に操作ステータスHSTとして“22”が記述されていない場合であって、時系列バッファ822に記述された取出し行動の信頼度CD及び袋詰め行動の信頼度CDが、出力テーブル823に記述された行動ステータスAST“11”の信頼度CD及び行動ステータスAST“12”の信頼度CDの閾値をそれぞれ満たす場合も、プロセッサ81は、行動ファイル821及び時系列バッファ822をログとして記録してもよい。
前記実施形態では、出力テーブル823には、行動ステータスAST“11”の信頼度CDの閾値及び行動ステータスAST“12”の信頼度CDの閾値が記述されている場合を例示した。例えば出力テーブル823は、出力コードOCと、行動ステータスAST“11”の信頼度CDの第1閾値と、行動ステータスAST“11”の信頼度CDの第2閾値と、行動ステータスAST“12”の信頼度CDの第1閾値と、行動ステータスAST“12”の信頼度CDの第2閾値と、出力データとを関連付けて記述したデータテーブルでもよい。第1閾値及び第2閾値をどのように設定するかは任意である。店舗が予め行動ステータスAST“11”の信頼度CDの第1閾値及び第2閾値、及び、行動ステータスAST“12”の信頼度CDの第1閾値及び第2閾値を設定するものとする。
例えば時系列バッファ822に操作ステータスHSTとして“22”が記述されていない場合であって、時系列バッファ822に記述された取出し行動の信頼度CD及び袋詰め行動の信頼度CDが、出力テーブル823に記述された行動ステータスAST“11”の信頼度CDの第1閾値及び行動ステータスAST“12”の信頼度CDの第1閾値をそれぞれ満たす場合、プロセッサ81は、その出力コードOCを取得し、開始時刻STMとしての現在の時刻TMと共に時系列バッファ822に記述してもよい。
例えば時系列バッファ822に操作ステータスHSTとして“22”が記述されていない場合であって、時系列バッファ822に記述された取出し行動の信頼度CDが出力テーブル823に記述された行動ステータスAST“11”の信頼度CDの第1閾値を満たさないが第2閾値を満たす場合及び/又は時系列バッファ822に記述された袋詰め行動の信頼度CDが出力テーブル823に記述された行動ステータスAST“12”の信頼度CDDの第1閾値を満たさないが第2閾値を満たす場合、プロセッサ81は、行動ファイル821及び時系列バッファ822をログとして記録してもよい。
例えば時系列バッファ822に操作ステータスHSTとして“22”が記述されていない場合であって、時系列バッファ822に記述された取出し行動の信頼度CD及び袋詰め行動の信頼度CDが、出力テーブル823に記述された行動ステータスAST“11”の信頼度CDの第1閾値及び行動ステータスAST“12”の信頼度CDの第1閾値をそれぞれ満たす場合、プロセッサ81は、その出力コードOCを取得し、開始時刻STMとしての現在の時刻TMと共に時系列バッファ822に記述してもよい。
例えば時系列バッファ822に操作ステータスHSTとして“22”が記述されていない場合であって、時系列バッファ822に記述された取出し行動の信頼度CDが出力テーブル823に記述された行動ステータスAST“11”の信頼度CDの第1閾値を満たさないが第2閾値を満たす場合及び/又は時系列バッファ822に記述された袋詰め行動の信頼度CDが出力テーブル823に記述された行動ステータスAST“12”の信頼度CDDの第1閾値を満たさないが第2閾値を満たす場合、プロセッサ81は、行動ファイル821及び時系列バッファ822をログとして記録してもよい。
前記実施形態において、アテンダント端末14が表示制御装置13としての機能を内包していてもよい。この場合、操作認識部222は、アテンダント端末14から監視画像SCのデータを取得し、セルフPOS端末11に対する客の操作を認識する。あるいは、操作認識部222は、各セルフPOS端末11から出力されるデータ信号を、例えばルータを介して通信ネットワーク15から取り込み、そのデータ信号を基にセルフPOS端末11に対する客の操作を認識してもよい。
前記実施形態では、不正行為推定装置22は、行動認識部221、操作認識部222、第1取得部223、第2取得部224、不正推定部225及び出力部226としての機能を有する場合を例示した。不正行為推定装置22は、複数の装置に機能を分散させたシステムによって実現されてもよい。
前記実施形態では、カメラ21で撮影された画像から客の骨格を推定し、その骨格推定に基づいた手の位置と興味領域、例えばセルフPOS端末11の本体40、袋詰め台50又は籠台60等の位置と対応関係の時間的な変化に基づいて、客の取出し行動及び袋詰め行動を認識した。このように行動認識の手法は、骨格推定に基づいた手法に限定されない。
例えば、図12に示すように、プロセッサ81は、カメラ21で撮影されたフレーム画像毎に客の左手及び右手を推定し、左手の領域を示す第1のバウンディングボックス91と、右手の領域を示す第2のバウンディングボックス92とを推論する。またプロセッサ81は、籠台60に置かれた籠90の領域を示す第3のバウンディングボックス93を推論する。
プロセッサ81は、第1のバウンディングボックス91又は第2のバウンディングボックス92のなかから、商品を持っている手の領域を示すバウンディングボックス91又は92を選択する。例えば図12においては、第2のバウンディングボックス92が選択される。プロセッサ81は、各フレーム画像から選択した第1又は第2のバウンディングボックス91又は92の動きを追従する。またプロセッサ81は、第3のバウンディングボックスを興味領域(ROI)とする。そしてプロセッサ81は、第1又は第2のバウンディングボックス91又は92の動きに伴い変化する第1又は第2のバウンディングボックス91又は92と興味領域との位置関係の時間的な変化から、客の取出し行動及び袋詰め行動を認識する。
なお、興味領域は、籠90の領域を示す第3のバウンディングボックス93に限定されない。例えば、袋詰め台50に置かれたレジ袋又はマイバッグ等の領域を示す第4のバウンディングボックスを推論し、この第4のバウンディングボックスを興味領域として、第1又は第2のバウンディングボックス91又は92の動きと興味領域との位置関係の時間的な変化から、客の取出し行動及び袋詰め行動を認識してもよい。
例えば、図12に示すように、プロセッサ81は、カメラ21で撮影されたフレーム画像毎に客の左手及び右手を推定し、左手の領域を示す第1のバウンディングボックス91と、右手の領域を示す第2のバウンディングボックス92とを推論する。またプロセッサ81は、籠台60に置かれた籠90の領域を示す第3のバウンディングボックス93を推論する。
プロセッサ81は、第1のバウンディングボックス91又は第2のバウンディングボックス92のなかから、商品を持っている手の領域を示すバウンディングボックス91又は92を選択する。例えば図12においては、第2のバウンディングボックス92が選択される。プロセッサ81は、各フレーム画像から選択した第1又は第2のバウンディングボックス91又は92の動きを追従する。またプロセッサ81は、第3のバウンディングボックスを興味領域(ROI)とする。そしてプロセッサ81は、第1又は第2のバウンディングボックス91又は92の動きに伴い変化する第1又は第2のバウンディングボックス91又は92と興味領域との位置関係の時間的な変化から、客の取出し行動及び袋詰め行動を認識する。
なお、興味領域は、籠90の領域を示す第3のバウンディングボックス93に限定されない。例えば、袋詰め台50に置かれたレジ袋又はマイバッグ等の領域を示す第4のバウンディングボックスを推論し、この第4のバウンディングボックスを興味領域として、第1又は第2のバウンディングボックス91又は92の動きと興味領域との位置関係の時間的な変化から、客の取出し行動及び袋詰め行動を認識してもよい。
この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
11…セルフPOS端末、12…POSサーバ、13…表示制御装置、14…アテンダント端末、15…通信ネットワーク、21…カメラ、22…不正行為推定装置、40…本体、41…タッチパネル、42…読取窓、43…カード挿入口、44…レシート発行口、45…硬貨投入口、46…硬貨払出口、47…紙幣投入口、48…紙幣払出口、50…袋詰め台、52…袋保持具、53…保持アーム、60…籠台、61…ハンディスキャナ、63…置台、64…表示ポール、65…発光部、81…プロセッサ、82…メインメモリ、83…補助記憶デバイス、84…時計、85…スピーカ、86…カメラインターフェース、87…通信インターフェース、88…システムバス、100…セルフPOSシステム、200…不正行為推定システム、821…行動ファイル、822…時系列バッファ、823…出力テーブル、221…行動認識部、222…操作認識部、223…第1取得部、224…第2取得部、225…不正推定部、226…出力部。
Claims (10)
- 購買者による決済端末への商品登録操作から操作情報を取得する第1取得手段と、
前記商品登録操作を行う前記購買者の行動を認識する行動認識手段と、
前記購買者の行動の信頼度を取得する第2取得手段と、
前記操作情報及び前記信頼度に基づく結果情報を出力する出力手段と、
を具備する不正行為推定装置。 - 前記信頼度が所定の条件を満たす場合、前記出力手段は、前記決済端末の表示部に不正行為を知らしめる情報を出力する、請求項1記載の不正行為推定装置。
- 前記信頼度が所定の条件を満たす場合、前記出力手段は、店員端末に不正行為を知らしめる情報を出力する、請求項1記載の不正行為推定装置。
- 前記信頼度が所定の条件を満たす場合、前記出力手段は、前記決済端末に不正行為を知らしめる音を出力する、請求項1記載の不正行為推定装置。
- 前記信頼度が所定の条件を満たす場合、前記出力手段は、不正行為を知らしめるように前記決済端末の発光部を発光させる、請求項1記載の不正行為推定装置。
- 前記信頼度が所定の条件を満たさない場合、前記出力手段は、前記結果情報を出力せず、前記操作情報及び前記信頼度を記憶部に記憶する、請求項1記載の不正行為推定装置。
- 不正行為推定装置のコンピュータに、
購買者による決済端末への商品登録操作から操作情報を取得する機能、
前記商品登録操作を行う前記購買者の行動を認識する機能、
前記購買者の行動の信頼度を取得する機能、及び
前記操作情報及び前記信頼度に基づく結果情報を出力する機能、
を実現させるための制御プログラム。 - 不正行為推定装置が、
購買者による決済端末への商品登録操作から操作情報を取得し、
前記商品登録操作を行う前記購買者の行動を認識し、
前記購買者の行動の信頼度を取得し、
前記操作情報及び前記信頼度に基づく結果情報を出力する、不正行為推定方法。 - 前記行動認識手段は、カメラで撮影された画像から推定される購買者の骨格に基づいた手の位置と決済端末に係る興味領域の位置との対応関係の時間的な変化に基づいて、前記購買者の行動を認識する、請求項1記載の不正行為推定装置。
- 前記行動認識手段は、カメラで撮影された画像から推定される購買者の手の領域を示すバウンディングボックスの位置と決済端末に係る興味領域の位置との対応関係の時間的な変化に基づいて、前記購買者の行動を認識する、請求項1記載の不正行為推定装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210921519.8A CN116266398A (zh) | 2021-12-16 | 2022-08-02 | 不正当行为推测装置、存储介质及不正当行为推测方法 |
US17/965,544 US20230196778A1 (en) | 2021-12-16 | 2022-10-13 | Fraudulent act estimation device and control program therefor and fraudulent act estimation method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021204287 | 2021-12-16 | ||
JP2021204287 | 2021-12-16 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023089895A true JP2023089895A (ja) | 2023-06-28 |
Family
ID=86936422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022052150A Pending JP2023089895A (ja) | 2021-12-16 | 2022-03-28 | 不正行為推定装置及びその制御プログラム、不正行為推定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023089895A (ja) |
-
2022
- 2022-03-28 JP JP2022052150A patent/JP2023089895A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021120910A (ja) | チェックアウト装置およびプログラム | |
US11704651B2 (en) | Fraud behavior recognition device, control program thereof, and fraud behavior recognition method | |
US12008536B2 (en) | Log-in control apparatus, control method of log-in control apparatus, and information terminal | |
JP2020035015A (ja) | チェックアウト装置 | |
US20240185691A1 (en) | Monitoring device and monitoring method | |
EP3396610A1 (en) | Commodity information reading device and commodity information reading method | |
US20230022924A1 (en) | Detection apparatus for detecting abnormal operations at a point of sales apparatus | |
JP2023089895A (ja) | 不正行為推定装置及びその制御プログラム、不正行為推定方法 | |
US20220230182A1 (en) | Monitoring apparatus, monitoring system, and monitoring method | |
US20230196778A1 (en) | Fraudulent act estimation device and control program therefor and fraudulent act estimation method | |
JP2022189140A (ja) | 情報処理装置及び情報処理システム | |
US20220222472A1 (en) | Fraudulent act recognition device, control program therefor, and fraudulent act recognition method | |
US20220284434A1 (en) | Fraudulent act recognition device and control program therefor and fraudulent act recognition method | |
US20240104541A1 (en) | Monitoring device, payment system including a monitoring device, and control method for a monitoring device | |
US20240104535A1 (en) | Commodity registration apparatus and monitoring apparatus | |
JP2015146067A (ja) | 商品データ登録装置、チェックアウトシステムおよびプログラム | |
JP2023141730A (ja) | 不正行為推定装置及びプログラム | |
US20170345041A1 (en) | Sales data processing apparatus and method for detecting unfair acqisition of point value by the same | |
US20240220956A1 (en) | Checkout apparatus, monitoring apparatus, and monitoring method | |
JP2023117900A (ja) | 監視装置、決済装置及びプログラム | |
JP2022187268A (ja) | 情報処理システム、情報処理装置及びその制御プログラム | |
JP2019032912A (ja) | 会計装置およびプログラム | |
JP2017224347A (ja) | 登録装置、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230104 |