JP2023007363A

JP2023007363A - 情報処理プログラム、情報処理方法、および情報処理装置

Info

Publication number: JP2023007363A
Application number: JP2022025140A
Authority: JP
Inventors: 源太鈴木; Genta Suzuki; 翔岩▲崎▼; Sho Iwasaki; 孝広齊藤; Takahiro Saito; 由花條; Yuka Jo
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2021-06-30
Filing date: 2022-02-21
Publication date: 2023-01-18
Anticipated expiration: 2042-02-21
Also published as: JP7318753B2

Abstract

【課題】顧客自らが商品スキャンを行うシステムでは、商品スキャンは必ずしも各商品の売場で行われる必要はなく、購入商品の精算までに任意の場所で行われればよい。そのため、任意の場所で商品スキャンを行ってもよい中で商品のスキャン漏れを検知することはできない、または困難である場合があった。【解決手段】情報処理プログラムは、撮像した画像から、店舗に滞在する人物と、人物が利用している物体とを特定し、画像から、特定された人物の骨格情報を生成し、特定された物体と骨格情報とに基づいて、人物が店舗で販売される商品を取得する第１の動作を特定し、人物が第１の端末に対して購入対象の商品の登録をした数を示す第２の回数とを計数し、特定された第１の動作の第１の回数と、計数された第２の回数とに基づいて、人物の商品を購入する行動を評価する処理をコンピュータに実行させる。【選択図】図１８

Description

本発明は、情報処理プログラム、情報処理方法、および情報処理装置に関する。

小売店においては、レジの混雑を解消するために、顧客自らが商品をスキャンして登録し、会計を行うシステムの導入が進んでいる。さらに近年では、顧客が、小売店の店舗内で貸し出される端末や顧客の所持する端末にインストールしたアプリケーションを用いて、レジ以外の場所、例えば、各商品をピックアップした売場で商品スキャンを行うシステムの導入が始まっている。このような顧客自らが商品スキャンを行うシステムでは、万引きなどの不正行為や誤操作による商品のスキャン漏れを検知することが必要になる。

一方、小売店において顧客の不正行動を検知するシステムとして、例えば、店舗内の監視カメラを使って、顧客の不審行動や、万引きなどの不正行為を検知するシステムが開発されている。

特開２０１９－１９３０８９号公報米国特許出願公開第２０１７／００４６７０７号明細書

しかしながら、顧客自らが商品スキャンを行うシステムでは、商品スキャンは必ずしも各商品の売場で行われる必要はなく、購入商品の精算までに任意の場所で行われればよい。そのため、任意の場所で商品スキャンを行ってもよい中で商品のスキャン漏れを検知することはできない、または困難である場合があった。

１つの側面では、顧客自らが商品スキャンを行うシステムにおいて商品のスキャン漏れを検知できる情報処理プログラム、情報処理方法、および情報処理装置を提供することを目的とする。

１つの態様において、情報処理プログラムは、撮像した画像から、店舗に滞在する人物と、人物が利用している物体とを特定し、画像から、特定された人物の骨格情報を生成し、特定された物体と骨格情報とに基づいて、人物が店舗で販売される商品を取得する第１の動作を特定し、人物が第１の端末に対して購入対象の商品の登録をした数を示す第２の回数を計数し、特定された第１の動作の第１の回数と、計数された第２の回数とに基づいて、人物の商品を購入する行動を評価する処理をコンピュータに実行させる。

１つの側面では、顧客自らが商品スキャンを行うシステムにおいて商品のスキャン漏れを検知できる。

図１は、実施例１にかかる不正検知システム１の構成例を示す図である。図２は、実施例１にかかるセルフスキャンによる商品購入の一例を示す図である。図３は、実施例１にかかるセルフスキャンによる商品購入の別例を示す図である。図４は、実施例１にかかる撮像画像からのスキャン漏れ検知の一例を示す図である。図５は、実施例１にかかる不正検知装置１０の構成例を示す図である。図６は、実施例１にかかる動作履歴３３に記憶されるデータの一例を示す図である。図７は、実施例１にかかるスキャン漏れ検知処理の一例を示す図である。図８は、実施例１にかかる物体検出および骨格検出の一例を示す図である。図９は、実施例１にかかる動作特定の一例を示す図である。図１０は、実施例１にかかるスキャン漏れ検知処理の流れを示すフローチャートである。図１１は、実施例１にかかる対象者判定処理の流れを示すフローチャートである。図１２は、不正検知装置１０のハードウェア構成を説明する図である。図１３は、実施例２にかかる不正検知システム２の構成例を示す図である。図１４は、実施例２にかかるスキャン漏れ検知の一例を示す図である。図１５は、実施例２にかかる不正検知装置１０の構成例を示す図である。図１６は、実施例２にかかる動作履歴３３に記憶されるデータの一例を示す図である。図１７は、実施例２にかかる商品登録情報３４に記憶されるデータの一例を示す図である。図１８は、実施例２にかかるスキャン漏れ検知の一例を示す図である。図１９は、実施例２にかかる商品取得／戻し動作特定の一例を示す図である。図２０は、実施例２にかかる商品取得／戻し動作特定処理の流れを示すフローチャートである。図２１は、実施例２にかかるスキャン漏れ検知処理の流れを示すフローチャートである。図２２は、利用者端末１００のハードウェア構成例を説明する図である。図２３は、セルフレジ端末４００のハードウェア構成例を説明する図である。

以下に、本実施形態に係る不正検知プログラム、不正検知方法、および不正検知装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

まず、本実施形態を実施するための不正検知システムについて説明する。図１は、実施例１にかかる不正検知システム１の構成例を示す図である。図１に示すように、不正検知システム１は、不正検知装置１０と、利用者端末１００－１～１００－ｎ（ｎは任意の整数。以下、まとめて「利用者端末１００」という）とが、ネットワーク５０を介して相互に通信可能に接続されるシステムである。

また、不正検知装置１０は、カメラ装置２００－１～２００－ｍ（ｍは任意の整数。以下、まとめて「カメラ装置２００」という）や店員端末３００ともネットワーク５０を介して相互に通信可能に接続される。

ネットワーク５０には、有線や無線を問わず、例えば、小売店の店舗内で利用されるイントラネットなどの各種通信網を採用できる。また、ネットワーク５０は、単一のネットワークではなく、例えば、イントラネットとインターネットとがゲートウェイなどネットワーク装置やその他の装置（図示せず）を介して構成されてよい。

不正検知装置１０は、例えば、小売店の店舗内に設置され、店舗スタッフや管理者などによって使用されるデスクトップＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）やノートＰＣ、またはサーバコンピュータなどの情報処理装置である。

不正検知装置１０は、カメラ装置２００によって小売店の店舗内や敷地内など所定の撮像範囲を撮像した複数の画像を、カメラ装置２００から受信する。なお、複数の画像とは、厳密には、カメラ装置２００によって撮影される映像、すなわち、動画の一連のフレームである。

また、不正検知装置１０は、既存の物体検知技術を用いて、撮像画像から、店舗に滞在する顧客（以下、単に「人物」という場合がある）、当該人物が持つ買い物カゴ（以下、単に「カゴ」という場合がある）や利用者端末１００を特定する。また、不正検知装置１０は、既存の骨格検出技術を用いて、撮像画像から、特定された人物の骨格情報を生成して人物の姿勢を推定し、商品をカゴに入れる動作や利用者端末１００に対して登録する動作を特定する。

また、不正検知装置１０は、商品をカゴに入れる動作の回数と、商品を利用者端末１００に対して登録する動作の回数とを計数し、両回数に基づいて、人物の商品を購入する行動を評価する。そして、不正検知装置１０は、商品のスキャン漏れなど、人物の不正行為や誤操作を検知した場合、店員端末３００にアラートを通知する。

なお、図１では、不正検知装置１０を１台のコンピュータとして示しているが、複数台のコンピュータで構成される分散型コンピューティングシステムであってもよい。また、不正検知装置１０は、クラウドコンピューティングサービスを提供するサービス提供者によって管理されるクラウドコンピュータ装置であってもよい。

利用者端末１００は、商品を購入するために、顧客自らが商品のバーコードなどをスキャンして購入商品の登録を行うための情報処理端末である。利用者端末１００は、顧客が所有するスマートフォンやタブレットＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）などのモバイル端末であってもよいし、店舗内で貸し出される専用端末であってもよい。利用者端末１００には、商品をスキャンして登録などするためのアプリケーションが予めインストールされる。

カメラ装置２００は、例えば、小売店の店舗内や敷地内に設置される監視カメラである。なお、図１では、カメラ装置２００を複数台示しているが、例えば、狭い店舗などの場合は１台であってもよい。カメラ装置２００によって撮影された映像は、不正検知装置１０に送信される。

店員端末３００は、小売店の店員が所持するスマートフォンやタブレットＰＣなどのモバイル端末であってもよいし、店舗内の所定位置に設置されるデスクトップＰＣやノートＰＣなどの情報処理装置であってもよい。店員端末３００は、商品のスキャン漏れなど、人物の不正行為や誤操作を検知した場合に、不正検知装置１０からアラートを受信する。なお、店員端末３００は店舗ごとに複数存在してよいが、当該アラートが通知される端末は、例えば、出口付近の警備を担当する店員が所持するものなどに限定されてもよい。

次に、図２および図３を用いて、顧客自らが商品をスキャンして登録し（以下、「セルフスキャン」という場合がある）、商品の購入を行う方法について説明する。図２は、実施例１にかかるセルフスキャンによる商品購入の一例を示す図である。

図２に示すように、まず、顧客は、利用者端末１００に表示されるアプリケーションを介して、訪れた店舗を選択する。次に、顧客は、購入する商品を取り、例えば、商品や商品棚などに貼付された商品ごとのバーコードなどを、利用者端末１００を用いて読み取る（以下、「商品スキャン」という場合がある）。これにより、購入する商品が、アプリケーションに登録される。なお、商品スキャンは必ずしも各売場で行われる必要はなく、任意の場所および任意のタイミングで行われてよい。

次に、顧客は、セルフレジ端末４００などのディスプレイ部に表示される支払いコードをスキャンする。そして、セルフレジ端末４００の精算画面に表示された金額を支払うことで商品の購入が完了する。また、顧客は、利用者端末１００に表示された支払い完了コードを、店舗の出口などに設置されるゲート用リーダー５００などに読み取らせることで店外に出ることができる。なお、セルフレジ端末４００およびゲート用リーダー５００は、図１には示していないが、ネットワーク５０を介して不正検知装置１０と相互に通信可能に接続される。

次に、セルフスキャンによる商品購入の別例について説明する。図３は、実施例１にかかるセルフスキャンによる商品購入の別例を示す図である。

図３に示すように、まず、顧客は、利用者端末１００に表示されるアプリケーションを介して、ログインし、訪れた店舗を選択する。次に、顧客は、購入する商品を取り、例えば、購入する商品や商品棚などに貼付された商品ごとのバーコードなどを、利用者端末１００を用いて読み取る。なお、図３の場合も図２同様、商品スキャンは任意の場所および任意のタイミングで行われ得る。

次に、顧客は、店舗内のチェックポイントに購入商品の入ったカゴを置き、利用者端末１００に表示される「会計ボタン」や「購入ボタン」などを押下することで、購入商品の会計を実行する。なお、購入商品の支払いは、利用者端末１００に表示されるアプリケーションを介して、電子マネーやクレジットカードなどにより行うことができる。そして、顧客は、利用者端末１００に表示された決済完了コードを、店舗の出口などに設置されるゲート用リーダー５００などに読み取らせることで店外に出ることができる。

以上、図２および図３を用いて、セルフスキャンによる商品購入について説明したが、セルフスキャンでは、顧客が任意の場所で商品スキャンを行うことができる。そのため、セルフスキャンでは、例えば、顧客が商品スキャンを行わずに商品をカゴに入れ、セルフレジを通らずに支払いを免れることができてしまう。または、顧客が購入商品の一部のみをスキャンし、スキャンした商品のみをセルフレジで会計することで、一部の商品の支払いを免れることができてしまう。特に、商品の点数が少数の場合の不正行為は店員などによって発見し易いが、例えば、商品の点数が多数で一部の商品のスキャンを行わない場合などは店員などによる発見は困難である。

また、不正行為を検知するにあたり、さらに以下のような問題も発生し得る。例えば、すべての顧客が、利用者端末１００を用いて商品スキャンを行うとは限らない。すなわち、一部の顧客は、従来通り、セルフレジでまとめて会計を行ったり、店員によるレジ打ちによって会計を行ったりする場合もあり得る。換言すると、商品スキャンを行わなかった者が必ずしも不正行為者であるとは限らない。そのため、例えば、カメラ装置２００による映像から商品スキャンを行わなかった者を検知するだけでは、通常のレジ会計を行う顧客も検知してしまうため、不正行為者を正確に特定することが困難である。

図４は、実施例１にかかる撮像画像からのスキャン漏れ検知の一例を示す図である。図４は、カメラ装置２００によって撮像された店舗内の画像の一例である。図４に示すように、店舗内には、利用者端末１００を用いてセルフスキャンによる商品購入を行うセルフスキャン対象者１５０－１～１５０－３と、セルフスキャンによらない従来通りの商品購入を行う通常レジ対象者１６０－１～１６０－３が混在し得る。

例えば、図４の例では、セルフスキャン対象者１５０－１のみがセルフスキャンを意図的に行っていないスキャン漏れ対象者であったとする。そのため、図４のように、セルフスキャン対象者１５０－１のみがスキャン漏れ対象者として検知されることがスキャン漏れ検知としての正解である。

しかしながら、不正検知装置１０が、商品を利用者端末１００に登録する動作を行っていない者をスキャン漏れ対象者と判定する場合、そもそも当該動作を行う必要のない通常レジ対象者１６０－１～１６０－３までもスキャン漏れ対象者として検知してしまう。

また、カメラ装置２００の映像から商品スキャンを行わなかった者を検知する場合、不正検知装置１０に送信される情報量や処理する情報量が増加し、処理負荷が高くなるという問題も発生し得る。そこで、本実施形態は、このような問題を解消しつつ、セルフスキャンによる商品購入時のスキャン漏れを検知することを目的の一つとする。

［不正検知装置１０の機能構成］
次に、不正検知装置１０の機能構成について説明する。図５は、実施例１にかかる不正検知装置１０の構成例を示す図である。図５に示すように、不正検知装置１０は、通信部２０、記憶部３０、および制御部４０を有する。

通信部２０は、利用者端末１００やカメラ装置２００など、他の装置との間の通信を制御する処理部であり、例えば、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）インタフェースや、ネットワークインタフェースカードなどの通信インタフェースである。

記憶部３０は、各種データや、制御部４０が実行するプログラムを記憶する機能を有し、例えば、メモリやハードディスクなどの記憶装置により実現される。記憶部３０は、画像ＤＢ３１、骨格情報３２、および動作履歴３３などを記憶する。なお、ＤＢは、ＤａｔａＢａｓｅの略称である。

画像ＤＢ３１は、カメラ装置２００によって撮像された一連のフレームである複数の撮像画像を記憶する。また、画像ＤＢ３１は、当該撮像画像に対して特定された人物や物体の画像中の位置情報を記憶できる。

骨格情報３２は、カメラ装置２００によって撮像された撮像画像から特定された人物の骨格情報を記憶する。骨格情報の生成については後述する。

動作履歴３３は、骨格情報などに基づいて特定された、商品をカゴに入れる動作や利用者端末１００に対して登録する動作の回数を記憶する。図６は、実施例１にかかる動作履歴３３に記憶されるデータの一例を示す図である。図６に示すように、動作履歴３３は、人物を一意に識別するための識別子である「人物ＩＤ」、商品をカゴに入れる動作の回数である「カゴ入れ動作回数」、商品を利用者端末１００に対して登録する動作の回数である「商品登録動作回数」を対応付けて記憶する。

なお、記憶部３０に記憶される上記情報はあくまでも一例であり、記憶部３０は、上記情報以外にも様々な情報を記憶できる。

制御部４０は、不正検知装置１０全体を司る処理部であり、例えば、プロセッサなどである。制御部４０は、特定部４１、生成部４２、評価部４３、および通知部４４を備える。なお、各処理部は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。

特定部４１は、カメラ装置２００によって撮像された撮像画像から、店舗に滞在する人物、および当該人物が利用している物体、例えば、商品やカゴを特定する。なお、人物を特定する処理は、異なる時刻で撮像された撮像画像から、人物の容姿および移動量に基づいて、異なる時刻における同一の人物を追跡する処理を含んでよい。

また、特定部４１は、特定された物体と、生成部４２によって生成された骨格情報とに基づいて、人物が店舗で販売される商品をカゴに入れる第１の動作と、人物が利用者端末１００に対して購入対象の商品を登録する第２の動作とを特定する。

商品をカゴに入れる第１の動作を特定する処理は、例えば、特定された物体と骨格情報とに基づいて、人物の手先が、特定されたカゴの領域に所定時間入ってから出た場合に第１の動作を特定する処理を含んでよい。また、購入対象の商品を登録する第２の動作を特定する処理は、特定された物体と骨格情報とに基づいて、特定されたカゴの領域の所定範囲内で人物の両肘が前に曲げられたまま所定時間動かない場合に第２の動作を特定する処理を含んでよい。

生成部４２は、カメラ装置２００によって撮像された撮像画像から、特定部４１によって特定された人物の骨格情報を生成する。

評価部４３は、人物が店舗で販売される商品をカゴに入れる第１の動作の第１の回数を計数する。また、評価部４３は、人物が利用者端末１００に対して購入対象の商品を登録する第２の動作の第２の回数を計数する。また、評価部４３は、当該第１の回数と当該第２の回数とに基づいて、人物の商品を購入する行動を評価する。ここで、行動を評価する処理は、当該第１の回数と当該第２の回数との差分が第１の閾値以上であって、当該第１の回数が第２の閾値以上である場合、人物が不正または誤操作をしたと判定する処理を含んでよい。

ここで、当該第１の回数と当該第２の回数との差分が第１の閾値以上あるということは、商品をカゴに入れる動作の回数と、商品を登録する動作の回数とに比較的大きな乖離があるということである。そのため、評価部４３は、商品のスキャン漏れが発生していると判断できる。また、当該第１の回数が第２の閾値以上あると判定するのは、カゴに入れた商品の点数が一定数以上あるか否かを判定するためである。これは、上述したように、商品の点数が少数の場合の不正行為は、店員などによって発見し易いが、商品の点数が多数の場合は店員などによる発見が困難になるためである。

なお、当該第１の回数と当該第２の回数との差分が第１の閾値未満であっても、人物が高額商品売場を撮像した画像から特定され、当該差分が第３の閾値以上である場合、人物が不正または誤操作をしたと判定する処理を含んでよい。ここで、第３の閾値は、０より大きく、第１の閾値より小さくてよい。当該判定は、商品をカゴに入れる動作の回数と、商品を登録する動作の回数との乖離が小さくても、高額商品のスキャン漏れをより確実に検知するためである。

なお、評価部４３による第１の回数と第２の回数とを計数する処理、および行動を評価する処理は、第１の動作が特定された後、第２の動作が特定されなかった場合に実行されてよい。または、評価部４３による各処理は、商品の精算時に実行されてよい。ここで、商品の精算時とは、例えば、図２に示すような、セルフレジ端末４００などのディスプレイ部に表示される支払いコードのスキャン時であってよい。または、商品の精算時とは、例えば、図３に示すような、購入商品の会計実行時であってよい。

また、評価部４３は、第１の端末によって登録された購入対象の商品の情報と、特定された第２の動作とを照合し、関連付けることができる。これにより、より詳細に商品のスキャン漏れを検知できる。なお、購入対象の商品の情報は、例えば、商品の登録ごと、または所定のタイミングで、第１の端末から不正検知装置１０に送信されてよい。また、購入対象の商品の情報と特定された第２の動作と関連付けとは、例えば、購入対象の商品の情報が登録された時刻や場所と、第２の動作が特定された時刻や場所が一致するものを、同一人物の動作に起因するものとして関連付けることができる。

通知部４４は、評価部４３による行動の評価によって、人物が不正または誤操作をしたと判定された場合、店員端末３００にアラートを通知する。なお、アラートの通知は、メッセージや音声などの出力であってよい。また、通知部４４は、アラートの通知と共に、不正または誤操作をした人物を特定する情報、例えば、不正または誤操作をした人物が写った撮像画像を店員端末３００に送信できる。なお、撮像画像に複数人の人物が写っている場合、通知部４４は、不正または誤操作をした人物を枠で囲むなど、不正または誤操作をした人物が特定し易いように撮像画像を加工してよい。

［機能詳細］
次に、不正検知装置１０を動作主体として実行される実施例１にかかるスキャン漏れ検知処理について図７～９を用いて詳細に説明する。図７は、実施例１にかかるスキャン漏れ検知処理の一例を示す図である。図７に示される撮像画像２５０は、カメラ装置２００によって撮像された小売店の店舗内の撮像画像の一例である。不正検知装置１０は、撮像画像２５０から人物や物体を特定する。撮像画像２５０からの物体特定について図８を用いて説明する。

図８は、実施例１にかかる物体検出および骨格検出の一例を示す図である。図８の右上に示すように、不正検知装置１０は、例えば、既存の物体検出アルゴリズムを用いて、撮像画像２５１から人物（person）やカゴ（basket）を検出して特定する。ここで、既存の物体検出アルゴリズムとは、例えば、ＦａｓｔｅｒＲ－ＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）など深層学習を用いた物体検出アルゴリズムである。また、ＹＯＬＯ（ＹｏｕＯｎｌｙＬｏｏｋＯｎｃｅ）やＳＳＤ（ＳｉｎｇｌｅＳｈｏｔＭｕｌｔｉｂｏｘＤｅｔｅｃｔｏｒ）などの物体検出アルゴリズムであってもよい。

また、人物やカゴ以外でも、例えば、商品や利用者端末１００、人物の服装が撮像画像２５０から検出されてよい。これにより、不正検知装置１０は、例えば、利用者端末１００を持っているのにセルフスキャンを行わないことを検知できる。また、不正検知装置１０は、例えば、店員の制服を着用する人物をスキャン漏れ検知処理の対象から除外することができる。

また、不正検知装置１０は、例えば、既存のアルゴリズムによって、撮像画像から特定された人物の年齢を判断し、人物間の親子関係などのグループ関係を特定することもできる。これにより、例えば、親子関係の場合は、対象人物のどちらか一方が商品スキャンを行えば、商品のスキャン漏れは発生していないと判定されてもよい。

また、図８の右下に示すように、不正検知装置１０は、例えば、既存の姿勢推定および骨格推定アルゴリズムを用いて、撮像画像２５０から特定された人物の骨格を検出する。ここで、既存の姿勢推定および骨格推定アルゴリズムとは、ＤｅｅｐＰｏｓｅ、ＯｐｅｎＰｏｓｅなど深層学習を用いた姿勢推定アルゴリズムや、ＨｕｍａｎＰｏｓｅｅｓｔｉｍａｔｉｏｎなど深層学習を用いた骨格推定アルゴリズムである。そして、不正検知装置１０は、検出された骨格情報に基づいて人物の動作を特定する。

図９は、実施例１にかかる動作特定の一例を示す図である。図９の左側に示すように、不正検知装置１０は、例えば、人物の手先の骨格がカゴの領域に所定時間入ってから出た場合に、人物が商品をカゴに入れる動作を特定する。ここで、所定時間に渡る動作は、連続して撮像された撮像画像の各々から特定された連続する動作から判断可能である。さらに、不正検知装置１０は、例えば、撮像画像から特定された各商品と手先の骨格との動きを判断して、どの商品がカゴに入れられたかなど、より詳細な動作を特定できる。

また、不正検知装置１０は、図９の右側に示すように、例えば、特定されたカゴの領域の所定範囲内で人物の両肘が前に曲げられたまま所定時間動かない場合に、人物が利用者端末１００に対して購入対象の商品を登録する動作を特定する。さらに、不正検知装置１０は、例えば、各商品のバーコード面を検出して、どの商品が登録されたかなど、より詳細な動作を特定できる。

なお、不正検知装置１０が各動作を特定する際、撮像画像を直接処理するのではなく、撮像画像からより情報量の少ない骨格情報を生成して処理することにより、処理負荷を低減させることができる。

図７の説明に戻り、不正検知装置１０は、撮像画像２５０から人物や物体を特定し、特定された人物のカゴ入れ動作および商品の登録動作を特定する。そして、不正検知装置１０は、例えば、カゴ入れ動作に対して、利用者端末１００を用いて商品スキャンを行い商品の登録を行っていたにも関わらず、商品スキャンをしなくなった人物をスキャン漏れ対象者として検知できる。また、不正検知装置１０は、撮像画像２５０に対し、スキャン漏れ対象者であるセルフスキャン対象者１５０－１を枠で囲むなどして、スキャン漏れ対象者を特定し易くできる。そして、不正検知装置１０は、スキャン漏れ対象者を特定し易くした撮像画像２５０と、スキャン漏れを検知した旨をアラートとして店員端末３００に通知する。

［処理の流れ］
次に、不正検知装置１０によって実行されるスキャン漏れ検知処理の流れを説明する。図１０は、実施例１にかかるスキャン漏れ検知処理の流れを示すフローチャートである。図１０に示すスキャン漏れ検知処理は、例えば、一定時間ごと、またはカメラ装置２００から撮像画像が受信される度に実行されてよい。

まず、図１０に示すように、不正検知装置１０は、カメラ装置２００によって小売店の店舗内や敷地内など所定の撮像範囲が撮像された撮像画像を画像ＤＢ３１から取得する（ステップＳ１０１）。なお、図１０に示すスキャン漏れ検知処理では、カメラ装置２００によって撮像された撮像画像、厳密には監視映像をリアルタイムに処理するため、撮像画像はカメラ装置２００から随時送信され、画像ＤＢ３１に記憶される。

次に、不正検知装置１０は、既存の物体検出アルゴリズムを用いて、ステップＳ１０１で取得した撮像画像から買い物カゴを検出する（ステップＳ１０２）。

次に、不正検知装置１０は、既存の物体検出アルゴリズムを用いて、ステップＳ１０１で取得した撮像画像から人物を検出し、さらに、既存の姿勢推定および骨格推定アルゴリズムを用いて、検出された人物の骨格を検出する（ステップＳ１０３）。なお、ステップＳ１０２およびＳ１０３の実行順は、逆であってもよいし、並列に実行されてもよい。

次に、不正検知装置１０は、ステップＳ１０２で検出したカゴと、ステップＳ１０３で検出した骨格とに基づいて、人物の動作を検出する（ステップＳ１０４）。ステップＳ１０４で検出される動作は、人物が商品をカゴに入れる動作、および人物が利用者端末１００に対して購入対象の商品をスキャンして登録する動作である。

カゴ入れ動作は、例えば、人物の手先の骨格がカゴの領域に所定時間入ってから出た場合に特定される。商品登録動作は、例えば、カゴの領域の所定範囲内で人物の両肘が前に曲げられたまま所定時間動かない場合に特定される。なお、人物の動作を特定するため、連続して撮像された撮像画像および当該撮像画像から検出されるカゴおよび骨格情報が必要となる。そのため、ステップＳ１０４の実行にあたり、ステップＳ１０１～Ｓ１０３が異なる撮像画像で所定回数繰り返されてよい。

ステップＳ１０４の動作検出においてカゴ入れ動作が検出された場合（ステップＳ１０５：Ｙｅｓ）、不正検知装置１０は、動作履歴３３にカゴ入れ動作を登録する（ステップＳ１０６）。これは、例えば、動作履歴３３のカゴ入れ動作回数Ｎｋを１つカウントアップすることである。

一方、カゴ入れ動作が検出されない場合（ステップＳ１０５：Ｎｏ）、または、カゴ入れ動作の履歴登録（ステップＳ１０６）後、ステップＳ１０７が実行される。これにより、ステップＳ１０４の動作検出において商品登録動作が検出された場合（ステップＳ１０７：Ｙｅｓ）、不正検知装置１０は、動作履歴３３に商品登録動作を登録する（ステップＳ１０８）。これは、例えば、動作履歴３３の商品登録動作回数Ｎｓを１つカウントアップすることである。ステップＳ１０８の実行後、図１０に示すスキャン漏れ検知処理は終了する。

一方、商品登録動作が検出されない場合（ステップＳ１０７：Ｎｏ）、不正検知装置１０は、図１１を用いて後述する対象者判定処理を実行する（ステップＳ１０９）。ステップＳ１０９の対象者判定処理により、ステップＳ１０７で商品登録動作が検出されなかった人物がスキャン漏れ対象者であると判定された場合（ステップＳ１１０：Ｙｅｓ）、不正検知装置１０は、店員端末３００にアラートを通知する（ステップＳ１１１）。ステップＳ１１１の実行後、または、ステップＳ１０７で商品登録動作が検出されなかった人物がスキャン漏れ対象者でないと判定された場合（ステップＳ１１０：Ｎｏ）、図１０に示すスキャン漏れ検知処理は終了する。

次に、図１０のステップＳ１０９で実行される対象者判定処理について説明する。図１１は、実施例１にかかる対象者判定処理の流れを示すフローチャートである。

まず、図１１に示すように、不正検知装置１０は、判定対象の人物のカゴ入れ動作回数Ｎｋが第１の閾値より大きいか否かを判定する（ステップＳ２０１）。当該判定は、上述したように、カゴに入れた商品の点数が一定数以上あるか否かの判定である。

カゴ入れ動作回数Ｎｋが第１の閾値より大きい場合（ステップＳ２０１：Ｙｅｓ）、不正検知装置１０は、カゴ入れ動作回数Ｎｋと商品登録動作回数Ｎｓとの差分が０より大きく、第２の閾値以下か否かを判定する（ステップＳ２０２）。当該判定は、上述したように、商品をカゴに入れる動作の回数と、商品を登録する動作の回数との差分が第２の閾値より大きく、比較的大きい乖離があるか否かの判定である。

カゴ入れ動作回数Ｎｋと商品登録動作回数Ｎｓとの差分が第２の閾値より大きい場合（ステップＳ２０２：Ｎｏ）、不正検知装置１０は、判定対象の人物をスキャン漏れ対象者と判定する。

一方、カゴ入れ動作回数Ｎｋと商品登録動作回数Ｎｓとの差分が第２の閾値以下である場合（ステップＳ２０２：Ｙｅｓ）、不正検知装置１０は、判定対象の人物が高額商品を購入しようとしているか否かを判定する（ステップＳ２０３）。当該判定について、例えば、判定対象の人物が高額商品売場を撮像した画像から検出された場合や、高額対象の商品をカゴに入れる動作が検出された場合などに、判定対象の人物が高額商品を購入しようとしていると判定されてよい。

判定対象の人物が高額商品を購入しようしていない場合（ステップＳ２０３：Ｎｏ）、不正検知装置１０は、判定対象の人物をスキャン漏れ非対象者と判定する。

一方、判定対象の人物が高額商品を購入しようしている場合（ステップＳ２０３：Ｙｅｓ）、不正検知装置１０は、判定対象の人物をスキャン漏れ対象者と判定する。

また、カゴ入れ動作回数Ｎｋが第１の閾値以下の場合（ステップＳ２０１：Ｎｏ）、不正検知装置１０は、判定対象の人物がスキャン端末、すなわち、利用者端末１００を所持しているか否かを判定する（ステップＳ２０４）。当該判定は、例えば、既存の物体検出アルゴリズムを用いて、撮像画像から利用者端末１００が検出されたか否かによって判定されてよい。

判定対象の人物が利用者端末１００を所持していない場合（ステップＳ２０４：Ｎｏ）、不正検知装置１０は、判定対象の人物をスキャン漏れ非対象者と判定する。

一方、判定対象の人物が利用者端末１００を所持している場合（ステップＳ２０４：Ｙｅｓ）、不正検知装置１０は、商品登録動作回数Ｎｓが０であるか否かを判定する（ステップＳ２０５）。商品登録動作回数Ｎｓが０である場合（ステップＳ２０５：Ｙｅｓ）、不正検知装置１０は、判定対象の人物をスキャン漏れ対象者と判定する。これは、カゴに入れた商品の点数が少なくても、商品登録が全く行われていない場合は商品のスキャン漏れとして検知するためである。

一方、商品登録動作回数Ｎｓが０でない場合（ステップＳ２０５：Ｎｏ）、不正検知装置１０は、判定対象の人物をスキャン漏れ非対象者と判定する。これは、カゴに入れた商品の点数が少ないため、商品登録が行われていれば、商品をカゴに入れる動作の回数と商品を登録する動作の回数との差分があっても乖離は小さいと判定し、スキャン漏れとして検知しないためである。この場合、判定対象の人物の今後の行動により、カゴに入れた商品の点数が多くなれば、ステップＳ２０２の判定に引っかかるようになり、判定対象の人物がスキャン漏れ対象者と判定され得る。

しかしながら、商品をスキャンして利用者端末１００に対して登録する動作、すなわち、商品登録動作が、カメラ装置２００による撮像範囲外で行われる場合がある。例えば、カメラ装置２００の設置されている売場が混雑していたため、カメラ装置２００の撮像範囲外の空いている場所に移動してから商品をまとめてスキャンする場合である。この場合、カメラ装置２００の映像には商品登録動作は映らないため、商品登録動作を検出することができず、その分の商品登録動作回数がカウントされない。そのため、正しく商品スキャンを行っていた人物がスキャン漏れ対象者と判定されてしまう場合がある。このような問題を解決するために、カメラ装置２００を増やすことも考えられるが、コストが増大してしまう可能性がある。

そこで、実施例２として、スキャン漏れ対象者の判定処理において、商品登録動作回数の代わりに、スキャン登録済み件数を用いる。スキャン登録済み件数は、顧客自らが利用者端末１００を用いて商品をスキャンして利用者端末１００やセルフレジ端末４００に購入商品として登録された商品の数である。なお、実施例１および実施例２に示すスキャン漏れ対象者の判定処理は、併用されてもよい。

図１３は、実施例２にかかる不正検知システム２の構成例を示す図である。図１３に示すように、不正検知システム２は、不正検知装置１０と、利用者端末１００、カメラ装置２００、店員端末３００とが、ネットワーク５０を介して相互に通信可能に接続されるシステムである。また、不正検知システム２では、不正検知装置１０は、セルフレジ端末４００－１～４００－ｓ（ｓは任意の整数。まとめて「セルフレジ端末４００」という）ともネットワーク５０を介して相互に通信可能に接続される。

不正検知システム２における不正検知装置１０、ネットワーク５０、利用者端末１００、カメラ装置２００、および店員端末３００は、図１に示す不正検知システム１のものと同様である。

セルフレジ端末４００は、顧客自らが商品の会計を行うための端末である。セルフレジ端末４００は、商品の精算時に、利用者端末１００を介して登録された購入商品の情報を受信する。そして、セルフレジ端末４００は、顧客から現金やクレジットカード、電子マネーなどによって、購入商品の代金の支払いを受け付ける。

図１４は、実施例２にかかるスキャン漏れ検知の一例を示す図である。不正検知システム２における不正検知装置１０は、図１４に示すように、カメラ装置２００によって撮像された各売場の撮像画像から、店舗に滞在する人物が店舗で販売される商品を取得する第１の動作を特定し、その回数を商品取得動作回数として計数する。図１４の例では、カメラ装置２００－ｘによって撮像された日用消耗品売場の撮像画像からＨＢＣ類の商品を取得する動作が１回、カメラ装置２００－ｙによって撮像されたお酒売場の撮像画像からビール類の商品を取得する動作が１回、計数されたことが示される。

また、不正検知装置１０は、人物が第１の端末に対して購入対象の商品の登録をした数を示す第２の回数をスキャン登録済み件数として計数する。ここで、第１の端末は、利用者端末１００またはセルフレジ端末４００である。図１４の例では、人物が利用者端末１００を介して商品に付与されたバーコードまたはＱＲコード（登録商標）をスキャンして登録された商品の数が、商品の精算時に、セルフレジ端末４００－ｘに送信され、表示されたことが示される。

そして、不正検知装置１０は、特定された第１の動作の第１の回数である商品取得動作回数と、計数された第２の回数であるスキャン登録済み件数とを照合して基づいて、人物の商品を購入する行動を評価する。より具体的には、例えば、不正検知装置１０は、商品取得動作回数と、スキャン登録済み件数との差分が第１の閾値以上であって、商品取得動作回数が第２の閾値以上である場合、対象人物が不正または誤操作をしたと判定する。図１４の例では、ビール類の商品取得動作回数が１回であるのに、スキャン登録済み件数が０であるため、不正検知装置１０は、対象人物が不正または誤操作をしたと判定できる。

［不正検知装置１０の機能構成］
次に、不正検知装置１０の機能構成について説明する。図１５は、実施例２にかかる不正検知装置１０の構成例を示す図である。図１５に示すように、不正検知装置１０は、通信部２０、記憶部３０、および制御部４０を有する。

通信部２０は、実施例１の不正検知装置１０同様、利用者端末１００やカメラ装置２００、店員端末３００やセルフレジ端末４００など、他の装置との間の通信を制御する処理部である。

記憶部３０は、実施例１の不正検知装置１０同様、各種データや、制御部４０が実行するプログラムを記憶する機能を有し、例えば、メモリやハードディスクなどの記憶装置により実現される。記憶部３０は、画像ＤＢ３１、骨格情報３２、動作履歴３３、および商品登録情報３４などを記憶する。

画像ＤＢ３１は、実施例１の不正検知装置１０同様、カメラ装置２００によって撮像された一連のフレームである複数の撮像画像、および当該撮像画像に対して特定された人物や物体の画像中の位置情報を記憶できる。

骨格情報３２は、実施例１の不正検知装置１０同様、カメラ装置２００によって撮像された撮像画像から特定された人物の骨格情報を記憶する。

動作履歴３３は、骨格情報などに基づいて特定された、人物の動作の回数を記憶する。図１６は、実施例２にかかる動作履歴３３に記憶されるデータの一例を示す図である。図１６に示すように、動作履歴３３は、例えば、動作をした人物を一意に識別するための識別子である「人物ＩＤ」、動作が不正検知装置１０によって特定された時刻である「時刻」、特定された動作の種類を示す「動作」、取得した商品の品目を示す「商品分類」を対応付けて記憶する。ここで、例えば、図１６の例の「動作」の“商品取得”は、対象人物が商品を売場から取得する動作が特定された場合に設定され、“商品戻し”は、対象人物が商品を売場に戻した動作が特定された場合に設定されてよい。また、図示していないが、動作履歴３３は、撮像画像から抽出される人物の特徴情報を記憶してよい。なお、人物の特徴情報とは、例えば、人物の服装など体の画像特徴や、Re-Identification（Re-ID）による画像特徴量、人物の骨格推定後の体の位置を特定しての画像特徴などであってよい。

商品登録情報３４は、顧客自らが利用者端末１００を用いて商品をスキャンして購入商品として登録された商品の数を記憶する。図１７に示すように、商品登録情報３４は、商品をスキャンして登録した人物を一意に識別するための識別子である「人物ＩＤ」、スキャンして登録された商品の件数を示す「件数」、スキャンした商品の品目を示す「商品分類」を対応付けて記憶する。

制御部４０は、実施例１の不正検知装置１０同様、不正検知装置１０全体を司る処理部である。制御部４０は、特定部４１、生成部４２、評価部４３、および通知部４４を備える。

特定部４１は、実施例１の不正検知装置１０同様、カメラ装置２００によって撮像された撮像画像から、店舗に滞在する人物、および当該人物が利用している物体、例えば、商品やカゴを特定する。また、特定部４１は、特定された物体や、生成部４２によって生成された骨格情報などに基づいて、人物が商品を取得する第１の動作や商品を売場に戻す動作を特定する。なお、商品を取得する動作を特定することは、商品棚から商品を取り出す動作を特定することであってもよいし、商品をカゴに入れる動作を特定することであってもよい。同様に、商品を売場に戻す動作を特定することは、商品棚に商品を戻す動作を特定することであってもよいし、商品をカゴから取り出す動作を特定することであってもよい。

生成部４２は、実施例１の不正検知装置１０同様、カメラ装置２００によって撮像された撮像画像から、特定部４１によって特定された人物の骨格情報を生成する。

評価部４３は、人物が商品を取得する第１の動作の第１の回数を計数する。また、評価部４３は、人物が利用者端末１００またはセルフレジ端末４００である第１の端末に対して購入対象の商品の登録をした数を示す第２の回数を計数する。そして、評価部４３は、当該第１の回数と当該第２の回数とに基づいて、人物の商品を購入する行動を評価する。ここで、行動を評価する処理は、当該第１の回数と当該第２の回数との差分が第１の閾値以上であって、当該第１の回数が第２の閾値以上である場合、人物が不正または誤操作をしたと判定する処理を含んでよい。

なお、評価部４３による第１の回数と第２の回数とを計数する処理、および行動を評価する処理は、第１の動作が特定された後、人物が第１の端末に対して購入対象の商品を登録する第２の動作が特定されなかった場合に実行されてよい。ここで、第１の端末は、利用者端末１００またはセルフレジ端末４００である。

通知部４４は、実施例１の不正検知装置１０同様、評価部４３による行動の評価によって、人物が不正または誤操作をしたと判定された場合、店員端末３００にアラートを通知する。

次に、不正検知装置１０を動作主体として実行される実施例２にかかるスキャン漏れ検知処理について図１８を用いて詳細に説明する。図１８は、実施例２にかかるスキャン漏れ検知の一例を示す図である。

図１８に示すように、不正検知装置１０は、カメラ装置２００－ｙによって撮像された売場Ａの撮像画像から、人物Ｐが酒類の商品棚から商品を取得する動作を特定し、人物情報と対応付けて品目である商品部類ごと動作履歴３３に記憶する。なお品目は、例えば、カメラ装置２００の撮像領域内の各商品棚や売場エリアの領域（ROI：Region Of Interest）を予め指定しておくことで、不正検知装置１０は、人物がどの品目の商品を取得したかを特定できる。または、カメラ装置２００の設置エリアに基づいて、不正検知装置１０は、人物がどの品目の商品を取得したかを特定してもよい。

そして、不正検知装置１０は、図１６に示す動作履歴３３から人物Ｐのデータを取得し、商品分類ごとに、「動作」が“商品取得”である場合に、商品取得回数をカウントアップ（＋１）して商品取得回数を計数する。一方、不正検知装置１０は、「動作」が“商品戻し”である場合に商品取得回数をカウントダウン（－１）して商品取得回数を計数する。これにより、酒類の商品取得回数が３回であると計数されたとする。

ここで、商品の取得や戻しの特定方法について説明する。図１９は、実施例２にかかる商品取得／戻し動作特定の一例を示す図である。図１９に示すように、不正検知装置１０は、カメラ装置２００によって撮像された撮像画像から手と商品棚を特定し、手のバウンディングボックス（BBOX）と商品棚のROIとの位置関係から、商品棚に手を伸ばす動作や、商品棚から手を戻す動作を特定する。

そして、不正検知装置１０は、例えば、手のBBOX内の部分画像から、物体の有無を識別するように訓練して生成された機械学習モデルを用いて、特定された手を伸ばす動作や手を戻す動作の際に人物が物体、すなわち商品を持っているか否かを判定する。

さらに、不正検知装置１０は、手を伸ばす動作と手を戻す動作との商品を持っているか否かの判定結果の組み合わせに基づいて、人物のより詳細な動作を判定する。より具体的には、例えば、手を伸ばす動作の際には商品は持っておらず、手を戻す動作の際には商品を持っていた場合、不正検知装置１０は、対象人物は商品棚から商品を取得したと判定できる。

また、不正検知装置１０は、例えば、手を伸ばす動作の際にも、手を戻す動作の際にも商品は持っていなかった場合、不正検知装置１０は、対象人物は商品棚に手を触れるなどしたが、商品を取得しなかったと判断できる。また、不正検知装置１０は、例えば、手を伸ばす動作の際には商品を持っており、手を戻す動作の際には商品を持っていなかった場合、不正検知装置１０は、対象人物は商品棚に商品を戻したと判定できる。また、不正検知装置１０は、例えば、手を伸ばす動作の際にも、手を戻す動作の際にも商品を持っていた場合、不正検知装置１０は、対象人物は商品棚に商品を戻し、別の商品を取得したと判断できる。

図１８の説明に戻り、不正検知装置１０は、カメラ装置２００－ｚによって撮像された、セルフレジ端末４００が設置されたレジエリアの撮像画像から、セルフレジ端末４００で精算を行う各人物を特定する。なお、この際、不正検知装置１０は、複数のセルフレジ端末４００から、特定した人物が利用するセルフレジ端末４００を特定し、特定した人物を対応付けて記憶してよい。そして、不正検知装置１０は、Re-IDなどの既存技術を用いて、レジエリアで特定された人物の画像特徴から人物照合を行い、各売場の撮像画像から特定された人物との同一人物判定を行う。図１８の例では、不正検知装置１０は、レジエリアの撮像画像からセルフレジ端末４００－ｙで精算を行う人物Ｐを特定し、売場Ａの撮像画像から酒類を取得する動作を３回特定された人物Ｐと同一人物であると判定したことを示す。なお、図１８の例では人物Ｑは人物Ｐと異なる人物であると判定されたが、他の撮像画像から特定された人物Ｑと同一人物であると判定されることは当然あり得る。

そして、不正検知装置１０は、セルフレジ端末４００－ｙ、または人物Ｐが使用する利用者端末１００に登録された商品の数と、人物Ｐの商品取得動作回数とを比較する。図１８の例では、不正検知装置１０は、人物Ｐの酒類の取得動作回数が３回であるのに対し、商品スキャンにより登録された商品の数が２であったため、スキャン漏れが発生したと判定する。また、図１８に示すように、不正検知装置１０は、スキャン漏れが発生したと判定した場合に、店員端末３００にアラートを通知する。

次に、不正検知装置１０によって実行される商品取得／戻し動作特定処理の流れを説明する。図２０は、実施例２にかかる商品取得／戻し動作特定処理の流れを示すフローチャートである。図２０に示す商品取得／戻し動作特定処理は、例えば、一定時間ごと、またはカメラ装置２００から撮像画像が受信される度に実行されてよい。

まず、図２０に示すように、不正検知装置１０は、カメラ装置２００によって所定の売場が撮像された撮像画像を画像ＤＢ３１から取得する（ステップＳ３０１）。なお、図２０に示す商品取得／戻し動作特定処理では、カメラ装置２００によって撮像された撮像画像、厳密には監視映像をリアルタイムに処理するため、撮像画像はカメラ装置２００から随時送信され、画像ＤＢ３１に記憶される。

次に、不正検知装置１０は、例えば、既存技術を用いて、ステップＳ３０１で取得した撮像画像から人物や物体を特定、および人物の骨格を検出し、当該人物が商品を取得する動作、または商品を戻す動作を特定する（ステップＳ３０２）。なお、ここで特定される物体は、商品や商品棚などであってよい。

次に、不正検知装置１０は、例えば、ステップＳ３０１で取得した撮像画像から特定される商品棚のROI、またはカメラ装置２００の設置エリアなどに基づいて、ステップＳ３０２で取得または戻した商品の品目情報を取得する（ステップＳ３０３）。

次に、不正検知装置１０は、例えば、既存技術を用いて、ステップＳ３０１で取得した撮像画像から、ステップＳ３０２で特定した人物の特徴情報を抽出する（ステップＳ３０４）。なお、ここで抽出される人物の特徴情報とは、上述したように、例えば、人物の体の画像特徴や、Re-IDによる画像特徴量、人物の骨格推定による骨格に関する画像特徴などであってよい。

そして、不正検知装置１０は、ステップＳ３０２で特定した動作、ステップＳ３０３で取得した品目情報、ステップＳ３０４で抽出した、人物の特徴情報、時刻情報などを対応付けて、ＤＢ、例えば、動作履歴３３に登録して記憶する（ステップＳ３０５）。ステップＳ３０５の実行後、図２０に示す商品取得／戻し動作特定処理は終了する。

次に、不正検知装置１０によって実行されるスキャン漏れ検知処理の流れを説明する。図２１は、実施例２にかかるスキャン漏れ検知処理の流れを示すフローチャートである。
図２１に示すスキャン漏れ検知処理は、例えば、一定時間ごと、セルフレジ端末４００から精算処理が開始されたことなどを示す信号が受信される度、またはカメラ装置２００から撮像画像が受信される度に実行されてよい。

まず、図２１に示すように、不正検知装置１０は、利用者端末１００を用いて各商品をスキャンして登録された購入対象の商品のスキャン記録、例えば、品目ごとのスキャン登録済み件数を商品登録情報３４から取得する（ステップＳ４０１）。なお、図２１に示すスキャン漏れ検知処理では、購入対象の商品のスキャン記録がセルフレジ端末４００によって利用者端末１００から受信され、さらに不正検知装置１０に送信され、商品登録情報３４に記憶される。

次に、不正検知装置１０は、カメラ装置２００によって対象のセルフレジ端末４００が設置されたレジエリアが撮像された撮像画像を画像ＤＢ３１から取得する（ステップＳ４０２）。なお、図２１に示すスキャン漏れ検知処理では、カメラ装置２００によって撮像された撮像画像、厳密には監視映像をリアルタイムに処理するため、撮像画像はカメラ装置２００から随時送信され、画像ＤＢ３１に記憶される。

次に、不正検知装置１０は、例えば、既存技術を用いて、ステップＳ４０２で取得した撮像画像から人物を特定する（ステップＳ４０３）。

次に、不正検知装置１０は、例えば、既存技術を用いて、ステップＳ４０２で取得した撮像画像から、ステップＳ４０３特定した人物の特徴情報を抽出する（ステップＳ４０４）。なお、ここで抽出される人物の特徴情報とは、上述したように、例えば、人物の体の画像特徴や、Re-IDによる画像特徴量、人物の骨格推定による骨格に関する画像特徴などであってよい。

次に、不正検知装置１０は、ステップＳ４０４で抽出した人物の特徴情報などに基づいて、ＤＢ、例えば、動作履歴３３を検索する（ステップＳ４０５）。ステップＳ４０５におけるＤＢ検索の結果、対象人物のデータがない場合（ステップＳ４０６：Ｎｏ）、図２１に示すスキャン漏れ検知処理は終了する。

一方、動作履歴３３に対象人物のデータがある場合（ステップＳ４０６：Ｙｅｓ）、不正検知装置１０は、動作履歴３３から対象人物のデータを取得して集計し、商品取得動作回数を計数して取得する（ステップＳ４０７）。

次に、不正検知装置１０は、ステップＳ４０７で取得した商品取得動作回数と、ステップＳ４０１で取得したスキャン登録済み件数とを比較する（ステップＳ４０８）。商品取得動作回数とスキャン登録済み件数との差分が所定の閾値未満の場合（ステップＳ４０９：Ｎｏ）、図２１に示すスキャン漏れ検知処理は終了する。

一方、商品取得動作回数とスキャン登録済み件数との差分が所定の閾値以上の場合（ステップＳ４０９：Ｙｅｓ）、対象人物が不正または誤操作をしたと判定し、例えば、レジエリア担当の従業員が利用する店員端末３００にアラートを通知する（ステップＳ４１０）。ステップＳ４１０の実行後、図２１に示すスキャン漏れ検知処理は終了する。

［効果］
上述したように、不正検知装置１０は、撮像した画像から、店舗に滞在する人物と、人物が利用している物体とを特定し、画像から、特定された人物の骨格情報３２を生成し、特定された物体と骨格情報３２とに基づいて、人物が店舗で販売される商品を取得する第１の動作を特定し、人物が第１の端末に対して購入対象の商品の登録をした数を示す第２の回数とを計数し、特定された第１の動作の第１の回数と、計数された第２の回数とに基づいて、人物の商品を購入する行動を評価する。

これにより、不正検知装置１０は、商品の取得動作の回数とスキャン登録済み件数とに基づいて顧客の行動を評価するので、顧客自らが商品スキャンを行うシステムにおいて商品のスキャン漏れを検知できる。

また、不正検知装置１０によって実行される行動を評価する処理は、第１の回数と第２の回数との差分が第１の閾値以上であって、第１の回数が第２の閾値以上である場合、人物が不正または誤操作をしたと判定する処理を含み、人物が不正または誤操作をしたと判定された場合、第２の端末である店員端末３００にアラートを通知する。

これにより、不正検知装置１０は、顧客自らが商品スキャンを行うシステムにおいて商品のスキャン漏れを検知した場合に店員に通知できる。

また、不正検知装置１０は、特定された物体と骨格情報とに基づいて、人物が第１の端末に対して購入対象の商品を登録する第２の動作を特定し、不正検知装置１０によって実行される、第１の動作を特定する処理は、特定された物体と骨格情報３２とに基づいて、人物の手先が、特定されたカゴの領域に所定時間入ってから出た場合に第１の動作を特定する処理を含み、不正検知装置１０によって実行される、第２の動作を特定する処理は、特定された物体と骨格情報３２とに基づいて、特定されたカゴの領域の所定範囲内で人物の両肘が前に曲げられたまま所定時間動かない場合に第２の動作を特定する処理を含む。

これにより、不正検知装置１０は、人物の商品に対する各動作をより正確に特定でき、顧客自らが商品スキャンを行うシステムにおいて商品のスキャン漏れを検知できる。

また、不正検知装置１０によって実行される、人物を特定する処理は、異なる時刻で撮像された画像から、人物の容姿および移動量に基づいて、異なる時刻における同一の人物を追跡する処理を含む。

これにより、不正検知装置１０は、顧客自らが商品スキャンを行うシステムにおいて商品のスキャン漏れ対象者を追跡して検知できる。

また、不正検知装置１０によって実行される、第１の回数と、第２の回数とを計数する処理、および行動を評価する処理は、第１の動作が特定された後、人物が第１の端末に対して購入対象の商品を登録する第２の動作が特定されなかった場合に実行される。

これにより、不正検知装置１０は、顧客自らが商品スキャンを行うシステムにおいて、通常レジ対象者を誤検知することなく、セルフスキャン対象者の商品のスキャン漏れを検知できる。

また、不正検知装置１０によって実行される、行動を評価する処理は、第１の回数と第２の回数との差分が第１の閾値未満であっても、人物が高額商品売場を撮像した画像から特定され、当該差分が第３の閾値以上である場合、人物が不正をしたと判定する処理を含む。

これにより、不正検知装置１０は、顧客自らが商品スキャンを行うシステムにおいて高額商品のスキャン漏れをより確実に検知できる。

また、不正検知装置１０は、店舗の商品を収容する棚を含むエリアを撮像した第１の画像から、第１の人物が棚から商品を取得する動作を特定し、セルフレジ端末４００を含むエリアを撮像した第２の画像から、第１の人物およびセルフレジ端末４００を特定し、第１の人物およびセルフレジ端末４００を対応付けて記憶し、第１の人物と対応付けられたセルフレジ端末４００から購入履歴を受信し、購入履歴に基づいて、第２の回数を特定する。

これにより、不正検知装置１０は、顧客自らが商品スキャンを行うシステムにおいて商品のスキャン漏れをより正確に検知できる。

また、不正検知装置１０は、第１の人物が商品をカゴに入れる第３の動作を特定した場合に、店舗の中の第１の人物が位置するエリアを特定し、特定されたエリアと対応付けられた商品の種類に基づいて、複数の商品の種類を示す項目のうち、カゴに入れた商品の種類を示す第１の項目を特定し、特定された第１の項目に対する第３の動作の第３の回数を計数し、受信した購入履歴に基づいて、第１の項目に対する第２の回数を計数し、第１の項目に対する第３の動作の回数と、第１の項目に対する第２の回数とに基づいて、第１の人物の商品を購入する行動を評価する。

これにより、不正検知装置１０は、顧客自らが商品スキャンを行うシステムにおいて商品のスキャン漏れを品目ごとに検知できる。

また、第１の端末は、商品に付与されたバーコードまたはＱＲコードをスキャンすることで購入対象の商品の情報を記憶する端末である。

これにより、不正検知装置１０は、顧客自らが商品スキャンを行うシステムにおいて商品のスキャン漏れを検知できる。

また、第１の端末は、セルフレジ端末４００であり、第１の端末は、商品に付与されたバーコードまたはＱＲコードをスキャンすることで購入対象の商品の情報を記憶する端末から送信された情報に基づいて、第２の回数を特定する。

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報は、特記する場合を除いて任意に変更されてもよい。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更されてもよい。

また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

［ハードウェア］
次に、実施例１や実施例２で用いられる各装置のハードウェア構成について説明する。図１２は、不正検知装置１０のハードウェア構成を説明する図である。図１２に示すように、不正検知装置１０は、通信インタフェース１０ａ、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１２に示した各部は、バスなどで相互に接続される。なお、図１２では、不正検知装置１０のハードウェア構成を説明しているが、店員端末３００も同様の構成を有してよい。

通信インタフェース１０ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図５に示した機能を動作させるプログラムやＤＢを記憶する。

プロセッサ１０ｄは、図５に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂなどから読み出してメモリ１０ｃに展開することで、図５などで説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、不正検知装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、特定部４１、生成部４２、評価部４３、および通知部４４などと同様の機能を有するプログラムをＨＤＤ１０ｂなどから読み出す。そして、プロセッサ１０ｄは、特定部４１などと同様の処理を実行するプロセスを実行する。

このように不正検知装置１０は、図５に示した各処理部と同様の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、不正検知装置１０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで上述した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、不正検知装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

また、図５に示した各処理部と同様の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌｄｉｓｋ）、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

図２２は、利用者端末１００のハードウェア構成例を説明する図である。図２２に示すように、利用者端末１００は、通信インタフェース１００ａ、ＨＤＤ１００ｂ、メモリ１００ｃ、プロセッサ１００ｄ、入力装置１００ｅ、表示装置１００ｆを有する。また、図２２に示した各部は、バスなどで相互に接続される。

通信インタフェース１００ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ１００ｂは、利用者端末１００の各機能を動作させるプログラムやデータを記憶する。

プロセッサ１００ｄは、利用者端末１００の各機能の処理を実行するプログラムをＨＤＤ１００ｂなどから読み出してメモリ１００ｃに展開することで、利用者端末１００の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、利用者端末１００が有する各処理部と同様の機能を実行する。

このように、利用者端末１００は、利用者端末１００の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、利用者端末１００は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで利用者端末１００の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、利用者端末１００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

また、利用者端末１００の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、ＦＤ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

入力装置１００ｅは、プロセッサ１００ｄによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作や利用者端末１００に対するイヤホン端子の挿入などが含まれる。ここでタッチ操作とは、表示装置１００ｆに対する種々の接触動作、例えば、タップ、ダブルタップ、スワイプ、ピンチなどをいう。また、タッチ操作には、表示装置１００ｆに対し、例えば、指などの物体を近づける動作を含む。入力装置１００ｅは、例えば、ボタン、タッチパネル、近接センサなどであってよい。

表示装置１００ｆは、プロセッサ１００ｄによる制御に基づいて各種視覚情報を表示する。表示装置１００ｆは、液晶ディスプレイ（ＬＣＤ：ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）や、ＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）、いわゆる有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどであってよい。

図２３は、セルフレジ端末４００のハードウェア構成例を説明する図である。図２３に示すように、セルフレジ端末４００は、通信インタフェース４００ａ、ＨＤＤ４００ｂ、メモリ４００ｃ、プロセッサ４００ｄ、入力装置４００ｅ、出力装置４００ｆを有する。また、図２３に示した各部は、バスなどで相互に接続される。

通信インタフェース４００ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ４００ｂは、セルフレジ端末４００の各機能を動作させるプログラムやデータを記憶する。

プロセッサ４００ｄは、セルフレジ端末４００の各機能の処理を実行するプログラムをＨＤＤ４００ｂなどから読み出してメモリ４００ｃに展開することで、セルフレジ端末４００の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、セルフレジ端末４００が有する各処理部と同様の機能を実行する。

このように、セルフレジ端末４００は、セルフレジ端末４００の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、セルフレジ端末４００は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することでセルフレジ端末４００の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、セルフレジ端末４００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

また、セルフレジ端末４００の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、ＦＤ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

入力装置４００ｅは、プロセッサ４００ｄによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作などが含まれる。タッチ操作の場合、セルフレジ端末４００はさらに表示装置を備え、入力装置４００ｅによって検知される入力操作は、当該表示装置に対するタッチ操作であってよい。入力装置４００ｅは、例えば、ボタン、タッチパネル、近接センサなどであってよい。

出力装置４００ｆは、プロセッサ４００ｄによって実行されるプログラムから出力されるデータをセルフレジ端末４００に接続された外部装置、例えば、外部ディスプレイ装置などを介して出力する。なお、セルフレジ端末４００が表示装置を備える場合、セルフレジ端末４００は出力装置４００ｆを備えなくてもよい。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）撮像した画像から、店舗に滞在する人物と、前記人物が利用している物体とを特定し、
前記画像から、特定された前記人物の骨格情報を生成し、
特定された前記物体と前記骨格情報とに基づいて、前記人物が前記店舗で販売される商品を取得する第１の動作を特定し、
前記人物が第１の端末に対して購入対象の前記商品の登録をした数を示す第２の回数を計数し、
特定された前記第１の動作の第１の回数と、計数された前記第２の回数とに基づいて、前記人物の前記商品を購入する行動を評価する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

（付記２）前記行動を評価する処理は、前記第１の回数と前記第２の回数との差分が第１の閾値以上であって、前記第１の回数が第２の閾値以上である場合、前記人物が不正または誤操作をしたと判定する処理を含み、
前記人物が不正または誤操作をしたと判定された場合、第２の端末にアラートを通知する処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

（付記３）特定された前記物体と前記骨格情報とに基づいて、前記人物が前記第１の端末に対して購入対象の前記商品を登録する第２の動作を特定する処理を前記コンピュータに実行させ、
前記第１の動作を特定する処理は、特定された前記物体と前記骨格情報とに基づいて、前記人物の手先が、特定されたカゴの領域に所定時間入ってから出た場合に前記第１の動作を特定する処理を含み、
前記第２の動作を特定する処理は、特定された前記物体と前記骨格情報とに基づいて、特定された前記カゴの領域の所定範囲内で前記人物の両肘が前に曲げられたまま所定時間動かない場合に前記第２の動作を特定する処理を含むことを特徴とする付記１または２に記載の情報処理プログラム。

（付記４）前記人物を特定する処理は、異なる時刻で撮像された前記画像から、前記人物の容姿および移動量に基づいて、前記異なる時刻における同一の前記人物を追跡する処理を含むことを特徴とする付記１に記載の情報処理プログラム。

（付記５）前記第１の回数と、前記第２の回数とを計数する処理、および前記行動を評価する処理は、前記第１の動作が特定された後、前記人物が前記第１の端末に対して購入対象の前記商品を登録する第２の動作が特定されなかった場合に実行されることを特徴とする付記１に記載の情報処理プログラム。

（付記６）前記行動を評価する処理は、前記差分が前記第１の閾値未満であっても、前記人物が高額商品売場を撮像した前記画像から特定され、前記差分が第３の閾値以上である場合、前記人物が不正または誤操作をしたと判定する処理を含むことを特徴とする付記２に記載の情報処理プログラム。

（付記７）前記店舗の商品を収容する棚を含むエリアを撮像した第１の画像から、第１の人物が前記棚から前記商品を取得する動作を特定し、
セルフレジ端末を含むエリアを撮像した第２の画像から、前記第１の人物および前記セルフレジ端末を特定し、
前記第１の人物および前記セルフレジ端末を対応付けて記憶し、
前記第１の人物と対応付けられた前記セルフレジ端末から購入履歴を受信し、
前記購入履歴に基づいて、前記第２の回数を特定する
処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

（付記８）前記第１の人物が前記商品をカゴに入れる第３の動作を特定した場合に、前記店舗の中の前記第１の人物が位置するエリアを特定し、
特定された前記エリアと対応付けられた前記商品の種類に基づいて、複数の商品の種類を示す項目のうち、前記カゴに入れた前記商品の種類を示す第１の項目を特定し、
特定された前記第１の項目に対する前記第３の動作の第３の回数を計数し、
受信した前記購入履歴に基づいて、前記第１の項目に対する前記第２の回数を計数し、
前記第１の項目に対する前記第３の動作の回数と、前記第１の項目に対する前記第２の回数とに基づいて、前記第１の人物の前記商品を購入する行動を評価する
処理を前記コンピュータに実行させることを特徴とする付記７に記載の情報処理プログラム。

（付記９）前記第１の端末は、前記商品に付与されたバーコードまたはＱＲコードをスキャンすることで前記購入対象の商品の情報を記憶する端末であることを特徴とする付記１に記載の情報処理プログラム。

（付記１０）前記第１の端末は、セルフレジ端末であり、
前記第１の端末は、前記商品に付与されたバーコードまたはＱＲコードをスキャンすることで前記購入対象の商品の情報を記憶する端末から送信された情報に基づいて、前記第２の回数を特定することを特徴とする付記１に記載の情報処理プログラム。

（付記１１）撮像した画像から、店舗に滞在する人物と、前記人物が利用している物体とを特定し、
前記画像から、特定された前記人物の骨格情報を生成し、
特定された前記物体と前記骨格情報とに基づいて、前記人物が前記店舗で販売される商品を取得する第１の動作を特定し、
前記人物が第１の端末に対して購入対象の前記商品の登録をした数を示す第２の回数を計数し、
特定された前記第１の動作の第１の回数と、計数された前記第２の回数とに基づいて、前記人物の前記商品を購入する行動を評価する
処理をコンピュータが実行することを特徴とする情報処理方法。

（付記１２）前記行動を評価する処理は、前記第１の回数と前記第２の回数との差分が第１の閾値以上であって、前記第１の回数が第２の閾値以上である場合、前記人物が不正または誤操作をしたと判定する処理を含み、
前記人物が不正または誤操作をしたと判定された場合、第２の端末にアラートを通知する処理を前記コンピュータが実行することを特徴とする付記１１に記載の情報処理方法。

（付記１３）特定された前記物体と前記骨格情報とに基づいて、前記人物が前記第１の端末に対して購入対象の前記商品を登録する第２の動作を特定する処理を前記コンピュータが実行し、
前記第１の動作を特定する処理は、特定された前記物体と前記骨格情報とに基づいて、前記人物の手先が、特定されたカゴの領域に所定時間入ってから出た場合に前記第１の動作を特定する処理を含み、
前記第２の動作を特定する処理は、特定された前記物体と前記骨格情報とに基づいて、特定された前記カゴの領域の所定範囲内で前記人物の両肘が前に曲げられたまま所定時間動かない場合に前記第２の動作を特定する処理を含むことを特徴とする付記１１または１２に記載の情報処理方法。

（付記１４）前記人物を特定する処理は、異なる時刻で撮像された前記画像から、前記人物の容姿および移動量に基づいて、前記異なる時刻における同一の前記人物を追跡する処理を含むことを特徴とする付記１１に記載の情報処理方法。

（付記１５）前記第１の回数と、前記第２の回数とを計数する処理、および前記行動を評価する処理は、前記第１の動作が特定された後、前記人物が前記第１の端末に対して購入対象の前記商品を登録する第２の動作が特定されなかった場合に実行されることを特徴とする付記１１に記載の情報処理方法。

（付記１６）前記行動を評価する処理は、前記差分が前記第１の閾値未満であっても、前記人物が高額商品売場を撮像した前記画像から特定され、前記差分が第３の閾値以上である場合、前記人物が不正または誤操作をしたと判定する処理を含むことを特徴とする付記１２に記載の情報処理方法。

（付記１７）前記店舗の商品を収容する棚を含むエリアを撮像した第１の画像から、第１の人物が前記棚から前記商品を取得する動作を特定し、
セルフレジ端末を含むエリアを撮像した第２の画像から、前記第１の人物および前記セルフレジ端末を特定し、
前記第１の人物および前記セルフレジ端末を対応付けて記憶し、
前記第１の人物と対応付けられた前記セルフレジ端末から購入履歴を受信し、
前記購入履歴に基づいて、前記第２の回数を特定する
処理を前記コンピュータが実行することを特徴とする付記１１に記載の情報処理方法。

（付記１８）前記第１の人物が前記商品をカゴに入れる第３の動作を特定した場合に、前記店舗の中の前記第１の人物が位置するエリアを特定し、
特定された前記エリアと対応付けられた前記商品の種類に基づいて、複数の商品の種類を示す項目のうち、前記カゴに入れた前記商品の種類を示す第１の項目を特定し、
特定された前記第１の項目に対する前記第３の動作の第３の回数を計数し、
受信した前記購入履歴に基づいて、前記第１の項目に対する前記第２の回数を計数し、
前記第１の項目に対する前記第３の動作の回数と、前記第１の項目に対する前記第２の回数とに基づいて、前記第１の人物の前記商品を購入する行動を評価する
処理を前記コンピュータが実行することを特徴とする付記１７に記載の情報処理方法。

（付記１９）前記第１の端末は、前記商品に付与されたバーコードまたはＱＲコードをスキャンすることで前記購入対象の商品の情報を記憶する端末であることを特徴とする付記１１に記載の情報処理方法。

（付記２０）前記第１の端末は、セルフレジ端末であり、
前記第１の端末は、前記商品に付与されたバーコードまたはＱＲコードをスキャンすることで前記購入対象の商品の情報を記憶する端末から送信された情報に基づいて、前記第２の回数を特定することを特徴とする付記１１に記載の情報処理方法。

（付記２１）撮像した画像から、店舗に滞在する人物と、前記人物が利用している物体とを特定し、
前記画像から、特定された前記人物の骨格情報を生成し、
特定された前記物体と前記骨格情報とに基づいて、前記人物が前記店舗で販売される商品を取得する第１の動作を特定し、
前記人物が第１の端末に対して購入対象の前記商品の登録をした数を示す第２の回数を計数し、
特定された前記第１の動作の第１の回数と、計数された前記第２の回数とに基づいて、前記人物の前記商品を購入する行動を評価する
処理を実行する制御部を有することを特徴とする情報処理装置。

（付記２２）前記行動を評価する処理は、前記第１の回数と前記第２の回数との差分が第１の閾値以上であって、前記第１の回数が第２の閾値以上である場合、前記人物が不正または誤操作をしたと判定する処理を含み、
前記人物が不正または誤操作をしたと判定された場合、第２の端末にアラートを通知する処理を前記制御部が実行することを特徴とする付記２１に記載の情報処理装置。

（付記２３）特定された前記物体と前記骨格情報とに基づいて、前記人物が前記第１の端末に対して購入対象の前記商品を登録する第２の動作を特定する処理を制御部が実行し、
前記第１の動作を特定する処理は、特定された前記物体と前記骨格情報とに基づいて、前記人物の手先が、特定されたカゴの領域に所定時間入ってから出た場合に前記第１の動作を特定する処理を含み、
前記第２の動作を特定する処理は、特定された前記物体と前記骨格情報とに基づいて、特定された前記カゴの領域の所定範囲内で前記人物の両肘が前に曲げられたまま所定時間動かない場合に前記第２の動作を特定する処理を含むことを特徴とする付記２１または２２に記載の情報処理装置。

（付記２４）前記人物を特定する処理は、異なる時刻で撮像された前記画像から、前記人物の容姿および移動量に基づいて、前記異なる時刻における同一の前記人物を追跡する処理を含むことを特徴とする付記２１に記載の情報処理装置。

（付記２５）前記第１の回数と、前記第２の回数とを計数する処理、および前記行動を評価する処理は、前記第１の動作が特定された後、前記人物が前記第１の端末に対して購入対象の前記商品を登録する第２の動作が特定されなかった場合に実行されることを特徴とする付記２１に記載の情報処理装置。

（付記２６）前記行動を評価する処理は、前記差分が前記第１の閾値未満であっても、前記人物が高額商品売場を撮像した前記画像から特定され、前記差分が第３の閾値以上である場合、前記人物が不正または誤操作をしたと判定する処理を含むことを特徴とする付記２２に記載の情報処理装置。

（付記２７）前記店舗の商品を収容する棚を含むエリアを撮像した第１の画像から、第１の人物が前記棚から前記商品を取得する動作を特定し、
セルフレジ端末を含むエリアを撮像した第２の画像から、前記第１の人物および前記セルフレジ端末を特定し、
前記第１の人物および前記セルフレジ端末を対応付けて記憶し、
前記第１の人物と対応付けられた前記セルフレジ端末から購入履歴を受信し、
前記購入履歴に基づいて、前記第２の回数を特定する
処理を前記制御が実行することを特徴とする付記２１に記載の情報処理装置。

（付記２８）前記第１の人物が前記商品をカゴに入れる第３の動作を特定した場合に、前記店舗の中の前記第１の人物が位置するエリアを特定し、
特定された前記エリアと対応付けられた前記商品の種類に基づいて、複数の商品の種類を示す項目のうち、前記カゴに入れた前記商品の種類を示す第１の項目を特定し、
特定された前記第１の項目に対する前記第３の動作の第３の回数を計数し、
受信した前記購入履歴に基づいて、前記第１の項目に対する前記第２の回数を計数し、
前記第１の項目に対する前記第３の動作の回数と、前記第１の項目に対する前記第２の回数とに基づいて、前記第１の人物の前記商品を購入する行動を評価する
処理を前記制御部が実行することを特徴とする付記２７に記載の情報処理装置。

（付記２９）前記第１の端末は、前記商品に付与されたバーコードまたはＱＲコードをスキャンすることで前記購入対象の商品の情報を記憶する端末であることを特徴とする付記２１に記載の情報処理装置。

（付記３０）前記第１の端末は、セルフレジ端末であり、
前記第１の端末は、前記商品に付与されたバーコードまたはＱＲコードをスキャンすることで前記購入対象の商品の情報を記憶する端末から送信された情報に基づいて、前記第２の回数を特定することを特徴とする付記２１に記載の情報処理装置。

（付記３１）プロセッサと、
プロセッサに動作可能に接続されたメモリと
を備えた情報処理装置であって、プロセッサは、
撮像した画像から、店舗に滞在する人物と、前記人物が利用している物体とを特定し、
前記画像から、特定された前記人物の骨格情報を生成し、
特定された前記物体と前記骨格情報とに基づいて、前記人物が前記店舗で販売される商品を取得する第１の動作を特定し、
前記人物が第１の端末に対して購入対象の前記商品の登録をした数を示す第２の回数を計数し、
特定された前記第１の動作の第１の回数と、計数された前記第２の回数とに基づいて、前記人物の前記商品を購入する行動を評価する
処理を実行することを特徴とする情報処理装置。

１不正検知システム
１０不正検知装置
１０ａ通信インタフェース
１０ｂＨＤＤ
１０ｃメモリ
１０ｄプロセッサ
２０通信部
３０記憶部
３１画像ＤＢ
３２骨格情報
３３動作履歴
３４商品登録情報
４０制御部
４１特定部
４２生成部
４３評価部
４４通知部
５０ネットワーク
１００利用者端末
１５０－１、１５０－２、１５０－３セルフスキャン対象者
１６０－１、１６０－２、１６０－３通常レジ対象者
２００カメラ装置
３００店員端末
４００セルフレジ端末
５００ゲート用リーダー

Claims

撮像した画像から、店舗に滞在する人物と、前記人物が利用している物体とを特定し、
前記画像から、特定された前記人物の骨格情報を生成し、
特定された前記物体と前記骨格情報とに基づいて、前記人物が前記店舗で販売される商品を取得する第１の動作を特定し、
前記人物が第１の端末に対して購入対象の前記商品の登録をした数を示す第２の回数を計数し、
特定された前記第１の動作の第１の回数と、計数された前記第２の回数とに基づいて、前記人物の前記商品を購入する行動を評価する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。
前記行動を評価する処理は、前記第１の回数と前記第２の回数との差分が第１の閾値以上であって、前記第１の回数が第２の閾値以上である場合、前記人物が不正または誤操作をしたと判定する処理を含み、
前記人物が不正または誤操作をしたと判定された場合、第２の端末にアラートを通知する処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
特定された前記物体と前記骨格情報とに基づいて、前記人物が前記第１の端末に対して購入対象の前記商品を登録する第２の動作を特定する処理を前記コンピュータに実行させ、
前記第１の動作を特定する処理は、特定された前記物体と前記骨格情報とに基づいて、前記人物の手先が、特定されたカゴの領域に所定時間入ってから出た場合に前記第１の動作を特定する処理を含み、
前記第２の動作を特定する処理は、特定された前記物体と前記骨格情報とに基づいて、特定された前記カゴの領域の所定範囲内で前記人物の両肘が前に曲げられたまま所定時間動かない場合に前記第２の動作を特定する処理を含むことを特徴とする請求項１または２に記載の情報処理プログラム。
前記人物を特定する処理は、異なる時刻で撮像された前記画像から、前記人物の容姿および移動量に基づいて、前記異なる時刻における同一の前記人物を追跡する処理を含むことを特徴とする請求項１に記載の情報処理プログラム。
前記第１の回数と、前記第２の回数とを計数する処理、および前記行動を評価する処理は、前記第１の動作が特定された後、前記人物が前記第１の端末に対して購入対象の前記商品を登録する第２の動作が特定されなかった場合に実行されることを特徴とする請求項１に記載の情報処理プログラム。
前記行動を評価する処理は、前記差分が前記第１の閾値未満であっても、前記人物が高額商品売場を撮像した前記画像から特定され、前記差分が第３の閾値以上である場合、前記人物が不正または誤操作をしたと判定する処理を含むことを特徴とする請求項２に記載の情報処理プログラム。
前記店舗の商品を収容する棚を含むエリアを撮像した第１の画像から、第１の人物が前記棚から前記商品を取得する動作を特定し、
セルフレジ端末を含むエリアを撮像した第２の画像から、前記第１の人物および前記セルフレジ端末を特定し、
前記第１の人物および前記セルフレジ端末を対応付けて記憶し、
前記第１の人物と対応付けられた前記セルフレジ端末から購入履歴を受信し、
前記購入履歴に基づいて、前記第２の回数を特定する
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
前記第１の人物が前記商品をカゴに入れる第３の動作を特定した場合に、前記店舗の中の前記第１の人物が位置するエリアを特定し、
特定された前記エリアと対応付けられた前記商品の種類に基づいて、複数の商品の種類を示す項目のうち、前記カゴに入れた前記商品の種類を示す第１の項目を特定し、
特定された前記第１の項目に対する前記第３の動作の第３の回数を計数し、
受信した前記購入履歴に基づいて、前記第１の項目に対する前記第２の回数を計数し、
前記第１の項目に対する前記第３の動作の回数と、前記第１の項目に対する前記第２の回数とに基づいて、前記第１の人物の前記商品を購入する行動を評価する
処理を前記コンピュータに実行させることを特徴とする請求項７に記載の情報処理プログラム。
前記第１の端末は、前記商品に付与されたバーコードまたはＱＲコードをスキャンすることで前記購入対象の商品の情報を記憶する端末であることを特徴とする請求項１に記載の情報処理プログラム。
前記第１の端末は、セルフレジ端末であり、
前記第１の端末は、前記商品に付与されたバーコードまたはＱＲコードをスキャンすることで前記購入対象の商品の情報を記憶する端末から送信された情報に基づいて、前記第２の回数を特定することを特徴とする請求項１に記載の情報処理プログラム。
撮像した画像から、店舗に滞在する人物と、前記人物が利用している物体とを特定し、
前記画像から、特定された前記人物の骨格情報を生成し、
特定された前記物体と前記骨格情報とに基づいて、前記人物が前記店舗で販売される商品を取得する第１の動作を特定し、
前記人物が第１の端末に対して購入対象の前記商品の登録をした数を示す第２の回数を計数し、
特定された前記第１の動作の第１の回数と、計数された前記第２の回数とに基づいて、前記人物の前記商品を購入する行動を評価する
処理をコンピュータが実行することを特徴とする情報処理方法。
撮像した画像から、店舗に滞在する人物と、前記人物が利用している物体とを特定し、
前記画像から、特定された前記人物の骨格情報を生成し、
特定された前記物体と前記骨格情報とに基づいて、前記人物が前記店舗で販売される商品を取得する第１の動作を特定し、
前記人物が第１の端末に対して購入対象の前記商品の登録をした数を示す第２の回数を計数し、
特定された前記第１の動作の第１の回数と、計数された前記第２の回数とに基づいて、前記人物の前記商品を購入する行動を評価する
処理を実行する制御部を有することを特徴とする情報処理装置。