JP2023065267A - 行動判定プログラム、行動判定方法及び行動判定装置 - Google Patents

Abstract

【課題】商品と個人の所有物とが混同されるのを抑制すること。【解決手段】行動判定プログラムは、購入する商品が登録されると共に登録された商品の会計処理を実施する会計機に対するユーザの操作の履歴情報を取得し、会計機の前のユーザを撮影した画像から、ユーザが物体を把持した状態で会計機を操作する行動を特定し、取得した履歴情報に基づいて、ユーザが物体を把持した状態で前記会計機を操作する行動が、会計機に購入する商品を登録する行動であるか否かを判定する、処理をコンピュータに実行させる。【選択図】図２

Description

本発明は、行動判定技術に関する。

スーパーマーケットやコンビニエンスストア等の店舗において、セルフレジが普及している。セルフレジは、商品を購入するユーザ自身が、商品のバーコードの読み取りから精算までを行うＰＯＳ（Point Of Sale）レジシステムである。たとえば、セルフレジを導入することで、人件費の抑制、店員による精算ミスを防止することができる。

一方、セルフレジでは、バーコードの読み取りを行わない等のユーザの不正を検出することが求められる。この課題に対して、たとえば、カメラの画像データを解析して、店舗内の人物を追跡し、追跡中の人物が商品を手に取ったり、移動させたりするタイミングを特定する従来技術がある。かかる従来技術を用いることで、ユーザが、バーコードの読み取り動作を行ったか否かを自動的に判定することが可能となる。

図２６は、従来技術を説明するための図である。図２６に示す例では、画像データ１０が入力されると、セルフレジの領域１０ａを検出し、セルフレジのスキャン領域１０ｂを検出する。従来技術では、ユーザの把持した商品の領域１０ｃを検出し、検出した商品の領域１０ｃがスキャン領域１０ｂに入った場合に、ユーザがバーコードの読み取り動作を行ったと判定する。

特開２０２０－５３０１９号公報

しかしながら、上記の従来技術では、商品と個人の所有物、いわゆる私物とが混同される場合があるという一面がある。

すなわち、店舗等では、膨大な種類の商品が販売される上、ライフサイクルが短い商品が販売される。このため、既存のオブジェクト認識の技術、例えばＹＯＬＯなどを用いたとしても、各々の商品の個体、例えばクラス名まで識別できるモデルを生成するのは困難である。これが一因となって、ユーザが支払い等に用いる商品ではない物体、例えば財布、カード、スマートフォン、ウェアラブル端末などが図２４に示されたセルフレジのスキャン領域１０ｂに移動された場合、バーコードの読み取り動作と誤判定され得る。

１つの側面では、本発明は、商品と個人の所有物とが混同されるのを抑制できる行動判定プログラム、行動判定方法及び行動判定装置を提供することを目的とする。

一側面にかかる行動判定プログラムは、購入する商品が登録されると共に登録された商品の会計処理を実施する会計機に対するユーザの操作の履歴情報を取得し、前記会計機の前のユーザを撮影した画像から、前記ユーザが物体を把持した状態で前記会計機を操作する行動を特定し、取得した履歴情報に基づいて、前記ユーザが物体を把持した状態で前記会計機を操作する行動が、前記会計機に購入する商品を登録する行動であるか否かを判定する、処理をコンピュータに実行させる。

一実施形態によれば、商品と個人の所有物とが混同されるのを抑制できる。

図１は、本実施例に係るシステムの一例を示す図である。 図２は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。 図３は、商品情報のデータ構造の一例を示す図である。 図４は、決済関連情報のデータ構造の一例を示す図である。 図５は、モデル情報を説明するための図である。 図６は、データテーブルのデータ構造の一例を示す図である。 図７は、判定テーブルのデータ構造の一例を示す図である。 図８は、追跡部の処理を説明するための図である。 図９は、モード遷移の一例を示す図である。 図１０は、決済準備操作の一例を説明するための図である。 図１１は、決済準備操作の他の一例を説明するための図である。 図１２は、モードの判定例を示す図である。 図１３は、計数部の処理を説明するための図である。 図１４は、登録動作情報のデータ構造の一例を示す図である。 図１５は、追跡処理の処理手順を示すフローチャート（１）である。 図１６は、追跡処理の処理手順を示すフローチャート（２）である。 図１７は、モード判定処理の処理手順を示すフローチャートである。 図１８は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。 図１９は、登録動作回数計数処理の処理手順を示すフローチャートである。 図２０は、私物接近回数計数処理の処理手順を示すフローチャートである。 図２１は、計数部の処理を説明するための図である。 図２２は、判定テーブルのデータ構造の一例を示す図である。 図２３は、その他の処理（１）を説明するための図である。 図２４は、その他の処理（２）を説明するための図である。 図２５は、ハードウェア構成例を示す図である。 図２６は、従来技術を説明するための図である。

以下、添付図面を参照して本願に係る行動判定プログラム、行動判定方法及び行動判定装置の実施例について説明する。各実施例には、あくまで１つの例や側面を示すに過ぎず、このような例示により数値や機能の範囲、利用シーンなどは限定されない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

図１は、本実施例に係るシステムの一例を示す図である。図１に示すように、このシステム５は、カメラ３０と、セルフレジ５０と、管理者端末６０と、情報処理装置１００とを有する。

情報処理装置１００は、カメラ３０およびセルフレジ５０に接続される。情報処理装置１００は、ネットワーク３を介して、管理者端末６０に接続される。カメラ３０およびセルフレジ５０は、ネットワーク３を介して、情報処理装置１００に接続されてもよい。

カメラ３０は、セルフレジ５０を含む領域の映像を撮影するカメラである。カメラ３０は、映像のデータを、情報処理装置１００に送信する。以下の説明では、映像のデータを「映像データ」と表記する。

映像データには、時系列の複数の画像フレームが含まれる。各画像フレームには、時系列の昇順に、フレーム番号が付与される。１つの画像フレームは、カメラ３０があるタイミングで撮影した静止画像である。

セルフレジ５０は、商品を購入するユーザ２が、商品のバーコードの読み取りから精算までを行うＰＯＳレジシステムである。たとえば、ユーザ２が、購入対象の商品を、セルフレジ５０のスキャン領域に移動させると、セルフレジ５０は、商品のバーコードをスキャンする。

ユーザ２は、上記の動作を繰り返し実行し、商品のスキャンが完了すると、セルフレジ５０のタッチパネル等を操作し、精算要求を行う。セルフレジ５０は、精算要求を受け付けると、購入対象の商品の数、購入金額等を提示し、精算処理を実行する。セルフレジ５０は、セルフレジ５０に対するユーザの操作の履歴情報を、記憶部に格納しておき、商品情報として、情報処理装置１００に送信する。たとえば、履歴情報には、商品情報として、ユーザ２がスキャンを開始してから、精算要求を行うまでの間にスキャンした商品の情報が含まれ得る。

管理者端末６０は、店舗の管理者が利用する端末装置である。管理者端末６０は、情報処理装置１００から、アラートの通知等を受け付ける。

情報処理装置１００は、カメラ３０から取得した映像データから特定されるユーザ２が商品をセルフレジ５０に登録する動作を行った回数と、商品情報から特定される商品の購入数とを基にして、アラートを管理者端末６０に通知する装置である。以下の説明では、ユーザ２が、商品をセルフレジ５０に登録する動作を行った回数を「登録動作回数」と表記する。

たとえば、登録動作回数と、購入数とが異なる場合には、商品の会計漏れが発生しているといえる。このため、情報処理装置１００が、登録動作回数と、購入数とを基にして、アラートを通知することで、商品の会計漏れを検出することができる。

次に、図１に示した情報処理装置１００の構成の一例について説明する。図２は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。図２に示すように、情報処理装置１００は、通信部１１０、入力部１２０、表示部１３０、記憶部１４０、制御部１５０を有する。

通信部１１０は、カメラ３０、セルフレジ５０、管理者端末６０等の間で、データ通信を実行する。たとえば、通信部１１０は、カメラ３０から映像データを受信する。通信部１１０は、セルフレジ５０からセルフレジ５０に対するユーザの操作の履歴情報を受信する。

入力部１２０は、各種の情報を、情報処理装置１００に入力する入力装置である。入力部１２０は、キーボードやマウス、タッチパネル等に対応する。

表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。表示部１３０は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、タッチパネル等に対応する。

記憶部１４０は、映像バッファ１４１、履歴情報１４２、モデル情報１４３、データテーブル１４４、判定テーブル１４５、登録動作情報１４６を有する。記憶部１４０は、たとえば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。

映像バッファ１４１は、カメラ３０に撮影された映像データを格納する。映像データには、時系列の複数の画像フレームが含まれる。

履歴情報１４２は、セルフレジ５０に対するユーザの操作の履歴情報である。たとえば、履歴情報１４２には、商品情報１４２Ａと、決済関連情報１４２Ｂとが含まれ得る。

商品情報１４２Ａは、購入する商品をセルフレジ５０に登録する操作時にセルフレジ５０から取得される情報である。たとえば、商品情報１４２Ａには、ユーザ２がスキャンを開始してから、精算要求を行うまでの間にスキャンした商品の情報が含まれる。図３は、商品情報のデータ構造の一例を示す図である。図３に示すように、商品情報１４２Ａは、日時情報と、商品識別情報とを対応付ける。

日時情報は、セルフレジ５０が商品のバーコードを読み取った日時を示す。商品識別情報は、商品を識別する情報である。たとえば、図３の１行目では、日時「２０２１年９月１０日１０時１３分３０秒」において、商品識別情報「item１０１」の商品のバーコードをスキャンした旨が示される。

決済関連情報１４２Ｂは、セルフレジ５０に登録された商品の代金の決済に関連して行われる操作時にセルフレジ５０から取得される情報である。以下、決済に関連して行われる操作のことを「決済関連操作」と記載する場合がある。たとえば、決済関連操作には、商品の代金を決済する決済操作が含まれ得る。この他、決済関連操作には、商品の代金の支払い方法を指定する操作や商品の購入金額に応じて付与される有価価値、例えばポイントに関連する操作などの決済準備操作が含まれてよい。

図４は、決済関連情報のデータ構造の一例を示す図である。図４に示すように、決済関連情報１４２Ｂは、日時および操作種別などの項目が対応付けられたデータであってよい。ここで言う「日時」は、決済関連操作が行われた日時を指す。また、「操作区分」は、決済関連操作を区分するカテゴリを指す。たとえば、図４の１行目では、日時「２０２１年９月１０日１０時１４分００秒」において、ポイントカードの銘柄を選択する操作が行われたことを意味する。

モデル情報１４３は、画像フレームが入力された場合に、ユーザ（ヒト）と商品（モノ）との相互作用に関する情報を出力するＮＮ（Neural Network）である。たとえば、モデル情報１４３は、ＨＯＩＤ（Human Object Interaction Detection）に対応する。

図５は、モデル情報を説明するための図である。図５に示すように、画像フレーム３１をモデル情報１４３に入力することで、検出情報３２が出力される。検出情報３２には、ユーザ領域情報３２ａ、商品領域情報３２ｂ、相互作用情報３２ｃが含まれる。

ユーザ領域情報３２ａは、画像フレーム３１に含まれるユーザの領域を座標（左上のｘ、ｙ座標、右下のｘ、ｙ座標）によって示す。商品領域情報３２ｂは、画像フレーム３１に含まれる商品の領域を座標（左上のｘ、ｙ座標、右下のｘ、ｙ座標）によって示す。また、商品領域情報３２ｂには、商品固有のクラス名が含まれる。

相互作用情報３２ｃは、画像フレーム３１から検出されたユーザと商品との相互作用の確率値と、相互作用のクラス名とが含まれる。相互作用のクラス名は「把持（ユーザが商品を把持）」等のクラス名が設定される。

本実施例に係るモデル情報１４３は、ユーザと商品との間に相互作用が存在する場合にのみ、検出情報３２を出力する。たとえば、ユーザが商品を把持している状態の画像フレームをモデル情報１４３に入力すると、検出情報３２が出力される。一方、ユーザが商品を把持していない状態の画像フレームをモデル情報１４３に入力すると、検出情報３２が出力されない。

データテーブル１４４は、各画像フレームから検出される商品を追跡する場合に利用するデータテーブルである。図６は、データテーブルのデータ構造の一例を示す図である。図６に示すように、データテーブル１４４は、検出結果テーブル１４４ａ、追跡中物体テーブル１４４ｂ、追跡休止物体テーブル１４４ｃを有する。

検出結果テーブル１４４ａは、モデル情報１４３から出力される商品領域の座標を保持するテーブルである。以下の説明では、商品領域の座標を「商品領域座標」と表記する。商品領域座標を［第１要素、第２要素、第３要素、第４要素］によって示す。第１要素は、商品領域の左上ｘ座標を示す。第２要素は、商品領域の左上ｙ座標を示す。第３要素は、商品領域の右下ｘ座標を示す。第４要素は、商品領域の右下ｙ座標を示す。

追跡中物体テーブル１４４ｂは、追跡中の商品に関する情報を保持するテーブルである。追跡中物体テーブル１４４ｂは、ＩＤ（identification）と、商品領域座標と、ロストカウントと、ステイカウントとを有する。ＩＤは、商品領域座標に付与される識別情報である。商品領域座標は、商品領域の座標を示す。

ロストカウントは、商品領域座標に対応する商品が検出されない状態となった場合にカウントされる画像フレームの数を示す。ステイカウントは、商品領域座標に対応する商品が動いていない状態となった場合にカウントされる画像フレームの数を示す。

追跡休止物体テーブル１４４ｃは、追跡を休止している商品に関する情報を保持するテーブルである。追跡休止物体テーブル１４４ｃは、ＩＤと、商品領域座標と、フラグとを有する。ＩＤは、商品領域座標に付与される識別情報である。商品領域座標は、商品領域の座標を示す。

フラグは、追跡休止物体テーブル１４４ｃのＩＤおよび商品領域座標を、追跡中物体テーブル１４４ｂに戻すか否かを示す情報である。フラグが「true」に設定されている場合には、該当レコードのＩＤおよび商品領域座標を、追跡中物体テーブル１４４ｂに戻すことを示す。フラグが「false」に設定されている場合には、該当レコードのＩＤおよび商品領域座標を、追跡中物体テーブル１４４ｂに戻さないこと示す。

図６の説明に戻る。判定テーブル１４５は、登録動作回数をカウントする場合に用いるテーブルである。本実施例では、画像フレームから特定される商品領域座標が、予め設定されるスキャン領域の外部から、スキャン領域の内部に移動した場合に、登録動作回数に１を加算する。情報処理装置１００は、判定テーブル１４５を用いることで、同一の商品がスキャン領域に対して複数回出入りしても、登録動作回数に加算される回数が１回となるようにすることが可能となる。

図７は、判定テーブルのデータ構造の一例を示す図である。図７に示すように、この判定テーブル１４５は、ＩＤと、前フレーム位置と、カウント済みフラグとを対応付ける。ＩＤは、商品領域座標に付与される識別情報である。前フレーム位置は、前回の画像フレームから検出された商品領域座標が、スキャン領域の外部であるか内部であるのかを識別する情報である。

ここで、該当するＩＤの商品領域座標であって、前回の画像フレームから検出された商品領域座標が、スキャン領域の外部となる場合には、前フレーム位置に「ＯＵＴ」が設定される。前回の画像フレームから検出された商品領域座標が、スキャン領域の内部となる場合には、前フレーム位置に「ＩＮ」が設定される。カウント済みフラグは、該当するＩＤに関して、登録動作回数に１を加算する処理を行ったか否かを識別するフラグである。

本実施例では、カウント済みフラグの初期値に「false」が設定される。該当するＩＤの商品領域座標の前画像フレーム位置が「ＯＵＴ」に設定されている状態で、現画像フレーム位置から検出された該当するＩＤの商品領域座標が「ＩＮ」となった場合に、登録動作回数に１が加算される。この場合に、カウント済みフラグが「false」から「true」に更新される。

登録動作情報１４６は、商品登録操作に関する情報である。登録動作情報１４６は、登録動作回数を含んでよい。この他、登録動作情報１４６は、商品登録操作を特定された物体の識別情報と、商品登録操作が特定された日時とが対応付けられた情報を含んでよい。

図２の説明に戻る。制御部１５０は、取得部１５１、追跡部１５２、判定部１５３、計数部１５４、出力部１５５を有する。制御部１５０は、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などのハードウェアプロセッサにより実現される。また、制御部１５０は、例えばＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードワイヤードロジックにより実行されてもよい。

取得部１５１は、カメラ３０から映像データを取得し、取得した映像データを映像バッファ１４１に格納する。取得部１５１は、セルフレジ５０から履歴情報１４２を取得し、取得した履歴情報１４２を、記憶部１４０に格納する。

追跡部１５２は、映像バッファ１４１に格納された映像データ（時系列の画像フレーム）を基にして、商品領域座標を追跡する。たとえば、追跡部１５２は、画像フレームを順にモデル情報１４３に入力して商品領域座標を特定し、データテーブル１４４を更新する処理を繰り返し実行する。以下において、追跡部１５２の処理の一例について説明する。

追跡部１５２は、映像バッファ１４１に格納された画像フレームを、モデル情報１４３に入力し、検出情報に含まれる商品領域座標を取得する。追跡部１５２は、商品領域座標を、検出結果テーブル１４４ａに登録する。以下の説明では、検出結果テーブル１４４ａの商品領域座標を「第１商品領域座標」と表記する。追跡中物体テーブル１４４ｂの商品領域座標を「第２商品領域座標」と表記する。追跡休止物体テーブル１４４ｃの商品領域座標を「第３商品領域座標」と表記する。

なお、追跡部１５２は、比較対象となる各商品領域座標の中心間の距離を基にして、「類似度」を算出する。類似度は、比較対象となる各商品領域座標の中心間の距離が短いほど、大きな値となる。中心間の距離と、類似度との関係は予め定義されているものとする。

追跡部１５２は、第１商品領域座標と、追跡休止物体テーブル１４４ｃの各第３商品領域座標とを比較して、類似度が閾値Ｔｈ１以上となる第１商品領域座標と、第３商品領域座標との組が存在するか否かを判定する。閾値Ｔｈ１の値は予め設定される。

追跡部１５２は、類似度が閾値Ｔｈ１以上となる第１商品領域座標と、第３商品領域座標との組が存在する場合には、追跡休止物体テーブル１４４ｃにおいて次の処理を実行する。追跡部１５２は、第１商品領域座標との類似度が閾値Ｔｈ１以上となる第３商品領域座標を有するエントリのフラグを「true」に設定する。また、追跡部１５２は、第３商品領域座標との類似度が閾値Ｔｈ１以上となる第１商品領域座標を有するエントリを、検出結果テーブル１４４ａから削除する。

追跡部１５２は、第１商品領域座標と、追跡中物体テーブル１４４ｂの各第２商品領域座標とを比較して、第１商品領域座標と第２商品領域座標との類似度の最大値を特定する。追跡部１５２は、類似度の最大値が、閾値Ｔｈ３以上の場合には、「該当する商品が動いていない」と判定する。追跡部１５２は、類似度の最大値が、閾値Ｔｈ２以上の場合には、「該当する商品を追跡可能」と判定する。追跡部１５２は、閾値Ｔｈ２未満の場合には、「該当する商品を追跡不可」と判定する。閾値Ｔｈ２、Ｔｈ３の値は予め設定される。ただし、閾値Ｔｈ３の値は、閾値Ｔｈ２の値よりも大きいものとする。

図８は、追跡部の処理を説明するための図である。図８のケース１Ａにおいて、第１商品領域座標に特定される商品の領域を、商品領域２０ａとし、第２商品領域座標に特定される商品の領域を、商品領域２１ａとする。追跡部１５２は、商品領域２０ａと、商品領域２１ａとの距離が距離ｌＡ未満の場合（距離に基づく類似度が、閾値Ｔｈ３以上の場合）、「該当する商品が動いていない」と判定する。

追跡部１５２は、「該当する商品が動いていない」と判定した場合、追跡中物体テーブル１４４ｂの商品領域２１ａ（第２商品領域座標）に対応するエントリにおいて、ステイカウントに１を加算する。

図８のケース１Ｂにおいて、第１商品領域座標に特定される商品の領域を、商品領域２０ｂとし、第２商品領域座標に特定される商品の領域を、商品領域２１ｂとする。追跡部１５２は、商品領域２０ｂと、商品領域２１ｂとの距離が距離ｌＢ未満の場合（距離に基づく類似度が、閾値Ｔｈ２以上の場合）「該当する商品を追跡可能」と判定する。

追跡部１５２は、「該当する商品を追跡可能」と判定した場合、追跡中物体テーブル１４４ｂの商品領域２１ｂ（第２商品領域座標）に対応するエントリにおいて、第２商品領域座標を、第１商品領域座標に更新する。追跡部１５２は、追跡中物体テーブル１４４ｂの商品領域２１ｂ（第２商品領域座標）に対応するエントリにおいて、ステイカウントを０に設定する。

図８のケース１Ｃにおいて、第１商品領域座標に特定される商品の領域を、商品領域２０ｃとし、第２商品領域座標に特定される商品の領域を、商品領域２１ｃとする。追跡部１５２は、商品領域２０ｃと、商品領域２１ｃとの距離が距離ｌＢ以上の場合（距離に基づく類似度が、閾値Ｔｈ２未満の場合）「該当する商品を追跡不可」と判定する。

追跡部１５２は、「該当する商品を追跡不可」と判定した場合、追跡中物体テーブル１４４ｂに、商品領域２０ｃに対応する第１商品領域座標の新規のエントリを登録する。追跡部１５２は、新規のエントリを登録する場合、新規のＩＤを割り当て、ステイカウントを０、ロストカウントを０に設定する。

ここで、追跡部１５２は、追跡中物体テーブル１４４ｂの各エントリのうち、第１商品領域座標との類似度が閾値Ｔｈ２以上とならない第２商品領域座標を有するエントリについては、ロストカウントに１を加算する。

追跡部１５２は、追跡中物体テーブル１４４ｂの各エントリのうち、ロストカウンタが閾値Ｔｈ４を超えたエントリを抽出する。追跡部１５２は、抽出したエントリのうち、ステイカウンタの値が閾値Ｔｈ５以上となるエントリについては、該当するエントリ（ＩＤ、第２商品領域座標）を、追跡休止物体テーブル１４４ｃに移動し、フラグを「false」に設定する。

追跡部１５２は、抽出したエントリのうち、ステイカウンタの値が閾値Ｔｈ５未満となるエントリについては、該当するエントリを削除する。

追跡部１５２は、追跡休止物体テーブル１４４ｃの各エントリのうち、フラグが「true」となるエントリを、追跡中物体テーブル１４４ｂに移動させて、ステイカウンタを０に設定する。

追跡部１５２は、検出結果テーブル１４４ａに新たなエントリが登録される度に、上記処理を繰り返し実行し、追跡中物体テーブル１４４ｂ、追跡休止物体テーブル１４４ｃを更新する。

図２の説明に戻る。判定部１５３は、履歴情報１４２に基づいて、ユーザ２が物体を把持した状態でセルフレジ５０を操作する行動が、セルフレジ５０に購入する商品を登録する行動であるか否かを判定する。

ここで、セルフレジ５０に対するユーザの操作には、商品のバーコードを読み込みことで購入する商品をセルフレジ５０に登録する第一のモードと、セルフレジ５０に登録された商品の精算をする第二のモードとが含まれ得る。

たとえば、ユーザ２の会計の初期状態、例えば商品がセルフレジ５０に未登録である状態では、商品を購入しようがないので、第一のモードに滞在する。このような会計の初期状態は、ユーザ２の前にセルフレジ５０を利用したユーザによる精算が完了した時点を会計の初期状態と識別できる。

これら第一のモード及び第二のモードの２つのモードは、次に例示される条件で他方のモードへ遷移し得る。図９は、モード遷移の一例を示す図である。図９に示すように、第一のモードから第二のモードへは、決済準備操作または決済操作が行われた場合に遷移し得る。その一方で、第二のモードから第一のモードへは、商品をセルフレジ５０に登録する商品登録操作が行われた場合に遷移し得る。

図１０は、決済準備操作の一例を説明するための図である。図１０には、セルフレジ５０の表示部に表示される画像の一例として、セルフレジ５０に登録された商品を精算する精算画面４１が示されている。

図１０に示すように、精算画面４１には、商品の代金を支払う方法を選択する支払い方法選択エリア４２と、ユーザ２が購入する商品の情報を表示する商品情報表示エリア４３と、精算に関する他の機能を他機能呼び出す他機能呼び出しエリア４４とが含まれる。

支払い方法選択エリア４２には、現金、電子マネー、クレジットカード、デビットカード、決済サービスを利用する決済などの各種の支払い方法の各々に対応するＧＵＩ部品が配置されている。これらＧＵＩ部品のいずれかに対する操作は、セルフレジ５０に登録された商品、すなわち購入商品の代金を決済する予備動作の１つに対応するので、決済準備操作とみなすことができる。

商品情報表示エリア４３には、購入商品の数と、全ての購入商品の代金の合計金額とが表示される。この他、購入商品に割引などが適用される場合、割引金額などを併せて表示させることもできる。

他機能呼び出しエリア４４には、購入商品の代金に対応するポイントを付与するポイントカードの銘柄を選択するポイントカード選択画面を呼び出すポイントカード選択ボタン４４Ａが含まれる。ポイントカード選択ボタン４４Ａが操作された場合、セルフレジ５０には、図１１に示すポイントカード選択画面が表示され得る。

図１１は、決済準備操作の他の一例を説明するための図である。図１１に示すように、ポイントカード選択画面４５には、ポイントカードの銘柄の各々に対応するＧＵＩ部品が配置されている。これらＧＵＩ部品のいずれかに対する操作も、セルフレジ５０に登録された商品、すなわち購入商品の代金を決済する予備動作の１つに対応するので、決済準備操作とみなすことができる。

このように図１０及び図１１に例示した決済準備操作は、購入商品の代金を決済するための予備動作に対応するので、後続して決済操作が行われる可能性が、商品登録操作が行われる可能性よりも高い。このことから、決済準備操作の以降の期間が第二のモードであると推定することができる。

また、決済操作の履歴が取得された時点では、商品ではない物体、例えば財布、カード、スマートフォン、ウェアラブル端末がセルフレジ５０の貨幣投入口、あるいはスキャナに接近された事後である可能性が高い。このことから、決済操作の以前の期間が第二のモードであると推定することができる。

このような決済準備操作および決済操作の属性を利用して、判定部１５３は、ユーザ２の会計の初期状態から会計の完了までの会計期間のうち、第一のモードに対応する区間と、第二のモードに対応する区間とを判定する。

あくまで一例として、判定部１５３は、セルフレジ５０に対するユーザの操作を監視する。取得部１５１により新規の操作履歴が履歴情報１４２に格納されると、判定部１５３は、当該操作履歴が決済操作であるか否かを判定する。

このとき、操作履歴が決済操作である場合、判定部１５３は、履歴情報１４２のうち当該決済操作に対応する会計期間に含まれる操作履歴から決済準備操作を検索する。そして、決済準備操作がヒットする場合、判定部１５３は、検索がヒットした決済準備操作から取得部１５１により取得された決済操作までの区間内に商品登録操作が含まれるか否かをさらに判定する。

ここで、商品登録操作が含まれない場合、判定部１５３は、決済準備操作から決済操作までの期間を第二のモードと判定する。一方、会計区間内の操作履歴に対する検索で決済準備操作がヒットしない場合、あるいは商品登録操作が含まれる場合、判定部１５３は、決済操作から遡って特定の期間、例えば３０秒間の区間を第二のモードと判定する。その上で、判定部１５３は、会計期間のうち第二のモードと判定された区間以外の区間を第一のモードと判定する。

図１２は、モードの判定例を示す図である。図１２には、図３に示された商品情報１４２Ａおよび図４に示された決済関連情報１４２Ｂを含む履歴情報１４２に基づいてモードの判定が実行される例が示されている。商品情報１４２Ａと決済関連情報１４２Ｂの例に従えば、セルフレジ５０に対するユーザ２の操作は、ｉｔｅｍ１０１の商品登録操作、ｉｔｅｍ１０２の商品登録操作、ｉｔｅｍ１０３の商品登録操作、ポイントカード選択操作、決済カード読取操作の順に行われる。この場合、１０時１４分に行われたポイントカード選択操作から１０時１４分２０秒に行われた決済カード読取操作までに商品登録操作は含まれない。よって、１０時１４分から１０時１４分２０秒までの区間が第二のモードと判定されると共に、それ以外の区間が第一のモードと判定される。

このようなモードの判定が行われた後、判定部１５３は、セルフレジ５０において第二のモードが実行された時間にて、ユーザ２が物体を把持した状態でセルフレジ５０を操作する行動を検出したときに、当該物体は購入する商品ではない物体と判定する。

図２の説明に戻る。計数部１５４は、データテーブル１４４の追跡中物体テーブル１４４ｂを基にして、ユーザがセルフレジ５０で商品を登録する動作を特定し、動作を行った登録動作回数を計数する。計数部１５４は、登録動作回数を、登録動作情報１４６として、記憶部１４０に登録する。以下において、計数部１５４の処理の一例について説明する。

図１３は、計数部の処理を説明するための図である。図１３のステップＳ１について説明する。計数部１５４は、予め、スキャン領域１０ｂの座標を保持しているものとする。計数部１５４は、追跡中物体テーブル１４４ｂを参照し、新規のＩＤのエントリが追加されると、新規のＩＤと同一のＩＤを設定したエントリを、判定テーブル１４５に追加する。計数部１５４は、判定テーブル１４５にエントリを追加する場合に、カウント済みフラグを「false」に設定する。以下の説明では、説明の便宜上、判定テーブル１４５に追加したＩＤを、ＩＤ「１」として説明を行う。商品の領域１０ｃに対応する第２商品領域座標に付与されたＩＤをＩＤ「１」とする。

計数部１５４は、追跡中物体テーブル１４４ｂのＩＤ「１」のエントリの第２商品領域座標と、スキャン領域１０ｂとを比較する。計数部１５４は、第２商品領域座標が、スキャン領域１０ｂに含まれない場合には、判定テーブル１４５に追加するＩＤ「１」のエントリの前フレーム位置を「ＯＵＴ」に設定する。計数部１５４は、第２商品領域座標が、スキャン領域１０ｂに含まれる場合には、判定テーブル１４５に追加するＩＤ「１」のエントリの前フレーム位置を「ＩＮ」に設定する。図１３のステップＳ１に示す例では、第２商品領域座標に対応する商品の領域１０ｃが、スキャン領域１０ｂに含まれていないため、判定テーブル１４５に追加するＩＤ「１」のエントリの前フレーム位置を「ＯＵＴ」に設定する。

図１３のステップＳ２の説明に移行する。計数部１５４は、追跡中物体テーブル１４４ｂを監視し、追跡中物体テーブル１４４ｂが更新される度に、ＩＤ「１」に対応する第２商品領域座標と、スキャン領域１０ｂとを比較する。計数部１５４は、ＩＤ「１」に対応する第２商品領域座標（商品の領域１０ｃ）が、スキャン領域１０ｂに含まれる領域に移動した際に、判定テーブル１４５のＩＤ「１」のエントリを参照し、前フレーム位置と、カウント済みフラグとを参照する。

計数部１５４は、判定テーブル１４５のＩＤ「１」のエントリについて、前フレーム位置が「ＯＵＴ」、カウント済みフラグが「false」の場合には、登録動作回数に１を加算する。また、計数部１５４は、登録動作回数に１を加算した後に、前フレーム位置を「ＩＮ」に更新し、カウント済みフラグを「true」に更新する。このように登録動作回数がインクリメントされた場合、計数部１５４は、商品登録操作が特定された物体のＩＤ「１」と、当該ＩＤ「１」の商品登録操作が特定された日時とが対応付けられたエントリを登録動作情報１４６に追加する。

一方、計数部１５４は、前フレーム位置が「ＩＮ」となる場合、または、カウント済みフラグが「true」となる場合には、登録動作回数に１を加算する処理をスキップする。

計数部１５４は、追跡中物体テーブル１４４ｂに新規のＩＤのエントリが追加される度に、上記処理を繰り返し実行する。計数部１５４は、追跡中物体テーブル１４４ｂに追加されたエントリのＩＤと同一のＩＤが、判定テーブル１４５に登録されたエントリのＩＤと同一の場合、新規のＩＤに対応するエントリを、判定テーブル１４５に登録する処理をスキップする。

このような登録動作回数の計数が行われる一方で、計数部１５４は、購入商品ではない物体、例えば私物がセルフレジ５０に接近された回数を計数する。たとえば、計数部１５４は、登録動作情報１４６のエントリごとに商品登録操作が特定された日時が第二のモードの時間中であるか否かを判定する。

このとき、商品登録操作が特定された日時が第二のモードの時間中である場合、私物接近回数に１を加算する。一方、商品登録操作が特定された日時が第二のモードの時間中でない場合、すなわち第一のモードの時間中である場合、私物接近回数に１を加算する処理をスキップする。

図１４は、登録動作情報のデータ構造の一例を示す図である。図１４に示す登録動作情報１４６の１行目から３行目までの例では、商品登録操作が特定された日時は、図１２に示す通り、第一のモードの時間中に属するので、私物接近回数はインクリメントされない。一方、登録動作情報１４６の４行目及び５行目の場合、商品登録操作が特定された日時は、図１２に示す通り、第二のモードの時間中に属するので、私物接近回数はインクリメントされる。この結果、私物接近回数は２と計数されることになる。

このような私物接近回数の計数後、計数部１５４は、登録動作回数から私物接近回数を減算する。

出力部１５５は、履歴情報１４２と、登録動作情報１４６とを基にして、アラートを管理者端末６０に出力する。以下において、出力部１５５の処理の一例について説明する。

出力部１５５は、商品情報１４２Ａを取得し、購入数を特定する。たとえば、出力部１５５は、商品情報１４２Ａの日時情報の異なるレコードの数を、購入数として特定する。

出力部１５５は、購入数と、私物接近回数が減算された後の登録動作回数とが異なる場合には、アラートを管理者端末６０に送信する。たとえば、出力部１５５は、購入数が、私物接近回数の減算後の登録動作回数よりも少ない場合には、会計漏れの恐れがあるため、会計漏れを検出した旨のアラートを、管理者端末６０に出力する。

一方、出力部１５５は、購入数と、私物接近回数の減算後の登録動作回数とが一致する場合には、アラートを出力する処理をスキップする。

次に、本実施例に係る情報処理装置１００の追跡部１５２が実行する追跡処理の一例について説明する。図１５および図１６は、追跡処理の処理手順を示すフローチャートである。図１５に示すように、情報処理装置１００の追跡部１５２は、追跡中物体テーブル１４４ｂ、追跡休止物体テーブル１４４ｃを初期化する（ステップＳ１０１）。

追跡部１５２は、映像バッファ１４１から画像フレームを取得し、モデル情報１４３に入力することで、検出情報を取得する（ステップＳ１０２）。追跡部１５２は、検出情報に含まれる第１商品領域座標を、検出結果テーブル１４４ａに登録する（ステップＳ１０３）。

追跡部１５２は、第１商品領域座標と、追跡休止物体テーブル１４４ｃの第３商品領域座標との類似度が閾値Ｔｈ１となるエントリが存在する否かを判定する（ステップＳ１０４）。追跡部１５２は、エントリが存在する場合には（ステップＳ１０５，Ｙｅｓ）、ステップＳ１０６に移行する。一方、追跡部１５２は、エントリが存在しない場合には（ステップＳ１０５，Ｎｏ）、ステップＳ１０８に移行する。

追跡部１５２は、追跡休止物体テーブル１４４ｃの該当エントリのフラグを「true」に設定する（ステップＳ１０６）。追跡部１５２は、検出結果テーブル１４４ａから該当エントリを削除する（ステップＳ１０７）。

追跡部１５２は、第１商品領域座標と、追跡中物体テーブル１４４ｂの第２商品領域座標との類似度が、閾値Ｔｈ２以上となるエントリが存在するか否かを判定する（ステップＳ１０８）。追跡部１５２は、エントリが存在する場合には（ステップＳ１０９，Ｙｅｓ）、ステップＳ１１０に移行する。一方、追跡部１５２は、エントリが存在しない場合には（ステップＳ１０９，Ｎｏ）、図１６のステップＳ１１５に移行する。

追跡部１５２は、追跡中物体テーブル１４４ｂの該当エントリの第２商品領域座標を、第１商品領域座標に更新する（ステップＳ１１０）。追跡部１５２は、第１商品領域座標と、追跡中物体テーブル１４４ｂの第２商品領域座標との類似度が、閾値Ｔｈ３以上となるエントリが存在するか否かを判定する（ステップＳ１１１）。

追跡部１５２は、エントリが存在する場合には（ステップＳ１１２，Ｙｅｓ）、追跡中物体テーブル１４４ｂの該当エントリのステイカウントに１を加算し（ステップＳ１１３）、図１６のステップＳ１１５に移行する。

一方、追跡部１５２は、エントリが存在しない場合には（ステップＳ１１２，Ｎｏ）、追跡中物体テーブル１４４ｂの該当エントリのステイカウントを０に更新し（ステップＳ１１４）、図１６のステップＳ１１５に移行する。

図１６の説明に移行する。追跡部１５２は、第２商品領域座標との類似度が、閾値Ｔｈ２未満となる第１商品領域情報に新規のＩＤを割り当てたエントリを、追跡中物体テーブル１４４ｂに追加する（ステップＳ１１５）。追跡部１５２は、追跡中物体テーブル１４４ｂに追加したエントリのステイカウントを０に設定する（ステップＳ１１６）。

追跡部１５２は、追跡中物体テーブル１４４ｂのエントリのうち、第１商品領域座標との類似度が閾値Ｔｈ２未満となる第２商品領域座標を有するエントリのロストカウントに１を加算する（ステップＳ１１７）。

追跡部１５２は、追跡中物体テーブル１４４ｂのエントリのうち、ステイカウンタの値が閾値Ｔｈ５以上となるエントリが存在するか否かを判定する（ステップＳ１１８）。追跡部１５２は、エントリが存在する場合には（ステップＳ１１９，Ｙｅｓ）、ステップＳ１２０に移行する。一方、追跡部１５２は、エントリが存在しない場合には（ステップＳ１１９，Ｎｏ）、ステップＳ１２１に移行する。

追跡部１５２は、ステイカウンタの値が閾値Ｔｈ５以上となるエントリを、追跡休止物体テーブル１４４ｃに移動させ、フラグを「false」に設定する（ステップＳ１２０）。追跡部１５２は、追跡休止物体テーブル１４４ｃのフラグが「true」となるエントリを、追跡中物体テーブル１４４ｂへ移動させ、ステイカウントを０に設定する（ステップＳ１２２）。なお、追跡部１５２は、ステイカウンタの値が閾値Ｔｈ５以上となるエントリを削除し（ステップＳ１２１）、ステップＳ１２２に移行する。

追跡部１５２は、処理を継続する場合には（ステップＳ１２３，Ｙｅｓ）、図１５のステップＳ１０２に移行する。一方、追跡部１５２は、処理を継続しない場合には（ステップＳ１２３，Ｎｏ）、処理を終了する。

次に、本実施例に係る情報処理装置１００の判定部１５３が実行する追跡処理の一例について説明する。図１７は、モード判定処理の処理手順を示すフローチャートである。図１７に示すように、取得部１５１により新規の操作履歴が履歴情報１４２に格納されると（ステップＳ１５１，Ｙｅｓ）、判定部１５３は、当該操作履歴が決済操作であるか否かを判定する（ステップＳ１５２）。

このとき、操作履歴が決済操作である場合（ステップＳ１５２，Ｙｅｓ）、判定部１５３は、履歴情報１４２のうち当該決済操作に対応する会計期間に含まれる操作履歴から決済準備操作を検索する（ステップＳ１５３）。

そして、決済準備操作がヒットする場合（ステップＳ１５４，Ｙｅｓ）、判定部１５３は、検索がヒットした決済準備操作から取得部１５１により取得された決済操作までの区間内に商品登録操作が含まれるか否かをさらに判定する（ステップＳ１５５）。

ここで、商品登録操作が含まれない場合（ステップＳ１５５，Ｎｏ）、判定部１５３は、決済準備操作から決済操作までの期間を第二のモードと判定する（ステップＳ１５６）。

一方、会計区間内の操作履歴に対する検索で決済準備操作がヒットしない場合、あるいは商品登録操作が含まれる場合（ステップＳ１５４，ＮｏまたはステップＳ１５５，Ｙｅｓ）、判定部１５３は、次のような処理を実行する。すなわち、判定部１５３は、決済操作から遡って特定の期間、例えば３０秒間の区間を第二のモードと判定する（ステップＳ１５７）。

その上で、判定部１５３は、会計期間のうちステップＳ１５６またはステップＳ１５７で第二のモードと判定された区間以外の区間を第一のモードと判定し（ステップＳ１５８）、処理を終了する。

次に、本実施例に係る情報処理装置の処理手順について説明する。図１８は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。図１８に示すように、情報処理装置１００の取得部１５１は、セルフレジ５０から商品情報１４２Ａを取得し、記憶部１４０に格納する（ステップＳ２０１）。

情報処理装置１００の計数部１５４は、商品情報を基にして、購入数を計数する（ステップＳ２０２）。計数部１５４は、登録動作回数計数処理を実行する（ステップＳ２０３）。計数部１５４は、登録動作情報を基にして、私物接近回数計数処理を実行する（ステップＳ２０４）。

情報処理装置１００の計数部１５４は、ステップＳ２０３で計数された登録動作回数からステップＳ２０４で計数された私物接近回数を減算する（ステップＳ２０５）。その上で、情報処理装置１００の出力部１５５は、購入数と私物接近回数の減算後の登録動作回数とが一致するか否かを判定する（ステップＳ２０６）。

出力部１５５は、購入数と私物接近回数の減算後の登録動作回数とが一致する場合には（ステップＳ２０７，Ｙｅｓ）、処理を終了する。

一方、出力部１５５は、購入数と私物接近回数の減算後の登録動作回数とが一致しない場合には（ステップＳ２０７，Ｎｏ）、アラートを管理者端末６０に出力する（ステップＳ２０８）。

次に、図１８のステップＳ２０３で説明した登録動作回数計数処理の処理手順の一例について説明する。図１９は、登録動作回数計数処理の処理手順を示すフローチャートである。図１９に示すように、情報処理装置１００の計数部１５４は、追跡中物体テーブル１４４ｂの監視を開始する（ステップＳ３０１）。

計数部１５４は、追跡中物体テーブル１４４ｂに新規ＩＤのエントリが追加された場合には（ステップＳ３０２，Ｙｅｓ）、ステップＳ３０３に移行する。計数部１５４は、追跡中物体テーブル１４４ｂに新規ＩＤのエントリが追加されていない場合には（ステップＳ３０２，Ｎｏ）、ステップＳ３０５に移行する。

計数部１５４は、新規ＩＤのエントリの第２商品領域座標とスキャン領域とを基にして、前フレーム位置を特定する（ステップＳ３０３）。計数部１５４は、新規ＩＤ、前フレーム位置、カウント済みフラグ「false」を設定したエントリを判定テーブル１４５に追加する（ステップＳ３０４）。

計数部１５４は、判定テーブル１４５の各エントリのＩＤに対応する第２商品領域座標と、スキャン領域とを基にして、現フレーム位置を特定する（ステップＳ３０５）。計数部１５４は、判定テーブル１４５の未選択のエントリを選択する（ステップＳ３０６）。

計数部１５４は、選択したエントリの前フレーム位置が「ＯＵＴ」、かつ、カウント済みフラグが「false」となり、ＩＤに対応する選択したエントリのＩＤに対応する現フレーム位置が「ＩＮ」となる条件を満たすか否かを判定する（ステップＳ３０７）。

計数部１５４は、条件を満たす場合には（ステップＳ３０８，Ｙｅｓ）、ステップＳ３０９に移行する。計数部１５４は、条件を満たさない場合には（ステップＳ３０８，Ｎｏ）、ステップＳ３１１に移行する。

計数部１５４は、登録動作回数に１を加算する（ステップＳ３０９）。計数部１５４は、選択したエントリの前フレーム位置を「ＩＮ」、カウント済みフラグを「true」に更新する（ステップＳ３１０）。

計数部１５４は、判定テーブル１４５のエントリを全て選択していない場合には（ステップＳ３１１，Ｎｏ）、ステップＳ３０６に移行する。計数部１５４は、判定テーブル１４５のエントリを全て選択した場合には（ステップＳ３１１，Ｙｅｓ）、ステップＳ３１２に移行する。

計数部１５４は、処理を継続する場合には（ステップＳ３１２，Ｙｅｓ）、ステップＳ３０２に移行する。計数部１５４は、処理を継続しない場合には（ステップＳ３１２，Ｎｏ）、登録動作回数計数処理を終了する。

次に、図１８のステップＳ２０４で説明した私物接近回数計数処理の処理手順の一例について説明する。図２０は、私物接近回数計数処理の処理手順を示すフローチャートである。図２０に示すように、情報処理装置１００の計数部１５４は、登録動作情報１４６に含まれるエントリのうち１つを選択する（ステップＳ４０１）。

続いて、計数部１５４は、ステップＳ４０１で選択中であるエントリに含まれる、商品登録操作が特定された日時が第二のモードの時間中であるか否かを判定する（ステップＳ４０２）。

このとき、商品登録操作が特定された日時が第二のモードの時間中である場合（ステップＳ４０２，Ｙｅｓ）、計数部１５４は、私物接近回数に１を加算する（ステップＳ４０３）。

一方、商品登録操作が特定された日時が第二のモードの時間中でない場合、すなわち第一のモードの時間中である場合（ステップＳ４０２，Ｎｏ）、私物接近回数に１を加算する処理をスキップする。

そして、登録動作情報１４６に含まれる全てのエントリが選択されるまで（ステップＳ４０４，Ｎｏ）、ステップＳ４０１からステップＳ４０３までの処理を繰り返す。その後、登録動作情報１４６に含まれる全てのエントリが選択された場合（ステップＳ４０４，Ｙｅｓ）、処理を終了する。

次に、本実施例に係る情報処理装置１００の効果について説明する。情報処理装置１００は、セルフレジ５０から取得する商品情報１４２Ａから特定される購入数と、商品の領域とスキャン領域とを比較して計数される登録動作回数とを基にして、アラートを通知する。たとえば、登録動作回数と、購入数とが異なる場合には、商品の会計漏れが発生しているといえ、情報処理装置１００が、登録動作回数と、購入数とを基にして、アラートを通知することで、商品の会計漏れを検出することができる。

さらに、情報処理装置１００は、会計機に対するユーザの操作の履歴のうち決済操作が行われた時点から遡って特定の期間において会計機の前のユーザを撮影した画像からユーザが把持すると特定された物体をユーザの所有物と判定する。したがって、情報処理装置１００によれば、個人の所有物が店舗の商品と混同されるのを抑制できる。

ところで、上述した実施例の処理内容は一例であり、情報処理装置１００は他の処理を更に実行してもよい。以下の説明では、情報処理装置１００が実行するその他の処理について説明する。

上記の実施例では、追跡中の物体の前フレームから現フレームへの位置がスキャン領域１０ｂの外部から内部へ移動する場合、登録動作回数をインクリメントする例を挙げたが、登録動作回数の計数方法はこれに限定されない。

たとえば、情報処理装置１００の計数部１５４は、データテーブル１４４の追跡中物体テーブル１４４ｂを基にして、ユーザがカゴ２ａに収容された商品を取り出す行動を行った取出動作回数を登録動作回数として計数することもできる。計数部１５４は、取出動作回数を、登録動作情報１４６として、記憶部１４０に登録する。以下において、計数部１５４の処理の一例について説明する。

図２１は、計数部の処理を説明するための図である。図２２は、判定テーブルのデータ構造の一例を示す図である。図２１のステップＳ１について説明する。計数部１５４は、予め、カゴ領域１０ｅの座標を保持しているものとする。計数部１５４は、追跡中物体テーブル１４４ｂを参照し、新規のＩＤのエントリが追加されると、新規のＩＤと同一のＩＤを設定したエントリを、図２２に示す判定テーブル１４５に追加する。計数部１５４は、判定テーブル１４５にエントリを追加する場合に、カウント済みフラグを「false」に設定する。以下の説明では、説明の便宜上、判定テーブル１４５に追加したＩＤを、ＩＤ「１」として説明を行う。商品の領域１０ｃに対応する第２商品領域座標に付与されたＩＤをＩＤ「１」とする。

計数部１５４は、追跡中物体テーブル１４４ｂのＩＤ「１」のエントリの第２商品領域座標と、カゴ領域１０ｅとを比較する。計数部１５４は、第２商品領域座標が、カゴ領域１０ｅに含まれない場合には、判定テーブル１４５に追加するＩＤ「１」のエントリの前フレーム位置を「ＯＵＴ」に設定する。計数部１５４は、第２商品領域座標が、カゴ領域１０ｅに含まれる場合には、判定テーブル１４５に追加するＩＤ「１」のエントリの前フレーム位置を「ＩＮ」に設定する。図２１のステップＳ１に示す例では、第２商品領域座標に対応する商品の領域１０ｃが、カゴ領域１０ｅに含まれるため、判定テーブル１４５に追加するＩＤ「１」のエントリの前フレーム位置を「ＩＮ」に設定する。

図２１のステップＳ２の説明に移行する。計数部１５４は、追跡中物体テーブル１４４ｂを監視し、追跡中物体テーブル１４４ｂが更新される度に、ＩＤ「１」に対応する第２商品領域座標と、カゴ領域１０ｅとを比較する。計数部１５４は、ＩＤ「１」に対応する第２商品領域座標（商品の領域１０ｃ）が、カゴ領域１０ｅに含まれない領域に移動した際に、判定テーブル１４５のＩＤ「１」のエントリを参照し、前フレーム位置と、カウント済みフラグとを参照する。

計数部１５４は、判定テーブル１４５のＩＤ「１」のエントリについて、前フレーム位置が「ＩＮ」、カウント済みフラグが「false」の場合には、取出動作回数に１を加算する。また、計数部１５４は、取出動作回数に１を加算した後に、前フレーム位置を「ＯＵＴ」に更新し、カウント済みフラグを「true」に更新する。このように取出動作回数がインクリメントされた場合、計数部１５４は、商品登録操作が特定された物体のＩＤ「１」と、当該ＩＤ「１」の商品登録操作が特定された日時とが対応付けられたエントリを登録動作情報１４６に追加する。

一方、計数部１５４は、前フレーム位置が「ＯＵＴ」となる場合、または、カウント済みフラグが「true」となる場合には、取出動作回数に１を加算する処理をスキップする。

計数部１５４は、追跡中物体テーブル１４４ｂに新規のＩＤのエントリが追加される度に、上記処理を繰り返し実行する。計数部１５４は、追跡中物体テーブル１４４ｂに追加されたエントリのＩＤと同一のＩＤが、判定テーブル１４５に登録されたエントリのＩＤと同一の場合、新規のＩＤに対応するエントリを、判定テーブル１４５に登録する処理をスキップする。

このような取出動作回数を登録動作回数として計数する場合にも、取出動作回数から私物接近回数を減算し、減算後の取出動作回数と、購入数とが一致するか否かによりアラートを出力することで、上記の実施例と同様の効果を得ることができる。

情報処理装置１００が実行するその他の処理（１）について説明する。情報処理装置１００の計数部１５４は、予め設定されたスキャン領域を用いて、処理を実行していたがこれに限定されるものではない。計数部１５４は、映像バッファ１４１に登録された画像フレームを解析し、買い物カゴが配置される第一のエリアと、スキャン領域に対応する第二のエリアとを特定し、特定した第二のエリアを用いて、登録動作回数を計数してもよい。

図２３は、その他の処理（１）を説明するための図である。図２３に示す例では、画像フレーム４０から、第一のエリア４０ａと、第二のエリア４０ｂとが特定されている。計数部１５４は、パターンマッチング等の従来技術を用いて、第一のエリア４０ａ、第二のエリア４０ｂを特定してもよいし、機械学習済みの機械学習モデルを用いて、第一のエリア４０ａ、第二のエリア４０ｂを特定してもよい。たとえば、かかる機械学習モデルは、画像フレームを入力とし、第一のエリア、第二のエリアの座標を正解データとする教師データを用いて機械学習を実行したモデルである。

計数部１５４が処理を実行している最中にセルフレジ５０が移動した場合や、カメラ３０の位置が変更された場合には、予め設定されたスキャン領域を用いて、処理を実行すると、登録動作回数を精度よく計数することができない。これに対して、映像バッファ１４１に登録された画像フレームを解析し、スキャン領域に対応する第二のエリアを特定することで、スキャン領域を正確に特定でき、登録動作回数を精度よく計数することができる。

情報処理装置１００が実行するその他の処理（２）について説明する。上記の情報処理装置１００では、セルフレジ５０から取得する履歴情報１４２を基にして、購入数を計数したり、私物接近回数を計数したりする例を挙げたが、これに限定されるものではない。セルフレジ５０では、精算処理を実行する場合に、表示画面に商品の購入数を表示する。このため、情報処理装置１００は、カメラ３０（あるいは、他のカメラ）が撮影した表示画面の画像フレームに対して画像解析を実行することで、購入数を特定してもよい。

図２４は、その他の処理（２）を説明するための図である。図２４の画像フレーム４１は、図１０に示したセルフレジ５０の精算画面４１に対応する。画像フレーム４１の領域４１ａには、商品の購入数を示す領域４１ａが含まれる。計数部１５４は、領域４１ａを画像解析することで、購入数を特定する。計数部１５４は、支払い方法選択エリア４２を画像解析することで、支払い方法の選択操作を特定できる。計数部１５４は、他機能呼び出しエリア４４を画像解析することで、ポイントカード選択ボタン４４Ａの操作を特定できる。ここでは、精算画面４１を例に挙げたが、図１１に示されたポイントカード選択画面４５においても、画像解析により、ポイントカードの銘柄の各々に対応するＧＵＩ部品への操作を特定できる。

これにより、情報処理装置１００は、セルフレジ５０に接続していなくても、履歴情報の取得を実現できる。

なお、上記の実施例では、登録動作回数から私物接近回数を減算する例を説明したが、ユーザが把持する物体が私物であるか否かに応じて登録動作回数をインクリメントするか否かを制御することもできる。たとえば、上記のモードの判定をリアルタイムで実行し、図１９のステップＳ３０８の条件を満たす場合に第一のモードまたは第二のモードのいずれのモードであるかに応じて登録動作回数をインクリメントするか否かを制御する。あくまで一例として、計数部１５４は、第二のモードである場合に絞って登録動作回数をインクリメントする。

次に、情報処理装置１０のハードウェア構成例を説明する。図２５は、ハードウェア構成例を示す図である。図２５に示すように、情報処理装置１０は、通信装置１００ａ、ＨＤＤ（Hard Disk Drive）１００ｂ、メモリ１００ｃ、プロセッサ１００ｄを有する。また、図２５に示した各部は、バス等で相互に接続される。

通信装置１００ａは、ネットワークインタフェイスカードなどであり、他のサーバとの通信を行う。ＨＤＤ１００ｂは、図２に示した機能を動作させるプログラムやＤＢを記憶する。

プロセッサ１００ｄは、図２に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１００ｂ等から読み出してメモリ１００ｃに展開することで、図２等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１００ｄは、取得部１５１、追跡部１５２、判定部１５３、計数部１５４および出力部１５５等と同様の機能を有するプログラムをＨＤＤ１００ｂ等から読み出す。そして、プロセッサ１００ｄは、取得部１５１、追跡部１５２、判定部１５３、計数部１５４および出力部１５５等と同様の処理を実行するプロセスを実行する。

このように、情報処理装置１０は、プログラムを読み出して実行することでパラメータ算出方法を実行するコンピュータとして動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記の実施形態と同様の機能を実現することもできる。なお、この他の実施形態でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。なお、本実施例では、バーコードを例に挙げたが、商品に付与されるコードはバーコードなどの１次元コードに限定されず、例えば、ＱＲ（Quick Response）コードなどの２次元コードを含むコード全般であってよい。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）購入する商品が登録されると共に登録された商品の会計処理を実施する会計機に対するユーザの操作の履歴情報を取得し、
前記会計機の前のユーザを撮影した画像から、前記ユーザが物体を把持した状態で前記会計機を操作する行動を特定し、
取得した履歴情報に基づいて、前記ユーザが物体を把持した状態で前記会計機を操作する行動が、前記会計機に購入する商品を登録する行動であるか否かを判定する、
処理をコンピュータに実行させることを特徴とする行動判定プログラム。

（付記２）前記会計機に対するユーザの操作の履歴情報は、商品のコードを読み込みことで購入する商品を前記会計機に登録する第一のモードと、前記会計機に登録された商品の精算をする第二のモードと有し、
前記判定する処理は、前記会計機において前記第二のモードが実行された時間にて、前記ユーザが物体を把持した状態で前記会計機を操作する行動を検出したときに、当該物体は購入する商品ではない物体と判定する処理を含む、
ことを特徴とする付記１に記載の行動判定プログラム。

（付記３）前記会計機が商品のコードを読み込むことで生成された商品情報を取得し、
取得した商品情報に基づいて、商品の購入数を示す第一の回数を計数し、
前記会計機の前のユーザを撮影した画像から、前記ユーザが会計機に商品を登録する動作を特定し、
特定したユーザが前記会計機に商品を登録する動作を示す第二の回数を計数し、
前記第二の回数から、前記判定する処理で購入する商品ではない物体と判定された回数を減算した第三の回数を計数し、
前記第一の回数と前記第三の回数との差分に基づいて、アラートを通知する、
処理を前記コンピュータにさらに実行させることを特徴とする付記２に記載の行動判定プログラム。

（付記４）前記判定する処理は、前記履歴情報に基づいて、前記会計機に対する決済操作が行われた時点から遡って特定の期間を前記第二のモードと判定する処理を含む、
ことを特徴とする付記２に記載の行動判定プログラム。

（付記５）前記判定する処理は、前記履歴情報に基づいて、前記購入する商品の代金を決済する予備動作に対応する決済準備操作から前記決済操作までの区間を前記第二のモードと判定する処理を含む、
ことを特徴とする付記４に記載の行動判定プログラム。

（付記６）前記決済準備操作は、前記購入する商品の代金を支払う支払い方法の選択操作または前記購入する商品の金額に応じて付与される有価価値に関連する操作である、
ことを特徴とする付記５に記載の行動判定プログラム。

（付記７）購入する商品が登録されると共に登録された商品の会計処理を実施する会計機に対するユーザの操作の履歴情報を取得し、
前記会計機の前のユーザを撮影した画像から、前記ユーザが物体を把持した状態で前記会計機を操作する行動を特定し、
取得した履歴情報に基づいて、前記ユーザが物体を把持した状態で前記会計機を操作する行動が、前記会計機に購入する商品を登録する行動であるか否かを判定する、
処理をコンピュータが実行することを特徴とする行動判定方法。

（付記８）前記会計機に対するユーザの操作の履歴情報は、商品のコードを読み込みことで購入する商品を前記会計機に登録する第一のモードと、前記会計機に登録された商品の精算をする第二のモードと有し、
前記判定する処理は、前記会計機において前記第二のモードが実行された時間にて、前記ユーザが物体を把持した状態で前記会計機を操作する行動を検出したときに、当該物体は購入する商品ではない物体と判定する処理を含む、
ことを特徴とする付記７に記載の行動判定方法。

（付記９）前記会計機が商品のコードを読み込むことで生成された商品情報を取得し、
取得した商品情報に基づいて、商品の購入数を示す第一の回数を計数し、
前記会計機の前のユーザを撮影した画像から、前記ユーザが会計機に商品を登録する動作を特定し、
特定したユーザが前記会計機に商品を登録する動作を示す第二の回数を計数し、
前記第二の回数から、前記判定する処理で購入する商品ではない物体と判定された回数を減算した第三の回数を計数し、
前記第一の回数と前記第三の回数との差分に基づいて、アラートを通知する、
処理を前記コンピュータがさらに実行することを特徴とする付記８に記載の行動判定方法。

（付記１０）前記判定する処理は、前記履歴情報に基づいて、前記会計機に対する決済操作が行われた時点から遡って特定の期間を前記第二のモードと判定する処理を含む、
ことを特徴とする付記８に記載の行動判定方法。

（付記１１）前記判定する処理は、前記履歴情報に基づいて、前記購入する商品の代金を決済する予備動作に対応する決済準備操作から前記決済操作までの区間を前記第二のモードと判定する処理を含む、
ことを特徴とする付記１０に記載の行動判定方法。

（付記１２）前記決済準備操作は、前記購入する商品の代金を支払う支払い方法の選択操作または前記購入する商品の金額に応じて付与される有価価値に関連する操作である、
ことを特徴とする付記１１に記載の行動判定方法。

（付記１３）購入する商品が登録されると共に登録された商品の会計処理を実施する会計機に対するユーザの操作の履歴情報を取得し、
前記会計機の前のユーザを撮影した画像から、前記ユーザが物体を把持した状態で前記会計機を操作する行動を特定し、
取得した履歴情報に基づいて、前記ユーザが物体を把持した状態で前記会計機を操作する行動が、前記会計機に購入する商品を登録する行動であるか否かを判定する、
処理を実行する制御部を含む行動判定装置。

（付記１４）前記会計機に対するユーザの操作の履歴情報は、商品のコードを読み込みことで購入する商品を前記会計機に登録する第一のモードと、前記会計機に登録された商品の精算をする第二のモードと有し、
前記判定する処理は、前記会計機において前記第二のモードが実行された時間にて、前記ユーザが物体を把持した状態で前記会計機を操作する行動を検出したときに、当該物体は購入する商品ではない物体と判定する処理を含む、
ことを特徴とする付記１３に記載の行動判定装置。

（付記１５）前記会計機が商品のコードを読み込むことで生成された商品情報を取得し、
取得した商品情報に基づいて、商品の購入数を示す第一の回数を計数し、
前記会計機の前のユーザを撮影した画像から、前記ユーザが会計機に商品を登録する動作を特定し、
特定したユーザが前記会計機に商品を登録する動作を示す第二の回数を計数し、
前記第二の回数から、前記判定する処理で購入する商品ではない物体と判定された回数を減算した第三の回数を計数し、
前記第一の回数と前記第三の回数との差分に基づいて、アラートを通知する、
処理を前記制御部がさらに実行することを特徴とする付記１４に記載の行動判定装置。

（付記１６）前記判定する処理は、前記履歴情報に基づいて、前記会計機に対する決済操作が行われた時点から遡って特定の期間を前記第二のモードと判定する処理を含む、
ことを特徴とする付記１４に記載の行動判定装置。

（付記１７）前記判定する処理は、前記履歴情報に基づいて、前記購入する商品の代金を決済する予備動作に対応する決済準備操作から前記決済操作までの区間を前記第二のモードと判定する処理を含む、
ことを特徴とする付記１６に記載の行動判定装置。

（付記１８）前記決済準備操作は、前記購入する商品の代金を支払う支払い方法の選択操作または前記購入する商品の金額に応じて付与される有価価値に関連する操作である、
ことを特徴とする付記１７に記載の行動判定装置。

３０ カメラ
５０ セルフレジ
６０ 管理者端末
１００ 情報処理装置
１１０ 通信部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ 映像バッファ
１４２ 履歴情報
１４３ モデル情報
１４４ データテーブル
１４５ 判定テーブル
１４６ 登録動作情報
１５０ 制御部
１５１ 取得部
１５２ 追跡部
１５３ 判定部
１５４ 計数部
１５５ 出力部

Claims (8)

1. 購入する商品が登録されると共に登録された商品の会計処理を実施する会計機に対するユーザの操作の履歴情報を取得し、
   前記会計機の前のユーザを撮影した画像から、前記ユーザが物体を把持した状態で前記会計機を操作する行動を特定し、
   取得した履歴情報に基づいて、前記ユーザが物体を把持した状態で前記会計機を操作する行動が、前記会計機に購入する商品を登録する行動であるか否かを判定する、
   処理をコンピュータに実行させることを特徴とする行動判定プログラム。
2. 前記会計機に対するユーザの操作の履歴情報は、商品のコードを読み込みことで購入する商品を前記会計機に登録する第一のモードと、前記会計機に登録された商品の精算をする第二のモードと有し、
   前記判定する処理は、前記会計機において前記第二のモードが実行された時間にて、前記ユーザが物体を把持した状態で前記会計機を操作する行動を検出したときに、当該物体は購入する商品ではない物体と判定する処理を含む、
   ことを特徴とする請求項１に記載の行動判定プログラム。
3. 前記会計機が商品のコードを読み込むことで生成された商品情報を取得し、
   取得した商品情報に基づいて、商品の購入数を示す第一の回数を計数し、
   前記会計機の前のユーザを撮影した画像から、前記ユーザが会計機に商品を登録する動作を特定し、
   特定したユーザが前記会計機に商品を登録する動作を示す第二の回数を計数し、
   前記第二の回数から、前記判定する処理で購入する商品ではない物体と判定された回数を減算した第三の回数を計数し、
   前記第一の回数と前記第三の回数との差分に基づいて、アラートを通知する、
   処理を前記コンピュータにさらに実行させることを特徴とする請求項２に記載の行動判定プログラム。
4. 前記判定する処理は、前記履歴情報に基づいて、前記会計機に対する決済操作が行われた時点から遡って特定の期間を前記第二のモードと判定する処理を含む、
   ことを特徴とする請求項２に記載の行動判定プログラム。
5. 前記判定する処理は、前記履歴情報に基づいて、前記購入する商品の代金を決済する予備動作に対応する決済準備操作から前記決済操作までの区間を前記第二のモードと判定する処理を含む、
   ことを特徴とする請求項４に記載の行動判定プログラム。
6. 前記決済準備操作は、前記購入する商品の代金を支払う支払い方法の選択操作または前記購入する商品の金額に応じて付与される有価価値に関連する操作である、
   ことを特徴とする請求項５に記載の行動判定プログラム。
7. 購入する商品が登録されると共に登録された商品の会計処理を実施する会計機に対するユーザの操作の履歴情報を取得し、
   前記会計機の前のユーザを撮影した画像から、前記ユーザが物体を把持した状態で前記会計機を操作する行動を特定し、
   取得した履歴情報に基づいて、前記ユーザが物体を把持した状態で前記会計機を操作する行動が、前記会計機に購入する商品を登録する行動であるか否かを判定する、
   処理をコンピュータが実行することを特徴とする行動判定方法。
8. 購入する商品が登録されると共に登録された商品の会計処理を実施する会計機に対するユーザの操作の履歴情報を取得し、
   前記会計機の前のユーザを撮影した画像から、前記ユーザが物体を把持した状態で前記会計機を操作する行動を特定し、
   取得した履歴情報に基づいて、前記ユーザが物体を把持した状態で前記会計機を操作する行動が、前記会計機に購入する商品を登録する行動であるか否かを判定する、
   処理を実行する制御部を含む行動判定装置。

Images