JP2008538030A - ビデオ分析を使用して不審挙動を検出する方法及び装置 - Google Patents

Abstract

システムは、トランザクションエリアに関するビデオデータを取得し、ビデオデータを分析してトランザクションエリアのトランザクションに関する少なくとも一つのビデオトランザクションパラメータを取得することによりトランザクション結果を判定する。トランザクションパラメータはビデオデータが示すアイテムのビデオカウントであり、ビデオカウントはビデオデータに適用される自動アイテム検出アルゴリズムによって検出される。システムは、ＰＯＳ端末でスキャンされたアイテムのスキャンカウント等のような、トランザクションエリアで行われる予測トランザクションに関する少なくとも一つの予測トランザクションパラメータを取得する。システムは、ビデオトランザクションパラメータ（群）を予測トランザクションパラメータ（群）と自動比較し、小売店環境における「なれあい取引」のような不正挙動を示唆するトランザクション結果を確認する。

Description

本発明は、ビデオ分析を使用して不審挙動を検出する方法及び装置に関する。

小売店は普通、販売時点情報管理端末（ｐｏｉｎｔ ｏｆ ｓａｌｅ）またはキャッシュレジスタと呼ばれることが多い他のトランザクション端末を利用してこれらの小売店の顧客によるアイテムの購入を可能にしている。例えば、従来の百貨店、スーパーマーケット、または他の小売店では、顧客は購入アイテムを店内を歩き回って集め、そしてこれらのアイテムをショッピングカート、バスケットに収納し、または単にこれらのアイテムを販売時点情報管理端末の所まで運んで、トランザクションに含まれるこれらのアイテムを購入する。販売時点情報管理端末にはレジ係のようなオペレータを配置することができ、レジ係は、小売店が採用して顧客を支援してトランザクションを完了させるための担当者である。或る場合においては、小売店は、顧客がオペレータとなる構成のセルフ方式の販売時点情報管理端末を導入している。いずれの場合においても、オペレータは通常、購入アイテムを勘定台、コンベヤベルト、または他のアイテム搬入エリアに載置する。販売時点情報管理端末は、レーザスキャナまたは光学スキャナのようなスキャニング機器を含み、スキャナは、顧客が購入を希望する各アイテムに貼り付けられた標準製品コード（Ｕｎｉｆｏｒｍ Ｐｒｏｄｕｃｔ Ｃｏｄｅ：ＵＰＣ）ラベルまたはバーコードを識別するように動作する。レーザスキャナは普通、ＰＯＳ端末の一部分であるコンピュータに接続される周辺機器である。アイテムをスキャンするために、オペレータは各アイテムを一つずつアイテム搬入エリアから拾い上げ、そして当該アイテムを、勘定台またはチェックアウトエリアに組み込まれたガラス窓のようなスキャニングエリアの上を通過させて、レーザスキャナによるＵＰＣコードの検出を可能にする。一旦、販売時点情報管理コンピュータがＵＰＣコードの検出を可能にする。一旦、販売時点情報管理コンピュータがアイテム上のＵＰＣコードを識別すると、コンピュータはデータベースをルックアップして、スキャン済みアイテムの価格及び識別情報を求めることができる。別の構成として、オペレータがアイテムをスキャンすることができるそれぞれの場合において、オペレータは同じようにして、ＵＰＣコードまたは製品識別コードを端末に手動で、またはＲＦＩＤリーダのような製品自動識別装置を通して入力することができる。「スキャン（ｓｃａｎ）」という用語は通常、トランザクションアイテムをトランザクション端末に入力する全ての手段を含むものとして定義される。同様に、「スキャナ（ｓｃａｎｎｅｒ）」という用語は通常、トランザクション情報を記録する自動及び／又は手動の全てのトランザクション端末として定義される。

オペレータは各購入アイテムを一つずつスキャンする、または入力するので、販売時点情報管理端末はトランザクションに含まれるアイテムの全てに関する蓄積合計購入価格を維持する。オペレータが無事にスキャンまたは入力した各アイテムに関して、販売時点情報管理端末は通常、ビープノイズ音またはビープ音を鳴動させて、オペレータにアイテムが販売時点情報管理端末によってスキャンされたことを通知し、そしてそれに応答する形で、オペレータはアイテムを、下流のコンベヤベルト、または他のエリアのようなアイテム搬出エリアに載置して、顧客がアイテムを引き取ることができる、またはアイテムをショッピングバッグに詰め込むことができるようにする。一旦、トランザクションに含まれる全てのアイテムがこのようにしてスキャンされると、オペレータは販売時点情報管理端末に、スキャンプロセスが完了したことを通知し、そして販売時点情報管理端末は合計購入価格を顧客に対して表示するので、顧客は小売店に対して当該トランザクションで購入したアイテムに関する支払いを行なう。

アイテムの購入をスキャナを使用して、またはコードによる他のアイテム自動識別手段を使用して可能にする従来のシステムは種々の不具合を持つ。詳細には、このようなシステムの動作は、オペレータによって意図的に、またはオペレータが無意識のうちに、顧客が一つ以上のアイテムを代金を支払うことなく所持することができるような形で損なわれることがあり得る。詳細には、このようなシステムは、オペレータが意図的に、または何かの拍子に、アイテムがトランザクションエリアを移動して通過するときにアイテムをスキャンしないような「なれあい取引（ｓｗｅｅｔｈｅａｒｔｉｎｇ）」としても知られる「すり抜け（ｐａｓｓ−ｔｈｒｏｕｇｈｓ）」の不具合を起こし易い。このような場合においては、ＰＯＳシステムは、スキャンされないアイテムを全く検出することができないので、アイテムは決して購入価格に合算されることがない。このような場合においては、顧客は効果的にアイテムを無償で手に入れる。小売店チェーンは、オペレータエラーまたはこの種類の不正挙動によって年に何百万ドルもの損失を計上する。

不正が起こらない例では、オペレータは無意識のうちにトランザクション中にアイテムをスキャニングエリアを通過させ、そしてアイテムを、下流のコンベヤベルトのようなアイテム搬出エリアに載置するが、アイテムのスキャンは行なわれなかった。多分、オペレータは注意を払っておらず、そしてスキャナがアイテムのスキャン中に鳴動しなかったことに気付かなかった（または、気に留めていなかった）と考えられる。

小売店における不正を象徴する「なれあい取引」の例として、個人的にオペレータと顔なじみの顧客（例えば、オペレータの友人または共謀者）の手助けをすることができるオペレータは意図的に、例えばＵＰＣラベルをオペレータの手で覆うことにより、またはＵＰＣコードをスキャナのスキャン範囲の外に移動させることにより、オペレータがアイテムをトランザクションエリアを通過するように移動させて、ＰＯＳシステムにアイテムをスキャンさせないようにする。このような状況においては、アイテムは、スキャンされた、または同じようにしてスキャンされなかった他のアイテムに紛れ込み、そして顧客またはオペレータは何事も起きなかったように振る舞い続ける。多くの場合は低価格アイテムに対して行なわれて誰の目にもトランザクションが合法的に見える実際のスキャニングにより、またはスキャンされないアイテムが、スキャンされて現われるアイテムと一緒のグループになる状況に見られる「なれあい取引」により、オペレータがトランザクションに含まれる全てのアイテムを処理した後、顧客はオペレータに対して、全てのスキャン済み、かつ入力済みアイテムの総額のみを表わす購入価格の支払いをする。支払いを行なった後、顧客は、スキャン済み／入力済みの、更にスキャンされていない全てのアイテムを店から持ち出し、スキャンされた、または入力されたアイテムに対してしか支払い済ませていない。

「ラベル取り替え」として知られる別の不正な例では、オペレータはＰＯＳシステムに、トランザクション中にトランザクションエリアを通過しているアイテムとは異なるアイテムをスキャンさせる。このような場合においては、顧客またはオペレータは、多くの場合は高価な元のアイテムのＵＰＣラベルを、別の低価格のＵＰＣラベルと取り替える。このような場合においては、スキャンは行なわれるが、間違ったアイテムがＰＯＳシステムによって識別される。このようにして、システムはアイテムに関して、顧客が受け取るアイテムの価値よりもずっと低い価格をスキャンすることになる。

セキュリティシステム設計者は、ＰＯＳ端末を使用する際の不正なオペレータエラー、または突発的なオペレータエラーを検出する従来技術を開発しようと試みてきた。「すり抜け」及び「なれあい取引」を検出する分野における従来システムは、異常に長い「スキャンギャップ（ｓｃａｎ−ｇａｐｓ）」の検出を可能にする。「スキャンギャップ」は、販売時点情報管理端末での連続するスキャンの間の時間の長さである。アイテムを、アイテムに対してスキャンを行なうことなく通過させると、スキャンギャップは次のスキャンが行われるまでに長くなる。スキャンギャップを、所定の従業員オペレータに関するトランザクションのスキャン済みアイテム対平均スキャンギャップの関係として比較することにより、スキャンギャップを利用する従来の方法では、アイテムがスキャンされることなくスキャナを迂回したときの事象を特定しようとする。

スキャンギャップを利用する従来の検出方法は、スキャンギャップが最高の条件の下でも「ノイズの多い」指標であることが判明しているので、大方の見方として、実用的ではないと考えられる。これは、完全な正規のスキャンギップは、製品の荷重、ラベル無し物品または未スキャン物品の手動での入力、及び最初の通過でスキャンされなかったアイテムの再スキャンによって発生するような遅延によって大きく変わり得るという事実に基づく。その結果、スキャンギャップは信頼できる指標ではなくなるので、スキャンギャップを、不正挙動を検出する方法として利用しようとする従来システムは問題を起こし易い。

本発明のシステムは、概して、ビデオデータに捕捉されるような、トランザクションに含まれるアイテムのビデオカウントまたはビデオ識別を行ない、そしてこのアイテム識別情報を、販売時点情報管理レジスタのようなトランザクション端末から得られるトランザクションデータと比較して疑わしい状態を特定することにより、不正挙動またはオペレータエラーを通知する。また、トランザクションエリアを監視する少なくとも一つのビデオカメラから送出されるビデオデータを取得することにより、システムはビデオデータを自動的に（すなわち、人手を介する必要がない）分析して、トランザクションエリアにおけるトランザクションに含まれるアイテムを追跡する。この情報を使用して、システムは、追跡アイテムのビデオ分析結果を、トランザクション端末により生成されるトランザクションデータと比較して不審挙動を特定することができる。

従来システムとは異なり、本発明のシステムは、以下に説明するように、ビデオデータ分析法を使用して、「なれあい取引」または「すり抜け」のような挙動を検出する。詳細には、本システムは、顧客または店員のようなオペレータが一つ以上のアイテムをスキャンすることなくスキャナ（またはＲＦＩＤリーダ）の近くを通過させる場合の、またはオペレータがアイテムに関して不正コードをスキャンする、またはトランザクション端末に手動で入力する場合の、キャッシュレジスタ、ＰＯＳ、または他のトランザクション端末での棚卸の盗難または紛失の事実を検出する。本発明のシステムは、不正なバーコードが誤って貼付されてスキャナが間違って読み取る、またはオペレータが間違ったアイテムとして入力する恐れがあるアイテムを検出することもできる。或る実施形態では、ビデオ分析を、ＰＯＳ端末によって実際にスキャンされたアイテムに関するトランザクションスキャンデータに関連付けて利用する。

スキャン動作を利用する販売時点情報管理端末またはキャッシュレジスタは、トランザクション端末の単なる例に過ぎず、システムは小売店環境のみでの不正の検出に制限されないことを理解し得る。更に、スキャン動作は固定スキャナによるレーザスキャニングに制限されず、携帯型スキャナ、または無線周波数識別（ＲＦＩＤ）リーダによるスキャニングを含むことができる。システムは、オペレータが手動でコードまたは他のアイテム識別情報をキーボードを通してトランザクション端末に入力する状況においても適用することができる。本発明のシステムは、トランザクションデータを、当該トランザクションに関連するビデオデータとの比較に利用することができる全ての環境に広く適用することができる。

例えば、ＲＦＩＤタグを利用してアイテムを識別するシステムは、本発明のシステムの利点を発揮することができる。例えば、料金徴収ブース用システムは、料金ブースを通過する車両のビデオデータを供給し、そして当該システムによって、人間のようなオペレータは、またはＲＦＩＤ車載トランシーバ読み取りシステム（ＲＦＩＤ ｖｅｈｉｃｌｅ ｔｒａｎｃｅｉｖｅｒ ｒｅａｄｉｎｇ ｓｙｓｔｅｍ）のような自動スキャナは、高速道路を走行する車両から通行料金を徴収することができる。不正は、例えば車両に違法のトランシーバが搭載されている（例えば、トラックにカートランシーバが搭載される）場合に、このようなシステムにおいて起こり得る。更に、端末オペレータとは店員、またはセルフチェックアウトトランザクション端末のような状況におけるような顧客のいずれかを指すことができる。

更に詳細には、本発明のシステムは、顧客によるトランザクション端末でのアイテムのトランザクション（例えば、購入、払い戻し、取り消しなど）に関連する不審挙動のようなトランザクション結果を判定する方法及び装置を含む。システムは、トランザクションエリアに関連するビデオデータを取得する。ビデオデータは、例えばスーパーマーケットまたは他の小売店におけるキャッシュレジスタ精算エリアまたは他のトランザクションエリアに焦点を定めた高所撮影カメラから取得することができる。システムは、システムの一部分として開示される、マシンを使った自動ビデオ分析アルゴリズムを実行して、ビデオデータの少なくとも一部分を分析してトランザクションエリアに関連するトランザクションの少なくとも一部分に関する少なくとも一つのビデオパラメータを取得する。例えば、システムはビデオデータを分析して、トランザクションエリアに関連するトランザクションに含まれるアイテムを追跡する（例えば、アイテムの存在を特定する）ことができる。このプロセスは、トランザクションに含まれるアイテムの存在を、ビデオデータ分析に基づいて自動的に特定することができる。この操作は、例えばトランザクションエリアにおけるアイテム挙動を自動的に検出することにより、そして／またはトランザクションエリアにおけるオペレータ挙動を自動的に検出することにより、行なうことができる。アイテムの存在の検出では、アイテムがトランザクションエリアの注目領域から移送される事象を検出する、そして／またはアイテムがトランザクションエリアの注目領域に搬入される事象を検出することができる。

一つの構成では、ビデオトランザクションパラメータは、どの位の個数のアイテムを、ビデオ分析アルゴリズムが、オペレータがトランザクションにおいて処理したとして特定したかについてのビデオカウントに変換される。例えば、アイテムは、アイテムがスキャンされた、または入力されたかどうかに関係なく、オペレータがアイテムをトランザクションエリアを通過するように移動させるときに処理される。従って、ビデオカウントによって、処理され、かつスキャン／入力されたアイテム、及び処理されるがスキャン／入力されないアイテムを検出し、そしてカウントすることができる。

別の構成では、ビデオトランザクションパラメータは、ビデオデータの全て、または一部分の分析を実行する一つ以上の検出器によって生成される一連の検出イベントである。検出器は一般的に自動画像処理アルゴリズムであり、このアルゴリズムはビデオデータの注目領域に適用される。例えば、ビデオデータは、トランザクションエリアの内部、オペレータ（例えば、店員及び／又は顧客）、アイテム搬入エリア、スキャンエリア、及びアイテム搬出領域を含む大きな部分を反映することができる。検出器はこのエリアの全て、または一部分、例えば販売時点情報管理端末のビデオデータの搬入コンベヤベルト領域を分析することができる。画像切り出し兼比較プロセスを、一つ以上の注目領域に関するビデオデータフレームに適用して、この注目領域に搬入されている、または注目領域から移送されているアイテムの存在を検出することができる。アイテムがこのようにして検出されると、検出イベントが生成されて、アイテムの存在、検出時間、及びアイテムサイズのような他の特徴を通知することができる。注目領域は２以上設定することができ、そして一連のイベントは異なる検出器からの多数のイベントを含むことができる、または検出器を一つだけ設けて、単一セットのイベントを一つの注目領域に関してのみ生成することができる。ビデオデータをこのようにして分析することにより、システムはビデオ分析に基づいて、トランザクションにおける個々のアイテムの存在を検出することができる。或る構成では、システムは、どの位の個数のアイテムの目視処理がトランザクション全体の中で行なわれたかについて判断することができる。

システムは、トランザクションエリアに関連するトランザクション端末から送出される少なくとも一つのトランザクションパラメータを取得する。一つの構成における予測トランザクションパラメータは、トランザクション端末（例えば、販売時点情報管理端末）によって生成されるトランザクションデータに基づいて取得されるトランザクションカウントまたは他のアイテム存在通知（ｉｔｅｍ ｐｒｅｓｅｎｃｅ ｉｎｄｉｃａｔｉｏｎ）である。各アイテムがスキャンされる、または特定されると、データがスキャナからトランザクション端末のプロセッサに送信される。本発明のシステムは、このデータにスキャンごとに、またはデータベースからの集合体セットのデータとしてアクセスして（この操作はこれから説明するように種々の方法により行なうことができる）、トランザクションによって処理される多数のアイテムの存在（及び、或る場合には識別情報）を求める。

ビデオ分析結果をトランザクションデータと比較する形で組み合わせて使用して、システムは、ビデオデータの分析において特定されるアイテムの存在が、トランザクションデータにおける存在と一致するかどうかについて判断することができ、一致しない場合には、不審挙動を特定する。例えば、検出器の各々に関して、システムは当該検出器に関する１セットの検出イベントをトランザクションデータの少なくとも一部分と比較して、当該検出器によって検出される多数のアイテムの中に、トランザクションデータの一部分に示される多数のアイテムとは違う少なくとも一つの明確な不一致を特定することができる。従って、トランザクションカウント（例えば、スキャンカウント）またはトランザクションアイテム識別情報のようなトランザクションデータは、（トランザクション全体に関して）スキャンされるアイテムの存在または個数を表わし、ビデオ分析に基づく検出イベントデータまたはビデオカウントは、オペレータが移動させてトランザクションエリアを通過させるようにしたアイテムの存在（または個数）を表わす。多くの他の実施形態を以下に記載するが、これらの実施形態については、以下で更に詳しく説明する。。

本発明の他の実施形態はいずれのタイプのコンピュータデバイス、ワークステーション、ハンドヘルドまたはラップトップコンピュータ、ＰＯＳまたはトランザクション端末などを含むこともでき、これらのデバイスはソフトウェア及び／又は回路（例えば、プロセッサ）を用いて構成されて、本発明の方法の動作のいずれか、または全てを実行する。システムはビデオを取得するビデオカメラ（群）を含むことができる、またはシステムはスタンドアローン型コンピュータとすることができ、このコンピュータは入力として、一つ以上の小売店内位置の一つ以上のＰＯＳ端末から収集されるビデオデータ及びスキャンデータを受信する。別の表現をすると、ここに説明するように、いずれかの方法で動作するようにプログラムされる、または構成されるコンピュータデバイスまたはプロセッサは本発明の一つの実施形態であると考えられる。システムは、ビデオカメラ及びＰＯＳ端末を含む必要はないが、その代わりに、ビデオデータ及びトランザクションデータを受信するセキュリティサービスプロバイダによって運営されるオフサイトコンピュータシステムとすることができる。

処理は、ビデオデータ及びトランザクションデータが収集されて、丁度今発生した不正挙動または不審挙動を特定するときにリアルタイムに行なうことができる（更に、処理では、オペレータが居る場所に行って、トランザクションアイテム及びレシートを調査して不正が発生したかどうかを判断することができるセキュリティ担当者に通知を行なうことができる）、または別の構成として、処理は、ビデオデータ及びトランザクションデータが一つ以上のトランザクションに関して収集された後の或る時点で行なうことができる（すなわち、事後処理することができる）。事後処理を行なう場合、オペレータの識別情報を維持し、そして追跡することができ、更に当該オペレータに関する履歴または不審挙動を蓄積することができる。当該オペレータ（オペレータはＰＯＳ端末に固有の識別情報でログインするので、オペレータが行なう全てのトランザクションを当該オペレータに関連付けることができる）に関するトランザクションについての次の分析の間に、本発明のシステムは当該オペレータに関する履歴を考慮に入れて、トランザクション結果に割り当てられる不審レベルを調整することができる。従って、最初の不審判定結果には不正のフラグを立てる必要はないが、或る所定の時間（例えば、数時間、数日など）に渡っての２回目、３回目、４回目のトランザクション結果が当該同じオペレータに関して検出される場合、これらのトランザクションに関連するビデオを自動的に特定し、そして転送して、ヒューマンレビューのような別の手段によって精査して、不正挙動がビデオに含まれていることを確認することができる。

一つの構成では、一つ以上の小売店内位置の一つ以上のＰＯＳ端末からのトランザクションデータが多くのトランザクションに関して処理され、そしてここに説明するように処理されて不正挙動または不審挙動を通知することになるこれらのトランザクションにフラグを立てると、これらのトランザクションのみに関するビデオデータを、ヒューマンレビューのような他の方法を使用して精査し、ここに説明する自動（すなわち、人手によらない、またはマシンを利用した）処理によって最初に特定される不正挙動または不審挙動を確認することができる。別の変形例及び別の実施形態について、以下の詳細な説明の章に更に完全な形で説明する。

本発明の他の実施形態は、上に概要を説明し、そして以下に詳細に開示するステップ及び動作を実行するソフトウェアプログラムを含む。一つのこのような実施形態は、コンピュータ読み取り可能な媒体を含むコンピュータプログラム製品を含み、コンピュータ読み取り可能な媒体は、当該媒体にエンコードされるコンピュータプログラムロジックを含み、コンピュータプログラムロジックが、相互接続されたメモリ及びプロセッサを有するコンピュータデバイスで実行されると、プロセッサをプログラムしてプロセッサに本発明の動作を実行させる。このような構成は通常、ソフトウェア、コード、及び／又はコンピュータ読み取り可能な媒体に格納される、またはエンコードされる他のデータ（例えば、データ構造）として提供され、コンピュータ読み取り可能な媒体としては、光学媒体（例えば、ＣＤ−ＲＯＭ）、フロッピィディスクまたはハードディスク、或いは他の媒体を挙げることができ、他の媒体には、例えば一つ以上のＲＯＭチップ、またはＲＡＭチップ、またはＰＲＯＭチップに格納されるファームウェアまたはマイクロコード、または特定用途向け集積回路（ＡＳＩＣ）が含まれる。ソフトウェアまたはファームウェア、またはこれらに類似する他の構成をコンピュータデバイスに実装して、コンピュータデバイスに、ここに本発明の実施形態として説明する方法を実行させることができる。

本発明のシステムは、ソフトウェアプログラムとして、ソフトウェアまたはハードウェアとして、或いはプロセッサ内またはオペレーティングシステム内のハードウェアのみとして厳密に具体化することができる。本発明の例示としての実施形態は、コンピュータシステム、プロセッサ、及びコンピュータプログラム製品、及び／又は米国マサチューセッツ州バーリントンに本拠を置くストップリフト社（Ｓｔｏｐｌｉｆｔ，Ｉｎｃ．）が提供するソフトウェアアプリケーション、それぞれの内部で実施することができる。

図１は例示としての環境３００を示し、この環境は、本発明の例示としての実施形態の説明における使用に適している。例示としての環境３００には小売店が描かれており、この小売店では、顧客３０５がアイテム３０７を購入することができる。販売時点情報管理端末またはキャッシュレジスタのようなトランザクション端末３４は店員のようなオペレータ３０８が制御して顧客３０５によるアイテム３０７の購入を可能にする。トランザクション端末３４はスキャニング機器３６を含み、スキャニング機器は、これらのアイテム３０７がスキャニング機器３６のスキャナの所定の近傍領域の内部に持ち込まれると、各アイテム３０７に貼り付けられるＵＰＣバーコード記号またはＲＦＩＤタグのようなアイテム識別情報３１０を検出し、そしてスキャンする、または読み取ることができる。

環境３００が普通に動作している状態では、顧客３０５は、購入対象の一連のアイテム３０７を所持してトランザクションエリア３０１に近付く。アイテム３０７は、例えば顧客３０５がトランザクションエリア３０１にまで引いて行くショッピングカート３１１または他の物品搬送装置に収納することができる。別の構成として、顧客３０５は個々のアイテム３０７をトランザクションエリア３０１にまで持ち運ぶことができる。アイテム３０７の購入を行うために、顧客３０５はアイテム３０７をショッピングカート３１１から（または、アイテムを持ち運んでいる場合には顧客の手から）取り上げ、アイテムをトランザクションエリア３０１内の領域３０２−１として一括表示されるアイテム搬入エリアに持ち込む。アイテム搬入エリア３０２−１は、トランザクション端末３４のスキャナ３６によって検出され、そして読み取られる前の購入対象のアイテムの持ち込み先となるコンベヤベルト、カウンタトップ、または他の表面エリアとすることができる。

店員のようなオペレータ３８は、トランザクション端末３４にログインする、またはトランザクション端末を起動することによりトランザクション端末３４と相互作用する。このプロセスでは、オペレータ３０８が固有のオペレータ識別情報をトランザクション端末３４に提示することができる。オペレータ３０８がトランザクション端末３４を操作している間、オペレータ３０８の体は通常、トランザクションエリア３０１のオペレータ領域３０２−４の内部に留まっている。一旦、ログインすると、オペレータ３０８は、アイテム搬入エリア３０２−１内の購入アイテム３０７を、例えば個々のアイテム３０７を手で拾い上げることにより選択し始めることができる。オペレータ３０８はアイテム搬入エリア３０２−１からの各アイテム３０７が、普通、アイテム読み取り領域３０２−２内に位置するスキャナ３６を通過するようにする。オペレータが正しい操作（すなわち、不正の無い、かつエラーの無い操作）を行なうと仮定すると、オペレータ３０８はアイテム３０７の位置を決めて、アイテムに貼り付けられたアイテム識別情報３１０をスキャナ３６が検出し、そしてスキャンする、または読み取ることができるようにする。スキャナ３６が、直ぐ前にスキャンしたアイテム３０７のアイテム識別情報３１０を検出すると、トランザクション端末３４レジスタはアイテム３０７を購入対象アイテムとして登録し、そして普通、オペレータ３０８に対してビープノイズ音またはビープ音のような通知音を鳴動させて、アイテム３０７が無事に識別されたことを通知する。通知音に応答する形で、オペレータ３０８はアイテム３０７をアイテム搬出領域３０２−３に移すが、アイテム搬出領域は、トランザクション端末３４によって無事にスキャンされた、または読み取られた、或いはトランザクション端末３４に無事に入力されたアイテム３０７を保持する別のカウンタトップ、下流のコンベヤベルトなどとすることができる。

オペレータ３０８はこのプロセスを個々の各アイテム３０７に関して繰り返して、購入対象の全てのアイテム３０７がアイテム搬入エリア３０２−１からアイテム読み取り領域３０２−２の上を通って、またはアイテム読み取り領域３０２−２を通過して移動し（この間、アイテムに対するスキャンが行なわれる）、そしてアイテム搬出領域３０２−３に達するようにする。或る場合においては、アイテム３０７は果物、野菜などのような貼付アイテム識別情報３１０を含む必要はない。このような場合では、アイテム３０７をアイテム搬入エリア３０２−１から外に移動させた後、オペレータ３０８は手動でアイテム識別情報をトランザクション端末３０４に、キーボードまたは他のマニュアル入力デバイスを使用して入力するので、トランザクション端末３４はアイテム３０７を登録することができる。このようにして、全てのアイテム３０７がトランザクション端末３４によって識別された後、オペレータ３０８はトランザクション端末３４に対してトランザクションが完了したことを通知し、そしてトランザクション端末３４は購入対象アイテム３０７の合計価格を計算する。次に、顧客３０５は対応する金額の支払いをオペレータ３０８に対して行ない、その後、前に進んでアイテム３０７をアイテム搬出領域３０２−３から取り上げて小売店から運び出す。

図１に示すように、環境３００は更に、トランザクションに関連する不審挙動を検出するために本発明の実施形態に従って構成されるトランザクションモニタ３２を含む。環境３００は更に、トランザクションエリア３０１のビデオを撮影する一つ以上の上方設置ビデオカメラのようなビデオソース３０を含む。通常、ビデオソース３０はトランザクションエリア３０１よりも十分に高い高所位置に据え付けられ、種々の領域３０２を撮影対象とし、そして種々の領域３０２のビデオを撮影する。この例におけるトランザクションモニタ３２は入力として、ビデオデータ３２０をビデオソース３０から、更にはトランザクションデータ３４をトランザクション端末３４から受信する。例示としての環境３００では、トランザクションモニタ３２がトランザクションデータ３３０及びビデオデータ３２０をビデオソース３０及びトランザクション端末３４から直接受信するものとして示されるが、トランザクションモニタ３２は、オペレータ３０８によるアイテムまたはトランザクション全体の処理が完了した後、これらの入力をリアルタイムで受信する、または或る時間が経過した時点で受信することができることを理解し得る。更に、トランザクションモニタ３２がトランザクションデータ３３０及びビデオデータ３２０をビデオソース３０及びトランザクション端末３４から直接受信する必要はない。別の構成では、これらの入力はビデオテープ機器から（または、デジタル記録媒体から）、またはトランザクション端末３４の傍の別のコンピュータシステムによって維持されるトランザクションデータベースから受信することができる。従って、ビデオソース３０は、カメラのようなリアルタイムソースとすることができる、またはＶＣＲまたはＤＶＲのような記録装置のような蓄積型のソースとすることができる。トランザクション端末３４は同様にして、リアルタイムトランザクションデータをＰＯＳ（例えば、現金出納端末またはスキャナ）から直接供給することができる、またはトランザクションデータは、ＰＯＳデータを格納するトランザクションログデータベースからの蓄積型データとすることができる。

本発明のシステムが動作している状態では、トランザクションモニタ３２は、「なれあい取引」または「すり抜け行為」のようなトランザクションエリア３０１に関連する不審挙動を、ビデオデータ３２０及び対応するトランザクションデータ３３０を比較して不審挙動を特定し、そしてレポートすることにより識別するように動作する。一般的に、これによって、トランザクションモニタ３２はビデオデータ３２０を、トランザクション端末３４を含むトランザクションエリア３０１から収集するようになり、トランザクションエリア３０１では、顧客３０５がアイテム３０７をトランザクション中に購入する。カメラのようなビデオソース３０は、トランザクションエリア３０１よりも十分に高い高所位置に据え付けられて、領域３０２のビデオを上から撮影することができるようにするが、システムはこのような構成に制限されない。

一般的に、トランザクションモニタ３２は、自動（すなわち、人手によらない）ビデオ分析を、上方設置カメラによるビデオデータ３２０の少なくとも一部分または少なくとも一つのセグメントに対して行なって、トランザクションに関連する少なくとも一つのアイテム３０７の存在を検出する。トランザクションモニタ３２は、ビデオデータに基づくトランザクション関連アイテムの存在（ここに説明する画像処理技術によって自動的に検出される）を、トランザクション端末で顧客が実際に購入するアイテム（すなわち、端末３４が読み取る、またはスキャンするアイテム３０７）を示すトランザクションデータ３３０と比較して、トランザクション端末で購入されなかった（すなわち、トランザクション端末３４によってスキャンされずに、またはトランザクション端末３４に入力されずに、或いはトランザクション端末３４によって読み取られることなく、トランザクションエリア３０１をすり抜けた）アイテムを顧客３０５の所持品の中に特定する。ビデオデータ３２０を自動処理することにより特定される一つ以上のアイテムの存在と、トランザクションデータ３３０内に特定されるアイテムとの比較による不一致は、本発明のシステムが検出することができる不審挙動を示唆する。不審挙動は、オペレータ３０８に起因するオペレータエラーの結果である、または「なれあい取引」または「すり抜け」を含む実際の不正挙動の結果である可能性がある。

構成によって変わるが、トランザクションモニタ３２は、トランザクションエリアを撮影することにより得られるビデオデータの全て、または一部分を分析して、例えばトランザクションエリアを通過するオブジェクトの挙動、トランザクションエリア内の特定の注目領域内でのオブジェクトの挙動、トランザクションエリア内の複数の特定の注目領域内でのオブジェクトの挙動、トランザクションエリア内の特定の注目領域に進入するオブジェクトの挙動、及び／又はトランザクションエリア内の特定の注目領域から出て行くオブジェクトの挙動に基づいてアイテムを自動的に検出することができる。

ビデオデータの全て、または一部分を分析することにより、一つの構成では、一つ以上のアイテムを、ビデオデータの少なくとも一部分の少なくとも一つの注目領域３０２の内部の少なくとも一つの検出器が検出することを示唆する一連の検出イベントが生成される。実施形態によって変わるが、トランザクションモニタ３２は、アイテム検出を、一つの注目領域３０２のみにおける、または多くの領域３０２におけるビデオ分析に基づいて行なうことができる。図１では、トランザクションエリア３０１は幾つかの領域３０２−１〜３０２−Ｎに分割されるか、または領域３０２−１〜３０２−Ｎとして列挙される。これらのエリアまたは領域の各々は、一つの注目領域３０２であると考えることができ、そしてビデオデータ３２０には、或るアイテムがトランザクションに含まれていることを示すことができるこれらの領域のうちの幾つかの領域、全ての領域、または一つのみの領域における挙動を捕捉することができる。

トランザクションモニタ３２は検出器を利用して、注目領域における画像処理を行なう。検出器は普通、画像処理アルゴリズムであり、この画像処理アルゴリズムはアイテムの当該領域における存在を検出することができる。アイテムの存在は、例えば検出処理をアイテム搬入エリア３０２に適用することにより検出することができる。検出器（一つ以上の検出器）をそれぞれ設ける場合、トランザクションモニタ３２は、当該検出器に関する一連の検出イベントをトランザクションデータの少なくとも一部分（すなわち、ビデオデータに一致するトランザクション情報を含む部分）と比較して、少なくとも一つの明白な不一致を、トランザクションデータの一部分に示される多数のアイテムの中から検出器が検出する多数のアイテムの中に特定する。トランザクションモニタ３２はトランザクションに関する総合的な不審レベルを、検出器（群）が特定した明白な不一致に基づいて認識することができる。

或る構成においては、ビデオ処理またはビデオ分析では、トランザクションエリア３０１を複数の領域（例えば、３０２−１〜３０２−３）に分割し、これらの領域を通ってオブジェクトが順番に、トランザクションの少なくとも一部の期間中に移動する。トランザクションモニタ３２は、アイテムが複数の領域を通って順番に移動しているときに、アイテムに対する自動ビデオ検出を行なって、一つ以上のビデオパラメータによって表わされる或るパターンを取得することができる。従って、パターンは、トランザクションの全期間中に、または一部の期間中に領域群を通って移動したアイテム群のビデオイベントを表わす。トランザクションモニタ３２は、分析されるビデオデータに対応するトランザクションの一部の期間中にトランザクション端末３４が検出したアイテムを特定するトランザクションデータ３３０を取得することができ、かつビデオパラメータをトランザクションパラメータと自動的に比較することができ、この比較は、トランザクションの全て、または一部分に関するアイテム群のビデオイベントを表わすパターンが、トランザクションの全期間中に、または同じ一部の期間中にトランザクション端末３４が検出したアイテムを特定するトランザクションデータと一致しないことを示しているかどうかを判断することにより行なわれる。不一致がある場合には、トランザクションモニタ３２は、トランザクション結果が不正なトランザクションであると判断する。

異なる領域を設けることにより、一連の異なる検出イベントを使用してアイテムがビデオデータに含まれていることを確認することができる。このような場合においては、トランザクションモニタ３２は、検出器による一連の検出イベントをトランザクションデータと一斉に比較して、トランザクションエリアにおいて処理される多数のアイテムの中に不一致を特定することができる。例えば、アイテムに対して自動ビデオ検出を行なう処理では、オペレータ３０８がアイテム３０７をアイテム搬入エリア３０２−１から移送したことを示す「移送イベント（ｒｅｍｏｖａｌ ｅｖｅｎｔ）」をアイテム搬入エリア３０２−１の中に特定することができ、当該処理では更に、オペレータがアイテムをアイテム搬出エリアに載置したことを示す「搬入イベント（ｉｎｔｒｏｄｕｃｔｉｏｎ ｅｖｅｎｔ）」をアイテム搬出エリアの中に特定することができる。従って、移送、搬入、移送、搬入などのように順番に発生するイベントは、ビデオデータの複数領域がモニタリングされる場合のビデオ分析に基づいて生成することができる。この順番は、例えばアイテム群に対するスキャンを示すトランザクションデータと時間同期させて、正規のパターンが、移送、スキャン、搬入、移送、スキャン、搬入などのように現われるようにすることができ、これに対して、不審パターンは、移送、スキャン、搬入、移送、搬入のように現われる。ここで、２回目のスキャンイベントが発生しないので、不正挙動または不審挙動が潜んでいることが示唆される。マシンを使った自動ビデオ分析技術を適用して、トランザクションエリアに関連するアイテムのビデオイベントを検出することにより、更にこのイベントを、トランザクションエリアに関連するアイテム群のトランザクションイベントを示すトランザクションデータと比較することにより、トランザクションモニタ３２は、ビデオイベントがトランザクションデータ内のトランザクションイベントとして確認されないかどうかを判断し、そしてそれに応答する形で、トランザクションイベントとして確認されないビデオイベントが発生している場所を示す特定セグメント３２８をビデオデータの中に特定することができる。

図１に示すように、一旦、不審挙動が特定されると、トランザクションモニタ３２は、トランザクションイベントとして確認されないビデオイベントが発生している場所を示すビデオデータの中の特定セグメントを特定し（すなわち、ビデオクリップ３２８の中に）、そして検査担当者に送信し、検査担当者がビデオデータのセグメント３２８を吟味して、トランザクション期間中のアイテム購入に関するオペレータの不審挙動を精査する。

一つの構成では、本発明のシステムはアイテム群を、またはアイテム検出イベント群を実際にカウントする手法を提供し、そしてアイテムがスキャンされることなくトランザクションエリアをすり抜けてしまう偶発事象を特定する更に強固かつ正確な方法である。システムはスキャン遅延に影響されることがなく、そしてシステムは、スキャンされたアイテムよりも多い数のアイテムがトランザクションの一部分であったことを判断することができるので、システムは、オペレータに起因する盗難またはエラーが発生していることを示す非常に正確な通知手段として機能することができる。

アイテム検出比較とは無関係に発生する別の種類のエラーはアイテムの識別間違い（ｍｉｓｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ ｉｔｅｍｓ）である。この識別間違いは、「チケットまたはラベルすり替え」のような不正行為に起因し、この場合、バーコードまたは他のアイテム識別情報３１０の上に、値下げアイテムのバーコードまたは「値引き」バーコードが重ねて貼り付けられ、オペレータ３０８は値下げアイテムに関して、意図的に手動でコードまたはアイテム識別情報をトランザクション端末３４に入力する。一つの構成では、本発明のシステムはアイテム画像を比較用に、普通に行なわれるトランザクションのビデオから直接切り出す手法を提供する。このような構成では、トランザクションモニタ３２は画像比較を行なって、或る検出イベント（例えば、アイテムがビデオデータに含まれていることを示すイベント）に関連するアイテムの画像が、既に保存されているアイテム画像とほぼ一致するかどうかを判断することができる。これらの画像がほぼ一致するということがない場合、トランザクションモニタ３２は、トランザクションにラベル取り替えイベントが含まれている可能性があり、不審挙動が潜んでいることを示唆していると確認することができる。この手法によって、オペレータ３０８はアイテム３０７を正常にハンドリングすることができるので、トランザクションが普通に行なわれる方法を変更する必要がない。システムはまた、オペレータのトランザクション処理能力に影響することがない、またはトランザクション処理能力を低下させることがない。システムのこの特性は、熟練オペレータにとって特に重要である。その理由は、オペレータはオペレータの処理能力速度に基づいて評価されるからである。オペレータに彼または彼女の振る舞いを変えさせる必要がないので、システムを正規の位置に配備して、不正直な従業員を、これらの従業員に何か新規の構造体が正規の位置に配備されていることを認識させることなく検出することができる。

以下に説明するのは、本発明の種々の実施形態の一連のフローチャートである。これらの実施形態は、所定の構成の所定の動作を例示するために提示される例示としての実施形態であり、かつ、システムの全ての変形を網羅するものではない。

図２は、トランザクションエリア内でのすり抜け事象を検出するトランザクションモニタ３２による処理の一構成の動作のフローチャートである。この構成例では、トランザクションモニタ３２は、トランザクションエリア３０１を監視する少なくとも一つのビデオカメラから送出されるビデオデータを取得する。一つのトランザクションの少なくとも一部分に関するビデオデータ３２０のビデオクリップ２、及び当該トランザクションに関する対応するトランザクションデータ８（図１のトランザクションデータ３３０の）を分析して、トランザクションエリア３０１内のトランザクションに含まれるアイテム３０７を追跡する。いずれかの時間範囲のビデオデータ３２０、及び対応するトランザクションデータ３３０（すなわち、１回のトランザクションの一部分、または１回よりも多くのトランザクション）をハンドリングすることができるが、説明を明瞭かつ簡単にするために、この例では、１度に１回のトランザクションをハンドリングするものとして説明する。

一つの構成では、アイテムの存在の特定は、面積差を利用する方法を使用して行なうことができる。面積差を利用するこの方法では、トランザクションモニタ３２は、アイテム搬入エリア３０２−１のような注目領域をトランザクションエリア内に定義する。ビデオがこの領域に関するものである場合、トランザクションモニタ３２は、検出器を動作させて、注目領域３０２−１内の第１セットのアイテムを示すビデオデータの第１フレーム（すなわち、最初に撮影される）を自動的に特定する。これらのアイテムは、例えば顧客３０５が購入するために当該エリア３０２−１に置いた最初のセットのアイテム３０７である。その後、トランザクションモニタ３２は、注目領域３０２内の第２セットのアイテムを示すビデオデータの第２フレーム（すなわち、２番目に、または後の時点で撮影される）を自動的に特定するが、この場合、第１セットのアイテムは第２セットのアイテムとは視覚的に明らかに異なる。これは、アイテムが領域３０２−１からオペレータ３０８によって移送されるからである。トランザクションモニタ３２は、第１セットのアイテムが第２セットのアイテムとは視覚的に明らかに異なっていることを、アイテムがビデオデータの注目領域３０２−１内に存在したことを示すイベントとして自動的に通知することができる。

ステップ１０では、トランザクションモニタ３２は、トランザクションエリア３０１に接続されるトランザクション端末３４に関連するトランザクションデータを取得する。トランザクションデータは、アイテム３０７が購入アイテムとしてトランザクション端末３４に登録されたかどうかを示している。

ステップ１４では、トランザクションモニタ３２は、追跡アイテムのビデオ分析結果を、トランザクション端末により生成されるトランザクションデータと比較して、不審挙動を特定する。一つの構成では、トランザクションモニタ３２は、トランザクションデータが、アイテムが注目領域３０２内に存在したことをイベントが示している場合の対象となるアイテムに関して存在しないトランザクションデータ（ｍｉｓｓｉｎｇ ｔｒａｎｓａｃｔｉｏｎ ｄａｔａ）となっている場合に不審挙動を特定する。この方法は、各ビデオ検出イベントを、トランザクションデータのトランザクションイベントに関連付けるイベントベースの比較である。

図２の別の構成では、ビデオクリップ２をステップ４で分析して、トランザクションに実際に含まれるアイテム３０７の存在を視覚的に検出する（イベント検出を使用することができる）。トランザクションモニタ３２は、ビデオデータの少なくとも一部分を分析して、トランザクションエリア３０１に関連するトランザクションの少なくとも一部分に関する少なくとも一つのビデオパラメータを取得する。従って、ビデオパラメータは、アイテムの存在が検出されたアイテムのビデオカウントとすることができる。トランザクションモニタ３２はまた、トランザクションエリアに接続されるトランザクション端末３４から送出される少なくとも一つのトランザクションパラメータを取得する。トランザクションモニタ３２はステップ１０においてトランザクションデータ３３０を分析して、トランザクションに含まれるアイテム３０７のレコードを取得する。これらのレコードに基づいて、トランザクションデータに反映されているアイテムの予測カウントを求めることができる。ステップ１４では、トランザクションモニタ３２は、実際のカウント、またはビデオカウント６を予測カウント、スキャンカウントまたはトランザクションカウント１２と比較する。これらのカウント値が一致する場合、トランザクションモニタ３２は、トランザクションに「疑わしくない（ｎｏｎ−ｓｕｓｐｉｃｉｏｕｓ）状態」を示すフラグをステップ１６において立てることができる。これらのカウントが一致しない場合、トランザクションモニタ３２は、トランザクションに「疑わしい（例えば、不正が潜んでいる）状態」を示すフラグをステップ１８において立てることができる。

上に説明したように、トランザクションモニタ３２は、トランザクションエリア内で検出されるアイテムのビデオカウントを、ビデオ分析を使用して特定し、そしてトランザクションエリア内のアイテムのトランザクションカウントを、トランザクションの少なくとも一部分に関連するトランザクションデータを分析することにより特定する。ビデオカウントをトランザクションカウントと比較することにより、ビデオカウントがトランザクションカウントと異なる場合には、トランザクションモニタ３２は、不正トランザクションまたはオペレータエラーのような不審挙動を表わすトランザクション結果を通知することができる。構成によって変わるが、トランザクションモニタ３２は、不審レベルのような追加情報を、実際のカウントと予測カウントとの差のような指標に基づいて提供することができる。

或る構成では、他の情報を使用して不審レベルを、例えば「低い」または「高い」、或いは「範囲内」のようにランク付けすることができる。例えば、小売店環境では、トランザクション端末または現金出納機を操作する各レジ係は通常、システムに固有識別情報を彼または彼女のレジスタにより（例えば、キーボードにより）入力してログインし、顧客のためにトランザクションを処理しているということを証明する。一旦、ログインが行なわれると、本発明のシステムは、ここに説明する動作を実行することができ、そして不正トランザクションが検出される場合（例えば、トランザクションカウントがビデオカウントと一致しない場合）、システムは、どの位の頻度で「疑わしい」という表記が付されたトランザクションを行なっているかを示すデータベースに保存することができる、この特定のレジ係の過去の履歴を調査する（出納係の固有識別情報に基づいて）ことができる。このようにして、不正トランザクションが非常に稀にしか発生しない場合には、トランザクションカウントがビデオカウントと一致しない事象は、レジ係の単なる間違いとすることができるが（すなわち、当該担当者は、何らかの拍子でアイテムをスキャンしなかった）、当該レジ係の疑わしいトランザクション履歴が、疑わしいトランザクションを頻繁に起こしていることを示している場合には、トランザクションカウントがビデオカウントと一致しない事象は、不審レベルとして表示することができ、そしてこの事象を後続の処理に使用することができる（例えば、この状態にフラグを立ててヒューマンオペレータが認識することができるようにして、オペレータにビデオを更に詳細に吟味させる）。

図２のステップ２０では、トランザクションモニタ３２は或る不審レベルをビデオのセグメント３２８に割り当てることができる。不審レベルは、ビデオデータをトランザクションデータと比較することによる自動ビデオ分析結果に基づいて生成される不審レベルを示している。トランザクションモニタ３２は、トランザクション結果に関連する不審レベルを、多くの要素に基づいて調整することができる。例えば、下記の要素を挙げることができる。

・トランザクションカウントとビデオカウントとの差の絶対値。例えば、２０個の検出アイテムのうち、１０個がオペレータによって取引されない場合、不審レベルは、２０個のうちの１個だけが取引されなかった場合よりもずっと高い。

・トランザクションを処理するオペレータの履歴が、少なくとも一つの過去のトランザクションが、履歴に示される当該オペレータに関して疑わしいと確認されていることを示している。この例については上述した。

・或るアイテムがビデオデータ内に検出された注目領域の数。例えば、取引されていないアイテムが、全ての検出器によって全ての領域に関して視覚的に検出される場合、不審／信頼レベルは、取引されていないアイテムが一つのみの検出器によって一つの領域に関して検出される場合よりもずっと高い。

・或るアイテムが、トランザクションエリア内の異なる注目領域内のビデオデータの中で検出される順番（例えば、アイテム移送イベントの後に、アイテム搬入イベントが続く）。

・ビデオデータ内の或るアイテムのビデオ識別情報を、トランザクションデータから得られるアイテムのトランザクション識別情報と比較する結果としての不一致。トランザクション識別情報は、例えばアイテムの価格、及び／又はアイテムの識別情報とすることができる。

・トランザクションを実行するキャッシュレジスタの履歴。この履歴は障害のあるキャッシュレジスタを示すことができる、または位置または他の要素によって疑わしい動作を起こし易いキャッシュレジスタを示すことができる。

・トランザクションにおいて特定される他のアイテムの履歴であって、トランザクションデータを必要としないトランザクションのアイテムを示すことができる履歴。例えば、サラダがアイテムとして特定され、続いてフォークがスキャンされない（従って、最初に疑わしいとして認識される）場合、不審レベルを調整して下げてフォークが無料であり、従ってフォークをスキャンする必要がないことを不審レベルに反映させる。

図３Ａは、トランザクションモニタ３２が、識別間違いアイテムが検出される構成例において実行する処理のフローチャートである。この構成では、１回のトランザクションのビデオデータ４０、及び当該トランザクションの対応するトランザクションデータ４６が分析される。いずれかの時間範囲のビデオ、及び対応するトランザクションデータ（すなわち、１回のトランザクションの少なくとも一部分または１回よりも多くのトランザクション）をハンドリングすることができるが、説明を明瞭かつ簡単にするために、この例では、１度に１回のトランザクションをハンドリングするものとして説明する。

ステップ４２では、実際のアイテム画像４４がビデオデータ４０から切り出される。画像切り出しの一つの方法は、移送／搬入検出法の一部分として説明される（以下に説明する）。ステップ４８では、トランザクションデータに含まれるアイテムに対応する予測アイテム画像５２がアイテム画像５０のデータベースから抽出される。アイテム画像のデータベースはどのような方法でも体系化することができるが、小売店環境において便利な一つの方法は、ＳＫＵ番号別に行なわれる。

アイテム画像データベースという観点から、本発明のシステムは画像の事前収集データベースを利用することができるが、トランザクションモニタ３２は処理を進めて更に多くの画像を各連続トランザクションから切り出しながら画像付きデータベースを収集することもできる。このようにして、小売業者は時間及び資金を浪費して予めデータベースを配備しておく必要はない。その代わり、データベースには基本的に、同じアイテムに関する十分に多くの回数のトランザクションのビデオを撮影し、そして保存することにより学習させることができる。

ステップ５４では、実際のアイテム画像を予測アイテム画像と比較する。ここで、実際のアイテム画像を切り出して、一度に、またはグループとして、これらの画像の対応する予測アイテム画像と比較することができる。トランザクションデータがアイテムの全リストのみを含んで、これらのアイテムがスキャンされた順番または回数に関するデータを含まない場合、個々の画像の間のアプリオリな対応が得られる基礎となる資料がない。従って、全セットの実際のアイテム画像を全セットの予測アイテム画像と比較する必要がある。しかしながら、同期プロセスによるビデオデータとのスキャン済みアイテムデータの関連付けを可能にする順番トランザクションデータまたはタイミングトランザクションデータを利用できる（例えば、スキャンのタイムスタンプがビデオのタイムスタンプにほぼ同期する）場合、画像群の間の対応付けが得られる、例えば実際の第１アイテム画像を第１予測アイテム画像と比較し、同じようにして他のアイテム画像を対応する予測アイテム画像と比較する。この場合、各個々の実際のアイテム画像を、当該画像の一つの対応する予測アイテム画像と比較するという選択を行なうことができる。

ステップ５６において画像群が一致しないことが判明する場合、トランザクションに、トランザクションが疑わしいとしてステップ５８でフラグを立てる。上に述べたように、実際のアイテム画像が一つずつ予測アイテム画像と比較されている場合、トランザクション全体ではなく、特定のアイテムに、当該アイテムが疑わしいとしてフラグを立てるという選択を行なうことができる。

ステップ６０において画像群が実際に一致することが判明する場合、トランザクションは疑わしくないと考えられる。実際のアイテム画像または画像群４４をアイテム画像群のデータベースに必要に応じて取り込むことができる（ステップ５０）。例えば、新規画像を、専門的な観点から事前収集されたデータベースに格納することは望ましくないが、新規画像は「学習」データベースにとっては必要である。それにも拘らず、次のステップ６２では、トランザクション（または、上に説明した個別アイテム）に、「疑わしくない」というフラグを立てる。

このようにして、トランザクションモニタ３２は、トランザクションエリア内で検出されるアイテムの画像認識を自動ビデオ分析を使用して行なって、アイテムのビデオ識別情報を生成する。この操作を行なうために、トランザクションモニタ３２は、トランザクションエリア内で検出されるアイテムの予測アイテム識別情報を特定することにより、少なくとも一つのトランザクションパラメータを取得する。次に、トランザクションモニタ３２は、アイテムのビデオ識別情報をアイテムの予測識別情報と比較することにより、ビデオパラメータをトランザクションパラメータと自動的に比較する。ビデオ識別情報が予測識別情報と異なる場合、トランザクションモニタ３２は、不審挙動を表わすトランザクション結果を通知する。

上述したように、トランザクションに含まれるアイテムは特定の注目領域内で、または複数の注目領域３０２の組み合わせた領域内でカウントすることができる。注目領域は、トランザクションのアイテムが収容される全てのエリアを含むことができる。スーパーマーケットという通常の小売形態では、例えば注目領域はショッピングカート３０２−Ｎ、顧客領域３０２−５、搬入コンベヤベルト領域３０２−１（すなわち、オブジェクト搬入エリアまたは領域）、スキャンエリア３０２−２、及び搬出コンベヤベルトエリア３０２−３または袋詰めエリア（すなわち、オブジェクト搬出エリア）、及びオペレータエリア３０２−４を含むことができる。

オペレータは注目領域ごとに変わり得る。例えば、スーパーマーケット形態では、アイテムが、カート３１１から搬入コンベヤベルトエリア３０２−１への移し替えのときにカウントされている場合、移し替えを行なっている顧客３０５がオペレータであると考えることができる。同様に、レジのオペレータ３０８がアイテムをトランザクション端末３４でスキャンしている場合、レジ係３０８がオペレータであると考えることができる。

上述したように、或る構成では、これらの注目領域３０２に跨って行なわれるカウントを組み合わせて考えて、更に確実なカウント方法を提供する。例えば、一つの構成における持ち込まれるアイテムの搬入エリア３０２−１、スキャナまたはアイテム読み取りエリア３０２−２、及び袋詰めまたは他のアイテム搬出エリア３０２−３に跨って行なわれる検出の回数を比較して、これらの回数が一致するかどうかを調査する。これらの回数が一致しない場合、検出の平均回数を使用することができる。同様にして、カウントまたは検出イベントの順番を考慮に入れることもできる。例えば、正確にカウントされる各アイテムはまず、搬入エリアでアイテム移送イベントとしてカウントされ、次にスキャナでスキャンイベントとしてカウントされ、次に再び、袋詰めエリアでアイテム搬入イベントとしてカウントされる（各イベントまたはカウントは、ビデオデータ３２０の対応する注目領域を分析する検出器によって検出され、そして生成される）。

別の構成では、アイテムのカウントは或るエリアにおいて、オペレータがオブジェクトをベルトまたはオブジェクト搬入エリア３０２−１から移送させるときのオブジェクト移送イベントのような或るタイプのイベント、それに続く、オペレータがオブジェクトをオブジェクト搬出エリア３０２−３または下流のコンベヤベルトに持ち込む搬入イベントのような別のタイプのイベントの順番またはパターンとして観察される。従って、移送イベント（オペレータがオブジェクトをスキャンのために拾い上げ、当該オブジェクトをオブジェクト搬入エリアから移送する）の後に搬入イベント（オペレータがアイテムを搬出ベルトまたはオブジェクト搬出エリアに降ろす）が続く事象は、システムが一つのビデオカウントであるとして観察する、または解釈する。

カウントが、シーケンスの一つのステージまたはエリア３０２においてのみ登録されるが（例えば、エリア３０２−１でのアイテムイベント検出）、他の１つ、または２つのエリアでは登録されない（エリア３０２−３及び／又は３０２−２では検出されない）場合、当該一つのカウントまたはイベントはエラーと見なすことができる、そして／または「疑わしい」という表記を付すことができる。例えば、ビデオデータが分析され、そしてスキャンデータまたはトランザクションデータが分析される場合、システムは、どのスキャン検出イベント（すなわち、トランザクションイベント）またはスキャンカウントが、どのビデオカウントと一致するかについて判断することができる（例えば、２つのエリアを分析する場合には、ビデオカウントは、例えばアイテム移送イベントにアイテム搬入イベントが続く事象に対して行なわれる、またはアイテム搬入エリア３０２−１のような単一エリアのみを分析する場合には、ビデオカウントまたはイベントは、ビデオ分析によって検出されるように、アイテム３０７を当該エリア３０２−１から移送する単一の移送イベントとすることができる）。このような場合においては、スキャンカウントまたはイベントがイベントのビデオカウントと一対一で一致する場合、明らかな不正挙動は全くなく、かつ更に調査するためにトランザクションにフラグを立てることはしない、または表記を付すことはしない。しかしながら、ビデオデータをスキャンデータと時間同期させた（このような時間同期は、ビデオデータがトランザクションデータまたはスキャンデータと同時に収集される場合のデータ収集プロセスにおける固有の処理とすることができる、または事後処理において、スキャンのタイムスタンプを検出イベントのビデオフレームまたはパターンとアルゴリズム比較することにより行なうことができる）後に、移送イベントの後に搬入イベントが続き（第１オブジェクトに関して、アイテムがトランザクションデータに含まれていることを特定するスキャンイベントまたはトランザクションイベントが無い）、別の移送イベント（第２オブジェクトに関する）が続く事象のようなパターンが検出される場合、トランザクションに、不正である可能性がある、または疑わしい可能性があるという表記を付すことができる。一つの構成では、トランザクションモニタ３２はビデオデータの分析に基づくイベントのビデオタイムスタンプを、トランザクションデータにおいて取引されているとして表わされるアイテムのトランザクションタイムスタンプに関連付けて、対応するレコードをトランザクションデータに持たないビデオデータのアイテムを示すイベントを特定するので、不審挙動を通知することができる。

個々に使用することができる、または互いに組み合わせて使用することができる多数の方法があり、これらの方法によって、ビデオ分析を実行してアイテムカウントまたは検出イベントを一つ以上の注目領域３０２の内部に特定することができる。

本発明に関するこのような処理方法の一つでは、現時点で注目領域に含まれているアイテムをカウントする。現時点で注目領域に含まれているアイテムをカウントする一つの方法では、注目領域の静止画像に観察することができるアイテムをカウントする。この操作では、個々のアイテムをセグメント化して個々のアイテムの存在の曖昧さを十分に無くすことができると考えているので、このアプローチは、アイテムが連なっている、または重なり合っている場合には特に実行することが難しくなる。スーパーマーケット形態または他の小売店形態では、例えば移動しているコンベヤベルトにゆっくりと一つずつ載置される少数のアイテムは実際にはベルトの上で散乱するので、これらのアイテムは互いに触れ合う、または重なり合うことはない。このような場合には、アイテムをベルトを背景としてベルトの静止画像からカウントすることによって、トランザクションにおけるアイテムの正確な個数を求めることができる。しかしながら、多数のアイテムがベルトに載っている場合、アイテムがベルトの端で互いに積み重なり始める恐れがある。これらのアイテムが積み重なると、ビデオ分析による特定アイテムのセグメント化は非常に難しくなり、静止画像の分析によってベルトに載っているアイテムのカウントに関して信憑性の低い結果が得られる。

別の構成では、トランザクションモニタ３２は周期的挙動をカウントすることができる。注目領域内での周期的挙動はアイテムの搬入、移送、またはすり抜けを示すことができる。挙動指標（ａｃｔｉｖｉｔｙ ｍｅａｓｕｒｅｓ）は、領域におけるモーションの単なる検出及び測定を含む。「トリップワイヤ（ｔｒｉｐｗｉｒｅ：仕掛け線：地雷など爆発物関連で敵が触れば自動的に爆発するように仕掛けた細い鉄線）」（すなわち、注目領域のエッジに沿ったモーションを観察する）では、注目領域への進入方向を考慮に入れることができる。スーパーマーケット形態では、例えば搬入ベルトエリアの顧客に面する側に沿った仕掛けを使用して、顧客が入って来て新規アイテムをアイテム搬入エリア３０２−１のベルトに持ち込むたびにカウントを行なうことができる。

２つ以上のトリップワイヤを設置し、そして使用して、アイテムのモーションが一方の側の注目領域から横切って他方の側の注目領域に向かって発生していると判断することができる。スーパーマーケットの精算レジのスキャナエリア３０２−２の近傍では、例えばスキャナ領域の両側の２つのトリップワイヤは、これらのトリップワイヤが作動する順番によって変わる特定方向のモーションを検出することができる。

トリップワイヤを使用する別の方法では、大面積の注目領域全体に一連のトリップワイヤを仕掛けて（注目モーションの方向に直交する）、一方の側から他方の側へのモーションの進行を検出する。スーパーマーケット形態では、このような一連のトリップワイヤを使用して、オブジェクトが一つの手から別の手にスキャナ領域の上を越えて引き渡されるときでも、搬入エリアから袋詰めエリアへのオブジェクトの順方向進行を検出することができる。

オペレータオブジェクト（すなわち、ビデオデータ３２０のうち、オペレータ３０８を含む部分）を画像から特定することができる場合、カウントは、オペレータオブジェクト自体（例えば、彼または彼女の腕または手）が領域に入り、そして出て行くときにのみインクリメントすることができる。皮膚検出を使用することにより、そして／またはオペレータオブジェクト３０８の四肢を特定することにより、検出器は、オペレータの手が注目領域（例えば、３０２−１）に入った場合にのみアイテム検出またはカウントを開始するように更に正確に動作することができる。オペレータオブジェクト（すなわち、彼または彼女の手）の端部が、オブジェクトのカラーヒストグラムの一部分として、オブジェクト固有のカラー以外のカラーを持つ場合、手が注目領域にアイテムと一緒に入って来る、または出て行く可能性が高いと見なすことができる。

図３Ｂは、注目領域における挙動を検出してアイテムの存在を通知する一つの方法を示している。ビデオソース４３０からの画像に基づいて、ステップ４３２では、オブジェクトを識別し、そしてオブジェクトマップを生成する。ステップ４３４では、関連付けフィルタリング（例えば、皮膚検出、皮膚＋オブジェクトカラーヒストグラムなど）を行なって、注目オブジェクトまたは注目挙動のみが考察対象になっていることを確認する。例えば、小売店環境のビデオ画像では、オペレータはスキャナエリアを通り過ぎてトランザクション端末のタッチスクリーンを操作する。注目領域におけるこのような挙動はアイテムの存在を示唆しないので、オペレータオブジェクトがビデオ画像の中のタッチスクリーンのグラフィカル領域と連結される事例を取り除くことにより無視することができる。ステップ４３６では、現時点のオブジェクトマップを画像の中の時間変化モーションのモーションマップに取り込む。次に、ステップ４４２では、モーションマップを分析して、注目領域（ステップ４４０）に関連するモーション方向（ステップ４３８）のモーションを特定する。ステップ４４４において、モーションが注目領域を横切って完全に終了したと判断される場合、このモーションはビデオ検出イベントとしてステップ４４６で記録される。ステップ４４８においてビデオが更に残っていると判断される場合、ステップ４５０において次のビデオフレームに進み、そしてステップ４３２から処理を継続する。ステップ４４８において、ビデオが更に残っていると判断されない場合、ビデオ検出イベントのレコードをステップ４５２において返す。例えば、注目方向がアイテム搬入エリアからアイテム搬出エリアに向かって、スキャナ領域としての注目領域を横切って向いている場合、トランザクションモニタ３２はスキャナ領域を、アイテムがトランザクションに含まれていることを示唆する挙動に関して観察することができる。

更に別の構成では、トランザクションモニタ３２は、アイテムまたはオペレータオブジェクト、または顧客オブジェクトである可能性のあるオブジェクトの侵入または退去をカウントすることができる。一つの構成において、オブジェクトが一つ以上の注目領域３０２に新たに侵入する、または注目領域から退去する事象は、アイテム検出またはカウント変化を示唆する。例えば、スーパーマーケット形態では、或るアイテムが搬入コンベヤベルトから移送される場合、または或るアイテムが袋詰めエリアに持ち込まれる場合（または、組み合わせが可能であるとすると、両方の場合）、当該事象は更に別のアイテムがトランザクションに含まれることを示唆する。

侵入または退去を検出する一つの方法では、注目領域におけるカラーヒストグラム変化を検出する。更に別のオブジェクト（例えば、アイテムまたはオペレータオブジェクト）の侵入または退去を検出する別の方法では、オブジェクトの出現または消滅を検出する。ここに説明するこのような画像検出アルゴリズムは、継続的に静止オブジェクトを、オブジェクトセグメント化に使用される背景画像に取り込む。新規オブジェクトが画像に付加される場合、当該オブジェクトは唯一のオブジェクトとして最前面に現われる。同様に、オブジェクトを取り除くと、当該オブジェクトの部分に「ゴースト」（すなわち、オブジェクトが1度占拠していた画像箇所の変更の結果）が残り、このゴーストが同じようにしてオブジェクトとして最前面に現われることになる。いずれの場合においても、オブジェクトは続いてカウントされ、その後、背景に組み込まれて次のアイテムをカウントするための準備が整う。

この方法の一つの利点は、当該方法によってアイテム画像を切り出す操作が極めて容易になることである。アイテムのようなオブジェクトが持ち込まれる場合、当該アイテムの画像を切り出しアイテム画像として切り抜くことができる。アイテムを移送させる（すなわち、ゴーストオブジェクトが現われる）場合、当該アイテムの画像は、「移送」に先行するフレームから切り抜くことができる。上記種類の方法における非常に困難な一つの課題は、オペレータの腕自体がオブジェクトとして注目領域に現われることである。本発明に関する２つの構成例では、この課題を、オペレータの腕を無視することにより処理する、または当該領域に腕が無い画像のみを使用する。

腕オブジェクトを無視するために、当該オブジェクトを最初に特定する。この操作は、ビデオデータに含まれるオブジェクトの全てをチェックして、どのオブジェクトが、注目領域３０２−１の外側のオペレータエリア３０２−４に位置する大きなオペレータオブジェクト３０８から延び出しているかについて、または注目領域３０２−１の中にまで延び出しているかについて調査することにより行なうことができる。従って、このオブジェクトはオペレータ３０８の腕であると推定することができる。皮膚検出も行なって、オブジェクトが実際に腕及び／又は手であることを更に確認することができる。次に、腕オブジェクトを注目領域のオブジェクトマップから取り除いて、持ち込まれている、または移送されている商品アイテム３０７のみを残す。写真に腕が無い画像のみを使用するために、トリップワイヤを、オペレータ３０８に最も近い注目領域のエッジに沿って使用して、いずれかのオブジェクトがトリップワイヤを横切っているかどうかを調査することができる。オブジェクトがトリップワイヤを、特定のビデオフレームの中で横切っていない場合、これは、腕が当該フレームの注目領域３０２−１に含まれていないことを示唆する。この論理を利用し、腕の侵入及び退去の前後のフレームを切り出してアイテムの存在を判断することができる。次に、これらのフレームを比較して、アイテム搬入またはアイテム移送を特定することができる。

以上の説明から、トランザクションモニタ３２は、注目領域内で取引（例えば購入）されているアイテム３０７の存在を示唆する、トランザクションエリアの注目領域（例えば、３０２−１）の内部でのオペレータ３０８のモーションを特定することができることが分かる。トランザクションモニタ３２は、アイテムのレコードが、オペレータのモーションを特定する操作に対応するトランザクションデータの中に含まれているかどうかを通知することができ、そしてトランザクションエリアの注目領域３０２−１の内部でのオペレータのモーションが、取引されているアイテム３０７の存在を示唆しているが、アイテムのレコードがトランザクションデータの中には含まれていない状況を自動的に特定することができる。これに従って、トランザクションモニタ３２は不審挙動を通知することができる。

上に述べたように、レジ係３０８（または、図１の環境３００がセルフチェックアウト端末３４である場合の顧客３０５）のようなオペレータのモデル化を利用して、トランザクションに含まれる各アイテム３０７のハンドリングに関連するモーションを識別することができる。上から下を眺めたときのスーパーマーケット形態では、例えばオペレータを、２本の腕が胴体から延び出すトルソー（胴体彫像）としてモデル化することができる。オペレータのトルソーは、その位置によってトランザクション端末３４に存在するとして識別することができる。従って、腕はトルソーから延び出して速く動く２本の四肢として識別することができる。次に、アイテム３０７のハンドリングは、一方の手を搬入ベルトエリアまたはアイテム搬入エリア３０２−１に延ばし、続いてアイテムを一方の手から、スキャナ領域またはエリア３０２−２の近傍の他方の手に渡して２つの手を合わせ、次に、他方の手を袋詰めエリアまたはアイテム搬出エリア３０２−３に向けて延ばす挙動としてモデル化することができる。

上に述べたように、単一の注目領域を一つのアイテムカウント法でモニタリングすることができる、または複数のカウント法を一つの注目領域３０２において使用して、当該領域３０２におけるアイテムのカウントを行なうことができる。同様に、複数の注目領域から得られるカウント及びカウントシーケンスを組み合わせて使用して、更に正確なカウントをトランザクション全体に対して行なうことができる。

図４は、トランザクションモニタ３２が、一つの構成において、トランザクションに含まれるアイテムのカウントを、ビデオデータ３２０の分析結果を使用して行なう処理を示している。アイテムの存在をカウントする一つの方法では、オペレータがアイテムを注目領域から移送させる操作、またはオペレータがアイテムを注目領域に搬入する操作をカウントする。例えば、オペレータがアイテムを手から放して、袋詰めエリアのような注目領域内に置くときには必ず、当該アイテムが袋詰めエリアに搬入されている商品アイテムであると無難に推定することができる。それとは反対に、アイテムの移送をカウントする一つの方法では、アイテムがアイテム搬入エリア３０２−１から移送される操作をカウントする。

図４では、ビデオソース７０が或るビデオフレームを出力すると、第１ステップ７２では、オブジェクトを当該画像内に特定する。この操作を通常行なう一つの方法では、現フレームを背景モデルと比較して、画像の中の最前面要素またはアイテムを抽出する。次のステップ７４では、オペレータオブジェクト（すなわち、ビデオフレーム内のオペレータ３０８の外形）を切り出す。この操作を行なうための一つの方法では、オペレータ３０８が居る可能性の高い場所に関するアプリオリな情報を使用する。例えば、オペレータ３０８がオペレータエリア３０２−４のような特定の区画域に立っていることが分かっている場合、当該エリアにおける最も大きな移動オブジェクトはオペレータ３０８であると推定することができる。ビデオデータの中のオペレータオブジェクトを特定し、そして切り出すための別の方法では、オペレータが、例えば袋詰めエリアの内部にまで移動して別のアイテム３０７を載置するときに、オペレータオブジェクトが注目領域３０２−３の境界のエッジを横切って移動する様子を特定する。

次のステップ７６では、注目領域内のオペレータオブジェクト及びアイテム（または、以下に説明するようなオブジェクトのゴースト）が互いに図式的に分離される場合のような、図式上での搬入イベントまたは移送イベントをチェックする。移送イベントは、オペレータがアイテム搬入エリア３０２−１のアイテムを拾い上げたことを示唆する。ステップ７８において移送が行なわれた場合、カウントをステップ８０でインクリメントする。ステップ８２においてビデオが更に残っている場合、処理はステップ８４において次のビデオフレームに進み、そしてループが再度、ステップ７２から継続する。トランザクションのビデオが終了すると、カウントをステップ８６において返す。アイテムごとの処理を行なう場合、オブジェクトをアイテム搬入エリア３０２−１から移送する（または、アイテムをアイテム搬出エリア３０２−３に搬入する）たびに、対応する移送（または搬入）イベントが生成され、このイベントはトランザクションデータに関連付けることができる（または、複数の注目領域を使用する場合には、イベントペアを関連付けることができる）。

図５は、トランザクションモニタ３２が実行することができる処理の一つの方法を示し、この処理によって、オブジェクト移送イベント及びオブジェクト搬入イベントの検出が可能になる。図５では、現在の画像９０及び更新済み背景画像９２がステップ９４によって入力として取り込まれ、ステップ９４では、これらの画像を比較して（サブトラクション処理及び閾値処理により）バイナリオブジェクトマップ９６を生成する。このオブジェクトマップは、更新済み背景の一部分ではない、いずれかの新規オブジェクト（すなわち、アイテム）だけでなく、これも更新済み背景の一部分ではないオペレータオブジェクトを画像の中に含むことができる。次のステップ９８では、現在のオペレータオブジェクト１００をオブジェクトマップから切り出す。レジのオペレータ３０８が金銭登録機の前の区画空間（例えば、領域３０２−４）に立っているスーパーマーケット形態では、オペレータオブジェクトの切り出しは、一つの構成では、当該空間内で立っている最も大きい移動オブジェクトを見付け出すことにより行なわれる（別の構成では、オペレータオブジェクトの切り出しは、オペレータが触れる可能性のある小さい「タグ」領域に重なるオブジェクトを見付け出すことにより行なうこともできる）。このオブジェクトはオペレータオブジェクトであると考えられる。

ステップ１０４では、現在のオペレータオブジェクト１００及び前のオペレータオブジェクト１０２を使用して直接注目領域１０６を定義する。前のオペレータオブジェクトが重ならない領域は、直接注目領域を次の理由により構成する。或るアイテムをオペレータ３０８が前のビデオデータフレームの中で保持しているとすると、当該アイテムは前のオペレータオブジェクトの一部分であったことになる。従って、当該アイテムが現フレームの中では手放されているとすると、当該アイテムは前のオペレータオブジェクトのエリアのどこかに残っていたことになる。また、当該アイテムが手放されてしまっているので、当該アイテムは現在のオペレータオブジェクトの一部分とはならない。従って、或るアイテムが前のフレーム以降に手放されたとすると、当該アイテムのオブジェクトは、前のオペレータオブジェクトの或る領域に現われていることになり、当該領域は現在のオペレータオブジェクトとは重ならない。同じように、或るアイテムが前のフレームの中で拾い上げられていたとすると、このフレームの中の当該アイテムのゴースト（すなわち、アイテムが背景層から取り除かれたアイテム欠落部分）が、上に説明した同じ直接注目領域に現われる。

次のステップ１１０では、オブジェクトマップ９６をチェックして、新規オブジェクト（すなわち、アイテム）が、またはオブジェクト（すなわち、アイテム）のゴーストが直接注目領域１０６に現われていたかどうかを調査する。現われていなかった場合、次のステップ１２０では、オペレータオブジェクトの外側の全ての領域を背景の更新に取り込んで、次のフレームに使用する。最後に、移送／搬入が発生しない値を返す。

ステップ１１０において実際に新規オブジェクトが直接注目領域に現われる場合、次のステップ１１２では、当該オブジェクト（すなわち、アイテム）画像を切り出す、すなわち当該画像を現フレームからコピーする。オブジェクトの移送（ゴーストの部分の切り出し）が検出されている場合、画像は、アイテムが拾い上げられたときの前フレームの前のフレームから取り出す。

次のステップ１１４では、実際のアイテムの切り出し画像を予測オブジェクト群から成るデータベース（例えば、アイテム群にこれらのアイテムの写真を加えたデータベース）と比較する。これは、上に説明したアイテム識別間違い検出方法の一部分である。次に、オブジェクト画像を背景の更新に取り込んで次のフレームに使用する。ここでも同じように、次のステップ１１６では、移送オブジェクトまたは搬入オブジェクトを含むオペレータオブジェクトの外側に在る全ての領域を背景の更新に取り込んで、次のフレームに使用する。最後に、移送（または、搬入）が発生しない値を返す。

図１１は、ビデオデータフレーム５０１及びビデオデータフレーム５０２の例を示し、これらのフレームは、トランザクションエリア３０１がイベント検出前に現われ（ビデオデータフレーム５０１）、そしてイベント検出後に現われる（フレーム５０２）様子を示している。この例における検出イベントはたまたま搬入イベントであり、このイベントでは、オペレータ３０８がアイテム３０７（この例ではミルクジャグ）を載置している。各フレーム５０１及び５０２は４つの象限、すなわち右上、左上、及び右下、左下に分割される。各フレームの左上象限はビデオデータの原フレームを示しており、この場合、左下象限は、上に説明したように、上述の処理によって生成される更新済み背景画像を示している。各フレーム５０１及び５０２の右上象限はオペレータオブジェクト３０８を示し、そして右下象限は差分バイナリ画像またはマップを示している。

フレーム５０１の左上象限では、オペレータ３０８がアイテムをアイテム搬出エリア３０２−３に載置しているが、オペレータの手をアイテム３０７から未だ放していないことが分かる。フレーム５０２の対応する象限では、オペレータ３０８は当該時点で、アイテム３０７をアイテム搬出エリア３０２−３へ搬出することにより手放している。ここで、オペレータオブジェクト３０８を含むフレーム５０２の右上象限とは異なり、オペレータオブジェクトがアイテムをオペレータの手の中に含んでいると考えられる様子を示しているフレーム５０１の右上象限のオペレータオブジェクト３０８と、フレーム５０２の時点で分離されているアイテムオブジェクト３０７とは相違している。前述したビデオ分析によって、この差分を画像群の中に検出することができ、かつこの挙動をアイテム検出イベント、この場合はアイテム搬入イベントとして通知することができ、当該アイテムがトランザクションに含まれていることが明らかになる。このようにして、ビデオ分析では、トランザクションに含まれるアイテムを検出することができ、そして上に説明したように、トランザクションモニタ３２はこの情報を、トランザクション端末３４からのトランザクションデータとの比較に使用して、ビデオデータの中に検出される各アイテムが、対応するエントリ（例えば、スキャン、読み取り、アイテム識別情報、または価格）をトランザクションデータの中に持っていることを確認することができる。この対応するトランザクションデータがこのオブジェクトに関して存在しない場合には、トランザクションモニタ３２は不審挙動を通知することができる。

ここで、注目領域に、スーパーマーケットのコンベヤベルトのような、動いている背景が含まれる場合、背景画像を適応させる方法については、動いている背景の適応化の説明で以下に詳述される。システムは買物バスケット底部検出または買物バスケット内部検出を取り入れて、例えば可動ショッピングカートの下に、または内部に収納されるアイテムを高所から見た図から特定することもできる。

上に例を示したように、トランザクションモニタ３２は、一つの構成では、少なくとも一つの注目領域をビデオデータ内に定義し、そして注目領域（群）の現在画像と、注目領域（群）の更新済み背景画像との間の変化を特定するオブジェクトマップを計算することにより、ビデオデータの少なくとも一部分を分析することができる。従って、注目領域（群）の内部の少なくとも一つのオペレータオブジェクトを切り出すことにより、トランザクションモニタ３２は、オブジェクトマップ及びオペレータオブジェクトを分析することによって、注目領域３０２からのオブジェクトの移送、または注目領域３０２へのオブジェクトの搬入を特定することができるかどうかを検出することができる。このようにして、ビデオデータ内のオブジェクトの存在のカウントを示す検出イベントを維持することができる。この操作は、単一領域または多くの領域３０２に関して行なうことができ、かつアイテム毎に、またはトランザクションの大部分に関して、或いはトランザクション全体（すなわち、全アイテム）に関して行なうことができる。

ビデオデータの少なくとも一部分を分析するプロセスでは、システムは或るカメラまたは他のビデオソースに装備されるオートゲイン特性を調整する必要がある。オートゲインでは、カメラの３つのカラーチャネルの輝度を画像全体に渡ってバランスさせるようとする。これにより、ノイズの多いオブジェクト（すなわち、シーンに現われるが、トランザクションまたはトランザクションエリアの一部分には現われないオブジェクト）がカメラの視野に現われる場合に不所望のカラーシフトが発生する。システムは当該カラーシフトを極力抑える必要がある。解決すべき非常に困難な課題は、システムには、カメラのオートゲイン特性を調整して得られた結果と同じ結果が生じるので、画像全体に渡っての統計計算を全く行なうことができないことである。その代わり、システムはシステムの焦点をトランザクションエリアに限定して、静止したままであるがカラーシフトまたは輝度シフトを示すトランザクションエリア内のオブジェクトに相対的に大きな比重を置く必要がある。この目的を達成することができる一つの方法は次のようにして行なわれる。現在画像を現在の更新済み背景画像と比較して（例えば、サブトラクション処理及び閾値処理により）、ノイズの多い前景／背景ピクセルバイナリマップを取得する。次に、背景ピクセルのみを使用して現在画像及び背景画像のカラー統計を計算により収集する。これらの背景ピクセルは、これらのピクセルが撮影対象範囲の同じ静止オブジェクトに対応し、かつ補正する必要のあるカラーシフトを示すという理由により、使用される。一旦、背景というラベルが付されたピクセルの統計計算が行なわれると、変更を現在画像に加えて当該画像のカラーを背景画像のカラーに一致させる、従ってシステムによって処理されている画像の残りの部分と一致させる。一旦、この事前処理ステップが行なわれると、普通のビデオ処理ステップが進行する。このようにして、ビデオ分析の前にトランザクションモニタ３２はビデオソースに働いているオートゲイン特性を調整することができる。

注目領域がアイテムの移送、及び搬入の両方に関してモニタリングされる構成では、トランザクションモニタ３２はオブジェクト搬入エリア３０２−１を第１注目領域として定義し、そしてオブジェクト搬出エリア３０２−３を第２注目領域として定義することができる。この構成においては、オブジェクト移送イベント及び／又はオブジェクト搬入イベントの検出では、オペレータがオブジェクトをオブジェクト搬入エリアから移送するときのオブジェクト移送イベントを検出し、そして／またはオペレータがオブジェクトをオブジェクト搬出エリアに載置するときのオブジェクト搬入イベントを検出することができる。移送イベントに続いて搬入イベントを検出することにより、一つの構成では、トランザクションモニタ３２はビデオカウントを少なくとも一つのビデオトランザクションパラメータとしてインクリメントすることができる、または別の構成では、トランザクションモニタ３２は移送イベント及び搬入イベントそれぞれを生成することができ、これらのイベントを次に、トランザクションデータとの比較の間に処理してトランザクションデータに含まれないがビデオデータに現われるアイテムを特定する。

一つの構成では、複数の注目領域のうちの少なくとも一つの注目領域がコンベヤベルトを含み、コンベヤベルトによって、オブジェクト群の位置が、現在のビデオデータフレーム及び前のビデオデータフレームに捕捉されるように、コンベヤベルト上を時間的に移動する。例えば、オペレータがアイテム３０７を移送する動作として移送検出イベントが生成される場合のアイテム搬入エリアは、アイテム３０７をオペレータに向けて搬送するコンベヤベルトとすることができる。このような場合においては、トランザクションモニタ３２は、アイテム群が或る位置から次の位置に連続ビデオフレームの中で移動するときのアイテム群の移動または並進移動に補正を加えることができる。詳細には、トランザクションモニタ３２はビデオデータの少なくとも一部分を分析することができ、かつ注目領域内の前のビデオデータフレーム及び現在のビデオデータフレームを関連付けて、コンベヤベルト上のオブジェクト群の位置の移動量を求めることができる。トランザクションモニタ３２は、オブジェクト移送イベント、及び／又はオブジェクト搬入イベントを検出するときに、コンベヤベルト上のオブジェクト群の位置の移動量を把握することができる。

図８は、トランザクションモニタ３２が実行することができる処理動作のフローチャートであり、処理動作を実行することにより、ビデオ分析を行なうときに検出器が使用するエリア比較方法を提供することができる。

ビデオソース２００がビデオフレームを生成すると、ビデオソース（２００）はビデオフレームを出力する。第１ステップ２０２では、オブジェクト群を当該フレーム画像内に特定する。この操作を行なうための一つの方法では、現在のフレームを背景モデルと比較して、画像内の前景要素群を、またはオブジェクト群を抽出する。

次のステップ２０４では、オペレータオブジェクトを切り出す。この操作を行なうための一つの方法では、オペレータが居る可能性の高い位置に関するアプリオリな情報を使用する。例えば、オペレータが特定の区画位置に立っていることが分かっている場合、当該位置の最も大きい移動オブジェクトがオペレータであると推定することができる。この操作を行なうための別の方法では、オペレータが袋詰めエリアに移動して別のアイテムを載置するときに、注目領域の境界のエッジを横切って移動しているオブジェクトを特定する。

次のステップ２０６では、システムは、オペレータオブジェクトが注目領域内に延び出しているかどうかをチェックする。次のステップ２０８においてオペレータオブジェクトが注目領域内に位置する場合、システムはステップ２１０において、オペレータが前のフレームの注目領域にも含まれていたかどうかをチェックする。オペレータが前のフレームの注目領域に含まれていなかった場合、前のフレームをステップ２１２でキーフレーム１として保存する。従って、キーフレーム１は、オペレータオブジェクトが注目領域に入ってしまう前の注目領域の画像である。オペレータオブジェクトが注目領域の外に移動した後の注目領域の画像との比較を行なう場合、システムは、新規オブジェクトが注目領域に搬入された、または注目領域から移送されたかどうかを判断することができる。ステップ２１０での判断に関係なく、システムは次に、ステップ２２４に進んでビデオが更に残っているかどうかをチェックする。

ステップ２０８で、オペレータオブジェクトが注目領域に含まれていないと判断される場合、ステップ２１４でキーフレーム１が既に保存されているかどうかをチェックする。キーフレーム１が既に保存されていることがない場合、当該事象は、オペレータオブジェクトが前のフレームの時点で、注目領域に未だ入っていないことを示唆している。そして、オペレータオブジェクトが現在のフレームの注目領域にも未だ入っていないので、オペレータによる新規のオブジェクト搬入／移送に関して注目領域を分析する必要は全くない。次に、システムはステップ２２４に進んでビデオが更に残っているかどうかをチェックする。

ステップ２１４における判断がｙｅｓの場合、ｙｅｓは、オペレータオブジェクトが注目領域に前に既に入ってしまっており、かつ最後のフレームの時点で未だ注目領域から出て行っていないことを示唆している。従って、オペレータオブジェクトが注目領域にはもはや含まれなくなった時点では、オペレータオブジェクトが丁度、注目領域から出て行ったはずである。従って、現在のフレームがステップ２１６でキーフレーム２として保存される。

ステップ２１８では、キーフレーム１及びキーフレーム２のオブジェクトエリアを比較する。このプロセスについて以下に更に詳細に説明する。
ステップ２２０で、実際に大きな変化（例えば、閾値量を上回る）がオブジェクトエリアにキーフレーム１とキーフレーム２との間であったと判断される場合、ステップ２２２でアイテムカウントをインクリメントする、または検出イベントを生成する。

ステップ２２０での判断に関係なく、システムはステップ２２３に進み、このステップでは、システムはキーフレーム１及び２をリセット（または消去）して、オペレータオブジェクトがもはやＲＯＩ（注目領域）内に含まれないと考えることができることを通知する。

次に、システムはステップ２４に進んで、ビデオが更に残っているかどうかをチェックする。ビデオが残っていない場合、アイテムカウントを返す。ビデオが更に残っている場合、ステップ２２８においてビデオを次のフレームに進め、そしてシステムはループをステップ２０２から再開する。

図９は、キーフレームエリア比較を可能にするためにトランザクションモニタ３２が実行する処理ステップのフローチャートである。この図は、一つの例示としての方法を示し、この方法によって、２つのキーフレームを比較して、注目領域内のオブジェクトエリアの変化を検出してオブジェクト搬入またはオブジェクト移送を通知する。

この例では、キーフレーム１（ステップ２５０）は、オペレータオブジェクトが注目領域に入ってしまう前のビデオフレームである。キーフレーム２（ステップ２５４）は、オペレータオブジェクトが注目領域から出て行った後のビデオフレームである。空のベース画像（ステップ２５２）は、注目領域にオブジェクトを含まないシーンの画像である。注目領域（ステップ２５９）は、画像のどの領域に注目するかを強調したバイナリマップである。

ステップ２５６，２５８，２６０，及び２６２では、キーフレーム１に関連する処理について説明している。
ステップ２５６では、キーフレーム１及び空のベース画像を比較して（サブトラクション処理及び閾値処理により）バイナリオブジェクトマップ（ステップ２５８）を生成する。このオブジェクトマップは、オペレータオブジェクト及び他のオブジェクトを注目領域内に含む空のベース画像の一部分ではない、画像の全ての新規オブジェクトを含むことができる。

ステップ２６０では、注目領域内のオブジェクトを、オブジェクトマップ（ステップ２５８）を取り込み、そしてこのマップを注目領域（ステップ２５９）でマスクすることにより切り出して、注目領域内のオブジェクトのみが残るようにする。マスキングを実行する一つの方法は、バイナリオブジェクトマップとバイナリ注目領域マップとの論理積演算を実行することにより行なわれる。新規に得られるオブジェクトマップはキーフレーム１のオブジェクトマップ（ステップ２６２）である。

ステップ２６４，２６６，２６８，及び２７０では、キーフレーム２のオブジェクトマップ（ステップ２７０）をキーフレーム２（ステップ２５４）から類似の手法により生成する。

ステップ２７２では、注目領域内でのキーフレーム１とキーフレーム２との間の移動量を求める。このような操作は、相関法、差の二乗和、フロー分析などのような標準の手法を使用することにより行なって注目領域を重ね合わせ、そしてキーフレーム１とキーフレーム２との間で起こった移動量を求めることができる。ステップ２７２では移動量２７４を生成する。

移動量２７４をステップ２７６において適用してキーフレーム２のオブジェクトマップ２７０をキーフレーム１のオブジェクトマップと重ね合わせる。重ね合わせたキーフレーム２のオブジェクトマップ２７８が生成される。

ステップ２８０では、キーフレーム１のオブジェクトマップ２６２の面積をキーフレーム２のオブジェクトマップ２７８の面積と比較する。これらのオブジェクトマップの各々の面積はバイナリオブジェクトマップの合計として算出することができる。

ステップ２８２において面積に十分に大きな変化が生じた場合（すなわち、閾値を超える）、面積が変化したことを示すＹｅｓをステップ２８４で返す。面積に変化が生じなかった場合、面積が変化しなかったことを示すＮｏをステップ２８６で返す。

図１０は、トランザクションモニタ３２による処理について説明した処理ステップのフローチャートであり、トランザクションモニタ３２による処理によって、すり抜けアイテム検出方法が提供される。すり抜けは、予測アイテムカウント及び実際のアイテムカウントを、全トランザクションの時間窓の期間に渡って比較することにより検出することができるので、期間がほぼアイテム毎の比較を可能とするような期間である限り、時間窓を相対的に短くすることもできる。

各個々のトランザクションアイテムのエントリ（すなわち、スキャン、キー入力エントリ、ＲＦＩＤ読み取りなど）の期間を含む時間窓の間に、アイテムは一つだけトランザクションを通過して処理されると予測される。目視カウントが１よりも大きい場合、当該事象は、不審挙動が発生したことを示唆している。同様に、各個々の実際の目視アイテム検出の期間を含む時間窓の間に、対応するＰＯＳアイテムのエントリを行なう必要がある。ＰＯＳエントリが行なわれない場合、これは、実際に処理されたアイテムがデータに従って予測されることがなかったことを意味するので、不審挙動（例えば、潜在的なすり抜け）を示唆することになる。この形態について以下に更に詳細に説明する。

アイテム検出プロセス４０２は、ビデオをビデオソース４００から取り込み、そしてビデオをトランザクションに含まれる次のアイテムを検出するまで進める。この操作は、種々の方法のいずれかの方法によって行なうことができ、これらの方法として、これらには制限されないが、搬入／移送検出、面積差による比較、スキャナモーション検出などを挙げることができる。これによって、アイテム検出時間４０４が生成される。

次に、ステップ４１０では、システムはトランザクションアイテム時間データ（ステップ４０８）をトランザクションデータソース（ステップ４０６）から取り出し、そして当該データをアイテム検出時間（ステップ４１０）と比較する。この比較は、トランザクションアイテム時間がアイテム検出時間に一致しているかどうかを示す。

ステップ４１２では、比較結果をチェックする。トランザクション時間がアイテム検出時間に一致している場合、予測挙動及び実際の挙動が一致し、そして現在の目視検出アイテムに「疑わしくない」というフラグ（ステップ４１４）を立てる。トランザクション時間がアイテム検出時間に一致していない場合、予測挙動及び実際の挙動が一致せず、そして現在の目視検出アイテムに「疑わしい」というフラグを立て、そして不審アイテムログ（ステップ４１６）に入力する。

一致を判断することができる一つの方法は、いまだに一致していないトランザクションアイテム時間が、アイテム検出に十分に近い時間（例えば、或る一定閾値、または動的閾値よりも短い）に含まれるかどうかを判断することによって行なわれる。トランザクションアイテム時間がアイテム検出に十分に近い時間に含まれる場合、検出をトランザクション時間に一致させることができる。トランザクションアイテム時間がアイテム検出に十分に近い時間に含まれない場合、アイテム検出は一致しないと見なされる。別の方法では、検出されるアイテムの合計数だけでなく、トランザクションアイテムの合計数の記録をつける。検出アイテムが取引アイテムよりも、或る閾値の個数だけ多い場合（例えば、アイテムが１個だけ多い場合）、最後に検出されるアイテムが一致しないと見なされ、そして記録は、次の不一致アイテムが発生するまでリセットされる。別の方法では、目視アイテム検出が同じアイテムトランザクション時間区間内（ｉｎｔｅｒ−ｔｒａｎｓａｃｔｉｏｎ−ｉｔｅｍ ｉｎｔｅｒｖａｌ）に１回よりも多い回数で行なわれるかどうかを、図１２の例に示すように調査する。１回よりも多い回数の目視アイテム検出が同じアイテムトランザクション時間区間内で行なわれる場合、これらの回数のアイテム検出のうちの少なくとも１回のアイテム検出は、或るトランザクションアイテム時間に一致しないはずである。このような場合には、アイテムトランザクション時間区間自体が疑わしいと考えることができる。

ステップ４１８においてビデオが更に残っている場合、システムはステップ４０２に進んでループを再開する。ビデオが残っていない場合には、システムはステップ４２０に進んで不審アイテムのログを返す。

このようにして、システムは、「すり抜け」を不審挙動として特定することができるすり抜けアイテム検出方法を提供する。
他の構成は、顧客及び／又は従業員存在（ｐｒｅｓｅｎｃｅ）及び追跡（ｔｒａｃｋｉｎｇ）を利用する機能を備える。このような構成は、カメラの簡易な見下ろしショットの他に、「肩乗せタイプの」カメラの遠近ショットを使用することができる。レジ係がキャッシュレジスタの位置に立っている背後にカメラを据え付けて、カメラが彼または彼女の肩越しに勘定台、キャッシュレジスタ、及び顧客を撮影している場合においては、本方法では、勘定台の邪魔になって勘定台を見えなくしているオブジェクトを特定することにより、従業員を勘定台に近い側のオブジェクトとして特定することができる。これとは異なり、顧客オブジェクトは勘定台の向こうに見えるが、勘定台の上側エッジによって途切れたオブジェクトとして特定される。一つの構成では、一旦、顧客または従業員が特定されると、彼または彼女の位置はシステムによって追跡され、そしてラベルが付される。

図６は、トランザクションモニタ３２が一つの構成において用いる処理ステップを示すフローチャートであり、処理ステップによって、顧客及び／又は従業員存在（ｐｒｅｓｅｎｃｅ）検出及び追跡（ｔｒａｃｋｉｎｇ）が可能になる。ステップ２５４では、入力画像２５０及び背景ベース画像２５２を比較して、画像の全ての非背景オブジェクト（ｎｏｎ−ｂａｃｋｇｒｏｕｎｄ ｏｂｊｅｃｔｓ）を示す全てのオブジェクトバイナリマップを生成する。このような比較を行なう一つの代表的な方法では、サブトラクション処理に続いて閾値処理を行ない、更に続いて形態的演算を行なって、ノイズのバイナリマップを「リセットする」。次に、次のステップ２５６では、従業員及び／又は顧客オブジェクトセグメント化が、全てのオブジェクトバイナリマップに対して、従業員及び／又は顧客オブジェクトセグメント化について説明した次の節、及び図７において説明されるように行なわれる。

ステップ２６８において従業員オブジェクトが存在する場合、従業員オブジェクトにステップ２７０でラベルを付ける。ステップ２５８において顧客オブジェクトが存在しない場合、プロセスはステップ２８４で次のビデオフレームに進む。そうではなく、ステップ２６０において同じ顧客オブジェクトが前のフレームに含まれる場合、ステップ２６２では、顧客オブジェクトが時間的に静止しているかどうかを判断する。顧客オブジェクトが時間的に静止している場合、顧客オブジェクトは実際には、ショッピングカートのような無生物オブジェクトである可能性がある。その場合には、プロセスは顧客フラッグをステップ２８０においてリセットし、次に静止オブジェクトを背景ベース画像にステップ２８２において組み込む。顧客オブジェクトが時間的に静止していない場合、当該オブジェクトは実際にはヒトであると推定され、そして当該オブジェクトに、ステップ２６６において顧客というラベルを付ける。次に、静止しているかどうかに拘らず、プロセスはステップ２８４において次のビデオフレームに進む。

ステップ２６０において同じ顧客オブジェクトが前のフレームに含まれていなかった場合、顧客オブジェクトをステップ２７２で追跡する。追跡は、注目オブジェクト群の質量中心のシフトを追跡することにより行なわれる。顧客オブジェクトが勘定台領域（例えば、３０２−１，３０２−２，３０２−３）に近い場所に位置する、すなわち勘定台の位置に立っているような場合、カートのような静止オブジェクトが存在するかどうかを判断する。静止オブジェクトが存在する場合、プロセスは前に説明したようにステップ２８２に進む。静止オブジェクトが存在しない場合、顧客存在のフラグをステップ２７８で立て、そして顧客にステップ２６６でラベルを付ける。

図７は、トランザクションモニタ３２が実行する処理を示す処理ステップのフローチャートであり、処理ステップによって、従業員／顧客オブジェクトのセグメント化が可能になる。

ステップ２０４では、入力画像２００及び背景ベース画像２０２を比較して、画像の全ての非背景オブジェクトを示す全てのオブジェクトバイナリマップを生成する。このような比較を行なう一つの代表的な方法では、サブトラクション処理に続いて閾値処理を行ない、更に続いて形態的演算を行なって、ノイズのバイナリマップを「リセットする」。

ステップ２０６では、バイナリオブジェクトマップが、いずれかのオブジェクトを含んでいるかどうかについてチェックする。オブジェクトが含まれていない場合、ステップ２０８において、ビデオを次のフレームに進め、そして処理を再び、ループの始点から継続する。ステップ２０６においてオブジェクト群がバイナリオブジェクトマップに含まれている場合、これらのオブジェクトに対してラベル付け操作をステップ２１０において行なう。次に、ステップ２１２では、ラベル付けされた最初のオブジェクトが選択される。ステップ２１４においてオブジェクトが従業員注目領域３０２−４にのみ含まれることが判明する場合、オブジェクトを従業員だけのバイナリマップにステップ２１８において加える。従業員注目領域３０２−４は通常、従業員または他のオペレータ（顧客または勘定台上のアイテムに対向する位置の）だけが現われる勘定台の手前側である。

ステップ２１６においてオブジェクトが顧客注目領域３０２−５にのみ含まれることが判明する場合、オブジェクトを顧客だけのバイナリマップにステップ２２８において加える。顧客注目領域３０２−５は通常、画像の中の勘定台上部の上部エッジの真上に位置し、この位置に、顧客が勘定台の位置に立っているとすると現われる。

次に、ステップ２２０においてオブジェクトが勘定台注目領域（例えば、３０２−１，３０２−２，または３０２−３）（勘定台上部）に含まれることが判明する場合、オブジェクトは勘定台上のアイテムである可能性があり、そして当該オブジェクトを勘定台だけのバイナリマップにステップ２２２において加える。ステップ２２４においてオブジェクトが従業員注目領域３０２−４、及び勘定台注目領域３０２−１，３０２−２，及び３０２−３のうちの一つ以上の領域の両方に現われるが、顧客注目領域３０２−５には現れない場合、オブジェクトは従業員またはオペレータであると判断され、そして当該オブジェクトを従業員だけのバイナリマップにステップ２１８において加える。

ステップ２２６においてオブジェクトが顧客注目領域３０２−５、及び勘定台注目領域３０２−１，３０２−２，または３０２−３のうちの一つ以上の領域の両方に現われるが、従業員注目領域３０２−４には現れない場合、オブジェクトは顧客であると判断され、そして当該オブジェクトを顧客だけのバイナリマップにステップ２２８において加える。

ステップ２３０においてオブジェクトが３つの注目領域の全て（従業員注目領域３０２−４、顧客注目領域３０２−５、及び勘定台注目領域３０２−１，３０２−２，及び３０２−３のうちの一つ以上の領域）に含まれる場合、当該オブジェクトは、従業員画像が部分的に顧客の画像と重なる合体オブジェクトである可能性がある。従って、当該オブジェクトを、従業員及び顧客のバイナリマップにステップ２３２において加える。

オブジェクトが処理された後、ステップ２３４において、当該オブジェクトを全オブジェクトバイナリマップから取り除いて、ラベルが付された次のオブジェクトを処理することができるようにする。

ステップ２０６においてオブジェクトが全オブジェクトバイナリマップに依然として残っている場合、処理をステップ２１０で、次のオブジェクトに対して継続して行なう。そうではなく、画像の中の全オブジェクトが既に処理されてしまっている場合、処理はステップ２０８において、次のビデオフレームに進む。

このようにして、システムはオペレータオブジェクトまたは顧客オブジェクトを特定して、このオブジェクトをアイテムオブジェクトからビデオ分析において明確に区別することができる。

システム及び方法について、システム及び方法の構成を参照しながら詳細に示し、そして説明してきたが、この技術分野の当業者であれば、種々の変更をシステム及び方法の形態及び詳細に関して、添付の特許請求の範囲によって規定される本発明の技術範囲から逸脱しない範囲において加え得ることが理解できる。従って、本発明は上に提示した構成例によって制限されない。

ネットワーク環境の構成例を示し、ネットワーク環境は、ここの開示に従って構成されるトランザクションモニタを用いて構成されるビデオサーベイランスシステム及びコンピュータシステムを含む。 トランザクションエリア内のすり抜け挙動を検出するトランザクションモニタによる処理に関する一つの構成の動作を示すフローチャートである。 トランザクションモニタが、誤識別アイテムが検出される構成例において実行する処理のフローチャートである。 注目領域における挙動を検出してアイテムの存在を通知する一つの方法を示す。 トランザクションモニタが一つの構成において、トランザクションに含まれるアイテムを、ビデオデータ分析結果を使用してカウントする処理を示す。 トランザクションモニタが実行することができる処理の一つの方法を示し、この処理によって、オブジェクト移送イベント及び搬入イベントの検出が可能になる。 トランザクションモニタが一つの構成において使用して顧客及び／又は従業員の存在の検出及び追跡を可能にする処理ステップを示すフローチャートである。 トランザクションモニタ３２が従業員及び／又は顧客オブジェクト区分けを実現するために実行する処理を示す処理ステップのフローチャートである。 ビデオ分析を行なうときに検出器が使用するエリア比較方法を提供するためにトランザクションモニタが実行することができる処理動作のフローチャートである。 キーフレームエリア比較を可能にするためにトランザクションモニタが実行する処理ステップのフローチャートである。 トランザクションモニタによる処理について説明した処理ステップのフローチャートであり、トランザクションモニタによる処理によって、すり抜けアイテム検出方法が提供される。 ビデオデータのフレーム群の例を示し、これらのフレームは、トランザクションエリアがイベントの検出前に現われ、そしてイベントの検出後に現われる様子を示している。 トランザクションマネージャがどのようにして、１回よりも多くの目視アイテム検出がトランザクション−アイテム間の同じ時間間隔内に行なわれるかどうかを判断することができるかについて示すイベント群の時間系列図である。

Claims (34)

1. 不審挙動を検出する方法であって、
   トランザクションエリアを監視する少なくとも一つのビデオカメラから送出されるビデオデータを取得すること、
   前記ビデオデータを分析して前記トランザクションエリアにおけるトランザクションに含まれるアイテムを追跡すること、
   追跡アイテムのビデオ分析結果をトランザクション端末で生成されたトランザクションデータと比較して不審挙動を特定すること、
   を備える方法。
2. 前記ビデオデータを分析して前記トランザクションに含まれるアイテムを追跡することは、前記トランザクションに含まれるアイテムの存在を自動的に特定することを含み、
   前記追跡アイテムのビデオ分析結果をトランザクションデータと比較することは、前記ビデオデータの分析において特定されたアイテムの存在が、前記トランザクションデータの中の対応する存在と一致するかどうかを判断し、一致しない場合に不審挙動を特定することを含む、請求項１記載の方法。
3. 前記トランザクションに含まれるアイテムの存在を自動的に特定することは、
   前記トランザクションエリアにおけるアイテムの挙動を検出すること、及び、
   前記トランザクションエリアにおけるオペレータの挙動を検出すること、
   のうちの少なくとも一つを含む、請求項２記載の方法。
4. 前記トランザクションに含まれるアイテムの存在を自動的に特定することは、
   前記トランザクションエリアの注目領域からのアイテムの移送を検出すること、及び、
   前記トランザクションエリアの注目領域へのアイテムの搬入を検出すること、
   のうちの少なくとも一つを含む、請求項２記載の方法。
5. トランザクション結果を判定する方法であって、
   トランザクションエリアに関連するビデオデータを取得すること、
   前記ビデオデータの少なくとも一部分を分析して、前記トランザクションエリアに関連するトランザクションの少なくとも一部分に関する少なくとも一つのビデオパラメータを取得すること、
   前記トランザクションエリアに関連するトランザクション端末から送出された少なくとも一つのトランザクションパラメータを取得すること、
   前記少なくとも一つのビデオパラメータを前記少なくとも一つのトランザクションパラメータと自動的に比較してトランザクション結果を確認すること、
   を備える方法。
6. 前記ビデオデータを取得することは、前記トランザクションエリアを監視する少なくとも一つの高所撮影ビデオカメラから送出されたビデオデータを取得することを含み、
   前記ビデオデータの少なくとも一部分を分析することは、前記ビデオデータを分析して前記トランザクションエリアにおけるトランザクションに含まれるアイテムを追跡することを含み、
   前記少なくとも一つのビデオパラメータを前記少なくとも一つのトランザクションパラメータと自動的に比較してトランザクション結果を確認することは、追跡アイテムのビデオ分析結果を前記トランザクション端末で生成されたトランザクションデータと比較して不審挙動を特定することを含む、請求項５記載の方法。
7. 前記ビデオデータの少なくとも一部分を分析することは、前記ビデオデータの少なくとも一部分における少なくとも一つの注目領域内で、アイテムの検出を示す１セットの検出イベントを少なくとも一つの検出器によって生成することを含み、
   前記少なくとも一つのビデオパラメータを前記少なくとも一つのトランザクションパラメータと自動的に比較することは、
   各検出器が、当該検出器に関する前記１セットの検出イベントをトランザクションデータの少なくとも一部分と比較して、当該検出器によって検出された複数のアイテムの中に、前記トランザクションデータの少なくとも一部分に示された複数のアイテムとは異なる少なくとも一つの明らかな不一致を特定すること、
   前記トランザクションに関する総合不審レベルを、前記少なくとも一つの検出器によって特定された明らかな不一致に基づいて特定すること、を含む、請求項５記載の方法。
8. 前記各検出器は、前記トランザクションエリアにおける前記ビデオデータの注目領域に適用されるビデオ処理アルゴリズムであり、
   前記１セットの検出イベントを比較することは、少なくとも一つの検出器からの少なくとも１セットの検出イベントを前記トランザクションデータの少なくとも一部分と一斉に比較して、前記トランザクションエリアにおいて処理される複数のアイテムの中の不一致を特定することを含む、請求項７記載の方法。
9. 前記ビデオデータの少なくとも一部分を分析することは、マシンを使った自動ビデオ分析技術により、前記トランザクションエリアに関連するアイテムのビデオイベントを検出することを含み、
   前記トランザクションエリアで行なわれるトランザクションに関する少なくとも一つのビデオパラメータを取得することは、前記トランザクションエリアに関連するアイテムのトランザクションイベントを示すトランザクションデータを特定することを含み、
   前記少なくとも一つのビデオパラメータを前記少なくとも一つのトランザクションパラメータと自動的に比較することは、前記ビデオイベントが前記トランザクションデータのトランザクションイベントとして特定されるか否かを判断し、その判断に従って、前記トランザクションイベントとして特定されないビデオイベントが発生する場所を示すビデオデータの特定部分を識別することを含む、請求項５記載の方法。
10. 前記ビデオデータの特定部分を識別することは、前記トランザクションイベントとして特定されないビデオイベントが発生する場所を示す前記ビデオデータの特定部分を、前記ビデオデータの一区分を検査する検査担当者に送信して、前記トランザクション期間中のアイテムの取引に関するオペレータの不審挙動を精査することを含む、請求項９記載の方法。
11. 前記少なくとも一つのビデオパラメータを前記少なくとも一つのトランザクションパラメータと自動的に比較することは、前記トランザクションデータに対する前記ビデオデータの自動ビデオ分析を行なうことによって生成された不審レベルを、前記ビデオデータの一区分に割り当てることを含む、請求項１０記載の方法。
12. 前記ビデオデータの少なくとも一部分を分析することは、
    注目領域をトランザクションエリア内に定義すること、
    前記注目領域内の第１セットのアイテムを示す第１ビデオデータフレームを自動的に特定すること、
    前記注目領域内の第２セットのアイテムであって、前記第１セットのアイテムとは視覚的に異なる当該第２セットのアイテムを示す第２ビデオデータフレームを自動的に特定すること、
    前記第２セットのアイテムに対する前記第１セットのアイテムの視覚的な相違を、前記ビデオデータの注目領域内にアイテムが存在していたことを示すイベントとして自動的に通知すること、を含み、
    前記少なくとも一つのトランザクションパラメータを取得することは、前記トランザクションエリアに関連するトランザクション端末に関連するトランザクションデータであって、前記アイテムがトランザクションアイテムとしてトランザクション端末に登録されたか否かを示す当該トランザクションデータを取得することを含み、
    前記少なくとも一つのビデオパラメータを前記少なくとも一つのトランザクションパラメータと自動的に比較することは、前記注目領域内にアイテムが存在していたことを示すイベントに対応するアイテムに関して前記トランザクションデータが欠落している場合に不審挙動を特定することを含む、請求項５記載の方法。
13. 前記ビデオデータの少なくとも一部分を分析することは、
    注目領域をトランザクションエリア内に定義すること、
    前記注目領域内の第１セットのアイテムを第１回目に自動的に特定すること、
    前記注目領域内の第２セットのアイテムであって、前記第１セットのアイテムとは視覚的に異なる当該第２セットのアイテムを第２回目に自動的に特定すること、
    前記第２セットのアイテムに対する前記第１セットのアイテムの視覚的な相違を、前記ビデオデータの注目領域内にアイテムが存在していたことを示すイベントとして自動的に通知すること、を含み、
    前記少なくとも一つのトランザクションパラメータを取得することは、前記トランザクションエリアに関連するトランザクション端末に関連するトランザクションデータであって、前記アイテムがトランザクションアイテムとしてトランザクション端末に登録されたか否かを示す当該トランザクションデータを取得することを含み、
    前記少なくとも一つのビデオパラメータを前記少なくとも一つのトランザクションパラメータと自動的に比較することは、前記注目領域内にアイテムが存在していたことを示すイベントに対応するアイテムに関して前記トランザクションデータが欠落している場合に不審挙動を特定することを含む、請求項５記載の方法。
14. 前記ビデオデータの少なくとも一部分を分析することは、前記トランザクションエリアを撮影したビデオのビデオ分析を行って、次の複数の項目のうちの少なくとも一つに関してビデオカウントを自動的に検出し生成することを含み、当該複数の項目は、
    前記トランザクションエリアを通過するオブジェクトの挙動、
    前記トランザクションエリア内の特定の注目領域内でのオブジェクトの挙動、
    前記トランザクションエリア内の複数の特定の注目領域内でのオブジェクトの挙動、
    前記トランザクションエリア内の特定の注目領域に侵入するオブジェクトの挙動、
    前記トランザクションエリア内の特定の注目領域から出て行くオブジェクトの挙動、
    を含む、請求項５記載の方法。
15. 前記ビデオデータを取得することは、前記トランザクションエリア内でアイテムが取引されているという示唆を含む前記ビデオデータを、前記トランザクションエリアのスキャナエリアとほぼ同じ高さのトランザクションエリアにおける少なくとも一つの注目領域から取得することを含み、
    前記トランザクションエリアを撮影したビデオのビデオ分析を行って前記オブジェクトの挙動のカウントを自動的に検出し生成することは、
    前記トランザクションエリア内の顧客、オペレータ、及びアイテムのうちの少なくとも一つを含むオブジェクトに関連する挙動であって、前記トランザクションエリア内で取引されるアイテムの存在を示す当該挙動を検出すること、及び、
    当該挙動を検出した後、前記トランザクションエリア内で検出されたアイテムの存在のレコードを維持すること、
    のうちの少なくとも一つを含む、請求項１４記載の方法。
16. 前記ビデオデータの少なくとも一部分を分析することは、前記ビデオデータの少なくとも一部分における少なくとも一つの注目領域からのビデオフレームを自動的に分析して、前記トランザクションに関連するアイテムの存在を示す対応するイベントを特定することを含み、
    前記トランザクションエリアにおいて行なわれる予測トランザクションに関する少なくとも一つの予測トランザクションパラメータを取得することは、前記トランザクション端末からのトランザクションデータの少なくとも一部分を分析して、前記トランザクションにおいて取引されているとして特定される一連のアイテムを特定することを含み、
    前記少なくとも一つのビデオパラメータを前記少なくとも一つのトランザクションパラメータと自動的に比較することは、前記トランザクションにおいて取引されているとして特定される一連のアイテムを、前記ビデオデータの分析により生成されたイベントと前記トランザクションデータとを比較することにより分析して、前記ビデオデータの分析により生成された少なくとも一つのイベントによって表されるアイテムが、前記トランザクションデータの少なくとも一部分の中の取引アイテムとして示されているか否かを判断することを含む、請求項５記載の方法。
17. 前記少なくとも一つのビデオパラメータを前記少なくとも一つのトランザクションパラメータと自動的に比較することは、前記ビデオデータの分析によるイベントのビデオタイムスタンプを、前記トランザクションデータの中で取引されていたものとして表わされるアイテムのトランザクションタイムスタンプに関連付けることにより、前記トランザクションデータの中に対応するレコードを持たないビデオデータ内のアイテムを示すイベントを特定することを含む、請求項１６記載の方法。
18. 前記ビデオデータの少なくとも一部分を分析することは、前記トランザクションエリア内で検出されたアイテムの画像認識を自動ビデオ分析を利用して行って、アイテムのビデオ識別情報を生成することを含み、
    前記少なくとも一つのトランザクションパラメータを取得することは、前記トランザクションエリア内で検出されたアイテムの予測アイテム識別情報を特定することを含み、
    前記少なくとも一つのビデオパラメータを前記少なくとも一つのトランザクションパラメータと自動的に比較することは、前記アイテムのビデオ識別情報を当該アイテムの予測識別情報と比較し、ビデオ識別情報が予測識別情報と異なる場合に不審挙動を表すトランザクション結果を通知することを含む、請求項５記載の方法。
19. 前記少なくとも一つのビデオパラメータを前記少なくとも一つのトランザクションパラメータと自動的に比較することは、
    前記トランザクションエリアに関連する不正挙動を示唆するトランザクション結果を検出すること、及び、
    前記トランザクションエリアに関連するオペレータエラーを示唆するトランザクション結果を検出すること、
    のうちの少なくとも一つを含む、請求項５記載の方法。
20. 前記ビデオデータの少なくとも一部分を分析することは、前記トランザクションエリアの注目領域内で取引されているアイテムの存在を示すオペレータのモーションを特定することを含み、
    前記少なくとも一つのトランザクションパラメータを取得することは、前記オペレータのモーションを特定することに対応するトランザクションデータの中に前記アイテムのレコードが含まれているか否かを通知することを含み、
    前記少なくとも一つのビデオパラメータを前記少なくとも一つのトランザクションパラメータと自動的に比較することは、前記トランザクションエリアの注目領域内でのオペレータのモーションが、取引されるアイテムの存在を示しているが、前記トランザクションデータの中にアイテムのレコードは含まれていないことを特定し、その特定に従って不審挙動を通知することを含む、請求項５記載の方法。
21. 前記ビデオデータの少なくとも一部分を分析することは、前記トランザクションエリア内で検出されたアイテムのビデオカウントをビデオ分析を使用して特定することを含み、
    前記トランザクションエリアにおいて行なわれるトランザクションの少なくとも一部分に関する少なくとも一つのトランザクションパラメータを取得することは、前記トランザクションエリア内のアイテムのトランザクションカウントを、前記トランザクションの少なくとも一部分に関連するトランザクションデータを分析することにより特定することを含み、
    前記少なくとも一つのビデオパラメータを前記少なくとも一つのトランザクションパラメータと自動的に比較することは、前記ビデオカウントを前記トランザクションカウントと比較し、ビデオカウントがトランザクションカウントと異なる場合に、不正トランザクション及びオペレータエラーのうちの少なくとも一つを表すトランザクション結果を通知することを含む、請求項５記載の方法。
22. 前記少なくとも一つのビデオパラメータを前記少なくとも一つのトランザクションパラメータと自動的に比較することは、前記トランザクション結果に関連する不審レベルを次の複数の項目のうちの少なくとも一つに基づいて調整することを含み、当該複数の項目は、
    ｉ）前記トランザクションカウントと前記ビデオカウントとの差の数、
    ｉｉ）前記トランザクションを処理するオペレータの履歴であって、少なくとも一つの前回のトランザクションが、当該履歴に示されるオペレータに関して疑わしいとして特定されていることを示す履歴、
    ｉｉｉ）前記ビデオデータ内にアイテムが検出されている注目領域の数、
    ｉｖ）前記トランザクションエリア内の異なる注目領域内でビデオデータ内のアイテムが検出される順番、
    ｖ）前記ビデオデータ内のアイテムのビデオ識別情報と、前記トランザクションデータから得られたアイテムのトランザクション識別情報とを比較したときの不一致であって、前記トランザクション識別情報がアイテムの価格及びアイテムの識別情報のうちの少なくとも一つであるときにおける不一致、
    ｖｉ）前記トランザクションを実行する端末の履歴、
    ｖｉｉ）前記トランザクションにおいて特定される他のアイテムの履歴であって、前記トランザクションデータを必要としないトランザクション内におけるアイテムを示唆する履歴、
    ｖｉｉｉ）前記トランザクションデータに含まれる１セットのアイテム、
    を含む、請求項２１記載の方法。
23. 前記ビデオデータの少なくとも一部分を分析することは、
    前記ビデオデータの第１注目領域からのアイテムの移送を検出すること、
    前記第１注目領域からのアイテムの移送を検出した後に、前記ビデオデータの第２注目領域への当該アイテムの搬入を検出すること、を含み、
    前記少なくとも一つのトランザクションパラメータを取得することは、
    前記トランザクション端末によって生成されるトランザクションデータを取得することを含み、
    前記少なくとも一つのビデオパラメータを前記少なくとも一つのトランザクションパラメータと自動的に比較することは、移送及び搬入が検出されたアイテムが取引アイテムとして前記トランザクションデータ内に存在するかどうかを当該トランザクションデータとの比較により特定し、アイテムが存在しない場合に、当該アイテムに関連する不審挙動の通知を行うことを含む、請求項５記載の方法。
24. 前記ビデオデータの少なくとも一部分を分析することは、前記アイテムの移送検出及び前記アイテムの搬入検出に応答して、ビデオカウントをインクリメントして前記トランザクションに関連するアイテムの存在を通知することを含み、
    当該方法はさらに、
    前記アイテムの移送検出、前記アイテムの搬入検出、及び前記ビデオカウントのインクリメントを、前記トランザクションが終了するまで繰り返することを含み、前記トランザクション終了時のビデオカウントは、前記ビデオデータの分析に基づいて当該トランザクションにおいて特定されるアイテムの合計数を表す、請求項２３記載の方法。
25. 前記ビデオデータの少なくとも一部分を分析することは、
    少なくとも一つの注目領域を前記ビデオデータ内に定義すること、
    前記少なくとも一つの注目領域の現在画像と更新済み背景画像との間の変化を特定するオブジェクトマップを計算すること、
    前記少なくとも一つの注目領域内の少なくとも一つのオペレータオブジェクトを切り出すこと、
    前記少なくとも一つの注目領域に対して前記オブジェクトの移送及び搬入の少なくとも一つが前記オブジェクトマップ及び前記オペレータオブジェクトの分析によって特定されるかどうかを検出すること、
    を含む、請求項５記載の方法。
26. 前記ビデオデータを分析することは、前記ビデオデータに画像調整処理を施して、前記ビデオデータの全領域に渡ってオートゲイン特性を補正することを含み、
    前記画像調整処理は、前記ビデオデータ内に捕捉されている注目領域の一部分に限定して施される、請求項２５記載の方法。
27. 前記画像調整処理を施すことは、
    前記トランザクションエリア内のオブジェクトであって、静止状態を維持し、かつカラーシフト及び輝度シフトのうちの少なくとも一つを示す当該オブジェクトに焦点を限定することを含む、請求項２６記載の方法。
28. 前記少なくとも一つの注目領域を定義することは、
    オブジェクト搬入エリアを第１注目領域として定義すること、
    オブジェクト搬出エリアを第２注目領域として定義すること、を含み、
    前記オブジェクトの移送イベント及び搬入イベントのうちの少なくとも一つを検出することは、
    オペレータがオブジェクトを前記オブジェクト搬入エリアから移送するとき、オブジェクト移送イベントを検出すること、
    オペレータがオブジェクトを前記オブジェクト搬出エリアに載置するとき、オブジェクト搬入イベントを検出すること、
    移送イベントに続く搬入イベントの検出に応答して、少なくとも一つのビデオトランザクションパラメータとしてビデオカウントをインクリメントすること、
    を含む、請求項２５記載の方法。
29. 前記少なくとも一つの注目領域のうちの少なくとも一つはコンベヤベルトを含み、現在のビデオデータフレーム及び前回のビデオデータフレーム内に捕捉されるコンベヤベルト上のオブジェクト群の位置は当該コンベヤベルトによって時間経過とともに移動し、
    前記ビデオデータの少なくとも一部分を分析することは、
    前記注目領域内の前回のビデオデータフレームと現在のビデオデータフレームとを関連付けて、前記コンベヤベルト上のオブジェクト群の位置の移動量を求めること、
    オブジェクト移送イベント及びオブジェクト搬入イベントのうちの少なくとも一つを検出するとき、前記コンベヤベルト上のオブジェクト群の位置の移動量を把握すること、
    を含む、請求項２５記載の方法。
30. 前記ビデオデータの少なくとも一部分を分析することは、
    搬入イベント及び移送イベントのうちの少なくとも一つに関連するアイテムの画像が、既に保存されているアイテムの画像とほぼ一致するかどうかを画像比較を行って判断すること、
    画像が実質的に一致しない場合に、前記トランザクションが潜在的不審挙動及び潜在的オペレータエラーのうちの一つを示唆するラベル取り替えイベントを潜在的に含んでいるものとして特定すること、
    を含む、請求項２５記載の方法。
31. 前記ビデオデータの少なくとも一部分を分析することは、
    前記トランザクションの少なくとも一部分の期間でオブジェクト群が順次移動する複数の領域に、前記トランザクションエリアを分割すること、
    前記複数の領域をアイテムが順次移動するときに、アイテムの自動ビデオ検出を行なって、前記少なくとも一つのビデオパラメータによって表されるパターンを取得することであって、前記トランザクションの少なくとも一部分の期間で前記複数の領域を移動するアイテムのビデオイベントを表す当該パターンを取得すること、を含み、
    前記少なくとも一つのトランザクションパラメータを取得することは、
    前記トランザクションの少なくとも一部分の期間で前記トランザクション端末によって検出されたアイテムを特定するトランザクションデータを取得することを含み、
    前記少なくとも一つのビデオパラメータを前記少なくとも一つのトランザクションパラメータと自動的に比較することは、前記トランザクションの少なくとも一部分の中でのアイテムのビデオイベントを表す前記パターンが、前記トランザクションの少なくとも一部分の期間で前記トランザクション端末によって検出されたアイテムを特定するトランザクションデータとの不一致を示しているか否かを判断し、パターンが不一致を示している場合に、前記トランザクション結果を不審トランザクションであると特定することを含む、請求項５記載の方法。
32. 前記アイテムの自動ビデオ検出を行うことは、
    アイテム搬入エリアにおける移送イベントであって、オペレータがアイテムを前記アイテム搬入エリアから移送したことを示す当該移送イベントを特定すること、
    アイテム搬出エリアにおける搬入イベントであって、オペレータがアイテムを前記アイテム搬出エリアに載置したことを示す当該搬入イベントを特定すること、
    を含む、請求項３１記載の方法。
33. 小売店での疑わしい取引行為を特定する方法であって、
    トランザクション端末を含むトランザクションエリアであって、顧客がアイテムをトランザクション中に取引する場所である当該トランザクションエリアから高所撮影ビデオデータを収集すること、
    前記高所撮影ビデオデータの少なくとも一部分に対して自動ビデオ分析を行って、前記トランザクションに関連する少なくとも一つのアイテムの存在を検出すること、
    前記ビデオデータに基づいて得られる、前記トランザクションに関連する少なくとも一つのアイテムの存在を、前記トランザクション端末で顧客が実際に取引するアイテムを示すトランザクションデータと比較することによって、顧客が所持し且つ前記トランザクション端末で取引されなかったアイテムを特定すること、
    を備える方法。
34. 小売店での疑わしい取引行為を特定するシステムであって、
    トランザクションエリアのビデオデータを撮影するように動作する少なくとも一つの高所撮影ビデオソースと、
    トランザクション中にアイテムが前記トランザクション端末の近傍領域内に載置されたときに、前記アイテムからトランザクションデータを取得するように動作する少なくとも一つのトランザクション端末と、
    前記少なくとも一つの高所撮影ビデオカメラから送出されたビデオデータを取得し、該ビデオデータを自動的に分析して前記トランザクションエリアにおけるトランザクションに含まれるアイテムを追跡し、その追跡アイテムのビデオ分析結果を、トランザクション端末によって生成されたトランザクションデータと比較して、前記アイテムに関連する不審挙動を特定するように動作するトランザクションモニタと、
    を備える、システム。

Images