JP2016500855A - 人の行動サマリを生成するためのシステムおよび方法 - Google Patents

Abstract

本技法の１つの態様によれば、方法は、１つまたは複数の画像キャプチャデバイスから、１つまたは複数のビデオを受信することを含む。この方法はさらに、１つまたは複数のビデオから、人のビデオループを生成することを含む。ビデオループは、商業地区における人を示す。この方法はまた、ビデオループから、動作クリップを生成することを含む。動作クリップは、商業地区において、人によって実行された疑わしい動作を含む。この方法はさらに、ビデオループおよび動作クリップを含む、人の行動サマリを生成することを含む。【選択図】図１

Description

本明細書において開示される主題は一般に、人の行動サマリを生成することに関する。より詳細には、この主題は、商業地区または環境において、人によって実行された潜在的に疑わしい動作を含む行動サマリ、を生成するためのシステムおよび方法に関する。

例えば、デパート、コンビニエンスストア、食料雑貨店、生産施設、病院等の商業地区は、盗難などのセキュリティ上の問題によって、収入の著しい損失に直面する。

このような盗難を減らすために、これら商業地区のいくつかは、盗難を検知するための自動追跡システムを実装している。このような自動追跡システムは、多くの欠点を有する傾向にある。例えば、盗難の行為の繊細さおよび複雑さにより、自動追跡システムは一般に、警報を発するイベントに対して非常に敏感になるように構築される。多くの場合、このような自動追跡システムは、誤警報を発し、例えば、コンビニエンスストアの顧客および保安要員に対して不便をもたらす。あるいは、この自動システムは、感度を低下させ、相当な量の盗難行動を見逃すかもしれない。

したがって、このような盗難を検知するための高度なシステムおよび方法に対するニーズがある。

米国特許出願公開第２０１０／０１５７０４９号明細書

本技法の１つの態様にしたがって、方法が開示される。この方法は、１つまたは複数の画像キャプチャデバイスから、１つまたは複数のビデオを受信することを含む。この方法はさらに、１つまたは複数のビデオから、人のビデオループを生成することを含む。このビデオループは、商業地区における人の移動を含む。この方法はまた、ビデオループから、動作クリップを生成することを含む。動作クリップは、商業地区において、人によって実行された疑わしい動作を含む。この方法はさらに、ビデオループおよび動作クリップを含む、人の行動サマリを生成することを含む。

本システムの１つの態様にしたがって、システムが開示される。このシステムは、１つまたは複数の画像キャプチャデバイスから、１つまたは複数のビデオを受信し、１つまたは複数のビデオから、人のビデオループを生成するための追跡モジュールを含む。このビデオループは、商業地区における人の移動を含む。このシステムはまた、ビデオループから、動作クリップを生成するための分析モジュールを含む。動作クリップは、商業地区において、人によって実行された疑わしい動作を含む。このシステムはさらに、ビデオループおよび動作クリップを含む、人の行動サマリを生成するためのサマリ生成器を含む。

本技法の１つの態様にしたがって、命令をエンコードするコンピュータプログラム製品が開示される。これら命令は、プロセッサによって実行された場合、プロセッサに対して、１つまたは複数の画像キャプチャデバイスから、１つまたは複数のビデオを受信させる。これら命令はさらに、プロセッサに対して、１つまたは複数のビデオから、人のビデオループを生成させる。このビデオループは、商業地区における人の移動を含む。これら命令はさらに、プロセッサに対して、ビデオループから、動作クリップを生成させる。動作クリップは、商業地区において、人によって実行された疑わしい動作を含む。これら命令はまた、プロセッサに対して、ビデオループおよび動作クリップを含む、人の行動サマリを生成させる。

本発明のこれらおよびその他の特徴、態様、および利点は、以下の詳細説明が、図面を通じて同一付号が同一部品を表わす添付図面を参照して読まれた場合により良く理解されるようになるであろう。

図１は、１つの実施形態にしたがって、行動サマリを生成するためのシステムを例示するブロック図である。 図２は、１つの実施形態にしたがうビデオアナライザを例示するブロック図である。 図３は、１つの実施形態にしたがう、商業地区における人の行動サマリを含む、ユーザインタフェースのダイヤグラム表示である。 図４は、１つの実施形態にしたがって、商業地区における人の行動サマリを生成するための方法を例示するフロー図である。 図５は、別の実施形態にしたがって、商業地区における人の行動サマリを生成するための方法を例示するフロー図である。

以下の明細書および特許請求の範囲では、以下の意味を有するように定義されるものとする多くの用語に対する参照がなされる。

単数形の“ａ”、“ａｎ”、および“ｔｈｅ”は、コンテキストに明確な別段の記載がない限り、複数の参照を含んでいる。

本明細書で使用されるように、用語「非一時的なコンピュータ読取可能な媒体」は、コンピュータ読取可能な命令、データ構造、プログラムモジュールおよびサブモジュール、または、任意のデバイスにおけるその他のデータなどの、短期および長期の情報の格納のための任意の方法または技法で実現される任意の有形なコンピュータベースのデバイスを表わすことが意図されている。したがって、本明細書に記載されている方法は、限定することなく、記憶デバイスおよび／またはメモリデバイスを含む、有形の、非一時的な、コンピュータ読取可能な媒体において具体化される実行可能な命令としてエンコードされうる。このような命令は、プロセッサによって実行された場合、プロセッサに対して、本明細書に記載された方法のうちの少なくとも一部を実行させる。さらに、本明細書で使用されるように、用語「非一時的なコンピュータ読取可能な媒体」は、一時的な伝搬信号であることを唯一除いて、限定することなく、揮発性および不揮発性の媒体、ならびにファームウェア、物理的および仮想的なストレージ、ＣＤ−ＲＯＭ、ＤＶＤなどのリムーバブルおよび非リムーバブルな媒体、ならびにネットワークまたはインターネットなどのその他任意のデジタルソースのみならず、まだ開発されていないデジタル手段を含む、非一時的なコンピュータ記憶デバイスを、限定することなく含む、すべての有形な、コンピュータ読取可能な媒体を含む。

本明細書で使用されるように、用語「ソフトウェア」と「ファームウェア」とは置換可能であり、限定することなく、モバイルデバイス、クラスタ、パーソナルコンピュータ、ワークステーション、クライアント、およびサーバを含むデバイスによる実行のためにメモリに格納された任意のコンピュータプログラムを含む。

本明細書で使用されるように、用語「コンピュータ」および例えば「コンピューティングデバイス」などの関連用語は、コンピュータとして当該技術分野において称される集積回路に限定されず、少なくとも１つのマイクロコントローラ、マイクロコンピュータ、プログラマブルロジックコントローラ（ＰＬＣ）、特定用途向け集積回路、およびその他のプログラマブル回路を広く称しており、これらの用語は、本明細書では置換可能に使用される。

明細書および特許請求の範囲全体にわたって本明細書で使用されるように、近似的な文言は、関連する基本機能における変化をもたらすことなく許容可能に変動しうる任意の量的な表現を修正するために適用されうる。したがって、「約」および「実質的に」などの用語（単数または複数）によって修正された値は、指定された正確な値に限定されるものではない。少なくともいくつかの事例では、この近似的な文言は、値を測定するための機器の精度に対応しうる。ここで、および、明細書と特許請求の範囲全体にわたって、範囲限定が、組み合わされ、および／または、置換されうる。そして、コンテキストまたは文言に別段の記載がない限り、このような範囲は、特定され、そこに含まれているすべての部分範囲を含んでいる。

人の行動サマリを生成するためのシステムおよび方法が本明細書に記載される。図１は、１つの実施形態にしたがって、人の行動サマリを生成するためのシステム１００のブロック図を例示する。例示されたシステム１００は、（画像キャプチャデバイス１２０として、個々にまたは集合的に称される）複数の画像キャプチャデバイス１２０ａ、１２０ｂ、１２０ｎと、ネットワーク１７０を介して通信的に接続されているビデオアナライザ１３０とを含む。

複数の画像キャプチャデバイス１２０は、例えば、カメラ、デジタルビデオレコーダ、カムコーダ、閉回路テレビ、ウェブカム等の、ビデオを記録するように構成されたタイプのデバイスである。１つの実施形態では、画像キャプチャデバイス１２０の少なくとも１つはさらに、物理界における点と、画像キャプチャデバイス１２０との間の幾何学的な距離を表わす深さデータを測定するように構成される。１つの実施形態では、画像キャプチャデバイス１２０は、例えば、デパート、食料雑貨店、コンビニエンスストア、ヘルスクリニック、サロン、空港、生産工場等の商業地区に設置され、商業地区内の背景のビデオを記録するように構成される。

１つの実施形態によれば、画像キャプチャデバイス１２０は、記録されたビデオおよび深さデータを、ネットワーク１７０を介してビデオアナライザ１３０に送信する。画像キャプチャデバイス１２０ａ、１２０ｂ、および１２０ｎは、それぞれ信号ライン１２５ａ、１２５ｂ、および１２５ｎを介してネットワーク１７０に通信的に接続されている。例示された実施形態では、複数の画像キャプチャデバイス１２０が図示されているが、別の実施形態では、ネットワーク１７０に単一の画像キャプチャデバイスが接続されうる。

ビデオアナライザ１３０は、画像キャプチャデバイス１２０から受信されたビデオを分析し、行動サマリを生成するように構成された任意のタイプのデバイスである。１つの実施形態では、ビデオアナライザ１３０は、深さデータなどの特徴を含む商業地区の１つまたは複数のビデオを受信し、商業地区における１つまたは複数の人の行動サマリを生成する。例示されたシステム１００では、ビデオアナライザ１３０は、ビデオ分析アプリケーション１４０およびディスプレイデバイス１５０を含む。ビデオアナライザ１３０は、信号ライン１３５を介してネットワーク１７０に通信的に接続されている。例示された実施形態では、１つのビデオアナライザ１３０が図示されているが、その他の実施形態では、複数のビデオアナライザ１３０が、ネットワーク１７０に接続されうる。ビデオアナライザ１３０は、図２を参照して、より詳細に以下に記載されている。

示された実施形態では、ディスプレイデバイス１５０は、ビデオ画像および／または行動サマリを示すために使用される。この実施形態は、ディスプレイデバイス１５０を図示しているが、ポスト処理されたデータのためのその他の実施形態は、本システムのスコープ内にあるその他のタイプの警告を含んでいる。さらに、ディスプレイデバイス１５０は、ビデオアナライザ１３０に接続されている必要はなく、ビデオ画像および行動サマリは、遠隔のディスプレイデバイス１５０へ送信されうる。

示された実施形態は、ネットワーク１７０を介して通信的に接続された画像キャプチャデバイス１２０を示しているが、１つの実施形態では、ビデオアナライザ１３０は、処理が画像キャプチャデバイス内で実行されるように、画像キャプチャデバイス１２０に接続される。

ネットワーク１７０は、有線のタイプでも無線のタイプでもよく、星形構成、トークンリング構成、またはその他公知の構成などの任意の数の構成を有しうる。さらに、ネットワーク１７０は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）（例えば、インターネット）、および／または、複数のデバイスが通信しうるその他任意の相互接続されたデータ経路を含みうる。１つの実施形態では、ネットワーク１７０は、ピアツーピアネットワークでありうる。ネットワーク１７０はまた、さまざまな異なる通信プロトコルでデータを送信するため、電気通信ネットワークの一部に接続されている、またはそれらを含んでいる。別の実施形態では、ネットワーク１７０は、ショートメッセージングサービス（ＳＭＳ）、マルチメディアメッセージングサービス（ＭＭＳ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ダイレクトデータコネクション、ＷＡＰ、電子メール等を介してなど、データを送信および受信するためのＢｌｕｅｔｏｏｔｈ（登録商標）通信ネットワークまたはセルラ通信ネットワークを含む。画像キャプチャデバイス１２０およびビデオアナライザ１３０には１つのネットワーク１７０しか接続されていないが、その他のタイプのネットワーク１７０が展開されうる。多数のネットワークが、冗長性を提供することができ、設計基準にしたがって最適に構成されうる。

図２は、１つの実施形態にしたがうビデオアナライザ１３０を例示しているブロック図である。ビデオアナライザ１３０は、ビデオ分析アプリケーション１４０、少なくとも１つのプロセッサ２３５、およびメモリ２３７を含む。ビデオ分析アプリケーション１４０は、通信モジュール２０２、追跡モジュール２０４、分析モジュール２０６、およびサマリ生成器２０８を含む。ビデオ分析アプリケーション１４０、プロセッサ２３５、およびメモリ２３７のモジュールは、互いに通信するためにバス２２０に接続されている。

プロセッサ２３５は、計算の実行、および／または、メモリ２３７に格納されたデータの取得のために、少なくとも１つの算術論理ユニット、マイクロプロセッサ、汎用コントローラ、またはその他のプロセッサアレイを含みうる。別の実施形態では、プロセッサ２３５は、マルチコアプロセッサである。プロセッサ２３５は、データ信号を処理し、複雑命令セットコンピュータ（ＣＩＳＣ）アーキテクチャ、縮小命令セットコンピュータ（ＲＩＳＣ）アーキテクチャ、または、命令セットの組み合わせを実施するアーキテクチャを含む、さまざまなコンピューティングアーキテクチャを含みうる。プロセッサ２３５の処理能力は、データの取得およびデータの送信をサポートするために制限されうる。プロセッサ２３５の処理能力はまた、さまざまなタイプの特徴抽出、変調、符号化、多重化等を含む、より複雑なタスクを実行しうる。他の実施形態では、別のタイプのプロセッサ、オペレーティングシステム、および物理的な構成もまた構想されている。

メモリ２３７は、非一時的な記憶媒体でありうる。例えば、メモリ２３７は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）デバイス、スタティックランダムアクセスメモリ（ＳＲＡＭ）デバイス、フラッシュメモリ、またはその他のメモリデバイスでありうる。１つの実施形態では、メモリ２３７はまた、不揮発性メモリまたは類似の永久記憶デバイス、およびハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、コンパクトディスク読取専用メモリ（ＣＤ−ＲＯＭ）デバイス、デジタル多用途ディスク読取専用メモリ（ＤＶＤ−ＲＯＭ）デバイス、デジタル多用途ディスクランダムアクセスメモリ（ＤＶＤ−ＲＡＭ）デバイス、デジタル多用途ディスクリライタブル（ＤＶＤ−ＲＷ）デバイス、フラッシュメモリデバイス、または、その他の不揮発性記憶デバイスなどの媒体を含む。

メモリ２３７は、関連付けられた機能をビデオ分析アプリケーション１４０が実行するために必要なデータを格納する。１つの実施形態では、メモリ２３７は、ビデオ分析アプリケーション１４０のモジュール（例えば、通信モジュール２０２、サマリ生成器２０８等）を格納する。別の実施形態では、メモリ２３７は、画像キャプチャデバイスから受信された１つまたは複数のビデオ、例えばビデオアナライザ１３０の管理者によって定義された疑惑しきい値および時間しきい値、人に関連付けられたメタデータ等を格納する。これらしきい値、および、人に関連付けられたメタデータは、以下にさらに詳細に記載される。

通信モジュール２０２は、画像キャプチャデバイスとビデオアナライザ１３０のモジュールとの間の通信を取り扱うためのコードおよびルーチンを含む。１つの実施形態では、通信モジュール２０２は、画像キャプチャデバイス１２０とビデオアナライザ１３０のモジュールとの間の通信を取り扱うための機能を提供するために、プロセッサ２３５によって実行可能な命令のセットを含む。別の実施形態では、通信モジュール２０２は、メモリ２３７に格納され、プロセッサ２３５によってアクセス可能かつ実行可能である。何れの実施形態でも、通信モジュール２０２は、バス２２０によって、プロセッサ２３５と、ビデオ分析アプリケーション１４０のその他のモジュールとの通信および協調のために適応される。

１つの実施形態では、通信モジュール２０２は、画像キャプチャデバイス１２０からビデオを受信し、追跡モジュール２０４にビデオを送る。別の実施形態では、通信モジュール２０２は、サマリ生成器２０８から、行動サマリを含む、ユーザインタフェースを表示するためのグラフィックデータを受信する。このような実施形態では、通信モジュール２０２は、（図１に示されている）ディスプレイデバイス１５０に、グラフィックデータを送信する。本明細書で使用されているように、「画像」は、ビデオの１つまたは複数のフレームを称する。

追跡モジュール２０４は、ビデオから、人の検知および追跡を行い、この人のビデオループを生成する、ためのコードおよびルーチンを含む。例えば、ビデオループは、商業地区における人の移動の画像を表示する。このような例において、人の移動は、この人が商業地区に入ってから、この商業地区を出るまでに、この人によって実行された行動を含む。１つの実施形態では、追跡モジュール２０４は、ビデオから、人の検知および追跡を行い、この人のビデオループを生成する、ための機能を提供するために、プロセッサ２３５によって実行可能な命令のセットを含む。別の実施形態では、追跡モジュール２０４はメモリ２３７に格納され、プロセッサ２３５によってアクセス可能かつ実行可能である。何れの実施形態でも、追跡モジュール２０４は、バス２２０によって、プロセッサ２３５とビデオ分析アプリケーション１４０のその他のモジュールとの通信および協調のために適応される。

１つの実施形態では、追跡モジュール２０４は、商業地区に設置された画像キャプチャデバイスから、通信モジュール２０２を介して、ビデオおよび関連付けられた深さデータを受信する。追跡モジュール２０４は、例えば、受信した深さデータにおけるノンパラメトリックカーネル密度推定を実行することによって、人に対応しうるビデオにおける興味のある前景領域をノミネートする。追跡モジュール２０４は、人の大きさおよび形状に類似した幾何学的形状（例えば、３次元楕円形等）を用いて、ノミネートされた興味のある領域を分析することによって、ビデオにおける人を検知する。その後、追跡モジュール２０４は、検知された人を含むビデオから、画像のセット（すなわち、フレーム）を抽出し、ビデオループを生成する。さらに、追跡モジュール２０４は、ビデオから、この人に関連付けられたメタデータを決定する。一例におけるメタデータは、商業地区内で識別された人の位置データ（例えば、ｘ−ｙ座標）、および、識別された人に対応する色の空間分布を表わす外観記述子などの特徴を含む。

別の実施形態では、追跡モジュール２０４は、商業地区に設置された複数の画像キャプチャデバイスから、複数のビデオおよび関連付けられた深さデータを受信する。この実施形態では、各画像キャプチャデバイスからのビデオが、共通の座標系上に記録されるように、画像キャプチャデバイスが、事前に較正される。別の実施形態では、追跡モジュール２０４は、受信したビデオの各々を、共通の座標系に変換する。その後、追跡モジュール２０４は、本明細書で説明されているように、複数のビデオから、この人を検知し、メタデータを決定する。例えば、追跡モジュール２０４は、第１のビデオおよび第２のビデオのそれぞれから、人を含む、第１の画像のセットと、第２の画像のセットとを抽出する。このような例において、第１のビデオおよび第２のビデオは、（図１に示される）第１の画像キャプチャデバイス１２０ａから、および（図１に示される）第２の画像キャプチャデバイス１２０ｂから、それぞれ受信される。その後、追跡モジュール２０４は、この人に関連付けられたメタデータの類似性に基づいて、第１の画像のセットと第２の画像のセットとを組み合わせることによって、この人のビデオループを生成する。生成されたビデオループは、この商業地区内で、この人によって実行されたすべての行動を表示する、すべての移動を含んでいる。追跡モジュール２０４は、分析モジュール２０６に、この人のビデオループを送る。

分析モジュール２０６は、人によって実行された疑わしい動作を判定し、ビデオループから動作クリップを生成するためのコードおよびルーチンを含む。動作クリップは、人によって実行された疑わしい動作を含むビデオループの一部である。１つの実施形態では、分析モジュール２０６は、人によって実行された疑わしい動作を判定し、ビデオループから動作クリップを生成する、ための機能を提供するために、プロセッサ２３５による実行可能な命令のセットを含む。別の実施形態では、分析モジュール２０６はメモリ２３７に格納され、プロセッサ２３５によってアクセス可能かつ実行可能である。何れの実施形態でも、分析モジュール２０６は、バス２２０によって、プロセッサ２３５とビデオ分析アプリケーション１４０のその他のモジュールとの通信および協調のために適応される。

分析モジュール２０６は、人によって実行された疑わしい動作を判定するために、追跡モジュール２０４から受信した、人のビデオループを分析する。典型的には、疑わしい動作は、この人による盗難の意思または動作を示す任意の動作である。疑わしい動作は、例えば、物（例えば、コンビニエンスストアにおける製品または商品）を握っている人、物から部品を取り除いている人、物を隠している人等の、その人による人目を忍ぶ一瞥を含む。

１つの実施形態では、分析モジュール２０６は、画像分析を用いて、ビデオループの各画像（すなわち、フレーム（単数または複数））を分析することによって、疑わしい動作を判定する。この実施形態では、分析モジュール２０６は、例えば、この人の顔の反応、この人が物を握っているか否かを示すこの人のポーズ、物のタイプまたはコスト等を判定するために、ビデオループの画像を分析する。１つの実施形態では、分析モジュール２０６は、この人が物を握っているか否かを判定するために、例えばＡｄａｂｏｏｓｔアルゴリズムに基づいて構築された握りクラシファイヤを含んでいる。その後、分析モジュール２０６は、この分析に基づいて、この画像の画像分析スコアを割り当てる。

例えば、ビデオループの画像が、コンビニエンスストアにおいて物を握っている人を示しているのであれば、分析モジュール２０６は、この画像の画像分析スコアを６５として割り当てる。上記の例では、画像が、プラスチックバックを握っている人を示しているのであれば、分析モジュール２０６は、対応する画像の画像分析スコアを６０として割り当てる。一方、この画像が、コンビニエンスストアにおいて、最も高価な物を握っている人を示しているのであれば、分析モジュール２０６は、この画像分析スコアを７５として割り当てる。上記の例では、画像が、自分の顔を、他方の手で、または、パーカを着用することによって覆っている人を示しているのであれば、分析モジュール２０６は、この画像分析スコアを８５として割り当てる。

その後、分析モジュール２０６は、割り当てられた画像分析スコアに基づいて、ビデオループの１つまたは複数の疑わしい画像を特定する。１つの実施形態では、分析モジュール２０６は、最も高い画像分析スコアを持つ画像を、疑わしい画像として判定する。別の実施形態では、分析モジュール２０６は、画像分析スコアが、例えば、ビデオアナライザ１３０の管理者によって定義された疑惑しきい値を超えているか否かを判定する。分析モジュール２０６は、超過した画像分析スコアを有する１つまたは複数の画像を、疑わしい画像として識別する。疑わしい画像が識別されれば、分析モジュール２０６は、識別された各疑わしい画像について、ビデオループから動作クリップを生成する。１つの実施形態では、分析モジュール２０６によって生成された動作クリップは、対応する疑わしい画像で始まる。別の実施形態では、動作クリップは、対応する疑わしい画像を含んでいる。何れの実施形態でも、動作クリップの持続時間は、時間しきい値（例えば、２秒、４５秒等）以内にある。その後、分析モジュール２０６は、この動作クリップをサマリ生成器２０８へ送る。

別の実施形態では、分析モジュール２０６は、動作分析を用いて、ビデオループから１つまたは複数の画像のシーケンス（すなわち、１つまたは複数のビデオクリップ）を分析することによって、疑わしい動作を判定する。この実施形態では、分析モジュール２０６は、例えば、２次元ガウシアン平滑化および時間ガボールフィルタリングに基づいて、ビデオループから、１つまたは複数の空間時間的に興味のあるポイントを識別する。分析モジュール２０６は、この人に関連付けられた形状特徴および動き特徴を判定するために、空間時間的に興味のあるポイントによって表される画像のシーケンスを分析する。形状特徴は、例えば、この人の身体部分、物等を表わす。分析モジュール２０６は、例えば、画像のシーケンスから、ローカルな画像強度方位のヒストグラムを計算することによって、形状特徴を判定する。動き特徴は、例えば、画像のシーケンスにおける、この人の手の動きの方向および速度を表わす。分析モジュール２０６は、例えば、３次元ガボールフィルタを用いて、画像のシーケンスを処理することによって、動き特徴を判定する。このような例において、３次元ガボールフィルタの各々は、特定の方向および速度に調整される。

分析モジュール２０６は、形状特徴および／または動き特徴に基づいて、人によって実行される疑わしい動作を含む、疑わしい画像のシーケンスを識別する。例えば、分析モジュール２０６は、警備員に目を向けた後に物を握っている人を表わしている画像のシーケンスを、疑わしい画像のシーケンスとして識別する。別の例において、分析モジュール２０６は、物からバーコードを取り除く人を表わしている画像のシーケンスを、疑わしい画像のシーケンスとして識別する。１つの実施形態では、分析モジュール２０６は、形状特徴および動き特徴を含む空間−時間キューブを構築し、フィッシャーの線形判別アルゴリズムに基づいて、握り動作クラシファイヤを用いて、疑わしいシーケンスを識別する。その後、分析モジュール２０６は、識別された疑わしい画像のシーケンスを含むビデオループから、動作クリップを生成する。生成された動作クリップの持続時間は、時間しきい値以内にある。動作分析方法は、本明細書では、１つの疑わしい画像のシーケンスを識別することを参照して記載されているが、１つの実施形態では、分析モジュール２０６は、複数の疑わしい画像のシーケンスを識別し、疑わしい各シーケンスの動作クリップを生成する。分析モジュール２０６は、この動作クリップを、サマリ生成器２０８へ送る。

分析モジュール２０６は本明細書では、いくつかの実施形態にしたがって、ビデオループから動作クリップを生成するものとして記載されているが、別の実施形態では、分析モジュール２０６は、１つまたは複数の画像キャプチャデバイスから受信した１つまたは複数のビデオから、動作クリップを生成する。このような実施形態では、分析モジュール２０６は、通信モジュール２０２を介して、画像キャプチャデバイスから直接的にビデオを受信する。分析モジュール２０６は、画像分析および動作分析のうちの少なくとも１つを用いて、人によって実行された疑わしい動作を、ビデオから判定する。例えば、分析モジュール２０６は、コンビニエンスストアの棚に置かれたカメラからビデオを受信する。分析モジュール２０６は、人によって行なわれた疑わしい動作を判定し、このビデオから動作クリップを生成する。この動作クリップは、共通の座標系を用いて、追跡モジュール２０４によって生成された人のビデオループに関連付けられうる。カメラから直接的に受信されたビデオは、例えば、人の顔の表情を決定するために、より高い空間的解像度を提供しうるので、これは有利である。

サマリ生成器２０８は、人の行動サマリを生成するためのコードおよびルーチンを含んでいる。１つの実施形態では、サマリ生成器２０８は、人の行動サマリを生成するための機能を提供するために、プロセッサ２３５による実行可能な命令のセットを含む。別の実施形態では、サマリ生成器２０８はメモリ２３７に格納され、プロセッサ２３５によってアクセス可能かつ実行可能である。何れの実施形態でも、サマリ生成器２０８は、バス２２０によって、プロセッサ２３５とビデオ分析アプリケーション１４０のその他のモジュールとの通信および協調のために適応される。

サマリ生成器２０８は、追跡モジュール２０４から、人のビデオループを受信する。サマリ生成器２０８はまた、分析モジュール２０６から、この人の１つまたは複数の動作クリップを受信する。その後、サマリ生成器２０８は、この人のビデオループおよび１つまたは複数の動作クリップを含むユーザインタフェースを提供するためのグラフィックデータ（すなわち、行動サマリ）を生成する。１つの実施形態では、サマリ生成器２０８は、この人に関連付けられた位置データ（例えば、ｘ−ｙ座標）に基づいて、グラフィックデータを生成する。このような実施形態では、サマリ生成器２０８は、各動作クリップにおいて、商業地区内におけるこの人の位置を決定し、この人の位置に基づいて、グラフィックデータを生成する。例えば、サマリ生成器２０８は、受信した動作クリップにおけるこの人の位置が、コンビニエンスストア内の最も左側の通路であると判定する。このような例では、サマリ生成器２０８は、ビデオループの左側に動作クリップを提供するグラフィックデータを生成する。図３を参照して、ユーザインタフェースが、以下にさらに詳細に記載される。

サマリ生成器２０８は、ディスプレイデバイスにグラフィックデータを送る。ディスプレイデバイスは、行動サマリを表すためにグラフィックデータを描画する。１つの実施形態では、サマリ生成器２０８は、人に関連付けられた位置データに基づいて、この人が商業地区の出口に接近しているか否かを判定する。このような実施形態では、サマリ生成器２０８は、この人が商業地区の出口に接近していると判定することに応じて（すなわち、同時に）、ディスプレイデバイスにグラフィックデータを送信する。行動サマリは、例えばコンビニエンスストア内の顧客のすべての移動を示すビデオループと、この顧客によって実行された疑わしい動作を示す１つまたは複数の動作クリップとを同時に示すので、有利である。例えば、コンビニエンスストアの警備要員である、ビデオアナライザ１４０の管理者は、動作クリップを迅速に（顧客がコンビニエンスストアを出る前に）レビューし、この顧客が製品を盗んだか否かを判定しうる。したがって、誤警報を発するという問題が低減される。

図３は、１つの実施形態による人の行動サマリを含むユーザインタフェース３００である。例示された実施形態は、コンビニエンスストアの内部の人のすべての移動の画像を表示するビデオループ３１０を含む。例示された実施形態はさらに、人３４０によって実行された疑わしい動作（すなわち、物を握ること）を表示する動作クリップ３２０、３３０、および３５０を含む。例えば、動作クリップ３５０は、手を伸ばし、コンビニエンスストアの棚からの製品を握る人３４０を表示する。この実施形態では、サマリ生成器は、動作クリップ３２０、３３０、および３５０の各々において、コンビニエンスストア内の人３４０の位置に基づいて行動サマリを生成する。例えば、サマリ生成器は、動作クリップ３３０において、コンビニエンスストアの左手側に人３４０が位置していると判定する。したがって、サマリ生成器は、ユーザインタフェース３００におけるビデオクリップ３１０の右に動作クリップ３３０を提供する。

図４は、商業地区における人の行動サマリを生成するための例示的な方法４００を例示するフロー図である。通信モジュールは、１つまたは複数の画像キャプチャデバイスから、１つまたは複数のビデオを受信する（４０２）。追跡モジュールは、１つまたは複数のビデオから、人のビデオループを生成する（４０４）。分析モジュールは、ビデオループから動作クリップを生成する（４０６）。動作クリップは、人によって実行された疑わしい動作を含む。例えば、分析モジュールは、物を握る人を含む動作クリップを、画像分析を用いて生成する（４０６）。サマリ生成器はその後、ビデオループおよび動作クリップを含む、この人の行動サマリを生成する（４０８）。

図５は、商業地区における人の行動サマリを生成するための別の例示的な方法５００を例示するフロー図である。通信モジュールは、商業地区に設置された１つまたは複数の画像キャプチャデバイスから、１つまたは複数のビデオを受信する（５０２）。追跡モジュールは、１つまたは複数のビデオから、人のビデオループを生成する（５０４）。

１つの実施形態において、分析モジュールは、この人によって実行された疑わしい動作を判定するために、ビデオループの１つまたは複数の画像を分析する（５０６）。分析モジュールは、この分析に基づいて、１つまたは複数の画像の各々の画像分析スコアを決定する（５０８）。その後、分析モジュールは、１つまたは複数の画像分析スコアに基づいて、疑わしい画像を識別する（５１０）。例えば、分析モジュールは、最も高い画像分析スコアを持つ画像を、疑わしい画像として識別する。分析モジュールは、ビデオループから、疑わしい画像を含む動作クリップを生成する（５１２）。例えば、分析モジュールは、ビデオループから、疑わしい画像で始まる動作クリップを生成する。

別の実施形態では、分析モジュールは、この人に関連付けられた動き特徴を判定するために、ビデオループから、１つまたは複数の画像のシーケンスを分析する（５１４）。分析モジュールは、これら動き特徴に基づいて、１つまたは複数の画像のシーケンスから、疑わしい画像のシーケンスを識別する（５１６）。分析モジュールはその後、ビデオループから、疑わしい画像のシーケンスを含む動作クリップを生成する（５１８）。何れの実施形態でも、サマリ生成器は、ビデオループおよび動作クリップを含む、人の行動サマリを生成する（５２０）。その後、サマリ生成器は、この人が、商業地区の出口に近づいているか否かを判定する（５２２）。サマリ生成器は、この人が出口に近づいていると判定することに応じて、表示するための行動サマリを提供する（５２４）。

本実施形態の技術的効果は、１つまたは複数の画像キャプチャデバイスから、１つまたは複数のビデオを受信することと、１つまたは複数のビデオから、人のビデオループを生成することとを含み、ビデオループは、商業地区における人を示す。この方法はまた、商業地区において、人によって実行された疑わしい動作を含む動作クリップを、ビデオループから生成することと、ビデオループおよび動作クリップを含む、この人の行動サマリを生成することと、を含む。

前述したこのような目的または利点の必ずしもすべてが、任意の特定の実施形態にしたがって達成される必要はないことが理解されるべきである。したがって、例えば、当業者であれば、本明細書に記載されたシステムおよび技法が、その他の目的または利点を、本明細書で教示または示唆されたように必ずしも達成することなく、本明細書で教示されたように１つの利点または複数の利点からなるグループを達成または最適化する方式で、具体化または実現されうることを認識するであろう。

本発明は、限定された数の実施形態のみに関連付けられて詳細に記載されているが、本発明は、このような開示された実施形態に限定されないことが容易に理解されるべきである。むしろ、本発明は、前述されていないが本発明の精神およびスコープと同等である任意の数の、変形、変更、代用、または等価な構成を組み込むように修正されうる。さらに、本発明のさまざまな実施形態が記載されたが、本発明の態様は、記載された実施形態のうちのいくつかのみしか含まない場合がありうることが理解されるべきである。したがって、本発明は、前述された記載によって限定されているとしては理解されず、添付された特許請求の範囲のスコープによってのみ限定される。新規なものとして権利請求され、米国の特許証によって保護されることが望まれるものは以下の通りである。

１２０ａ、１２０ｂ、１２０ｎ 画像キャプチャデバイス
１３０ ビデオアナライザ
１４０ ビデオ分析アプリケーション
１５０ ディスプレイデバイス
１７０ ネットワーク
２０２ 通信モジュール
２０４ 追跡モジュール
２０６ 分析モジュール
２０８ サマリ生成器
２３５ プロセッサ
２３７ メモリ

Claims (20)

1. 商業地区における人の行動サマリを生成するための方法であって、
   １つまたは複数の画像キャプチャデバイスから、１つまたは複数のビデオを受信することと、
   前記１つまたは複数のビデオから、前記人のビデオループを生成することであって、前記ビデオループは、前記商業地区における前記人の移動の画像を含む、生成することと、
   前記ビデオループから少なくとも１つの動作クリップを生成することであって、前記動作クリップは、前記商業地区において前記人によって実行された疑わしい動作を含む、生成することと、
   前記ビデオループおよび前記動作クリップを含む、前記人の前記行動サマリを生成することと、
   を含む方法。
2. 前記疑わしい動作は、物を握ることと、前記物から部品を取り除くことと、前記物を隠すことと、のうちの少なくとも１つを含む、請求項１記載の方法。
3. 前記動作クリップを生成することはさらに、
   前記人によって実行された前記疑わしい動作を判定するために、前記ビデオループの１つまたは複数の画像を分析することと、
   前記１つまたは複数の画像の前記分析に基づいて、前記１つまたは複数の画像の各々の画像分析スコアを決定することと、
   １つまたは複数の前記画像分析スコアに基づいて、前記１つまたは複数の画像から、疑わしい画像を識別することと、
   前記ビデオループから、前記識別された疑わしい画像を含む前記動作クリップを生成することと
   を含む、請求項１記載の方法。
4. 前記動作クリップは、前記識別された疑わしい画像で始まる、請求項３記載の方法。
5. 前記動作クリップを生成することはさらに、
   前記人に関連付けられた１つまたは複数の動き特徴を判定するために、前記ビデオループから、１つまたは複数の画像のシーケンスを分析することと、
   前記１つまたは複数の動き特徴に基づいて、前記１つまたは複数の画像のシーケンスから、疑わしい画像のシーケンスを識別することと、
   前記ビデオループから、前記疑わしい画像のシーケンスを含む前記動作クリップを生成することと
   を含む、請求項１記載の方法。
6. 前記動作クリップを生成することはさらに、前記ビデオループから、複数の動作クリップを生成することを含む、請求項１記載の方法。
7. 前記人の前記ビデオループを生成することはさらに、
   前記１つまたは複数の画像キャプチャデバイスのうちの第１の画像キャプチャデバイスから、前記１つまたは複数のビデオのうちの第１のビデオを受信することと、
   前記第１のビデオから、前記人を含む、第１の画像のセットを識別することと、
   前記１つまたは複数の画像キャプチャデバイスのうちの第２の画像キャプチャデバイスから、前記１つまたは複数のビデオのうちの第２のビデオを受信することと、
   前記第２のビデオから、前記人を含む、第２の画像のセットを識別することと、
   前記第１の画像のセットと前記第２の画像のセットとを組み合わせることによって、前記人のビデオループを生成することと
   を含む、請求項１記載の方法。
8. 前記商業地区の出口に前記人が接近しているか否かを判定することと、
   前記商業地区の前記出口に前記人が接近していると判定することに応じて、前記行動サマリを表示のために送ることと、
   をさらに含む請求項１記載の方法。
9. 商業地区における人の行動サマリを生成するためのシステムであって、
   少なくとも１つのプロセッサと、
   メモリに格納され、前記少なくとも１つのプロセッサによって実行可能である追跡モジュールであって、前記追跡モジュールは、１つまたは複数の画像キャプチャデバイスから、１つまたは複数のビデオを受信することと、前記１つまたは複数のビデオから、前記人のビデオループを生成することとのためのものであり、前記ビデオループは、前記商業地区における前記人の移動の画像を含む、追跡モジュールと、
   前記メモリに格納され、前記少なくとも１つのプロセッサによって実行可能である分析モジュールであって、前記分析モジュールは、前記ビデオループから少なくとも１つの動作クリップを生成するために、前記追跡モジュールに通信可能に接続され、前記動作クリップは、前記商業地区において、前記人によって実行された疑わしい動作を含む、分析モジュールと、
   前記メモリに格納され、前記少なくとも１つのプロセッサによって実行可能であるサマリ生成器であって、前記サマリ生成器は、前記ビデオループおよび前記動作クリップを含む、前記人の前記行動サマリを生成するために、前記分析モジュールに通信可能に接続された、サマリ生成器と、
   を備えるシステム。
10. 前記分析モジュールはさらに、
    前記人によって実行された前記疑わしい動作を判定するために、前記ビデオループの１つまたは複数の画像を分析し、
    前記１つまたは複数の画像の前記分析に基づいて、前記１つまたは複数の画像の各々の画像分析スコアを決定し、
    １つまたは複数の前記画像分析スコアに基づいて、前記１つまたは複数の画像から、疑わしい画像を識別し、
    前記ビデオループから、前記識別された疑わしい画像を含む前記動作クリップを生成する
    ように構成された、請求項９記載のシステム。
11. 前記分析モジュールはさらに、
    前記人に関連付けられた１つまたは複数の動き特徴を判定するために、前記ビデオループから、１つまたは複数の画像のシーケンスを分析し、
    前記１つまたは複数の動き特徴に基づいて、前記１つまたは複数の画像のシーケンスから、疑わしい画像のシーケンスを識別し、
    前記ビデオループから、前記疑わしい画像のシーケンスを含む前記動作クリップを生成する
    ように構成された、請求項９記載のシステム。
12. 前記分析モジュールはさらに、前記ビデオループから複数の動作クリップを生成する、請求項９記載のシステム。
13. 前記追跡モジュールはさらに、
    前記１つまたは複数の画像キャプチャデバイスのうちの第１の画像キャプチャデバイスから、前記１つまたは複数のビデオのうちの第１のビデオを受信し、
    前記第１のビデオから、前記人を含む、第１の画像のセットを識別し、
    前記１つまたは複数の画像キャプチャデバイスのうちの第２の画像キャプチャデバイスから、前記１つまたは複数のビデオのうちの第２のビデオを受信し、
    前記第２のビデオから、前記人を含む、第２の画像のセットを識別し、
    前記第１の画像のセットと前記第２の画像のセットとを組み合わせることによって、前記人のビデオループを生成する
    ように構成された、請求項９記載のシステム。
14. 前記サマリ生成器はさらに、
    前記商業地区の出口に前記人が接近しているか否かを判定し、
    前記商業地区の前記出口に前記人が接近しているとの判定に応じて、前記行動サマリを表示のために送る
    ように構成された、請求項９記載のシステム。
15. 少なくとも１つのプロセッサによる実行に応答して、前記プロセッサに対して、
    １つまたは複数の画像キャプチャデバイスから、１つまたは複数のビデオを受信することと、
    前記１つまたは複数のビデオから、人のビデオループを生成することであって、前記ビデオループは、商業地区における前記人の移動の画像を含む、生成することと、
    前記ビデオループから少なくとも１つの動作クリップを生成することであって、前記動作クリップは、前記商業地区において、前記人によって実行された疑わしい動作を含む、生成することと、
    前記ビデオループおよび前記動作クリップを含む、前記人の行動サマリを生成することと
    を含む動作を実行させる、命令をエンコードする非一時的なコンピュータ読取可能な媒体を備えるコンピュータプログラム製品。
16. 前記人によって実行された前記疑わしい動作を判定するために、前記ビデオループの１つまたは複数の画像を分析することと、
    前記１つまたは複数の画像の前記分析に基づいて、前記１つまたは複数の画像の各々の画像分析スコアを決定することと、
    １つまたは複数の前記画像分析スコアに基づいて、前記１つまたは複数の画像から、疑わしい画像を識別することと、
    前記ビデオループから、前記識別された疑わしい画像を含む前記動作クリップを生成することと
    を含む動作を、前記プロセッサに対してさらに実行させる、請求項１５記載のコンピュータプログラム製品。
17. 前記動作クリップは、前記疑わしい画像で始まる、請求項１６記載のコンピュータプログラム製品。
18. 前記人に関連付けられた１つまたは複数の動き特徴を判定するために、前記ビデオループから、１つまたは複数の画像のシーケンスを分析することと、
    前記１つまたは複数の動き特徴に基づいて、前記１つまたは複数の画像のシーケンスから、疑わしい画像のシーケンスを識別することと、
    前記ビデオループから、前記疑わしい画像のシーケンスを含む前記動作クリップを生成することと
    を含む動作を、前記プロセッサに対してさらに実行させる、請求項１５記載のコンピュータプログラム製品。
19. 前記ビデオループから、複数の動作クリップを生成することを含む動作を、前記プロセッサに対してさらに実行させる、請求項１５記載のコンピュータプログラム製品。
20. 前記商業地区の出口に前記人が接近しているか否かを判定することと、
    前記商業地区の前記出口に前記人が接近していると判定することに応じて、前記行動サマリを表示のために送ることと
    を含む動作を、前記プロセッサに対してさらに実行させる、請求項１５記載のコンピュータプログラム製品。