JP2016500855A - 人の行動サマリを生成するためのシステムおよび方法 - Google Patents

人の行動サマリを生成するためのシステムおよび方法 Download PDF

Info

Publication number
JP2016500855A
JP2016500855A JP2015532045A JP2015532045A JP2016500855A JP 2016500855 A JP2016500855 A JP 2016500855A JP 2015532045 A JP2015532045 A JP 2015532045A JP 2015532045 A JP2015532045 A JP 2015532045A JP 2016500855 A JP2016500855 A JP 2016500855A
Authority
JP
Japan
Prior art keywords
person
images
video
suspicious
video loop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015532045A
Other languages
English (en)
Other versions
JP6307083B2 (ja
Inventor
トゥ，ピーター・ヘンリー
ユ，ティン
ガオ，ダシャン
ヤオ，イ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2016500855A publication Critical patent/JP2016500855A/ja
Application granted granted Critical
Publication of JP6307083B2 publication Critical patent/JP6307083B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本技法の１つの態様によれば、方法は、１つまたは複数の画像キャプチャデバイスから、１つまたは複数のビデオを受信することを含む。この方法はさらに、１つまたは複数のビデオから、人のビデオループを生成することを含む。ビデオループは、商業地区における人を示す。この方法はまた、ビデオループから、動作クリップを生成することを含む。動作クリップは、商業地区において、人によって実行された疑わしい動作を含む。この方法はさらに、ビデオループおよび動作クリップを含む、人の行動サマリを生成することを含む。【選択図】図１

Description

本明細書において開示される主題は一般に、人の行動サマリを生成することに関する。より詳細には、この主題は、商業地区または環境において、人によって実行された潜在的に疑わしい動作を含む行動サマリ、を生成するためのシステムおよび方法に関する。
例えば、デパート、コンビニエンスストア、食料雑貨店、生産施設、病院等の商業地区は、盗難などのセキュリティ上の問題によって、収入の著しい損失に直面する。
このような盗難を減らすために、これら商業地区のいくつかは、盗難を検知するための自動追跡システムを実装している。このような自動追跡システムは、多くの欠点を有する傾向にある。例えば、盗難の行為の繊細さおよび複雑さにより、自動追跡システムは一般に、警報を発するイベントに対して非常に敏感になるように構築される。多くの場合、このような自動追跡システムは、誤警報を発し、例えば、コンビニエンスストアの顧客および保安要員に対して不便をもたらす。あるいは、この自動システムは、感度を低下させ、相当な量の盗難行動を見逃すかもしれない。
したがって、このような盗難を検知するための高度なシステムおよび方法に対するニーズがある。
米国特許出願公開第２０１０／０１５７０４９号明細書
本技法の１つの態様にしたがって、方法が開示される。この方法は、１つまたは複数の画像キャプチャデバイスから、１つまたは複数のビデオを受信することを含む。この方法はさらに、１つまたは複数のビデオから、人のビデオループを生成することを含む。このビデオループは、商業地区における人の移動を含む。この方法はまた、ビデオループから、動作クリップを生成することを含む。動作クリップは、商業地区において、人によって実行された疑わしい動作を含む。この方法はさらに、ビデオループおよび動作クリップを含む、人の行動サマリを生成することを含む。
本システムの１つの態様にしたがって、システムが開示される。このシステムは、１つまたは複数の画像キャプチャデバイスから、１つまたは複数のビデオを受信し、１つまたは複数のビデオから、人のビデオループを生成するための追跡モジュールを含む。このビデオループは、商業地区における人の移動を含む。このシステムはまた、ビデオループから、動作クリップを生成するための分析モジュールを含む。動作クリップは、商業地区において、人によって実行された疑わしい動作を含む。このシステムはさらに、ビデオループおよび動作クリップを含む、人の行動サマリを生成するためのサマリ生成器を含む。
本技法の１つの態様にしたがって、命令をエンコードするコンピュータプログラム製品が開示される。これら命令は、プロセッサによって実行された場合、プロセッサに対して、１つまたは複数の画像キャプチャデバイスから、１つまたは複数のビデオを受信させる。これら命令はさらに、プロセッサに対して、１つまたは複数のビデオから、人のビデオループを生成させる。このビデオループは、商業地区における人の移動を含む。これら命令はさらに、プロセッサに対して、ビデオループから、動作クリップを生成させる。動作クリップは、商業地区において、人によって実行された疑わしい動作を含む。これら命令はまた、プロセッサに対して、ビデオループおよび動作クリップを含む、人の行動サマリを生成させる。
本発明のこれらおよびその他の特徴、態様、および利点は、以下の詳細説明が、図面を通じて同一付号が同一部品を表わす添付図面を参照して読まれた場合により良く理解されるようになるであろう。
図１は、１つの実施形態にしたがって、行動サマリを生成するためのシステムを例示するブロック図である。 図２は、１つの実施形態にしたがうビデオアナライザを例示するブロック図である。 図３は、１つの実施形態にしたがう、商業地区における人の行動サマリを含む、ユーザインタフェースのダイヤグラム表示である。 図４は、１つの実施形態にしたがって、商業地区における人の行動サマリを生成するための方法を例示するフロー図である。 図５は、別の実施形態にしたがって、商業地区における人の行動サマリを生成するための方法を例示するフロー図である。
以下の明細書および特許請求の範囲では、以下の意味を有するように定義されるものとする多くの用語に対する参照がなされる。
単数形の“ａ”、“ａｎ”、および“ｔｈｅ”は、コンテキストに明確な別段の記載がない限り、複数の参照を含んでいる。
本明細書で使用されるように、用語「非一時的なコンピュータ読取可能な媒体」は、コンピュータ読取可能な命令、データ構造、プログラムモジュールおよびサブモジュール、または、任意のデバイスにおけるその他のデータなどの、短期および長期の情報の格納のための任意の方法または技法で実現される任意の有形なコンピュータベースのデバイスを表わすことが意図されている。したがって、本明細書に記載されている方法は、限定することなく、記憶デバイスおよび／またはメモリデバイスを含む、有形の、非一時的な、コンピュータ読取可能な媒体において具体化される実行可能な命令としてエンコードされうる。このような命令は、プロセッサによって実行された場合、プロセッサに対して、本明細書に記載された方法のうちの少なくとも一部を実行させる。さらに、本明細書で使用されるように、用語「非一時的なコンピュータ読取可能な媒体」は、一時的な伝搬信号であることを唯一除いて、限定することなく、揮発性および不揮発性の媒体、ならびにファームウェア、物理的および仮想的なストレージ、ＣＤ−ＲＯＭ、ＤＶＤなどのリムーバブルおよび非リムーバブルな媒体、ならびにネットワークまたはインターネットなどのその他任意のデジタルソースのみならず、まだ開発されていないデジタル手段を含む、非一時的なコンピュータ記憶デバイスを、限定することなく含む、すべての有形な、コンピュータ読取可能な媒体を含む。
本明細書で使用されるように、用語「ソフトウェア」と「ファームウェア」とは置換可能であり、限定することなく、モバイルデバイス、クラスタ、パーソナルコンピュータ、ワークステーション、クライアント、およびサーバを含むデバイスによる実行のためにメモリに格納された任意のコンピュータプログラムを含む。
本明細書で使用されるように、用語「コンピュータ」および例えば「コンピューティングデバイス」などの関連用語は、コンピュータとして当該技術分野において称される集積回路に限定されず、少なくとも１つのマイクロコントローラ、マイクロコンピュータ、プログラマブルロジックコントローラ（ＰＬＣ）、特定用途向け集積回路、およびその他のプログラマブル回路を広く称しており、これらの用語は、本明細書では置換可能に使用される。
明細書および特許請求の範囲全体にわたって本明細書で使用されるように、近似的な文言は、関連する基本機能における変化をもたらすことなく許容可能に変動しうる任意の量的な表現を修正するために適用されうる。したがって、「約」および「実質的に」などの用語（単数または複数）によって修正された値は、指定された正確な値に限定されるものではない。少なくともいくつかの事例では、この近似的な文言は、値を測定するための機器の精度に対応しうる。ここで、および、明細書と特許請求の範囲全体にわたって、範囲限定が、組み合わされ、および／または、置換されうる。そして、コンテキストまたは文言に別段の記載がない限り、このような範囲は、特定され、そこに含まれているすべての部分範囲を含んでいる。
人の行動サマリを生成するためのシステムおよび方法が本明細書に記載される。図１は、１つの実施形態にしたがって、人の行動サマリを生成するためのシステム１００のブロック図を例示する。例示されたシステム１００は、（画像キャプチャデバイス１２０として、個々にまたは集合的に称される）複数の画像キャプチャデバイス１２０ａ、１２０ｂ、１２０ｎと、ネットワーク１７０を介して通信的に接続されているビデオアナライザ１３０とを含む。
複数の画像キャプチャデバイス１２０は、例えば、カメラ、デジタルビデオレコーダ、カムコーダ、閉回路テレビ、ウェブカム等の、ビデオを記録するように構成されたタイプのデバイスである。１つの実施形態では、画像キャプチャデバイス１２０の少なくとも１つはさらに、物理界における点と、画像キャプチャデバイス１２０との間の幾何学的な距離を表わす深さデータを測定するように構成される。１つの実施形態では、画像キャプチャデバイス１２０は、例えば、デパート、食料雑貨店、コンビニエンスストア、ヘルスクリニック、サロン、空港、生産工場等の商業地区に設置され、商業地区内の背景のビデオを記録するように構成される。
１つの実施形態によれば、画像キャプチャデバイス１２０は、記録されたビデオおよび深さデータを、ネットワーク１７０を介してビデオアナライザ１３０に送信する。画像キャプチャデバイス１２０ａ、１２０ｂ、および１２０ｎは、それぞれ信号ライン１２５ａ、１２５ｂ、および１２５ｎを介してネットワーク１７０に通信的に接続されている。例示された実施形態では、複数の画像キャプチャデバイス１２０が図示されているが、別の実施形態では、ネットワーク１７０に単一の画像キャプチャデバイスが接続されうる。
ビデオアナライザ１３０は、画像キャプチャデバイス１２０から受信されたビデオを分析し、行動サマリを生成するように構成された任意のタイプのデバイスである。１つの実施形態では、ビデオアナライザ１３０は、深さデータなどの特徴を含む商業地区の１つまたは複数のビデオを受信し、商業地区における１つまたは複数の人の行動サマリを生成する。例示されたシステム１００では、ビデオアナライザ１３０は、ビデオ分析アプリケーション１４０およびディスプレイデバイス１５０を含む。ビデオアナライザ１３０は、信号ライン１３５を介してネットワーク１７０に通信的に接続されている。例示された実施形態では、１つのビデオアナライザ１３０が図示されているが、その他の実施形態では、複数のビデオアナライザ１３０が、ネットワーク１７０に接続されうる。ビデオアナライザ１３０は、図２を参照して、より詳細に以下に記載されている。
示された実施形態では、ディスプレイデバイス１５０は、ビデオ画像および／または行動サマリを示すために使用される。この実施形態は、ディスプレイデバイス１５０を図示しているが、ポスト処理されたデータのためのその他の実施形態は、本システムのスコープ内にあるその他のタイプの警告を含んでいる。さらに、ディスプレイデバイス１５０は、ビデオアナライザ１３０に接続されている必要はなく、ビデオ画像および行動サマリは、遠隔のディスプレイデバイス１５０へ送信されうる。
示された実施形態は、ネットワーク１７０を介して通信的に接続された画像キャプチャデバイス１２０を示しているが、１つの実施形態では、ビデオアナライザ１３０は、処理が画像キャプチャデバイス内で実行されるように、画像キャプチャデバイス１２０に接続される。
ネットワーク１７０は、有線のタイプでも無線のタイプでもよく、星形構成、トークンリング構成、またはその他公知の構成などの任意の数の構成を有しうる。さらに、ネットワーク１７０は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）（例えば、インターネット）、および／または、複数のデバイスが通信しうるその他任意の相互接続されたデータ経路を含みうる。１つの実施形態では、ネットワーク１７０は、ピアツーピアネットワークでありうる。ネットワーク１７０はまた、さまざまな異なる通信プロトコルでデータを送信するため、電気通信ネットワークの一部に接続されている、またはそれらを含んでいる。別の実施形態では、ネットワーク１７０は、ショートメッセージングサービス（ＳＭＳ）、マルチメディアメッセージングサービス（ＭＭＳ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ダイレクトデータコネクション、ＷＡＰ、電子メール等を介してなど、データを送信および受信するためのＢｌｕｅｔｏｏｔｈ（登録商標）通信ネットワークまたはセルラ通信ネットワークを含む。画像キャプチャデバイス１２０およびビデオアナライザ１３０には１つのネットワーク１７０しか接続されていないが、その他のタイプのネットワーク１７０が展開されうる。多数のネットワークが、冗長性を提供することができ、設計基準にしたがって最適に構成されうる。
図２は、１つの実施形態にしたがうビデオアナライザ１３０を例示しているブロック図である。ビデオアナライザ１３０は、ビデオ分析アプリケーション１４０、少なくとも１つのプロセッサ２３５、およびメモリ２３７を含む。ビデオ分析アプリケーション１４０は、通信モジュール２０２、追跡モジュール２０４、分析モジュール２０６、およびサマリ生成器２０８を含む。ビデオ分析アプリケーション１４０、プロセッサ２３５、およびメモリ２３７のモジュールは、互いに通信するためにバス２２０に接続されている。
プロセッサ２３５は、計算の実行、および／または、メモリ２３７に格納されたデータの取得のために、少なくとも１つの算術論理ユニット、マイクロプロセッサ、汎用コントローラ、またはその他のプロセッサアレイを含みうる。別の実施形態では、プロセッサ２３５は、マルチコアプロセッサである。プロセッサ２３５は、データ信号を処理し、複雑命令セットコンピュータ（ＣＩＳＣ）アーキテクチャ、縮小命令セットコンピュータ（ＲＩＳＣ）アーキテクチャ、または、命令セットの組み合わせを実施するアーキテクチャを含む、さまざまなコンピューティングアーキテクチャを含みうる。プロセッサ２３５の処理能力は、データの取得およびデータの送信をサポートするために制限されうる。プロセッサ２３５の処理能力はまた、さまざまなタイプの特徴抽出、変調、符号化、多重化等を含む、より複雑なタスクを実行しうる。他の実施形態では、別のタイプのプロセッサ、オペレーティングシステム、および物理的な構成もまた構想されている。
メモリ２３７は、非一時的な記憶媒体でありうる。例えば、メモリ２３７は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）デバイス、スタティックランダムアクセスメモリ（ＳＲＡＭ）デバイス、フラッシュメモリ、またはその他のメモリデバイスでありうる。１つの実施形態では、メモリ２３７はまた、不揮発性メモリまたは類似の永久記憶デバイス、およびハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、コンパクトディスク読取専用メモリ（ＣＤ−ＲＯＭ）デバイス、デジタル多用途ディスク読取専用メモリ（ＤＶＤ−ＲＯＭ）デバイス、デジタル多用途ディスクランダムアクセスメモリ（ＤＶＤ−ＲＡＭ）デバイス、デジタル多用途ディスクリライタブル（ＤＶＤ−ＲＷ）デバイス、フラッシュメモリデバイス、または、その他の不揮発性記憶デバイスなどの媒体を含む。
メモリ２３７は、関連付けられた機能をビデオ分析アプリケーション１４０が実行するために必要なデータを格納する。１つの実施形態では、メモリ２３７は、ビデオ分析アプリケーション１４０のモジュール（例えば、通信モジュール２０２、サマリ生成器２０８等）を格納する。別の実施形態では、メモリ２３７は、画像キャプチャデバイスから受信された１つまたは複数のビデオ、例えばビデオアナライザ１３０の管理者によって定義された疑惑しきい値および時間しきい値、人に関連付けられたメタデータ等を格納する。これらしきい値、および、人に関連付けられたメタデータは、以下にさらに詳細に記載される。
通信モジュール２０２は、画像キャプチャデバイスとビデオアナライザ１３０のモジュールとの間の通信を取り扱うためのコードおよびルーチンを含む。１つの実施形態では、通信モジュール２０２は、画像キャプチャデバイス１２０とビデオアナライザ１３０のモジュールとの間の通信を取り扱うための機能を提供するために、プロセッサ２３５によって実行可能な命令のセットを含む。別の実施形態では、通信モジュール２０２は、メモリ２３７に格納され、プロセッサ２３５によってアクセス可能かつ実行可能である。何れの実施形態でも、通信モジュール２０２は、バス２２０によって、プロセッサ２３５と、ビデオ分析アプリケーション１４０のその他のモジュールとの通信および協調のために適応される。
１つの実施形態では、通信モジュール２０２は、画像キャプチャデバイス１２０からビデオを受信し、追跡モジュール２０４にビデオを送る。別の実施形態では、通信モジュール２０２は、サマリ生成器２０８から、行動サマリを含む、ユーザインタフェースを表示するためのグラフィックデータを受信する。このような実施形態では、通信モジュール２０２は、（図１に示されている）ディスプレイデバイス１５０に、グラフィックデータを送信する。本明細書で使用されているように、「画像」は、ビデオの１つまたは複数のフレームを称する。
追跡モジュール２０４は、ビデオから、人の検知および追跡を行い、この人のビデオループを生成する、ためのコードおよびルーチンを含む。例えば、ビデオループは、商業地区における人の移動の画像を表示する。このような例において、人の移動は、この人が商業地区に入ってから、この商業地区を出るまでに、この人によって実行された行動を含む。１つの実施形態では、追跡モジュール２０４は、ビデオから、人の検知および追跡を行い、この人のビデオループを生成する、ための機能を提供するために、プロセッサ２３５によって実行可能な命令のセットを含む。別の実施形態では、追跡モジュール２０４はメモリ２３７に格納され、プロセッサ２３５によってアクセス可能かつ実行可能である。何れの実施形態でも、追跡モジュール２０４は、バス２２０によって、プロセッサ２３５とビデオ分析アプリケーション１４０のその他のモジュールとの通信および協調のために適応される。
１つの実施形態では、追跡モジュール２０４は、商業地区に設置された画像キャプチャデバイスから、通信モジュール２０２を介して、ビデオおよび関連付けられた深さデータを受信する。追跡モジュール２０４は、例えば、受信した深さデータにおけるノンパラメトリックカーネル密度推定を実行することによって、人に対応しうるビデオにおける興味のある前景領域をノミネートする。追跡モジュール２０４は、人の大きさおよび形状に類似した幾何学的形状（例えば、３次元楕円形等）を用いて、ノミネートされた興味のある領域を分析することによって、ビデオにおける人を検知する。その後、追跡モジュール２０４は、検知された人を含むビデオから、画像のセット（すなわち、フレーム）を抽出し、ビデオループを生成する。さらに、追跡モジュール２０４は、ビデオから、この人に関連付けられたメタデータを決定する。一例におけるメタデータは、商業地区内で識別された人の位置データ（例えば、ｘ−ｙ座標）、および、識別された人に対応する色の空間分布を表わす外観記述子などの特徴を含む。
別の実施形態では、追跡モジュール２０４は、商業地区に設置された複数の画像キャプチャデバイスから、複数のビデオおよび関連付けられた深さデータを受信する。この実施形態では、各画像キャプチャデバイスからのビデオが、共通の座標系上に記録されるように、画像キャプチャデバイスが、事前に較正される。別の実施形態では、追跡モジュール２０４は、受信したビデオの各々を、共通の座標系に変換する。その後、追跡モジュール２０４は、本明細書で説明されているように、複数のビデオから、この人を検知し、メタデータを決定する。例えば、追跡モジュール２０４は、第１のビデオおよび第２のビデオのそれぞれから、人を含む、第１の画像のセットと、第２の画像のセットとを抽出する。このような例において、第１のビデオおよび第２のビデオは、（図１に示される）第１の画像キャプチャデバイス１２０ａから、および（図１に示される）第２の画像キャプチャデバイス１２０ｂから、それぞれ受信される。その後、追跡モジュール２０４は、この人に関連付けられたメタデータの類似性に基づいて、第１の画像のセットと第２の画像のセットとを組み合わせることによって、この人のビデオループを生成する。生成されたビデオループは、この商業地区内で、この人によって実行されたすべての行動を表示する、すべての移動を含んでいる。追跡モジュール２０４は、分析モジュール２０６に、この人のビデオループを送る。
分析モジュール２０６は、人によって実行された疑わしい動作を判定し、ビデオループから動作クリップを生成するためのコードおよびルーチンを含む。動作クリップは、人によって実行された疑わしい動作を含むビデオループの一部である。１つの実施形態では、分析モジュール２０６は、人によって実行された疑わしい動作を判定し、ビデオループから動作クリップを生成する、ための機能を提供するために、プロセッサ２３５による実行可能な命令のセットを含む。別の実施形態では、分析モジュール２０６はメモリ２３７に格納され、プロセッサ２３５によってアクセス可能かつ実行可能である。何れの実施形態でも、分析モジュール２０６は、バス２２０によって、プロセッサ２３５とビデオ分析アプリケーション１４０のその他のモジュールとの通信および協調のために適応される。
分析モジュール２０６は、人によって実行された疑わしい動作を判定するために、追跡モジュール２０４から受信した、人のビデオループを分析する。典型的には、疑わしい動作は、この人による盗難の意思または動作を示す任意の動作である。疑わしい動作は、例えば、物（例えば、コンビニエンスストアにおける製品または商品）を握っている人、物から部品を取り除いている人、物を隠している人等の、その人による人目を忍ぶ一瞥を含む。
１つの実施形態では、分析モジュール２０６は、画像分析を用いて、ビデオループの各画像（すなわち、フレーム（単数または複数））を分析することによって、疑わしい動作を判定する。この実施形態では、分析モジュール２０６は、例えば、この人の顔の反応、この人が物を握っているか否かを示すこの人のポーズ、物のタイプまたはコスト等を判定するために、ビデオループの画像を分析する。１つの実施形態では、分析モジュール２０６は、この人が物を握っているか否かを判定するために、例えばＡｄａｂｏｏｓｔアルゴリズムに基づいて構築された握りクラシファイヤを含んでいる。その後、分析モジュール２０６は、この分析に基づいて、この画像の画像分析スコアを割り当てる。
例えば、ビデオループの画像が、コンビニエンスストアにおいて物を握っている人を示しているのであれば、分析モジュール２０６は、この画像の画像分析スコアを６５として割り当てる。上記の例では、画像が、プラスチックバックを握っている人を示しているのであれば、分析モジュール２０６は、対応する画像の画像分析スコアを６０として割り当てる。一方、この画像が、コンビニエンスストアにおいて、最も高価な物を握っている人を示しているのであれば、分析モジュール２０６は、この画像分析スコアを７５として割り当てる。上記の例では、画像が、自分の顔を、他方の手で、または、パーカを着用することによって覆っている人を示しているのであれば、分析モジュール２０６は、この画像分析スコアを８５として割り当てる。
その後、分析モジュール２０６は、割り当てられた画像分析スコアに基づいて、ビデオループの１つまたは複数の疑わしい画像を特定する。１つの実施形態では、分析モジュール２０６は、最も高い画像分析スコアを持つ画像を、疑わしい画像として判定する。別の実施形態では、分析モジュール２０６は、画像分析スコアが、例えば、ビデオアナライザ１３０の管理者によって定義された疑惑しきい値を超えているか否かを判定する。分析モジュール２０６は、超過した画像分析スコアを有する１つまたは複数の画像を、疑わしい画像として識別する。疑わしい画像が識別されれば、分析モジュール２０６は、識別された各疑わしい画像について、ビデオループから動作クリップを生成する。１つの実施形態では、分析モジュール２０６によって生成された動作クリップは、対応する疑わしい画像で始まる。別の実施形態では、動作クリップは、対応する疑わしい画像を含んでいる。何れの実施形態でも、動作クリップの持続時間は、時間しきい値（例えば、２秒、４５秒等）以内にある。その後、分析モジュール２０６は、この動作クリップをサマリ生成器２０８へ送る。
別の実施形態では、分析モジュール２０６は、動作分析を用いて、ビデオループから１つまたは複数の画像のシーケンス（すなわち、１つまたは複数のビデオクリップ）を分析することによって、疑わしい動作を判定する。この実施形態では、分析モジュール２０６は、例えば、２次元ガウシアン平滑化および時間ガボールフィルタリングに基づいて、ビデオループから、１つまたは複数の空間時間的に興味のあるポイントを識別する。分析モジュール２０６は、この人に関連付けられた形状特徴および動き特徴を判定するために、空間時間的に興味のあるポイントによって表される画像のシーケンスを分析する。形状特徴は、例えば、この人の身体部分、物等を表わす。分析モジュール２０６は、例えば、画像のシーケンスから、ローカルな画像強度方位のヒストグラムを計算することによって、形状特徴を判定する。動き特徴は、例えば、画像のシーケンスにおける、この人の手の動きの方向および速度を表わす。分析モジュール２０６は、例えば、３次元ガボールフィルタを用いて、画像のシーケンスを処理することによって、動き特徴を判定する。このような例において、３次元ガボールフィルタの各々は、特定の方向および速度に調整される。
分析モジュール２０６は、形状特徴および／または動き特徴に基づいて、人によって実行される疑わしい動作を含む、疑わしい画像のシーケンスを識別する。例えば、分析モジュール２０６は、警備員に目を向けた後に物を握っている人を表わしている画像のシーケンスを、疑わしい画像のシーケンスとして識別する。別の例において、分析モジュール２０６は、物からバーコードを取り除く人を表わしている画像のシーケンスを、疑わしい画像のシーケンスとして識別する。１つの実施形態では、分析モジュール２０６は、形状特徴および動き特徴を含む空間−時間キューブを構築し、フィッシャーの線形判別アルゴリズムに基づいて、握り動作クラシファイヤを用いて、疑わしいシーケンスを識別する。その後、分析モジュール２０６は、識別された疑わしい画像のシーケンスを含むビデオループから、動作クリップを生成する。生成された動作クリップの持続時間は、時間しきい値以内にある。動作分析方法は、本明細書では、１つの疑わしい画像のシーケンスを識別することを参照して記載されているが、１つの実施形態では、分析モジュール２０６は、複数の疑わしい画像のシーケンスを識別し、疑わしい各シーケンスの動作クリップを生成する。分析モジュール２０６は、この動作クリップを、サマリ生成器２０８へ送る。
分析モジュール２０６は本明細書では、いくつかの実施形態にしたがって、ビデオループから動作クリップを生成するものとして記載されているが、別の実施形態では、分析モジュール２０６は、１つまたは複数の画像キャプチャデバイスから受信した１つまたは複数のビデオから、動作クリップを生成する。このような実施形態では、分析モジュール２０６は、通信モジュール２０２を介して、画像キャプチャデバイスから直接的にビデオを受信する。分析モジュール２０６は、画像分析および動作分析のうちの少なくとも１つを用いて、人によって実行された疑わしい動作を、ビデオから判定する。例えば、分析モジュール２０６は、コンビニエンスストアの棚に置かれたカメラからビデオを受信する。分析モジュール２０６は、人によって行なわれた疑わしい動作を判定し、このビデオから動作クリップを生成する。この動作クリップは、共通の座標系を用いて、追跡モジュール２０４によって生成された人のビデオループに関連付けられうる。カメラから直接的に受信されたビデオは、例えば、人の顔の表情を決定するために、より高い空間的解像度を提供しうるので、これは有利である。
サマリ生成器２０８は、人の行動サマリを生成するためのコードおよびルーチンを含んでいる。１つの実施形態では、サマリ生成器２０８は、人の行動サマリを生成するための機能を提供するために、プロセッサ２３５による実行可能な命令のセットを含む。別の実施形態では、サマリ生成器２０８はメモリ２３７に格納され、プロセッサ２３５によってアクセス可能かつ実行可能である。何れの実施形態でも、サマリ生成器２０８は、バス２２０によって、プロセッサ２３５とビデオ分析アプリケーション１４０のその他のモジュールとの通信および協調のために適応される。
サマリ生成器２０８は、追跡モジュール２０４から、人のビデオループを受信する。サマリ生成器２０８はまた、分析モジュール２０６から、この人の１つまたは複数の動作クリップを受信する。その後、サマリ生成器２０８は、この人のビデオループおよび１つまたは複数の動作クリップを含むユーザインタフェースを提供するためのグラフィックデータ（すなわち、行動サマリ）を生成する。１つの実施形態では、サマリ生成器２０８は、この人に関連付けられた位置データ（例えば、ｘ−ｙ座標）に基づいて、グラフィックデータを生成する。このような実施形態では、サマリ生成器２０８は、各動作クリップにおいて、商業地区内におけるこの人の位置を決定し、この人の位置に基づいて、グラフィックデータを生成する。例えば、サマリ生成器２０８は、受信した動作クリップにおけるこの人の位置が、コンビニエンスストア内の最も左側の通路であると判定する。このような例では、サマリ生成器２０８は、ビデオループの左側に動作クリップを提供するグラフィックデータを生成する。図３を参照して、ユーザインタフェースが、以下にさらに詳細に記載される。
サマリ生成器２０８は、ディスプレイデバイスにグラフィックデータを送る。ディスプレイデバイスは、行動サマリを表すためにグラフィックデータを描画する。１つの実施形態では、サマリ生成器２０８は、人に関連付けられた位置データに基づいて、この人が商業地区の出口に接近しているか否かを判定する。このような実施形態では、サマリ生成器２０８は、この人が商業地区の出口に接近していると判定することに応じて（すなわち、同時に）、ディスプレイデバイスにグラフィックデータを送信する。行動サマリは、例えばコンビニエンスストア内の顧客のすべての移動を示すビデオループと、この顧客によって実行された疑わしい動作を示す１つまたは複数の動作クリップとを同時に示すので、有利である。例えば、コンビニエンスストアの警備要員である、ビデオアナライザ１４０の管理者は、動作クリップを迅速に（顧客がコンビニエンスストアを出る前に）レビューし、この顧客が製品を盗んだか否かを判定しうる。したがって、誤警報を発するという問題が低減される。
図３は、１つの実施形態による人の行動サマリを含むユーザインタフェース３００である。例示された実施形態は、コンビニエンスストアの内部の人のすべての移動の画像を表示するビデオループ３１０を含む。例示された実施形態はさらに、人３４０によって実行された疑わしい動作（すなわち、物を握ること）を表示する動作クリップ３２０、３３０、および３５０を含む。例えば、動作クリップ３５０は、手を伸ばし、コンビニエンスストアの棚からの製品を握る人３４０を表示する。この実施形態では、サマリ生成器は、動作クリップ３２０、３３０、および３５０の各々において、コンビニエンスストア内の人３４０の位置に基づいて行動サマリを生成する。例えば、サマリ生成器は、動作クリップ３３０において、コンビニエンスストアの左手側に人３４０が位置していると判定する。したがって、サマリ生成器は、ユーザインタフェース３００におけるビデオクリップ３１０の右に動作クリップ３３０を提供する。
図４は、商業地区における人の行動サマリを生成するための例示的な方法４００を例示するフロー図である。通信モジュールは、１つまたは複数の画像キャプチャデバイスから、１つまたは複数のビデオを受信する（４０２）。追跡モジュールは、１つまたは複数のビデオから、人のビデオループを生成する（４０４）。分析モジュールは、ビデオループから動作クリップを生成する（４０６）。動作クリップは、人によって実行された疑わしい動作を含む。例えば、分析モジュールは、物を握る人を含む動作クリップを、画像分析を用いて生成する（４０６）。サマリ生成器はその後、ビデオループおよび動作クリップを含む、この人の行動サマリを生成する（４０８）。
図５は、商業地区における人の行動サマリを生成するための別の例示的な方法５００を例示するフロー図である。通信モジュールは、商業地区に設置された１つまたは複数の画像キャプチャデバイスから、１つまたは複数のビデオを受信する（５０２）。追跡モジュールは、１つまたは複数のビデオから、人のビデオループを生成する（５０４）。
１つの実施形態において、分析モジュールは、この人によって実行された疑わしい動作を判定するために、ビデオループの１つまたは複数の画像を分析する（５０６）。分析モジュールは、この分析に基づいて、１つまたは複数の画像の各々の画像分析スコアを決定する（５０８）。その後、分析モジュールは、１つまたは複数の画像分析スコアに基づいて、疑わしい画像を識別する（５１０）。例えば、分析モジュールは、最も高い画像分析スコアを持つ画像を、疑わしい画像として識別する。分析モジュールは、ビデオループから、疑わしい画像を含む動作クリップを生成する（５１２）。例えば、分析モジュールは、ビデオループから、疑わしい画像で始まる動作クリップを生成する。
別の実施形態では、分析モジュールは、この人に関連付けられた動き特徴を判定するために、ビデオループから、１つまたは複数の画像のシーケンスを分析する（５１４）。分析モジュールは、これら動き特徴に基づいて、１つまたは複数の画像のシーケンスから、疑わしい画像のシーケンスを識別する（５１６）。分析モジュールはその後、ビデオループから、疑わしい画像のシーケンスを含む動作クリップを生成する（５１８）。何れの実施形態でも、サマリ生成器は、ビデオループおよび動作クリップを含む、人の行動サマリを生成する（５２０）。その後、サマリ生成器は、この人が、商業地区の出口に近づいているか否かを判定する（５２２）。サマリ生成器は、この人が出口に近づいていると判定することに応じて、表示するための行動サマリを提供する（５２４）。
本実施形態の技術的効果は、１つまたは複数の画像キャプチャデバイスから、１つまたは複数のビデオを受信することと、１つまたは複数のビデオから、人のビデオループを生成することとを含み、ビデオループは、商業地区における人を示す。この方法はまた、商業地区において、人によって実行された疑わしい動作を含む動作クリップを、ビデオループから生成することと、ビデオループおよび動作クリップを含む、この人の行動サマリを生成することと、を含む。
前述したこのような目的または利点の必ずしもすべてが、任意の特定の実施形態にしたがって達成される必要はないことが理解されるべきである。したがって、例えば、当業者であれば、本明細書に記載されたシステムおよび技法が、その他の目的または利点を、本明細書で教示または示唆されたように必ずしも達成することなく、本明細書で教示されたように１つの利点または複数の利点からなるグループを達成または最適化する方式で、具体化または実現されうることを認識するであろう。
本発明は、限定された数の実施形態のみに関連付けられて詳細に記載されているが、本発明は、このような開示された実施形態に限定されないことが容易に理解されるべきである。むしろ、本発明は、前述されていないが本発明の精神およびスコープと同等である任意の数の、変形、変更、代用、または等価な構成を組み込むように修正されうる。さらに、本発明のさまざまな実施形態が記載されたが、本発明の態様は、記載された実施形態のうちのいくつかのみしか含まない場合がありうることが理解されるべきである。したがって、本発明は、前述された記載によって限定されているとしては理解されず、添付された特許請求の範囲のスコープによってのみ限定される。新規なものとして権利請求され、米国の特許証によって保護されることが望まれるものは以下の通りである。
１２０ａ、１２０ｂ、１２０ｎ 画像キャプチャデバイス
１３０ ビデオアナライザ
１４０ ビデオ分析アプリケーション
１５０ ディスプレイデバイス
１７０ ネットワーク
２０２ 通信モジュール
２０４ 追跡モジュール
２０６ 分析モジュール
２０８ サマリ生成器
２３５ プロセッサ
２３７ メモリ

Claims (20)

  1. 商業地区における人の行動サマリを生成するための方法であって、
    １つまたは複数の画像キャプチャデバイスから、１つまたは複数のビデオを受信することと、
    前記１つまたは複数のビデオから、前記人のビデオループを生成することであって、前記ビデオループは、前記商業地区における前記人の移動の画像を含む、生成することと、
    前記ビデオループから少なくとも１つの動作クリップを生成することであって、前記動作クリップは、前記商業地区において前記人によって実行された疑わしい動作を含む、生成することと、
    前記ビデオループおよび前記動作クリップを含む、前記人の前記行動サマリを生成することと、
    を含む方法。
  2. 前記疑わしい動作は、物を握ることと、前記物から部品を取り除くことと、前記物を隠すことと、のうちの少なくとも１つを含む、請求項１記載の方法。
  3. 前記動作クリップを生成することはさらに、
    前記人によって実行された前記疑わしい動作を判定するために、前記ビデオループの１つまたは複数の画像を分析することと、
    前記１つまたは複数の画像の前記分析に基づいて、前記１つまたは複数の画像の各々の画像分析スコアを決定することと、
    １つまたは複数の前記画像分析スコアに基づいて、前記１つまたは複数の画像から、疑わしい画像を識別することと、
    前記ビデオループから、前記識別された疑わしい画像を含む前記動作クリップを生成することと
    を含む、請求項１記載の方法。
  4. 前記動作クリップは、前記識別された疑わしい画像で始まる、請求項３記載の方法。
  5. 前記動作クリップを生成することはさらに、
    前記人に関連付けられた１つまたは複数の動き特徴を判定するために、前記ビデオループから、１つまたは複数の画像のシーケンスを分析することと、
    前記１つまたは複数の動き特徴に基づいて、前記１つまたは複数の画像のシーケンスから、疑わしい画像のシーケンスを識別することと、
    前記ビデオループから、前記疑わしい画像のシーケンスを含む前記動作クリップを生成することと
    を含む、請求項１記載の方法。
  6. 前記動作クリップを生成することはさらに、前記ビデオループから、複数の動作クリップを生成することを含む、請求項１記載の方法。
  7. 前記人の前記ビデオループを生成することはさらに、
    前記１つまたは複数の画像キャプチャデバイスのうちの第１の画像キャプチャデバイスから、前記１つまたは複数のビデオのうちの第１のビデオを受信することと、
    前記第１のビデオから、前記人を含む、第１の画像のセットを識別することと、
    前記１つまたは複数の画像キャプチャデバイスのうちの第２の画像キャプチャデバイスから、前記１つまたは複数のビデオのうちの第２のビデオを受信することと、
    前記第２のビデオから、前記人を含む、第２の画像のセットを識別することと、
    前記第１の画像のセットと前記第２の画像のセットとを組み合わせることによって、前記人のビデオループを生成することと
    を含む、請求項１記載の方法。
  8. 前記商業地区の出口に前記人が接近しているか否かを判定することと、
    前記商業地区の前記出口に前記人が接近していると判定することに応じて、前記行動サマリを表示のために送ることと、
    をさらに含む請求項１記載の方法。
  9. 商業地区における人の行動サマリを生成するためのシステムであって、
    少なくとも１つのプロセッサと、
    メモリに格納され、前記少なくとも１つのプロセッサによって実行可能である追跡モジュールであって、前記追跡モジュールは、１つまたは複数の画像キャプチャデバイスから、１つまたは複数のビデオを受信することと、前記１つまたは複数のビデオから、前記人のビデオループを生成することとのためのものであり、前記ビデオループは、前記商業地区における前記人の移動の画像を含む、追跡モジュールと、
    前記メモリに格納され、前記少なくとも１つのプロセッサによって実行可能である分析モジュールであって、前記分析モジュールは、前記ビデオループから少なくとも１つの動作クリップを生成するために、前記追跡モジュールに通信可能に接続され、前記動作クリップは、前記商業地区において、前記人によって実行された疑わしい動作を含む、分析モジュールと、
    前記メモリに格納され、前記少なくとも１つのプロセッサによって実行可能であるサマリ生成器であって、前記サマリ生成器は、前記ビデオループおよび前記動作クリップを含む、前記人の前記行動サマリを生成するために、前記分析モジュールに通信可能に接続された、サマリ生成器と、
    を備えるシステム。
  10. 前記分析モジュールはさらに、
    前記人によって実行された前記疑わしい動作を判定するために、前記ビデオループの１つまたは複数の画像を分析し、
    前記１つまたは複数の画像の前記分析に基づいて、前記１つまたは複数の画像の各々の画像分析スコアを決定し、
    １つまたは複数の前記画像分析スコアに基づいて、前記１つまたは複数の画像から、疑わしい画像を識別し、
    前記ビデオループから、前記識別された疑わしい画像を含む前記動作クリップを生成する
    ように構成された、請求項９記載のシステム。
  11. 前記分析モジュールはさらに、
    前記人に関連付けられた１つまたは複数の動き特徴を判定するために、前記ビデオループから、１つまたは複数の画像のシーケンスを分析し、
    前記１つまたは複数の動き特徴に基づいて、前記１つまたは複数の画像のシーケンスから、疑わしい画像のシーケンスを識別し、
    前記ビデオループから、前記疑わしい画像のシーケンスを含む前記動作クリップを生成する
    ように構成された、請求項９記載のシステム。
  12. 前記分析モジュールはさらに、前記ビデオループから複数の動作クリップを生成する、請求項９記載のシステム。
  13. 前記追跡モジュールはさらに、
    前記１つまたは複数の画像キャプチャデバイスのうちの第１の画像キャプチャデバイスから、前記１つまたは複数のビデオのうちの第１のビデオを受信し、
    前記第１のビデオから、前記人を含む、第１の画像のセットを識別し、
    前記１つまたは複数の画像キャプチャデバイスのうちの第２の画像キャプチャデバイスから、前記１つまたは複数のビデオのうちの第２のビデオを受信し、
    前記第２のビデオから、前記人を含む、第２の画像のセットを識別し、
    前記第１の画像のセットと前記第２の画像のセットとを組み合わせることによって、前記人のビデオループを生成する
    ように構成された、請求項９記載のシステム。
  14. 前記サマリ生成器はさらに、
    前記商業地区の出口に前記人が接近しているか否かを判定し、
    前記商業地区の前記出口に前記人が接近しているとの判定に応じて、前記行動サマリを表示のために送る
    ように構成された、請求項９記載のシステム。
  15. 少なくとも１つのプロセッサによる実行に応答して、前記プロセッサに対して、
    １つまたは複数の画像キャプチャデバイスから、１つまたは複数のビデオを受信することと、
    前記１つまたは複数のビデオから、人のビデオループを生成することであって、前記ビデオループは、商業地区における前記人の移動の画像を含む、生成することと、
    前記ビデオループから少なくとも１つの動作クリップを生成することであって、前記動作クリップは、前記商業地区において、前記人によって実行された疑わしい動作を含む、生成することと、
    前記ビデオループおよび前記動作クリップを含む、前記人の行動サマリを生成することと
    を含む動作を実行させる、命令をエンコードする非一時的なコンピュータ読取可能な媒体を備えるコンピュータプログラム製品。
  16. 前記人によって実行された前記疑わしい動作を判定するために、前記ビデオループの１つまたは複数の画像を分析することと、
    前記１つまたは複数の画像の前記分析に基づいて、前記１つまたは複数の画像の各々の画像分析スコアを決定することと、
    １つまたは複数の前記画像分析スコアに基づいて、前記１つまたは複数の画像から、疑わしい画像を識別することと、
    前記ビデオループから、前記識別された疑わしい画像を含む前記動作クリップを生成することと
    を含む動作を、前記プロセッサに対してさらに実行させる、請求項１５記載のコンピュータプログラム製品。
  17. 前記動作クリップは、前記疑わしい画像で始まる、請求項１６記載のコンピュータプログラム製品。
  18. 前記人に関連付けられた１つまたは複数の動き特徴を判定するために、前記ビデオループから、１つまたは複数の画像のシーケンスを分析することと、
    前記１つまたは複数の動き特徴に基づいて、前記１つまたは複数の画像のシーケンスから、疑わしい画像のシーケンスを識別することと、
    前記ビデオループから、前記疑わしい画像のシーケンスを含む前記動作クリップを生成することと
    を含む動作を、前記プロセッサに対してさらに実行させる、請求項１５記載のコンピュータプログラム製品。
  19. 前記ビデオループから、複数の動作クリップを生成することを含む動作を、前記プロセッサに対してさらに実行させる、請求項１５記載のコンピュータプログラム製品。
  20. 前記商業地区の出口に前記人が接近しているか否かを判定することと、
    前記商業地区の前記出口に前記人が接近していると判定することに応じて、前記行動サマリを表示のために送ることと
    を含む動作を、前記プロセッサに対してさらに実行させる、請求項１５記載のコンピュータプログラム製品。
JP2015532045A 2012-09-13 2013-09-12 人の行動サマリを生成するためのシステムおよび方法 Active JP6307083B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261700490P 2012-09-13 2012-09-13
US61/700,490 2012-09-13
US13/888,941 2013-05-07
US13/888,941 US10271017B2 (en) 2012-09-13 2013-05-07 System and method for generating an activity summary of a person
PCT/US2013/059478 WO2014043359A2 (en) 2012-09-13 2013-09-12 System and method for generating an activity summary of a person

Publications (2)

Publication Number Publication Date
JP2016500855A true JP2016500855A (ja) 2016-01-14
JP6307083B2 JP6307083B2 (ja) 2018-04-04

Family

ID=50232901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015532045A Active JP6307083B2 (ja) 2012-09-13 2013-09-12 人の行動サマリを生成するためのシステムおよび方法

Country Status (9)

Country Link
US (1) US10271017B2 (ja)
EP (1) EP2896199A4 (ja)
JP (1) JP6307083B2 (ja)
KR (1) KR102189205B1 (ja)
CN (1) CN104823438A (ja)
AU (3) AU2013315497A1 (ja)
BR (1) BR112015005543A2 (ja)
CA (1) CA2884670C (ja)
WO (1) WO2014043359A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019193089A (ja) * 2018-04-24 2019-10-31 東芝テック株式会社 映像解析装置

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10248868B2 (en) * 2012-09-28 2019-04-02 Nec Corporation Information processing apparatus, information processing method, and information processing program
US10121106B2 (en) * 2014-06-30 2018-11-06 Digitalglobe, Inc. Spectral data analytic cube classifier (SPADACC) for continuous wide area geospatial modeling using normalized and highly dimensional multispectal raster data
GB2528330B (en) * 2014-07-18 2021-08-04 Unifai Holdings Ltd A method of video analysis
GB2529435B (en) * 2014-08-19 2020-09-02 Apical Ltd A Method of Generating A Framed Video Stream
KR20160024143A (ko) 2014-08-25 2016-03-04 삼성전자주식회사 영상 처리 방법 및 전자 장치
US10062410B2 (en) 2016-09-23 2018-08-28 Apple Inc. Automated seamless video loop
US10122940B2 (en) 2016-09-23 2018-11-06 Apple Inc. Automated seamless video loop
US10062409B2 (en) 2016-09-23 2018-08-28 Apple Inc. Automated seamless video loop
CN106385562B (zh) * 2016-09-23 2019-06-11 浙江宇视科技有限公司 一种视频摘要生成方法、装置及视频监控系统
US10176845B2 (en) 2016-09-23 2019-01-08 Apple Inc. Seamless forward-reverse video loops
US9934818B1 (en) 2016-09-23 2018-04-03 Apple Inc. Automated seamless video loop
CN106714007A (zh) * 2016-12-15 2017-05-24 重庆凯泽科技股份有限公司 一种视频摘要方法及装置
US10972297B2 (en) * 2017-01-23 2021-04-06 Bank Of America Corporation Data processing system with machine learning engine to provide automated collaboration assistance functions
JP6981463B2 (ja) * 2017-03-06 2021-12-15 日本電気株式会社 商品監視装置、商品監視システム、出力先装置、商品監視方法、表示方法及びプログラム
US10311305B2 (en) 2017-03-20 2019-06-04 Honeywell International Inc. Systems and methods for creating a story board with forensic video analysis on a video repository
US10734025B2 (en) 2017-05-16 2020-08-04 Apple Inc. Seamless output video variations for an input video
US10489654B1 (en) * 2017-08-04 2019-11-26 Amazon Technologies, Inc. Video analysis method and system
CN107396059A (zh) * 2017-08-24 2017-11-24 杭州凡龙科技有限公司 一种全景位自适应学生图像分析控制方法
CN107967339B (zh) * 2017-12-06 2021-01-26 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
US11115604B2 (en) * 2018-01-02 2021-09-07 Insitu, Inc. Camera apparatus for generating machine vision data and related methods
US10963681B2 (en) * 2018-01-30 2021-03-30 Alarm.Com Incorporated Face concealment detection
JP7267709B2 (ja) * 2018-10-09 2023-05-02 東芝テック株式会社 無人店舗システムおよびサーバ
US11055874B2 (en) * 2018-10-30 2021-07-06 Ncr Corporation Image processing for tracking actions of individuals
WO2020102021A2 (en) 2018-11-13 2020-05-22 Nvidia Corporation Determining associations between objects and persons using machine learning models
GB2583101B (en) * 2019-04-16 2021-05-19 Sony Interactive Entertainment Inc Video processing
US11497418B2 (en) 2020-02-05 2022-11-15 General Electric Company System and method for neuroactivity detection in infants
US11599575B2 (en) 2020-02-17 2023-03-07 Honeywell International Inc. Systems and methods for identifying events within video content using intelligent search query
US11681752B2 (en) 2020-02-17 2023-06-20 Honeywell International Inc. Systems and methods for searching for events within video content
US11030240B1 (en) 2020-02-17 2021-06-08 Honeywell International Inc. Systems and methods for efficiently sending video metadata
US11769330B2 (en) 2020-12-17 2023-09-26 Motorola Solutions, Inc. System and method for video analytics for thermography procedure compliance
CN113949925A (zh) * 2021-10-15 2022-01-18 深圳市智此一游科技服务有限公司 视频生成方法、装置及服务器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005347905A (ja) * 2004-06-01 2005-12-15 Oki Electric Ind Co Ltd 防犯支援システム
JP2006303989A (ja) * 2005-04-21 2006-11-02 Matsushita Electric Ind Co Ltd 監視装置
JP2008538870A (ja) * 2005-04-05 2008-11-06 オブジェクトビデオ インコーポレイテッド ビデオプリミティブを使用するビデオ監視システム
JP2012160830A (ja) * 2011-01-31 2012-08-23 Aiphone Co Ltd インターホンシステム

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745036A (en) 1996-09-12 1998-04-28 Checkpoint Systems, Inc. Electronic article security system for store which uses intelligent security tags and transaction data
US6404925B1 (en) * 1999-03-11 2002-06-11 Fuji Xerox Co., Ltd. Methods and apparatuses for segmenting an audio-visual recording using image similarity searching and audio speaker recognition
US6665423B1 (en) * 2000-01-27 2003-12-16 Eastman Kodak Company Method and system for object-oriented motion-based video description
US6931254B1 (en) 2000-08-21 2005-08-16 Nortel Networks Limited Personalized presentation system and method
US7319479B1 (en) 2000-09-22 2008-01-15 Brickstream Corporation System and method for multi-camera linking and analysis
US8564661B2 (en) * 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US8711217B2 (en) * 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
AU2002361483A1 (en) * 2002-02-06 2003-09-02 Nice Systems Ltd. System and method for video content analysis-based detection, surveillance and alarm management
US7436887B2 (en) * 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US20050134685A1 (en) * 2003-12-22 2005-06-23 Objectvideo, Inc. Master-slave automated video-based surveillance system
US20050102183A1 (en) 2003-11-12 2005-05-12 General Electric Company Monitoring system and method based on information prior to the point of sale
US7667732B1 (en) * 2004-03-16 2010-02-23 3Vr Security, Inc. Event generation and camera cluster analysis of multiple video streams in a pipeline architecture
US7631808B2 (en) * 2004-06-21 2009-12-15 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis
US8289390B2 (en) * 2004-07-28 2012-10-16 Sri International Method and apparatus for total situational awareness and monitoring
US7746378B2 (en) * 2004-10-12 2010-06-29 International Business Machines Corporation Video analysis, archiving and alerting methods and apparatus for a distributed, modular and extensible video surveillance system
US20060095317A1 (en) 2004-11-03 2006-05-04 Target Brands, Inc. System and method for monitoring retail store performance
US7760908B2 (en) * 2005-03-31 2010-07-20 Honeywell International Inc. Event packaged video sequence
US10019877B2 (en) 2005-04-03 2018-07-10 Qognify Ltd. Apparatus and methods for the semi-automatic tracking and examining of an object or an event in a monitored site
US8089563B2 (en) * 2005-06-17 2012-01-03 Fuji Xerox Co., Ltd. Method and system for analyzing fixed-camera video via the selection, visualization, and interaction with storyboard keyframes
US7944468B2 (en) * 2005-07-05 2011-05-17 Northrop Grumman Systems Corporation Automated asymmetric threat detection using backward tracking and behavioral analysis
US9036028B2 (en) 2005-09-02 2015-05-19 Sensormatic Electronics, LLC Object tracking and alerts
US8949235B2 (en) * 2005-11-15 2015-02-03 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Methods and systems for producing a video synopsis using clustering
EP2021502A4 (en) * 2006-05-09 2010-08-25 Mas Metabolic Analytical Servi GENES AND ATYPICAL MARKERS IN TYPE 2 DIABETES AND OBESITY
CN101087405A (zh) * 2006-06-07 2007-12-12 鸿富锦精密工业（深圳）有限公司 动态监控系统及方法
US10078693B2 (en) * 2006-06-16 2018-09-18 International Business Machines Corporation People searches by multisensor event correlation
US7930204B1 (en) 2006-07-25 2011-04-19 Videomining Corporation Method and system for narrowcasting based on automatic analysis of customer behavior in a retail store
US20080074496A1 (en) * 2006-09-22 2008-03-27 Object Video, Inc. Video analytics for banking business process monitoring
US8274564B2 (en) * 2006-10-13 2012-09-25 Fuji Xerox Co., Ltd. Interface for browsing and viewing video from multiple cameras simultaneously that conveys spatial and temporal proximity
BRPI0720802B1 (pt) * 2007-02-01 2021-10-19 Briefcam, Ltd. Método e sistema para gerar uma sinopse de vídeo de uma fonte de fluxo de vídeo ininterrupta como a gerada por uma câmera de segurança de vídeo
US7898576B2 (en) * 2007-02-28 2011-03-01 Honeywell International Inc. Method and system for indexing and searching objects of interest across a plurality of video streams
US8295543B2 (en) 2007-08-31 2012-10-23 Lockheed Martin Corporation Device and method for detecting targets in images based on user-defined classifiers
US8630497B2 (en) * 2007-11-27 2014-01-14 Intelliview Technologies Inc. Analyzing a segment of video
US8064653B2 (en) * 2007-11-29 2011-11-22 Viewdle, Inc. Method and system of person identification by facial image
US8098888B1 (en) 2008-01-28 2012-01-17 Videomining Corporation Method and system for automatic analysis of the trip of people in a retail space using multiple cameras
TWI489394B (zh) 2008-03-03 2015-06-21 Videoiq Inc 用於追蹤、索引及搜尋之物件匹配
GB2472932B (en) 2008-06-13 2012-10-03 Lockheed Corp Method and system for crowd segmentation
US8009863B1 (en) * 2008-06-30 2011-08-30 Videomining Corporation Method and system for analyzing shopping behavior using multiple sensor tracking
US8494214B2 (en) * 2008-10-30 2013-07-23 Toshiba Global Commerce Solutions Holdings Corporation Dynamically learning attributes of a point of sale operator
KR101592999B1 (ko) * 2009-02-09 2016-02-11 삼성전자주식회사 휴대용 단말기에서 손 모양을 인식하기 위한 장치 및 방법
US20100208064A1 (en) 2009-02-19 2010-08-19 Panasonic Corporation System and method for managing video storage on a video surveillance system
JP5127067B2 (ja) * 2009-03-06 2013-01-23 パナソニック株式会社 画像検索装置及び画像検索方法
US20110071792A1 (en) * 2009-08-26 2011-03-24 Cameron Miner Creating and viewing multimedia content from data of an individual's performance in a physical activity
US8797405B2 (en) * 2009-08-31 2014-08-05 Behavioral Recognition Systems, Inc. Visualizing and updating classifications in a video surveillance system
US8438175B2 (en) * 2010-03-17 2013-05-07 Lighthaus Logic Inc. Systems, methods and articles for video analysis reporting
US20110228984A1 (en) * 2010-03-17 2011-09-22 Lighthaus Logic Inc. Systems, methods and articles for video analysis
US20110280439A1 (en) 2010-05-11 2011-11-17 Beverly Harrison Techniques for person detection
US8462224B2 (en) * 2010-06-01 2013-06-11 Hewlett-Packard Development Company, L.P. Image retrieval
US8457354B1 (en) * 2010-07-09 2013-06-04 Target Brands, Inc. Movement timestamping and analytics
US20120027371A1 (en) * 2010-07-28 2012-02-02 Harris Corporation Video summarization using video frames from different perspectives
EP2580738A4 (en) * 2010-08-10 2018-01-03 LG Electronics Inc. Region of interest based video synopsis
US9226037B2 (en) * 2010-12-30 2015-12-29 Pelco, Inc. Inference engine for video analytics metadata-based event detection and forensic search
US8854474B2 (en) * 2011-03-08 2014-10-07 Nice Systems Ltd. System and method for quick object verification
US8115623B1 (en) 2011-03-28 2012-02-14 Robert M Green Method and system for hand basket theft detection
US9111147B2 (en) * 2011-11-14 2015-08-18 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
WO2013119235A1 (en) * 2012-02-09 2013-08-15 Hewlett-Packard Development Company, L.P. Forensic verification from halftone images
US8958645B2 (en) * 2012-04-19 2015-02-17 Canon Kabushiki Kaisha Systems and methods for topic-specific video presentation
US20140164507A1 (en) * 2012-12-10 2014-06-12 Rawllin International Inc. Media content portions recommended
US9552522B2 (en) * 2014-01-11 2017-01-24 Verint Systems Ltd. Counting and monitoring method using face detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005347905A (ja) * 2004-06-01 2005-12-15 Oki Electric Ind Co Ltd 防犯支援システム
JP2008538870A (ja) * 2005-04-05 2008-11-06 オブジェクトビデオ インコーポレイテッド ビデオプリミティブを使用するビデオ監視システム
JP2006303989A (ja) * 2005-04-21 2006-11-02 Matsushita Electric Ind Co Ltd 監視装置
JP2012160830A (ja) * 2011-01-31 2012-08-23 Aiphone Co Ltd インターホンシステム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019193089A (ja) * 2018-04-24 2019-10-31 東芝テック株式会社 映像解析装置

Also Published As

Publication number Publication date
CN104823438A (zh) 2015-08-05
WO2014043359A2 (en) 2014-03-20
AU2013315497A1 (en) 2015-04-02
CA2884670A1 (en) 2014-03-20
WO2014043359A3 (en) 2014-08-07
KR20150054995A (ko) 2015-05-20
AU2017206244A1 (en) 2017-08-10
CA2884670C (en) 2020-07-14
AU2019213309A1 (en) 2019-08-22
US20140071287A1 (en) 2014-03-13
US10271017B2 (en) 2019-04-23
EP2896199A4 (en) 2016-08-24
KR102189205B1 (ko) 2020-12-10
EP2896199A2 (en) 2015-07-22
JP6307083B2 (ja) 2018-04-04
BR112015005543A2 (pt) 2017-10-03

Similar Documents

Publication Publication Date Title
JP6307083B2 (ja) 人の行動サマリを生成するためのシステムおよび方法
Mastorakis et al. Fall detection system using Kinect’s infrared sensor
US9396400B1 (en) Computer-vision based security system using a depth camera
Kwolek et al. Improving fall detection by the use of depth sensor and accelerometer
US10009579B2 (en) Method and system for counting people using depth sensor
Ghose et al. UbiHeld: ubiquitous healthcare monitoring system for elderly and chronic patients
CA3014365C (en) System and method for gathering data related to quality of service in a customer service environment
Bosch-Jorge et al. Fall detection based on the gravity vector using a wide-angle camera
Liciotti et al. Human activity analysis for in-home fall risk assessment
Goudelis et al. Fall detection using history triple features
JP2021114771A (ja) 情報処理装置、制御方法、及びプログラム
Xiang et al. Remote safety monitoring for elderly persons based on omni-vision analysis
Wu et al. Video-based fall detection using human pose and constrained generative adversarial network
Siriwardhana et al. Classification of activities of daily living based on depth sequences and audio
Biswas et al. A literature review of current vision based fall detection methods
JP2014182585A (ja) 画像解析装置、画像解析方法および画像解析プログラム
Silapasuphakornwong et al. A conceptual framework for an elder-supported smart home
Hernandez et al. Dynamic background subtraction for fall detection system using a 2D camera
Su et al. Enhancing Detection of Falls and Bed-Falls Using a Depth Sensor and Convolutional Neural Network
Iazzi et al. A new method for fall detection of elderly based on human shape and motion variation
Goudelis et al. Identifying unintentional falls in action videos using the 3D Cylindrical Trace Transform
Wang et al. Wearable privacy protection with visual bubble
Spinsante RGB-D Sensors and Signal Processing for Fall Detection
Kumar et al. Intelligent collaborative surveillance system
Lim et al. Motion detection based on simulated depth measurement

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180309

R150 Certificate of patent or registration of utility model

Ref document number: 6307083

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250