JP2018528720A - ビデオ処理のためのシステムおよび方法 - Google Patents

ビデオ処理のためのシステムおよび方法 Download PDF

Info

Publication number
JP2018528720A
JP2018528720A JP2018515674A JP2018515674A JP2018528720A JP 2018528720 A JP2018528720 A JP 2018528720A JP 2018515674 A JP2018515674 A JP 2018515674A JP 2018515674 A JP2018515674 A JP 2018515674A JP 2018528720 A JP2018528720 A JP 2018528720A
Authority
JP
Japan
Prior art keywords
frame
video content
video
summary frame
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018515674A
Other languages
English (en)
Inventor
ビ、ニン
リン、ファン
ディン、ジンティン
スン、ユ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2018528720A publication Critical patent/JP2018528720A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19667—Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4786—Supplemental services, e.g. displaying phone caller identification, shopping application e-mailing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/917—Television signal processing therefor for bandwidth reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

ビデオ処理のシステムおよび方法が開示される。特定の実装形態では、デバイスは、ビデオフレームシーケンスを受信し、ビデオフレームシーケンスとビデオフレームシーケンスの各フレームについてのフレームインデックスとを記憶するように構成されたフレームバッファを含む。本デバイスは、要約フレームを、要約フレームを表す符号化されたファイルに圧縮するように構成されたプロセッサをも含む。要約フレームは、ビデオフレームシーケンスの第１のフレームインデックスに関連する第１のビデオフレーム中に、第１の位置における物体の第１の表現を含む。要約フレームは、ビデオフレームシーケンスに関連する第２のフレームインデックスに関連する第２のビデオフレーム中に、第２の位置における物体の第２の表現をさらに含む。本デバイスは、要約フレームに関連する通知信号を出力するように構成された送信機をも含む。【選択図】 図１Ａ

Description

[0001]本開示は、一般にビデオ処理に関する。
[0002]閉回路テレビジョン（ＣＣＴＶ：closed circuit television）システムなどのビデオ監視システムでは、カメラが固定位置に取り付けられ得る。カメラによって生成されたビデオコンテンツ（たとえば、ビデオストリーム）は、ほとんどの時間、カメラの視野内で移動がなく、イベントがないことがある。記録されたビデオストリーム中で関心（interest）イベント（たとえば、移動）を特定するために、複数のオプションが利用可能であり得る。たとえば、関心イベントは、記録されたビデオを早送りモードで再生することによって、記録されたビデオストリーム中で識別され得る。他の例として、関心イベントは、符号化するときにフレームをスキップすること（たとえば、ビデオストリームのｎ番目ごとのフレームを符号化すること、ここで、ｎは整数である）によってビデオストリームの要約クリップを生成することによって、または記録されたビデオストリームのタイムラプス（time-lapse）ビデオを生成することによって識別され得る。これらのオプションの各々は、非効率的であり、時間がかかり得る。
[0003]特定の態様では、デバイスは、ビデオフレームシーケンスを収集するように構成されたキャプチャユニットを含む。各ビデオフレームはフレームインデックスを有する。本デバイスは、キャプチャユニットと電気通信しているフレームバッファをさらに含む。フレームバッファは、ビデオフレームシーケンスおよび関連するフレームインデックスを記憶することが可能である。本デバイスは、フレームバッファと電子通信しているプロセッサをも含む。プロセッサは、要約フレーム（summary frame）を、要約フレームを表す符号化されたファイルに圧縮するように構成される。要約フレームは、ビデオフレームシーケンスの第１のフレームインデックスに関連する第１のビデオフレーム中に、第１の位置における物体の第１の表現を含む。要約フレームは、ビデオフレームシーケンスの第２のフレームインデックスに関連する第２のビデオフレーム中に、第２の位置における物体の第２の表現をさらに含む。本デバイスは、プロセッサと電子通信している送信機を含む。送信機は、要約フレームに関連する通知信号を出力するように構成される。
[0004]別の態様では、装置は、プロセッサと、プロセッサに、ビデオコンテンツの部分中のイベントに対応する動きイベント期間を検出することを含む動作を実行させるために実行可能な命令を記憶するメモリとを含む。ビデオコンテンツは複数の画像フレームを含み、ビデオコンテンツの部分は物体を含む。動作は、ビデオコンテンツの部分に関連する要約フレームを生成することをさらに含む。要約フレームは物体の複数の表現を示す。動作は、デバイスに要約フレームを含む通知を送ることを始動することをも含む。
[0005]別の態様では、装置は、ビデオコンテンツの部分に関連する要約フレームを生成するための手段を含む。要約フレームは、ビデオコンテンツの部分中に含まれる物体の複数の表現を示す。本装置は、デバイスに要約フレームを含む通知を送信するための手段をさらに含む。
[0006]別の特定の態様では、ビデオ監視システムを動作させる方法は、ビデオ監視システムの第１のデバイスによって第２のデバイスに、ビデオ監視システムによってキャプチャされたビデオコンテンツの部分中で検出された動きイベントの通知を送ることを含む。通知は、ビデオコンテンツの部分に関連する要約フレームを含む。ビデオコンテンツの部分は物体を含む。要約フレームは物体の複数の表現を示す。本方法は、第１のデバイスにおいて第２のデバイスから、動きイベントに関連するビデオセグメントについての要求を受信することをさらに含む。本方法は、第１のデバイスから第２のデバイスにビデオセグメントを送ることをも含む。
[0007]本開示の他の態様、利点、および特徴は、以下のセクション、すなわち、図面の簡単な説明と、発明を実施するための形態と、特許請求の範囲とを含む、本出願全体を検討した後に明らかになろう。
[0008]要約フレームを生成するために画像データを処理するための第１の例示的なシステムのブロック図。 [0009]要約フレームを生成するために画像データを処理するための第２の例示的なシステムのブロック図。 [0010]要約フレームを生成するために画像データを処理するための第３の例示的なシステムのブロック図。 [0011]要約フレーム生成器の例示的な例のブロック図。 [0012]要約フレームを生成する方法の第１の例示的な例の流れ図。 [0013]要約フレームを生成する方法の第２の例示的な例の流れ図。 [0014]要約フレームを通信するために画像データを処理するための例示的なシステムのブロック図。 [0015]要約フレームを使用してビデオコンテンツをインデックス付けするように構成されたデバイスの例示的な例のブロック図。 [0016]要約フレーム、要約フレームに基づくビデオコンテンツの部分、またはその両方を提示するためのインターフェースの例の図。 要約フレーム、要約フレームに基づくビデオコンテンツの部分、またはその両方を提示するためのインターフェースの例の図。 要約フレーム、要約フレームに基づくビデオコンテンツの部分、またはその両方を提示するためのインターフェースの例の図。 要約フレーム、要約フレームに基づくビデオコンテンツの部分、またはその両方を提示するためのインターフェースの例の図。 要約フレーム、要約フレームに基づくビデオコンテンツの部分、またはその両方を提示するためのインターフェースの例の図。 要約フレーム、要約フレームに基づくビデオコンテンツの部分、またはその両方を提示するためのインターフェースの例の図。 要約フレーム、要約フレームに基づくビデオコンテンツの部分、またはその両方を提示するためのインターフェースの例の図。 要約フレーム、要約フレームに基づくビデオコンテンツの部分、またはその両方を提示するためのインターフェースの例の図。 要約フレーム、要約フレームに基づくビデオコンテンツの部分、またはその両方を提示するためのインターフェースの例の図。 要約フレーム、要約フレームに基づくビデオコンテンツの部分、またはその両方を提示するためのインターフェースの例の図。 [0017]要約フレームを生成する方法の第３の例示的な例の流れ図。 [0018]要約フレームを通信する方法の例示的な例の流れ図。 [0019]要約フレームを受信する方法の例示的な例の流れ図。 [0020]複数の要約フレームを連結する（concatenate）方法の例示的な例の流れ図。 [0021]ビデオコンテンツをインデックス付けする方法の例示的な例の流れ図。 [0022]本明細書で開示される１つまたは複数の方法、システム、装置、またはコンピュータ可読記憶デバイスの様々な態様をサポートするように動作可能であるデバイスのブロック図。
[0023]本開示の特定の態様が、図面を参照しながら以下で説明される。説明では、共通の特徴は、図面全体にわたって共通の参照番号によって指定される。本明細書で使用される、構造、構成要素、動作など、要素を修飾するために使用される順序を示す用語（たとえば、「第１の」、「第２の」、「第３の」など）は、それ自体、別の要素に関する要素の優先順位または順序を示しておらず、むしろ、要素を、（順序を示す用語の使用を別にすれば）同じ名前を有する別の要素から区別するためのものにすぎない。
[0024]本開示は、ビデオコンテンツの部分を要約する要約フレーム（たとえば、画像）を生成するために、ビデオストリーム（たとえば、ビデオセグメント）など、ビデオコンテンツを処理する方法について説明する。たとえば、ビデオコンテンツは、物体（たとえば、人、車など）に関連する動きイベントなどのイベントをキャプチャし得る。ビデオコンテンツは、ビデオコンテンツ内の（イベントの）動きイベント期間の始まりおよび終了を識別する画像処理デバイスに与えられ得る。たとえば、動きイベント期間は、物体が、カメラの視野に入ることおよびそれから出ることに関連し得る。画像処理デバイスは、ビデオコンテンツの少なくとも部分に関連する要約フレームを生成し得る。要約フレームは物体の複数の表現を示し得る。例示のために、動きイベント期間の終了に応答して、要約フレームは、ユーザが、動きイベント期間中のビデオコンテンツ中の物体の移動を要約する単一の画像を迅速に閲覧することを可能にするために生成され、デバイス（たとえば、リモートデバイス）に送られ得る。
[0025]画像処理デバイスは、例示的な、非限定的な例として、カメラまたはビデオ再生デバイス中に含まれ得る。いくつかの実装形態では、画像処理デバイスは、ビデオ監視システム中に含まれ得、１つまたは複数の動きイベントを含むビデオシーケンスなどのビデオシーケンスをインデックス付けするために使用され得る。いくつかの実装形態では、要約フレームは、イベントに対応するビデオコンテンツの部分（たとえば、動きイベント期間）に関連する識別子をも含む通知中に含まれ得る。たとえば、識別子は、要約フレーム中に埋め込まれたメタデータ中に含まれ得る。識別子は、デバイスが、ビデオ監視システムにビデオコンテンツの部分を要求することを可能にし得る。
[0026]いくつかの実装形態では、画像処理デバイスは、複数の「連結された」要約フレームを含む通知を生成し得る。たとえば、画像処理デバイスは、第１の動きイベント期間に対応する第１の要約フレームを生成し得、第２の動きイベント期間に対応する第２の要約フレームを生成し得る。第１の動きイベント期間は、第１のカメラによってキャプチャされた第１のビデオコンテンツの第１の部分に関連し得、第２の動きイベント期間は、第２のカメラによってキャプチャされた第２のビデオコンテンツの第２の部分に関連し得る。代替的に、第１の動きイベント期間および第２の動きイベント期間は、単一のカメラによってキャプチャされたビデオコンテンツの部分関連し得る。いくつかの実装形態では、連結された要約フレームは、第１の動きイベント中の第１の物体の表現の第１のセットと、第２の動きイベント中の第２の物体の表現の第２のセットとを含み得る。表現の各セットは、連結された要約フレームの共通の背景上に重ね合わせられ得る。画像処理デバイスは、時間期間（たとえば、６時間期間）中に生成された、第１の要約フレームおよび第２の要約フレームなどの１つまたは複数の要約フレームを記憶し得、１つまたは複数の要約フレームを含む単一の通知を送り得る。
[0027]ビデオコンテンツの部分の要約フレームを含む通知を送ることによって、通知のデータサイズは、ビデオコンテンツ部分のビデオクリップを含む通知を送ることと比較して低減され得る。したがって、要約フレームを含む（およびビデオクリップを含まない）通知は、ビデオクリップを含む通知よりもデバイスにより迅速に与えられ得る。さらに、ビデオクリップを送る代わりに要約フレームを送ることによって、デバイスのユーザは、動きイベント期間中に（たとえば、ビデオコンテンツの部分中に）発生したアクティビティの理解を得るために、単一の画像など、要約フレームを迅速にレビューし得る。
[0028]図１Ａを参照すると、要約フレームを生成するように動作可能なシステム１００の例示的な例が示されている。システム１００はデバイス１０２を含み得る。いくつかの実装形態では、デバイス１０２は、図５を参照しながら説明されるように、閉回路テレビジョン（ＣＣＴＶ）システムなどのビデオ監視システム中に含まれ得る。例示のために、デバイス１０２は、カメラデバイスであり得るか、カメラを含み得るか、またはビデオシステムコントローラを含み得る。追加または代替として、デバイス１０２は、例示的な、非限定的な例として、コンピュータ、ラップトップ、モバイルデバイス、車両、またはサーバなど、再生デバイスを含むかまたはそれの中に含まれ得る。本明細書で説明される技法は、電子デバイス、モバイルデバイス、車両、ゲーミングコンソール、自動車システムコンソール（たとえば、ＡＤＡＳ）、ウェアラブルデバイス（たとえば、パーソナルマウントカメラ）、ヘッドマウントディスプレイ（ＨＭＤ）などとともに使用され得る。追加の例は、限定はしないが、ロボットまたはロボティックデバイス、無人航空機（ＵＡＶ）、およびドローンを含む。車両の例は、自動車両（たとえば、車、トラック、オートバイ、バス、または列車）、船舶（たとえば、船またはボート）、航空機（たとえば、飛行機またはヘリコプター）、宇宙船（たとえば、スペースシャトル）、自転車、または別の車両を含むことができる。車両は、例示的な非限定的な例として、装輪車両（wheeled vehicle）、装軌車両（tracked vehicle）、鉄道車両（railed vehicle）、空中車両（airborne vehicle）、またはスキー車両（skied vehicle）であり得る。いくつかの場合には、車両は、１人または複数の運転者によって操作され得る。他の場合には、車両は、自律車両などのコンピュータ制御車両であり得る。さらに、１つまたは複数の態様が、デバイスにおいて実行されている動作を含むものとして本明細書で説明され得るが、他の例では、そのような動作は、「クラウド」において実行され得ることを理解されたい。
[0029]デバイス１０２は、画像データを含む１つまたは複数の画像フレームなど、ビデオコンテンツ１４０（たとえば、ビデオシーケンス）を受信するように構成され得る。ビデオコンテンツ１４０（たとえば、画像データ）は、レンズを含むキャプチャユニット（図示せず）から受信され得る。たとえば、キャプチャユニットは、カメラを含み得るかまたはカメラの一部であり得る。キャプチャユニットは、ビデオコンテンツ１４０など、ビデオフレームシーケンスを収集するように構成され得る。いくつかの実装形態では、ビデオフレームシーケンスの各ビデオフレームは、対応するフレームインデックスを有し得る。いくつかの実装形態では、デバイス１０２は、図１Ｂ〜図１Ｃを参照しながら説明されるように、キャプチャユニットを含み得る。
[0030]デバイス１０２は、フレームバッファ１１０と、メモリ１１２と、プロセッサ１１８と、ユーザインターフェース１３０と、送信機１３２とを含み得る。フレームバッファ１１０は、例示的な、非限定的な例として、ビデオコンテンツ１４０の１つまたは複数のフレーム（たとえば、ビデオフレームシーケンスの１つまたは複数のフレーム）、フレームタイムスタンプ、フレームシーケンスインデックス値、またはそれらの組合せを記憶するように構成され得る。いくつかの実装形態では、フレームバッファ１１０は、ビデオコンテンツ１４０を生成する画像キャプチャユニットに結合され得る。本明細書で使用される「結合された」は、「通信可能に結合された」、「電気的に結合された」、または「物理的に結合された」、およびそれらの組合せを含み得る。２つのデバイス（または構成要素）は、１つまたは複数の他のデバイス、構成要素、ワイヤ、バス、ネットワーク（たとえば、ワイヤードネットワーク、ワイヤレスネットワーク、またはそれらの組合せ）などを介して、直接または間接的に結合され（たとえば、通信可能に結合されるか、電気的に結合されるか、または物理的に結合され）得る。電気的に結合された２つのデバイス（または構成要素）は、同じデバイス中にまたは異なるデバイス中に含まれ得、例示的な、非限定的な例として、電子回路、１つまたは複数のコネクタ、または誘導結合を介して接続され得る。いくつかの実装形態では、電気通信しているなど、通信可能に結合された２つのデバイス（または構成要素）は、１つまたは複数のワイヤ、バス、ネットワークなどを介してなど、直接または間接的に電気信号（デジタル信号またはアナログ信号）を送信および受信し得る。たとえば、フレームバッファ１１０は、画像キャプチャデバイスと電気通信していることがある。別の例として、フレームバッファ１１０は、デバイス１０２に結合されたかまたはデバイス１０２中に含まれるメモリなど、ストレージデバイスからビデオコンテンツ１４０を受信し得る。例示のために、ストレージデバイスは、デバイス１０２の外部にあり得、ワイヤードネットワーク、ワイヤレスネットワーク、またはそれらの組合せなどのネットワークを介してデバイス１０２に結合され得る。別の例として、ストレージデバイスは、デバイス１０２に着脱可能に結合され得る。例示のために、メモリデバイスは、デバイス１０２に物理的に結合され得る、セキュアデジタル（ＳＤ）カードなど、メモリカードを含み得る。
[0031]メモリ１１２は、フレームバッファ１１０に結合され得、ビデオコンテンツ１４０の少なくとも部分、ビデオコンテンツ１４０（たとえば、ビデオフレームシーケンス）の少なくとも部分に関連するインデックス、またはそれらの組合せなど、ビデオコンテンツ１１４を記憶するように構成され得る。たとえば、ビデオコンテンツ１１４は、第１のフレームと第２のフレームとを含み得、メモリ１１２は、第１のフレームに関連する第１のデータ（たとえば、第１のフレームインデックス）と、第２のフレームに関連する第２のデータ（たとえば、第２のフレームインデックス）とを記憶し得る。追加または代替として、メモリ１１２は、第１のビデオフレームシーケンスインデックスおよび第２のビデオフレームシーケンスインデックスなど、ビデオフレームシーケンス（たとえば、複数のビデオフレームシーケンス）のインデックスを記憶するように構成され得る。いくつかの実装形態では、ビデオコンテンツ１４０は、フレームバッファ１１０およびメモリ１１２において並列に受信され得る。フレームバッファ１１０とメモリ１１２とは別個であるものとして説明されるが、他の実装形態では、メモリ１１２はフレームバッファ１１０を含み得る。いくつかの実装形態では、ビデオコンテンツ１１４は、図２を参照しながら説明されるように、動き（たとえば、動きイベント）が検出されたビデオコンテンツ１４０の１つまたは複数の部分に関連し得る。メモリ１１２はデバイス１０２中に含まれるものとして示されているが、他の実装形態では、メモリ１１２は、デバイス１０２の外部にあるか、またはデバイス１０２に着脱可能に結合され得る。たとえば、メモリ１１２は、ユニバーサルシリアルバス（ＵＳＢ）ドライブなど、メモリカードまたは他のリムーバブルストレージデバイスを含み得る。
[0032]プロセッサ１１８は、フレームバッファ１１０と電気的に結合されるか、通信可能に結合されるか、またはその両方であり得る。たとえば、プロセッサ１１８は、フレームバッファ１１０と電気通信していることがある。プロセッサ１１８は、例示的な、非限定的な例として、デジタル信号プロセッサ（ＤＳＰ）、中央処理ユニット（ＣＰＵ）、グラフィカル処理ユニット（ＧＰＵ）、またはそれらの組合せを含み得る。
[0033]プロセッサ１１８は、要約フレーム生成器１２０と通知生成器１２６とを含み得る。要約フレーム生成器１２０は、要約フレーム１２２、メタデータ１２４、またはその両方を生成するように構成され得る。要約フレーム１２２は、動きイベントが検出されたビデオコンテンツ１４０の部分の視覚要約を与え得る。たとえば、要約フレーム１２２は、本明細書でさらに説明されるように、ビデオコンテンツの部分中で移動するものとして検出された物体の複数の表現を示し得る。物体は、１つまたは複数の検出されたブロブ（blobs）に関連するかまたはそれに対応し得る。要約フレーム１２２中に含まれる物体の複数の表現は、図２〜図５を参照しながら説明されるように、ビデオコンテンツ１４０の部分から選択されたキーフレームに対応し得る。いくつかの実装形態では、プロセッサ１１８は、本明細書でさらに説明されるように、ビデオコンテンツ１４０中の複数のビデオフレーム（たとえば、ビデオフレームシーケンス中の複数のフレーム）にわたる動きイベントに基づく要約フレーム１２２の生成を始動するように構成され得る。
[0034]たとえば、プロセッサ１１８は、要約フレーム１２２を生成するために、ビデオコンテンツ１４０の部分の第１のフレームからの物体の第１の表現と、ビデオコンテンツ１４０の部分の第２のフレームからの物体の第２の表現とを組み合わせ得る。例示のために、要約フレーム１２２の一例が１５０において示されている。要約フレーム１２２の例１５０は、人および自転車の要約など、ビデオコンテンツ１４０の部分の視覚要約を与える。たとえば、要約フレーム１２２は、動きイベントの単一フレーム視覚要約を与え得る。例示のために、要約フレーム１２２は、人および自転車の複数の表現１５１〜１５６を示し得る。複数の表現１５１〜１５６の各々は、ビデオコンテンツ１４０の部分から選択された異なるフレームに対応し得る。たとえば、第１の表現１５１は、ビデオフレームシーケンスの第１のフレームインデックスに関連する第１のフレームに対応し得、第２の表現１５２は、ビデオフレームシーケンスの第２のフレームインデックスに関連する第２のフレームに対応し得る、などである。いくつかの実装形態では、第１のフレームおよび第２のフレームの各々は、それぞれ、動きイベントに対応するキーフレームに関連し得る。要約フレーム生成器１２０は、図２〜図４を参照しながら説明されるように、１つまたは複数のキーフレームを選択するように構成され得る。いくつかの例では、複数の表現は、ユーザが人および自転車の移動方向を決定することができるように（たとえば、カラーリング、テクスチャ、シェーディングなどを使用して）提示され得る。他の例では、各表現は、時間的に複数の表現のシーケンスを示す、数値、文字、矢印など、インジケータを含み得る。複数の表現１５１〜１５６の各々が、例１５０では別個である（たとえば、重複しない）ものとして示されているが、他の実装では、第１の表現は、第２の表現と少なくとも部分的に重複し得、ここで、第１の表現は、第２の表現に関連する第２のフレームよりも、フレームのシーケンスにおいて前にまたは後に発生する第１のフレームに関連する。
[0035]デバイス１０２を参照すると、メタデータ１２４は、ビデオコンテンツ１４０に対応するファイル名、要約フレーム識別子、ビデオコンテンツ１４０が生成された日付または時間、要約フレーム１２２が生成された日付または時間、動きイベント開始時間、動きイベント終了時間、動きイベント持続時間、ビデオセグメント（たとえば、動きイベント期間に対応するビデオクリップ）の識別子、要約フレーム１２２中に含まれる物体の表現を生成するために使用されるフレームの指示、ビデオコンテンツ１４０を生成したキャプチャユニットに関連するキャプチャユニット識別子（たとえば、カメラ識別子）、カメラロケーション、ビデオコンテンツ１１４が記憶されたメモリ１１２の記憶ロケーションへのリンク（たとえば、ユニフォームリソースロケータ（ＵＲＬ））、あるいはそれらの組合せを含み得る。例示のために、メタデータ１２４は、（第１の表現１５１に対応する）関連する第１のフレームインデックスと、（第２の表現１５２に対応する）関連する第２のフレームインデックスとを含み得る。いくつかの実装形態では、メタデータ１２４は、要約フレーム１２２中に含まれ（たとえば、それの中に埋め込まれ）得る。追加または代替として、いくつかの実装形態では、メタデータ１２４は、環境情報（たとえば、ビデオコンテンツ１４０の生成中の気象条件）、セマンティック（semantic）情報（たとえば、イベント識別情報）、物体識別情報、シーン分類情報、またはそれらの組合せを含み得る。メモリ１１２が、要約フレーム１２２を生成するために使用されるビデオコンテンツ１４０の部分に対応するビデオコンテンツ１１４を記憶する場合、メタデータ１２４は、ビデオコンテンツ１１４に含まれるかまたはそれとともに記憶され得る。
[0036]通知生成器１２６は、要約フレーム１２２に関連する通知１２８を生成するように構成され得る。通知１２８は、例示的な、非限定的な例として、特定の動きイベントが始まったという指示、要約フレーム１２２が生成されつつあるという指示、動きイベントが終了したという指示、要約フレーム１２２が生成されたという指示、動きイベントの持続時間の指示、要約フレーム１２２、メタデータ１２４、またはそれらの組合せを含み得る。たとえば、通知生成器１２６は、要約フレーム１２２が要約フレーム生成器１２０によって生成されたことに応答して、通知１２８を生成し得る。いくつかの実装形態では、通知１２８は、例示的な、非限定的な例として、電子メールまたはショートメッセージサービス（ＳＭＳ）メッセージを含み得る。
[0037]プロセッサ１１８は、ユーザインターフェース１３０、送信機１３２、またはその両方に、通信可能に結合されるか、電気的に結合されるか、またはその両方であり得る。たとえば、プロセッサ１１８は、ユーザインターフェース１３０、送信機１３２、またはその両方と電子通信していることがある。プロセッサ１１８は、ユーザインターフェース１３０、送信機１３２、またはその両方にプロセッサ出力１４２を与えるように構成され得る。ユーザインターフェース１３０は、要約フレーム１２２、メタデータ１２４、通知１２８、またはそれらの組合せに関連する出力を生成するように構成され得る。例示のために、ユーザインターフェース１３０は、ディスプレイ（たとえば、スクリーンまたはタッチスクリーン）、スピーカー（たとえば、ラウドスピーカー）などのトランスデューサ、光（たとえば、発光ダイオード（ＬＥＤ）などを含み得る。ユーザインターフェース１３０がスクリーンを含む場合、スクリーンは、要約フレーム１２２、通知１２８、またはそれらの組合せを表示するように構成され得る。別の例として、ユーザインターフェース１３０がラウドスピーカーを含む場合、ラウドスピーカーは、要約フレーム１２２の生成の完了に関連する音を再生するように構成され得る。さらなる例として、ユーザインターフェース１３０が光を含む場合、光は、要約フレーム１２２の生成の完了に応答して照らされるように構成され得る。
[0038]送信機１３２は、要約フレーム（たとえば、要約フレーム１２２）が生成されつつあるかまたは生成されたことを示す通知信号など、デバイス出力１４４を与えるように構成され得る。たとえば、デバイス出力１４４は、要約フレーム１２２、メタデータ１２４、通知１２８、またはそれらの組合せを含み得る。いくつかの実装形態では、送信機１３２は、送信機１３２と受信機とを含むトランシーバなどのトランシーバ（図示せず）中に含まれ得る。
[0039]ユーザインターフェース１３０および送信機１３２が、デバイス１０２中に含まれるものとして説明されるが、他の実装形態では、ユーザインターフェース１３０および送信機１３２の一方または両方はデバイス１０２の外部にあり得る。たとえば、ユーザインターフェース１３０は、デバイス１０２の外部にあるディスプレイを含み得る。
[0040]動作中に、プロセッサ１１８は、ビデオコンテンツ１４０（たとえば、複数の画像フレーム）に対応する動きイベント期間を検出し得る。プロセッサ１１８は、物体（たとえば、人および自転車）の複数の表現を示す要約フレーム１２２を生成し得る。物体は、動きイベント期間に対応するビデオコンテンツ１４０の部分中に含まれ得る。要約フレーム１２２が生成された後、要約フレーム１２２は通知１２８中に含まれ得る。要約フレーム１２２は、ユーザインターフェース１３０（たとえば、ディスプレイ）を介して提示され得、通知１２８は、送信機１３２を介して１つまたは複数の他のデバイスに送られ得る。
[0041]いくつかの実装形態では、要約フレーム生成器１２０は、動きイベント期間（たとえば、動きイベントの始まり、動きイベントの終了、またはその両方）を検出し、ビデオコンテンツ１４０の部分に関連する要約フレーム１２２を生成するように構成され得る。この例では、メタデータ１２４は、動きイベント期間の始まりに関連する第１のタイムスタンプ、動きイベント期間の終了に関連する第２のタイムスタンプ、またはそれらの組合せを含み得る。
[0042]いくつかの実装形態では、通知生成器１２６は、各要約フレームが要約フレーム生成器１２０によって生成されたことに応答して、通知を生成するように構成され得る。たとえば、要約フレーム１２２に応答して、通知生成器１２６は、図１Ｂを参照しながら説明されるように、要約フレーム１２２（たとえば、単一の要約フレーム）を含む通知１２８を生成し得る。他の実装形態では、通知生成器１２６は、図１Ｃを参照しながら説明されるように、複数の要約フレームを「連結」して通知（たとえば、単一の通知）にし得る。たとえば、通知生成器１２６は、時間期間（たとえば、プログラマブル時間期間）について通知を生成し得、時間期間の間に生成された各要約フレームを通知中に含め得る。いくつかの実装形態では、異なる要約フレームの連結は、異なるプログラマブル時間期間に基づき得る。例示のために、第１のプログラマブル時間期間が１時間に対応し得る。第１のプログラマブル時間期間が経過したことに応答して、通知生成器１２６は、第１のプログラマブル時間期間中に生成された各要約フレームを含む通知を生成し得る。別の例として、第２のプログラマブル時間期間が８時間に対応し得る。
[0043]いくつかの実装形態では、プロセッサ１１８は、インデックス付きビデオコンテンツを生成するために、ビデオコンテンツ１４０（またはビデオコンテンツ１１４）をインデックス付けするように構成され得る。たとえば、ビデオコンテンツ１４０またはビデオコンテンツ１１４は、動きイベント期間の始まりに対応する第１の特定のフレーム、動きイベント期間に関連し、要約フレーム１２２を生成するために使用される１つまたは複数のフレーム、動きイベント期間の終了に対応する第２の特定のフレーム、またはそれらの組合せに従って、インデックス付けされ得る。別の例として、ビデオコンテンツ１４０（またはビデオコンテンツ１１４）は、第１の特定のフレーム、動きイベント期間に関連し、要約フレーム１２２を生成するために使用されるフレームのうちの１つまたは複数、第２の特定のフレーム、またはそれらの組合せに適用されるオフセットに基づいて、インデックス付けされ得る。例示のために、ビデオコンテンツ１４０（またはビデオコンテンツ１１４）は、動きイベント期間の始まりに対応する第１の特定のフレームの前の第１のオフセット値（たとえば、６０個のフレーム）におけるフレームを使用して、および動きイベント期間の終了に対応する第２の特定のフレームの後の第２のオフセット値（たとえば、３０個のフレーム）における別のフレームを使用して、インデックス付けされ得る。いくつかの実装形態では、プロセッサ１１８は、メモリ１１２において、インデックス付きビデオコンテンツを記憶し得る。追加または代替として、プロセッサ１１８は、メモリ１１２において、動きイベント期間に関連するビデオセグメント（たとえば、ビデオクリップ）を記憶するように構成され得る。たとえば、ビデオセグメントは、インデックス付きビデオコンテンツとは別個に（それに加えてまたはそれの代わりに）メモリ１１２において記憶され得る。
[0044]いくつかの実装形態では、プロセッサ１１８は、図１Ｂ〜図１Ｃを参照しながら説明されるように、ビデオコンテンツ１４０（またはビデオコンテンツ１１４）、要約フレーム１２２、またはその両方を圧縮するように構成されたビデオエンコーダを含み得る。たとえば、プロセッサ１１８のビデオエンコーダは、要約フレーム１２２を表す符号化されたファイルを生成するために要約フレーム１２２を符号化するように構成され得る。いくつかの実装形態では、符号化されたファイルは、要約フレーム１２２に関連するメタデータ（たとえば、メタデータ１２４の少なくとも部分）を含み得る。
[0045]要約フレーム１２２を生成することによって、ビデオコンテンツ１４０の部分中で発生する動きにより「関心」のあるビデオコンテンツ１４０の部分を要約する単一の画像フレームが生成され得る。要約フレーム１２２は、ユーザが、ビデオコンテンツの部分中に発生した動きアクティビティの理解を得るために、要約フレーム１２２を迅速にレビューすることを可能にし得る。さらに、別のデバイスに送られる通知１２８中に要約フレーム１２２を含めることによって、ビデオコンテンツの部分（たとえば、ビデオクリップ）を含む通知を送ることと比較して、通知１２８のデータサイズが低減され得る。したがって、要約フレーム１２２を含む（およびビデオクリップを含まない）通知１１６は、ビデオクリップを含む通知よりも別のデバイスにより迅速に与えられ得る。
[0046]図１Ｂを参照すると、要約フレームを生成するように動作可能なシステム１６０の例示的な例が示されている。システム１６０は、図１Ａのシステム１００を含むかまたはそれに対応し得る。
[0047]システム１６０は、カメラ１６２と、送信機１８４と、受信機１８６とを含み得る。カメラ１６２は、図１のデバイス１０２を含むかまたはそれに対応し得る。いくつかの実装形態では、送信機１８４と受信機１８６とは、トランシーバなど、同じデバイス中に含まれ得る。送信機１８４および受信機１８６の各々が、カメラ１６２とは別個であるものとして説明されるが、他の実装形態では、送信機１８４、受信機１８６、またはその両方は、カメラ１６２中に含まれ得る。いくつかの実装形態では、カメラ１６２は、例示的な、非限定的な例として、インターネットプロトコル（ＩＰ）カメラを含み得る。
[0048]カメラ１６２は、キャプチャユニット１６４と、メモリ１６６と、プロセッサ１７４とを含み得る。キャプチャユニット１６４はレンズ１６５を含み得る。キャプチャユニット１６４は、ビデオコンテンツ１６７（たとえば、画像データ）など、ビデオフレームシーケンスを収集するように構成され得る。いくつかの実装形態では、ビデオフレームシーケンスの各ビデオフレームは、対応するフレームインデックスを有し得る。
[0049]メモリ１６６は、図１Ａのメモリ１１２を含むかまたはそれに対応し得る。メモリ１６６は、フレームバッファ１６８と、インデックス付きビデオコンテンツ１７０と、デバイス情報１７２とを含み得る。フレームバッファ１６８は、図１のフレームバッファ１１０を含むかまたはそれに対応し得る。インデックス付きビデオコンテンツ１７０は、本明細書でさらに説明されるように、１つまたは複数の要約フレームを使用してインデックス付けされるビデオコンテンツ１６７の少なくとも部分を含むかまたはそれに対応し得る。追加または代替として、インデックス付きビデオコンテンツ１７０は、本明細書でさらに説明されるように、要約フレームを生成するために使用されるべき要約フレーム生成器１８０によって選択されたビデオコンテンツ１６７の１つまたは複数のフレーム（たとえば、キーフレーム）を使用してインデックス付けされ得る。
[0050]デバイス情報１７２は、カメラ１６２に結合された（たとえば、通信可能に結合された）１つまたは複数のデバイスに関連し得る。１つまたは複数のデバイスの各々は、カメラ１６２からデータを受信するように構成され得る。たとえば、１つまたは複数のデバイスのうちの第１のデバイスが、カメラ１６２からリモートに配置され、カメラ１６２から、ビデオコンテンツ１６７、１つまたは複数の要約フレーム、１つまたは複数の通知、インデックス付きビデオコンテンツ１７０の部分、またはそれらの組合せを受信するように構成され得る。１つまたは複数のデバイスの各々について、デバイス情報１７２は、例示的な、非限定的な例として、デバイスに関連するデバイスアドレス（たとえば、電子メールアドレス、電話番号、インターネットプロトコル（ＩＰ）アドレス、アカウント番号、プロファイルなど）、認証情報（たとえば、ユーザ名、パスワード、アカウント番号など）、許可情報（たとえば、ユーザ権利）、またはそれらの組合せを示すデータを含み得る。特定のデバイスのデバイスアドレスは、カメラ１６２が、特定のデバイスにデータを送ることを可能にし得る。認証情報は、カメラ１６２が、カメラ１６２において生成されたかまたは記憶されたビデオコンテンツ（たとえば、ビデオコンテンツ１６７またはインデックス付きビデオコンテンツ１７０）にアクセスするための特定のデバイスからの要求に応答して、特定のデバイスを認証することを可能にし得る。許可情報は、特定のデバイスに与えられ得るデータを示し得る。
[0051]プロセッサ１７４は、図１Ａのプロセッサ１１８を含むかまたはそれに対応し得る。プロセッサは、要約フレーム生成器１８０と、通知生成器１８２と、ビデオエンコーダ１７６と、モードコントローラ１７８とを含み得る。要約フレーム生成器１８０および通知生成器１８２は、それぞれ、図１Ａの要約フレーム生成器１２０および通知生成器１２６を含むかまたはそれに対応し得る。要約フレーム生成器１８０は、１つまたは複数の要約フレーム、メタデータ１８７、またはそれらの組合せを生成するように構成され得る。１つまたは複数の要約フレームは、図１Ａの要約フレーム１２２を含むかまたはそれに対応し得る。メタデータ１８７は、図１Ａのメタデータ１２４を含むかまたはそれに対応し得る。要約フレーム生成器１８０は、ビデオエンコーダ１７６に、通知生成器１８２に、記憶のためにメモリ１６６に、または、インデックス付きビデオコンテンツ１７０を生成するためにビデオコンテンツ１６７をインデックス付けするように構成されたインデクサー（indexer）に、１つまたは複数の要約フレームを与えるように構成され得る。追加または代替として、要約フレーム生成器１８０は、通知生成器１８２に、インデクサーに、または記憶のためにメモリ１６６に、メタデータ１８７を与えるように構成され得る。
[0052]通知生成器１８２は、通知１８８などの１つまたは複数の通知を生成するように構成され得る。通知１８８は、図１の通知１２８を含むかまたはそれに対応し得る。いくつかの実装形態では、通知生成器１８２は、デバイス情報１７２に基づいて通知１８８を生成し得る。たとえば、通知生成器１８２は、デバイス情報１７２に基づいて特定のデバイスに（たとえば、特定のデバイスのアドレスに）与えられるべき通知１８８を生成し得る。
[0053]ビデオエンコーダ１７６は、ビデオデータなど、画像データを符号化する（たとえば、圧縮する）ように構成され得る。たとえば、ビデオエンコーダ１７６は、ビデオコンテンツ１６７、インデックス付きビデオコンテンツ１７０、または要約フレーム生成器１８０によって生成された要約フレームを圧縮するように構成され得る。
[0054]モードコントローラ１７８は、ビデオエンコーダ１７６が、要約フレーム生成器１８０によって生成された要約フレームを圧縮するのか、ビデオコンテンツ１６７またはインデックス付きビデオコンテンツ１７０など、ビデオコンテンツを圧縮するのかを制御するように構成され得る。いくつかの実装形態では、モードコントローラ１７８は、カメラ１６２のモードを示す値を記憶するレジスタを含み得る。モードコントローラ１７８は、ビデオエンコーダ１７６が、要約フレームを圧縮するのか、ビデオコンテンツ１６７など、ビデオフレームシーケンスを圧縮するのかを制御するように構成され得る。たとえば、値が０である場合、カメラ１６２は、ビデオエンコーダ１７６がビデオコンテンツ１６７を符号化するように構成された、第１のモードにあり得る。値が１である場合、カメラ１６２は、ビデオエンコーダ１７６が要約フレーム生成器１８０によって生成された１つまたは複数の要約フレームを符号化するように構成された、第２のモードにあり得る。第２のモードでは、要約フレーム生成器１８０は、図２を参照しながら説明されるように、動きイベントの終了を検出したことに基づいて要約フレームを生成するように構成され得る。追加または代替として、第２のモードでは、通知生成器１８２は、１つまたは複数の通知を生成するように構成され得、ここで、各通知は単一の要約フレームを含む。たとえば、通知生成器１８２は、要約フレーム生成器１８０が特定の要約フレームを生成したことに応答して、特定の通知を生成し得る。
[0055]モードコントローラ１７８が２つのモードを有するものとして説明されるが、他の実装形態では、モードコントローラ１７８は、単一のモードまたは３つ以上のモードを含み得る。追加または代替として、モードコントローラ１７８は、図１Ｂを参照しながら説明されるモード以外のモードを含み得る。たとえば、モードコントローラ１７８は、図１Ｃを参照しながら説明されるように、連結モードを含み得る。連結モードは、要約フレーム生成器１８０に、プログラマブル時間期間などの時間期間に基づいて１つまたは複数の要約フレームを生成させ得る。例示のために、特定の時間期間の満了に応答して、要約フレーム生成器１８０は、ビデオコンテンツ１６７の部分に基づいて１つまたは複数の要約フレームを生成するために、特定の時間期間中に生成されたビデオコンテンツ１６７の部分を分析し得る。たとえば、要約フレーム生成器１８０は、ビデオコンテンツ１６７の部分中で検出された各動きイベントについての少なくとも１つの要約フレームを生成し得る。いくつかの実装形態では、通知生成器１８２は、ビデオコンテンツ１６７の部分に基づいて生成された１つまたは複数の要約フレームの各々を含むように単一の通知１８８を生成し得る。連結モードはまた、ビデオエンコーダ１７６が、ビデオコンテンツ１６７の部分に基づいて要約フレーム生成器１８０によって生成された１つまたは複数の要約フレームを圧縮することを可能にし得る。例示のために、いくつかの実装形態では、ビデオエンコーダ１７６は、要約フレーム生成器１８０によって生成された複数の要約フレームを圧縮し得る。
[0056]モードコントローラ１７８がプロセッサ１７４中に含まれるものとして説明されるが、他の実装形態では、モードコントローラ１７８はプロセッサと分離し得る。そのような実装形態では、モードコントローラ１７８は、プロセッサ１７４、プロセッサ１７４の１つまたは複数の構成要素、またはそれらの組合せに、電気的に結合されるか、通信可能に結合されるか、あるいはその両方であり得る。たとえば、モードコントローラ１７８は、プロセッサ１７４と電気通信していることがある。
[0057]カメラ１６２は、送信機１８４に、および受信機１８６に結合され得る。送信機１８４は、ワイヤード接続、ワイヤレス接続、またはそれらの組合せを介してカメラ１６２に通信可能に結合されたデバイスなどの１つまたは複数のデバイスにデータを送信するように構成され得る。送信機１８４によって送信されたデータは、例示的な、非限定的な例として、ビデオコンテンツ１６７の少なくとも部分、インデックス付きビデオコンテンツ１７０の少なくとも部分、１つまたは複数の要約フレーム、メタデータ１８７の少なくとも部分、通知１８８、またはそれらの組合せを含み得る。送信機１８４によって送信されたデータは、符号化されたデータ（たとえば、圧縮されたデータ）、符号化されていないデータ（たとえば、圧縮されていないデータ）、またはそれらの組合せを含み得る。
[0058]受信機１８６は、１つまたは複数のデバイスからデータを受信するように構成され得る。いくつかの実装形態では、１つまたは複数のデバイスから受信されたデータは、例示的な、非限定的な例として、要求１８９、デバイス情報１７２の部分、またはそれらの組合せを含み得る。例示のために、特定の実装形態では、受信機１８６は、送信されるべき通知信号（たとえば、通知１８８）についての要求１８９を受信するように構成され得る。別の例として、プロセッサ１７４は、要約フレーム生成器１８０によって生成された特定の要約フレームに関連するメタデータ１８７を送信するようにとの要求１８９を（受信機１８６を介して）受信するように構成され得る。
[0059]送信機１８４および受信機１８６が、カメラ１６２とは別個であるものとして説明されるが、他の実装形態では、送信機１８４、受信機１８６、またはその両方は、カメラ１６２中に含まれ得る。送信機１８４および受信機１８６が、互いに別個であるものとして説明されるが、他の実装形態では、送信機１８４および受信機１８６は、トランシーバ中に含まれ得る。
[0060]動作中に、キャプチャユニット１６４は、ビデオコンテンツ１６７を生成し、ビデオコンテンツ１６７をフレームバッファ１６８に与え得る。プロセッサ１７４は、フレームバッファ１６８からビデオコンテンツ１６７を受信し、モードコントローラ１７８によって示されるモードに従ってビデオコンテンツ１６７を処理し得る。たとえば、第１のモードでは、ビデオエンコーダ１７６は、送信機１８４を介して別のデバイスに送信されるべきビデオコンテンツ１６７を符号化し得る。第２のモードでは、要約フレーム生成器１８０は、ビデオコンテンツ１６７に基づいて要約フレームを生成し得る。ビデオエンコーダ１７６は、圧縮された要約フレームなど、圧縮されたデータ１７７を生成するために要約フレームを符号化し得る。送信機１８４は、圧縮されたデータ１７７を受信し得、別のデバイスに、送信された圧縮されたデータ１８５（たとえば、送信された圧縮された要約フレーム）を与え得る。いくつかの実装形態では、要約フレーム（またはそれの圧縮されたバージョン）は、通知１８８中に含まれ得る。
[0061]図１Ｃを参照すると、要約フレームを生成するように動作可能なシステム１９０の例示的な例が示されている。システム１９０は、図１Ａのシステム１００または図１Ｂのシステム１６０を含むかまたはそれに対応し得る。
[0062]図１Ｂを参照しながら説明されたように、モードコントローラ１７８は、ビデオエンコーダ１７６が、（要約フレーム生成器１８０によって生成された）１つまたは複数の要約フレームを圧縮するのか、ビデオコンテンツ１６７またはインデックス付きビデオコンテンツ１７０など、ビデオコンテンツを圧縮するのかを制御するように構成され得る。いくつかの実装形態では、モードコントローラ１７８は、カメラ１６２のモードを示す値を記憶するレジスタを含み得る。たとえば、値が０である場合、カメラ１６２は、ビデオエンコーダ１７６がビデオコンテンツ１６７を符号化するように構成された、第１のモードにあり得る。値が１である場合、カメラ１６２は、ビデオエンコーダ１７６が要約フレーム生成器１８０によって生成された個々の要約フレームを符号化したように構成された、第２のモードにあり得る。図１Ｃの例では、値が２である場合、カメラ１６２は、ビデオエンコーダが、要約フレーム生成器１８０によって生成された１つまたは複数の要約フレームのグループを圧縮するように構成された、第３のモード（たとえば、連結モード）にあり得る。
[0063]第３のモードでは、要約フレーム生成器１８０は、時間期間（たとえば、プログラマブル時間期間）に基づいて１つまたは複数の要約フレームを生成し得る。例示のために、特定の時間期間の満了に応答して、要約フレーム生成器１８０は、ビデオコンテンツ１６７の部分に基づいて１つまたは複数の要約フレームを生成するために、特定の時間期間中に生成されたビデオコンテンツ１６７の部分を分析し得る。いくつかの実装形態では、通知生成器１８２は、ビデオコンテンツ１６７の部分に基づいて生成された１つまたは複数の要約フレームを含むように通知１８８を生成し得る。連結モード中に、ビデオエンコーダ１７６は、ビデオコンテンツ１６７の部分に基づいて要約フレーム生成器１８０によって生成された１つまたは複数の要約フレームを圧縮し得る。たとえば、いくつかの実装形態では、ビデオエンコーダ１７６は、要約フレーム生成器１８０によって生成された異なる要約フレーム（たとえば、複数の要約フレーム）の連結を圧縮し得る。
[0064]要約フレーム連結１９６の例示的な例が１９４において示されている。要約フレーム連結１９６の例１９４は、第１の要約フレーム１９８と、第２の要約フレーム１９９と、連結されたメタデータ１９７とを含む。いくつかの実装形態では、第１の要約フレーム１９８は、ビデオコンテンツ１６７中に含まれる第１の動きイベントに関連し得、第２の要約フレーム１９９は、ビデオコンテンツ１６７中に含まれる第２の動きイベントに関連し得る。連結されたメタデータ１９７は、第１の要約フレーム１９８に対応する第１のメタデータと第２の要約フレーム１９９に対応する第２のメタデータとの全部または部分の組合せを含み得る。要約フレーム連結１９６が、複数の別個の要約フレームを含むものとして説明されるが、他の実装形態では、要約フレーム連結１９６は、単一の連結された要約フレームを含み得る。例示のために、第１の要約フレーム１９８は、第１の物体の表現の第１のセットを含み得、第２の要約フレーム１９９は、第２の物体の表現の第２のセットを含み得る。連結された要約フレームは、第１の物体の表現の第１のセットと、第２の物体の表現の第２のセットとを含み得る。第１の物体の表現の第１のセットおよび第２の物体の表現の第２のセットは、濃縮された要約フレームの共通の背景上に提示され得る。いくつかの実装形態では、要約フレーム連結１９６は、通知１８８に対応し得る。
[0065]システム１９０の動作中に、キャプチャユニット１６４は、ビデオコンテンツ１６７を生成し、ビデオコンテンツ１６７をフレームバッファ１６８に与え得る。プロセッサ１７４は、フレームバッファ１６８からビデオコンテンツ１６７を受信し、モードコントローラ１７８によって示されるモードに従ってビデオコンテンツ１６７を処理し得る。たとえば、第３のモードでは、ビデオエンコーダ１７６は、特定の時間期間に関連する１つまたは複数の要約フレームを符号化し得る。１つまたは複数の要約フレームは、要約フレーム連結１９６など、要約フレーム連結組み合わせられ（たとえば、それの中に含まれ）得る。ビデオエンコーダ１７６は、圧縮された要約フレーム連結など、圧縮されたデータ１９２を生成するために要約フレーム連結１９６を符号化し得る。送信機１８４は、圧縮されたデータ１９２を受信し得、別のデバイスに、送信された圧縮されたデータ１９３（たとえば、送信された圧縮された要約フレーム連結）を与え得る。いくつかの実装形態では、要約フレーム連結１９６（またはそれの圧縮されたバージョン）は、通知１８８中に含まれ得る。
[0066]図２を参照すると、要約フレームを生成するように動作可能なシステム２００の例示的な例が示されている。システム２００は、図１Ａの要約フレーム生成器１２０を含む。要約フレーム生成器１２０は、複数の画像フレームなど、画像フレーム２４０を受信するように構成される。たとえば、画像フレーム２４０は、図１Ａのビデオコンテンツ１４０または図１Ｂ〜図１Ｃのビデオコンテンツ１６７を含むかまたはそれに対応し得る。画像フレーム２４０は、バッファまたはメモリなど、記憶ユニット（図示せず）から、あるいは、図１Ｂ〜図１Ｃのキャプチャユニット１６４などのキャプチャユニット（図示せず）から受信され得る。画像フレーム２４０は、画像フレーム２４１〜２４６などの画像フレームのシーケンスを含み得る。いくつかの実装形態では、画像フレーム２４０を生成したキャプチャユニットは固定（および静止）位置に取り付けられ、カメラの視野の背景は静止していると見なされ得る。たとえば、背景は、延長された時間期間にわたって固定（または比較的固定）のままである、建築物、木、標識など、特徴を含み得る。
[0067]要約フレーム生成器１２０は、背景生成器２１０と、イベント検出器２１２と、キーフレーム選択器２１４と、コンバイナ２２８とを含み得る。いくつかの実装形態では、画像フレーム２４０は、フレームごとに要約フレーム生成器１２０によって受信され得る。要約フレーム生成器１２０によって受信された画像フレーム２４０の各フレームは、背景生成器２１０と、イベント検出器２１２と、キーフレーム選択器２１４とに与えられ得る。
[0068]背景生成器２１０は、画像フレーム２４０のそれの少なくとも１つのフレームに基づいて背景モデル２３０を生成する（たとえば、維持する）ように構成され得る。たとえば、背景生成器２１０は、背景モデル２３０を生成するために、フレーム差分、平均フィルタ処理、ガウス平均化、背景混合モデリング、測量など、１つまたは複数の手法を使用し得る。いくつかの実装形態では、背景生成器２１０は、背景生成器２１０が新しい画像フレームを受信するにつれて、背景モデル２３０を継続的に更新し得る。背景モデル２３０は、イベント検出器２１２に、コンバイナ２２８に、またはその両方に与えられ得る。
[0069]イベント検出器２１２は、画像フレーム２４０に基づいて動きイベントの始まりおよび終了を検出するように構成され得る。始まりと終了との間の時間期間は、動きイベント期間と呼ばれることがある。イベント検出器２１２は、動きイベント期間の始まりおよび終了を決定するように構成され得る。イベント検出器２１２は、例示的な、非限定的な例として、画像セグメンテーション、色セグメンテーション、画像フィルタ処理、加速化断片試験による特徴抽出（ＦＡＳＴ：features from accelerated segment test）、高速化ロバスト特徴（ＳＵＲＦ：speeded up robust features）、スケール不変特徴変換（ＳＩＦＴ：scale-invariant feature transform）、コーナー検出、エッジ検出、背景減算、ブロブ検出など、１つまたは複数の検出アルゴリズムを実行することによって動きイベント期間を検出し得る。たとえば、イベント検出器２１２は、動きイベント期間の始まりおよび終了を決定するために背景減算および前景動き検出を使用し得る。追加または代替として、動きイベント期間は、１つまたは複数の分類アルゴリズム、シーンアルゴリズムのセマンティック分析、またはそれらの組合せを使用して検出され得る。
[0070]動きイベント期間の始まりは、画像フレーム２４０（たとえば、ビデオコンテンツ）の、特定のフレーム中で動き（たとえば、移動）を検出したことに応答して識別され得る。例示的な、非限定的な例として、イベント検出器２１２は、背景減算を使用して画像フレーム２４０中で動きを検出し得る。背景減算は、画像フレーム２４０の第１の特定のフレームと、背景画像または背景モデル（たとえば、背景モデル２３０）と呼ばれることがある参照フレームとの間の差分が決定される、画像処理技法である。第１の特定のフレームと第１の背景画像との間の差分は、ブロブまたは前景ブロブと呼ばれることがある、少なくとも１つの前景物体と関連し得る。第１の特定のフレームと背景画像との間の差分が、第１のしきい値よりも大きいかまたはそれに等しい場合、イベント検出器２１２は、動きイベント期間の始まりの検出（たとえば、特定のフレーム中で動きが検出されたこと）を示し得る。例示のために、動きイベント期間の始まりは、第１の特定のフレームの前景ブロブの、ピクセルの数など、サイズが、しきい値サイズよりも大きいかまたはそれに等しい場合、第１の特定のフレームに対応し得る。
[0071]たとえば、イベント検出器２１２は、画像フレーム２４０の特定のフレームを受信し、特定の画像フレームを背景モデル２３０と比較する（たとえば、差分を決定する）ように構成され得る。（物体に対応する）差分がしきい値よりも大きいかまたはそれに等しい場合、イベント検出器２１２は、動きイベントが始まったと決定し得る。たとえば、イベント検出器２１２は、第１の画像フレーム２４１を受信し得、第１の画像フレーム２４１と背景モデル２３０との比較に基づいて動きが検出されないと決定し得る。第１の画像フレーム２４１を受信した後に、イベント検出器２１２は、第２の画像フレーム２４２を受信し得、第２の画像フレーム２４２と背景モデル２３０との比較に基づいて動きイベントの始まりを識別し得る。たとえば、第２の画像フレーム２４２中に含まれる物体（たとえば、自転車に乗っている人）は、第２の画像フレーム２４２と背景モデル２３０との間の差分が、しきい値よりも大きいかまたはそれに等しくなることを引き起こし得る。
[0072]動きイベント期間の終了は、画像フレーム２４０中で（動きイベント期間の始まりが検出された後に）動きを検出することを中止したことに応答して識別され得る。たとえば、イベント検出器２１２は、動きイベント期間の始まりが検出された後に、動きイベント期間の終了を決定し得る。動きイベント期間の終了は、（画像フレーム２４０の）第２の特定のフレームと第２の背景画像との間の差分が、第２のしきい値よりも小さいかまたはそれに等しくなること応答して決定され得る。例示のために、第２の特定の画像に関連する第２の前景ブロブのサイズが、第２のしきい値よりも小さいかまたはそれに等しい場合、イベント検出器２１２は、第２の特定のフレームが動きイベント期間の終了に関連することを示し得る。第１の背景モデル（たとえば、第１の背景画像）と第２の背景モデル（たとえば、第２の背景画像）とは、同じであり得るか、または異なり得る。いくつかの実装形態では、第２の背景モデルは、第１の背景モデルの更新されたバージョンであり得る。
[0073]動きイベントの終了の識別を示すために、イベント検出器２１２は、動きイベントが始まったと決定した後に、動きイベントの終了を識別するために後続の入力フレームを処理し得る。たとえば、イベント検出器２１２は、受信された画像フレームと背景モデル２３０との間の差分がしきい値よりも小さい場合、動きイベントの終了を識別し得る。例示のために、イベント検出器２１２は、画像フレーム２４６を受信し得、画像フレーム２４６と背景モデル２３０との比較に基づいて動きイベントの終了を検出し得る。いくつかの実装形態では、イベント検出器２１２は、画像フレーム２４０の２つの連続的に受信された画像フレームを比較することによって、動きイベントの終了を検出し得る。たとえば、イベント検出器２１２は、前に受信された画像フレームを画像フレーム２４６と比較し得、画像フレーム２４６と前に受信された画像フレームとの間の差分が、第２のしきい値よりも小さいかまたはそれに等しい場合、イベント検出器２１２は、動きイベントの終了を識別し得る。
[0074]イベント検出器２１２は、キーフレーム選択器２１４に、第１のインジケータ２３２（たとえば、イベントであるインジケータ）と第２のインジケータ２３４（たとえば、イベント終了インジケータ）とを送り得る。たとえば、イベント検出器２１２は、動きイベントが始まったと決定したことに応答して第１のインジケータ２３２を送り得、動きイベントが終了したと決定したことに応答して第２のインジケータを送り得る。第１のインジケータ２３２は、動きイベントの始まりに対応する第１のタイムスタンプ、動きイベントの始まりに対応する第１の特定の画像フレームまたは第１の特定の画像フレームの第１のフレームインデックス値、あるいはそれらの組合せを示すデータを含み得る。第２のインジケータ２３３は、動きイベントの終了に対応する第２のタイムスタンプ、動きイベントの終了に対応する第２の特定の画像フレームまたは第２の特定の画像フレームの第２のフレームインデックス値、動きイベントの持続時間、動きイベントに関連するフレームの数、第１の特定の画像フレームから第２の特定の画像フレームへのオフセット、あるいはそれらの組合せを含み得る。第１のインジケータ２３２と第２のインジケータ２３４とが別個のインジケータであるものとして説明されるが、他の実装形態では、第１のインジケータ２３２と第２のインジケータ２３４とは、組み合わせられて単一のインジケータになり得る。イベント検出器２１２は、動きイベントの終了を決定したことに応答して、キーフレーム選択器２１４に単一のインジケータを送り得る。
[0075]キーフレーム選択器２１４（あるいはキーフレーム選択器２１４を含むかまたは実装するプロセッサ）は、動きイベント期間（たとえば、動きイベント）の間キーフレーム２３６として指定されるべき画像フレーム２４０の複数のフレームを決定する（たとえば、選択する）ように構成され得る。たとえば、キーフレーム選択器２１４は、本明細書でさらに説明されるように、キーフレーム２３６として画像フレーム２４０のうちの２つまたはそれ以上のフレームを選択するように構成され得る。
[0076]キーフレーム選択器２１４は、バッファ２１６とイベント分析器２１８とを含み得る。バッファ２１６は、画像フレーム２４０のうちの１つまたは複数の画像フレームを記憶するように構成され得る。いくつかの実装形態では、バッファ２１６は、第１のインジケータ２３２（たとえば、イベント始まりインジケータ）に応答して１つまたは複数の画像フレームを記憶し始め得る。他の実装形態では、バッファ２１６は、先入れ先出し（ＦＩＦＯ）バッファとして動作し得、受信された画像フレームを継続的にバッファし得る。バッファ２１６が、要約フレーム生成器１２０中に含まれるものとして説明されるが、他の実装形態では、バッファ２１６は、要約フレーム生成器１２０とは別個であり得る。たとえば、バッファ２１６は、図１Ａのフレームバッファ１１０または図１Ｂ〜図１Ｃのフレームバッファ１６８を含むかまたはそれに対応し得る。別の例として、バッファ２１６は、図１Ａのプロセッサ１１８または図１Ｂ〜図１Ｃのプロセッサ１７４中に含まれるなど、要約フレーム生成器１２０を含む同じプロセッサ中に含まれ得る。
[0077]キーフレーム選択器２１４は、コンバイナ２２８にキーフレーム２３６として与えられるべき複数のフレームを（バッファ２１６に記憶されたフレームから）選択するために選択アルゴリズムを使用し得る。いくつかの実装形態では、キーフレーム２３６は、線形的に選択され得る。たとえば、キーフレーム選択器２１４は、動きイベント期間に対応する画像フレーム２４０の部分のｎ番目ごとのフレーム（またはｎ番目ごとのキーフレーム）を選択し得、ここで、ｎは正の整数である。たとえば、キーフレーム選択器２１４は、画像フレーム２４０の部分の５００番目ごとのフレームを、キーフレーム２３６中に含まれるように選択し得る。他の実装形態では、キーフレーム選択器２１４は、キーフレーム２３６として特定の数のフレームを選択し得る。キーフレーム２３６は、画像フレーム２４０のサブセット（たとえば、動きイベント期間に対応する複数の画像フレームのサブセット）であり得る。例示のために、キーフレーム選択器２１４は、画像フレーム２４０の部分中に含まれるフレームの総数から、特定の数のフレーム（たとえば、所定の数のフレーム）を選択し得る。「キーフレーム」と呼ばれるが、キーフレームは、イントラコード化フレーム（Ｉフレーム）であることもないこともあることを理解されたい。いくつかの実装形態では、選択されたフレームは、画像フレーム２４０の（動きイベントに対応する）部分全体にわたって一様に分散していることがある。たとえば、特定の数のフレームが１０個のフレームであり、画像フレーム２４０の（動きイベントに対応する）部分のフレームの総数が１２０個のフレームである場合、画像フレーム２４０の部分の１２番目ごとのフレームが、キーフレームとして選択され得る。代替的に、特定の数のフレームは、動きイベント中に一様に分散している３番目ごとの画像または１０個ごとのキーフレームなど。画像フレーム２４０の（動きイベントに対応する）部分からランダムに選択され得る。
[0078]他の実装形態では、キーフレーム選択器２１４は、動きイベントの各フレームについての分析結果を決定することを含む、非線形技法（たとえば、非線形選択アルゴリズム）を使用し得る。非線形プロセスは、本明細書でさらに説明されるように、要約フレームを作成するために使用されるべき画像フレーム２４０のキーフレームを選択し得る。選択されたキーフレームは、キーフレームの選択がランダムに見える（たとえば、キーフレームが、動きイベント期間中に時間的に一様に分散していない）ように、動きイベントに関して非線形分散を有し得る。
[0079]たとえば、非線形選択技法は、本明細書でさらに説明されるように、キーフレーム２３６の選択がランダムに見える（たとえば、キーフレーム２３６が時間的に一様に分散していない）ように、イベント分析結果２２０（たとえば、イベント測定結果）に従って、キーフレーム２３６を選択し得る。フレームについてのイベント分析結果２２０（たとえば、分析測定値）は、参照フレーム（たとえば、画像フレーム２４０の別のフレーム、背景モデル２３０など）など、別のフレームと比較して動きの相対量を表し得る。動きの相対量は、ブロブのロケーション、ブロブのサイズ、ブロブの形状、またはそれらの組合せに基づいて決定され得る。例示のために、ｘが正の整数である、フレームｘの相対動きは、フレームｘ中の第１のブロブとフレームｘ−１（たとえば、フレームｘに先行するフレーム）中の第２のブロブとの間の差分として決定され得る。いくつかの実装形態では、動きの相対量は、ピクセルの数の変化として決定され得る。他の実装形態では、動きの相対量は、第１のブロブのロケーションと第２のブロブのロケーションとの間の差分に基づくベクトルとして決定され得る。
[0080]いくつかの実装形態では、キーフレーム選択器２１４（たとえば、イベント分析器２１８）は、累積値を生成するために、連続する画像フレームの複数のイベント分析結果２２０をフレームごとに加算し得る。例示のために、動きイベント期間に関連する各フレームについて、イベント分析器２１８は、フレームのイベント分析結果２２０を前の累積値に加算することによって、対応する累積値を決定し得る。各フレームについて、イベント分析器２１８は、対応する累積値を固定しきい値（たとえば、所定のしきい値）と比較し得る。対応する累積値が、固定しきい値よりも大きいかまたはそれに等しい場合、累積値に最も最近加算されたイベント分析結果２２０に対応するフレームが、キーフレーム２３６のうちの１つとして選択され得る。キーフレームが選択されたことに応答して、累積値は、固定しきい値だけ減少され得るか、または次のフレームのために初期値（たとえば、０）に設定され得る。対応する累積値が、固定しきい値よりも小さい場合、対応する累積値は、次のイベント分析結果２２０に関連する次のフレームのために、前の累積値として使用され得る。
[0081]他の実装形態では、しきい値は、所定の数のキーフレームが選択されることを可能にするために、動的に決定され得る。たとえば、要約フレーム生成器１２０は、総イベント結果を決定するために、動きイベント期間に関連するすべてのフレーム（たとえば、ビデオコンテンツの部分）の複数のイベント分析結果２２０を加算し得る。総イベント結果は、動きイベント期間中の画像フレーム２４０（たとえば、ビデオコンテンツ）の相対動きの総量を示し（たとえば、定量化し）得る。イベント分析器２１８は、総イベント結果を、選択されるべきキーフレームの所定の数で除算することによって、動きイベント期間に対応する動的しきい値を決定し得る。（ビデオコンテンツの部分に関連する）連続する画像フレームの分析結果は、累積値を生成するためにフレームごとに組み合わせられ得る。例示のために、動きイベント期間に関連する各フレームについて、要約フレーム生成器１２０は、フレームのイベント分析結果を前の累積値に加算することによって、対応する累積値を決定し得る。各フレームについて、要約フレーム生成器１２０は、対応する累積値を動的しきい値と比較し得る。累積値が、動的しきい値よりも大きいかまたはそれに等しい場合、対応するフレームは、キーフレームとして識別され得る。キーフレームが選択されたことに応答して、累積値は、動的しきい値だけ減少され得るか、または次のフレームのために初期値（たとえば、０）に設定され得る。対応する累積値が、動的しきい値よりも小さい場合、対応する累積は、次のイベント分析結果に関連する次のフレームのために、前の累積値として使用され得る。各フレームについてのイベント分析結果を使用することによって、非線形選択技法は、フレームのセットの（１つまたは複数の）イベント分析結果が高いとき、キーフレームとしてより多くのフレームを選択するように構成され得、フレームのセットの（１つまたは複数の）イベント分析結果が低いとき、より少ないフレームを選択し得る。
[0082]非線形技法を実装するために、イベント分析器２１８は、アキュムレータ２２２と比較器２２４とを含み得る。アキュムレータ２２２は、累積値を生成するために、連続する画像のイベント分析結果２２０を画像ごとに加算するように構成され得る。いくつかの実装形態では、アキュムレータ２２２は、加算器、レジスタ、または加算演算を実行するように構成された他の回路を含み得る。
[0083]比較器２２４は、累積値をしきい値２２６と比較するように構成され得る。いくつかの実装形態では、しきい値２２６は固定しきい値であり得る。例示のために、各フレームについて、比較器２２４は、対応する累積値を固定しきい値（たとえば、所定のしきい値）と比較し得、累積値が、固定しきい値よりも大きいかまたはそれに等しい場合、対応するフレームが、キーフレームとして選択され得、キーフレーム２３６中に含まれ得る。キーフレームが選択されると、累積値は、次のフレームのために初期値（たとえば、０）に設定され得るか、または得る、累積値は、累積値からしきい値２２６の値を減算することによって更新され得る。
[0084]他の実装形態では、しきい値２２６は、所定の数のキーフレームが選択されることを可能にするために、動的に決定され得る。たとえば、アキュムレータ２２２は、総イベント分析結果（たとえば、総イベント測定値）を決定するために、動きイベントに関連するすべての画像フレームのイベント分析結果２２０を加算し得る。総イベント分析結果は、動きイベントに対応する画像フレーム２４０関連する相対動きの総量に関連し（たとえば、それを定量化し）得る。イベント分析器２１８は、総イベント分析結果を、キーフレームの所定の数で除算することによって、動きイベントのための動的しきい値（たとえば、しきい値２２６）を決定し得る。
[0085]動的しきい値（たとえば、しきい値２２６）が決定された後に、アキュムレータ２２２は、対応する累積値を生成するために、連続する画像のイベント分析結果を画像ごとに加算し得る。各フレームについて、比較器２２４は、累積値を動的しきい値（たとえば、しきい値２２６）と比較し得、累積値が、動的しきい値よりも大きいかまたはそれに等しい場合、対応するフレームは、キーフレームとして識別され得、キーフレーム２３６中に含まれ得る。キーフレームが選択されると、累積値は、次のフレームのために初期値（たとえば、０）に設定され得るか、または、累積値は、累積値からしきい値２２６の値を減算することによって更新され得る。
[0086]いくつかの実装形態では、キーフレーム２３６は、画像フレーム２４０が受信されているとき、選択され得る。たとえば、動きイベント期間に関連するキーフレーム２３６のうちの１つまたは複数は、動きイベント期間の終了が決定される前に選択され得る。例示のために、３００番目ごとのフレームが、キーフレームとして選択される場合、キーフレーム選択は、動きイベント期間の始まりが検出されたことに応答して始まり得る。他の実装形態では、キーフレーム２３６は、動きイベントに関連する画像フレーム２４０部分が受信された後に選択され得る。たとえば、特定の動きイベント期間のキーフレーム２３６は、動きイベント期間の終了がイベント検出器２１２によって決定された（たとえば、識別された）後に選択され得る。
[0087]キーフレーム選択器２１４はまた、メタデータ２３７を生成するように構成され得る。メタデータ２３７は、図１Ａのメタデータ１２４または図１Ｂ〜図１Ｃのメタデータ１８７を含むかまたはそれに対応し得る。キーフレーム選択器２１４は、コンバイナ２２８にメタデータ２３７を与え得るか、要約フレーム生成器１２０の出力としてメタデータ２３７を与え得るか、またはその両方である。
[0088]コンバイナ２２８は、要約フレーム２３８を生成するように構成され得る。要約フレーム２３８は、物体の複数の表現を示し得る。物体は、動きイベントに対応する画像フレーム２４０の部分中に含まれ得る。物体は、１つまたは複数の検出されたブロブに関連するかまたはそれに対応し得る。要約フレーム２３８中に含まれる物体の複数の表現の各々は、キーフレーム２３６のうちの１つに対応し（たとえば、それから抽出され）得る。たとえば、コンバイナ２２８は、要約フレーム２３８を生成するために、第１のキーフレームからの物体の第１の表現と、第２のキーフレームからの物体の第２の表現とを組み合わせ得る。
[0089]例示のために、コンバイナ２２８は、背景モデル２３０とキーフレーム２３６（たとえば、フレームのサブセット）とを受信し得る。コンバイナ２２８は、キーフレーム２３６の各々について、キーフレームからの物体の表現を背景モデル２３０と組み合わせるように構成され得る。物体の（１つまたは複数の）表現を背景モデル２３０と組み合わせることによって、コンバイナ２２８は、要約フレーム２３８を生成し得る。したがって、要約フレーム２３８は、単一のフレーム（たとえば、単一の画像）中の動きイベント中の物体の動きを要約し得る。要約フレーム２３８は、図１の要約フレーム１２２を含むかまたはそれに対応し得る。要約フレーム２３８の例示的な例が２５０と指定される。いくつかの実装形態では、要約フレーム２３８は、要約フレーム生成器１２０とは別個であるデバイスなど、要約フレーム生成器１２０からリモートにある別のデバイスに通信され（たとえば、送信され）得る。
[0090]いくつかの実装形態では、メタデータ２３７、要約フレーム２３８、またはその両方は、図６を参照しながら説明されるように、インデクサー（図示せず）に与えられ得る。インデクサーは、メタデータ２３７、要約フレーム２３８、またはその両方に基づいて、画像フレーム２４０を含むビデオコンテンツなどのビデオコンテンツをインデックス付けするように構成され得る。
[0091]いくつかの実装形態では、コンバイナ２２８は、要約フレーム２３８中にメタデータ２３７を含め（たとえば、埋め込み）得る。メタデータ２３７は、キーフレーム選択器２１４によって生成され、出力されるものとして説明されるが、他の実装形態では、コンバイナ２２８は、図１Ａのメタデータ１２４または図１Ｂ〜図１Ｃのメタデータ１８７など、メタデータを生成し得る。いくつかの実装形態では、コンバイナ２２８がメタデータを生成する場合、キーフレーム選択器２１４はメタデータ２３７を生成しないことがある。代替的に、他の実装形態では、コンバイナ２２８はメタデータを生成し得、キーフレーム選択器はメタデータ２３７を生成し得る。
[0092]いくつかの実装形態では、要約フレーム生成器１２０によって決定された動きイベント期間は、画像フレーム２４０の部分に対応し得る。画像フレーム２４０の部分は、画像フレーム２４０のビデオセグメント（たとえば、ビデオクリップ）に関連し得る。ビデオセグメントは、画像フレームの部分の全体、画像フレーム２４０の部分の全体未満、または画像フレーム２４０の部分の全体超を示し得る。例示のために、ビデオセグメントは、例示的な、非限定的な例として、動きイベントの始まりに関連する第１の特定のフレームと、動きイベントの終了に関連する第２の特定のフレームと、第１の特定のフレームおよび第２の特定のフレームの前の、それの後の、またはそれとの間の画像フレーム２４０とのうちの１つまたは複数のフレームを含み得る。
[0093]いくつかの実装形態では、要約フレーム生成器１２０（たとえば、イベント検出器２１２）は、検出技法、分類技法、セマンティック分析技法、またはそれらの組合せなど、１つまたは複数の画像処理技法に基づいて動きイベント期間（たとえば、動きイベント期間の始まりまたは終了）を検出するように構成され得る。検出技法は、（上記で説明された）ブロブ検出または物体検出を含み得る。物体検出は、画像フレーム２４０中の１つまたは複数の物体を検出するために使用され得る。検出され得る物体の例示的な、非限定的な例としては、歩行者、顔、車、火、煙、水（たとえば、洪水）などがある。いくつかの実装形態では、動きイベント期間の始まりは、画像フレーム２４０（たとえばビデオコンテンツ）中の特定の物体の検出に応答して決定され得、動きイベント期間の終了は、特定の物体が画像フレーム２４０（たとえばビデオコンテンツ）中でもはや検出されないときに決定され得る。
[0094]分類技法は、シーン分類器、物体分類器、顔分類器、（ビデオコンテンツがオーディオコンテンツに付随する場合）音および音声認識器、またはそれらの組合せなど、１つまたは複数の分類器を使用してフレームまたはそれの部分を分類し得る。シーン分類器は、フレームが、屋内シーンを示すのか、屋外シーンを示すのかを決定し得る。屋内シーンが決定された場合、フレームは、オフィス、教室、店、図書館、レストラン、リビングルームなどとして分類され得る。代替的に、屋外シーンが決定された場合、フレームは、街路ビュー、景観、ビーチ、海洋、山、森、建築物などとして分類され得る。物体分類器は、検出された物体が、人間であるのか、自動車であるのか、自転車であるのか、バッグであるのか、箱であるのか、家庭用ペットであるのかなどを決定し得る。検出された物体が人間である場合、顔分類器は、その人が誰であるか、性別、感情などを識別し得る。いくつかの実装形態では、画像フレーム２４０（たとえば、ビデオコンテンツ）がオーディオコンテンツに付随する場合、音および音声分類器は、誰かが話しているかどうかを決定し、言われたことを特徴づけ得る。追加または代替として、音および音声分類器は、発砲、雷、ホーン、サイレンまたはアラームなど、１つまたは複数の音を識別し得る。いくつかの実装形態では、画像フレーム２４０（たとえばビデオコンテンツ）のフレームに関連する分類器の指示は、メタデータ中に含まれ得る。
[0095]シーンのセマンティック分析は、自動シーン理解またはユーザ事前定義イベント検出を含み得る。自動シーン理解の一例としては、戦っている人々の検出があり得る。戦いは、ある身体動きをもつ複数の歩行者を見つけたときに検出され得るか、ある音および音声に関連し得るか、またはそれらの組合せである。戦いを検出することは、刑務所中など、ある環境またはロケーションにおいて適用可能であり得る。セマンティック分析の別の例は、ユーザ定義イベントを伴うことができる。たとえば、要約フレーム生成器１２０のユーザが、カメラなど、キャプチャユニットによってキャプチャされた（背景に対応する）街路ビューのシーン中の非パーキングゾーンを定義することができる。非パーキングゾーン中の違法パーキングのイベントが、車が非パーキングゾーン中で検出され、ドライバが車を出たときに検出され得る。
[0096]１つまたは複数の画像処理技法（たとえば、検出技法、分類技法、セマンティック分析技法、またはそれらの組合せ）は、フレームの全体に対して、または、フレーム部分に対して実装され得る。たとえば、フレームの部分は、背景減算がフレームに対して実行された後に検出された前景ブロブに対応し得る。画像の全体に対してではなく部分に対して１つまたは複数の画像処理技法を適用することによって、１つまたは複数の画像処理技法は、より迅速に実行され得、より少ない電力を使用し得る。
[0097]したがって、図２のシステム２００は、要約フレーム２３８を生成するように構成され得る。要約フレーム２３８は、画像フレーム２４０中に含まれる物体の、および動きイベントに対応する複数の表現を示し得る。要約フレーム２３８は、ユーザによって迅速に閲覧され得る単一の画像中に、画像フレーム２４０中に含まれる物体の動きを要約し得る。したがって、ユーザは、要約フレーム２３８に基づいて、および動きイベントに対応するビデオクリップを見る必要なしに、動きイベントの理解を得ることが可能であり得る。
[0098]図３を参照すると、要約フレームを生成する方法３００の第１の例示的な例の流れ図が示されている。要約フレームは、図１Ａの要約フレーム１２２、要約フレーム１５０、図２の要約フレーム２３８、または要約フレーム２５０を含むかまたはそれに対応し得る。方法３００は、図１Ａのシステム１００、図１Ｂのシステム１６０、図１Ｃのシステム１９０、図２のシステム２００（たとえば、要約フレーム生成器１２０）、またはそれらの組合せによって実行され得る。
[0099]ビデオコンテンツの画像フレーム（たとえば、画像フレームのストリームのうちの画像フレーム）が、３０２において、受信され得る。たとえば、ビデオコンテンツは、図１Ａのビデオコンテンツ１４０、図１Ｂ〜図１Ｃのビデオコンテンツ１６７、または図２の画像フレーム２４０を含むかまたはそれに対応し得る。３０６において、アクティビティ（たとえば、動き）がフレーム中で検出されたかどうか決定が行われ得る。たとえば、ビデオ分析およびアクティビティ決定は、図２のイベント検出器２１２によって実行され得る。例示のために、ビデオ分析およびアクティビティテスト（activity test）は、画像セグメンテーション、色セグメンテーション、画像フィルタ処理、加速化断片試験による特徴抽出（ＦＡＳＴ）、高速化ロバスト特徴（ＳＵＲＦ）、スケール不変特徴変換（ＳＩＦＴ）、コーナー検出、エッジ検出、背景減算、ブロブ検出など、１つまたは複数の検出アルゴリズムを実行することに関連し得る。追加または代替として、ビデオ分析およびアクティビティテストは、１つまたは複数の分類アルゴリズム、シーンアルゴリズムのセマンティック分析、またはそれらの組合せを使用することに関連し得る。例示のために、フレーム中の動きを検出するために、背景減算が、前景ブロブを決定するために特定のフレームに対して実行され得る。前景ブロブのサイズが決定され、３０６において、アクティビティ（たとえば、動き）が検出されたかどうかを決定するために、しきい値サイズと比較され得る。
[00100]動きが検出された場合、方法３００は、３０８において、動きイベントの始まりが検出されたかどうかを決定し得る。動きイベントが開始していない場合、方法３００は、３１０において、動きイベントの始まりを示し得、方法３００は、３１２において、フレームについてのイベント分析結果を決定することに進み得る。代替的に、動きイベントがすでに開始している場合、方法３００は３１２に進み得る（たとえば、検出されたアクティビティは、新しい動きイベントの開始ではなく進行中の動きイベントの一部と見なされ得る）。
[00101]方法３００は、３１４において、イベント分析結果に部分的に基づいて、受信されたフレームを保つべきかどうかを決定し得る。３１２において、イベント分析結果を決定することと、３１４、受信されたフレームを保つべきかどうかを決定することとは、相対動き値など、フレームに対応するイベント分析結果を決定することと、イベント分析結果に基づいて累積値を決定することと、累積値をしきい値と比較することとを含むかまたはそれに対応し得る。たとえば、そのような動作は、図２のキーフレーム選択器２１４（たとえば、イベント分析器２１８）によって実行され得る。
[00102]受信されたフレームを保つとの決定が行われた場合、受信されたフレームは、３１６において、（バッファにおいて）バッファされ得、方法３００は、３１８において、ビデオコンテンツの次のフレームを識別することに進み得る。バッファされたフレームは、図２のキーフレーム２３６など、キーフレームを含むかまたはそれに対応し得る。いくつかの実装形態では、バッファされたフレームのメタデータも、３１６において、バッファされるかまたは場合によっては記憶され得る。代替的に、受信されたフレームを保たない（たとえば、廃棄する）との決定が行われた場合、方法３００は、フレームをバッファすることなしに３１８に進み得る。３１８において、次のフレームを識別した後に、方法は３０２に戻り得る。
[00103]３０６において、アクティビティが検出されない場合、方法３００は、３２２において、動きイベントの始まりが検出されたか（たとえば、動きイベントがすでに開始されたか）どうかを決定し得る。動きイベントが開始されていない場合、方法３００は、３１８に進み得る。動きイベントがすでに開始されている場合、方法３００は、３２４において、イベントの終了を示し得る。
[00104]イベントが３２４において終了した後に、バッファされたフレーム（たとえば、キーフレーム）は、３２８において、バッファから取り出され得、バッファされたフレームを使用して要約フレームを生成し得る。要約フレームは、３１６においてバッファされた画像フレームを使用して生成され得る。たとえば、要約フレームは、図１の要約フレーム１２２、要約フレーム１５０、図２の要約フレーム２３８、または要約フレーム２５０を含むかまたはそれに対応し得る。
[00105]いくつかの実装形態では、方法３００は、３３０において、要約フレームに関連するメタデータを随意に生成し得る。たとえば、バッファされたフレームのメタデータの部分は、要約フレームのメタデータの少なくとも部分を生成するために組み合わせられ得る。いくつかの実装形態では、要約フレームのメタデータは、バッファされたフレームのうちのどれが要約フレームを生成するために使用されたかを示し得る。
[00106]したがって、図３の方法３００は、動きイベントの終了を決定することより前に、１つまたは複数のフレーム（たとえば、キーフレーム）を選択し、バッファすることを示す。動きイベントの終了に応答して、バッファされたキーフレームは、要約フレームを生成するためにアクセスされ得る。
[00107]図４を参照すると、要約フレームを生成する方法４００の第２の例示的な例の流れ図が示されている。要約フレームは、図１の要約フレーム１２２、要約フレーム１５０、図２の要約フレーム２３８、または要約フレーム２５０を含むかまたはそれに対応し得る。方法４００は、図１Ａのシステム１００、図１Ｂのシステム１６０、図１Ｃのシステム１９０、図２のシステム２００（たとえば、要約フレーム生成器１２０）、またはそれらの組合せによって実行され得る。
[00108]ビデオコンテンツ（たとえば、画像フレームのストリーム）の画像フレームが、４０２において、受信され得る。たとえば、ビデオコンテンツは、図１Ａのビデオコンテンツ１４０、図１Ｂ〜図１Ｃのビデオコンテンツ１６７、または図２の画像フレーム２４０を含むかまたはそれに対応し得る。４０６において、アクティビティ（たとえば、動き）がフレーム中で検出されたかどうか決定が行われ得る。たとえば、ビデオ分析およびアクティビティ決定は、図２のイベント検出器２１２によって実行され得る。例示のために、ビデオ分析およびアクティビティテストは、画像セグメンテーション、色セグメンテーション、画像フィルタ処理、加速化断片試験による特徴抽出（ＦＡＳＴ）、高速化ロバスト特徴（ＳＵＲＦ）、スケール不変特徴変換（ＳＩＦＴ）、コーナー検出、エッジ検出、背景減算、ブロブ検出など、１つまたは複数の検出アルゴリズムを実行することに関連し得る。追加または代替として、ビデオ分析およびアクティビティテストは、１つまたは複数の分類アルゴリズム、シーンアルゴリズムのセマンティック分析、またはそれらの組合せを使用することに関連し得る。例示のために、アクティビティテストは、４０６において、前景ブロブを決定するために特定のフレームに対して背景減算を実行し得る。前景ブロブのサイズが決定され、４０６において、特定のフレームがアクティビティ（たとえば、動き）に対応するかどうかを決定するために、しきい値サイズと比較され得る。
[00109]動きが検出された場合、方法４００は、４０８において、動きイベントの始まりが検出されたかどうかを決定する。動きイベントが開始していない場合、方法３００は、４１０において、動きイベントの始まりを示し得、方法４００は、４１２において、フレームについてのイベント分析結果を決定することに進み得る。代替的に、動きイベントがすでに開始している場合、方法４００は４１２に進み得る（たとえば、検出されたアクティビティは、新しい動きイベントの開始ではなく進行中の動きイベントの一部と見なされ得る）。
[00110]４１２において、方法４００は、イベント分析結果を決定し得る。フレームに対応するイベント分析結果は、決定され得る。たとえば、イベント分析結果は、相対動き値、複数のフレームの累積値（たとえば、イベントの総相対動き値）、またはその両方であり得る。たとえば、イベント分析結果は、図２のキーフレーム選択器２１４（たとえば、イベント分析器２１８）によって決定され得る。
[00111]４１２における、イベント分析後に、方法４００は、４１６において、（バッファにおいて）フレームをバッファし得る。いくつかの実装形態では、バッファされたフレームのメタデータも、４１６において、バッファされるかまたは場合によっては記憶され得る。方法４００は、４１８において、ビデオコンテンツの次のフレームを識別することに進み得る。４１８において、次のフレームを識別した後に、方法は４０２に戻り得る。
[00112]４０６において、アクティビティが検出されない場合、方法４００は、４２２において、動きイベントの始まりが検出されたか（たとえば、動きイベントがすでに開始されたか）どうかを決定し得る。動きイベントが開始されていない場合、方法４００は、４１８に進み得る。動きイベントがすでに開始されている場合、方法４００は、４２４において、イベントの終了を示し得る。
[00113]イベントが４２４において終了した後に、方法４００は、４２６において、キーフレームとして１つまたは複数のバッファされたフレームを選択し得る。たとえば、キーフレーム選択は、キーフレーム選択器２１４（たとえば、イベント分析器２１８）によって実行され得、キーフレームは、図２のキーフレーム２３６を含むかまたはそれに対応し得る。例示のために、イベントが終了したことに応答して、累積値（たとえば、イベントの総相対動き値）が識別され得る。しきい値は、除算され得るイベントの総相対動き値を、選択されるべきキーフレームの所定の数で除算することによって決定され得る。しきい値が決定された後に、４１６において、バッファされたフレームは、相対動き値など、フレームに対応するイベント分析結果を決定し、イベント分析結果に基づいて累積値を決定し、累積値をしきい値と比較するために、フレームごとに処理され得る。特定の累積値が、しきい値よりも大きいかまたはそれに等しい場合、特定の累積値に対応する特定のフレームが、（たとえば、要約フレーム生成中に使用するために）キーフレームとして選択され得る。
[00114]方法４００は、４２８において、要約フレームを生成することを含み得る。たとえば、要約フレームは、図１の要約フレーム１２２、要約フレーム１５０、図２の要約フレーム２３８、または要約フレーム２５０を含むかまたはそれに対応し得る。
[00115]いくつかの実装形態では、方法４００は、４３０において、要約フレームに関連するメタデータを随意に生成し得る。たとえば、キーフレームとして選択された１つまたは複数のバッファされたフレームのメタデータの部分は、要約フレームのメタデータの少なくとも部分を生成するために組み合わせられ得る。いくつかの実装形態では、要約フレームのメタデータは、どのバッファされたキーフレームが要約フレームを生成するために使用されたかを示し得る。
[00116]したがって、図４の方法４００は、動きイベントの終了を決定した後に、１つまたは複数のキーフレームを選択することを示す。１つまたは複数のキーフレームの部分は、要約フレームを生成するために組み合わせられ得る。
[00117]図５を参照すると、要約フレームを生成し、通信するように動作可能なシステム５００の例示的な例が示されている。システム５００は、ビデオシステム５０２とデバイス５５０とを含み得る。いくつかの実装形態では、ビデオシステム５０２は、閉回路テレビジョン（ＣＣＴＶ）システムなどのビデオ監視システムであり得る。追加または代替として、図５を参照しながら説明される技法は、電子デバイス、モバイルデバイス、車両、ゲーミングコンソール、自動車システムコンソール（たとえば、ＡＤＡＳ）、ウェアラブルデバイス（たとえば、パーソナルマウントカメラ）、ヘッドマウントディスプレイ（ＨＭＤ）などとともに使用され得る。追加の例は、限定はしないが、ロボットまたはロボティックデバイス、無人航空機（ＵＡＶ）、およびドローンを含む。
[00118]ビデオシステム５０２は、ネットワーク５７０を介してデバイス５５０に通信可能に結合され得る。ネットワーク５７０は、ワイヤードネットワーク、ワイヤレスネットワーク、またはそれらの組合せを含み得る。
[00119]ビデオシステム５０２は、コントローラ５１０と、１つまたは複数のカメラなど、１つまたは複数のキャプチャユニットとを含み得る。たとえば、ビデオシステム５０２は、単一のカメラを含み得るか、または第１のカメラ５３０および第２のカメラ５３２など、複数のカメラを含み得る。第１のカメラ５３０、第２のカメラ５３２、またはその両方は、図１Ｂ〜図１Ｃのカメラ１６２を含むかまたはそれに対応し得る。いくつかの実装形態では、コントローラ５１０は、例示的な、非限定的な例として、コンピュータ、サーバ、タブレット、ルータ、カメラなど、デバイス（たとえば、画像処理デバイス）を含むかまたはそれに対応し得る。コントローラ５１０は、第１の接続５３６を介して第１のカメラ５３０に結合され得、第２の接続５３８を介して第２のカメラ５３２に結合され得る。第１の接続５３６および第２の接続５３８の各々は、ワイヤード接続、ワイヤレス接続、またはそれらの組合せを含み得る。いくつかの実装形態では、第１のカメラ５３０または第２のカメラ５３２は、インターネットプロトコル（ＩＰ）カメラを含み得る。ビデオシステム５０２が２つのカメラを有するものとして説明されるが、他の実装形態では、ビデオシステム５０２は、３つ以上のカメラまたは２つよりも少ないカメラを含み得る。
[00120]第１のカメラ５３０および第２のカメラ５３２の各々は、カメラの対応する視野のビデオコンテンツを生成するように構成され得る。ビデオコンテンツは、画像フレームのシーケンスを含み得る。たとえば、第１のカメラ５３０は、ビデオコンテンツ５３４（たとえば、複数の画像フレーム）を生成するように構成され得る。ビデオコンテンツ５３４は、図１Ａのビデオコンテンツ１４０、図１Ｂ〜図１Ｃのビデオコンテンツ１６７、または図２の画像フレーム２４０を含むかまたはそれに対応し得る。いくつかの実装形態では、第１のカメラ５３０、第２のカメラ５３２、またはその両方は、対応するメモリを含み得る。たとえば、第１のカメラ５３０は、第１のカメラ５３０によって生成された１つまたは複数の画像フレーム（たとえば、ビデオコンテンツ５３４）を記憶するように構成されたメモリ５３１を含み得る。
[00121]第１のカメラ５３０、第２のカメラ５３２、またはその両方は、固定（および静止）位置に取り付けられ得る。第１のカメラ５３０が、固定および静止位置に取り付けられた場合、第１のカメラ５３０の視野の背景は、静止していると見なされ得る。たとえば、ビデオコンテンツ５３４（たとえば、ビデオストリーム）の背景は、延長された時間期間にわたって固定（または比較的固定）のままである、建築物、木、標識など、特徴を含み得る。
[00122]コントローラ５１０は、メモリ５１２と、プロセッサ５１８と、通知生成器５２６とを含み得る。コントローラ５１０は、第１のカメラ５３０および第２のカメラ５３２など、１つまたは複数のカメラからビデオコンテンツを受信し得、プロセッサ５１８にビデオコンテンツを与え得る。たとえば、プロセッサ５１８は、第１のカメラ５３０からビデオコンテンツ５３４を受信し得る。
[00123]メモリ５１２は、インデックス付きビデオコンテンツ５１４と、デバイス情報５１６とを含み得る。インデックス付きビデオコンテンツ５１４は、ビデオコンテンツ５３４とインデックスデータ５１３とを含み得る。インデックスデータ５１３は、図６を参照しながら説明されるように生成され得る。たとえば、インデックスデータ５１３は、プロセッサ５１８（たとえば、インデクサー）によって生成され得る。インデックスデータ５１３は、インデックスメタデータ５１５と、１つまたは複数の要約フレーム５２１とを含み得る。インデックスメタデータ５１５は、ビデオコンテンツ５３４の１つまたは複数の再生位置を示すマーカーデータを含み得る。一例として、マーカーデータは、ビデオコンテンツ５３４の記憶ロケーションへのリンク（たとえば、ユニフォームリソースロケータ（ＵＲＬ））を含み得、リンクの選択は、第１の再生位置において始まるビデオコンテンツ５３４の再生を始動し得る。第１の再生位置は、１つまたは複数の要約フレーム５２１のうちの第１の要約フレームに関連する動きイベントの始まりに対応し得る。追加または代替として、インデックスメタデータ５１５は、ビデオコンテンツ５３４の部分の第２の再生位置を示す第２のマーカーデータを含み得る。第２の再生位置は、第１の要約フレーム中に含まれる物体の複数の表現のうちの第１の表現を生成するために使用されるビデオコンテンツ５３４のフレームに対応し得る。
[00124]いくつかの実装形態では、インデックスデータ５１３は、第１の要約フレームおよび第２の要約フレームなど、複数の要約フレームを含み得る。第２の要約フレームは、ビデオコンテンツ５３４の第２の部分に関連し得、ビデオコンテンツ５３４の第２の部分中に含まれる第２の物体の複数の表現を示し得る。この例では、インデックスメタデータ５１５は、ビデオコンテンツ５３４の第２の部分に対応する第３の再生位置を示す第３のマーカーデータを含み得る。
[00125]いくつかの実装形態では、インデックスデータ５１３が複数の要約フレームを含む場合、インデックスメタデータ５１５は、（１つまたは複数の要約フレーム５２１のうちの）第１の要約フレームに対応するメタデータの少なくとも第１の部分と、（１つまたは複数の要約フレーム５２１のうちの）第２の要約フレームに対応するメタデータの少なくとも第２の部分とを組み合わせることによって生成されたメタデータなど、連結されたメタデータであり得る。連結されたメタデータ５８６の例示的な例が５８０において示されている。連結されたメタデータ５８６は、リンク５８１〜５８５を含む。リンク５８１〜５８５の各々は、ビデオコンテンツ５３４の異なる再生位置に対応する。第１のリンク５８１は、第１の要約フレームに関連する動きイベントの開始における第１のフレームに対応する。第２のリンク５８２は、第１の要約フレームを生成するために使用されたビデオコンテンツ５３４の第２のフレーム（たとえば、第１のキーフレーム）に対応する。第３のリンク５８３は、第１の要約フレームを生成するために使用されたビデオコンテンツ５３４の第３のフレーム（たとえば、第２のキーフレーム）に対応する。第４のリンク５８４は、第２の要約フレームに関連する動きイベントの開始における第４のフレームに対応する。第５のリンク５８５は、第２の要約フレームを生成するために使用されたビデオコンテンツ５３４の第５のフレーム（たとえば、キーフレーム）に対応する。したがって、特定の態様では、（１つまたは複数の）要約フレームについてのメタデータは、ビデオコンテンツ内の特定の時点に「ジャンプする」ために使用され得る再生リストであり得る。
[00126]デバイス情報５１６は、ビデオシステム５０２にリモートでアクセスするように構成され得るか、またはビデオシステム５０２からデータを受信し得る、デバイス５５０に関連し得る。たとえば、デバイス情報５１６は、デバイス５５０のデバイスアドレス（たとえば、電子メールアドレス、電話番号など）を示すデータを含み得る。
[00127]デジタル信号プロセッサ（ＤＳＰ）、中央処理ユニット（ＣＰＵ）、またはグラフィカル処理ユニット（ＧＰＵ）など、プロセッサ５１８は、要約フレーム生成器５２０を含み得る。要約フレーム生成器５２０は、図１Ａの要約フレーム生成器１２０または図１Ｂ〜図１Ｃの要約フレーム生成器１８０を含むかまたはそれに対応し得る。プロセッサ５１８（たとえば、要約フレーム生成器５２０）は、ビデオコンテンツ５３４の部分に対応する動きイベント期間（たとえば、動きイベントの始まり、動きイベントの終了、またはその両方）を検出するように構成され得る。動きイベント期間に対応するビデオコンテンツ５３４の部分は、ビデオセグメント５４８（たとえば、ビデオクリップ）と呼ばれることがある。いくつかの実装形態では、ビデオセグメント５４８はメモリ５１２に記憶され得る。
[00128]プロセッサ５１８（たとえば、要約フレーム生成器５２０）は、ビデオコンテンツ５３４の部分に関連する要約フレーム５２２を生成するようにであるさらに構成され得る。たとえば、ビデオコンテンツ５３４の部分は、物体に関連する動きイベントを示し得る。要約フレーム５２２は、ビデオコンテンツ５３４の部分の視覚要約を与え得る。たとえば、図１Ａの要約フレーム１２２、図１Ｃの第１の要約フレーム１９８、要約フレーム１９９、図２の要約フレーム２３８、または要約フレーム２５０など、要約フレーム５２２は、物体の複数の表現を示し得る。要約フレーム５２２を生成するために、プロセッサ５１８（たとえば、要約フレーム生成器５２０）は、図２のキーフレーム２３６などの１つまたは複数のキーフレームを選択するように構成され得る。たとえば、プロセッサ５１８は、要約フレーム５２２を生成するために、第１のキーフレームからの物体の第１の表現と、第２のキーフレームからの物体の第２の表現とを組み合わせ得る。
[00129]プロセッサ５１８は、要約フレーム５２２に関連するメタデータ５２４を生成するようにさらに構成され得る。メタデータ５２４は、図１Ａのメタデータ１２４または図１Ｂ〜図１Ｃのメタデータ１８７を含むかまたはそれに対応し得る。メタデータ５２４は、（動きイベント期間に対応する）ビデオセグメント５４８の識別子、要約フレーム５２２中に含まれる物体の表現を生成するために使用されたキーフレームの指示、動きイベント期間の始まりに関連する第１のタイムスタンプ、動きイベント期間の終了に関連する第２のタイムスタンプ、ビデオコンテンツ５３４を生成した第１のカメラ５３０に関連するカメラ識別子、インデックス付きビデオコンテンツ５１４（またはビデオセグメント５４８）が記憶されたメモリ５１２の記憶ロケーションへのリンク、またはそれらの組合せを含み得る。いくつかの実装形態では、メタデータ５２４は、要約フレーム５２２中に含まれ（たとえば、それの中に埋め込まれ）得る。追加または代替として、メタデータ５２４はメモリ５１２において記憶され得る。例示のために、メタデータ５２４は、メモリ１１２において記憶されたインデックス付きビデオコンテンツ５１４またはビデオセグメント５４８中に含まれ得る。
[00130]いくつかの実装形態では、プロセッサ５１８は、インデックス付きビデオコンテンツ５１４を生成するためにビデオコンテンツ５３４をインデックス付けするように構成され得る。たとえば、ビデオコンテンツ５３４は、動きイベント期間の始まりに対応する第１の特定のフレーム、動きイベント期間に関連するキーフレームのうちの１つまたは複数、動きイベント期間の終了に対応する第２の特定のフレーム、または要約フレーム５２２、あるいはそれらの組合せに従って、インデックス付けされ得る。１つまたは複数の要約フレームを使用してビデオコンテンツをインデックス付けすることの例は、図７Ａ〜図７Ｂを参照しながら説明される。別の例として、ビデオコンテンツ５３４は、第１の特定のフレーム、キーフレームのうちの１つまたは複数、第２の特定のフレーム、またはそれらの組合せに適用されるオフセットに基づいて、インデックス付けされ得る。例示のために、ビデオコンテンツ５３４は、動きイベント期間の始まりに対応する第１の特定のフレームの前の第１のオフセット値（たとえば、６０個のフレーム）におけるフレームを使用して、および動きイベント期間の終了に対応する第２の特定のフレームの後の第２のオフセット値（たとえば、３０個のフレーム）における別のフレームを使用して、インデックス付けされ得る。いくつかの実装形態では、プロセッサ５１８は、メモリ５１２において、動きイベント期間に関連するビデオセグメント５４８を記憶し得る。たとえば、ビデオセグメント５４８は、インデックス付きビデオコンテンツ５１４とは別個に（それに加えてまたはそれの代わりに）メモリ５１２において記憶され得る。
[00131]通知生成器５２６は、要約フレーム５２２、メタデータ５２４、またはその両方を受信することと、要約フレーム５２２を受信すべき、デバイス５５０などの１つまたは複数のデバイスを識別することとを行うように構成され得る。たとえば、要約フレーム５２２を受信したことに応答して、通知生成器５２６は、メタデータ５２４を識別し得、ビデオコンテンツ５３４を生成した第１のカメラ５３０のカメラ識別子を決定し得る。通知生成器５２６は、デバイス情報５１６にアクセスし、第１のカメラ５３０のカメラ識別子に基づいて１つまたは複数のデバイスを識別し得る。例示のために、通知生成器５２６は、検出された動きイベントに応答してデバイス５５０が通知されるべきであると決定し得、デバイス情報５１６中に含まれる（デバイス５５０に関連する）アドレスを識別し得る。通知生成器５２６は、動きイベント期間に関連する要約フレーム５２２、メタデータ５２４、または要約フレーム５２２が生成されたことを識別するインジケータを含む通知５４０を生成し得る。。いくつかの実装形態では、通知５４０は、例示的な、非限定的な例として、電子メールまたはショートメッセージサービス（ＳＭＳ）メッセージを含み得る。ビデオシステム５０２（たとえば、コントローラ５１０）は、ワイヤレスネットワークなどのネットワーク５７０を介して、アドレス（たとえば、デバイス５５０）に通知５４０を送り得る。
[00132]デバイス５５０は、受信機５５２と、送信機５５４と、ディスプレイ５５６と、プロセッサ５５８と、メモリ５６０と、インターフェース５６２とを含み得る。いくつかの実装形態では、受信機５５２、送信機５５４、またはその両方は、トランシーバ（図示せず）中に含まれ得る。受信機５５２は、ビデオシステム５０２から通知５４０を受信するように構成され得る。
[00133]ディスプレイ５５６は、画像（たとえば、画像フレーム）、または複数の画像フレームを含むビデオコンテンツを提示するように構成され得る。たとえば、ディスプレイ５５６は、要約フレーム５２２を提示するように構成され得る。動きイベント期間に関連する、および物体の複数の表現を含む要約フレーム５２２を提示することによって、デバイス５５０のユーザは、動きイベント期間中に発生したアクティビティの理解を得るために、要約フレーム５２２を迅速にレビューし得る。
[00134]インターフェース５６２は、キーパッド、タッチスクリーン、マイクロフォン、カメラ、動きセンサー（たとえば、超音波または赤外線センサー）、ワイヤレスインターフェースなど、ユーザインターフェースを含み得る。いくつかの実装形態では、インターフェース５６２は、ディスプレイ５５６を介して提示されるグラフィカルユーザインターフェース（ＧＵＩ）に対応し得る。インターフェース５６２は、要約フレーム５２２に対応するビデオコンテンツ５３４の部分を再生するための選択に対応する入力などの入力を受信するように構成され得る。たとえば、入力は、要約フレーム５２２に対応するビデオセグメント５４８（たとえば、ビデオコンテンツ５３４のビデオクリップ）についての要求５４４に関連し得る。例示のために、デバイス５５０において要約フレーム５２２を閲覧したことに応答して、デバイス５５０のユーザは、要約フレーム５２２に対応するビデオセグメント５４８（たとえば、ビデオクリップ）を閲覧することを要求し得る。したがって、ユーザは、要求５４４を始動するために、インターフェース５６２を介して入力を与え得る。
[00135]デジタル信号プロセッサ（ＤＳＰ）、中央処理ユニット（ＣＰＵ）、またはグラフィカル処理ユニット（ＧＰＵ）など、プロセッサ５５８は、メモリ５６０に結合され得る。メモリ５６０は、データ、命令、またはその両方を記憶するように構成され得る。プロセッサ５５８は、メモリ５６０に記憶されたソフトウェア（たとえば、１つまたは複数の命令のプログラム）を実行するように構成され得る。インターフェース５６２を介して受信された入力に応答して、プロセッサ５５８は、要約フレーム５２２によって要約された動きイベントに対応するビデオセグメント５４８についての要求５４４を生成し得る。いくつかの実装形態では、要求５４４は、デバイス５５０（またはユーザ）が、ビデオセグメント５４８を受信することを許可されることを検証するために使用され得る認証情報５４６を含み得る。追加または代替として、要求５４４は、例示的な、非限定的な例として、要約フレーム５２２、動きイベント期間、またはそれらの組合せを識別するメタデータ５２４の少なくとも部分を含み得る。プロセッサ５５８は、ビデオシステム５０２（たとえば、コントローラ５１０）に要求５４４を送ることを始動し得る。送信機５５４は、ネットワーク５７０を介して（たとえば、少なくとも１つのネットワークを介して）ビデオシステム５０２に要求５４４を送信するように構成され得る。
[00136]コントローラ５１０は、デバイス５５０から要求５４４を受信し得、デバイス５５０が、要約フレーム５２２に関連するビデオセグメント５４８を受信することを許可されることを検証し得る。たとえば、コントローラ５１０は、デバイス５５０から受信された認証情報５４６中に含まれるユーザ名とパスワードとを検証し得る。例示のために、コントローラ５１０は、ユーザ名とパスワードとを検証するためにデバイス情報５１６を使用し得る。
[00137]要求５４４に応答して、コントローラ５１０は、要約フレーム５２２に対応するビデオセグメント５４８を識別し得る。たとえば、コントローラ５１０は、要求５４４中に含まれるメタデータ５２４の部分に基づいてビデオセグメント５４８を識別し得る。いくつかの実装形態では、コントローラ５１０（たとえば、プロセッサ５１８）は、メモリ５１２において記憶されたビデオセグメント５４８を取り出し得る。他の実装形態では、メタデータ５２４の部分は、コントローラ５１０が、ビデオセグメント５４８に対応するインデックス付きビデオコンテンツ５１４の部分にアクセスすることを可能にするインデックス識別子を含み得る。コントローラ５１０は、ネットワーク５７０を介してデバイス５５０にビデオセグメント５４８を送り得る。（要約フレーム５２２を含む）通知５４０の第１のデータサイズが、ビデオセグメント５４８の第２のデータサイズよりも小さくなり得る。したがって、要約フレーム５２２を含む（およびビデオセグメント５４８を含まない）通知５４０は、より少ないネットワーク帯域幅を使用し得、ビデオセグメント５４８を含む通知よりもデバイス５５０により迅速に与えられ得る。
[00138]動作中に、コントローラ５１０は、第１のカメラ５３０から受信されたビデオコンテンツ５３４（たとえば、複数の画像フレーム）に対応する動きイベント期間を検出し得る。コントローラ５１０は、物体の複数の表現を示す要約フレーム５２２を生成し得る。物体は、動きイベント期間に対応するビデオコンテンツ５３４の部分中に含まれ得る。要約フレーム５２２が生成された後に、要約フレーム５２２は、デバイス５５０に送られる通知５４０中に含まれ得る。
[00139]デバイス５５０は、ビデオシステム５０２（たとえば、ビデオ監視システム）から動きイベント期間の通知５４０を受信し得る。デバイス５５０は、ディスプレイ５５６を介して通知５４０中に含まれる要約フレーム５２２を提示し得る。ディスプレイ５５６を介して提示された要約フレーム５２２は、デバイス５５０のユーザに、動きイベント期間に対応するビデオコンテンツ５３４を要約する単一の画像を与え得る。例示のために、ビデオシステム５０２は、デバイス５５０のユーザの自宅において設置され得、第１のカメラ５３０は、自宅のフロントドアの外側のシーンに関連する視野を有するために、自宅に取り付けられ得る。コントローラ５１０は、配達人などの人がフロントドアに近づくたびに動きイベント期間を検出し得、デバイス５５０に送られる対応する要約フレームを生成し得る。
[00140]要約フレーム５２２を含む通知５４０を受信した後に、デバイス５５０は、ビデオシステム５０２（たとえば、コントローラ５１０）に、動きイベント期間に対応するビデオセグメント５４８など、要約フレーム５２２に関連するビデオセグメント５４８についての要求５４４を送り得る。ビデオシステム５０２（たとえば、コントローラ５１０）は、デバイス５５０から要求５４４を受信し得、要求５４４に応答して、デバイス５５０にビデオセグメント５４８を送り得る。デバイス５５０は、ビデオセグメント５４８を受信し得、メモリ５６０においてビデオセグメント５４８を記憶し得る。追加または代替として、デバイス５５０は、デバイス５５０のディスプレイ５５６を介してビデオセグメント５４８を提示し得る。いくつかの実装形態では、ビデオセグメント５４８は、要求５４４に応答して、ビデオシステム５０２からデバイス５５０にストリーミングされ得る。
[00141]いくつかの実装形態では、通知５４０は、要約フレーム５２２などの単一の要約フレームを含み得る。他の実装形態では、通知５４０は複数の要約フレームを含み得る。たとえば、プロセッサ５１８は、ビデオコンテンツ５３４の第１の部分に関連する第１の動きイベント期間を検出し得、第１のカメラ５３０によってまたは第２のカメラ５３２によって生成された第２のビデオコンテンツの第２の部分に関連する第２の動きイベント期間を検出し得る。プロセッサ５１８は、第１の動きイベント期間に関連する要約フレーム５２２を生成し得、第２の動きイベント期間に関連する第２の要約フレームを生成し得る。通知５４０は、要約フレーム５２２と第２の要約フレームとを含み得る。第１の動きイベントは、第２の動きイベントの第２の持続時間と同じであるかまたはそれとは異なる第１の持続時間を有し得る。いくつかの実装形態では、第１の持続時間および第２の持続時間は、時間の最小量または最大量に制限されないことがある。他の実装形態では、第１の持続時間または第２の持続時間のうちの少なくとも１つは、第１の持続時間または第２の持続時間が、第１のしきい値よりも大きいか、第２のしきい値よりも小さいか、またはその両方であるように、時間的に制限され得る。代替または追加として、第１の動きイベント期間と第２の動きイベント期間とは、時間的に少なくとも部分的に重複し得る。他の実装形態では、第１の動きイベントと第２の動きイベントとは、時間的に重複しないことがある。
[00142]いくつかの実装形態では、通知生成器５２６は、動きイベント期間の終了を決定したことに応答して通知５４０を生成するように構成され得る。追加または代替として、通知５４０は、要約フレーム５２２が生成されたことに応答して生成され得る。他の実装形態では、通知生成器５２６は、所定の間隔において通知を生成するように構成され得る。例示的な非限定的な例として、通知生成器５２６は、３時間ごとに通知を生成し得る。随意に、先行する３時間期間中に動きイベントが検出されなかった場合、（１つまたは複数の）要約フレームなしの通知が生成され得る。別の例として、第１の間隔は８時間長であり得、午前９時から午後５時までに発生し得、第２の間隔は１時間長であり得、午前９時から午後５時までに数回発生し得る。通知生成器５２６が所定の間隔において通知を生成する場合、各通知は、最も最近の通知が送られたときから生成された１つまたは複数の要約フレームを含み得る。いくつかの実装形態では、通知生成器５２６は、要約フレームが生成されなかった場合、あらゆる所定の間隔において通知を送るとは限らない。たとえば、要約フレームが第１の時間と第２の時間との間で生成されなかった場合、および第２の時間が所定の時間間隔に対応する場合、通知生成器５２６は、第２の時間において通知を送らないことがある。
[00143]いくつかの実装形態では、ビデオシステム５０２（たとえば、コントローラ５１０）が、時間期間の後になど、所定の時間において通知を送るように構成された場合、メモリ５１２は、時間期間中にビデオコンテンツ（またはそれのフレーム）を記憶するように構成され得る。所定の時間において、要約フレーム生成器５２０は、記憶されたビデオコンテンツにアクセスし、ビデオコンテンツ中に含まれる動きイベントを識別するためにビデオコンテンツを分析するように構成され得る。各識別された動きイベントについて、要約フレーム生成器５２０は、対応する要約フレームを生成し得る。（時間期間に関連する）ビデオコンテンツに基づいて生成された各要約フレームは、通知生成器５２６によって生成された同じ通知中に含まれ得る。
[00144]いくつかの実装形態では、デバイス５５０は、ビデオシステム５０２とデバイス５５０との間のセキュアな通信を可能にするアプリケーション（たとえば、プロセッサ５５８によって実行可能なソフトウェアアプリケーション）を含み得る。そのような実装形態では、通知５４０、要求５４４、ビデオセグメント５４８、またはそれらの組合せは、アプリケーションを使用して通信され得る。追加または代替として、アプリケーションは、デバイス５５０がビデオシステム５０２にアクセスすることを可能にし得る。たとえば、アプリケーションは、デバイス５５０が、例示的な、非限定的な例として、メモリ５１２（たとえば、デバイス情報５１６、またはインデックス付きビデオコンテンツ５１４の少なくとも部分）、第１のカメラ５３０によって生成されたビデオコンテンツ５３４、第２のカメラ５３２によって生成されたビデオコンテンツにアクセスすることを可能にし得る。いくつかの実装形態では、アプリケーションは、デバイス５５０のユーザが、要約フレーム、通知、またはその両方の生成および送信に関連する１つまたは複数の選好を設定することを可能にし得る。たとえば、１つまたは複数の選好は、例示的な、非限定的な例として、通知がデバイスにどのくらいの頻度で送られるか、どのカメラについての通知をデバイス５５０が受信したべきであるか、または動きイベント期間のためにいくつのキーフレームを選択すべきかを示し得る。
[00145]コントローラ５１０が１つまたは複数のカメラとは別個であるものとして説明されたが、他の実装形態では、コントローラ５１０、またはそれの構成要素は、第１のカメラ５３０、第２のカメラ５３２、またはその両方など、カメラ中に含まれている得る。例示的な、非限定的な例として、第２のカメラ５３２は、メモリ（たとえば、メモリ５１２）と画像プロセッサ（たとえば、プロセッサ５１８）とを含み得る。いくつかの実装形態では、第１のカメラ５３０のメモリ５３１は、コントローラ５１０のメモリ５１２に対応し得る。たとえば、メモリ５３１は、インデックス付きビデオコンテンツ５１４、デバイス情報５１６、またはそれらの組合せを記憶するように構成され得る。
[00146]いくつかの実装形態では、第１のカメラ５３０は、１つまたは複数の要約フレームを生成し、（第１のカメラ５３０とは別個である）コントローラ５１０にまたはデバイス５５０に、１つまたは複数の要約フレームを与えるように構成され得る。たとえば、いくつかの実装形態では、第１のカメラ５３０は、ネットワーク５７０を介してデバイス５５０に、第１の要約フレームを含む第１の通知を送り得る。別の例として、他の実装形態では、第１のカメラ５３０は、第１の要約フレームを生成し得、第１の接続５３６を介してコントローラ５１０に、第１の要約フレームを含む第１の通知を送り得る。第１の通知を受信した後に、コントローラ５１０は、ネットワーク５７０を介してデバイス５５０に、第１の要約フレームを含む第２の通知を送り得る。いくつかの実装形態では、ビデオコンテンツ、インデックス付きビデオコンテンツ、ビデオセグメント、または要約フレームは、第１のカメラ５３０のメモリ５３１、コントローラ５１０のメモリ５１２、またはその両方において記憶され得る。
[00147]いくつかの実装形態では、メモリ５１２は、パラメータ、設定、またはビデオシステム５０２の動作に関連する他の情報を記憶し得る。たとえば、ビデオシステム５０２のパラメータまたは設定は、例示的な、非限定的な例として、デバイス情報５１６、アカウント情報（たとえば、ユーザ名、ユーザアドレス、ユーザによってアクセスされることを許可された１つまたは複数のカメラ）、（たとえば、図１Ｂ〜図１Ｃのモードコントローラ１７８によって指定されたモードを示す）モード値、連結モードに関連する１つまたは複数の時間期間、カメラロケーション情報、またはそれらの組合せを含むかまたは示し得る。例示のために、メモリ５１２は、要約フレーム生成器５２０の動作に関連するパラメータまたは設定を記憶し得る。たとえば、要約フレーム生成器５２０の動作に関連するパラメータまたは設定は、例示的な、非限定的な例として、要約フレーム５２２を生成するために使用されるべきキーフレームの数、（たとえば、図１Ｂ〜図１Ｃのモードコントローラ１７８によって指定されたモードを示す）モード値、連結モードに関連する１つまたは複数の時間期間、１つまたは複数のしきい値（たとえば、図２のしきい値２２６）、またはそれらの組合せを含むかまたは示し得る。追加または代替として、パラメータまたは設定は、通知生成器５２６の動作に関連し得る。たとえば、通知生成器５２６に関連するパラメータまたは設定は、例示的な、非限定的な例として、（たとえば、図１Ｂ〜図１Ｃのモードコントローラ１７８によって指定されたモードを示す）モード値、連結モードに関連する１つまたは複数の時間期間、通知５４０のメッセージフォーマット、通知が要約フレーム生成器５２０、メタデータ５２４、またはビデオセグメント５４８を含むべきであるかどうか、あるいはそれらの組合せを含むかまたは示し得る。
[00148]１つまたは複数の態様が、特定のデバイスにおいて実行されている動作を含むものとして本明細書で説明され得るが、他の例では、そのような動作、構成要素、またはデバイスは、「クラウド」に関連し得ることを理解されたい。たとえば、他の実装形態では、ビデオコンテンツ５３４、インデックス付きビデオコンテンツ５１４、デバイス情報５１６、要約フレーム５２２、メタデータ５２４、またはそれらの組合せは、ネットワーク５７０中に含まれるデバイス（たとえば、サーバ）において記憶され得る。追加または代替として、要約フレーム生成器５２０は、ネットワーク５７０中に含まれ得る。
[00149]動きイベント期間に関連する要約フレーム５２２を含む通知５４０を送ることによって、動きイベント期間に関連するビデオセグメント５４８（たとえば、ビデオクリップ）を含む通知を送ることと比較して、通知５４０のデータサイズが低減され得る。したがって、要約フレーム５２２を含む（およびビデオセグメント５４８を含まない）通知５４０は、ビデオセグメント５４８を含む通知よりも、より少ない電力およびより少ない帯域幅を使用して、より迅速にデバイス５５０に与えられ得る。さらに、ビデオセグメント５４８を送る代わりに要約フレーム５２２を送ることによって、デバイス５５０のユーザは、動きイベント期間中に発生したアクティビティの理解を得るために、要約フレーム５２２を迅速にレビューし得る。
[00150]図６を参照すると、要約フレームを使用してビデオコンテンツをインデックス付けするように動作可能なシステム６００の例示的な例が示されている。システム６００は、図１Ａのシステム１００、図１Ｂ〜図１Ｃのシステム１６０、システム２００、または図５のシステム５００（たとえば、ビデオシステム５０２、コントローラ５１０、第１のカメラ５３０、第２のカメラ５３２、またはデバイス５５０）を含むかまたはそれに対応し得る。
[00151]システム６００はデバイス６０２を含み得る。デバイス６０２は、例示的な、非限定的な例として、コンピュータ、ラップトップ、モバイルデバイス、カメラ、またはサーバなど、再生デバイスを含み得る。いくつかの実装形態では、デバイス６０２は、閉回路テレビジョン（ＣＣＴＶ）システムなどのビデオ監視システム中に含まれ得る。追加または代替として、デバイス６０２は、電子デバイス、モバイルデバイス、車両、ゲーミングコンソール、自動車システムコンソール（たとえば、ＡＤＡＳ）、ウェアラブルデバイス（たとえば、パーソナルマウントカメラ）、ヘッドマウントディスプレイ（ＨＭＤ）などを含むかまたはそれの中に含まれ得る。追加の例は、限定はしないが、ロボットまたはロボティックデバイス、無人航空機（ＵＡＶ）、およびドローンを含む。さらに、１つまたは複数の態様が、デバイスにおいて実行されている動作を含むものとして本明細書で説明され得るが、他の例では、そのような動作は、「クラウド」において実行され得ることを理解されたい。
[00152]デバイス６０２は、メモリ６１２と、入力デバイス６３２と、プロセッサ６１８と、ディスプレイ６２８（たとえば、スクリーン）とを含み得る。メモリ６１２は、ビデオコンテンツ６１４を含み得る。いくつかの実装形態では、ビデオコンテンツ６１４は、ファイル名を有するデータファイルとして記憶され得る。ビデオコンテンツ６１４は、図１Ａのビデオコンテンツ１４０、図１Ｂ〜図１Ｃのビデオコンテンツ１６７、図２の画像フレーム２４０、または図５のビデオコンテンツ５３４を含むかまたはそれに対応し得る。いくつかの実装形態では、メモリ６１２は、複数のデータファイル（たとえば、複数のビデオファイル）を含み得、各データファイルは、異なるビデオコンテンツに対応し得る。たとえば、複数のデータファイルのうちの第１のデータファイルは、第１のビデオコンテンツに対応し得、複数のデータファイルのうちの第２のデータファイルは、第２のビデオコンテンツを含むかまたはそれに対応し得る。
[00153]入力デバイス６３２は、１つまたは複数の入力を受信するように構成され得る。ユーザインターフェースなど、入力デバイス６３２は、マウス、タッチパッド、キーボード、タッチスクリーン、マイクロフォン、動きセンサー、カメラ、ディスプレイ、ワイヤレス受信機などを含み得る。１つまたは複数の入力は、ビデオコンテンツ６１４のインデックス付きバージョンを生成するかまたは与えるようにとの要求など、要求６４０を含むかまたは示し得る。いくつかの実装形態では、要求６４０は、ビデオコンテンツ６１４を識別するかまたはそれに関連し得る。たとえば、要求６４０は、ビデオコンテンツ６１４を含むファイルのファイル名を含み得る。
[00154]プロセッサ６１８は、インデックス付きビデオコンテンツ６４２を生成するように構成され得る。いくつかの実装形態では、インデックス付きビデオコンテンツは、図５のインデックス付きビデオコンテンツ５１４を含むかまたはそれに対応し得る。プロセッサ６１８は、要約フレーム生成器６２０とインデクサー６２４とを含み得る。要約フレーム生成器６２０は、図１Ａの要約フレーム生成器１２０、図１Ｂ〜図１Ｃの要約フレーム生成器１８０、または図５の要約フレーム生成器５２０を含むかまたはそれに対応し得る。要約フレーム生成器６２０は、ビデオコンテンツ６１４が１つまたは複数の動きイベントを含むかどうかを決定するように構成され得る。ビデオコンテンツ６１４中に含まれる各動きイベントについて、要約フレーム生成器６２０は、動きイベント中の少なくとも１つの対応する物体の複数の表現を含む、要約フレーム６２２など、対応する要約フレームを生成するように構成され得る。
[00155]インデクサー６２４は、要約フレーム生成器６２０によって生成された１つまたは複数の要約フレームに基づいて、ビデオコンテンツ６１４をインデックス付けするように構成され得る。例示のために、インデクサー６２４は、インデックス付きビデオコンテンツ６４２を生成するためにビデオコンテンツ６１４をインデックス付けし得る。プロセッサ６１８は、ディスプレイ６２８（たとえば、スクリーン）など、出力デバイスにインデックス付きビデオコンテンツ６４２を与えるように構成され得る。いくつかの実装形態では、プロセッサ６１８は、送信機（図示せず）を介した別のデバイスへのインデックス付きビデオコンテンツ６４２の送信を始動するように構成され得る。ディスプレイ６２８は、図７Ａ〜図７Ｂを参照しながら説明されるように、インデックス付きビデオコンテンツ６４２の表現を提示するように構成され得る。ディスプレイ６２８がデバイス６０２中に含まれるものとして説明されるが、他の実装形態では、ディスプレイ６２８は、デバイス６０２の外部にあり得る。たとえば、ディスプレイ６２８は、ワイヤード接続、ワイヤレス接続、またはそれらの組合せを介してデバイス６０２に結合され得る。追加または代替として、ディスプレイ６２８は、要約フレーム生成器６２０によって生成された、要約フレーム６２２など、（ビデオコンテンツの）少なくとも１つの要約フレームを提示するように構成され得る。
[00156]動作中に、デバイス６０２は、ビデオコンテンツ６１４をインデックス付けするようにとの要求６４０を受信し得る。プロセッサ６１８は、入力デバイス６３２を介して要求６４０を受信し得る。プロセッサ６１８は、ビデオコンテンツ６１４に関連するインジケータを識別し得る。インジケータに応答して、プロセッサ６１８は、ビデオコンテンツ６１４にアクセスし得る。要約フレーム生成器６２０は、ビデオコンテンツ中に含まれる１つまたは複数の動きイベントを識別し得る。たとえば、要約フレーム生成器６２０は、第１の時間において始まる第１の動きイベントを識別し得、第２の時間において始まる第２の動きイベントを識別し得る。要約フレーム生成器６２０は、第１の動きイベントに関連する第１の要約フレームを生成し得、第２の動きイベントに関連する第２の要約フレームを生成し得る。
[00157]インデクサー６２４は、要約フレーム生成器６２０によって生成された１つまたは複数の要約フレーム（たとえば、第１の要約フレームおよび第２の要約フレーム）に基づいて、ビデオコンテンツ６１４をインデックス付けし得る。たとえば、インデクサー６２４は、第１の要約フレームを使用して、（第１の時間に対応する）第１のロケーションにおけるビデオコンテンツ６１４のタイムラインをインデックス付けし得る。インデクサー６２４は、第２の要約フレームを使用して、（第２の時間に対応する）第２のロケーションにおけるタイムラインをインデックス付けし得る。いくつかの実装形態では、インデックス付きビデオコンテンツ６４２は、インデックス付きタイムラインを含むかまたはそれに対応し得る。プロセッサ６１８は、ディスプレイ６２８を介して提示されるべきインデックス付きビデオコンテンツ６４２を与え得る。
[00158]いくつかの実装形態では、プロセッサ６１８は、インデックス付きビデオコンテンツ６４２が、メモリ６１２において記憶されることを引き起こし得る。インデックス付きビデオコンテンツ６４２がメモリ６１２において記憶された後に、デバイスは、ビデオコンテンツ６１４のインデックス付きバージョンについての第２の要求を受信し得る。第２の要求に応答して、プロセッサ６１８は、インデックス付きビデオコンテンツ６４２がメモリ６１２中に存在するかどうかを決定し得る。インデックス付きビデオコンテンツ６４２がメモリ６１２中に存在する場合、プロセッサ６１８は、メモリ６１２からインデックス付きビデオコンテンツにアクセスし、ディスプレイ６２８にインデックス付きビデオコンテンツ６４２を与え得る。代替的に、インデックス付きビデオコンテンツ６４２がメモリ６１２中に存在しないとプロセッサ６１８が決定した場合、プロセッサ６１８は、ビデオコンテンツ６１４にアクセスし、要約フレーム生成器６２０とインデクサー６２４とを使用して、インデックス付きビデオコンテンツ６４２を生成し得る。
[00159]他の実装形態では、プロセッサ６１８は、１つまたは複数の生成された要約フレームを出力するように構成され得る。たとえば、プロセッサ６１８は、ビデオコンテンツ６１４の全部または部分中の動きイベントに対応する単一の要約フレーム、あるいはビデオコンテンツ６１４の全体に対応する単一の要約フレームなど、ビデオコンテンツ６１４に基づく単一の要約フレームを生成し得る。別の例として、プロセッサ６１８は、各要約フレームがビデオコンテンツ６１４の部分に対応する、複数の要約フレームを生成し得る。複数の要約フレームが生成されたとき、ビデオコンテンツ６１４の関連する部分は、時間的に重複しないことがあるかまたは少なくとも部分的に重複し得る。いくつかの実装形態では、要約フレームに対応するビデオコンテンツ６１４の部分は、固定持続時間（たとえば、３０秒）、最小持続時間（たとえば、１０秒）、またはそれらの組合せを有し得る。他の実装形態では、部分の持続時間は、ビデオコンテンツ６１４中で検出された動きイベント期間の持続時間に基づき得る。いくつかの例では、プロセッサ６１８が、単一のビデオファイルについての複数の要約フレームを生成した場合、複数の要約フレームは連結され、グループとしてディスプレイ６２８に与えられ得る。
[00160]いくつかの実装形態では、デバイス６０２は、ビデオコンテンツ６１４を生成するように構成された、カメラなど、キャプチャユニットを含み得るかまたはそれに結合され得る。たとえば、カメラは、ビデオコンテンツ６１４を生成し、メモリ６１２にビデオコンテンツ６１４を与え得る。追加または代替として、いくつかの実装形態では、デバイス６０２は、第２のメモリを含むかまたはそれに結合され得る。第２のメモリは、各データファイルが対応するビデオコンテンツを含む、１つまたは複数のデータファイルなど、ビデオコンテンツを記憶し得る。たとえば、デバイス６０２は、ワイヤード接続、ワイヤレス接続、またはそれらの組合せを介して第２のメモリに結合され得る。例示のために、第２のメモリは、「クラウド」中にあり得、デバイス６０２は、ワイヤードネットワーク、ワイヤレスネットワーク、またはそれらの組合せを介して第２のメモリにアクセスし得る。いくつかの実装形態では、要求６４０は、デバイス６０２に、第２のメモリにおいて記憶されたビデオコンテンツをインデックス付けするように、または第２のメモリにおいて記憶されたビデオコンテンツに基づいて１つまたは複数の要約フレームを生成するように要求し得る。
[00161]いくつかの実装形態では、プロセッサ６１８によって出力された１つまたは複数の要約フレームは、メタデータを含み得る。特定の要約フレームについてのメタデータは、特定の要約フレームに関連するビデオコンテンツ６１４の時間（たとえば、ロケーション）または部分に対応する識別子またはリンクを含み得る。特定の要約フレームは、ディスプレイ６２８を介して提示され得る。特定の要約フレームのユーザ選択に応答して、メタデータは、ビデオコンテンツ６１４にアクセスするために使用され得、プロセッサ６１８は、ビデオコンテンツ６１４（またはそれの対応する部分）が、ディスプレイ６２８を介して提示されることを引き起こし得る。いくつかの実装形態では、ビデオコンテンツ６１４（またはそれの部分）の提示は、特定の要約フレームの生成を引き起こした動きイベントの開始に対応するビデオフレームにおいて始まり得る。たとえば、プロセッサ６１８は、ビデオコンテンツ６１４の始まりをスキップし得、ビデオコンテンツ６１４の中間部分を再生することを開始し得る。
[00162]いくつかの実装形態では、プロセッサ６１８（たとえば、インデクサー６２４）は、ビデオコンテンツ６１４についてのインデックスデータを生成するように構成され得る。たとえば、インデックスデータは、図５のインデックスデータ５１３を含むかまたはそれに対応し得る。インデックスデータは、要約フレーム６２２などの要約フレームとメタデータとを含み得る。メタデータは、ビデオコンテンツの再生位置を示すマーカーデータを含み得、ここで、再生位置は要約フレーム６２２に関連し得る。いくつかの実装形態では、メモリ６１２は、インデックスデータを記憶するように構成され得る。
[00163]特定の例示的な例では、再生位置は、ビデオコンテンツ中に含まれる動きイベントの始まりに対応し得る。マーカーデータは、ビデオコンテンツ６１４の記憶ロケーションへの、ユニフォームリソースロケータ（ＵＲＬ）など、リンクを含み得る。（たとえば、自動的に、あるいは、ディスプレイ６２８または入力デバイス６３２を介するユーザによる）リンクの選択が、再生位置におけるビデオコンテンツ６１４の再生を始動するように構成され得る。いくつかの実装形態では、メタデータは、ビデオコンテンツの部分の第２の再生位置を示す第２のマーカーデータを含み得る。第２の再生位置は、要約フレーム６２２によって示された複数の表現のうちの第１の表現を生成するために要約フレーム生成器６２０によって使用されたビデオコンテンツ６１４のフレームに対応し得る。
[00164]いくつかの実装形態では、インデックスデータは、ビデオコンテンツ６１４の第２の部分に関連する第２の要約フレーム（図示せず）を含み得る。第２の要約フレームは、要約フレーム生成器６２０によって生成され得、ビデオコンテンツ６１４の第２の部分中に含まれる第２の物体の複数の表現を示し得る。インデックスデータが第２の要約フレームを含む場合、メタデータは、ビデオコンテンツ６１４の第２の部分に対応する第３の再生位置を示す第３のマーカーデータを含み得る。
[00165]プロセッサ６１８（たとえば、インデクサー６２４）は、ディスプレイ６２８にインデックスデータを送り得る。ディスプレイ６２８は、ビデオコンテンツ６１４の時間期間に対応するタイムラインを提示し得る。タイムラインは１つまたは複数のマーカーを含み得る。１つまたは複数のマーカーの各マーカーは、ビデオコンテンツ６１４に基づいて生成された異なる要約フレームに対応し得る。
[00166]特定の実装形態では、ディスプレイ６２８は、物体の表現の第１のセットを示す要約フレーム６２２を含むグラフィカルユーザインターフェース（ＧＵＩ）を提示するように構成され得る。いくつかの実装形態では、要約フレーム６２２は、ビデオコンテンツ６１４の部分に関連する。さらに、プロセッサ６１８は、ディスプレイ６２８に電気的に結合され、表現の第１のセットのうちの特定の表現を示す選択を受信するように構成され得る。たとえば、入力デバイス６３２は、選択を生成するように構成され得る。例示のために、選択は、選択によって示された特定の表現に関連する再生位置における（たとえば、そこから開始する）ビデオコンテンツ６１４の再生についての特定の要求中に含まれ得る。
[00167]図７Ａ〜図７Ｊを参照すると、少なくとも１つの要約フレームを提示するためのインターフェースの例が示されている。図７Ａ〜図７Ｊの例の各々は、ディスプレイ７０２を介して提示され得る、ユーザインターフェースなど、対応するインターフェースを含む。いくつかの実装形態では、ユーザインターフェースは、グラフィカルユーザインターフェース（ＧＵＩ）を含み得る。ディスプレイ７０２は、図１Ａのユーザインターフェース１３０、図５のディスプレイ５５６、または図６のディスプレイ６２８を含むかまたはそれに対応し得る。図７Ａ〜図７Ｊを参照しながら説明される例は、限定するものではないことに留意されたい。たとえば、図７Ａ〜図７Ｊの一例の態様が、インターフェースを生成するために、図７Ａ〜図７Ｊの異なる例の別の態様と組み合わせられ得る。さらに、図７Ａ〜図７Ｊの例において、態様またはフィーチャは、図７Ａ〜図７Ｊの異なる例の２つの態様が組み合わせられることを可能にするように求められると見なされないことに留意されたい。
[00168]図７Ａは、図６のビデオコンテンツ６１４などのビデオコンテンツのタイムライン７０１を含むインターフェースの第１の例７００を含む。ビデオコンテンツに対応するファイル名７０６が、タイムラインの下側に提示されている。タイムライン７０１は、（代替的にインデックスマーカーと呼ばれる）１つまたは複数の時間マーカーを使用してインデックス付けされる。たとえば、時間マークは、第１の時間マーカーＴ０と、第２の時間マーカーＴ１と、第３の時間マーカーＴ２と、第４の時間マーカーＴ３と、第５の時間マーカーＴ４と、第６の時間マーカーＴ５とを含み得る。第１の時間マーカーＴ０は、ビデオコンテンツの初期フレームに対応し得、第６の時間マーカーＴ５は、ビデオコンテンツの最終フレームに対応し得る。初期フレームおよび最終フレームは、要約フレームを含まないことがある。いくつかの実装形態では、タイムライン７０１は、第１の時間マーカーＴ０と第６の時間マーカーＴ５とを含まないことがある。第２の時間マーカーＴ１、第３の時間マーカーＴ２、第４の時間マーカーＴ３、および第５の時間マーカーＴ４の各々は、異なる要約フレームに対応し得る。
[00169]ディスプレイ７０２と対話するユーザが、カーソル７０３を制御し得る。カーソルがタイムライン７０１の時間マーカーＴ０〜Ｔ５のうちの１つ上またはそれの近くに配置された場合、時間マーカーに対応する要約フレームが、ディスプレイ７０２を介して提示され得る。例示のために、第１の例７００に示されているように、カーソル７０３は、要約フレーム７０４に対応する第２の時間マーカーＴ１の近くにある。したがって、要約フレーム７０４は、ディスプレイ７０２を介して（タイムライン７０１の上側に）提示される。要約フレーム７０４は、第２の時間マーカーＴ１に関連する動きイベントを要約し得る。
[00170]図７Ｂは、ディスプレイ７０２を介して提示され得るインターフェースの第２の例７１０を含む。第２の例７１０は、図６のビデオコンテンツ６１４などのビデオコンテンツに対応するファイル名７１１を含む。ビデオコンテンツは、第１の要約フレーム７１２および第２の要約フレーム７１３など、１つまたは複数の要約フレームを使用してインデックス付けされ得る。ディスプレイ７０２は、第１の要約フレーム７１２と第２の要約フレーム７１３とを含む。第１の要約フレーム７１２は、ビデオコンテンツ中に含まれる第１の動きイベントに関連し得、第２の要約フレーム７１３は、ビデオコンテンツ中に含まれる第２の動きイベントに関連し得る。第１の動きイベントは、第１の時間７１４において発生していることがあり、第２の動きイベントは、第２の時間７１５において発生していることがある。第１の時間７１４および第２の時間７１５（たとえば、タイムスタンプ）はまた、図示のように、提示され得る。いくつかの実装形態では、ディスプレイ７０２はまた、各要約フレームについて、要約フレームに対応する動きイベントの持続時間を示し得る。
[00171]第２の例７１０はまた、第１の矢印７１６および第２の矢印７１７など、矢印を含み得る。第１の矢印７１６および第２の矢印７１７は、ユーザが、ビデオコンテンツをインデックス付けするために使用される異なる要約フレームを閲覧することを可能にし得る。例示のために、ディスプレイ７０２と対話するユーザは、ディスプレイに、第１の要約フレーム７１２に対応する動きイベントより時間的に前に発生した動きイベントに対応する別の要約フレームを提示させるために、第１の矢印７１６を選択し得る。第１の要約フレーム７１２より時間的に前である要約フレームが存在しない場合、第１の矢印７１６は、ディスプレイ７０２中に含まれないことがある。ユーザは、ディスプレイに、第２の要約フレーム７１３に対応する動きイベントに時間的に続いて発生した動きイベントに対応する別の要約フレームを提示させるために、第２の矢印７１７を選択し得る。第２の要約フレーム７１３に時間的に続く要約フレームが存在しない場合、第２の矢印７１７は、ディスプレイ７０２中に含まれないことがある。
[00172]他の実装形態では、複数の要約フレームが、異なるフォーマットを使用して編成され、提示され得る。たとえば、複数の要約フレームは、例示的な、非限定的な例として、タイルフォーマット、リストフォーマット、ローロデックスフォーマット、またはモザイクフォーマットで提示され得る。
[00173]図７Ｃは、ディスプレイ７０２を介して提示され得るインターフェースの第３の例７２０を含む。第３の例７２０では、ディスプレイ７０２は、要約フレーム７２２と要約フレーム時間期間７２１とを提示するように構成される。要約フレーム７２２は、ビデオコンテンツの少なくとも部分に関連し得る。要約フレーム時間期間７２１は、要約フレーム７２２に関連するビデオコンテンツの少なくとも部分の始まり時間、終了時間、または持続時間を示し得る。
[00174]要約フレーム７２２は、自転車に乗っている人など、物体の複数の表現を含み得る。たとえば、複数の表現は、第１の表現７２３および第２の表現７２４を含み得る。要約フレーム７２２は、表現の時間シーケンスを示す１つまたは複数のインジケータを含み得る。第３の例７２０に示されているように、１つまたは複数のインジケータは、文字「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、「Ｅ」、および「Ｆ」を含む。いくつかの実装形態では、各インジケータは、異なる表現に対応し得る。例示のために、インジケータ「Ａ」は、第１の表現７２３に対応し得、インジケータ「Ｂ」は、第２の表現「Ｂ」に対応し得る。したがって、要約フレーム７２２中に含まれる１つまたは複数のインジケータは、物体（たとえば、自転車に乗っている人）が、要約フレーム７２２に関して右側から左側に進行したことを示し得る。１つまたは複数のインジケータが文字であるものとして説明されたが、１つまたは複数のインジケータは文字に限定されない。たとえば、１つまたは複数のインジケータは、例示的な、非限定的な例として、番号、矢印、文字、タイムスタンプ、またはそれらの組合せとして提示され得る。
[00175]図７Ｄは、ディスプレイ７０２を介して提示され得るインターフェースの第４の例７２５を含む。第４の例７２５では、ディスプレイ７０２は、要約フレーム７２６を提示するように構成される。要約フレーム７２６は、ビデオコンテンツの少なくとも部分に関連し得る。要約フレーム７２６は、人の腕など、物体の複数の表現を含み得る。たとえば、複数の表現は、第１の表現７２７および第２の表現７２８を含み得る。要約フレーム７２６は、複数の表現のシーケンスを時間的に示す１つまたは複数のインジケータを含み得る。第４の例７２５に示されているように、１つまたは複数のインジケータは、矢印７２９など、矢印を含む。複数のインジケータが図７Ｄを参照しながら説明されたが、他の実装形態では、要約フレーム７２６は、物体（たとえば、腕）の進行経路を示す、単一の矢印または単一のラインセグメントなど、単一のインジケータを含み得る。
[00176]図７Ｅは、ディスプレイ７０２を介して提示され得るインターフェースの第５の例７３０を含む。第５の例７３０では、ディスプレイ７０２は、要約フレーム７３１とビデオセグメントへのリンク７３２とを提示するように構成される。要約フレーム７３１は、ビデオコンテンツの少なくとも部分に関連し得る。リンク７３２は、ビデオコンテンツの部分に関連するビデオセグメントへのリンクを与え得る。例示のために、ディスプレイ７０２を介して提示されたリンク７３２がユーザによって選択された場合、ディスプレイ７０２は、要約フレーム７３１に対応するビデオセグメント（たとえば、ビデオクリップ）を表示し得る。
[00177]要約フレーム７３１は、車など、物体の複数の表現を含み得る。たとえば、複数の表現は、第１の表現７３３、第２の表現７３４、および第３の表現７３５を含み得る。要約フレーム７３１は、複数の表現のシーケンスを時間的に示す１つまたは複数のインジケータを含み得る。第３の例７２０に示されているように、１つまたは複数のインジケータは、文字「Ａ」、「Ｂ」、「Ｃ」、および「Ｄ」を含む。要約フレーム７３１中に含まれる１つまたは複数のインジケータは、物体（たとえば、車）が、要約フレーム７３１に関して左側から右側へ進行したことを示し得る。要約フレーム７３１に示されているように、時間的に後の表現が、時間的に前の表現の「上に階層化」され得る。例示のために、第２の表現７３４は、第１の表現７３３と重複し、第３の表現７３５は、第１の表現７３３および第２の表現７３４と重複する。他の実装形態では、特定の表現は、特定の表現に関して時間的に後である１つまたは複数の表現の「上に階層化」され得る。
[00178]図７Ｆは、ディスプレイ７０２を介して提示され得るインターフェースの第６の例７４０を含む。第６の例７４０では、ディスプレイ７０２は、要約フレーム７４１と、データ値７５０〜７５８（たとえば、テキスト情報）と、選択可能なフィーチャ７４２〜７４７とを提示するように構成される。要約フレーム７４１は、ビデオコンテンツの少なくとも部分に関連し得る。ビデオコンテンツは、カメラによって生成されていることがある。ビデオコンテンツは、ファイル名を有するデータファイル中に含まれ得る。要約フレーム７４１は、ビデオコンテンツ中に含まれる動きイベントに関連し得る。
[00179]データ値７５０〜７５８は、要約フレーム７４１に関連するメタデータに対応し得る。たとえば、メタデータは、図１Ａのメタデータ１２４、図１Ｂ〜図１Ｃのメタデータ１８７、または図５のメタデータ５２４を含むかまたはそれに対応し得る。データ値７５０〜７５８は、ファイル名７５０と、要約フレーム識別子７５１と、動きイベント日付７５２と、動きイベント開始時間７５３と、動きイベント終了時間７５４と、動きイベント持続時間７５５と、カメラ識別子７５６と、カメラロケーション７５７と、気象条件７５８とを含み得る。ファイル名７５０は、ビデオコンテンツを含むデータファイルを含むかまたはそれに対応し得る。要約フレーム識別子７５１は、要約フレーム７４１を一意に識別し得る。動きイベント日付７５２、動きイベント開始時間７５３、動きイベント終了時間７５４、および動きイベント持続時間７５５は、ビデオコンテンツ中に含まれる動きイベントに対応し得る。カメラ識別子７５６およびカメラロケーション７５７は、ビデオコンテンツを生成したカメラを含むかまたはそれに対応し得る。気象条件７５８は、サードパーティ気象情報サービスにアクセスすることなどによって、ビデオコンテンツ中で決定された（たとえば、検出された）か、ビデオコンテンツの生成中にカメラによって測定されたか、または、ビデオコンテンツの生成中にカメラによって決定された環境条件を示し得る。
[00180]選択可能なフィーチャ７４２〜７４７は、要求ビデオセグメント（request video segment）フィーチャ７４２と、ストリームカメラフィーチャ７４３と、フルスクリーンフィーチャ７４４と、通知設定フィーチャ７４５と、要約フレーム設定フィーチャ７４６と、システムカメラフィーチャ７４７とを含み得る。要求ビデオセグメントフィーチャ７４２のユーザ選択に応答して、ディスプレイ７０２は、要約フレーム７４１に対応するビデオコンテンツの部分のビデオクリップを提示し得る。ストリームカメラフィーチャ７４３のユーザ選択に応答して、ディスプレイ７０２は、カメラによって生成されたビデオストリーム（たとえば、リアルタイムビデオストリーム）を表示し得る。フルスクリーンフィーチャ７４４のユーザ選択に応答して、ディスプレイ７０２は、要約フレーム７４１のフルスクリーンバージョンを表示し得る。通知設定フィーチャ７４５のユーザ選択に応答して、ディスプレイ７０２は、ユーザが、図５のそのような通知５４０通知が配信されるべきであるデバイスアドレスなど、１つまたは複数の通知設定または通知パラメータを設定または修正することを可能にするインターフェースを提示し得る。１つまたは複数の通知設定または通知パラメータは、図１Ａの通知生成器１２６、図１Ｂ〜図１Ｃの通知生成器１８２、図５の通知生成器５２６、またはそれらの組合せなど、通知生成器の動作に関連し得る。
[00181]要約フレーム設定フィーチャ７４６のユーザ選択に応答して、ディスプレイ７０２は、ユーザが、要約フレーム７４１などの特定の要約フレーム中に含まれる（物体の）表現の数など、１つまたは複数の要約フレーム設定または要約フレームパラメータを設定または修正することを可能にするインターフェースを提示し得る。１つまたは複数の要約フレーム設定または要約フレームパラメータは、図１Ａの要約フレーム生成器１２０、図１Ｂ〜図１Ｃの要約フレーム生成器１８０、図５の要約フレーム生成器５２０、図６の要約フレーム生成器６２０、またはそれらの組合せなど、要約フレーム生成器の動作に関連し得る。いくつかの実装形態では、特定の要約フレーム設定または特定の要約フレームパラメータを設定または変更することに応答して、ディスプレイ７０２を介して提示される要約フレーム７４１は更新され得る。たとえば、要約フレーム７４１中に含まれるべき表現の数が６つから７つに変更された場合、要約フレーム７４１は、自転車に乗っている人の７つの表現を含むように更新され得る。
[00182]システムカメラフィーチャ７４７のユーザ選択に応答して、ディスプレイ７０２は、特定のユーザにとって利用可能な１つまたは複数のカメラの指示（たとえば、リスト、マップなど）を提示し得る。たとえば、特定のユーザは、１つまたは複数のカメラの各々から１つまたは複数の要約フレームを受信することを許可され得る。別の例として、特定のユーザは、１つまたは複数のカメラの各々によって生成されたビデオコンテンツをストリーミングすることを許可され得る。いくつかの例では、ユーザは、カメラのリスト中に含まれるカメラをアクティブにするか、非アクティブにするか、または再配向するインターフェースユーザが可能であり得る。
[00183]図７Ｇは、ディスプレイ７０２を介して提示され得るインターフェースの第７の例７６０を含む。第７の例７６０では、ディスプレイ７０２は、ビデオコンテンツの部分に関連する要約フレーム７６１と、ビデオコンテンツに対応する第１のタイムライン７６２と、ビデオコンテンツの部分に対応する第２のタイムライン７６３とを提示するように構成される。第１のタイムライン７６２は時間マークＴ０〜Ｔ５を含む。第１の時間マークＴ０はビデオコンテンツの始まり対応し、第２の時間マークＴ１は第１の要約フレームに関連し、第３の時間マークＴ２は第２の要約フレーム（たとえば、要約フレーム７６１）に関連し、第４の時間マークＴ３は第３の要約フレームに関連し、第５の時間マークＴ５はビデオコンテンツの終了に対応する。
[00184]時間マークＴ１〜Ｔ３のうちの１つの選択に応答して、対応する要約フレームが提示される。たとえば、第７の例７６０は、第３の時間マークＴ２の選択に応答する要約フレーム７６１の提示を示す。ビデオコンテンツの部分の第２のタイムライン７６３も表示され得る。第２のタイムライン７６３も複数の時間マークを含む。第２のタイムライン７６３中の時間マークの各々は、ビデオコンテンツ部分の異なる再生位置（たとえば、異なるフレーム）に対応し、選択されたとき、再生位置における（たとえば、そこから開始する）ビデオコンテンツの再生を引き起こすリンクを含み得る。たとえば、第１の時間マーク（リンクＴ２）が、ビデオコンテンツの部分の第１のフレームに対応する。第２の時間マーク（リンクＡ）が、要約フレーム７６１を生成するために第１のキーフレームとして使用された第２のフレームに対応し、第３の時間マーク（リンクＢ）が、要約フレーム７６１を生成するために第２のキーフレームとして使用された第３のフレームに対応し、第４の時間マーク（リンクＣ）が、要約フレーム７６１を生成するために第３のキーフレームとして使用された第４のフレームに対応し、第５の時間マーク（リンクＤ）が、要約フレーム７６１を生成するために第４のキーフレームとして使用された第５のフレームに対応する。いくつかの例では、再生は、同じく、または代替的に、要約フレーム７６１中に含まれる表現のセットのうちの特定の表現の選択に基づいて始動され得る。たとえば、インジケータ「Ｂ」に対応する（自転車に乗っている人の）特定の表現の選択が、第３のフレームにおけるビデオコンテンツの再生を始動し得る。
[00185]図７Ｈは、ディスプレイ７０２を介して提示され得るインターフェースの第８の例７６５を含む。第８の例７６５では、ディスプレイ７０２は、第１の要約フレーム７６６と第２の要約フレーム７６７とをコンカレントに提示するように構成される。第１の要約フレーム７６６は、第１の動きイベントに関連し得、第１の動きイベント中の第１の物体の表現の第１のセットを含み得る。たとえば、表現の第１のセットは、第１の表現および第２の表現など、少なくとも２つの表現を含み得る。第１の表現は、第１の要約フレーム７６６を生成するために使用された第１のキーフレームに対応し得、第２の表現は、第１の要約フレーム７６６を生成するために使用された第２のキーフレームに対応し得る。第２の要約フレーム７６７は、第２の動きイベントに関連し得、第２の動きイベント中の第２の物体の表現の第２のセットを含み得る。たとえば、表現の第２のセットは、第３の表現および第４の表現など、少なくとも２つの表現を含み得る。第３の表現は、第２の要約フレーム７６７を生成するために使用された第３のキーフレームに対応し得、第４の表現は、第２の要約フレーム７６７を生成するために使用された第４のキーフレームに対応し得る。第１の物体と第２の物体とは、同じ物体であり得るか、または異なる物体であり得る。
[00186]ディスプレイ７０２はまた、リンクの第１のセット７６８とリンクの第２のセット７６９とを提示するように構成され得る。リンクの第１のセット７６８は第１の要約フレーム７６６に対応し得、リンクの第２のセット７６９は第２の要約フレーム７６７に対応し得る。各リンクは、選択されたとき、対応する再生位置におけるビデオコンテンツの再生を始動するように構成され得る。
[00187]図７Ｉは、ディスプレイ７０２を介して提示され得るインターフェースの第９の例７７０を含む。第９の例７７０では、ディスプレイ７０２は、要約フレーム７７２とタイムライン７７１とを提示するように構成される。タイムライン７７１は、イベント１およびイベント２など、２つの動きイベントを含むビデオコンテンツに対応する。各動きイベントについて、４つのキーフレームが、表現のセットを生成するために選択された。第１の動きイベント中に、２つの物体（たとえば、飛行機、および自転車に乗っている人）が動いていた。飛行機は、第１のイベントの４つのキーフレームのうちの２つ中で検出されたことに留意されたい。第２の動きイベント中に、車が動いていた。要約フレーム７７２は、複数の動きイベント（たとえば、イベント１およびイベント２）からの表現の複数のセットを含む連結された要約フレームの実装形態を表す。タイムライン７７１上のイベント１の選択は、要約フレーム７７２が、イベント１に対応する表現の第１のセットを提示することと、イベント２に関連する表現の第２のセットを除去する（たとえば、非表示にする）こととを引き起こし得る。
[00188]図７Ｊは、ディスプレイ７０２を介して提示され得るインターフェースの第１０の例７８０を含む。第１０の例７８０では、ディスプレイ７０２は、第１の領域７８２（たとえば、ＧＵＩウィンドウなど、要約フレーム領域）と、第２の領域７８４（たとえば、別のＧＵＩウィンドウなど、再生領域）と、タイムライン７８９とを提示するように構成される。第１の領域７８２は１つまたは複数の要約フレームを含み得る。たとえば、第１の領域７８２は、ビデオコンテンツの部分（たとえば、動きイベント）に関連する要約フレーム７８３を含み得る。タイムライン７８９は、ビデオコンテンツの部分に対応し得る。タイムライン７８９は、動きイベントの始まりに従って、および、要約フレーム７８３を生成するために使用された１つまたは複数のキーフレームに従って、インデックス付けされ得る。第２の領域７８４は、本明細書で説明されるように、ビデオセグメント７８６（たとえば、ビデオクリップ）を提示するように構成され得る。タイムライン７８９は、ユーザが、第２の領域７８４中で再生されるべきビデオコンテンツの再生部分７８５（たとえば、時間期間）を識別することを可能にし得る。再生位置インジケータ７８７が、第２の領域７８４中で提示されているビデオコンテンツのフレームを示し得る。他の実装形態では、要約フレーム７８３中に含まれる表現のうちの１つが、第２の領域７８４中で、表現に対応する再生位置におけるビデオコンテンツの再生を始動するために選択され得る。さらに、タイムライン７８９をインデックス付けするために使用された時間マーク（たとえば、リンク）のうちの１つまたは複数がまた、第２の領域７８４中で、特定の再生位置におけるビデオコンテンツの提示を始動するために選択され得る。
[00189]第１の領域７８２と第２の領域７８４とが、図７Ｊのディスプレイ７０２中で隣り合うものとして示されているが、他の実装形態では、第１の領域７８２と第２の領域７８４とは、別様に配置され得る。たとえば、第１の領域７８２は、第２の領域７８４の「上」に部分的にまたは完全に配置され（たとえば、それの上に重ね合わせられ）得、またはその逆も同様である。追加または代替として、いくつかの実装形態では、第１の領域７８２のロケーション、第２の領域７８４のロケーション、またはその両方は可動であり得る。たとえば、ディスプレイ７０２中の領域７８２、７８４のうちの１つまたは複数のロケーションは、入力に応答して移動され得る。例示のために、ユーザは、ディスプレイ７０２の第１の領域７８２にタッチし、その後に、ユーザは、第１の領域７８２が移動されるべきである、ディスプレイ７０２の新しいロケーションにタッチし得る。代替的に、ユーザは、領域７８２、７８４を選択し、ディスプレイ７０２の所望の位置に「ドラッグ」し得る。
[00190]本明細書で説明される様々な例が、タッチスクリーン上などの、入力を介するユーザ選択を参照するが、代替実装形態では、「選択」は、他の方法で実行され得ることが理解されるべきであることに留意されたい。たとえば、選択は、タッチ、ユーザの眼の追跡（たとえば、視線検出）、タッチ入力を与えることなしにアイテム上で手、指、スタイラス、または他のデバイスを「ホバリングする（hover）」ことなどを介して、行われ得る。
[00191]いくつかの実装形態では、図７Ａ〜図７Ｊの一例の態様は、インターフェースを生成するために、図７Ａ〜図７Ｊの異なる例の別の態様と組み合わせられ得る。例示のために、図７Ｂの第２の例７１０は、図７Ａの第１の例７００を参照しながら説明されたように、第１の要約フレーム７１２および第２の要約フレーム７１３の各々について、対応するタイムラインを含み得る。
[00192]図８を参照すると、要約フレームを生成する方法８００の例示的な例の流れ図が示されている。要約フレームは、図１Ａの要約フレーム１２２、図１Ｃの第１の要約フレーム１９８、第２の要約フレーム１９９、図２の要約フレーム２３８、図５の要約フレーム５２２、図６の要約フレーム６２２、図７Ａの要約フレーム７０４、図７Ｂの第１の要約フレーム７１２、第２の要約フレーム７１３、図７Ｃの要約フレーム７２２、図７Ｄの要約フレーム７２６、図７Ｅの要約フレーム７３１、図７Ｆの要約フレーム７４１、図Ｇの要約フレーム７６１、図７Ｈの第１の要約フレーム７６６、第２の要約フレーム７６７、図７Ｉの要約フレーム７７２、図７Ｊの要約フレーム７８３、またはそれらの組合せを含むかまたはそれに対応し得る。方法８００は、図１Ａのデバイス１０２（たとえば、プロセッサ１１８）、図１Ｂ〜図１Ｃのカメラ１６２（たとえば、プロセッサ１７４）、図２の要約フレーム生成器１２０、図５のビデオシステム５０２（たとえば、コントローラ５１０、第１のカメラ５３０、または第２のカメラ５３２）、図６のデバイス６０２（たとえば、プロセッサ６１８）、またはそれらの組合せによって実行され得る。
[00193]方法８００は、８０２において、ビデオコンテンツの少なくとも部分中のイベントに対応する動きイベント期間を検出することを含み得、ビデオコンテンツは複数の画像フレームを含み、ここで、ビデオコンテンツの部分は物体を含む。データコンテンツは、カメラまたはメモリ（たとえば、バッファ）から受信され得る。ビデオコンテンツは、図１Ａのビデオコンテンツ１４０（またはビデオコンテンツ１１４）、図１Ｂ〜図１Ｃのビデオコンテンツ１６７、図２の画像フレーム２４０、図５のビデオコンテンツ５３４、または図６のビデオコンテンツ６１４を含むかまたはそれに対応し得る。いくつかの実装形態では、動きイベント期間を検出することは、動きイベント期間の始まりを検出することと、動きイベント期間の終了を検出することとを含み得る。
[00194]方法８００は、８０４において、ビデオコンテンツの部分に関連する要約フレームを生成することをさらに含み得、要約フレームは物体の複数の表現を示す。要約フレームは、動きイベント期間の視覚要約を与える。いくつかの実装形態では、通知は、第１の動きイベントに対応する第１の要約フレームおよび第２の動きイベントに対応する第２の要約フレームなど、複数の要約フレームを含み得る。方法８００は、８０６において、デバイスに通知を送ることを始動することをさらに含み得、ここで、通知は要約フレームの生成を示す。たとえば、通知は、要約フレームを含むか、あるいは、要約フレームが生成されつつあるかまたは生成されたことを示すインジケータを含み得る。通知は、図１Ａの通知１２８、図１Ｂ〜図１Ｃの通知１８８、図５の通知５４０、またはそれらの組合せを含むかまたはそれに対応し得る。デバイスは、図１のコントローラ５１０または図１のデバイス５５０を含むかまたはそれに対応し得る。
[00195]いくつかの実装形態では、方法８００は、複数の画像フレームのうちの少なくとも１つに基づいて背景モデルを維持することを含み得る。たとえば、フレーム差分、平均フィルタ処理、ガウス平均化などが、背景モデルを生成するために、複数の画像フレームのうちの少なくとも１つに適用され得る。背景モデルは、動きイベント期間の始まり、動きイベント期間の終了、またはその両方を識別するために使用され得る。例示のために、動きイベント期間の始まりは、（複数の画像フレームのうちの）画像フレームを背景モデルと比較することによって識別され得る。動きイベント期間の始まりを識別することに応答して、方法８００は、画像フレームに基づいてビデオコンテンツをインデックス付けすることを含み得る。
[00196]いくつかの実装形態では、方法８００は、複数の画像フレームのうちの２つまたはそれ以上の画像フレームをキーフレームとして選択することを含み得る。２つまたはそれ以上の画像フレームは、動きイベント期間中にバッファされ得る。ビデオコンテンツは、キーフレームとして選択された２つまたはそれ以上の画像フレームの各々を使用してインデックス付けされ得る。たとえば、ビデオコンテンツは、図１Ｂ〜図１Ｃのインデックス付きビデオコンテンツ１７０、図５のインデックス付きビデオコンテンツ５１４、または図６のインデックス付きビデオコンテンツ６４２など、インデックス付きビデオコンテンツを生成するためにインデックス付けされ得る。さらに、方法８００は、２つまたはそれ以上の画像フレームの各々について、画像フレームからの物体の表現を背景モデルと組み合わせることを含み得る。
[00197]いくつかの実装形態では、２つまたはそれ以上の画像フレームを選択することは、複数の画像フレームの各画像フレームについて、対応する分析結果値を決定するために画像フレームを分析することを含み得る。動きイベント期間の総分析結果値を決定するために、複数の画像フレームの複数の分析結果値がともに加算され得る。総分析結果値は、しきい値を決定するためにキーフレームの数で除算され得る。
[00198]他の実装形態では、２つまたはそれ以上の画像フレームのうちの第１の画像フレームを選択することは、対応する分析結果値を決定するために第１の画像フレームを分析することを含み得る。対応する分析結果値に基づいて、累積値が決定され得る。たとえば、累積値は、対応する分析結果値を既存の累積値に加算することによって決定され得る。方法８００は、累積値をしきい値と比較することを含み得る。第１の画像フレームは、累積値がしきい値よりも大きいかまたはそれに等しいことに応答して、キーフレームとして選択され得る。
[00199]したがって、方法８００は、動きイベント期間に関連する要約フレームの生成を可能にする。要約フレームは、要約フレームの閲覧者が、動きイベント期間中に発生したアクティビティの理解を迅速に得ることを可能にし得る。さらに、要約フレームを含む通知をデバイスに送ることによって、動きイベント期間に関連するビデオセグメント（たとえば、ビデオクリップ）を含む通知を送ることと比較して、通知のデータサイズが低減され得る。さらに、要約フレームを含む（およびビデオセグメントを含まない）通知は、ビデオセグメントを含む通知よりも、より少ない電力およびより少ない帯域幅を使用して、より迅速に与えられ得る。
[00200]図９を参照すると、要約フレームを通信する方法９００の例示的な例の流れ図が示されている。要約フレームは、図１Ａ〜図１Ｃの要約フレーム１２２、１９８、１９９のうちの１つまたは複数、図２の要約フレーム２３８、図５の要約フレーム５２２、図６の要約フレーム６２２、図７Ａ〜図７Ｊの要約フレーム７０４、７１２、７１３、７２２、７２６、７３１、７４１、７６１、７６６、７６７、７７２、７８３のうちの１つまたは複数、またはそれらの組合せを含むかまたはそれに対応し得る。方法９００は、図１Ａのデバイス１０２、図１Ｂ〜図１Ｃのカメラ１６２、図５のビデオシステム５０２（たとえば、コントローラ５１０、第１のカメラ５３０、または第２のカメラ５３２）、デバイス５５０、図６のデバイス６０２、またはそれらの組合せによって実行され得る。
[00201]方法９００は、９０２において、第１のデバイスによって第２のデバイスに、ビデオコンテンツの部分中で検出された動きイベントの通知を送ることを含み得、通知は、ビデオコンテンツの部分に関連する要約フレームを含み、ここで、ビデオコンテンツの部分は物体を含み、ここで、要約フレームは物体の複数の表現を示す。ビデオコンテンツの部分は、ビデオコンテンツの全体またはビデオコンテンツの全体未満を含み得る。いくつかの実装形態では、第１のデバイスはビデオ監視システム中に含まれ得、ビデオコンテンツは、ビデオ監視システムのキャプチャデバイス（たとえば、カメラ）によって生成されていることがある。第２のデバイスは、図５のデバイス５５０を含むかまたはそれに対応し得る。
[00202]方法９００は、９０４において、第１のデバイスにおいて第２のデバイスから、動きイベントに関連するビデオセグメントについての要求を受信することをさらに含み得る。たとえば、要求は、図５の要求５４４を含むかまたはそれに対応し得る。いくつかの実装形態では、要求を受信したことに応答して、ビデオセグメントを生成した（たとえば、ビデオセグメント中に含まれる１つまたは複数の画像フレームを生成した）カメラのカメラ識別子が決定され得る。ビデオセグメントは、カメラ識別子に基づく記憶ロケーションから受信され得る。例示のために、方法９００は、ビデオコンテンツを生成したカメラのメモリからビデオセグメントにアクセスすることを含み得る。
[00203]方法９００は、９０６において、第１のデバイスから第２のデバイスにビデオセグメントを送ることをも含み得る。たとえば、ビデオセグメントは、図５のビデオセグメント５４８を含むかまたはそれに対応し得る。いくつかの実装形態では、通知の第１のデータサイズが、ビデオセグメントの第２のデータサイズよりも小さくなり得る。
[00204]いくつかの実装形態では、通知は単一の要約フレームを含み得る。他の実装形態では、通知は、第１の要約フレームおよび第２の要約フレームなど、複数の要約フレームを含み得る。第１の要約フレームは、第１のビデオセグメントに関連し得、第２の要約フレームは、第２のビデオセグメントに関連し得る。第１の要約フレームは、第１のビデオセグメント中に含まれる第１の物体の複数の表現を示し得、第２の要約フレームは、第２のビデオセグメント中に含まれる第２の物体の複数の表現を示し得る。第１の物体と第２の物体とは、異なる物体であり得るか、または同じ物体であり得る。いくつかの実装形態では、第１のビデオセグメントと第２のビデオセグメントとは、同じカメラによって生成され得る。他の実装形態では、第１のビデオセグメントと第２のビデオセグメントとは、異なるカメラによって生成され得る。
[00205]いくつかの実装形態では、方法９００は、第２のデバイスから認証情報を受信することを含み得る。たとえば、認証情報は、図１の認証情報５４６を含むかまたはそれに対応し得る。方法９００は、第２のデバイスにビデオセグメントを送ることより前に認証情報を確認することを含み得る。認証情報は、デバイスがビデオセグメントを受信することを許可されることを保証するために確認され得る。
[00206]いくつかの実装形態では、要約フレームは、図１Ａのメタデータ１２４、図１Ｂ〜図１Ｃのメタデータ１８７、または図５のメタデータ５２４など、メタデータを含み得る。メタデータは、ビデオセグメントの識別子、複数の表現のうちの表現を生成するために使用されるビデオセグメントの画像フレームのインジケータ、ビデオセグメントの開始に関連する第１のタイムスタンプ、ビデオセグメントの終了に関連する第２のタイムスタンプ、ビデオセグメントが記憶されたメモリの記憶ロケーションへのリンク、またはそれらの組合せを含み得る。
[00207]したがって、方法９００は、動きイベントに関連する要約フレームが、第２のデバイスにビデオセグメントを送ることより前に第２のデバイスに与えられることを可能にする。要約フレームは、第２のデバイスにおける要約フレームの閲覧者が、ビデオセグメントを閲覧する必要なしに、動きイベント中に発生したアクティビティの理解を迅速に得ることを可能にし得る。したがって、第２のデバイスのユーザは、要約フレームを受信した後にビデオセグメントを要求することを決定し得る。さらに、要約フレームを含む通知を第２のデバイスに送ることによって、ビデオセグメントを第２のデバイスに送ることと比較して、通知のデータサイズが低減され得る。したがって、要約フレームを含む（およびビデオセグメントを含まない）通知は、ビデオセグメントを与えることよりも、より少ない電力およびより少ない帯域幅を使用して、より迅速に第２のデバイスに与えられ得る。
[00208]図１０を参照すると、要約フレームを受信する方法１０００の例示的な例の流れ図が示されている。要約フレームは、図１Ａ〜図１Ｃの要約フレーム１２２、１９８、１９９のうちの１つまたは複数、図２の要約フレーム２３８、図５の要約フレーム５２２、図６の要約フレーム６２２、図７Ａ〜図７Ｊの要約フレーム７０４、７１２、７１３、７２２、７２６、７３１、７４１、７６１、７６６、７６７、７７２、７８３のうちの１つまたは複数、またはそれらの組合せを含むかまたはそれに対応し得る。方法１０００は、図１Ａのデバイス１０２、図１Ｂ〜図１Ｃのカメラ１６２、図５のビデオシステム５０２（たとえば、コントローラ５１０、第１のカメラ５３０、または第２のカメラ５３２）、デバイス５５０、図６のデバイス６０２、またはそれらの組合せによって実行され得る。
[00209]方法１０００は、１００２において、動きイベントの通知を受信することを含み得、通知は、動きイベントに関連するビデオコンテンツの部分に関連する要約フレームを含み、要約フレームは物体の複数の表現を示し、物体はビデオコンテンツの部分中に含まれる。たとえば、通知は、図１Ａの通知１２８、図１Ｂ〜図１Ｃの通知１８８、図５の通知５４０、またはそれらの組合せを含むかまたはそれに対応し得る。通知は、ビデオ監視システム中に含まれるデバイスなどのデバイスから受信され得る。いくつかの実装形態では、通知は、例示的な、非限定的な例として、電子メールメッセージまたはショートメッセージサービス（ＳＭＳ）メッセージを含み得る。いくつかの実装形態では、通知は、ワイヤレスネットワークを介して受信され得る。通知を受信した後に、要約フレームは、通知を受信したデバイスに結合されたディスプレイを介して提示され得る。
[00210]方法１０００は、１００４において、動きイベントに関連するビデオコンテンツの少なくとも部分についての要求を生成することをさらに含み得る。たとえば、要求は、図５の要求５４４を含むかまたはそれに対応し得る。ビデオコンテンツは、図１Ａのビデオコンテンツ１４０（またはビデオコンテンツ１１４）、図１Ｂ〜図１Ｃのビデオコンテンツ１６７、図２の画像フレーム２４０、図５のビデオコンテンツ５３４、または図６のビデオコンテンツ６１４を含むかまたはそれに対応し得る。いくつかの実装形態では、要求を送った後に、方法１０００は、ビデオコンテンツの部分を受信することを含み得る。ビデオコンテンツの部分を受信したことに応答して、ビデオコンテンツの部分は、ディスプレイを介して提示されるか、メモリに記憶されるか、またはその両方であり得る。
[00211]いくつかの実装形態では、入力は、ユーザインターフェース（たとえば、キーパッド、タッチスクリーン、マイクロフォンなど）など、インターフェースを介して受信され得る。たとえば、インターフェースは、図１Ａのユーザインターフェース１３０、図５のインターフェース５６２、または図６の入力デバイス６３２を含むかまたはそれに対応し得る。入力は、要求を始動することに関連し得る。たとえば、要求は、入力を受信したことに応答して生成され得る。さらに、入力に応答して、要求は、例示的な、非限定的な例として、ワイヤレスネットワークなど、少なくとも１つのネットワークを介して送信され得る。
[00212]したがって、方法１０００は、要約フレームの閲覧者が、動きイベント中に発生したアクティビティの理解を迅速に得ることを可能にするために、デバイスが要約フレームを受信することを可能にする。したがって、要約フレームに基づいて、ユーザは、動きイベントに対応するビデオセグメント（たとえば、ビデオクリップ）を要求すべきかどうかを決定し得る。
[00213]図１１を参照すると、複数の要約フレームを「連結」する方法１１００の例示的な例の流れ図が示されている。複数の要約フレームは、図１Ａ〜図１Ｃの要約フレーム１２２、１９８、１９９のうちの１つまたは複数、図２の要約フレーム２３８、図５の要約フレーム５２２、図６の要約フレーム６２２、図７Ａ〜図７Ｊの要約フレーム７０４、７１２、７１３、７２２、７２６、７３１、７４１、７６１、７６６、７６７、７７２、７８３のうちの１つまたは複数、またはそれらの組合せを含むかまたはそれに対応し得る。方法１１００は、図１Ａのデバイス１０２、図１Ｂ〜図１Ｃのカメラ１６２、図５のビデオシステム５０２（たとえば、コントローラ５１０、第１のカメラ５３０、または第２のカメラ５３２）、デバイス５５０、図６のデバイス６０２、またはそれらの組合せによって実行され得る。
[00214]方法１１００は、１１０２において、時間期間の終了の識別に応答して、時間期間中にキャプチャされたビデオコンテンツにアクセスすることを含み得る。ビデオコンテンツは、図１Ａのビデオコンテンツ１４０（またはビデオコンテンツ１１４）、図１Ｂ〜図１Ｃのビデオコンテンツ１６７、図２の画像フレーム２４０、図５のビデオコンテンツ５３４、または図６のビデオコンテンツ６１４を含むかまたはそれに対応し得る。方法１１００は、１１０４において、ビデオコンテンツ中の複数の動きイベントを識別することをさらに含み得る。方法１１００は、１１０６において、各動きイベントについて、動きイベント中の最小１つの対応する物体の複数の表現を含む対応する要約フレームを生成することをも含み得る。方法１１００は、１１０８において、複数の動きイベントに対応する要約フレームを含む通知を生成することを含み得る。例示のために、通知は、図１Ｃの要約フレーム連結１９６などの要約フレーム連結を含み得る。たとえば、通知は、図１Ａの通知１２８、図１Ｂ〜図１Ｃの通知１８８、図５の通知５４０、またはそれらの組合せを含むかまたはそれに対応し得る。したがって、方法１１００は、複数の要約フレームを含む通知の生成を可能にする。
[00215]図１２を参照すると、ビデオコンテンツをインデックス付けする方法１２００の例示的な例の流れ図が示されている。方法１２００は、図１Ａのデバイス１０２、図１Ｂ〜図１Ｃのカメラ１６２、図５のビデオシステム５０２（たとえば、コントローラ５１０、第１のカメラ５３０、または第２のカメラ５３２）、デバイス５５０、図６のデバイス６０２、またはそれらの組合せによって実行され得る。
[00216]方法１２００は、１２０２において、インデックス付きビデオコンテンツについての要求を受信することを含み得る。たとえば、要求は、図６の要求６４０を含むかまたはそれに対応し得る。ビデオコンテンツは、図１Ａのビデオコンテンツ１４０（またはビデオコンテンツ１１４）、図１Ｂ〜図１Ｃのビデオコンテンツ１６７、図２の画像フレーム２４０、図５のビデオコンテンツ５３４、または図６のビデオコンテンツ６１４を含むかまたはそれに対応し得る。
[00217]方法１２００は、１２０４において、要求に応答してビデオコンテンツを受信することをも含み得る。たとえば、ビデオコンテンツは、図１Ａのビデオコンテンツ１４０（またはビデオコンテンツ１１４）、図１Ｂ〜図１Ｃのビデオコンテンツ１６７、図２の画像フレーム２４０、図５のビデオコンテンツ５３４、または図６のビデオコンテンツ６１４を含むかまたはそれに対応し得る。いくつかの実装形態では、ビデオコンテンツを受信することは、図２のメモリ６１２など、メモリからビデオコンテンツにアクセスすることを含み得る。
[00218]方法１２００は、１２０６において、ビデオコンテンツに基づいて１つまたは複数の要約フレームを生成することをさらに含み得る。１つまたは複数の要約フレームは、図１Ａ〜図１Ｃの要約フレーム１２２、１９８、１９９のうちの１つまたは複数、図２の要約フレーム２３８、図５の要約フレーム５２２、図６の要約フレーム６２２、図７Ａ〜図７Ｊの要約フレーム７０４、７１２、７１３、７２２、７２６、７３１、７４１、７６１、７６６、７６７、７７２、７８３のうちの１つまたは複数、またはそれらの組合せを含むかまたはそれに対応し得る。
[00219]方法１２００は、１２０８において、インデックス付きビデオコンテンツを生成するために、１つまたは複数の要約フレームを使用してビデオコンテンツをインデックス付けすることを含み得る。たとえば、インデックス付きビデオコンテンツは、図１Ｂ〜図１Ｃのインデックス付きビデオコンテンツ１７０、図５のインデックス付きビデオコンテンツ５１４、または図６のインデックス付きビデオコンテンツ６４２を含むかまたはそれに対応し得る。したがって、方法１２００は、１つまたは複数の要約フレームを使用してビデオコンテンツをインデックス付けすることを可能にする。
[00220]図３、図４、および図８〜図１２の方法は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）デバイス、特定用途向け集積回路（ＡＳＩＣ）、グラフィカル処理ユニット（ＧＰＵ）、中央処理ユニット（ＣＰＵ）などの処理ユニット、デジタル信号プロセッサ（ＤＳＰ）、コントローラ、別のハードウェアデバイス、ファームウェアデバイス、またはそれらの任意の組合せによって実装され得る。一例として、図３、図４、および図８〜図１２の方法は、１つまたは複数の画像に関連するラインセグメントを検出または追跡するための命令を実行する１つまたは複数のプロセッサによって実行され得る。一例として、図３の方法３００、図４の方法４００、図８の方法８００、図９の方法９００、図１０の方法１０００、図１１の方法１１００、図１２の方法１２００、またはそれらの組合せは、要約フレームを生成または通信するための命令を実行する１つまたは複数のプロセッサによって実行され得る。例示のために、図３、図４、または図８〜図１２の方法のうちの１つの部分が、図３、図４、または図８〜図１２の方法のうちの１つのうちの１つの第２の部分と組み合わせられ得る。さらに、図３、図４、または図８〜図１２の方法のうちの１つに関して説明された１つまたは複数のステップは、随意であり得るか、少なくとも部分的にコンカレントに実行され得るか、あるいは、示されたまたは説明された順序とは異なる順序で実行され得る。
[00221]図１３を参照すると、ワイヤレス通信デバイスなど、電子デバイス１３００の特定の例示的な例のブロック図が示されている。デバイス１３００、またはそれの構成要素は、図１Ａのシステム１００（たとえば、デバイス１０２）、図１Ｂのシステム１６０（たとえば、カメラ１６２）、図１Ｃのシステム１９０（たとえば、カメラ１６２）、図２のシステム２００、図５のシステム５００（たとえば、コントローラ５１０、第１のカメラ５３０、第２のカメラ５３２、デバイス５５０）、図６のシステム６００（たとえば、デバイス６０２）、またはそれらの構成要素を含むかまたはそれに対応し得る。
[00222]いくつかの実装形態では、デバイス１３００、またはそれの構成要素は、閉回路テレビジョン（ＣＣＴＶ）システムなどのビデオ監視システム中に含まれ得るか、またはそれを実装するために使用され得る。例示のために、デバイス１３００は、カメラデバイスであり得るか、カメラを含み得るか、またはビデオシステムコントローラを含み得る。追加または代替として、デバイス１３００は、例示的な、非限定的な例として、コンピュータ、ラップトップ、モバイルデバイス（たとえば、スマートフォン、タブレットコンピュータなど）、またはサーバなど、再生デバイスを含み得る。追加または代替として、デバイス１３００は、車両、ゲーミングコンソール、自動車システムコンソール（たとえば、ＡＤＡＳ）、ウェアラブルデバイス（たとえば、パーソナルマウントカメラ）、ヘッドマウントディスプレイ（ＨＭＤ）などの中に含まれ得る。たとえば、デバイス１３００は車両中に含まれ得る。追加の例は、限定はしないが、ロボットまたはロボティックデバイス、無人航空機（ＵＡＶ）、あるいはドローン中に含まれることを含む。車両の例は、自動車両（たとえば、車、トラック、オートバイ、バス、または列車）、船舶（たとえば、船またはボート）、航空機（たとえば、飛行機またはヘリコプター）、宇宙船（たとえば、スペースシャトル）、自転車、または別の車両を含むことができる。車両は、例示的な非限定的な例として、装輪車両、装軌車両、鉄道車両、空中車両、またはスキー車両であり得る。いくつかの場合には、車両は、１人または複数の運転者によって操作され得る。他の場合には、車両は、自律車両などのコンピュータ制御車両であり得る。
[00223]デバイス１３００は、メモリ１３３２に結合された、デジタル信号プロセッサ（ＤＳＰ）、中央処理ユニット（ＣＰＵ）、またはグラフィカル処理ユニット（ＧＰＵ）など、少なくとも１つのプロセッサ１３１０を含む。メモリ１３３２は、図１Ａのメモリ１１２、図１Ｂ〜図１Ｃのメモリ１６６、図５のメモリ５１２、図６のメモリ６１２、またはそれらの組合せを含むかまたはそれに対応し得る。プロセッサ１３１０は、１つまたは複数の画像（たとえば、１つまたは複数の画像フレーム）に関連する画像データ１３７４を処理するように構成され得る。画像データ１３７４は、図１Ａのビデオコンテンツ１４０（またはビデオコンテンツ１１４）、図１Ｂ〜図１Ｃのビデオコンテンツ１６７、図２の画像フレーム２４０、図５のビデオコンテンツ５３４、または図６のビデオコンテンツ６１４を含むかまたはそれに対応し得る。
[00224]プロセッサ１３１０は、要約フレーム生成器１３５０と通知生成器１３５６とを含む。要約フレーム生成器１３５０は、図１Ａの要約フレーム生成器１２０、図１Ｂ〜図１Ｃの要約フレーム生成器１８０、図５の要約フレーム生成器５２０、図６の要約フレーム生成器６２０、またはそれらの組合せを含むかまたはそれに対応し得る。通知生成器１３５６は、図１Ａの通知生成器１２６、図１Ｂ〜図１Ｃの通知生成器１８２、図５の通知生成器５２６、またはそれらの組合せを含むかまたはそれに対応し得る。要約フレーム生成器１３５０は、要約フレーム１３７２を生成するために画像データ１３７４を処理するように構成され得る。要約フレーム１３７２は、図１Ａ〜図１Ｃの要約フレーム１２２、１９８、１９９のうちの１つまたは複数、図２の要約フレーム２３８、図５の要約フレーム５２２、図６の要約フレーム６２２、図７Ａ〜図７Ｊの要約フレーム７０４、７１２、７１３、７２２、７２６、７３１、７４１、７６１、７６６、７６７、７７２、７８３のうちの１つまたは複数、またはそれらの組合せを含むかまたはそれに対応し得る。要約フレーム生成器１３５０は、通知生成器１３５６に要約フレーム１３７２を与え得る。通知生成器１３５６は、要約フレーム１３７２を含む通知（たとえば、メッセージ）を生成するように構成され得る。
[00225]メモリ１３３２は、コンピュータ可読命令またはプロセッサ可読命令などの命令１３６８（たとえば、実行可能な命令）とビデオコンテンツ１３７０とを含む。ビデオコンテンツ１３７０は、画像データ１３７４を含むかまたはそれに対応し得る。いくつかの実装形態では、ビデオコンテンツ１３７０は、画像データ１３７４の少なくとも部分または画像データ１３７４のインデックス付きバージョンを含み得る。命令１３６８は、プロセッサ１３１０の各々によってなど、コンピュータによって実行可能である１つまたは複数の命令を含み得る。
[00226]例示のために、命令１３６８は、プロセッサ１３１０に、ビデオコンテンツの部分中のイベント対応する動きイベント期間を検出するを含む動作を実行させるために、プロセッサ１３１０によって実行可能であり得る。複数の画像フレームを含むビデオコンテンツ、ビデオコンテンツの部分は物体を含む。動作は、ビデオコンテンツの部分に関連する要約フレームを生成することをさらに含み得、要約フレームは物体の複数の表現を示す。動作は、デバイスに通知を送ることを始動することをさらに含み得る。通知は要約フレームを含み得る。
[00227]別の例示的な、非限定的な例として、命令１３６８は、プロセッサ１３１０に、デバイスによって第２のデバイスに、ビデオコンテンツの部分中で検出された動きイベントの通知を送ることを始動することを含む動作を実行させるために、プロセッサ１３１０によって実行可能であり得る。通知は、ビデオコンテンツの部分に関連する要約フレームを含み得る。ビデオコンテンツの部分は物体を含み得る。要約フレームは物体の複数の表現を示し得る。動作は、デバイスにおいて第２のデバイスから、動きイベントに関連するビデオセグメントについての要求を受信することをさらに含み得る。動作は、デバイスから第２のデバイスにビデオセグメントを送ることを始動することをさらに含む。
[00228]別の例示的な、非限定的な例として、命令１３６８は、プロセッサ１３１０に、プロセッサに結合されたディスプレイを介するグラフィカルユーザインターフェース（ＧＵＩ）の提示を始動することを含む動作を実行させるために、プロセッサ１３１０によって実行可能であり得る。ＧＵＩは、ビデオコンテンツの部分に関連する要約フレームを含み得る。要約フレームは、ビデオコンテンツの部分中に含まれる物体の表現の第１のセットを示し得る。ＧＵＩは、要約フレームに関連するメタデータに基づくテキスト情報を含み得る。
[00229]別の例示的な、非限定的な例として、命令１３６８は、プロセッサ１３１０に、ビデオコンテンツについてのインデックスデータを生成することを含む動作を実行させるために、プロセッサ１３１０によって実行可能であり得る。インデックスデータは、要約フレームおよびメタデータを含み得る。要約フレームは、ビデオコンテンツの部分に関連し得、ビデオコンテンツの部分中に含まれる物体の複数の表現を示し得る。メタデータは、ビデオコンテンツの再生位置を示すマーカーデータを含み得る。再生位置は、要約フレームに関連し得る。
[00230]別の例示的な、非限定的な例として、命令１３６８は、プロセッサ１３１０に、デバイスから受信された通知中に含まれる要約フレームを識別することを含む動作を実行させるために、プロセッサ１３１０によって実行可能であり得る。要約フレームは、ビデオコンテンツに関連する動きイベント中の物体の複数の表現を示し得る。動作は、動きイベントに関連するビデオコンテンツについての要求を生成することと、デバイスに要求を送ることを始動することとをさらに含み得る。
[00231]別の例示的な、非限定的な例として、命令１３６８は、プロセッサ１３１０に、ディスプレイデバイスにおいて要約フレームを提示することを含む動作を実行させるために、プロセッサ１３１０によって実行可能であり得る。要約フレームは、ビデオコンテンツの部分中に含まれる物体の複数の表現を示し得る。動作は、ビデオコンテンツの部分に対応する再生位置を識別することと、再生位置が、要約フレームに基づいて識別される、再生位置においてビデオコンテンツの再生を始動することとをも含み得る。
[00232]いくつかの実装形態では、メモリ１３３２は、図３、図４、図８〜図１２方法のうちの１つまたは複数の少なくとも部分またはそれらの組合せを実行するために、プロセッサ１３１０に、図１Ａの要約フレーム生成器１２０、図１Ｂ〜図１Ｃの要約フレーム生成器１８０、図５の要約フレーム生成器５２０、図６の要約フレーム生成器６２０に関して説明された機能を実行させるために、プロセッサ１３１０によって実行され得るコード（たとえば、解釈されたまたはコンパイルされたプログラム命令）を含み得る。さらなる例示のために、以下の例１は、コンパイルされ、メモリ１３３２に記憶され得る例示的な擬似コード（たとえば、浮動小数点での簡略化されたＣコード）を示す。例１は、所定のキーフレーム数を用いた非線形キーフレーム選択アルゴリズムを与える。非線形キーフレーム選択アルゴリズムは、イベント分析結果に従って非線形的にキーフレームを選択する。例１の非線形キーフレーム選択アルゴリズムを使用すると、イベント分析からのイベント測定値が高いとき、要約フレームを生成する際に使用するためにより多くのフレームが選択される可能性があり、イベント測定値が低いとき、より少ないフレームが選択される可能性がある。
例１
ａｃｃｕ＝ｔｈｒｅｓｈｏｌｄ ／＊しきい値に等しくなるようにアキュムレータ値（ａｃｃｕ）を始動する。フレームｉのイベント分析は、「ｅａ［ｉ］」として表される。しきい値は、ｅａ［ｉ］、ｉが１からＮまで、の総値に基づいて選択され得、ここで、ｉはフレームに対応し、正の整数であり、ここで、Ｎは、ｉよりも大きい正の整数である。＊／
ｋｆＩｎｄｅｘ＝０ ／＊０に等しくなるようにキーフレームインデックス値（ｋｆＩｎｄｅｘ）を始動する＊／

Ｆｏｒ ｉ＝１ ｔｏ Ｎ，ｉ＋＋ ／＊ビデオクリップ中に記録されたイベントのＮフレームのループ＊／
ａｃｃｕ＝ａｃｃｕ＋ｅａ［ｉ］ ／＊フレームｉのイベント分析（ｅａ［ｉ］）結果をイベント測定値のアキュムレータに累積する＊／

ＩＦ ａｃｃｕ≧ｔｈｒｅｓｈｏｌｄ ／＊アキュムレータの値がしきい値よりも大きいかまたはそれに等しい場合＊／
ｋｅｙＦｒａｍｅ［ｋｆＩｎｄｅｘ］＝ｉ ／＊キーフレームとしてフレームｉを選択する＊／
ｋｆＩｎｄｅｘ＝ｋｆＩｎｄｅｘ＋１ ／＊次のキーフレームに移る＊／
ａｃｃｕ＝ａｃｃｕ−ｔｈｒｅｓｈｏｌｄ ／＊アキュムレータからしきい値を除去する＊／

Ｅｎｄ ｉｆ

Ｅｎｄ ｌｏｏｐ
[00233]Ｍ個のキーフレーム（ここで、Ｍは１よりも大きい正の整数である）などの所定の数キーフレームを選択するために、しきい値は、以下に従って設定され得る。
Figure 2018528720
代替的に、動的に適応可能なキーフレーム数を有するために、しきい値は、所定の定数に設定され得る。しきい値を所定の定数に設定することによって、著しいアクティビティをもつ動きイベントが、より多くのキーフレームを得ることがあり、アクティブをほとんどもたない動きイベントが、比較的より少ないキーフレームを有し得る。
[00234]図１３はまた、プロセッサ１３１０とディスプレイ１３２８とに結合されたディスプレイコントローラ１３２６を示す。ディスプレイ１３２８は、図１Ａのユーザインターフェース１３０、図５のディスプレイ５５６、図６のディスプレイ６２８、または図７Ａ〜図７Ｆのディスプレイ７０２を含むかまたはそれに対応し得る。コーダ／デコーダ（コーデック）１３３４もプロセッサ１３１０に結合され得る。スピーカー１３３６およびマイクロフォン１３３８がコーデック１３３４に結合され得る。プロセッサ１３１０はまた、カメラ１３６２に結合されたカメラコントローラ１３６０に結合され得る。カメラ１３６２は、図１Ｂ〜図１Ｃのキャプチャユニット１６４、図５の第１のカメラ５３０、または第２のカメラ５３２を含むかまたはそれに対応し得る。カメラコントローラ１３６０は、プロセッサ１３１０に画像データ１３７４を通信し得る。画像データ１３７４は、カメラ１３６２によってキャプチャされた１つまたは複数の画像に基づき得る。
[00235]デバイス１３００はまた、プロセッサ１３１０におよびアンテナ１３４２に結合され得る、ワイヤレスコントローラなど、ワイヤレスインターフェース１３４０を含み得る。いくつかの実装形態では、ワイヤレスインターフェース１３４０は、トランシーバ（図示せず）を介してアンテナ１３４２に結合され得る。トランシーバは、送信機、受信機、またはその両方を含み得る。トランシーバは、デバイス１３００によって生成された１つまたは複数のメッセージを送信することと、他のデバイスによってデバイス１３００に送信された１つまたは複数のメッセージを受信することとを行うように構成され得る。たとえば、トランシーバは、要約フレーム１３７２を含む通知など、通知生成器１３５６によって生成された通知を送信するように構成され得る。
[00236]特定の実装形態では、プロセッサ１３１０、ディスプレイコントローラ１３２６、カメラコントローラ１３６０、メモリ１３３２、コーデック１３３４、およびワイヤレスインターフェース１３４０は、システムインパッケージまたはシステムオンチップデバイス１３２２中に含まれる。いくつかの実装形態では、入力デバイス１３３０および電源１３４４が、システムオンチップデバイス１３２２に結合される。その上、いくつかの実装形態では、図１３に示されているように、ディスプレイ１３２８、入力デバイス１３３０、スピーカー１３３６、マイクロフォン１３３８、アンテナ１３４２、カメラ１３６２、および電源１３４４は、システムオンチップデバイス１３２２の外部にある。しかしながら、ディスプレイ１３２８、カメラ１３６２、入力デバイス１３３０、スピーカー１３３６、マイクロフォン１３３８、アンテナ１３４２、および電源１３４４の各々は、インターフェースまたはコントローラなど、システムオンチップデバイス１３２２の構成要素に結合され得る。
[00237]図１〜図１３の説明された態様のうちの１つまたは複数とともに、ビデオコンテンツの部分に関連する要約フレームを生成するための手段を含み得る第１の装置が開示され、要約フレームは、ビデオコンテンツの部分中に含まれる物体の複数の表現を示す。要約フレームを生成するための手段は、図１Ａのデバイス１０２、プロセッサ１１８、要約フレーム生成器１２０、図１Ｂ〜図１Ｃのカメラ１６２、プロセッサ１７４、要約フレーム生成器１８０、図２の背景生成器２１０、キーフレーム選択器２１４、コンバイナ２２８、図５のコントローラ５１０、プロセッサ５１８、要約フレーム生成器５２０、第１のカメラ５３０、第２のカメラ５３２、デバイス５５０、プロセッサ５５８、図６のデバイス６０２、プロセッサ６１８、要約フレーム生成器６２０、図１３の要約フレーム生成器１３５０、命令１３６８を実行するようにプログラムされたプロセッサ１３１０、要約フレームを生成するように構成された１つまたは複数の他の、構造、デバイス、または回路、あるいはそれらの任意の組合せを含むかまたはそれに対応し得る。
[00238]第１の装置は、デバイスに通知を送信するための手段をも含み得、ここで、通知は要約フレームを含む。送信するための手段は、図１Ａの送信機１３２、図１Ｂ〜図１Ｃの送信機１８４、図５の送信機５５４、図１３のワイヤレスインターフェース１３４０、送信機、トランシーバ、通知を送信するように構成された１つまたは複数の他の、構造、デバイス、または回路、あるいはそれらの任意の組合せを含むかまたはそれに対応し得る。通知は、例示的な、非限定的な例として、電子メールまたはショートメッセージサービス（ＳＭＳ）メッセージを含み得る。いくつかの実装形態では、生成するための手段および送信するための手段は、ビデオ監視システム中に含まれる。
[00239]いくつかの実装形態では、ビデオコンテンツを生成するための手段は、図１Ｂ〜図１Ｃのキャプチャユニット１６４、図５の第１のカメラ５３０、第２のカメラ５３２、カメラ、インターネットプロトコル（ＩＰ）カメラ、ビデオコンテンツを生成するように構成された１つまたは複数の他の、構造、デバイス、または回路、あるいはそれらの任意の組合せを含むかまたはそれに対応し得る。
[00240]図１〜図１３の説明された態様のうちの１つまたは複数とともに、要約フレームを提示するための手段を含み得る第２の装置が開示される。要約フレームは、ビデオコンテンツの部分中に含まれる物体の複数の表現を示し得る。提示するための手段は、図１Ａのデバイス１０２、ユーザインターフェース１３０、図５のデバイス５５０、ディスプレイ５５６、図６のデバイス６０２、ディスプレイ６２８、図１３のディスプレイ１３２８、スクリーン、ディスプレイ、モニタ、テレビジョン、プロジェクタ、要約フレームを提示するように構成された１つまたは複数の他の、構造、デバイス、または回路、あるいはそれらの任意の組合せを含むかまたはそれに対応し得る。
[00241]第２の装置は、ビデオコンテンツの部分に対応する再生位置を識別するための手段をも含み得る。再生位置は、要約フレームに基づいて識別され得る。識別するための手段は、図１Ａのデバイス１０２、プロセッサ１１８、図１Ｂ〜図１Ｃのプロセッサ１７４、図５のコントローラ５１０、プロセッサ５１８、第１のカメラ５３０、第２のカメラ５３２、デバイス５５０、プロセッサ５５８、図６のデバイス６０２、プロセッサ６１８、図１３の命令１３６８を実行するようにプログラムされたプロセッサ１３１０、要約フレームを生成するように構成された１つまたは複数の他の、構造、デバイス、または回路、あるいはそれらの任意の組合せを含むかまたはそれに対応し得る。
[00242]第２の装置は、再生位置においてビデオコンテンツの再生を始動するための手段をも含み得る。識別するための手段は、図１Ａのデバイス１０２、プロセッサ１１８、ユーザインターフェース１３０、図１Ｂ〜図１Ｃのプロセッサ１７４、受信機１８６、図５のコントローラ５１０、プロセッサ５１８、第１のカメラ５３０、第２のカメラ５３２、デバイス５５０、ディスプレイ５５６、プロセッサ５５８、インターフェース５６２、図６のデバイス６０２、プロセッサ６１８、ディスプレイ６２８、インターフェース６３２、図１３の入力デバイス１３３０、カメラ１３３６、スピーカー１３３６、マイクロフォン１３３８、ディスプレイ１３２８、ディスプレイコントローラ１３２６、命令１３６８を実行するようにプログラムされたプロセッサ１３１０、スクリーン、ディスプレイ、モニタ、テレビジョン、プロジェクタ、要約フレームを生成するように構成された１つまたは複数の他の、構造、デバイス、または回路、あるいはそれらの任意の組合せを含むかまたはそれに対応し得る。
[00243]いくつかの実装形態では、第２の装置は、要約フレームまたは複数の表現のうちの少なくとも１つの表現の選択を受信するための手段を含み得る。再生位置におけるビデオコンテンツの再生は、選択に基づいて始動され得る。受信するための手段は、図１Ａのデバイス１０２、プロセッサ１１８、ユーザインターフェース１３０、図１Ｂ〜図１Ｃのキャプチャユニット１６４、プロセッサ１７４、受信機１８６、図５のコントローラ５１０、プロセッサ５１８、第１のカメラ５３０、第２のカメラ５３２、デバイス５５０、プロセッサ５５８、受信機５５２、インターフェース５６２、ディスプレイ５５６、図６のデバイス６０２、プロセッサ６１８、入力デバイス６３２、ディスプレイ６２８、図１３の入力デバイス１３３０、カメラ１３３６、スピーカー１３３６、マイクロフォン１３３８、命令１３６８を実行するようにプログラムされたプロセッサ１３１０、マウス、タッチパッド、キーボード、タッチスクリーン、マイクロフォン、動きセンサー、カメラ、ディスプレイ、ワイヤレス受信機、選択を受信するように構成された１つまたは複数の他の、構造、デバイス、または回路、あるいはそれらの任意の組合せを含む、を含むかまたはそれに対応し得る。
[00244]開示される態様のうちの１つまたは複数は、通信デバイス、固定ロケーションデータユニット、モバイルロケーションデータユニット、モバイルフォン、セルラーフォン、衛星フォン、コンピュータ、タブレット、ポータブルコンピュータ、ディスプレイデバイス、メディアプレーヤ、またはデスクトップコンピュータを含み得る、電子デバイス１３００など、システムまたは装置において実装され得る。代替または追加として、電子デバイス１３００は、セットトップボックス、エンターテインメントユニット、ナビゲーションデバイス、携帯情報端末（ＰＤＡ）、モニタ、コンピュータモニタ、テレビジョン、チューナー、無線機、衛星無線、音楽プレーヤ、デジタル音楽プレーヤ、ポータブル音楽プレーヤ、ビデオプレーヤ、デジタルビデオプレーヤ、デジタルビデオディスク（ＤＶＤ）プレーヤ、ポータブルデジタルビデオプレーヤ、衛星、車両、プロセッサを含むかまたはデータもしくはコンピュータ命令を記憶するかもしくは取り出す任意の他のデバイス、あるいはそれらの組合せを含み得る。別の例示的な、非限定的な例として、システムまたは装置は、ハンドヘルドパーソナル通信システム（ＰＣＳ）ユニットなどのリモートユニット、ＧＰＳ対応デバイスなどのポータブルデータユニット、メーター読取り機器、あるいはプロセッサを含むかまたはデータもしくはコンピュータ命令を記憶するかもしくは取り出す任意の他のデバイス、あるいはそれらの任意の組合せを含み得る。
[00245]図１〜図１３のうちの１つまたは複数は、本開示の教示によるシステム、装置、または方法を示し得るが、本開示は、これらの示されたシステム、装置、または方法に限定されない。本明細書で示されたまたは説明された図１〜図１３のいずれかの１つまたは複数の機能または構成要素は、図１〜図１３の別の機能または構成要素の１つまたは複数の他の部分と組み合わせられ得る。したがって、本明細書で説明されたいずれの単一の例も限定的なものと解釈されるべきではなく、本開示の例は、本開示の教示から逸脱することなく適切に組み合わせられ得る。
[00246]さらに、本明細書で開示される態様に関して説明された様々な例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、プロセッサによって実行されるコンピュータソフトウェア、またはその両方の組合せとして実装され得ることを、当業者は諒解されよう。様々な例示的な構成要素、ブロック、構成、モジュール、回路、およびステップが、上記では概して、それらの機能に関して説明された。そのような機能がハードウェアとして実装されるか、プロセッサ実行可能命令として実装されるかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明された機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱を生じるものと解釈されるべきではない。
[00247]本明細書で開示される例に関して説明された方法またはアルゴリズムのステップは、直接ハードウェアで実装されるか、プロセッサによって実行されるソフトウェアモジュールで実装されるか、またはその２つの組合せで実装され得る。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、または当技術分野で知られている任意の他の形態の非一時的（non-transient）（たとえば、非一時的（non-transitory））記憶媒体中に存在し得る。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替として、記憶媒体はプロセッサと一体であり得る。プロセッサおよび記憶媒体は特定用途向け集積回路（ＡＳＩＣ）中に存在し得る。ＡＳＩＣはコンピューティングデバイスまたはユーザ端末中に存在し得る。代替として、プロセッサおよび記憶媒体は、コンピューティングデバイスまたはユーザ端末中に個別構成要素として存在し得る。
[00248]開示される態様の上記の説明は、開示される態様を当業者が作成または使用することを可能にするために与えられた。これらの態様への様々な変更は当業者には容易に明らかになり、本明細書で定義された原理は本開示の範囲から逸脱することなく他の態様に適用され得る。したがって、本開示は、本明細書に示された態様に限定されるものではなく、以下の特許請求の範囲によって定義される原理および新規の特徴に一致する可能な最も広い範囲を与えられるべきである。

Claims (30)

  1. カメラデバイスであって、
    ビデオフレームシーケンスを収集するように構成されたキャプチャユニットと、各ビデオフレームがフレームインデックスを有する、
    前記ビデオフレームシーケンスおよび関連するフレームインデックスを記憶することが可能な、前記キャプチャユニットと電気通信しているフレームバッファと、
    要約フレームを、前記要約フレームを表す符号化されたファイルに圧縮するように構成された、前記フレームバッファと電子通信しているプロセッサと、ここにおいて、前記要約フレームが、前記ビデオフレームシーケンスの第１のフレームインデックスに関連する第１のビデオフレーム中に、第１の位置における物体の第１の表現を含み、前記要約フレームが、前記ビデオフレームシーケンスの第２のフレームインデックスに関連する第２のビデオフレーム中に、第２の位置における前記物体の第２の表現を含む、
    前記要約フレームに関連する通知信号を出力するように構成された、前記プロセッサと電子通信している送信機と
    を備えるカメラデバイス。
  2. 前記プロセッサが、前記要約フレームに関連するメタデータを送信するようにとの要求を受信するように構成された、請求項１に記載のデバイス。
  3. 前記メタデータが、前記第１のフレームインデックスに関連するおよび前記第２のフレームインデックスに関連するインジケータを含む、請求項２に記載のデバイス。
  4. 前記プロセッサが、
    前記ビデオフレームシーケンスの複数のビデオフレームにわたって発生する動きイベントを検出することと、
    前記複数のビデオフレームのサブセットに基づいて前記要約フレームを生成することと
    を行うように構成された、請求項１に記載のデバイス。
  5. ビデオエンコーダが前記要約フレームを圧縮するのか前記ビデオフレームシーケンスを圧縮するのかを制御するように構成された、前記プロセッサと電気通信しているモードコントローラをさらに備える、請求項１に記載のデバイス。
  6. 前記モードコントローラは、前記ビデオエンコーダが、異なる要約フレームの連結を圧縮することをさらに可能にするように構成された、請求項５に記載のデバイス。
  7. 異なる要約フレームの前記連結が異なるプログラマブル時間期間に基づく、請求項６に記載のデバイス。
  8. 前記第１のフレームインデックスに関連する第１のデータ、前記第２のフレームインデックスに関連する第２のデータ、前記要約フレーム、またはそれらの組合せを記憶するように構成されたメモリと、
    前記要約フレームを表示するように構成されたスクリーンと
    をさらに備える、請求項１に記載のデバイス。
  9. 前記通知信号が送信されるべきであるという要求を受信するように構成された受信機と、
    前記要約フレームの生成の完了に関連する音を再生するように構成されたラウドスピーカーと
    をさらに備える、請求項１に記載のデバイス。
  10. プロセッサと、
    前記プロセッサに、
    ビデオコンテンツの部分中のイベントに対応する動きイベント期間を検出することと、前記ビデオコンテンツが複数の画像フレームを含み、ここにおいて、前記ビデオコンテンツの前記部分が物体を含む、
    前記ビデオコンテンツの前記部分に関連する要約フレームを生成することと、前記要約フレームが前記物体の複数の表現を示す、
    デバイスに通知を送ることを始動することと、ここにおいて、前記通知が前記要約フレームを含む、
    を備える動作を実行させるために実行可能な命令を記憶するメモリと
    を備える装置。
  11. 前記ビデオコンテンツが、ビデオ監視システムの複数のカメラのうちのカメラから受信され、ここにおいて、前記要約フレームが、前記イベントの単一フレーム視覚要約を与える、請求項１０に記載の装置。
  12. 前記動作が、
    前記複数の画像フレームのうちの少なくとも１つに基づいて背景モデルを維持することと、
    前記複数の画像フレームの第１の画像フレームと前記背景モデルとの比較に基づいて前記動きイベント期間の始まりを識別することと、
    前記複数の画像フレームの第２の画像フレームと前記背景モデルとの比較に基づいて前記動きイベント期間の終了を識別することと、
    前記第１の画像フレーム、前記第２の画像フレーム、またはその両方に基づいて前記ビデオコンテンツをインデックス付けすることと
    をさらに備える、請求項１０に記載の装置。
  13. 前記動作が、前記複数の画像フレームのうちの２つまたはそれ以上の画像フレームをキーフレームとして選択することをさらに備える、請求項１０に記載の装置。
  14. 前記動作が、
    前記複数の画像フレームのうちの少なくとも１つに基づいて背景モデルを維持することと、
    前記動きイベント期間中に前記２つまたはそれ以上の画像フレームをバッファすることと、
    前記２つまたはそれ以上の画像フレームの各々について、前記画像フレームからの前記物体の表現を前記背景モデルと組み合わせることと
    をさらに備える、請求項１３に記載の装置。
  15. 前記２つまたはそれ以上の画像フレームを選択するための前記動作が、
    前記複数の画像フレームの各画像フレームについて、対応する分析結果値を決定するために前記画像フレームを分析することと、
    前記動きイベント期間の総分析結果値を決定するために前記複数の画像フレームの複数の分析結果値を加算することと、
    しきい値を決定するために前記総分析結果値をキーフレームの数で除算することと
    を備える、請求項１３に記載の装置。
  16. 前記２つまたはそれ以上の画像フレームを選択するための前記動作は、
    対応する分析結果値を決定するために第１の画像フレームを分析することと、
    第２の累積値を決定するために前記対応する分析結果値を第１の累積値に加算することと、
    前記第２の累積値をしきい値と比較することと、ここにおいて、前記第１の画像フレームが、前記第２の累積値が前記しきい値よりも大きいかまたはそれに等しいことに応答して、キーフレームとして選択される、
    を備える、請求項１３に記載の装置。
  17. 前記動作は、
    前記デバイスに関連するアドレスを識別することと、
    前記通知を生成することと、ここにおいて、前記通知が前記アドレスを含む、
    をさらに備える、請求項１０に記載の装置。
  18. ビデオコンテンツの部分に関連する要約フレームを生成するための手段と、ここにおいて、前記要約フレームが、前記ビデオコンテンツの前記部分中に含まれる物体の複数の表現を示す、
    デバイスに通知を送信するための手段と、ここにおいて、前記通知が前記要約フレームを含む、
    を備える装置。
  19. 前記ビデオコンテンツを生成するための手段をさらに備える、請求項１８に記載の装置。
  20. 前記ビデオコンテンツを生成するための前記手段が、インターネットプロトコル（ＩＰ）カメラを備える、請求項１９に記載の装置。
  21. 前記通知が、電子メールまたはショートメッセージサービス（ＳＭＳ）メッセージを備える、請求項１８に記載の装置。
  22. 生成するための前記手段および送信するための前記手段が、ビデオ監視システム中に含まれる、請求項１８に記載の装置。
  23. ビデオ監視システムを動作させる方法であって、前記方法は、
    第１のデバイスによって第２のデバイスに、ビデオコンテンツの部分中で検出された動きイベントの通知を送ることと、前記通知が、前記ビデオコンテンツの前記部分に関連する要約フレームを備え、ここにおいて、前記ビデオコンテンツの前記部分が物体を含み、ここにおいて、前記要約フレームが前記物体の複数の表現を示す、
    前記第１のデバイスにおいて前記第２のデバイスから、前記動きイベントに関連するビデオセグメントについての要求を受信することと、
    前記第１のデバイスから前記第２のデバイスに前記ビデオセグメントを送ることと
    を備える、方法。
  24. 前記通知の第１のデータサイズが、前記ビデオセグメントの第２のデータサイズよりも小さい、請求項２３に記載の方法。
  25. 前記要求を受信したことに応答して、
    前記ビデオコンテンツを生成したカメラを決定することと、
    前記カメラのメモリから前記ビデオセグメントにアクセスすることと
    をさらに備える、請求項２４に記載の方法。
  26. 前記第２のデバイスから認証情報を受信することと、
    前記第２のデバイスに前記ビデオセグメントを送ることより前に前記認証情報を確認することと
    をさらに備える、請求項２３に記載の方法。
  27. 前記要約フレームがメタデータを含み、ここにおいて、前記メタデータは、前記ビデオセグメントの識別子、前記複数の表現のうちの表現を生成するために使用される前記ビデオセグメントの画像フレームのインジケータ、前記ビデオセグメントの開始に関連する第１のタイムスタンプ、前記ビデオセグメントの終了に関連する第２のタイムスタンプ、前記ビデオセグメントが記憶されたメモリの記憶ロケーションへのリンク、またはそれらの組合せを含む、請求項２３に記載の方法。
  28. 前記通知が単一の要約フレームを含む、請求項２３に記載の方法。
  29. 前記通知が、前記要約フレームと第２の要約フレームとを含み、前記第２の要約フレームが、第２の動きイベントに関連する、請求項２３に記載の方法。
  30. 前記要約フレームを生成することと、
    第２の物体の複数の表現を示す前記第２の要約フレームを生成することと、前記第２の物体の前記複数の表現が、前記第２の動きイベントに関連する、
    前記要約フレームと前記第２の要約フレームとに基づいて前記通知を生成することと
    をさらに備える、請求項２９に記載の方法。
JP2018515674A 2015-09-25 2015-09-25 ビデオ処理のためのシステムおよび方法 Pending JP2018528720A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/090733 WO2017049589A1 (en) 2015-09-25 2015-09-25 Systems and methods for video processing

Publications (1)

Publication Number Publication Date
JP2018528720A true JP2018528720A (ja) 2018-09-27

Family

ID=58385756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018515674A Pending JP2018528720A (ja) 2015-09-25 2015-09-25 ビデオ処理のためのシステムおよび方法

Country Status (7)

Country Link
US (1) US20190035091A1 (ja)
EP (1) EP3354016A4 (ja)
JP (1) JP2018528720A (ja)
KR (1) KR20180056655A (ja)
CN (1) CN108028908A (ja)
BR (1) BR112018006094A2 (ja)
WO (1) WO2017049589A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10796163B2 (en) * 2014-03-07 2020-10-06 Eagle Eye Networks, Inc. Surveillance video activity summary system and access method of operation (VASSAM)
US10708673B2 (en) 2015-09-25 2020-07-07 Qualcomm Incorporated Systems and methods for video processing
US10666909B2 (en) * 2016-06-29 2020-05-26 Intel Corporation Methods and apparatus to perform remote monitoring
US10783397B2 (en) * 2016-06-29 2020-09-22 Intel Corporation Network edge device with image thresholding
CN107888636B (zh) * 2016-09-30 2020-01-17 杭州海康威视数字技术股份有限公司 基于云存储的数据处理方法及系统
US10789291B1 (en) * 2017-03-01 2020-09-29 Matroid, Inc. Machine learning in video classification with playback highlighting
US10992887B2 (en) * 2017-09-28 2021-04-27 Apple Inc. System and method for event camera data processing
US11200402B2 (en) * 2018-01-26 2021-12-14 GICSOFT, Inc. Application execution based on object recognition
US10679069B2 (en) * 2018-03-27 2020-06-09 International Business Machines Corporation Automatic video summary generation
CN110324528A (zh) * 2018-03-28 2019-10-11 富泰华工业（深圳）有限公司 摄像装置、影像处理系统及方法
US20190354762A1 (en) * 2018-05-17 2019-11-21 Chandru Bolaki Method and device for time lapsed digital video recording and navigation through the same
IL279336B1 (en) 2018-11-11 2024-04-01 Netspark Ltd On-line video filtering
US11574476B2 (en) * 2018-11-11 2023-02-07 Netspark Ltd. On-line video filtering
US11140328B2 (en) 2019-01-22 2021-10-05 Tempus Ex Machina, Inc. Systems and methods for partitioning a video feed to segment live player activity
US11787413B2 (en) * 2019-04-26 2023-10-17 Samsara Inc. Baseline event detection system
EP3739503B1 (en) * 2019-05-14 2023-10-25 Nokia Technologies Oy Video processing
US10742882B1 (en) 2019-05-17 2020-08-11 Gopro, Inc. Systems and methods for framing videos
US11954866B2 (en) * 2019-08-20 2024-04-09 Sony Interactive Entertainment Inc. Image processing apparatus using movement estimation, imaging apparatus, system, image processing method, and program
KR102252083B1 (ko) * 2019-10-17 2021-05-14 주식회사 지오비전 이벤트의 등장 객체간 관련성 파악이 용이한 비디오 서머리방법
US11317132B2 (en) 2019-12-13 2022-04-26 Rovi Guides, Inc. Systems and methods for generating new content segments based on object name identification
US11330307B2 (en) * 2019-12-13 2022-05-10 Rovi Guides, Inc. Systems and methods for generating new content structures from content segments
KR20210152221A (ko) * 2020-06-08 2021-12-15 현대자동차주식회사 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법
US11538248B2 (en) * 2020-10-27 2022-12-27 International Business Machines Corporation Summarizing videos via side information

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006121475A (ja) * 2004-10-22 2006-05-11 Matsushita Electric Ind Co Ltd 画像伝送装置
JP2008154100A (ja) * 2006-12-19 2008-07-03 Sharp Corp 撮像装置、サーバ、その制御プログラムおよび該制御プログラムを記録したコンピュータ読取り可能な記録媒体、イベント管理システムならびに制御方法
JP2009212711A (ja) * 2008-03-03 2009-09-17 Toshiba Teli Corp 画像処理装置
JP2013148973A (ja) * 2012-01-17 2013-08-01 Hitachi Building Systems Co Ltd 映像監視システム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549643B1 (en) 1999-11-30 2003-04-15 Siemens Corporate Research, Inc. System and method for selecting key-frames of video data
US6882793B1 (en) * 2000-06-16 2005-04-19 Yesvideo, Inc. Video processing system
US6998527B2 (en) * 2002-06-20 2006-02-14 Koninklijke Philips Electronics N.V. System and method for indexing and summarizing music videos
US20040064691A1 (en) * 2002-09-26 2004-04-01 International Business Machines Corporation Method and system for processing certificate revocation lists in an authorization system
US6963378B2 (en) * 2002-11-01 2005-11-08 Motorola, Inc. Method and apparatus for reduction of visual content
US7577199B1 (en) * 2003-06-19 2009-08-18 Nvidia Corporation Apparatus and method for performing surveillance using motion vectors
US7280753B2 (en) * 2003-09-03 2007-10-09 Canon Kabushiki Kaisha Display apparatus, image processing apparatus, and image processing system
JP2005277733A (ja) * 2004-03-24 2005-10-06 Seiko Epson Corp 動画像処理装置
US20060146122A1 (en) * 2004-10-25 2006-07-06 Mcdonald Chad System for remotely capturing and storing images for multiple users in a centralized image management center
KR20070104614A (ko) * 2005-01-20 2007-10-26 코닌클리케 필립스 일렉트로닉스 엔.브이. 간접 광고들을 포함하는 예고편들의 자동적인 생성
US20070212023A1 (en) * 2005-12-13 2007-09-13 Honeywell International Inc. Video filtering system
JP4181590B2 (ja) * 2006-08-30 2008-11-19 株式会社東芝 インタフェース装置及びインタフェース処理方法
US8181197B2 (en) * 2008-02-06 2012-05-15 Google Inc. System and method for voting on popular video intervals
US8462212B1 (en) * 2008-12-04 2013-06-11 Stoplift, Inc. Correlating detected events with image data
US10645344B2 (en) * 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
CN202003350U (zh) * 2010-12-14 2011-10-05 广东鑫程电子科技有限公司 视频摘要系统
US20160129883A1 (en) * 2011-04-22 2016-05-12 Angel A. Penilla Contact detect feature of a vehicle and notifications to enable live views of vehicle
US10140827B2 (en) * 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
CN104284158B (zh) 2014-10-23 2018-09-14 南京信必达智能技术有限公司 应用于面向事件的智能监控相机的方法
US9369768B1 (en) * 2015-03-02 2016-06-14 Nbcuniversal Media, Llc System and method for media presentation with dynamic secondary content
US20170064240A1 (en) * 2015-08-24 2017-03-02 Microsoft Technology Licensing, Llc Player position and auxiliary information visualization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006121475A (ja) * 2004-10-22 2006-05-11 Matsushita Electric Ind Co Ltd 画像伝送装置
JP2008154100A (ja) * 2006-12-19 2008-07-03 Sharp Corp 撮像装置、サーバ、その制御プログラムおよび該制御プログラムを記録したコンピュータ読取り可能な記録媒体、イベント管理システムならびに制御方法
JP2009212711A (ja) * 2008-03-03 2009-09-17 Toshiba Teli Corp 画像処理装置
JP2013148973A (ja) * 2012-01-17 2013-08-01 Hitachi Building Systems Co Ltd 映像監視システム

Also Published As

Publication number Publication date
EP3354016A1 (en) 2018-08-01
US20190035091A1 (en) 2019-01-31
WO2017049589A1 (en) 2017-03-30
CN108028908A (zh) 2018-05-11
KR20180056655A (ko) 2018-05-29
EP3354016A4 (en) 2019-08-21
BR112018006094A2 (pt) 2018-10-16

Similar Documents

Publication Publication Date Title
US10708673B2 (en) Systems and methods for video processing
JP2018528720A (ja) ビデオ処理のためのシステムおよび方法
US10084961B2 (en) Automatic generation of video from spherical content using audio/visual analysis
US9570113B2 (en) Automatic generation of video and directional audio from spherical content
US10116910B2 (en) Imaging apparatus and method of providing imaging information
CN105323657B (zh) 提供视频摘要的成像设备和方法
US11984141B2 (en) Method and system for automatic pre-recordation video redaction of objects
WO2015072631A1 (ko) 영상 처리 장치 및 방법
US20220172700A1 (en) Audio privacy protection for surveillance systems
US10567844B2 (en) Camera with reaction integration
US20170294213A1 (en) Method for video investigation
KR20160095058A (ko) 카메라 모션에 의해 손상된 비디오 프레임의 처리
WO2021053689A1 (en) Methods and systems for managing storage of videos in a storage device
US20230089648A1 (en) Video camera and device for automatic pre-recorded video or audio redaction of objects
US9112940B2 (en) Correlating sensor inputs with content stream intervals and selectively requesting and transmitting content streams

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200623