JP2019208259A - リアル・タイム・ビデオ要約 - Google Patents

Abstract

【課題】転送時の取り込まれたビデオ要約のためのシステムを提供する。【解決手段】ビデオ・ストリームは、カメラ・モジュール（ＣＭ）・ハードウェアによるストリームの生成と同時に漸進的に要約される。最も重要なフレームだけを含むように要約を更新することによってストリームが進化するので、ビデオ・ストリーム要約の顕著性が維持される。顕著性は、ある選択の多様性と、その選択がビデオ・データ・コーパスの処理部分に対してどれだけ代表的であるかとの両方を表す項を含む目的関数を最適化することによって決定される。ＣＭを含み、かつ、アーキテクチャに適合するデバイス・プラットフォームは、ビデオ・カメラ機能を、超低電力で、極度に小さい記憶リソースで、極度に小さい通信チャネル帯域幅で提供することができる。【選択図】図１Ｂ

Description

優先権主張
本出願は、参照により全体が組み込まれる、２０１４年９月４日に出願された「ＲＥＡＬ ＴＩＭＥ ＶＩＤＥＯ ＳＵＭＭＡＲＩＺＡＴＩＯＮ」という名称の米国特許出願第１４／４７７，５９５号の優先権を主張する。

デジタル・カメラは、市販の電子媒体デバイス・プラットフォームに含まれることが多い構成要素である。デジタル・カメラは現在、ウェアラブル形態の要素（たとえば、ビデオ取込みイヤーピース、ビデオ取込みヘッドセット、ビデオ取込み眼鏡など）として利用可能であるだけでなく、スマート・フォン、タブレット・コンピュータ、及びノートブック・コンピュータなどの中にも組み込まれている。

モバイル・デジタル・カメラからのストリーミング・ビデオの導入は、かつてない量のビデオ・データを所有する時代の先触れとなった。ユーザが、ビデオ・カメラが装着された１本の眼鏡をかける適用例を考えてみる。カメラは、ユーザの終日の活動を描写するビデオ・ストリームを取り込む。ユーザは、ある特定の日の主な出来事の概要を見ることに興味を持つことがあり得る。しかし、このような大量のデータの解析は人手では処理しにくく、また自動化データ処理技法は要望に応じきれていない。

たとえば、主な出来事を抜粋し、取り込まれたビデオの簡潔な描写を得ようとする自動化ビデオ要約アルゴリズムは一般に、予め記録されたビデオ・ファイル全体へのアクセスを必要とし、またこの静的原子単位の要約を生成する。しかし、このような技法では、大規模の処理／記憶リソースに依拠して、場合によっては高いフレーム率（たとえば、２５フレーム／秒以上）で最初に取り込まれたストリーム持続期間全体をまず符号化、アーカイブし、それから復号する。このような処理／記憶リソースがビデオ記録プラットフォーム内に元々存在しない場合、これは超低電力プラットフォーム（たとえばヘッドセット、及び他のウェアラブル形態）のデフォルトになり得るが、ビデオ・ストリーム全体がカメラ・プラットフォームからバックエンド機械（たとえば、クラウド・サーバ）へ処理のために転送される必要がある。しかし、このような転送は、通信チャネルに重い負荷を課し、また多くのデバイス・プラットフォーム及び使用事例では非現実的である。

したがって、プラットフォーム上にあるカメラ・モジュール・ハードウェアから連続的に、時間の経過と共にビデオ・ストリームが届くときにビデオをリアル・タイムで（オンザフライで）自動的に要約できる、ビデオ記録プラットフォーム・アーキテクチャ及び技法が有利である。

本明細書に記載の材料は例示として示されており、添付の図面における限定としてではない。図を簡単かつ明瞭にするために、図に示されている要素は必ずしも原寸に比例していない。たとえば、いくつかの要素の寸法は、明瞭にするために他の要素に対して誇張されていることがある。さらに、適切と考えられる場合には、対応する又は類似する要素を示すために、参照標示が図の間で繰り返されている。

１つ以上の実施形態によるリアル・タイム（ＲＴ：real time）取り込まれたビデオ要約方法を示す流れ図である。 １つ以上の実施形態によるＲＴ取り込まれたビデオ要約方法を示す流れ図である。 諸実施形態によるＲＴビデオ・データ・ストリーム取込み及び要約プラットフォームを含むシステムの機能ブロック図である。 １つ以上の実施形態によるＲＴビデオ・データ・ストリーム要約システムの機能ブロック図である。 １つ以上の実施形態によるＲＴビデオ・データ・ストリーム取込み及び要約プラットフォームを示す図である。 諸実施形態によるＲＴ取り込まれたビデオ・ストリーム要約方法を別に示す流れ図である。 １つ以上の実施形態によるＲＴ取り込まれたビデオ・データ・ストリーム要約モデルを示す図である。 １つ以上の実施形態によるＲＴ取り込まれたビデオ要約方法を示す流れ図である。 １つ以上の実施形態によるビデオ・フレーム・カバレッジ・スコアリング法を示す流れ図である。 １つ以上の実施形態によるビデオ・フレーム・多様性スコアリング法を示す流れ図である。 １つ以上の実施形態による、ストリーム要約のためにフレームを選択する方法を示す流れ図である。 １つ以上の実施形態による、ビデオ・ストリーム内の連続露光されたフレームを示す図である。 一実施形態による、図６Ａに描かれたビデオ・ストリームからセグメント化されたフレームの組を示す図である。 一実施形態による、図６Ａに描かれたビデオ・ストリームからセグメント化されたフレームの組を示す図である。 １つ以上の実施形態によるＲＴビデオ・データ・ストリーム取込み要約アーキテクチャを使用する、例示的な超低電力システムの図である。 １つ以上の実施形態により構成された例示的なモバイル・ハンドセット・プラットフォームの図である。

１つ以上の実施形態について添付の図を参照して説明する。特定の構成及び配置を詳細に描写し論じるが、これは例示のためだけに行われることを理解されたい。当業者には、他の構成及び配置が本明細書の趣旨及び範囲から逸脱することなく可能であることが理解されよう。当業者には、本明細書に記載の技法及び／又は配置が、本明細書に記載されたもの以外に様々な他のシステム及び用途に使用され得ることが明らかであろう。

以下の詳細な説明では、その一部を形成すると共に例示的な実施形態を示す添付の図面が参照される。さらに、他の実施形態が利用され得ること、また構造的及び／又は論理的変更が、特許請求される主題の範囲から逸脱することなく行われ得ることを理解されたい。したがって、以下の詳細な説明は限定的な意味に取られるべきではなく、特許請求される主題は、添付の特許請求の範囲及びその等価物によってのみ定義される。

以下の説明では、多くの細部について論述されるが、当業者には、これらの特定の細部を用いなくても実施形態が実践され得ることが明らかであろう。よく知られている方法及びデバイスは、より重要な態様を不明瞭にしないようにするために、詳細にではなくブロック図の形で示される。本明細書全体を通して「一実施形態」又は「１つの実施形態」に言及することは、その実施形態に関連して説明された特定の特徴、構造、機能、又は特性が、少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体を通して様々な場所で「一実施形態において」又は「１つの実施形態において」という文言が現われても、同一の実施形態に言及しているとは限らない。さらに、一実施形態の文脈で説明された特別な特徴、構造、機能、又は特性は、任意の適切なやり方で１つ以上の実施形態において組み合わせることができる。たとえば、第１の実施形態を第２の実施形態と組み合わせることが、２つの実施形態に関連した特定の特徴、構造、機能、又は特性が互いに排他的でないどこにおいても可能である。

例示的な実施形態の説明及び添付の特許請求の範囲では、単数形「ａ」、「ａｎ」及び「ｔｈｅ」は、それ以外の明確な指示がない限り複数形もまた含むものである。本明細書において「及び／又は」という用語は、関連する列挙された項目の１つ以上の、任意及びすべての可能な組合せを指し、かつ包含することを理解されたい。

本明細書全体を通して、また特許請求の範囲において、「〜のうちの少なくとも１つ」又は「〜のうちの１つ以上」という用語で結合された項目の羅列は、列挙された項目の任意の組合せを意味することができる。たとえば、「Ａ、Ｂ又はＣのうちの少なくとも１つ」という句は、Ａ、Ｂ、Ｃ、Ａ及びＢ、Ａ及びＣ、Ｂ及びＣ、又はＡ、Ｂ及びＣを意味することができる。

「結合された(coupled)」及び「接続された(connected)」という用語は、その派生語と共に、本明細書では構成要素間の機能的又は構造的関係を示すのに用いられる。これらの用語は互いに同意語とするものではないことを理解されたい。むしろ、特定の実施形態では「接続された」が、２つ以上の要素が直接に物理的、光学的、又は電気的に互いに接触していることを示すために用いられ得る。「結合された」は、２つ以上の要素が直接又は間接（別の介在要素がその間にある）に物理的、光学的、又は電気的に互いに接触していること、及び／又は２つ以上の要素が互いに協働又は相互作用すること（たとえば、因果関係にあるように）を示すのに用いられ得る。

本明細書で提供される詳細な説明のいくつかの部分は、コンピュータ・メモリ内のデータに対する操作のアルゴリズム及び記号表現に関して提示される。特に別段述べられていない限り、以下の議論から明らかなように、本明細書全体を通して、「計算する（calculating）」、「計算する（computing）」、「決定する(determining)」、「推定する（estimating）」、「記憶する（storing）」、「収集する（collecting）」、「表示する（displaying）」、「受ける（receiving：受信する）」、「統合する（consolidating）」、「生成する（generating）」、「更新する（updating）」などの用語を用いる議論は、コンピュータ・システム、又は類似の電子計算デバイスの動作及び処理を指すことが理解されよう。このシステム又はデバイスは、レジスタ及びメモリを含むコンピュータ・システムの回路内で物理（又は電子）量として表されたデータを、コンピュータ・システム・メモリ若しくはレジスタ、又は他のこのような情報記憶装置、送信デバイス若しくは表示デバイス内で物理量として同様に表される別のデータになるように操作及び変換する。

以下の説明では、たとえばシステム・オン・チップ（ＳｏＣ）アーキテクチャのようなアーキテクチャとして明示できる実施形態について論述するが、本明細書に記載の技法及び／又は配置の実施態様は、特定のアーキテクチャ及び／又は計算システムに制限されず、同様の目的の任意のアーキテクチャ及び／又は計算システムによっても実現することができる。たとえば複数の集積回路（ＩＣ）チップ及び／又はパッケージを使用する様々なアーキテクチャ、並びに／或いは、セットトップ・ボックス、スマート・フォンなどの様々な計算デバイス及び／又は消費者電子（ＣＥ）デバイスでは、本明細書に記載の技法及び／又は配置を実施することができる。さらに、以下の説明では、論理回路実施態様、システム構成要素の種類及び相互関係、論理回路分割選択／統合選択などの多数の具体的詳細について論述することがあるが、特許請求される主題は、このような具体的詳細がなくても実践することができる。さらに、たとえば制御構造及び完全ソフトウェア命令シーケンスなどの一部の構成要素は、本明細書に開示の材料を不明瞭にしないようにするために、詳細には示されないことがある。

本明細書に開示の構成要素のいくつかの部分は、たとえばグラフィック・プロセッサの論理回路として、ハードウェアで実施される。いくつか他の部分は、ハードウェア、ファームウェア、ソフトウェア、又はこれらの組合せで実施することができる。本明細書に開示の構成要素の少なくとも一部はまた、機械可読媒体に記憶された命令として実施することもでき、この命令は、１つ以上のプロセッサ（グラフィック・プロセッサ及び／又は中央プロセッサ）によって読み出し、実行することができる。機械可読媒体には、機械（たとえば、計算デバイス）が可読の形で情報を記憶又は伝送するための任意の媒体及び／又は機構が含まれ得る。たとえば、機械可読媒体には、読み出し専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュ・メモリ・デバイス、並びに電気、光、音響又は他の同様に非一時的な有形の媒体が含まれ得る。

リアル・タイム取り込まれたビデオ要約のための１つ以上のシステム、装置、方法及びコンピュータ可読媒体について以下で説明する。「リアル・タイム取り込まれたビデオ要約」では、ビデオ・ストリームが、ストリームの生成と同時に漸進的に要約される。要約アルゴリズムは、全ビデオをセグメントの形で順次にある期間にわたって確認するのではなく、全ビデオへのアクセスなしに任意の所与の時間において動作可能である。実際、ビデオ・コーパスの解析部分が新たに収集された部分によって破棄／上書きされる１つの例示的な実施形態では、要約に含まれるフレームは、残存しているビデオ・コーパスの部分の中に類似物を有する可能性がない。以下でさらに説明するように、ＣＭから新たに受け取ったフレーム、及び以前に評価されたフレームは、データ・ストリームが受け取られたときに顕著性が反復して評価される候補要約フレームである。最も重要なフレームだけを含むように要約を更新することによってストリームが進化するので、ストリーム要約の顕著性が維持される。１つの例示的な実施形態では、顕著性は、ある選択の多様性と、その選択がビデオ・データ・コーパスの処理部分に対してどれだけ代表的であるかとの両方を表す項を含む目的関数を最適化することによって、決定される。

要約アルゴリズムの複数の反復が、第１のビデオ・フレームのＣＭの出力から、連続ビデオ・ストリームを含む所与の一連の連続的に取り込まれたフレームの最後のフレームにまで及ぶ時間窓内で実行されることになる。したがって、リアル・タイム要約の率要件は、カメラ・ハードウェア・モジュール（ＣＭ：camera hardware module）に関連したフレーム率（frame rate：フレーム・レート）の関数になる。以下で説明するように、ＣＭを含み、かつ例示的なアーキテクチャに適合するデバイス・プラットフォームが、ビデオ・カメラ機能を超低電力で、かつ／又は極度に小さい記憶リソースで、かつ／又は極度に小さい通信チャネル帯域幅で提供することができる。以下でまた説明するように、ＣＭを含み、かつ例示的なアーキテクチャに適合するデバイス・プラットフォームは、ユーザのビデオ・カメラ体験を、処理能力、及び／又は記憶装置、及び／又は通信リソースが特に優れていなくても向上させることができる。

図１Ａは、１つ以上の実施形態によるＲＴ取り込まれたビデオ要約方法１０１を示す流れ図である。方法１０１は、動作１０５で開始し、ＣＭが露光ビデオ・データ・フレームをあるフレーム率（たとえば３０、６０、１２０、２４０、４８０ｆｐｓなど）で連続してストリーミングする。動作１１０で、ストリームがＣＭ下流のプラットフォーム上のハードウェアによって受け取られると、受け取られたフレームのサブセットが、ビデオ・ストリームを代表する要約画像として選択される。動作１１５で、選択された要約フレームが、ＣＭをホストするプラットフォーム上のメモリに記憶される。この過程は、周期的に、又はいくつか所定の数のビデオ・データ・フレームを含む新しいフレームの組を受け取ったことに応答して、繰り返される動作１０５、１１０及び１１５を継続する。例示的な実施形態では、方法１０１は、数時間のビデオ・データがＣＭからストリーミングされるときにルーピングする。用途によって、数時間のストリーミングが、数十のフレーム（たとえば、２０）から何百もの要約フレームにまで及ぶ、選択されたフレームのサブセットによって要約され得る。１つの例として、２０の要約フレームが、３０ｆｐｓで動作するＣＭを含むプラットフォームにおいて１日中ストリーミングされた１，０００，０００以上のビデオ・データ・フレームを代表するものとして、選択され得る。ストリーミングされたビデオ・データを保持する循環バッファは、比較的小さく、その日の全部のストリーミングされたビデオ・データ・フレームを記憶するのに必要になるものよりはずっと小さくなり得る。というのは、ビデオ・データは、記憶された要約画像だけに依拠して継続的に上書きできるからである。

別に図示されているように、ＣＭをホストするプラットフォームはまた、記憶されたストリーム要約（たとえば、画像ファイルの組）が表現されたものを動作１８０で表示することもできる。別法として、又は追加して動作１９０で、ＣＭをホストするプラットフォームはさらに、記憶されたストリーム要約が表現されたものを遠隔の宛先（たとえば、クラウド・サーバ）へ送信することもできる。したがって、方法１０１による例示的な実施形態では、ＣＭから受け取られた、要約フレームとして選択されない露光ビデオ・データ・フレーム（たとえば、１，０００，０００以上のビデオ・データ・フレーム）が破棄されて（たとえば、循環バッファ実施態様で新たにストリーミングされたビデオ・フレームによって上書きされて）、プラットフォーム記憶装置及び／又は送信チャネル・リソースの要件が３桁又は４桁低減する。別の実施形態では、要約動作１１５がビデオ・フレーム符号化処理の上流にあり、符号化エンジン・リソース及び／又は電力もまた低減される。適切な品質の自動化ストリーム要約により、１日の連続記録から得られた少量の画像フレームが、その日の出来事の貴重な視覚カタログとしての役割を果たすことができる。

図１Ｂは、１つ以上の実施形態によるＲＴ取り込まれたビデオ要約方法１０２を示す流れ図である。方法１０２は、上述のビデオ・ストリーミング動作１０５及びリアル・タイム・ストリーム要約動作１１０を含む。しかし、方法１０２はさらに、ビデオ符号化及び記憶動作１２０を含み、任意の既知のＡ／Ｖコーデック（たとえば、ＭＰＥＧ−４、Ｈ．２６４ＡＶＣなど）が実施される。得られたビデオ・ストリームの圧縮表現がメモリに記憶され、かつ／又はＣＭをホストするプラットフォームに伝達される。動作１２５で、動作１１０で選択された要約フレームがさらに、記憶されたビデオに関連して記憶される。ＣＭをホストするプラットフォームはさらに、記憶されたストリーム要約が表現されたもの（たとえば、画像ファイルの組）を、動作１８５で、記憶されたビデオ表現を表すサムネイルの組として利用することができる。別の実施形態では、記憶されたストリーム要約はＣＭプラットフォームによって利用されて、ユーザが記憶ビデオ・コーパスに索引を付けること、及び／又はそれとは別に、要約フレームに対応する様々なエントリ・ポイントにおいて記憶ビデオ・コーパスへのアクセスを得ることができるようになる。別法として、又は加えて、動作１９１で、ＣＭをホストするプラットフォームはさらに、記憶ストリーム要約が表現されたもの（たとえば、画像ファイルの組）と共に記録ビデオ表現を遠隔の宛先（たとえば、クラウド・サーバ）へ送信することもでき、この場合ストリーム要約は、関連する記憶ビデオのサムネイル及び／又はエントリ・ポイントの索引として同様に利用することができる。方法１０２による例示的な実施形態では、したがって、ＣＭから受け取られた、要約フレームとして選択されていない露光ビデオ・データ・フレームが保持される。プラットフォーム記憶装置及び／又は送信チャネル・リソースの要件を低減するのではなく、リアル・タイム・ストリーム要約方法１０２は、方法１０１で利用された同一の自動化要約技法を利用して、ユーザ体験を従来のビデオ・ストリーミング・プラットフォームのユーザ体験以上に向上させる。

図２Ａは、ビデオ・データ・ストリーム取込みデバイス２０３及び表示デバイス２０４を含むシステム２０１の機能ブロック図であり、デバイス２０３、２０４のうちの少なくとも一方が、諸実施形態によるＲＴビデオ要約システムを含む。ＲＴビデオ要約システムの代替実施形態を表す機能ブロックが、破線で示されている。システム２０１は、たとえば、上述の方法１０１、１０２のどちらかを実行することができる。第１の実施形態では、デバイス・プラットフォーム２０３がＲＴビデオ要約システム２１７Ａをビデオ取込みパイプライン２０５とビデオ・エンコーダ２１６の間に含む。ビデオ取込みパイプライン２０５は、ＲＴビデオ要約システム２１７Ａの入力部に結合された出力部を有する。ＲＴビデオ要約システム２１７Ａの出力部がエンコーダ２１６の入力部に結合されている。エンコーダ２１６の出力部がメモリ（記憶装置）２２０の入力部に結合されている。メモリ２２０から出力された要約フレームの符号化表現が、有線又は無線通信チャネルを介して表示デバイス２０４に結合され、この表示デバイスは、例示的な実施形態では、クラウド２２５のバックエンド・サーバを通してビデオ取込みデバイス２０３に結合されている。クラウド２２５が存在しない代替実施形態では、表示デバイス２０４が、局所の有線又は無線通信チャネルを介してビデオ取込みデバイス２０３に結合されている。さらに別の実施形態では、表示デバイス２０４がビデオ取込み及び要約デバイス２０３に組み込まれる（すなわち、両デバイスが同一のプラットフォームの一部になる）。デコーダ２２６は、符号化フレーム要約を要約記憶装置２２０から受け取る。ＲＴビデオ要約システム２１７Ａを含む第１の実施形態では、デコーダ２２６からの出力は、ノイズ除去／画像エンハンサ２２７などの下流画像向上処理を通過して画像表示パイプライン２２８へと進み、ここで要約フレームの１つ以上が表示画面に提示される。図２Ａに別に示された第２の実施形態では、ＲＴビデオ要約は、たとえばＲＴビデオ要約システム２１７Ｂとして、ビデオ・エンコーダ２１６の下流で実施される。このような実施形態では、ビデオ取込みパイプライン２０５から出力されたビデオ・ストリームがエンコーダ２１６へ出力され、符号化ストリーム表現がメモリ２２０に記憶される。次に、符号化ビデオ・ストリームは、デコーダ２２６で復号され、ＲＴビデオ要約システム２１７Ｂが要約フレームを出力し、この要約フレームは次に、ノイズ除去／画像エンハンサ２２７などの下流画像向上処理を通過して画像表示パイプライン２２８に進み、ここで要約フレームの１つ以上が表示画面に提示される。

図２Ｂは、１つ以上の実施形態によるＲＴビデオ・データ・ストリーム要約システム２１７の機能ブロック図である。システム２１７は、たとえば、図２ＡのＲＴビデオ要約システム２１７Ａ又は２１７Ｂとして実施することができる。システム２１７は、ストリーミング・ビデオ・パイプライン２２５の出力部と結合された入力部を有する。ビデオ・パイプライン２２５は、知られている任意の構成を有することができる。１つの例示的な実施形態では、ビデオ・パイプライン２２５は、画像センサによって取り込まれたビデオ・フレームを出力するＣＭを含む。ビデオ・データ・フレームは、フレーム特徴抽出器２２９に受け入れられ、この抽出器は、１つ以上の特徴ベクトル（feature vector）を各受け入れフレームから抽出する。以下でさらに説明されるように、特徴ベクトルは、当技術分野で知られている任意の物体検出技法を使用して決定される特徴を含み得る。例示的な実施形態では、フレーム特徴抽出器２２９は、勾配方向ヒストグラム（ＨＯＧ：histograms of oriented gradient）特徴を含む特徴ベクトルを生成する。スコアリング論理回路２３５が特徴抽出器２２９の出力部に結合され、特徴ベクトルに基づいてフレームをスコアリングする。スコアリング論理回路２３５は、受け取られたフレームの新しい組内の各フレームを新しい組内の別のフレームに対して、又は関連してスコアリングする。別の実施形態では、スコアリング論理回路２３５は、受け取られたフレームの新しい組内の各フレームをさらに、要約フレームとして以前に選択されている各フレームに関連してスコアリングする。フレーム・スコアリング論理回路２３５は、以下でさらに説明されるように、１つ以上の所定の顕著性基準に基づいてスコアを生成することができる。フレーム・スコアリング論理回路２３０に結合されたフレーム選択論理回路２５０は、選択のためにフレーム・スコアリングを最適化する目的（コスト）関数の解に基づいて、要約フレームの組を選択する。本発明者らは、オンライン・ビデオ要約のためのこの最適化ベースの方策が、純粋に発見的な解決策とは異なり、具体的な数学的定式化に有利に基づくことができ、経験的なパラメータ／閾値には極端に依存しないことを発見した。

図２Ｂに示された例示的な実施形態では、フレーム・スコアリング論理回路２３５が、カバレッジ・スコアリング論理回路２３０と多様性スコアリング論理回路２４０の両方を含む。カバレッジ・スコアリング論理回路２３０は、フレーム特徴ベクトルに基づいてカバレッジ・スコアを計算する。カバレッジ・スコア（coverage score）は、所与のフレームが、それと比較される別のフレームをどれだけ適切に表現するかを定量化する測定基準である。多様性スコアリング論理回路２４０は、フレーム特徴ベクトルに基づいて多様性スコアを計算する。多様性スコア（diversity score）は、あるフレームが、それと比較される別のフレームとどれだけ異なっているかを定量化する測定基準である。選択論理回路２５０は次に、カバレッジ・スコアにも多様性スコアにも依存する目的関数を、たとえば最大カバレッジ及び最大多様性を有するフレームの組を表す解を用いて、解く。そのため、選択された要約は、ほとんどの特異な要素を含みながらも、ビデオのほとんどを「カバー」するはずである。代替実施形態では、カバレッジ・スコアリング論理回路２３０及び多様性スコアリング論理回路２４０のうちの１つ以上をさらに、追加のスコアリング論理回路と組み合わせることができる。選択論理回路２５０が次に、たとえば、例示的な実施形態の文脈で以下に別に説明される論理的根拠に従って、代替目的関数を解く。

図３は、１つの実施形態によるＲＴビデオ・データ・ストリーム取込み及び要約デバイス・プラットフォーム３０３を示す図である。図３はさらに、図２Ｃに提示されたようなＲＴビデオ・ストリーム要約システムをどのようにデバイス・プラットフォームの他の様々な構成要素と一体化して、高フレーム露光速度にも最小記憶／伝送リソースにも適するビデオ・カメラ要約を提供することができるかを示す。

プラットフォーム３０３はＣＭ３７０を含む。例示的な実施形態では、ＣＭ３７０はさらに、カメラ・センサ３５９を含む。センサ３５９は、たとえば、ＱＸＧＡ、ＷＱＸＧＡ、又はＱＳＸＧＡフォーマット・デジタル・イメージ・デバイスでよい。画素当たり１０ビット以上の色解像度を得ることができるカメラ・センサ３５９は、連続ビデオ・フレームを累進的に取り込むように動作可能である。センサ３５９は、１７０ＭＨｚ以上の画素周波数を有し得る。カメラ・センサ３５９は、ＲＧＢベイヤー・カラー・フィルタ、アナログ増幅器、Ａ／Ｄコンバータ、入射光を生画像データに対応するデジタル信号に変換するための他の構成要素を含み得る。センサ３５９は、ローリング・シャッタ又は電子フォーカル・プレーン・シャッタ過程を操作するように制御することができ、画素が累進的に、フレームに対して線順次式に読み出される。例示的なビデオ実施形態では、センサ３５０は、多数の連続露光されたフレームを出力する。ＣＭ３７０は、連続露光されたフレームに関連した生ビデオ・データ３７２を、ＭＩＰＩ又は他のプロトコルなどの任意で既知のストリーミング・プロトコルに従って、出力する。ストリーミングされた生ビデオ・データ４７２は、ＩＳＰ３７５に入力される。ＩＳＰ３７５は、ＣＭ３７０に関連した水平及び／又は垂直ブランキング期間中に、生ビデオ・データ３７２のフレームを受け取り、解析する。生画像データ処理中に、ＩＳＰ３７５は、たとえばノイズ低減、画素線形化、及びシェーディング補償のうちの１つ以上を実行することができる。

処理ビデオ・データは、たとえば循環バッファを用いて、ＦＩＦＯでバッファリングすることができる。ＤＳＰ３８５は、ＣＭ３７０からバッファに受け入れられた連続露光されたフレームの組（セグメント）を、ＣＭ３７０から出力された新しいフレームがそれを上書きする前に、フェッチする。図６Ａは、１つ以上の実施形態による、ビデオ・ストリーム６０１内の連続露光されたフレームを示す。図６Ｂ及び図６Ｃは、一実施形態による、図６Ａに描かれたビデオ・ストリームから生成されたフレームの組を示す。図６Ｂに示された第１の実施形態では、時間的に隣接する組が重なり合わず、各組が、他の組に含まれるいずれのフレームも除いてｎ個のフレームを含む。図６Ｃに示された第２の実施形態では、時間的に隣接する組が重なり合っており、各組が、他の組に含まれるフレームを含めてｎ−Ｉ個のフレームを含む。第１の実施形態では、ストリーム要約過程は、ＣＭによって露光されたｎ個のフレームごとに１回反復される。第２の実施形態では、ストリーム要約過程は、ＣＭによって露光されたフレームごとに１回反復される。使用される要約技法、及びその技法を実施するリソースに応じて、隣接する組の間のフレーム冗長性は、図６Ｂ及び図６Ｃに示された２つの実施形態の間で変わり得る。以下でさらに説明する例示的なＲＴビデオ・ストリーム要約方法では、隣接する組が重なり合わない（たとえば、図６Ｂ）。

ストリーミング・ビデオのセグメント化は、ビデオ要約システムによって解析されるべきフレームの各組内のオブジェクトに対していくらかのシーン整合性を与えるのに有用である。例示的な実施形態では、各セグメントに含まれるフレームの数は固定かつ既定であり、フレームのすべての組が連続するｎ個のフレームを含む。各組内の連続フレームの数は、中央処理ユニット（ＣＰＵ）３５０によってインスタンス化されるオペレーティング・システム（ＯＳ）のカーネル空間内のサブシステム・ドライバ３１５によって制御することができる。その数の連続フレームへのアクセスは、ＯＳのユーザ空間内で実行されるアプリケーション層の中のＲＴ要約制御パラメータ３５５によって行うことができる。ＤＳＰ３８５は、シーン／ショット変化検出論理回路をセグメント化過程で利用することができる。ショット境界検出アルゴリズムは、２つのビデオ・ショット間の接合部を検出しようとする。このアルゴリズムでは通常、ビデオ・ストリーム内のどの２つの連続画像間でも差測定基準（画素グレー・レベル差、統計的差、ヒストグラム差、又は動きベクトルのような）を計算し、その差が所定の閾値を超える場合に、ショット境界が仮定される。しかし、例示的な実施形態では、ＤＳＰ３８５は、含むフレームが典型的なシーンよりもはるかに少ないフレームを含むフレーム組を生成する。それゆえに、シーン検出が利用される場合、各シーンはさらに、下流要約過程では複数のフレーム組に分割される。諸実施形態では、各組内のフレームの数ｎは１００フレーム未満であり、有利には５０フレーム未満、より有利には１０から３０フレームの間である。

フレームの組がハードウェア・アクセラレータ３８８に出力され、このハードウェア・アクセラレータは、例示的な実施形態では、ＲＴビデオ要約システム２１７を実現する固定機能論理回路を含む。固定機能論理を使用する実施形態は、受け取られたビデオ・データ・フレームを、最小の電力消費としながら、高露光フレーム率の速度で要約するのに十分に適している。しかし一代替実施形態では、ＤＳＰ３８５、ＣＰＵ３５０のコア、グラフィック・プロセッサの実行ユニット、又は他の類似のベクトル・プロセッサを含む任意の既知のプログラム可能プロセッサが、図２Ｃに提示されたＲＴビデオ要約システム２１７の論理回路を実現するのに利用され得る。ハードウェア・アクセラレータ３８８がＲＴビデオ要約システム２１７をビデオ・データ・フレーム符号化の上流で実施する例示的な実施形態では、要約フレームは、静止フレームとして符号化するために、アクセラレータ３８８から元のＤＳＰ３８５へ出力することができる。ＨＷアクセラレータ３８８Ａからの要約フレームの符号化表現が、ストリーム要約フレーム・データ３９７として記憶／表示／伝送パイプライン３９５へ送られる。１つの例示的な記憶パイプライン実施形態では、ストリーム要約フレーム・データ３９７がメモリ／記憶装置２２０（たとえば、ＮＶＲ、ＤＲＡＭなど）に出力される。このメモリ／記憶装置は別々でも、ＣＰＵ３５０がアクセス可能な主メモリ３１０の一部でもよい。別法として、又は加えて、記憶／表示／伝送パイプライン３９５は、要約フレーム・データ３９７をデバイス・プラットフォーム３０３外へ伝送する。

図４Ａは、諸実施形態によるリアル・タイム（ＲＴ）取り込まれたビデオ要約方法４０１をさらに示す流れ図である。方法４０１は、ＲＴビデオ要約システムによって実行され、１つの例示的な実施形態では、図３に描かれたＨＷアクセラレータ３８８によって実施される。方法４０１は、上流バッファ・オーバラン状態を回避するのに十分な速度で実行される。有利な一実施形態では、方法４０１は、ＣＭフレーム率を、反復ごとに処理される新フレームの数（たとえば、ｎ）で割ったものに少なくとも等しい（また有利には、それよりも大きい）速度で反復される。

方法４０１は、ビデオ・セグメントＶに含まれるｎ個の連続露光されたビデオ・フレームの新しい組を受け取ることから開始する。動作４０６で、１つ以上のｋ個のストリーム要約フレームのバッチを含む、現在のストリーム要約がアクセスされる。例示的な実施形態では、ストリーム要約フレーム数ｋは固定かつ既定である。ストリーム要約フレームの数は、たとえば、中央処理ユニット（ＣＰＵ）３５０によってインスタンス化されるオペレーティング・システム（ＯＳ）のカーネル空間内のサブシステム・ドライバ３１５（図３）によって制御することができる。その数の連続フレームへのアクセスは、ＯＳのユーザ空間内で実行されるアプリケーション層の中のＲＴ要約制御パラメータ３５５によって行うことができる。諸実施形態では、スチーム要約フレームの数ｋは１０００フレーム未満であり、有利には１００フレーム未満、より有利には１０から３０フレームの間である。

ｋ個のストリーム要約フレームのバッチ内の各フレームは、方法４０１の１つ以上の前の反復中に前もって選択された。図４Ｂは、方法４０１の１つ以上の実施形態によって実施されるＲＴビデオ要約モデル４０２を示す。図４Ｂに示されるように、ストリーム要約４６５は、所定の数の要約フレーム・スロットに限定されたビデオ・データ・フレームの選択されたものを含む。ｋ個のスロットが使用可能であると、ｋ個の既存ストリーム要約フレーム（incumbent stream summary frames）が、要約過程を通して時間的に早く露光され（exposed）処理された任意の数の前のフレーム組４７１を要約する。たとえば、ストリーム要約４６５のスナップショットが、ごく最近に処理された組Ｖからの既存フレームｉ、フレーム組Ｖ−３からの既存フレームｉ＋ｊなどを含む。時間的に前方を見ると、任意の数の新しいフレーム組４７２が、要約過程を通して時間的に遅く露光され処理される（たとえば、組Ｖから開始し、Ｖ＋ｍで終了）。それぞれの新しいフレーム組（たとえば、Ｖ、Ｖ＋１など）を受け取ったことに応答して要約反復が実行され、既存のｋ個のストリーム要約フレーム及びｎ個の新規フレーム（non-incumbent frames）が、目的関数４６６の適用によって選択するための候補フレームのバッチになる。各反復によって、１つ以上の既存フレームが、ストリーム要約４６５内でスロットを保持することができ、また１つ以上の既存フレームが、新しい組（たとえば、組Ｖ＋１）に含まれる新規フレームを優先して、ストリーム要約４６５から排除され得る。

図４Ａにさらに示されているように、動作４０５及び４０６からの候補フレーム（ｎ＋ｋ）のそれぞれが動作４３５でスコアリングされる。ＣＭから受け取られたフレームの新しい組内の各新規フレームが、新しい組内の別のフレームに対して、また各既存フレームに対してスコアリングされる。動作４４０で、１つ以上の要約フレームを含むバッチが、新規フレーム及び既存フレームを含む候補フレーム・プールから選択される。目的関数は動作４４０で解かれて、要約フレームのうちの所与の選択されたものに関連した報酬（損失）を計算する。候補フレームが、選択のためのフレーム・スコアリングを最適化する解に基づいて選択される。動作４９５で、ｋ個のストリーム要約フレームのバッチが、動作４０６でアクセスされたｋ個のストリーム要約フレームのバッチとは異なり、動作４４０で行われたフレームの選択に応答して更新される。動作４９５でストリーム要約を更新することは、少なくとも各選択新規フレームを要約に追加することを含む。例示的な実施形態では、新規フレームの追加には、新規フレームを優先して要約からフラッシュされた既存フレームを取り換えることが必然的に伴い得る。フレーム及びカバレッジ・スコアがストリーム要約スロットごとに記憶される、また以下でより詳細に説明する別の実施形態においては、動作４９５でストリーム要約を更新することはさらに、選択された各新規フレームに関連したカバレッジ・スコアをストリーム要約に追加することを含む。たとえば、排除既存フレームに関連したカバレッジ・スコアが、新たに選択されたフレームに関連したカバレッジ・スコアで上書きされ得る。ｋ個の要約フレームの更新バッチは、動作４５０でメモリに記憶される。ストリームの終わり（ＥＯＳ：end of stream）に達していない場合、方法４０１は、次の反復のために動作４０５へ戻る。ＥＯＳに達した場合、方法４０１は終了し、ストリーム要約フレームが記憶される。

上記の実施形態では、ある既存要約フレームが、より新しい、より多くの情報を提供するフレームが届くことにより排除されると、その既存要約フレームは、さらなる考察から除去される。しかし、十分な利用可能メモリがある実施形態では、要約更新動作４９５でフラッシュされた既存要約フレームは二次メモリ（ロケーション）に記憶されて、方法４０１で生成された最終ビデオ要約の品質を潜在的に向上させる。二次記憶動作４９７は、ビデオ・ストリーミング中に反復生成されたすべての要約フレームを保持することが任意選択であることを強調するために、図４Ａに破線で示されている。すべての要約フレームが保持されるこれらの実施形態では、ＥＯＳ状態に達すると、方法４０１は動作４９９へ進み、Ｌ個の要約フレームの二次選択が行われる。例示的な実施形態では、動作４９９は、動作４３５で前もって生成されたフレームスコアと、各記憶要約フレームに関連した特徴ベクトルとに基づいて（一次）選択動作４４０で解かれたのと同じ目的関数を解くことを必然的に伴う。最終選択フレームの数Ｌは、ｋ個の要約フレームのバッチと等しくする、又はそれより大きくすることができ、またｎ及びｋの値と同じようにして構成可能な値とすることができる。二次選択動作４９９は、ｋ個の要約フレームのバッチに関連したメモリ・スロットにも経時的に記憶された顕著なフレームと、二次メモリ・スロットにも記憶されたものとの組の中にある。したがって、方法４０１は２段階過程になり、顕著なフレームがビデオ・セグメントからまずフィルタリングされ、次に、最終要約フレームがすべての顕著なフレームから選択される。

図５Ａは、このような実施形態による、リアル・タイム（ＲＴ）取り込まれたビデオ要約方法５０１を示す流れ図である。方法５０１は、たとえば方法４０１（図４Ａ）の一部として実行される。方法５０１は、上述のように、ｎ個の新規候補ビデオ・フレームを動作４０５で受け取ること、及びｋ個の既存ストリーム要約フレームを動作４０６で受け取ることから開始する。特徴ベクトルが、ｎ＋ｋ個のフレームについて動作５１０で計算される。この特徴ベクトルは、当技術分野で知られている任意の物体検出技法を使用して決定される特徴を含み得る。例示的な実施形態では、勾配方向ヒストグラム（ＨＯＧ）特徴を含む特徴ベクトルが動作４０６で、ｎ＋ｋ個のフレームのそれぞれに対して生成される。或いは、ｎ個のフレームに対して特徴ベクトルが動作４０６で計算され、以前の反復で前もって生成されている、ｋ個の要約フレームに対する特徴ベクトルがメモリからフェッチされる。

方法５０１は動作５１５を継続し、次元ｎ＋ｋのカバレッジ・ベクトルｃが計算される。動作５１５の１つの例示的な実施形態がさらに、図５Ｂに方法５０２として示されている。ビデオ・セグメントＶのすべてのフレームの特徴ベクトルが、動作５１１で受け取られる。動作５１６は次に反復されて、ｎ−Ｉ個の他の新規フレームに関してフレームｉごとに１つの新規カバレッジ・スコアを計算する。カバレッジ・ベクトルｃの要素ｉが、受け取られたフレーム組Ｖについて次式のように計算される。
ｃ（ｉ）＝ｍａｘｗ_ｉｊ、ただしｊ∈Ｖ （１）
ここでｗ_ｉｊは、フレーム組Ｖ内のフレームｉとｊの対に関連した特徴ベクトル間の類似性を示す。２つのベクトルの類似性を測定するための多くの技法があるが、本発明者らは、コサイン類似性測定基準がＨＯＧ特徴ベクトルに対して適切に機能することを発見した。方法５０２で利用される類似性測定基準（similarity metric）は、たとえば、中央処理ユニット（ＣＰＵ）３５０によってインスタンス化されるオペレーティング・システム（ＯＳ）のカーネル空間内のサブシステム・ドライバ３１５（図３）によって制御することができる。類似性測定基準へのアクセスはさらに、ＯＳのユーザ空間で実行されるアプリケーション層の中のＲＴ要約制御パラメータ３５５によって行うことができる。新しいフレーム組Ｖ内のフレームごとに類似性測定基準の最大値を計算することは、カバレッジ・スコアを１つのベクトルに有利に限定する。動作５１７で（図５Ｂ）、動作５１６で計算された各ｃ（ｊ）が新要素としてカバレッジ・ベクトルｃに追加又は結合される。

方法５０２は、ｋ個の既存ストリーム要約フレームに関連した既存カバレッジ・スコアｃ（ｋ）を受け取ることを動作５０６で継続する。例示的な実施形態では、方法５０１の前の反復から記憶されている、方法５０２を呼び出した既存カバレッジ・スコアｃ（ｋ）が、メモリからフェッチされる。動作５１８で、カバレッジ・ベクトルｃのｎ個の要素がｋ個の記憶カバレッジ・スコアｃ（ｋ）と結合され、それにより、カバレッジ・ベクトルｃはすべての候補フレーム（既存及び新規）を包含する。

図５Ａに戻ると、方法５０１は動作５２０を継続し、２次元多様性行列（2D diversity matrix）が計算される。多様性行列は、新たに受け取られた組Ｖ内のフレームごとの、その組内の他のフレームに対する、及び各既存フレームに対する多様性スコアを含む。多様性スコアは、動作５１０で計算された特徴ベクトル間の距離を表す測定基準である。特徴ベクトルがＨＯＧベクトルである例示的な実施形態では、多様性スコアは、候補プール内の全フレームの対形成に関するカラー・ヒストグラム（color histograms）間の距離を表す。動作５２０の１つの例示的な実施形態がさらに、図５Ｃに方法５０３として示されている。図５Ｃに示されるように、ビデオ・セグメントＶの全フレームの特徴ベクトルが再び、動作５１１で受け取られる。加えて、全ｋ個の要約フレームの特徴ベクトルが動作５２１で受け取られる。動作５２２で、ｎ＋ｋ個の特徴ベクトルのすべての排他的対の間の距離が計算されて、多様性行列Ｄが生成され、要素（ｉ，ｊ）が次式のように計算される。
Ｄ（ｉ，ｊ）＝ｄ_ｉｊ （２）
ここでｄ_ｉｊは、フレームｉとｊの間の距離測定基準である。距離測定基準ｄ_ｉｊは、それだけには限らないが、ユークリッド距離、カイ二乗距離、マハラノビス距離など、当技術分野で知られているどれでもよい。特徴ベクトルがＨＯＧベクトルである例示的な実施形態では、カイ二乗距離測定基準が多様性行列Ｄを生成するのに有利であることが分かった。同様の類似性測定基準、方法５０３に利用された距離測定基準は、たとえば、中央処理ユニット（ＣＰＵ）３５０によってインスタンス化されるオペレーティング・システム（ＯＳ）のカーネル空間内のサブシステム・ドライバ３１５（図３）によって制御することができる。距離測定基準へのアクセスはさらに、ＯＳのユーザ空間内で実行される、アプリケーション層内のＲＴ要約制御パラメータ３５５によって行うこともできる。

図５Ａに戻ると、方法５０１は動作５３０で継続し、ストリーム要約フレームのバッチが、選択のためのカバレッジ・スコア及び多様性スコアに基づいて、現在の反復のために選択される。動作５３０の１つの例示的な実施形態がさらに、図５Ｄに方法５０４として示されている。カバレッジ・ベクトルｃ及び多様性行列Ｄが、動作５１９、５２４で受け取られる。動作５３１で、最適化ベクトルｘが、ｋ個のフレームの組を最大カバレッジ及び最大相互多様性によって識別する。フレームｉがストリーム要約に含まれるかどうかを要素ｉが示す、次元ｎ＋ｋの二値ベクトルを考える。カバレッジ・スコア及び多様性スコアの次元の故に、選択はこのように、整数二次計画法（ＱＰ）問題として形式化することができる。すなわち、
［外１］

ここで、ｘ^Ｔはｘのベクトル転置であり、次式のようになる。
［外２］

しかし、式（３）の解は、整数制約が可変ベクトルｘに置かれる場合には、ＮＰ困難になる。したがって、有利な実施形態では、整数制約が緩和され連続的になることができ、ベクトルｘのすべての要素が０と１の間の実数に制約される。その場合、式３は、任意の既知のＱＰ解放を用いて容易に解くことができる。その場合、解ベクトルの最上位ｋ個のエントリは１に設定され、残りはゼロに設定されて、整数解を再構築することができる。この最適化ベクトルは、破棄されるべき（値が０の要素）、また要約フレームとして選択されるべき（値が１の要素）新規フレーム及び既存フレームを識別する。

図５Ａに戻ると、方法５０１は次に、ｋ個の要約フレームを動作４５０で記憶して終了する。有利な実施形態では、動作４５０で記憶されたフレームごとに、対応するカバレッジ・スコアがそのフレームに関連して記憶されて、それに続く次のフレームの組（たとえば、図５Ｂの５０６で読み出される）との比較が容易になる。１つの非選択既存フレームは、新規フレームが選択されるごとに、ストリーム要約内で除去／置換される。非選択既存フレームに関連したいずれのカバレッジ・スコアもまた、除去／置換される。

図７は、１つ以上の実施形態によるＲＴビデオ・データ・ストリーム取込み要約アーキテクチャを使用する、例示的な超低電力システム７００の図である。システム７００はモバイル・デバイスであり得るが、システム７００はこの文脈に限定されない。たとえば、システム７００は、ウェアラブル計算デバイス、超ラップトップ・コンピュータ、タブレット、タッチ・パッド、手持ち式コンピュータ、パームトップ・コンピュータ、セルラー電話、スマート・デバイス（たとえば、スマート・フォン、スマート・タブレット、又はモバイル・テレビジョン）、モバイル・インターネット・デバイス（ＭＩＤ：mobile internet device）、メッセージ・デバイス、データ通信デバイスなどに組み込むことができる。システム７００はまた、インフラ・デバイスでもあり得る。たとえば、システム７００は、大型テレビジョン、セットトップ・ボックス、デスクトップ・コンピュータ、又は他の家庭用若しくは商用のネットワーク・デバイスに組み込むことができる。

システム７００は、様々なストリーミング・ビデオ・カメラ要約方法の全部又は一部、及び図１〜図６の状況で上述したＲＴストリーミング・ビデオ要約システムのうちのいずれかを提供できるデバイス・プラットフォーム７０２を含む。様々な例示的実施形態では、ビデオ・プロセッサ７１５がＲＴビデオ要約アルゴリズムを実行する。ビデオ・プロセッサ７１５は論理回路を含み、これは、たとえば本明細書のどこか別のところで説明されたＣＭ３７０からストリーミングされたビデオ・フレーム・データと同期して、ビデオ要約画像の組を反復生成するためのＲＴビデオ要約システム２１７を実現する。いくつかの実施形態では、１つ以上のコンピュータ可読媒体が命令を記憶することができ、この命令は、ＣＰＵ７１０及び／又はビデオ・プロセッサ７１５によって実行されたとき、プロセッサに、上記で詳細に説明されたもののいずれかなど、１つ以上のＲＴビデオ要約アルゴリズムを実行させる。ＣＭ３７０によって露光された１つ以上の画像データ・フレームが次に、ストリーミングされたビデオ要約データとしてメモリ７１２に記憶され得る。

諸実施形態では、デバイス・プラットフォーム７０２がヒューマン・インターフェース・デバイス（ＨＩＤ：human interface device）７２０に結合される。プラットフォーム７０２は、ＣＭ３７０を用いて生画像データを収集することができ、このデータは処理され、ＨＩＤ７２０へ出力される。１つ以上のナビゲーション機能を含むナビゲーション・コントローラ７５０を使用して、たとえばデバイス・プラットフォーム７０２及び／又はＨＩＤ７２０と相互作用することができる。諸実施形態では、ＨＩＤ７２０は、無線機７１８及び／又はネットワーク７６０を介してプラットフォーム７０２に結合された任意のテレビ型モニタ、又は表示装置を含むことができる。ＨＩＤ７２０は、たとえば、コンピュータ表示装置画面、タッチ画面表示装置、ビデオ・モニタ、テレビジョンのようなデバイス、及び／又はテレビジョンを含み得る。

１つ以上のソフトウェア・アプリケーション７１６の制御のもとで、デバイス・プラットフォーム７０２は、ユーザ・インターフェース７２２をＨＩＤ７２０に表示することができる。コントローラ７５０のナビゲーション機能の動きは、表示装置（たとえば、ＨＩＤ７２０）上で、ポインタ、カーソル、フォーカス・リング、又は表示装置上に表示される他の視覚インジケータの動きによって再現することができる。たとえば、ソフトウェア・アプリケーション７１６の制御のもとで、ナビゲーション・コントローラ７５０に置かれたナビゲーション機能は、ユーザ・インターフェース７２２に表示される仮想ナビゲーション機能にマッピングすることができる。

諸実施形態では、デバイス・プラットフォーム７０２は、ＣＭ３７０、チップセット７０５、プロセッサ７１０、７１５、メモリ／記憶装置７１２、アプリケーション７１６、及び／又は無線機７１８の任意の組合せを含むことができる。チップセット７０５は、プロセッサ７１０、７１５、メモリ７１２、ビデオ・プロセッサ７１５、アプリケーション７１６、又は無線機７１８の間の相互通信を可能にすることができる。

プロセッサ７１０、７１５のうちの１つ以上は、１つ以上の複合命令セット・コンピュータ（ＣＩＳＣ）プロセッサ若しくは縮小命令セット・コンピュータ（ＲＩＳＣ）プロセッサ、ｘ８６命令セット互換プロセッサ、マルチコア、又は任意の他のマイクロプロセッサ若しくは中央処理ユニット（ＣＰＵ）として実施することができる。

メモリ７１２は、それだけには限らないが、ランダム・アクセス・メモリ（ＲＡＭ）、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、又はスタティックＲＡＭ（ＳＲＡＭ）などの揮発性メモリ・デバイスとして実施することができる。メモリ７１２はまた、それだけには限らないが、フラッシュ・メモリ、バッテリ・バックアップＳＤＲＡＭ（シンクロナスＤＲＡＭ）、磁気メモリ、位相変化メモリなどの不揮発性記憶デバイスとして実施することもできる。

無線機７１８は、様々な適切な無線通信技法を使用して信号を送受信することができる１つ以上の無線機を含み得る。このような技法は、１つ以上の無線ネットワークにわたる通信を含み得る。例示的な無線ネットワークは、（それだけには限らないが）無線ローカル・エリア・ネットワーク（ＷＬＡＮ）、無線パーソナル・エリア・ネットワーク（ＷＰＡＮ）、無線メトロポリタン・エリア・ネットワーク（ＷＭＡＮ）、セルラー・ネットワーク、及び衛星ネットワークを含む。このようなネットワークにわたって通信する際、無線機６１８は、該当する１つ以上の、任意のバージョンの標準に従って動作することができる。

諸実施形態では、システム７００は無線システム、有線システム、又は双方の組合せとして実施することができる。無線システムとして実施される場合、システム７００は、１つ以上のアンテナ、送信機、受信機、トランシーバ、増幅器、フィルタ、制御論理回路などの無線共用媒体を介して通信するのに適している構成要素及びインターフェースを含むことができる。無線共用媒体の一例には、ＲＦスペクトルなどの無線スペクトルの一部が含まれ得る。有線システムとして実施される場合、システム７００は、入力／出力（Ｉ／Ｏ）アダプタ、Ｉ／Ｏアダプタを対応する有線通信媒体に接続するための物理的コネクタ、ネットワーク・インターフェース・カード（ＮＩＣ）、ディスク・コントローラ、ビデオ・コントローラ、オーディオ・コントローラなどの、有線通信媒体を介して通信するのに適している構成要素及びインターフェースを含むことができる。有線通信媒体の例には、電線、ケーブル、金属リード、印刷回路基板（ＰＣＢ）、バックプレーン、スイッチ・ファブリック、半導体材料、ツイストペア線、同軸ケーブル、光ファイバなどが含まれ得る。

本明細書で説明されたＲＴストリーミング・ビデオ要約アーキテクチャ及び関連した要約過程は、様々なハードウェア・アーキテクチャ、セル設計、又は「ＩＰコア」として実施することができる。

上述のように、システム７００は、変化する物理的形式又はフォーム・ファクタで具現化することができる。図８はさらに、システム７００を具現化できるモバイル・ハンドセット・デバイス８００の実施形態を示す。諸実施形態では、たとえばデバイス８００は、無線機能を有するモバイル計算デバイスとして実施することができる。モバイル計算デバイスは、処理システムと、たとえば１つ以上の電池などのモバイル電源すなわちパワー・サプライとを有する任意のデバイスを指すことができる。モバイル計算デバイスの例には、超ラップトップ・コンピュータ、タブレット、タッチ・パッド、ポータブル・コンピュータ、手持ち式コンピュータ、パームトップ・コンピュータ、携帯情報端末（ＰＤＡ）、セルラー電話、一体型セルラー電話／ＰＤＡ、テレビジョン、スマート・デバイス（たとえば、スマート・フォン、タブレット、又はスマート・テレビジョン）、モバイル・インターネット・デバイス（ＭＩＤ）、メッセージ・デバイス、データ通信デバイスなどが含まれ得る。モバイル計算デバイスの例にはまた、手首コンピュータ、指コンピュータ、リング・コンピュータ、眼鏡コンピュータ、ベルト留めコンピュータ、腕章コンピュータ、靴コンピュータ、衣服コンピュータ、及び他のウェアラブル・コンピュータなど、人に着用されるように構成されたコンピュータ、及び／又は媒体取込み／伝送デバイスが含まれ得る。様々な実施形態では、たとえば、モバイル計算デバイスは、コンピュータ・アプリケーション並びに音声通信及び／又はデータ通信を実行することができるスマート・フォンとして実施することができる。いくつかの実施形態は、例示的にスマート・フォンとして実施されるモバイル計算デバイスを用いて説明できるが、他の実施形態が、他の無線モバイル計算デバイスを使用して同様に実施され得ることが理解されよう。実施形態は、この文脈に限定されない。

図８に示されるように、モバイル・ハンドセット・デバイス８００は、前部８０１及び後部８０２があるハウジングを含み得る。デバイス８００は、表示装置８０４、入力／出力（Ｉ／Ｏ）デバイス８０６、及び内蔵アンテナ８０８を含む。デバイス８００はまた、ナビゲーション機能８１２を含み得る。表示装置８０４は、モバイル計算デバイスに適した情報を表示するための任意の適切な表示ユニットを含み得る。Ｉ／Ｏデバイス８０６は、情報をモバイル計算デバイスに入力するための任意の適切なＩ／Ｏデバイスを含み得る。Ｉ／Ｏデバイス８０６の例には、英数字のキーボード、数字キーパッド、タッチ・パッド、入力キー、ボタン、スイッチ、マイクロフォン、スピーカ、音声認識デバイス及びソフトウェアなどが含まれ得る。情報は、マイクロフォン（図示せず）によってデバイス８００に入力されても、音声認識デバイスによってデジタル化されてもよい。実施形態は、この文脈に限定されない。少なくとも後部８０２の中にカメラ８０５（たとえば、レンズ、開口部、及びイメージ・センサを含む）及びフラッシュ８１０が内蔵され、その両方がＣＭの構成要素であり得る。このＣＭによってストリーミング・ビデオが露光され、本明細書のどこか別のところで説明されたビデオ要約システムへ出力される。

本明細書で説明された実施形態は、ハードウェア要素、ソフトウェア要素、又は双方の組合せを使用して実施することができる。ハードウェア要素又はモジュールの例には、プロセッサ、マイクロプロセッサ、回路、回路要素（たとえば、トランジスタ、抵抗、コンデンサ、インダクタなど）、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能論理デバイス（ＰＬＤ）、デジタル信号プロセッサ（ＤＳＰ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、論理ゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセットなどが含まれる。ソフトウェア要素又はモジュールの例には、アプリケーション、コンピュータ・プログラム、アプリケーション・プログラム、システム・プログラム、機械プログラム、オペレーティング・システム・ソフトウェア、ミドルウェア、ファームウェア、ルーチン、サブルーチン、関数、方法、手順、ソフトウェア・インターフェース、アプリケーション・プログラミング・インターフェース（ＡＰＩ）、命令セット、計算コード、コンピュータ・コード、コード・セグメント、コンピュータ・コード・セグメント、データ語、値、記号、又はこれらの任意の組合せが含む。ある実施形態がハードウェア要素及び／又はソフトウェア要素を使用して実現されるかどうかの判断は、それだけには限らないが、所望の計算速度、電力レベル、耐熱性、処理サイクル・バジェット、入力データ転送速度、出力データ転送速度、メモリ・リソース、データバス速度、及び他の設計制約又は性能制約などの、設計の選択のために考慮された任意の数の要因に応じて、異なり得る。

少なくとも１つの実施形態の１つ以上の態様は、機械可読記憶媒体に記憶された代表的な命令によって実施することができる。このような命令は、機械によるその実行の間、完全に、又は少なくとも部分的に主メモリ内及び／又はプロセッサ内に存在することができ、その場合、命令を記憶している主メモリ部及びプロセッサ部もまた、機械可読記憶媒体を構成している。プログラム可能論理回路は、コンピュータ可読媒体を実装するプロセッサによって構成されたレジスタ、状態機械などを有し得る。その場合、このような論理回路は、プログラムされると、本明細書で説明された実施形態の範囲内に入るシステムに物理的に変換されるものと理解され得る。プロセッサ内で様々な論理を表現する命令は、機械によって読み出されるとやはり、その機械が、本明細書で説明されたアーキテクチャに付着する論理回路を作製する、かつ／又は本明細書で説明された技法を実施することになり得る。セル設計、又はＩＰコアとして知られるこのような表現は、有形の機械可読媒体に記憶することができ、様々な顧客又は製造施設に供給して、論理回路又はプロセッサを実際に作る製造機械にロードすることができる。

本明細書に論述されたいくつかの特徴が諸実施形態に関して説明されたが、この説明は、限定的な意味に解釈されるべきものではない。それゆえに、本明細書で説明された実施態様、並びに他の実施態様の、本開示に関係する当業者には明らかである様々な修正形態は、本開示の趣旨及び範囲内にあると考えられる。

以下の各項では、いくつかの例示的な実施形態を簡潔に説明する。

１つ以上の第１の実施形態では、取り込まれたビデオ・データ・ストリーム要約方法は、連続露光されたビデオ・データ・フレームのストリームをカメラ・ハードウェア・モジュール（ＣＭ）から受け取るステップを含む。この方法は、ビデオ・データ・フレームのうちの１つ以上を含むストリーム要約を、ＣＭから受け取られたフレームの新しい各組に基づいて反復して評価するステップを含む。評価するステップはさらに、ＣＭから受け取られたフレームの新しい組内の各新規フレームを新しい組内の他のフレームに対して、かつ前の反復によるストリーム要約内に含まれる各既存フレームに対してスコアリングするステップを含む。評価するステップはさらに、新規フレーム及び既存フレームを含むプールからフレームを、選択のためにフレーム・スコアリングを最適化する目的関数の解に基づいて選択するステップを含む。この方法はさらに、メモリに記憶されたストリーム要約を、新規フレームを既存フレームよりも優先して選択したことに応答して更新するステップを含む。

１つ以上の第１の実施形態を促進するために、各新規フレームをスコアリングするステップはさらに、特徴ベクトルを新しい組内の各フレームについて計算するステップを含む。各新規フレームをスコアリングするステップはさらに、新規カバレッジ・スコアを特徴ベクトルに基づいて、新しい組内の各フレームについて新しい組内の別のフレームに対し計算するステップを含む。各新規フレームをスコアリングするステップはさらに、多様性スコアを特徴ベクトルに基づいて、新しい組内の各フレームについて新しい組内の別のフレームに対し、かつ各既存フレームに対し計算するステップを含む。この方法はさらに、１つ以上のフレームを選択するステップがさらに、所定の数の要約フレーム・スロットを、選択のためにカバレッジ・スコア及び多様性スコアを最大化する目的関数の解に関連した既存フレーム及び新規フレームによって、生成するステップを含むことを含む。

すぐ上に記載の実施形態を促進するために、特徴ベクトルは勾配方向ヒストグラム（ＨＯＧ）に基づいている。新規カバレッジ・スコアを計算するステップは、類似性測定基準の最大値を含むカバレッジ・ベクトルを新しい組内のフレームごとに決定するステップを含む。多様性スコアを計算するステップは、プール内の全フレームの対形成に対するカラー・ヒストグラム間の距離を含む２次元多様性行列を決定するステップを含む。

第１の実施形態のいずれかを促進するために、ストリーム要約を更新するステップはさらに、ストリーム要約に、選択された各新規フレームを追加するステップと、ストリーム要約に、選択された各新規フレームに関連したカバレッジ・スコアを追加するステップとを含む。各新規フレームをスコアリングするステップはさらに、特徴ベクトルを組内の各フレームについて計算するステップを含む。各新規フレームをスコアリングするステップはさらに、新規カバレッジ・スコアを特徴ベクトルに基づいて、組内の各フレームについて組内の別のフレームに対し計算するステップを含む。この方法はさらに、２次元多様性行列を特徴ベクトルに基づいて計算するステップとを含み、この行列は、組内の他のフレームに対する、かつ各既存フレームに対する組内のフレームごとの多様性スコアを含む。１つ以上のフレームを選択するステップはさらに、カバレッジ・ベクトルを、新規カバレッジ・スコアと記憶カバレッジ・スコアを結合することによって計算するステップを含む。１つ以上のフレームを選択するステップはさらに、カバレッジ・ベクトル及び多様性行列を含む目的関数を、最大多様性スコア及び最大カバレッジ・スコアを有する最適化ベクトルを求めて解くステップを含む。１つ以上のフレームを選択するステップはさらに、最適化ベクトルによって識別された新規フレーム及び既存フレームを選択するステップを含む。

１つ以上の第１の実施形態を促進するために、ストリーム要約を更新するステップはさらに、ストリーム要約に、選択された各新規フレームを追加するステップを含む。ストリーム要約を更新するステップはさらに、ストリーム要約に、選択された各新規フレームに関連したカバレッジ・スコアを追加するステップを含む。ストリーム要約を更新するステップはさらに、ストリーム要約から１つの非選択既存フレームを、選択された新規フレームごとに削減するステップを含む。ストリーム要約を更新するステップはさらに、ストリーム要約から、ストリーム要約から除去された各非選択既存フレームに関連したカバレッジ・スコアを削減するステップを含む。

すぐ上に記載の実施形態を促進するために、ストリーム要約は、所定の数のストリーム要約フレーム・スロットを含む。各既存フレームは、要約フレーム・スロットのうちの１つを占有する。ストリーム要約を更新するステップはさらに、新規フレームを優先してフラッシュされた既存フレームに関連した要約フレーム・スロットのコンテンツをスワップするステップを含む。この方法はさらに、ストリーム要約によって要約されたビデオ・データ・フレームを、より最近に露光されたビデオ・データ・フレーム・データで上書きするステップを含む。

すぐ上に記載の実施形態を促進するために、この方法はさらに、第２のメモリに、各フレームと、ストリーム要約スロットから除去された関連カバレッジ値（associated coverage value）とを記憶するステップを含む。この方法はさらに、要約フレーム・スロットに関連したフレーム及び第２のメモリに記憶されたフレームを含むフレームのプールからの、フレームの第２の選択を、第２のストリーム要約の所定の数のスロットに対するフレーム・スコアリングを最適化する目的関数の解に基づいて、実行するステップを含む。この方法はさらに、第２の選択によるフレームをメモリに記憶するステップを含む。

第１の実施形態を促進するために、ＣＭから受け取られたストリームはフレーム率と関連付けられ、評価するステップは、フレーム率を新しい各組に含まれるフレームの所定の数で割ったものに少なくとも等しい速度で反復される。

第１の実施形態を促進するために、この方法は、第２のメモリに、ストリーム要約よりも多いフレームを有するストリームが表現されたものを記憶するステップと、ストリーム表現に、ストリーム要約に基づいて索引を付けるステップとをさらに含む。

１つ以上の第２の実施形態では、ビデオ・データ・ストリーム取込み要約システムは、連続露光されたビデオ・データ・フレームのストリームを生成するカメラ・ハードウェア・モジュール（ＣＭ）を含む。このシステムは、フレームのうちの１つ以上を含むストリーム要約を、ＣＭから受け取られた新しい各組に基づいて反復して評価する、ＣＭに結合された論理回路を含む。論理回路はさらに、ＣＭから受け取られたフレームの新しい組内の各新規フレームを新しい組内の他のフレームに対して、かつ前の反復によるストリーム要約内に含まれる各既存フレームに対してスコアリングする、フレーム・スコアリング論理回路を含む。論理回路はさらに、新規フレーム及び既存フレームを含むプールからフレームを、選択のためにフレーム・スコアリングを最適化する目的関数の解に基づいて選択する、フレーム選択論理回路を含む。このシステムは、メモリに記憶されたストリーム要約を、新規フレームを既存フレームよりも優先して選択したことに応答して更新する論理回路を含む。

第２の実施形態を促進するために、フレーム・スコアリング論理回路はさらに、特徴ベクトルを新しい組内の各フレームについて計算する。フレーム・スコアリング論理回路はさらに、新規カバレッジ・スコアを特徴ベクトルに基づいて、新しい組内の各フレームについて新しい組内の別のフレームに対し計算する。フレーム・スコアリング論理回路はさらに、多様性スコアを特徴ベクトルに基づいて、新しい組内の各フレームについて新しい組内の別のフレームに対し、かつ各既存フレームに対し計算する。

第２の実施形態を促進するために、フレーム・スコアリング論理回路はさらに、勾配方向ヒストグラム（ＨＯＧ）に基づく特徴ベクトルを新しい組内の各フレームについて計算する。フレーム・スコアリング論理回路はさらに、新規カバレッジ・スコアを特徴ベクトルに基づいて、新しい組内の各フレームについて新しい組内の別のフレームに対し、新しい組内のフレームごとに類似性測定基準の最大値を含むカバレッジ・ベクトルを決定することによって計算する。フレーム・スコアリング論理回路はさらに、多様性スコアを特徴ベクトルに基づいて、新しい組内の各フレームについて新しい組内の別のフレームに対し、かつ各既存フレームに対し、プール内の全フレームの対形成に対するカラー・ヒストグラム間の距離を含む２次元多様性行列を決定することによって計算する。

第２の実施形態を促進するために、ストリーム要約を更新する論理回路は、ストリーム要約に、選択された各新規フレームを追加し、またストリーム要約に、選択された各新規フレームに関連したカバレッジ・スコアを追加する。フレーム・スコアリング論理回路はさらに、特徴ベクトルを組内の各フレームについて計算する。フレーム・スコアリング論理回路はさらに、新規カバレッジ・スコアを特徴ベクトルに基づいて、組内の各フレームについて組内の別のフレームに対し計算する。フレーム・スコアリング論理回路はさらに、カバレッジ・ベクトルを、新規カバレッジ・スコアと記憶カバレッジ・スコアを結合することによって計算する。フレーム・スコアリング論理回路はさらに、２次元多様性行列を特徴ベクトルに基づいて計算し、この行列は、組内の他のフレームに対する、かつ各既存フレームに対する組内のフレームごとの多様性スコアを含む。フレーム選択論理回路はさらに、カバレッジ・ベクトル及び多様性行列を含む目的関数を、最大多様性スコア及び最大カバレッジ・スコアを有する最適化ベクトルを求めて解き、最適化ベクトルによって識別された新規フレーム及び既存フレームを選択する。

第２の実施形態を促進するために、ストリーム要約を更新する論理回路は、ストリーム要約に、選択された各新規フレームを追加し、ストリーム要約に、選択された各新規フレームに関連したカバレッジ・スコアを追加し、ストリーム要約から１つの非選択既存フレームを、選択された新規フレームごとに削減し、ストリーム要約から、ストリーム要約から除去された各非選択既存フレームに関連したカバレッジ・スコアを削減する。

すぐ上に記載の実施形態を促進するために、ストリーム要約は、所定の数のストリーム要約フレーム・スロットと関連付けられる。各既存フレームは、要約フレーム・スロットのうちの１つを占有する。ストリーム要約を更新する論理回路は、新規フレームを優先してフラッシュされた既存フレームに関連した要約フレーム・スロットのコンテンツをスワップする。システムがさらに、ストリーム要約によって要約されたビデオ・データ・フレームを、より最近に露光されたビデオ・データ・フレーム・データで上書きする循環バッファを含む。

すぐ上に記載の実施形態を促進するために、システムはさらに、各フレームと、ストリーム要約スロットから除去された関連カバレッジ値とを記憶する第２のメモリを含む。フレーム選択論理回路は、要約フレーム・スロットに関連したフレーム及び第２のメモリに記憶されたフレームを含むフレームのプールからの、フレームの第２の選択を、選択フレームに対するフレーム・スコアリングを最適化する目的関数の解に基づいて実行する。

１つ以上の第３の実施形態では、コンピュータ可読記憶媒体に命令が記憶されており、この命令は、プロセッサによって実行されたとき、プロセッサに、第１の実施形態のいずれかに記載された方法を実行させる。

第３の実施形態を促進するために、コンピュータ可読記憶媒体に命令が記憶されており、この命令は、プロセッサによって実行されたとき、プロセッサに、連続露光されたビデオ・データ・フレームのストリームからのビデオ・データ・フレームの１つ以上を含むストリーム要約を、受け取られたフレームの新しい各組に基づいて、反復して評価するステップを含む方法を実行させる。この評価するステップはさらに、ＣＭから受け取られたフレームの新しい組内の各新規フレームを新しい組内の他のフレームに対して、かつ前の反復によるストリーム要約内に含まれる各既存フレームに対して、スコアリングするステップを含む。命令によりさらにプロセッサが、新規フレーム及び既存フレームを含むプールからフレームを、選択のためにフレーム・スコアリングを最適化する目的関数の解に基づいて選択するステップを含む、方法を実行することになる。命令によりさらにプロセッサが、メモリに記憶されたストリーム要約を、新規フレームを既存フレームよりも優先して選択したことに応答して更新するステップを含む方法を実行することになる。

すぐ上に記載の実施形態を促進するために、媒体は記憶した命令をさらに含み、この命令は、プロセッサによって実行されたとき、プロセッサに、ストリーム要約に、選択された各新規フレームを追加すること、ストリーム要約に、選択された各新規フレームに関連したカバレッジ・スコアを追加すること、各新規フレームを、特徴ベクトルを組内の各フレームについて計算することによってスコアリングすること、及び新規カバレッジ・スコアを、特徴ベクトルに基づいて組内の各フレームについて組内の別のフレームに対し計算することによって、ストリーム要約を更新するステップをさらに含む方法を実行させる。この方法はさらに、２次元多様性行列を特徴ベクトルに基づいて計算するステップとを含み、この行列は、組内の他のフレームに対する、かつ各既存フレームに対する組内のフレームごとの多様性スコアを含む。この方法はさらに、カバレッジ・ベクトルを、新規カバレッジ・スコアと記憶カバレッジ・スコアを結合することによって計算すること、カバレッジ・ベクトル及び多様性行列を含む目的関数を、最大多様性スコア及び最大カバレッジ・スコアを有する最適化ベクトルを求めて解くこと、並びに最適化ベクトルによって識別された新規フレーム及び既存フレームを選択することによって、１つ以上のフレームを選択するステップを含む。

上記の実施形態を促進するために、特徴ベクトルは勾配方向ヒストグラム（ＨＯＧ）に基づいている。この方法はさらに、新規カバレッジ・スコアを計算するステップが、類似性測定基準の最大値を含むカバレッジ・ベクトルを新しい組内のフレームごとに決定するステップを含み、多様性スコアを計算するステップが、プール内の全フレームの対形成に対するカラー・ヒストグラム間の距離を含む２次元多様性行列を決定するステップを含むことを含む。

第３の実施形態を促進するために、媒体はさらに命令を含み、この命令は、実行されたとき、システムに、第２のメモリに、各フレームと、ストリーム要約スロットから除去された関連カバレッジ値とを記憶するステップと、要約フレーム・スロットに関連したフレーム及び第２のメモリに記憶されたフレームを含むフレームのプールからの、フレームの第２の選択を、第２のストリーム要約の所定の数のスロットに対するフレーム・スコアリングを最適化する目的関数の解に基づいて実行するステップと、第２の選択によるフレームをメモリに記憶するステップとをさらに含む方法を実行させる。

１つ以上の第４の実施形態では、ビデオ・データ・ストリーム取込み要約システムが、連続露光されたビデオ・データ・フレームのストリームを生成するビデオ記録手段を含む。このシステムは、フレームのうちの１つ以上を含むストリーム要約を、ビデオ記録手段から受け取られた新しい各組に基づいて、第１の実施形態の方法のうちのいずれか１つを実行することによって反復して評価する、ビデオ記録手段に結合されたビデオ要約手段を含む。

第４の実施形態を促進するために、ビデオ要約手段はさらに、ビデオ記録手段から受け取られたフレームの新しい組内の各新規フレームを新しい組内の他のフレームに対して、かつ前の反復によるストリーム要約内に含まれる各既存フレームに対してスコアリングする、フレーム・スコアリング手段を含む。要約手段はさらに、新規フレーム及び既存フレームを含むプールからフレームを、選択のためにフレーム・スコアリングを最適化する目的関数の解に基づいて選択する、フレーム選択手段を含む。ビデオ要約手段はさらに、メモリに記憶されたストリーム要約を、新規フレームを既存フレームよりも優先して選択したことに応答して更新する要約更新手段を含む。

すぐ上に記載の実施形態を促進するために、要約更新手段は、ストリーム要約に、選択された各新規フレームを追加し、またストリーム要約に、選択された各新規フレームに関連したカバレッジ・スコアを追加する。フレーム・スコアリング手段はさらに、特徴ベクトルを組内の各フレームについて計算し、新規カバレッジ・スコアを特徴ベクトルに基づいて、組内の各フレームについて組内の別のフレームに対し計算し、カバレッジ・ベクトルを、新規カバレッジ・スコアと記憶カバレッジ・スコアを結合することによって計算し、かつ２次元多様性行列を特徴ベクトルに基づいて計算する。この行列は、組内の他のフレームに対する、かつ各既存フレームに対する組内のフレームごとの多様性スコアを含む。フレーム選択手段はさらに、カバレッジ・ベクトル及び多様性行列を含む目的関数を、最大多様性スコア及び最大カバレッジ・スコアを有する最適化ベクトルを求めて解き、最適化ベクトルによって識別された新規フレーム及び既存フレームを選択する。

すぐ上に記載の実施形態を促進するために、システムはさらに、各フレームと、ストリーム要約スロットから除去された関連カバレッジ値とを記憶する第２のメモリを含む。フレーム選択手段は、要約フレームに関連したフレーム及び第２のメモリに記憶されたフレームを含むフレームのプールからの、フレームの第２の選択を、選択フレームに対するフレーム・スコアリングを最適化する目的関数の解に基づいて、実行する。

実施形態は、説明された例示的な実施形態に限定されるのではなく、添付の特許請求の範囲から逸脱しないで修正及び変更と共に実践できることを理解されたい。たとえば、上記の実施形態は、諸特徴の特定の組合せを含み得る。しかし、上記の実施形態はこの点に関して限定されず、諸実施形態の中で、上記の実施形態は、このような特徴の一部だけを引き受けること、このような特徴の異なる順序を引き受けること、このような特徴の異なる組合せを引き受けること、及び／又は明示的に列挙されたこれらの特徴以外の追加の特徴を引き受けることを含み得る。したがって、範囲は、添付の特許請求の範囲を基準として、このような特許請求の範囲の権利の対象となる等価物の全範囲と共に、決定されるべきである。

Claims (3)

1. シーケンスを実行するためにプロセッサによって実行される命令を含むコンピュータ・プログラムであって、
   前記シーケンスは、
   ビデオのフレーム間のショット境界を検出するショット境界検出を使用することと、
   各フレームの特徴に基づいて特徴ベクトルを記憶することと、
   ２つの検出されたショット境界の間の一連のフレームおいてオブジェクトを特定するために前記特徴ベクトルの特徴に基づいて物体検出技法を使用することと、
   ビデオにおいてフレームが他のフレームをいかに良く表現するかに基づく第１基準上で各フレームをスコアリングすることと、
   前記第１基準と異なる第２基準に基づいて各フレームをスコアリングすることと、
   前記ビデオ内の代表的なフレームのスコアに基づいて代表的なフレームを選択することとであって、前記スコアは、前記第１基準及び前記第２基準に基づいている、選択することと、
   を含む、コンピュータ・プログラム。
2. 勾配方向物体検出技法のヒストグラムを使用することをさらに含む、請求項１に記載のコンピュータ・プログラム。
3. 前記第２基準は、前記フレームが他のフレームをいかに良く表現するかとは異なる、請求項１に記載のコンピュータ・プログラム。

Images