JP2021526238A - スポーツイベントテレビジョン番組において群衆ノイズの発生を検出するためのオーディオ処理 - Google Patents

Abstract

スポーツイベントまたは他のイベントを描写する視聴覚コンテンツのハイライトのメタデータが視聴覚コンテンツから抽出される。ハイライトは、特に関心がある、スポーツイベントの放送などのコンテンツのセグメントであり得る。視聴覚コンテンツのオーディオデータが記憶され、共同の時間領域および周波数領域においてオーディオ信号を分析することによって、群衆の興奮（ノイズ）を示すオーディオデータの部分が自動的に識別される。群集ノイズの発生を検出、検証、およびレンダリングするために、複数のインジケータが導出され、その後に処理される。発生時間、ノイズ（興奮）のレベル、および歓声の持続時間を含むメタデータが自動的に生成される。メタデータは、視聴覚コンテンツ内の、部分の各々が発生する時間を示す時間インデックスを少なくとも含んで記憶され得る。激しい群集ノイズの期間は、ハイライトを識別するために、および／またはハイライトの閲覧中の群集の興奮を示すために使用され得る。【選択図】図４

Description

関連出願の相互参照
本出願は、２０１８年６月５日に出願された「Ａｕｄｉｏ Ｐｒｏｃｅｓｓｉｎｇ ｆｏｒ Ｄｅｔｅｃｔｉｎｇ Ｏｃｃｕｒｒｅｎｃｅｓ ｏｆ Ｃｒｏｗｄ Ｎｏｉｓｅ ｉｎ Ｓｐｏｒｔｉｎｇ Ｅｖｅｎｔ Ｔｅｌｅｖｉｓｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ」の米国仮出願第６２／６８０，９５５号（代理人整理番号ＴＨＵ００７−ＰＲＯＶ）からの優先権を主張し、その全体が参照により本明細書に組み込まれる。

本出願は、２０１８年７月３０日に出願された「Ａｕｄｉｏ Ｐｒｏｃｅｓｓｉｎｇ ｆｏｒ Ｅｘｔｒａｃｔｉｏｎ ｏｆ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｄｉｓｊｏｉｎｔ Ｓｅｇｍｅｎｔｓ ｆｒｏｍ Ｔｅｌｅｖｉｓｉｏｎ Ｓｉｇｎａｌ」の米国仮出願第６２／７１２，０４１号（代理人整理番号ＴＨＵ００６−ＰＲＯＶ）からの優先権を主張し、その全体が参照により本明細書に組み込まれる。

本出願は、２０１８年１０月１６日に出願された「Ａｕｄｉｏ Ｐｒｏｃｅｓｓｉｎｇ ｆｏｒ Ｄｅｔｅｃｔｉｎｇ Ｏｃｃｕｒｒｅｎｃｅｓ ｏｆ Ｌｏｕｄ Ｓｏｕｎｄ Ｃｈａｒａｃｔｅｒｉｚｅｄ ｂｙ Ｓｈｏｒｔ−Ｔｉｍｅ Ｅｎｅｒｇｙ Ｂｕｒｓｔｓ」の米国仮出願第６２／７４６，４５４号（代理人整理番号ＴＨＵ０１６−ＰＲＯＶ）からの優先権を主張し、その全体が参照により本明細書に組み込まれる。

本出願は、２０１９年５月２３日に出願された「Ａｕｄｉｏ Ｐｒｏｃｅｓｓｉｎｇ ｆｏｒ Ｄｅｔｅｃｔｉｎｇ Ｏｃｃｕｒｒｅｎｃｅｓ ｏｆ Ｃｒｏｗｄ Ｎｏｉｓｅ ｉｎ Ｓｐｏｒｔｉｎｇ Ｅｖｅｎｔ Ｔｅｌｅｖｉｓｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ」の米国実用新案出願第１６，４２１，３９１号（代理人整理番号ＴＨＵ００７）からの優先権を主張し、その全体が参照により本明細書に組み込まれる。

本出願は、２０１２年８月３１日に出願され、２０１５年６月１６日に米国特許第９，０６０，２１０号として発行された、「Ｇｅｎｅｒａｔｉｎｇ Ｅｘｃｉｔｅｍｅｎｔ Ｌｅｖｅｌｓ ｆｏｒ Ｌｉｖｅ Ｐｅｒｆｏｒｍａｎｃｅｓ」の米国実用新案出願第１３／６０１，９１５号に関連し、その全体が参照により本明細書に組み込まれる。

本出願は、２０１２年８月３１日に出願され、２０１４年９月２３日に米国特許第８，８４２，００７号として発行された、「Ｇｅｎｅｒａｔｉｎｇ Ａｌｅｒｔｓ ｆｏｒ Ｌｉｖｅ Ｐｅｒｆｏｒｍａｎｃｅｓ」の米国実用新案出願第１３／６０１，９２７号に関連し、その全体が参照により本明細書に組み込まれる。

本出願は、２０１２年８月３１日に出願され、２０１３年１１月２６日に米国特許第８，５９５，７６３号として発行された、「Ｇｅｎｅｒａｔｉｎｇ Ｔｅａｓｅｒｓ ｆｏｒ Ｌｉｖｅ Ｐｅｒｆｏｒｍａｎｃｅｓ」の米国実用新案出願第１３／６０１，９３３号に関連し、その全体が参照により本明細書に組み込まれる。

本出願は、２０１４年１０月９日に出願された「Ｇｅｎｅｒａｔｉｎｇ ａ Ｃｕｓｔｏｍｉｚｅｄ Ｈｉｇｈｌｉｇｈｔ Ｓｅｑｕｅｎｃｅ Ｄｅｐｉｃｔｉｎｇ ａｎ Ｅｖｅｎｔ」の米国実用新案出願第１４／５１０，４８１号（代理人整理番号ＴＨＵ００１）に関連し、その全体が参照により本明細書に組み込まれる。

本出願は、２０１５年５月１２日に出願された「Ｇｅｎｅｒａｔｉｎｇ ａ Ｃｕｓｔｏｍｉｚｅｄ Ｈｉｇｈｌｉｇｈｔ Ｓｅｑｕｅｎｃｅ Ｄｅｐｉｃｔｉｎｇ Ｍｕｌｔｉｐｌｅ Ｅｖｅｎｔｓ」の米国実用新案出願第１４／７１０，４３８号（代理人整理番号ＴＨＵ００２）に関連し、その全体が参照により本明細書に組み込まれる。

本出願は、２０１５年１０月７日に出願された「Ｃｕｓｔｏｍｉｚｅｄ Ｇｅｎｅｒａｔｉｏｎ ｏｆ Ｈｉｇｈｌｉｇｈｔ Ｓｈｏｗ ｗｉｔｈ Ｎａｒｒａｔｉｖｅ Ｃｏｍｐｏｎｅｎｔ」の米国実用新案出願第１４／８７７，６９１号（代理人整理番号ＴＨＵ００４）に関連し、その全体が参照により本明細書に組み込まれる。

本出願は、２０１６年９月１４日に出願された「Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｉｎｔｅｒａｃｔｉｏｎ ｗｉｔｈ Ｃｕｓｔｏｍｉｚｅｄ Ｈｉｇｈｌｉｇｈｔ Ｓｈｏｗｓ」の米国実用新案出願第１５／２６４，９２８号（代理人整理番号ＴＨＵ００５）に関連し、その全体が参照により本明細書に組み込まれる。

本出願は、２０１９年５月１４日に出願された「Ｖｉｄｅｏ Ｐｒｏｃｅｓｓｉｎｇ ｆｏｒ Ｅｎａｂｌｉｎｇ Ｓｐｏｒｔｓ Ｈｉｇｈｌｉｇｈｔｓ Ｇｅｎｅｒａｔｉｏｎ」の米国実用新案出願第１６／４１１，７０４号（代理人整理番号ＴＨＵ００９）に関連し、その全体が参照により本明細書に組み込まれる。

本出願は、２０１９年５月１４日に出願された「Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｒｅｃｏｇｎｉｚｉｎｇ ａｎｄ Ｉｎｔｅｒｐｒｅｔｉｎｇ Ｅｍｂｅｄｄｅｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｃａｒｄ Ｃｏｎｔｅｎｔ」の米国実用新案出願第１６／４１１，７１０号（代理人整理番号ＴＨＵ０１０）に関連し、その全体が参照により本明細書に組み込まれる。

本出願は、２０１９年５月１４日に出願された「Ｖｉｄｅｏ Ｐｒｏｃｅｓｓｉｎｇ ｆｏｒ Ｅｍｂｅｄｄｅｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｃａｒｄ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｎｔｅｎｔ Ｅｘｔｒａｃｔｉｏｎ」の米国実用新案出願第１６／４１１，７１３号（代理人整理番号ＴＨＵ０１２）に関連し、その全体が参照により本明細書に組み込まれる。

本文書は、マルチメディアコンテンツ、ならびにマルチメディアコンテンツを配信するテレビジョンデバイスおよびビデオサーバ上の関連情報を識別し、組み込みソフトウェアアプリケーションがマルチメディアコンテンツを利用してそのマルチメディアコンテンツと同期するコンテンツおよびサービスを提供できるようにするための技術に関する。様々な実施形態は、スポーツイベントを描写するテレビジョン番組コンテンツから情報を識別および抽出して、ゲーム中およびゲーム後の閲覧のためのビデオハイライトに関連するメタデータを作成する自動オーディオ分析を提供するための方法およびシステムに関する。

インタラクティブ広告などの拡張テレビジョンアプリケーション、ならびにゲーム前、ゲーム中およびゲーム後のインタラクティブアプリケーションを持つ拡張番組ガイドが長い間想定されてきた。もともと放送テレビジョン用に設計された既存のケーブルシステムは、インタラクティブテレビジョンサービスおよび拡張（インタラクティブ）番組ガイドを含む、新しいアプリケーションおよびサービスをサポートするよう求められている。

拡張テレビジョンアプリケーションを可能にするためのいくつかのフレームワークが標準化されている。例としては、ケーブルビデオネットワークを介して配信されるインタラクティブデジタルケーブルサービスを参照し、インタラクティブ番組ガイド、インタラクティブ広告、ゲームなどの特徴を含む、ＯｐｅｎＣａｂｌｅ（商標）拡張ＴＶアプリケーションメッセージング仕様、ならびにＴｒｕ２ｗａｙ仕様が挙げられる。さらに、ケーブル事業者の「ＯＣＡＰ」番組は、ｅコマースショッピング、オンラインバンキング、電子番組ガイド、デジタルビデオ録画などのインタラクティブサービスを提供する。これらの取り組みにより、番組編成者／放送局が配信するビデオコンテンツと同期され、追加のデータおよびインタラクティビティをテレビジョン番組に提供する、第１世代のビデオ同期アプリケーションが可能になった。

ビデオ／オーディオコンテンツ分析技術および対応するモバイルデバイスにおける最近の開発により、ライブＴＶ番組イベントと同期して動作する洗練されたアプリケーションの開発における一連の新しい可能性が開かれた。これらの新しい技術およびオーディオ信号処理およびコンピュータビジョンの進歩、ならびに最新のプロセッサの改善された計算能力により、テレビジョンおよび他のメディア環境において現在欠けているメタデータを伴う洗練された番組コンテンツのハイライトをリアルタイムで生成できる。

スポーツイベントのテレビジョン番組コンテンツから抽出されたオーディオストリームなどのオーディオデータの自動リアルタイム処理を可能にして、顕著な群衆ノイズ（例えば、聴衆の歓声）を検出、選択、および追跡するためのシステムおよび方法が提示される。

少なくとも１つの実施形態では、オーディオデータのスペクトログラムが構築され、スペクトルの大きさのピークの顕著なコレクションが、スライディング２次元時間周波数エリアウィンドウの各位置において識別される。分析ウィンドウの位置ごとにスペクトルインジケータが生成され、関連する時間位置を持つスペクトルインジケータのベクトルが形成される。後続の処理ステップでは、時間間隔が狭い選択されたインジケータと位置とのペアのランが、関心のある潜在的なイベントとして識別される。ランごとに、内部インジケータ値がソートされて、関連する時間位置を持つ最大大きさインジケータ値が取得される。さらに、ランごとに時間位置（開始／中央）および持続時間（インジケータと位置とのペアのカウント）が抽出される。各イベントの最大インジケータ値、開始／中央時間位置、およびラン持続時間を表すパラメータ（Ｍ、Ｐ、Ｄ）のトリプレットを含む予備イベントベクトルが形成される。この予備イベントベクトルは、その後処理されて、所望のイベントインターバル、イベントのラウドネス、およびイベント持続時間に対応する最終的な群集ノイズイベントベクトルが生成される。

少なくとも１つの実施形態では、群集ノイズイベント情報が抽出されると、それは、スポーツイベントビデオのハイライトに関連付けられたスポーツイベントメタデータに自動的に追加され、その後、ハイライトの自動生成に関連して使用することができる。

少なくとも１つの実施形態では、イベントの視聴覚ストリームからメタデータを抽出するための方法は、視聴覚ストリームから抽出されたオーディオデータをデータストアに記憶することと、プロセッサを使用して、イベントでの群衆の興奮を示すオーディオデータの１つ以上の部分を自動的に識別することと、視聴覚ストリーム内の、部分の各々が発生する時間を示す時間インデックスを少なくとも含むメタデータをデータストアに記憶することとを含み得る。あるいは、オーディオデータは、オーディオストリームから、または以前に記憶された視聴覚コンテンツもしくはオーディオコンテンツから抽出することができる。

視聴覚ストリームは、イベントの放送である場合がある。イベントは、スポーツイベント、または他の種類のイベントである場合がある。メタデータは、１人以上のユーザにとって特に関心があるとみなされるハイライトに関連する場合がある。

この方法は、出力デバイスを使用して、１人以上のユーザのうちの１人によるハイライトの閲覧中にメタデータを提示して、ハイライトに関連する群衆の興奮レベルを示すことをさらに含み得る。

この方法は、ハイライトの開始および／または終了を識別するために時間インデックスを使用することをさらに含み得る。以下で説明するように、ハイライトの開始および／または終了は、オフセットに基づいて調整できる。

この方法は、出力デバイスを使用して、１つ以上の部分の自動識別中に１人以上のユーザのうちの１人にハイライトを提示することをさらに含み得る。

この方法は、１つ以上の部分の自動識別の前に、オーディオデータを所望のサンプリングレートにリサンプリングすることによってオーディオデータを前処理することをさらに含み得る。

この方法は、１つ以上の部分の自動識別の前に、オーディオデータをフィルタリングすることによってオーディオデータを前処理して、ノイズを低減または除去することをさらに含み得る。

この方法は、１つ以上の部分の自動識別の前に、オーディオデータを前処理して、オーディオデータの少なくとも一部についてスペクトログラム（２次元時間周波数表現）を生成することをさらに含み得る。

１つ以上の部分を自動的に識別することは、スペクトログラムのスライディング２次元時間周波数分析ウィンドウの各位置におけるスペクトルの大きさのピークを識別することを含み得る。

１つ以上の部分を自動的に識別することは、分析ウィンドウの各位置のスペクトルインジケータを生成することと、スペクトルインジケータを使用して、関連する時間部分を持つスペクトルインジケータのベクトルを形成することと、をさらに含み得る。

この方法は、スペクトルインジケータと分析ウィンドウ位置との選択されたペアのランを識別することと、Ｒベクトルのセットで、識別されたランをキャプチャすることと、Ｒベクトルのセットを使用して１つ以上の最大大きさインジケータを取得することと、をさらに含み得る。

この方法は、Ｒベクトルの各々から時間インデックスを抽出することをさらに含み得る。

この方法は、各Ｒベクトルを、最大大きさインジケータ、時間インデックス、およびランのうちの１つのランレングスを表すパラメータトリプレットで置き換えることによって予備イベントベクトルを生成することをさらに含み得る。

この方法は、予備イベントベクトルを処理して、時間インデックスを含む群衆ノイズイベント情報を生成することをさらに含み得る。

さらなる詳細および変形態が本明細書に記載される。

添付の図面は、説明とともに、いくつかの実施形態を示す。当業者は、図面に示される特定の実施形態は単なる例示であり、範囲を限定することを意図するものではないことを認識するであろう。

ネットワーク接続されたコンテンツプロバイダを介してイベントコンテンツが提供される、クライアント／サーバの実施形態によるハードウェアアーキテクチャを示すブロック図である。 クライアントベースのストレージデバイスにイベントコンテンツが記憶される、別のクライアント／サーバの実施形態によるハードウェアアーキテクチャを示すブロック図である。 スタンドアロンの実施形態によるハードウェアアーキテクチャを示すブロック図である。 一実施形態による、システムアーキテクチャの概要を示すブロック図である。 一実施形態による、図１Ａ、Ｂ、および１Ｃのオーディオデータ、ユーザデータ、およびハイライトデータに組み込むことができるデータ構造の例を示す概略ブロック図である。 一実施形態による、時間領域においてスポーツイベントのテレビジョン番組コンテンツから抽出されたオーディオストリーム内の群集ノイズイベント（例えば、群集の歓声）の発生を示すオーディオ波形グラフの例を示す。 一実施形態による、時間周波数領域における、図３Ａのオーディオ波形グラフに対応するスペクトログラムの例を示す。 一実施形態による、メタデータを抽出するためのオーディオデータのオンザフライ処理を実行する方法を示すフローチャートである。 一実施形態による、時間周波数領域においてオーディオデータを分析して、長時間の群衆の歓声に関連するスペクトルの大きさのピークのクラスタリングを検出するための方法を示すフローチャートである。 一実施形態による、群集ノイズイベントベクトルの生成のための方法を示すフローチャートである。 一実施形態による、各Ｒベクトルの内部処理のための方法を示すフローチャートである。 一実施形態による、所望の群集ノイズイベントをさらに選択するための方法を示すフローチャートである。 一実施形態による、所望の群集ノイズイベントをさらに選択するための方法を示すフローチャートである。 一実施形態による、所望の群集ノイズイベントをさらに選択するための方法を示すフローチャートである。

定義
以下の定義は説明のみを目的として提示されており、範囲を限定することを意図するものではない。
●イベント：本明細書での説明では、「イベント」という用語は、ゲーム、セッション、試合、シリーズ、パフォーマンス、プログラム、コンサートなど、またはそれらの部分（アクト、期間、クォーター、ハーフ、イニング、シーン、チャプターなど）を指す。イベントは、スポーツイベント、娯楽イベント、イベントの参加者のより大きい集団内の単一の個人または個人のサブセットの特定のパフォーマンスなどであり得る。スポーツ以外のイベントの例としては、テレビジョンショー、ニュース速報、社会政治的事件、自然災害、映画、演劇、ラジオショー、ポッドキャスト、オーディオブック、オンラインコンテンツ、音楽パフォーマンスなどが挙げられる。イベントは任意の長さにすることができる。説明のために、この技術は、本明細書ではスポーツイベントの観点から説明されることが多い。しかしながら、当業者は、この技術が、視聴覚、オーディオ、ビジュアル、グラフィックスベース、インタラクティブ、非インタラクティブ、またはテキストベースのコンテンツのためのハイライトショーを含む、他のコンテキストにおいても使用できることを認識するであろう。したがって、説明における「スポーツイベント」という用語および他のスポーツ固有の用語の使用は、１つの可能な実施形態を例示することを意図するが、説明する技術の範囲をその１つの実施形態に限定することを意図しない。むしろ、そのような用語は、この技術に適切であるように、スポーツ以外の好適なコンテキストにまで及ぶとみなされるべきである。説明を容易にするために、「イベント」という用語は、イベントの視聴覚記録などのイベントのアカウントもしくは表現、またはイベントのアカウンティング、説明、もしくは描写を含む他のコンテンツ項目を指すためにも使用される。
●ハイライト：イベントの抜粋もしくは部分、または１人以上のユーザにとって特に関心があるとみなされるイベントに関連するコンテンツの抜粋もしくは部分。ハイライトは任意の長さにすることができる。概して、本明細書に記載の技術は、任意の好適なイベントについて、（特定の特性および／またはユーザの好みに基づいて選択され得る）カスタマイズされたハイライトのセットを識別および提示するためのメカニズムを提供する。「ハイライト」は、ハイライトの視聴覚記録などのハイライトのアカウントもしくは表現、またはハイライトのアカウンティング、説明、もしくは描写を含む他のコンテンツ項目を指すためにも使用され得る。ハイライトは、イベント自体の描写に限定される必要はないが、イベントに関連する他のコンテンツを含むことができる。例えば、スポーツイベントの場合、ハイライトは、ゲーム中のオーディオ／ビデオ、ならびにゲーム前、ゲーム中、およびゲーム後のインタビュー、分析、解説などの他のコンテンツを含むことができる。このようなコンテンツは、（例えば、イベント自体を描写する視聴覚ストリームの一部として）リニアテレビジョンから記録するか、または他の任意の数のソースから取得することができる。例えば、発生（プレー）、ストリング、所持、シーケンスを含む、様々なタイプのハイライトを提供でき、これらはすべて以下で定義されている。ハイライトは固定の持続時間である必要はないが、以下で説明するように、開始オフセットおよび／または終了オフセットを組み込むことができる。
●クリップ：イベントのオーディオ、ビジュアル、または視聴覚表現の部分。クリップは、ハイライトに対応するか、またはハイライトを表す場合がある。本明細書の多くのコンテキストでは、「セグメント」という用語が「クリップ」と交換可能に使用される。クリップは、オーディオストリーム、ビデオストリーム、もしくは視聴覚ストリームの部分である場合もあれば、または記憶されたオーディオ、ビデオ、もしくは視聴覚コンテンツの部分である場合もある。
●コンテンツデリニエータ：ハイライトの開始または終了を示す１つ以上のビデオフレーム。
●発生：イベント中に発生するもの。例としては、ゴール、プレー、ダウン、ヒット、セーブ、ショットオンゴール、バスケット、スティール、スナップもしくはスナップの試み、ニアミス、ファイト、ゲームの開始もしくは終了、クォーター、ハーフ、期間、またはイニング、ピッチ、ペナルティ、怪我、娯楽イベントでの劇的なインシデント、歌、ソロなどが挙げられる。停電、手に負えないファンのインシデントなど、発生は異常である場合もある。このような発生の検出は、視聴覚ストリームの特定の部分をハイライトとして指定するか否かを判定するための基礎として使用できる。発生は、命名を容易にするために、本明細書では「プレー」とも呼ばれるが、そのような使用法は、範囲を限定するものと解釈されるべきではない。発生は任意の長さであってよく、発生の表現は様々な長さであり得る。例えば、上記のように、発生の拡張された表現は、発生の直前および直後の時間期間を描写する場面を含み得るが、簡単な表現は、発生自体のみを含み得る。任意の中間表現も提供できる。少なくとも１つの実施形態では、発生を表現するための持続時間の選択は、ユーザの好み、利用可能な時間、発生に対する決定された興奮レベル、発生の重要性、および／または他の任意の要因に依存し得る。
●オフセット：ハイライトの長さを調整する量。少なくとも１つの実施形態では、ハイライトの開始時間および／または終了時間をそれぞれ調整するために、開始オフセットおよび／または終了オフセットを提供することができる。例えば、ハイライトがゴールを描写する場合、ハイライトは、ゴールに続く賞揚および／またはファンの反応を含むように、（終了オフセットを介して）数秒間延長され得る。オフセットは、例えば、ハイライトに利用可能な時間量、ハイライトの重要性および／または興奮レベル、ならびに／あるいは他の好適な要因に基づいて、自動または手動で変化するように構成することができる。
●ストリング：何らかの形で互いにリンクまたは関係している一連の発生。発生は、（以下で定義する）所持内で発生する場合もあれば、または複数の所持にわたる場合もある。発生は、（以下で定義する）シーケンス内で発生する場合もあれば、または複数のシーケンスにわたる場合もある。発生は、互いに何らかの主題的もしくは物語的なつながりがあるため、またはあるものが別のものにつながるため、または他の理由により、リンクまたは関係している可能性がある。ストリングの一例は、ゴールまたはバスケットにつながるパスのセットである。これは、コンピュータプログラミング技術においてそれに通常割り当てられている意味を有する「テキストストリング」と混同されるべきでない。
●所持：イベントの時間で区切られた部分。所持の開始／終了時間の境界は、イベントのタイプに依存する場合がある。（例えば、バスケットボールまたはサッカーなどの）一方のチームが攻撃的であり得、他方のチームが防御的である特定のスポーツイベントの場合、所持は、チームの一方がボールを有する時間期間として定義できる。ホッケーまたはサッカーなど、パックまたはボールの所持がより流動的であるスポーツでは、所持は、一方のチームが、（ブロックされたショットまたはセーブなどの）他方のチームによる瞬間的な接触を無視してパックまたはボールを実質的に制御できる時間期間にまで及ぶとみなすことができる。野球の場合、所持はハーフイニングと定義される。サッカーの場合、所持は、同じチームがボールを有するいくつかのシーケンスを含むことができる。他の種類のスポーツイベントならびに非スポーツイベントの場合、「所持」という用語は、いくぶん誤称である可能性があるが、本明細書では説明のためにやはり使用されている。スポーツ以外のコンテキストにおける例としては、チャプター、シーン、アクトなどを挙げることができる。例えば、音楽コンサートのコンテキストでは、所持は、単一の歌のパフォーマンスに相当し得る。所持は任意の数の発生を含むことができる。
●シーケンス：１つの連続したアクション時間期間を含むイベントの時間で区切られた部分。例えば、スポーツイベントでは、シーケンスは、（フェイスオフ、チップオフなどの）アクションが開始したときに開始する場合があり、アクションの中断を示すためにホイッスルが吹かれたときに終了する場合がある。野球またはサッカーなどのスポーツでは、シーケンスは、発生の一形態であるプレーと同等である場合がある。シーケンスは、任意の数の所持を含むことができるか、または所持の部分とすることができる。
●ハイライトショー：ユーザに提示するために配置されたハイライトのセット。ハイライトショーは、（視聴覚ストリームなど）直線的に提示されるか、またはユーザが（例えば、リンクもしくはサムネイルをクリックすることによって）閲覧するハイライトおよび順序を選択できるように提示され得る。ハイライトショーの提示は、非インタラクティブまたはインタラクティブであり得、例えば、ユーザが一時停止、巻き戻し、スキップ、早送り、賛成または反対の選好を伝達することなどを可能にする。ハイライトショーは、例えば、凝縮されたゲームであり得る。ハイライトショーは、単一のイベントまたは複数のイベントからの、任意の数の連続または非連続ハイライトを含むことができ、様々なタイプのイベント（例えば、様々なスポーツ、ならびに／またはスポーツイベントと非スポーツイベントとからのハイライトの組み合わせ）からのハイライトさえ含むことができる。
●ユーザ／閲覧者：「ユーザ」または「閲覧者」という用語は、イベント、イベントの１つ以上のハイライト、またはハイライトショーを視聴、聴取、または他の方法で体験している個人、グループ、または他のエンティティを交換可能に指す。「ユーザ」または「閲覧者」という用語は、何らかの将来の時間において、イベント、イベントの１つ以上のハイライト、またはハイライトショーのいずれかを視聴、聴取、または他の方法で体験する可能性のある個人、グループ、または他のエンティティを指すこともある。説明の目的で「閲覧者」という用語が使用される場合があるが、イベントはビジュアルコンポーネントを有する必要がないため、「閲覧者」は、代わりにコンテンツのリスナーまたは他の消費者である場合がある。
●興奮レベル：特定のユーザまたはユーザ全般にとって、イベントまたはハイライトがどのくらい刺激的または興味深いものであると予想されるかの尺度。興奮レベルは、特定の発生またはプレーヤに関して決定することもできる。興奮レベルを測定または評価するための様々な手法は、上記の関係する出願において説明されている。説明したように、興奮レベルは、イベント内の発生、ならびにイベントの全体的なコンテキストまたは重要性（プレーオフゲーム、ペナントの影響、ライバル関係など）などの他の要因に依存する可能性がある。少なくとも１つの実施形態では、興奮レベルは、イベント内の各発生、ストリング、所持、またはシーケンスに関連付けることができる。例えば、所持の興奮レベルは、その所持内で生じる発生に基づいて決定できる。興奮レベルは、異なるユーザごとに異なる方法で測定されてよく（例えば１つのチームのファン対ニュートラルなファン）、各ユーザの個人的な特性によって異なる可能性がある。
●メタデータ：他のデータに関連し、それに関連付けられて記憶されているデータ。一次データは、スポーツ番組またはハイライトなどのメディアであり得る。
●ビデオデータ。デジタル形式またはアナログ形式であり得る、ビデオの長さ。ビデオデータは、ローカルストレージデバイスに記憶することができるか、またはＴＶ放送アンテナ、ケーブルネットワーク、もしくはコンピュータサーバなどのソースからリアルタイムで受信することができ、この場合、それは「ビデオストリーム」と呼ばれることもある。ビデオデータは、オーディオコンポーネントを含む場合と含まない場合があり、オーディオコンポーネントを含む場合は、「視聴覚データ」または「視聴覚ストリーム」と呼ばれることがある。
●オーディオデータ。デジタル形式またはアナログ形式であり得る、オーディオの長さ。オーディオデータは、視聴覚データまたは視聴覚ストリームのオーディオコンポーネントであり得、視聴覚データからオーディオデータを抽出することによって分離され得る。オーディオデータは、ローカルストレージに記憶することができるか、またはＴＶ放送アンテナ、ケーブルネットワーク、もしくはコンピュータサーバなどのソースからリアルタイムで受信することができ、この場合、それは「オーディオストリーム」と呼ばれることもある。
●ストリーム。オーディオストリーム、ビデオストリーム、または視聴覚ストリーム。
●時間インデックス。イベントが発生するか、またはさもなければハイライトなどの指定されたセグメントに関連する、オーディオデータ、ビデオデータ、または視聴覚データ内の時間のインジケータ。
●スペクトログラム。時間とともに変化する、オーディオストリームなどの信号の周波数スペクトルのビジュアル表現。
●分析ウィンドウ。ビデオデータ、オーディオデータ、視聴覚データ、スペクトログラム、ストリーム、または他の方法で処理されたバージョンのストリームもしくはデータの、指定されたサブセットであって、そこにおいて分析の１つのステップに焦点が当てられる。オーディオデータ、ビデオデータ、視聴覚データ、またはスペクトログラムは、例えば、データまたはスペクトログラムの様々なセグメントをカバーする移動する分析ウィンドウおよび／または一連の分析ウィンドウを使用してセグメント内で分析することができる。

概要
様々な実施形態によれば、スポーツイベントなどのテレビジョン番組のハイライトに関連する時間ベースのメタデータを自動的に作成するための方法およびシステムが提供され、そのようなビデオハイライトおよび関連するメタデータは、スポーツイベントなどのテレビジョン放送と同期して生成されるか、またはスポーツイベントのテレビジョン放送後にスポーツイベントのビデオコンテンツがストレージデバイスからビデオサーバを介してストリーミングされている間に生成される。

少なくとも１つの実施形態では、自動化されたビデオハイライトおよび関連するメタデータ生成アプリケーションは、ライブ放送視聴覚ストリーム、またはコンピュータサーバを介して受信されたデジタル視聴覚ストリームを受信することができる。次に、アプリケーションは、例えばデジタル信号処理技術を使用して、視聴覚ストリームから抽出されたオーディオストリームなどのオーディオデータを処理して、例えば群衆の歓声などの群衆ノイズを検出することができる。

代替の実施形態では、本明細書に記載の技術は、他のタイプのソースコンテンツに適用することができる。例えば、オーディオデータは、視聴覚ストリームから抽出する必要はなく、むしろ、スポーツイベントまたは他のイベントのラジオ放送または他のオーディオ描写であってよい。あるいは、本明細書に記載の技術は、イベントを描写する記憶されたオーディオデータに適用することができ、このようなデータは、記憶された視聴覚データから抽出される場合と抽出されない場合がある。

インタラクティブテレビジョンアプリケーションは、プライマリテレビジョンディスプレイ、またはタブレット、ラップトップもしくはスマートフォンなどのセカンダリディスプレイのいずれかでテレビジョン番組を視聴しているユーザに、ハイライトされたテレビジョン番組コンテンツをタイムリーに適切に提示できるようにする。少なくとも１つの実施形態では、テレビジョン放送コンテンツのハイライトを表すクリップのセットが、ハイライトクリップによって提示されるイベントをより詳細に記述する時間ベースのメタデータを含むデータベースとともに、リアルタイムで生成および／または記憶される。本明細書でより詳細に説明するように、そのようなクリップの開始時間および／または終了時間は、少なくとも部分的に、抽出されたオーディオデータの分析に基づいて決定することができる。

様々な実施形態では、クリップに付随するメタデータは、テキスト情報、画像、および／または任意のタイプの視聴覚データなどの任意の情報であり得る。ゲーム中のビデオコンテンツのハイライトと、ゲーム後のビデオコンテンツのハイライトの両方に関連するメタデータの１つのタイプは、スポーツイベントのテレビジョン番組から抽出されたオーディオデータのリアルタイム処理によって検出されたイベントを提示する。様々な実施形態では、本明細書に記載のシステムおよび方法は、自動メタデータ生成およびビデオハイライト処理を可能にし、ハイライトの開始時間および／または終了時間は、オーディオストリームなどのデジタルオーディオデータを分析することによって検出および決定することができる。例えば、イベント情報は、そのようなオーディオデータを分析して、特定の刺激的なイベント、オーディオアナウンス、音楽などに続く歓声を上げる群衆ノイズを検出することによって抽出でき、そのような情報は、ハイライトの開始時間および／または終了時間を決定するために使用できる。

少なくとも１つの実施形態では、スポーツイベントのテレビジョン番組コンテンツから抽出されたオーディオストリームなどのオーディオデータに対してリアルタイム処理を実行して、（聴衆の歓声などの）顕著な群衆ノイズを検出、選択、および追跡する。

少なくとも１つの実施形態では、このシステムおよび方法は、圧縮されたオーディオデータを受信し、圧縮されたオーディオデータを読み取り、デコードし、かつ所望のサンプリングレートにリサンプリングする。ノイズ低減、クリック除去、および対象の周波数帯域の選択のために、事前フィルタリングを実行できる。いくつかの交換可能なデジタルフィルタリング段階のいずれかを使用できる。

オーディオデータ用にスペクトログラムを構築できる。スペクトルの大きさのピークの顕著なコレクションが、スライディング２次元時間周波数エリアウィンドウの各位置において識別できる。

分析ウィンドウの位置ごとにスペクトルインジケータが生成され得、関連する時間位置を持つスペクトルインジケータのベクトルが形成され得る。

狭い時間間隔を持つ選択されたインジケータと位置とのペアのランが識別され、ベクトルのセット

にキャプチャできる。ベクトルＥ＝｛Ｒ０、Ｒ１、．．．、Ｒｎ｝は、Ｒのセットを要素として形成できる。各Ｒは、サイズが等しくないインジケータの可変カウントを含むため、それらは、インジケータ値によって内部的にソートして、最大大きさインジケータを取得することができる。

ランの時間位置（開始／中央）、および長さ（持続時間）（インジケータと位置とのペアのカウント）は、各Ｒベクトルから抽出できる。

各Ｒベクトルを、最大インジケータ値、開始／中央時間位置、およびランレングス（持続時間）をそれぞれ表すパラメータトリプレット（Ｍ、Ｐ、Ｄ）に置き換えて、予備イベントベクトルを形成できる。

予備イベントベクトルを処理して、所望のイベントインターバル、イベントのラウドネス、およびイベント持続時間に従って最終的な群集ノイズイベントベクトルを生成することができる。

抽出された群集ノイズイベント情報は、スポーツイベントビデオのハイライトに関連付けられたスポーツイベントメタデータに自動的に追加され得る。

別の実施形態では、システムおよび方法は、スポーツイベントのテレビジョン番組から抽出されたオーディオストリームのリアルタイム処理を行って、顕著な群集ノイズを検出、選択、および追跡する。このシステムおよび方法は、テレビジョン番組コンテンツをキャプチャすることと、デジタルオーディオストリームなどのデジタルオーディオデータを抽出および処理して、顕著な群衆ノイズイベントを検出することと、時間周波数オーディオスペクトログラムを生成することと、オーディオデータの結合された時間周波数分析を実行して高いスペクトル活動のエリアを検出することと、重複するスペクトログラムエリアについてスペクトルインジケータを生成することと、選択されたインジケータと位置とのペアのベクトルを形成することと、狭い時間間隔を持つ選択されたインジケータと位置とのペアのランを識別することと、識別されたランを持つベクトルのセットを形成することと、選択されたインジケータと位置とのペアの各ランから導出されたパラメータトリプレット（Ｍ、Ｐ、Ｄ）を持つ少なくとも１つの予備イベントベクトルを形成することと、少なくとも１つの予備イベントベクトルを修正して、所望のイベントインターバル、イベントのラウドネス、およびイベント持続時間を持つ少なくとも１つの最終的な群衆ノイズイベントベクトルを生成することと、を含み得る。

デコードされたオーディオデータの初期の前処理は、ノイズ低減、クリックおよび他のスプリアス音の除去、ならびに交換可能なデジタルフィルタリング段階の選択による関心のある周波数帯域の選択のうちの少なくとも１つのために実行され得る。

スペクトログラムは、スペクトル領域のオーディオデータを分析するために構築することができる。少なくとも１つの実施形態では、分析ウィンドウのサイズは、分析ウィンドウの重複領域のサイズとともに選択される。少なくとも１つの実施形態では、分析ウィンドウはスペクトログラムに沿ってスライドされ、各分析ウィンドウ位置において、分析ウィンドウの正規化された平均の大きさが計算される。少なくとも１つの実施形態では、平均の大きさは、各分析ウィンドウ位置におけるスペクトルインジケータとして決定される。少なくとも１つの実施形態では、初期イベントベクトルは、分析ウィンドウインジケータと、関連する位置との計算されたペアで占められる。少なくとも１つの実施形態では、初期イベントベクトルインジケータは、しきい値を超えるインジケータを持つインジケータと位置とのペアのみを保持するようにしきい値化の対象となる。

各ランは、サイズが等しくないインジケータの可変カウントを含む場合がある。少なくとも１つの実施形態では、ランごとに、インジケータはインジケータ値によって内部的にソートされて、最大大きさインジケータが取得され得る。

ランごとに、開始／中央時間位置およびラン持続時間を抽出できる。

予備イベントベクトルは、パラメータトリプレット（Ｍ、Ｐ、Ｄ）を用いて形成できる。少なくとも１つの実施形態では、トリプレット（Ｍ、Ｐ、Ｄ）は、それぞれ、最大インジケータ値、開始／中央時間位置、およびラン持続時間を表す。

予備イベントベクトルを修正して、所望のイベントインターバル、イベントのラウドネス、およびイベント持続時間に従って最終的な群集ノイズイベントベクトルを生成することができる。様々な実施形態では、予備イベントベクトルは、許容可能なイベント距離選択、許容可能なイベント持続時間選択、および／または許容可能なイベントラウドネス選択によって修正される。

群衆ノイズイベント情報はさらに処理され、スポーツイベントのテレビジョン番組のハイライトに関連するメタデータに自動的に追加され得る。

システムアーキテクチャ
様々な実施形態によれば、このシステムは、情報を受信、記憶、および提示するように装備された任意の電子デバイスまたは電子デバイスのセット上に実装することができる。そのような電子デバイスは、例えば、デスクトップコンピュータ、ラップトップコンピュータ、テレビジョン、スマートフォン、タブレット、音楽プレーヤ、オーディオデバイス、キオスク、セットトップボックス（ＳＴＢ）、ゲームシステム、ウェアラブルデバイス、家庭用電子デバイスなどであり得る。

このシステムは、本明細書では特定のタイプのコンピューティングデバイスにおける実装に関連して説明されるが、当業者は、本明細書に記載の技術が、他のコンテキストにおいて、ならびに実際にユーザ入力を受信および／または処理し、かつユーザに出力を提示することが可能な任意の好適なデバイスにおいて実装できることを認識するであろう。したがって、以下の説明は、範囲を限定するのではなく、例として様々な実施形態を説明することを意図している。

ここで図１Ａを参照すると、クライアント／サーバの実施形態による、イベントのオーディオデータに基づいてメタデータを自動的に抽出するためのシステム１００のハードウェアアーキテクチャを示すブロック図が示されている。オーディオコンテンツを含む視聴覚ストリームなどのイベントコンテンツは、ネットワーク接続されたコンテンツプロバイダ１２４を介して提供され得る。そのようなクライアント／サーバの実施形態の例は、ウェブベースの実装であり、１つ以上のクライアントデバイス１０６の各々は、通信ネットワーク１０４を介して、データプロバイダサーバ１２２および／またはコンテンツプロバイダサーバ１２４を含めて、様々なサーバ１０２、１１４、１１６からのコンテンツと相互作用するためのユーザインターフェースを提供するブラウザまたはアプリを走らせる。クライアントデバイス１０６からの要求に応答するコンテンツおよび／またはデータの送信は、ハイパーテキストマークアップ言語（ＨＴＭＬ）、Ｊａｖａ、Ｏｂｊｅｃｔｉｖｅ Ｃ、Ｐｙｔｈｏｎ、ＪａｖａＳｃｒｉｐｔなど、任意の既知のプロトコルおよび言語を使用して行うことができる。

クライアントデバイス１０６は、デスクトップコンピュータ、ラップトップコンピュータ、テレビジョン、スマートフォン、タブレット、音楽プレーヤ、オーディオデバイス、キオスク、セットトップボックス、ゲームシステム、ウェアラブルデバイス、家庭用電子デバイスなど、任意の電子デバイスであり得る。少なくとも１つの実施形態では、クライアントデバイス１０６は、当業者に周知のいくつかのハードウェアコンポーネントを有する。入力デバイス１５１は、例えば、ハンドヘルドリモートコントロール、キーボード、マウス、スタイラス、タッチセンシティブスクリーン（タッチスクリーン）、タッチパッド、ジェスチャレセプタ、トラックボール、加速度計、５ウェイスイッチ、マイクロフォンなどを含む、ユーザ１５０からの入力を受信する任意のコンポーネントであり得る。入力は、例えば、ポインティング、タップ、タイピング、ドラッグ、ジェスチャ、傾斜、振とう、および／またはスピーチのうちの１つ以上を含む、任意の好適なモードを介して提供することができる。表示画面１５２は、イベントの描写、ハイライトなどを含む、情報、ビデオ、コンテンツなどをグラフィカルに表示する任意のコンポーネントであり得る。そのような出力はまた、例えば、視聴覚コンテンツ、データ視覚化、ナビゲーション要素、グラフィカル要素、コンテンツの選択のための情報および／またはパラメータを要求するクエリなどを含み得る。少なくとも１つの実施形態では、一度に所望の出力の一部のみが提示される場合、スクロールメカニズムなどの動的制御は、現在表示される情報を選択しおよび／または情報の表示方法を変更するために、入力デバイス１５１を介して利用可能であり得る。

プロセッサ１５７は、周知の技術に従って、ソフトウェアの指示の下でデータに対して動作を実行するための従来のマイクロプロセッサであり得る。メモリ１５６は、本明細書で説明する動作を実行するためのソフトウェアを走らせる過程でプロセッサ１５７によって使用される、当技術分野で知られている構造およびアーキテクチャを有するランダムアクセスメモリであり得る。クライアントデバイス１０６はまた、ハードドライブ、フラッシュドライブ、光または磁気ストレージデバイス、ウェブベース（クラウドベース）のストレージなどであり得る、ローカルストレージ（図示せず）を含むことができる。

インターネット、テレビジョンネットワーク、ケーブルネットワーク、セルラーネットワークなどの任意の好適なタイプの通信ネットワーク１０４は、任意の好適なプロトコルおよび技術に従って、クライアントデバイス１０６と、様々なサーバ１０２、１１４、１１６および／またはコンテンツプロバイダ１２４および／またはデータプロバイダ１２２との間でデータを送信するためのメカニズムとして使用できる。インターネットに加えて、他の例としては、セルラー電話ネットワーク、ＥＤＧＥ、３Ｇ、４Ｇ、ロングタームエボリューション（ＬＴＥ）、セッション開始プロトコル（ＳＩＰ）、ショートメッセージピアツーピアプロトコル（ＳＭＰＰ）、ＳＳ７、Ｗｉ−Ｆｉ、ブルートゥース、ＺｉｇＢｅｅ、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、セキュアハイパーテキスト転送プロトコル（ＳＨＴＴＰ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）など、および／またはそれらの任意の組み合わせが挙げられる。少なくとも１つの実施形態では、クライアントデバイス１０６は、通信ネットワーク１０４を介してデータおよび／またはコンテンツについての要求を送信し、要求されたデータおよび／またはコンテンツを含むサーバ１０２、１１４、１１６からの応答を受信する。

少なくとも１つの実施形態では、図１Ａのシステムは、スポーツイベントに関連して動作する。しかしながら、本明細書の教示は、非スポーツイベントにも適用され、本明細書に記載の技術は、スポーツイベントへの適用に限定されないことが理解されるべきである。例えば、本明細書に記載の技術は、テレビジョンショー、映画、ニュースイベント、ゲームショー、政治活動、ビジネスショー、ドラマ、および／または他のエピソードコンテンツに関連して、あるいはそのような２つ以上のイベントのために動作するように利用できる。

少なくとも１つの実施形態では、システム１００は、イベントを表すオーディオコンテンツを分析することによって、放送イベントのハイライトを識別する。この分析はリアルタイムで行うことができる。少なくとも１つの実施形態では、システム１００は、通信ネットワーク１０４を介して１つ以上のクライアントデバイス１０６に結合された１つ以上のウェブサーバ１０２を含む。通信ネットワーク１０４は、パブリックネットワーク、プライベートネットワーク、またはインターネットなどのパブリックネットワークとプライベートネットワークの組み合わせであり得る。通信ネットワーク１０４は、ＬＡＮ、ＷＡＮ、有線、無線、および／または上記の組み合わせであり得る。クライアントデバイス１０６は、少なくとも１つの実施形態では、有線接続または無線接続のいずれかを介して通信ネットワーク１０４に接続することができる。少なくとも１つの実施形態では、クライアントデバイスはまた、ＤＶＲ、ＰＶＲ、または他のメディア記録デバイスなど、イベントを受信および記録することができる記録デバイスを含み得る。そのような記録デバイスは、クライアントデバイス１０６の一部であり得るか、または外部であり得る。他の実施形態では、そのような記録デバイスは省略され得る。図１Ａは１つのクライアントデバイス１０６を示しているが、システム１００は、単一のタイプまたは複数のタイプの任意の数のクライアントデバイス１０６を用いて実装することができる。

ウェブサーバ１０２は、クライアントデバイス１０６からの要求を受信し、それらの要求にデータで応答し、ならびに一方的なアラートおよび他のメッセージを送信することができる、１つ以上の物理的コンピューティングデバイスおよび／またはソフトウェアを含み得る。ウェブサーバ１０２は、負荷分散、キャッシングおよびクラスタリングなど、フォールトトレランスおよびスケーラビリティのための様々な戦略を採用することができる。少なくとも１つの実施形態では、ウェブサーバ１０２は、イベントに関係するクライアント要求および情報を記憶するための、当技術分野で知られているようなキャッシング技術を含み得る。

ウェブサーバ１０２は、クライアントデバイス１０６から受信した要求に応答するために、１つ以上のアプリケーションサーバ１１４を維持するか、さもなければ指定することができる。少なくとも１つの実施形態では、アプリケーションサーバ１１４は、クライアントデバイス１０６内のクライアントアプリケーションプログラムによって使用されるためのビジネスロジックへのアクセスを提供する。アプリケーションサーバ１１４は、ウェブサーバ１０２と同じ場所に配置されるか、共有されるか、または共同管理され得る。アプリケーションサーバ１１４はまた、ウェブサーバ１０２から離れていてもよい。少なくとも１つの実施形態では、アプリケーションサーバ１１４は、１つ以上の分析サーバ１１６および１つ以上のデータサーバ１１８と相互作用して、開示する技術の１つ以上の動作を実行する。

１つ以上のストレージデバイス１５３は、システム１００の動作に関連するデータを記憶することによって「データストア」として作用することができる。このデータは、例えば、限定ではないが、１つ以上のオーディオ信号を表すオーディオデータ１５４を含み得る。オーディオデータ１５４は、例えば、スポーツイベントおよび／または他のイベントを表す視聴覚ストリームまたは記憶された視聴覚コンテンツから抽出され得る。

オーディオデータ１５４は、ビデオ画像に付随するオーディオストリーム、処理されたバージョンの視聴覚ストリーム、ならびに、イベントの時間インデックス、持続時間、大きさ、および／または他のパラメータなどのオーディオデータ１５４に関係するメトリックおよび／またはベクトルなど、視聴覚ストリームに埋め込まれたオーディオに関係する任意の情報を含むことができる。ユーザデータ１５５は、例えば、人口統計、購入行動、視聴覚ストリーム閲覧行動、関心、好みなどを含む、１人以上のユーザ１５０を記述する任意の情報を含むことができる。ハイライトデータ１６４は、ハイライト、ハイライト識別子、時間インジケータ、カテゴリ、興奮レベル、およびハイライトに関連する他のデータを含み得る。オーディオデータ１５４、ユーザデータ１５５、およびハイライトデータ１６４については、後で詳細に説明する。

特に、システム１００の多くのコンポーネントは、コンピューティングデバイスであり得るか、またはそれを含み得る。そのようなコンピューティングデバイスはそれぞれ、上記で示し説明したように、クライアントデバイス１０６のアーキテクチャと同様のアーキテクチャを有し得る。したがって、通信ネットワーク１０４、ウェブサーバ１０２、アプリケーションサーバ１１４、分析サーバ１１６、データプロバイダ１２２、コンテンツプロバイダ１２４、データサーバ１１８、およびストレージデバイス１５３のいずれかは、１つ以上のコンピューティングデバイスを含むことができ、それらの各々は、任意選択で、クライアントデバイス１０６に関連して上記で説明したように、入力デバイス１５１、表示画面１５２、メモリ１５６、および／またはプロセッサ１５７を有してよい。

システム１００の例示的な動作では、クライアントデバイス１０６の１人以上のユーザ１５０は、視聴覚ストリームの形態で、コンテンツプロバイダ１２４からのコンテンツを閲覧する。視聴覚ストリームは、スポーツイベントなどのイベントを示し得る。視聴覚ストリームは、既知のコンピュータビジョン技術を用いて容易に処理できるデジタル視聴覚ストリームであってよい。

視聴覚ストリームが表示されると、クライアントデバイス１０６、ウェブサーバ１０２、アプリケーションサーバ１１４、および／または分析サーバ１１６など、システム１００の１つ以上のコンポーネントは、視聴覚ストリームを分析し、視聴覚ストリーム内のハイライトを識別し、および／または、例えばストリームのオーディオコンポーネントから、視聴覚ストリームからメタデータを抽出する。この分析は、視聴覚ストリームのハイライトおよび／またはメタデータを識別するための要求の受信に応答して行われ得る。あるいは、別の実施形態では、ハイライトおよび／またはメタデータは、ユーザ１５０によってなされた特定の要求なしに識別され得る。さらに別の実施形態では、視聴覚ストリームの分析は、視聴覚ストリームが表示されることなく行うことができる。

少なくとも１つの実施形態では、ユーザ１５０は、クライアントデバイス１０６の入力デバイス１５１を介して、オーディオデータ１５４の分析のための特定のパラメータ（例えば、どのイベント／ゲーム／チームを含めるか、ユーザ１５０がハイライトを閲覧するために利用可能などのくらいの時間を有するか、どのメタデータが所望されるか、および／または他のパラメータなど）を指定することができる。必ずしもユーザ１５０が好みを指定することを必要としないでオーディオデータ１５４の分析をカスタマイズするために、１つ以上のストレージデバイス１５３に記憶されたユーザデータ１５５からなど、ユーザの好みもストレージから抽出できる。少なくとも１つの実施形態では、ユーザの好みは、例えば、ウェブサイト訪問パターン、テレビジョン視聴パターン、音楽リスニングパターン、オンライン購入、以前のハイライト識別パラメータ、ユーザ１５０によって実際に閲覧されたハイライトおよび／またはメタデータなどを観察することによって、ユーザ１５０の観察された行動およびアクションに基づいて決定することができる。

追加的または代替的に、ユーザの好みは、ユーザ１５０によって明示的に提供された以前に記憶された好みから検索することができる。そのようなユーザの好みは、どのチーム、スポーツ、プレーヤ、および／またはイベントのタイプがユーザ１５０にとって興味深いかを示し得、ならびに／あるいはそれらは、ハイライトに関係するどのタイプのメタデータまたは他の情報がユーザ１５０にとって興味深いであろうかを示し得る。したがって、そのような設定を使用して、視聴覚ストリームの分析をガイドして、ハイライトを識別し、および／またはハイライトのメタデータを抽出することができる。

上記のような１つ以上のコンピューティングデバイスを含み得る分析サーバ１１６は、データプロバイダ１２２からの１つ以上のイベントに関係する実況統計のライブおよび／または記録されたフィードを分析することができる。データプロバイダ１２２の例としては、ＳＴＡＴＳ（商標）、Ｐｅｒｆｏｒｍ（英国ロンドンのＯｐｔａ Ｓｐｏｒｔｓから利用可能）、およびスイスのザンクトガレンのＳｐｏｒｔＲａｄａｒなどのリアルタイムスポーツ情報のプロバイダを挙げることができるが、これらに限定されない。少なくとも１つの実施形態では、分析サーバ１１６は、イベントに対して異なる興奮レベルのセットを生成する。次に、そのような興奮レベルは、本明細書に記載の技術に従ってシステム１００によって識別または受信されたハイライトと併せて記憶され得る。

アプリケーションサーバ１１４は、視聴覚ストリームを分析して、ハイライトを識別し、および／またはメタデータを抽出することができる。追加的または代替的に、そのような分析は、クライアントデバイス１０６によって行われ得る。識別されたハイライトおよび／または抽出されたメタデータは、ユーザ１５０に固有であり得る。そのような場合、特定のユーザ１５０に関連するクライアントデバイス１０６内のハイライトを識別することが有利であり得る。クライアントデバイス１０６は、上記のように、ハイライト識別および／またはメタデータ抽出のための適用可能なユーザの好みを受信、保持、および／または検索することができる。追加的または代替的に、ハイライト生成および／またはメタデータ抽出は、グローバルに（すなわち、特定のユーザ１５０の好みに関係なく、ユーザ集団全般に適用可能な客観的基準を使用して）行われ得る。そのような場合、アプリケーションサーバ１１４内でハイライトを識別し、および／またはメタデータを抽出することが有利であり得る。

ハイライト識別、オーディオ分析、および／またはメタデータ抽出を容易にするコンテンツは、ＹｏｕＴｕｂｅ、ＭＬＢ．ｃｏｍなどのウェブサイトを含み得るコンテンツプロバイダ１２４、スポーツデータプロバイダ、テレビジョン局、クライアントベースまたはサーバベースのＤＶＲなどからを含む、任意の好適なソースから来てよい。あるいは、コンテンツは、クライアントデバイス１０６に関連付けられた（または組み込まれた）ＤＶＲまたは他の記録デバイスなどのローカルソースから来ることができる。少なくとも１つの実施形態では、アプリケーションサーバ１１４は、ダウンロード、またはストリーミングコンテンツ、またはオンデマンドコンテンツとして、あるいは他の何らかの方法で、ユーザ１５０が利用できるハイライトおよびメタデータを持つカスタマイズされたハイライトショーを生成する。

上記のように、ユーザ固有のハイライト識別、オーディオ分析、および／またはメタデータ抽出が、特定のユーザ１５０に関連する特定のクライアントデバイス１０６において行われることが有利であり得る。そのような実施形態は、特にコンテンツがクライアントデバイス１０６においてすでに利用可能である場合、通信ネットワーク１０４を介して不必要に送信されるビデオコンテンツまたは他の高帯域幅コンテンツの必要性を回避することができる。

例えば、ここで図１Ｂを参照すると、クライアントデバイス１０６にとって利用可能なローカルストレージデバイスの任意の形態であり得るクライアントベースのストレージデバイス１５８にオーディオデータ１５４およびハイライトデータ１６４の少なくとも一部が記憶される実施形態によるシステム１６０の例が示されている。一例は、例えば完全なスポーツイベントのビデオコンテンツなどのイベントが記録され得るＤＶＲである。あるいは、クライアントベースのストレージデバイス１５８は、デジタル形式のデータのための任意の磁気的、光学的、または電子的ストレージデバイスであり得る。例としては、フラッシュメモリ、磁気ハードドライブ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、またはクライアントデバイス１０６と統合されたもしくはクライアントデバイス１０６と通信可能に結合された他のデバイスが挙げられる。アプリケーションサーバ１１４によって提供された情報に基づいて、クライアントデバイス１０６は、クライアントベースのストレージデバイス１５８に記憶されたオーディオデータ１５４からメタデータを抽出し、コンテンツプロバイダ１２４または他のリモートソースから他のコンテンツを検索する必要なしに、メタデータをハイライトデータ１６４として記憶することができる。そのような構成は、帯域幅を節約することができ、クライアントデバイス１０６にとってすでに利用可能であり得る既存のハードウェアを有効に活用することができる。

図１Ａに戻ると、少なくとも１つの実施形態では、アプリケーションサーバ１１４は、個々のユーザの好みおよび／または他のパラメータに応じて、異なるユーザ１５０に対して異なるハイライトを識別しおよび／または異なるメタデータを抽出することができる。識別されたハイライトおよび／または抽出されたメタデータは、クライアントデバイス１０６の表示画面１５２など、任意の好適な出力デバイスを介してユーザ１５０に提示され得る。所望される場合、複数のハイライトを識別し、関連するメタデータとともにハイライトショーにまとめることができる。そのようなハイライトショーは、メニューを介してアクセスされ、および／または所定のシーケンスに従ってユーザ１５０のために再生される「ハイライトリール」またはハイライトのセットに組み立てられ得る。ユーザ１５０は、少なくとも１つの実施形態では、例えば以下を行うために、入力デバイス１５１を介して、関連するメタデータのハイライト再生および／または配信を制御することができる。
●表示する特定のハイライトおよび／またはメタデータを選択する、
●一時停止、巻き戻し、早送り、
●次のハイライトにスキップする、
●ハイライトショー内の前のハイライトの最初に戻る、ならびに／あるいは
●他のアクションを実行する。

このような機能に関する追加の詳細は、上記で引用した関係する米国特許出願に提供されている。

少なくとも１つの実施形態では、１つ以上のデータサーバ１１８が提供される。データサーバ１１８は、例えば、オーディオデータ１５４、ユーザデータ１５５、および／またはハイライトデータ１６４を取得または提供するために、サーバ１０２、１１４、１１６のいずれかからのデータについての要求に応答することができる。少なくとも１つの実施形態では、そのような情報は、データサーバ１１８によってアクセス可能な任意の好適なストレージデバイス１５３に記憶することができ、クライアントデバイス１０６自体、コンテンツプロバイダ１２４、データプロバイダ１２２などからなど、任意の好適なソースから来ることができる。

ここで図１Ｃを参照すると、システム１８０がスタンドアロン環境において実装される代替の実施形態によるシステム１８０が示されている。図１Ｂに示す実施形態と同様に、オーディオデータ１５４、ユーザデータ１５５、およびハイライトデータ１６４のうちの少なくとも一部は、ＤＶＲなどのクライアントベースのストレージデバイス１５８に記憶され得る。あるいは、クライアントベースのストレージデバイス１５８は、フラッシュメモリまたはハードドライブであり得るか、あるいはクライアントデバイス１０６と統合されたまたはクライアントデバイス１０６と通信可能に結合された他のデバイスであり得る。

ユーザデータ１５５は、ユーザ１５０の好みおよび関心を含み得る。そのようなユーザデータ１５５に基づいて、システム１８０は、オーディオデータ１５４内のメタデータを抽出して、本明細書に記載の方法でユーザ１５０に提示することができる。追加的または代替的に、メタデータは、ユーザ１５０に固有の情報に基づかない客観的基準に基づいて抽出することができる。

ここで図１Ｄを参照すると、代替の実施形態によるアーキテクチャを持つシステム１９０の概要が示されている。図１Ｄでは、システム１９０は、コンテンツプロバイダ１２４などの放送サービス、ＳＴＢを持つテレビジョンセットなどのクライアントデバイス１０６の形態のコンテンツ受信機、テレビジョン番組コンテンツを取り込んでストリーミングすることができる分析サーバ１１６などのビデオサーバ、ならびに／あるいはテレビジョン番組コンテンツを受信および処理することができ、通信ネットワーク１０４などのネットワークを介してすべて接続されたモバイルデバイスおよびラップトップなどの他のクライアントデバイス１０６を含む。ＤＶＲなどのクライアントベースのストレージデバイス１５８は、クライアントデバイス１０６および／または他のコンポーネントのいずれかに接続することができ、視聴覚ストリーム、ハイライト、ハイライト識別子、および／またはメタデータを記憶して、クライアントデバイス１０６のいずれかを介してハイライトおよび／または抽出されたメタデータの識別および提示を容易にすることができる。

図１Ａ、１Ｂ、１Ｃ、および１Ｄに示されている特定のハードウェアアーキテクチャは、単なる例示である。当業者は、他のアーキテクチャを使用して本明細書に記載の教示が実装できることを認識するであろう。そこに示されている多くのコンポーネントは任意選択であり、省略し、他のコンポーネントと統合し、および／または他のコンポーネントに置き換えることができる。

少なくとも１つの実施形態では、このシステムは、スタンドアロンまたはクライアント／サーバアーキテクチャのいずれであろうと、任意の好適なコンピュータプログラミング言語で書かれたソフトウェアとして実装することができる。あるいは、それはハードウェアに実装しおよび／または埋め込むことができる。

データ構造
図２は、一実施形態による、オーディオデータ１５４、ユーザデータ１５５、およびハイライトデータ１６４に組み込むことができるデータ構造の例を示す概略ブロック図である。

示されるように、オーディオデータ１５４は、複数のオーディオストリーム２００の各々についての記録を含み得る。説明の目的で、オーディオストリーム２００が示されているが、本明細書で説明する技法は、ストリーミングされるか記憶されるかにかかわらず、任意のタイプのオーディオデータ１５４またはコンテンツに適用することができる。オーディオデータ１５４の記録は、オーディオストリーム２００に加えて、オーディオストリーム２００の分析に従って生成されたかまたはその分析に役立つ他のデータを含み得る。例えば、オーディオデータ１５４は、各オーディオストリーム２００について、スペクトログラム２０２、１つ以上の分析ウィンドウ２０４、ベクトル２０６、および時間インデックス２０８を含み得る。

各オーディオストリーム２００は、時間領域内に存在し得る。各スペクトログラム２０２は、時間周波数領域内の対応するオーディオストリーム２００について計算され得る。スペクトログラム２０２を分析して、群集ノイズなど、所望の周波数のオーディオイベントをより簡単に見つけることができる。

分析ウィンドウ２０４は、スペクトログラム２０２の所定の時間および／または周波数インターバルの指定であり得る。計算上、単一の移動する（すなわち、「スライディング」）分析ウィンドウ２０４を使用して、スペクトログラム２０２を分析することができ、または一連の変位した（任意選択で重複する）分析ウィンドウ２０４を使用することができる。

ベクトル２０６は、オーディオストリーム２００および／または対応するスペクトログラム２０２の分析からの中間および／または最終結果を含むデータセットであり得る。

時間インデックス２０８は、オーディオストリーム２００（および／またはオーディオストリーム２００が抽出される視聴覚ストリーム）内の、重要なイベントが発生する時間を示すことができる。例えば、時間インデックス２０８は、放送内の、群集ノイズが高まるかまたは減少する時間であり得る。したがって、時間インデックス２０８は、スポーツイベントのコンテキストでは、重要なまたは印象的なプレーなど、視聴覚ストリームの特に興味深い一部の開始または終了を示し得る。

さらに示されるように、ユーザデータ１５５は、ユーザ１５０に関連する記録を含み得、これらの記録の各々は、特定のユーザ１５０の人口統計データ２１２、好み２１４、閲覧履歴２１６、および購入履歴２１８を含み得る。

人口統計データ２１２は、年齢、性別、場所、国籍、宗教的所属、教育レベルなどを含むがこれらに限定されない、任意のタイプの人口統計データを含み得る。

好み２１４は、ユーザ１５０が彼または彼女の好みに関して行った選択を含み得る。好み２１４は、ハイライトおよびメタデータの収集および／または閲覧に直接関係する場合もあれば、本質的により一般的である場合もある。いずれの場合も、好み２１４を使用して、ハイライトおよびメタデータの識別および／またはユーザ１５０への提示を容易にすることができる。

閲覧履歴２１６は、テレビジョン番組、視聴覚ストリーム、ハイライト、ウェブページ、サーチクエリ、スポーツイベント、ならびに／あるいはユーザ１５０によって検索および／または閲覧された他のコンテンツを列挙することができる。

購入履歴２１８は、ユーザ１５０によって購入または要求された製品またはサービスを列挙することができる。

さらに示されるように、ハイライトデータ１６４は、ｊ個のハイライト２２０についての記録を含み得、各記録は、特定のハイライト２２０の視聴覚ストリーム２２２および／またはメタデータ２２４を含み得る。

視聴覚ストリーム２２２は、ハイライト２２０を描写するビデオを含み得、これは、（例えば、ハイライト２２０に関連する視聴覚ストリーム２２２のみを含むように視聴覚ストリームをクロップすることによって）１つ以上のイベントの１つ以上の視聴覚ストリームから取得され得る。メタデータ２２４内で、識別子２２３は、（オーディオデータ１５４の時間インデックス２０８などの）時間インデックス、および／またはハイライト２２０がそれから取得されるイベントの視聴覚ストリーム内のどこにハイライト２２０が存在するかを示す他のしるしを含み得る。

いくつかの実施形態では、ハイライト２２０の各々の記録は、視聴覚ストリーム２２２および識別子２２３のうちの１つのみを含み得る。ハイライト再生は、ユーザ１５０に対して視聴覚ストリーム２２２を再生することによって、または識別子２２３を使用して、ハイライト２２０がそれから取得されるイベントの視聴覚ストリームのハイライトされた部分のみを再生することによって行われ得る。識別子２２３のストレージは任意選択である。いくつかの実施形態では、識別子２２３は、ハイライト２２０について視聴覚ストリーム２２２を抽出するためにのみ使用され得、次いで、このハイライト２２０が識別子２２３の代わりに記憶され得る。いずれの場合も、ハイライト２２０の時間インデックス２０８はオーディオデータ１５４から抽出され、ハイライト２２０に追加されるか、あるいはオーディオデータ１５４およびハイライト２２０がそれから取得される視聴覚ストリームに追加されるメタデータ２２４として、少なくとも一時的に記憶され得る。

識別子２２３に加えて、またはその代替として、メタデータ２２４は、イベントの日付、季節、およびハイライト２２０がそれから取得されるイベントもしくは視聴覚ストリームに関与するグループもしくは個人、例えばチーム、プレーヤ、コーチ、アンカー、放送事業者、およびファンなど、ハイライト２２０に関する情報を含み得る。情報の中でも、各ハイライト２２０のメタデータ２２４は、フェーズ２２６、クロック２２７、スコア２２８、フレーム番号２２９、興奮レベル２３０、および／または群衆興奮レベル２３２を含み得る。

フェーズ２２６は、ハイライト２２０に関連するイベントのフェーズであり得る。より具体的には、フェーズ２２６は、ハイライト２２０の開始、中間、および／または終了がその中に存在するスポーツイベントの段階であり得る。例えば、フェーズ２２６は、「第３クォーター」、「第２イニング」、「裏の回」などであり得る。

クロック２２７は、ハイライト２２０に関連するゲームクロックであり得る。より具体的には、クロック２２７は、ハイライト２２０の開始、中間、および／または終了時のゲームクロックの状態であり得る。例えば、クロック２２７は、ハイライト２２０に対して「１５：４７」であり得、これは、ゲームクロック上に１５分４７秒が表示されるスポーツイベントの期間を開始するか、終了するか、またはその期間にまたがる。

スコア２２８は、ハイライト２２０に関連するゲームスコアであり得る。より具体的には、スコア２２８は、ハイライト２２０の開始、終了、および／または中間におけるスコアであり得る。例えば、スコア２２８は、「４５−３８」、「７−０」、「３０−ラブ」などである。

フレーム番号２２９は、ハイライト２２０がそれから取得される視聴覚ストリーム内の、あるいはハイライト２２０の開始、中間、および／または終了に関係するハイライト２２０に関連する視聴覚ストリーム２２２内の、ビデオフレームの番号であり得る。

興奮レベル２３０は、特定のユーザ１５０またはユーザ全般にとって、イベントまたはハイライトがどのくらい刺激的または興味深いものであると予想されるかの尺度であり得る。少なくとも１つの実施形態では、興奮レベル２３０は、上記の関連する出願に示されるように計算され得る。追加的または代替的に、興奮レベル２３０は、少なくとも部分的に、視聴覚ストリーム２２２および／またはオーディオストリーム２００から抽出されるコンポーネントであり得るオーディオデータ１５４の分析によって決定され得る。例えば、より高いレベルの群集ノイズ、アナウンス、および／またはアップテンポ音楽を含むオーディオデータ１５４は、関連するハイライト２２０の高い興奮レベル２３０を示し得る。興奮レベル２３０は、ハイライト２２０に対して静的である必要はないが、代わりに、ハイライト２２０の過程で変化し得る。したがって、システム１００は、ハイライト２２０をさらに洗練して、しきい値興奮レベル２３０を超える部分のみをユーザに示すことができる場合がある。

群衆の興奮レベル２３２は、イベントに参加している群衆がどれほど興奮しているようであるかの尺度であり得る。少なくとも１つの実施形態では、群集の興奮レベル２３２は、オーディオデータ１５４の分析に基づいて決定され得る。他の実施形態では、ビジュアル分析を使用して、群衆の興奮を測定するか、またはオーディオデータ分析の結果を補足することができる。

例えば、ハイライト２２０のオーディオストリーム２００の分析によって激しい群集ノイズが検出された場合、ハイライト２２０に対する群集の興奮レベル２３２は、比較的高いとみなされ得る。興奮レベル２３０と同様に、群衆の興奮レベル２３２は、ハイライト２２０の過程で変化する可能性がある。したがって、群衆の興奮レベル２３２は、例えば、ハイライト２２０内の特定の時間に対応する複数のインジケータを含み得る。

図２に記載されているデータ構造は単なる例示である。当業者は、ハイライト識別および／またはメタデータ抽出の実行において、図２のデータのいくつかが省略されるか、または他のデータで置き換えられ得ることを認識するであろう。追加的または代替的に、図２に具体的に示されていないかまたは本出願に記載されていないデータが、ハイライト識別および／またはメタデータ抽出の実行に使用され得る。

オーディオデータ１５４
少なくとも１つの実施形態では、システムは、時間周波数領域において、オーディオストリームなどのオーディオデータ１５４の分析のいくつかの段階を実行して、スポーツイベントまたは別のイベントの描写中に、群衆の歓声、連呼、およびファンサポートなどの群衆ノイズを検出する。描写は、テレビジョン放送、視聴覚ストリーム、オーディオストリーム、記憶されたファイルなどであり得る。

最初に、圧縮されたオーディオデータ１５４が読み取られ、デコードされ、そして所望のサンプリングレートにリサンプリングされる。次に、得られたＰＣＭストリームは、いくつかの交換可能なデジタルフィルタリング段階のいずれかを使用して、ノイズ低減、クリック除去、および／または所望の周波数帯域の選択のために事前フィルタリングされる。続いて、オーディオデータ１５４のためにスペクトログラムが構築される。スペクトルの大きさのピークの顕著なコレクションが、スライディング２次元時間周波数エリアウィンドウの各位置において識別される。分析ウィンドウの位置ごとにスペクトルインジケータが生成され、関連する時間位置を持つスペクトルインジケータのベクトルが形成される。

次に、狭い時間間隔を持つ選択されたインジケータと位置とのペアのランが識別され、ベクトルのセット

にキャプチャされる。ベクトルＥ＝｛Ｒ０、Ｒ１、．．．、Ｒｎ｝が、Ｒのセットを要素として形成される。各Ｒは、サイズが等しくないインジケータの可変カウントを含むため、それらは、インジケータ値によってさらにソートされて、各Ｒの最大大きさインジケータが取得される。さらに、ランの時間位置（開始／中央）、および長さ（持続時間）（インジケータと位置とのペアのカウント）が、各Ｒベクトルから抽出される。各Ｒベクトルをパラメータトリプレット（Ｍ、Ｐ、Ｄ）に置き換えて、予備イベントベクトルが形成され、ここで、Ｍ＝最大インジケータ値、Ｐ＝開始／中央時間位置、およびＤ＝ランレングス（持続時間）である。次に、この予備イベントベクトルが処理されて、所望のイベントインターバル、イベントのラウドネス、およびイベント持続時間に従って、最終的な群集ノイズイベントベクトルが生成される。抽出された群集ノイズイベント情報は、次に、スポーツイベントビデオのハイライトに関連付けられたスポーツイベントメタデータに自動的に追加される。

図３Ａは、一実施形態による、時間領域においてスポーツイベントテレビジョン番組コンテンツから抽出されたオーディオストリーム３１０内のオーディオ波形グラフ３００の例を示す。ハイライトされたエリア３２０は、群衆の歓声などの例示的なノイズイベントを示している。キャプチャされたオーディオの振幅は、ハイライトされたエリア３２０において比較的高く、オーディオストリーム３１０の比較的大きい部分を表し得る。

図３Ｂは、一実施形態による、時間周波数領域における、図３Ａのオーディオ波形グラフ３００に対応するスペクトログラム３５０の例を示す。少なくとも１つの実施形態では、関心のあるイベントの発生の検出およびマーキングは、時間周波数領域において実行され、イベントのタイミング境界は、ビデオハイライトおよびメタデータ生成アプリケーションにリアルタイムで提示される。これは、対応するメタデータ２２４、ハイライト２２０の開始および／または終了を識別する識別子２２３、ハイライト２２０の間に発生する群衆の興奮レベルなどの生成を可能にし得る。

オーディオデータ分析およびメタデータ抽出
図４は、一実施形態による、視聴覚ストリーム２２２を受信し、オーディオデータ１５４のオンザフライ処理を実行して、例えば、ハイライト２２０に対応するメタデータ２２４の抽出する（例えば、クライアントデバイス１０６および／または分析サーバ１１６のうちの１つの上で走らされる）アプリケーションによって行われる方法４００を示すフローチャートである。方法４００によれば、オーディオストリーム３１０などのオーディオデータ１５４を処理して、群集ノイズオーディオイベント、音楽イベント、アナウンスイベント、および／またはテレビジョン番組コンテンツハイライト生成に関係する他の可聴イベントを検出することができる。

少なくとも１つの実施形態では、方法４００（および／または本明細書に記載の他の方法）は、視聴覚ストリームまたは他の視聴覚コンテンツから抽出されたオーディオデータ１５４に対して実行される。あるいは、本明細書に記載の技術は、他のタイプのソースコンテンツに適用することができる。例えば、オーディオデータ１５４は、視聴覚ストリームから抽出する必要はなく、むしろ、スポーツイベントまたは他のイベントのラジオ放送または他のオーディオ描写であってよい。

少なくとも１つの実施形態では、方法４００（および／または本明細書に記載の他の方法）は、図１Ａのシステム１００などのシステムによって実行され得る。しかしながら、図１Ｂのシステム１６０、図１Ｃのシステム１８０、および図１Ｄのシステム１９０を含むがこれらに限定されない代替のシステムを、図１Ａのシステム１００の代わりに使用することができる。さらに、以下の説明は、群集ノイズイベントが識別されると仮定としている。しかしながら、本明細書に記載されているものと同様の方法に従って、異なるタイプの可聴イベントが識別され、メタデータを抽出するために使用され得ることが理解されよう。

図４の方法４００は、オーディオストリーム２００などのオーディオデータ１５４が読み取られるステップ４１０から開始することができる。オーディオデータ１５４が圧縮フォーマットである場合、それは任意選択でデコードすることができる。ステップ４２０において、オーディオデータ１５４は、所望のサンプリングレートにリサンプリングされ得る。ステップ４３０において、オーディオデータ１５４は、いくつかの交換可能なデジタルフィルタリング段階のいずれかを使用してフィルタリングされ得る。次に、ステップ４４０において、例えば、フィルタリングされたオーディオデータ１５４の１秒チャンクに対して短時間フーリエ変換（ＳＴＦＴ）を計算することによって、フィルタリングされたオーディオデータ１５４に対してスペクトログラム２０２が任意選択で生成され得る。スペクトログラム２０２の時間周波数係数は、さらなる処理のために２次元配列に保存できる。

特に、いくつかの実施形態では、ステップ４４０は省略されてよい。スペクトログラム２０２の分析を行うのではなく、さらなる分析をオーディオデータ１５４に対して直接行うことができる。以下の図５から１０は、ステップ４４０が行われており、残りの分析ステップが、（例えば、上記のようにオーディオデータ１５４をデコード、リサンプリング、および／またはフィルタリングした後に）オーディオデータ１５４に対応するスペクトログラム２０２に対して実行されると仮定する。

図５は、一実施形態による、例えば、スペクトログラム２０２を分析して、長時間の群衆の歓声（群衆ノイズ）に関連するスペクトルの大きさのピークのクラスタリングを検出することによって、時間周波数領域においてオーディオストリーム２００などのオーディオデータ１５４を分析するための方法５００を示すフローチャートである。最初に、ステップ５１０において、サイズ（Ｆ×Ｔ）の２次元の長方形の時間周波数分析ウィンドウ２０４が選択され、ここで、Ｔは、複数秒の値（通常、約６秒）であり、Ｆは、考慮される周波数範囲（通常は５００Ｈｚ〜３ＫＨｚ）である。次に、ステップ５２０において、隣接する分析ウィンドウ２０４間のウィンドウ重複領域Ｎが選択され、ウィンドウスライディングステップＳ＝（Ｔ−Ｎ）が計算される（通常約１秒）。この方法はステップ５３０に進み、分析ウィンドウ２０４がスペクトル時間軸に沿ってスライディングする。ステップ５４０において、分析ウィンドウ２０４の各位置において、正規化された大きさが計算され、続いて、分析ウィンドウ２０４の平均ピーク大きさが計算される。計算された平均スペクトルピークの大きさは、分析ウィンドウ２０４の各位置に関連するイベントインジケータを表す。ステップ５５０において、しきい値が各インジケータ値に適用され、ベクトル２０６の初期イベントベクトルが、その要素としてインジケータと位置とのペアを含むように生成される。

上記で確立されたように、初期イベントベクトルは、ステップ５５０においてしきい値化することによって選択されたインジケータと位置とのペアのセットを含み得る。次に、このベクトルを分析して、隣接する要素の位置間隔が狭いインジケータの密集したグループを識別できる。このプロセスを図６に示す。

図６は、一実施形態による、群集ノイズイベントベクトルの生成のための方法６００を示すフローチャートである。ステップ６１０において、選択されたイベントの初期ベクトルが、インジケータ／位置ペアのセットを用いて読み取られ得る。ステップ６２０において、隣接するベクトル要素のＳ秒の位置間隔を持つすべての選択されたインジケータ位置ランが、ベクトルのセット

へと収集され得る。ステップ６３０において、ベクトルＥ＝｛Ｒ０、Ｒ１、．．．、Ｒｎ｝が、Ｒのセットを要素として形成され得る。続いて、ベクトルＥの各要素Ｒをさらに分析して、イベント、イベント時間位置、および／またはイベント持続時間の最大インジケータを抽出することができる。

図７は、一実施形態による、各Ｒベクトルの内部処理のための方法７００を示すフローチャートである。ステップ７１０において、Ｒの要素が、インジケータ値によって降順にソートされ得る。最大インジケータ値が、イベントに対するＭ個のパラメータとして抽出できる。ステップ７２０において、開始／中央時間が、パラメータＰとして各ベクトルＲの各々について記録され得る。ステップ７３０において、各ベクトルＲについて、要素の数が、各ベクトルＲの持続時間パラメータＤとしてカウントおよび記録され得る。各イベントについて、イベントの強さ（ラウドネス）、開始／中央位置、および／または持続時間を記述するトリプレット（Ｍ、Ｐ、Ｄ）が形成され得る。これらのトリプレットは、Ｒベクトルを、群集ノイズイベントについて求められる情報を完全に伝達する新しい導出要素として置き換える場合がある。図７のフローチャートに示されるように、後続の処理は、ステップ７４０において、各ＲのＭ、Ｐ、およびＤ個のパラメータを組み合わせ、その要素として（Ｍ、Ｐ、Ｄ）トリプレットを持つ新しいベクトルを形成することを含み得る。イベントベクトルは、イベント間隔の選択、イベント持続時間の選択、およびイベントのラウドネス（大きさインジケータ）の選択のプロセスに渡されて、検出された群集ノイズイベントの最終的なタイムラインが形成される。

図８は、一実施形態による、所望の群集ノイズイベントをさらに選択するための方法８００を示すフローチャートである。方法８００は、一実施形態によれば、隣接するイベント間の最小時間距離を下回って離間されたイベントベクトル要素を除去することができる。方法８００はステップ８１０から開始し得、システム１００は、イベントベクトル要素を一度に１つずつステップスルーする。クエリ８２０において、前のイベント位置までの時間距離をテストすることができる。クエリ８２０に従って、この時間距離がしきい値を下回る場合、その位置は、ステップ８３０においてスキップされ得る。時間距離がしきい値を下回らない場合、その位置は、ステップ８４０において受け入れられ得る。いずれの場合も、方法８００はクエリ８５０に進み得る。クエリ８５０に従って、イベントベクトルの終了に達した場合、修正されたイベントベクトルが生成され得、ベクトル要素は、互いに近接しすぎているとみなされて除去される。イベントベクトルの終了に達していない場合、ステップ８１０を続行し、必要に応じて追加のベクトル要素を除去することができる。

図９は、一実施形態による、所望の群集ノイズイベントをさらに選択するための方法９００を示すフローチャートである。方法９００は、群集ノイズ持続時間が所望のレベルを下回るイベントベクトル要素を除去することができる。方法９００はステップ９１０から開始し得、システム１００は、イベントベクトルの持続時間コンポーネントをステップスルーする。クエリ９２０において、イベントベクトル要素の持続時間コンポーネントをテストすることができる。クエリ９２０に従って、この持続時間がしきい値を下回る場合、そのイベントベクトル要素は、ステップ９４０においてスキップされ得る。持続時間がしきい値を下回らない場合、そのイベントベクトル要素は、ステップ９３０において受け入れられ得る。いずれの場合も、方法９００はクエリ９５０に進み得る。クエリ９５０に従って、イベントベクトルの終了に達した場合、修正されたイベントベクトルが生成され得、ベクトル要素は、不十分な持続時間の群集ノイズを表すとみなされて除去される。イベントベクトルの終了に達していない場合、ステップ９１０を続行し、必要に応じて追加のベクトル要素を除去することができる。

図１０は、一実施形態による、所望の群集ノイズイベントをさらに選択するための方法１０００を示すフローチャートである。方法１０００は、群集大きさインジケータが所望のレベルを下回るイベントベクトル要素を除去することができる。方法１０００はステップ１０１０から開始し得、システム１００は、イベントベクトルおよびその後の選択をステップスルーする。クエリ１０２０において、群集ノイズイベントの大きさをテストすることができる。クエリ１０２０に従って、この大きさがしきい値を下回る場合、そのイベントベクトル要素は、ステップ１０４０においてスキップされ得る。大きさがしきい値を下回らない場合、その位置は、ステップ１０３０において受け入れられ得る。いずれの場合も、方法１０００はクエリ１０５０に進み得る。クエリ１０５０に従って、イベントベクトルの終了に達した場合、修正されたイベントベクトルが生成され得、ベクトル要素は、群集ノイズの大きさが不十分であるとみなされて除去される。イベントベクトルの終了に達していない場合、ステップ１０１０を続行し、必要に応じて追加のベクトル要素を除去することができる。

図８、９、および１０に記載したイベントベクトル後処理ステップは、任意の所望の順序で実行することができる。示されているステップは、互いに任意の組み合わせで実行でき、一部のステップは省略できる。イベントベクトル処理の最後に、スポーツイベントの所望されるイベントタイムラインを含む、新しい最終的なイベントベクトルを生成することができる。

少なくとも１つの実施形態では、自動ビデオハイライトおよび関連するメタデータ生成アプリケーションは、オーディオおよびビデオコンポーネントを含むライブ放送視聴覚ストリーム、またはコンピュータサーバを介して受信されたデジタル視聴覚ストリームを受信し、デジタル信号処理技術を使用して視聴覚ストリームから抽出されたオーディオデータ１５４を処理して、上記のように、明確な群集ノイズ（例えば、聴衆の歓声）を検出する。これらのイベントは、本明細書に記載の手法を使用してソートおよび選択できる。次に、抽出された情報は、スポーツイベントテレビジョン番組ビデオおよび／またはビデオハイライト２２０に関連するスポーツイベントメタデータ２２４に追加され得る。そのようなメタデータ２２４は、例えば、ハイライト生成において使用されるセグメントの開始／終了時間を決定するために使用され得る。本明細書および上記の関連出願において説明するように、ハイライトの開始時間および／または終了時間は、オフセットに基づいて調整することができ、オフセットは、ハイライトに利用可能な時間量、ハイライトの重要性および／または興奮レベル、ならびに／あるいは任意の他の好適な要素に基づくことができる。追加的または代替的に、メタデータ２２４を使用して、視聴覚ストリーム、または対応する興奮レベル２３０もしくは群衆興奮レベル２３２などのハイライト２２０の閲覧中にユーザ１５０に情報を提供することができる。

このシステムおよび方法は、可能な実施形態に関して特に詳細に説明してきた。当業者は、このシステムおよび方法が他の実施形態において実施され得ることを理解するであろう。まず、コンポーネントの特定の名前、用語の大文字、属性、データ構造、または他のプログラミングもしくは構造の態様は、必須でも重要でもなく、メカニズムおよび／または特徴は、名前、フォーマット、またはプロトコルが異なる場合がある。さらに、このシステムは、ハードウェアとソフトウェアの組み合わせを介して、または完全にハードウェア要素で、または完全にソフトウェア要素で実装され得る。また、本明細書に記載する様々なシステムコンポーネント間の機能の特定の分割は、単なる例示であり、必須ではない。単一のシステムコンポーネントによって実行される機能は、代わりに複数のコンポーネントによって実行される場合があり、複数のコンポーネントによって実行される機能は、代わりに単一のコンポーネントによって実行される場合がある。

本明細書における「一実施形態」または「実施形態」への言及は、実施形態に関連して説明する特定の特徴、構造、または特性が、少なくとも１つの実施形態に含まれることを意味する。本明細書の様々な場所における「一実施形態では」または「少なくとも１つの実施形態では」という句の出現は、必ずしもすべてが同じ実施形態を指すとは限らない。

様々な実施形態は、単独でまたは任意の組み合わせのいずれかで、上記の技術を実行するための任意の数のシステムおよび／または方法を含み得る。別の実施形態は、コンピューティングデバイスまたは他の電子デバイス内のプロセッサに上記の技術を実行させるための、非一時的なコンピュータ可読記憶媒体および媒体上に符号化されたコンピュータプログラムコードを備えるコンピュータプログラム製品を含む。

上記のいくつかの部分は、コンピューティングデバイスのメモリ内のデータビットに対する動作のアルゴリズムおよび記号表現の観点から提示されている。これらのアルゴリズムの記述および表現は、データ処理技術の当業者が彼らの仕事の実体を他の当業者に最も効果的に伝えるために使用する手段である。アルゴリズムは、ここでは、概して、所望の結果につながる自己矛盾のない一連のステップ（指示）であると考えられている。手順は、物理量の物理的操作を必要とする手順である。通常、必ずしもそうであるとは限らないが、これらの量は、記憶、転送、結合、比較、および他の方法で操作できる電気信号、磁気信号、または光信号の形をとる。主に一般的な使用法の理由から、これらの信号をビット、値、要素、記号、文字、用語、数値などと呼ぶと便利な場合がある。さらに、一般性を失うことなく、物理量の物理的操作を必要とするステップの特定の配置をモジュールまたはコードデバイスと呼ぶことも便利な場合がある。

ただし、これらおよび類似の用語はすべて、適切な物理量に関連付けられており、これらの量に適用される便利なラベルにすぎないことに留意されたい。以下の説明から明らかであるように別段に特に明記しない限り、説明全体を通して、「処理」または「計算」または「算出」または「表示」または「決定」などの用語を利用する説明は、コンピュータシステムのメモリまたはレジスタもしくは他のそのような情報ストレージ、送信または表示デバイス内で物理（電子）量として表されるデータを操作および変換するコンピュータシステム、あるいは同様の電子コンピューティングモジュールおよび／またはデバイスのアクションおよびプロセスを指すことを理解されたい。

特定の態様は、アルゴリズムの形態で本明細書に記載されているプロセスステップおよび命令を含む。プロセスステップおよび命令は、ソフトウェア、ファームウェアおよび／またはハードウェアで具体化することができ、ソフトウェアで具体化する場合、ダウンロードして、様々なオペレーティングシステムによって使用される異なるプラットフォーム上に常駐し、それらから動作できることに留意されたい。

本文書はまた、本明細書における動作を実行するための装置に関係する。この装置は、必要な目的のために特別に構築され得るか、またはコンピューティングデバイスに記憶されたコンピュータプログラムによって選択的にアクティブ化もしくは再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、フロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、磁気光学ディスク、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ソリッドステートドライブ、磁気カードまたは光学カード、特定用途向け集積回路（ＡＳＩＣ）、あるいは電子命令の記憶に適した任意のタイプの媒体を含むがこれらに限定されない任意のタイプのディスクなどのコンピュータ可読記憶媒体に記憶されてよく、各々はコンピュータシステムバスに結合される。プログラムおよびその関連するデータは、例えばサーバ上で、リモートでホストして走らせることもできる。さらに、本明細書で言及されるコンピューティングデバイスは、単一のプロセッサを含み得るか、またはコンピューティング能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであり得る。

本明細書に提示されるアルゴリズムおよび表示は、特定のコンピューティングデバイス、仮想化システム、または他の装置に本質的に関係していない。様々な汎用システムも、本明細書の教示によるプログラムとともに使用され得るか、あるいは必要な方法ステップを実行するための専用装置を構築することがより便利であり得る。これらの様々なシステムに必要な構造は、ここで提供する説明から明らかであろう。さらに、このシステムおよび方法は、特定のプログラミング言語を参照して説明していない。本明細書に記載の教示を実装するために様々なプログラミング言語を使用することができ、特定の言語への上記の言及は、有効化および最良のモードの開示のために提供されることが理解されよう。

したがって、様々な実施形態は、コンピュータシステム、コンピューティングデバイス、または他の電子デバイス、あるいはそれらの任意の組み合わせまたは複数を制御するためのソフトウェア、ハードウェア、および／または他の要素を含む。そのような電子デバイスは、例えば、当技術分野で周知の技術によるプロセッサ、入力デバイス（キーボード、マウス、タッチパッド、トラックパッド、ジョイスティック、トラックボール、マイクロフォン、および／またはそれらの任意の組み合わせなど）、出力デバイス（スクリーン、スピーカなど）、メモリ、長期ストレージ（磁気ストレージ、光ストレージなど）、ならびに／あるいはネットワーク接続を含むことができる。そのような電子デバイスは携帯型または非携帯型であってよい。説明したシステムおよび方法を実装するために使用できる電子デバイスの例としては、デスクトップコンピュータ、ラップトップコンピュータ、テレビジョン、スマートフォン、タブレット、音楽プレーヤ、オーディオデバイス、キオスク、セットトップボックス、ゲームシステム、ウェアラブルデバイス、家庭用電子デバイス、サーバコンピュータなどが挙げられる。電子デバイスは、限定ではなく例えば、Ｌｉｎｕｘ、ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．から入手可能なＭａｃ ＯＳ Ｘ、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．から入手可能なｉＯＳ、カリフォルニア州マウンテンビューのＧｏｏｇｌｅ，Ｉｎｃ．から入手可能なＡｎｄｒｏｉｄ、および／またはデバイスでの使用に適合した他のオペレーティングシステムなど、任意のオペレーティングシステムを使用することができる。

本明細書において限られた数の実施形態を説明してきたが、上記の説明の利点を有する当業者は、他の実施形態が考案され得ることを理解するであろう。さらに、本明細書で使用される言語は、主に読みやすさおよび教授目的のために選択されており、主題を描写するかまたは制限するために選択されていない可能性があることに留意されたい。したがって、本開示は、範囲を例示することを意図しているが、限定することを意図していない。

Claims (38)

1. イベントの描写からメタデータを抽出するための方法であって、
   前記イベントの少なくとも一部を描写するオーディオデータをデータストアに記憶することと、
   プロセッサにおいて、前記イベントでの群衆の興奮を示す前記オーディオデータの１つ以上の部分を自動的に識別することと、
   前記イベントの前記描写内の、前記部分の各々が発生する時間を示す時間インデックスを少なくとも含むメタデータを前記データストアに記憶することとを含む、方法。
2. 前記イベントの前記描写が視聴覚ストリームを含み、前記方法が、前記イベントの少なくとも一部を描写するオーディオデータを記憶する前に、前記視聴覚ストリームから前記オーディオデータを抽出することをさらに含む、請求項１に記載の方法。
3. 前記イベントの前記描写が、記憶された視聴覚コンテンツを含み、前記方法が、前記イベントの少なくとも一部を描写するオーディオデータを記憶する前に、前記記憶された視聴覚コンテンツから前記オーディオデータを抽出することをさらに含む、請求項１に記載の方法。
4. 前記イベントの前記描写が前記イベントの放送を含み、
   前記イベントがスポーツイベントを含み、
   前記メタデータが、１人以上のユーザにとって特に関心があるとみなされるハイライトに関連する、請求項１に記載の方法。
5. 出力デバイスにおいて、前記１人以上のユーザのうちの１人による前記ハイライトの閲覧中に前記メタデータを提示して、前記ハイライトに関連する群衆の興奮レベルを示すことをさらに含む、請求項４に記載の方法。
6. 前記ハイライトの開始および／または終了を識別するために前記時間インデックスを使用することをさらに含む、請求項４に記載の方法。
7. 出力デバイスにおいて、前記１人以上のユーザのうちの１人に前記ハイライトを提示することをさらに含む、請求項４に記載の方法。
8. 前記１つ以上の部分の自動識別の前に、前記オーディオデータを所望のサンプリングレートにリサンプリングすることによって前記オーディオデータを前処理することをさらに含む、請求項１に記載の方法。
9. 前記１つ以上の部分の自動識別の前に、前記オーディオデータをフィルタリングすることによって前記オーディオデータを前処理して、ノイズを低減または除去することをさらに含む、請求項１に記載の方法。
10. 前記１つ以上の部分の自動識別の前に、前記オーディオデータを前処理して、前記オーディオデータの少なくとも一部について、スペクトル領域においてスペクトログラムを生成することをさらに含む、請求項１に記載の方法。
11. 前記１つ以上の部分を自動的に識別することが、前記スペクトログラムのスライディング２次元時間周波数分析ウィンドウの各位置におけるスペクトルの大きさのピークを識別することを含む、請求項１０に記載の方法。
12. 前記１つ以上の部分を自動的に識別することが、
    前記分析ウィンドウの各位置のスペクトルインジケータを生成することと、
    前記スペクトルインジケータを使用して、関連する時間部分を持つスペクトルインジケータのベクトルを形成することと、をさらに含む、請求項１１に記載の方法。
13. しきい値を下回る連続した時間間隔を持つ、スペクトルインジケータと、関連する分析ウィンドウの時間位置とのペアのランを識別することと、
    Ｒベクトルのセットで、前記識別されたランをキャプチャすることと、
    Ｒベクトルを要素とするベクトルＥを形成することと、をさらに含む、請求項１２に記載の方法。
14. 各Ｒベクトルの要素をカウントすることによって前記Ｒベクトルの各々のランレングスを抽出することをさらに含む、請求項１３に記載の方法。
15. 前記Ｒベクトルの要素を処理して、各Ｒベクトルの最大大きさインジケータを取得することをさらに含む、請求項１３に記載の方法。
16. 前記Ｒベクトルの各々の前記時間インデックスを抽出することをさらに含む、請求項１５に記載の方法。
17. 前記ベクトルＥ内の前記Ｒベクトルの各々を、前記最大大きさインジケータ、前記時間インデックス、およびランレングスを表すパラメータトリプレットで置き換えることによって予備イベントベクトルを生成することをさらに含む、請求項１６に記載の方法。
18. 前記予備イベントベクトルを処理して、前記時間インデックスを含む群衆ノイズイベント情報を生成することをさらに含む、請求項１７に記載の方法。
19. イベントの描写からメタデータを抽出するための非一時的なコンピュータ可読媒体であって、そこに記憶された命令を備え、前記命令は、プロセッサによって実行されると、
    前記イベントの少なくとも一部を描写するオーディオデータをデータストアに記憶させるステップと、
    前記イベントでの群衆の興奮を示す前記オーディオデータの１つ以上の部分を自動的に識別するステップと、
    前記イベントの前記描写内の、前記部分の各々が発生する時間を示す時間インデックスを少なくとも含むメタデータを前記データストアに記憶させるステップと、を実行する、非一時的なコンピュータ可読媒体。
20. 前記イベントの前記描写が前記イベントの放送を含み、
    前記イベントがスポーツイベントを含み、
    前記メタデータが、１人以上のユーザにとって特に関心があるとみなされるハイライトに関連する、請求項１９に記載の非一時的なコンピュータ可読媒体。
21. 前記非一時的なコンピュータ可読媒体に記憶された命令をさらに備え、前記命令は、プロセッサによって実行されると、
    出力デバイスに、前記１人以上のユーザのうちの１人による前記ハイライトの閲覧中に前記メタデータを提示させて、前記ハイライトに関連する群衆の興奮レベルを示すことと、
    前記ハイライトの開始および／または終了を識別するために前記時間インデックスを使用することと、
    出力デバイスに、前記１人以上のユーザのうちの１人に前記ハイライトを提示させることと、のうちの少なくとも１つを実行する、請求項２０に記載の非一時的なコンピュータ可読媒体。
22. 前記非一時的なコンピュータ可読媒体に記憶された命令をさらに備え、前記命令は、プロセッサによって実行されると、前記１つ以上の部分の自動識別の前に、前記オーディオデータを所望のサンプリングレートにリサンプリングすることによって前記オーディオデータを前処理する、請求項１９に記載の非一時的なコンピュータ可読媒体。
23. 前記非一時的なコンピュータ可読媒体に記憶された命令をさらに備え、前記命令は、プロセッサによって実行されると、前記１つ以上の部分の自動識別の前に、前記オーディオデータをフィルタリングすることによって前記オーディオデータを前処理して、ノイズを低減または除去する、請求項１９に記載の非一時的なコンピュータ可読媒体。
24. 前記非一時的なコンピュータ可読媒体に記憶された命令をさらに備え、前記命令は、プロセッサによって実行されると、前記１つ以上の部分の自動識別の前に、前記オーディオデータを前処理して、前記オーディオデータの少なくとも一部について、スペクトル領域においてスペクトログラムを生成する、請求項１９に記載の非一時的なコンピュータ可読媒体。
25. 前記１つ以上の部分を自動的に識別することが、前記スペクトログラムのスライディング２次元時間周波数分析ウィンドウの各位置におけるスペクトルの大きさのピークを識別することを含む、請求項２４に記載の非一時的なコンピュータ可読媒体。
26. 前記１つ以上の部分を自動的に識別することが、
    前記分析ウィンドウの各位置のスペクトルインジケータを生成することと、
    前記スペクトルインジケータを使用して、関連する時間部分を持つスペクトルインジケータのベクトルを形成することと、をさらに含む、請求項２５に記載の非一時的なコンピュータ可読媒体。
27. 前記非一時的なコンピュータ可読媒体に記憶された命令をさらに備え、前記命令は、プロセッサによって実行されると、
    しきい値を下回る連続した時間間隔を持つ、スペクトルインジケータと、関連する分析ウィンドウの時間位置とのペアのランを識別するステップと、
    Ｒベクトルのセットで、前記識別されたランをキャプチャするステップと、
    Ｒベクトルを要素とするベクトルＥを形成するステップと、を実行する、請求項２６に記載の非一時的なコンピュータ可読媒体。
28. 前記非一時的なコンピュータ可読媒体に記憶された命令をさらに備え、前記命令は、プロセッサによって実行されると、
    各Ｒベクトルの要素をカウントすることによって前記Ｒベクトルの各々のランレングスを抽出するステップと、
    前記Ｒベクトルの要素を処理して、各Ｒベクトルの最大大きさインジケータを取得するステップと、
    前記Ｒベクトルの各々の前記時間インデックスを抽出するステップと、
    前記ベクトルＥ内の前記Ｒベクトルの各々を、前記最大大きさインジケータ、前記時間インデックス、およびランレングスを表すパラメータトリプレットで置き換えることによって予備イベントベクトルを生成するステップと、
    前記予備イベントベクトルを処理して、前記時間インデックスを含む群衆ノイズイベント情報を生成するステップと、を実行する、請求項２７に記載の非一時的なコンピュータ可読媒体。
29. イベントの描写からメタデータを抽出するためのシステムであって、
    前記イベントの少なくとも一部を描写するオーディオデータを記憶するように構成されているデータストアと、
    前記イベントでの群衆の興奮を示す前記オーディオデータの１つ以上の部分を自動的に識別するように構成されているプロセッサとを備え、
    前記データストアが、前記イベントの前記描写内の、前記部分の各々が発生する時間を示す時間インデックスを少なくとも含むメタデータを記憶するようにさらに構成されている、システム。
30. 前記イベントの前記描写が前記イベントの放送を含み、
    前記イベントがスポーツイベントを含み、
    前記メタデータが、１人以上のユーザにとって特に関心があるとみなされるハイライトに関連する、請求項２９に記載のシステム。
31. 出力デバイスをさらに備え、
    前記出力デバイスが、前記１人以上のユーザのうちの１人による前記ハイライトの閲覧中に前記メタデータを提示し、前記ハイライトに関連する群衆の興奮レベルを示すように構成されていることと、
    前記プロセッサが、前記ハイライトの開始および／または終了を識別するために前記時間インデックスを使用するようにさらに構成されていることと、
    前記出力デバイスが、前記１人以上のユーザのうちの１人に前記ハイライトを提示するように構成されていることと、のうちの少なくとも１つが当てはまる、請求項３０に記載のシステム。
32. 前記プロセッサが、前記１つ以上の部分の自動識別の前に、前記オーディオデータを所望のサンプリングレートにリサンプリングすることによって前記オーディオデータを前処理するようにさらに構成されている、請求項２９に記載のシステム。
33. 前記プロセッサが、前記１つ以上の部分の自動識別の前に、前記オーディオデータをフィルタリングすることによって前記オーディオデータを前処理して、ノイズを低減または除去するようにさらに構成されている、請求項２９に記載のシステム。
34. 前記プロセッサが、前記１つ以上の部分の自動識別の前に、前記オーディオデータを前処理して、前記オーディオデータの少なくとも一部について、スペクトル領域においてスペクトログラムを生成するようにさらに構成されている、請求項２９に記載のシステム。
35. 前記プロセッサが、前記スペクトログラムのスライディング２次元時間周波数分析ウィンドウの各位置におけるスペクトルの大きさのピークを識別することによって、前記１つ以上の部分を自動的に識別するようにさらに構成されている、請求項３４に記載のシステム。
36. 前記プロセッサが、
    前記分析ウィンドウの各位置のスペクトルインジケータを生成することと、
    前記スペクトルインジケータを使用して、関連する時間部分を持つスペクトルインジケータのベクトルを形成することと、によって前記１つ以上の部分を自動的に識別するようにさらに構成されている、請求項３５に記載のシステム。
37. 前記プロセッサが、
    しきい値を下回る連続した時間間隔を持つ、スペクトルインジケータと、関連する分析ウィンドウの時間位置とのペアのランを識別することと、
    Ｒベクトルのセットで、前記識別されたランをキャプチャすることと、
    Ｒベクトルを要素とするベクトルＥを形成することと、を行うようにさらに構成されている、請求項３６に記載のシステム。
38. 前記プロセッサが、
    各Ｒベクトルの要素をカウントすることによって前記Ｒベクトルの各々のランレングスを抽出することと、
    前記Ｒベクトルの要素を処理して、各Ｒベクトルの最大大きさインジケータを取得することと、
    前記Ｒベクトルの各々の前記時間インデックスを抽出することと、
    前記ベクトルＥ内の前記Ｒベクトルの各々を、前記最大大きさインジケータ、前記時間インデックス、および前記ランレングスを表すパラメータトリプレットで置き換えることによって予備イベントベクトルを生成することと、
    前記予備イベントベクトルを処理して、前記時間インデックスを含む群衆ノイズイベント情報を生成することと、を行うようにさらに構成されている、請求項３７に記載のシステム。
    

Images