JP2014519660A - データストリームのコンテンツを識別する方法及びシステム - Google Patents

Abstract

データストリームのコンテンツを識別する方法及びシステムが提供される。一例において、クライアント装置は、連続したデータストリームを受信し、クライアント装置に格納されたコンテンツパターンに基づいてデータストリームのコンテンツのコンテンツ識別をほぼ連続して実行する。クライアント装置に格納されたコンテンツパターンは、メディアファイルの抽出された特徴又はメディアファイルを記述する特徴の時間的にマッピングされた集合と関連付けられた情報を含む。クライアント装置は、連続したデータストリームがメディアコンテンツを含むかを判定し、その判定に基づいてクライアント装置においてデータストリームのコンテンツのコンテンツ識別を連続して実行する。クライアント装置は、命令を受信することに基づいてデータストリームのコンテンツの同一性を判定するためにサーバをクエリする。

Description

本発明は、データストリームのコンテンツを識別することに関する。例えば本発明は、クライアント装置に格納されたコンテンツパターンに基づいてデータストリームのコンテンツのコンテンツ識別を連続して実行し、いくつかの例においてデータストリームのコンテンツの同一性を判定するためにサーバをクエリするクライアント装置に関する。

オーディオ又はビデオ等の種々のデータの種類に対するコンテンツ識別システムは多くの種々の方法を使用する。クライアント装置は、メディアストリーム（ラジオ等）のメディアサンプル記録を取り込み、そのメディアストリームを識別するために、一致を見つけるためのメディア記録（メディアトラックとしても知られている。）のデータベースの検索を行うようサーバに要求することができる。例えばサンプル記録は、コンテンツ識別サーバモジュールに渡され、コンテンツ識別サーバモジュールは、サンプルのコンテンツ識別を実行し、クライアント装置に識別の結果を返すことができる。認識結果は、クライアント装置上でユーザに対して表示され、あるいは関連情報の購入又は参照等の種々の後続サービスに使用されうる。コンテンツ識別の他の応用例は、例えば放送モニタリング又はコンテンツ依存の広告を含む。

既存のコンテンツ識別システムは、コンテンツ識別要求を開始するためにユーザ対話を要求する可能性がある。多くの場合、ユーザは、曲が終了した後に要求を開始し、例えば曲を識別する機会を逃すであろう。

更にコンテンツ識別システム内において、中央サーバは、クライアント装置からコンテンツ識別要求を受信し、サンプルのコンテンツを識別するために計算集約的な手順を実行する。認識を行うのに使用可能なサーバの数に限りがあるため、多くの要求はクライアント装置に結果を提供する時に遅延を引き起こす可能性がある。

一例において、データストリームのコンテンツを識別する方法が提供される。方法は、クライアント装置において連続したデータストリームを受信するステップと、クライアント装置においてクライアント装置に格納されたコンテンツパターンに基づいてデータストリームのコンテンツのコンテンツ識別をほぼ連続して実行するステップとを有する。コンテンツパターンは、複数のコンテンツを識別するための情報を含みうる。方法は、命令を受信したことに基づいて、クライアント装置がデータストリームのコンテンツの同一性を判定するためにサーバをクエリするステップを更に有する。

別の例において、コンピュータ装置に機能を実行させるためにコンピュータ装置により実行可能な命令を格納する非一時的なコンピュータ読み取り可能な記憶媒体が提供される。機能は、コンピュータ装置において連続したデータストリームを受信することと、コンピュータ装置においてコンピュータ装置に格納されたコンテンツパターンに基づいてデータストリームのコンテンツのコンテンツ識別を連続して実行することとを含む。コンテンツパターンは、複数のコンテンツを識別するための情報を含んでもよい。機能は、命令を受信することに基づいて、コンピュータ装置がデータストリームのコンテンツの同一性を判定するためにサーバをクエリすることを更に含む。

更に別の例において、データストリームのコンテンツを識別するシステムが提供され、プロセッサと、コンピュータ装置において連続したデータストリームを受信する機能及びコンピュータ装置に格納されたコンテンツパターンに基づいてデータストリームのコンテンツのコンテンツ識別を連続して実行する機能を実行するためにプロセッサにより実行可能な命令を格納するデータ記憶装置とを備える。コンテンツパターンは、複数のコンテンツを識別するための情報を含んでもよい。機能は、命令を受信することに基づいて、コンピュータ装置がデータストリームのコンテンツの同一性を判定するためにサーバをクエリすることを更に含む。

更に別の例において、データストリームのコンテンツを識別するシステムが提供され、認識サーバ及び要求サーバを備える。認識サーバは、コンテンツの同一性を判定するためにクエリをクライアント装置から受信するように構成されてもよく、クエリはコンテンツのサンプルを含んでもよい。要求サーバは、クライアント装置に対して連続識別モードで動作するように命令するように構成されてもよく、クライアント装置は、連続識別モードでクライアント装置において受信したデータストリーム内のコンテンツのコンテンツ識別を連続して実行してもよい。

上記の発明の概要は単なる例示であり、限定することを意図しない。上述した例示的な態様、実施形態及び特徴に加えて、更なる態様、実施形態及び特徴が図面及び以下の詳細な説明を参照することにより明らかとなるだろう。

データストリーム内のコンテンツを識別するシステムの一例を示す図。 コンテンツ識別方法の一例を示す図。 データストリームのコンテンツを識別する方法の一例を示すフローチャート。 データストリームのコンテンツを識別するシステムの一例を示す図。

以下の詳細な説明において、説明の一部を形成する添付の図面を参照する。図中、特に指示のない限り、同一の記号は一般に同一の構成要素を識別する。詳細な説明において説明する例示的な実施形態、図面及び特許請求の範囲は、限定することを意図しない。本明細書で提示される発明の主旨の範囲から逸脱することなく他の実施形態が利用可能であるし、他の変更が行われうる。本明細書で一般に説明され図面に示されるように、本発明の態様は、本明細書で明示的に考慮される広範囲の種々の構成において構成され、置換され、組み合わされ、分離され、設計されることが容易に理解されるであろう。

本発明は、特に、データストリームのコンテンツを識別する方法及びシステムを説明する。一例において、クライアント装置は、連続したデータストリームを受信し、クライアント装置に格納されたコンテンツパターンに基づいてデータストリームのコンテンツのコンテンツ識別をほぼ連続して実行する。クライアント装置に格納されたコンテンツパターンは、メディアファイルの抽出された特徴又はメディアファイルを記述する特徴の時間的にマッピングされた集合と関連付けられた情報を含む。クライアント装置は、連続したデータストリームがメディアコンテンツを含むかを判定し、その判定に基づいてクライアント装置においてデータストリームのコンテンツのコンテンツ識別を連続して実行する。クライアント装置は、命令を受信することに基づいてデータストリームのコンテンツの同一性を判定するためにサーバにクエリする。

次に図面を参照すると、図１は、データストリーム内のコンテンツを識別するシステムの一例を示す。図１は所定の構成を有するシステムを示すが、システム内の構成要素は他の方法で構成されてもよい。システムは、いずれかの公知の方法でデータストリームからのデータコンテンツを再生及び提示するメディア／データ情報源１０２を含む。データストリームは、メディア情報源１０２に格納されてもよく、あるいはアナログ又はデジタルブロードキャストのように外部ソースから受信されてもよい。一例において、メディア情報源１０２は、メディアストリーム（例えば、オーディオ及び／又はビデオ）及び／又は他の情報をブロードキャストするラジオ局又はテレビコンテンツプロバイダであってもよい。メディア情報源１０２は、記録形式又はライブ形式のオーディオ又はビデオメディアを再生するあらゆる種類の装置であってもよい。別の例において、メディア情報源１０２は、例えばオーディオのソース及び／又はビデオのソースとして生演奏を含んでもよい。

メディア情報源１０２は、例えばグラフィックディスプレイ、オーディオスピーカ、ＭＩＤＩ楽器、アニマトロニクス人形等、あるいはメディア情報源１０２により提供される他のあらゆる種類のプレゼンテーションを介してメディアストリームを再生又は提示してもよい。

クライアント装置１０４は、入力インタフェース１０６を介してメディア情報源１０２からメディアストリームの再生を受信する。一例において、入力インタフェース１０６はアンテナを含んでもよく、この場合、メディア情報源１０２はメディアストリームをクライアント装置１０４に無線でブロードキャストしてもよい。しかし、メディアストリームの形式によって、メディア情報源１０２は、無線又は有線通信技術を使用してメディアを再生してもよい。他の例において、入力インタフェース１０６は、マイクロホン、ビデオカメラ、振動センサ、無線受信機、ネットワークインタフェース等のうちいずれも含むことができる。特定の一例として、メディア情報源１０２は音楽を再生してもよく、入力インタフェース１０６は音楽のサンプルを受信するマイクロホンを含んでもよい。

例において、クライアント装置１０４は、メディアストリームの再生を受信する以外、メディア情報源１０２に動作可能に結合されなくてもよい。このように、クライアント装置１０４は、メディア情報源１０２により制御されなくてもよく、メディア情報源１０２の必須の一部分でなくてもよい。図１に示す例において、クライアント装置１０４はメディア情報源１０２とは別個のエンティティである。

入力インタフェース１０６は、再生されたメディアストリームのメディアサンプルを取り込むように構成される。入力インタフェース１０６は、受信した全てのオーディオを記録しその記録をバッファ１０８に格納する等、ユーザの介入なしで連続してメディアサンプルを取り込むように事前にプログラムされてもよい。バッファ１０８は、多くの記録を格納してもよく、あるいは例えばクライアント装置１０４が所定の間隔で記録しその記録を格納してもよいように制限された時間の間の記録を格納してもよい。他の例において、メディアサンプルの取り込みは、ユーザがボタンを作動させることにより又はサンプルの取り込みをトリガする他のアプリケーションにより影響を受ける可能性がある。例えばクライアント装置１０４のユーザは、ボタンを押下して、マイクロホンを介してオーディオの１０秒のデジタルサンプルを記録し、あるいはカメラを使用して静止画又はビデオシーケンスを取り込むことができる。

クライアント装置１０４は、携帯電話、無線携帯電話、パーソナルデータアシスタント（ＰＤＡ）、パーソナルメディアプレーヤ装置、無線ウェブウォッチ装置、パーソナルヘッドセット装置、特定用途向け装置又は上記機能のいずれかを含むハイブリッド装置等の小さいフォームファクタのポータブル（又はモバイル）電子装置の一部として実現可能である。更にクライアント装置１０４は、ラップトップコンピュータ構成及び非ラップトップコンピュータ構成の双方を含むパーソナルコンピュータとして実現可能である。クライアント装置１０４は、より大きい装置又はシステムの構成要素であってよい。

クライアント装置は、位置識別モジュール１１０及びコンテンツ識別モジュール１１２を更に含む。位置識別モジュール１１０は、バッファ１０８からメディアサンプルを受信し且つその瞬間に取り込まれているメディアサンプルに基づいて再生されるメディアストリームにおけるメディアサンプルの時間オフセットを示す対応する推定時間位置（Ｔ_Ｓ）を識別するように構成される。いくつかの例において、時間位置（Ｔ_Ｓ）は、メディアストリームの開始からの経過時間であってもよい。

コンテンツ識別モジュール１１２は、バッファ１０８からメディアサンプルを受信し受信したメディアサンプルに対してコンテンツ識別を実行するように構成される。コンテンツ識別は、メディアストリームを識別するか、あるいはメディアサンプルに関する情報又はそれに関連する情報を識別する。コンテンツ識別モジュール１１２は、例えば、英国ロンドンのＳｈａｚａｍ社（Ｓｈａｚａｍ Ｅｎｔｅｒｔａｉｎｍｅｎｔ）、カリフォルニア州エメリービルのグレースノート社（Ｇｒａｃｅｎｏｔｅ）又はカリフォルニア州サンノゼのＭｅｌｏｄｉｓ社（Ｍｅｌｏｄｉｓ）により提供されるようなあらゆるメディアサンプル情報検索サービスの例において使用されてもよく又は組み込まれてもよい。これらのサービスは、環境オーディオのサンプルを受信し、オーディオサンプルの音楽コンテンツを識別し、トラック名、アーティスト、アルバム、アートワーク、バイオグラフィ、ディスコグラフィ、コンサートチケット等を含む音楽に関する情報をユーザに提供するように動作する。

この点に関して、コンテンツ識別モジュール１１２は、メディア検索エンジン１１４を含み、例えば受信したメディアサンプル内のトラックを識別するように受信したメディアサンプルと格納情報とを比較するために基準メディアストリームに索引をつけるデータベース１１６を含むか又はそれに結合されてもよい。メディアストリーム内のトラックが識別されると、トラックの同一性又は他の情報はクライアント装置１０４のディスプレイに表示されうる。

データベース１１６は、複数のコンテンツを識別するための情報を含むコンテンツパターンを格納する。コンテンツパターンはメディア記録を含んでもよく、各記録は一意の識別子（例えば、ｓｏｕｎｄ＿ＩＤ）により識別されうる。あるいは、ｓｏｕｎｄ＿ＩＤが他のいずれかの場所からオーディオファイルを検索するために使用可能であるため、データベース１１６は、各記録に対してオーディオ又はビデオファイルを必ずしも格納しなくてもよい。コンテンツパターンは、メディア記録のタイムラインに対応する時間次元を有するメディア記録のコンテンツを記述する特徴の時間的にマッピングされた集合を含む基準シグネチャファイル等の他の情報を含んでもよく、各特徴は、マッピングされた時点に近いコンテンツの記述であってもよい。コンテンツパターンは、メディアファイルの抽出された特徴と関連付けられた情報を更に含んでもよい。データベース１１６は、多くのコンテンツパターンを含み、クライアント装置１０４がローカルに格納されたコンテンツパターンに一致するコンテンツのコンテンツ識別を実行できるようにしてもよい。

データベース１１６は、アーティスト名、曲の長さ、曲の歌詞、歌詞の行又は単語に対する時間インデックス、アルバムアートワーク、あるいはファイルに対するあらゆる他の識別又は関連情報のようなコンテンツパターンに関する情報を示すメタデータ等の格納された各コンテンツパターンに対する情報を更に含んでもよい。

図１のシステムは、クライアント装置１０４が無線又は有線リンクを介して結合されてもよいネットワーク１２０を更に含む。サーバ１２２は、ネットワーク１２０に結合されて提供され、サーバ１２２は、位置識別モジュール１２４及びコンテンツ識別モジュール１２６を含む。図１は、位置識別モジュール１２４及びコンテンツ識別モジュール１２６の双方を含むようにサーバ１２２を示すが、例えば位置識別モジュール１２４及び／又はコンテンツ識別モジュール１２６のいずれもサーバ１２２とは別個のエンティティであってもよい。更に位置識別モジュール１２４及び／又はコンテンツ識別モジュール１２６は、例えばネットワーク１２０を介してサーバ１２２に接続されたリモートサーバ上にあってもよい。

いくつかの例において、クライアント装置１０４は、メディアサンプルを取り込んでもよく、メディアサンプルのコンテンツの同一性を判定するためにネットワーク１２０を介してサーバ１２２にメディアサンプルを送出してもよい。サーバ１２２の位置識別モジュール１２４及びコンテンツ識別モジュール１２６は、クライアント装置１０４の位置識別モジュール１１０及びコンテンツ識別モジュール１１２と同様に動作するように構成される。この点に関して、コンテンツ識別モジュール１２６は、メディア検索エンジン１２８を含み、例えば受信したメディアサンプル内のトラックを識別するように受信したメディアサンプルと格納情報とを比較するために基準メディアストリームに索引をつけるデータベース１３０を含むか又はそれに結合されてもよい。メディアストリーム内のトラックが識別されると、トラックの同一性又は他の情報がクライアント装置１０４に返される。

他の例において、クライアント装置１０４は、メディア情報源１０２からメディアストリームのサンプルを取り込み、メディアサンプルのフィンガープリント（fingerprint）を作成するようにサンプルに対して初期処理を実行することができる。クライアント装置１０４は、フィンガープリント情報をサーバ１２２の位置識別モジュール１２４及び／又はコンテンツ識別モジュール１２６に送出し、それらモジュールは、フィンガープリント情報にのみ基づいてサンプルに関する情報を識別することができる。このように、更なる計算又は識別処理は、例えばサーバ１２２ではなくクライアント装置１０４において実行されうる。

クライアント装置１０４は、まず受信したメディアサンプルのコンテンツ識別を試み、成功した場合、クライアント装置１０４は、データストリームのコンテンツの同一性を判定するようサーバ１２２にクエリする。他の例において、クライアント装置１０４は、それを行う命令をユーザから受信したことに基づいてサーバ１２２にクエリしてもよい。

メディアトラックのデータベースを使用してメディアサンプル及びメディアサンプルの特徴の計算によるコンテンツ識別を実行する技術において、種々のコンテンツ識別技術が公知である。以下の米国特許及び出願、すなわちＫｅｎｙｏｎ他の米国特許第４，８４３，５６２号「Ｂｒｏａｄｃａｓｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ」、Ｋｅｎｙｏｎの米国特許第４，４５０，５３１号「Ｂｒｏａｄｃａｓｔ Ｓｉｇｎａｌ Ｒｅｃｏｇｎｉｔｉｏｎ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ」、Ｈａｉｔｓｍａ他の米国特許出願公開第２００８／０２６３３６０号「Ｇｅｎｅｒａｔｉｎｇ ａｎｄ Ｍａｔｃｈｉｎｇ Ｈａｓｈｅｓ ｏｆ Ｍｕｌｔｉｍｅｄｉａ Ｃｏｎｔｅｎｔ」、Ｗａｎｇ及びＣｕｌｂｅｒｔの米国特許第７，６２７，４７７号「Ｒｏｂｕｓｔ ａｎｄ Ｉｎｖａｒｉａｎｔ Ａｕｄｉｏ Ｐａｔｔｅｒｎ Ｍａｔｃｈｉｎｇ」、Ｗａｎｇ、Ａｖｅｒｙの米国特許出願第２００７／０１４３７７７号「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ Ｂｒｏａｄｃａｓｔ Ｓｏｕｒｃｅ」、Ｗａｎｇ及びＳｍｉｔｈの米国特許第６，９９０，４５３号「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｒｅｃｏｇｎｉｚｉｎｇ Ｓｏｕｎｄ ａｎｄ Ｍｕｓｉｃ Ｓｉｇｎａｌｓ ｉｎ Ｈｉｇｈ Ｎｏｉｓｅ ａｎｄ Ｄｉｓｔｏｒｔｉｏｎ」、並びにＢｌｕｍ他の米国特許第５，９１８，２２３号「Ｍｅｔｈｏｄ ａｎｄ Ａｒｔｉｃｌｅ ｏｆ Ｍａｎｕｆａｃｔｕｒｅ ｆｏｒ Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ Ａｎａｌｙｓｉｓ，Ｓｔｏｒａｇｅ，Ｒｅｔｒｉｅｖａｌ，ａｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ａｕｄｉｏ Ｉｎｆｏｒｍａｔｉｏｎ」は、メディア認識技術の可能な例を説明している。この引用により、これらの内容は本明細書に組み込まれる。

簡単に説明すると、（クライアント装置１０４又はサーバ１２２内の）コンテンツ識別モジュールは、メディア記録を受信し、メディア記録をサンプリングするように構成される。このメディア記録と、デジタル化された正規化基準信号セグメントとの相関がとられ、結果として得られる相関セグメント毎に相関関数のピークを取得し、相関関数のピーク間の間隔が所定の限度内である場合に認識信号を提供する。米国特許第４，４５０，５３１号（この引用により全ての内容が本明細書に組み込まれる。）で示されるように、相関関数のピークと一致するＲＭＳパワー値のパターンは、デジタル化された基準信号セグメントからのＲＭＳパワー値のパターンの所定限度内で一致しうる。このように、一致するメディアコンテンツが識別されうる。更にメディアコンテンツ中のメディア記録の一致位置は、例えば一致相関セグメントの位置及び相関ピークのオフセットにより与えられる。

図２は、コンテンツ識別方法の別の例を示す。一般にメディアコンテンツは、メディアサンプルの特徴又はフィンガープリントを識別又は計算し、そのフィンガープリントを基準メディアファイルの先に識別されたフィンガープリントと比較することにより識別可能である。フィンガープリントが計算されるサンプル内の特定の場所は、サンプル中の再現可能な点に依存する。そのような再現可能に計算できる場所は、「ランドマーク（landmarks）」と呼ばれる。ランドマークのサンプル内の場所は、サンプル自体により判定可能である。すなわち、その場所は、サンプルの品質に依存し且つ再現可能である。同一又は同様のランドマークは、処理が繰り返される度に同一の信号に対して計算されうる。ランドマーキング方式は、録音の１秒毎に約５〜約１０個のランドマークに印をつける。しかし、ランドマーキング密度は、メディア記録内の動作量に依存する。パワーノルム（Power Norm）として公知である１つのランドマーキング技術は、記録中の多くの時点における瞬時パワーを算出し極大値を選択する。これを行う１つの方法は、波形を直接整流しフィルタリングすることによりエンベロープを算出することである。別の方法は、信号のヒルベルト変換（直交位相）を算出し、ヒルベルト変換及び元の信号の２乗和を使用することである。ランドマークを算出する他の方法が使用されてもよい。

図２は、サンプルのｄＢ（マグニチュード）対時間の一例を示すグラフである。グラフは、多くの識別されたランドマークの位置（Ｌ_１〜Ｌ_８）を示す。ランドマークが判定されると、フィンガープリントは記録中の各ランドマーク時点又はそれに近い時点で計算される。ランドマークに対する特徴の近さは、使用されるフィンガープリンティング法により規定される。いくつかの例において、特徴が明らかにランドマークに対応し、先行又は後続するランドマークには対応しない場合、特徴はそのランドマークに近接すると考えられる。他の例において、特徴は複数の隣接するランドマークに対応する。一般にフィンガープリントは、ランドマーク時点又はそれに近い時点において記録の特徴の集合を集約する値又は値の集合である。一例において、各フィンガープリントは複数の特徴のハッシュ関数である単一の数値である。フィンガープリントの他の例は、スペクトルスライスフィンガープリント、マルチスライスフィンガープリント、ＬＰＣ係数、ケプストラム係数及びスペクトログラムピークの周波数成分を含む。

フィンガープリントは、あらゆる種類のデジタル信号処理又は信号の周波数分析により計算できる。一例において、スペクトルスライスフィンガープリントを生成するために、周波数分析が各ランドマーク時点の近傍で実行され、上位のいくつかのスペクトルピークを抽出する。フィンガープリントの値は、最も強いスペクトルピークの単一の周波数値であってもよい。オーディオサンプルの特徴又はフィンガープリントを算出することに関する更なる情報については、Ｗａｎｇ及びＳｍｉｔｈの米国特許第６，９９０，４５３号「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｒｅｃｏｇｎｉｚｉｎｇ Ｓｏｕｎｄ ａｎｄ Ｍｕｓｉｃ Ｓｉｇｎａｌｓ ｉｎ Ｈｉｇｈ Ｎｏｉｓｅ ａｎｄ Ｄｉｓｔｏｒｔｉｏｎ」を参照されたい。この引用により、上記文献の全ての内容が本明細書に組み込まれる。

従って、図１に戻ると、クライアント装置１０４又はサーバ１２２は、記録（例えば、メディア／データサンプル）を受信し、記録のフィンガープリントを計算することができる。一例において、記録に関する情報を識別するために、クライアント装置１０４のコンテンツ識別モジュール１１２は、データベース１１６にアクセスして、線形的に関連した対応関係を最も多く有するファイル又は特徴的なフィンガープリントの相対的な場所が記録の同一のフィンガープリントの相対的な場所と最も一致するファイルの場所を特定するためにデータベース１１６中のファイルと同等なフィンガープリントとの間の対応関係を生成することにより、記録のフィンガープリントと、既知のオーディオトラックのフィンガープリントと記録のフィンガープリントとのマッチングをとることができる。

図２を参照すると、フィンガープリントが一致する（又はほぼ一致する）基準ファイル及びサンプルのランドマークの散布図が示される。サンプルは、多くの基準ファイルと比較され、多くの散布図を生成してもよい。散布図を生成した後、ランドマーク対の間の線形的な対応関係が識別され、集合は線形的に関連する対の数に従ってスコアをつけることができる。線形的な対応関係は、例えば統計的に有意な数の対応するサンプルの場所及び基準ファイルの場所が許容値内でほぼ同一の一次方程式により記述される場合に起こる可能性がある。最も高い統計的に有意なスコアを有する集合のファイル、すなわち線形的に関連した対応関係を最も多く有する集合のファイルがウィニングファイルであり、一致メディアファイルと考えられる。

一例において、ファイルに対するスコアを生成するためにオフセット値のヒストグラムが生成される。オフセット値は、フィンガープリントが一致する基準ファイルとサンプルとの間のランドマーク時間位置の差分であってもよい。図２は、オフセット値のヒストグラムの一例を示す。基準ファイルは、ヒストグラムのピークと等しいスコアを与えられうる（例えば、図２においてスコア＝２８）。各基準ファイルは、スコアを生成するためにこのように処理可能であり、最も高いスコアを有する基準ファイルが、サンプルに対する一致と判定されうる。

メディアストリーム内のコンテンツを識別する技術の更に別の例として、メディアサンプルは局所マッチング技術を使用してそのコンテンツを識別するために分析されうる。例えば、一般に２つのメディア記録間の関係は、それぞれのサンプルから導出される最初に一致する特定のフィンガープリントオブジェクトによって特徴付けられる。それぞれが特定の場所で発生するフィンガープリントオブジェクトの集合が、各メディアサンプルに対して生成される。各場所は、それぞれのメディアサンプルのコンテンツによって判定され、各フィンガープリントオブジェクトはそれぞれの特定の場所又はその近傍で１つ以上の局所的な特徴を特徴付ける。次に、一致したフィンガープリントオブジェクトの対毎に相対値が判定される。その後、相対値のヒストグラムが生成される。統計的に有意なピークが見つけられる場合、２つのメディアサンプルはほぼ一致すると特徴付けられる。更に、オーディオサンプルが元のオーディオトラック／基準オーディオトラックと比較してどの程度スピードアップ又はスローダウンしたかを示す時間伸張比が判定されうる。この方法の更に詳細な説明は、Ｗａｎｇ及びＣｕｌｂｅｒｔの米国特許第７，６２７，４７７号「Ｒｏｂｕｓｔ ａｎｄ Ｉｎｖａｒｉａｎｔ Ａｕｄｉｏ Ｐａｔｔｅｒｎ Ｍａｔｃｈｉｎｇ」を参照されたい。この引用により、同文献のすべての内容が本明細書に組み込まれる。

更に上記出願において説明されるシステム及び方法は、メディアサンプルの同一性より多くのものを返してもよい。例えばＷａｎｇ及びＳｍｉｔｈの米国特許第６，９９０，４５３号で説明される方法を使用すると、識別されたオーディオトラックに関連付けられたメタデータに加えて、識別されたサンプルの開始からのメディアサンプルの相対時間オフセット（ＲＴＯ）を返してもよい。記録の相対時間オフセットを判定するために、サンプルのフィンガープリントは、フィンガープリントが一致する元のファイルのフィンガープリントと比較されうる。各フィンガープリントは所定の時間に発生するため、サンプルを識別するためにフィンガープリントを一致させた後、第１のフィンガープリント（サンプルの一致するフィンガープリントの）と格納された元のファイルの第１のフィンガープリントとの間の時間の差分は、例えば曲における時間であるサンプルの時間オフセットとなる。従って、サンプルが得られた相対時間オフセット（例えば、曲における６７秒）が判定されうる。ＲＴＯを判定するために、他の情報が使用されてもよい。例えばヒストグラムのピークの場所は、基準記録の開始からサンプル記録の開始までの時間オフセットと考えられてもよい。

メディアサンプルの種類によって、コンテンツ識別の他の形態が実行されてもよい。例えばビデオストリーム（例えば、映画）内の位置を識別するために、ビデオ識別アルゴリズムが使用されてもよい。ビデオ識別アルゴリズムの一例は、Ｏｏｓｔｖｅｅｎ，Ｊ．他の「Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｉｏｎ ａｎｄ ａ Ｄａｔａｂａｓｅ Ｓｔｒａｔｅｇｙ ｆｏｒ Ｖｉｄｅｏ Ｆｉｎｇｅｒｐｒｉｎｔｉｎｇ」、Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ、２３１４、（２００２年３月１１日）、１１７〜１２８ページにおいて説明される。この引用により、同文献のすべての内容が本明細書に組み込まれる。例えばビデオにおけるビデオサンプルの位置は、識別されたビデオフレームを判定することにより導出されうる。ビデオフレームを識別するために、メディアサンプルのフレームは行及び列から成る格子に分割され、格子のブロック毎に、画素の輝度値の平均が計算される。空間フィルタは、計算された平均輝度値に適用され、格子のブロック毎にフィンガープリントビットを導出できる。フィンガープリントビットは、フレームを一意に識別するために使用可能であり、既知のメディアを含むデータベースのフィンガープリントビットと比較可能であるか又はマッチングが可能である。フレームから抽出されたフィンガープリントビットは、サブフィンガープリントと呼ばれ、フィンガープリントブロックは、連続フレームからの固定数のサブフィンガープリントである。サブフィンガープリント及びフィンガープリントブロックを使用して、ビデオサンプルの識別が実行されうる。メディアサンプルが含まれるフレームに基づいて、ビデオにおける位置（例えば、時間オフセット）が判定されうる。

更にコンテンツ識別の他の形態は、ウォーターマーキング法を使用するなどして実行されてもよい。ウォーターマーキング法は、メディアストリームがある間隔で埋め込みウォーターマークを有するように時間オフセットを判定するためにクライアント装置１０４の位置識別モジュール１１０（及び同様にサーバ１２２の位置識別モジュール１２４）により使用可能であり、例えば各ウォーターマークは、直接又はデータベースルックアップを介して間接的にウォーターマークの時間又は位置を指定できる。

コンテンツ識別モジュール１１２の機能を実現するコンテンツ識別方法の上記例の一部において、識別処理の副産物は、メディアストリーム内のメディアサンプルの時間オフセットであってもよい。従って、そのような例において、位置識別モジュール１１０はコンテンツ識別モジュール１１２と同一であってもよく、あるいは位置識別モジュール１１０の機能はコンテンツ識別モジュール１１２により実行されてもよい。

いくつかの例において、クライアント装置１０４又はサーバ１２２は、ネットワーク１２０を介してメディアストリーム・ライブラリ・データベース１３２に更にアクセスしてサンプリングされたメディアに対応するメディアストリームを選択してもよく、そのメディアストリームは、クライアント装置１０４に返され、クライアント装置１０４により再生されてもよい。メディアストリーム・ライブラリ・データベース１３２中の情報又はメディアストリーム・ライブラリ・データベース１３２自体は、データベース１１６内に含まれてもよい。

メディアサンプルに対応するメディアストリームは、例えばクライアント装置１０４のユーザによりマニュアルで選択されてもよいし、クライアント装置１０４によりプログラムにより選択されてもよいし、あるいはメディアサンプルの同一性に基づいてサーバ１２２により選択されてもよい。選択されたメディアストリームは、メディアサンプルとは異なる種類のメディアであってもよく、メディア情報源１０２により再生されているメディアに同期されてもよい。例えば、メディアサンプルは音楽であってもよく、選択されたメディアストリームは、音楽に同期可能な歌詞、楽譜、ギタータブラチュア、伴奏、ビデオ、アニマトロニクス人形のダンス、アニメーションシーケンス等であってもよい。クライアント装置１０４は、メディアサンプルに対応する選択されたメディアストリームを受信してもよく、メディア情報源１０２により再生されているメディアと同期して選択されたメディアストリームを再生してもよい。

メディア情報源１０２により再生されているメディアの推定時間位置は、位置識別モジュール１１０により判定され、選択されたメディアストリームを再生する選択されたメディアストリーム内の対応位置を判定するために使用される。クライアント装置１０４がメディアサンプルを取り込むようにトリガされる場合、タイムスタンプ（Ｔ_０）はクライアント装置１０４の基準クロックから記録される。いずれかの時間ｔにおいて、推定リアルタイムメディアストリーム位置Ｔ_ｒ（ｔ）は、推定識別メディアストリーム位置Ｔ_Ｓ＋タイムスタンプの時間からの経過時間から判定される。

Ｔ_ｒ（ｔ）は、メディアストリームの開始から現在再生されているメディアストリームのリアルタイム位置までの経過時間である。従って、Ｔ_Ｓ（すなわち、記録されたサンプルに基づくメディアストリームの開始からメディアストリームの位置までの推定経過時間）を使用して、Ｔ_ｒ（ｔ）が算出されうる。Ｔ_ｒ（ｔ）は、メディア情報源１０２により再生されているメディアと同期して選択されたメディアストリームを提示するためにクライアント装置１０４により使用される。例えばクライアント装置１０４は、メディア情報源１０２により再生されているメディアと同期して選択されたメディアストリームを再生及び提示するように、時間位置Ｔ_ｒ（ｔ）又は時間Ｔ_ｒ（ｔ）が経過した位置において選択されたメディアストリームの再生を開始してもよい。

いくつかの実施形態において、選択されたメディアストリームがメディア情報源１０２により再生されているメディアと同期しなくなることを緩和又は防止するため、推定位置Ｔ_ｒ（ｔ）は速度調整比Ｒに従って調整されうる。例えば米国特許第７，６２７，４７７号「Ｒｏｂｕｓｔ ａｎｄ ｉｎｖａｒｉａｎｔ ａｕｄｉｏ ｐａｔｔｅｒｎ ｍａｔｃｈｉｎｇ」（この引用により、同文献のすべての内容が本明細書に組み込まれる。）において説明される方法は、メディアサンプル、推定識別メディアストリーム位置Ｔ_Ｓ及び速度比Ｒを識別するために実行されうる。速度比Ｒを推定するために、一致するフィンガープリントの可変部分のクロス周波数比が算出され、周波数が時間に反比例するため、クロス時間比はクロス周波数比の逆数である。クロス速度比Ｒはクロス周波数比（例えば、クロス時間比の逆数）である。

特に、上述した方法を使用して、２つのオーディオサンプル間の関係は、サンプルの時間周波数スペクトログラムを生成し（例えば、各フレームにおいて周波数ビンを生成するためにフーリエ変換を計算し）、スペクトログラムの局所的なエネルギーピークを識別することにより特徴付けられる。局所的なエネルギーピークに関連した情報は抽出され、各々が場所フィールド、可変の構成要素及び不変の構成要素をオプションとして含むフィンガープリントオブジェクトのリストに集約される。それぞれのオーディオサンプルのスペクトログラムから導出された特定のフィンガープリントオブジェクトは一致されうる。相対値は、一致したフィンガープリントオブジェクトの対毎に判定され、例えばそれぞれのオーディオサンプルのパラメータ値の対数の差分又は商であってもよい。

一例において、スペクトルピークの局所的な対はメディアサンプルのスペクトログラムから選択され、局所的な対の各々はフィンガープリントを含む。同様に、スペクトルピークの局所的な対は、既知のメディアストリームのスペクトログラムから選択され、局所的な対の各々はフィンガープリントを含む。サンプルと既知のメディアストリームとの間の一致するフィンガープリントが判定され、サンプル及びメディアストリームの各々に対するスペクトルピーク間の時間差分が算出されうる。例えば、サンプルの２つのピーク間の時間差分は判定され、既知のメディアストリームの２つのピーク間の時間差分と比較される。これらの２つの時間差分の比は比較され、そのような比の多くを含むヒストグラムが生成されうる（例えば、一致するフィンガープリントの対から抽出されうる）。ヒストグラムのピークは、実際の速度比（例えば、メディア情報源１０２がメディアを再生している時の速度とメディアが基準メディアファイルで再生される時の速度との差分）であると判定されてもよい。従って、速度比Ｒの推定値は、例えばヒストグラムのピークが相対的なピッチとして又は線形的な伸張の場合は相対的な再生速度として２つのオーディオサンプル間の関係を特徴付けるようなヒストグラムのピークを見つけることにより取得できる。

グローバルな相対値（例えば、速度比Ｒ）は、２つのオーディオサンプルからの対応する可変構成要素を使用して一致したフィンガープリントオブジェクトから算出されうる。可変構成要素は、各フィンガープリントオブジェクトの場所に近接する局所的な特徴から判定される周波数値であってもよい。速度比Ｒは、デルタ時間又は周波数の比、あるいは２つのオーディオサンプル間のマッピングを記述するために使用されるグローバルパラメータの推定値を結果として与える他の関数であってよい。速度比Ｒは、例えば相対的な再生速度の推定値と考えられてもよい。

速度比Ｒは、他の方法を使用しても推定可能である。例えば、メディアの複数のサンプルが取り込み可能であり、コンテンツ識別は各サンプルに対して実行され、ｋ番目のサンプルに対して基準クロック時間Ｔ_０（ｋ）における複数の推定メディアストリーム位置Ｔ_Ｓ（ｋ）を取得できる。Ｒは以下のように推定できる。

時間変動としてＲを表すために、以下の式が使用されてもよい。

従って、速度比Ｒは、ある時間範囲にわたる推定時間位置Ｔ_Ｓを使用して算出され、メディアがメディア情報源１０２により再生されている時の速度を判定できる。

速度比Ｒを使用して、リアルタイムメディアストリーム位置の推定値が以下のように算出できる。

リアルタイムメディアストリーム位置は、メディアサンプルの時間の位置を示す。例えばメディアサンプルが４分の長さの曲から得られ、Ｔ_ｒ（ｔ）が１分である場合、曲の１分が経過したことを示す。

図３は、データストリームのコンテンツを識別する一例の方法３００を示すフローチャートである。本明細書で開示する処理及び方法並びに他の処理及び方法に対して、フローチャートは本実施形態の１つの可能な実現例の機能性及び動作を示すことが理解されるべきである。この点に関して、各ブロックは、処理の特定の論理機能又はステップを実現するためにプロセッサにより実行可能な１つ以上の命令を含むモジュール、セグメント又はプログラムコードの一部を表してもよい。プログラムコードは、例えばディスク又はハードドライブを含む記憶装置等のあらゆる種類のコンピュータ読み取り可能な記憶媒体又はデータ記憶装置に格納されてもよい。コンピュータ読み取り可能な記憶媒体は、例えばレジスタメモリ、プロセッサキャッシュ及びランダムアクセスメモリ（ＲＡＭ）のようなデータを短期間格納するコンピュータ可読媒体等の非一時的なコンピュータ可読媒体を含んでもよい。コンピュータ読み取り可能な記憶媒体は、例えば読み出し専用メモリ（ＲＯＭ）、光ディスク、磁気ディスク、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）のような二次記憶装置又は永続的な長期記憶装置等の非一時的な媒体を更に含んでもよい。コンピュータ可読媒体は、他のあらゆる揮発性又は不揮発性記憶システムであってもよい。コンピュータ読み取り可能な記憶媒体は、例えば有形のコンピュータ可読記憶媒体と考えられてもよい。

更に、図３の各ブロックは、処理の特定の論理機能を実行するために配線される回路網を表してもよい。当業者には当然理解されるように、機能が関係する機能性に依存して図示されるか又は説明される順番とは異なる順番、例えばほぼ同時又は逆の順番で実行されてもよい別の実現例は、本発明の実施形態の例の範囲内に含まれる。

方法３００は、ブロック３０２においてクライアント装置で連続したデータストリームを受信することを含む。連続したデータストリームは、ラジオ放送、テレビのオーディオ／ビデオ又は再生されているあらゆるオーディオ等のあらゆする種類のデータ又はメディアを含んでもよい。データストリームはソースにより連続して再生されてもよく、従って、クライアント装置はデータストリームを連続して受信してもよい。いくつかの例において、クライアント装置は、再生されるデータストリームの実質的な部分を受信するように又はほぼ常にデータストリームを受信するように、ほぼ連続したデータストリームを受信してもよい。

方法３００は、ブロック３０４において連続したデータストリームがメディアコンテンツを含むかを判定することを含む。一例において、クライアント装置は、データストリームの特徴の変動を判定するためにデータストリームを処理してもよく、この処理は、データストリームがメディアコンテンツを含むかを判定するために、音声の有声成分及び無声成分の変化を区別し且つメディアコンテンツの既知の特徴とデータストリームとを比較することを含む。一例において、クライアント装置は、本明細書に参考として全ての内容が取り入れられている米国特許第６，５７０，９９１号公報で説明される方法を使用して、データストリームが曲を含むオーディオ等のメディアコンテンツを含むかを判定してもよい。他の例において、クライアント装置は、Ｓｈｅｉｒｅｒ及びＳｌａｎｅｙの「Ｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ Ｅｖａｌｕａｔｉｏｎ ｏｆ ａ Ｒｏｂｕｓｔ Ｍｕｌｔｉｆｅａｔｕｒｅ Ｓｐｅｅｃｈ／Ｍｕｓｉｃ Ｄｉｓｃｒｉｍｉｎａｔｏｒ」Ｐｒｏｃｅｅｄｉｎｇ ＩＣＡＳＳＰ １９９７、第２巻において説明される方法（この引用により、同文献のすべての内容が本明細書に組み込まれる。）を使用して、データストリームが曲を含むオーディオ等のメディアコンテンツを含むかを判定してもよい。

方法３００は、ブロック３０６において、クライアント装置においてクライアント装置に格納されたコンテンツパターンに基づいてデータストリームのコンテンツのコンテンツ識別をほぼ連続して実行することを含む。コンテンツパターンは、複数のコンテンツを識別するための情報を含んでもよく、例えばメディアファイルの抽出された特徴又はメディアファイルを記述する特徴の時間的にマッピングされた集合と関連付けられた情報等のあらゆる種類の情報を含んでもよい。各コンテンツパターンは、例えば所定の基準ファイルのランドマーク−フィンガープリント対を更に含んでもよい。

クライアント装置は、連続したデータストリームを受信し、コンテンツ識別を連続して実行してもよい。このように、クライアント装置は、受信される全てのコンテンツを識別しようとしてもよい。コンテンツ識別は、例えばクライアント装置が動作している間又はコンテンツ識別機能を含むアプリケーションが実行している間に常に又はほぼ常に実行されるように、ほぼ連続して実行されてもよい。

いくつかの例において、データストリームを受信するとコンテンツ識別が実行可能であるため、データストリームが受信されない場合はコンテンツ識別が実行されなくてもよい。クライアント装置は、マイクロホンからデータストリームを連続して受信するように（例えば、周囲オーディオを常に取り込むように）構成されてもよい。一例において、データストリームがメディアコンテンツを含むかの判定（ブロック３０４）に基づいて、クライアント装置は、データストリームがメディアデータを含む時（及びデータストリームがランダムな周囲ノイズを含む時以外）にコンテンツ識別を実行するように、クライアント装置においてデータストリームのコンテンツのコンテンツ識別を連続して実行してもよい。

クライアント装置は、ユーザ入力なしで（例えば、ユーザがクライアント装置をトリガしてコンテンツ識別を実行させる必要はない）コンテンツ識別を実行するようにコンテンツ識別を連続して実行するように構成されてもよい。クライアント装置のユーザは、コンテンツ識別を連続して実行するアプリケーションを開始してもよく、あるいはクライアント装置がコンテンツ識別を連続して実行するようにクライアント装置の設定を構成してもよい。

方法３００は、ブロック３０８において、命令を受信することに基づいてクライアント装置がデータストリームのコンテンツの同一性を判定するためにサーバをクエリすることを含む。クライアント装置は、クライアント装置にローカルに格納されたコンテンツパターンに基づいてコンテンツ識別を実行してもよい。クライアント装置は限られた数のコンテンツパターンを含む可能性があるため、クライアント装置のコンテンツ識別能力は制限される可能性がある。一例において、ユーザはコンテンツの同一性を判定するためにサーバをクエリする命令を提供してもよい。ユーザは、例えばローカルに格納したコンテンツパターンがデータストリーム内のいずれのコンテンツとも一致しない場合等、クライアント装置がコンテンツを識別できない場合にその命令を提供してもよい。

別の例として、データストリームのコンテンツがメディアコンテンツを含み且つクライアント装置において識別されない場合、クライアント装置はユーザに通知を提供してもよく、ユーザは、データストリームのコンテンツの同一性を判定するためのサーバに対するクエリをクライアント装置に行わせる通知の選択を提供してもよい。

クライアント装置は、クライアント装置により実行されるコンテンツの識別を検証するユーザリクエストに基づいて又はコンテンツ識別が正確である確率が低い（例えば、一致するフィンガープリントの数が所定の閾値未満である）場合に、クライアント装置により実行されるコンテンツの識別を検証するためにサーバを更にクエリしてもよい。

図３の方法３００を使用して、特徴となるコンテンツは、クライアント装置によりローカルで識別されてもよく（ローカルに格納されたコンテンツパターンに基づいて）、クライアント装置により識別されていないあらゆるコンテンツはサーバにより識別されうる。方法３００は、全てのコンテンツ識別処理がクライアント装置において実行されることを可能にする（例えば、サンプルの特徴の抽出、電話に格納された限定されたコンテンツパターンの集合の検索等）。一例において、特徴となるコンテンツがクライアント装置により取り込まれる場合、クライアント装置は、コンテンツ識別を実行でき、認識を示す通知（例えば、ポップアップウィンドウ）を提供できる。方法３００は、特徴となるコンテンツが識別される時期をユーザに通知するためにユーザに対してゼロクリックタグ付け体験を提供してもよい。

クライアント装置にアップロードされ且つ格納されるコンテンツパターンは、メディアソースにより再生される可能性がより高いと判定されるメディアファイルと関連付けられてもよい。従って、クライアント装置がまずローカルコンテンツ識別を実行することを試みることができ、実行できなかった場合にユーザがサーバをクエリするようにクライアント装置に命令してもよいように、人気のコンテンツ又は特徴となるコンテンツのコンテンツパターンはクライアント装置に格納されうる。

クライアント装置は、例えば識別されたコンテンツに関連した広告を表示したり又は識別されたコンテンツに関連した同期されたメディアを表示したりする等、データストリームのコンテンツを識別した後に多くの機能を実行してもよい。別の例として、コンテンツを識別した後、クライアント装置は、コンテンツに関連するか又は関連しないウェブサイト、ビデオ等にユーザを誘導してもよい。

図４は、データストリームのコンテンツを識別する一例のシステム４００を示す。図４におけるシステムの説明される機能又は構成要素のうちの１つ以上が追加の機能構成要素又は物理構成要素に分割されてもよく、あるいはより少ない機能構成要素又は物理構成要素に組み合わされてもよい。更なるいくつかの例において、追加の機能構成要素及び／又は物理構成要素は、図４に示す例に追加されてもよい。

システム４００は、認識サーバ４０２及び要求サーバ４０４を含む。認識サーバ４０２は、コンテンツの同一性を判定するためのクエリをクライアント装置から受信するように構成されてもよく、クエリはコンテンツのサンプルを含んでもよい。認識サーバ４０２は、位置識別モジュール４０６とメディア検索エンジン４１０を含むコンテンツ識別モジュール４０８とを含み、データベース４１２及びメディアストリーム・ライブラリ・データベース４１４に結合される。認識サーバ４０４は、例えば図１のサーバ１２２と同様に動作するように構成されてもよい。

要求サーバ４０４は、クライアント装置が連続識別モードでクライアント装置において受信したデータストリーム内のコンテンツのコンテンツ識別を連続して実行するように（コンテンツを識別するためにクエリを認識サーバ４０２に送出するのではなく又は送出することに加えて）、連続識別モードで動作するようにクライアント装置に命令するように構成されてもよい。要求サーバ４０４はコンテンツパターンを含むデータベース４１６に結合されてもよく、要求サーバ４０４はデータベース４１６にアクセスしてコンテンツパターンを検索しコンテンツパターンをクライアント装置に送信してもよい。

一例において、要求サーバ４０４は、１つ以上のコンテンツパターン及びクライアント装置においてデータストリームのコンテンツのコンテンツ識別を連続して実行する命令をクライアント装置に送信してもよい。クライアント装置は、連続モードで応答可能に動作してもよい。認識サーバ４０２が大量のコンテンツ識別要求を受けている間に要求サーバ４０４はクライアント装置に命令を送出してもよいため、要求サーバ４０２はコンテンツ識別をローカルで実行するようにいくつかのクライアント装置に命令することにより負荷平衡を実行する。大量の要求が受信される可能性のある時期の例は、多くの視聴者がテレビを観ている間に曲を含む広告がそのテレビで流れている時を含む。そのような例において、要求サーバ４０４は事前に計画し、広告の間に再生される曲と一致するコンテンツパターンをクライアント装置に提供し且つクライアント装置がコンテンツ識別をローカルで実行する命令を含むことができる。命令は、クライアント装置がローカルコンテンツ識別を実行すべき時期の指示、例えば未来のある時間又はある期間にそれを行うように命令することを含んでもよい。いくつかの例において、宣伝のために、コンテンツパターンはパターン（例えば、約１００〜５００個のコンテンツパターン）のローカルキャッシュを有するようにクライアント装置に提供され、命令は宣伝が行われる限りコンテンツ識別をローカルで実行するようにクライアント装置に指示できる。

クライアント装置に提供されるコンテンツパターンは、多くの基準に基づいて要求サーバ４０４により選択されうる。例えば要求サーバ４０４は、ユーザのプロファイルに関連した情報を受信してもよく、ユーザのプロファイルに相関されるクライアント装置に提供されるコンテンツパターンを選択してもよい。特にユーザは、特定のジャンルの音楽、アーティスト、音楽の種類、音楽のソース等に対する好みを指示してもよく、要求サーバ４０４は、これらの好みに相関されるメディアに対するコンテンツパターンを提供してもよい。

別の例として、要求サーバ４０４は、クライアント装置の場所（過去又は現在）に関連した情報を受信してもよく、クライアント装置の場所と関連付けられるクライアント装置に提供されるコンテンツパターンを選択してもよい。特に要求サーバ４０４は、クライアント装置がコンサートにいることを示す情報を受信してもよく、クライアント装置に提供されるコンサートにおける音楽のジャンル又はアーティストと関連付けられたコンテンツパターンを選択してもよい。

別の例として、要求サーバ４０４は、クライアント装置に格納されたメディアコンテンツに関連した情報を受信してもよく、クライアント装置に格納されたメディアコンテンツに関連するクライアント装置に提供されるコンテンツパターンを選択してもよい。コンテンツパターンは、アーティスト、ジャンル、種類、年、テンポ等の多くの方法で関連付けられてもよい。

別の例として、要求サーバ４０４は、クライアント装置により先に識別されたメディアコンテンツに関連した情報を受信してもよく、クライアント装置又は認識サーバ４０２により先に識別されたコンテンツに関連するクラインと装置に提供されるコンテンツパターンを選択してもよい。この例において、要求サーバ４０４は、識別されたコンテンツに関連したコンテンツパターンを選択及び提供するために、クライアント装置又は認識サーバ４０２により識別されたコンテンツのリストを格納してもよい。

別の例として、要求サーバ４０４は、第三者により受信された情報に基づいてクライアント装置に提供されるコンテンツパターンを選択してもよい。第三者は、クライアント装置に提供されるコンテンツパターンを選択するように選択を要求サーバ４０４に提供してもよい。一例において、第三者の広告主は、ラジオ又はテレビ広告内で流される今後の広告内に含まれるコンテンツに基づいてコンテンツパターンを選択してもよい。

別の例として、要求サーバ４０４は、コンテンツ識別の履歴に関する複数のコンテンツの人気を示す統計プロファイルに基づくクライアント装置に提供されるコンテンツパターンを選択してもよい。この例において、要求サーバ４０４は、認識サーバ４０２により識別されたメディアコンテンツのリストを維持してもよく、各メディアコンテンツに対する多くのコンテンツ識別要求に基づいてメディアコンテンツの人気をランク付けしてもよい。閾値（例えば、所定期間内に１０００個の要求）を上回る多くのコンテンツ識別要求を受信したメディアコンテンツに対して、要求サーバ４０４は、メディアコンテンツのコンテンツパターンを選択し、コンテンツパターンをクライアント装置に提供してもよい。このように、クライアント装置は、コンテンツパターンのローカルコピーを有し、コンテンツ識別をローカルで実行してもよい。

更なる例において、要求サーバ４０４は、例えばクライアント装置の場所及び第三者（例えば、第三者はクライアント装置の場所に基づいてクライアント装置に提供される多くのコンテンツパターンを識別する）から受信した選択されたコンテンツパターン等、基準のあらゆる組み合わせに基づくクライアント装置に提供されるコンテンツパターンを選択してもよい。

一般にいくつかの例において、要求サーバ４０４は、クライアント装置（又はクライアント装置のユーザ）が選択したコンテンツのコンテンツ識別を要求する確率に基づいてクライアント装置に提供されるコンテンツパターンを選択する。例えばリリースされた新しい曲又は人気の曲、あるいは認識サーバ４０２の受信するコンテンツ認識要求が過去に急激に上昇したことがある曲に対して、要求サーバ４０４は、クライアント装置が認識サーバ４０２と通信する必要なくローカルコンテンツ識別を実行できるようにそれらの曲のコンテンツパターンをクライアント装置に提供してもよい。これは、認識サーバ４０２のトラフィックの負担を軽減し、クライアント装置においてコンテンツ識別をローカルで実行することによりコンテンツ識別がより迅速に実行されることを可能にするであろう。

本明細書において説明した方法の例を使用して、全てのコンテンツ識別処理は限定されたコンテンツの集合に対してクライアント装置において実行されうる。例えば宣伝のために、宣伝のコンテンツに関連したコンテンツパターンはクライアント装置に提供可能であり、クライアント装置は、連続認識モードで動作し、この限定されたコンテンツの集合を識別できるように構成されてもよい。

本明細書において種々の態様及び実施形態が開示されたが、他の態様及び実施形態が当業者には明らかとなるであろう。本明細書で開示した種々の態様及び実施形態は、例示することが目的であって、限定することを意図したものではなく、実際発明の主旨の範囲は以下の特許請求の範囲により示される。多くの変更や変形がその主旨の範囲から逸脱せずに行えることは、当業者には明らかであろう。本明細書で列挙した方法及び装置に加えて、本発明の範囲内の機能的に同等な方法及び装置が当業者には上記説明から明らかとなるであろう。そのような変更及び変形は、添付の特許請求の範囲の範囲内に入ることを意図する。

多くの詳細の変更、変形及び修正が説明した例に対して行えるため、上記説明及び添付の図面に示した全ての事項は例示として解釈され、限定する意味はないことが意図される。

Claims (32)

1. データストリームのコンテンツを識別する方法であって、
   クライアント装置において連続したデータストリームを受信するステップと、
   前記クライアント装置において、前記クライアント装置に格納され、複数のコンテンツを識別するための情報を含むコンテンツパターンに基づいて、前記データストリームのコンテンツのコンテンツ識別をほぼ連続して実行するステップと、
   命令を受信したことに基づいて、前記クライアント装置が前記データストリームのコンテンツの同一性を判定するためにサーバをクエリするステップと、
   を有することを特徴とする方法。
2. 前記連続したデータストリームがメディアコンテンツを含むかを判定するステップと、
   前記判定に基づいて、前記クライアント装置において前記データストリームのコンテンツの前記コンテンツ識別を連続して実行するステップと、
   を更に有することを特徴とする請求項１に記載の方法。
3. 前記データストリームのコンテンツがメディアコンテンツを含み、かつ、前記クライアント装置において識別されない場合に、前記クライアント装置が通知を提供するステップと、
   前記データストリームのコンテンツの前記同一性を判定するための前記サーバに対するクエリを前記クライアント装置に行わせる前記通知のユーザ選択を受信するステップと、
   を更に有することを特徴とする請求項２に記載の方法。
4. 前記データストリームのコンテンツが前記クライアント装置に格納された前記コンテンツパターンのいずれかに一致するかを判定するステップを更に有することを特徴とする請求項１に記載の方法。
5. 前記データストリームのコンテンツの前記コンテンツ識別を連続して実行するステップは、ユーザ命令なしで前記コンテンツ識別を実行することを特徴とする請求項１に記載の方法。
6. 前記クライアント装置において１つ以上のコンテンツパターンを受信するステップと、
   前記クライアント装置において前記データストリームのコンテンツの前記コンテンツ識別を連続して実行する命令を前記サーバから応答可能に受信するステップと、 を更に有することを特徴とする請求項１に記載の方法。
7. 前記クライアント装置においてユーザのプロファイルと相関をとられるコンテンツの１つ以上のコンテンツパターンを受信するステップを更に有することを特徴とする請求項１に記載の方法。
8. 前記クライアント装置において前記クライアント装置の場所と関連付けられる１つ以上のコンテンツパターンを受信するステップを更に有することを特徴とする請求項１に記載の方法。
9. 前記クライアント装置において、前記クライアント装置又は前記サーバにより先に識別されたコンテンツと関連付けられる１つ以上のコンテンツパターンを受信するステップを更に有することを特徴とする請求項１に記載の方法。
10. 前記クライアント装置において前記クライアント装置に格納されたメディアコンテンツに関連付けられる１つ以上のコンテンツパターンを受信するステップを更に有することを特徴とする請求項１に記載の方法。
11. 前記クライアント装置において、コンテンツ識別の履歴に関する複数のコンテンツの人気を示す統計プロファイルに基づいて選択される１つ以上のコンテンツパターンを受信するステップを更に有することを特徴とする請求項１に記載の方法。
12. 前記クライアント装置において、第三者により選択される１つ以上のコンテンツパターンを受信するステップを更に有することを特徴とする請求項１に記載の方法。
13. 前記クライアント装置が前記データストリームのコンテンツを識別するステップと、
    前記識別されたコンテンツに基づいて前記クライアント装置が前記識別されたコンテンツに関連した広告を表示するステップと、
    を更に有することを特徴とする請求項１に記載の方法。
14. 前記クライアント装置が前記データストリームのコンテンツを識別するステップと、
    前記識別されたコンテンツに基づいて前記クライアント装置が前記識別されたコンテンツに関連した同期されたメディアを表示するステップと、
    を更に有することを特徴とする請求項１に記載の方法。
15. 前記クライアント装置が前記データストリームのコンテンツを識別するステップと、
    前記クライアント装置が前記識別を検証するために前記サーバをクエリするステップと、
    を更に有することを特徴とする請求項１に記載の方法。
16. 前記クライアント装置に格納された前記コンテンツパターンは、メディアファイルの抽出された特徴と関連付けられた情報を含むことを特徴とする請求項１に記載の方法。
17. 前記クライアント装置に格納された前記コンテンツパターンは、メディアファイルを記述する特徴の時間的にマッピングされた集合を含むことを特徴とする請求項１に記載の方法。
18. コンピュータ装置において連続したデータストリームを受信する機能と、
    前記コンピュータ装置において、前記コンピュータ装置に格納され、複数のコンテンツを識別するための情報を含むコンテンツパターンに基づいて、前記データストリームのコンテンツのコンテンツ識別を連続して実行する機能と、
    命令を受信したことに基づいて、前記コンピュータ装置が前記データストリームのコンテンツの同一性を判定するためにサーバをクエリする機能と、
    を前記コンピュータ装置に実行させるために前記コンピュータ装置により実行可能な命令を格納したコンピュータ読み取り可能な記憶媒体。
19. 前記命令は、
    前記連続したデータストリームがメディアコンテンツを含むかを判定する機能と、
    前記判定に基づいて、前記コンピュータ装置において前記データストリームのコンテンツの前記コンテンツ識別を連続して実行する機能と、
    を更に実行するために実行可能であることを特徴とする請求項１８に記載のコンピュータ読み取り可能な記憶媒体。
20. 前記命令は、
    前記コンピュータ装置において、ユーザのプロファイルと相関がとられるコンテンツパターン、前記コンピュータ装置の場所と関連付けられるコンテンツパターン、前記コンピュータ装置又は前記サーバにより先に識別されたコンテンツに関連したコンテンツパターン、前記コンピュータ装置に格納されたメディアコンテンツに関連したコンテンツパターン、及び、前記コンテンツ識別に関する複数のコンテンツの人気を示す統計プロファイルに基づいて選択されたコンテンツパターンからなるグループから選択される１つ以上のコンテンツパターンを受信する機能を更に実行するために実行可能であることを特徴とする請求項１８に記載のコンピュータ読み取り可能な記憶媒体。
21. 前記命令は、
    前記コンピュータ装置が前記データストリームのコンテンツを識別する機能と、
    前記識別されたコンテンツに基づいて、前記コンピュータ装置が前記識別されたコンテンツに関連した広告を表示する機能と、
    を更に実行するために実行可能であることを特徴とする請求項１８に記載のコンピュータ読み取り可能な記憶媒体。
22. データストリームのコンテンツを識別するシステムであって、
    プロセッサと、
    データ記憶装置と、
    を備え、前記データ記憶装置は、
    コンピュータ装置において連続したデータストリームを受信する機能と、
    前記コンピュータ装置に格納され、複数のコンテンツを識別するための情報を含むコンテンツパターンに基づいて、前記データストリームのコンテンツのコンテンツ識別を連続して実行する機能と、
    命令を受信したことに基づいて、前記コンピュータ装置が前記データストリームのコンテンツの同一性を判定するためにサーバをクエリする機能と、
    を実行するために前記プロセッサにより実行可能な命令を格納したことを特徴とするシステム。
23. 前記命令は、
    前記連続したデータストリームがメディアコンテンツを含むかを判定する機能と、
    前記判定に基づいて、前記コンピュータ装置において前記データストリームのコンテンツの前記コンテンツ識別を連続して実行する機能と、
    を更に実行するために実行可能であることを特徴とする請求項２２に記載のシステム。
24. 前記命令は、
    前記コンピュータ装置において、ユーザのプロファイルと相関がとられるコンテンツパターン、前記コンピュータ装置の場所と関連付けられるコンテンツパターン、前記コンピュータ装置又は前記サーバにより先に識別されたコンテンツに関連したコンテンツパターン、前記コンピュータ装置に格納されたメディアコンテンツに関連したコンテンツパターン、及び、前記コンテンツ識別に関する複数のコンテンツの人気を示す統計プロファイルに基づいて選択されたコンテンツパターンからなるグループから選択されるコンテンツの１つ以上のコンテンツパターンを受信する機能を更に実行するために実行可能であることを特徴とする請求項２２に記載のシステム。
25. 前記命令は、
    前記コンピュータ装置が前記データストリームのコンテンツを識別する機能と、
    前記識別されたコンテンツに基づいて、前記コンピュータ装置が前記識別されたコンテンツに関連した広告を表示する機能と、
    を更に実行するために実行可能であることを特徴とする請求項２２に記載のシステム。
26. データストリームのコンテンツを識別するシステムであって、
    コンテンツの同一性を判定するために前記コンテンツのサンプルを含むクエリをクライアント装置から受信するように構成される認識サーバと、
    連続識別モードで前記クライアント装置において受信したデータストリーム内のコンテンツのコンテンツ識別を連続して実行する前記クライアント装置に対して前記連続識別モードで動作するように命令するように構成される要求サーバと、
    を含むことを特徴とするシステム。
27. 前記要求サーバは、複数のコンテンツを識別するための情報を含む１つ以上のコンテンツパターンを前記クライアント装置に提供することを特徴とする請求項２６に記載のシステム。
28. 前記要求サーバは、ユーザのプロファイルに基づいて前記１つ以上のコンテンツパターンを選択することを特徴とする請求項２７に記載のシステム。
29. 前記要求サーバは、前記クライアント装置の場所に基づいて前記１つ以上のコンテンツパターンを選択することを特徴とする請求項２７に記載のシステム。
30. 前記要求サーバは、先のクエリのコンテンツのサンプルに基づいて前記１つ以上のコンテンツパターンを選択することを特徴とする請求項２７に記載のシステム。
31. 前記要求サーバは、前記クライアント装置に格納されたメディアコンテンツに基づいて前記１つ以上のコンテンツパターンを選択することを特徴とする請求項２７に記載のシステム。
32. 前記要求サーバは、前記コンテンツ識別に関する複数のコンテンツの人気を示す統計プロファイルに基づいて前記１つ以上のコンテンツパターンを選択することを特徴とする請求項２７に記載のシステム。

Images