JP2014516189A - 受信データの比較を実行しその比較に基づいて後続サービスを提供する方法及びシステム - Google Patents

Abstract

受信データの比較を実行し、その比較に基づいて後続サービスを提供する方法及びシステムを説明する。一例において、実演者は、会場の周囲環境からのコンテンツのデータストリームを記録するマイクロホンを含むポータブル装置を利用して、コンテンツのデータストリームをサーバに提供する。ユーザは、周囲環境からのコンテンツのサンプルを記録するマイクロホンを含む他のポータブル装置を利用して、サンプルをサーバに送信する。サーバは、サンプルの特徴とデータストリームの特徴との比較を実行し、メタデータにより応答をユーザに提供する。更に、比較に基づいて、サーバは、コンサートにユーザの装置が存在することを登録してもよい。サーバは、コンテンツ識別機能の結果に基づいてソーシャルネットワーキング機能を実行する。

Description

本発明は、データストリームのコンテンツを識別するか又はコンテンツとデータストリームのコンテンツとのマッチングをとり、その識別又はマッチングに応答して機能を実行することに関する。本発明は例えば、受信データの比較を実行しその比較に基づいて装置のプレゼンスの登録等の後続サービスを提供することに関する。いくつかの例において、比較はリアルタイム又はほぼリアルタイムで実行されうる。

オーディオ又はビデオ等の種々のデータの種類に対するコンテンツ識別システムは多くの種々の方法を使用する。クライアント装置は、メディアストリーム（ラジオ等）のメディアサンプル記録を取り込み、そのメディアストリームを識別するために、一致を見つけるためのメディア記録（メディアトラックとしても知られている。）のデータベースの検索を行うようサーバに要求することができる。例えばサンプル記録は、コンテンツ識別サーバモジュールに渡され、コンテンツ識別サーバモジュールは、サンプルのコンテンツ識別を実行し、クライアント装置に識別の結果を返すことができる。

認識結果は、クライアント装置上でユーザに対して表示され、あるいは種々の後続サービスに使用されうる。例えば、曲を聞いた後にユーザがクライアント装置上で曲のコピーをタグ付け（すなわち、識別）し、その後購入できるように、サーバは、認識結果に基づいて、購入するために識別された曲をクライアント装置のユーザに対して提供することができる。例えば、オーディオ曲のアーティストに関する情報の提供、アーティストのツアー情報の提供又はアーティスト又は曲に対するインターネット上の情報へのリンクの送信等の他のサービスが提供されうる。

更にコンテンツ識別は、例えば放送モニタリング又はコンテンツ依存の広告を含む他のアプリケーションに対しても使用されうる。

本発明で提供される例は、特に、コンテンツ識別機能を実行し、そのコンテンツ識別機能に基づいてソーシャルネットワーキング機能を実行するシステム及び方法を説明する。

本明細書で説明する方法のいずれも、コンピュータ装置コンピュータにより実行された時に方法の機能を実行する非一時的なコンピュータ読み取り可能な記憶媒体に格納された命令の形態で提供されうる。更なる実施形態は、符号化されたコンピュータ読み取り可能な命令を有する有形のコンピュータ読み取り可能な記憶媒体を含む製品を更に含み、命令は、本明細書で説明する方法の機能を実行する命令を含む。

コンピュータ読み取り可能な記憶媒体は、例えばレジスタメモリ、プロセッサキャッシュ及びランダムアクセスメモリ（ＲＡＭ）のようなデータを短期間格納するコンピュータ可読媒体等の非一時的なコンピュータ読み取り可能な記憶媒体を含む。更にコンピュータ読み取り可能な記憶媒体は、例えば読み出し専用メモリ（ＲＯＭ）、光ディスク、磁気ディスク、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）のような二次記憶装置又は永続的な長期記憶装置等の非一時的な媒体を含みうる。コンピュータ読み取り可能な記憶媒体は、他のあらゆる揮発性又は不揮発性記憶システムであってもよい。コンピュータ読み取り可能な媒体は、例えばコンピュータ可読記憶媒体又は有形の記憶媒体と考えられてもよい。

更に、本明細書で説明する方法又は処理の論理機能を実行するために配線された回路網が提供されうる。

上記概要は、例示のためだけに提供され、限定することを全く意図しない。上述した例示的な態様、実施形態及び特徴に加えて、更なる態様、実施形態及び特徴が図面及び以下の詳細な説明を参照することにより明らかとなるであろう。

メディア又はデータストリーム内のコンテンツ又はコンテンツに関する情報を識別するシステムの一例を示す図。 コンテンツ識別方法の別の例を示す図。 コンテンツのデータストリームとコンテンツのサンプルとの間の一致を判定するためにコンテンツ識別方法の一例に従って動作するように構成されたシステムの一例を示すブロック図。 データストリームのコンテンツ又はコンテンツに関する情報を識別し後続サービスを実行する方法の一例を示すフローチャート。 コンテンツ認識エンジンによりチャネルを確立するシステムの一例を示す図。 図５の要素間のメッセージの一例を示すシーケンス図。

以下の詳細な説明において、説明の一部を形成する添付の図面を参照する。図中、特に指示のない限り、同様の記号は一般に同様の構成要素を識別する。詳細な説明において説明する例示的な実施形態、図面及び特許請求の範囲は、限定することを意図しない。本明細書で提示される発明の主旨から逸脱することなく他の実施形態が利用可能であるし、他の変更が行われうる。本明細書で一般に説明され、図面に示されるように、本発明の態様は、本明細書で明示的に考慮される広範囲の種々の構成において構成され、置換され、組み合わされ、分離され、設計されることが容易に理解されるであろう。

本発明は、特に、コンテンツ識別機能を実行し、そのコンテンツ識別機能に基づいてソーシャルネットワーキング機能を実行する方法及びシステムに関する。例えばコンテンツ識別又はコンテンツマッチングに基づいて、ある場所におけるプレゼンスを登録すること（例えば、「チェックイン」）、コンテンツ／アーティスト／会場に対する好みを示すこと、ソーシャルネットワーキングサイト（例えば、「ｔｗｉｔｔｅｒ（登録商標）」又はＦａｃｅｂｏｏｋ（登録商標））でメッセージを提供すること等を含むソーシャルネットワーク機能が実行されてもよい。一応用例として、ユーザはコンサートにおける曲をタグ付けしてもよく、これはコンテンツ認識／識別サーバへの曲のサンプルの送信及び応答の受信を含む。その後、曲の成功した識別に基づいてコンサートにおけるプレゼンスを登録してもよい。

別の例において、コンサート会場を考慮すると、実演者は、コンサート会場の周囲環境からのコンテンツのデータストリームを記録するマイクロホンを含むポータブル装置を利用して、コンテンツのデータストリームをサーバに提供することができる。コンテンツのデータストリームは、実演者の曲の記録等であってもよい。コンサートの観客の中にいるユーザは、周囲環境からのコンテンツのサンプルを記録するマイクロホンを含む別のポータブル装置を利用して、サンプルをサーバに送信することができる。サーバは、コンテンツのサンプルの特徴とコンテンツのデータストリームの特徴とのリアルタイム比較を実行し、サンプルのコンテンツの同一性、実演者の同一性等を示す応答をユーザに提供することができる。リアルタイム比較に基づいて、ユーザはコンサートにいたことを登録する要求を送信することができる。例えばユーザが環境におけるコンテンツのサンプルとその環境におけるコンテンツのデータストリームとの間のマッチングを示す応答をサーバから受信したときは、ユーザは、ユーザがその環境にいたことを登録するようにサーバに要求することができる。

いくつかの例において、第１のポータブル装置は、周囲環境のメディアを記録するために使用されてもよく、メディアをサーバに提供することができる。メディアのサンプルを記録するために、周囲環境にある第２のポータブル装置が使用されてもよい。あるいは、第１の装置及び／又は第２の装置は、メディア記録の代わりに特徴抽出署名又はコンテンツパターンを提供してもよい。この点に関して、第１のポータブル装置は、署名ストリームをサーバに供給すると考えられてもよく、第２のポータブル装置は、署名ストリームと比較するためにメディアのサンプルをサーバに送信する。サーバは、第２のポータブル装置からの周囲メディアのサンプルが第１のポータブル装置により提供された周囲メディアと一致するかを判定するように構成されてもよい。メディアのサンプルと署名ストリームの一部との間の一致（又は実質的な一致）は、２つのポータブル装置が互いに近接すること（例えば、同一の周囲環境に位置するか又はその近くに位置すること）を示してもよく、各装置は同一の周囲メディアを受信（例えば、記録）していてもよい。

本明細書で説明する例を使用して、あらゆる会場又は周囲環境はタグ付け可能なイベントであると考えられ、ユーザは、装置を利用して、環境の周囲メディアを取り込み、コンテンツ識別／認識処理中にアクセスされるメディアのデータベースに追加されるか又は使用されるメディアをサーバに提供することができる。一使用例として、講義中、教授がテーブルにスマートフォンを置き、スマートフォンのマイクロホンを使用してリアルタイムの講義の記録をサーバに提供することができる。生徒は、コンテンツ識別／認識サービスを使用して講義を「タグ付け」することにより「チェックイン」できる（例えば、教室にいることを登録できる）。生徒の電話は、講義のサンプルを記録し、そのサンプルをサーバに送信するために使用可能である。サーバは、そのサンプルと教授のスマートフォンから受信した講義ストリームとのマッチングをとる。一致がある場合、生徒のスマートフォンはＦａｃｅｂｏｏｋ（登録商標）、Ｔｗｉｔｔｅｒ（登録商標）等を介して、教室にいることを登録できる。

＜コンテンツ識別システム及び方法の例＞
次に図面を参照すると、図１は、メディア又はデータストリーム内のコンテンツ又はコンテンツに関する情報を識別するシステム１００の一例を示す。図１は特定の構成を有するシステムを示すが、システム内の構成要素は他の方法で構成されてもよい。システムは、いずれかの公知の方法でデータストリームからのデータコンテンツを再生及び提示するメディア／データ情報源１０２を含む。データストリームは、メディア情報源１０２に格納されてもよいし、あるいはアナログ又はデジタル放送のように外部ソースから受信されてもよい。一例において、メディア情報源１０２は、メディアストリーム（例えば、オーディオ及び／又はビデオ）及び／又は他の情報をブロードキャストするラジオ局又はテレビコンテンツプロバイダであってもよい。メディア情報源１０２は、記録形式又はライブ形式のオーディオ又はビデオメディアを再生するいかなる種類の装置であってもよい。別の例において、メディア情報源１０２は、例えばオーディオのソース及び／又はビデオのソースとして生演奏を含んでもよい。

メディア情報源１０２は、例えばグラフィックディスプレイ、オーディオスピーカ、ＭＩＤＩ楽器、アニマトロニクス人形等、あるいはメディア情報源１０２により提供される他のあらゆる種類のプレゼンテーションを介してメディアストリームを再生又は提示してもよい。

システム１００は、アンテナ、マイクロホン、ビデオカメラ、振動センサ、無線受信機、ケーブル、ネットワークインタフェース等を含んでもよい入力インタフェースを介してメディア情報源１０２からメディアストリームの再生を受信するように構成されるクライアント装置１０４を更に含む。特定の一例として、メディア情報源１０２は音楽を再生してもよく、クライアント装置１０４は音楽のサンプルを受信及び記録するマイクロホンを含んでもよい。別の例において、クライアント装置１０４は、増幅器、ミキシングコンソール又はメディア情報源の他の出力装置等のメディア情報源１０２の出力に直接プラグ接続されてもよい。

いくつかの例において、クライアント装置１０４は、メディアストリームの再生を受信する以外、メディア情報源１０２に動作可能に接続されなくてもよい。このように、クライアント装置１０４は、メディア情報源１０２により制御されなくてもよく、メディア情報源１０２の必須の一部分でなくてもよい。図１に示す例において、クライアント装置１０４はメディア情報源１０２とは別個のエンティティである。

クライアント装置１０４は、携帯電話、無線携帯電話、パーソナルデータアシスタント（ＰＤＡ）、パーソナルメディアプレーヤ装置、無線ウェブウォッチ装置、パーソナルヘッドセット装置、特定用途向け装置又は上記機能のいずれかを含むハイブリッド装置等の小さいフォームファクタのポータブル（又はモバイル）電子装置の一部として実現可能である。更にクライアント装置１０４は、ラップトップコンピュータ構成及び非ラップトップコンピュータ構成の双方を含むパーソナルコンピュータとして実現可能である。クライアント装置１０４は、より大きい装置又はシステムの構成要素であってよく、非ポータブル装置の形態であってもよい。

クライアント装置１０４は、メディア情報源１０２により再生されるデータストリームを記録し、記録されたデータストリームをサーバ１０６に提供するように構成されてもよい。クライアント装置１０４は、ネットワーク１０８を介してサーバ１０６と通信してもよく、クライアント装置１０４とネットワーク１０８とサーバ１０６との間の接続は、有線通信でも無線通信でもよい（例えば、Ｗｉ−Ｆｉ、セルラ通信等）。クライアント装置１０４は、メディア情報源１０２により再生されるデータストリームの連続した記録／取り込みをサーバ１０６に提供するように構成されてもよい。このように、サーバ１０６は、クライアント装置１０４を介してメディア情報源１０２により再生されるコンテンツの連続したデータストリームを受信してもよい。

システム１００は、メディア情報源１０２により再生されるデータストリームを記録するように構成されてもよい第２のクライアント装置１１０を更に含む。第２のクライアント装置１１０は、クライアント装置１０４に関して説明したのと同様の種類又は同一の種類の装置であってもよい。第２のクライアント装置１１０は、メディア情報源１０２により再生されるコンテンツのサンプルを記録し、記録したコンテンツのサンプルをサーバ１０６に提供し（例えば、ネットワーク１０８を介して）、コンテンツのサンプルに関する情報を要求するように構成されてもよい。情報は、コンテンツの同一性、コンテンツの実行者の同一性、コンテンツの同一性と関連付けられた情報等を含んでもよい。

一例において、図１のシステム１００を使用して、クライアント装置１０４及び第２のクライアント装置１１０は、クライアント装置１０４及び第２のクライアント装置１１０の各々がメディア情報源１０２により再生されるコンテンツを記録できるように、メディア情報源１０２を含む（又はメディア情報源１０２に近接する）環境１１２に位置するか又は位置付けられてもよい。環境１１２の例は、コンサート会場、カフェ、レストラン、部屋、講堂、スタジアム、建物を含むか、あるいは環境１１２は都市の中心街のエリア、都市自体又は都市の一部等のより大きいエリアを含んでもよい。環境１１２の形態に依存した、メディア情報源１０２は、ラジオ放送局、ラジオ、テレビ、生実演者又はバンド、話者、会話、周囲環境音等を含みうる。

システム１００は、クライアント装置１０４が環境１１２のメディア情報源１０２から記録されたデータストリームの連続した（又はほぼ連続した）記録をサーバ１０６に提供することを可能にするように構成される。第２のクライアント装置１１０は、データストリームのコンテンツのサンプルを記録し、そのサンプルをサーバ１０６に提供し、サンプルに関する情報を要求する。サーバ１０６は、第２のクライアント装置１１０から受信したサンプルをクライアント装置１０４から受信した連続したデータストリームと比較し、サンプルが連続したデータストリームの一部に一致するか又はほぼ一致するかを判定する。サーバ１０６は、判定に基づいて第２のクライアント装置１１０に情報を返し、更にコンテンツに関する追加の情報を提供すること、あるいは環境１１２における、環境１１２内又は環境１１２の近傍に第２のクライアント装置１１０が存在していることを登録すること等の１つ以上の後続サービスを実行してもよい。

一例において、システム１００は、所定のクライアント装置がコンテンツのサンプルをタグ付けすることを可能にするように構成されてもよく、所定のクライアント装置が常駐する環境から受信したデータストリームに基づいてサーバ１０６が一致を見つけた場合、サーバは、その環境に所定のクライアント装置が存在していることを登録できる。

サーバ１０６は、コンテンツ認識又はリアルタイム識別を実行するために１つ以上の構成要素を含んでもよい。例えばサーバ１０６は、クライアント装置１０４からメディア又はデータストリームを受信しクライアント装置１１０からサンプルを受信するバッファ１１４を含んでもよい。バッファ１１４は、識別モジュール１１６に接続される。バッファ１１４は、例えば先入れ先出しに基づいていずれかの所定の時間に１０〜３０秒のコンテンツを格納する等、メディアストリームを所定の期間受信及び格納するようにローリングバッファとして構成されてもよい。バッファ１１４は、より多い量又はより少ない量のメディアストリームを格納してもよい。

バッファ１１４は、複数の論理バッファに構成されてもよく、バッファ１１４の一部分はデータストリームを格納し、別の部分はサンプルを格納する。あるいは、バッファ１１４はデータストリームを受信及び格納してもよく、その一方で、識別モジュール１１６はクライアント装置１１０からサンプルを受信してもよい。

識別モジュール１１６は、データストリーム及び／又はメディアのサンプルを受信するためにバッファ１１４に接続され、サンプルがバッファ１１４のメディアストリームの一部と一致するかを識別するように構成される。このように、識別モジュール１１６は、バッファ１１４に格納されたデータストリームとサンプルとを比較し、バッファ１１４が短いデータストリーム（例えば、１０〜３０秒）を格納する場合、識別モジュール１１６は、サンプルが過去３０秒にわたり受信されるデータストリームの一部に対応するかを判定するように構成される。この点に関して、識別モジュール１１６は、リアルタイム比較を実行し、サンプルが現在再生されているメディアに対応するかを判定する。バッファ１１４に格納されたデータストリームの量は、識別されるサンプルの対応関係に対して妥当性の範囲を提供し、従って、いくつかの例においては正確なマッチングが行われる可能性が増加する。

更に識別モジュール１１６は、データストリームのサンプルの時間オフセットを示す対応する推定時間位置（Ｔ_Ｓ）を識別する。いくつかの例において、時間位置（Ｔ_Ｓ）は、データストリームの開始からの経過時間又はＵＴＣ基準時間であってもよい。識別モジュール１１６は、サンプルとデータストリームとの間の一致を識別するために、コンテンツのサンプルの特徴とコンテンツのデータストリームの特徴との時間的な比較を実行してもよい。例えばリアルタイム識別は、時間位置（Ｔ_Ｓ）がメディアのサンプルのタイムスタンプとほぼ同様である場合にフラグが立てられてもよい。

識別モジュール１１６は、メディアサンプル及びデータ（メディア）ストリームを受信し、受信したメディアサンプル又はメディアストリームに対してコンテンツ識別を実行するように更に構成されてもよい。コンテンツ識別は、メディアサンプルとメディアストリーム又は他の格納データとの比較に基づいて、メディアサンプルを識別するか、あるいはメディアサンプルに関する情報又はそれに関連する情報を識別する。識別モジュール１１６は、例えば、英国ロンドンのＳｈａｚａｍ社（Ｓｈａｚａｍ Ｅｎｔｅｒｔａｉｎｍｅｎｔ）、カリフォルニア州エメリービルのグレースノート社（Ｇｒａｃｅｎｏｔｅ）又はカリフォルニア州サンノゼのＭｅｌｏｄｉｓ社（Ｍｅｌｏｄｉｓ）により提供されるようなあらゆるメディアサンプル情報検索サービスの例において使用されてもよく又は組み込まれてもよい。これらのサービスは、環境オーディオのサンプルを受信し、オーディオサンプルの音楽コンテンツを識別し、トラック名、アーティスト、アルバム、作品、バイオグラフィー、ディスコグラフィー、コンサートチケット等に関する情報をユーザに提供するように動作してもよい。

この点に関して、識別モジュール１１６は、メディア検索エンジンを含んでもよく、例えば受信したメディアサンプルに関する情報を識別するように受信したメディアサンプルと格納情報とを比較するために基準メディアストリームに索引をつけるデータベース１１８を含むか又はそれに接続されてもよい。メディアサンプルに関する情報が識別されると、トラックの同一性又は他の情報は第２のクライアント装置１１０に返されてもよい。データベース１１８は、例えばクライアント装置１０４から受信されるようなデータストリームを更に格納してもよい。

データベース１１８は、複数のコンテンツを識別するための情報を含むコンテンツパターンを格納してもよい。コンテンツパターンはメディア記録を含んでもよく、各記録は一意の識別子（例えば、ｓｏｕｎｄ＿ＩＤ）により識別されてもよい。あるいは、ｓｏｕｎｄ＿ＩＤが他のいずれかの場所からオーディオファイルを検索するために使用可能であるため、データベース１１８は、各記録に対してオーディオ又はビデオファイルを必ずしも格納しなくてもよい。コンテンツパターンは、メディア記録のタイムラインに対応する時間次元を有するメディア記録のコンテンツを記述する特徴の時間的にマッピングされた集合を含む基準署名ファイル等の他の情報を含んでもよく、各特徴は、マッピングされた時点に近いコンテンツの記述であってもよい。コンテンツパターンは、メディアファイルの抽出された特徴と関連付けられた情報を更に含んでもよい。データベース１１８は、アーティスト名、曲の長さ、曲の歌詞、歌詞の行又は単語に対する時間インデックス、アルバム作品、あるいはファイルに対するあらゆる他の識別又は関連情報のようなコンテンツパターンに関する情報を示すメタデータ等の格納された各コンテンツパターンに対する情報を更に含んでもよい。

図１は、識別モジュール１１６を含むようにサーバ１０６を示すが、例えば識別モジュール１１６は、サーバ１０６とは別個であってもよい。更に識別モジュール１１６は、例えばネットワーク１０８を介してサーバ１０６に接続されるリモートサーバ上にあってもよい。

また、識別モジュール１１６の機能は、クライアント装置１０４又は第２のクライアント装置１１０により実行されてもよい。例えばクライアント装置１１０は、メディア情報源１０２からメディアストリームのサンプルを取り込んでもよく、メディアサンプルのフィンガープリントを作成するようにサンプルに対して初期処理を実行してもよい。クライアント装置１１０は、フィンガープリント情報をサーバ１０６に送信してもよく、サーバ１０６は、フィンガープリント情報にのみ基づいてサンプルに関する情報を識別してもよい。このように、更なる計算又は識別処理は、例えばサーバ１０６ではなくクライアント装置１１０において実行されうる。

メディアトラックのデータベースを使用してメディアサンプル及びメディアサンプルの特徴の計算によるコンテンツ識別を実行する技術において、種々のコンテンツ識別技術が既知である。以下の米国特許及び出願、すなわちＫｅｎｙｏｎ他の米国特許第４，８４３，５６２号「Ｂｒｏａｄｃａｓｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ」、Ｋｅｎｙｏｎの米国特許第４，４５０，５３１号「Ｂｒｏａｄｃａｓｔ Ｓｉｇｎａｌ Ｒｅｃｏｇｎｉｔｉｏｎ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ」、Ｈａｉｔｓｍａ他の米国特許出願公開第２００８／０２６３３６０号「Ｇｅｎｅｒａｔｉｎｇ ａｎｄ Ｍａｔｃｈｉｎｇ Ｈａｓｈｅｓ ｏｆ Ｍｕｌｔｉｍｅｄｉａ Ｃｏｎｔｅｎｔ」、Ｗａｎｇ及びＣｕｌｂｅｒｔの米国特許第７，６２７，４７７号「Ｒｏｂｕｓｔ ａｎｄ Ｉｎｖａｒｉａｎｔ Ａｕｄｉｏ Ｐａｔｔｅｒｎ Ｍａｔｃｈｉｎｇ」、Ｗａｎｇ、Ａｖｅｒｙの米国特許出願第２００７／０１４３７７７号「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ Ｂｒｏａｄｃａｓｔ Ｓｏｕｒｃｅ」、Ｗａｎｇ及びＳｍｉｔｈの米国特許第６，９９０，４５３号「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｒｅｃｏｇｎｉｚｉｎｇ Ｓｏｕｎｄ ａｎｄ Ｍｕｓｉｃ Ｓｉｇｎａｌｓ ｉｎ Ｈｉｇｈ Ｎｏｉｓｅ ａｎｄ Ｄｉｓｔｏｒｔｉｏｎ」、並びにＢｌｕｍ他の米国特許第５，９１８，２２３号「Ｍｅｔｈｏｄ ａｎｄ Ａｒｔｉｃｌｅ ｏｆ Ｍａｎｕｆａｃｔｕｒｅ ｆｏｒ Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ Ａｎａｌｙｓｉｓ，Ｓｔｏｒａｇｅ，Ｒｅｔｒｉｅｖａｌ，ａｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ａｕｄｉｏ Ｉｎｆｏｒｍａｔｉｏｎ」は、メディア認識技術の可能な例を開示している。この引用により、これら全ての内容は本明細書に組み込まれる。

簡単に説明すると、コンテンツ識別モジュール（クライアント装置１０４、第２のクライアント装置１１０又はサーバ１０６内の）は、メディアサンプルを受信し、サンプルをデジタル化された正規化基準信号セグメントと相関をとりその結果として得られる相関セグメント毎に相関関数のピークを取得し、相関関数のピーク間の間隔が所定の限度内である場合に認識信号を提供するように構成される。相関関数のピークと一致するＲＭＳ電力値のパターンは、例えば、引用により本明細書に全ての内容が組み込まれている米国特許第４，４５０，５３１号に示されるように、デジタル化された基準信号セグメントからのＲＭＳ電力値のパターンの所定限度内で一致しうる。このように、一致するメディアコンテンツが識別されうる。更に一致するメディアコンテンツ中のサンプルの一致位置は、例えば一致相関セグメントの位置及び相関ピークのオフセットにより与えられる。

図２は、コンテンツ識別方法の別の例を示す。一般にメディアコンテンツは、メディアサンプルの特徴又はフィンガープリントを識別又は計算し、そのフィンガープリントを基準メディアファイルの先に識別されたフィンガープリントと比較することにより識別可能である。フィンガープリントが計算されるサンプル内の特定の場所は、サンプル中の再現可能な点に依存する。そのような再現可能に計算できる場所は、「ランドマーク」と呼ばれる。ランドマークのサンプル内の場所は、サンプル自体により判定可能である。すなわち、その場所は、サンプルの品質に依存し且つ再現可能である。同一又は同様のランドマークは、処理が繰り返される度に同一の信号に対して計算されてもよい。ランドマーキング方式は、録音の１秒毎に約５〜約１０個のランドマークに印をつけてもよい。しかし、ランドマーキング密度は、メディア記録内の動作量に依存してもよい。パワーノルム（Ｐｏｗｅｒ Ｎｏｒｍ）として公知である１つのランドマーキング技術は、記録中の多くの時点における瞬時パワーを算出し、極大値を選択することである。これを行う１つの方法は、波形を直接整流しフィルタリングすることにより包絡線を算出することである。別の方法は、信号のヒルベルト変換（直交位相）を算出し、ヒルベルト変換及び元の信号の２乗和を使用することである。ランドマークを算出する他の方法が使用されてもよい。

図２は、サンプルのｄＢ（大きさ）対時間の一例を示すグラフである。グラフは、多くの識別されたランドマークの位置（Ｌ_１〜Ｌ_８）を示す。ランドマークが判定されると、フィンガープリントはメディア中の各ランドマーク時点又はそれに近い時点で計算される。ランドマークに対する特徴の近さは、使用されるフィンガープリンティング法により規定される。いくつかの例において、特徴が明らかにランドマークに対応し、先行又は後続するランドマークには対応しない場合、特徴はそのランドマークに近接すると考えられる。他の例において、特徴は複数の隣接するランドマークに対応する。一般にフィンガープリントは、ランドマーク時点又はそれに近い時点においてメディアの特徴の集合を集約する値又は値の集合である。一例において、各フィンガープリントは複数の特徴のハッシュ関数である単一の数値である。フィンガープリントの他の例は、スペクトルスライスフィンガープリント、マルチスライスフィンガープリント、ＬＰＣ係数、ケプストラム係数及びスペクトログラムピークの周波数成分を含む。

フィンガープリントは、あらゆる種類のデジタル信号処理又はメディア信号の周波数分析により計算できる。一例において、スペクトルスライスフィンガープリントを生成するために、周波数分析が各ランドマーク時点の近傍で実行され、上位のいくつかのスペクトルピークを抽出する。フィンガープリントの値は、最も強いスペクトルピークの単一の周波数値であってもよい。オーディオサンプルの特徴又はフィンガープリントを算出することに関する更なる情報については、Ｗａｎｇ及びＳｍｉｔｈの米国特許第６，９９０，４５３号「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｒｅｃｏｇｎｉｚｉｎｇ Ｓｏｕｎｄ ａｎｄ Ｍｕｓｉｃ Ｓｉｇｎａｌｓ ｉｎ Ｈｉｇｈ Ｎｏｉｓｅ ａｎｄ Ｄｉｓｔｏｒｔｉｏｎ」を参照されたい。この引用により、上記文献の全ての内容が本明細書に組み込まれる。

従って、図１に戻ると、クライアント装置１０４、第２のクライアント装置１１０又はサーバ１０６は、記録（例えば、メディア／データサンプル）を受信し、記録のフィンガープリントを計算することができる。一例において、記録に関する情報を識別するために、サーバ１０６は、データベース１１８にアクセスして、線形的に関連した対応関係を最も多く有するファイル又は特徴的なフィンガープリントの相対的な場所が記録の同一のフィンガープリントの相対的な場所と最も一致するファイルの場所を特定するためにデータベース１１８中のファイルと同等なフィンガープリントとの間の対応関係を生成することにより、記録のフィンガープリントと、既知のメディア（例えば、既知のオーディオトラック）のフィンガープリントとのマッチングをとることができる。

図２を参照すると、フィンガープリントが一致する（又はほぼ一致する）基準ファイル及びサンプルのランドマークの散布図が示される。サンプルは、多くの基準ファイルと比較され、多くの散布図を生成してもよい。散布図を生成した後、ランドマーク対の間の線形的な対応関係が識別され、集合は線形的に関連する対の数に従ってスコアをつけることができる。線形的な対応関係は、例えば統計的に有意な数の対応するサンプルの場所及び基準ファイルの場所が許容値内でほぼ同一の一次方程式により記述される場合に起こる可能性がある。最も高い統計的に有意なスコアを有する集合のファイル、すなわち線形的に関連した対応関係を最も多く有する集合のファイルがウィニングファイルであり、サンプルに対する一致メディアファイルと考えられる。こうして、サンプルのコンテンツが識別される。

一例において、ファイルに対するスコアを生成するためにオフセット値のヒストグラムが生成される。オフセット値は、フィンガープリントが一致する基準ファイルとサンプルとの間のランドマーク時間位置の差分であってもよい。図２は、オフセット値のヒストグラムの一例を示す。基準ファイルは、ヒストグラムのピークと等しいスコアを与えられうる（例えば、図２においてスコア＝２８）。各基準ファイルは、スコアを生成するためにこのように処理可能であり、最も高いスコアを有する基準ファイルが、サンプルに対する一致と判定される。

メディアストリーム内のコンテンツを識別する技術の更に別の例として、メディアサンプルは局所マッチング技術を使用してそのコンテンツを識別するために分析されうる。例えば、一般に２つのメディア記録間の関係は、それぞれのサンプルから導出される最初に一致する特定のフィンガープリントオブジェクトによって特徴付けられる。それぞれが特定の場所で発生するフィンガープリントオブジェクトの集合が、各メディアサンプルに対して生成される。各場所は、それぞれのメディアサンプルのコンテンツによって判定され、各フィンガープリントオブジェクトはそれぞれの特定の場所又はその近傍で１つ以上の局所的な特徴を特徴付ける。次に、一致したフィンガープリントオブジェクトの対毎に相対値が判定される。その後、相対値のヒストグラムが生成される。統計的に有意なピークが見つけられる場合、２つのメディアサンプルはほぼ一致すると特徴付けられる。更に、オーディオサンプルが元のオーディオトラック／基準オーディオトラックと比較してどの程度スピードアップ又はスローダウンしたかを示す時間伸張比が判定されうる。この方法の更に詳細な説明については、Ｗａｎｇ及びＣｕｌｂｅｒｔの米国特許第７，６２７，４７７号「Ｒｏｂｕｓｔ ａｎｄ Ｉｎｖａｒｉａｎｔ Ａｕｄｉｏ Ｐａｔｔｅｒｎ Ｍａｔｃｈｉｎｇ」を参照されたい。この引用により上記文献の全ての内容が本明細書に組み込まれる。

更に本明細書に組み込まれた出願において説明されるシステム及び方法は、メディアサンプルの同一性より多くのものを返してもよい。例えばＷａｎｇ及びＳｍｉｔｈの米国特許第６，９９０，４５３号で説明される方法を使用すると、識別されたオーディオトラックに関連付けられたメタデータに加えて、識別されたメディア記録の開始からのメディアサンプルの相対時間オフセット（ＲＴＯ）を返してもよい。サンプルの相対時間オフセットを判定するために、サンプルのフィンガープリントは、フィンガープリントが一致する識別された記録のフィンガープリントと比較されうる。各フィンガープリントは所定の時間に発生するため、サンプルを識別するためにフィンガープリントのマッチングをとった後、第１のフィンガープリント（サンプルの一致するフィンガープリントの）と格納された識別された（元の）ファイルの第１のフィンガープリントとの間の時間の差分は、例えば曲における時間であるサンプルの時間オフセットとなる。従って、サンプルが得られた相対時間オフセット（例えば、曲における６７秒）が判定されうる。ＲＴＯを判定するために、他の情報が使用されてもよい。例えばヒストグラムのピークの場所は、基準記録の開始からサンプル記録の開始までの時間オフセットと考えられてもよい。

メディアサンプルの種類によって、コンテンツ識別の他の形態が実行されてもよい。例えばビデオストリーム（例えば、映画）内の位置及びビデオコンテンツを識別するために、ビデオ識別アルゴリズムが使用されてもよい。ビデオ識別アルゴリズムの一例は、Ｏｏｓｔｖｅｅｎ，Ｊ．他の「Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｉｏｎ ａｎｄ ａ Ｄａｔａｂａｓｅ Ｓｔｒａｔｅｇｙ ｆｏｒ Ｖｉｄｅｏ Ｆｉｎｇｅｒｐｒｉｎｔｉｎｇ」、Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ、２３１４、（２００２年３月１１日）、１１７〜１２８ページにおいて説明される。この引用により、上記文献の全ての内容が本明細書に組み込まれる。例えばビデオにおけるビデオサンプルの位置は、識別されたビデオフレームを判定することにより導出されうる。ビデオフレームを識別するために、メディアサンプルのフレームは行及び列から成る格子に分割され、格子のブロック毎に、画素の輝度値の平均が計算されうる。空間フィルタは、計算された平均輝度値に適用され、格子のブロック毎にフィンガープリントビットを導出できる。フィンガープリントビットは、フレームを一意に識別するために使用可能であり、既知のメディアを含むデータベースのフィンガープリントビットと比較可能であるか又はマッチング可能である。フレームから抽出されたフィンガープリントビットは、サブフィンガープリントと呼ばれ、フィンガープリントブロックは、連続フレームからの固定数のサブフィンガープリントである。サブフィンガープリント及びフィンガープリントブロックを使用して、ビデオサンプルの識別が実行されうる。メディアサンプルが含まれるフレームに基づいて、ビデオにおける位置（例えば、時間オフセット）が判定されうる。

更にコンテンツ識別の他の形態は、ウォーターマーキング法を使用するなどして実行されてもよい。ウォーターマーキング法は、メディアストリームがある間隔で埋め込みウォーターマークを有するように時間オフセットを判定するために識別モジュール１１６により使用可能であり、例えば各ウォーターマークは、直接又はデータベース参照を介して間接的にウォーターマークの時間又は位置を指定する。

識別モジュール１１６の機能を実現するコンテンツ識別方法の上記例の一部において、識別処理の副産物は、メディアストリーム内のメディアサンプルの時間オフセットであってもよい。

いくつかの例において、サーバ１０６は、メディアストリーム・ライブラリ・データベース１２０に更にアクセスしてサンプリングされたメディアに対応するメディアストリームを選択してもよく、そのメディアストリームは、クライアント装置１１０に返され、クライアント装置１１０により再生されてもよい。ライブラリデータベース１２０中の情報又はメディアストリーム・ライブラリ・データベース１２０自体は、データベース１１８内に含まれてもよい。

メディアサンプルに対応するメディアストリームは、例えばクライアント装置１１０のユーザによりマニュアルで選択されてもよいし、クライアント装置１１０によりプログラムにより選択されてもよいし、あるいはメディアサンプルの同一性に基づいてサーバ１０６により選択されてもよい。選択されたメディアストリームは、メディアサンプルとは異なる種類のメディアであってもよく、メディア情報源１０２により再生されているメディアに同期されてもよい。例えば、メディアサンプルは音楽であってもよく、選択されたメディアストリームは、音楽に同期可能な歌詞、楽譜、ギタータブラチュア、伴奏、ビデオ、アニマトロニクス人形のダンス、アニメーションシーケンス等であってもよい。クライアント装置１１０は、メディアサンプルに対応する選択されたメディアストリームを受信してもよく、メディア情報源１０２により再生されているメディアと同期して選択されたメディアストリームを再生してもよい。

メディア情報源１０２により再生されているメディアの推定時間位置は、識別モジュール１１６により判定され、選択されたメディアストリームを再生する選択されたメディアストリーム内の対応位置を判定するために使用されうる。クライアント装置１１０がメディアサンプルを取り込むようにトリガされる場合、タイムスタンプ（Ｔ_０）はクライアント装置１１０の基準クロックから記録される。いずれかの時間ｔにおいて、推定リアルタイムメディアストリーム位置Ｔ_ｒ（ｔ）は、推定識別メディアストリーム位置Ｔ_Ｓ＋タイムスタンプの時間からの経過時間から判定される。

Ｔ_ｒ（ｔ）は、メディアストリームの開始から現在再生されているメディアストリームのリアルタイム位置までの経過時間である。従って、Ｔ_Ｓ（すなわち、記録されたサンプルに基づくメディアストリームの開始からメディアストリームの位置までの推定経過時間）を使用して、Ｔ_ｒ（ｔ）が算出されうる。Ｔ_ｒ（ｔ）は、メディア情報源１０２により再生されているメディアと同期して選択されたメディアストリームを提示するためにクライアント装置１１０により使用される。例えばクライアント装置１１０は、メディア情報源１０２により再生されているメディアと同期して選択されたメディアストリームを再生及び提示するように、時間位置Ｔ_ｒ（ｔ）又は時間Ｔ_ｒ（ｔ）が経過した位置において選択されたメディアストリームの再生を開始してもよい。

いくつかの実施形態において、選択されたメディアストリームがメディア情報源１０２により再生されているメディアと同期しなくなることを緩和又は防止するため、推定位置Ｔ_ｒ（ｔ）は速度調整比Ｒに従って調整されうる。例えば、引用により本明細書に全ての内容が組み込まれている米国特許第７，６２７，４７７号「Ｒｏｂｕｓｔ ａｎｄ ｉｎｖａｒｉａｎｔ ａｕｄｉｏ ｐａｔｔｅｒｎ ｍａｔｃｈｉｎｇ」において説明される方法は、メディアサンプル、推定識別メディアストリーム位置Ｔ_Ｓ及び速度比Ｒを識別するために実行されうる。速度比Ｒを推定するために、一致するフィンガープリントの可変部分のクロス周波数比が算出され、周波数が時間に反比例するため、クロス時間比はクロス周波数比の逆数である。クロス速度比Ｒはクロス周波数比（例えば、クロス時間比の逆数）である。

特に、上述した方法を使用して、２つのオーディオサンプル間の関係は、サンプルの時間周波数スペクトログラムを生成し（例えば、各フレームにおいて周波数ビンを生成するためにフーリエ変換を計算し）、スペクトログラムの局所的なエネルギーピークを識別することにより特徴付けられる。局所的なエネルギーピークに関連した情報は抽出され、各々が場所フィールド、可変の構成要素及び不変の構成要素をオプションとして含むフィンガープリントオブジェクトのリストに集約されうる。それぞれのオーディオサンプルのスペクトログラムから導出された特定のフィンガープリントオブジェクトはマッチングされうる。相対値は、一致したフィンガープリントオブジェクトの対毎に判定され、例えばそれぞれのオーディオサンプルのパラメータ値の対数の差分又は商であってもよい。

一例において、スペクトルピークの局所的な対はメディアサンプルのスペクトログラムから選択され、局所的な対の各々はフィンガープリントを含む。同様に、スペクトルピークの局所的な対は、既知のメディアストリームのスペクトログラムから選択され、局所的な対の各々はフィンガープリントを含む。サンプルと既知のメディアストリームとの間で一致するフィンガープリントが判定され、サンプル及びメディアストリームの各々に対するスペクトルピーク間の時間差分が算出されうる。例えば、サンプルの２つのピーク間の時間差分は判定され、既知のメディアストリームの２つのピーク間の時間差分と比較される。これらの２つの時間差分の比は比較され、そのような比の多くを含むヒストグラムが生成されうる（例えば、一致するフィンガープリントの対から抽出されうる）。ヒストグラムのピークは、実際の速度比（例えば、メディア情報源１０２がメディアを再生している時の速度とメディアが基準メディアファイルで再生される時の速度との差分）であると判定されてもよい。従って、速度比Ｒの推定値は、例えばヒストグラムのピークが相対的なピッチとして又は線形的な伸張の場合は相対的な再生速度として２つのオーディオサンプル間の関係を特徴付けるようなヒストグラムのピークを見つけることにより取得できる。

グローバルな相対値（例えば、速度比Ｒ）は、２つのオーディオサンプルからの対応する可変構成要素を使用して一致したフィンガープリントオブジェクトから算出されうる。可変構成要素は、各フィンガープリントオブジェクトの場所に近接する局所的な特徴から判定される周波数値であってもよい。速度比Ｒは、デルタ時間又は周波数の比、あるいは２つのオーディオサンプル間のマッピングを記述するために使用されるグローバルパラメータの推定値を結果として与える他の関数であってよい。速度比Ｒは、例えば相対的な再生速度の推定値と考えられてもよい。

速度比Ｒは、他の方法を使用しても推定可能である。例えば、メディアの複数のサンプルが取り込み可能であり、コンテンツ識別は各サンプルに対して実行され、ｋ番目のサンプルに対して基準クロック時間Ｔ_０（ｋ）における複数の推定メディアストリーム位置Ｔ_Ｓ（ｋ）を取得できる。Ｒは以下のように推定できる。

時間変動としてＲを表すために、以下の式が使用されてもよい。

従って、速度比Ｒは、ある時間範囲にわたる推定時間位置Ｔ_Ｓを使用して算出され、メディアがメディア情報源１０２により再生されている時の速度を判定できる。

速度比Ｒを使用して、リアルタイムメディアストリーム位置の推定値が以下のように算出できる。

リアルタイムメディアストリーム位置は、メディアサンプルの時間の位置を示す。例えばメディアサンプルが４分の長さの曲から得られ、Ｔ_ｒ（ｔ）が１分である場合、曲の１分が経過したことを示す。

一例において、本明細書で説明するメディア情報源１０２により再生されているメディアにメディアファイルを同期させる方法を使用して、クライアント装置１０４は、クライアント装置１１０にメディアを提供してもよく（直接、あるいはネットワーク１０８又はサーバ１０６を介して）、クライアント装置１１０は、メディア情報源１０２により再生されているメディアと同期して受信したメディアを再生してもよい。

図３は、コンテンツのデータストリームとコンテンツのサンプルとの間の一致を判定するために上述したコンテンツ識別方法の例の１つに従って動作するように構成されるシステムの一例を示すブロック図である。システムは、各々がそれぞれの環境３０４ａ〜３０４ｎ内でメディアを再生する多くのメディア／データ情報源３０２ａ〜３０２ｎを含む。システムは、各々がそれぞれの環境３０４ａ〜３０４ｎの１つに位置するクライアント装置３０６ａ〜３０６ｎを更に含む。環境３０４ａ〜３０４ｎは、例えば重なり合ってもよいし、あるいは独立した環境であってもよい。

システムは、クライアント装置３０６ａ〜３０６ｎの各々からデータストリームを受信する（有線又は無線接続を使用して）ように構成されるサーバ３０８を含む。データストリームは、メディア／データ情報源３０２ａ〜３０２ｎにより再生されるようなコンテンツの解釈を含む。一例において、クライアント装置３０６ａ〜３０６ｎの各々は、サーバ３０８への接続を開始し、マイクロホンを介してメディア情報源３０２ａ〜３０２ｎから受信されるコンテンツをサーバ３０８にストリーミングする。別の例において、クライアント装置３０６ａ〜３０６ｎは、メディア情報源３０２ａ〜３０２ｎからコンテンツのデータストリームを記録し、その記録をサーバ３０８に提供する。クライアント装置３０６ａ〜３０６ｎは、サーバ３０８が所定のクライアント装置からの記録を組み合わせてコンテンツのデータストリームにしてもよいように、メディア情報源３０２ａ〜３０２ｎから受信したコンテンツの記録を連続して（又はほぼ連続して）提供してもよい。

サーバ３０８は、クライアント装置３０６ａ〜３０６ｎからデータストリームを受信するマルチチャネル入力インタフェース３１０を含み、チャネルサンプラ３１２にデータストリームを提供する。各チャネルサンプラ３１２は、上述したいずれかの方法を使用してデータストリームのフィンガープリントを判定するチャネルフィンガープリント抽出器３１４を含む。サーバ３０８は、フィンガープリントブロックソータ３１６内で、特定の時間の間、各データストリームに対するフィンガープリントをソート及び格納するように構成されてもよい。サーバ３０８は、フィンガープリントが生成又は受信された時期に基づいてフィンガープリントを記憶装置にログ記録するために、実時間又はクロックを参照してもしなくてもよいフィンガープリントとタイムスタンプとを関連付けることができる。所定の時間の後、例えばサーバ３０８は格納されたフィンガープリントを上書きしてもよい。最近のフィンガープリント履歴を格納するために、所定の長さのローリングバッファを使用できる。

サーバ３０８は、追加の認識エンジンに接続することによりフィンガープリントを計算してもよい。サーバ３０８は、受信したサンプルと比較するために使用可能なデータストリームのタイムスタンプをつけられたフィンガープリントトークンを判定してもよい。この点に関して、サーバ３０８は、比較機能を実行するためにプロセッサ３１８を含む。

システムは、環境３２２内に位置付けられた別のクライアント装置３２０を含む。クライアント装置３２０は、周囲環境３２２から受信したコンテンツのサンプルを記録しコンテンツのサンプルをサーバ３０８に提供する（有線又は無線接続を使用して）ように構成されうる。クライアント装置３０８は、コンテンツのサンプルに関する情報を判定するために問合せと共にコンテンツのサンプルをサーバ３０８に提供することができる。クライアント装置３２０から問合せを受信すると、サーバ３０８は、フィンガープリントの格納されたデータストリーム内の線形的に対応するフィンガープリントを検索するように構成されてもよい。特に、プロセッサ３１８は、クライアント装置３２０から受信したサンプルのサンプル時間又はそれに近い時間においてサーバ３０８で記録又は受信したデータストリームフィンガープリントがサンプルのフィンガープリントに一致するかを判定するためにまずチャネルを選択する。一致しない場合、プロセッサ３１８は、次のチャネルを選択し、一致を検索し続ける。

データストリームのフィンガープリントとクライアント装置３２０からのサンプルとは、サンプルランドマークとそのランドマークで計算されたフィンガープリントとを含む対応関係の対を生成することによりマッチングが行われる。ランドマーク／フィンガープリントの各集合は、データストリームとサンプルとの位置合わせのためにスキャンされる。すなわち、対の線形的な対応関係が識別され、集合は、線形的に関連する多くの対に従ってスコアをつけられる。最も高いスコア、すなわち線形的に関連した対応関係を最も多く有する集合がウィニングファイルであり、一致と判定される。一致が識別される場合、プロセッサ３１８は、コンテンツのサンプルの情報又はコンテンツのサンプルの追加の情報を識別することを含んでもよい応答をクライアント装置３２０に提供する。

一例において、図３のシステムは、クライアント装置３２０が周囲環境３２２からのコンテンツのサンプルをタグ付けすることを可能にするように構成される。サーバ３０８がクライアント装置３０６ａ〜３０６ｎのうちの１つから受信したデータストリームに基づいて一致を見つけた場合、サーバ３０８は、１つ又は複数の後続サービスを実行できる。サーバ３０８は、クライアント装置３２０が環境３０４ａ〜３０４ｎのうちの１つに常駐する一例において一致を見つけてもよい。図３において、一例において、環境３２２は、環境３０４ａ〜３０４ｎのいずれかと重なり合うか又はその環境内に含まれてもよく、クライアント装置３２０により記録されサーバ３０８に提供されるコンテンツのサンプルはメディア情報源３２０ａ〜３２０ｎのうちの１つから受信される。

＜後続サービスの例＞
図４は、データストリームのコンテンツ又はコンテンツに関する情報を識別し後続サービスを実行する一例の方法４００を示すフローチャートである。本明細書で開示する処理及び方法並びに他の処理及び方法に対して、フローチャートは本実施形態の１つの可能な実現例の機能性及び動作を示すことが理解されるべきである。この点に関して、各ブロックは、処理の特定の論理機能又はステップを実現するためにプロセッサにより実行可能な１つ以上の命令を含むモジュール、セグメント又はプログラムコードの一部を表してもよい。プログラムコードは、例えばディスク又はハードドライブを含む記憶装置等のあらゆる種類のコンピュータ読み取り可能な記憶媒体又はデータ記憶装置に格納されてもよい。コンピュータ読み取り可能な記憶媒体は、例えばレジスタメモリ、プロセッサキャッシュ及びランダムアクセスメモリ（ＲＡＭ）のようなデータを短期間格納するコンピュータ可読媒体等の非一時的なコンピュータ可読媒体を含んでもよい。コンピュータ読み取り可能な記憶媒体は、例えば読み出し専用メモリ（ＲＯＭ）、光ディスク、磁気ディスク、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）のような二次記憶装置又は永続的な長期記憶装置等の非一時的な媒体を更に含んでもよい。コンピュータ可読媒体は、他のあらゆる揮発性又は不揮発性記憶システムであってもよい。コンピュータ読み取り可能な記憶媒体は、例えば有形のコンピュータ可読記憶媒体と考えられてもよい。

更に、図４の各ブロックは、処理の特定の論理機能を実行するために配線される回路網を表してもよい。当業者には当然理解されるように、機能が関係する機能性に依存して図示されるか又は説明される順番とは異なる順番、例えばほぼ同時又は逆の順番で実行されてもよい別の実現例は、本発明の実施形態の例の範囲内に含まれる。

方法４００は、ブロック４０２において第１の装置の環境からのコンテンツのデータストリームを第１の装置から受信することを含む。例えば、第１の装置は携帯電話であってもよく、第１の装置の周囲環境からのコンテンツのデータストリーム（例えば、連続した又はほぼ連続したデータコンテンツ）を記録してもよく、データストリームをサーバに送信してもよい。第１の装置は、第１の装置がサーバとの接続を維持するように連続したデータストリームをサーバに提供してもよく、あるいは、第１の装置はデータストリームの記録を提供してもよい。特定の一例として、教授が講堂のテーブルに携帯電話を置き、講義中の話を記録し、その記録をサーバに提供してもよい。コンテンツのデータストリームは、オーディオ、ビデオ又は双方の種類のコンテンツを含んでもよい。

一例において、複数の装置の各々は、それぞれの環境に存在してもよく、それぞれの環境から受信したコンテンツのデータストリームをサーバに提供してもよい。１つ又は複数のデータストリームは、方法４００に従って更なる処理のためにサーバにおいて受信されてもよい。

方法４００は、ブロック４０４において周囲環境からのコンテンツのサンプルを第２の装置から受信することを含む。例えば第２の装置は、第１の装置の環境にあってもよく、周囲環境のサンプルを記録しそのサンプルをサーバに送信してもよい。サーバは、第１の装置からのコンテンツのデータストリーム及び第２の装置からのコンテンツのサンプルを同時に受信してもよい。上記の特定の例を継続すると、生徒は講堂に居て、講義のサンプルを記録しそのサンプルをサーバに送信するために携帯電話を使用してもよい。

方法４００は、ブロック４０６において、コンテンツのサンプルとコンテンツのデータストリームとの比較を実行することを含む。例えばサーバは、コンテンツのフィンガープリントを判定する等、上述の方法のいずれかを使用してコンテンツのサンプル及びコンテンツのデータストリームの各々の特徴を判定してもよい。サーバは、サンプルのフィンガープリントとコンテンツのデータストリームのフィンガープリントとを比較してもよい。この例において、コンテンツ自体ではなくコンテンツの特徴が比較されてもよい。更に比較は、コンテンツのサンプルのコンテンツを識別する等、完全なコンテンツ識別を実行することを含まなくてもよい。比較は、コンテンツのサンプルがコンテンツのデータストリーム及びコンテンツのサンプルの一致するタイムスタンプにおける一致するフィンガープリントに基づいてコンテンツのデータストリームと同一の周囲環境から得られたかを判定することを含んでもよい。

一例において、コンテンツのサンプルは、サンプルが記録された時のサンプル時間（例えば、クロックからの実時間又は基準時間）を示すサンプルタイムスタンプを含んでもよい。サンプルのフィンガープリントは、タイムスタンプに対応する時間又はその時間に近い時間においてコンテンツのデータストリームのフィンガープリントと比較されてもよい。フィンガープリントの特徴（例えば、大きさ、周波数等）が互いの特定の許容値内にある場合、サーバは一致を識別してもよく、コンテンツのサンプルがコンテンツのデータストリームと同一のソースから記録されたことを判定してもよい。

他の例において、タイムスタンプが必要ない場合がある。例えば少量のデータストリームがいずれかの所定の時間において維持される例において（例えば、約１０〜３０秒、１分、数分等）、サンプルは少量のデータと比較され、不正確な一致の可能性を低減する。サンプルとデータストリームとの間で一致が見つけられる場合、その一致は、それが発生したデータストリームの場所に関係なく有効と判定されてもよい。

比較は、一致が存在するかを判定するためにサンプルとデータストリームとの時間比較と考えられてもよい。時間比較は、サンプル及びデータストリームの特徴の間の線形的な対応関係を識別することを含んでもよい。他の例において、比較はリアルタイムで実行されてもよく、サンプルと同一の時間又はほぼ同一の時間に受信されたデータストリームの一部とサンプルとのリアルタイム比較であってもよい。リアルタイム比較は、現在受信しておりバッファリングされているデータストリーム（又は例えば前の３０秒等の最近受信したデータストリームの部分）とサンプルとを比較してもよい。データストリームのコンテンツがソースにより現在再生されている一方、データストリームが受信されているため、比較はリアルタイムで行われる。

方法４００は、ブロック４０８において、比較に基づいて、第２の装置が当該環境に存在していることを登録する要求を受信することを含む。例えば比較が成功し、第２の装置から受信したコンテンツのサンプルが第１の装置から受信したコンテンツのデータストリームの少なくとも一部と一致した（又はほぼ一致した）場合、サーバは、第１の装置及び第２の装置が同一の環境内にあり同一の周囲コンテンツを記録しているという判定を行ってもよい。サーバは、第２の装置が当該環境に存在していることを登録してもよいし、あるいはブロック４０８に示すように、サーバは、第２の装置が当該環境に存在していることを（別のサーバ、第２の装置又はネットワークのエンティティから）登録する要求を受信してもよい。

上記例を継続する。生徒は、携帯電話においてコンテンツのサンプルに関する情報を示す応答をサーバから受信することができる。応答がコンテンツの同一性、コンテンツの実行者の同一性等を示す場合、生徒は、コンテンツが認識／識別されたことを判定し、携帯電話のアプリケーションを利用して、第２の装置が当該環境に存在していることを登録するようにサーバに要求することができる。アプリケーションは、携帯電話に、第２の装置が当該環境に存在していることを登録する要求をプレゼンスサーバに送信させるために実行されてもよく、プレゼンスサーバはその要求をコンテンツ識別サーバに転送する。あるいは、コンテンツ識別サーバが要求を受信し、その要求をプレゼンスサーバに転送してもよい。

一例において、ある場所に存在していること（プレゼンス）を登録することにより、第２の装置の場所をログ記録したり、あるいは示すことができ、また、第２の装置のユーザによるある活動への参加を示すこともできる。例えばＦａｃｅｂｏｏｋ（登録商標）を介して「チェックイン」を実行する等、プレゼンスがソーシャルネットワーキングウェブサイトにおいて登録されてもよい。一例として、プレゼンスを登録することにより、コンサートにおける第２の装置の場所又はコンサートの後援者である第２の装置のユーザの参加を示すことができる。

プレゼンスの登録に加えて又はそれ以外に、第２の装置は、コンテンツ／アーティスト／会場に対する好みを示すこと（例えば、Ｆａｃｅｂｏｏｋ（登録商標）を介して活動又は物に対して「いいね（ｌｉｋｅ）」をすること）又はソーシャルネットワーキングウェブサイトにメッセージを提供すること（例えば、Ｔｗｉｔｔｅｒ（登録商標）における「ｔｗｅｅｔ（登録商標）」又はウェブログにおける「ブログ」）を含む他の後続サービスが実行されることを要求することができる。

いくつかの例において、サーバが複数のデータストリームを受信することに基づいて、サーバはコンテンツのサンプルとコンテンツの複数のデータストリームの１つ以上との複数の比較を実行してもよい。これら比較に基づいて、コンテンツのサンプルと１つのデータストリームの一部との間に一致が見つけられてもよい。サーバは、受信した一致するデータストリームの送信元である装置の各環境に第２の装置が存在していると判断することができる。

方法４００を使用して、サーバは、第１の装置及び第２の装置が互いに近接するか、あるいは同一の環境内に、同一の環境に又はそれに近接する場所に位置するか又は位置付けられると判定されるように更に構成されてもよい。

別の例において、方法４００は、第２の装置から登録要求を受信しなくても比較に基づいて当該環境に第２の装置が存在していることの登録を実行する等、より少ないステップを含んでもよい。この例において、サーバは、第２の装置からコンテンツのサンプルを受信し、コンテンツのサンプルの特徴とコンテンツのデータストリームの特徴との比較に基づいて、当該環境に第２の装置が存在していることを登録する機能を実行してもよい。コンテンツのサンプルは、例えばコンテンツ識別要求内でサーバに提供されてもよい。

更に別の例において、方法４００は、複数の装置の各環境から受信したコンテンツの複数のデータストリームを複数の装置から受信すること、並びにコンテンツのサンプルの特徴とコンテンツの複数のデータストリームの特徴との比較を実行すること等の追加のステップを含んでもよい。比較に基づいて、第２の装置がいずれか１つの環境に存在していることが判定されてもよい。

方法４００は、サーバが追加の情報を第２の装置に提供するように構成される等、追加の機能を含んでもよい。一例において、サーバは第１の装置の識別を第２の装置に提供してもよい。この例において、サーバは、データストリームを提供した第１の装置のユーザを第２の装置のユーザに通知するように構成されてもよい。サーバは、コンテンツのデータストリームと共に、第１の装置のユーザ（又は第１の装置のユーザを判定するために使用できる第１の装置自体）を識別する情報を受信してもよく、この情報を第２の装置に提供できる。

方法４００は、コンテンツのデータストリームを認識サーバに提供することにより、いずれのユーザもコンテンツ認識エンジンによりチャネルを確立できるようにする。ユーザは、サンプルを既存のデータベースファイル及びデータストリームの受信チャネルと比較するように構成可能な認識サーバにコンテンツのサンプルを提供してもよい。いくつかの例において、第１の装置は、データストリームをサーバに送信し、第２の装置は、第１の装置に対する認識及び比較のためにサンプルをサーバに送信する。データストリーム及びサンプルはそれぞれ、所定のメディア情報源から記録されてもよい。

図５は、コンテンツ認識エンジンによりチャネルを確立するシステムの一例を示し、図６は、図５の要素間でやり取りされるメッセージの一例を示すシーケンスチャートである。図５は、生実演者を含んでもよいメディアソース５０４を含むコンサート会場５０２を含む環境の一例を示す。実演者は、自身に近接してクライアント装置５０６を有してもよく、演奏のコンテンツのデータストリームをサーバ５０８に提供するためにクライアント装置を使用してもよい。クライアント装置５０６は、図示するように携帯電話であってもよく、あるいは他の装置を含んでもよく又は他の装置であってもよい。一例において、クライアント装置は、演奏中に実演者により使用されるマイクロホンであってもよく、あるいはマイクロホンを含んでもよい。他の例も可能である。

コンサート会場５０２内においては、多くのゲストが存在する可能性がある。１人のユーザは、クライアント装置５１０を所持しており、演奏のサンプルを記録し、そのサンプルがサーバ５０８に提供されうる。サーバ５０８は、サンプルを受信すると、サンプルが受信したいずれかのデータストリームのいずれかの部分と一致するかを判定する。一致が見つけられた場合、サーバ５０８は、メタデータを含む応答をクライアント装置５１０に提供する。

その後、クライアント装置５１０は、クライアント装置５１０がコンサート会場５０２に存在していることを登録する要求をサーバ５０８に送信することができる。サーバ５０８は、例えばプレゼンスサーバ５１２にプレゼンスメッセージを送信する等、クライアント装置５１０がコンサート会場５０２に存在していることを登録する機能を実行することができる。

別の例において、サーバ５０８は、サンプルに対する一致を見つけた後、クライアント装置５１０による要求を最初に受信せずとも、クライアント装置５１０がコンサート会場５０２に存在していることを登録する機能を実行してもよい。この例において、クライアント装置５１０はサンプルをサーバ５０８に送信し、データストリームに対して一致が見つけられる場合、クライアント装置５１０がコンサート会場５０２に存在していることが登録される。

観客のメンバーは、コンテンツのサンプルがデータストリームの一部に一致するかに基づいて、メディアをタグ付けすること、イベントにおける存在を登録すること、実演者に関する「詳細を見つける（Ｆｉｎｄ Ｏｕｔ Ｍｏｒｅ）」、コンサート会場に関する「いいね（Ｌｉｋｅ）」又は「ツイート（Ｔｗｅｅｔ）」等に対する実演者のメタデータを受信することを含む機能を実行するためにクライアント装置を利用できる。

クライアント装置５１０に提供されるメタデータは、サンプルのコンテンツの同一性、実演者の同一性、ＵＲＬ情報、アートワーク、画像、コンテンツを購入するためのリンク、独占的なコンテンツに対するリンク、クライアント装置５０６のユーザから受信した独自の情報（例えば、コンサートにおける実演者のプレイリスト、歌詞）等のあらゆる種類の情報を含んでもよい。

別の例において、クライアント装置５１０に提供されるメタデータは、スライドショー、プレゼンテーション、ＰＤＦファイル、スプレッドシート、ウェブページ、ＨＴＭＬ５文書等のファイルを含んでもよく、これは演奏又は講義の種々の部分に対応する種々の連続したマルチメディアを含んでもよい。演奏中、実演者は、ファイルの情報を進める又は進行させる方法を示す命令をサーバ５０８に提供することができる。例えばファイルがスライドショーを含む場合、クライアント装置５０６又は補助端末５１４は、次のスライドへの遷移を示す命令をサーバ５０８に送信するために使用されてもよい。実演者は、図６に示すように（例えば、追加のメタデータをサーバ５０８に送信する）、クライアント装置５０６のボタンをタップするか、あるいはスライドショーを進行させる命令をサーバ５０８に送信するために左又は右スワイプジェスチャを行ってもよい（タッチパッド又はタッチスクリーンを使用して）。サーバ５０８は、クライアント装置５１０がスライドショーの表示を更新できるように命令をクライアント５１０に転送する。

一例において、サーバ５０８は、クライアント装置５０６から命令を受信し、クライアント装置５０６の情報を表示するようにクライアント装置５１０に命令してもよい。サーバ５０８は、クライアント装置５０６から受信したメタデータ及びメタデータを進行させる命令をコンサート会場５０２に「チェックインする」（例えば、コンサート会場５０２に存在することを登録した）装置（例えば、全ての装置）に提供してもよい。更なる一例において、メタデータは、演奏中にメタデータを進行させる時期／方法を示すアノテーションを含んでもよく、サーバ５０８は、アノテーション付きメタデータを受信し、そのアノテーション付きメタデータをクライアント装置５１０に提供してもよい。従って、コンサート会場５０２にチェックインした装置に提供されるメタデータは、ユーザ又は実演者によりリアルタイムで提供又はトリガされうる。データは、全てのチェックイン装置にプッシュされてもよく、動的に更新可能である。

別の例として、クライアント装置５０６により提供されたメタデータは、ＲＳＳフィード、ＨＴＭＬ５ページ（又は他の対話型メタデータ）を含んでもよく、クライアント装置５１０は、実演者／講演者／バンドが提供したメタデータの更新を受信してもよい。

他の例において、実演者は、種々の手段で応答メタデータを動的に更新してもよい。一例において、実演者は、次に演奏される可能性のある曲に対するメタデータの準備されたセットリストを含むメニューから項目を選択することにより更新を実行してもよい。メニューは、例えばラップトップであるクライアント装置５０６又は補助端末５１４に提供できる。メニュー選択は、補助端末を動作する実演者又はアシスタントにより選択可能である。計画外のアンコール又は気まぐれな演奏をサポートするために、メタデータは実演者又はアシスタントによりリアルタイムでデータベースに入力され、現在の演奏にアノテーションをつける。

説明したように、データは全てのチェックイン装置にプッシュされてもよく、動的に更新可能である。チェックイン装置であることに基づいて、サーバ５０８は、装置が実演者に関する追加の情報を受信することを更に登録する追加のオプションを提供してもよい。例として、サーバ５０８は、実演者のメーリングリストに登録するオプション、ソーシャルネットワーキングウェブサイト（例えば、Ｔｗｉｔｔｅｒ（登録商標）又はＦａｃｅｂｏｏｋ（登録商標）上の実演者に対する加入）上で実演者をフォローするオプション、あるいは電子メーリングリスト又はＲＳＳフィードに加入するオプションを提供してもよい。サーバ５０８は、装置の設定に基づいて所定のチェックイン装置を更に登録する（装置から選択を受信せずに）ように構成されてもよい。

更なる例において、データはチェックイン装置から受信されてもよく、あるいはチェックイン装置のユーザに関する情報が受信されてもよい（必ずしもチェックイン装置からではない）。例えばサーバ５０８は、チェックイン装置からの特定の情報又はチェックイン装置のユーザに関する特定の情報を受信してもよい。そのような情報の例は、連絡先情報、画像、人口統計情報、サービス又はメーリングリストに加入する要求及びプッシュ通知に登録する要求を含む。そのような情報は、ユーザプロファイルと関連付けられたメモリ又はサーバに格納又はキャッシュされ、クライアント装置５０６又はサーバ５０８による要求に応答して検索されサーバ５０８に提供されてもよく、あるいはプログラムにより検索及び提供されてもよい。あるいは、そのような情報は、チェックイン装置のユーザを介してリアルタイムで入力されてもよい。この例において、実演者又は実演者の代理人は、観客に関する更なる情報を学ぶためにユーザからの情報又はユーザに関する情報を受信できる。

従って、本明細書において説明する例の中で、情報は、チェックイン装置とクライアント装置５０６又はサーバ５０８との間で双方向に流れることが可能である。情報のやり取りが行われ、これは受動的（例えば、プレゼンスの登録時に提供される）又は能動的（例えば、ユーザがユーザ／観客のメンバーに対する販売活動に有用である可能性がある情報を提供することを選択する）であってよい。

更なる例において、本明細書で説明する方法及びシステムは、２つの装置間及び従って２人のユーザ間の近接性を判定するために使用されてもよい。一例において、図５を参照すると、クライアント装置５１０のユーザ及び別のクライアント装置５１６のユーザは双方ともコンサート会場５０２に位置している。各装置は、周囲環境のサンプルをサーバ５０８に送信し、サーバ５０８は上述したように識別を実行する。サーバ５０８は、複数の装置が同一のデータストリームと一致するサンプルを提供した時期を判定するように構成され、更に、その判定を装置に通知する。この例において、サーバ５０８は、クライアント装置５１０及びクライアント装置５１６にメッセージを送信し、互いにコンサート会場５０２にいることを各装置に通知できる。更にサーバ５０８は、コンテンツ識別に基づいて装置の近接性を判定しており、近接性を判定する（例えば、一致する登録された装置のプレゼンスに基づいて近接性を判定することにより）ためにプレゼンスサーバに更にアクセスする必要はない。

別の実現例において、２つの装置間の近接性は、各装置から受信したサンプルを比較することにより判定されてもよい。この例において、サーバ５０８は、クライアント装置５１０からサンプルを受信しクライアント装置５１６から別のサンプルを受信し、双方のサンプルを直接比較してもよい。一致に基づいて、サーバ５０８は、クライアント装置５１０及びクライアント装置５１６が互いに近接して位置する（例えば、同一のメディアが再生されている環境に位置する）ことを判定してもよい。

更なる別の実現例として、サーバ５０８は、装置の地理情報（例えば、ＧＰＳデータ）に関連してクライアント装置５１０及びクライアント装置５１６から情報を更に受信してもよく、コンテンツ識別及び装置の近接性を検証する更なる方法としてその地理情報を使用してもよい。例えばクライアント装置５１０がサンプルをサーバ５０８に送信し、サーバ５０８が識別を実行し、その後コンサート会場５０２にクライアント装置５１０がいることが登録された場合、サーバ５０８は、クライアント装置５１０のＧＰＳ座標を受信及び記録してもよい。その後、サンプルデータストリームにおいて見つけられる後続の一致又は同一のコンサート会場５０２において他の装置を登録する後続の要求に対して、サーバ５０８は、装置が近接して位置することを更に検証するか又はコンテンツ識別を更に検証するために、他の装置のＧＰＳ座標とクライアント装置５１０の格納されたＧＰＳ座標とを比較してもよい。

本明細書において種々の態様及び実施形態が開示されたが、他の態様及び実施形態が当業者には明らかとなるであろう。本明細書で開示した種々の態様及び実施形態は、例示することが目的であって、限定することを意図したものではなく、実際の範囲は以下の特許請求の範囲により示される。多くの変更や変形がその範囲から逸脱せずに行えることは、当業者には明らかであろう。本明細書で列挙した方法及び装置に加えて、本発明の範囲内の機能的に同等な方法及び装置が当業者には上記説明から明らかとなるであろう。そのような変更及び変形は、添付の特許請求の範囲の範囲内に入ることを意図する。

多くの詳細の変更、変形及び修正が説明した例に対して行えるため、上記説明及び添付の図面に示した全ての事項は例示として解釈され、限定する意味はないことが意図される。

Claims (47)

1. 第１の装置の環境から受信したコンテンツのデータストリームを前記第１の装置から受信するステップと、
   前記環境からのコンテンツのサンプルを第２の装置から受信するステップと、
   前記コンテンツのサンプルと前記コンテンツのデータストリームとの比較を実行するステップと、
   前記比較に基づいて、前記環境に前記第２の装置が存在していることを登録する要求を受信するステップと、
   を有することを特徴とする方法。
2. 前記第１の装置は、前記コンテンツのデータストリームのコンテンツが再生される前記環境に位置しており、前記第１の装置の前記環境から受信した前記コンテンツのデータストリームを前記第１の装置から受信するステップは、前記第１の装置の前記環境からの前記コンテンツのデータストリームの記録を前記第１の装置から受信するステップを含むことを特徴とする請求項１に記載の方法。
3. 前記第１の装置は、ポータブル装置であり、前記第１の装置が周囲オーディオを記録する環境内に位置することを特徴とする請求項２に記載の方法。
4. 前記環境からの前記コンテンツのサンプルを前記第２の装置から受信するステップは、前記コンテンツのサンプルの記録を受信するステップを含むことを特徴とする請求項１に記載の方法。
5. 前記コンテンツのデータストリームを前記第１の装置から受信するステップは、前記第１の装置の周囲環境から受信したオーディオの周囲オーディオデータストリームを受信するステップを含み、
   前記環境からの前記コンテンツの前記サンプルを前記第２の装置から受信するステップは、周囲オーディオのサンプルを受信するステップを含み、
   前記方法は、前記周囲オーディオのサンプルと前記周囲オーディオデータストリームとのマッチングを行うステップを更に有する
   ことを特徴とする請求項１に記載の方法。
6. 前記コンテンツのデータストリームはオーディオデータストリームであり、前記コンテンツのサンプルはオーディオコンテンツのサンプルを含むことを特徴とする請求項１に記載の方法。
7. 前記コンテンツのデータストリームはビデオデータストリームであり、前記コンテンツのサンプルはビデオコンテンツのサンプルを含むことを特徴とする請求項１に記載の方法。
8. 前記第１の装置の前記環境から受信したコンテンツの連続したデータストリームを前記第１の装置から受信するステップを更に有することを特徴とする請求項１に記載の方法。
9. 前記比較に基づいて、前記第２の装置が前記第１の装置に近接していることを判定するステップを更に有することを特徴とする請求項１に記載の方法。
10. 前記比較に基づいて、前記第２の装置が前記第１の装置の環境に位置することを判定するステップを更に有することを特徴とする請求項１に記載の方法。
11. 前記第１の装置及び前記第２の装置のうちの一方は、コンテンツを記録するマイクロホンを含むポータブル装置であることを特徴とする請求項１に記載の方法。
12. ソーシャルネットワーキングアプリケーションを介して、前記第２の装置が前記環境に存在することを登録するステップを更に有することを特徴とする請求項１に記載の方法。
13. 前記第１の装置はマイクロホンであることを特徴とする請求項１に記載の方法。
14. 前記コンテンツのデータストリームを前記第１の装置から受信するステップは、前記コンテンツのデータストリームを無線受信するステップを含むことを特徴とする請求項１に記載の方法。
15. 前記コンテンツのサンプルと前記コンテンツのデータストリームとの前記比較を実行するステップは、サンプリング時間に対して関連する時点における前記コンテンツのサンプルの特徴とほぼ一致する時点における前記コンテンツのデータストリームの特徴とを比較するステップを含むことを特徴とする請求項１に記載の方法。
16. 前記コンテンツの同一性又は前記コンテンツの実行者の同一性のうちの一方と関連付けられる情報を前記第２の装置の送信するステップを更に有することを特徴とする請求項１に記載の方法。
17. 前記情報を進行させる命令を前記第１の装置から受信するステップと、
    前記情報を進行させることを示す命令を前記第２の装置に送信するステップと、
    を更に有することを特徴とする請求項１６に記載の方法。
18. 前記情報を進行させることを示す命令を前記第２の装置に送信するステップは、前記第２の装置において前記情報の表示を更新することを示す命令を前記第２の装置に送信するステップを含むことを特徴とする請求項１７に記載の方法。
19. 前記データストリームのコンテンツは演奏により提供され、
    前記方法は、前記演奏中に前記情報を進行する命令を受信するステップを更に有する
    ことを特徴とする請求項１７に記載の方法。
20. 前記コンテンツの同一性、前記コンテンツの実演者の同一性、前記コンテンツのアートワーク、前記コンテンツのプレゼンテーション、前記コンテンツの購入情報、前記実演者のツアー情報、前記コンテンツの関連するメディアストリームの同期情報又は前記コンテンツに関するＵＲＬ情報のうちの１つと関連付けられる情報を前記環境におけるプレゼンスを登録した装置に送信するステップと、
    前記環境に存在することを登録した前記装置に対して前記情報を進行させることを示す命令を送信するステップと、
    を更に有することを特徴とする請求項１に記載の方法。
21. 対話型メタデータを前記第２の装置に送信するステップと、
    前記対話型メタデータを進行することを示す命令を前記第２の装置に提供するステップと、
    を更に有することを特徴とする請求項１に記載の方法。
22. 前記第１の装置は、前記データストリームを再生するメディア情報源の出力に接続されることを特徴とする請求項１に記載の方法。
23. 前記データストリームを連続して受信するステップと、
    前記格納されたデータストリームの一部が前記データストリームの最近受信したコンテンツに対応するように所定量の前記データストリームをバッファに格納するステップと、
    を更に有し、
    前記コンテンツのサンプルと前記コンテンツのデータストリームとの前記比較を実行するステップは、前記コンテンツのサンプルと前記データストリームの最近受信したコンテンツとのリアルタイム比較を実行するステップを含むことを特徴とする請求項１に記載の方法。
24. 前記データストリームはメディア情報源により再生され、
    前記方法は、前記格納されたデータストリームの一部が前記メディア情報源により実質的に現在再生されている前記データストリームのコンテンツに対応するように所定量の前記データストリームをバッファに格納するステップを更に有し、
    前記コンテンツのサンプルと前記コンテンツのデータストリームとの前記比較を実行するステップは、前記コンテンツのサンプルと前記メディア情報源により実質的に現在再生されているコンテンツとのリアルタイム比較を実行するステップを含む
    ことを特徴とする請求項１に記載の方法。
25. 所定量の前記データストリームをバッファに格納するステップを更に有し、
    前記所定量は、前記コンテンツのサンプルに対する妥当性の範囲と関連付けられる
    ことを特徴とする請求項１に記載の方法。
26. 前記データストリームの前記コンテンツと関連付けられる情報を、前記環境に存在することを登録した装置に送信するステップを更に有することを特徴とする請求項１に記載の方法。
27. 前記コンテンツのサンプルと前記コンテンツのデータストリームとの前記比較を第１の比較とし、前記方法は、
    前記環境からのコンテンツの所定のサンプルを第３の装置から受信するステップと、
    前記コンテンツの所定のサンプルと前記コンテンツのデータストリームとの第２の比較を実行するステップと、
    前記第１の比較及び前記第２の比較が前記データストリームのコンテンツに対して肯定的な一致であることに基づいて、前記第２の装置と前記第３の装置との間の位置の近接性を判定するステップと、
    を更に有することを特徴とする請求項１に記載の方法。
28. 前記第２の装置と前記第３の装置との間の位置の近接性を判定するステップは、前記第２の装置及び前記第３の装置は双方とも前記第１の装置の環境に位置すると判定することを含むことを特徴とする請求項２７に記載の方法。
29. 互いに対する近接性を示す前記第２の装置及び前記第３の装置の一方又は双方に対する通知を提供するステップを更に有することを特徴とする請求項２７に記載の方法。
30. 前記第２の装置の位置を示す地理情報を前記第２の装置から受信するステップと、
    前記地理情報に基づいて、前記コンテンツのサンプルと前記コンテンツのデータストリームとの前記比較と、前記第２の装置と前記第３の装置との間の近接性の判定とのうちの１つ以上を検証するステップと、
    を更に有することを特徴とする請求項２７に記載の方法。
31. 前記第２の装置から前記第２の装置のユーザに関する情報を受信するステップを更に有することを特徴とする請求項１に記載の方法。
32. ユーザプロファイルサーバから前記第２の装置のユーザに関する情報を受信するステップを更に有することを特徴とする請求項１に記載の方法。
33. 前記第２の装置のユーザに関する情報を受信するステップを更に有し、
    前記第２の装置の前記ユーザに関する前記情報は、連絡先情報、１つ以上の画像、人口統計情報、サービス若しくはメーリングリストに加入する要求、プッシュ通知に登録する要求、のうちの１つ以上を含むことを特徴とする請求項１に記載の方法。
34. 前記第１の装置による要求に応答して前記第２の装置のユーザに関する情報を受信するステップを更に有することを特徴とする請求項１に記載の方法。
35. 複数の装置のそれぞれの環境から受信したコンテンツの複数のデータストリームを前記複数の装置から受信するステップと、
    前記コンテンツのサンプルと前記コンテンツの複数のデータストリームとの比較を実行するステップと、
    前記比較に基づいて、前記第２の装置が前記それぞれの環境のうちの１つに存在することを判定するステップと、
    を更に有することを特徴とする請求項１に記載の方法。
36. 第１の装置の環境から受信したコンテンツのデータストリームを前記第１の装置から受信する機能と、
    前記環境からのコンテンツのサンプルを第２の装置から受信する機能と、
    前記コンテンツのサンプルと前記コンテンツのデータストリームとの比較を実行する機能と、
    前記比較に基づいて、前記環境に前記第２の装置が存在することを登録する要求を受信する機能と、
    をコンピュータ装置に実行させるために前記コンピュータ装置により実行可能な命令を格納したコンピュータ読み取り可能な記憶媒体。
37. 前記コンテンツのデータストリームを前記第１の装置から受信することは、前記第１の装置の周囲環境から受信したオーディオの周囲オーディオデータストリームを受信することを含み、
    前記環境からの前記コンテンツの前記サンプルを前記第２の装置から受信することは、周囲オーディオのサンプルを受信することを含み、
    前記命令は、前記周囲オーディオのサンプルを前記周囲オーディオデータストリームと一致させる機能を実行するために更に実行可能である
    ことを特徴とする請求項３６に記載のコンピュータ読み取り可能な記憶媒体。
38. 前記命令は、
    前記コンテンツの同一性又は前記コンテンツの実演者の同一性のうちの一方と関連付けられる情報を前記第２の装置に送信する機能と、
    前記情報を進行させる命令を前記第１の装置から受信する機能と、
    前記情報を進行させることを示す命令を前記第２の装置に送信する機能と、
    を実行するために更に実行可能であることを特徴とする請求項３６に記載のコンピュータ読み取り可能な記憶媒体。
39. 命令を格納したメモリと、
    前記メモリに接続された１つ以上のプロセッサであって、
    第１の装置の環境から受信したコンテンツのデータストリームを前記第１の装置から受信する機能と、
    前記環境からのコンテンツのサンプルを第２の装置から受信する機能と、
    前記コンテンツのサンプルと前記コンテンツのデータストリームとの比較を実行する機能と、
    前記比較に基づいて、前記環境に前記第２の装置が存在することを登録する機能と
    を実行するために前記命令を実行するように構成される１つ以上のプロセッサと、
    を備えることを特徴とするサーバ。
40. 前記コンテンツのデータストリームを前記第１の装置から受信することは、前記第１の装置の周囲環境から受信したオーディオの周囲オーディオデータストリームを受信することを含み、
    前記環境からの前記コンテンツの前記サンプルを前記第２の装置から受信することは、周囲オーディオのサンプルを受信することを含み、
    前記命令は、前記周囲オーディオのサンプルを前記周囲オーディオデータストリームと一致させる機能を実行するために更に実行可能であることを特徴とする請求項３９に記載のサーバ。
41. 前記命令は、
    前記コンテンツの同一性又は前記コンテンツの実行者の同一性のうちの一方と関連付けられる情報を前記第２の装置に送信する機能と、
    前記情報を進行する命令を前記第１の装置から受信する機能と、
    前記情報を進行することを示す命令を前記第２の装置に送信する機能と
    を実行するために更に実行可能であることを特徴とする請求項３９に記載のサーバ。
42. 装置の環境から得られたコンテンツのサンプルを識別する要求を前記装置から受信するステップと、
    前記コンテンツのサンプルと前記環境から受信したコンテンツのデータストリームとの比較に基づいて、前記環境における前記装置のプレゼンスを登録するステップと、
    を有することを特徴とする方法。
43. 前記環境からの前記コンテンツのサンプルを前記装置から受信するステップは、前記コンテンツのサンプルの記録を受信するステップを含むことを特徴とする請求項４２に記載の方法。
44. 前記装置は、ポータブル装置であり、前記装置が周囲オーディオを記録する環境内に位置することを特徴とする請求項４２に記載の方法。
45. 前記装置は、コンテンツを記録するマイクロホンを含むポータブル装置であることを特徴とする請求項４２に記載の方法。
46. ソーシャルネットワーキングアプリケーションを介して、前記環境における前記装置が存在することを登録するステップを更に有することを特徴とする請求項４２に記載の方法。
47. 前記コンテンツの同一性又は前記コンテンツの実演者の同一性のうちの一方と関連付けられる情報を前記装置に送信するステップと、
    前記情報を進行させることを示すとともに、前記装置における前記情報の表示を更新することを示す命令を、前記装置に送信するステップと、
    を更に有することを特徴とする請求項４２に記載の方法。

Images