JP2021509795A - 補助データとしての座標 - Google Patents

Abstract

メディア環境駆動式コンテンツ配信プラットフォームにおける補助データとしての座標は、同期データ、及び、視聴覚コンテンツの視覚部分内の位置を表す座標セットを特定する補助データを取得することであって、補助データは、同期データ内の瞬間に固定されている、取得することと、同期データ、及び、同期データ内の瞬間に固定されている補助データを通信することであって、結果、同期データの視聴覚コンテンツへの後続の整合が、視聴覚コンテンツの視覚部分内の位置を表す座標セットを同期させる、通信することとを含むことができる。【選択図】 図１Ｂ

Description

背景

[0001]メディアコンテンツは、生成、処理された後、消費者に送信される。従来のメディアコンテンツに加えて、電子通信技術の普及により、コンテンツに関係付けられるか又はコンテンツを増強する補助データを大量に配信することが可能になった。例えば、インスタントメッセージングのような技術は、電子情報を１人の人間から多数の人間へと非常に迅速に配信する媒体を提供する。例えば、パーソナルコンピュータ、携帯電話、個人情報端末、及びテレビセットトップボックス（例えば、ケーブルセットトップボックス、衛星セットトップボックス等）を含む電子デバイスは、消費者が情報に容易にアクセスすることを可能にする。現代の通信技術を介して配信することができる補助データのタイプ及び内容は、非常に多岐にわたり、個人情報から情報コンテンツ、広告に至るまで、あらゆるものを含む。補助データは、単純なテキストから、グラフィック、ビデオ、多数のデータ層を含む内容まで、様々な形態をとることができる。

[0002]しかし、現在の技術は、そのような補助データを、その後処理するために抽出することにおいては不足がある。コンテンツ及び補助データの現在の同期方法は、例えば、ソースとターゲット又は消費者との間に明示的なデータ接続を必要とし得、多くの場合、一方向である。他の現在の同期方法は、複数の異なる設備がメタデータをサポートしている場合もあれば、していない場合もある様々なワークフローを使用することになるか、又は、配信フォーマットコンテナがデータの本質自体以外のメタデータを含むのによく適していないため、信号チェーン全体を通じて存在する場合もあれば、しない場合もあるメタデータに依拠し得る。

[0003]さらに、従来、補助データは、上述のタイプ（例えば、テキスト、グラフィック、ビデオ等）に制約されてきた。利用可能な補助データのタイプにおける上記制約は、メディアコンテンツと補助データの両方の利用を制限する。

[0004]本開示は、上記問題に対処するための方法及びシステムを提供する。本開示は、オーディオ又は時間コードと、生成から消費者までコンテンツを搬送する下流パイプラインにおける動作をトリガするためのフィンガープリンティングを含む自動コンテンツ認識（ＡＣＲ）技術との動的な結合を説明する。上記動作は、元のコンテンツ及び品質を保持し、コンプライアンス及び未知のコンテンツの許容可能な統合を可能にし、上流のデータベースへの条件付きアクセスのための複数の経路及び帰還路を提供する。本開示は、間接的な接続を可能にし、データストリッピング障害物を迂回する、補助データ同期のための経路を提供する。例えば、ライブイベントをデータベースに記憶されているイベントと比較するためのフィンガープリンティングを含む追加の局所的ＡＣＲは、チェーンが迂回されることを可能にし、同期を示すため、並びに変更、更新及び追加の新規の情報をデータベースに提供するためのデータのフィードバックのためのメカニズムを提供する。追加の局所的ＡＣＲは、他の用途の中でも、電子商取引、データ追跡、検索、データ関係、及び精細な視聴者測定等の、多数の付加価値のある態様に使用することができる、コンテンツに関する時間整合された特徴に富むデータを記憶し、取り出す方法を提供する。

[0005]さらに、本開示は、例えば、視聴覚コンテンツの視覚部分の視野の座標等、新種の補助データである座標を提供する。上記新規の補助データタイプは、概して、視聴覚コンテンツ及び補助データのより先進的な利用を可能にする。上記新規の補助データタイプは、視覚野においてコンテンツと整合するデータの仮想表現を生成し、結果、コンテンツの任意のコンテンツ再生環境にわたる合成ラッパとして作用し、関係付けられる補助データを閲覧者に見せることができる。

[0006]本明細書に組み込まれるとともにその一部を構成する添付の図面は、本発明の態様の様々な例示的な実施形態を示す様々な例示的なシステム、方法等を示す。図面に示されている要素の境界（例えば、ボックス、ボックス群、又は他の形状）は、境界の一例を表すことが諒解されよう。１つの要素が複数の要素として設計されてもよいこと、又は、複数の要素が１つの要素として設計されてもよいことが、当業者には諒解されよう。別の要素の内部構成要素として示されている要素が、外部構成要素として実施されてもよく、逆も真である。さらに、要素は原寸に比例して描写されていない場合がある。

[0007]図１Ａは、オーディオを含むコンテンツを、コンテンツの視覚部分の座標を含む補助データに同期させるための例示的な方法の概略図である。

[0008]図１Ｂは、コンテンツの視覚部分の座標を含む補助データを、第２の座標セットを表す補助データに同期させるための例示的な方法の概略図である。

[0009]図１Ｃは、三次元座標を含む補助データを同期させるための例示的な方法の概略図である。

[0010]図１Ｄは、二次元座標セットを表す補助データを、三次元座標セットを表す補助データに同期させるための例示的な方法の概略図である。

[0011]図２は、補助データを、オーディオを含むコンテンツに同期させるための例示的なシステムのブロック図である。

[0012]図３は、コンテンツ配信者における詳細を含む例示的なシステムのブロック図である。

[0013]図４は、消費者における詳細を含む例示的なシステムのブロック図である。

[0014]図５は、記憶場所における詳細を含む例示的なシステムのブロック図である。

[0015]図６は、補助データを、オーディオを含むコンテンツに同期させるための例示的な方法の流れ図である。

[0016]図７Ａは、補助データを、オーディオを含むコンテンツに同期させるための例示的な方法の流れ図である。

[0017]図７Ｂは、メディア環境駆動式コンテンツ配信プラットフォームのための例示的な方法の流れ図である。

[0018]図８は、補助データを、オーディオを含むコンテンツに同期させるための例示的な機械のブロック図である。

詳細な説明

[0019]図１Ａは、オーディオを含むコンテンツを、コンテンツの視覚部分の座標を含む補助データに同期させるための例示的な方法の概略図を示す。図１Ａは、視覚部分３及びオーディオ部分５を含む視聴覚コンテンツ１を示す。視聴覚コンテンツ１は、映画、ＴＶ番組、スポーツイベント（例えば、バスケットボールの試合）、インターネットビデオ、ビデオゲーム、仮想現実（ＶＲ）、拡張現実（ＡＲ）、若しくは複合現実（ＭＲ）環境、又はラジオ、インターネット等を介した聴覚のみのプログラムであってもよい。

[0020]図１Ａは、補助データ７をも示す。補助データ７は、コンテンツに関係付けられるデータであり、コンテンツ名又はコンテンツ識別データ、コンテンツ内で再生される台本に関するデータ、コンテンツ内の登場人物が着用する衣装に関するデータ、コンテンツの出演者、プロデューサ、又はディレクタからのコメントを含むデータ、コンテンツに関する情報を含むリソースに対する統一資源位置指定子（ＵＲＬ）、コンテンツのオーディオ内の音楽に関するデータ等、コンテンツを記述するデータを含むことができる。補助データ７は、広告データ等の商用データを含んでもよい。補助データ７はまた、コンテンツの閲覧者からのコメント等のユーザデータ（例えば、ツイッター［登録商標］のメッセージ等）も含んでもよい。補助データ７はまた、例えば、コンテンツのオーディオの音量又はダイナミックレンジスケーリングを含む、コンテンツのオーディオの統計等の専門的又は技術的データも含んでもよい。補助データ７はまた、別のアプリケーションへのブロックチェーンレベルアクセスも含んでもよい。

[0021]上記の例から分かるように、補助データ７を構成するものは非常に広範にわたる場合があり、様々なソースから収集される場合がある。補助データのもう１つの例が、コンテンツ１の視覚部分３の座標である。上記新規のタイプの補助データは、概して、視聴覚コンテンツ及び補助データのより先進的な利用を可能にし得る。

[0022]補助データに伴って生じる重大な問題は同期、すなわち、現実問題として、補助データ７が視聴覚コンテンツ１にどの程度正確に時間整合されるかということである。コンテンツ及び補助データの現在の同期方法は、コンテンツのソースとターゲット又は消費者との間に明示的なデータ接続を必要とする。この明示的なタイミングデータは、消費者の施設にある機器にタイミングを通信する。上記方法は、通常、ソース又はコンテンツの提供者からターゲット又は消費者への一方向でもあり、これは制限である。他の現在の同期方法は、複数の異なる設備がメタデータをサポートしている場合もあれば、していない場合もある様々なワークフロー又はコンテンツコンテナフォーマットを使用することになるため、ソース又はコンテンツの提供者からターゲット又は消費者への信号チェーン全体を通じて存在する場合もあれば、しない場合もある、コンテンツに付随するメタデータに依拠する。

[0023]図１Ａに示すように、視聴覚コンテンツ１は、視覚部分３及びオーディオ５を含む。図１Ａはまた、オーディオ波形シグネチャの形態の視聴覚コンテンツ１のオーディオ部分５の表現９も示す。表現９は、少なくとも、オーディオ部分５が時点ｔに沿って表現９から識別可能である限りにおいて、視聴覚コンテンツ１のオーディオ部分５に一致する。図１Ａの実施形態において、補助データ７は各々、補助データ７が整合されるオーディオ部分５の瞬間に対応する表現９の瞬間において、表現９に固定（pegging、ペギング）される。１つの実施形態において、補助データ７は、表現９上の持続時間（１つの瞬間だけでなく）に固定することができる。そのような実施形態において、補助データ７は、表現９（例えば、映画のシーン）上の持続時間のそれぞれ始まり及び終わりを表す表現９上の２つ（又は２つ以上）の瞬間に固定することができる。別の実施形態において、補助データ７は、規定の補助データ７に適用可能な表現９上の始まりの瞬間及び持続時間に固定することができる。そのような実施形態において、補助データ７は、表現９（例えば、映画のシーン）上の持続時間及び絶対項として指定される持続時間のそれぞれ始まり及び終わりを表す表現９上の始まり（又は終わり）の瞬間に固定することができる。

[0024]図１Ａの例において、補助データＡが、視聴覚コンテンツ１の時点ｔ_ｘに対応する表現９の瞬間に固定される。補助データ７ｂ、７ｃ、及び７ｈが、視聴覚コンテンツ１の時点ｔ_ｘ＋１に対応する表現９の瞬間に固定される。補助データ７ｄ及び７ｅが、時点ｔ_ｘ＋２に対応する表現９の瞬間に固定される。補助データ７ｆが、視聴覚コンテンツ１の時点ｔ_ｘ＋３に対応する表現９の瞬間に固定され、補助データ７ｇが、視聴覚コンテンツ１の時点ｔ_ｘ＋４に対応する表現９の瞬間に固定される。

[0025]補助データ７及び表現９の各々は、次いで、視聴覚コンテンツ１の将来のユーザ又は閲覧者にとってアクセス可能にし得るデータベースに記憶することができる。このように、視聴覚コンテンツ１が上記ユーザ又は閲覧者に配信されるとき、表現９及び表現９に固定されている補助データ７を、当該ユーザ又は閲覧者にとって利用可能にし得る。

[0026]ユーザの施設において、オーディオ部分５、したがって視聴覚コンテンツ１を表現９に同期させるために、受信されている視聴覚コンテンツ１のオーディオ部分５を、表現９とリアルタイムで比較することができる。さらに、補助データ７が、視聴覚コンテンツ１のそれぞれの時点に対応する表現９の瞬間に固定されるため、補助データ７は、明示的なタイミングデータがなくとも視聴覚コンテンツ１に同期することができる。

[0027]図１Ａに示す実施形態において、補助データ７ａは、視聴覚コンテンツ１の時点ｔ_ｘに整合される（すなわち、当該時点に現れるか又は当該時点に関係付けられる）。補助データ７ｂ及び７ｃは、視聴覚コンテンツ１の時点ｔ_ｘ＋１に現れるか又は当該時点に関係付けられる。補助データ７ｄ及び７ｅは、時点ｔ_ｘ＋２に現れるか又は当該時点に関係付けられる。補助データ７ｆは、視聴覚コンテンツ１の時点ｔ_ｘ＋３に現れるか又は当該時点に関係付けられ、補助データ７ｇは、時点ｔ_ｘ＋４に現れるか又は当該時点に関係付けられる。例えば、ｔ_ｘにおける補助データ７ａは、コンテンツ名、Ｔｒｕｅ Ｂｌｏｏｄ、シーズン２、エピソード２を示すことができる。時点ｔ_ｘ＋１（例えば、１２分２秒）において、補助データ７ｂは、Ａｎｎａ Ｐａｑｕｉｎ（俳優）演じるＳｏｏｋｉｅ Ｓｔａｃｋｈｏｕｓｅ（登場人物）が、Ｍａｎｏｌｏ Ｂｌａｈｎｉｋ Ｈａｎｇｉｓｉ １０５ｍｍサテンパンプシューズ（アクセサリ）を着用していることを記述し、一方、補助データ７ｃは、音楽が、ロンドン交響楽団が演奏するベートーヴェン作曲の月光ソナタであることを示す。補助データ７ｄ及び７ｅは、時点ｔ_ｘ＋２において受信されるツイッターメッセージであってもよく、当該メッセージにおいて、ユーザは、視聴覚コンテンツ１又は特に視聴覚コンテンツ１内のシーンに対する自身の反応を表現する。補助データ７ｆは、コマーシャルの時間に起因するコンテンツのオーディオの規定の音量又はダイナミックレンジスケーリングのｔ_ｘ＋３における変化を示し得、又は、単に番組全体よりも粒度を細かくすることができる。補助データ７ｇは、コマーシャルの時間から視聴覚コンテンツ１への復帰に起因するコンテンツのオーディオの規定の音量又はダイナミックレンジスケーリングのｔ_ｘ＋４における変化を示し得る。

[0028]もう１つのタイプの補助データが、コンテンツ１の視覚部分３の座標データであり得る。例えば、補助データは、視聴覚コンテンツ１の視覚部分３内の位置を表す座標セットを特定するデータ、並びに、座標セットによって表される位置にある視聴覚コンテンツ１の視覚部分３内に位置する物体の中心及び形状を特定するデータを含むことができる。図１においては、補助データ７ｈは、コンテンツ１の視覚部分３に対応するｘ、ｙ座標のセットであり得る（Ｔｒｕｅ Ｂｌｏｏｄは二次元ＴＶ番組である）。座標７ｈは、補助データ７ｂ、すなわちＳｏｏｋｉｅ ＳｔａｃｋｈｏｕｓｅのＭａｎｏｌｏ Ｂｌａｈｎｉｋ Ｈａｎｇｉｓｉ １０５ｍｍサテンパンプシューズの、視覚部分３上の位置に対応する。

[0029]上記情報が補助データ７の一部であることによって、ユーザは、Ｍａｎｏｌｏ Ｂｌａｈｎｉｋ Ｈａｎｇｉｓｉ １０５ｍｍサテンパンプシューズが現れる視聴覚コンテンツについて、補助データシステムに問い合わせることができる。検索結果は、Ｍａｎｏｌｏ Ｂｌａｈｎｉｋ及び／又は１０５ｍｍサテンパンプス（製品）であり得る。問合せの結果は、視聴覚コンテンツとしてのＴｒｕｅ Ｂｌｏｏｄ、シーズン２、エピソード２だけでなく、シューズが現れる視聴覚コンテンツ１の時点＋持続時間としてのｔ_ｘ＋１（例えば１２分２秒）、及び、視覚部分３上のシューズの正確な位置としての座標ｘ、ｙでもある。代替的に、ユーザは、Ｍａｎｏｌｏ Ｂｌａｈｎｉｋ Ｈａｎｇｉｓｉ １０５ｍｍサテンパンプシューズが座標ｘ、ｙに現れる視聴覚コンテンツについて、補助データシステムに問い合わせることができる。問合せの結果は、Ｔｒｕｅ Ｂｌｏｏｄ、シーズン２、エピソード２の時点ｔ_ｘ＋１（例えば、１２分２秒）である。

[0030]同様に、座標セット補助データが利用可能であることによって、ユーザは、特定の点のセット又は形状座標によって特定される視聴覚コンテンツの視覚部分内の位置にある補助データが何であるかについて、補助データシステムに問い合わせることができる。例えば、ユーザは、時点ｔ_ｘ＋１にあるか、又は、所与の形状の視聴覚コンテンツ１、Ｔｒｕｅ Ｂｌｏｏｄ、シーズン２、エピソード２内から、座標ｘ、ｙにあるものを検索することができる。問合せの結果は、Ｍａｎｏｌｏ Ｂｌａｈｎｉｋ Ｈａｎｇｉｓｉ １０５ｍｍサテンパンプシューズである。システムに問い合わせるために、ユーザは、例えば、視聴覚コンテンツ１、Ｔｒｕｅ Ｂｌｏｏｄ、シーズン２、エピソード２の時点ｔ_ｘ＋１で、座標ｘ、ｙにおいてデバイスの画面に接触することができる。システムは、特定の位置における接触を検出し、補助データを検索し、特定の位置にある物体（複数可）を特定する情報を出力することができる。

[0031]上記の問合せの組合せは例示に過ぎない。概して、補助データとしての座標が、視聴覚コンテンツ及び補助データのより先進的な利用を可能にする多くの他の問合せの組合せが可能である。

[0032]また、図１Ａは、二次元の例（Ｔｒｕｅ Ｂｌｏｏｄは二次元のＴＶ番組である）を示しているが、ここで開示されている補助データシステムは二次元に限定されず、下記に説明するように、三次元コンテンツ（例えば、３Ｄビデオゲーム、３Ｄ映画、３Ｄ仮想現実等）の三次元座標（ｘ，ｙ，ｚ）を含むことができる。

[0033]補助データとしての座標を含めることによって、概して、視聴覚コンテンツ及び補助データのより先進的な利用のさらなる可能性が与えられる。補助データとしての座標は、例えば、単純に、コンテンツ１のビデオフレーム内の位置（例えば、ｘ＝０〜１９２０、ｙ＝０〜１０８０）又は所与の形状（アスペクト比が分かっている場合は３つの座標のうちの最小値）を表す座標ｘ、ｙ等の、単純な相対座標に対応することができる。しかしながら、補助データとしての座標は、例えば、コンテンツ１のビデオフレーム内の位置を表す座標ｘ、ｙ、及び、同時に、別の空間又は領域（例えば、仮想空間、ビデオゲーム内の空間、異なる視聴覚コンテンツ内の空間等）内の位置等の、代替的な空間又は領域に対応する座標に対応してもよい。補助データとしての座標はまた、例えば、コンテンツ１のビデオフレーム内の位置を表す座標ｘ、ｙ、及び、同時に、実世界空間（例えば、スタジアム、都市、国、惑星、宇宙等）内の位置等の、他の空間又は領域に相関付けることができる絶対座標にも対応してもよい。

[0034]さらに、代替的な空間又は領域に対応する座標は、絶対的である必要はなく、又は、コンテンツ１の視覚部分３上の位置に対応する座標に対して相対的である必要もない。代替的な空間又は領域に対応する上記座標は、単純に、コンテンツ１の視覚部分３上の位置に対応する座標に結びつけるか、又は、相関付けることができる。例えば、代替的な空間又は領域に対応する座標を、補助データとして同期データ９内の対応する瞬間に固定して、当該座標を、コンテンツ１の視覚部分３上の位置に対応する座標に結びつけるか、又は、相関付けることができる。上記追加の座標層は、追加の補助データ層になる。

[0035]図１Ｂは、補助データとしての座標の利用の一例を示す。図１Ｂは、コンテンツの視覚部分の座標を含む補助データを、第２の座標セットを表す補助データに同期させるための例示的な方法の概略図を示す。上述したように、補助データ７ｈは、補助データ７ｂ、すなわち、時点ｔ_ｘ＋１においてＴｒｕｅ Ｂｌｏｏｄのシーズン２、エピソード２中に着用されているＳｏｏｋｉｅ ＳｔａｃｋｈｏｕｓｅのＭａｎｏｌｏ Ｂｌａｈｎｉｋ Ｈａｎｇｉｓｉ １０５ｍｍサテンパンプシューズの、視覚部分３上の位置に対応する座標を含む。Ｔｒｕｅ Ｂｌｏｏｄの舞台がルイジアナ州の小さな町であることも分かっている。したがって、座標７ｈは、Ｔｒｕｅ Ｂｌｏｏｄ、シーズン２、エピソード２の時点ｔ_ｘ＋１におけるＳｏｏｋｉｅ Ｓｔａｃｋｈｏｕｓｅのシューズの位置だけでなく、実世界の場所であるルイジアナ州のどこかにも対応する。番組の同じ所与の期間について複数の場所が参照される可能性がある。上記場所とは、物語が展開される場所、実際に撮影された場所、及び、場合によっては、コンテンツ内で話題に上がった又は標識にある場所である。システムは、同様のメタデータのうちの１つのデータ片に限定されず、コンテンツに関係付けられる同様のメタデータの層に及ぶ。ビュー８は、ルイジアナ州の小さな町の空間若しくは位置、又は、ルイジアナ州の小さな町のＧｏｏｇｌｅ Ｅａｒｔｈの表現を表す。図１Ｂから分かるように、座標７ｈは、ルイジアナ州の小さな町の中の位置及び／又は当該位置のＧｏｏｇｌｅ Ｅａｒｔｈの表現に対応する。２つ以上の空間（Ｔｒｕｅ Ｂｌｏｏｄ、シーズン２、エピソード２の時点ｔ_ｘ＋１及び実世界のルイジアナ州の小さな町）が、ある意味で、座標によって互いに係留（anchoring、アンカリング）される。

[0036]単一の視聴覚コンテンツ片の視覚空間内の位置だけでなく、代替的な空間内の位置（又は複数の位置）をも表す座標の概念には、大きな意味がある。例えば、ユーザ又はモバイルデバイスは、番組、映画、ゲーム等のシーンが展開される実世界の座標について、補助データシステムに問い合わせることができる。データベース内の番組、映画、ゲーム等のシーン／フレームだけでなく、実世界の位置にも対応する座標は、結果として、実世界の位置を与え、例えば天気等のような、リアルタイムサービスを問い合わせることができる。別の例において、ユーザ又はモバイルデバイスは、番組、映画、ゲーム等のシーンが展開する他の視聴覚コンテンツ（又は視覚のみのコンテンツ）について、補助データシステムに問い合わせることができる。視聴されている番組、映画、ゲーム等のシーン／フレームだけでなく、他の番組、映画、ゲーム等のシーンにも対応する座標は、結果として、他の番組、映画、ゲーム等、及び、現れる時点を与えることができる。また別の例において、ユーザ又はモバイルデバイスは、特定の世界座標セットにおいて展開するシーンを有する番組、映画、ゲーム等について、補助データシステムに問い合わせることができる。世界の位置だけでなく、データベース内のそれぞれの番組、映画、ゲーム等にも対応する座標は、結果として、実世界の位置に対応する番組、映画、ゲーム等の中の特定のフレーム／シーンを与えることができる。同様の概念が、三次元空間にも適用される。

[0037]この機能は極めて有用であり、従来技術においては利用可能でない。座標によって相関付けられ得る空間の層は無限であり、視聴覚コンテンツは、実世界空間及び仮想世界空間（例えば、ビデオゲーム）、ＡＲ、ＭＲ等に相関付けることができる。

[0038]図１Ｃは、補助データとしての座標の三次元の例を示す。図１Ｃは、三次元コンテンツに関係して発生し得る三次元座標を含む補助データを同期させるための例示的な方法の概略図を示す。三次元コンテンツは、ステレオ３Ｄビデオ、３６０度ビデオ（平面視又は立体視）、仮想現実（ＶＲ）、拡張現実（ＡＲ）等を含んでもよい。三次元において、座標はｘ、ｙ、及びｚに対応し得る。

[0039]三次元コンテンツについて、座標ｚは、深さ座標に対応し得る。例示を目的として、視聴覚コンテンツ１（Ｔｒｕｅ Ｂｌｏｏｄのシーズン２、エピソード２）が三次元コンテンツであるとする。ビューレイヤ３ａ〜３ｉは、視聴覚コンテンツ１の時点ｔ_ｘ＋１におけるビューの深さｚを表す。上述したように、補助データ７ｈは、補助データ７ｂ、すなわち、時点ｔ_ｘ＋１においてＴｒｕｅ Ｂｌｏｏｄのシーズン２、エピソード２中に着用されているＳｏｏｋｉｅ ＳｔａｃｋｈｏｕｓｅのＭａｎｏｌｏ Ｂｌａｈｎｉｋ Ｈａｎｇｉｓｉ １０５ｍｍサテンパンプシューズの、視覚部分３上の位置を示す座標に対応する。三次元物体であるシューズは、複数の深さｚに現れ得る。しかしながら、シューズは、コンテンツ１の視覚部分３内で、深さｚ＝３ｃにおいて最もよく見える。

[0040]二次元コンテンツについて、座標ｚは、ズームレベルに対応し得る。例えば、高精細（ＨＤ、ＵＨＤ、４Ｋ以上）映画は、モバイルデバイスの画面のような小さい画面上の高精細表示に必要な情報よりもはるかに多くの情報を含む。補助データシステムは、上記追加のデータの可用性を利用して、解像度を犠牲にすることなく克明なズームを可能にし得る。Ｔｒｕｅ Ｂｌｏｏｄの例に戻ると、Ｔｒｕｅ Ｂｌｏｏｄ、シーズン２、エピソード２が小さいモバイルデバイスの画面上で全画面で視聴されているとき、Ｓｏｏｋｉｅ ＳｔａｃｋｈｏｕｓｅのＭａｎｏｌｏ Ｂｌａｈｎｉｋ Ｈａｎｇｉｓｉ １０５ｍｍサテンパンプシューズは感知できないか又はよく見えない場合がある。当該事例において、シューズの位置に対応する座標は、ｘ、ｙ及び加えてｚ、すなわち、シューズを明確に見ることができるズームレベルをも含むことができる。座標ｚはｚ＝３ｃに設定することができ、結果、シューズをより小さい画面内で明確に見ることができる。

[0041]二次元の例について上述したように、座標は、単一の視聴覚コンテンツ片の視覚空間内の位置だけでなく、代替的な空間内の位置（又は複数の位置）をも表すことができる。同じことが、三次元コンテンツにも当てはまる。例えば、ユーザ又はモバイルデバイスは、番組、映画、ゲーム等のシーン（すなわち、特定の時点）が展開される実世界の三次元座標について、補助データシステムに問い合わせることができる。データベース内の番組、映画、ゲーム等のシーン／フレームだけでなく、実世界の位置にも対応する座標は、結果として、実世界の三次元位置を与えることができる。別の例において、ユーザ又はモバイルデバイスは、特定の三次元世界（現実又は仮想）座標セットにおいて展開するシーンを有する視聴覚コンテンツについて、補助データシステムに問い合わせることができる。世界の位置だけでなく、データベース内のそれぞれの番組、映画、ゲーム等にも対応する座標は、結果として、実世界の位置に対応する番組、映画、ゲーム等の中の特定のフレーム／シーン（すなわち、特定の時点）を与えることができる。

[0042]図１Ｄは、二次元座標セットを表す補助データを、三次元座標セットを表す補助データに同期させるための例示的な方法の概略図を示す。図１Ｄは、二次元視覚部分３上の位置７ｈを、三次元位置に相関付けることができる例を示す。ビューレイヤ８ａ〜８ｉは、例えば、ルイジアナ州の小さな町の三次元空間若しくは位置、又は、ルイジアナ州の小さな町のＧｏｏｇｌｅ Ｅａｒｔｈの表現の深さ（ｚ方向）を表す。図１Ｄから分かるように、座標７ｈは、時点ｔ_ｘ＋１における二次元のＴｒｕｅ Ｂｌｏｏｄ、シーズン２、エピソード２における位置、並びに、三次元のルイジアナ州の小さな町の中の実世界の位置及び／又は当該場所のＧｏｏｇｌｅ Ｅａｒｔｈの三次元表現に対応する。２つの空間（Ｔｒｕｅ Ｂｌｏｏｄ、シーズン２、エピソード２の時点ｔ_ｘ＋１及び実世界のルイジアナ州の小さな町）が、ある意味で、座標によって互いに係留される。

[0043]ユーザ又はモバイルデバイスは、二次元の番組、映画、ゲーム等のシーンが展開される実世界の三次元座標について、又は、その逆について、補助データシステムに問い合わせることができる。データベース内の番組、映画、ゲーム等のシーン／フレームだけでなく、実世界の位置にも対応する座標は、結果として、実世界の三次元位置を与えることができる。別の例において、ユーザ又はモバイルデバイスは、特定の三次元世界（現実又は仮想）座標セットにおいて展開するシーンを有する視聴覚コンテンツについて、補助データシステムに問い合わせることができる。世界の位置だけでなく、データベース内のそれぞれの二次元の番組、映画、ゲーム等にも対応する座標は、結果として、実世界の位置に対応する番組、映画、ゲーム等の中の特定のフレーム／シーンを与えることができる。

[0044]原作者及びコレクションに関して、補助データとしての座標を含む補助データ７は、視聴覚コンテンツ１のプレイアウト、放送、配信又は実施の前に取得又は収集することができる。例えば、補助データ７は、視聴覚コンテンツ１の製作準備、製作、ポストプロダクション、品質管理、又はマスタリング中に取得又は収集することができる。補助データ７はまた、視聴覚コンテンツ１のプレイアウト、放送、配信又は実施中に取得又は収集することもできる。例えば、視聴覚コンテンツ１がＴＶ番組である場合、補助データ７は、ＴＶ番組の初回又は後続の放送中に取得又は収集することができる。

[0045]補助データとしての座標は、補助データの原作者及び／又はコレクションのための追加の機会を提供する。例えば、ユーザは、光学ヘッドマウントディスプレイを着用しながらコンテンツ１（例えば、Ｔｒｕｅ Ｂｌｏｏｄ、シーズン２、エピソード２）を視聴し得る。ディスプレイは、（見るために使用されているシステムに応じて）例えば、ディスプレイを通じてユーザが見ている方向、及び、見られているものの眼の位置を記録するために使用することができる独自の座標セットを有する。補助データとしての座標は、光学ヘッドマウントディスプレイ内の位置に対応する座標を、コンテンツ１の視覚部分３上の位置に対応する座標に結びつけるために使用することができる。光学ヘッドマウントディスプレイの座標を、補助データとして、同期データ９内の対応する瞬間に固定して、光学ヘッドマウントディスプレイ内の位置に対応する座標を、コンテンツ１の視覚部分３上の位置に対応する座標に結びつけるか、又は、相関付けることができる。

[0046]記憶及び配信に関して、収集される補助データ７は、視聴覚コンテンツ１の将来のユーザ又は閲覧者にとってアクセス可能にし得るデータベースに記憶することができる。このように、視聴覚コンテンツ１が後に上記ユーザ又は閲覧者に配信されるとき、補助データ７を、視聴覚コンテンツ１と同時に消費するために、当該ユーザ又は閲覧者にとって利用可能にし得る。補助データ７は、視聴覚コンテンツ１に時間整合されて現れるか又は自身を明示する。

[0047]図２は、補助データを、オーディオを含むコンテンツに同期させるための例示的なシステム１０のブロック図を示す。システム１０は、３つの主要な構成要素、すなわち、コンテンツ配信者２０と、消費者３０と、記憶場所４０とを含む。図２はまた、コンテンツ配信者２０、消費者３０、及び記憶場所４０が互いに通信する媒体Ｍも示す。

[0048]要素２０は、放送局又は放送施設若しくは機器に限定されない。実際には、コンテンツ配信者２０は、送信又は放送のためにプレイアウトの前及びプレイアウト中に視聴覚コンテンツ１に接触する、製作準備、製作、ポストプロダクション、品質管理、マスタリング機器、任意のタイプの放送（プロ又はソーシャルメディアの放送を含む）、又は、視聴覚コンテンツを送信及び配信する他の方法の一部であるか又はそこで使用される任意の施設又は機器を表すことができる。

[0049]同様に、説明を容易にするために、本開示は要素３０を消費者３０として参照するが、要素３０は、消費者又は消費者の施設若しくは機器に限定されない。実際には、消費者３０は、送信又は放送のためにプレイアウト中及びプレイアウト後に視聴覚コンテンツ１に接触する任意の施設又は機器を表すことができる。

[0050]また、媒体Ｍは、一般的に、例えば、インターネット、衛星通信、無線通信、テレビ通信（放送又はケーブル）等のようなコンテンツ１又はデータを送信するために使用される任意の媒体であってもよい。図面内で、媒体Ｍは、コンテンツ配信者２０、消費者３０、及び記憶場所４０によって共有されるものとして示されているが、当該要素間の通信は、同じ媒体内で行われる必要はない。したがって、例えば、コンテンツ配信者２０は、衛星を介して消費者３０と通信してもよく、一方、コンテンツ配信者２０は、インターネットを介して記憶場所４０と通信する。

[0051]図２の例において、コンテンツ配信者２０は、視聴覚コンテンツ１を消費者３０に送信し、補助データ７及び表現９を記憶のために記憶場所４０に送信する。消費者３０は、コンテンツ配信者２０から視聴覚コンテンツ１を受信し、記憶場所４０から補助データ７及び表現９を受信する。興味深いことに、消費者３０もまた、補助データ７及び／又は表現９を記憶場所４０に送信することができる。したがって、システム１０は、消費者３０による双方向通信を可能にし、消費者３０は、補助データ７の作成に関与することができ、補助データ７、システムの機能、及び、最終的には、顧客の体験が増強される。

[0052]図３は、コンテンツ配信者２０における詳細を含む例示的なシステム１０のブロック図を示す。コンテンツ配信者２０は、補助データをコンテンツに同期させるための機械又は機械群を含む。コンテンツは、オーディオを含み得る。図示の実施形態において、コンテンツ配信者２０は、補助データ７を表現９（例えば、図１の視聴覚コンテンツ１のオーディオ部分５の表現又は視覚部分３の表現）の瞬間に固定するプレシンクロナイザ２２を含む。

[0053]コンテンツ配信者２０は、媒体Ｍを介して視聴覚コンテンツ１を消費者３０に送信し、表現９及び表現９内の瞬間に固定されている補助データ７を記憶場所４０に通信するトランシーバ２４も含むことができる。上述したように、記憶場所４０は消費者３０によってアクセス可能である。視聴覚コンテンツ１の後続のプレイアウト、放送、配信、実施等を受けて、表現９がコンテンツのオーディオ５（又は表現９が視覚部分３に対応する場合はコンテンツのビデオ３）に整合（alignment、アライメント）されることによって、表現９内の瞬間に固定された補助データ７が視聴覚コンテンツ１に同期される。

[0054]コンテンツ配信者２０はまた、例えば、図１Ａのオーディオ波形シグネチャ等のコンテンツのオーディオ５の表現を作成するために、視聴覚コンテンツ１のオーディオ部分５を処理することができるオーディオプロセッサ２６をも含むことができる。代替的な実施形態において、コンテンツ配信者２０はまた、図１Ａのオーディオ波形シグネチャの代わりに又はそれに加えて、コンテンツのビデオ３の表現を作成するために、視聴覚コンテンツ１の視覚部分３を処理することができるビデオプロセッサをも含んでもよい。トランシーバ２４は、次いで、表現９（例えば、シグネチャ）及び表現９内の瞬間に固定されている補助データ７を記憶場所４０に通信することができる。

[0055]１つの実施形態において、プレシンクロナイザ２２は記憶場所４０へのリンクを作成する。リンクは、統一資源識別子（例えば、ＵＲＬ）又は同様の位置識別子若しくは位置指定子であってもよい。オーディオプロセッサ２６は、記憶場所４０へのリンクを視聴覚コンテンツ１のメタデータ、又は、特にコンテンツのオーディオ５又はコンテンツのビデオ３のメタデータに挿入することができる。オーディオ部分５は、限定ではないが、すべてメタデータを搬送することができるＤｏｌｂｙ ＡＣ−４、ＡＣ−３若しくはＥ−ＡＣ−３又はＭＰＥＧ−Ｈとして符号化することができる。消費者３０は、視聴覚コンテンツ１又はコンテンツのオーディオ５又はビデオ３のメタデータから記憶場所４０へのリンクを抽出することができる。記憶場所４０へのリンクがあることで、消費者３０は、次いで、記憶場所４０と通信して、記憶場所４０に記憶されている情報を取得するか、又は、情報を記憶することができる。

[0056]１つの実施形態において、オーディオプロセッサ２６は、コンテンツのオーディオ５を分析して、例えば、オーディオ部分５の音量又はダイナミックレンジスケーリングを含む、オーディオ部分５の統計を収集する。オーディオプロセッサ２６は、コンテンツのオーディオ５の統計を視聴覚コンテンツ１、コンテンツのオーディオ５、又はコンテンツのビデオ３のメタデータに挿入することができる。消費者３０は、メタデータからコンテンツのオーディオ５の統計を抽出することができる。

[0057]１つの実施形態において、トランシーバ２４は、表現９及び表現９内の瞬間に固定されている補助データ７に加えて、コンテンツのオーディオ５の統計を記憶場所４０に通信する。消費者３０は、記憶場所４０からコンテンツのオーディオ５の統計を取得することができる。

[0058]コンテンツのオーディオ５の統計があることで、消費者３０は、次いで、メタデータから抽出されるコンテンツのオーディオ５の統計に基づいて、消費者３０の施設において再生されるか又は当該施設から配信されるオーディオを調整することができる。

[0059]上述したように、プレシンクロナイザ２２は、視聴覚コンテンツ１の以前のプレイアウト又は実施中に補助データ７を収集することができる。例えば、視聴覚コンテンツ１は、元々は生放送されているバスケットボールの試合であってもよい。補助データ７は、最新の試合統計（例えば、得点、リバウンド、アシスト等）を含んでもよい。上記補助データ７及び上記補助データ７の対応するタイミングにアクセスすることで、プレシンクロナイザ２２は、統計が正確であるときに試合中の適切なタイミングに対応する表現９（例えば、波形シグネチャ）内の瞬間に補助データ７を固定することができる。トランシーバ２４は、次いで、上述したように消費者３０が情報にアクセスして使用することができるようにするために、補助データ７及び表現９を記憶場所４０に送信することができる。

[0060]コンテンツ配信者２０はまた、補助データ７を収集するためのオーサリングツール２８をも含むことができる。オーサリングツール２８は、例えば、統計学者が上述したバスケットボールの試合の統計を入力することを可能にし得る。概して、オーサリングツール２８は、補助データ７の入力を可能にし得る。オーサリングツール２８は、コンテンツ名又はコンテンツ識別データ、コンテンツ内で再生される台本に関するデータ、コンテンツ内の登場人物が着用する衣装に関するデータ、コンテンツの出演者、プロデューサ、又はディレクタからのコメントを含むデータ、コンテンツに関する情報を含むリソースに対する統一資源位置指定子（ＵＲＬ）、コンテンツのオーディオ内の音楽に関するデータ等、コンテンツを記述する補助データを入力するために使用することができる。オーサリングツール２８はまた、広告データ又はコンテンツに関する若しくは関係付けられる専門的若しくは技術的データ等の、商用データの形態の補助データ７を入力するために使用することもできる。

[0061]オーサリングツール２８はまた、視聴覚コンテンツ１の視覚部分３内に物体を配置するために使用することもできる。当該位置は、座標セットによって表されてもよく、表されなくてもよい。オーサリングツール２８は、当該座標セットを入力するために使用することができる。オーサリングツール２８はまた、視聴覚コンテンツ１の視覚部分３内の位置を表す第１の座標セットが第２の座標セットに相関するように、第２の座標セット（例えば、実世界の位置の座標、第２の視聴覚コンテンツの視覚部分内の位置を表す座標等）を追加の補助データとして視聴覚コンテンツ１の同期データ９内の瞬間に固定するために使用することもできる。

[0062]図４は、消費者３０における詳細を含む例示的なシステム１０のブロック図を示す。消費者３０は、補助データ７を、オーディオ５及びビデオ３を含むコンテンツ１に同期させるための機械又は機械群を含むことができる。

[0063]図示の実施形態において、消費者３０は、コンテンツ配信者２０から視聴覚コンテンツ１を受信し、記憶場所４０から表現９及び表現９内の瞬間に固定されている補助データ７を受信するトランシーバ３２を含む。

[0064]消費者３０はまた、表現９をコンテンツのオーディオ５又はビデオ３に整合させ、結果、上述したように補助データ７を視聴覚コンテンツ１に同期させるポストシンクロナイザ３４も含むことができる。ポストシンクロナイザ３４が表現９をコンテンツのオーディオ５又はコンテンツのビデオ３に整合させる特定の方法論は、本発明にとって重要ではない。当該整合を達成することができるメカニズムは、自動コンテンツ認識（ＡＣＲ）として知られるものの変形形態、特に、フィンガープリンティングとして知られるものの変形形態を含む。ＡＣＲは、メディアデバイスで再生されるか又はメディアファイルに存在するコンテンツを特定又は認識するために使用される技術である。音響フィンガープリンティングは、コンテンツ自体から固有のフィンガープリントを生成する。フィンガープリンティング技法は、コンテンツフォーマット、コーデック、ビットレート及び比較技法に関係なく機能する。上記技法によって、ネットワーク及びチャネルにわたって使用することが可能になる。視聴覚コンテンツ１の進行中のリアルタイムのフィンガープリントと表現９との継続的な比較を使用して、瞬間に固定されるため、補助データ７を、視聴覚コンテンツ１のタイムラインに同期することができる。当該フィンガープリンティング技法の一例は、参照によりその全体が本明細書に組み込まれる、２０１７年１０月１０日付けで発行された米国特許第９，７８６，２９８号に見出すことができる。

[0065]消費者３０はまた、トランシーバ３２からコンテンツのオーディオ５を受信するオーディオプロセッサ３６も含むことができる。１つの実施形態において、オーディオプロセッサ３６は、視聴覚コンテンツ１又はコンテンツのオーディオ５からメタデータを抽出することができ、メタデータから、オーディオプロセッサは、上述したように記憶場所４０へのリンクを抽出することができる。記憶場所４０へのリンクがあることで、トランシーバ３２は、次いで、記憶場所４０と通信して、記憶場所４０に記憶されている情報を取得するか、又は、情報を記憶することができる。

[0066]代替的に、又は加えて、記憶場所４０へのリンクは、加入ベースで消費者３０に配布することができ、又は、他の様態で消費者３０に提供することができる。上記のように、消費者３０によって受信されるものとしての視聴覚コンテンツ１がメタデータを含まない場合、又は、メタデータが記憶場所４０へのリンクを含まない場合に、消費者３０は依然として、記憶場所４０にアクセスすることができる。

[0067]１つの実施形態において、オーディオプロセッサ３６は、記憶場所４０へのリンクを抽出する代わりに又は抽出に加えて、上述したようにメタデータに記憶されているコンテンツのオーディオ５の統計（例えば、音量又はダイナミックレンジスケーリング）を抽出する。１つの実施形態において、トランシーバ３２は、表現９及び補助データ７に加えて、コンテンツのオーディオ５の統計を記憶場所４０から受信する。コンテンツのオーディオ５の統計があることで、オーディオプロセッサ３６は、次いで、記憶場所４０から取得されるコンテンツのオーディオ５の統計に基づいて、消費者３０の施設において再生されるか又は当該施設から配信されるオーディオを処理することができる。

[0068]１つの実施形態において、視聴覚コンテンツ１又はコンテンツのオーディオ５がメタデータを含むとき、オーディオプロセッサは、メタデータに記憶されているコンテンツのオーディオの統計（例えば、音量又はダイナミックレンジスケーリング）を使用して、消費者３０の施設において再生されるか又は当該施設から配信されるオーディオを処理する。他方、視聴覚コンテンツ１又はコンテンツのオーディオ５がメタデータを含まないとき、オーディオプロセッサ３６は、記憶場所４０に記憶されているコンテンツのオーディオ５の統計を使用して、消費者３０の施設において再生されるか又は当該施設から配信されるオーディオを処理する。

[0069]１つの実施形態において、オーディオプロセッサ３６は、コンテンツのオーディオ５を、記憶場所４０から取得される表現９と比較する。当該比較に基づいて、視聴覚コンテンツ１を特定することができる。すなわち、コンテンツのオーディオ５と表現９とがパラメータセット内で一致する場合、視聴覚コンテンツ１は、表現９に対応するものとして特定することができ、又は逆も可能である。同様に、コンテンツのオーディオ５と表現９とがパラメータセット内で一致しない場合、視聴覚コンテンツ１は、表現９に対応しないと考えることができ、又は逆も可能である。参照により本明細書に組み込まれる２０１５年４月２９日付けで提出された米国特許出願第１４／６９９，６５８号は、音量シグネチャを介してコンテンツを認証するためのシステム及び方法を開示している。当該出願において開示されているシステム及び方法を使用して、視聴覚コンテンツ１を特定することができる。‘６５８号出願において開示されているものとは異なる他のシステム及び方法を使用して、視聴覚コンテンツ１を特定することもできる。別の実施形態において、ビデオプロセッサが、コンテンツのビデオ３を、記憶場所４０から取得される表現９と比較する。当該比較に基づいて、視聴覚コンテンツ１を特定することができる。すなわち、コンテンツのビデオ３と表現９とがパラメータセット内で一致する場合、視聴覚コンテンツ１は、表現９に対応するものとして特定することができ、又は逆も可能である。同様に、コンテンツのビデオ３と表現９とがパラメータセット内で一致しない場合、視聴覚コンテンツ１は、表現９に対応しないと考えることができ、又は逆も可能である。

[0070]消費者３０はまた、補助データ７を視聴覚コンテンツ１の提示と同期的に提示（例えば、表示）する対話ツール３８も含むことができる。対話ツール３８は、表現９の、コンテンツのオーディオ５又はコンテンツのビデオ３に対する整合に依拠することによって、補助データ７を視聴覚コンテンツ１の提示と同期的に提示する。当該整合は、表現９内の瞬間に固定されている補助データ７を視聴覚コンテンツ１に同期させる。上述したバスケットボールの試合の例において、たとえ試合が最初にテレビで生中継された後何年もしてから試合が再生される場合であっても、対話ツール３８は、バスケットボールの試合の最新の統計を、試合の提示と同期的に表示することができる。対話ツール３０はまた、視覚部分に見える物体（例えば、バスケットボールジャージ）に関係付けて、対話的リンクを表示することもでき、対話的リンクをクリックすることによって、ユーザは、例えば、物体を購入するためのウェブサイト、又は、物体に関与する取引を容易にするブロックチェーンレベル情報等の、物体に関するより多くの情報へと誘導される。

[0071]記憶場所４０は補助データ７及び表現９を記憶するため、情報は、いつでもアクセスするために利用可能であり得る。例えば、消費者３０は、バスケットボールの試合（すなわち、視聴覚コンテンツ１）をデジタルビデオレコーダ（ＤＶＲ）に記録しておくことができ、又は、任意の他の方法で試合の記録を取得することができる。数日後に、消費者は試合を視聴することができる。トランシーバ３２は、ＤＶＲ（又は消費者３０がコンテンツを取得した任意の他の手段）から試合（すなわち、視聴覚コンテンツ１）を取得することができ、記憶場所４０から表現９及び補助データ７も取得することができる。たとえ試合が最初にテレビで生中継された後の日に試合が再生される場合であっても、対話ツール３０は、バスケットボールの試合の最新の統計又は対話的リンクを、試合の提示と同期的に表示することができる。

[0072]１つの実施形態において、対話ツール３８はまた、補助データ７を収集するために使用することもできる。例えば、視聴覚コンテンツ１のプレイアウト、放送、配信又は実施中に、消費者は、対話ツール３８を介して、視聴覚コンテンツ１又は視聴覚コンテンツ１の特定のシーン若しくは部分に関係するメモ又はコメント等の補助データ７を入力することができる。ポストシンクロナイザ３４は、次いで、対話ツール３８を介して入力されている補助データ７を、視聴覚コンテンツ１内の瞬間に対応する表現９の瞬間に固定することができ、補助データ７を記憶場所４０に記憶することができる。当該事例において、表現９は、ａ）記憶場所４０から取得される表現、又は、ｂ）オーディオプロセッサ３６によって消費者３０においてローカルに作成され、補助データ７とともに記憶場所４０に記憶される表現であり得る。

[0073]対話ツール３８はまた、視聴覚コンテンツ１の視覚部分３内に物体を配置するために使用することもできる。当該位置は、座標セットによって表されてもよく、表されなくてもよい。対話ツール３８は、当該座標セットを入力するために使用することができる。対話ツール３８はまた、視聴覚コンテンツ１の視覚部分３内の位置を表す第１の座標セットが第２の座標セットに相関するように、第２の座標セット（例えば、実世界の位置の座標、第２の視聴覚コンテンツの視覚部分内の位置を表す座標等）を追加の補助データとして視聴覚コンテンツ１の同期データ９内の瞬間に固定するために使用することもできる。

[0074]図５は、記憶場所４０における詳細を含む例示的なシステム１０のブロック図を示す。記憶場所４０は、補助データを、オーディオを含むコンテンツに同期させるための機械又は機械群を含むことができる。記憶場所４０は、表現９及び補助データ７を通信（すなわち、送信及び受信）するトランシーバ４２を含むことができる。記憶場所４０は、表現９及び表現９内の瞬間に固定されている補助データ７を記憶するデータベース４４も含むことができる。

[0075]１つの実施形態において、トランシーバ４２は、上述したような補助データ７として、又は、補助データ７に加えて、コンテンツのオーディオ５の統計（例えば、音量又はダイナミックレンジスケーリング）を通信し、データベース４４は、当該統計を記憶する。１つの実施形態において、上述したような視聴覚コンテンツ１の後続のプレイアウト、放送、配信又は実施中に、トランシーバ４２は、補助データ７を通信し続け、データベース４４は、当該補助データ７を記憶し続ける。

[0076]記憶場所４０は、加入、パスワード等によって制御することができる（例えば、上述したようなリンクを介した）一般的なアクセス可能性を有するクラウド又はローカルアーカイブ等の、コンテンツ配信者２０及び消費者３０にとってアクセス可能な場所であってもよい。

[0077]システム１０は、ソフトウェア、ハードウェア、アナログ又はデジタル技法を使用して実施されてもよい。

[0078]例示的な方法は、図６及び図７Ａ〜図７Ｂの流れ図を参照することによってより良好に諒解することができる。説明を簡潔にする目的のために、図示の方法は一連のブロックとして図示及び記載されているが、いくつかのブロックは図示及び記載されているものとは異なる順序において、又は他のブロックと同時に行われてもよいため、方法はブロックの順序によって限定されないことは諒解されたい。さらに、例示的な方法を実施するのに必要なブロックは、図示されているすべてのブロックよりも少なくてもよい。さらに、追加の方法、代替的な方法、又は両方が、図示されていない追加のブロックを利用してもよい。

[0079]流れ図において、ブロックは、ロジックによって実施することができる「処理ブロック」を示す。処理ブロックは、方法ステップ、又は、方法ステップを実施するための装置要素を表すことができる。流れ図は、いかなる特定のプログラミング言語、方法論、又はスタイル（例えば、手続き型、オブジェクト指向型）の構文も示さない。むしろ、流れ図は、当業者が図示の処理を実施するためのロジックを開発するために利用することができる機能的情報を示す。いくつかの例において、テンポラリ変数、ルーチンループ等のようなプログラム要素は図示されていないことが諒解されよう。電子及びソフトウェアアプリケーションが、動的で柔軟なプロセスを含むことができ、結果、図示のブロックは、図示されているものとは異なる他の順序において実施されてもよいこと、又は、ブロックは組み合わされてもよく、又は複数の構成要素に分離されてもよいことがさらに諒解されよう。プロセスは、機械語、手続き型技法、オブジェクト指向型技法又は人工知能技法等の様々なプログラミング手法を使用して実施されてもよいことが諒解されよう。

[0080]図６は、補助データを、オーディオを含むコンテンツに同期させるための例示的な方法６００の流れ図を示す。

[0081]方法６００は、６１０において、補助データ７を収集することを含む。収集は、上述したように、コンテンツのプレイアウト、放送、配信又は実施の前、間又は後に行われてもよい。補助データ７は、コンテンツに何らかの形で関係付けられるデータであり、コンテンツ名又はコンテンツ識別データ、コンテンツ内で再生される台本に関するデータ、コンテンツ内の登場人物が着用する衣装に関するデータ、コンテンツの出演者、プロデューサ、又はディレクタからのコメントを含むデータ、コンテンツに関する情報を含むリソースに対する統一資源位置指定子（ＵＲＬ）、コンテンツのオーディオ内の音楽に関するデータ等、コンテンツを記述するデータを含むことができる。補助データ７は、広告データ等の商用データを含んでもよい。補助データ７はまた、コンテンツの閲覧者からのコメント等のユーザデータ（例えば、ツイッターのメッセージ等）も含んでもよい。補助データ７はまた、例えば、コンテンツのオーディオの音量又はダイナミックレンジスケーリングを含む、コンテンツのオーディオの統計等の専門的又は技術的データも含んでもよい。補助データはまた、ａ）視聴覚コンテンツの視覚部分内の位置を表す座標セット、及び、ｂ）座標セットによって表される位置にある視聴覚コンテンツの視覚部分内に位置する物体を特定するデータも含むことができ、補助データは、同期データ内の瞬間に固定される。

[0082]６２０において、方法６００は、コンテンツのオーディオ部分５（又は視覚部分３）を分析して、表現９を作成することをさらに含む。表現９は、上述したように、コンテンツのオーディオのオーディオ波形シグネチャ又はコンテンツのビデオのシグネチャを作成することによって作成することができる。

[0083]コンテンツのオーディオの表現９（例えば、オーディオ波形シグネチャ）の作成は、オーディオ部分５の分析の一部として達成することができる。同じタイムライン上で、視聴覚コンテンツ１のオーディオ部分５を分析し、オーディオ統計を収集することができる。上記は、典型的な品質管理又はマスタリングセッション中に行うことができる。収集することができる統計は、コンテンツが配信仕様に一致することを保証するためのコンテンツ名若しくはＩＤ、オーディオ波形シグネチャ、音量及び／又はダイナミックレンジスケーリング、並びに、他のコンテンツ特有の非リアルタイム統計を含む。

[0084]６３０において、補助データ７は、視聴覚コンテンツ１内の瞬間に対応する表現９内の瞬間に固定される。補助データ７を表現９内の瞬間に固定するということは、補助データ７が視聴覚コンテンツ１に時間整合されることを意味する。当該固定は、補助データ７を特定のコンテンツ１の表現９に関連付け、表現９内の瞬間の時点によって補助データ７にタイムスタンプを付すこと、又は、他の時間整合方法によって達成することができる。

[0085]６４０において、表現９及び表現９内の瞬間に固定されている補助データ７を、記憶場所４０に記憶することができる。

[0086]６５０において、記憶場所４０へのリンクを作成することもできる。

[0087]６６０において、記憶場所４０へのリンク及びオーディオ統計データの一部又は全部を、符号化若しくはＰＣＭ＋ＭＤオーディオのオーディオメタデータ（すなわち、ＥＭＤＦ）及び／又はＰＣＭのみのオーディオのＬＦＥチャネルに挿入することができる。参照により本明細書に組み込まれる、２０１３年２月１９日付けで発行された米国特許第８，３８０，３３４号は、メタデータをオーディオ信号に挿入するために使用することができる補助データをオーディオ信号内で搬送するための方法及びシステムを開示している。‘３３４号特許において開示されているものとは異なる他のシステム及び方法を使用して、メタデータをオーディオ信号に挿入することもできる。

[0088]６７０において、視聴覚コンテンツ１が配信される。視聴覚コンテンツ１は、今日そうであるように、メタデータを有するか又は有しない、符号化又はベースバンドＰＣＭであるオーディオによって配信され得る。

[0089]図７Ａは、補助データを、オーディオを含むコンテンツに同期させるための例示的な方法７００の流れ図を示す。

[0090]７１０において、方法７００は、表現９及び表現９内の瞬間に固定されている補助データ７を受信することを含む。表現９と補助データ７との当該組合せは、以下の少なくとも２つの文脈、すなわち、１）送信のためのプレイアウト中、及び２）消費者の施設における視聴覚コンテンツ１の受信時に使用することができる。

[0091]送信のためのプレイアウト中、オーディオプロセッサは、メタデータを有するか又は有しない視聴覚コンテンツ１の符号化又はベースバンドＰＣＭを受け入れることができ、また、記憶場所４０が存在するクラウド又は他の場所に接続することもできる。当該文脈において、方法７００は、コンテンツのオーディオの統計を使用して、オーディオプロセッサによるコンテンツのオーディオの処理をバイパス又は調整することを含むことができる。

[0092]７２０において、ＥＭＤＦメタデータが存在する場合、又は、メタデータがＬＦＥチャネル内で検出され、コンテンツのオーディオの統計がメタデータに記憶される場合、７２５において、コンテンツのオーディオ５の統計（例えば、音量及び他のコンテンツ特有のデータ）を使用して、オーディオプロセッサをバイパス又は調整することができ、すでに正確であるコンテンツが、最小の修正で又は修正なしで合格して、元の品質及びコンプライアンスを維持することが可能になる。

[0093]７３０において、メタデータ若しくはＬＦＥデータが存在しない場合、又は、コンテンツのオーディオの統計がメタデータに記憶されていない場合、オーディオ部分５のリアルタイムオーディオシグネチャを、記憶場所４０から受信される表現９と比較して、視聴覚コンテンツ１を特定することができる。選択範囲内で一致する場合、視聴覚コンテンツ１が特定され、７３５において、記憶場所４０に記憶され得るコンテンツのオーディオ５の統計を使用して、オーディオプロセッサをバイパス又は調整することができ、すでに正確であるコンテンツが、最小の修正で又は修正なしで合格して、元の品質及びコンプライアンスを維持することが可能になる。

[0094]７４０において、ａ）特定のコンテンツ又はセグメントについて、メタデータが存在しないか、又は、コンテンツのオーディオ５の統計を含まず、ｂ）オーディオ部分５のリアルタイムオーディオシグネチャと表現９とが特定の時間量内で一致しない場合、リアルタイム音量及びダイナミックレンジ制御を実施して、オーディオ部分５が適合することを保証することができる。

[0095]視聴覚コンテンツ１の受信を受けて、方法７００は、補助データ７を視聴覚コンテンツ１に同期させることを含むことができる。７５０において、メタデータ（例えば、ＥＭＤＦ）が存在し、タイムスタンプを含む場合、７６０において、タイムスタンプに基づいて補助データ７を、視聴覚コンテンツ１に同期させることができる。メタデータが存在しないか、又は、タイムスタンプを含まない場合、７７０において、方法７００は、上述したように表現９をコンテンツのオーディオ５に整合させて、補助データ７を視聴覚コンテンツ１に同期させる。

[0096]ここで視聴覚コンテンツ１に同期されている、消費者アプリケーション又は対話ツール３８は、７８０において、表現９の、コンテンツのオーディオ５に対する整合に依拠して、補助データ７を視聴覚コンテンツ１の提示と同期的に表示することができる。

[0097]７９０において、方法７００は、さらに、他の消費者、番組プロデューサ、又は場合によってさらには広告主が見るか又はアクセスすることができる追加の補助データ７を通信することができる。当該データはまた、下流の専門又は消費者広告挿入メカニズムによって使用することもでき、存在する詳細に富むデータであって、場合によっては当該データへのリアルタイム更新又は追加によって増強され、データによって、以前の統計方法よりもはるかに精細な正確度で挿入の的を絞ることができる。方法７００は、視聴覚コンテンツ１の後続のプレイアウト、放送、配信又は実施中に、新たな補助データ７の受信及び記憶を継続することができる。新たな補助データ７は、後続のプレイアウト、放送、配信又は実施中に、視聴覚コンテンツ１内の瞬間に対応するコンテンツのオーディオ５の表現９内の瞬間に固定される。

[0098]図７Ｂは、メディア環境駆動式コンテンツ配信プラットフォームのための例示的な方法７００Ｂの流れ図を示す。７０５において、方法７００Ｂは、オーディオ部分及び視覚部分を含む視聴覚コンテンツを受信することを含む。オーディオ部分を視聴覚コンテンツの同期データに後に整合させることによって、視聴覚コンテンツの視覚部分内の位置を表す座標セットを特定する補助データが、視聴覚コンテンツに同期される。７１５において、方法７００Ｂは、視聴覚コンテンツの視覚部分内の位置の選択を検出する。選択が行われていた場合、７２５において、方法７００Ｂは、視聴覚コンテンツの視覚部分内の位置を表す座標セットを送信し、視聴覚コンテンツに同期されている座標セットによって表される位置にある視聴覚コンテンツの視覚部分内に位置する物体を特定する補助データを受信することを含むことができる。

[0099]方法７００Ｂは、オーディオ部分を視聴覚コンテンツの同期データに整合させて、視聴覚コンテンツの視覚部分内の位置を表す座標セット、及び、座標セットによって表される位置にある視聴覚コンテンツの視覚部分内に位置する物体を特定する補助データを視聴覚コンテンツに同期させることと、オーディオ部分の同期データへの整合に依拠して、座標セットによって表される位置にある視聴覚コンテンツの視覚部分内に位置する物体を、視聴覚コンテンツの提示と同期的に表示することとをさらに含むことができる。

[00100]方法７００Ｂは、視聴覚コンテンツのオーディオ部分から導出される同期データ内の瞬間に固定される第２の座標セットを、追加の補助データとして受信することをさらに含むことができる。第２の座標セットは、ａ）実世界の位置の座標、又はｂ）第２の視聴覚コンテンツの視覚部分内の位置を表す座標のうちの１つ又は複数に対応する。

[00101]図面は、順次行われる様々な動作を示しているが、図示されている様々な動作は、実質的に並行して行われてもよいことは諒解されたく、動作は並行して行われるように示されている場合があるが、当該動作は実質的に順次行われてもよいことは諒解されたい。いくつかのプロセスが図示されている方法に関係して説明されているが、より多数又はより少数のプロセスが利用されてもよいこと、並びに、軽量のプロセス、定期的なプロセス、スレッド、及び他の手法が利用されてもよいことは諒解されたい。場合によっては、他の例示的な方法がまた、実質的に並行して行われる動作を含んでもよいことは諒解されたい。図示されている例示的な方法及び他の実施形態は、リアルタイムで、ソフトウェア若しくはハードウェア若しくはハイブリッドソフトウェア／ハードウェア実施態様においてリアルタイムよりも高速で、又は、ソフトウェア若しくはハードウェア若しくはハイブリッドソフトウェア／ハードウェア実施態様においてリアルタイムよりも低速で動作することができる。

[00102]図８は、補助データを、オーディオを含むコンテンツに同期させるための例示的な機械８００のブロック図を示す。機械８００は、バス８０８によって動作可能に接続されている、プロセッサ８０２、メモリ８０４、及びＩ／Ｏポート８１０を含む。

[00103]一例において、機械８００は、例えば、Ｉ／Ｏポート８１０又はＩ／Ｏインターフェース８１８を介して、視聴覚コンテンツ１、視覚部分３、オーディオ部分５、補助データ７、表現９等を含む入力信号を受信することができる。機械８００はまた、コンテンツ配信者２０のプレシンクロナイザ２２、トランシーバ２４、オーディオプロセッサ２６、及びオーサリングツール２８も含むことができる。機械８００はまた、消費者３０のトランシーバ３２、ポストシンクロナイザ３４、オーディオプロセッサ３６、及び対話ツール３８も含むことができる。機械８００はまた、記憶場所４０のトランシーバ４２及びデータベース４４も含むことができる。したがって、コンテンツ配信者２０、消費者３０、又は記憶場所４０は、機械１７００内で、ハードウェア、ファームウェア、ソフトウェア、又は上記の組合せとして実施することができ、したがって、機械１７００及び機械の構成要素は、プレシンクロナイザ２２、トランシーバ２４、オーディオプロセッサ２６、オーサリングツール２８、トランシーバ３２、ポストシンクロナイザ３４、オーディオプロセッサ３６、対話ツール３８、トランシーバ４２及びデータベース４４によって実施されるような、記載の機能及び／又は本出願において特許請求される機能を実施するための手段を提供することができる。

[00104]プロセッサ８０２は、デュアルマイクロプロセッサ及び他のマルチプロセッサアーキテクチャを含む、多種多様なプロセッサであってもよい。メモリ８０４は、揮発性メモリ又は不揮発性メモリを含むことができる。不揮発性メモリは、限定ではないが、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等を含んでもよい。揮発性メモリは、例えば、ＲＡＭ、同期ＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、及びダイレクトＲＡＭバスＲＡＭ（ＤＲＲＡＭ）を含んでもよい。

[00105]ディスク８０６は、例えば、Ｉ／Ｏインターフェース（例えば、カード、デバイス）８１８及びＩ／Ｏポート８１０を介して機械８００に動作可能に接続することができる。ディスク８０６は、限定ではないが、磁気ディスクドライブ、ソリッドステートディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｚｉｐドライブ、フラッシュメモリカード、又はメモリスティックのようなデバイスを含んでもよい。さらに、ディスク８０６は、ＣＤ−ＲＯＭ、ＣＤ記録可能ドライブ（ＣＤ−Ｒドライブ）、ＣＤ書き換え可能ドライブ（ＣＤ−ＲＷドライブ）、又はデジタルビデオＲＯＭドライブ（ＤＶＤ ＲＯＭ）のような光学ドライブを含んでもよい。メモリ８０４は、例えば、プロセス８１４又はデータ８１６を記憶することができる。ディスク８０６又はメモリ８０４は、機械８００のリソースを制御及び配分するオペレーティングシステムを記憶することができる。

[00106]バス８０８は、単一の内部バス相互接続アーキテクチャ又は他のバス若しくはメッシュアーキテクチャであってもよい。単一のバスが示されているが、機械８００は、図示されていない他のバス（例えば、ＰＣＩＥ、ＳＡＴＡ、インフィニバンド、１３９４、ＵＳＢ、イーサネット［登録商標］）を使用して、様々なデバイス、ロジック、及び周辺機器と通信できることは諒解されたい。バス８０８は、限定ではないが、メモリバス若しくはメモリコントローラ、周辺バス若しくは外部バス、クロスバースイッチ、又はローカルバスを含む様々なタイプのものであってもよい。ローカルバスは、限定ではないが、業界標準アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、周辺構成要素相互接続（ＰＣＩ）バス、ユニバーサルシリアル（ＵＳＢ）バス、及び小型コンピュータシステムインターフェース（ＳＣＳＩ）バスを含む、様々なものであってもよい。

[00107]機械８００は、Ｉ／Ｏインターフェース８１８及びＩ／Ｏポート８１０を介して入出力デバイスと対話することができる。入出力デバイスは、限定ではないが、キーボード、マイクロフォン、ポインティング及び選択デバイス、カメラ、ビデオカード、ディスプレイ、ディスク８０６、ネットワークデバイス８２０等を含んでもよい。Ｉ／Ｏポート８１０は、限定ではないが、シリアルポート、パラレルポート、及びＵＳＢポートを含んでもよい。

[00108]機械８００は、ネットワーク環境内で動作することができ、したがって、Ｉ／Ｏインターフェース８１８又はＩ／Ｏポート８１０を介してネットワークデバイス８２０に接続することができる。ネットワークデバイス８２０を通じて、機械８００はネットワークと対話することができる。ネットワークを通じて、機械８００は、遠隔コンピュータに論理的に接続することができる。機械８００が対話することができるネットワークは、限定ではないが、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、及び他のネットワークを含む。ネットワークデバイス８２０は、限定ではないが、光ファイバ分散データインターフェース（ＦＤＤＩ）、銅線分散データインターフェース（ＣＤＤＩ）、イーサネット（ＩＥＥＥ８０２．３）、トークンリング（ＩＥＥＥ８０２．５）、無線コンピュータ通信（ＩＥＥＥ８０２．１１）、Ｂｌｕｅｔｏｏｔｈ［登録商標］（ＩＥＥＥ８０２．１５．１）、Ｚｉｇｂｅｅ［登録商標］（ＩＥＥＥ８０２．１５．４）等を含むＬＡＮ技術に接続することができる。同様に、ネットワークデバイス８２０は、限定ではないが、ポイントツーポイントリンク、統合サービスデジタル通信網（ＩＳＤＮ）等の回線交換網、パケット交換網、及びデジタル加入者回線（ＤＳＬ）を含むＷＡＮ技術に接続することができる。個々のネットワークタイプが記載されているが、ネットワークを介した、ネットワークにわたる、又はネットワークを通じた通信は、複数の通信の組合せ及び混合を含んでもよいことは諒解されたい。

定義

[00109]以下は、本明細書において利用されている選択用語の定義を含む。定義は、用語の範囲内に入り、実施態様のために使用することができる構成要素の様々な例又は形態を含む。例は、限定であるようには意図されていない。用語の単数形と複数形の両方が、定義内にあり得る。

[00110]「コンテンツ」は、静止画像、オーディオメディア、ビデオメディア、又は視聴覚（ＡＶ）メディアのセグメントに対応し、少なくとも１つの媒体によって具現化、記憶、送信、受信、処理、又は他の様態で使用される情報を含む。一般的なメディアコンテンツフォーマットは、ＦＬＶフォーマット（フラッシュビデオ）、Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｖｉｄｅｏ、ＲｅａｌＭｅｄｉａ、ＭＦＸ、Ｑｕｉｃｋｔｉｍｅ、ＭＰＥＧ、ＭＰ３、ＤｉｖＸ、ＪＰＥＧｓ、及びＢｉｔｍａｐｓを含む。本明細書において使用される場合、「メディアクリップ」、「メディアコンテンツ」、「情報コンテンツ」、及び「コンテンツ」という用語は、交換可能に使用することができる。

[00111]「データストア」又は「データベース」は、本明細書において使用される場合、データを記憶することができる物理又は論理エンティティを参照する。データストアは、例えば、データベース、テーブル、ファイル、リスト、キュー、ヒープ、メモリ、レジスタ等であってもよい。データストアは、１つの論理又は物理エンティティ内に存在してもよく、２つ以上の論理又は物理エンティティの間で分散されてもよい。

[00112]「ロジック」は、本明細書において使用される場合、限定ではないが、機能（複数可）若しくは動作（複数可）を実施するか、又は、別のロジック、方法、若しくはシステムからの機能若しくは動作を引き起こすためのハードウェア、ファームウェア、ソフトウェア、又は各々の組合せを含む。例えば、所望の用途又は需要に基づいて、ロジックは、ソフトウェア制御式マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）等の個別論理、プログラムされた論理デバイス、命令を含むメモリデバイス等を含んでもよい。ロジックは、１つ又は複数のゲート、ゲートの組合せ、又は他の回路構成要素を含んでもよい。ロジックはまた、全体がソフトウェアとして具現化されてもよい。複数の論理ロジックが記載されている場合、複数の論理ロジックを１つの物理ロジックに組み込むことが可能であり得る。同様に、単一の論理ロジックが記載されている場合、単一の論理ロジックを複数の物理ロジックの間で分散させることが可能であり得る。

[00113]「動作可能な接続」又はエンティティが「動作可能に接続」される接続は、信号、物理的通信、又は論理的通信が送信又は受信され得る接続である。典型的には、動作可能な接続は、物理的インターフェース、電気的インターフェース、又はデータインターフェースを含むが、動作可能な制御を可能にするのに十分な、上記タイプ又は他のタイプの接続の異なる組合せを含んでもよいことに留意されたい。例えば、２つのエンティティは、直接的に、又は、プロセッサ、オペレーティングシステム、ロジック、ソフトウェア、若しくは他のエンティティ等の１つ若しくは複数の中間エンティティを通じて互いに信号を通信することが可能であることによって、動作可能に接続することができる。論理又は物理通信チャネルを使用して、動作可能な接続を作成することができる。

[00114]放送において、「プレイアウト」は、放送局からコンテンツを視聴者に配信する放送ネットワークへの無線又はＴＶチャネルの送信のための用語である。

[00115]「信号」は、本明細書において使用される場合、限定ではないが、１つ若しくは複数の電気若しくは光信号、アナログ若しくはデジタル信号、データ、１つ若しくは複数のコンピュータ若しくはプロセッサ命令、メッセージ、ビット若しくはビットストリーム、又は、受信、送信、若しくは検出することができる他の手段を含む。

[00116]「ソフトウェア」は、本明細書において使用される場合、限定ではないが、読み出し、解釈、コンパイル、又は実行することができ、コンピュータ、プロセッサ、又は他の電子デバイスに、所望の様式で機能、動作を実施させ、又は挙動させる、１つ又は複数のコンピュータ又はプロセッサ命令を含む。命令は、動的に又は静的にリンクされているライブラリからの別個のアプリケーション又はコードを含む、ルーチン、アルゴリズム、モジュール、メソッド、スレッド、又はプログラム等の様々な形態で具現化することができる。ソフトウェアはまた、限定ではないが、独立型プログラム、関数呼び出し（ローカル又はリモート）、サーブレット、アプレット、メモリに記憶される命令、オペレーティングシステムの一部、又は、他のタイプの実行可能命令を含む、様々な実行可能又はロード可能形態で実施することもできる。ソフトウェアの形態は、例えば、所望のアプリケーションの要件、ソフトウェアが作動する環境、又は、設計者／プログラマの要望等に依存し得ることが、当業者には諒解されよう。コンピュータ可読又は実行可能命令は、１つのロジックに配置されてもよく、又は、２つ以上の通信している、協働している、又は並列に処理しているロジックの間で分散されてもよく、したがって、順次、並列、超並列及び他の様式でロード又は実行することができることも諒解されよう。

[00117]本明細書に記載されている例示的なシステム及び方法の様々な構成要素を実施するのに適したソフトウェアは、Ｊａｖａ（登録商標）、Ｐａｓｃａｌ、Ｃ＃、Ｃ＋＋、Ｃ、ＣＧＩ、Ｐｅｒｌ、ＳＱＬ、ＡＰＩ、ＳＤＫ、アセンブリ、ファームウェア、マイクロコード、又は他の言語及びツール等のプログラミング言語及びツールを使用して生成することができる。ソフトウェアは、システム全体であるか又はシステムの構成要素であるかにかかわらず、製造品として具現化することができ、上記で定義したようなコンピュータ可読媒体の一部として維持又は提供することができる。別の形態のソフトウェアは、ソフトウェアのプログラムコードを、ネットワーク又は他の通信媒体を介して受信者に送信する信号を含んでもよい。したがって、一例において、コンピュータ可読媒体は、ウェブサーバからユーザにダウンロードされるときに、ソフトウェア／ファームウェアを表す信号の形態を有する。別の例において、コンピュータ可読媒体は、ウェブサーバ上に維持されるときに、ソフトウェア／ファームウェアの形態を有する。他の形態も使用されてもよい。

[00118]「ユーザ」又は「消費者」は、本明細書において使用される場合、限定ではないが、１又は複数の人、ソフトウェア、コンピュータ若しくは他のデバイス、又は上記の組合せを含む。

[00119]以下の詳細な説明のいくつかの部分は、メモリ内でのデータビットに対する操作のアルゴリズム及び記号的表現に関連して提示されている。当該アルゴリズム記述及び表現は、当業者によって、他の当業者に自身の研究の要旨を伝達するために使用される手段である。アルゴリズムはここでは、また一般的には、結果をもたらす動作シーケンスであると想像される。動作は、物理量の物理的操作を含むことができる。通常、必須ではないが、物理量は、記憶、転送、結合、比較、及びロジック等において他の様態で操作されることが可能な電気信号又は磁気信号の形態をとる。

[00120]時に、主に一般的な使用状況の理由から、上記信号を、ビット、値、要素、記号、文字、用語、数等として参照することが好都合であることがあることが分かっている。しかしながら、上記及び同様の用語は、適切な物理量と関連付けられるべきであり、上記量に適用される好都合なラベルに過ぎないことが留意されるべきである。特に別途記載しない限り、本明細書全体を通じて、処理、計算、算出、決定、表示等のような用語は、物理（電子）量として表されるデータを操作及び変換するコンピュータシステム、ロジック、プロセッサ、又は同様の電子デバイスの動作及びプロセスを指すことが諒解される。

[00121]説明を容易にするために、本開示は、例えば、埋め込み先のオーディオ信号に関する情報及び制御データを搬送するために使用される拡張可能メタデータフォーマット（ＥＭＤＦ）等の、ＥＴＳＩ ＴＳ １０２ ３６６（付録Ｈ）に記載されている述語体系の文脈において例を説明している。しかしながら、本開示の原理は、当該文脈に限定されず、ＡＴＳＣ Ａ５２：２０１２及びＡ／８５：２０１３又はさらにはＳＭＰＴＥ ３３７Ｍ規格に記載されているようなメタデータを含む、ＥＴＳＩ ＴＳ １０３ １９０（節４．３．１５）又はベースバンドＰＣＭオーディオシステムを含む任意の圧縮オーディオとともに含まれる任意の当該埋め込みメタデータ方式を含む、様々な他の文脈において実践されてもよい。

[00122]詳細な説明又は特許請求の範囲において「含む」又は「含んでいる」という用語が利用される範囲において、当該用語は、特許請求の範囲において移行語として利用される場合に「備える」という用語が解釈されるときの当該用語と同様に、包含的であるように意図される。さらに、「又は」という用語は、詳細な説明又は特許請求の範囲内で利用される範囲において（例えば、Ａ又はＢ）、「Ａ又はＢ又は両方」を意味するように意図されている。本出願人が「Ａ又はＢのみ、ただし両方ではない」ことを示すことを意図するとき、「Ａ又はＢのみ、ただし両方ではない」という用語が利用されることになる。したがって、本明細書における「又は」という用語の使用は包含的であり、排他的使用ではない。Ｂｒｙａｎ Ａ． Ｇａｒｎｅｒ、Ａ Ｄｉｃｔｉｏｎａｒｙ ｏｆ Ｍｏｄｅｒｎ Ｌｅｇａｌ Ｕｓａｇｅ ６２４（２ｄ． Ｅｄ． １９９５）を参照されたい。

[00123]例示的なシステム、方法等は、例を説明することによって示されており、例は、相当に詳細に説明されているが、本出願人は、範囲を当該詳細に制約するか又は任意の方法で限定することは意図していない。無論、本明細書に記載されているシステム、方法等を説明することを目的として構成要素又は方法のすべての考えられる組合せを記載することは不可能である。追加の利点及び変更が当業者には容易に明らかになる。したがって、本発明は、図示及び説明されている特定の詳細、代表的な装置、及び例示的な実施例には限定されない。したがって、本出願は、添付の特許請求の範囲内に入る、代替形態、変更形態及び変形形態を包含することが意図される。さらに、先行する記述は、本発明の範囲を限定するようには意図されていない。むしろ、本発明の範囲は添付の特許請求の範囲及びそれらの均等物によって決定されるものとする。

Claims (35)

1. メディア環境駆動式コンテンツ配信プラットフォームのための機械又は機械群であって、
   視聴覚コンテンツのオーディオ部分又は視覚部分から導出される同期データ、及び、前記視聴覚コンテンツの前記視覚部分内の位置を表す座標セットを特定する補助データを取得するように構成されているプレシンクロナイザであり、前記補助データが、前記同期データ内の瞬間に固定されている、プレシンクロナイザと、
   前記同期データの前記視聴覚コンテンツへの後続の整合が、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを同期させるように、前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを通信するように構成されているトランシーバと
   を備える、機械又は機械群。
2. 前記プレシンクロナイザが、前記同期データ内の前記瞬間に固定されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを取得するように構成されており、
   前記トランシーバが、前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを通信するように構成されており、結果、前記同期データの前記視聴覚コンテンツへの後続の整合が、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを、前記視聴覚コンテンツ内の前記瞬間に固定されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体に同期させる、請求項１に記載の機械又は機械群。
3. 前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から前記同期データを導出するように構成されているプロセッサを備え、
   前記プレシンクロナイザが、前記座標セット及び前記物体を特定する前記補助データを前記同期データ内の前記瞬間に固定するように構成されており、
   前記トランシーバが、前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを、前記視聴覚コンテンツの消費者によってアクセス可能なデータベースに通信するように構成されている、請求項２に記載の機械又は機械群。
4. 前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から前記同期データを導出するように構成されているプロセッサを備え、
   前記プレシンクロナイザが、前記座標セット及び前記物体を特定する前記補助データを前記同期データ内の瞬間に固定するように構成されており、
   前記トランシーバが、前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを記憶場所に記憶するように構成されている、請求項２に記載の機械又は機械群。
5. 前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に前記物体を配置するように構成されているオーサリングツールを備える、請求項２に記載の機械又は機械群。
6. 前記トランシーバが、前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを記憶場所に記憶するように構成されており、
   前記プレシンクロナイザが、前記記憶場所へのリンクを作成するように構成されており、
   プロセッサが、前記記憶場所への前記リンクを前記視聴覚コンテンツのメタデータに挿入するように構成されている、請求項１に記載の機械又は機械群。
7. 前記プレシンクロナイザが、前記視聴覚コンテンツの以前のプレイアウト又は実施中に前記補助データを収集し、前記補助データを、前記視聴覚コンテンツ内の瞬間に対応する前記同期データ内の瞬間に固定するように構成されている、請求項１に記載の機械又は機械群。
8. 第２の座標セットを追加の補助データとして前記同期データ内の前記瞬間に固定するように構成されているオーサリングツールを備え、結果、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットが前記第２の座標セットに相関し、前記第２の座標セットが、
   実世界の位置の座標、
   第２の視聴覚コンテンツの視覚部分内の位置を表す座標
   のうちの１つ又は複数に対応する、請求項１に記載の機械又は機械群。
9. メディア環境駆動式コンテンツ配信プラットフォームのための機械又は機械群であって、
   少なくともオーディオ部分及び視覚部分を含む視聴覚コンテンツを受信するように構成されているトランシーバであり、結果、前記オーディオ部分又は前記視覚部分の前記視聴覚コンテンツの同期データへの後続の整合が、前記視聴覚コンテンツの前記視覚部分内の位置を表す座標セットを特定する補助データを同期させる、トランシーバと、
   前記視聴覚コンテンツの前記視覚部分内の前記位置の選択を検出し、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを送信するように構成されている対話ツールと
   を備える、機械又は機械群。
10. 前記トランシーバが、前記視聴覚コンテンツに同期されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを受信するようにさらに構成されている、請求項９に記載の機械又は機械群。
11. 前記オーディオ部分又は前記視覚部分を前記視聴覚コンテンツの前記同期データに整合させて、前記視聴覚コンテンツの視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを前記視聴覚コンテンツに同期させるように構成されているポストシンクロナイザを備える、請求項１０に記載の機械又は機械群。
12. 前記オーディオ部分又は前記視覚部分を前記視聴覚コンテンツの前記同期データに整合させて、前記視聴覚コンテンツの視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを前記視聴覚コンテンツに同期させるように構成されているポストシンクロナイザを備え、
    前記対話ツールが、前記オーディオ部分又は前記視覚部分の前記同期データへの前記整合に依拠して、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を、前記視聴覚コンテンツの提示と同期的に表示するように構成されている、請求項１０に記載の機械又は機械群。
13. 前記トランシーバが、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記同期データ内の瞬間に固定されている追加の補助データとしての第２の座標セットを受信するように構成されており、前記第２の座標セットが、
    実世界の位置の座標、及び
    第２の視聴覚コンテンツの視覚部分内の位置を表す座標
    のうちの１つ又は複数に対応する、請求項９に記載の機械又は機械群。
14. メディア環境駆動式コンテンツ配信プラットフォームのための機械又は機械群であって、
    視聴覚コンテンツのオーディオ又はビデオの表現、及び、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の瞬間に固定されている前記視聴覚コンテンツの視覚部分内の位置を表す座標セットを特定する補助データを記憶するように構成されているデータベースであり、結果、前記視聴覚コンテンツのオーディオ又はビデオの前記表現の、前記視聴覚コンテンツのオーディオ部分又は視覚部分への後続の整合が、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記補助データを前記視聴覚コンテンツに同期させる、データベースと、
    前記視聴覚コンテンツのオーディオ又はビデオの前記表現、及び、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記補助データを通信するように構成されているトランシーバと
    を備える、機械又は機械群。
15. 前記データベースが、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを記憶するように構成されており、結果、前記視聴覚コンテンツのオーディオ又はビデオの前記表現の、前記視聴覚コンテンツのオーディオ部分又は視覚部分への後続の整合が、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを特定する前記補助データ、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを同期させる、請求項１４に記載の機械又は機械群。
16. 前記トランシーバが、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを受信し、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットの受信に応答して、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを送信するように構成されているか、又は
    前記トランシーバが、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定するデータを受信し、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記データの受信に応答して、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを特定する前記補助データを送信するように構成されている、請求項１５に記載の機械又は機械群。
17. 前記トランシーバが、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記視聴覚コンテンツの前記オーディオ部分又は視覚部分から導出される前記同期データ内の瞬間に固定されている追加の補助データとしての第２の座標セットを通信するように構成されており、前記第２の座標セットが、
    実世界の位置の座標、及び
    第２の視聴覚コンテンツの視覚部分内の位置を表す座標
    のうちの１つ又は複数に対応する、請求項１４に記載の機械又は機械群。
18. メディア環境駆動式コンテンツ配信プラットフォームのための方法であって、
    視聴覚コンテンツのオーディオ部分又は視覚部分から導出される同期データ、及び、前記視聴覚コンテンツの視覚部分内の位置を表す座標セットを特定する補助データを取得するステップであり、前記補助データが、前記同期データ内の瞬間に固定されている、取得するステップと、
    前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを通信するステップであり、結果、前記同期データの前記視聴覚コンテンツへの後続の整合が、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを同期させる、通信するステップと
    を含む、方法。
19. 前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを取得するステップを含み、前記補助データが、前記同期データ内の前記瞬間に固定されている前記物体を特定し、結果、前記同期データの、前記視聴覚コンテンツへの後続の整合が、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を、前記視聴覚コンテンツに同期させる、請求項１８に記載の方法。
20. 前記座標セット及び前記物体を特定する前記補助データを前記オーディオ部分又は前記視覚部分から導出される前記同期データ内の瞬間に固定するステップと、
    前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データをデータベースに記憶するステップと
    を含む、請求項１９に記載の方法。
21. 少なくとも前記オーディオ部分及び前記視覚部分を含む前記視聴覚コンテンツを取得するステップと、
    前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から前記同期データを導出するステップと、
    前記座標セット及び前記物体を特定する前記補助データを前記オーディオ部分又は前記視覚部分から導出される前記同期データ内の瞬間に固定するステップと
    を含む、請求項１９に記載の方法。
22. 前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に前記物体を配置するステップを含む、請求項１９に記載の方法。
23. 前記視聴覚コンテンツのプレイアウト又は実施中に、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを収集するステップを含み、前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データが、前記プレイアウト又は実施中に前記視聴覚コンテンツから導出され、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データが、前記プレイアウト又は実施中の前記視聴覚コンテンツ内の瞬間に対応する、前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データ内の前記瞬間に固定される、請求項１９に記載の方法。
24. 前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データを作成し、前記補助データを、前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データ内の前記瞬間に固定するステップと、
    前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データ、及び、前記同期データ内の前記瞬間に固定されている前記補助データを記憶場所に記憶するステップと
    を含む、請求項１８に記載の方法。
25. 前記視聴覚コンテンツの前記オーディオ部分又は前記視覚部分から導出される前記同期データ内の前記瞬間に固定されている第２の座標セットを特定する補助データを取得するステップを含み、結果、前記第２の座標セットが、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットに相関し、前記第２の座標セットが、
    実世界の位置の座標、又は
    第２の視聴覚コンテンツの視覚部分内の位置を表す座標
    のうちの１つ又は複数に対応する、請求項１８に記載の方法。
26. メディア環境駆動式コンテンツ配信プラットフォームのための方法であって、
    オーディオ部分及び視覚部分を含む視聴覚コンテンツを受信するステップであり、結果、前記オーディオ部分又は前記視覚部分の前記視聴覚コンテンツの同期データへの後続の整合が、前記視聴覚コンテンツの前記視覚部分内の位置を表す座標セットを特定する補助データを前記視聴覚コンテンツに同期させる、受信するステップと、
    前記視聴覚コンテンツの前記視覚部分内の前記位置の選択を検出し、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを送信するステップと
    を含む、方法。
27. 前記視聴覚コンテンツに同期されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを受信するステップを含む、請求項２６に記載の方法。
28. 前記オーディオ部分又は前記視覚部分を前記視聴覚コンテンツの前記同期データに整合させて、前記視聴覚コンテンツの視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを前記視聴覚コンテンツに同期させるステップを含む、請求項２７に記載の方法。
29. 前記オーディオ部分又は前記視覚部分を前記視聴覚コンテンツの前記同期データに整合させて、前記視聴覚コンテンツの視覚部分内の前記位置を表す前記座標セット、及び、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを前記視聴覚コンテンツに同期させるステップと、
    前記オーディオ部分又は前記視覚部分の前記同期データへの前記整合に依拠して、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を、前記視聴覚コンテンツの提示と同期的に表示するステップと
    を含む、請求項２７に記載の方法。
30. 前記同期データ内の瞬間に固定されている追加の補助データとしての第２の座標セットを受信するステップを含み、前記第２の座標セットが、
    実世界の位置の座標、及び
    第２の視聴覚コンテンツの視覚部分内の位置を表す座標
    のうちの１つ又は複数に対応する、請求項２６に記載の方法。
31. メディア環境駆動式コンテンツ配信プラットフォームのための方法であって、
    視聴覚コンテンツのオーディオ又はビデオの表現、及び、前記視聴覚コンテンツのオーディオの前記表現内の瞬間に固定されている前記視聴覚コンテンツの視覚部分内の位置を表す座標セットを特定する補助データを記憶するステップであり、結果、前記視聴覚コンテンツのオーディオ又はビデオの前記表現の、前記視聴覚コンテンツのオーディオ部分又は視覚部分への後続の整合が、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記補助データを前記視聴覚コンテンツに同期させる、記憶するステップと、
    前記視聴覚コンテンツのオーディオ又はビデオの前記表現、及び、前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記補助データを送信するステップと
    を含む、方法。
32. 前記視聴覚コンテンツのオーディオ又はビデオの前記表現内の前記瞬間に固定されている前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する物体を特定する補助データを記憶するステップを含む、請求項３１に記載の方法。
33. 前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを受信するステップと、
    前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットの受信に応答して、前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記補助データを送信するステップと
    を含む、請求項３２に記載の方法。
34. 前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定するデータを受信するステップと、
    前記座標セットによって表される前記位置にある前記視聴覚コンテンツの前記視覚部分内に位置する前記物体を特定する前記データの受信に応答して、前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セットを特定する前記補助データを送信するステップと
    を含む、請求項３２に記載の方法。
35. 前記同期データ内の瞬間に固定されている前記視聴覚コンテンツの前記視覚部分内の前記位置を表す前記座標セット、及び、前記同期データ内の前記瞬間に固定されている追加の補助データとしての第２の座標セットを通信するステップを含み、前記第２の座標セットが、
    実世界の位置の座標、及び
    第２の視聴覚コンテンツの視覚部分内の位置を表す座標
    のうちの１つ又は複数に対応する、請求項３１に記載の方法。

Images