JP2022095945A - オーディオを含むコンテンツに対する補助データの同期化 - Google Patents

オーディオを含むコンテンツに対する補助データの同期化 Download PDF

Info

Publication number
JP2022095945A
JP2022095945A JP2022069192A JP2022069192A JP2022095945A JP 2022095945 A JP2022095945 A JP 2022095945A JP 2022069192 A JP2022069192 A JP 2022069192A JP 2022069192 A JP2022069192 A JP 2022069192A JP 2022095945 A JP2022095945 A JP 2022095945A
Authority
JP
Japan
Prior art keywords
content
audio
representation
auxiliary data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022069192A
Other languages
English (en)
Other versions
JP7442211B2 (ja
Inventor
ティモシー キャロル
Carroll Timothy
サード ヘンリー フレコン
Frecon Henry III
パトリック グリーン
Greene Patrick
マイケル フィリップス
Phillips Michael
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Source Digital Inc
Original Assignee
Source Digital Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Source Digital Inc filed Critical Source Digital Inc
Publication of JP2022095945A publication Critical patent/JP2022095945A/ja
Application granted granted Critical
Publication of JP7442211B2 publication Critical patent/JP7442211B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G7/00—Volume compression or expansion in amplifiers
    • H03G7/002—Volume compression or expansion in amplifiers in untuned or low-frequency amplifiers, e.g. audio amplifiers
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G7/00—Volume compression or expansion in amplifiers
    • H03G7/007—Volume compression or expansion in amplifiers of digital or coded signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data

Abstract

【課題】オーディオを含むコンテンツに補助データを同期させる装置、装置群及び方法を提供する。【解決手段】コンテンツ１は、ビデオ３及びオーディオ５を含む。オーディオを含むコンテンツに補助データ７を同期させる方法は、コンテンツのオーディオの表現９及びコンテンツのオーディオの表現中の瞬間に固定された補助データを得ること及びコンテンツのオーディオの表現をコンテンツのオーディオにアラインさせることによって、コンテンツのオーディオの表現中の瞬間に固定された補助データをコンテンツに同期させることを含む。【選択図】図１

Description

メディアコンテンツは、制作され、処理され、それから消費者へ伝送される。伝統的なメディアコンテンツに加えて、電子通信技術の発展おかげで、コンテンツに関連した、又はコンテンツを向上させる補助データの大量伝達が可能になった。例えば、インスタントメッセージングのような技術は、大人数の人に電子情報を非常に速く伝達する媒体を提供する。例えばパーソナルコンピュータ、携帯電話、パーソナルデジタルアシスタント、スマートフォン、及びテレビセットトップボックス（例えばケーブルセットトップボックス、サテライトセットトップボックス等）を含む電子デバイスは、情報の消費者に即時のアクセスを提供する。現代の通信技術を介して伝達され得る補助データのタイプ及びコンテンツは、さまざまであり、個人情報から広告まで全てを含む。補助データは、単純なテキストからグラフィックスや動画や多数のデータレイヤーを包含するコンテンツまで、さまざまな形態をとり得る。
現在の技術は、後の処理のために、そのような補助データを抽出することについては不完全である。コンテンツ及び補助データの同期化の現在の方法は、例えば、ソースとターゲット又は消費者との明示的なデータ関係を要求し得て、しばしば一方向である。同期化の他の現在の方法は、信号チェーンを通してずっと存在するわけではない、メタデータに依存し得るが、これは、異なる施設がメタデータをサポートするとは限らないさまざまなワークフローを使うからである。
本開示は、これらの問題に対応する方法及びシステムを提供する。本開示は、オーディオ、メタデータフィンガープリンティング及び制作から消費者までコンテンツを伝達するパイプラインにおいてアクションをトリガする明示的メタデータの動的な組み合わせを記載する。これらのアクションは、選択的にオリジナルのコンテンツ及び品質を保存し、未知のコンテンツのコンプライアンス及び許容できる統合を確実にし、リターンパスと共に、アップストリームのデータベースへの従来のアクセスのためのパスを提供する。ここで開示された発明は、補助データ同期化のためのデュアルパスを利用し、間接的な接続及びロードブロックに対するデータのバイパスを可能にする。ライブイベント及びデータベースに記憶されたイベントを比較するローカルフィンガープリンティングを追加することは、もしメタデータが利用可能ではないときには、当該チェーンがバイパスされることを可能にし、データベースに対してアップデート及び追加の新しい情報を提供するのと共に同期化を示すためのデータのフィードバックのためのメカニズムを提供する。それは、
品質保持、電子取引、及びきめ細やかな視聴者の測定のために用いられ得る、コンテンツに関しての時間でアラインされた特徴が豊富なデータを記憶したり、取り出したりする方法を提供する。
添付の図面は、明細書に組み込まれて、その一部を構成するが、本発明の局面のさまざまな例示的実施形態を示す、さまざまな例示的システム、方法等を示す。図面中の図示された要素の境界（例えば四角形、四角形のグループ、又は他の形状）は、境界の１つの例を表すことが理解されよう。当業者は、１つの要素が複数の要素として設計されたり、複数の要素が１つの要素として設計されたりし得ることを理解するだろう。他の要素の内部要素として示される要素が、外部要素として実現されてもよく、その逆も可能である。さらに要素は、正しい縮尺では図示されていない。
図１は、オーディオを含むコンテンツに補助データを同期させる例示的方法の概略図を示す。 図２は、オーディオを含むコンテンツに補助データを同期させる例示的システムのブロック図である。 図３は、ブロードキャスタにおける詳細を含む例示的システムのブロック図を示す。 図４は、消費者における詳細を含む例示的システムのブロック図を示す。 図５は、ストレージロケーションにおける詳細を含む例示的システムのブロック図を示す。 図６は、オーディオを含むコンテンツに補助データを同期させる例示的方法のフロー図を示す。 図７は、オーディオを含むコンテンツに補助データを同期させる例示的方法のフロー図を示す。 図８は、オーディオを含むコンテンツに補助データを同期させる例示的装置のブロック図を示す。
図１は、オーディオを含むコンテンツに補助データを同期させる例示的方法の概略図を示す。図１は、コンテンツ１を示し、図示された実施形態において、コンテンツ１は、ビデオ３及びオーディオ５を含む。コンテンツ１は、映画、テレビ番組、スポーツイベント（例えばバスケットボールの試合）、インターネット動画等であり得る。
図１は、補助データ７も示す。補助データ７は、コンテンツとなんらかのかたちで関連したデータであり、コンテンツ名又はコンテンツ識別データのようなコンテンツを記述するデータ、コンテンツで演じられている台本に関するデータ、コンテンツで登場人物が着ている衣装に関するデータ、コンテンツの実演家、プロデューサー、又はディレクターからのコメントを含むデータ、コンテンツに関する情報を含むリソースのユニフォームリソースロケーター（ＵＲＬ）、コンテンツのオーディオ中の音楽に関するデータ等を含み得る。補助データ７は、広告データのような営業用データを含み得る。補助データ７は、コンテンツの視聴者からのコメント（例えばツイッターメッセージ等）のようなユーザデータも含み得る。補助データ７は、例えばコンテンツオーディオのラウドネス又はダイナミックレンジスケーリングを含む、コンテンツのオーディオの統計のようなプロフェショナルな又はテクニカルなデータも含み得る。
上の例からわかるように、補助データ７を構成するものは、さまざまであり、多くの異なるソースから集められ得る。しかしこの開示の目的について言えば、補助データ７の性質は、コンテンツ１に対する補助データ７のタイミングに比べれば、おそらくそれほどは重要ではない。
図１の図示された実施形態において、補助データ７ａは、コンテンツ１の時刻txにアラインさせられる（すなわちこの時刻において現れるか、又はこの時刻に関連する）。補助データ７ｂ及び７ｃは、コンテンツ１の時刻tx+1に現れるか又は関連する。補助データ７ｄ及び７ｅは、時刻tx+2に現れるか又は関連する。補助データ７ｆは、コンテンツ１の時刻tx+3に現れるか又は関連し、補助データ７ｇは、時刻tx+4に現れるか又は関連する。
例えば、txにおける補助データ７ａは、コンテンツ名True Blood、シーズン２、エピソード２を示し得る。時刻tx+1において（例えば１２分２秒において）補助データ７ｂは、Anna Paquinによって演じられるSookie StackhouseがManolo Blahnik Hangisi 105サテンポンプシューズを履いていることを記述し、一方で、補助データ７ｃは、音楽がロンドン交響楽団によって演奏されたベートーベンの月光ソナタであることを示す。補助データ７
ｄ及び７ｅは、時刻tx+2において受け取られたツイッターメッセージであり得て、これらメッセージの中でユーザは、コンテンツ１又はコンテンツ１中の特定のシーンに対する彼らの反応を表現している。補助データ７ｆは、コマーシャルのための中断によるコンテンツオーディオの指定されたラウドネス又はダイナミックレンジスケーリングのtx+3における変化を示し得る。補助データ７ｇは、コマーシャルのための中断からコンテンツ１への復帰によるコンテンツオーディオの指定されたラウドネス又はダイナミックレンジスケーリングのtx+4における変化を示し得る。
よって補助データ７は、コンテンツ１に時間軸上で位置合わせされている（time-aligned）。
著作者（authorship）又はコレクション（collection）について、補助データ７は、コンテンツ１の再生、放送、配信、又は実演の前に獲得又は収集され得る。例えば、補助データ７は、コンテンツ１の制作、編集、クオリティコントロール、又はマスタリングの間に獲得又は収集され得る。補助データ７は、コンテンツ１の再生、放送、配信、又は実演の間にも獲得又は収集され得る。例えば、もしコンテンツ１がテレビ番組であるなら、補助データ７は、テレビ番組の第１回目の又はそれ以降の放送の間に獲得又は収集され得る。
記憶及び配信について、収集された補助データ７は、コンテンツ１の将来のユーザ又は視聴者にアクセス可能にされ得るデータベース中に記憶され得る。このようにして、コンテンツ１がそれらのユーザ又は視聴者に後に配信されるとき、補助データ７は、コンテンツ１と同じ時刻において消費のために、それらのユーザ又は視聴者に利用可能であり得る。補助データ７は、コンテンツ１と時間軸上で位置合わせされているように見え、又はそのように明示する。
発生する大きな問題は、同期化であり、実際問題としては、どのくらい正確に補助データ７がコンテンツ１に時間軸上で位置合わせされているかが問題である。コンテンツ及び補助データの同期化の現在の方法は、コンテンツのソースとターゲット又は消費者との間の明示的データ関連性（explicit data connection）を必要とする。この明示的データ関連性は、タイミングを消費者の敷地にある機器に伝える。この方法もふつうは、ソース又はコンテンツプロバイダからターゲット又は消費者への一方向であり、これは１つの限界である。同期化の他の現在の方法は、コンテンツに添付されたメタデータに依存するが、このメタデータは、信号チェーンを通してソース又はコンテンツプロバイダからターゲット又は消費者までずっと存在する保証はなく、それは、異なる施設は、メタデータを必ずサポートするという保証はない、さまざまなワークフローを用いるからである。
図１に示されるように、コンテンツ１は、ビデオ３及びオーディオ５を含む。図１は、オーディオ波形シグネチャの形態におけるコンテンツ１のオーディオ５の表現（representation）９も図示する。表現９は、少なくともオーディオ５が時間ｔに沿って表現９から特定可能である程度において、コンテンツ１のオーディオ５と一致する。図１の実施形態において、補助データ７は、補助データ７が位置合わせされているオーディオ５の瞬間に対応する、表現９の瞬間において、それぞれ表現９に固定されている（pegged）。
図１の例では、補助データＡは、コンテンツ１の時刻txに対応する表現９の瞬間に固定されている。補助データ７ｂ及び７ｃは、コンテンツ１の時刻tx+1に対応する表現９の瞬間に固定されている。補助データ７ｄ及び７ｅは、時刻tx+2に対応する表現９の瞬間に固定されている。補助データ７ｆは、コンテンツ１の時刻tx+3に対応する表現９の瞬間に固定され、補助データ７ｇは、コンテンツ１の時刻tx+4に対応する表現９の瞬間に固定されている。
補助データ７のそれぞれ及び表現９は、コンテンツ１の将来のユーザ又は視聴者にアクセス可能にされ得るデータベースにそれから記憶され得る。このようにして、コンテンツ１がそれらのユーザ又は視聴者に配信されるとき、表現９に固定された補助データ７と共に、表現９は、それらユーザ又は視聴者に利用可能であり得る。
ユーザの敷地において、受け取られるコンテンツ１のオーディオ５は、オーディオ５を同期させるために、表現９とリアルタイムで比較され得て、したがってコンテンツ１は表現９と比較され得る。さらに、補助データ７は、コンテンツ１のそれぞれの時刻に対応する表現９の瞬間に固定されているので、補助データ７は、明示的タイミングデータがないにもかかわらず、コンテンツ１に同期され得る。
図２は、オーディオを含むコンテンツに補助データを同期させる例示的システム１０のブロック図を示す。システム１０は、３つの主要な要素を含み、すなわちブロードキャスタ２０、消費者３０、及びストレージロケーション４０である。図２は、ブロードキャスタ２０、消費者３０、及びストレージロケーション４０が互いに通信する媒体Ｍも示す。
説明の容易さのために、本開示は、要素２０をブロードキャスタ２０として参照するが、要素２０は、ブロードキャスタ又はブロードキャスティングする施設又は機器には限定されない。実際には、ブロードキャスタ２０は、送信又は放送のための再生の前に、又はその間にコンテンツ１を加工する制作、編集、クオリティコントロール、又はマスタリングの機器のような任意の施設又は機器を表し得る。
同様に、説明の容易さのために、本開示は、要素３０を消費者３０として参照するが、消費者３０は、消費者又は消費者の敷地又は機器に限定されない。実際には、消費者３０は、送信又は放送のための再生の前に、又はその間にコンテンツ１を加工する任意の敷地又は機器を表し得る。
また媒体Ｍは、例えば、インターネット、衛星通信、ラジオ通信、テレビジョン通信（放送又はケーブル）等のような、コンテンツ１又はデータを送信するのに一般に用いられる任意の媒体であり得る。図では媒体Ｍは、ブロードキャスタ２０、消費者３０、及びストレージロケーション４０によって共有されているように示されているが、これら要素の間の通信は、同じ媒体内で行われなければならないことはない。よって例えば、ブロードキャスタ２０は、消費者３０と衛星を介して通信し得て、一方、ブロードキャスタ２０は、ストレージロケーション４０とインターネットを介して通信し得る。
図２の例では、ブロードキャスタ２０は、コンテンツ１を消費者３０に送信し、保存のために補助データ７及び表現９をストレージロケーション４０に送信する。消費者３０は、コンテンツ１をブロードキャスタ２０から受け取り、補助データ７及び表現９をストレージロケーション４０から受け取る。興味深いことに、消費者３０は、補助データ７及び／又は表現９もストレージロケーション４０に送信する。よって、システム１０は、消費者３０による双方向通信を提供し、消費者３０は、補助データ７の創作に参加し得て、補助データ７、システムの機能、及び究極的にはカスタマーエクスペリエンスの向上につながる。
図３は、ブロードキャスタ２０における詳細を含む例示的システム１０のブロック図を示す。ブロードキャスタ２０は、オーディオを含むコンテンツに補助データを同期させる機械又は一群の機械を含む。図示された実施形態において、ブロードキャスタ２０は、補助データ７を表現９（すなわち図１のコンテンツ１のオーディオ５の表現）の瞬間に固定するプリシンクロナイザ２２を含む。
ブロードキャスタ２０は、コンテンツ１を消費者３０に、表現９及び表現９中の瞬間に固定された補助データ７をストレージロケーション４０に、媒体Ｍを介して通信するトランシーバ２４も含み得る。上述のように、ストレージロケーション４０は、消費者３０によってアクセス可能である。あとに起こるコンテンツ１の再生、放送、配信、実演等がなされると、表現９のコンテンツのオーディオ５へのアラインメントは、表現９中の瞬間へ固定された補助データ７をコンテンツ１に同期させる。
ブロードキャスタ２０は、オーディオプロセッサ２６も含み得て、オーディオプロセッサ２６は、コンテンツ１のオーディオ５を処理することによって、例えば図１のオーディオ波形シグネチャのようなコンテンツのオーディオ５の表現を作り得る。トランシーバ２４は、コンテンツのオーディオ５の表現９（例えばシグネチャ）及びコンテンツのオーディオの表現中の瞬間に固定された補助データ７をストレージロケーション４０にそれから通信し得る。
ある実施形態において、プリシンクロナイザ２２は、ストレージロケーション４０へのリンクを作る。このリンクは、ユニフォームリソースアイデンティファイア（例えばＵＲＬ）又は同様のロケーションアイデンティファイア又はロケータであり得る。オーディオプロセッサ２６は、ストレージロケーション４０へのリンクをコンテンツ１のメタデータ、つまり具体的には、コンテンツのオーディオ５のメタデータに挿入し得る。オーディオ５は、ドルビーAC-4、AC-3、又はE-AC-3、又はMPEG-Hとしてエンコードされ得るが、これら全てはメタデータを運び得る。消費者３０は、コンテンツ１の又はコンテンツのオーディオ５のメタデータから、ストレージロケーション４０へのリンクを抽出し得る。ストレージロケーション４０へのリンクを有することで、消費者３０は、それからストレージロケーション４０と通信して、ストレージロケーション４０に記憶された情報を得たり、その中に情報を記憶したりできる。
ある実施形態において、オーディオプロセッサ２６は、コンテンツのオーディオ５を分析することによって、例えば、オーディオ５のラウドネス又はダイナミックレンジスケーリングを含むオーディオ５の統計を収集する。オーディオプロセッサ２６は、コンテンツのオーディオ５の統計をコンテンツ１の又はコンテンツのオーディオ５のメタデータに挿入し得る。消費者３０は、コンテンツのオーディオ５の統計をメタデータから抽出し得る。
ある実施形態において、トランシーバ２４は、コンテンツのオーディオの表現９、及びコンテンツのオーディオの表現９中の瞬間に固定された補助データ７に加えて、コンテンツのオーディオ５の統計をストレージロケーション４０に通信する。消費者３０は、ストレージロケーション４０からコンテンツのオーディオ５の統計を獲得し得る。
コンテンツのオーディオ５の統計を有することで、消費者３０は、消費者３０の敷地で再生されるべき又は消費者３０の敷地から配信されるべきオーディオを、メタデータから抽出されたコンテンツのオーディオ５の統計に基づいてそれから調節する。
上述のように、プリシンクロナイザ２２は、コンテンツ１の以前の再生又は実演の間に補助データ７を収集し得る。例えば、コンテンツ１は、もともとはライブで放送されたバスケットボールの試合であり得る。補助データ７は、最新の試合統計（例えば得点、リバウンド、アシスト等）を含み得る。この補助データ７及びその対応するタイミングにアクセスできることで、プリシンクロナイザ２２は、この統計が正確であるとき、補助データ７を、試合のオーディオ５の表現９（例えば波形シグネチャ）中の、試合中の適切なタイミングに対応する瞬間に固定し得る。トランシーバ２４は、上述のように消費者３０が情
報にアクセスして利用できるように、補助データ７及び表現９をストレージロケーション４０に送信し得る。
ブロードキャスタ２０は、補助データ７を収集するオーサリングツール２８も含み得る。オーサリングツール２８は、例えば、統計専門家が上述のバスケットボールの試合の統計を入手することを可能にし得る。一般に、オーサリングツール２８は、補助データ７のエントリを可能にし得る。オーサリングツール２８は、コンテンツ名又はコンテンツ識別データ、コンテンツで演じられている台本に関するデータ、コンテンツで登場人物が着ている衣装に関するデータ、コンテンツの実演家、プロデューサー、又はディレクターからのコメントを含むデータ、コンテンツに関する情報を含むリソースのユニフォームリソースロケーター（ＵＲＬ）、コンテンツのオーディオ中の音楽に関するデータ等のようなコンテンツを記述する補助データをエンターするために用いられ得る。オーサリングツール２８は、コンテンツに関する、又はコンテンツに関連する、広告データのような営業用データ、又はプロフェショナル又はテクニカルデータの形態である補助データ７をエンターするためにも用いられ得る。
図４は、消費者３０における詳細を含む例示的システム１０のブロック図を示す。消費者３０は、オーディオ５を含むコンテンツ１に補助データ７を同期させる機械又は一群の機械を含み得る。
図示された実施形態において、消費者３０は、コンテンツ１をブロードキャスタ２０から、コンテンツのオーディオ５の表現９及びコンテンツのオーディオ５の表現９中の瞬間に固定された補助データ７をストレージロケーション４０から受け取るトランシーバ３２を含む。
消費者３０は、上述のように、コンテンツのオーディオの表現９をコンテンツのオーディオ５にアラインさせることによって、補助データ７をコンテンツ１に同期させるポストシンクロナイザ３４も含み得る。ポストシンクロナイザ３４がコンテンツのオーディオの表現９をコンテンツのオーディオ５にアラインさせる具体的な方法論は、本発明に重大ではない。そのようなアラインメントが達成され得る機構には、自動コンテンツ認識（ＡＣＲ）として知られるもののバリエーションが含まれ、特にフィンガープリンティングとして知られるもののバリエーションが含まれる。ＡＣＲは、メディアデバイス上で再生される又はメディアファイル内に存在するコンテンツを特定又は認識するのに用いられる技術である。音響フィンガープリンティングは、コンテンツ自身からユニークな指紋を生成する。フィンガープリンティング技術は、コンテンツフォーマット、コーデック、ビットレート、及び圧縮技術によらず動作する。これは、ネットワーク及びチャネルにわたって用いることを可能にする。コンテンツ１の進行中のリアルタイムの指紋を表現９と連続的に比較することは、補助データ７をコンテンツ１のタイムラインに同期させるために用いられ得る。
消費者３０は、コンテンツのオーディオ５をトランシーバ３２から受け取るオーディオプロセッサ３６も含み得る。ある実施形態では、オーディオプロセッサ３６は、メタデータをコンテンツ１から、又はコンテンツのオーディオ５から、及びメタデータから抽出し得て、オーディオプロセッサは、上述のようなストレージロケーション４０へのリンクを抽出し得る。ストレージロケーション４０へのリンクを得て、トランシーバ３２は、それからストレージロケーション４０と通信をして、ストレージロケーション４０に記憶された情報を得たり、又はそこに情報を記憶したりすることができる。
代替として又は加えて、ストレージロケーション４０へのリンクは、サブスクリプションベースで消費者３０に配信され得て、又は他のやり方で消費者３０に提供される。この
ようにして、もし消費者３０によって受け取られたコンテンツ１がメタデータを含まない、又はそのメタデータがストレージロケーション４０へのリンクを含まないとしても、消費者３０は、依然としてストレージロケーション４０にアクセスし得る。
ある実施形態において、オーディオプロセッサ３６は、ストレージロケーション４０へのリンクを抽出する代わりに、又はそれに加えて、上述のようにメタデータに記憶されたコンテンツのオーディオ５の統計（例えばラウドネス又はダイナミックレンジスケーリング）を抽出する。ある実施形態では、トランシーバ３２は、コンテンツのオーディオの表現９及び補助データ７に加えて、ストレージロケーション４０からコンテンツのオーディオ５の統計を受け取る。コンテンツのオーディオ５の統計を得て、オーディオプロセッサ３６は、ストレージロケーション４０から得られたコンテンツのオーディオ５の統計に基づいて消費者３０において再生される又は消費者３０から配信されるオーディオをそれから処理し得る。
ある実施形態において、コンテンツ１又はコンテンツのオーディオ５がメタデータを含むとき、オーディオプロセッサは、消費者３０の敷地において再生されるべき、又は消費者３０の敷地から配信されるべきオーディオを、メタデータに記憶されたコンテンツのオーディオの統計（例えばラウドネス又はダイナミックレンジスケーリング）を用いて処理する。反対に、コンテンツ１又はコンテンツのオーディオ５がメタデータを含まないとき、オーディオプロセッサ３６は、消費者３０の敷地において再生されるべき、又は消費者３０の敷地から配信されるべきオーディオを、ストレージロケーション４０に記憶されたコンテンツのオーディオ５の統計を用いて処理する。
ある実施形態において、オーディオプロセッサ３６は、コンテンツのオーディオ５を、ストレージロケーション４０から得られたコンテンツのオーディオ５の表現９と比較する。この比較に基づいて、コンテンツ１は、特定され得る。すなわち、もしコンテンツのオーディオ５及びコンテンツのオーディオの表現９が、パラメータ群のセット内で一致するなら、コンテンツ１は、表現９に対応するものと特定され得て、逆もまたそうである。同様に、もしコンテンツのオーディオ５及びコンテンツのオーディオの表現９が、パラメータ群のセット内で一致しないなら、コンテンツ１は、表現９に対応しないものということが可能であり得て、逆もまたそうである。ここで参照によって援用される２０１５年４月２９日に出願された米国特許出願番号１４／６９９，６５８は、ラウドネスシグネチャを介してコンテンツを認証する（authenticating）システム及び方法を開示する。そこで開示されているシステム及び方法は、コンテンツ１の特定のために用いられ得る。’６５８出願で開示されたものとは異なる他のシステム及び方法もコンテンツ１の特定のために用いられ得る。
消費者３０は、コンテンツ１の提示と同時に補助データ７を提示する（例えば表示する）インタラクションツール３８も含み得る。インタラクションツール３８は、コンテンツのオーディオの表現９をコンテンツのオーディオ５にアラインさせることに依拠することによって、コンテンツ１の提示と同時に、補助データ７を提示する。このアラインさせることは、コンテンツのオーディオの表現９中の瞬間に固定されている補助データ７をコンテンツ１に同期させる。上述のバスケットボールの試合の例では、インタラクションツール３８は、試合が最初にライブで放送されてから何年も後に試合が再生される場合であっても、試合の提示と同時に、バスケットボールの最新の統計を表示し得る。
ストレージロケーション４０は、補助データ７及びコンテンツのオーディオ５の表現９を記憶するので、アクセスのための情報がいつでも利用可能であり得る。例えば、消費者３０は、バスケットボールの試合（すなわちコンテンツ１）をデジタルビデオレコーダー（ＤＶＲ）中に記録したかもしれず、試合の録画を他のやり方で入手したかもしれない。
二三日後に消費者が試合を見るかもしれない。トランシーバ３２は、試合（すなわちコンテンツ１）をＤＶＲから（又は消費者３０がコンテンツを入手した任意の他のやり方で）入手し、ストレージロケーション４０から表現９及び補助データ７を入手したかもしれない。インタラクションツール３０は、試合がライブで最初に放送された時から後で当該試合が再生されるとしても、試合の提示と同時に、それからバスケットボールの試合の最新の統計を表示し得る。
ある実施形態において、インタラクションツール３８は、補助データ７を収集するためにも用いられ得る。例えば、コンテンツ１の再生、放送、配信、又は実演の間、消費者は、インタラクションツール３８を介して、コンテンツ１又はコンテンツ１の特定のシーン又は部分に関するメモ又はコメントのような補助データ７を入力し得る。ポストシンクロナイザ３４は、インタラクションツール３８を介して入力された補助データ７を、コンテンツ１中の瞬間に対応するコンテンツのオーディオの表現９の瞬間にそれから固定し得て、補助データ７をストレージロケーション４０に保存し得る。この場合、表現９は、ａ）ストレージロケーション４０から得られた表現、又はｂ）オーディオプロセッサ３６によって消費者３０においてローカルに作られて、補助データ７と共にストレージロケーション４０に記憶される表現であり得る。
図５は、ストレージロケーション４０における詳細を含む例示的システム１０のブロック図を示す。ストレージロケーション４０は、オーディオを含むコンテンツに補助データを同期させる機械又は一群の機械を含み得る。ストレージロケーション４０は、コンテンツのオーディオの表現９及び補助データ７を通信する（すなわち送信し受信する）トランシーバ４２を含み得る。ストレージロケーション４０は、コンテンツのオーディオの表現９及びコンテンツのオーディオの表現９中の瞬間に固定された補助データ７を記憶するデータベース４４も含み得る。
ある実施形態において、トランシーバ４２は、コンテンツのオーディオ５の統計を通信し、データベース４４は、コンテンツのオーディオ５の統計（例えばラウドネス又はダイナミックレンジスケーリング）を上述のように補助データ７として又は補助データ７に加えて記憶する。ある実施形態において、その後のコンテンツ１の再生、放送、配信、及び実演の間、上述のように、トランシーバ４２は、補助データ７を通信し続け、データベース４４は、補助データ７を記憶し続ける。
ストレージロケーション４０は、サブスクリプション、パスワード等によって制御され得る一般的なアクセス可能性を持つ（例えば上述のようなリンクを介して）クラウド又はローカルアーカイブのような、ブロードキャスタ２０及び消費者３０にアクセス可能であるロケーションであり得る。
システム１０は、ソフトウェア、ハードウェア、アナログ又はデジタル技術を用いて実現され得る。
例示的方法は、図６及び７のフロー図を参照してよりよく理解され得る。説明の簡単のために、図示された方法論は、一連のブロックとして示され説明されるが、この方法論は、ブロックの順序によっては限定されず、いくつかのブロックは、図示及び説明されるものとは異なる順序で、又は他のブロックと同時に起こり得る。さらに、例示的方法論を実現するためには、図示されたブロックの全てよりも少ないものしか必要ではないかもしれない。さらに追加の方法論、代替の方法論、又はそれらの両方が、図示しない追加のブロックを採用するかもしれない。
フロー図において、ブロックは、論理で実現され得る「処理ブロック」を表す。処理ブ
ロックは、方法ステップ又は方法ステップを実行する装置要素を表し得る。フロー図は、特定のプログラミング言語、方法、又はスタイル（例えば手続き的、オブジェクト指向）について何らの構文も示さない。むしろ、フロー図は、図示された処理を実行するロジックを開発するために当業者が採用し得る機能情報を図示する。ある例では、一時変数、ルーチンループ等のようなプログラム要素が示されていないことがわかるだろう。電子的及びソフトウェアアプリケーションは、ダイナミックかつ柔軟性がある処理を伴い得ることによって、図示されたブロックが図示されたものとは異なる、他の順序で実行されたり、ブロックが組み合わせられ、又は複数の要素に分解されたりし得ることがさらにわかるだろう。処理は、機械語、手続き的、オブジェクト指向又は人工知能の手法のような、さまざまなプログラミングアプローチを用いて実現され得ることが理解されよう。
図６は、オーディオを含むコンテンツに補助データを同期させる例示的方法６００のためのフロー図を図示する。
方法６００は、６１０において補助データ７を収集することを含む。収集は、上述のように、コンテンツの再生、放送、配信、又は実演の前に、最中に、又は後に行われ得る。補助データ７は、コンテンツとなんらかのかたちで関連したデータであり、コンテンツ名又はコンテンツ識別データのようなコンテンツを記述するデータ、コンテンツで演じられている台本に関するデータ、コンテンツで登場人物が着ている衣装に関するデータ、コンテンツの実演家、プロデューサー、又はディレクターからのコメントを含むデータ、コンテンツに関する情報を含むリソースのユニフォームリソースロケーター（ＵＲＬ）、コンテンツのオーディオ中の音楽に関するデータ等を含み得る。補助データ７は、広告データのような営業用データを含み得る。補助データ７は、コンテンツの視聴者からのコメント（例えばツイッターメッセージ等）のようなユーザデータも含み得る。補助データ７は、例えばコンテンツオーディオのラウドネス又はダイナミックレンジスケーリング等を含む、コンテンツのオーディオの統計のようなプロフェショナルな又はテクニカルなデータも含み得る。
６２０において、方法６００は、コンテンツのオーディオ５を分析することによって、コンテンツのオーディオ５の表現９を作ることをさらに含む。表現９は、上述のように、コンテンツのオーディオのオーディオ波形シグネチャを作ることによって作られ得る。
コンテンツのオーディオの表現９（例えばオーディオ波形シグネチャ）の創造は、オーディオ５の分析の一部として達成され得る。コンテンツ１についてのオーディオ５が分析され、オーディオ統計が同じタイムラインで収集され得る。これは、典型的なクオリティコントロール又はマスタリングセッションの間に起こり得る。収集され得る統計は、コンテンツマッチが仕様を伝達するための、コンテンツ名又はＩＤ、オーディオ波形シグネチャ、ラウドネス及び／又はダイナミックレンジスケーリング、及び他のコンテンツに固有の（content-specific）非リアルタイムの統計を含む。
６３０において、補助データ７は、コンテンツ１中の瞬間に対応するコンテンツのオーディオ５の表現９中の瞬間に固定される。補助データ７を表現９中の瞬間に固定すること（pegging）は、補助データ７がコンテンツ１に時間でアラインされる（time-aligned）
ことを意味する。この固定することは、補助データ７を特定のコンテンツ１の表現９に関連付けること、及び補助データ７に、表現９中の瞬間の時刻でタイムスタンプを付すこと又は他の時間アラインメント方法によって達成され得る。
６４０において、表現９及び表現９中の瞬間に固定された補助データ７は、ストレージロケーション４０に記憶され得る。
６５０において、ストレージロケーション４０へのリンクも作られる。
６６０において、エンコードされた又はPCM+MDオーディオのために、及び／又はＰＣＭオンリーのオーディオのためにＬＦＥチャネルのために、オーディオ統計データの一部又は全部と共に、ストレージロケーション４０へのリンクがオーディオメタデータ（すなわちＥＭＤＦ）に挿入され得る。ここで参照によって援用される２０１３年２月１９日に発行された米国特許第８，３８０，３３４号は、オーディオ信号にメタデータを挿入するのに用いられ得る、オーディオ信号の中で補助データを運ぶ方法及びシステムを開示する。’３３４特許で開示されたものとは異なる他のシステム及び方法も、メタデータをオーディオ信号に挿入するのに用いられ得る。
６７０において、コンテンツ１が配信される。コンテンツ１は、最近ではそうであるように、エンコードされたＰＣＭ又はベースバンドＰＣＭであって、メタデータが付く又は付かないオーディオで伝達され得る。
図７は、オーディオを含むコンテンツに補助データを同期させる例示的方法７００のためのフロー図を図示する。
７１０において、方法７００は、コンテンツのオーディオ５の表現９及び表現９中の瞬間に固定された補助データ７を受け取ることを含む。表現９及び補助データ７のこの組み合わせは、少なくとも２つのコンテキストにおいて用いられ得る。すなわち１）送信のための再生中、及び２）消費者の敷地におけるコンテンツ１の受信と共にである。
送信のための再生の間、オーディオプロセッサは、メタデータを持つか又は持たない、コンテンツ１のエンコードされた又はベースバンドのＰＣＭオーディオを受け入れ得て、ストレージロケーション４０が存在するクラウド又は他のロケーションに接続され得る。このコンテキストにおいて、方法７００は、コンテンツのオーディオの統計を使用することによって、コンテンツのオーディオを処理するオーディオプロセッサをバイパス又は調節することを含み得る。
７２０において、もしＥＭＤＦメタデータが存在するなら、又はもしメタデータがＬＦＥチャネル内で検出され、コンテンツのオーディオの統計がメタデータに記憶されているなら、７２５において、コンテンツのオーディオ５の統計（例えばラウドネス及び他のコンテンツに固有のデータ）は、オーディオプロセッサをバイパス又は調節することによって、既に正しいコンテンツが最小限の改変又は改変なしでパスして、元の品質及びコンプライアンスを維持するために用いられ得る。
７３０において、もしメタデータ又はＬＦＥデータが存在していないか、又はもしコンテンツのオーディオの統計がメタデータに記憶されていないなら、オーディオ５のリアルタイムオーディオシグネチャは、ストレージロケーション４０から受け取られた表現９と比較されることによって、コンテンツ１を特定し得る。もしそれらが選択可能な範囲内で一致するなら、コンテンツ１は特定され、７３５において、ストレージロケーション４０に記憶されているかもしれないコンテンツのオーディオ５の統計は、オーディオプロセッサをバイパス又は調節することによって、既に正しいコンテンツが最小限の改変又は改変なしでパスして、元の品質及びコンプライアンス（compliance）を維持するために用いられ得る。
７４０において、もしａ）特定のコンテンツ又はセグメントについて、メタデータが存在しない、又はメタデータがコンテンツのオーディオ５の統計を含まず、かつｂ）オーディオ５のリアルタイムオーディオシグネチャ及び表現９が、ある量の時間内で一致しない
なら、リアルタイムラウドネス及びダイナミックレンジ制御が実行されることによってオーディオ５がコンプライアント（compliant）であることを確実にする。
コンテンツ１を受領すると、方法７００は、補助データ７をコンテンツ１に同期させることを含み得る。７５０において、もしメタデータ（例えばＥＭＤＦ）が存在し、メタデータがタイムスタンプを含むなら、７６０において、補助データ７は、タイムスタンプに基づいてコンテンツ１に同期される。もしメタデータが存在せず、又はメタデータがタイムスタンプを含まないなら、７７０において、方法７００は、上述のように、表現９をコンテンツのオーディオ５にアラインさせることによって、補助データ７をコンテンツ１に同期させる。
ここでコンテンツ１に同期されている消費者のアプリケーション又はインタラクションツール３８は、７８０において、表現９がコンテンツのオーディオ５にアラインすることに依拠して、コンテンツ１の提示と同時に補助データ７を表示し得る。
７９０において、方法７００は、他の消費者、番組プロデューサー、又は場合によっては広告主によって閲覧又はアクセスされ得る追加の補助データ７をさらに通信し得る。このデータは、ダウンストリームのプロフェッショナル又は消費者広告挿入メカニズムによっても用いられ得て、存在し、そのデータへのリアルタイムアップデート又は追加によって潜在的に増強される詳細が豊富なデータのおかげで、これら挿入は、以前の静的方法よりもより精密な正確さで目標にされ得る。方法７００は、コンテンツ１の後続の再生、放送、配信、又は実演の間、新しい補助データ７を受け取り、保存し続け得る。新しい補助データ７は、後続の再生、放送、配信、又は実演の間、コンテンツ１中の瞬間に対応するコンテンツのオーディオ５の表現９中の瞬間に固定される。
図は、さまざまなアクションが順次、起こるものとして示すが、図示されたさまざまなアクションは、実質的に並列に起こり得ることを理解されたく、アクションは、並列に起こるように示され得るが、これらアクションは、実質的に順次、起こり得ることを理解されたい。図示された方法に関連していくつかの処理が記載されているが、より多くの又はより少ない数の処理が採用され得て、ライトウェイトプロセス、レギュラープロセス、スレッド、及び他のアプローチも採用され得ることを理解されたい。他の例示的方法は、場合によっては、実質的に並列に起こるアクションも含み得る。図示された例示的方法及び他の方法は、リアルタイムで、ソフトウェア又はハードウェア又はハイブリッドソフトウェア／ハードウェア実現例においてリアルタイムよりも速く、又はソフトウェア又はハードウェア又はハイブリッドソフトウェア／ハードウェア実現例においてリアルタイムよりも遅く動作し得る。
図８は、オーディオを含むコンテンツに補助データを同期させるための例示的装置８００のブロック図を図示する。装置８００は、バス８０８によって動作可能に接続されたプロセッサ８０２、メモリ８０４、及びＩ／Ｏポート８１０を含む。
ある例では、装置８００は、コンテンツ１、ビデオ３、オーディオ５、補助データ７、表現９等を含む入力信号を、例えばＩ／Ｏポート８１０又はＩ／Ｏインタフェース８１８を介して受け取り得る。装置８００は、ブロードキャスタ２０のプリシンクロナイザ２２、トランシーバ２４、オーディオプロセッサ２６、及びオーサリングツール２８も含み得る。装置８００は、消費者３０のトランシーバ３２、ポストシンクロナイザ３４、オーディオプロセッサ３６、及びインタラクションツール３８も含み得る。装置８００は、ストレージロケーション４０のトランシーバ４２及びデータベース４４も含み得る。よってブロードキャスタ２０、消費者３０、又はストレージロケーション４０は、ハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせとして装置８００内で実現され
得て、よって装置８００及びその要素は、プリシンクロナイザ２２、トランシーバ２４、オーディオプロセッサ２６、オーサリングツール２８、トランシーバ３２、ポストシンクロナイザ３４、オーディオプロセッサ３６、インタラクションツール３８、トランシーバ４２、及びデータベース４４によって実行されるとここで説明された機能を実現する手段を提供し得る。
プロセッサ８０２は、デュアルマイクロプロセッサ及び他のマルチプロセッサアーキテクチャを含む多様なさまざまなプロセッサであり得る。メモリ８０４は、揮発性メモリ又は不揮発性メモリを含み得る。不揮発性メモリは、これらには限定されないが、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等を含み得る。揮発性メモリは、例えばＲＡＭ、シンクロナスＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、及びダイレクトＲＡＭバスＲＡＭ（ＤＲＲＡＭ）を含み得る。
ディスク８０６は、例えばＩ／Ｏインタフェース（例えばカード、デバイス）８１８及びＩ／Ｏポート８１０を介して装置５００に動作可能に接続され得る。ディスク８０６は、これらに限定されないが、磁気ディスクドライブ、ソリッドステートディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｚｉｐドライブ、フラッシュメモリカード、又はメモリスティックのようなデバイスを含み得る。さらにディスク８０６は、ＣＤ－ＲＯＭ、ＣＤレコーダブルドライブ（ＣＤ－Ｒドライブ）、ＣＤリライタブルドライブ（ＣＤ－ＲＷドライブ）、又はディジタルビデオＲＯＭドライブ（ＤＶＤ ＲＯＭドライブ）のような光学ドライブを含み得る。メモリ８０４は、例えばプロセス８１４又はデータ８１６を記憶し得る。ディスク８０６又はメモリ８０４は、装置８００のリソースを制御し、アロケートするオペレーティングシステムを記憶し得る。
バス８０８は、単一の内部バス相互接続アーキテクチャ又は他のバス又はメッシュアーキテクチャであり得る。単一のバスが図示されているが、装置８００は、図示されていない他のバス（例えばＰＣＩＥ、ＳＡＴＡ、インフィニバンド、１３９４、ＵＳＢ、イーサネット（登録商標））を用いて、さまざまな装置、ロジック、及び周辺機器と通信し得る。バス５０８は、これらには限定されないが、メモリバス又はメモリコントローラ、周辺バス又は外部バス、クロスバースイッチ、又はローカルバスを含むさまざまなタイプであり得る。ローカルバスは、これらには限定されないが、産業標準アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、周辺要素相互接続（ＰＣＩ）バス、ユニバーサルシリアルバス（ＵＳＢ）、及びスモールコンピュータシステムインタフェース（ＳＣＳＩ）バスを含む、さまざまなものであり得る。
装置８００は、Ｉ／Ｏインタフェース８１８及びＩ／Ｏポート８１０を介して入力／出力機器と相互作用し得る。入力／出力機器は、これらに限定されないが、キーボード、マイク、ポインティング及び選択デバイス、カメラ、ビデオカード、ディスプレイ、ディスク８０６、ネットワークデバイス８２０等を含み得る。Ｉ／Ｏポート８１０は、これらには限定されないが、シリアルポート、パラレルポート、及びＵＳＢポートを含み得る。
装置８００は、ネットワーク環境において動作し得て、よってＩ／Ｏインタフェース８１８又はＩ／Ｏポート８１０を介してネットワーク機器８２０と接続され得る。ネットワーク機器８２０を通して、装置８００は、ネットワークと相互作用をし得る。ネットワークを通して、装置８００は、リモートコンピュータに論理的に接続され得る。装置８００が相互作用するネットワークは、これらに限定されないが、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及び他のネットワークを含み得る。ネットワークデバイス８２０は、これらに限定されないが、光ファイバ分散データインタ
フェース（ＦＤＤＩ）、銅線配線分散データインタフェース（ＣＤＤＩ）、イーサネット（登録商標）（IEEE 802.3）、トークンリング（IEEE 802.5）、無線コンピュータ通信（IEEE 802.11）、ブルートゥース（IEEE 802.15.1）、ZigBee（IEEE 802.15.4）等を含む
ＬＡＮ技術に接続し得る。同様に、ネットワークデバイス８２０は、これらに限定されないが、ポイントツーポイントリンク、サービス総合デジタル網（ＩＳＤＮ）のような回路スイッチングネットワーク、パケットスイッチングネットワーク、及びデジタル加入者線（ＤＳＬ）を含むＷＡＮ技術に接続し得る。個々のネットワークのタイプが記載されているが、ネットワークを経由する、ネットワーク上での、又はネットワークを通じた通信は、通信の組み合わせ及び混合を含み得る。
定義
以下は、ここで採用された語のうちから精選されたものについての定義を含む。定義には、語の範囲に入り、実現のために用いられ得る要素のさまざまな例及び形態を含む。これら例は、限定的であるとは意図されていない。語の単数形及び複数形の両方が定義の中に含まれ得る。
「コンテンツ」は、静止画、オーディオメディア、ビデオメディア、又はオーディオ／ビジュアル（ＡＶ）メディアのセグメントに対応し、少なくとも１つの媒体と共に、具体化され、記憶され、伝送され、受け取られ、処理され、又はその他の方法で用いられる情報を含む。よくあるメディアコンテンツフォーマットには、ＦＬＶフォーマット（フラッシュビデオ）、ウィンドウズメディアビデオ、リアルメディア、クイックタイム、ＭＰＥＧ、ＭＰ３、ＤｉｖＸ、ＪＰＥＧ、及びBitmapsが含まれる。ここで用いられるように、
「メディアクリップ」、「メディアコンテンツ」、「情報コンテンツ」、及び「コンテンツ」という語は、交換可能に用いられ得る。
ここで使われる「データストア」又は「データベース」は、データを記憶し得る物理的又は論理的なエンティティをいう。データストアは、例えば、データベース、テーブル、ファイル、リスト、キュー、ヒープ、メモリ、レジスタ等であり得る。データストアは、１つの論理的又は物理的エンティティに常駐し得て、２以上の論理的又は物理的エンティティの間で分散され得る。
ここで用いられる「ロジック」は、これらに限定されないが、機能（群）又は動作（群）を実行するための、又は他のロジック、方法、又はシステムから機能又は動作を起動するためのハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせを含む。例えば、所望のアプリケーション又はニーズに基づいて、ロジックは、ソフトウェアで制御されるマイクロプロセッサ、特定用途向けＩＣ（ＡＳＩＣ）のような個別ロジック、プログラムされたロジックデバイス、命令等を含むメモリデバイスを含み得る。ロジックは、１つ以上のゲート、ゲートの組み合わせ、又は他の回路要素を含み得る。ロジックは、ソフトウェアとして完全に実現されてもよい。複数の論理ロジックが記載されるとき、その複数の論理ロジックを単一の物理的ロジックに組み込むことが可能であり得る。同様に、単一の論理ロジックが記載されるとき、その単一の論理ロジックを複数の物理的ロジックに分散させることが可能であり得る。
「動作可能な接続」、つまりエンティティが「動作可能に接続される」接続とは、信号、物理的通信、又は論理的通信が送られ、又は受け取られ得る接続である。典型的には、動作可能な接続は、物理的インタフェース、電気的インタフェース、又はデータインタフェースを含むが、動作可能な接続は、動作可能な制御を可能にするのに十分な接続のこれらの、又は他のタイプの異なる組み合わせを含み得る。例えば、２つのエンティティは、互いに直接に、又はプロセッサ、オペレーティングシステム、ロジック、ソフトウェア、又は他のエンティティのような１つ以上の中間エンティティを通して、信号をやりとりす
ることができることによって、動作可能に接続され得る。論理的又は物理的通信チャネルは、動作可能な接続を作るために用いられ得る。
放送において、「プレイアウト」は、ラジオ又はＴＶチャンネルの送信が放送者から、視聴者へコンテンツを運ぶ放送ネットワークに入り送信することを指す語である。
ここで使われる「信号」は、これらには限定されないが、１つ以上の電気的又は光学的信号、アナログ又はデジタルの信号、データ、１つ以上のコンピュータ又はプロセッサ命令、メッセージ、ビット又はビットストリーム、又は受信、送信、又は検出され得る他の手段を含む。
ここで使われる「ソフトウェア」は、これらには限定されないが、読み取られ、解釈され、コンパイルされ、又は実行され得て、コンピュータ、プロセッサ、又は他の電子デバイスに所望のやり方で機能、行為を実行させ、又は動作させる、１つ以上のコンピュータ又はプロセッサ命令を含む。命令は、動的又は静的にリンクされたライブラリからの別個のアプリケーション又はコードを含む、ルーチン、アルゴリズム、モジュール、方法、スレッド、又はプログラムのようなさまざまな形態で実現され得る。またソフトウェアは、これらには限定されないが、スタンドアローンプログラム、ファンクションコール（ローカル又はリモート）、サーブレット、アプレット、メモリに記憶された命令、オペレーティングシステムの一部、又は他のタイプの実行可能な命令を含む、さまざまな実行可能な又はロード可能な形態で実現され得る。当業者には、ソフトウェアの形態は、例えば、所望のアプリケーションの要件、それが走る環境、又は設計者／プログラマー等の要求に依存し得ることが理解されよう。またコンピュータで読み取り可能な又は実行可能な命令は、１つのロジックに存在し得て、又は２つ以上の通信し、同時に動作する、又は並列処理するロジックの間に分散され得て、よってシリアルで、パラレルで、超並列で、及び他の方法でロードされ、又は実行され得ることが理解されよう。
ここで記載された例示的システム及び方法のさまざまな要素を実現する適切なソフトウェアは、Java、Pascal、C#、C++、C、CGI、Perl、SQL、API、SDK、アセンブリ、ファームウェア、マイクロコード、又は他の言語及びツールのようなプログラミング言語及びツールを用いて作成され得る。ソフトウェアは、システム全体であれシステムの一要素であれ、製造物として実現され得て、前に規定されたようにコンピュータで読み取り可能な媒体の一部として保持又は提供され得る。ソフトウェアの他の形態は、ソフトウェアのプログラムコードをネットワーク又は他の通信媒体を介して受け手に送信する信号を含み得る。よってある例では、コンピュータで読み取り可能な媒体は、ウェブサーバからユーザへとダウンロードされるソフトウェア／ファームウェアを表す信号の形態をとる。他の例では、コンピュータで読み取り可能な媒体は、ウェブサーバ上に保持されたソフトウェア／ファームウェアの形態を有する。他の形態も用いられ得る。
ここで用いられる「ユーザ」又は「消費者」は、これらには限定されないが、１人以上の人、ソフトウェア、コンピュータ又は他のデバイス、又はこれらの組み合わせを含む。
以下の詳細な説明のある部分は、アルゴリズム及びメモリ内のデータビットに対する操作の記号的表現によって提示されている。これらアルゴリズムの記載及び表現は、当業者の仕事の本質を他人に伝えるために用いられる彼らによって用いられる手段である。アルゴリズムは、ここで、また一般的に、結果を作る操作の一連の流れであると理解されている。操作は、物理量の物理的操作を含み得る。必ずしもそうではないが、通常は、物理量は、記憶され、転送され、組み合わされ、比較され、及びロジック等で他の方法で操作され得る、電気的又は磁気的信号の形態をとる。
主に通常の用法の理由から、これら信号をビット、値、要素、シンボル、キャラクタ、語、数等として呼ぶことが時には便利であるとわかっている。しかし、これらの及び同様の語は、適切な物理量と関連付けられ、これらの量に適用される便利なラベルに過ぎないことに注意されたい。そうではないと具体的に述べられていない限り、記載を通して、処理、コンピューティング、計算、決定、表示等は、物理的（電子的）量として表現されるデータを操作及び変形する、コンピュータシステム、ロジック、プロセッサ、又は同様の電子的装置の行為及び処理を指すことが理解されよう。
説明が容易なので、本開示は、例えば、それが埋め込まれるオーディオ信号についての情報及び制御データを伝達するのに用いられる拡張可能なメタデータフォーマット（ＥＭＤＦ）のようなETSI TS 102 366 (Annex H)で記述される命名法のコンテキストで例を説
明している。しかし本開示の原則は、そのようなコンテキストには限定されず、ATSC A52:2012及びA/85:2013又はSMPTE 337M規格において記述されるメタデータを含むETSI TS 103 190 (セクション4.3.15)又はベースバンドＰＣＭオーディオシステムを含む任意の圧縮されたオーディオと含まれる任意のそのような埋め込まれたメタデータのスキームを含むさまざまな他のコンテキストにおいても実施され得る。
「含む」又は「含んでいる」という語が詳細な説明又は特許請求の範囲で採用されている限りにおいて、特許請求の範囲で遷移的語として採用されるときに解釈されるように、「備える」という語と同様に、包含的であると意図されている。さらに、「又は」という語が詳細な説明又は特許請求の範囲で採用されている（例えばＡ又はＢ）限りにおいて、「Ａ又はＢ又はその両方」を意味するよう意図されている。出願人が「Ａ又はＢであるが、両方ではない」と表現したい場合には、「Ａ又はＢであるが、両方ではない」が用いられる。よって「又は」という語の使用は、包含的であり、排他的な用法ではない。Bryan A. Garner, A Dictionary of Modern Legal Usage 624 (2d. Ed. 1995)を参照のこと。
例示的システム、方法等が例を記載することによって説明され、これら例は、相当な詳細さで記載されてきたが、そのような詳細に範囲を限定すること、又はいかなるやり方においても制限することは、出願人の意図ではない。もちろん、ここで記載されるシステム、方法等を記載する目的のためには、構成要素又は方法論の、あらゆる想定可能な組み合わせを記載することは不可能である。さらなる優位性及び改変は、当業者には明らかであろう。したがって本発明は、図示され、説明された、具体的な詳細、代表的な装置、及び例示的な例には限定されない。よって本願は、添付の特許請求の範囲の範囲に入る変更、改変、及びバリエーションを包含するように意図される。さらに、上の記載は、本発明の範囲を限定するようには意図されない。むしろ本発明の範囲は、添付の特許請求の範囲及びそれらの等価物によって決定されるべきである。

Claims (26)

  1. オーディオを含むコンテンツに補助データを同期させる装置又は装置群のグループであって、
    前記補助データ及び前記コンテンツのオーディオの表現を得て、前記補助データを、前記コンテンツ中の瞬間に対応する前記コンテンツのオーディオの表現中の瞬間に固定することによって、前記コンテンツのオーディオの表現の、前記コンテンツのオーディオへののちのアラインメントが、コンテンツのオーディオの表現中の瞬間に固定された補助データを前記コンテンツに同期させるよう構成されたプリシンクロナイザ、及び
    前記コンテンツのオーディオの前記表現及び前記コンテンツのオーディオの表現中の瞬間に固定された前記補助データをストレージロケーションに通信するよう構成されたトランシーバ
    を備える、装置又は装置群のグループ。
  2. 前記プリシンクロナイザは、
    前記オーディオ中の音楽についてのデータ、
    前記コンテンツで演じられている台本に関するデータ、
    前記コンテンツで登場人物が着ている衣装に関するデータ、
    前記コンテンツを記述するデータ、
    前記コンテンツの実演家、プロデューサー、又はディレクターからのコメントを含むデータ、
    前記コンテンツの視聴者からのコメントを含むデータ、
    前記コンテンツについての情報を含むリソースのユニフォームリソースロケーター（ＵＲＬ）を含むデータ、又は
    広告データ
    の形をとる補助データを受け取るよう構成された
    請求項１に記載の装置又は装置群のグループ。
  3. 前記トランシーバは、前記コンテンツのオーディオの表現及び前記コンテンツのオーディオの表現中の瞬間に固定された補助データを、前記コンテンツの消費者によってアクセス可能なデータベースに通信するよう構成された
    請求項１に記載の装置又は装置群のグループ。
  4. 前記トランシーバは、前記コンテンツのオーディオの表現及び前記コンテンツのオーディオの表現中の瞬間に固定された補助データを、前記コンテンツの消費者によってアクセス可能なストレージロケーションに通信するよう構成され、
    前記プリシンクロナイザは、前記ストレージロケーションへのリンクを作るよう構成された
    請求項１に記載の装置又は装置群のグループ。
  5. 前記コンテンツのオーディオの表現を作るよう構成されたオーディオプロセッサ
    を備え、
    前記トランシーバは、前記コンテンツのオーディオの表現及び前記コンテンツのオーディオの表現中の瞬間に固定された補助データを、前記コンテンツの消費者によってアクセス可能なストレージロケーションに通信するよう構成され、
    前記プリシンクロナイザは、前記ストレージロケーションへのリンクを作るよう構成され、
    前記オーディオプロセッサは、前記ストレージロケーションへの前記リンクを、前記コンテンツのオーディオのメタデータに挿入するよう構成された
    請求項１に記載の装置又は装置群のグループ。
  6. プリシンクロナイザは、前記コンテンツの以前の再生又は実演の間に前記補助データを収集し、前記補助データを、前記コンテンツのオーディオ中の瞬間に対応するコンテンツのオーディオの表現中の瞬間に固定するよう構成される
    請求項１に記載の装置又は装置群のグループ。
  7. 前記コンテンツのオーディオの表現を作り、前記コンテンツのオーディオの前記表現を前記プリシンクロナイザに送るよう構成されたオーディオプロセッサ
    を備える請求項１に記載の装置又は装置群のグループ。
  8. 前記コンテンツのオーディオのオーディオ波形シグネチャを作ることによって、前記コンテンツのオーディオの表現を作るよう構成されたオーディオプロセッサ
    を備える請求項１に記載の装置又は装置群のグループ。
  9. 前記コンテンツのオーディオ中の瞬間に対応するコンテンツのオーディオの表現中の瞬間に前記補助データを固定するために、前記コンテンツの再生又は実演の間に補助データを収集するよう構成されたオーサリングツール
    を備える請求項１に記載の装置又は装置群のグループ。
  10. オーディオを含むコンテンツに補助データを同期させる装置又は装置群のグループであって、
    前記コンテンツ、前記コンテンツのオーディオの表現、及び前記コンテンツ中の瞬間に対応する前記コンテンツのオーディオの表現中の瞬間に固定された補助データを得るよう構成されたトランシーバ、及び
    前記コンテンツのオーディオの表現を前記コンテンツのオーディオにアラインすることによって、前記コンテンツのオーディオの表現中の瞬間に固定された前記補助データを前記コンテンツに同期させるよう構成されたポストシンクロナイザ
    を備える装置又は装置群のグループ。
  11. 前記トランシーバは、
    前記オーディオ中の音楽についてのデータ、
    前記コンテンツで演じられている台本に関するデータ、
    前記コンテンツで登場人物が着ている衣装に関するデータ、
    前記コンテンツを記述するデータ、
    前記コンテンツの実演家、プロデューサー、又はディレクターからのコメントを含むデータ、
    前記コンテンツの視聴者からのコメントを含むデータ、
    前記コンテンツについての情報を含むリソースのユニフォームリソースロケーター（ＵＲＬ）を含むデータ、又は
    広告データ
    の形をとる補助データを受け取るよう構成された
    請求項１０に記載の装置又は装置群のグループ。
  12. 前記コンテンツのオーディオ中の瞬間に対応するコンテンツのオーディオの表現中の瞬間に前記補助データを固定するために、前記コンテンツの再生又は実演の間に補助データを収集するよう構成されたインタラクションツール
    を備える請求項１０に記載の装置又は装置群のグループ。
  13. 前記トランシーバから前記コンテンツのオーディオを受け取り、前記コンテンツのオーディオのメタデータから、前記コンテンツのオーディオの前記表現及び前記コンテンツの
    オーディオの前記表現中の前記瞬間に固定された前記補助データが記憶され、前記コンテンツの消費者によってアクセス可能であるストレージロケーションへのリンクを抽出するよう構成されたオーディオプロセッサ
    を備え、
    前記トランシーバは、前記コンテンツのオーディオの前記表現、及び前記コンテンツのオーディオの前記表現中の前記瞬間に固定された前記補助データを前記ストレージロケーションから得るよう構成された
    請求項１０に記載の装置又は装置群のグループ。
  14. 前記コンテンツのオーディオを前記コンテンツのオーディオの前記表現と比較することによって前記コンテンツを特定するよう構成されたオーディオプロセッサを備える
    請求項１０に記載の装置又は装置群のグループ。
  15. 前記コンテンツのオーディオの前記表現中の瞬間に固定された前記補助データを前記コンテンツのオーディオに同期させるために、前記コンテンツのオーディオの前記表現が前記コンテンツのオーディオにアラインしていることに依拠して、前記コンテンツの提示と同時に前記補助データを表示するよう構成されたインタラクションツールを備える
    請求項１０に記載の装置又は装置群のグループ。
  16. オーディオを含むコンテンツに補助データを同期させる装置又は装置群のグループであって、
    前記コンテンツのオーディオの表現及び前記コンテンツのオーディオの前記表現中の瞬間に固定された補助データを記憶することによって、前記コンテンツのオーディオの表現の、前記コンテンツのオーディオへののちのアラインメントが、前記コンテンツのオーディオの表現中の瞬間に固定された前記補助データを前記コンテンツに同期させるよう構成されたデータベース、及び
    前記コンテンツのオーディオの前記表現及び前記コンテンツのオーディオの前記表現中の瞬間に固定された前記補助データを通信するよう構成されたトランシーバ
    を備える装置又は装置群のグループ。
  17. 前記データベースは、前記コンテンツののちの再生又は実演の間に、前記補助データを受け取り、記憶し続け、前記補助データは、前記のちの再生又は実演の間に、前記コンテンツのオーディオ中の瞬間に対応するコンテンツのオーディオの表現中の瞬間に固定される
    請求項１６に記載の装置又は装置群のグループ。
  18. オーディオを含むコンテンツに補助データを同期させる方法であって、
    前記コンテンツのオーディオの表現及び前記コンテンツのオーディオの表現中の瞬間に固定された補助データを得ること、及び
    前記コンテンツのオーディオの前記表現及び前記コンテンツのオーディオの前記表現中の瞬間に固定された前記補助データを通信することによって、前記コンテンツのオーディオの表現の、前記コンテンツのオーディオへののちのアラインメントが、コンテンツのオーディオの表現中の瞬間に固定された補助データを前記コンテンツに同期させる、通信すること
    を含む方法。
  19. 前記補助データを収集すること、記憶すること、取り出すこと、又は表示することのうちの少なくとも１つを含み、前記補助データは、
    前記オーディオ中の音楽についてのデータ、
    前記コンテンツで演じられている台本に関するデータ、
    前記コンテンツで登場人物が着ている衣装に関するデータ、
    前記コンテンツを記述するデータ、
    前記コンテンツの実演家、プロデューサー、又はディレクターからのコメントを含むデータ、
    前記コンテンツの視聴者からのコメントを含むデータ、
    前記コンテンツについての情報を含むリソースのユニフォームリソースロケーター（ＵＲＬ）を含むデータ、又は
    広告データ
    を含む
    請求項１８に記載の方法。
  20. 前記補助データを前記コンテンツのオーディオの前記表現中の前記瞬間に固定すること、及び
    前記コンテンツのオーディオの前記表現及び前記コンテンツのオーディオの前記表現中の前記瞬間に固定された前記補助データをデータベースに記憶すること
    を含む
    請求項１８に記載の方法。
  21. 前記コンテンツの再生又は実演の間に前記補助データを収集すること
    を含み、
    前記コンテンツのオーディオの前記表現は、前記再生又は実演の間に前記コンテンツのオーディオから導き出され、
    前記補助データは、前記再生又は実演の間に、前記コンテンツのオーディオ中の瞬間に対応する前記コンテンツのオーディオの前記表現中の前記瞬間に固定される
    請求項１８に記載の方法。
  22. 前記コンテンツのオーディオのオーディオ波形シグネチャを作ることによって、前記コンテンツのオーディオの表現を作ること、及び
    前記コンテンツのオーディオの前記表現及び前記コンテンツのオーディオの前記表現中の前記瞬間に固定された前記補助データを記憶すること
    を含む
    請求項１８に記載の方法。
  23. 前記コンテンツのオーディオの表現を作り、前記補助データを前記コンテンツのオーディオの表現中の瞬間に固定すること、
    前記コンテンツのオーディオの表現及び前記コンテンツのオーディオの表現中の瞬間に固定された前記補助データを、ストレージロケーションに記憶すること、及び
    前記ストレージロケーションへのリンクを作ること
    を含む
    請求項１８に記載の方法。
  24. 前記コンテンツのオーディオの表現及び前記コンテンツのオーディオの表現中の瞬間に固定された前記補助データを、ストレージロケーションに記憶すること、
    前記ストレージロケーションへのリンクを作ること、及び
    前記リンクを前記コンテンツのオーディオのメタデータ中に挿入すること
    を含む
    請求項１８に記載の方法。
  25. 前記コンテンツのオーディオを前記コンテンツのオーディオの前記表現と比較することによって前記コンテンツを特定すること
    を含む
    請求項１８に記載の方法。
  26. 前記コンテンツのオーディオの前記表現中の瞬間に固定された前記補助データを前記コンテンツのオーディオに同期させるために、前記コンテンツのオーディオの前記表現が前記コンテンツのオーディオにアラインしていることに依拠して、前記コンテンツの提示と同時に前記補助データを表示すること
    を含む
    請求項１８に記載の方法。
JP2022069192A 2016-04-08 2022-04-20 オーディオを含むコンテンツに対する補助データの同期化 Active JP7442211B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/094,538 2016-04-08
US15/094,538 US10397663B2 (en) 2016-04-08 2016-04-08 Synchronizing ancillary data to content including audio
PCT/IB2017/052033 WO2017175198A1 (en) 2016-04-08 2017-04-07 Synchronizing ancillary data to content including audio
JP2019503809A JP2019518248A (ja) 2016-04-08 2017-04-07 オーディオを含むコンテンツに対する補助データの同期化

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019503809A Division JP2019518248A (ja) 2016-04-08 2017-04-07 オーディオを含むコンテンツに対する補助データの同期化

Publications (2)

Publication Number Publication Date
JP2022095945A true JP2022095945A (ja) 2022-06-28
JP7442211B2 JP7442211B2 (ja) 2024-03-04

Family

ID=58632628

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2019503809A Pending JP2019518248A (ja) 2016-04-08 2017-04-07 オーディオを含むコンテンツに対する補助データの同期化
JP2019503808A Active JP6901798B2 (ja) 2016-04-08 2017-04-07 オーディオエネルギー特性に基づくオーディオフィンガープリンティング
JP2019503645A Pending JP2019520011A (ja) 2016-04-08 2017-04-10 メディア環境駆動型コンテンツ配信プラットフォーム
JP2022069192A Active JP7442211B2 (ja) 2016-04-08 2022-04-20 オーディオを含むコンテンツに対する補助データの同期化
JP2022119360A Pending JP2022160519A (ja) 2016-04-08 2022-07-27 メディア環境駆動型コンテンツ配信プラットフォーム

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2019503809A Pending JP2019518248A (ja) 2016-04-08 2017-04-07 オーディオを含むコンテンツに対する補助データの同期化
JP2019503808A Active JP6901798B2 (ja) 2016-04-08 2017-04-07 オーディオエネルギー特性に基づくオーディオフィンガープリンティング
JP2019503645A Pending JP2019520011A (ja) 2016-04-08 2017-04-10 メディア環境駆動型コンテンツ配信プラットフォーム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022119360A Pending JP2022160519A (ja) 2016-04-08 2022-07-27 メディア環境駆動型コンテンツ配信プラットフォーム

Country Status (9)

Country Link
US (3) US10397663B2 (ja)
EP (5) EP4009647A1 (ja)
JP (5) JP2019518248A (ja)
KR (4) KR102304197B1 (ja)
CN (4) CN109644291B (ja)
AU (6) AU2017247045B2 (ja)
CA (3) CA3020065A1 (ja)
ES (1) ES2856123T3 (ja)
WO (3) WO2017175197A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11032580B2 (en) 2017-12-18 2021-06-08 Dish Network L.L.C. Systems and methods for facilitating a personalized viewing experience
US20190208236A1 (en) * 2018-01-02 2019-07-04 Source Digital, Inc. Coordinates as ancillary data
WO2019136371A1 (en) * 2018-01-07 2019-07-11 Gracenote, Inc. Methods and apparatus for volume adjustment
US10365885B1 (en) * 2018-02-21 2019-07-30 Sling Media Pvt. Ltd. Systems and methods for composition of audio content from multi-object audio
KR20200142787A (ko) * 2019-06-13 2020-12-23 네이버 주식회사 멀티미디어 신호 인식을 위한 전자 장치 및 그의 동작 방법
US11798577B2 (en) 2021-03-04 2023-10-24 Gracenote, Inc. Methods and apparatus to fingerprint an audio signal

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007528144A (ja) * 2003-07-11 2007-10-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチメディア信号おいてトリガーマーカとして機能するフィンガープリントを生成及び検出する方法及び装置
JP2008511844A (ja) * 2004-07-26 2008-04-17 エムツーエニー ゲゼルシャフト ミット ベシュレンクター ハフトゥング 音声信号を安定して分類する装置および方法、音声信号データベースを構築して動作させる方法、およびコンピュータプログラム
US20110063503A1 (en) * 2009-07-06 2011-03-17 Brand Steven M Synchronizing secondary content to a multimedia presentation
JP2012257221A (ja) * 2011-05-19 2012-12-27 Nippon Hoso Kyokai <Nhk> 受信機
JP2013183327A (ja) * 2012-03-02 2013-09-12 Yamaha Corp コンテンツ提供システム、コンテンツ提供方法、および、コンテンツ編集装置
US20150189347A1 (en) * 2013-12-31 2015-07-02 Google Inc. Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
WO2016009944A1 (ja) * 2014-07-18 2016-01-21 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2837815B2 (ja) 1994-02-03 1998-12-16 インターナショナル・ビジネス・マシーンズ・コーポレイション 対話型ルール・ベース・コンピュータ・システム
US20020056136A1 (en) 1995-09-29 2002-05-09 Wistendahl Douglass A. System for converting existing TV content to interactive TV programs operated with a standard remote control and TV set-top box
ES2214011T3 (es) * 1998-02-20 2004-09-01 Thomson Licensing S.A. Un sistema multimedia para formar y tratar de modo adaptable grandes guias de programas.
US20010003212A1 (en) * 1999-10-29 2001-06-07 Jerilyn L. Marler Identifying ancillary information associated with an audio/video program
BR0309598A (pt) 2002-04-25 2005-02-09 Shazam Entertainment Ltd Método para a caracterização de um relacionamento entre uma primeira e uma segunda amostras de áudio, produto de programa de computador e sistema de computador
US9635312B2 (en) * 2004-09-27 2017-04-25 Soundstreak, Llc Method and apparatus for remote voice-over or music production and management
US7516074B2 (en) * 2005-09-01 2009-04-07 Auditude, Inc. Extraction and matching of characteristic fingerprints from audio signals
WO2007035558A2 (en) * 2005-09-16 2007-03-29 Flixor, Inc. Personalizing a video
EP2018728A4 (en) 2006-05-05 2011-07-06 Sony Comp Entertainment Us ADVERTISEMENT ROTATION
JP2008005265A (ja) * 2006-06-23 2008-01-10 Matsushita Electric Ind Co Ltd メタデータ生成装置
US10580459B2 (en) * 2007-08-23 2020-03-03 Sony Interactive Entertainment America Llc Dynamic media interaction using time-based metadata
EP2188711A4 (en) * 2007-09-14 2012-08-22 Auditude Inc RESTORING PROGRAM INFORMATION FOR CLIPS FROM ONLINE USED BROADCASTING PROGRAMS
EP2272065A1 (en) * 2008-04-14 2011-01-12 Thomson Licensing Method and apparatus for associating metadata with content for live production
CN103000186B (zh) * 2008-07-11 2015-01-14 弗劳恩霍夫应用研究促进协会 提供时间扭曲激活信号以及使用该时间扭曲激活信号对音频信号编码
US20100205628A1 (en) * 2009-02-12 2010-08-12 Davis Bruce L Media processing methods and arrangements
CA3094520A1 (en) * 2009-05-01 2010-11-04 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
US8489774B2 (en) 2009-05-27 2013-07-16 Spot411 Technologies, Inc. Synchronized delivery of interactive content
CN101594527B (zh) * 2009-06-30 2011-01-05 成都艾索语音技术有限公司 从音频视频流中高精度检测模板的两阶段方法
US20160182971A1 (en) * 2009-12-31 2016-06-23 Flickintel, Llc Method, system and computer program product for obtaining and displaying supplemental data about a displayed movie, show, event or video game
CN102137332B (zh) * 2010-01-26 2016-03-02 中兴通讯股份有限公司 一种广播下发辅助定位数据的方法及系统
US8713604B2 (en) 2010-06-23 2014-04-29 Echostar Technologies L.L.C. Systems and methods for processing supplemental information associated with media programming
US8380334B2 (en) 2010-09-07 2013-02-19 Linear Acoustic, Inc. Carrying auxiliary data within audio signals
US9093120B2 (en) * 2011-02-10 2015-07-28 Yahoo! Inc. Audio fingerprint extraction by scaling in time and resampling
US9075806B2 (en) 2011-02-22 2015-07-07 Dolby Laboratories Licensing Corporation Alignment and re-association of metadata for media streams within a computing device
US20130151970A1 (en) 2011-06-03 2013-06-13 Maha Achour System and Methods for Distributed Multimedia Production
CN102214219B (zh) * 2011-06-07 2013-04-17 盛乐信息技术（上海）有限公司 音视频内容检索系统及其方法
US9762967B2 (en) * 2011-06-14 2017-09-12 Comcast Cable Communications, Llc System and method for presenting content with time based metadata
US20140310006A1 (en) 2011-08-29 2014-10-16 Telefonica, S.A. Method to generate audio fingerprints
US8949872B2 (en) 2011-12-20 2015-02-03 Yahoo! Inc. Audio fingerprint for content identification
US20130178966A1 (en) 2012-01-09 2013-07-11 Function(x), Inc. Method and System for Identifying a Media Program From an Audio Signal Associated With the Media Program
US9258380B2 (en) * 2012-03-02 2016-02-09 Realtek Semiconductor Corp. Cross-platform multimedia interaction system with multiple displays and dynamically-configured hierarchical servers and related method, electronic device and computer program product
EP2823626B1 (en) * 2012-03-10 2020-09-09 Headwater Partners II LLC Content broker assisting distribution of content
US9583147B2 (en) 2012-03-26 2017-02-28 Max Abecassis Second screen shopping function
US8681950B2 (en) 2012-03-28 2014-03-25 Interactive Intelligence, Inc. System and method for fingerprinting datasets
US9374374B2 (en) 2012-06-19 2016-06-21 SecureMySocial, Inc. Systems and methods for securing social media for users and businesses and rewarding for enhancing security
DK2765787T3 (da) * 2013-02-07 2020-03-09 Oticon As Fremgangsmåde til reduktion af ikke-korreleret støj i en audiobehandlingsenhed
US20150348538A1 (en) * 2013-03-14 2015-12-03 Aliphcom Speech summary and action item generation
US10212490B2 (en) * 2013-03-15 2019-02-19 DISH Technologies L.L.C. Pre-distribution identification of broadcast television content using audio fingerprints
FR3006525B1 (fr) 2013-06-04 2016-10-14 Visiware Synchronisation de contenus multimedia sur deuxieme ecran
CN104347068B (zh) 2013-08-08 2020-05-22 索尼公司 音频信号处理装置和方法以及监控系统
US9275427B1 (en) 2013-09-05 2016-03-01 Google Inc. Multi-channel audio video fingerprinting
US9286902B2 (en) * 2013-12-16 2016-03-15 Gracenote, Inc. Audio fingerprinting
US10074374B2 (en) 2014-04-07 2018-09-11 Barco N.V. Ad hoc one-time pairing of remote devices using online audio fingerprinting
KR20150116191A (ko) * 2014-04-07 2015-10-15 이현무 핑거프린트 데이터를 기반으로 자막데이터를 출력하는 방송용 자막 송출 장치
US20150319506A1 (en) * 2014-04-30 2015-11-05 Netflix, Inc. Displaying data associated with a program based on automatic recognition
US9641892B2 (en) * 2014-07-15 2017-05-02 The Nielsen Company (Us), Llc Frequency band selection and processing techniques for media source detection
US9948997B2 (en) 2015-02-25 2018-04-17 Excalibur Ip, Llc Providing interactivity options for television broadcast content
CN106558318B (zh) * 2015-09-24 2020-04-28 阿里巴巴集团控股有限公司 音频识别方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007528144A (ja) * 2003-07-11 2007-10-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチメディア信号おいてトリガーマーカとして機能するフィンガープリントを生成及び検出する方法及び装置
JP2008511844A (ja) * 2004-07-26 2008-04-17 エムツーエニー ゲゼルシャフト ミット ベシュレンクター ハフトゥング 音声信号を安定して分類する装置および方法、音声信号データベースを構築して動作させる方法、およびコンピュータプログラム
US20110063503A1 (en) * 2009-07-06 2011-03-17 Brand Steven M Synchronizing secondary content to a multimedia presentation
JP2012257221A (ja) * 2011-05-19 2012-12-27 Nippon Hoso Kyokai <Nhk> 受信機
JP2013183327A (ja) * 2012-03-02 2013-09-12 Yamaha Corp コンテンツ提供システム、コンテンツ提供方法、および、コンテンツ編集装置
US20150189347A1 (en) * 2013-12-31 2015-07-02 Google Inc. Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
WO2016009944A1 (ja) * 2014-07-18 2016-01-21 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
CA3020064A1 (en) 2017-10-12
US20170295394A1 (en) 2017-10-12
AU2022200821A1 (en) 2022-02-24
CN109565618A (zh) 2019-04-02
EP3440840A1 (en) 2019-02-13
JP6901798B2 (ja) 2021-07-14
WO2017175197A1 (en) 2017-10-12
AU2017248397B2 (en) 2022-02-24
AU2017247046B2 (en) 2022-03-03
KR102390142B1 (ko) 2022-04-25
CN114979722A (zh) 2022-08-30
KR102308651B1 (ko) 2021-10-05
AU2017247045A1 (en) 2018-11-22
JP2022160519A (ja) 2022-10-19
ES2856123T3 (es) 2021-09-27
CA3020176A1 (en) 2017-10-12
US10715879B2 (en) 2020-07-14
EP4009647A1 (en) 2022-06-08
KR102313991B1 (ko) 2021-10-18
CN109644291A (zh) 2019-04-16
CA3020176C (en) 2024-04-02
KR20210128501A (ko) 2021-10-26
EP3440564B1 (en) 2021-01-13
AU2017247046A1 (en) 2018-11-22
JP2019518248A (ja) 2019-06-27
CN109644283A (zh) 2019-04-16
US20170295412A1 (en) 2017-10-12
CN109644283B (zh) 2021-07-30
JP2019520011A (ja) 2019-07-11
JP7442211B2 (ja) 2024-03-04
WO2017175198A1 (en) 2017-10-12
EP4016528A2 (en) 2022-06-22
AU2017247045B2 (en) 2021-10-07
KR20180133894A (ko) 2018-12-17
US10397663B2 (en) 2019-08-27
KR20180133893A (ko) 2018-12-17
WO2017177232A1 (en) 2017-10-12
CN109644291B (zh) 2023-02-28
KR102304197B1 (ko) 2021-09-24
CN109565618B (zh) 2022-05-31
AU2017248397A1 (en) 2018-11-22
JP2019519869A (ja) 2019-07-11
EP4016528A3 (en) 2022-10-12
AU2023278105A1 (en) 2024-01-04
EP3440841A1 (en) 2019-02-13
EP3440564A1 (en) 2019-02-13
KR20180135464A (ko) 2018-12-20
AU2022200820A1 (en) 2022-02-24
CA3020065A1 (en) 2017-10-12
US20230071225A1 (en) 2023-03-09

Similar Documents

Publication Publication Date Title
JP7442211B2 (ja) オーディオを含むコンテンツに対する補助データの同期化
KR102585575B1 (ko) 보조 데이터로서 좌표
US11503350B2 (en) Media environment driven content distribution platform

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220517

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220517

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230816

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240213

R150 Certificate of patent or registration of utility model

Ref document number: 7442211

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150