JP2020522083A - 強化型コンテンツ追跡システム及び方法 - Google Patents

強化型コンテンツ追跡システム及び方法 Download PDF

Info

Publication number
JP2020522083A
JP2020522083A JP2019534813A JP2019534813A JP2020522083A JP 2020522083 A JP2020522083 A JP 2020522083A JP 2019534813 A JP2019534813 A JP 2019534813A JP 2019534813 A JP2019534813 A JP 2019534813A JP 2020522083 A JP2020522083 A JP 2020522083A
Authority
JP
Japan
Prior art keywords
client device
source audio
audio track
track
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019534813A
Other languages
English (en)
Other versions
JP7265987B2 (ja
Inventor
ジョセフ マイケル ウィリアム リスケ
ジョセフ マイケル ウィリアム リスケ
Original Assignee
タイム マシン キャピタル リミテッド
タイム マシン キャピタル リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by タイム マシン キャピタル リミテッド, タイム マシン キャピタル リミテッド filed Critical タイム マシン キャピタル リミテッド
Publication of JP2020522083A publication Critical patent/JP2020522083A/ja
Application granted granted Critical
Publication of JP7265987B2 publication Critical patent/JP7265987B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/16—Program or content traceability, e.g. by watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/106—Enforcing content protection by specific content processing
    • G06F21/1062—Editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/106—Enforcing content protection by specific content processing
    • G06F21/1063—Personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/107—License processing; Key processing
    • G06F21/1078—Logging; Metering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6209—Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/00166—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving measures which result in a restriction to authorised contents recorded on or reproduced from a record carrier, e.g. music or software
    • G11B20/00181—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving measures which result in a restriction to authorised contents recorded on or reproduced from a record carrier, e.g. music or software using a content identifier, e.g. an international standard recording code [ISRC] or a digital object identifier [DOI]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/0071—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a purchase action
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/00855—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a step of exchanging information with a remote server
    • G11B20/00862—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a step of exchanging information with a remote server wherein the remote server can grant the permission to use a content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/00884—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm
    • G11B20/00891—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm embedded in audio data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/038—Cross-faders therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2149—Restricted operating environment
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B2020/10935—Digital recording or reproducing wherein a time constraint must be met
    • G11B2020/10944—Real-time recording or reproducing, e.g. for ensuring seamless playback of AV data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2463/00—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
    • H04L2463/101—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00 applying security measures for digital rights management

Abstract

本発明は、図２におけるシステムで示されるように、メディアファイル、例えばデジタル音楽ファイルのクライアント側コンテンツ追跡システムに関する。オーディオ追跡−又は実際にはマルチメディア追跡−は、クライアント側の視点から遮蔽され、クライアントは、識別されたソースオーディオトラックにおける上記音楽セクションの少なくとも１つの再生に関連付けられたエントリポイント及びイグジットポイント並びに識別されたソースオーディオトラックがクライアントデバイスにおいていかに使用、実行、又は操作されたかの少なくとも一方を追跡する−次に、サーバにアップリンク報告する−ことにより、選択されたソースオーディオトラックの使用を確立するタスクを負う。サーバ機能は、報告される追跡データ及び一意の識別子へのリンクに関して、メディアファイル（例えば、ソースオーディオトラック）を選択且つ／又は識別し、クライアントデバイスにおける又はクライアントデバイスによるソースオーディオトラックの少なくとも一部の使用に関連する追跡データを記憶又は中継する−可能な場合、コンテンツ使用についての加入サービス及び課金制度の状況で−ように設計される。オーディオに関しては、クライアントデバイスにおける使用の報告により、関連するマルチメディアコンテンツを第三者データベース（１０８）からクライアントデバイスにストリーミングさせることができる。音楽の場合、完全なオーディオトラックのセクションへのエントリポイント及びセクションからのイグジットポイントの報告は、セクション間の音楽的にシームレスなオーディオ遷移と一致することができる。

Description

本発明は、一般的にはコンテンツ追跡システム及び関連する方法に関する。排他的ではないが特に、本発明は、ダウンロード又はストリーミングを通してのより広い公開配信を意図した、制作されアップロードされたメディアクリップ又はメディアファイルを管理者コントロールするように動作可能なシステム（及び方法論）に関する。より具体的には、本発明は、そのようなアップロードされたメディアクリップ及び／又はファイル内で識別されたプロプライエタリオーディオコンテンツ及び／又はプロプライエタリビデオコンテンツへのアクセスを監視及び規制し、次に、コンテンツへのコントロールを行使するシステム及び方法に関する。
音楽、映画、及びゲーム業界−特にコンテンツの提供に関連する側面−は進化しつつある。これに関して、ストリーミング又はダウンロードされるデジタルファイルとしての（例えば）音楽又はサウンドトラックの販売又は配信は、それらの市場で主流になりつつある。これは、確立されたが、現在衰退しつつある慣行的な小売店を通したコンパクトディスク及びＤＶＤ技術（又は歴史的にビニルディスク）の販売とは対照的である。
不正コピーは常に存在しており、従来、例えば、購入された物理的な記憶媒体のテープからテープへのコピーに基礎を置いていた。しかしながら、ユビキタスなデジタルストレージ及びピアツーピア（「Ｐ２Ｐ」）ファイル共有の能力により、著作権保護された芸術作品に対して著作権者が行使することができるコントロールのレベルは大きく下がった。手短に言えば、インターネット等の広域デジタルドメインを通してのメディアコンテンツ（オーディオ、映画、又は他のビジュアルメディア）の提供及び再配信により、特に著作権がある作品（又は著作権のある作品の抜粋）の追跡が現在困難であり、デジタルネットワークの基盤内、すなわち、サーバ側のプロセスにより駆動されるため、著作権者の権利の悪用又は著しい無視が比較的容易になった。
「レーベル」、すなわち、照合された著作権資料のカタログの所有者（Ｄｉｓｎｅｙ（登録商標）Ｃｏｒｐｏｒａｔｉｏｎ及びＷａｒｎｅｒ Ｍｕｓｉｃ Ｇｒｏｕｐ等）の問題は、保護されたオーディオコンテンツ及び／又はビデオコンテンツへのアクセス及び使用に妥当な料金をいかに保証するかである。この問題には商業的考慮事項が伴うが、第三者による（多くの場合、不正の）マルチメディアコンテンツの使用を識別し規制するロバストな技術システムの実施がいかに可能であるか、又は裏を返せば、二次創作物又は操作された作品を含め、レーベルの資料の使用が、正確に追跡され報告されることをレーベルがいかに保証することができるかのいずれかに帰着する。
有効な技術的追跡プロセスの結果により、レーベルは、支払い要件を主張し、続けて、保護された作品の特定の使用又は部分使用のそれぞれの適切な、例えば、比例した又は完全な支払いを得ることができる。
メディアコンテンツの使用に対するレーベルへの支払いは、実際には、適用された広告に更にリンクし得、識別プロセスは、選択された音楽又はビデオセグメントの混合、そして、それらの同じ選択され既に混合されたセグメントの、オリジナル作品への由来が往々にして曖昧であるか、又は完全に失われた更なる派生的制作への再度の続く再編集により複雑化し得る。
コンテキストを提供するために、恐らく、例えば、ＹｏｕＴｕｂｅ（登録商標）のソーシャルシェアリングプラットフォームを通した加入者とレーベル−特にレーベルのデータベース−との対話を検討する価値がある。ＹｏｕＴｕｂｅ（登録商標）は、オンラインビデを容易に見られるようにする無料ビデオ共有ウェブサイトであり、ユーザインターフェースは、他の人々と共有することができる個人制作ビデオを作成しアップロードする能力を提供する。ＹｏｕＴｕｂｅ（登録商標）自体は、人々が世界中の人々と結び付き、世界中の人々に通知し、ひらめきを与えるためのフォーラムとしてサービスを説明しており、大小のオリジナルコンテンツ制作者及び広告主の配信プラットフォームとして機能する。
加入者は、メディアファイルとして、コンテンツを作成し、コンテンツは通常、ビデオ及び／又は静止画像に設定された音楽を含む。ビデオ及び静止画像は、実際には、パーソナルビデオ記録デバイス又はカメラを使用して加入者によって独自に生成されることがあるが、ストリーミングされたデータを含むテレビ中継されたイベント、映画、又は別の第三者ソースから捕捉されたデータであることもある。次に、このメディアファイルは、加入者によりネットワークを介してアップロードされ、それにより、それ自体が、サーバ機器を含むネットワークの一部である、すなわち、ネットワークにインターフェースされるアクセス可能なデータベースに記憶することができる。
ネットワークは、ワールドワイドウェブ等の広域ネットワーク「ＷＡＮ」であってもよく、又は被制御アクセスを提供するファイアウォールを有するローカルエリアネットワーク「ＬＡＮ」であってもよい。
しかしながら、作成されたメディアファイルの記憶が一般に承認される前、そして確実に、メディアファイルのより広い普及が許される前、ゲートキーパ機能［通常、レーベルに属する人工知能「ＡＩ」プラットフォームでサポートされる］は、アップロードされたメディアファイルを分析して、音楽及び／又はビデオの構成部分を識別する。例えば、このサーバ側ＡＩは、メディアコンテンツの及びメディアコンテンツ内の捕捉サンプル（又は全トラック）をレーベルに属する更なるデータベースに記憶された参照データ、例えば、トラック及びビデオと対比することにより、適切なコンテンツ認識及びコンテンツマッチングを行う。
レーベルのデータベースは、レーベルにより設定される「明文化された使用ポリシー」も記憶し、ポリシーは、他のサービス側機器、例えば、ＹｏｕＴｕｂｅ（登録商標）等のコンテンツプラットフォームのウェブサーバにより課される。この明文化された使用ポリシーは、アップロードされたメディアファイルが、作成されたメディアファイルへのアクセスを要求する１人又は複数の第三者（又は「観客」）加入者により供給しアクセスすることができるか否かを規制する。明文化された使用ポリシーは、特定のコンテンツを改訂し、又はアップロードされたメディア全体へのアクセスを全体的に拒絶し得る。代替的には、明文化された使用ポリシーは、オンラインプロモーション又は広告が付随する（又はしない）ことを条件としてメディアコンテンツの表示を許可し得る。
さらに、メディアファイルと共に表示される広告は、例えば、記憶されたメディアファイルにアクセスしようとするアカウント所有者の論理ＭＡＣアドレスから導出されるロケーションにより、選択された人口統計又はアカウント所有者にターゲティングし得る。これらの広告、プロモーション、及び／又は公的アナウンスは、メディアファイルが要求側観客加入者／アカウント所有者へのダウンリンクストリーミングされる前に表示されてもよく、又は同時に、ストリーミングされるメディアファイルの横に表示されてもよい。さらに、記憶されたメディアファイルへのアクセス要求がるある都度、ウェブサーバはレーベルへのリポートを生成し、リポートは、記憶されたメディアファイルの少なくとも一部へのアクセスを通して再生／表示されているコンテンツを識別する。
しかしながら、問題は、（１）サーバ側コンテンツ認識が、メディアファイル内の編集された又はオリジナルの派生作品を常にピックアップするわけではなく、したがって、これらのメディアファイルが決して、明文化された使用ポリシーを受けず、且つ／又は（２）ウェブサーバが完全に又は部分的に、メディアファイルの一部又は全て内のコンテンツの、観客メンバによる使用又は実際には、メディアファイルの構成コンテンツの、追加コピーを含む任意の関連使用を報告することができず、且つ／又は（３）明文化された使用ポリシーに違反するような関連する広告生成が行われないことの適切な報告手段の欠如である。
上述したように、これらのいずれの問題も、収益の損失及び電子ファイル（ビデオであるか、オーディオであるか、それともより一般にデータであるかに関係なく）の配信及び／又は使用におけるコントロールの欠如を生じさせる。さらに、記憶されたメディアファイルは、数千ものデバイスに同時にストリーミングされ得、又はランダムな日時にストリーミングされ得るため、人間を採用して、各要求で判断することは単純に可能ではない。アクセスについて各要求を批評し、且つ／又は要求者を識別し（多数の観客から）、次に、明文化された使用ポリシーを満たす適切で相補的な広告を識別する必要があることにおいて、許容不可能な遅延が存在する。また、複数の個人のチームが、オリジナルのアップロードされたメディアファイル内又は実際に、当初アップロードされたそのメディアファイルから抽出された任意の派生メディア内の特定のコンテンツのレベル若しくは量を評価することは不可能である。
国際標準レコーディングコード（ＩＳＲＣ）は、記録を一意且つ永続的に識別するために採用される業界標準である。これは、同じアーティストにより異なるときに記録された同じ楽曲が異なる一意のＩＳＲＣコードを引きつけることを意味する。ビデオにも同様の決まりがある、ＩＳＲＣは、２文字の国コード（例えば、米国の場合、ＵＳ）に続くトラックを担当したアーティストを一意に反映する３文字の登録者コードから構築される。次に、登録者コードの後に２桁の参照年度が続き、５桁の数字がトラックを識別する。これは、例示的な一形態では、ＵＳ−ＲＴＸ−１６−００００７であることができる音楽トラックの一意の識別子を生成する。他のフォーマットも明らかに可能であるが、ＩＳＲＣは一般的であり、受け入れられている。
本発明の第１の態様によれば、１つ又は複数の音楽セクションを含む複数のソースオーディオトラックが記憶された第１のデータベースへの被制御アクセスを提供するように構成されたサーバを有するネットワークに接続可能なクライアントデバイスでの再生可能なオーディオトラックの使用を追跡する方法であって、複数のソースオーディオトラックの識別されたソースオーディオトラックにアクセスする要求をサーバに対して行うことであって、識別されたソースオーディオトラックへの要求は、クライアントデバイスによって行われる、要求をサーバに対して行うことと、識別されたソースオーディオトラックへのアクセスをクライアントデバイスに提供することであって、上記アクセスは、クライアントデバイスに、識別されたソースオーディオトラックに関連する一意の識別子を提供することを含む、アクセスをクライアントデバイスに提供することと、クライアントデバイスにおいて、識別されたソースオーディオトラックにおける上記音楽セクションの少なくとも１つの再生に関連付けられたエントリポイント及びイグジットポイント、及び識別されたソースオーディオトラックがクライアントデバイスにおいていかに使用、実行、又は操作されたかの少なくとも一方を追跡することにより、クライアントデバイスにおける識別されたソースオーディオトラックの使用を確立することと、クライアントデバイスにおいて、（ａ）エントリポイント及びイグジットポイント及び／又は（ｂ）識別されたソースオーディオトラックがクライアントデバイスにおいていかに使用、実行、又は操作されたかのうちの一方又は両方についての追跡データを生成することと、ネットワークを介してサーバに、クライアントデバイスにおける選択されたソースオーディオトラックの少なくとも一部のローカル使用のリポートを送信することであって、リポートは、追跡データに一意の識別子を関連付ける、送信することと、サーバにおいて、追跡データ及び一意の識別子への追跡データのリンクに関して、クライアントデバイスによる識別されたソースオーディオトラックの少なくとも一部の使用に関連する追跡データを記憶又は中継することを含む、方法が提供される。
追跡データは、ｉ）識別されたソースオーディオトラックの二次創作物であって、二次創作物はクライアントデバイスにおける処理により作られた、二次創作物、ｉｉ）他のメディアとの識別されたソースオーディオトラックの同期であって、同期はクライアントデバイスにおける処理により行われた、同期、及びｉｉｉ）クライアントデバイスにおける識別されたソースオーディオトラックの機械的又は電子的コピーであって、コピーはクライアントデバイスにおける処理により開始された、機械的又は電子的コピーの少なくとも１つの存在を暗示又は報告することができる。
一実施形態では、第２のデータベースは、各ソースオーディオトラックにおけるセクション間の音楽的に存立可能なクロスフェード又はカットを定義する関連オーディオファイル記述であって、各セクションにおける存立可能な各クロスフェード又はカットは、聴覚的にシームレスなクロスフェードが、選択されたセクションのエントリポイントとイグジットポイントとの間で音楽リズムを維持する音楽的時点に対応するリアルタイムでのポイントにより定義される、関連オーディオファイル記述を記憶し、ソースオーディオトラックへのアクセスを提供することは少なくとも、関連オーディオファイル記述を要求側クライアントデバイスに送信することを含み、本方法は、要求側クライアントデバイスにおいて、関連オーディオファイル記述を使用して、ソースオーディオトラックにおけるセクションの少なくとも幾つか間のクロスフェード又はカットの連続のために、リアルタイムで遷移点を識別することであって、上記遷移点のそれぞれは、聴覚的にシームレスな遷移を実現する音楽的時点に対応する、識別することと、サーバに、識別されたソースオーディオトラックの遷移点及びソースオーディオトラックの一意のトラック識別子を送信することと、サーバにおいて、遷移点及び一意のトラック識別子により識別されたソースオーディオトラックの特定の音楽セクションを解決して、特定の音楽セクションの使用を報告できるようにすることとを更に含む。
第２のデータベースは、複数のソースオーディオトラックの少なくとも幾つかのそれぞれに関連付けられたアップロードファイルを更に記憶し得、各アップロードファイルは、各ソースオーディオファイルの編集を定義し、アップロードファイルにより、上記アップロードファイルが読み取られ、クライアントデバイスによりアクセス可能なようにアップロードファイルとき、各ソースオーディオトラック内のセクションの順序を選択することができる。
本発明の別の態様では、デジタルオーディオファイルの使用を追跡するシステムであって、少なくとも１つの音楽セクションをそれぞれ含む複数のソースデジタルオーディオファイルに被制御アクセスを提供するように構成されたサーバを含み、サーバは、複数のソースデジタルオーディオファイルの識別されたソースオーディオファイルにアクセスする要求をクライアントデバイスから受信したことに応答して、識別されたソースオーディオファイルへのアクセスをクライアントデバイスに提供することと、クライアントデバイスに、アクセスが提供された上記識別されたソースオーディオトラックに関連する一意の識別子を提供することと、一意の識別子にリンクされた追跡データをクライアントデバイスから受信することであって、上記追跡データは、識別されたソースオーディオトラックにおける上記音楽セクションの少なくとも１つの、クライアントデバイスにおける再生に関連付けられたエントリポイント及びイグジットポイント、及び識別されたソースオーディオトラックがクライアントデバイスにおいていかに使用、実行、又は操作されたかの少なくとも一方に関連する、受信することと、クライアントデバイスにより要求された識別されたソースオーディオトラックの一意の識別子にリンクされた追跡データを記憶又は中継することにより、識別されたソースオーディオトラックの使用を追跡することであって、上記追跡データは、クライアントデバイスによる、識別されたソースオーディオトラックの少なくとも一部の使用に関連する、追跡することとを行うように構成される、システムが提供される。
サーバは、各ソースオーディオトラックにおけるセクション間の音楽的に存立可能なクロスフェード又はカットを定義する関連オーディオファイル記述が記憶されたデータベースへのアクセスをクライアントデバイスに提供することであって、各セクションにおける存立可能な各クロスフェード又はカットは、聴覚的にシームレスなクロスフェードが、選択されたセクションのエントリポイントとイグジットポイントとの間で音楽リズムを維持する音楽的時点に対応するリアルタイムでのポイントにより定義される、提供することと、関連オーディオファイル記述を要求側クライアントデバイスに送信することであって、オーディオファイル記述はソースオーディオトラックに関連する、送信することと、関連オーディオファイル記述が送信されたクライアントデバイスから、ソースオーディオトラックの一意の識別子を用いて参照される遷移点を受信することであって、上記遷移点は、ソースオーディオトラックにおけるセクションの少なくとも幾つか間のクロスフェード又はカットの連続をリアルタイムで識別し、上記遷移点のそれぞれは、聴覚的にシームレスな遷移を実現する音楽的時点に対応する、受信することと、遷移点及び一意のトラック識別子により識別されたソースオーディオトラックの特定の音楽セクションを解決して、特定の音楽セクションの使用を報告できるようにすることとを行うように更に構成し得る。
特定の音楽セクションに解決に応答して、サーバは（多くの実施形態において）、ソースオーディオトラック又は特定の音楽セクションに関連するものとして予め識別された標的情報を識別し、次に標的情報を通信させ得る。
好ましくは、識別されたソースオーディオトラックの遷移点は、ソースオーディオトラックの編集の表現として、サーバによりデータベースに記憶される。
実施形態は、遷移点へのアクセスをクライアントデバイスに提供して、編集を再生できるようにすることにより、ソースオーディオトラックの編集の表現を提供する。遷移点は、好ましくは、オーディオトラックにおけるメタデータとして埋め込まれる。遷移点は、ソースオーディオトラック内のパルスカウント等のリアルタイム値であり得る。当業者により、遷移を報告する他の方法が理解されよう。
識別されたソースオーディオトラック（又はデジタルメディアファイル）は、ファイルとして要求側クライアントデバイスにダウンロード又はストリーミングすることができる。
追跡データは、（ｉ）識別されたソースオーディオトラックの二次創作物であって、二次創作物はクライアントデバイスにおける処理により作られた、二次創作物、（ｉｉ）他のメディアとの識別されたソースオーディオトラックの同期であって、同期はクライアントデバイスにおける処理により行われた、同期、及び（ｉｉｉ）クライアントデバイスにおける識別されたソースオーディオトラックの機械的又は電子的コピーであって、コピーはクライアントデバイスにおける処理により開始された、機械的又は電子的コピーの少なくとも１つの存在を暗示又は報告することができる。
少なくとも１つの実施形態では、サーバは、ａ）クライアントデバイス及びｂ）クライアントデバイスが対話する、ネットワーク及びクライアントデバイスに結合されたメディアサーバの少なくとも一方により、識別されたソースオーディオトラックの使用の料金支払い責任を解決するように更に構成される。
メディアサーバは、ソーシャルメディアプラットフォーム内にあり得る。
ソースオーディオトラックの少なくとも幾つかのセクションは、表示を少なくとも１つの選択されたセクションと同期させた少なくとも１つの画像を含むマルチメディアファイルの部分を形成し得る。
本発明の第３の態様では、メディアコンテンツをクライアントデバイスで再生し、メディアコンテンツのセクションの使用を追跡する方法であって、それぞれが１つ又は複数のセクションを有する複数のデジタルメディアを含むデータベースから、選択されたデジタルメディアファイルを選択することと、通信ネットワークを介して、選択されたデジタルメディアファイルへのアクセスを受信し、選択されたデジタルメディアファイルに関連する一意の識別子を更に受信することと、クライアントデバイスにおける選択されたデジタルメディアファイルの使用を確立することであって、選択されたデジタルメディアファイルの少なくとも１つのセクションの再生に関連付けられたエントリポイント及びイグジットポイント、及び選択されたデジタルメディアファイルがクライアントデバイスにおいていかに使用、実行、又は操作されたかの少なくとも一方を追跡することにより、確立することと、（ａ）それらのエントリポイント又はイグジットポイント及び／又は（ｂ）選択されたデジタルメディアファイルがクライアントデバイスにおいていかに使用、実行、又は操作されたかの一方又は両方についての追跡データを生成することと、通信ネットワークを介して、クライアントデバイスにおける選択されたデジタルメディアの少なくとも一部のローカル使用のリポートを通信することであって、リポートは追跡データに一意の識別子を関連付ける、通信することとを含む、方法が提供される。
メディアコンテンツをクライアントデバイスで再生し、メディアコンテンツのサクションの使用を追跡する好ましい方法は、選択されたデジタルメディアファイルの関連ファイル記述を受信することであって、ファイル記述は、選択されたデジタルメディアファイルにおけるセクション間の可視のクロスフェードを定義する、受信することと、関連ファイル記述を使用して、選択されたデジタルメディアファイルにおける複数のセクションの少なくとも幾つかの選択されたセクション間のクロスフェードの連続のために、遷移点をリアルタイムで識別することと、ネットワークを介して、選択されたデジタルメディアファイルの遷移点及び一意の識別子をアップリンク送信して、特定のセクションの使用を報告できるようにすることを更に含む。
メディアコンテンツをクライアントデバイスで再生し、メディアコンテンツのセクションの使用を追跡する方法は、選択されたデジタルメディアファイルの関連オーディオファイル記述を受信することであって、オーディオファイル記述は、選択されたデジタルメディアファイルにおけるオーディオセクション間の音楽的に存立可能なクロスフェードを定義し、存立可能な各クロスフェードは、聴覚的なシームレスなクロスフェードを実行して、選択されたデジタルメディアファイルの選択されたセクション内のエントリポイントとイグジットポイントとの間で音楽リズムを維持することができる音楽的時点に対応するリアルタイムでのポイントにより定義される、定義することと、関連オーディオファイル記述を使用して、選択されたデジタルメディアファイルにおける複数のオーディオセクションの少なくとも幾つかの選択されたセクション間のクロスフェードの連続のために、遷移点をリアルタイムで識別することであって、上記遷移点のそれぞれは、聴覚的にシームレスな遷移を実現する音楽的時点に対応する、識別することと、ネットワークを介して、選択されたデジタルメディアファイルの遷移点及び一意の識別子をアップリンク送信して、特定のセクションの使用を報告できるようにすることとを更に含み得る。
本システム及び本方法は、ソースオーディオトラックのセクションを選択する能力を、編集において一緒に連続してクロスフェードして、ソースオーディオトラックの音楽的に互換性のあるセクション内のエントリポイントとイグジットポイントとの間の音楽リズムを維持することができるセクションのみに制限するように構成し得る。
ソースオーディオトラックの編集版にアクセスすることは、データリポジトリへのゲートキーパとして機能するサーバを通すことができ、編集版を再生することは、サーバを介した、編集に関連付けられた、記憶されたメタデータへのアクセスが必要であり得、メタデータは、クライアントデバイスで編集版を再生できるようにする遷移点を定義する。
本発明の更に別の態様では、クライアントでのプロセッサにより実行されると、本明細書において説明される方法のステップを実行させるコンピュータプログラム製品がある。
特定の一実施形態では、複数のセクションを含む複数のソースオーディオトラック、各ソースオーディオトラックにおけるセクション間の音楽的に存立可能なクロスフェードを定義する関連オーディオファイル記述であって、各セクションにおける存続可能な各クロスフェードは、聴覚的にシームレスなクロスフェードが、選択されたセクションのエントリポイントとイグジットポイントとの間で音楽リズムを維持する音楽的時点に対応するリアルタイムでのポイントにより定義される、関連オーディオファイル記述、複数のソースオーディオトラックの少なくとも幾つかのそれぞれが関連付けられたアップロードファイルであって、各アップロードファイルは各ソースオーディオファイルの編集を定義し、アップロードファイルにより、上記アップロードファイルが読み取られるとき、各ソースオーディオトラック内のセクションの順序を選択することができる、アップロードファイルが記憶された少なくとも１つのデータベースへの被制御アクセスを提供するように構成されたサーバを有するネットワークに接続可能なクライアントデバイスでの再生可能なオーディオトラックの音楽セクションの使用を追跡する方法であって、識別されたソースオーディオトラックにアクセスする要求をサーバに対して行うことであって、要求は要求側クライアントデバイスにより行われる、要求をサーバに対して行うことと、ソースオーディオトラックへのアクセスを要求側クライアントデバイスに提供することと、少なくとも、関連オーディオファイル記述を要求側クライアントデバイスに送信することと、要求側クライアントデバイスにおいて、関連オーディオファイル記述を使用して、ソースオーディオトラックにおけるセクションの少なくとも幾つか間のクロスフェードの連続のために、リアルタイムで遷移点を識別することであって、上記遷移点のそれぞれは、聴覚的にシームレスな遷移を実現する音楽的時点に対応する、識別することと、サーバに、識別されたソースオーディオトラックの遷移点及びソースオーディオトラックの一意のトラック識別子を送信することと、サーバにおいて、遷移点及び一意のトラック識別子により識別されたソースオーディオトラックの特定の音楽セクションを解決して、特定の音楽セクションの使用を報告できるようにすることを含む、方法が提供される。
オーディオトラックの音楽セクションの使用を追跡するシステムの一実施形態は、サーバが、複数のセクションを含む複数のソースオーディオトラック、各ソースオーディオトラックにおけるセクション間の音楽的に存立可能なクロスフェードを定義する関連オーディオファイル記述であって、各セクションにおける存続可能な各クロスフェードは、聴覚的にシームレスなクロスフェードが、選択されたセクションのエントリポイントとイグジットポイントとの間で音楽リズムを維持する音楽的時点に対応するリアルタイムでのポイントにより定義される、関連オーディオファイル記述、複数のソースオーディオトラックの少なくとも幾つかのそれぞれが関連付けられたアップロードファイルであって、各メタデータファイルは各ソースオーディオファイルの編集を定義し、メタデータファイルにより、アップロードファイルが読み取られるとき、各ソースオーディオトラック内のセクションの順序を選択することができる、アップロードファイルが記憶された少なくとも１つのデータベースへの被制御アクセスを提供するように構成され、サーバが、複数のソースオーディオトラックのユーザ識別ソースオーディオトラックへのアクセスを提供することと、識別されたユーザデバイスに、少なくとも、ユーザ識別ソースオーディオトラックに関連するオーディオファイル記述及び上記ソースオーディオトラックの一意の識別子を下流送信することと、識別されたユーザデバイスから、ｉ）識別されたユーザデバイスにアクセスが認可されたソースオーディオトラックにおける少なくとも幾つかのセクション間のクロスフェードの連続のためのリアルタイムでの遷移点であって、上記遷移点のそれぞれは、セクション間の上記聴覚的にシームレスな遷移を実現する音楽的時点に対応する、リアルタイムでの遷移点及びｉｉ）一意のトラック識別子を受信することと、遷移点及び一意のトラック識別子により識別されるソースオーディオトラックの特定の音楽セクションを解決して、特定の音楽セクションの使用を報告できるようにすることとを行うように構成される、システムを見込む。
更に別の実施形態では、オーディオトラックをクライアントデバイスで再生し、オーディオトラックの音楽セクションの使用を追跡する方法は、データベースから、複数のセクションを有するソースオーディオトラックを選択することと、選択されたオーディオトラックの関連オーディオファイル記述を受信することであって、オーディオファイル記述は、ソースオーディオトラックにおけるセクション間の音楽的に存立可能なクロスフェードを定義し、存立可能な各クロスフェードは、聴覚的にシームレスなクロスフェードを実行して、選択されたオーディオトラックの選択されたセクション内のエントリポイントとイグジットポイントとの間で音楽リズムを維持することができる音楽的時点に対応するリアルタイムでのポイントにより定義される、受信することと、関連オーディオファイル記述を使用して、ソースオーディオトラックにおける複数のセクションの少なくとも幾つかの選択されたセクション間のクロスフェードの連続のためのリアルタイムでの遷移点を識別することであって、上記遷移点のそれぞれは、聴覚的にシームレスな遷移を実現する音楽的時点に対応する、識別することと、ネットワークを介してデバイスに結合されたサーバに、識別されたソースオーディオトラックの背に点及びソースオーディオトラックの一意のトラック識別子を送信して、特定の音楽セクションの使用を報告できるようにすることを含む。
方法の態様は、クライアントデバイス及びサーバにおけるプロセッサにより実行可能なコンピュータプログラム製品として実施することができる。
有利なことに、本発明は、オーディオトラック（等）の構成要素と、それらの構成要素の編集及び再編成の数に関係なく、オリジナルソースファイルとの関係を維持するメタデータの使用を通して、メディアコンテンツ、特にオーディオコンテンツ（しかし、本発明の原理はデジタルドメインの他の形態のメディアにも適用可能である）を追跡するクライアント型メカニズムを提供する。本発明の実施形態により、最初、非連続であったセクション、すなわち、異なるサンプリングスライス間のクロスフェードが、音楽的に有意味な各オーディオセクションを音楽的時間特性及びリアルタイム特性（聴覚的にシームレスなクロスフェードを達成するために、両方とも必要である）の両方に分析するオーディオファイル記述の初期供給を通してサポートされる聴覚的にシームレスな様式でのオーディオファイルの編集が可能である。採用されたオリジナルファイルに対するクロスフェードを定義するリアルタイムカット遷移データを埋め込むことにより、編集されたファイルを再生するデバイスは、特定の構成（オーディオ）セクションの使用に基づいてリポートをアップリンクすることができる。次に、このリポートはサーバ側で使用されて、コンテンツ追跡に関する更なるリポートを生成し、更なるリポートは、報告された追跡イベントに基づいてライセンシングプログラムを管理するように機能し、且つ／又はアップリンクリポートの送信元のデバイスにセクション関連補助メディアコンテンツを供給させる商用サーバに送信することができる。有益なことに、オーディオ（及び／又は場合によってはビデオ）の特定のセクションの特定の使用を明示的に識別可能なことに関わる粒度の改善により、本発明のシステムは、アセンブルされ再生されたメディアファイルの異なるセクションに比例した収益共有を与えることができる。したがって、本発明は、既存のサーバ指向解決策から、コンテンツ追跡に関連付けられた基盤を簡易化し、使用を捕捉し報告する能力の増大（そのような使用が、従来、オーディオの使用されたセクションの由来についての関連情報の損失に繋がっていた編集したものをまた編集した（ａｎ ｅｄｉｔ−ｏｆ−ａｎ−ｅｄｉｔ）状況後の場合であっても）に伴ってコンテンツ報告が改善されるという点でロバスト性の増大を提供する。
本発明の例示的な実施形態について、添付図面を参照してこれより説明する。
図１は、従来のメディア共有システムの概略表現である。 図２は、好ましい実施形態のコンテンツアセンブリ、輸送、及び追跡システムの概略表現である。 図３は、現実世界のイベントと音楽のセクション等のオーディオの個片との間に確立される関係を表す図であり、関係は本発明により確立される。 図４は、本発明の好ましい実施形態によるシステムの概略表現である。 図５は、図４のシステム内で利用されるセクションアセンブリインテリジェンスの機能図である。 図６は、好ましい作成プロセスによるトラックアセンブリ及びメタデータ作成の機能図である。 図７は、オーディオセクション内の異なる音楽テーマからのイグジットポイントと異なる音楽テーマへのエントリポイントとの間の好ましいカット戦略の時間ドメイン表現である。 図８ａ、図８ｂおよび図８ｃは、好ましい実施形態による、共通時間ベース及び各オンセットイベント、クロスフェード、又はカットに対するアクティブオーディオセクションと宛先オーディオセクションとの間のクロスフェード又はカットを示す。 図９は、図９ａ〜図９ｃで構成され、異なる音楽セクションのスペクトル表現であり、それらセクションは、本発明の好ましい実施形態により決定されたイグジットポイント及びエントリポイントを有する。 図９は、図９ａ〜図９ｃで構成され、異なる音楽セクションのスペクトル表現であり、それらセクションは、本発明の好ましい実施形態により決定されたイグジットポイント及びエントリポイントを有する。 図１０は、異なる音楽セクションにおける異なる時間シグネチャ間の相対タイミングを示すタイミング図である。 図１１は、図１１ａ〜図１１ｄで構成され、オンセットが決定される好ましいプロセスを示し、このプロセスは、図８ａ〜図８ｃに例示されるクロスフェード又はカットを行うに当たり好ましいシステムにより利用される。 図１２は、好ましい実施形態によるトラックデータベースの例示的な構成である。
図１は、従来のメディア共有システム１０の概略表現である。図１において、ユーザは、コンピュータ１２（又はスマートフォン又はＰＤＡ等）を利用して、メディアファイル１８を構築し、次に、ネットワーク１４を介してアップロード（１６）する。メディアファイルは、通常、オーディオ２２並びに／或いは静止画像及び／又はビデオを含む画像２４の少なくとも一方の形態のコンテンツ２０を含む。画像２４は、ビデオカメラ等のローカルソース２６からコンピュータに入力し得、ウェブベース又はコンピュータ１２にローカルにインストールされた何らかの形態の編集アプリケーション２８を受けることができる。オーディオのメディアファイルに関して、これは、ローカルに得られることもあれば、又はリモートデータリポジトリ若しくはデータベースにアクセスし、次に、資料をストリーミングして、ローカル編集を可能にすることから取得することができる。この場合、メディアファイル１８の構成要素部分の由来は重要ではなく、メディアファイル１８が、加入メディアコンテンツプロバイダ３０によりサポートされる何らかの形態のチャネルを通して公開したいデータ−完全な手つかずのオリジナル芸術作品ではなく完全なオーディオトラック又はビデオクリップのサンプル／部分であり得る−を含むと言うだけで十分である。ここでも、コンテンツプロバイダ３０への加入が有料であるか、それとも無料であるかは重要ではないが、いずれの場合でも、ユーザは通常、ＹｏｕＴｕｂｅ（登録商標）等のコンテンツプロバイダが容易に理解される状況で容易に理解されるように、何らかの形態の登録を有する。通常、加入メディアコンテンツプロバイダ３０は、サーバ及び関連するデータベースであり、サーバは、何らかの適切なインターフェース及び動作制御論理（まとめてコントローラモジュール３１で表される）を有する。アクセス可能なデータベースは、加入メディアコンテンツプロバイダ３０にローカルであってもよく、又はリモートであってもよい。
ネットワーク１４の性質について、これは、ＷＡＮ、ＬＡＮ、ＰＬＭＮ、又は有線公衆網のいずれか１つ又は混合であることができ、データベースがネットワーク１４を通してアクセスされるようにより広く拡張し得る。ネットワーク１４は単に、メディアファイル１８の生成に使用されるコンピュータ１２及びユーザによりアセンブルされアップロードされたメディアファイル１８の一部又は全てをダウンロード、ストリーミング、他の方法でリッスン、又は閲覧したい、ラップトップ３８で例示される等の複数の加入者機器又は観客機器等の様々な基盤及び加入者機器の相互接続及び対話を可能にするオンデマンド通信パス及び回路３２〜３６を提供する。
ここで、メディアファイル１８がコンピュータ１２においてユーザによってアセンブルされ、加入メディアコンテンツプロバイダ３０に向けてアドレス指定されたと仮定すると、メディアファイルは、観客３８による記憶及びより広い第三者アクセスの適宜性を識別するように問い合わせを受ける。これに関して、サーバ側ゲートキーパ機能４０（通常、人工知能に基づく）が加入メディアコンテンツプロバイダ３０により呼び出される。ゲートキーパ機能４０は、加入メディアコンテンツプロバイダ３０内にあることもあれば、又は上記レーベル等の異なる商業エンティティに属する外部サーバに配置されることもある。ゲートキーパ機能４０は、アップロードされたメディアファイルの構成部分（又は全体）のコンテンツ認識／コンテンツマッチングを実行するように構成され、次に、アップロードされたメディアファイル１８−実際には各メディアファイル１８−を記憶することができるか否か（及びどの程度まで記憶できるか）並びにアップロードされた各メディアファイル１８の部分又は全てがいかに閲覧できるか、又はアクセスできるかについての判断に寄与する。これに関して、ゲートキーパ機能４０は、加入メディアコンテンツプロバイダ３０及び中央又は分散データベース４４の両方に結合され、中央又は分散データベース４４には、ｉ）多数のアップロードされた異なるメディアファイル、ｉｉ）オリジナルオーディオトラック及び／又はビデオ及び／又は静止画像の参照データベース、及びｉｉｉ）通常、人口統計及び／又は住所データに基づいて個人又はグループに相互参照される広告又はプロモーションコンテンツを含む広告データベースが記憶される。
ゲートキーパ機能４０は商用サーバ４６に結合することもでき、そして商用サーバ４６は、加入メディアコンテンツプロバイダ３０、中央又は分散データベース４４、及びアップロードされたメディアファイルが誰に見られるべきか及びアップロードされたメディアファイルが見られるべきであるか否かを定義する１組の規則、すなわち、明文化された使用ポリシー５０を含む何らかの形態のアクセス可能なメモリ５８と通信する。明文化された使用ポリシー５０は、通常、レーベル（一般に、通常、破線５２で囲まれた機能幾つか又は全てにより表される）により設定される。
ゲートキーパ機能４０に戻ると、アップロードされたメディアファイル１８は、メディアファイルの全体又は構成部分とオリジナル芸術作品に関連する予め記憶された参照資料との比較を通して批評されカテゴリ化される。そのような比較技法は周知であり、従来のシステムがいかに機能するかのみに関連するため、詳細に説明する必要はない。しかしながら、手短に言えば、ゲートキーパ機能４０は基本的に、アップロードされたメディアファイル１８の分析されたセクションと参照データとの類似性及び差異量を調べる。次に、アップロードされたメディアファイルがいかに参照されるべきか（関連すると判断されたオリジナル芸術作品に対して）及びアップロードされたメディアファイルへのアクセスがいかにコントロールされるべきか、例えば、そのコンテンツのいずれかが、識別された又は相補的な広告（広告データベースに記憶される）へのアクセスありで示されるか、それともなしで示されるか又はそのコンテンツを改訂すべきか、それとも全体的に差し止めるべきかが決定される。したがって、明文化された使用ポリシー５０は、レーベル定義可能なポリシーであり、［記憶された］アップロードされた各メディアファイル１８への続くアクセスに基づいてレーベルの収益を生み出すように機能するポリシーである。
アクセスに関して、図１は、ネットワーク１４を通して加入メディアコンテンツプロバイダ３０に接続された、ラップトップ３８等の第三者端末を示す。当然ながら、時により、システムに接続された多くの第三者端末が存在することになる。使用に際して、第三者端末はユーザにより操作され、ユーザは、データベース４４にアップロードされ、今では承認されデータベース４４に記憶されているメディアファイルのアドレスを入力するか、又は他の方法でメディアファイルを検索する。加入メディアコンテンツプロバイダ３０は、アクセス要求を管理し、要求（記憶）されたメディアファイルへのパスを供給して、第三者端末でのメディアファイルの操作及び／又は閲覧を許可する。パスは、直接ポイントツーポイント接続であり得るが、通常、間接的、すなわち、加入メディアコンテンツプロバイダ３０が介在する。メディアファイルへのアクセスが要求された時点で、又は第三者端末へのメディアファイルのストリーミング若しくはダウンロードが行われるとき、リポート６０がサーバ側システムにより生成され、リポート６０は商用サーバ４６に通信される。また、要求されたメディアファイルの再生又はダウンロードと略同時に、アップロードされ記憶されたメディアファイル１８に関連付けられた明文化された使用ポリシーがインスタント化され、適用されて、第三者端末でのメディアファイルの閲覧へのダウンロードに適切な広告を通信させる（又は改訂を適用させる）。リポート６０は、オリジナル芸術作品の使用に対してイベントログをインクリメントできるようにし、オリジナル芸術作品の使用に対してライセンス料金の支払いを加入メディアコンテンツプロバイダ３０又は第三者端末のユーザの一方又は他方に課せられるようにする。アップロードされたデータファイル１８と、オリジナル芸術作品及び明文化された使用ポリシーの両方との記録された相互参照により自動的に、適切な広告が第三者端末にダウンリンクで通信され、データベースへのアクセスにより、即時又は複合イベント呼び出し目的で商用サーバ４６によりリポート６０が記録される（記憶装置４８に）ことが単純であり得る。
したがって、図１は、サーバ側のコンテンツ識別及び追跡を示し、そのシステム構成は、上述したように報告の省略又は未記録におけるエラーを受けやすい。
Ｉ．コンテンツ追跡
それとは対照的に、本発明は、識別情報を追跡するクライアント中心手法を利用する。図２のシステム構成は、図１と幾つかの類似性を共有するが、追跡及び報告プロトコルの大きな簡易化並びに基盤構成要素、追跡特徴付け、及び報告複雑性に関連する簡易化がある。ネットワーク１４のトポロジにより、システムの様々なモジュール及び構成要素は対話しデータ通信することができ、これは、基盤側から、典型的購入例示的な機能接続を示す相互接続を用いて、構成要素を物理的に分散することができることを意味する。
図２では、コンピュータ１２のユーザはなお、コンテンツを編集して（２８）メディアファイルをアセンブルし生成することができるが、コンテンツは潜在的に、例えば、ローカルビデオカメラ１０２又は他の画像ライブラリ（リモートであり、オンラインであり得る）とは別にソーシングされ、一方、オーディオトラックは要求され、Ｍａｓｈｔｒａｘｘデータベース１０４からダウンロードされる。Ｍａｓｈｔｒａｘｘオーディオトラック−Ｍａｓｈｔｒａｘｘデータベース１０４に記憶される−は、トラックへのカット及びトラックからのカットの両方に適するビート遷移点に関連するメタデータを含み、このメタデータにより、Ｍａｓｈｔｒａｘｘシステムは、共通の音楽特性を有する多くのトラックを一緒にシームレスに並び替え、結合することができる。メタデータの性質はより詳細に後述し、ＰＣＴ／ＧＢ２０１６／０５１８６２号明細書に詳述されており、これは全体的に参照により本明細書に援用される。Ｍａｓｈｔｒａｘｘメタデータは、オーディオトラックの各連続セクションに関連し、各オーディオトラック内の各オーディオセクションに一意で永続的な識別子を提供する。したがって、各セクションは、いかに使用されるか又はいかに操作されるかに関係なく、一意で永続的な識別子を通して独立してトレース可能であり、その理由は、メタデータはセクションに永続的に関連付けられ、システム内の参照データベースが一意で永続的な各識別子の記録を維持するためである。したがって、任意のオーディオを含むＭａｓｈｔｒａｘｘメディアファイルのアセンブルは常に、オーディオセクションがコピーのコピーから抽出されるか否かに関係なく、Ｍａｓｈｔｒａｘｘオーディオセクションの発端の記録を含む。換言すれば、オリジナルＭａｓｈｔｒａｘｘオーディオの側面（及び関連するメタデータ）を含む二次創作物は引き続き一意に識別可能であり、さらに、それらの特定の使用を追跡し報告することができる。
これに関して、「セクション」は、第１のオーディオセクションへの土台をなす音楽ビート又は音楽リズムへのユーザ知覚可能な変更を行わない別のオーディオセクションへのシームレスな結合を損なわずにはより短い長さ（音楽時間単位で）に分割することができない１つのオーディオ又はオーディオの１つのサンプルを意味する。当然ながら、セクションは任意の長さのものを作ることができ、これらの長さは、ソースオーディオトラックの注釈者の自由選択で設定されるが、それにもかかわらず、セクションは、クロスフェード中、各セクションへのエントリ及び各セクションからのイグジットが可能な音楽的意味及び属性を有する。したがって、「Ｍａｓｈｔｒａｘｘメタデータファイル」という用語は、実施形態に応じて、少なくとも１つのオーディオトラック内のオーディオセクションの連結及び並び替えを時間的に定義する拡張Ｍａｓｈｔｒａｘｘメタデータに関連することができるが、この用語は、編集済み関連オーディオトラック又は編集済みマルチメディア画像及びオーディオトラック編集の一方又は両方と組み合わせて埋め込みＭａｓｈｔｒａｘｘメタデータの両方を含む合成ファイルに関連することもできる。したがって、Ｍａｓｈｔｒａｘｘメタデータファイルは、メタデータがダウンリンクで通信される（すなわち、メタデータが「オーディオファイル記述」である場合、オーディオトラックを潜在的に編集又は再生する目的で）か、それともオーディオトラックの再生及び／又はソースオーディオファイルの編集の記述の報告があるアップリンクで通信されるかに応じて、２つの代替の形態の一方をとり得る。
図２に戻ると、ユーザは（通常）、レーベルに属するか、若しくはレーベルにより管理されるレーベルのプロプライエタリデータベース１０７、例えば、ｉＴｕｎｅｓから又はそれ自体がレーベルからオリジナルオーディオトラックを取得したＭａｓｈｔｒａｘｘ音楽編集・アクセスデータベース（Ｍａｓｈｔｒａｘｘデータベース１０４及びアップロードデータベース１０６として図２に示されている）からソースオーディオトラックを取得する。レーベルのプロプライエタリデータベースのロケーションは、重要ではなく、実際に、Ｍａｓｈｔｒａｘｘ音楽編集・アクセスデータベース１０４〜１０６の一部であることができる。ソースオーディオの初期ダウンロードの背後にある理由は単に、ユーザが関心のあるトラックを識別できるようにすることである。この識別は、オリジナルトラックの再生を通した且つ／又は任意のオーディオトラックに組み込まれるか又は関連付けられた一意識別ＩＳＲＣの形態で適用された業界標準メタデータの検索を通したオーディオ認識を含み得る。当然ながら、ユーザは実際に、専用音楽データベースを直接開き、二次創作物をダウンロード（又はストリーミング）することができるが、二次編集はオリジナルソースオーディオトラックと異なる音楽アレンジを有するため、二次「編集」が潜在的に誤認識される恐れがあることが理解されよう。したがって、オリジナルソースオーディオトラックを用いて編集プロセスを開始することが好ましいことがあるが、これは全体的に任意選択的であり、「編集したものの編集」は本発明の実施形態により意図される。
ソーストラックを続けて、編集プロセスで使用することもできる。
ユーザのコンピュータ、スマートフォン等にインストールされた編集アプリ１０１は、ソースオーディオトラック及びＭａｓｈｔｒａｘｘ音楽編集・アクセスデータベースの少なくとも一方へのアクセスを可能にするインターフェースをユーザに提供する。編集アプリ１０１は更に、ウェブブラウザを通してアクセスすることもでき、したがって、ユーザのコンピュータに特定のソフトウェアは必要なく、したがって、編集アプリ１０１は一時的なものである。編集アプリ１０１はまた、データへのアップロードも可能にし、アップロードは、関連する拡張Ｍａｓｈｔｒａｘｘメタデータを有する複合メディアファイルであり得るが、代替的には、アップロードは単に、拡張Ｍａｓｈｔｒａｘｘメタデータファイル又はソースオーディオファイル若しくはオーディオビデオ編纂の少なくともセグメント化再アレンジをサポートするソースオーディオトラック若しくは編纂メディアファイルに永続的に関連付けられた関連ローカル発生イベントの報告「ログ」であることができる。
Ａ）オーディオファイル記述
単に説明を目的として、目的が、現在の編集の再編集（これも本発明の実施形態によりサポートされる）ではなくソースオーディオトラックの初回の編集であると仮定する。Ｍａｓｈｔｒａｘｘ編集アプリ１０１は、要求をＭａｓｈｔｒａｘｘサーバ１１１に送信し、Ｍａｓｈｔｒａｘｘサーバ１１１はそれに応答して、少なくとも、選択されたソースオーディオファイルのオーディオファイル記述を供給する。オーディオファイル記述は、ソーストラック内のセクションをシームレスにいかに一緒にクロスフェードさせることができるかの完全な定義を含み、したがって、記述は、ソーストラックの識別された各セクションを音楽時間及びリアルタイムの両方に関していかに定義することができるかの詳細を含む。音楽時間での定義は、音楽的な認識できるショックを聴き手に与えずに何を一緒にマッシュ／カットすることができるかを説明するために必要であり、一方、リアルタイムでの定義は、デジタル処理ドメインにおいて、カットを実際に生じさせなければならないとき（音楽バー（ｍｕｓｉｃａｌ ｂａｒ）内のパルスのサンプリングレート空間に対して）を精密に識別する。これらの２つの異なる時間尺度は、リアルタイム表現に交換可能ではないセマンティクスを音楽時間が含むため、必要である。さらに、オーディオファイル記述は、サブファイル名等の補助情報及び同じトラックにおける他の音楽スライスに対する音楽の特定のセクション（又は「スライス」）のカテゴリ化に役立つように適用される主観的評価情報を含むことができる。例えば、トラックは、イントロ、マルチコーラス、マルチバース、及びアウトロを含み得、イントロとアウトロ、１つのコーラス（又は複数のコーラス）、及び１つのバース又は複数のバースのそれぞれとの間には相対的音楽意義（又は「強度」）があり、実際には、バースとコーラスとの間に相対強度がある（識別可能な音楽セクションの中でも特に）。さらに、例えば、複数のコーラスの共通のテーマ内で、あるコーラスが、別の、同じく言えば時間変位コーラスに相対して高い音楽意義を有するように知覚されることが可能であり、したがって、共通のテーマのより細かいレベルの区別をオーディオファイル記述の構造内で定義し得る。
オーディオファイル記述は、関連するソーストラックに適用される場合、編集及び再結合を目的として、ソーストラックをセクタ化（又は「セグメント化」）できるようにする。したがって、オーディオファイル記述、すなわち、トラックの各セクションに帰するメタデータは、トラックのどこのセクションをいかに、異なる順序及び音楽（オーディオ）不快感がないか、又は略ない様式等で再アセンブルすることができるかを定義する。
オーディオファイル記述に関して、各トラックは、定義された相対音楽強度又はテーマ、例えば、イントロ、コーラス、バース、アウトロ等をそれぞれ有するセクションにセグメント化される。そのようなセグメント化又はセクタ化は事実上、各オーディオトラックの構成要素部分の高レベル特性である。実際には、バース、コーラス、イントロ、及びアウトロのそれぞれはそれら自体、音楽の視点から、本明細書に記載される技法を用いて続けて一緒に編み直し、追跡することができるより小さなセクションに分割可能であり得る−実際に、一般に分割可能である。本開示全体により対処される問題には、時間分離セクションを効率的且つシームレスにいかにカットし再結合するかがある。したがって、各トラックの好ましい特徴付けは、各トラックを可能な限り小さなセクション−又は実際的な実施形態では、注釈者にとって音楽的に意味があるセクション−に分割する−この分割は、手動で（注釈者が人間の場合）又は人工知能の適用により（処理の適用規則がセクション長を決める）達成される。
したがって、各トラックのオーディオファイル記述は、以下の少なくとも幾つか、通常、全てを含む。
１．「スライス」のディクショナリ、すなわち、識別されたトラック内の全てのスライスを列挙する「セクション」詳細。
２．識別されたトラックのスライスごとに、サンプリングレートに基づく数値である「ｃｒｏｓｓ＿ｆａｄｅ＿ｄｕｒａｔｉｏｎ」。ｃｒｏｓｓ＿ｆａｄｅ＿ｄｕｒａｔｉｏｎは変数であり、同じトラックの第１のセクション又は異なるユーザ選択のセクションからのフェードに使用される時間に関連する。なお、ｃｒｏｓｓ＿ｆａｄｅ＿ｄｕｒａｔｉｏｎは、トラックがカテゴリ化されるとき、システム管理者により選択され、持続時間は、異なる音楽ジャンル間で変化する可聴クロスフェード要件を反映するように選択される。例えば、ポップ音楽では、典型的なクロスフェードは、毎秒４４１００サンプルという公称サンプリングレートで３ミリ秒にわたり生じ得る。逆に、クラシック音楽でのセクション間のフェードは一般に、ポップ音楽よりもかなり長い時間にわたり生じ、その他の点では、カットは聴覚的に容易に知覚可能である。
３．セクション／スライス（操作目的で、名前列を提供し得る）ごとに、音楽時間及び実際の時間の両方でセクション／スライスを定義するタイミング特性が、ソースオーディオトラックを調べることにより埋められる、割り当てられたフィールドに存在する。更に具体的には、そのようなフィールドは以下を含む：
ａ．「ｓａｍｐｌｅ＿ｓｔａｒｔ」：リアルタイムで、サンプリングレートに従って、スライスの精密な開始ポイントを定義する整数値として表される。例えば、これは、２７，６０３というサンプル数であり得る。
ｂ．「サンプル持続時間」：特定のスライス内のサンプルの総数、例えば、サンプリングレート４４，１００で、実際の時間における４３６３．９ミリ秒に対応する１９２，４５０を定義する数値として表される。これは実際に、任意選択的なフィールドであり、実施態様固有であり、その理由は、この情報はメタデータ内の他の場所、特に「長さ」パラメータ内にも存在するためである。
ｃ．「ｐｏｓｉｔｉｏｎ」：バーに関して、ひいては「ビート」、「フラクション」、「パルス」、及び「テンポ」に関して定義される。「位置」とは、リアルタイムラインでの「ｓａｍｐｌｅ＿ｓｔａｒｔ」の抽象的な「数値」ではなく文脈的な音楽開始ポイントを提供する音楽時間での記述である。したがって、「位置」の使用は、シームレスなオーディの意味で、端から端まで内を結合することができるかを定義し、ビート、バー、及びフラクションの使用は、オリジナルオーディオトラックのソースの性質及び発端を補償する。例えば、トラックがＭａｓｈｔｒａｘｘデータベースに追加され、そのトラックがｉＴｕｎｅｓから（音楽リポジトリＴｉｄａｌではなく）取得された場合、イベントのリアルタイムでの位置は対応しないことがある。逆に、音楽時間（すなわち、バー、ビート、及びフラクション）に関して同じイベントを定義することは、同期と、異なる注釈者により及び／又は異なるサンプリングレートでアセンブルされたソーストラックを可能にする共通時間ベースの生成を可能にする。換言すれば、２つの異なるデータベースリポジトリは、公称的に同じ記録に対して２つの異なるオーディオファイルを有することができる。したがって、位置パラメータは、これらのタイミング差を補償して、バー、ビート、及びフラクションを効率的に位置合わせする。
ｄ．「ｌｅｎｇｔｈ」：単にカットを行う必要がある場所（「ｓａｍｐｌｅ＿ｄｕｒａｔｉｏｎ」）ではなく、ｓａｍｐｌｅ＿ｄｕｒａｔｉｏｎに対応する音楽時間表現及び実際に音楽的に何がカットできるかの定義。長さは重要なファクタであり、バー、ビート、及びフラクションにより定義されるカットイベントの音楽時間での遷移を定義する。したがって、実施の視点から、バー及びビートはそれぞれ整数値であり、一方、フラクションは浮動小数点数である。「長さ」はまた、好ましくは、持続時間及び絶対時間に関しても定義され、位置は、関連パルスの総数で表現される。例えば、処理目的で、バーは、バーの持続時間長がリアルタイムにおいて、実際には、オーディオトラックが時間シグネチャを変え得、これが、セクション間の編集でもこの時間シグネチャの変化を考慮する必要があり得ることを意味することに基づいて変わるという理解の下、例えば、５７６個のサブ分割（「パルス」と呼ばれる）を有するように設定し得る。したがって、パルスは、共通又は複合音楽時間においてビート又はフラクションを表すことができる最も低い時間参照共通性質であると見なすことができる。したがって、いかなる編集も音楽的意味のポイント及び音楽時間において行われなければならないため、「長さ」は、互換性のあるセクション間でクロスフェード／編集を行えるようにすることから、重要である。したがって、音楽時間において、バー、ビート、及びフラクションは、時間の任意の絶対的尺度、例えば、ｓａｍｐｌｅ＿ｄｕｒａｔｉｏｎにおいて失われた意味的情報を含む。好ましい実施の視点から、パルスは（バー及びビートのように）整数値である。「ｌｅｎｇｔｈ」は、好ましくは、ｌｅｎｇｔｈ＿ｉｎ＿ｓａｍｐｌｅｓと呼ばれるリアルタイムでの尺度を含み、これは、パルス数と、音楽セクションの時間シグネチャ及びテンポの両方との積の関数であるリアルタイム数である。したがって、「ｌｅｎｇｔｈ」は、持続時間の音楽時間表現である。「ｌｅｎｇｔｈ」は、各セクション／スライスの属性であるが、各上拍及びイグジットポイントの属性でもある（以下参照）。音楽時間における持続時間の表現は、「サンプル」単位とは対照的に、編集を行うことができる場所の決定に重要である。したがって、「ｌｅｎｇｔｈ」は、各音楽セクションにおける複数の属性の記述に適用可能であり、これらの属性は、セクション、上拍、及びイグジットポイントを含む。
ｅ．「ａｎａｃｒｕｓｉｓ＿ｌｉｓｔ」：セクションごとに、少なくとも１つの上拍があり、各上拍自体は、長さ（上記参照）、「ｓａｍｐｌｅ＿ｏｆｆｓｅｔ」、及び「ａｎａｃｒｕｓｉｓ＿ｃｒｏｓｓ＿ｆａｄｅ＿ｄｕｒａｔｉｏｎ」により定義される。サンプルオフセットは、サンプリングレートの整数値であり、上拍と選択された音楽位置（後に図７及び図９に示される抽象的なエントリ／イグジットポイントである）との間のサンプルの整数値として時間オフセットを反映する。ａｎａｃｒｕｓｉｓ＿ｃｒｏｓｓ＿ｆａｄｅ＿ｄｕｒａｔｉｏｎは、サンプルの整数値であり、特定の上拍の特定のクロスフェードに関連するオーバーライド位置を反映し、したがって、ａｎａｃｒｕｓｉｓ＿ｆａｄｅ＿ｄｕｒａｔｉｏｎは、特定の音楽ジャンルに付随する、一般に設定されるｃｒｏｓｓ＿ｆａｄｅ＿ｄｕｒａｔｉｏｎの代わりとなる。
ｆ．「ｅｘｉｔ＿ｐｏｉｎｔ＿ｌｉｓｔ」：セクションごとに、図９を参照して続けて説明するように、少なくとも１つのイグジットポイントがある。ここでも、各イグジットポイントは、音楽時間における「ｌｅｎｇｔｈ」パラメータに関して説明する。続けて説明するように、セクションは、クロスフェードに可能な多くのイグジットポイント（すなわち、上拍）を有し得るが、イグジット上拍の音楽長は、時間変位スライスへの次のエントリポイントとして使用される上拍の長さに一致しなければならない。カットの場合、長さは、好ましくは、パルスカウントに基づいて遷移に相対し、その理由は、意味的音楽情報は長さ内に存在するが、パルスに関連付けられた絶対数には存在しないためである。
ｇ．「ｓｌｉｃｅ＿ｉｎｔｅｎｓｉｔｙ」：これは実際に、上述したように、オーディオファイル記述のアセンブルを担当する音楽技術者（又はＡＩ）により割り当てられる主観的な値である。示したように、これは通常、全体トラックの状況内のセクションの側面又はテーマのトレース／識別に使用することができる、１から、例えば７までの整数値である。ｓｌｉｃｅ＿ｉｎｔｅｎｓｉｔｙに関連付けられた補助データはカラー値を含み得、カラー値により、ソフトウェアは、オーディオの波形表現内の異なるセクション、すなわち、異なる強度をカラーで表せるようにするが、オーディオの互換性のあるクロスフェードセクションをカラーで（単に白黒輪郭波形ではなく）表せるようにする。当然ながら、他の視覚的識別方式を使用することも可能である。例えば、図３の波形のセクションＴ１、Ｔ２、及びＴ４は、オーディオトラックの変化する側面を反映するように２つ以上の異なる色で示すことができ、一方、セクションＴ３の並べ替えは、オリジナルトラックにおいてＴ２がＴ３に先行するにもかかわらず、続けてセクションＴ２にフェードする選択肢をなくすことができ得る。これにより、フェードオプションとして有効な選択解除の結果として、セクションＴ２は強調解除され、例えば、前に適用された色が除去される。
ｈ．「ｆｒｅｅ−ｆｏｒｍ ｐｒｏｐｅｒｔｉｅｓ」：音楽若しくは楽器機能を識別し、又は編集済みオーディオファイルを補足ビデオデータと位置合わせするように機能することができるメタデータを記憶するように構成された１つ又は複数の補助フィールドにより実現される。通常、これらのフィールドは、精密タイミングエントリポイントを表し、したがって、各フィールドは、例えば、ビデオ（等）の開始ポイントを取り付け、トリガーすることができる特定のサンプルを指す整数である。
任意選択的に、正統トラック詳細及び時間シグネチャデータ等の他の情報をオーディオファイル記述に含め得る。
したがって、オーディオファイル記述は、正統オーディオトラックの再編集に必要な全てのデータを含む構造化データストアである。したがって、オーディオファイル記述は、例えば、ＪＳＯＮファイルとしてエクスポートし得るが、他の符号化方式も等しく実現可能である。
本発明によるコンテンツ追跡及びその様々な実施形態が実行されるプロセスをより詳細に検討する前に、まとめとして、各オーディオファイル記述が音楽トラックの各セクション又はスライスの適用された注釈付き詳細を含むことを当業者は理解し、これらの適用された（メタデータ）詳細は、全体トラック内の他のセクションとの音楽互換性に関して特徴の属性を表現又は反映することにより各セクションを特徴付ける。したがって、各セクションの詳細は、メタデータにおいて、各セクションをいかに使用することができるかを説明する。したがって、最も重要は、エントリ上拍のリスト（「ａｎａｃｒｕｓｉｓ＿ｌｉｓｔ」）及びイグジットのリスト（「ｅｘｉｔ＿ｐｏｉｎｔ＿ｌｉｓｔ」）に関連し、これらはそれぞれ、１つ又は複数の関連する上拍の定義を含む。各上拍は、音楽時間にけるバー、ビート、及びフラクション単位の長さを使用して記述され、次に、リアルタイム遷移を処理し精密に識別するために、パルス単位及びサンプル単位でも記述される。パルス単位の長さを使用して、どのエントリ上拍がどのイグジット上拍に一致することができるかを判断する。次に、ソフトウェアはサンプル単位の長さを使用して、２つの選択されたオーディオセクションをクロスフェードする厳密な場所を決定する。サンプル単位のこの長さは、音楽タイミング情報、すなわち、時間シグネチャ、毎分ビート数等を使用して編集ツールにより予め計算されている。
したがって、オーディオファイル記述メタデータは、セクションの順序が互いに対して切り替えることができるか否か、及び切り替えることができる場合、選択されたセクションを一緒にステッチングして、連続オーディオ出力を生成することができるようにするために、どんな代替の方法が存在するかを記述する。なお、聴覚的にシームレスなクロスフェードにおいて、多くの方法で同じ２つのセクションを潜在的に一緒にステッチングすることができ、各代替は、各セクション間のエグジット及びエントリの一対の一致する上拍の選択を必要とする。
Ｂ）編集のアップロード
したがって、特定の編集は、一連の並べ替えられたセクションとして、且つセクション間の各遷移に適したエントリ上拍及びイグジット上拍の対応する選択に関して定義することができる。
返されたオーディオファイル記述はここで、コンピュータ１２（等）で実行中のＭａｓｈｔｒａｘｘ編集アプリ１０１により使用されて、ソーストラックを編集し、スタンドアロンＭａｓｈｔｒａｘｘメタデータ編集ファイル又は埋め込みＭａｓｈｔｒａｘｘ編集メタデータを含むＭａｓｈｔｒａｘｘメディアファイルを編纂することができる。編集のメタデータは多くの代替の形態をとることができるが、好ましい実施形態は、各遷移の精密な時点を表す一連の数として、生成されたこのメタデータを見る。したがって、数には、「ｌｅｎｇｔｈ」及び「ｐｏｓｉｔｉｏｎ」に関連するセクション詳細内で使用されるパルスが関連付けられ、数はタイムスタンプ付き遷移として機能する。編集メタデータとして符号化される追加の情報は、ＩＳＲＣに対応することができる（及び好ましくは対応しない）トラック識別子及び任意選択的に、特定のオーディオ編集における識別されたポイントでのクロスフェードのために写真を完成させる、適用されたクロスフェード持続時間を含む。オーディオ編集アレンジは、オーディオソーストラックに関連するオーディオファイル記述内から識別される時点を定義することにより記述することができる。したがって、Ｍａｓｈｔｒａｘｘ編集メタデータで使用される一意のトラック識別子は、編集／再生で使用されるオリジナルソースオーディオトラックの構成部分のコンテンツ追跡を可能にする、例えば、ＩＳＲＣへの一意のマッピング参照であることができる。
編集の編成及びそれがいかに達成されるかについてここで説明する。生成及びＭａｓｈｔｒａｘｘ編集メタデータへの報告の時点において、オーディオファイル記述は、特定の編集に関してその目的に適う。その結果生成されたスタンドアロンＭａｓｈｔｒａｘｘ編集メタデータファイル（例えば、トラック識別子及びタイムサンプリング付き遷移）又はＭａｓｈｔｒａｘｘメディアファイル（すなわち、オーディオトラックとタイムスタンプ付き遷移との組合せ）は次に、Ｍａｓｈｔｒａｘｘサーバを通してアップロードされて、Ｍａｓｈｔｒａｘｘデータベース、例えばデータベース１０４に記憶される。
編集されたものの編集は、オリジナルの編集で使用されるオーディオのサブセットとして定義することができ、すなわち、オリジナルの編集が構造：コーラス１−バース−コーラス２を有する場合、編集したものの編集の適した可能性は、コーラス１−バースの１／２又はコーラス１−コーラス２であることができる。
最初の場合、サブセットはオリジナルの編集の連続セクションであるため、編集されたものの編集の報告メカニズムは、オリジナルの編集でのものと全く同じである（上述）。唯一の差は、オリジナル楽曲からの資料未満の資料が再生され、したがって、クライアント側報告がこれを報告可能なことである。したがって、クライアント側はなお、オリジナルソースオーディオトラックのどのセクションが使用中であるかを報告することが可能である。
コンテキストを提供するために、編集したもののサブ又は二次編集がある場合、Ｍａｓｈｔｒａｘｘ編集メタデータは変わらないままであるため、クロスフェード及びＩＳＲＣは変わらない。例えば、両部分で使用された厳密なセクションについて報告するのに適切であるように、２つのオーディオ編集のサブセットを一緒に結合することができる。したがって、システムは、両編集が、オーディオセクション及びＩＳＲＣ又は他の追跡情報が変わらないままのオリジナル編集のサブセットであるため、正確な報告情報を送信するように構成され、正確な報告情報を送信することが可能である。
２番目の場合、予め存在する編集から新しい編集が作成され、編集のこの新しい編集は異なるクロスフェードを定める。この場合、編集アプリ１０１は、オリジナルオーディオトラック及びオーディオファイル記述の両方へのアクセスを要求する。編集アプリ１０１は、システムから、関連Ｍａｓｈｔｒａｘｘ編集メタデータを有するＭａｓｈｔｒａｘｘオーディオトラックを取得しているため、編集を変更するように求められていると判断するように構成される。オリジナルの編集は、新しい編集のテンプレートとして考えることができるが、編集を構築する同じプロセスは、オーディオファイル記述のみが新しい編集の構築に必要な全情報を有するため、オーディオファイル記述を必要とする。
編集のファイルコンテンツに関して、これは、編集を続けて再生成することができる程度までＭａｓｈｔｒａｘｘシステムが編集を理解することができる任意の数の適する形態をとり得る。したがって、識別されたソースファイル編集の例示的な編集フォーマットは、以下であり得る。
ソースファイルISRCコードオーディオＵＳ−ＲＴＸ−１６−００００７；
"MXAudioTimelineEntry @ 0.000000s : Bar 3 [0-1] : Anacrusis[(0 0 0 0) / ->[0 0 0 0] + 1044 samples] -> 0[2] Exit[ / ->[4 0 0 0]] Anacrusis[(0 0 0 0) / ->[0 0 0 0] + 512 samples]",
"MXAudioTimelineEntry @ 10.553016s : Bar 43 [0-3] : Anacrusis[(0 0 0 0) / ->[0 0 0 0] + 132 samples] -> 0[0] Exit[Exit bar 47 / ->[4 0 0 0]] Anacrusis[-(0 2 2 0) / ->[0 0 0 -360] + 282 samples]",
"MXAudioTimelineEntry @ 20.851066s : Bar 55 [2-4] : Anacrusis[-(0 2 2 0) / ->[0 0 0 -360] + -813 samples] -> 0[0] Exit[Exit bar 59 / ->[4 0 0 0]] Anacrusis[-(0 2 2 0) / ->[0 0 0 -360] + -425 samples]",
"MXAudioTimelineEntry @ 31.067846s : Bar 47 [0-4] : Anacrusis[-(0 2 2 0) / ->[0 0 0 -360] + 282 samples] -> 0[2] Exit[Exit bar 51 / ->[4 0 0 0]] Anacrusis[(0 0 0 0) / ->[0 0 0 0] + 432 samples]",
"MXAudioTimelineEntry @ 41.377506s : Bar 3 [0-1] : Anacrusis[(0 0 0 0) / ->[0 0 0 0] + 1044 samples] -> 0[0] Exit[ / ->[4 0 0 0]] Anacrusis[-(0 3 0 0) / ->[0 0 0 -432] + 1034 samples]",
"MXAudioTimelineEntry @ 51.954195s : Bar 7 [1-1] : Anacrusis[(0 0 0 0) / ->[0 0 0 0] + 512 samples] -> 0[0] Exit[Exit bar 11 / ->[4 0 0 0]] Anacrusis[-(0 3 0 0) / ->[0 0 0 -432] + 154 samples]"
又は典型的なＪＳＯＮ形態での表現として
{
"ISRC": "US-RTX-16-00007",
"edit": [{
"section": {
"name": "Bars 3-6",
"start": {
"bar": 3,
"beat": 0,
"fraction": 0,
"pulse": 1728,
"sample": 47628000
},
"end": {
"bar": 7,
"beat": 0,
"fraction": 0,
"pulse": 4032,
"sample": 111132000
}
},
"entryAnacrusis": {
"length": {
"bars": 0,
"beats": 0,
"fractions": 0,
"pulses": 0,
"samples": 0
},
"sampleOffset": 1044
},
"exitAnacrusis": {
"length": {
"bars": 0,
"beats": 2,
"fractions": 2,
"pulses": 1440,
"samples": 9922500
},
"sampleOffset": 282
}
}, {
"section": {
"name": "Bars 47-50",
"start": {
"bar": 47,
"beat": 0,
"fraction": 0,
"pulse": 27072,
"sample": 746172000
},
"end": {
"bar": 51,
"beat": 0,
"fraction": 0,
"pulse": 29376,
"sample": 809676000
}
},
"entryAnacrusis": {
"length": {
"bars": 0,
"beats": 2,
"fractions": 2,
"pulses": 1440,
"samples": 9922500
},
"sampleOffset": -425
},
"exitAnacrusis": {
"length": {
"bars": 0,
"beats": 2,
"fractions": 1,
"pulses": 1296,
"samples": 8930250
},
"sampleOffset": 282
}
}]
}
Ｃ）編集及びリポートの使用
Ｍａｓｈｔｒａｘ編集メタデータファイルのアップロード後に生じるコンテンツ追跡の特定の問題に目を向けると、加入者デバイス（コンピュータ３８又は実際には編集がアセンブルされたデバイスを操作しているオリジナルユーザ等）は、Ｍａｓｈｔｒａｘｘサーバ１１１に直接又は加入メディアコンテンツプロバイダ３０からのリダイレクト機能を介して間接的にアクセスする。Ｍａｓｈｒａｘｘサーバ１１１にアクセスするために、加入者デバイスは、ローカルにインストールされるか、又はウェブベースのアプリケーションであるＭａｓｈｔｒａｘｘソフトウェア１１３を利用する。ここで、加入者デバイス３８は、Ｍａｓｈｔｒａｘｘ編集メタデータ、特に遷移点及びクロスフェード持続時間により定義される編集を再生することが可能である。実際には、加入者デバイスがオーディオファイルを再生することができる３つの方法がある。
ｉ）Ｍａｓｈｔｒａｘｘソフトウェア１１３は、オリジナルオーディオファイル及びＭａｓｈｔｒａｘｘ編集メタデータを加入者デバイスにダウンロードさせることができ、次に、オリジナルオーディオファイルはＭａｓｈｔｒａｘｘ編集メタデータによりローカルに再構築されて、アップロード編集を復元する。ファイルは、複数のデータベースの組合せ又は単にＭａｓｈｔｒａｘｘデータベース１０４〜１０６から送信することができる。
ｉｉ）Ｍａｓｈｔｒａｘｘソフトウェア１１３は、オーディオ編集の完全埋め込み［及び永続的プレアップロード］版を加入者デバイスにダウンロード又はストリーミングさせ、それにより、完全な編集がローカルに予め記憶され、ダウンロード可能な状態であるため、加入者デバイスにおける処理を簡易化すると共に、Ｍａｓｈｔｒａｘｘサーバ１１１における処理も簡易化する。
ｉｉｉ）Ｍａｓｈｔｒａｘｘソフトウェア１１３は、Ｍａｓｈｔｒａｘｘサーバ又は加入メディアコンテンツプロバイダ３０のコントローラ３１に、それ自体（ａ）Ｍａｓｈｔｒａｘｘシステム内にローカルに記憶され、（ｂ）アクセス要求を行う加入者デバイスにローカルに記憶され、又は（ｃ）加入メディアコンテンツプロバイダ３０にサービングするデータベースにリモートに記憶された、関連する識別されたソーストラックにＭａｓｈｔｒａｘｘ編集メタデータファイルをオンザフライで適用させる。その結果生成された編集は、アセンブルされると次に、ファイル又はストリーミングデータとして、編集を要求した加入者デバイスにダウンストリーム通信される。
オーディオ編集（又は実際にはオーディオ編集を含むファイル）を加入者から要求した（Ｍａｓｈｔｒａｘｘソフトウェア１１３を使用して）結果は、Ｍａｓｈｔｒａｘｘサーバ１１１が、識別されたトラックのセクションの使用を詳述したリポートを生成することである。要求は、レーベルの音楽カタログへの相互参照を可能にする一意のトラック識別情報を含み、一方、Ｍａｓｈｔｒａｘｘ編集メタデータにおいて提供される特定のタイミングは、再生すべき又は再生された個々のトラックを識別することもできることを保証する。リポートは、要求受信時にＭａｓｈｔｒａｘｘサーバにより、各トラックが再生を開始する時点で、又は例えば、Ｍａｓｈｔｒａｘｘソフトウェアが終了又は時間切れするときにおいて定期的なリポートで生成することができる。報告が加入者デバイスにおける編集の再生に基づく場合、より高い可視性が明らかに達成される。
したがって、Ｍａｓｈｔｒａｘｘ編集メタデータは、任意のオーディオトラックに組み込まれ、又は関連付けられた国際標準レコーディングコード「ＩＳＲＣ」に付随する。したがって、Ｍａｓｈｔｒａｘｘ編集は、オリジナルオーディオトラック（通常、デジタル形態で記録される）であったオリジナル芸術作品の二次創作物であり、Ｍａｓｈｔｒａｘｘシステム及びＭａｓｈｔｒａｘｘ編集を通してのアクセス［Ｍａｓｈｔｒａｘｘオーディオファイル記述に基づく］は、一貫したコンテンツ追跡を提供する。
したがって、アップロードされたＭａｓｈｔｒａｘｘ編集メタデータファイルは、内部の各音楽セクションの由来が、Ｍａｓｈｔｒａｘｘ編集アプリ１０１による操作のために最初に引き出されたオーディオファイル記述内に符号化されており、内部の各音楽セクションの由来が常に保存されるであるため、いかなるＡＩ問い合わせも受ける必要がない。
その結果、ここで記憶されたＭａｓｈｔｒａｘｘ編集メタデータファイルのそれぞれが、ラップトップ３８等の加入者デバイスで実行中のＭａｓｈｔｒａｘｘソフトウェア１１３により再生のために呼び出されるとき、商用サーバは、呼び出しに留意するだけでよく、明文化された使用ポリシーを適用して、広告データベース１０８に予め記憶され、編集へのアクセスと共に送出される相補的メディアを供給する。実際に、相補的メディアは、例えば、コンピュータアドレスの事前登録又は編集を要求しているユーザを識別するログイン手順に基づいてターゲティングして送出することができる。
したがって、各トラックセクションの使用についての報告は大幅に簡易化され、その理由は、各セクションの由来が記録され、既知であるためであり、その理由は、各セクション（Ｍａｓｈｔｒａｘｘメタデータファイルの）の再生が、トレース可能なリポートを生成するように構成されるためであり、トレース可能なリポートは、一意で永続的なトラック識別子を中継し、基盤構成要素、すなわち、Ｍａｓｈｔｒａｘｘサーバ１１１、商用サーバ４６、及び加入メディアコンテンツプロバイダ３０の全てとは言わないが、これらの構成要素の少なくとも１つに略瞬時に（所望の場合）又は固定された報告時間にセクション識別情報を明示する。これは、本発明のシステムによれば、コンテンツの追跡がここでは、いつ発生したか及びトラックの識別されたセクションの幾つかの発生が使用されるかの両方に関して精密であることを意味する。さらに、図２のシステムは、セクションが再生されるとき、個々のセクションを追跡することが可能であり、ユーザ中心である（サーバ側駆動ではなく）ため、システムが、人気のある音楽セクションを特に識別するとともに、ライセンシングされた音楽トラック（ビデオあり又はなし）の再生に関連する収益をオリジナル芸術作品の著作権者間で精密に分ける、すなわち、分割することが可能である。
図２のシステムの背後にあるプロセスのまとめとして、オーディオファイル（又はＭａｓｈｔｒａｘｘオーディオデータを含むマルチメディアファイル）のＭａｓｈｔｒａｘｘ編集の物理的なアセンブラは、コンピュータ１２等のローカル編集デバイスにおいて、例えば、オリジナル音楽トラックをダウンロードし、オリジナル音楽トラックを再生することを通してオリジナル音楽トラックを識別する。次に、ユーザは、オーディオファイル記述において特徴付けられたように、ネットワーク及びシステム要求を通して、対応するＭａｓｈｔｒａｘｘ拡張オーディオファイル記述を取得する。このオーディオファイル記述により、ユーザは、共通の音楽テーマ並びにビート、バー間の共通性及び上拍間の音楽オンセットの時間的位置合わせに基づいて、Ｍａｓｈｔｒａｘｘトラック内のセクションの順序を操作することができる。
好ましい実施形態では、編集アプリケーションは、セクションがオリジナルオーディオトラック内で連続して再生されるとき、セクションのオーディオ波形とオーディオファイル記述との組合せを使用してＭａｓｈｔｒａｘｘトラックの視覚的表現をインスタンス化する。次に、ユーザに、開始トラックセクションを選択し、次に、隣接セクションのビート又はリズムにおいてシームレスな遷移を保持しながら第１のセクションにカットすることができるオーディオトラック全体内の他のセクションのみを表示することにより、新しいトラック編集を生成する能力が提供される。音楽の第２の隣接セクション（異なる音楽テーマ及び音楽強度を有し得る）を選択した後、プロセスを繰り返すか、又は終了させることができ、それにより、異なるセクションタイムラインを有する新しいトラック編集が生成される。任意選択的に、この保存された編集は次に、ビデオ又は静止画像で拡張し、その結果生成されたコンピレーションをＭａｓｈｔｒａｘｘアップロードデータベース１０６にアップロードすることができる。次に、トラック識別情報及びタイミングはアップリンク通信され、Ｍａｓｈｔｒａｘｘデータベース（又は他のアクセス可能なデータベース）に記憶される。
コンテンツ追跡にこのクライアント側手法を採用することにより、Ｍａｓｈｔｒａｘｘメタデータを利用する任意のアップロードメディアファイルは、レーベルの明文化された使用ポリシーに照らして見ることができ、特に識別されたトラック使用に応じた精密な収益配分が可能になる。実際には、システムは、全体オーディオトラックのどの部分が使用されているか及び二次編集のどの場所でセクションの使用が発生したかについて報告することができる。これは、システムが一般に、各セクションの発端を認識しており、Ｍａｓｈｔｒａｘｘアプリケーション１１３を実行している任意のマシンからの編集の可聴再生が、Ｍａｓｈｔｒａｘｘデータベース１０４〜１０６にアクセスさせるためである。さらに、何らかの形態の一意で永続的なセクション識別子（特定のトラックのタイムスタンプとしてＭａｓｈｔｒａｘｘメタデータに記録される）が常に保存され常に存在するため、任意の編集の任意の反復は常に、オリジナルソースファイルへの由来を保存する。
逆に、聴き手が特定のＭａｓｈｔｒａｘｘ編集を特定量の時間分、聴いたという知識を所与として、システムは、後方に作業し、オリジナルオーディオファイルのどの部分が聴かれたかを厳密に特定することが可能である。
したがって、Ｍａｓｈｔｒａｘｘサーバ１１１から商用サーバ４６及び／又は加入メディアコンテンツプロバイダのコントローラ３１は、以下の表１に示される例示的な形態をとることができ（各トラックについて）、このリポートは、編集を再生しているデバイスからのアップリンク要求及び／又はアップリンクリポートを反映するように生成される。報告の厳密な形態は、理解されるように、自由に適応可能であり、単に、ＩＳＲＣ（等）にリポートをリンクし、再生された編集における識別されたセクションの使用を識別するのに十分な情報を含む必要があるだけである。特定の情報、例えば、他のユーザフレンドリなフォーマットで提示されるにも関わらず提示された他の情報の繰り返しは、全体的に任意選択的であり、したがって、単にリポートの解釈を助けるために含められ得る。
なお、商用サーバは、実際に、加入コンテンツプロバイダ３０のコントローラ３１であることができる。
編集を再生しているデバイスからのアップリンクリポートは、時間に関してはるかに多くの詳細を含み得るが、少なくとも、セクション識別情報及び一意のトラック識別子、例えば、ＩＳＲＣを含む。
クライアント、すなわち、コンピュータ３８が単に、オリジナル（未編集トラック）をダウンロードしたい場合、Ｍａｓｈｔｒａｘｘサーバ１１１はそれにもかかわらずなお、オーディオファイル記述を含む編集可能なトラックを提供する。上記「編集」例と同様に、このオーディオファイル記述は、ソーストラックの未編集のオリジナル版とは別個であってもよく、又はオリジナル版内に全体的に埋め込まれてもよい。したがって、オーディオファイル記述の提供により常に、クライアントは、連続セクション間の精密な境界を定義するリアルタイムデータポイントを編集しアップロードすることができる。しかしながら、編集がなく、ユーザが単にオーディオトラックのオリジナルの未編集、すなわち、元の状態のオリジナル版を再生する場合、ローカルにインスタンス化されたソフトウェア（又は場合によってはコンピュータ５８で実行中のウェブブラウザ）は、オリジナルオーディオトラックの予め識別された連続セクション間の遷移点を時間において単に列挙するリポートを返送するように動作する。上拍の選択は実際には、オリジナルソーストラック内のデフォルト位置及び関連オーディオファイル記述であるため、上拍の選択は既に対処されている。換言すれば、クライアントにおけるオリジナルオーディオトラックを再生するとき、セクションは既に、隣接セクション間の聴覚的にシームレスな遷移を有し、これらの遷移は、既存の連続セクション間の既存の境界点をリアルタイムにおいて報告することにより、オリジナルオーディオトラックの元のフロー及びリズムを維持する。しかしながら、クライアント側から遷移点を報告することにより、サーバはここで、それ自体、再生が最初から終わりまでであるか、それともオーディオトラックの一部のみであるかに関係なく、それらのセクションの再生を識別することが可能である。次に、Ｍａｓｈｔｒａｘｘサーバ１１１はそれ自体、商用サーバ４６へのリポートを生成し、コンテンツ追跡／ライセンシングに関してトラックの精密な使用を分けることができる。
クライアントにおける使用の報告及び一意のトラック識別子（又は特定の音楽セクション自体がタイミング以外で一意に識別される場合、特定の音楽セクション）へのトレース可能な参照を提供する、適したデータログの生成に関して、クライアントのローカルオペレーティングシステム「ＯＳ」は、既存の内蔵ＯＳ機能に基づいて、ログにおいて補助情報を提供することもできる。例えば、ＯＳは、オーディオトラックデータを再生、処理、又は操作するためにクライアントにおいてローカルに利用される出力メカニズムを特定し、次に報告するタスクを有することができ、すなわち、クライアントによりアップリンクで報告される報告データは、識別されたソースオーディオトラックがクライアントデバイスにおいていかに使用、実行、又は操作されたかについての情報を含むことができる。例えば、ＯＳは、クライアントデバイスで使用されるライン出力又は選択されたトラック内のオーディオデータの再生若しくは操作中に使用されるスピーカソケット若しくはＨＤＭＩポートの性質についてのデータをログに符号化することができる。アップリンクされるリポートの補足への使用に利用することができる他のＯＳ機能には、ｐｏｒｔ＿ａｉｒｐｌａｙ、ｐｏｒｔ＿ｂｕｉｌｔ−ｉｎ＿ｒｅｃｅｉｖｅｒ、及びクライアントデバイスにおけるＢｌｕｅｔｏｏｔｈ又は光学経路を含むローカル無線通信の使用がある。
報告可能な統計は、例として、オーディオトラックの少なくとも一部がクライアント（通常、アプリが連続して実行されている時間窓内）において再生される回数を含むことができる。他の形態の報告される再生は単に、開始ロケーション及び停止ロケーションであることができるが、トラックのデジタルサンプリングの開始及び音楽セクションをスキップするシークプロセスを通して達成される開始ポイントであることもできる。
リポートは、ローカル編集を精密に識別するように構造化することができるが、アップリンクリポート内の統計は、クライアントデバイスにおける選択されたオーディオトラックの再生又は変更の性質を暗示−ひいては、サーバにおける何らかの解釈及び解決を要求−し得る。
選択されたオーディオトラックのトレース可能な一意の識別子に参照、すなわち、リンクされるログ及びリポートは、以下についての理解を収集できるようにするのに十分である：
・クライアントデバイスにおける二次創作物のアセンブリであって、そのような二次創作物は、新しいオーディオコンテンツ（ナレーション、歌唱、又は楽器の追加等）の包含を通した選択されたオーディオトラックの編集及び／又は増補の少なくとも１つを含む、二次創作物のアセンブリ、
・以下の少なくとも１つを含むオーディオトラックの同期、
・オーディオトラックとのビデオ同期、
・オーディオトラックとの写真同期、
・ユーザ生成コンテンツとの同期、
・オーディオトラックの機械的又は電子的コピーであって、
・オーディオトラックのサンプリング、
・オーディオトラックとの感覚知覚可能エフェクト、例えば、照明レベル、ドラムビートの変動、通常、テレビゲームで使用されるビデオエフェクト及び編集の同期をサポートするためのオーディオトラックからのタイミング情報の抽出
を含む、機械的又は電子的コピー。
オーディオファイル記述の提供は、幾つかの実施形態では、識別されたクライアントデバイスに制限し得る。
ＩＩ．トラックアセンブリ及びクロスフェード考慮事項
この時点で、シームレスな位置合わせを１つ又は複数のトラックの、一見して異なるセクション間でいかに達成することができるかを説明することが適切である。
ＰＣＴ／ＧＢ２０１６／０５１８６２号明細書には、現実世界イベントに対するデジタルオーディオトラックのセクション（又はスライス）のコンテキスト的同期があるシステム及び方法が記載されている。セクションは、ユーザ知覚及び／又はオーディオセクション内で検出又は識別される土台をなすリズム又はビートによりユーザ又はマシンに示唆された知覚された「テーマ」に関して各オーディオセクションをカテゴリ化するマシンベースの評価に関して特徴付けられる。
ＰＣＴ／ＧＢ２０１６／０５１８６２号明細書には、２つのオーディオセクションの関連メタデータにおいて反映される予め識別されたコンテキスト的テーマを有する２つのオーディオセクションを一緒に接合する方法が記載されており、２つのオーディオセクションのそれぞれは、割り当てられたテーマに関連する開始ポイント及び終了ポイントを有する。これは代替的には、第１のオーディオセクションと宛先オーディオセクションとの間のフェードと見なすことができ、第１のオーディオセクション及び宛先オーディオセクションはそれぞれ、オーディオトラックにおける選択された抽象イグジットポイント又は抽象エントリポイントに関連する上拍に関連付けられたオンセットを含む。
接合方法は、各オーディオセクションを、識別されたテンポをそれぞれ有するリズムビートに分割することにより、上記２つのオーディオセクションのそれぞれの第１の時間ベースを生成することと、各ビートを各ビート内の少なくとも複数の等しく、均等間隔の時間区分に分割することで、各オーディオセクションの各ビートを測定可能なフラクションに分割することにより、第２の時間ベースを生成することと、第１のオーディオセクションの後に続くと提案される宛先オーディオセクション内の少なくとも１つのエントリ上拍を決定することであって、上記少なくとも１つのエントリ上拍のそれぞれは、宛先オーディオセクションの開始ポイントに相対したビート及びフラクションに関して第１のタイミング変位を提供する、決定することと、第１のオーディオセクション内の少なくとも１つのイグジット上拍を決定することであって、上記少なくとも１つのイグジット上拍のそれぞれは、第１のオーディオセクションの終了ポイントに相対したビート及びフラクションに関して第２のタイミング変位を提供する、決定することと、第１のタイミング変位を第２のタイミング変位と対比して、第１のタイミング変位と第２のタイミング変位との間に対応性があるか否かを識別することと、第１のタイミング変位と第２のタイミング変位との間に対応性がない場合、第１のオーディオセクションから宛先オーディオセクションへの潜在的な接合を拒絶し、その他の場合、第１のオーディオセクションが、提案された宛先オーディオセクションと互換性を有する接合であることを認識することとを含む。
フェード方法は、第１のオーディオセクション及び宛先オーディオセクションにおいて、第１のオーディオセクション及び宛先オーディオセクションにおける抽象イグジットポイント及び抽象エントリポイントのそれぞれに対応する、時間における測定変位を有する上拍を選択することと、上拍からの、第１のオーディオセクション及び宛先オーディオセクションのそれぞれにおけるオンセットの時間差を測定して、第１のオーディオセクションと宛先オーディオセクションとの間の遷移に使用される実際イグジットポイント及び実際エントリポイントを作成することと、第１のオーディオセクション及び宛先オーディオセクション内の位置合わせされた上拍に関して、第１のオーディオセクション及び宛先オーディオセクション内の各オンセットのいずれが、時間的に最も早期に発生するか評価することと、アクティブオーディオ出力として、宛先オーディオセクションが第１のオーディオセクションに取って代わり、オーディオ出力においてシームレスなリズム遷移を実現するように、上記最も早期のオンセットが上昇し始めたとき又は上昇し始める前のポイントで、第１のオーディオセクションと宛先オーディオセクションとの間のクロスフェードを行うこととを含む。
この方法論では、識別された音楽フレーズ又はテーマを現実世界のイベントと同期又はリンクすることができる。これに関して、「音楽フレーズ又はテーマ」は、時間入力として提示されたイベントのコンテキスト的に知覚され識別される性質を補完、反映、又は一致する１組の定義可能な特性を有するオーディオの「セクション」を定義する。したがって、オーディオの選択は、イベントのコンテキスト「の美を供給」する。達成された同期は、有益なことに、それぞれの時間シグネチャ、強度、キー、音楽リズム、及び／又は音楽フレーズにより定義される異なる感情テーマを有する潜在的に異質な予め識別された音楽フレーズ間でシームレスな音楽遷移を実現する−タイミングベースを使用して、予め存在するが、識別された音楽シグネチャ又はビートを正確に一致させることで達成される。現実世界でのユーザの全体的な感覚経験は、オーディオセクションを動的に変更し、並べ替え、又は繰り返し、次に、周囲の物理的環境で発生しているものの状況内で、オーディオセクションを再生することにより拡張し、例えば、ステップクラスにおける有酸素運動の異なるフェーズ中、音楽レート及び強度は、全力疾走中、増大し、リカバリ期間中、低減する。付随する音楽は、変化する物理的又は局所的な環境イベントに伴うようにリアルタイムで自動的に選択され、オーディオサンプルの同期は、そのオーディオサンプルを全体の感覚経験の一体部分であるが、相補的な部分にする。
Ｍａｓｈｔｒａｘｘオーディオファイルの編集及び編纂に関して、任意選択的にダウンロード可能なアプリケーションの形態で提供されるソフトウェア編集スイートは、ユーザ経験への同期を達成するように既存の音楽コンテンツを動的にリアルタイムで編集し再設計するツールを消費者に提供する。より具体的には、システム及び方法論は、生活様式、活動、及び消費者選択に合うようにデジタル音楽コンテンツを動的に同期する機会を提供し、同期は、定義されたオーディオセクションにおけるテーマの特徴付けと、オーディオセクション内の上拍イベントに基づくそのオーディオセクションからの適したエントリポイント及びイグジットポイントの続く確立とに基づく。ソフトウェアアプリケーションにより、例えば、走りにいく、散歩に行く、又はビデオクリップ内のシーンとの位置合わせのような瞬間の状況に合うように、ユーザのお気に入りの楽曲を選択的に再イメージングし、ユーザのお気に入りの楽曲を特定の物理的刺激と同期できるようにし、それにより、カスタマイズされユーザに特化した経験を生み出す。したがって、システムは、瞬間的又は変化する現実世界イベントを、全体感覚経験を拡張するように設計された、カスタマイズされユーザ選択可能なオーディオ構成要素に相関付ける合成メディアファイルを生成し、即時再生又はブロードキャスト等の使用のために供給する。
したがって、エクササイズ、テレビゲーム、個人ビデオ編纂、及び広告を含め、多くの異なる用途分野にわたり適用可能なメタデータベースの同期を用いて、様々なメディアにリアルタイムで同期する現在のデジタル音楽のより大きな再使用性及び再アレンジ性が達成される。環境の変化に基づいて、システムは、１つ又は複数の時間的に異質なオーディオセクション又はオーディオファイルにおいて提示される音楽コンテンツのその場に合うような編集及び再アセンブルを作成し、特にその場に合うような編集及び再アセンブルを可能にする。したがって、オーディオ出力は、例えば、ゲーム内アクション又はＤＶＤ内のムード及びアクションに付随する同期された音楽であるように、ゲーム内で検知される変化に伴って変化する。メタデータに埋め込まれたタグを有する音楽セグメントの特徴付けを含む、その結果生成される音楽ファイルフォーマットは、気に入った音楽トラックをビデオ及びソーシャルメディアアプリケーションで使用する能力をユーザに与える。
したがって、Ｍａｓｈｔｒａｘｘデータベース１０４は、１つのデジタルオーディオファイル又はデータベースに記憶された複数のオーディオセクションを提供するようにメタタグ付けされた複数のデジタルオーディオファイルを含み、上記複数のオーディオセクションのそれぞれは抽象イグジットポイント及び抽象エントリポイントを有し、各抽象イグジットポイント及び抽象エントリポイントは、上拍前後のオーディオの移り変わりの最大差ポイントを表すオンセットに対応するタイミングオフセットを有する少なくとも１つの上拍を有する。次に、編集構成要素は、第１のオーディオセクション及び宛先オーディオセクションにおける抽象イグジットポイント及び抽象エントリポイントのそれぞれに対応する、時間における測定変位を有する上拍を選択することであって、第１のオーディオセクションは再生、第２のオーディオセクションはアクティブになり再生される、選択することと、第１のオーディオセクション及び宛先オーディオセクション内の位置合わせされた上拍に関して、第１のオーディオセクション及び宛先オーディオセクション内の各オンセットのいずれが、時間的に最も早期に発生するか評価することと、アクティブオーディオ出力として、宛先オーディオセクションが第１のオーディオセクションに取って代わり、それにより、シームレスなリズム遷移を実現するように、上記最も早期のオンセットが上昇し始めたとき又は上昇し始める前のポイントで、第１のセクションから宛先オーディオセクションへのクロスフェードを行うこととを行うように構成される。当然ながら、各セクションは更に一意に識別されるが、この一意の識別は、コンテンツの追跡に関連し（図２の状況で先に説明したように）、トラックがいかにアセンブル／再編成されるかには関係ない。
セクションを識別し、音楽（等）のサンプリングセグメントをデータベース内に記憶するために、編集アプリケーションは以下のように動作する。図３を参照すると、各セクション３１４−それぞれが異なる持続時間Ｔ１〜Ｔ４を有し得る−には、セクション（及びそのテーマ）及び／又はセクション３１４の特に解決可能なコンテキスト品質を識別するメタデータが符号化される。メタデータへのアクセス及び参照により、関連する、すなわち、セクションを関連する、すなわち、適切な現実世界イベントと位置合わせできるように、セクションを続けて時間的に並べ替えることができる。
好ましくは、システムは、オリジナルオーディオファイルを決して変更せず、むしろ、再生エンジンが、準リアルタイムで（処理できるように幾らかの適切なバッファリングを除いて）適宜符号化されたファイルのあちこちをジャンプし、編集し、クロスフェードできるようにするアセンブルされたメタデータを利用する。
エクササイズの状況での非限定的な例として、音楽トラックは、コーラスにアップビートテンポを含み得、したがって、アップビートテンポは、エクササイズの全力疾走部分中に出力されるより高レートのエネルギーにより誘導されるより高速の心拍に適切である。逆に、同じ音楽トラックはハーフタイムセクションを含み得る。したがって、ハーフタイムセクションは、エクササイズ中のアクティブリカバリ期間により適するが、全力疾走には適さない。したがって、システムは、外部駆動活動とより適切に位置合わせされるように時間的に移動可能な様々な識別されたセクション、すなわち、トラックのスライスを生成する。この自動的移動は、セクションの並び替えを生じさせ得、すなわち、オリジナル音楽トラック内の自然に連続したシーケンスは、シーケンスＴ１、Ｔ２、Ｔ３、Ｔ１、Ｔ５、Ｔ６、Ｔ１をもたらし得、ここで、Ｔ１は反復コーラスであり、Ｔ２〜Ｔ６はバース、テーマ、又は音楽的移動である。この時間的移動はまた、出力されるオーディオの全体持続時間をオリジナル音楽トラックに関連して延長又は短縮させることもできる。テーマの識別及びメタデータへのセクションの関連する特徴付けは、異なるシーケンスＴ１、Ｔ１、Ｔ６、Ｔ２、Ｔ３、Ｔ１、Ｔ１、Ｔ１を有するオーディオ出力を生成するセクションの再位置合わせされた並び（映画に対して）をもたらし得る。この並び替えは、Ｍａｓｈｔｒａｘｘセクションのこの並び替えを示す「Ｍａｓｈｔｒａｘｘ」オーディオスペクトル３２０により図３に表される。好ましくは、隣接セクションは互いに連続し、例えば、音楽リズムに認識可能な変化がなく、且つ／又は隣接セクション間に認識可能な静寂がない。トラックのアクティブサンプルセクションと、記憶されたセクション（同じトラック又は異なるトラックのいずれかの）との間のフェードのメカニズムについては、図７及び図９に関連して後述する。
したがって、アレンジメントにより、識別された音楽セクションを現実世界イベントと同期させリンクすることができる。達成された同期は、それぞれの時間シグネチャ、強度、キー、音楽リズム、及び／又は音楽フレーズにより定義される異なる感情テーマを有する潜在的に異質な予め識別されたセクション間でシームレスな音楽遷移を含む−好ましくは、予め存在するが、識別された音楽シグネチャ又はビートに正確に一致するための相対的な前進等のタイミングオフセットを使用した達成される。したがって、好ましい実施形態は、周囲の物理的環境で発生しているものの状況内で、音楽セクション（ひいては異なるテーマ）を変更することにより全体的な感覚経験を拡張し、例えば、ステップクラスにおける有酸素運動の異なるフェーズ中、音楽レート及び強度は、全力疾走中、増大し、リカバリ期間中、低減する。付随する音楽（又は非物語世界及び物語世界のサウンド設計又は音響サウンド等の可聴コンテンツ）は、変化する物理的イベントに伴うようにリアルタイムで自動的に選択され−心拍モニタ等を用いてリアルタイムで電子的に監視し得る−、それにより、全体の感覚経験の一体部分であるが、相補的な部分を形成する。リアルタイムの監視ではなく、音楽のスニペット等の付随するオーディオサンプルは、テレビゲーム内のシーン変更等のトリガーポイントと結び付けられ、トリガーポイントで再生されるように予めプログラムすることができる。
上述したように、編集スイートへの入力として、システム４３０（図４の）は、現実世界外部イベント３１２を取得する。これらは、リアルタイム検知イベントであってもよく、又は媒体に記憶され、通信インターフェース４３２を通してシステムに提示される記録されたイベントであってもよい。処理環境４３４は通常、メモリ４３６に記憶されたプログラムコードを実行する少なくとも１つのプロセッサを含む。
処理環境４３４は、ネットワークを通して接続されたサーバ、タブレットコンピュータ、ＰＣ、又はスマートフォンを含め、様々なプラットフォームでサポートし得る。
メモリ４３６は、処理環境４３４にローカルであってもよく、又は分散システムにリモートに配置されてもよい。メモリ４３６に記憶されたアプリケーション（「アプリ」）により、現実世界イベントを自動的に分析することができ、さらに、用語４３８（これもまたメモリ４３６に記憶される）の予め定義された語彙に対して、イベント内のサンプリングされた時間ドメインデータを特徴付けることができる。実際面では、監視又は記録された外部イベント３１２に対応する入力信号は、複数の異なる特性、例えば、リアルタイムモニタから検知され報告されるエクササイズの異なるフェーズ及びアクティブリカバリ（図３に示される等の）に関連付けられた異なる心拍を含むことができ、又はビデオの状況では、識別可能に異なる顔の表情、異なるピクセル強度、及び／又はブロブが画面を横切って移動する際のブロブのピクセル移動速度があり得る。感情又は活動を反映した他の特性を定義することもできる。
共通のテーマは、外部活動が時間と共に変わり、環境又は個人の感情状態又は物理的状態が時間と共に変わるため、識別可能な特性が時間に伴って変わることである。したがって、イベント入力−形態に関係なく−は、異なるが、識別可能なテーマを有する、サンプリングされたイベントデータの複数の連続したイベントセグメントの集まりと見なすことができる。機能的に、処理環境４３４は、少なくとも１つの予め記憶された語彙語と突き合わせて各イベントセグメントを参照するように構成され、この参照は、永続的又は一時的にイベントセグメント共に記録される。各イベントセグメントの語彙語は、相互参照及び最終的に、対応する又は密に関連する語彙語を用いて同様に特徴付けられた、関連するオーディオセクションを選択するために続けて使用することができるキー又は「ブリーフィング要素」として機能し、対応する又は密に関連する語彙語は、オーディオトラックのメタデータ内に記憶し、関連ファイル内に記憶し、最も好ましくは各オーディオセクションのヘッダ内に区分化することができる。特定のコンテキストがより限られた解釈を必要とする場合を除き、「オーディオセクション」、「セグメント」、及び「オーディオスライス」という用語は、同等のものであり、デジタルオーディオファイル内からの様々な長さのサンプルを表すものと見なされるべきである。
処理環境４３４への二次入力として、ユーザが外部イベント入力３１２を批評できるようにするユーザインターフェース４４０を提供し得る。この批評機能は、ブリーフィング要素を生成する自動分析から独立してもよく、又は相補的であってもよい。したがって、手動批評も、語彙語をイベントセグメントに帰し、所属させ、したがって、ブリーフィング要素を生成する代替又は補足プロセスを提供する。
図４を参照すると、処理環境により実行される外部イベントの機能分析は、以下を含むことができる。
ｉ）外部イベント３１２内の相対的及び／又は実際のタイミング４４２。例えば、タイミング分析は、最小閾値を満たすイベント、持続した持続時間を有するイベント／特徴、及び／又はヒットポイントを識別することができる。ヒットポイントは、同じ時間、すなわち、「ヒット」時間に音楽特徴を生じさせる必要がある何らかのアクションが生じる、ゲーム又は映画のタイムライン上の所与の瞬間である。ヒットポイントの別の業界名称は例えば、トムとジェリーの漫画における「ミッキーマウシング（Ｍｉｃｋｅｙ Ｍｏｕｓｉｎｇ）」であり、ボウリングのボールが棚に沿って転がり、猫であるトムの頭に落ちた後、大きなウッドブロックの音が鳴り得る。代替的には、時により、ヒットポイントは所与の長さの時間をとり、これはより適切には「持続特徴」と呼ばれる。例えば、ボウリングのボールがトムの頭に落ち、跳ね返った後、トムは堪えきれずに３秒間、震える。したがって、関連する持続特徴は、定規で机を弾いたとき定規が出す音により実現し得、振動音は３秒間にわたり持続し、それからフェードアウト又は終了する。
ｉｉ）外部イベント内の強度４４４及び強度のスケーリング。例えば、強度は、相対光レベル、サウンドレベル、又は入力４３２を介して外部ソースから受信される監視可能な機能（心拍等）の変化率に基づくことができる。強度は、オーディオ内の特定のセクションが、オーディオ全体内の他のセクションに相対していかに大きいか、それとも小さいかを識別する感情的に知覚される強度に関連することもでき、オーディオ全体は、完全な楽曲又は異なるオーディオソース若しくは記録からのトラックの編纂、例えば、異なるオーディオＣＤからの異なるトラックとなり得る。したがって、強度は、ユーザのテイスト又は好みに従って設定される主観的な尺度であることができる。
ｉｉｉ）ビート分析、時間シグネチャ分析、気候（ｃｌｉｍａｔｉｃ）の動きの識別、強度の増減、オーディオが急に止まるドラマチックドロップアウト、静的又はリズム分析、リフのアンダースコア及び識別を含むが、これらに限定されないオーディオ機能分析４４６。
イベントセグメントが合わせられ、したがって、ブリーフィング要素が生成されると、これらのイベントセグメントは、ネットワークを介してストリーミングすることができ、又は後にセクションアセンブリインテリジェンス４５２により検索し使用するために記憶することができる（４５０）。このセクションアセンブリインテリジェンス４５２は、人工知能（「ＡＩ」）による処理サポートに基づき、代替的には「Ｍａｓｈｔｒａｘｘフレームワーク」と呼ぶことができる。セクションアセンブリインテリジェンス４５２は、追加の処理及び新しい音楽トラック等の新しいオーディオがシームレスに順序立てて現実世界イベントからのイベントセグメントを強化する新しいメディアサンプル（又は「合成メディアファイル」４５４）の生成を提供するように構成される。新しいオーディオは、実際には、現実世界イベントから捕捉されたオーディオサンプルを補足又は置換し得る。
セクションアセンブリインテリジェンス４５２は、追加の入力、すなわち、オリジナルオーディオトラックのセグメント又はスライスのＭａｓｈｔｒａｘｘメタデータ４５８を含む強化オーディオトラック４５８に応答する。オーディオトラックは、実際には、複数のユーザ選択トラックから又は１つの記録されたオーディオファイル（音楽である必要はない）からの複数のサンプルであることができる。オーディオトラック４５６は、例えば、ｉＴｕｎｅｓ（登録商標）ライブラリにより提供してもよく、音楽リポジトリからストリーミング若しくは他の方法で取得してもよい。Ｍａｓｈｔｒａｘｘメタデータの生成について続けて説明する。
Ｍａｓｈｔｒａｘｘメタデータの生成は、以下に、特に図４に関連してより詳細に説明される。しかしながら、概要では、Ｍａｓｈｔｒａｘｘメタデータは、オーディオトラックに関連付けられたデータとして供給されるトラック時間シグネチャ及び他の音楽属性及び／又は機能を含むオーディオセグメント定義を提供する。トラックの変更されたデジタルオーディオファイルは、シンバルの広がり及びドラムのビート等のトラック内の音楽イベントに結合されるメタデータタグを含み得る。代替的には、Ｍａｓｈｔｒａｘｘメタデータへのアクセスは、デバイスの実行中のローカルアプリを通してアクセスされる外部管理データリポジトリ／データベースからアクセス又はストリーミングすることができる。この後者に関して、デバイスベースのアプリは、好ましくは、ローカルデバイス／ユーザへのオリジナル著作権芸術作品、すなわち、オーディオトラックの登録ステータスに基づいて、リモートデータベースからＭａｓｈｔｒａｘｘメタデータをプルするように構成される。オリジナルオーディオトラックが違法コピーであると考えられる場合、Ｍａｓｈｔｒａｘｘメタデータへのアクセスの禁止を課すことができ、且つ／又はアプリは、トラック／ユーザがオリジナルトラックの認証ライセンスにより有効化されるようなときまで、違法コピーをフラグ付け、又はオリジナルトラックの再生をディセーブルすることができる。
偽造防止目的で、ローカルにインストールされたアプリは、オーディオのフィンガープリントをとることによりローカルコンテンツをチェックし、これは、トラックヘッダ内のトラックメタデータ及び／又はオーディオサンプリングを通したトラック内分析を含め、任意の数の基地の技法に基づくことができる。次に、アプリは、Ｍａｓｈｔｒａｘｘデータを含む中央データベースをチェックするように構成され、チェックは、識別されたトラックのＭａｓｈｔｒａｘｘデータが存在するか否かを明らかにする。存在する場合、アプリは、アプリ内のＭａｓｈｔｒａｘｘオプションとしてＭａｓｈｔｒａｘｘデータをユーザに提示するように構成される。
ライセンシングステータスの取得は十分に理解されており、通常、登録プロセスに基づく。しかしながら、著作権使用の登録は、本システムの基本的な問題、特に、変化する現実世界イベントを補完する、調整されたオーディオに関連付けられた没入型感覚経験を拡張するメタデータタグの作成に関係がない。
図３は、図４のシステム内に利用されるセクションアセンブリインテリジェンス４５２の機能図である。
挿入すべきであり、固有のテーマ（後に説明するように、タグがオーディオセクションの対応するメタデータに配置された）に関して予め特徴付けられたオーディオセクションの場合、セクションアセンブリインテリジェンス４５２は、現実世界イベントに対応するようにオーディオセクションを選択し（５５９）、並べ替える（５６０）。これにより、音楽の連続反復パッセージを含み得るオーディオセクションの順序付きセット５６２が生成される。適切なオーディオセクションの選択は、メタデータタグの考慮及び分析（５６４）を必要とし、任意選択的であるが、好ましくは、それ自体内の選択されたオーディオセクション５６２が、挿入の提供に十分なメタデータを含むか否かの評価（５６６）を必要とする。資料が不十分であるとの判断は、オーディオセクションの拒絶、現実世界イベントの持続時間の全体を満たすためにオーディオセグメントを反復、すなわち、ループする決定、及び／又はユーザインターフェース（例えば、通常、グラフィックユーザインターフェース「ＧＵＩ」を含むように実現された場合、図４の）を通したユーザの広告の１つ又は複数に繋がる。ループは、メタデータタグの事前記憶により反映されたセクション内ループを含み得る。このセクション内ループは、セクション内部でループを確立できるようにし、ひいては、内部で自己一貫したカットポイントを定義する。
オーディオセグメントの選択は、制御インターフェースを通したシステムへのブリーフィングノートの直接ユーザ入力により指示し得る。ブリーフィングノートは、限定ではなく、持続時間、トラック内のヒットポイントの性質、及びトラックのムードを含む可変パラメータを示す。代替的には、ユーザに、それぞれが共通のテーマを有する複数の代替のトラックオプションを提示し、好みを示すように求め得る。完全自動システムは一代替である。
アクティブオーディオトラックから宛先トラック（特に図８ａ〜図８ｃに関して考察される）へのフェード及び／又は直接カットを実際に実行するプロセスから独立して、フレームアセンブリインテリジェンス５５２は、異なるトラック内のセクションが基本的に互換性を有するか否か、好ましくは、一緒に接合又はカットして、それらの間に聴覚的にシームレスな遷移を生成することが可能な程度まで互換性を有するか否かを評価するように構成される。好ましいプロセスについて図９、図１０、及び図１２を参照してこれより説明する。
図９は、音楽の異なるセクションのスペクトル表現であり、セクションは、好ましい実施形態により決定されるエグジットポイント及びエントリポイントを有する。図９は、選択されたオーディオセクション内の関連するテーマを位置合わせするために独立して実行することができる編集ポイントプロセスを示し、付随するサウンドステージへの寄与を補強することにより、最終的に、現実世界イベントと位置合わせされて感覚経験を拡張する統合データフォーマットに選択されたオーディオセクションを再アレンジするための前駆体である。
図９ａにおいて、エンベロープが変化するオーディオセクション（「オーディオセクション１」）のオーディオスペクトル１５１は、かなり簡易化され、抽象遷移を有するブロックとして示されている。スペクトル１５１は、理解されるように、経時変化する時間ドメイン表現を有する。音楽バー（セクション１の「バー１」から「バー８」）の形態の時間ベースは、オーディオセクションを公称的に識別された「抽象」エントリポイント１５２及び公称的に識別された「抽象」イグジットポイント１５４に分割する。したがって、抽象エントリポイント１５２及び抽象イグジットポイント１５４は、オーディオセクションを定義し、これらの抽象ポイントは、例えば、全体楽曲トラックの全体内の異なるテーマ間の特徴付け可能な遷移を識別するＭＩＲ機能及び／又はユーザ入力のいずれかにより決定され選択される。したがって、「テーマ」は、オーディオトラック又はアセンブルされた合成物とコンテキスト的に異なる側面である。テーマは、知覚／識別される刺激又は相違の両方に関してセクションのコンテキストを分類することができる。したがって、テーマは、トラックのセクションに関連するデータベース内で符号化され、帰するメタデータに直接符号化し得る。
不都合なことに、オーディオの性質により、抽象エントリポイント１５２及び抽象イグジットポイント１５４が、オーディオセクションの有効、すなわち実際のイグジットポイント１６２、１６４及びエントリポイント１６６、１６８と一致しない可能性が高いことが認識されている。例えば、セクション１（図９ａの参照番号１６０）内に、１つ又は複数の可能な抽象イグジットポイント１５４、１５５があり得、各抽象イグジットポイント１５４、１５５は、１つ又は複数の実際のイグジットポイント１６２、１６４を有する。この例示的な状況では、テーマ遷移は、バー４とバー５との間の遷移で生じると識別し得るが、実際のイグジットポイント１６２、１６４（時間ベース及びビートを考慮する）は、バー４内の異なる時間に生じ得る。
したがって、セクション間を遷移することが可能になる前、異なるセクション間の互換性、さらに、実質的にシームレスな聴覚的遷移を提供するタイミング遷移を探す必要がある。最初の場合、識別され適用されたメタデータタグは、異なるテーマ間の許容可能な相関の表示を提供することができる。例えば、１と８との間のテーマの数値スケーリングを仮定すると、第１のオーディオセクションは、スローでメランコリックな状況を表し得るテーマ１特性を有し得る。逆に、第２のオーディオセクションは、わずかにより速く（第１のオーディオセクションと比較して）、コンテキスト的により激しい雰囲気を表し得るテーマ２特性を有し得る。第３のオーディオセクションは、非常にエネルギッシュな知覚を有し得、したがって、Ｎ（Ｎは整数）のうち８レベルの特性にスケーリングされた強度（すなわち、ユーザ定義のレベル）を有するものとして特徴付けられ得る。この例では、第１のセクションのテーマ１と異なる音楽セクション内の別のテーマ１との間の遷移は、シームレスな聴覚的遷移の視点から極めて達成可能なように見える。見掛けの特性が近い場合、第１のセクションと第２のセクションとの間のシームレスな遷移も可能であり得る。しかしながら、現実では、各オーディオセクションへの土台をなすテーマの特性の評価のみに基づいて、第１のセクションから第３のオーディオセクションへの遷移が実現可能ではないことがある。しかしながら、好ましい実施形態は、このシームレスな聴覚的遷移問題への解決策を提供する。
したがって、アクティブオーディオセクションとオーディオにカットすべき提案された宛先オーディオセクションとの間の実際のイグジットポイント及びエントリポイントの性質を更に調べることが必要である。実際のイグジットポイントは、識別された上拍に結びつく少なくとも１つ、通常、複数の適したイグジットポイントから選択される。適したイグジットポイント及びエントリポイントは、外部イベント刺激の解決可能フローに相補的な編集されたオーディオをアセンブルするためにインテリジェント処理環境４５２により必要なバッファリングを最小にするように、編集前、各オーディオセクションに識別される（そしてデータベースに記憶される）。したがって、オーディオ間の遷移は、実質的にリアルタイムで、現実世界イベントが展開されるときにセクションが動的に選択されるか否かに関係なくオーディオ連続性の認識可能な損失なしで達成することができる。
図９ｂは、図９ａのバー４の拡大図である。ここでも、明確にするために、バー４のオーディオスペクトルは、経時変化する信号偏差を有する簡易化ブロックとして示されている。バー４は４つのビート（「ビート１」から「ビート４」）に分割され、各ビートは、等数のフラクション（ｆ１からｆ４）−この場合、ビートごとに４つの等しいフラクション−に更に分割される。抽象イグジットポイント１５５に関して、実際の可能なイグジットポイントは、「可能な実際のイグジットＢ １６４」に関連して図９ｂに示されるように、上拍又はその直前又はその直後のポイント（代替的には、「ピックアップ」又は「オンセット」とも同義で呼ばれる）に対応する。上拍は、音楽バーにおいて第１の下拍に先行する１つの音符又は一連の音符である。したがって、ＭＩＲ及び／又はユーザ入力を通して、実際のイグジットポイントの上拍は、抽象イグジットポイント１５５の近傍で識別される。図９ｂの例示的な場合、上拍は、ｉ）第１の可能なイグジットポイント１６２の場合、−１ビート及び０フラクションの距離及びｉｉ）第２の可能なイグジットポイント１６４の場合、０ビート及び−２フラクションの距離、抽象イグジットポイントに先行する。
オーディオセクションへのエントリポイントを識別するために、同様の評価を行わなければならない。これより図９ｃを参照する。実際のイグジットポイントは、識別された上拍に結びつく少なくとも１つ、通常、複数の適したイグジットポイントから選択される。ここでも、明確にするために、バー０及びバー１のオーディオスペクトルは、経時変化する信号偏差を有する簡易化ブロックとして示されている。バー０及びバー１はそれぞれ、４つのビート（「ビート１」から「ビート４」）に分割されており、各ビートは、等数のフラクション（ｆ１からｆ４）−この場合、ビートごとに４つの等しいフラクション−に更に分割される。抽象エントリポイント１５２に関して、実際の可能なエントリポイント１６６、１６８は、上拍又はその直前又はその直後のポイントに対応する。したがって、ＭＩＲ及び／又はユーザ入力を通して、実際のエントリポイント１６６、１６８の上拍は、抽象エントリポイント１５２の近傍で識別される。図９ｃの例示的な場合、上拍は、ｉ）第１の可能なエントリポイント１６６の場合、＋０ビート及び０フラクションの距離及びｉｉ）第２の可能なエントリポイント１６８の場合、−１ビート及び−０フラクションの距離、抽象エントリポイントにまたがる。
オーディオセクション内の精密な実際のエントリポイント及びイグジットポイントのロケーションを識別するプロセスのまとめとして、好ましい実施形態は、オーディオのセクション（テーマに関して識別される）を反復時間単位、例えば、リズムビート（可変持続時間を有し得る）に分割する。各ビートはそれ自体の「テンポ」を有することができ、「テンポ」という用語は、毎分当たりの時間単位数を意味するものと理解される。次に、これらのビートは、少なくとも複数の等しい等間隔の時間区分（「フラクション」と呼ばれる）に分割又は「フラクション化」される。隣接ビート内のフラクションの数は変化し得る。しかしながら、隣接する時間単位（「ビート」）間のフラクションの持続時間は異なることができ、その理由は、各時間単位が潜在的にそれ自体のテンポを有するためである。したがって、ビートに関連する第１の時間ベース及び第２の時間ベースでの第２の分数量子尺度に関して、潜在的に適するが、有意なエントリ／イグジットポイント、すなわち、上拍の大まかなロケーションは、識別されたセクションの開始／終了ポイントに相対して決められる。オーディオのあるセクションをオーディオの別の異なるセクションにシームレスに統合できるようにするのは、上拍への時間におけるこの測定変位−ビート数及びフラクション数に関して表現される−である。より具体的には、聴覚的にシームレスな遷移に影響するために、システムの処理インテリジェンスは、同じ測定変位（ビート数及びフラクション数に関して表現される）を有するイグジットポイント及びエントリポイント−ビート数及びフラクション数に関して表現される−を探す。
したがって、データベース２００は、図１２に示されるように、アセンブルされ、図４のシステム内で動作しているデバイスに提供される。したがって、データベース２００は、音楽トラックを関連するトラックメタデータに相関付ける。より具体的には、データベースは、オーディオセクション２０２をトラック２０６の識別されたテーマ２０４及びセクション内の定義されたタイミング２０８に関してこれらのテーマがいかに定義されるかにマッピングする。最後に、各テーマ２０２は、上拍イベント（ビート数及びフラクション数に関して表現される）に関連する少なくとも１つ、一般的には複数の編集に値するエントリポイント２１０及びイグジットポイント２１２に分割される。
したがって、図９ｂ及び図９ｃに戻ると、セクション間のカットは、エントリポイント１６８の場合、バー４におけるアクティブオーディオセクション及びビート４の冒頭（参照番号１６２）からセクション（Ｘ−１）、バー０、ビート４位置（１ビート、０フラクションの上拍変位を有する）まで行われる。当然ながら、上拍のビート及びフラクション変位の他の組合せも生じ、これらはオーディオによって決まる。バッファリングを使用して、必要に応じてタイミングの遅れ又は進みを補償し、異なるセクション間のカットを位置合わせする。
したがって、図９の目的は、有効な編集機能をサポートすることであり、特に、バー遷移−任意に時間シグネチャに関連する−並びにビート及びオーディオのリズム内のビートのフラクションからの特定の定量化された距離に相対して編集ポイントを識別できるようにすることである。
図１２のデータベースは、最小として、オーディオセクションの相互参照されたエントリポイント及びイグジットポイントを記憶し、これらは、一緒にシームレスに接合されるべき場合、正確な位置合わせタイミングを有する必要がある。実際に、編集ポイントの計算前、マッチング基準を満たす必要がある。ビートはオンセット検出（ビート検出）から計算され、フラクションは、ビート「実際のエントリ／イグジット」とビート「抽象エントリ／イグジット」との間の時間を等分することにより計算され、「抽象フラクション位置」及び「実際に検出されたビート」と一致せず、そのような関係はない。
図１０は、例えば、音楽トラックの異なるセクションにおける異なる時間シグネチャ２５２、２５４間の相対タイミングを示すタイミング図２５０である。例えば、第１のオーディオセクションにおける時間シグネチャは、複合６／８時間であり得、一方、第２のオーディオセクションにおけるタイミングは、単純４／４時間であり得る。タイミングシグネチャの不一致に起因して、好ましい実施形態のシステムは、実際に、イグジットポイントとエントリポイントの間の記録された変位（ビート数及びフラクション数に関して表現される）が実際に対応するか否かを評価する必要がある。換言すれば、セクション間のカットは、セクション間の変化する時間シグネチャを考慮しなければならない。
この評価は、異なるセクションの各バー内のフラクションの最小公倍数に依存する長さを有するパルスという第３の時間ベースを確立することにより達成され、各セクションのバーは、等数の一定長パルスに分割される。したがって、フラクション内のパルスの数は、異なるセクションのフラクション間で異なることができる。したがって、システムは、係数を適用して、異なる時間シグネチャを位置合わせし、この係数は、異なるセクション内のパルスの比率である。
図１０の例において、複合６／８時間では、隣接ビート間に６つのフラクションがある。単純４／４時間では、隣接ビート間に４つのフラクションがある。したがって、その結果、積の最小公倍数は、パルスカウント６を提供する。したがって、相関付け後、１．５の係数により、カットポイント（適する上拍に関連する）が、複合時間のバーＸ、ビート１、８分音符２、フラクション２に存在すべきであるが、単純時間のバーＹ、ビート３、フラクション３に存在すべきである（この例では）ことが識別される。
増倍係数により、ある時間シグネチャ内の時間上拍は他と相互交換可能であり、これは複雑であり得る。
明示的に、図１０は技術的であるが、音楽の観点から：
単純時間シグネチャは４／４／１６である。４／４表記は標準であるが、１６は１６分音符フラクションを意味し、したがって、４つの１６分音符フラクションが四分音符ビートに存在する。４／４／１６という単純時間シグネチャの実際のイグジットは、バーの末尾から−１ビート及び−２フラクションである。この場合、バーの末尾は抽象イグジットに対応する。
複合時間シグネチャは６／８／１６である。６／８は、バー内に付点四分音符の２ビートがあることを意味する。これは、８分音符のみがある単純時間シグネチャと比較して、各ビートに３つの８分音符があることを意味する。同様に、４／１６フラクションと比較して６／１６フラクションがある。
図１０の例では、これは、ビートを通して半分を編集するのに、フラクション数を１．５で乗算して、４／４バーから６／８バーにおいて均等な編集を行う必要があることを意味する。したがって、ビート間内で編集ポイントを並べるために、単純時間シグネチャイグジットは１．５で乗算され、又は逆に、複合時間シグネチャの最小成分は、１．５で除算される。これは、単純時間における１／１６が３パルスに等しく、複合時間における１／１６が２パルスに等しい１／２４パルスのグリッドが、ことを意味する。したがって、システムは、そのようなパルス内の全てのエントリ及びイグジットを測定し、その数を、時間シグネチャに関連する所与の係数で乗算することが可能である。なお、この例では、２４番目のパルスは有効であるが、他の時間シグネチャを有する他の状況では異なり得る。実際には、システムインテリジェンスは、「−１ビート及び−２フラクションに単純時間イグジットを有し、したがって、−４−２＝−６／１６フラクションであると言う。これは、１８パルスを与え、フラクションごとに３パルスを提供する。複雑時間の場合、予め計算されたイグジットは−１ビート、−１ ８分音符、−１フラクションで生じる。したがって、−６−２−１＝−９／１６フラクションであり、これは、１８パルスを与え、フラクションごとに３パルスを提供するが、１．５の複合計数で除算される。両方ともここで両方とも１８パルス長に正規化されるため、このエントリへのイグジットは出る。
セクションアセンブリインテリジェンス３５２は、アップロードされたか、又はユーザインターフェースを通してユーザにより入力された、供給された任意のブリーフィングノート入力の分析を行うように構成される。セクションアセンブリインテリジェンス３５２は、ブリーフィングノートを満たすのに必要な音楽セグメントを識別し計算するように動作し、識別はセクション関連メタデータに基づく。ブリーフィングノートは、ユーザ通知の要件変更を反映するように、トラックの出力中、動的に更新可能であり得る。
次に、利用可能なオーディオセクション５６２は、好ましくは、ＡＩ論理に基づくシーケンサ５７０における完全シーケンシングに利用可能になる（５６８）。シーケンサ５７０は、通常、プログラム的に実施され、適切なオーディオセグメントを選択し、対応するイベントと位置合わせするように構成される。シーケンシングは、ブリーフィング要素、すなわち、聴覚的に拡張すべき外部イベントの各部分に割り当てられたＭａｓｈｔｒａｘｘ語彙語とのオーディオセクションのメタデータ内に配置されるタグの相関に基づく。
機能的に、シーケンサ５７０は、音楽インターバル又は機能５７２を識別しマッチングするように構成又は準備され、これは、オーディオセクション間のシームレスな遷移に必要である。さらに、シーケンサ５７０は、識別された異なるテーマ間でエントリポイント及びイグジットポイント５７４を一致させるように動作し、第１のテーマのオーディオセクションは再生中であり、第２のテーマのオーディオセクションは、第１のテーマがフェードアウト（急速に）するとき、第１のテーマにカットインすべきである。ここでも、これは、オーディオセクション間のシームレスな遷移に必要である。最後に、シーケンサ５７０は、音楽タイミング５７６を一致させる。これらの機能は、音楽情報検索「ＭＩＲ」アルゴリズム（上述したもの等）に基づくことができるが、ＭＩＲ評価での非効率的又は誤った自動分析は、オーディオ／音楽セクションテーマを定義する、オーディオセクションメタデータにおいて適用されるタグを入力、上書き、又は定義する能力をユーザに提供するインターフェースの提供を通して対処される。ここでも、これは、オーディオセクション間のシームレスな遷移に必要である。セグメントの定義は、上述したように、聴き手／ユーザが知覚する属性並びに／或いは特定のセクション内のオーディオの定量的及び／又は定性的パラメータ（ＭＩＲソフトウェアを通して測定される）に関して行われる。
「テーマ」は、すぐ上で提供した例よりも多い又は少ない情報を含むバイナリコード形態又は言葉ベースの自然言語で表し得る。例えば、ユーザ定義のヒューリスティックを使用して、より大きな粒度及び定義をブリーフィングノートに提供し、ひいてはオーディオセグメントのより指示的な選択及びアセンブルを提供することができる。ヒューリスティックは、例えば、ｉ）楽曲シーケンス、ひいてはオリジナル楽曲又はサウンドトラック内のバース及びコーラスの順序に対する、生成されたオーディオ出力の並び替えの程度、ｉｉ）セグメント一意性、例えば、繰り返されるセグメントの量又は許容性についての表示、並びにｉｉｉ）特定のオーディオセグメントを延ばすのに必要な「フィル」のポイントを確立するループポイントに関連し得る。
極限では、オーディオセグメントのメタデータタグは単に、現在進行中の外部イベント３１２の特性の定義に使用されるＭａｓｈｔｒａｘｘ語彙に相関する単語であることができる。
オーディオ生成器５８０（図５の）は、シーケンサ５７０に結合される。オーディオ生成器８０は、現在再生中のアクティブオーディオセグメントと、次にスケジュールされた宛先セグメント及び外部イベント変更時に再生されるように選択されたオーディオセグメントとの間のクロスフェード８２を管理するように構成される。この機能は、上拍に関連付けられた適切な遷移（代替的に、「ピックアップ」又は「オンセット」とも同義で呼ばれる）、例えば、音楽バー内の第１の下拍に先行する音符又は一連の音符の識別を含む。実施形態に関して、オンセット−下拍等−は、その省略又はミスタイミングが、認識され得、オーディオの不自然な途切れを表す一方で、その存在が連続性及びフローを提供するという点で重要である。したがって、アレンジは、現在アクティブなトラック又は宛先トラックのいずれかにおける最も早期のオンセットの直前の上拍における現在のオーディオセグメントと続くオーディオセグメントとを接合し、それにより、異なるテーマを伝達する異なるオーディオセグメントを一緒にマッチングすることができる。したがって、システムは、上拍をオーディオセグメントにおける適切なポイントにピン止めし、記録するように動作する。
オーディオ生成器５８０は、好ましくは、オーディオ伝送を平滑化し、遅延を最小化するバッファリング機能５８４を含む。出力５８６として、オーディオ生成器５８０は、アセンブルされたオーディオセグメントをストリーミングする（８８）か、又はオーディオセグメントをファイル５９０（図２のメディアファイル１０８の一部であり得る）に送信することができる。
図６は、好ましい作成プロセスによるトラックアセンブリ及びメタデータ作成の機能図である。したがって、図６は、例えば、オリジナル音楽トラック４５６に適用されて、オリジナル音楽トラック４５６のＭａｓｈｔｒａｘｘメタデータを含む複合メディアファイル（図４の参照番号４５４）を作成するプロセスを表す。
図５のシステムにアップロード又は提供されたオーディオトラックの場合、上述したように、オーディオトラックはＡＩベースのＭＩＲアルゴリズムを受ける。ＧＵＩ、オーディオトラックのスペクトル組成の人間によるレビューの好ましい提供を通して、テンポ及び他の有意な音楽イベントを含む時間シグネチャ１１０２を入力して、テーマ及びオーディオセグメントを定義又は改善（更に）し得る。したがって、この人間ベースのプロセスは、単に好ましいだけであるが、オーディオトラックの特徴付けの自動解釈に関連する欠陥又はエラーに対処することができる。例えば、オーディオセグメントの所望の信号エンベロープの開始ポイントは、オーディオデータサンプリングの開始を特定の音楽イベントの開始（ひいては本明細書に記載されるプロセスにより拡張すべき外部イベントに相対して識別されたテーマ）とより精密に位置合わせするように、ＧＵＩを通して手動で調整することができる。
時間シグネチャの分析は、バー及びビートの決定並びに選択されたオーディオセクションを構成するサンプル間で生じる際のこれらの変動の決定を提供する。この分析は、異なる時間シグネチャ及び上拍に関係なく、あるセクションを別のセクションにシームレスに統合する記載のメカニズム（好ましい実施形態の）のベースを提供する。
さらに、各オーディオセクション内で、システムは、異なるポイントにおいてオンセットを検出する（１１０４）ように構成される。ソース、すなわち、アクティブ再生スライスと宛先スライス、すなわち、オーディオテーマを変えるために次に再生されるように選択されたオーディオセグメントとの間のカットについて、図７を参照して以下により詳細に説明し、一方、図１１は、オンセットを決定することができる好ましいプロセスを示す。
図１１に関して説明されるオンセット決定は、本明細書に記載される他の態様から独立して実施することができるが、システムへのその包含は総合的な解決策を提供する。音楽オンセットは、音楽（又は他の有意な可聴）イベントが開始される時点である。
図１１ａにおいて、典型的なオーディオ信号１３００は、振幅が異なる成分１３０２、１３０４を含んで示されている。オンセット検出のために、好ましい実施形態はまず、オーディオ信号１３００の過渡部（すなわち、オーディオ信号の急速に展開する側面、すなわち、それぞれが約５０ミリ秒未満の持続時間を有する連続サンプリング窓においてエネルギーの有意な変化を示す周波数）を静止部（すなわち、オーディオ信号の安定側面、特に、連続サンプリング窓にわたり現れる周波数）から分離し、これは、図１１ｂに示される時間ドメイン表現１３１０を生成する。過渡部は、より一般的には、より高い周波数に関連付けられ、これらのより高い周波数はエネルギーの有意な増大を示す。次に、過渡部の振幅エンベロープ１３２０が特定され、これは通常、オーディオ信号処理の当業者により理解されるように、畳み込み関数に基づく。
続けて、電力閾値１３３０に相対して、振幅エンベロープ１３２０のピークが検出される。ピークは、局所領域におけるエンベロープの最大点に対応する。次に、オンセットの厳密な位置を得るために、システムは、時間的に後方のピークから過渡信号を通して作業して（サンプルごとに）、ポイントＸを見つけるように構成され、ポイントＸでは、そのポイントＸ前の信号の期間の特性が、そのポイントＸ後の信号の期間の同じ特性と最大に異なる。局所ピークからの後方反復は、恐らく、７０ミリ秒までにわたり又は所定の閾値を超える電力を有する前の局所ピーク（これがより早期に生じる場合）まで行われる。閾値を超える電力を有する隣接ピークの場合、オンセットは必然的に、これらのピーク間の最大差に存在する。
特性は、限定ではなく、ポイントＸ前後の過渡信号の一次導関数の標準偏差を含む。換言すれば、サンプリング窓にわたりサンプリングされる隣接電力における最大比率は、オンセットに最も適切なポイントを提供し、これは図１１ｄに示される。過渡エンベロープはオーディオトラックの全体にわたる全ての過渡部に関連し、生成された振幅エンベロープは、電力閾値を超えるピークを有する多くのサンプリング窓を含み、したがって、決定が必要な多くのオンセットを含む。これを再び別様に表現すれば、オンセットの開始は、好ましくは、そのサンプリングポイント前の所定の期間にわたり識別された測定可能な特性の変化率の標準偏差が、同じ所定の期間（典型的なサンプリングレートが４４．１ｋであると仮定すると、通常、約１０ミリ秒）にわたるポイントサンプリングポイント後に測定／特定されたその規定された測定可能な特性から最大に異なるサンプリングポイントを識別しようとすることにより検出される。
サンプリング期間／窓は、約１０ミリ秒から約５０ミリ秒の領域にあり得る。オンセットの一例として、シンバルクラッシュは、オーディオ信号におけるその発生時点において過渡部の最大変化を有する傾向があるため、オンセットを表す傾向がある。
再び図６及びトラックメタデータを生成するプロセスに戻ると、バー／ビート位置１１０６を解決する更に自動化されたトラック分析（ここでも手動入力に鑑みてレビューし得る）機能。レベルと、ひいてはオンセットとの間の関係を所与として、バー及びビート検出をオンセット検出１１０４から又はオンセット検出１１０４に基づいて導出することができる。
システム内の進行中の信号処理に関して、時間シグネチャ分析１１０２、オンセット検出１１０４、及びバー／ビート検出１１０６（及びユーザ１１１０からの任意の監視下での入力）を使用して、オーディオトラックを外部イベントの性質、ひいてはオーディオ拡張の性質をカテゴリ化するために適用されるＭａｓｈｔｒａｘｘ語彙に相関する−可変持続時間の−テーマにスライス又はセグメント化する。これに関して、好ましくはＡＩ論理を使用して実現される−メタタグ付けプログラム１１１２は、選択されたオーディオセクションのメタデータタグを含む拡張オーディオトラック４５８を編纂する。示された又は暗示されたように、このメタデータは、少なくとも音楽機能及び強度並びにセクションに関連付けられたテーマのカット及びフェードのイグジットポイント及びエントリポイントを識別する。メタデータタグ付けは、サンプリングされ送出されたオーディオフレーム、すなわち、スライス又はセグメントを、トリガー閾値の超過又は割り当てられたＭａｓｈｔｒａｘｘ語彙語からのテーマの識別により識別される等の識別された外部イベント３１２のタイミングと精密に一致させることができることを意味する。
時間シグネチャ又はタイムライン生成により、トラックセクションを音楽表記で記述することができ、これは、トラックセクションの正確なマッチングにとって極めて重要である。時間シグネチャの正確な識別により、最も近いビートへの自動スナッピングをサポートする可動タイムラインが可能になる。
システムは、好ましくは、デジタルオーディオトラックのビート及びバーで作成されたタイムラインを生成し、音楽的に忠実な表記が編集プロセスに保持されることを保証する。個々の音楽の完全性に有害ではないようなコンテンツのカット、接合、及びリミックスの成功を支えるのは、これである。システムインテリジェンスは、変更すべきオーディオ入力に従って適応することができる柔軟な手法の構築を可能にする。例えば、テンポ低減が検出される場合、それに従ってタイムラインを調整することができる。これは、リミックス及び再編集を目的とした音楽形態の解体において重要である。これは、オーディオが音楽的にタイムラインにいかに関連するかの明白な理解をサポートし、ユーザがデジタルフォーマット内の音楽構造の実際の意味を維持できるようにする。
したがって、オーディオセクション作成は、新しい組成を形成するように再アレンジすることができるセクションにトラックを分割するプロセスである。好ましくは、セクションはバーに自動的にスナッピングされる。各セクションは、ユーザ定義可能であるが、好ましくは、イントロ、バース、ブリッジ、コーラス、ミドル８、又はアウトロの１つにデフォルト設定される（メタタグにより識別される）グループに属することができる。各セクションでは、限定ではなく、強度、音楽機能、楽器、ボーカル、及びタグを含め、カスタマイズ可能なメタデータ属性が可能である。
本明細書に記載されるシステムは、ソフトウェアを利用して、バー、ビート、及びバーのフラクションに関して従来の組成リズム分析を維持する。これにより、ユーザは、従来通りにバー組成及びビート組成を分割し、理解することに従事することができる。これは組成直感を維持し、概念の解体及び再アレンジを音楽的に簡単にする。システムはまたパルスデータも組み込み、デジタルオーディオの最大の可能性を利用し、更なるパルスに分割される組成フラクションを最小にすることができる。パルスの主機能は、異なる時間シグネチャ及び異なるセクションにおける異なる時間シグネチャ間のカットに使用される係数に対処するのに必要な最小粒度を提供することである。
したがって、完全なトラックのメタデータは、１組のオーディオセクション記述及び任意の他のセクションに又は任意の他のセクションからいかに遷移することができるかについての説明を含む。したがって、各オーディオセクションは、外部イベントの統制に相関するユーザブリーフを所与として、スライスシーケンスを構築できるようにする包括的なメタデータを含む。任意選択的に、メタデータは、オリジナルオーディオトラックへの参照を含み得、Ｓｐｏｔｉｆｙ等のオンライン音楽ライブラリから正しいトラックを見つけられるようにする。これにより、オリジナルトラックから独立して、メタデータを記憶することができ、メタデータ及びトラックを両方とも、セクションアセンブリインテリジェンス４５２によりストリーミング又はプルダウンすることができる。
したがって、メタデータフレームワークは、特定のユーザ定義のカテゴリに従って音楽をタグ付けられるようにする。例えば、これらのカテゴリは、例えば、ジャンル、ムード、スタイル、及びテンポを含むことができ、検索可能なサウンドのデータベースの作成に使用することができる。実際に、システムは、タイトル及びアーティストのみならず、サウンド、ジャンル、及び音楽スタイルによっても音楽を検索する潜在性をもたらす。したがって、図１２のデータベース構成により、メタデータを取り扱うグローバル手法での検索のみならず、個々のセクションのメタタグを検索することができる。例えば、メタタグ付けシステムが、「アップビートで、幸せで陽気であるとともに、あるポイントでトランペットソロがある必要があり、他のどこかで弦楽器の土台（ｓｔｒｉｎｇ ｂｅｄｓ）を有する落ち着いたセクションがある必要があるトラックが欲しい」等のブリーフィング要件を満たすことができることが好ましい。既存のシステムは、そのような豊富で柔軟性のある検索を提供することができない。
好ましくは、メタデータスキーマは、データを全体トラックに帰することを可能にするのみならず、特定のセクションの粒度の細かい注釈付けも促進し、それにより、個々の音楽の特色の記述的データを提供する。適用される１つ又は複数（通常、複数）の音楽特徴付けは、各音楽に共通であり、したがって、ＡＩメカニズムが、識別された入力イベント（現実世界からの）同期要件に応じてデジタルオーディオファイルを編集できるようにする。したがって、オーディオの感情的なメタタグは、各セクションのテーマに適用される特徴付けから独立する。異なる感情ムードの検索により、異なるオーディオセクションを交換して、同期要件を満たすことができる。したがって、幾つかの主要特徴は、
・クライマックス：音楽がピークを打つ場所、
・静的セクション：音楽は、知覚されるコンテキスト及び又は実際のレベル強度において増大も低減もしない、
・ドラマドロップアウト：音楽は急に変わり、非常に希薄になる、
・ドロップダウンフェード：音楽は徐々に強度を下げる、
・ビルド：音楽は徐々に強度を上げる、
・アンダースコア：台詞及び演技下での低レベルオーディオフィル、
・ジャンル、
・楽器タイプ
に関連する音楽ヒットポイント及び機能記述子を含む。
音楽の各セクションは、その形態機能、すなわち、セクションが音楽全体内でいかに動作するか、例えば、アンダースコア、ドロップアウトフェード、及びビルドに関して記述することができる。したがって、セクションに適用される感情関連のコンテキストメタデータに関係なく、入力イベントデータを記載の音楽形態機能に関して記述することができる場合、任意の音楽が使用可能であり、特定の音楽の特性に伴ってユーザに生じる任意の感情的主観に関係なく同期要件を満たす。これは、様々な実施形態において適用される記載の処理の機能にとって重要である。
メタタグ付けは、音楽に限定される必要はなく、他のサウンドソース（サッカーのキック等）に適用することもでき、したがって、サウンドステージは、識別された外部イベントにタグ付けされた、挿入されたオーディオセクションにより拡張することができる。
図７は、トラックサンプル内の異なる音楽テーマからのイグジットポイントとトラックサンプル内の異なる音楽テーマへのエントリポイントとの間の好ましいカット戦略の時間ドメイン表現１１３０である。
図７内には、２つの時間ドメインスペクトルがある：第１のアクティブ「再生中」オーディオセグメント１１３２並びにテーマ変更及び新しい相関付けられたオーディオ出力として第１のアクティブセグメントにカットインする、すなわち、第１のアクティブセグメントを置換すべき第２のセグメントの導入に使用される第２の「宛先」オーディオセグメント１１３４。好ましい実施形態は、このフェード／カットインを略シームレスに達成する。
両時間ドメインスペクトルは、オンセット１１３６ａ〜１１３６ｆ等の共通の特徴を含む。
時間シグネチャ又は時間ベース１１５０に関して、これは、オーディオエンベロープを、１６分音符、クロシェット（ｃｒｏｃｈｅｔ）、又は他の何らかの選択されたタイミングに対応する持続時間を有し得るセグメントに分割する垂直点線の図に表される。図７では、例示的な表現は、各エンベロープの関連部分を４つの等しい時間セクタに分割するビート３．１、３．２、３．３、及び３．４という４つのフラクションを提供する。これらの４つのフラクションは、実際には、１つ若しくは複数の音楽ビート又はオーディオトラックにおける何らかの他の期間を表し得る。
図８ａ、図８ｂ、及び図８ｃを参照すると、第１のアクティブ再生中オーディオセグメント１１３２から第２の宛先オーディオセグメント１１３４へのイグジットに関して、好ましいフェード／カットプロセスはまず、第１のアクティブ再生中オーディオセグメントオンセットＡ及び第２の宛先オーディオセグメントオンセットＤを識別し、次にこれらを対比し、最も近い適切な時間ベース１１５０と相対して評価を行う。２つのオンセット：オンセットＡ及びオンセットＤを近い時間で再生させること又はオンセットの有意な時間遅延が予期されることは、オーディオの流動性及びテーマ間の遷移に顕著な不連続性を生じさせる。
したがって、テーマ遷移を行うべき場合、好ましい実施形態は、第１のオンセット（アクティブセグメント及び宛先セグメントのそれぞれでの）間の時間差（ｓ２に対するｓ１及びｓ４に対するｓ３）をサンプリングしようとし、代替のうちの最も早期のものを選択する。オンセットがアクティブ再生中トラックで生じるか、それとも宛先トラックで生じるかに関係なく、時間ベース１１５０に相対して時間的に最も早期のオンセットが、アクティブ再生中セクションから宛先セクションへのクロスフェード−好ましくは即時カット１１８０−があるポイントである。クロスフェードの場合、典型的なクロスフェードは、最長で約５ミリ秒かかり得る。クロスフェードは瞬時カットであることが好ましく、その理由は、即時カットが、２つの信号の電圧が一致する可能性が低い場合、オーディオポップの危険を回避するためである。特定の状況により、より制限された解釈が必要とされる場合を除き、「カット」という用語は、より急速に生じる特殊な場合のクロスフェードとして見られるべきである。
したがって、図８ａでは、アクティブオーディオセクション１１３２から宛先セクション１１３４へのカット１１８０は、アクティブオーディオセクション１１３２が上昇し始めるサンプルと同時（又はバッファリングが利用可能な場合、わずかに前）にトリガーされる。次に、宛先オーディオトラックが再生され、別のテーマ変更が必要になるようなときまで、アクティブトラックになる。したがって、図８ｂでは、アクティブオーディオセクション１１３２から宛先セクション１１３４へのカット１１８０は、宛先オーディオセクション１１３２が上昇し始めるサンプルと同時（又はバッファリングが利用可能な場合、わずかに前）にトリガーされる。通常、サンプリングレート及び時間ベースは、数分の１秒で動作し、したがって、絶対カット（よりスローなフェードではなく）は取るに足らず、実質的に気付かれない。したがって、プロセスは、オーディオのシームレスでエンドレスな再構築を可能にする。バッファリングは、事前処理を提供するため、好ましい。
図８ｃでは、宛先オーディオ１１３４におけるオンセットが時間ベース１１５０前に生じ、一方、アクティブ再生セクションでは、オンセットが、時間ベース後に生じるものとして検出されることに留意する。したがって、図８ｃでは、カット及びクロスフェードは、宛先セクション１１３４において検出されたオンセットとタイミングが合わせられ、バッファリングにより、そのタイミングが維持されることを保証する。
メタデータをオリジナルトラックから分離し、メタデータをセキュアデータベースに記憶することにより、好ましい実施形態のシステムは、任意選択的に、コンテンツの実質を不可視に保ち、したがって、ライセンシング及び著作権問題を保護する。したがって、分離プロセスは、必要な都度コンテンツを動的に生成し得るため、Ｐ２Ｐ（ピアツーピア）共有に必要なアクセスの多くをなくし得る。実際に、好ましい実施形態のシステムは、オリジナルコンテンツ及びユーザ入力及び同期プロセスにより生成された新しいコンテンツを保護し得る。
したがって、システム及びプロセスは、リアルタイムで動作可能な自動プロセスを通してクリエイティブな編集をサポートする。したがって、ゲームの音楽は、ゲームの物語：浮き沈み、達成及び失敗を辿るように動的に編集することができる。ゲーム内経験は常に様々であるため、これは、インテリジェンスフレームワーク４５２（図２の）が、各トラックのアクセスキーに有効化された音楽をストリーミングして、有効なアクセスキーを所有しないユーザの秘密鍵をなくすように動作できることを意味する。さらに、オーディオのメタタグ付け及び現実世界イベントとの相関の使用により、ユーザは、例えば、個人のＹｏｕＴｕｂｅ、Ｆａｃｅｂｏｏｋ、及びＶｉｍｅｏビデオにお気に入りの音楽を利用することができる。
まとめると、本革新は、リアルタイム音楽同期を可能にする、音楽のような組成特性を有するデジタルオーディオ情報を編集する方法を提供する。システムは、シームレスな聴覚的遷移を提供する、イグジットオーディオセクション及びエントリオーディオセクションの両方におけるオンセット検出及び上拍イベントの検出を提供する。この高度なシステムは、ＤＳＰ、特にＡＩアルゴリズムを使用して、生のオーディオデータを分析し、従来は実行に専門知識及び熟練した音楽専門家を要した編集操作を実行する。さらに、この適応的システムは、オーディオデータをセグメント化し、そうしながら同時に、編集変更を可能にするように容易に調整される１組の制御コードを吹き込もうとする。システムは、デジタルオーディオ情報の音楽的に重要なパラメータを変換するように機能する。波形はデジタル編集の標準表現及びナビゲーションインターフェースになったが、バー及びビートに関して従来の組成的リズム分析を軽視している。この情報は、オーディオトラックの再アレンジ及びリミックスに極めて重要であり、自動同期に不可欠である。さらに、このシステムは、所与の音楽のテクスチャ、軌道、及び強度に関連するファイルフォーマットでの追加の記述的メタデータの符号化をサポートする。現在、音楽の物語的機能を捕捉するメタデータフォーマットはなく、これは、これを行う構造化された方法及びこの高レベル情報を低レベル転送可能データフォーマットに変換するシステムを提供する。
エンドユーザ機能の観点から、ソフトウェアは、音楽の付随が必要な状況に合うように自動的にリミックスされる−セクションアセンブリインテリジェンス４５２により−選択されたトラックの自動検索を促進する記述的データをエンドユーザが提供できるように構成される。エンドユーザは、記載されたアクセスインターフェースを通してガイダンスを提供することができ、ガイダンスは、エンドユーザが作り出したいムードに基づくことができ、さらには、音楽で達成したい物語を示唆することができる。システムは、好ましくは、映画データの基本注釈又は音楽の所望の使用についての情報等のユーザからの単純な入力に基づいて、ユーザに関連すると推定されるアイテムのみを検索することにより、情報オーバーロードを低減するように構成される。システムは、入力等の分析者又は注釈者により決定され、自然言語又はＭａｓｈｔｒａｘｘ語彙語を通して外部イベントに相関付けられたグローバル仕様及びトラック内仕様に基づいて関連トラックを選択するように構成される。この例は、ムード、音楽の全般的なペース／スピード、主要楽器（心当たりがある場合）、及びジャンルである。
したがって、本発明の様々な実施形態及び構成は、複数の一意に識別可能なソースオーディオトラックが記憶されたデータベースへの被制御アクセスを提供するように構成されたサーバを有するネットワークに接続可能なクライアントデバイスで再生可能なオーディオトラックの使用を追跡することができる方法論及び構成要素の関連する対話ネットワークを提供する。一般に、ソースオーディオトラックは、定義可能なテーマ又は絶対的なタイミングに関して明確にカテゴリ化される複数の音楽セクションを含む。
コンテンツ追跡は一般に、サーバがアクセスできるデータベース内に記憶された複数のソースオーディオトラックからの識別された／選択されたソースオーディオトラックにクライアントデバイスがアクセスできるようにする要求をサーバに対して行うことで開始される。サーバは、ゲートキーパとして動作し、識別されたソースオーディオトラックへのアクセス（例えば、ダウンロード又はストリーミングする）をクライアントデバイスに提供し、このアクセスは、クライアントデバイスに、識別されたソースオーディオトラックに関連する一意の識別子を提供することを含む。一意の識別子は、本明細書に例示されたように、通常、トラックのメタデータ内に埋め込まれ、したがって、トラックの提供は本質的に、一意の関連するトラック識別子の通信を見る。クライアントデバイスにおいて、アプリ又はブラウザインターフェースは、例えば、識別されたソースオーディオトラックにおける上記音楽セクションの少なくとも１つの再生に関連付けられたエントリポイント及びイグジットポイント、及び／又は識別されたソースオーディオトラックがクライアントデバイスにおいていかに使用、実行、又は操作されたかの少なくとも一方を追跡することにより、クライアントデバイスにおける識別されたソースオーディオトラックの使用を確立することができる機能をインスタンス化する。追跡データ（例えば、恐らくはオーディオトラックの再符号化メタデータとして実現されるログ）は、（ａ）それらのエントリポイント及びイグジットポイント及び／又は（ｂ）識別されたソースオーディオトラックがクライアントデバイスにおいていかに使用、実行、又は操作されたかの一方又は両方のクライアントデバイスにおける処理の動作により組み立てられる。この追跡データは、少なくとも１つの一意の識別子にリンクされて、続くリモートイベントのサーバ理解を可能にする。クライアントデバイスは、ネットワークを介してサーバに、追跡データ（本明細書に示されるように適した形態で）及びトラック識別子を送信するように構成される。
サーバにおいて、追跡データ及び一意の識別子への追跡データのリンクに関して、サーバは、クライアントデバイスによる識別されたソースオーディオトラックの少なくとも一部の使用に関連する追跡データを照合（識別されたトラックの全てのトラック及び／又は全てのユーザ）、記憶、及び／又は中継するように構成される。
サーバは、ａ）クライアントデバイス及びｂ）クライアントデバイスが対話する、ネットワーク及びクライアントデバイスに結合されたメディアサーバの少なくとも一方による識別されたソースオーディオトラックの使用に対する料金支払い責任を解決するように構成することもできる。この結果、クライアントアカウント（登録された予め存在する加入サービスがある場合）の直接請求及び自動引き落としになり、又はソーシャルメディアプラットフォームの請求はべきであり、そのプラットフォームは、この選択されたオーディオトラックのアップロード及び再生をサポート又は管理する。
追跡の技術的プロセスは、追加又は代替的に、トラックがいかに検索されるか、トラックがいかにダウンロードされるか、トラックが全体的又はセクションによりいかに聴かれるか、トラックがいかに編集されるか、及び／又はトラックが他のメディアにいかに出力又は付随するかについて測定すべき［例えば、コンテンツ所有者により］定量的測定をサポートする。これにより、コンテンツ所有者は、特定のトラックに関するこれらの各ステージでの効率の洞察を得ることができ、コンテンツ所有者が、メタデータの粒度を改善し、且つ／又は記載される定量的評価において非効率と識別された任意の品質を適応又は改善できるようにする。例えば、定量分析により、特定のオーディオトラックの特定のセクション（例えば繰り返し生成された）の観測された使用に基づいて、レンダリングの性質、オーディオのマスタリングの品質、及び／又はトラックの組成アセンブリを所与として、トラックの価格を変更することができ得る。
したがって、アップロードされた追跡データは、（ｉ）識別されたソースオーディオトラックの二次創作物であって、二次創作物はクライアントデバイスにおける処理により作られた、二次創作物、（ｉｉ）他のメディアとの識別されたソースオーディオトラックの同期であって、同期はクライアントデバイスにおける処理により行われた、同期、（ｉｉｉ）クライアントデバイスにおける識別されたソースオーディオトラックの機械的又は電子的コピーであって、コピーはクライアントデバイスにおける処理により開始された、機械的又は電子的コピー、及び／又は（ｉｖ）トラックの一般的な使用の少なくとも１つの存在を推測又は直接報告するのに必要な情報として見なすことができる。
好ましい実施形態は、シームレスな遷移点を符号化するとともに、ソーストラックを識別するメタデータを利用するが、本明細書に記載されるユーザ駆動コンテンツ追跡手法は、ソーストラック識別情報のみをクライアントデバイスにおいて受信し、次に、そのクライアントデバイスにおいて識別されたソースオーディオトラックの使用を確立することに基づいて機能することができる。したがって、クライアントデバイスに通信されたメタデータは、より一般的な性質のものであり得る（例えば、シームレスな聴覚的遷移の最適ポイント及び編集目的での精密なカットポイントに関連しない）。むしろ、ダウンリンク通信されるメタデータは、単にトラック識別情報又はトラック識別子であることができ、恐らくは、この基本トラック識別情報又はトラック識別子に追加されたオーディオに関連する追加のタイミングデータが付随する。ビデオもユーザデバイスにおいてローカルに編集することができ、そのような編集は、ビデオの再生に関連付けられたエントリポイント及びイグジットポイント、又は識別されたソースビデオがクライアントデバイスにおいていかに使用、実行、又は操作されたかにより報告することができるため、本発明は、実際には、任意のオーディオファイルから独立したビデオコンピレーションに適用することもできる。
本発明の態様は、ダウンロード可能な形態又はインスタンス化されると、ウェブサーバ等におけるリンク埋め込み機能を実行するプログラムコードを含むＣＤ ＲＯＭ等のコンピュータ可読媒体で提供し得る。当然ながら、上記説明が単なる例として与えられ、詳細の変更を行い得ることが理解されよう。
特に図１１ａ〜図１１ｄに関して説明したオンセットを識別する方法及びシステムは、実際には、監視されたイベントを拡張するためのオーディオデータの同期を超えた更なるより多くの用途を見つけ得る。したがって、方法及びシステムは、より一般に、音楽がコンテキストテーマに関してカテゴリ化されるか否か（自動的に検知されるか、それともユーザ又は専門家による批評を通して設定されるか）に関係なく、任意の音楽又はオーディオコンテンツファイルにおけるオンセットの識別に適用し得る。
実施形態は、外部イベントへのオーディオの適合を考察するが、外部イベントをトオーディオメタデータによりトリガー又は共有することができるという点で逆も真である。例えば、外部イベントは、映画内の連続シーン間で生じるビデオ遷移又はコンピュータゲームのレベル内の新しいフェーズ（新しいキャラクタが到着したとき又はゲームプレイ中、新しい能力が取得され、最初にゲームプレーヤに提示されたとき等）であり得る。好ましい実施形態に関して特定された強度、セクション、バー、ビート、及びビートのフラクションの１つ又は複数（例えば）の理解に基づいて、様々な好ましい実施形態から導出されるオーディオメタデータを使用して、経験するイベントの観測された時間属性変化、例えば、光の点滅又はライブステージパフォーマンス内、ＣＧＩ内、若しくは記録されたビデオ内で移動する小道具を生じさせることができる。
好ましい実施形態について、特に編集可能なトラックに関して説明したが、本発明が、音楽互換性に関して特徴付けられた様々なセクションを見た注釈付きオリジナルオーディオトラックに直接適用し得ることが理解されよう。換言すれば、図２のシステムは、ダウンロード時又はデータ処理時、シームレスなクライアント側編集を可能にする（トラックが実際に編集を受け、続けてアップロードされたか否かに関係なく）Ｍａｓｈｔｒａｘｘオーディオファイル記述を用いてカテゴリ化されたトラックに適用可能である。したがって、シームレスなクロスフェード機能は、オーディオ又はマルチメディアソースからとられたオーディオのセクションの特に識別された使用について報告するクライアント側手法に従属する。拡張として、一意のトラック識別子に関連付けられたコンテンツのセクションの使用及びエントリポイント又はイグジットポイントの関連するタイミングについてのクライアント側報告は、コンテンツ追跡、報告、及び多くの加入者での分散ネットワークによるコンテンツの特定のセクションの使用に比例した課金に使用することもできる。
専用ポイントツーポイント通信チャネル又は通信セッションの一意の識別情報の使用から、トラックへの関連付けを確立することができることが更に認識される。情報の双方向通信、すなわち、［ゲートキーパ］サーバからクライアントデバイスへのダウンリンク方向でのソーストラックの通信及びクライアントデバイスからサーバへのアップリンクでのデータの報告が、通信セッションの、割り当てられたが、専用のチャネル及び／又は一意の識別情報を利用する場合、一意のトラック識別子は、潜在的な冗長と見なすことができる。換言すれば、クライアントデバイスがソーストラックを選択し、サーバがこの選択を認識すると、サーバにおけるシステムインテリジェンスが、直接の関連付けが（ａ）クライアントデバイスにおけるオーディオトラックへのアクセス及び使用と、（ｂ）オーディオトラックへのアクセスが提供され、クライアント決定のローカル使用のリポートが送信される割り当てられた専用チャネル及び／又は通信セッションとの間に存在することの認識を通して選択されたトラックのクライアントデバイスによる使用を解決することが可能であるという点で、専用チャネルの使用は事実上、好ましいトラック識別子と同じように動作する。プロトコル「ＷｅｂＳｏｃｋｅｔ」は、そのようなハンドシェーク及び直接関連付けをサポートすることができ、ひいては、サーバを通してアクセスされ、次に、クライアントデバイスにおいてローカルに操作又はレンダリングされる特に選択されたオーディオトラックとの関連付けを確立するためポイントツーポイント通信セッションの一例である。したがって、「一意の識別子」（等、「一意のトラック識別子」を含む）という用語は、コンテキストが、コンテキストに応じて、トラックに関連付けられた符号化メタデータ及び／又はオーディオの特に選択されたもの（アクセス可能なデータベースにおいて）へのアクセスに関連付けられた専用通信リンクの一方又は両方であるものとして理解されるべきである。
コンテンツ追跡のメカニズムは、オーディオトラック並びにオーディオトラックの使用及び編集という例示的な状況で説明されたが、より一般に、ダウンロード、使用、且つ操作される選択されたソース、すなわち、オリジナルデジタルメディアファイルの使用の追跡に適用することもできる。これらのデジタルメディアファイルは、マルチメディアコンテンツのデータベースへのアクセスを受けたいクライアントデバイスにより要求されるとアクセス可能なデータベースにリモートに記憶されたマルチメディアファイル及びビデオコンテンツを含み得る。
本願で使用される場合、「構成要素」、「モジュール」、「システム」、「端末」、「サーバ」、「ユーザ／加入者機器／デバイス」等の用語は、ハードウェア、ファームウェア、ハードウェアとソフトウェアとの組合せ、ソフトウェア、又は実行中のソフトウェアに関係なく、コンピュータ関連エンティティを指すことが意図される。例えば、構成要素は、限定ではなく、プロセッサ（又は「コントローラ」と同義）で実行中のプロセス、プロセッサ、オブジェクト、実行可能ファイル、実行スレッド、プログラム、及び／又はコンピュータであることができる。例示として、計算デバイスで実行中のアプリケーション及び計算デバイスは両方とも構成要素であることができる。１つ又は複数の構成要素は、プロセス及び／又は実行スレッド内に常駐することができ、構成要素は、１つのコンピュータに局在してもよく、且つ／又は２つ以上のコンピュータに分散してもよい。加えて、これらの構成要素は、様々なデータ構造を記憶した様々なコンピュータ可読媒体から実行することができる。構成要素は、１つ又は複数のデータパケット（例えば、ローカルシステム内、分散システム内の別の構成要素と、及び／又はインターネット等のネットワークを介して信号により他のシステムと対話するある構成要素からのデータ）を有する信号等に従ってローカル及び／又はリモートプロセッサにより通信することができる。
本明細書に開示されるプロセスにおけるステップの特定の順序又は階層が、例示的な手法の一例であることが理解される。本開示の範囲内に留まりながら、設計の好みに基づいて、プロセスにおけるステップの特定の順序又は階層を再構成し得ることが理解される。添付の方法クレームは、サンプル順序における様々なステップの要素を提示し、特定の順序が明示的に記載されるか、又は論理的に求められる場合を除き、提示される特定の順序又は階層への限定は意図されない。
さらに、本明細書に記載される様々な態様又は特徴は、標準プログラミング及び／又はエンジニアリング技法を使用して方法、装置、又は製品として実施することができる。「製品」という用語は、本明細書で使用される場合、任意のコンピュータ可読デバイス又は媒体からアクセス可能なコンピュータプログラムを包含することが意図される。例えば、コンピュータ可読媒体は、限定ではなく、磁気記憶装置（例えば、ハードディスク、フロッピーディスク、磁気ストリップ等）、光ディスク（例えば、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）等）、スマートカード、及びフラッシュメモリデバイス（例えば、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、カード、スティック、キードライブ等）を含むことができる。さらに、本明細書に記載されるデータベース及びメモリ等の様々な記憶媒体は、情報を記憶する１つ又は複数のデバイス及び／又は他のコンピュータ可読媒体を表すことができる。「コンピュータ可読媒体」という用語は、限定ではなく、命令及び／又はデータを記憶、包含、及び／又は搬送可能な光学、磁気、電子、電磁波、及び様々な他の有形媒体を含み得る。
本明細書に開示された例に関連して説明された様々な例示的な論理ブロック、モジュール、回路、メソッド、及びアルゴリズムが、電子ハードウェア、コンピュータソフトウェア、又は両方の組合せとして実施し得ることを当業者は更に理解しよう。ハードウェアとソフトウェアとのこの相互交換可能性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、メソッド、及びアルゴリズムは、一般に機能に関して上述されている。そのような機能がハードウェアとして実施されるか、それともソフトウェアとして実施されるかは、特定の用途及びに全体システムに課される設計制約に依存する。当業者は、文字通り又は同等に、添付の特許請求の範囲内に留まりながら、特定の各用途において様々な方法で記載の機能を実施し得る。
特定の構成が互いに相互排他的ではない場合、本明細書に記載される様々な実施形態を結合して、任意選択的に、感覚関連同期したオーディオの効率的な送出においてシステム機能を強化し、且つ／又は相補的な機能を生み出すことができる。そのような結合は、上記説明全体を所与として、当業者により容易に理解されよう。同様に、好ましい実施形態の態様は、総じて、記載される現実世界エフェクトを一緒にサポート、実現、及び生成するが、より制限され、ひいては特定の構成要素機能が相互接続された−ひいては対話する−システム構成要素のそれぞれ内に提供されるスタンドアロン構成で実施し得る。実際に、特定の好ましい実施形態における特徴が明示的に、互いと非互換であると識別される場合を除き、又は前後の文脈により、相互に排他的であり、相補的及び／又はサポート的に容易に互換ではないことが暗示される場合を除き、本開示全体は、それらの相補的な実施形態の特定の特徴を選択的に結合して、１つ又は複数の包括的であるがわずかに異なる技術的解決策を提供することができることを意図し考えることが理解されよう。

Claims (33)

  1. １つ又は複数の音楽セクションを含む複数のソースオーディオトラックが記憶された第１のデータベースへの被制御アクセスを提供するように構成されたサーバを有するネットワークに接続可能なクライアントデバイスでの再生可能なオーディオトラックの使用を追跡する方法であって、
    前記複数のソースオーディオトラックの識別されたソースオーディオトラックにアクセスする要求を前記サーバに対して行うこと、ここで前記識別されたソースオーディオトラックへの要求は、前記クライアントデバイスによって行われ；
    前記識別されたソースオーディオトラックへのアクセスを前記クライアントデバイスに提供すること、ここで前記アクセスは、前記クライアントデバイスに、前記識別されたソースオーディオトラックに関連する一意の識別子を提供することを含み；
    前記クライアントデバイスにおいて、
    前記識別されたソースオーディオトラックにおける前記音楽セクションの少なくとも１つの再生に関連付けられたエントリポイント及びイグジットポイント、及び
    前記識別されたソースオーディオトラックが前記クライアントデバイスにおいていかに使用、実行、又は操作されたか
    の少なくとも一方を追跡することにより、前記クライアントデバイスにおける前記識別されたソースオーディオトラックの使用を確立すること；
    前記クライアントデバイスにおいて、（ａ）エントリポイント及びイグジットポイント及び／又は（ｂ）前記識別されたソースオーディオトラックが前記クライアントデバイスにおいていかに使用、実行、又は操作されたかのうちの一方又は両方についての追跡データを生成すること；
    前記ネットワークを介して前記サーバに、前記クライアントデバイスにおける前記選択されたソースオーディオトラックの少なくとも一部のローカル使用のリポートを送信すること、ここで前記リポートは、前記追跡データに前記一意の識別子を関連付け；
    前記サーバにおいて、前記追跡データ及び前記一意の識別子への前記追跡データのリンクに関して、前記クライアントデバイスによる前記識別されたソースオーディオトラックの少なくとも一部の使用に関連する追跡データを記憶又は中継すること、
    を含む、方法。
  2. 前記追跡データは、
    ｉ）前記識別されたソースオーディオトラックの二次創作物であって、前記二次創作物は前記クライアントデバイスにおける処理により作られた、二次創作物、
    ｉｉ）他のメディアとの前記識別されたソースオーディオトラックの同期であって、前記同期は前記クライアントデバイスにおける処理により行われた、同期、及び
    ｉｉｉ）前記クライアントデバイスにおける前記識別されたソースオーディオトラックの機械的又は電子的コピーであって、前記コピーは前記クライアントデバイスにおける処理により開始された、機械的又は電子的コピー
    の少なくとも１つの存在を暗示又は報告する、請求項１に記載の方法。
  3. 第２のデータベースは、
    各ソースオーディオトラックにおけるセクション間の音楽的に存立可能なクロスフェード又はカットを定義する関連オーディオファイル記述であって、各セクションにおける存立可能な各クロスフェード又はカットは、聴覚的にシームレスなクロスフェードが、選択されたセクションのエントリポイントとイグジットポイントとの間で音楽リズムを維持する音楽的時点に対応するリアルタイムでのポイントにより定義される、関連オーディオファイル記述を記憶し、
    前記ソースオーディオトラックへのアクセスを提供することは、少なくとも、関連オーディオファイル記述を前記要求側クライアントデバイスに送信することを含み、
    前記方法は、
    前記要求側クライアントデバイスにおいて、前記関連オーディオファイル記述を使用して、前記ソースオーディオトラックにおける前記セクションの少なくとも幾つか間のクロスフェード又はカットの連続のために、リアルタイムで遷移点を識別することであって、前記遷移点のそれぞれは、聴覚的にシームレスな遷移を実現する音楽的時点に対応する、識別することと、
    前記サーバに、前記識別されたソースオーディオトラックの前記遷移点及び前記ソースオーディオトラックの前記一意のトラック識別子を送信することと、
    前記サーバにおいて、前記遷移点及び前記一意のトラック識別子により識別された前記ソースオーディオトラックの特定の音楽セクションを解決して、前記特定の音楽セクションの使用を報告できるようにすることと、
    を更に含む、請求項１又は２に記載の方法。
  4. 前記第２のデータベースは、前記複数のソースオーディオトラックの少なくとも幾つかのそれぞれに関連付けられたアップロードファイルを更に記憶し、各アップロードファイルは、各ソースオーディオファイルの編集を定義し、前記アップロードファイルにより、前記アップロードファイルが読み取られ、前記クライアントデバイスによりアクセス可能なように前記アップロードファイルとき、各ソースオーディオトラック内のセクションの順序を選択することができる、請求項３に記載の方法。
  5. 前記サーバにおいて、前記特定の音楽セクションの解決に応答して、標的情報を識別し、次に、前記標的情報を前記要求側クライアントデバイスに通信させることであって、前記標的情報は、前記ソースオーディオトラック又は前記特定の音楽セクションに関連するものとして予め識別される、標的情報を識別し通信させること
    を更に含む、請求項３又は４に記載の使用を追跡する方法。
  6. 前記識別されたソースオーディオトラックの前記遷移点は、前記サーバにより、前記ソースオーディオトラックの前記編集の表現としてデータベースに記憶される、請求項３、４、又は５に記載の使用を追跡する方法。
  7. 前記遷移点へのアクセスをクライアントデバイスに提供して、前記編集を再生できるようにすることにより、前記ソースオーディオトラックの前記編集の前記表現を利用できるようにすること
    を更に含む、請求項６に記載の使用を追跡する方法。
  8. 前記遷移点は、オーディオトラックにメタデータとして埋め込まれる、請求項７に記載の使用を追跡する方法。
  9. 前記遷移点はリアルタイム値である、請求項３〜８のいずれか一項に記載の使用を追跡する方法。
  10. 前記リアルタイム値は、前記ソースオーディオトラック内のパルスカウントである、請求項９に記載の使用を追跡する方法。
  11. 前記識別されたソースオーディオトラックは、ファイルとして前記要求側クライアントデバイスにダウンロード又はストリーミングされる、請求項１〜１０のいずれか一項に記載の使用を追跡する方法。
  12. デジタルオーディオファイルの使用を追跡するシステムであって、
    少なくとも１つの音楽セクションをそれぞれ含む複数のソースデジタルオーディオファイルに被制御アクセスを提供するように構成されたサーバ
    を含み、
    前記サーバは、下記を行うように構成されるシステム。
    前記複数のソースデジタルオーディオファイルの識別されたソースオーディオファイルにアクセスする要求をクライアントデバイスから受信したことに応答して、前記識別されたソースオーディオファイルへのアクセスを前記クライアントデバイスに提供すること；
    前記クライアントデバイスに、アクセスが提供された前記識別されたソースオーディオトラックに関連する一意の識別子を提供すること；
    前記一意の識別子にリンクされた追跡データを前記クライアントデバイスから受信すること、ここで前記追跡データは、
    前記識別されたソースオーディオトラックにおける前記音楽セクションの少なくとも１つの、前記クライアントデバイスにおける再生に関連付けられたエントリポイント及びイグジットポイント、及び
    前記識別されたソースオーディオトラックが前記クライアントデバイスにおいていかに使用、実行、又は操作されたか
    の少なくとも一方に関連し；
    前記クライアントデバイスにより要求された前記識別されたソースオーディオトラックの前記一意の識別子にリンクされた前記追跡データを記憶又は中継することにより、前記識別されたソースオーディオトラックの使用を追跡すること、ここで前記追跡データは、前記クライアントデバイスによる、前記識別されたソースオーディオトラックの少なくとも一部の使用に関連する。
  13. 前記サーバは、下記を行うように更に構成される、請求項１２に記載のシステム。
    各ソースオーディオトラックにおけるセクション間の音楽的に存立可能なクロスフェード又はカットを定義する関連オーディオファイル記述が記憶されたデータベースへのアクセスをクライアントデバイスに提供すること、ここで各セクションにおける存立可能な各クロスフェード又はカットは、聴覚的にシームレスなクロスフェードが、選択されたセクションのエントリポイントとイグジットポイントとの間で音楽リズムを維持する音楽的時点に対応するリアルタイムでのポイントにより定義され；
    関連オーディオファイル記述を前記要求側クライアントデバイスに送信すること、ここで前記オーディオファイル記述は前記ソースオーディオトラックに関連し：
    前記関連オーディオファイル記述が送信された前記クライアントデバイスから、前記ソースオーディオトラックの前記一意の識別子を用いて参照される遷移点を受信すること、ここで前記遷移点は、前記ソースオーディオトラックにおける前記セクションの少なくとも幾つか間のクロスフェード又はカットの連続をリアルタイムで識別し、前記遷移点のそれぞれは、聴覚的にシームレスな遷移を実現する音楽的時点に対応し；
    前記遷移点及び前記一意のトラック識別子により識別された前記ソースオーディオトラックの特定の音楽セクションを解決して、前記特定の音楽セクションの使用を報告できるようにすること。
  14. 前記サーバは、前記特定の音楽セクションに解決に応答して、前記ソースオーディオトラック又は前記特定の音楽セクションに関連するものとして予め識別された標的情報を識別し、次に前記標的情報を通信するように更に構成され、前記標的情報はデータベースに記憶される、請求項１３に記載のシステム。
  15. 前記サーバは、前記ソースオーディオトラックの編集の表現として、前記識別されたソースオーディオトラックの前記遷移点をデータベースに記憶するように更に構成される、請求項１２又は１４に記載のシステム。
  16. 前記サーバは、前記遷移点へのアクセスをクライアントデバイスに提供して、前記編集を再生できるようにすることにより、前記ソースオーディオトラックの前記編集の前記表現を前記クライアントデバイスに提供するように更に構成される、請求項１５に記載のシステム。
  17. 前記追跡データは、
    ｉ）前記識別されたソースオーディオトラックの二次創作物であって、前記二次創作物は前記クライアントデバイスにおける処理により作られた、二次創作物、
    ｉｉ）他のメディアとの前記識別されたソースオーディオトラックの同期であって、前記同期は前記クライアントデバイスにおける処理により行われた、同期、及び
    ｉｉｉ）前記クライアントデバイスにおける前記識別されたソースオーディオトラックの機械的又は電子的コピーであって、前記コピーは前記クライアントデバイスにおける処理により開始された、機械的又は電子的コピー
    の少なくとも１つの存在を暗示又は報告する、請求項１２又は１６に記載のシステム。
  18. 前記サーバは、
    ａ）前記クライアントデバイス及び
    ｂ）前記クライアントデバイスが対話する、ネットワーク及び前記クライアントデバイスに結合されたメディアサーバ
    の少なくとも一方により、前記識別されたソースオーディオトラックの前記使用の料金支払い責任を解決するように更に構成される、請求項１２又は１７に記載のシステム。
  19. 前記メディアサーバは、ソーシャルメディアプラットフォーム内にある、請求項１８に記載のシステム。
  20. 前記ソースオーディオトラックの少なくとも幾つかのセクションは、表示を少なくとも１つの選択されたセクションと同期させた少なくとも１つの画像を含むマルチメディアファイルの部分を形成する、請求項１〜１１のいずれか一項に記載の方法又は請求項１２〜１９のいずれか一項に記載のシステム。
  21. メディアコンテンツをクライアントデバイスで再生し、メディアコンテンツのセクションの使用を追跡する方法であって、下記を含む方法。
    それぞれが１つ又は複数のセクションを有する複数のデジタルメディアファイルを含むデータベースから、選択されたデジタルメディアファイルを選択すること；
    通信ネットワークを介して、前記選択されたデジタルメディアファイルへのアクセスを受信し、前記選択されたデジタルメディアファイルに関連する一意の識別子を更に受信すること；
    前記選択されたデジタルメディアファイルの少なくとも１つのセクションの再生に関連付けられたエントリポイント及びイグジットポイント、及び
    前記選択されたデジタルメディアファイルが前記クライアントデバイスにおいていかに使用、実行、又は操作されたか
    の少なくとも一方を追跡することにより、前記クライアントデバイスにおける前記選択されたデジタルメディアファイルの使用を確立すること；
    （ａ）エントリポイント又はイグジットポイント及び／又は（ｂ）前記選択されたデジタルメディアファイルが前記クライアントデバイスにおいていかに使用、実行、又は操作されたかの一方又は両方についての追跡データを生成すること；
    前記通信ネットワークを介して、前記クライアントデバイスにおける前記選択されたデジタルメディアファイルの少なくとも一部のローカル使用のリポートを通信すること、ここで前記リポートは前記追跡データに前記一意の識別子を関連付ける。
  22. 下記を更に含む、請求項２１に記載のメディアコンテンツをクライアントデバイスで再生し、メディアコンテンツのセクションの使用を追跡する方法。
    前記選択されたデジタルメディアファイルの関連ファイル記述を受信すること、ここで前記ファイル記述は、前記選択されたデジタルメディアファイルにおけるセクション間の可視のクロスフェードを定義し；、
    前記関連ファイル記述を使用して、前記選択されたデジタルメディアファイルにおける複数のセクションの少なくとも幾つかの選択されたセクション間のクロスフェードの連続のために、遷移点をリアルタイムで識別すること；
    前記ネットワークを介して、前記選択されたデジタルメディアファイルの前記遷移点及び前記一意の識別子をアップリンク送信して、特定のセクションの使用を報告できるようにすること。
  23. 下記を更に含む、請求項２１に記載のメディアコンテンツをクライアントデバイスで再生し、メディアコンテンツのセクションの使用を追跡する方法。
    前記選択されたデジタルメディアファイルの関連オーディオファイル記述を受信すること、ここで前記オーディオファイル記述は、前記選択されたデジタルメディアファイルにおけるオーディオセクション間の音楽的に存立可能なクロスフェードを定義し、存立可能な各クロスフェードは、聴覚的なシームレスなクロスフェードを実行して、前記選択されたデジタルメディアファイルの選択されたセクション内のエントリポイントとイグジットポイントとの間で音楽リズムを維持することができる音楽的時点に対応するリアルタイムでのポイントより定義され；
    前記関連オーディオファイル記述を使用して、前記選択されたデジタルメディアファイルにおける複数のオーディオセクションの少なくとも幾つかの選択されたセクション間のクロスフェードの連続のために、遷移点をリアルタイムで識別すること、ここで前記遷移点のそれぞれは、聴覚的にシームレスな遷移を実現する音楽的時点に対応し；
    前記ネットワークを介して、前記選択されたデジタルメディアファイルの前記遷移点及び前記一意の識別子をアップリンク送信して、特定のセクションの使用を報告できるようにすること。
  24. 内部のオーディオセクションの順序を変更することにより、前記選択されたデジタルメディアファイルを編集すること
    を更に含む、請求項２３に記載のメディアコンテンツをクライアントデバイスで再生し、メディアコンテンツのセクションの使用を追跡する方法。
  25. ソースオーディオトラックのセクションを選択する能力を、前記編集において一緒に連続してクロスフェードして、前記ソースオーディオトラックの音楽的に互換性のあるセクション内のエントリポイントとイグジットポイントとの間の音楽リズムを維持することができるセクションのみに制限すること
    を更に含む、請求項２３に記載のメディアコンテンツをクライアントデバイスで再生し、メディアコンテンツのセクションの使用を追跡する方法。
  26. 前記選択されたデジタルオーディオファイルは、ファイルとしてダウンロードされるか、又はストリーミングされる、請求項２１〜２５のいずれか一項に記載のメディアコンテンツをクライアントデバイスで再生し、メディアコンテンツのセクションの使用を追跡する方法。
  27. 下記を更に含む、請求項２３に記載のメディアコンテンツをクライアントデバイスで再生し、メディアコンテンツのセクションの使用を追跡する方法。
    サーバを通して前記ソースオーディオトラックの編集版にアクセスすること；
    前記サーバを介して、前記編集に関連付けられた、記憶されたメタデータにアクセスすることにより、前記編集版を再生すること、ここで前記メタデータは、遷移点を定義して、前記編集版を前記クライアントデバイスで再生できるようにする。
  28. 前記選択されたデジタルメディアファイルは、ソースオーディオトラックの少なくとも幾つかのセクションを含み、前記選択されたデジタルメディアファイルは、前記クライアントデバイスで再生するために、前記ソースオーディオトラックの少なくとも１つの選択されたセクションと同期された少なくとも１つの画像を含むマルチメディアファイルである、請求項２１に記載のメディアコンテンツをクライアントデバイスで再生し、メディアコンテンツのセクションの使用を追跡する方法。
  29. 前記追跡データは、
    ｉ）識別されたソースオーディオトラックの二次創作物であって、前記二次創作物は前記クライアントデバイスにおける処理により作られた、二次創作物、
    ｉｉ）他のメディアとの前記識別されたソースオーディオトラックの同期であって、前記同期は前記クライアントデバイスにおける処理により行われた、同期、及び
    ｉｉｉ）前記クライアントデバイスにおける前記識別されたソースオーディオトラックの機械的又は電子的コピーであって、前記コピーは前記クライアントデバイスにおける処理により開始された、機械的又は電子的コピー
    の少なくとも１つの存在を暗示又は報告する、請求項２１〜２８のいずれか一項に記載のオーディオトラックをクライアントデバイスで再生し、オーディオトラックの音楽セクションの使用を追跡する方法。
  30. １つ又は複数の音楽セクションを含む複数のソースオーディオトラックが記憶された第１のデータベースへの被制御アクセスを提供するサーバを有するネットワークに接続可能なクライアントデバイスで再生可能なオーディオトラックの使用を追跡する方法であって、
    前記サーバに対して、前記複数のソースオーディオトラックの識別されたソースオーディオトラックにアクセスする要求を行うこと、ここで前記識別されたソースオーディオトラックへの要求は前記クライアントデバイスにより行われ；
    前記識別されたソースオーディオトラックへのアクセスを前記クライアントデバイスに提供すること、ここで前記アクセスは、前記識別されたソースオーディオトラックに関連する一意の識別子を前記クライアントデバイスに提供すること；
    を含み、
    前記クライアントデバイスにおいて、
    前記識別されたソースオーディオトラックにおける前記音楽セクションの少なくとも１つの再生に関連付けられたエントリポイント及びイグジットポイント、及び
    前記識別されたソースオーディオトラックが前記クライアントデバイスにおいていかに使用、実行、又は操作されたか、
    の少なくとも１つを追跡することにより、前記クライアントデバイスにおける前記識別されたソースオーディオトラックの使用を確立すること；
    前記クライアントデバイスにおいて、（ａ）エントリポイント及びイグジットポイント、及び（ｂ）前記識別されたソースオーディオトラックが前記クライアントデバイスにおいていかに使用、実行、又は操作されたかの少なくとも一方の追跡データを生成すること；
    前記ネットワークを介して前記サーバに、前記クライアントデバイスにおける前記選択されたソースオーディオトラックの少なくとも一部のローカル使用のリポートを送信すること、ここで前記リポートは前記追跡データに前記一意の識別子を関連付け；
    前記クライアントデバイスによる前記識別されたソースオーディオトラックの少なくとも一部の使用に関連する追跡データの記憶及び中継の少なくとも一方を可能にすること；
    を含む、方法。
  31. １つ又は複数の音楽セクションを含む複数のソースオーディオトラックが記憶された第１のデータベースへの被制御アクセスを提供するように構成されたサーバを有するネットワークに接続可能なクライアントデバイスで再生可能なオーディオトラックの使用を追跡する方法であって、
    前記サーバにおいて、前記複数のソースオーディオトラックの識別されたソースオーディオトラックにアクセスする要求を受信すること；
    前記サーバにおいて、前記識別されたソースオーディオトラックに関連する一意の識別子を前記クライアントデバイスに提供することを含む、前記識別されたソースオーディオトラックへのアクセスを管理すること；
    前記サーバにおいて、前記クライアントデバイスにおいて生じた、前記識別されたソースオーディオトラックの少なくとも一部のローカル使用のリポートを受信すること、ここで前記リポートは、追跡データに前記一意の識別子を関連付け、前記追跡データは、
    前記クライアントデバイスにおける前記識別されたソースオーディオトラックにおける前記音楽セクションの少なくとも１つの再生に関連付けられたエントリポイント及びイグジットポイント、及び
    前記識別されたソースオーディオトラックが前記クライアントデバイスにおいていかに使用、実行、又は操作されたか、
    の少なくとも１つの追跡を報告することにより前記識別されたソースオーディオトラックの使用、実行、又は操作を確認し；
    前記サーバにおいて、前記追跡データ及び前記一意の識別子へのリンクを関連付け、前記クライアントデバイスによる前記識別されたソースオーディオトラックの少なくとも一部の使用に関連する前記追跡データの記憶及び中継の少なくとも一方を行い、前記複数のソースオーディオトラックのそれぞれの音楽セクションの特定の使用を解決すること；
    を含む、方法。
  32. クライアントデバイスのプロセッサにより実行されると、前記クライアントデバイスに請求項２１〜２９のいずれか一項に記載のステップを実行させるコンピュータプログラム。
  33. ネットワーク接続されたサーバのプロセッサにより実行されると、前記サーバに請求項３０又は３１に記載のステップを実行させるコンピュータプログラム。
JP2019534813A 2016-12-20 2017-12-19 強化型コンテンツ追跡システム及び方法 Active JP7265987B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GB1621753.1A GB2557970B (en) 2016-12-20 2016-12-20 Content tracking system and method
GB1621753.1 2016-12-20
GBGB1719095.0A GB201719095D0 (en) 2016-12-20 2017-11-17 Content tracking system and method
GB1719095.0 2017-11-17
PCT/EP2017/083589 WO2018114976A1 (en) 2016-12-20 2017-12-19 Enhanced content tracking system and method

Publications (2)

Publication Number Publication Date
JP2020522083A true JP2020522083A (ja) 2020-07-27
JP7265987B2 JP7265987B2 (ja) 2023-04-27

Family

ID=58284704

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019534813A Active JP7265987B2 (ja) 2016-12-20 2017-12-19 強化型コンテンツ追跡システム及び方法

Country Status (11)

Country Link
US (3) US10268808B2 (ja)
EP (1) EP3559844B1 (ja)
JP (1) JP7265987B2 (ja)
KR (1) KR102533544B1 (ja)
CN (1) CN110603537B (ja)
BR (1) BR112019012953A2 (ja)
CA (1) CA3077113A1 (ja)
ES (1) ES2963168T3 (ja)
GB (2) GB2557970B (ja)
MX (1) MX2019007393A (ja)
WO (1) WO2018114976A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335687B (zh) * 2017-12-26 2020-08-28 广州市百果园信息技术有限公司 音频信号底鼓节拍点的检测方法以及终端
US11544708B2 (en) 2017-12-29 2023-01-03 Ebay Inc. User controlled storage and sharing of personal user information on a blockchain
US11281312B2 (en) * 2018-01-08 2022-03-22 Immersion Networks, Inc. Methods and apparatuses for producing smooth representations of input motion in time and space
GB2571340A (en) 2018-02-26 2019-08-28 Ai Music Ltd Method of combining audio signals
GB2576692A (en) * 2018-06-01 2020-03-04 Stageclip Ltd Media processing
US11301452B2 (en) 2018-10-09 2022-04-12 Ebay, Inc. Storing and verification of derivative work data on blockchain with original work data
WO2020172657A2 (en) * 2019-02-23 2020-08-27 Muserk, Llc Music and digital rights management systems and methods
US11783723B1 (en) * 2019-06-13 2023-10-10 Dance4Healing Inc. Method and system for music and dance recommendations
US11687904B2 (en) * 2019-11-04 2023-06-27 International Business Machines Corporation Downstream tracking of content consumption
CN111128100B (zh) * 2019-12-20 2021-04-20 网易（杭州）网络有限公司 节奏点检测方法、装置及电子设备
CN113448834A (zh) * 2020-09-25 2021-09-28 北京新氧科技有限公司 埋点测试方法、装置、电子设备及存储介质
US11183160B1 (en) * 2021-02-16 2021-11-23 Wonder Inventions, Llc Musical composition file generation and management system
US11244032B1 (en) * 2021-03-24 2022-02-08 Oraichain Pte. Ltd. System and method for the creation and the exchange of a copyright for each AI-generated multimedia via a blockchain
US20220377407A1 (en) * 2021-05-21 2022-11-24 Deluxe Media Inc. Distributed network recording system with true audio to video frame synchronization
US11818186B2 (en) 2021-05-21 2023-11-14 Deluxe Media Inc. Distributed network recording system with synchronous multi-actor recording
US11910050B2 (en) 2021-05-21 2024-02-20 Deluxe Media Inc. Distributed network recording system with single user control
US11611609B2 (en) 2021-05-21 2023-03-21 Deluxe Media Inc. Distributed network recording system with multi-user audio manipulation and editing
US11876841B2 (en) 2021-07-21 2024-01-16 Honda Motor Co., Ltd. Disparate player media sharing
CN114339446B (zh) * 2021-12-28 2024-04-05 北京百度网讯科技有限公司 音视频编辑方法、装置、设备、存储介质及程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160003A (ja) * 1999-09-17 2001-06-12 Internatl Business Mach Corp <Ibm> 電子配布システム内で顧客購入を一意に識別するための方法および装置
JP2007505410A (ja) * 2003-09-10 2007-03-08 ミュージックマッチ インコーポレイテッド 音楽購入及び再生のシステム及び方法
US20080127812A1 (en) * 2006-12-04 2008-06-05 Sony Corporation Method of distributing mashup data, mashup method, server apparatus for mashup data, and mashup apparatus
WO2008144530A2 (en) * 2007-05-17 2008-11-27 Noank Media, Inc. Methods, media, and systems for tracking, encrypting, and determining content usage, and identifying large content files
US20100064882A1 (en) * 2006-11-28 2010-03-18 Sony Corporation Mashup data file, mashup apparatus, and content creation method

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6746247B2 (en) 2000-12-27 2004-06-08 Michael P. Barton Choreographed athletic movement to music
US6476308B1 (en) 2001-08-17 2002-11-05 Hewlett-Packard Company Method and apparatus for classifying a musical piece containing plural notes
US7216178B2 (en) * 2003-04-04 2007-05-08 Gibson Guitar Corp. System and method for distributing music to customers over the internet using uniquely identified proprietary devices
US7148415B2 (en) 2004-03-19 2006-12-12 Apple Computer, Inc. Method and apparatus for evaluating and correcting rhythm in audio data
JP2006114174A (ja) 2004-10-18 2006-04-27 Sony Corp コンテンツ再生方法およびコンテンツ再生装置
WO2007066818A1 (ja) 2005-12-09 2007-06-14 Sony Corporation 音楽編集装置及び音楽編集方法
JP4296514B2 (ja) * 2006-01-23 2009-07-15 ソニー株式会社 音楽コンテンツ再生装置、音楽コンテンツ再生方法及び音楽コンテンツ再生プログラム
US7842874B2 (en) 2006-06-15 2010-11-30 Massachusetts Institute Of Technology Creating music by concatenative synthesis
US20090024234A1 (en) * 2007-07-19 2009-01-22 Archibald Fitzgerald J Apparatus and method for coupling two independent audio streams
US9313359B1 (en) 2011-04-26 2016-04-12 Gracenote, Inc. Media content identification on mobile devices
US8401683B2 (en) 2009-08-31 2013-03-19 Apple Inc. Audio onset detection
JP2012103603A (ja) 2010-11-12 2012-05-31 Sony Corp 情報処理装置、楽曲区間抽出方法、及びプログラム
JP2013009218A (ja) 2011-06-27 2013-01-10 Sony Corp 編集装置及び方法、並びにプログラム
GB201118784D0 (en) 2011-10-31 2011-12-14 Omnifone Ltd Djml
US9418643B2 (en) * 2012-06-29 2016-08-16 Nokia Technologies Oy Audio signal analysis
US9070351B2 (en) 2012-09-19 2015-06-30 Ujam Inc. Adjustment of song length
EP3020214A1 (en) * 2013-07-10 2016-05-18 Aliphcom System and method for audio processing using arbitrary triggers
JP6252088B2 (ja) 2013-10-09 2017-12-27 ヤマハ株式会社 波形再生を行うためのプログラム、波形再生装置及び方法
US9852772B2 (en) * 2014-02-24 2017-12-26 Ctrlmovie Ag Device and method for playing an interactive audiovisual movie
GB2539875B (en) 2015-06-22 2017-09-20 Time Machine Capital Ltd Music Context System, Audio Track Structure and method of Real-Time Synchronization of Musical Content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160003A (ja) * 1999-09-17 2001-06-12 Internatl Business Mach Corp <Ibm> 電子配布システム内で顧客購入を一意に識別するための方法および装置
JP2007505410A (ja) * 2003-09-10 2007-03-08 ミュージックマッチ インコーポレイテッド 音楽購入及び再生のシステム及び方法
US20100064882A1 (en) * 2006-11-28 2010-03-18 Sony Corporation Mashup data file, mashup apparatus, and content creation method
US20080127812A1 (en) * 2006-12-04 2008-06-05 Sony Corporation Method of distributing mashup data, mashup method, server apparatus for mashup data, and mashup apparatus
WO2008144530A2 (en) * 2007-05-17 2008-11-27 Noank Media, Inc. Methods, media, and systems for tracking, encrypting, and determining content usage, and identifying large content files

Also Published As

Publication number Publication date
US10268808B2 (en) 2019-04-23
WO2018114976A1 (en) 2018-06-28
EP3559844B1 (en) 2023-06-21
ES2963168T3 (es) 2024-03-25
GB2557970B (en) 2020-12-09
GB201621753D0 (en) 2017-02-01
BR112019012953A2 (pt) 2019-11-26
MX2019007393A (es) 2019-11-21
KR102533544B1 (ko) 2023-05-16
US20210326415A1 (en) 2021-10-21
CA3077113A1 (en) 2018-06-28
GB2557970A (en) 2018-07-04
CN110603537A (zh) 2019-12-20
KR20190139831A (ko) 2019-12-18
US20180181730A1 (en) 2018-06-28
US20190243954A1 (en) 2019-08-08
CN110603537B (zh) 2023-06-30
US10783224B2 (en) 2020-09-22
EP3559844A1 (en) 2019-10-30
JP7265987B2 (ja) 2023-04-27
GB201719095D0 (en) 2018-01-03

Similar Documents

Publication Publication Date Title
JP7265987B2 (ja) 強化型コンテンツ追跡システム及び方法
US20220121623A1 (en) Enhanced content tracking system and method
US11854519B2 (en) Music context system audio track structure and method of real-time synchronization of musical content

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220126

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230417

R150 Certificate of patent or registration of utility model

Ref document number: 7265987

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150