JP2014520352A - エンハンスされたメディア記録およびプレイバック - Google Patents

Abstract

エンハンスされたメディアファイルとともに従来のメディアコンテナフォーマットで記憶されたエンハンスされた特徴データにより、エンハンスされた特徴が提供される。エンハンスされた特徴データは、従来のプレイバックアプリケーションによって認識されず、このアプリケーションは、適切に構成されたエンハンスされたメディアファイルアプリケーションを有しないユーザに、メディアファイルの従来のプレイバック体験を生み出す。エンハンスされた特徴データは、適切に構成されたエンハンスされたメディアファイルアプリケーションによって認識され、このアプリケーションは、エンハンスされた特徴データを処理し、かつユーザ入力に応答して、エンハンスされたメディアファイルのプレイバックに関連してエンハンスされたユーザ特徴および対話をサポートする。

Description

関連出願の相互参照
本出願は、2011年6月5日に出願されたJ. Alexander Cabanilla、Jonathan Sheldrick、Robert Taubの「Enhanced Media Recordings and Playback」と題する同時係属中の米国特許仮出願第61/493,476号の優先権の恩典を主張する。これによって2011年6月5日の出願日の優先権が主張され、この特許仮出願の開示は参照により本明細書に組み入れられる。

背景
音楽のような記録されたプログラムを聞くことは消費者の間で大人気であり、自らの作品を配給するレコーディングアーティストおよび企業にとって非常に利益をもたらすことができる。たとえば、何百万コピーもの記録された歌曲がハードコピーおよび電子フォーマットの両方で日々購入されている。メディア記録のハードコピー売上げは、ビニールレコードおよび光学ディスク、たとえばコンパクトディスク（CD）、デジタルビデオディスク（DVD）またはブルーレイディスク（BD）の売上げを含む。電子フォーマットは、たとえば、「iTunes」および「Amazon」オンライン小売業者のようなサービスを介してダウンロードされるMP3、MPEG4およびAACファイルを含む。記録されたプログラムは、ハードコピー記録物に記録された、または電子フォーマットで記録されたオーディオ歌曲およびマルチメディアファイルを含んでもよい。たとえば、歌曲は、レコードまたは光学ディスクのトラックに記録されてもよい。マルチメディアファイルは、マルチメディアファイルのチャプタに記録されたムービー、テレビ番組、音楽ビデオ、ゲームなどを含んでもよい。記録されたプログラムのプレイバックは、購入されたコピーのフォーマットと互換性であるプレーヤを必要とする。ハードコピーの大部分の売上げおよび電子フォーマットメディアの全売上げは、原作品のデジタル符号化された表現の売上げである。

記録されたプログラムの売上げの成長は、多年にわたり連続的に売上げを伸ばしたのち、ここ20年間では問題を抱えている。プレイバック体験が聴者にとってより対話的かつ魅力的であることができるならば、記録されたプログラムへの興味を増すことができるであろう。左オーディオチャンネルと右オーディオチャンネルとを別々に有するステレオ記録が20世紀の早期から使用されている。電子フォーマットで記録されたオーディオのプレイバックは、一般にはデスクトップおよびラップトップコンピュータ、携帯電話、ポータブルプレーヤおよびタブレットコンピュータのような装置に組み込まれている、プレイバックアプリケーションを実行するコンピュータプロセッサによって達成される。

マルチメディアファイルのような記録されたプログラムは、歌曲、話し言葉の記録、ムービー、テレビ番組などを含んでもよい。多くのコンピュータプレイバックアプリケーションは、たとえば、作品に関するデータ、たとえば曲名、アーティスト名、レコーディングの年、歌詞、ジャンル、ユーザ評価などの表示を可能にする。そのような関連データは概してメタデータと呼ばれ、記録されたプログラムそのものとともに電子的に記録されるが、しかし作品そのものの一部を形成しない。メタデータは、ユーザに提供される作品とともに含まれてもよいし、またはメタデータの一部または全部がユーザによって適当なユーザインタフェースを通して供給されてその作品と関連づけられもよい。メタデータは、プレイバック中のオーディオ作品の楽しみを増すことができ、かつユーザの作品ライブラリの簡便さおよびユーザの楽しみを高めることができる。作品そのものおよび／またはその部分は、ネットワーク上、プレイバックのためのサーバを介してストリーミングおよびクラウドベースのアプリケーションによってオンラインで取得されてもよいし、あるいはCD、DVDまたはBDのような物理コピーから取得されてもよい。

従来の形態のメタデータはいくぶん制限的であり、概して、アーティスト名、曲名、歌詞などのようなテキストデータ、およびアルバムアートワークのようなグラフィックスデータに限られている。そのようなタイプのメタデータは概して、記録されたプログラムの相対的に受動的な楽しみ方には十分であるが、しかしプレイバック中のより対話的な体験がユーザの楽しみを増すであろう。

概要
開示されるものは、エンハンスされたメディアファイルを含む記録されたマルチメディアファイルに関して他のやり方では利用できないユーザ対話をサポートするエンハンスされた特徴である。エンハンスされたメディアファイルは、適切に構成されたエンハンスされたメディアファイルアプリケーションがエンハンスされたユーザ特徴をアクティブ化することができ、従来のプレイバックアプリケーションが、エンハンスされたユーザ特徴なしでも、エンハンスされたメディアファイルのプレイバックをサポートすることができるように提供される。すなわち、エンハンスされたメディアファイルは、従来のプレイバックアプリケーションによって認識されることができる従来のメディアコンテナフォーマットで提供される。したがって、エンハンスされたメディアファイルは視聴のための従来のプレイバック装置とで後方互換性であり、その一方で適切に構成されたエンハンスされたメディアファイルアプリケーションはエンハンスされたユーザ特徴をサポートすることができる。エンハンスされたユーザ特徴は、エンハンスされたメディアファイルとともに従来のメディアコンテナフォーマットで記憶された特徴データによって提供される。特徴データは、従来のプレイバックアプリケーションによっては認識されず、かつ従来のプレーヤによって無視され、このプレーヤは、適切に構成されたエンハンスされたメディアファイルアプリケーションを有しないユーザの場合に、メディアファイルの従来のプレイバック体験を生み出す。特徴データは、適切に構成されたエンハンスされたメディアファイルアプリケーションによって認識され、このアプリケーションは、特徴データを処理し、かつユーザ入力に応答して、記録されたプログラムの処理に関連してエンハンスされたユーザ特徴およびユーザ対話をサポートする。

従来のメディアコンテナフォーマットは、たとえば、「m4a」オーディオファイルフォーマットもしくは「mp3」オーディオファイルフォーマット、または「mp4」フォーマットのようなマルチメディアもしくはビデオフォーマットを含む任意の他の適当なファイル構成を含んでもよい。m4aおよびmp3の両フォーマットは、現在、Apple社（Cupertino, California, USA）による「iTunes」プレイバックアプリケーションとともにオーディオファイルの場合に使用されている。m4aファイルフォーマットは、左右のオーディオトラックのための標準データチャンネルならびにアーティスト名、曲名、アルバム名、アートワーク、歌詞などのようなトラック情報のためのm4aメタデータを含む。本明細書に記載される特徴データは、適切に構成されたエンハンスされたメディアファイルアプリケーションに専用であり、かつメタデータのためのオーディオファイルフォーマットで確保されているさらなるデータチャンネルに記憶される。適切に構成されたエンハンスされたメディアファイルアプリケーションだけが専用特徴データを利用し、かつエンハンスされたユーザ特徴を生み出すことができるよう、特徴データは好ましくは暗号化されている。暗号化された特徴データは、従来のオーディオプレイバックのための従来の標準データチャンネルを読む、構成されていないプレイバックアプリケーションによって読むことはできない。装置プレイバックアプリケーションによって特徴データにアクセスすることができるとしても、アクセスされたデータは、そのプレイバックアプリケーションによっては認識されず、かつ概して、プレイバックアプリケーションによって無視され、プレイバックアプリケーションは、その作品に関する従来のデータの処理を続けるであろう。このようにして、エンハンスされたメディアファイルは、従来のプレイバック体験のための、構成されていないプレイバックアプリケーションと一緒に使用することもできるし、かつエンハンスされたユーザ特徴をサポートするための適切に構成されたエンハンスされたメディアファイルアプリケーションと一緒に使用することもできる。

本発明の他の特徴および利点は、本発明の原理を例示する好ましい態様の以下の説明から明らかになるはずである。

装置上で稼働する従来のメディアファイルアプリケーションのためのユーザインタフェースを示す表示を有するタブレットコンピュータ装置の図である。 装置の縦向きでの、装置上で稼働し、かつファイルコントロールを示す、本明細書に開示されるエンハンスされたメディアファイルアプリケーションのユーザインタフェーストラックメニュー画面を示す表示を有するタブレットコンピュータ装置の図である。 エンハンスされたメディアファイルにユーザデータを追加するためのダイアログボックスを有するユーザインタフェースを示すエンハンスされたメディアファイルアプリケーションの表示を有するタブレットコンピュータ装置の図である。 追加トラック選択メニュー画面のためのユーザインタフェースを示すエンハンスされたメディアファイルアプリケーションの表示を有するタブレットコンピュータ装置の図である。 歌詞およびサウンド調節コントロールを装置の横向きで示す、本明細書に開示されるエンハンスされたメディアファイルプレイバックアプリケーションのためのユーザインタフェースを示すエンハンスされたメディアファイルアプリケーションの表示を有するタブレットコンピュータ装置の図である。 ホーム画面表示とも呼ばれるトラック選択画面のためのユーザインタフェースを示すエンハンスされたメディアファイルアプリケーションの表示を有するタブレットコンピュータ装置の図である。 本明細書に開示される特徴を有するエンハンスされたメディアファイルの作成の模式図である。 従来のメディアプレーヤによるエンハンスされたメディアファイルのプレイバックを示すブロック図である。 エンハンスされたメディアファイルアプリケーションによる記録されたプログラムの従来のメディアファイルのプレイバックを示すブロック図である。 エンハンスされたメディアファイルアプリケーションによるエンハンスされたメディアファイルの処理を示すブロック図である。 プレイバック時のエンハンスされたメディアファイルの例を示し、かつエンハンスされたメディアファイルの処理中に利用可能であるエンハンスされたユーザ特徴を示す。 処理中のエンハンスされたユーザ特徴のサポートのために適切に構成されたエンハンスされたメディアファイルアプリケーションを有する装置のブロック図である。 本明細書に詳述されるエンハンスされたメディアファイルの処理に関連してエンハンスされたユーザ特徴を提供するための装置動作の流れ図である。

詳細な説明
本明細書に開示されるエンハンスされたメディアファイルアプリケーションは、受動的なメディアプレイバック体験をより参加型の対話式経験へと拡張する。この目標は、エンハンスされたユーザ特徴を提供する専用処理と関連して複数のメディアトラック（「ステム」とも呼ばれる）を含むエンハンスされたメディアファイルによって実現される。本明細書の中で使用されるCDアルバムとは、歌曲とも呼ばれる複数のアルバムトラックを含むものと理解され、そしてDVDまたはBDマルチメディアファイルは、ムービーセグメントとも呼ばれる複数のチャプタを含むものと理解されよう。一つのアルバムトラックまたはマルチメディアチャプタが、複数のデータトラックまたはステム、たとえば複数のオーディオトラック、ビデオトラックおよびデータトラック（それぞれ、互換可能にオーディオステム、ビデオステムおよびデータステムとも呼ばれる）を含んでもよい。これらのタイプのステムはすべて、一つのエンハンスされたメディアファイルの一部分を含む。エンハンスされたメディアファイルは、あるステムタイプの複数のステムを含んでもよい。たとえば、エンハンスされたメディアファイルのオーディオステムは、ボーカルステムおよび楽器（音楽）ステムを含んでもよい。さらなるエンハンスメントは、上記エンハンスされた特徴の組み合わせを対話式に含んでもよい。たとえば、対話式の組み合わせは、カラオケゲームのようなゲーム体験を提供してもよい。エンハンスされたメディアファイルは、「m4a」拡張子を有するファイルを再生するApple社（Cupertino, California, USA）の「iTunes」プレーヤのような従来のメディアプレーヤとで互換性であるような従来のメディアファイルコンテナに含まれた、本明細書に記載される機能を提供するのに十分なデータを含む。従来のメディアプレーヤは、m4a拡張子を有する従来のメディアファイルを再生することができ、かつエンハンスされたメディアファイルのエンハンスされていない部分をも難なく再生することができるが、m4a拡張子（または、ユーザの好みに依存して他のファイル拡張子）を有するファイル内に含まれるエンハンスされたメディアファイルのエンハンスされた部分を含む特徴データを無視するであろう。異なるファイル拡張子で指定されるファイルフォーマット、たとえばMP3、WAV、MPEG-4およびQuickTime（ビデオ）を含む他のタイプのファイルコンテナが使用されてもよい。そのような代替ファイルコンテナは、従来のプレイバックアプリケーションおよび開示されるエンハンスされたメディアファイルアプリケーシの両方によるエンハンスされたメディアファイルのプレイバックを可能にするが、エンハンスされたユーザ特徴は、開示されるエンハンスされたメディアファイルアプリケーションの専用処理によってしか利用することができない。

本明細書に開示されるエンハンスされたメディアファイルアプリケーションはホスト装置にインストールされる。以下さらに説明するように、ホスト装置は多様なコンピューティングプラットフォームを含んでもよい。ホスト装置はまた、Apple社の「iTunes」およびMicrosoft社（Redmond, Washington, USA）の「Windows Media Player」のような従来のマルチメディアプレーヤを含むさらなるマルチメディアアプリケーションをホストしてもよい。従来のメディアプレーヤは、エンハンスされたメディアファイルのプレイバック時、エンハンスされたユーザ特徴を生み出すための機能性を有しないため、従来のメディアプレーヤは、エンハンスされたメディアファイルを再生するとき従来のユーザ体験を提供する。本明細書に開示される必要な専用処理によって使用可能にされたプレーヤによってエンハンスされたメディアファイルが再生されるとき、使用可能にされたプレーヤは、以下さらに説明するエンハンスされたユーザ特徴によってエンハンスされたユーザ体験を生み出す。

エンハンスされたメディアファイルアプリケーションは、ホスト装置のリソースを利用して、エンハンスされたメディアファイルのオーディオおよびビデオ出力データを再現してもよい。そのようなリソースは、たとえば、ホスト装置にインストールされているオペレーティングシステムの様々なコーデックおよびプロセッサを含んでもよい。当業者は、エンハンスされたメディアファイルアプリケーションのようなアプリケーションがいかにしてそのようなシステムリソースを呼び出し、利用するのかを理解するであろう。エンハンスされたメディアファイルアプリケーションそのものが、エンハンスされた特徴を提供し、かつエンハンスされたメディアファイルのオーディオおよびビデオ出力の再現を提供するために必要とされるようなコーデック、プロセッサおよび他のリソースを含んでもよい。本明細書に開示されるように、エンハンスされたメディアファイル中のアルバムトラックおよびビデオチャプタのオーディオおよびビデオステムは、エンハンスされたメディアファイルと、従来の記録されたプログラムの対応する「従来バージョン」とで共通であってもよい。ホスト装置上の従来のプレイバックアプリケーションは、ホスト装置のリソースを利用して、従来の記録されたプログラムのオーディオおよびビデオ出力データを再現してもよい。エンハンスされたメディアファイルのプレイバックのために従来のプレイバックアプリケーションが選択されるならば、その従来のプレイバックアプリケーションは、従来のプレイバックアプリケーションによって処理することができる、エンハンスされたメディアファイル中のアルバムトラックおよびビデオチャプタのオーディオおよびビデオステムのみを処理する。

m4aフォーマットのような周知のファイルフォーマットをエンハンスされたメディアファイルの識別子として使用することが好都合である。理由は、そのようなフォーマットは普及しており、ファイルツールが容易に入手可能であるからである。たとえば、iTunesのm4aオーディオファイルは、Apple社から入手可能な「Mac OS X」オペレーティングシステム中で利用可能な標準ツールを使用して構築されてもよい。メタデータを読み、解析し、MPEG-4ファイル、特にm4aフォーマットファイル中に設定するための他のサードパーティツールが容易に入手可能である。たとえば、一つのそのようなツールが、メタデータを編集するために使用することができるフリーウェア「atomicparsely」ツールである。当業者は、正しいフォーマットのファイルを作成し、かつそのようなファイルと関連するメタデータを編集するための代替ツールをよく知っているであろう。上記のように、代替ファイルフォーマットが、エンハンスされたメディアファイルの識別子として利用されてもよい。

図1は、従来のプレイバックアプリケーションおよび本明細書に開示されるエンハンスされたメディアファイルプレイバックアプリケーションがインストールされているタブレットコンピュータ装置100を示す。タブレットコンピュータ装置100は、Apple社（Cupertino, California, USA）から入手可能な「iPad」タブレットコンピュータのような装置を含んでもよいし、またはSamsung Electronics社（Seoul, South Korea）から入手可能な「Galaxy Tab」タブレットコンピュータのような装置を含んでもよい。タブレットコンピュータ装置は、ディスプレイ102を含む実質的に平面的な形状を有する。図1のディスプレイは、装置にインストールされており、かつ装置プロセッサによって実行される従来のプレイバックアプリケーションのユーザインタフェースウィンドウ104を示す。ディスプレイ102は、ユーザインタフェースウィンドウの記号がユーザタッチによって選択されてもよく、それに応答してタブレット装置がマルチメディアファイルのプレイバックを実行するようなタッチスクリーンインタフェースを提供する。図示されるユーザインタフェースウィンドウ104の下部は、ファイルのプレイバックを開始するために選択される「Play」表示ボタン106、プレイバックを停止するために選択される「Stop」ボタン108およびトラックのプレイリストまたはライブラリ中の次のファイルまたはトラックを選択するための「Next」ボタン110を含むプレイバックコントロールを含む。ユーザインタフェースウィンドウ104はまた、プレイバック音量レベルを連続的に調節するために動かされてもよいスライダ音量コントロール112を含む。ユーザインタフェースウィンドウの上部は、再生されているファイルの曲名またはトラックタイトル114、そのファイルのアーティスト名116およびそのファイルのアルバムまたは集合的作品名118の記号またはテキストならびにそのファイルと関連するカバーアートまたは他のグラフィックス画像120を示す。

図2は、本明細書に開示されるエンハンスされたメディアファイルアプリケーションのユーザインタフェーストラックメニュー画面220が示されているディスプレイ102を有するタブレットコンピュータ装置100を示す。エンハンスされたメディアファイルアプリケーションは装置100のプロセッサによって実行される。装置は、左右二つの平行な長いほうの辺それぞれ222および224を有し、かつ上下二つの平行な短いほうの辺それぞれ226および228を有する。したがって、図2において、装置は、一般に縦向きと呼ばれる向きで示されている。図示されるユーザインタフェース画面220の下部は、本明細書に開示されるエンハンスされたメディアファイルのプレイバックを開始するために選択される「Play」表示ボタン230を含むプレイバックコントロールを示す。エンハンスされたメディアファイルアプリケーションのためのユーザインタフェースウィンドウは、プレイバックを停止するために選択される「Stop」ボタン232およびユーザデータ入力、たとえばマイクロホンまたは選択されたファイルからのユーザ入力の記録を開始するために使用される「Record User Data Input」ボタン234を含む。「Record User Data Input」ボタン234は、たとえば、以下さらに詳細に説明するように、シングアロングボーカル参与またはユーザの他の演奏を記録するのに有用である。ユーザインタフェーストラックメニュー画面220の上部は、再生されているエンハンスされたメディアファイルの曲名またはトラックタイトル236、そのファイルのアーティスト名238およびそのファイルのアルバムまたは集合的作品名240の記号またはテキストならびにそのファイルと関連するカバーアートまたは他のグラフィックス画像242を示す。前記のように、一つのエンハンスされたメディアファイルが、「アルバム」または「ムービー」と呼ばれる集合的作品へとグループ化されたいくつかの独立したマルチメディアファイルを含んでもよく、そしてそのグループ化された独立したマルチメディアファイルが複数のアルバムトラックまたはムービーチャプタを含んでもよい。

トラックメニュー画面220はまた、音量調節コントロールを含む。図2の態様において、音量調節コントロールは、タッチスクリーンインタフェースのためのスライダコントロールとして提供されている。当業者には明らかであるように、プレイバック音量を調節するための他の構成のコントロールが使用されてもよい。スライダ音量コントロールのうち二つは、「Instruments」プレイバックレベルのためのコントロール244および「Original Vocals」プレイバックレベルのためのコントロール246を含む。もう一つの音量コントロール248は、以下さらに詳細に説明するように、記録中のマイクロホンレベルの調節を許すための「Mic Input」のためのものである。また、トラックメニュー画面220には、以下さらに詳細に説明するように、オーディオファイルから検索されて既存のエンハンスされたメディアファイルと統合される「User Vocal」データの音量レベルを調節するための音量コントロール250が提供されている。したがって、エンハンスされたメディアファイルアプリケーションは、プレイバック中の楽器と元のボーカルとの相対レベルを独立して調節し、かつプレイバック中にマイクロホン入力をエンハンスされたメディアファイルのトラックおよびチャプタのステムと統合し、かつさらに、プレイバック中にオーディオファイルからのオーディオ入力をエンハンスされたメディアファイルのトラックおよびチャプタのステムと統合する特徴をサポートする。

図2において、InstrumentsおよびOriginal Vocalsのための二つのプレイバック音量コントロール244および246は、ユーザによる一つの選択およびスワイプまたはスライド動作によってそれらを一緒に同時に動かしやすくするために、トラックメニュー画面220中で互いに隣接して示されているが、望むならば、これらのコントロールは互いに独立して動かされてもよい。一緒に動かされる場合、InstrumentsおよびOriginal Vocalsコントロールは、エンハンスされたメディアファイルの楽器部分（すなわち音楽ステム）と元のボーカル部分（すなわちボーカルステム）との相対的音量をファイルの楽器部分およびボーカル部分の初期レベルに比べて実質的に等しいレベルに維持する。

図2のトラックメニュー画面220は、リアルタイムメディアエフェクトのためのコントロールを含む表示区域252を示す。メディアエフェクトは、トラックのステムに適用されてもよいし、またはエンハンスされたメディアファイルのチャプタのステムに適用されてもよいし、および／またはエンハンスされたメディアファイルのトラックまたはチャプタのステムと組み合わされるユーザ伴奏を含むユーザデータ入力に適用されてもよいし、および／または記録されたユーザ伴奏を含んでもよいエンハンスされたメディアファイルに適用されるメディアエフェクト設定を含むユーザデータ入力に適用されてもよい。メディアエフェクトは、エンハンスされたメディアファイルアプリケーションの出力を、他のやり方で得られるであろう出力から変化させ、ユーザがメディアエフェクトを提供または指定するのと同時に適用されるメディアエフェクトの体験をユーザに提供するために、エンハンスされたメディアファイルの処理中に適用される。すなわち、リアルタイムメディアエフェクトは、ユーザが入力、たとえば伴奏ボーカル参与を提供して、ユーザのボーカル参与がエンハンスされたメディアファイルのトラックまたはチャプタのステムと組み合わされ、そしてユーザがそれらの両方を同時に体験することを可能にし、そしてリアルタイムメディアエフェクトはまた、ユーザが入力、たとえば音高、残響、エコーおよび／またはハーモニーの設定を提供して、その設定が、ステムまたはチャプタおよび任意の記録されたユーザ入力、たとえばボーカル参与を含むエンハンスされたメディアファイルに適用されることを可能にする。このようにして、ユーザは、カラオケのような伴奏モードにおいてユーザのボーカル参与を記録されたオーディオおよび／またはビデオデータと組み合わせることができ、そしてユーザはまた、メディアエフェクト設定を記録されたカラオケ演奏に対話式に適用することができる。ユーザデータ入力は、たとえば、マイクロホンのようなオーディオキャプチャ装置からのデータを含んでもよい。マイクロホンレベルのコントロールは音量スライダ248によって調節されてもよい。リアルタイムメディアエフェクトは、エンハンスされたメディアファイルおよび／またはユーザデータ入力のアルバムトラックまたはマルチメディアチャプタのデータステムに適用する、またはそれとミックスするために、個々に選択されてもよいし、または組み合わされてもよい。このようにして、リアルタイムメディアエフェクトをミックスすることにより、これまで知られていない珍しいエフェクトを生み出すことが可能である。メディアエフェクトのリアルタイム適用は、選択されたメディアエフェクトの実質的に即時の体験を提供する。メディアエフェクトは、オーディオ変化、ビデオ変化またはそれらの両方を含んでもよい。

図2は、チェックボックスまたはユーザによるメディアエフェクトの選択を示す他の適当な手段によってトラックメニュー画面220のユーザインタフェースからエフェクトを選択するためのエフェクトコントロールを有する表示区域252を示す。図2に示すメディアエフェクトは、たとえば、音高補正、残響、ハーモナイザおよびエコーのようなオーディオ変化を含む。各エフェクトは、チェックボックスがチェックされることによってオンにされる、または適用されるように選択されてもよい、すなわち、各エフェクトは、チェックボックスがチェックされないことによってオフにされてもよい。上記のように、複数のチェックボックスをチェックすると、チェックされた対応するエフェクトが同時に適用される。望むならば、さらなるオーディオおよび／またはビデオエフェクトがユーザ選択のために表示区域252に提供されてもよい。たとえば、リアルタイムメディアエフェクトは、音高変化、たとえば音高補正およびハーモニー、音色変化、たとえば音声−MIDI変換および音声−シンセサイザ変換、リズム変化、たとえばタイムストレッチおよびビートスプライス、音響特性、たとえば残響、エコー、トレモロ、リングモジュレータ、フランジャ、コーラス、ビットクラッシャおよびオートワウならびにオーディオ速度またはリズムならびにビデオエフェクト、たとえばビデオ輝度およびビデオ彩度を含んでもよい。他のオーディオおよびビデオエフェクトが当業者には思い浮かぶであろう。エンハンスされたメディアファイルアプリケーションは、図2のインタフェースからユーザ選択を受け、かつ選択されたエフェクトによって求められる処理を実行する処理を含む。そのような処理は、エンハンスされたメディアファイルのメタデータに含まれるパラメータによって制御または調節されてもよい。エンハンスされたメディアファイルアプリケーションは、処理を実行する際にホスト装置のシステムリソースを利用してもよい。

たとえば、ハーモニーエフェクトに関して、ユーザの声または他の入力に適用されるハーモニーの実際の量またはタイプは、エンハンスされたメディアファイルに含まれるメタデータによって指示されてもよい。ハーモニーのようなリアルタイムメディアエフェクトと関連するエンハンスされたメディアファイルアプリケーションの処理はメタデータによって構成されることができ、そしてその後、処理は、エンハンスされたメディアファイルアプリケーションおよびホスト装置のユーザインタフェースおよびシステムリソースがそれを許すならば、ユーザによってさらに調節されることができる。エンハンスされたメディアファイルアプリケーションの開発者が、エンハンスされたメディアファイルアプリケーションによってサポートされるユーザ制御の程度を決定してもよい。概して、「ハーモナイザ」エフェクトは、ユーザが伴奏を提供している、たとえば曲に合わせて歌っている、または演奏しているエンハンスされたメディアファイルのトラックまたはチャプタのプレイバック中にユーザ入力を受け、ユーザが伴奏を提供しているトラックまたはチャプタの調子および音階を補正する、またはそれらと調和させるために、ユーザ入力を修正しようとする。そのような伴奏は、エンハンスされたメディアファイルとともに保存し、プレイバック時に聞くことができる。以下さらに説明するように、望むならば、複数のユーザ参与がエンハンスされたメディアファイルとともに保存されてもよい。したがって、ハーモナイザエフェクトを使用して、トラックまたはチャプタと調和して歌うユーザの声の複数の例のエフェクトを作成することができる。

リアルタイムメディアエフェクトの量は、メタデータの構成／オートメーションファイル中に見られるデフォルト設定によって制御されてもよい。デフォルト設定は、エンハンスされたメディアファイルのコンテンツプロバイダによって決定されるエフェクトレベルに設定されてもよい。代替スキームにおいては、エンハンスされたメディアファイルアプリケーションが、コンテンツプロバイダからのデフォルト設定とは異なる、またはそれに代わる自らの好みに合わせてリアルタイムメディアエフェクトの量を調節するための制御権をアプリケーションのユーザに提供してもよい。このユーザ制御式スキームは、マルチバンドフィルタ、たとえば高音域、低音域などを調節する、大部分のユーザがよく知っているフィルタに概念的に類似している制御によって実現されてもよい。ユーザ制御式スキームを用いると、ユーザが、変更されたリアルタイムメディアエフェクトの量をエンハンスされたメディアファイルのユーザデータセクション中に保存することが可能になるであろう。エンハンスされたメディアファイルアプリケーションはまた、ユーザに利用可能なオプションとして、両方のシナリオ（デフォルト設定およびユーザ制御設定）をサポートしてもよい。

類似した制御スキームが他のリアルタイムメディアエフェクト設定に適用されてもよい。たとえば、図2に示すエコーエフェクトの設定は、エンハンスされたメディアファイル中のメタデータによってデフォルトレベルにしたがって決定されてもよいが、しかしそのようなエコー設定は、アプリケーションおよびシステムリソースユーザインタフェースがそのような調節をサポートするならば、潜在的にユーザによって調節されることもできる。

加えて、リアルタイムメディアエフェクトは、トグル式にオンおよびオフに切り替えられてもよい。たとえば、図2に示すエフェクトボタンの一つ（たとえばエコー、ハーモナイザなど）をタップすることにより、対応するエフェクトボタンが照らされるまたは強調表示されてもよく、そして対応するエフェクトがアクティブ化される。エフェクトボタンが再びタップされるならば、対応するリアルタイムメディアエフェクトボタンはその元の視覚的状態に戻り、対応するリアルタイムメディアエフェクトは非アクティブ化、すなわちオフにされる。

リアルタイムメディアエフェクトのいくつかは、メタデータの構成またはオートメーションファイル中にあるコンテンツプロバイダデータのみによって制御されてもよい。そのようなエフェクトのデータは、アプリケーションによるプレイバック中、コンテンツプロバイダデータによって指示されて、エンハンスされたメディアファイルのプレイバック経過時間の関数としての特定のタイムオンおよびタイムオフ値を用いてリアルタイムで調節されてもよい。そのようなエフェクト制御レベルは、単に「オン」または「オフ」時間である必要はなく、しかし制御されるリアルタイムメディアエフェクトに適切な指定数値範囲にわたって決定される所定の数値または大きさ（すなわち、実値化または数値化）であってもよい。上記のように、エンハンスされたメディアファイルアプリケーションは、他のエフェクトのための代替制御を提供してもよいし、またはコンテンツプロバイダデフォルト設定をオーバライドしてもよい。この特徴は、ユーザがリアルタイムで、リアルタイムメディアエフェクトをオンおよびオフにする、すなわちパラメータを調節することを可能にする。

アルバムトラックまたはマルチメディアチャプタのプレイバック中にリアルタイムメディアエフェクトが適用されるとき、ユーザは、メディアエフェクト設定を保存するか、またはそれらを削除し、そしてメディアエフェクト適用前の元のエンハンスされたメディアファイルに戻すかの選択肢を有する。ユーザは、表示区域252中の表示ボタン、すなわち「Save Settings」ボタン254または「Revert」ボタン256のいずれかを選択することにより、これら二つの選択肢の間で選択を行う。設定が保存されると、その設定に対応するデータがエンハンスされたメディアファイルとともに保存されて、エンハンスされたメディアファイルアプリケーションが、元のエンハンスされたメディアファイルを、保存された設定を含むエンハンスされたメディアファイルのバージョンで上書きする。上書き動作は、エンハンスされたメディアファイルのうちエフェクトデータを有するユーザデータ部分のみを上書きし、トラックまたはチャプタの元のステムを変更せずに残すことを含んでもよい。図2において、「Revert」ボタン256は、リアルタイムメディアエフェクトの保存をキャンセルするために選択されてもよいし、「Revert」は、保存されたリアルタイムボーカルエフェクトを含むエンハンスされたメディアファイルのプレイバック時、エンハンスされたメディアファイルの現在のプレイバック中に保存されたボーカルエフェクトの適用をキャンセルするために選択されてもよい。

したがって、Save Settingsボタン254は、適用されたメディアエフェクトを示すデータをエンハンスされたメディアファイルに追加することにより、エンハンスされたメディアファイルにメディアエフェクトを適用する。追加されたデータは、たとえば、データのさらなるトラックとして、エフェクトを加えられたアルバムトラックまたはマルチメディアチャプタの関連する以前のトラックと並行に記憶されてもよい。メディアエフェクトを追加されたエンハンスされたメディアファイルがプレイバックのために処理されるとき、エンハンスされたメディアファイルアプリケーションは、追加された設定データを検出し、データトラックに記憶されたデータによって指定されたメディアエフェクトを決定し、そしてその指定されたメディアエフェクトをアルバムトラックまたはマルチメディアチャプタに適用する。

上記のように、トラックメニュー画面220の中で「Record User Data Input」ボタン234が選択されるならば、エンハンスされたメディアファイルアプリケーションは、ユーザ入力がマイクロホン入力を介して受けられるシングアロングまたは伴奏動作モード、たとえばカラオケ動作を始動することによって応答する。さらに「Record User Data Input」命令に応答すると、エンハンスされたメディアファイルアプリケーションは、ユーザデータ入力ダイアログボックスを生成して問合せを示し、かつユーザ入力の以前に記録されたステムまたはトラックを置換するのか、または置換することなくユーザ入力をエンハンスされたメディアファイルに追加するのかに関するユーザ選好を受ける。この特徴のためのユーザインタフェースが図3に示されている。

図3は、ディスプレイ102上のユーザデータ入力ダイアログボックス302を示す。ダイアログボックス302は、ユーザ選好に関する問合せに応答する二つの入力ボタン、すなわち、ユーザが最新のマイクロホン入力によって以前の記録されたステムまたはトラックに上書きすることを望む場合の「Overwrite」ボタン304、およびユーザが最新のマイクロホン入力をさらなるステムとして最新のアルバムトラックまたはムービーチャプタのためのマイクロホン入力の任意の以前のトラック（記録）に追加することを望む場合の「Add」ボタン306を含む。上書き命令の場合、エンハンスされたメディアファイルアプリケーションは、たとえば、最後に記録された伴奏トラックを最新のトラックで置換してもよいし、またはアプリケーションは、もっとも早期に記録された（もっとも古い）伴奏トラックを最新のトラックで置換してもよいし、または、置換のユーザ選択のためにメニュー選択が提供されてもよい。

上記のように、トラックメニュー画面220（図2）は、プレイバック出力を生成するエンハンスされたメディアファイルの処理を開始するための「Play」ボタン230を含む。選択されたエンハンスされたメディアファイルが、追加されたユーザ入力ステムまたはトラック、たとえば記録されたユーザデータ入力を含むならば、エンハンスされたメディアファイルアプリケーションは、追加されたユーザ入力データの存在を検出し、その追加されたユーザ入力データの所望の一つをユーザが選択するよう、追加トラック選択メニュー画面を表示する。

図4は、ディスプレイ102上の追加トラック選択メニュー画面402を示す。画面402は、選択されたエンハンスされたメディアファイルに関連して記憶されているユーザ入力ステムまたはトラックのリスト404を示す。ユーザは、たとえばタッチスクリーン入力またはカーソル選択によって所望のユーザ入力をリスト404から選択することにより、元の記録されたアルバムトラックまたはムービーチャプタと同時にプレイバックするための所望のユーザ入力トラックを選択する。図4は、表示画面402上、ユーザ入力トラックのリストの下に、「Load」ボタン406、「Delete」ボタン408および「Rename」ボタン410を含むボタンによって示される選択可能な操作を示す。Loadボタンは、プレイバックのために選択されたユーザ入力トラックを検索して、ユーザが、選択されたトラックを、関連するエンハンスされたメディアファイル中の他のデータと同時に体験できるようにする。たとえば、選択されたユーザ入力がオーディオトラックであり、かつ、ユーザがLoadボタン406を介してそのユーザ入力を選択したならば、エンハンスされたメディアファイルアプリケーションは、ユーザ入力トラックからのユーザのオーディオ参与を、元のアルバムトラックまたはムービーチャプタの任意のオーディオトラックと同時に再生する。Deleteボタン408は、ユーザが、選択されたユーザ入力トラックを追加ユーザトラックのリスト404から削除することを可能にし、そしてRenameボタン410は、ユーザが、リネームダイアログボックス（図示せず）を介して、選択されたユーザ入力トラックをリネームすることを可能にする。

図5は、装置100を、装置の長いほうの辺222、224が水平に向き、短いほうの辺226、228が垂直に向く横向きで示す。装置が横向きになると、エンハンスされたメディアファイルアプリケーションはディスプレイ102を変化させてトラック情報画面502を示す。エンハンスされたメディアファイルアプリケーションは、装置加速度計などのような装置リソースを使用して装置向きの変化を検出することができる。トラック情報画面において、画面の上寄り部分は、固定された垂直軸504によって音高を示し、スクロールする水平軸506によって経過時間を示す音符情報を提供する。アルバムトラックまたはムービーチャプタのプレイバック中、水平軸506上の経過時間値は、時間0から始まり、そしてプレイバックが続くとともに漸増して、プレイバックの現在時がほぼ垂直軸504との交点に現れるように経過時間を更新してゆく。画面ディスプレイ502の音符情報部分において、音高軸504沿いの音符値に対応する音符インジケータがディスプレイ102の右側から現れて、プレイバックが続くとともにディスプレイ上を右から左にスクロールする。図5には、三つの例示的な音符インジケータ508しか識別されていないが、しかし図中の同様な形状の水平バーそれぞれが同じく音符インジケータであるということが理解されよう。音符インジケータの水平範囲が、示される音高の相対的な音符期間に対応する。アルバムトラックまたはムービーチャプタのための歌詞があるならば、それは、プレイバック中、楕円510によって概して示されるように、時間軸506よりも下の位置に示される。歌詞は、ディスプレイ102上、対応する経過時間表示の概ね下方でスクロールする。

トラック情報画面502の評価部分には、楕円512によって概して示されるように、評価レーティングが表示される。図5において、評価レーティングは、音高スコア値、リズムスコア値および総スコア値を含む。それぞれのスコア値は、「シングアロング」または「カラオケ」モードとも呼ばれる、エンハンスされたメディアファイルアプリケーションの動作の伴奏モード中に決定される。伴奏モード中、装置100のプロセッサが、アルバムトラックまたはムービーチャプタのプレイバック中にオーディオキャプチャ装置、たとえばマイクロホンからの入力をモニタし、そしてそのマイクロホン入力を、エンハンスされたメディアファイルの元のサウンドトラックまたはボーカルトラックによって例示されるような対応する「標的」音高およびリズムに比較する。このようにして、ユーザは、楽器トラックが再生される間に歌詞をマイクロホンに歌い入れることができ、そしてエンハンスされたメディアファイルアプリケーションが、ユーザが歌うときのボーカル参与が音高およびリズムの点で元の記録にどれほど近いのかを評価する。ユーザのボーカル参与は、基礎にある元の記録されたプログラムのボーカルステムに加えて、またはそれに代わってのいずれかで、エンハンスされたメディアファイルアプリケーションの出力として生成されてもよい。評価レーティングはリアルタイムで更新されてもよい。ユーザの入力のパラメータは、音高およびリズムに加えて、またはそれに代わって、エンハンスされたメディアファイルアプリケーションの構成にしたがって評価されてもよい。

上記のエンハンスされた特徴の動作は、本明細書に開示されるエンハンスされたメディアファイルアプリケーションによる、エンハンスされたメディアファイルの選択およびその選択されたファイルのプレイバックによって開始される。上記のように、本明細書に開示されるエンハンスされたメディアファイルは、従来のファイルフォーマットを示し、かつマルチメディアトラックが作成されたファイルフォーマットを反映するファイル拡張子を有する。本明細書に記載される例示的なファイルは「m4a」拡張子を有する。拡張子（たとえばm4a）の従来のメディアファイルを処理することができる従来のプレーヤもまた、本明細書に開示されるエンハンスされた特徴を生み出さないにもかかわらず、エンハンスされたメディアファイルを処理することができる。エンハンスされたメディアファイルからのエンハンスされた特徴にアクセスする、またはそれを再現するためには、本明細書に開示されるエンハンスされたメディアファイルアプリケーションを利用する必要がある。したがって、エンハンスされたメディアファイルアプリケーションは、エンハンスされたメディアファイルの選択のためのユーザインタフェースを提供する。

図6は、ホーム画面ディスプレイとも呼ばれるトラック選択画面602を示すディスプレイ102を有する装置100を縦向きで示す。トラック選択画面602は、装置100およびエンハンスされたメディアファイルアプリケーションに利用可能なメディアファイルのリストを提供する。エンハンスされたメディアファイルアプリケーションが発動すると、それは、利用可能なファイルのサーチを自動的に実行して、そしてエンハンスされたメディアファイルを見つけ出し、かつ識別する。スキャンの程度は、装置の記憶ディスクもしく記憶区域、たとえばハードドライブもしくメモリまたは取り付けられた装置もしくは搭載されたドライブをカバーしてもよい。利用可能なエンハンスされたメディアファイルが見つけ出され、かつ識別されると、アプリケーションは図6のトラック選択画面を示す。

図6のトラック選択画面602は、エンハンスされたメディアファイルアプリケーションによって処理されてもよい利用可能なアルバムトラックまたはムービーチャプタのリスト604を示す。リスト604は、エンハンスされたメディアファイルアプリケーションによって処理されてもよいファイル名拡張子を有するファイルを含む。リストは、プレイバックするための従来のメディアファイルおよびプレイバックに利用可能なエンハンスされたメディアファイルを含んでもよい。たとえば、リスト604は、従来のメディアファイルから区別するために図6において「#」と示される特別な記号で指定されたエンハンスされたメディアファイルを示す。従来のメディアファイルとエンハンスされたメディアファイルとを区別するために他の記号または名称が使用されてもよい。図6は、アーティスト名および曲名の順に整列されたアルバムトラックを示すが、しかし当業者は、トラックが識別されてもよい適当な代替的および補足的な特徴付けを知っているであろう。リストが一つの表示画面に収まるよりも多くのトラックを含むならば、さらなるトラックの情報は、ユーザインタフェースのスクロールバー606または装置100のカーソルキーを使用してリスト604を上下に動かすことによって見られてもよい。

上記に開示されたエンハンスされた特徴は、エンハンスされたメディアファイルによって可能になり、そのエンハンスされたメディアファイルから、エンハンスされたメディアファイルアプリケーションによってエンハンスされた特徴が生み出される。そのようなエンハンスされたメディアファイルは、アルバムまたはムービーを含む作品群のオーディオおよびビデオトラックを含むオーディオファイルおよびビデオ（グラフィックス）ファイルを利用する作成プロセスを通して生み出される。エンハンスされたメディアファイルは、たとえば、記録されたユーザ入力、リアルタイムボーカルエフェクトならびにカラオケ入力および評価を含む、本明細書に開示されるようなエンハンスされた特徴で補足された従来のオーディオまたはビデオ（マルチメディア）作品のトラックまたはチャプタを含むアルバムトラックまたはムービーチャプタを含んでもよい。すなわち、従来のオーディオまたはビデオ作品は、別々に利用可能である市販されている記録物であってもよいが、一方、本開示は、市販されている記録物上で利用可能なすべての素材を有し、かつまた、本明細書に開示されるエンハンスされた特徴も有する、市販されている記録物のエンハンスされたバージョンを記載する。

図7は、本明細書に開示されるエンハンスされたユーザ特徴を有するエンハンスされたメディアファイル702を作成するためのトラック作成プロセス700を示す。図7は、例示的なエンハンスされたメディアファイルの様々なコンポーネント（以下に記すように、いくつかは任意選択である）を示す。図7においては、エンハンスされたメディアファイル702のオーディオデータ部分のみを説明する。しかし、エンハンスされたメディアファイル702は、データタイプ、たとえばオーディオ、ビデオ、グラフィックおよび他のデータタイプを、単独で、または含まれる一つまたは複数データタイプの一つまたは複数のファイルと組み合わせて含んでもよいことが理解されよう。たとえば、エンハンスされたメディアファイル702はオーディオデータおよびビデオデータの両方を含んでもよい。

図7に示すエンハンスされたメディアファイル702は、オーディオトラックまたはステムを定義する多数のファイル704から作成されるアルバムトラックを含む。従来のオーディオファイルの場合、ソースオーディオファイルから2チャンネル左右トラック（L/Rステレオ）ファイル706が作成され、そのファイルからマスタm4aステレオファイルを作成することができる。このm4aステレオマスタは、聴者に市販されている従来のステレオ音楽ファイル、たとえばCD、DVD、BD記録またはビニールレコードのような物理媒体上に記録されたプログラム、またはAmazon.com社（Seattle, Washington, USA）のウェブサイトまたはApple社の「iTunes Music Store」のようなオンライン小売り販売を通して入手可能な電子フォーマットプログラムである。

使用されるファイルフォーマットにしたがって様々なチャンネルレイアウトを使用する任意の数のトラック704をステレオマスタ708の中に符号化することができる。m4aファイルフォーマットにおいては、Apple社から入手可能であるチャンネルレイアウトが定義されている。これらのチャンネルレイアウトは、標準オーディオチャンネル構成、マルチチャンネルジョイントサラウンド符号化および逐次符号化を含む。符号化されるトラックは、ユーザによって提供されてもよいし、またはレコーディングアーティスト、メディア配給者、レコードレーベル、スポンサなどによって提供されてもよい。大部分の記録された作品は、ボーカルおよび音楽（楽器）トラックのような複数のトラックから得られる。マスタリングプロセス中に複数のトラックがミックスダウンされ、そして一般的には最終的な2トラック（ステレオ）作品が生み出される。ファイルフォーマットに従う最終作品は、ときには、プレイバックアプリケーションによって複数のトラックから聴者への提示のための2チャンネル（ステレオ）形態へと自動的にミックスダウンされる多数のトラックを有することができる。たとえば、Apple社のモバイル装置のための「iOS」プラットフォームオペレーティングシステムは、現在、個々のトラックへの直接アクセスを許さず、しかしミックスダウンされたステレオサンプルを利用する。したがって、m4aファイルに利用可能な様々なチャンネルレイアウトを本明細書に記載される努力において無用なものにする。その結果、従来のマスタステレオトラックは、従来のメディアファイルのための従来のプレーヤアプリケーションによって予想されるような、エンハンスされたメディアファイル702中のそれらの通常位置に配置される。また、m4aメタデータタグ703のようなさらなる情報が、従来のプレーヤアプリケーションによって予想されるような、エンハンスされたメディアファイル中のそれらの通常位置に配置される。この配列が、エンハンスされたメディアファイル702と従来のプレイバック装置との後方互換性をサポートする。

図7は、エンハンスされたメディアファイル702が、従来のアルバムトラックを作成するために使用されるオーディオファイル704、2チャンネルL/Rデータファイル706およびマスタm4aファイル708の収集から出発して作成されることを示す。上記のように、マスタm4aファイルのトラックは、エンハンスされたメディアファイル702中の、対応する従来の市販アルバムトラック中のそれらの通常位置に対応する位置に配置される。

本明細書に開示されるエンハンスされた特徴を提供するさらなるマルチメディアトラックおよび特徴データのすべてが、m4aエンハンスされたメディアファイル702のユーザデータセクションに追加される。エンハンスされた特徴のためのさらなるデータのせいで、エンハンスされたメディアファイルは、そうでなければ従来のファイル708のデータのために必要とされるであろうファイルよりも大きなファイルである。しかし、ファイルサイズの増加は、エンハンスされた特徴を提供するために必要であり、そしてさらなるデータは、装置による処理にとって任意の有意な問題または難題を生じさせるサイズではない。本明細書に記載されるエンハンスされた特徴はまた、歌曲およびムービーチャプタの個々のトラックへの完全なアクセスを許すオペレーティングシステムの場合でさえ、前記のように生成することもできることが留意されよう。

m4aファイルフォーマットに関するさらなる情報を提供するために、m4aファイルは、「ボックス」または以前にはアトムと呼ばれた情報のセクションで構成されるということが留意されよう。当業者は、様々な目的に使用される数多くの様々なボックスがあることを理解するであろう。たとえば、ユーザ定義データを有する情報のセクションは、指示子「udta」を有するボックスである。udtaボックスの中には、「uuid」指示子を有するユーザ拡張ボックスがある。uuidボックス中のデータは、「uuid」指示子が後に付く長さ値を有することを求められる。さらなる指示子はそれほど明確に定義されなくてもよい。たとえば、上述した「atomicparsely」ツールは、4バイト指示子を含むデータを要し、それから一意の16バイト汎用id（運悪く、これもuuidと呼ばれる）が作成され、次いで元の4バイト指示子およびさらなるフォーマッティングが続き、そしてさらに実際のデータペイロードが続く。本明細書に記載される技術の場合、4バイト指示子「maap」が任意に採用された。当業者は、所望により、他の指示子が選択されてもよいことを理解するであろう。すなわち、指示子の選択はファイル開発者およびアプリケーション開発者の自由裁量である。「atomicparsely」ツールは、情報の次の20バイトをuuidボックスペイロードの「暗号化」または「フォーマッティング」に使用する。すなわち、このツールは、m4aファイルに追加されたデータのユーザデータにアクセスする。uuidボックスは、4文字の識別コード「uuid」でマーキングされている。エンハンスされたメディアファイルアプリケーションによる処理中に探されるデータの最初の区分が、正しく作成された16バイトuuidであり、その後に、内部的に使用される4文字コード「maap」が続く。

m4aファイルフォーマットは、ユーザ供給データのために含まれることができるセクションを指定する。このユーザ供給データセクションは、4文字の識別コードでマーキングされている、uuidボックスと呼ばれる、より小さいサブセクションを有することができる。上記のように、たとえば、本ユーザ特徴は、「maap」のuuidで指示されたm4aファイルサブセクションに含まれてもよい（MuseAmi Audio Processingの場合。MuseAmi社は本発明の譲受人である）。ユーザデータセクションおよびuuidボックスのいくらかの予想されるフォーマッティングが必要であるが（たとえば前述のidコード）、コンテンツは、任意の指定のやり方でフォーマットされることを求められない。これが、効率的に、m4a拡張子で識別されたエンハンスされたメディアファイル内のマスタ2チャンネルm4aオーディオトラックの従来のオーディオプレイバックと干渉しない、さらなるデータを運ぶためのオープンチャンネルを提供する。すなわち、エンハンスされたメディアファイル歌曲のマスタオーディオトラックは、アーティスト名、歌曲タイトル、アルバムタイトルおよびアルバムアートワークのような情報のための適切なm4aタグとともにm4aファイルの中に符号化される。このマスタm4aファイルは、エンハンスされた特徴のためのデータを含む他すべてのユーザ供給データのためのコンテナとして働く。

プレイバックのためのメディアを含む他のファイルフォーマットが、おそらくは、本明細書に記載されるエンハンスされた特徴のためのデータを含むために利用されることができるユーザデータのための対応するファイルサブセクションを有するということが理解されよう。そのようなファイルサブセクション構成は、本明細書に記載される同じ技術を使用して、エンハンスされたメディアファイルをそのような他のファイルフォーマットで作成することを可能にし、そして他のファイルフォーマットにあるそのようなエンハンスされたメディアファイルもまた、それぞれのファイルタイプのための従来のプレーヤとで後方互換性になる。たとえば、ユーザライブラリの中に編成されるためのファイルフォーマットは、本明細書に記載されるエンハンスされた特徴のためのデータを記憶するために本技術が利用することができるライブラリ情報などを記憶するのに適したユーザデータセクションを有してもよい。また、ユーザが自らのメタデータをエンハンスされたメディアファイルの中に記憶することも可能である。たとえば、ユーザは、マルチトラックファイルを購入し、かつ構成またはオートメーションデータを含む自分特有の音を作成してもよい。自らの解釈を元のアーティストのバージョンとともに同じファイルに記憶することもできる。

さらなるボーカル710および音楽（すなわち楽器）712トラックを使用して、対応するそれぞれのボーカルm4aトラックおよび音楽（すなわち楽器）m4aトラック716を作成することができる。これらのボーカル714および楽器716トラックは、エンハンスされた特徴を有する二次トラックを含み、かつ任意の数および組み合わせのマルチメディアトラックまたはステムであることができる。エンハンスされたユーザ特徴をサポートするため、かつ後方互換性の促進のために、二つのセットのステレオオーディオトラック、たとえば楽器音楽およびリードボーカルがエンハンスされたメディアファイル702の中で使用される。標準iTunes m4aコンテナファイルを使用して、これらの二次トラックそれぞれがバイナリファイルに符号化される。両バイナリファイルは、マスタm4aエンハンスされたメディアファイル702のユーザデータセクションの中に注入される。MuseAmi社から入手可能な専用オーディオ処理特徴およびエンハンスされた体験のための関連するエフェクトモジュールが利用される。構成ファイル718および、適切ならば、オートメーションファイル720は、エンハンスされたメディアファイルの特定のオーディオトラックレイアウト、音楽スタイルおよびエンタテイメントゴールのために適合される。

構成ファイル718は、オーディオ処理およびビデオ処理を含む複雑なメディア処理の指定およびサポートのための一つの全体データ構成および構造を提供する。構成ファイルは、全システム的な特性（たとえばサンプルレートおよび他のシステムリソースパラメータ）を制御するセクションを含み、ならびにまた、使用中の処理コンポーネントおよびモジュール、チャンネル構成のレイアウト、バッファリング要件、信号チェーンを作成するためのコンポーネントおよび処理モジュールの接続、任意のモジュールパラメータの設定、オートメーションファイルの包含、分析系への接続点ならびにカスタム制御点のすべてをリストするセクションを含む。オートメーションファイル720は、任意の数のソフトウェアコンポーネントおよび処理モジュールのための任意のセットのパラメータを、所与の時間枠にわたり、指定された遷移曲線、たとえば段、直線、放物線などで調節するための機構を提供する。

構成および／またはオートメーションファイル718、720それぞれは、マスタm4aエンハンスされたメディアファイル702のユーザデータセクションに逐次に注入される。たとえば、前述の「atomicparsely」のようなメタデータエディタを使用して、ファイルをm4aファイル702のユーザデータセクションに注入または挿入してもよい。場合によっては、さらなるゲーム関連のサポートファイル、たとえばMIDIファイル722にある音符情報およびテキストファイル724にある歌詞／タイミング情報を、エンハンスされたメディアファイル702のコンテンツプロバイダデータ区域に注入することもできる。エンハンスされたメディアファイルへのコンテンツプロバイダデータの追加または挿入は、メタデータエディタを用いて達成されてもよい。図7において、m4aファイルのuuid＝「maap」コンテンツプロバイダデータセクションへのそのような二次トラックおよびエンハンスされた特徴ファイルの追加は、エンハンスされたメディアファイル702の中に通じるデータ矢印を囲む楕円によって示されている。

Apple社から入手可能な「iTunes」プレーヤアプリケーションおよび他の従来のメディアプレーヤのような従来のプレイバックアプリケーションの場合には、エンハンスされたメディアファイル中のオーディオ情報およびビデオ情報の従来のプレイバックが利用可能である。エンハンスされたメディアファイルの基礎にある基本ファイルは、認識ファイル拡張子（すなわちm4a）を有する従来のiTunes m4aファイルであるため、エンハンスされたメディアファイルは、完全に受け入れられ、そしてユーザのiTunes Music Libraryの中に組み込まれる。音楽ライブラリは、Apple社の任意の「Mac」コンピュータ、「iPod」プレーヤ、「iPhone」携帯電話または「iPad」タブレットコンピュータなどにインストールされた従来の「iTunes」プレーヤを介してアクセス可能であろう。さらには、音楽ライブラリは、任意のコンピュータ装置、たとえば、Microsoft社（Redmond, Washington, USA）の「Windows」オペレーティングシステムを有し、「Windows」用の「iTunes」プレーヤアプリケーションをインストールされている装置にとってもアクセス可能であろう。または、音楽ライブラリは、ユーザ装置のホストオペレーティングシステムによってサポートされる他のインストールされているサードパーティメディアファイルプレーヤに利用可能であってもよい。ユーザは、プレーヤアプリケーションまたは他のファイル探究アプリケーションを利用して、利用可能なトラックをソートする、トラックをプレイリストに含める、または単に、要請に応じてトラックをプレイバックすることができる。当業者に公知であるような代替ファイルフォーマットおよびプレイバックアプリケーションにより、m4aファイルの類似した特徴および能力ならびにクロスプラットフォーム互換性を提供することができる。

さらには、本開示にしたがって適切に構成されたエンハンスされたメディアファイルアプリケーションは、「iTunes」ライブラリまたは他のユーザ音楽ライブラリとインタフェースするiOS互換性アプリケーションを提供し、かつ利用可能なオーディオファイルに関する同じ基本情報を返し、かつ任意のオーディオトラックが標準「iTunes」音楽プレーヤアプリケーションまたは装置にインストールされた他の音楽プレーヤアプリケーションによる場合と同じくらい容易にプレイバックされることを要求する。本明細書に開示される技術は、モバイルプラットフォームおよびタブレットコンピュータ装置ならびにより洗練されたコンピュータ装置のための他のオペレーティングシステムおよびプレイバックアプリケーションにも同様に適用することができる。適切に構成された従来のプレイバックアプリケーションが稼働するところのオペレーティングシステムは、たとえば、モバイルおよびタブレット装置のためのGoogle社の「Android」オペレーティングシステムおよびMicrosoft社の「Windows Phone 7」オペレーティングシステムならびにApple社の「Mac OS X」およびMicrosoft社の「Windows」のようなオペレーティングシステムを含んでもよい。それぞれのオペレーティングシステムのために、対応する適切に構成されたプレイバックアプリケーションが提供されてもよい。

上記のように、本明細書に開示されるエンハンスされたメディアファイルは従来のメディアプレーヤとで後方互換性であり、これは、エンハンスされたメディアファイルによって利用される従来のファイル名拡張子（すなわちm4a）によって強調される特徴である。加えて、エンハンスされたメディアファイルアプリケーションは、記録されたプログラムを有する、エンハンスされたメディアファイルおよび従来のファイルの両方を処理することができる。図面はこのフレキシビリティを示す。図8は、従来のメディアプレーヤを使用する、エンハンスされたメディアファイルのプレイバックを示し、図9は、エンハンスされたメディアファイルアプリケーションによる従来のメディアファイルのプレイバックを示し、および図10は、エンハンスされたメディアファイルアプリケーションによるエンハンスされたメディアファイルの処理を示す。

図8は、従来のメディアプレーヤ806による、メディアファイルライブラリコレクション804からのエンハンスされたメディアファイル802のプレイバックを示すブロック図である。上記のように、エンハンスされたメディアファイル802が従来のメディアプレーヤ806に提供されると、そのプレーヤは、プレーヤが認識するデータフォーマットにしたがって、オーディオおよびビデオトラックのようなメディアトラックを含むデータを自動的に抽出する。そのような認識されたデータフォーマットは一般に、たとえば、認識ファイル名拡張子と関連したファイルフォーマットを含んでもよい。抽出データは、エンハンスされたメディアファイルの従来の記録されたプログラム部分のデータ、コンテンツプロバイダのコンテンツデータを含むデータおよびアーティスト情報、タイトル情報、音楽ジャンル、アルバムアートワーク、歌詞などのようなデータを含む。図8において、そのような抽出データはコンテンツプロバイダデータボックス808によって示されている。エンハンスされたメディアファイル802の従来の記録されたプログラムのための抽出データは、プレイバックリソース810によるプレイバックに備えて従来のメディアプレーヤ806によって処理され、その結果、オーディオおよび／またはビデオ出力が得られる。上記のように、プレイバックリソースは、ホスト装置のオペレーティングシステムを介してアクセスされるホスト装置のシステムリソースおよびメディアプレーヤの任意のリソースを含んでもよい。

図9は、エンハンスされたメディアファイルアプリケーション906による、メディアファイルライブラリコレクション904からの従来のメディアファイル902のプレイバックを示すブロック図である。従来の記録されたプログラムメディアファイル902がエンハンスされたメディアファイルアプリケーション906に提供されると、そのアプリケーションは、アプリケーションが認識するデータフォーマットにしたがって、オーディオおよびビデオトラックのようなメディアトラックを含むデータを自動的に抽出する。そのような認識されたデータフォーマットは一般に、たとえば、認識ファイル名拡張子と関連したファイルフォーマットを含んでもよい。これまで説明した例においては「m4a」拡張子が利用されている。上記のように、アプリケーション906は、他のファイル名拡張子を認識するように構成されてもよい。抽出データは、従来の記録されたプログラムのためのデータ、たとえば従来のメディアファイルのオーディオおよびビデオステム、すなわちトラックを含む。抽出データはまた、コンテンツプロバイダのコンテンツデータ、たとえばアーティスト情報、タイトル情報、音楽ジャンル、アルバムアートワーク、歌詞などを含む。図9において、そのような抽出データは、コンテンツプロバイダデータボックス908によって示されている。従来のメディアファイル902の従来の記録されたプログラムのための抽出データは、プレイバックリソース910によるプレイバックに備えてエンハンスされたメディアファイルアプリケーション906によって処理され、その結果、オーディオおよび／またはビデオ出力が得られる。上記のように、プレイバックリソースは、ホスト装置のオペレーティングシステムを介してアクセスされるホスト装置のシステムリソースならびにエンハンスされたメディアファイルアプリケーションの任意のリソースおよびホスト装置を通して利用可能な任意の他のリソースを含んでもよい。

図10は、エンハンスされたメディアファイルアプリケーション1006による、メディアファイルコレクション1004からのエンハンスされたメディアファイル1002の処理を示すブロック図である。エンハンスされたメディアファイル1002がエンハンスされたメディアファイルアプリケーション1006に提供されると、そのアプリケーションは、アプリケーションが認識するデータフォーマットにしたがって、オーディオおよびビデオトラックのようなメディアトラックを含むデータを自動的に抽出する。そのような認識されたデータフォーマットは一般に、たとえば、認識ファイル名拡張子と関連したファイルフォーマットを含んでもよい。これまで説明した例においては「m4a」拡張子が利用されている。上記のように、エンハンスされたメディアファイルアプリケーション1006は、他のファイル名拡張子を認識するように構成されてもよい。抽出データは、従来の記録されたプログラムのためのデータ、たとえば従来のメディアファイルのオーディオおよびビデオステム、すなわちトラックを含む。抽出データはまた、コンテンツプロバイダのコンテンツデータ、たとえばアーティスト情報、タイトル情報、音楽ジャンル、アルバムアートワーク、歌詞などを含む。図10において、そのような抽出データは、コンテンツプロバイダデータボックス1008によって示されている。抽出データはまた、エンハンスされた特徴、たとえばボーカルおよびオーディオステム（従来の記録されたプログラムによって提供されない程度の、または従来の記録されたプログラムによって提供されるものとは異なる）、構成ファイルおよびオートメーションファイルデータ、MIDI情報、トラック情報画面（図5）のための音高およびタイミング情報ならびにエンハンスされたメディアファイルによってサポートされる他のエンハンスされた特徴のためのデータを含む。図5のトラック情報画面502の音高情報およびタイミング情報は、図示された音符インジケータ508および歌詞510が、対応するアルバムトラックまたはムービーチャプタの経過時間に対して正しい位置に現れることを保証するために使用される。図10において、エンハンスされた特徴のための抽出データは、エンハンスされた特徴のためのデータボックス1010によって示されている。

上記のように、エンハンスされたメディアファイルアプリケーションは、エンハンスされたメディアファイルとともにユーザデータ入力を記憶することをサポートする。ユーザデータ入力は、たとえば、トラックメニュー画面（図2）を通して入力される設定を含んでもよい。したがって、ユーザデータ入力は、エンハンスされたメディアファイル1002から読まれ、およびエンハンスされたメディアファイル1002に書き込まれる双方である。図10において、そのようなユーザデータ入力は、ユーザデータ入力ボックス1012によって示されている。エンハンスされたメディアファイルからの抽出データは、プレイバックリソース1014によるプレイバックに備えてエンハンスされたメディアファイルアプリケーション1006によって処理され、その結果、オーディオおよび／またはビデオ出力が得られる。上記のように、プレイバックリソースは、ホスト装置のオペレーティングシステムを通してアクセスされるホスト装置のシステムリソースならびにエンハンスされたメディアファイルアプリケーションの任意のリソースおよびホスト装置を通して入手可能な任意の他のリソースを含んでもよい。

図10の例示的システムの場合、音楽ライブラリ1004は、任意のアルバムトラックに関して概して入手可能な標準情報、たとえばコンテンツプロバイダ情報に加えて、音楽ライブラリからの任意の要求されたアルバムトラックからのメタデータをアプリケーション、たとえば適切に構成されたエンハンスされたメディアファイルアプリケーション1006に提供することができる。すると、そのアプリケーションは、曲名、アーティスト名などの標準情報の他にも任意のユーザ供給データを求めてそのメタデータを審査することができる。図10において、ユーザ供給データの審査は、エンハンスされたメディアファイルアプリケーション1006内のユーザデータ入力ボックス1012によって示されている。本明細書に記載される例のm4aシステムの場合、上記のように、ユーザ供給データは、エンハンスされた特徴を提供するための選択されたIDインジケータ「maap」でマーキングされているuuidボックスを提供する。そして、uuidボックスのコンテンツは、エンハンスされたメディアファイルアプリケーションによってアクセスされて、トラックコンテンツに関する記述情報およびエンハンスされた特徴のために供給された任意のバイナリデータを抽出することができる。本明細書における記載にしたがって、uuidボックス中のデータペイロードは、前記エンハンスされた特徴に関するさらなる情報を運ぶために使用される。追加されたエンハンスされた特徴データは、エンハンスされたメディアファイルアプリケーション1006によって自動的に検出され、かつ抽出され、そして一時ファイル中に保管されて、たとえばゲームエンタテイメントまたは対話式リスニングのためにエンハンスされた特徴処理とともに使用される。

ユーザ供給データはそのようにマーキングされているため、エンハンスされたメディアファイルアプリケーション1006は、その存在をユーザに警告し、かつ音楽コンテンツとの付加価値対話を提供する。これは、たとえば、市販のトラックのリミキシングのようなシナリオ、いくつかまたはすべてのトラックのための追加オーディオエフェクト、マイクロホンもしくは合成オーディオによってユーザ供給音楽に適用されるオーディオエフェクトまたはカラオケのようなゲームコンテンツを含んでもよい。たとえば、供給されるオーディオのためのいくらかのリミキシングおよびレベル制御は、ユーザのための音声エンハンスメントと同様に、エンハンスされた特徴としてサポートされることができる。これらのさらなる制御は、エンハンスされた特徴プレイバックアプリケーションがそれらの存在を決定したのち、ユーザに暴露される。さらには、さらなるオーディオおよびエンハンスされた特徴ファイルとともに含まれるカラオケゲームコンテキストの場合、第二の画面が生成され、そして利用可能にされることができる。この第二の画面は、アプリケーションが、それらが場合によってはマスタ「iTunes」m4aファイルに含まれることを決定したとき、利用可能になる。

上記のように、エンハンスされた特徴は、たとえば、エンハンスされたメディアファイルからのボーカルのみもしくは楽器のみの選択を含んでもよいし、あるいはエンハンスされた特徴は、ユーザの声を記録にダビングする、または記録されているボーカルをユーザのボーカルで代えるカラオケ機能を含んでもよいし、あるいはエンハンスされたメディアファイルなどのトラックおよびチャンネルに統合されたゲームアプリケーションを含んでもよい。他の特徴およびコンテンツが加えられることもできる。たとえば、本発明の譲受人であるMuseAmi社から入手可能であるようなコラボレーション音楽ツールを使用して、さらなるコンテンツを作成することもできる。そのようなコラボレーションツールを使用して、ユーザはまず、上記エンハンスされた特徴データ、たとえばm4aファイルに関して上述した「maap」ファイルとの参加型対話を通してコンテンツを作成し、次いで、作成したコンテンツを適切なポータル（または他の配給およびコラボレーション手段）に提供することができ、すると、さらなるユーザが、最初のユーザによって生成されたコンテンツにさらに追加してもよいし、またはそのコンテンツとコラボレーションしてもよい。このプロセスは、さらなるユーザとで連続的かつ反復的であることができる。

図11は、プレイバック中のエンハンスされたメディアファイルの処理を示し、かつエンハンスされたメディアファイルのプレイバック中に利用可能であるエンハンスされたユーザ特徴を示す。デコーダ1102は、エンハンスされたメディアファイルを入力として受け、記憶されたメディアエフェクトファイルを受けてもよく、かつまた記憶されたユーザデータ入力ファイルを受けてもよく、かつリアルタイム対話型ユーザ参与、たとえばマイクロホン入力または制御設定を受けてもよい、エンハンスされたメディアファイルアプリケーション1006（図10）のコンポーネントである。デコーダ1102は、ユーザがエンハンスされたメディアファイル中の特徴データにアクセスするための手段である。デコーダは、エンハンスされたメディアファイルアプリケーションの実行と統合されて、デコーダの実行が自動的かつユーザに対して透明になるようにしてもよい。たとえば、図7を参照すると、デコーダは、かつエンハンスされたメディアファイルのボーカルステム714および楽器ステム716を読み、すなわちデコードし、エンハンスされたメディアファイルのさらなるメタデータ718、720、722、724を処理し、かつ特徴データを含むリアルタイムユーザデータ入力および制御設定を処理する。

特徴データによって提供されるエンハンスされたユーザ特徴は、プレイバック装置の動きおよび向きに応答してもよい。たとえば、図11に示すように、装置が縦向きに保持されたとき、一つのセットの特徴1104、たとえばユーザインタフェース要素が提供され、そして装置が横向きに保持されたとき、もう一つのセットの特徴1106、たとえばイン・アプリケーションビューイングまたはゲームが提供されてもよい。オーディオ処理ブロック1108は、コンテンツプロバイダブロック1008、エンハンスされた特徴のためのデータブロック1010およびユーザデータ入力1012によって示される、図10に示す処理を含む。オーディオ処理ブロックは、エンハンスされたメディアファイルアプリケーション804と、ホスト装置のオペレーティングシステムを通してアクセスされるホスト装置のリソースとの両方による処理を含んでもよい。処理は、上記のように、ボーカルトラックデータ、楽器トラックデータおよびマイクロホンからの入力の処理を含んでもよい。処理はまた、先に図2〜6に示したユーザインタフェース画面を介して受けられる制御入力のようなユーザ入力の処理を含んでもよい。

図12は、本明細書に記載されるエンハンスされた特徴のための適切に構成されたエンハンスされたメディアファイルアプリケーションを有するホスト装置1200のブロック図である。たとえば、エンハンスされたメディアファイルアプリケーションは、エンハンスされたメディアファイルの処理中のエンハンスされた特徴のサポートのために装置1200にインストールされてもよい。図7に示す作成プロセスと使用するためのファイル作成およびエディタアプリケーション、たとえば「atomicparsely」ツールが、エンハンスされたメディアファイルの作成のための装置1200にインストールされてもよい。したがって、ホスト装置1200は、ラップトップまたはタブレットコンピュータ装置のようなモバイルプラットフォームコンピュータ装置を含んでもよいし、あるいはデスクトップコンピュータ装置または同様な能力を有する多様なコンピュータ装置の一つを含んでもよい。

ホスト装置1200は、装置がネットワークおよび／または他のユーザと通信するためのネットワーク通信インタフェース1202を含む。たとえば、インタフェース1202は、「WiFi」ネットワーク、セルラー電話ネットワーク、「Bluetooth」プロトコルなどでの通信のためのコンポーネントを含んでもよい。プロセッサ1204がホスト装置の動作を制御する。プロセッサは、コンピュータ処理回路を含み、かつ一般に、一つまたは複数の集積回路チップおよび関連コンポーネントとして実現される。装置はメモリ1206を含み、このメモリの中に、装置オペレーティングシステム、エンハンスされたメディアファイルアプリケーション、ユーザデータおよび機械実行可能なプログラム命令が、プロセッサによる実行に備えて記憶されることができる。メモリは、ファームウェア、ランダムアクセスメモリ（RAM）および記憶媒体を含むことができる。ユーザ入力コンポーネント1208は、ユーザが制御およびデータを提供することができる機構である。ユーザ入力コンポーネントは、たとえば、タッチスクリーン、キーボードもしくは数字パッド、ボーカル入力インタフェースまたはエンハンスされたメディアファイルアプリケーションを操作するためのユーザ制御およびデータを提供するための他の入力機構を含むことができる。ディスプレイ1210が視覚的（グラフィック）出力表示を提供し、およびオーディオコンポーネント1212がホスト装置のための可聴出力を提供する。本明細書に記載されるエンハンスされたメディアファイルアプリケーションの実行のために多種多様な装置が適当であることが理解されよう。そのうえ、当業者は、本明細書に記載されるエンハンスされた特徴を提供するためにプロセッサによって実行されるデータとともにエンハンスされたメディアファイルに組み込まれるコンテンツを作成するために同じく多種多様な装置が適していることを理解するであろう。

図13は、本明細書に詳述されるエンハンスされたメディアファイルの処理に関連するエンハンスされた特徴を提供するための装置動作の流れ図である。動作は、図10に示す装置1000のようなホスト装置によって実行されてもよい。1302と標識された流れ図ボックスによって示される第一の装置動作において、ホスト装置のエンハンスされたメディアファイルアプリケーションが、ホスト装置またはホストに接続された外部装置に記憶されていてもよいし、ネットワーク接続を介して別の装置からストリーミングまたは他のやり方で取得されてもよい、エンハンスされたメディアファイルにアクセスする。ボックス1304において、エンハンスされたメディアファイルアプリケーションは、エンハンスされたメディアファイルから読まれる特徴データにアクセスする。この動作は、アプリケーションが、エンハンスされたメディアファイルを解析し、かつエンハンスされたメディアファイルと関連するメタデータを認識する、たとえばm4aファイルのマップデータと関連するudtaセクション中のデータを発見することによって達成される。次のボックス1306によって示される次の動作において、エンハンスされたメディアファイルアプリケーションは、ファイル中で利用可能である特徴データを決定し、かつその特徴データから可能であるエンハンスされた特徴を決定する。ボックス1308において、エンハンスされたメディアファイルアプリケーションは、エンハンスされたメディアファイルの特徴データにしたがってユーザインタフェースを生成する。この動作は、特徴データにしたがって、制御およびユーザインタフェース特徴を露出させる。特徴は、たとえば、図2〜6に示す画面表示を含んでもよい。すると、エンハンスされたメディアファイルアプリケーションは、エンハンスされた特徴によってユーザインタフェースを開始し、かつ操作するためのユーザ対話を受ける準備が整う。

次のボックス1310において、装置は、ユーザインタフェースを介して、エンハンスされた特徴のためのユーザ入力を受ける。ユーザ入力は、たとえば、ユーザによって開始されるようなユーザボーカル入力、タッチスクリーン入力、キーボードデータなどを含んでもよい。ユーザ入力は、エンハンスされたメディアファイルアプリケーションによって処理される。ボックス1312において、エンハンスされたメディアファイルアプリケーションは、エンハンスされた特徴にしたがって、受けたユーザ入力に応答してユーザインタフェースを生成する。上記のように、ユーザによって提供される任意の対話、たとえば設定およびユーザ入力を記憶することが可能であり、また、ユーザ入力に応答してオーディオおよびビジュアル提示を修正することが可能である。ユーザ入力を記憶し、およびユーザ入力に応答するこの処理すべてが、ボックス1312によって示される動作に包含される。このようにして、ユーザは、ホスト装置の適切に構成されたエンハンスされたメディアファイルアプリケーションによって処理されるような、本明細書に記載される特徴データを有するエンハンスされたメディアファイルからユーザインタフェースを通して利用可能であるエンハンスされた特徴を楽しむことができる。上記のように、エンハンスされたメディアファイルを処理する従来のプレイバックアプリケーションは、特徴データにアクセスすることができず、したがって、エンハンスされた特徴を提供することができないが、その代わり、従来のプレイバック体験を提供する。エンハンスされたメディアファイルアプリケーションは、ユーザが入力を提供する限り、ボックス1314においてユーザ入力を処理し続ける、または、終了すると、アプリケーションは処理を停止する。

エンハンスされたメディアファイルは、コンピュータ装置によって実行されてもよいコンピュータ実現可能な命令を含む非一時的なコンピュータ読み取り可能な記憶媒体中に具現化されたコンピュータプログラム製品として提供されてもよい。記憶媒体は、たとえば、フラッシュメモリ、光学ディスク、たとえばデータCDもしくはDVDまたは他のデータ記憶装置を含んでもよい。エンハンスされたメディアファイルを実行するためのコンピュータ装置は、プロセッサの制御の下で作動する多種多様なコンピュータ装置、たとえばモバイル装置もしくはタブレットコンピュータまたはデスクトップもしくはラップトップコンピュータを含んでもよい。記憶装置上に記憶されたコンピュータ実現可能な命令は、プレイバックアプリケーションによってプレイバックされるように構成されているメディアファイルのデータおよびそのメディアファイルデータと関連する特徴データを含む。特徴データは、エンハンスされたプレイバックアプリケーションによってプレイバックされるように構成されており、記憶されたメディアファイルデータおよび関連する記憶された特徴データは、プレイバックアプリケーションが、プレイバックのためのメディアファイルデータを処理することはできるが、しかし特徴データを処理することはできないような、エンハンスされたメディアデータを含む。エンハンスされたプレイバックアプリケーションは、メディアファイルデータを処理することができ、かつ特徴データを処理することができる。

本明細書の記載にしたがって、多くのさらなる処理能力が可能であることが理解されよう。さらに、上記で詳述した方法、システムおよび装置は単なる例とみなされるということが留意されよう。様々な態様が、適宜、様々な手順またはコンポーネントを省略、置換または追加してもよい。たとえば、代替態様において、方法は、上記とは異なる順序で実行されてもよく、および様々なステップが追加、省略または組み合わされてもよいことが理解されよう。また、特定の態様に関して記載された特徴が様々な他の態様へと組み合わされてもよい。同様なやり方で態様の様々な局面および要素が組み合わされてもよい。また、技術は進化し、したがって、要素の多くは例であり、本発明の範囲を限定するものと解釈されるべきではないことが強調されよう。

態様の完全な理解を提供するために本明細書には具体的な詳細が記されている。しかし、それらの態様がそれらの具体的な詳細なしで実施されてもよいことが当業者によって理解されよう。たとえば、態様を不明瞭にしないために、周知の回路、プロセス、アルゴリズム、構造および技術は、不要な詳細を省いて示されている。さらに、本明細書の中で提供される見出しは、単に、様々な態様の説明をわかりやすくすることを意図したものであり、本発明の範囲または本発明の任意の部分の機能性を限定するものと解釈されるべきではない。たとえば、特定の方法またはコンポーネントは、異なる見出しの下で記載されているとしても、他の方法またはコンポーネントの一部として実現されてもよい。

また、態様は、流れ図またはブロック図として示されるプロセスとして記載されてもよいことが留意されよう。それぞれが動作を逐次プロセスとして記載してもよいが、動作の多くは並行または同時に実施されることができる。加えて、動作の順序が並べ替えられてもよい。プロセスは、図面に含まれないさらなるステップを有してもよい。

Claims (29)

1. コンピュータ装置においてエンハンスされたメディアファイルを処理する方法であって、
   該コンピュータ装置において該エンハンスされたメディアファイルのエンハンスされた特徴データにアクセスする工程、
   該アクセスされたエンハンスされた特徴データにしたがってユーザインタフェースを生成する工程、
   該エンハンスされた特徴データに適用するためのユーザデータ入力を該ユーザインタフェースから受ける工程、
   該受けたユーザデータ入力を該エンハンスされたメディアファイルの該エンハンスされた特徴データとともに記憶する工程
   を含み、該エンハンスされた特徴データが、該コンピュータ装置にインストールされているエンハンスされたメディアファイルアプリケーションによって処理され得るが、該コンピュータ装置にインストールされている従来のプレイバックアプリケーションによって無視される、方法。
2. 記憶されたユーザデータ入力を検索する工程、
   該検索されたユーザデータ入力を、コンピュータ装置による出力のために、エンハンスされたメディアファイルアプリケーションによって処理する工程
   をさらに含む、請求項1記載の方法。
3. 受けたユーザデータ入力を記憶する工程が、該受けたユーザデータ入力をエンハンスされたメディアファイルのメタデータ中に記録することを含む、請求項1記載の方法。
4. 受けたユーザデータ入力が、エンハンスされたメディアファイルアプリケーションの出力を変化させるリアルタイムメディアエフェクトを指定する、請求項1記載の方法。
5. リアルタイムメディアエフェクトが、エンハンスされたメディアファイルの処理中のオーディオ変化に関するものである、請求項4記載の方法。
6. オーディオ変化が、エンハンスされたメディアファイルのオーディオステムに関するものである、請求項5記載の方法。
7. オーディオ変化が、記憶されたユーザデータ入力に関するものである、請求項5記載の方法。
8. オーディオ変化が、エンハンスされたメディアファイルの処理中に受けるユーザデータ入力に関するものであり、かつエンハンスされたメディアファイルアプリケーションの出力を変化させる、請求項5記載の方法。
9. 受けたユーザデータ入力が、リアルタイムメディアエフェクトのための設定を含む、請求項8記載の方法。
10. 受けたユーザデータ入力が、オーディオキャプチャ装置からのデータを含む、請求項8記載の方法。
11. リアルタイムメディアエフェクトが、エンハンスされたメディアファイルの処理中のビデオ変化に関するものである、請求項4記載の方法。
12. 受けたユーザデータ入力を記憶する工程が、以前のユーザデータ入力に上書きすることを含む、請求項1記載の方法。
13. 受けたユーザデータ入力を記憶する工程が、該受けたユーザデータ入力をエンハンスされた特徴データに追加することを含む、請求項1記載の方法。
14. エンハンスされたメディアファイルを処理するためのコンピュータ装置であって、
    プログラム命令を実行するように構成されたプロセッサと、
    該プロセッサによって実行されると、該コンピュータ装置において該エンハンスされたメディアファイルのエンハンスされた特徴データにアクセスし、該アクセスされたエンハンスされた特徴データにしたがってユーザインタフェースを生成し、該エンハンスされた特徴データに適用するためのユーザデータ入力を受け、該受けたユーザデータ入力を該エンハンスされたメディアファイルの該エンハンスされた特徴データとともに記憶する動作を提供する、該コンピュータ装置に記憶されたプログラム命令と
    を含み、該エンハンスされた特徴データが、該コンピュータ装置にインストールされているエンハンスされたメディアファイルアプリケーションによって処理され得るが、該コンピュータ装置にインストールされている従来のプレイバックアプリケーションによって無視される、コンピュータ装置。
15. 前記プロセッサがさらに、記憶されたユーザデータ入力を検索し、かつ該検索されたユーザデータ入力をコンピュータ装置による出力のために処理する動作を提供する、請求項14記載のコンピュータ装置。
16. 受けたユーザデータ入力が、エンハンスされたメディアファイルのメタデータ中に記録される、請求項14記載のコンピュータ装置。
17. 受けたユーザデータ入力が、エンハンスされたメディアファイルアプリケーションの出力を変化させるリアルタイムメディアエフェクトを指定する、請求項14記載のコンピュータ装置。
18. リアルタイムメディアエフェクトが、エンハンスされたメディアファイルの処理中のオーディオ変化に関するものである、請求項17記載のコンピュータ装置。
19. オーディオ変化が、エンハンスされたメディアファイルのオーディオステムに関するものである、請求項18記載のコンピュータ装置。
20. オーディオ変化が、記憶されたユーザデータ入力に関するものである、請求項18記載のコンピュータ装置。
21. オーディオ変化が、エンハンスされたメディアファイルの処理中に受けたユーザデータ入力に関するものであり、かつエンハンスされたメディアファイルアプリケーションの出力を変化させる、請求項18記載のコンピュータ装置。
22. 受けたユーザデータ入力が、リアルタイムメディアエフェクトのための設定を含む、請求項21記載のコンピュータ装置。
23. 受けたユーザデータ入力が、オーディオキャプチャ装置からのデータを含む、請求項21記載のコンピュータ装置。
24. リアルタイムメディアエフェクトが、エンハンスされたメディアファイルの処理中のビデオ変化に関するものである、請求項17記載のコンピュータ装置。
25. 受けたユーザデータ入力を記憶する工程が、以前のユーザデータ入力に上書きすることを含む、請求項14記載のコンピュータ装置。
26. 受けたユーザデータ入力を記憶する工程が、該受けたユーザデータ入力をエンハンスされた特徴データに追加することを含む、請求項14記載の方法。
27. コンピュータ装置においてエンハンスされたメディアファイルを作成する方法であって、
    メディアファイルのデータを該コンピュータ装置に記憶する工程であって、記憶されたメディアデータファイルが従来のメディアプレイバックアプリケーションによるプレイバックのために構成されているデータを含む、工程、
    エンハンスされたメディアファイルアプリケーションによるプレイバックのために構成されている、該メディアファイルのデータと関連するエンハンスされた特徴データを該コンピュータ装置に記憶する工程
    を含み、該記憶されたメディアファイルのデータおよび該関連する記憶されたエンハンスされた特徴データが、該エンハンスされたメディアファイルを含み、その結果、該エンハンスされたメディアファイルアプリケーションが、該エンハンスされたメディアファイルを処理し、かつ該エンハンスされたメディアファイルのエンハンスされた特徴データにアクセスし、該アクセスされたエンハンスされた特徴データにしたがってユーザインタフェースを生成し、該エンハンスされた特徴データに適用するためのユーザデータ入力を受け、かつ該受けたユーザデータ入力を該エンハンスされたメディアファイルの該エンハンスされた特徴データとともに記憶し得、
    該エンハンスされた特徴データが、該エンハンスされたメディアファイルアプリケーションによって処理され得るが、従来のプレイバックアプリケーションによって無視される、方法。
28. コンピュータホスト装置を構成する方法であって、
    サーバコンピュータ装置において該コンピュータホスト装置へのネットワーク通信リンクを確立する工程、
    該ネットワーク通信リンクを介してプログラム命令を該サーバコンピュータ装置から該コンピュータホスト装置に送信する工程
    を含み、該送信されたプログラム命令が、該コンピュータホスト装置のメモリに記憶され、かつ実行されて、該コンピュータホスト装置においてエンハンスされたメディアファイルのエンハンスされた特徴データにアクセスし、該アクセスされたエンハンスされた特徴データにしたがってユーザインタフェースを生成し、該エンハンスされた特徴データに適用するためのユーザデータ入力を受け、かつ該受けたユーザデータ入力を該エンハンスされたメディアファイルの該エンハンスされた特徴データとともに記憶するように構成されており、
    該エンハンスされた特徴データが、該コンピュータホスト装置にインストールされているエンハンスされたメディアファイルアプリケーションによって処理され得るが、該コンピュータホスト装置にインストールされている従来のプレイバックアプリケーションによって無視される、方法。
29. コンピュータ装置によって実行されるコンピュータ実現可能な命令を含む非一時的コンピュータ読み取り可能な記憶媒体の中で具現化されたコンピュータプログラム製品であって、該コンピュータ実現可能な命令が、プレイバックアプリケーションによるプレイバックのために構成されているメディアファイルのデータおよび該メディアファイルデータと関連するエンハンスされた特徴データを含み、該エンハンスされた特徴データが、エンハンスされたプレイバックアプリケーションによるプレイバックのために構成されており、かつ該記憶されたメディアファイルデータおよび該関連する記憶された特徴データが該エンハンスされたメディアファイルを含み、その結果、該プレイバックアプリケーションが、該メディアファイルデータをプレイバックのために処理し得るが、エンハンスされた特徴データを処理することができず、かつ該エンハンスされたプレイバックアプリケーションが、該メディアファイルデータを処理することができ、かつ該エンハンスされた特徴データを処理することができる、コンピュータプログラム製品。

Images