JP2010517476A - メディアデータの最適化されたコンテンツベース及びロイヤルティベースの符号化及び配信 - Google Patents

Abstract

コンテンツベース及びロイヤルティベースの符号化を実行するための方法及び装置を開示する。一実施形態においては、この方法は、メディアを符号化するための一つ以上の符号化ツールを、当該一つ以上の符号化ツールのうち少なくとも一つ及び当該一つ以上の符号化ツールの各々に対応する復号ツールに関連付けられたロイヤルティコスト、各対応する復号ツールが生成する復号メディア品質、並びに、一つ以上の伝送帯域幅制約に基づいて、選択するステップと、一つ以上の符号化ツールを用いて、メディアコンテンツに応じて、メディアを符号化するステップと、一つ以上の符号化ツールのうち少なくとも一つによって生成された符号化データを伝送するステップと、を含む。
【選択図】 図１

Description

優先権

[0001]本特許出願は、“Ｏｐｔｉｍｉｚｅｄ Ｃｏｎｔｅｎｔ−ｂａｓｅｄ ａｎｄ Ｒｏｙａｌｔｙ−Ｂａｓｅｄ Ｅｎｃｏｄｉｎｇ ａｎｄ Ｄｉｓｔｒｉｂｕｔｉｏｎ ｏｆ Ｍｅｄｉａ Ｄａｔａ”と題して２００７年１月２９日に出願された対応の米国仮特許出願第６０／８９８，３２４号の優先権を主張し、同仮特許出願を参照することにより援用するものである。

発明の分野

[0002]本発明は、メディアデータの符号化及び配信の分野に関するものであり、より詳細には、本発明は、メディアデータのコンテンツベース及びロイヤルティベースの符号化に関するものである。

発明の背景

[0003]近年、メディアの符号化及び配信が著しい発展を遂げている。メディア規格を規定する圧縮及び搬送ツールを融合させることで、今日では、エンドツーエンド配信における多種多様な効率に対応する多種多様なツールを用いて、種々のネットワークを介してメディアを搬送できる。最高効率のメディア配信に関心がある場合には、典型的には、高いロイヤルティ／ライセンスコストを有する最新の先端技術のツールに限られる場合が多い。一方で、ある程度の非効率性を許容できれば、ロイヤルティコストを削減し、又はロイヤルティコストを無料化して配信を達成することが可能な場合もある。

[0004]メディア規格では、規格内で規定されたプロファイルにより、このようなトレードオフの利用は非常に限定されたものでしかない。このようなトレードオフを実現するために、様々な規格の中から選択を行うこともできる。しかしながら、プロファイルによる利用可能な代替物や異なる規格の数は少なく、多くの場合、あらゆる用途にとってあまり意味のあるものではない。汎用コンピューティングデバイスの普及に伴い、このようなトレードオフを最適に実現させる一連の選択から利益を得るという状況が多くあることも明らかである。

従来の解決策において、メディアの配信に際しエンコーダが使用可能なオプションセットは、非常に限定的で粗いものである。エンコーダが、所与の規格の所与のプロファイルを使用すれば、メディア配信は、そのプロファイルにおいて全てのツールの使用をカバーする固定ライセンスコストで達成され得る。エンコーダは、例えば、配信されるメディアのコンテンツ、デコーダでの所望のメディア品質、及び搬送媒体の有効帯域幅に基づいて、ライセンスコストを最適化することができない。エンコーダが、異なるメディア符号化規格の中から選択するだけでよい場合、この状況は同様である。

メディア規格に含まれるツールは、規格化プロセスの段階で選択され公表された標準的なものである。このプロセスは、メディア符号化の全ての所望の使用に粗くしか対応できない方法で起こる。最終的な選択に多くの優れたツールが含まれておらず、その理由として、これらのツールが、想定される全てのシナリオに適用できないこと、想定される全てのハードウェアプラットフォームでの有効な実装に適していないこと、符号化の効率が低いことなどが挙げられる。

現在では、メディア符号化規格内の標準として選択されたツールの中には、他の標準的なツールよりもかなり高頻度で利用されているものもある。しかしながら、標準的なライセンス供与から得られる収益プールのうち、これらのツールが占める割合は、他のツールと同じか、又はそれ以下であり得る。

現在の技術を用いたメディア符号化の場合、規格をライセンス供与し、規格のパテントプール及び／又は個々のＩＰ所有者を管理する組織にロイヤルティを支払う必要があることが多い。これが行われると、メディアは、コンテンツオーナーからライセンスを得ることによって符号化される。

[0005]コンテンツベース及びロイヤルティベースの符号化を実行するための方法及び装置を、本明細書に開示する。一実施形態では、この方法は、メディアを復号するための一つ以上の符号化ツールを、当該一つ以上の符号化ツールのうちの少なくとも一つ及び当該一つ以上符号化ツールの各々に対する復号ツールに関連付けられたロイヤルティコスト、各対応の復号ツールが生成する復号メディア品質、並びに、一つ以上の伝送帯域幅の制約に基づいて、選択するステップと、一つ以上の符号化ツールを用いて、メディアコンテンツに応じてメディアを符号化するステップと、一つ以上の符号化ツールのうち少なくとも一つによって生成された符号化データを伝送するステップと、を含む。

[0006]本発明は、以下の詳細な説明及び本発明の種々の実施形態の添付の図面から、更に深く理解されるであろうが、これらは、本発明を特定の実施形態に限定するものではなく、説明と理解を目的としたものである。

メディアを符号化し搬送するためのプロセスの一実施形態の流れ図である。 異なるデバイス及びアプリケーションを対象とした異なるメディア符号化の例を示すブロック図である。 各符号化を発生するのに必要な、組み合わされたロイヤルティコストを示す図である。 メディアを符号化し搬送するためのプロセスの別の実施形態の流れ図である。 メディアの復号において使用されるツールの依存関係の連鎖の一例を示す図である。 同等の機能を備えた例示的なツールセットを示す図である。 時間単位でメディアデータをセグメントに分解する例を示す図である。 セグメントに証明書を発生する例を示す図である。 符号化されたメディアから

を得るための例示的な技術を示す図である。
セグメントの達成可能な面の例を示す図である。 ペア依存関係を示す達成可能な面からの切り取りの例を示す図である。 コンピュータシステムの一実施形態のブロック図である。 コンテンツ配信システムの別の実施形態を示す図である。

本発明の詳細な説明

[0020]メディアデータを符号化及び配信する方法及びシステムについて説明する。一実施形態では、本明細書に記載する技術は、メディアを符号化及び／又は復号するために使用されるツールのロイヤルティコストを、復号されるメディアの品質及び伝送帯域幅の制約とともに、考慮して、メディアを符号化するように設計されている。一実施形態においては、同じ復号メディア品質で、高い帯域幅環境用に符号化されたメディアが、効率は低いがロイヤルティコストが低いツールを用いて復号可能であるのに対して、低い帯域幅環境用に符号化されたメディアが、効率は高いがロイヤルティコストも高いツールを用いて復号可能であるように符号化が行われる。このような符号化は、復号メディア品質、有効伝送帯域幅、及びロイヤルティコストによって形成される三つの値の許容範囲に対して最適なメディア符号化点を表す関数で性能を最適化することによって行なうことができる。Ωは候補ツールのセットを決定し、Ｑ（ω，ρ）、Ｂ（ω，ρ）、Ｃ（ω，ρ）は、値ρのベクトルに対するツールパラメータセットを有するツールの所与のサブセットωの品質、帯域幅、ロイヤルティコストをそれぞれ表す。次いで、一実施形態では、帯域幅及びロイヤルティコストの目標とする各ペア（Ｂ_０，Ｃ_０）について、最適なメディア符号化点（Ｑ_０，Ｂ_０，Ｃ_０）を得るために、このような関数が、以下の式、すなわち、

を解く。

[0021]最適化は、例えば、要求バッファサイズを決定する変数ｂを、対応するラグランジェ乗数γとともに上記式に導入することによって、すなわち、

により、バッファ制約を組み入れるようにして行うことができる。不等式に基づく制約を許容する他の公知の最適化の公式も使用可能である。同様の方法で、他の符号化／復号制約（例えば、メモリ制約、計算複雑性制約、復号遅延制約など）を、最適化に導入することも可能である。これらの技術は、知的財産権（ＩＰ）の所有者を十分に補償するようにメディア配信が実行されて、復号メディア品質及び伝送帯域幅の制約が緩いユーザが、削減されたＩＰコストからの利益を享受し得ることを、保証する。

[0022]以下の説明において、本発明を更に完全に説明するために、数多くの詳細を示す。しかしながら、当業者であれば、本発明が、これらの特定の詳細無しに実施されてもよいことは明らかであろう。他の例においては、本発明を明確にするために、周知の構造及びデバイスを、詳細ではないが、ブロック図の形式で示す。

[0023]以下の詳細な説明の幾つかの部分は、コンピュータメモリ内のデータビットに関する演算のアルゴリズム及び記号表現として与えてある。これらのアルゴリズム表記及び表現は、データ処理分野の当業者により使用されている手段であり、他の業界の人々に作業の実体を最も効率的に伝えるためのものである。アルゴリズムは、この場合、一般に、所望の結果へと導く自己矛盾のないステップシーケンスであると考えられる。ステップは、物理量の物理的操作を要するものである。通常、必須ではないが、これらの量は、格納、転送、組み合わせ、比較、及び他の操作が可能な電気信号又は磁気信号の形態をとる。主として、一般的な用法であるという理由から、これらの信号をビット、値、要素、記号、文字、用語、数などとして言及することが利便性が良いことが多いことが分かっている。

[0024]しかしながら、これらの用語及び同様の用語の全てが、適切な物理量に関連付けられるわけではなく、これらの量に適用可能な利便性の良いラベルにすぎないことも留意されたい。以下の記述から明らかなように、特別な説明がない限り、本明細書を通して、「処理」、「計算」、「算出」、「決定」、又は「表示」などの用語を利用した説明が、コンピュータシステムのレジスタ及びメモリ内の物理（電子）量として表されるデータを操作し、コンピュータシステムのメモリ又はレジスタ内又は他のこのような情報の格納、伝送、又は表示デバイス内の物理量として同様に表される他のデータに変換するコンピュータシステム又は同様の電子計算デバイスのアクション又はプロセスについて言及していることを認識されたい。

[0025]本発明はまた、本明細書におけるオペレーションを実行するための装置に関するものでもある。この装置は、要求される目的に合わせて特別に構築されてもよく、又は、コンピュータに格納されたコンピュータプログラムによって選択的に作動又は再構成される汎用コンピュータを備えていてもよい。このようなコンピュータプログラムは、フロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、及び光磁気ディスクなどの任意のタイプのディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光カード、又は電子命令を格納するのに適し、各々がコンピュータシステムバスに連結された任意のタイプのメディアなどを含むが、これらに限定されるものではないコンピュータ読み出し可能記憶媒体に格納されてもよい。

[0026]本明細書に提示するアルゴリズム及びディスプレイは、本質的に、任意の特定のコンピュータ又は他の装置に関係するものではない。本発明の教示によるプログラムとともに、さまざまな汎用システムが使用されてもよく、又は要求された方法ステップを実行するために、より特化された装置を構築することが利便性が良い場合もある。種々のこれらのシステムの要求された構造は、以下の記載から明らかである。さらに、本発明は、任意の特定のプログラミング言語を参照しながら記載されるわけではない。本明細書に記載するように、本発明の教示を実施するために、種々のプログラミング言語が使用されてもよいことを認識されたい。

[0027]機械読み出し可能メディアが、機械（例えば、コンピュータ）によって読み出し可能な形態で情報を格納又は伝送するための任意の機構を含む。例えば、機械読み出し可能メディアが、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、電気、光学、音響、又は他の形態の伝播信号（例えば、搬送波、赤外線信号、ディジタル信号など）などである。

＜概要＞
[0028]メディアデータを符号化及び配信するための方法及びシステムについて説明する。この方法は、復号されるメディアの品質及び伝送帯域幅の制約とともに、メディアを符号化及び／又は復号するために使用されるツールのロイヤルティコストを考慮して、メディアコンテンツに従ってメディアを符号化するよう設計されている。同じ復号メディア品質で、高い帯域幅環境用に符号化されたメディアが、効率は低いがロイヤルティコストが低いツールを用いて復号可能である一方で、低い帯域幅環境用に符号化されたメディアが、効率は高いがロイヤルティコストは高いツールを用いて復号可能であるように符号化が行われる。このような符号化は、復号メディア品質、有効伝送帯域幅、及びロイヤルティコストによって形成される三つの値の許容範囲に対して最適なメディア符号化点を表す関数で性能を最適化することによって行うことができる。最適化は、バッファ及び他の符号化／復号制約を組み込むように行うことができる。このシステムは、知的財産権（ＩＰ）の所有者を十分に補償するようにメディア配信が行われて、復号メディア品質及び伝送帯域幅の制約が緩いユーザは削減されたＩＰコストからの利益を享受し得ることを保証する。

[0029]一実施形態では、システムが、メディア符号化のツールボックスを有し、搬送ツールが、重複する機能をもつ多くのツールとともに利用可能である。このシステムは、符号化アルゴリズムによって選択されるように、利用可能なツールのサブセットを用いてメディアを符号化する。サブセット内のツールの正確なリストが、同じツールボックスにアクセスできるデコーダに送られる。次いで、符号化されたメディアを表すビットストリームが、符号化されたメディアを既知のツールを用いて復号し、ある品質でメディアを再構築するデコーダに送られる。

[0030]一実施形態では、メディア符号化において使用される各ツールは、その使用を管理するあるロイヤルティコストを有する。メディア自体も、コンテンツライセンスコストを有し得る。一実施形態では、システムは、所望のメディア品質レベル及び搬送メディアの有効帯域幅を前提とした組み合わされたロイヤルティコストを最小限に抑えるようにメディアを符号化することによって、最適なトレードオフを見い出す。一実施形態では、システムにより、コンテンツ及びＩＰの所有者が十分に補償されることが保証される。

[0031]図１は、メディアを符号化し搬送するためのプロセスの一実施形態の流れ図である。このプロセスは、処理ロジックにより実行される。処理ロジックは、ハードウェア（回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム又は専用マシンで実行されるものなど）、又はこれら双方の組み合わせを備えるものであってもよい。

[0032]以下、図１を参照する。本プロセスは、処理ロジックが個別に符号化される複数のセグメントにメディアを分解することから開始される（処理ブロック１０１）。これは必要条件ではなく、メディアは単一のセグメントで符号化されてもよいことに留意されたい。

[0033]次に、処理ロジックは、メディアを符号化する一つ以上の符号化ツールを、１）当該一つ以上の符号化ツールのうち少なくとも一つ及び／若しくは一つ以上の符号化ツールの各々に対応する復号ツールに関連付けられたロイヤルティコスト、２）各対応する復号ツールが生じる復号メディア品質、並びに／又は、３）一つ以上の伝送帯域幅制約、に基づいて、選択する（処理ブロック１０２）。一実施形態では、異なる符号化ツールが各セグメントに対して選択される。別の実施形態では、セグメントを異なる符号化ツールを用いて複数回符号化して、所望の品質及び／又は有効帯域幅に応じて、メディアのセグメントを異なる符号化で搬送可能としてもよい。

[0034]一実施形態では、符号化ツールの選択は、有効帯域幅及びロイヤルティコストの一方又は双方の許容範囲に対して品質を最大限にし、品質及び有効帯域幅の一方又は双方の許容範囲に対してロイヤルティコストを最小限にし、又は、品質及びロイヤルティコストの一方又は双方の許容範囲に対して帯域幅コストを最小限にするよう、最適なツールサブセットを選ぶことを含む。

[0035]一実施形態では、符号化ツールの選択は、復号メディア品質、有効伝送帯域幅、並びに、一つ以上の符号化ツールのうち少なくとも一つ及び当該一つ以上の符号化ツールの各々に対応する復号ツールに関連付けられたロイヤルティコストによって形成される三つの値の許容範囲に対してメディア符号化点を表す関数に基づいて実行される。一実施形態では、処理ロジックは、関数を表す三次元グラフを構成する。このグラフは、各セグメントに対する品質、帯域幅、及びロイヤルティコストの達成可能な三つの値を規定する面を含む。メディアのセグメントを符号化するための符号化ツールは、達成可能な三つの値から選択される。以下、これについて更に詳細に説明する。一実施形態では、関数は、バッファ及び他の符号化／復号制約を組み込む。これは、当業者に周知のように、[0019]及び[0020]の段落で上述したラグランジェ乗数を基にしたフレームワーク、又は他の制約された最適化法フレームワークを用いて行われてもよい。例えば、Ｈ．Ｅｖｅｒｅｔｔの“Ｇｅｎｅｒａｌｉｚｅｄ Ｌａｇｒａｎｇｅ ｍｕｌｔｉｐｌｉｅｒ ｍｅｔｈｏｄ ｆｏｒ ｓｏｌｖｉｎｇ ｐｒｏｂｌｅｍｓ ｏｆ ｏｐｔｉｍｕｍ ａｌｌｏｃａｔｉｏｎ ｏｆ ｒｅｓｏｕｒｃｅｓ”（Ｏｐ ｅｒ．Ｒｅｓ．，ｖｏｌ．１１，ｐｐ．３９９−４１７，１９６３）を参照されたい。

[0036]一実施形態では、選択された符号化ツールのうち一つが、略同様の復号メディア品質で、高帯域幅環境用に符号化されたメディアが、効率は低いがロイヤルティコストも低いツールを用いて復号可能である一方で、低帯域幅環境用に符号化されたメディアが、効率は高いがロイヤルティコストも高いツールを用いて復号可能であるように、メディアを符号化する。

[0037]選択された符号化ツールを用いて、処理ロジックは、メディアコンテンツに応じてメディアを、一つ以上の符号化ツールを用いて、符号化する（処理ブロック１０２）。

[0038]符号化されたデータが生成されると、処理ロジックは、一つ以上の符号化ツールのうち少なくとも一つによって生成された符号化データを伝送する（処理ブロック１０３）。

＜メディア、セグメント、及びツールセット＞
[0039]一実施形態においては、メディアは、音声、映像、グラフィック、及び／又は補助データを含む。一実施形態においては、映像は、一般的なハイブリッドＤＰＣＭ方式を用いて符号化され、音声は、周知の映像音声圧縮規格、例えば、ｈ．２６４／ＭＰＥＧ−ＡＶＣ及びＭＰＥＧ−ＡＡＣなどで行われているように、一般的な変換符号化フレームワークで符号化され、符号化されたメディアデータは、パケット網、例えば、インターネットなどを介して伝送される。

[0040]一実施形態においては、メディアデータは、セグメント単位で考慮される。ｉ番目のメディアセグメントは、時間間隔［Ｔ_ｉ−１，Ｔ_ｉ）内のメディアデータを表す。したがって、セグメントがＳ個あれば、Ｔ_ｓ−Ｔ_０がメディアの持続時間を指す。一実施形態においては、時間以外の変数や時間の他にも追加した変数に基づいたセグメント化が用いられる（例えば、階層化メディア符号化アプリケーションの時間及びメディア品質に基づいて）。一実施形態においては、エンコーダ及びデコーダの双方に対して、メディア符号化及び搬送アルゴリズムのツールセットΩが知られている。

[0041]一実施形態においては、Ωの各ツールは、メディアを符号化する際に使用するためのツールのライセンスコストを決定するロイヤルティコストを有する。一実施形態においては、ロイヤルティコストには柔軟性がある。例えば、コストは、特定のメディアデータの符号化中にツールが何度使用されても一定であってよく、特定のメディアデータの符号化中のツールの使用回数に基づいたものであってもよく、特定のメディアデータを符号化する際に使用される他のツールに依存させてもよく（例えば、特定のメディアデータを符号化する際に、ロイヤルティフリーのツールと一緒に使えば、他のロイヤルティ保有ツールのロイヤルティが無料になることもある）、復号されたメディアの予想品質に基づいていてもよく（例えば、ビデオが、高解像度ディスプレイとは対照的な低解像度ディスプレイを有するデバイスに送られる場合、映像圧縮関連のツールが、異なるロイヤルティコストを有してもよい）、メディアデータを搬送するのに必要とされる同等の帯域幅に基づいていてもよく、アプリケーションのシナリオに基づいていてもよく（例えば、メディアが、ＨＤＴＶセットとは対照的な携帯電話に送られる場合は、より安いロイヤルティコストを課金できたり、非営利環境での使用であれば、ツールのロイヤルティを無料にすることもできる）、メディアコンテンツのライセンス条項に基づいたものであってもよい（例えば、ロイヤルティフリーのコンテンツを符号化するために使用されれば、ツールのロイヤルティを無料にできる）。一実施形態においては、ロイヤルティコスト及びライセンス条項は、これらの条件の組み合わせ関数であり、したがって、異なるシナリオでツール又はメディアデータ自体が異なるロイヤルティコストを有し得る。

[0042]コンテンツ所有者のライセンス条項及びロイヤルティコストは、異なる復号メディア品質レベル、利用される有効帯域幅、メディアが送られるアプリケーションに対して、変動し得る。図２は、異なるデバイス及びアプリケーションを対象とした異なるメディア符号化の例を示すブロック図である。図２を参照すると、メディア２０１は、符号化１〜Ｋを生成するよう、Ｋ通りの異なる方法で符号化されている。符号化１及び２は、携帯電話によって復号されることを目的としたものであってもよく、他の符号化３〜Ｋは、ＰＤＡ、ＨＤＴＶなどによって復号されることを目的としたものであってもよい。符号化１〜Ｋの各々は異なる品質を生じ、異なる有効帯域幅要件を有する。これにより、コテンツ所有者により決定されるロイヤルティコストが潜在的に異なるものになる。

[0043]複雑なロイヤルティ条項の場合、システム全体を、異なるロイヤルティコストを発生するメディアの異なる符号化として考えることもできる（例えば、コンテンツライセンスコスト及びツールライセンスコストが組み合わせられてもよい）。図３は、図２の各符号化を生成するのに必要な組み合わせられたロイヤルティコストを示している。図３を参照すると、各符号化は、異なるロイヤルティコストを有する潜在的に異なる符号化ツールセットを使用する。

[0044]一実施形態においては、各ツールのロイヤルティコスト及び条件は、レジストリに格納され、レジストリは、メディア符号化条件を得て、ｉ番目のセグメントに対する証明書Φ_ｉを決定する。本明細書での説明のために、これら条件を、セグメントｉに対してベクトルΓ_ｉでパラメータ化する。一実施形態においては、ベクトルΓ_ｉは、ターゲットメディア品質Ｑ_ｉ、有効帯域幅Ｂ_ｉ、利用ツールΩ_ｉ⊂Ω、フレームレート、フレーム解像度、予想復号遅延、予想メモリ使用量、予想デコーダ計算複雑性、予想エンコーダ／デコーダバッファ充満度などの様々な他の符号化／復号パラメータなどの関連する条件を含む。他のパラメータは、セグメントにおけるフレーム数、アプリケーションのタイプ（特に、ツールのライセンス供与に影響を与える場合）、映像の種類（例えば、ニュース、映画、ビデオ会議など）、ビデオカラー／サンプリング空間（例えば、ＹＵＶ４：２：０）、ピクセル当たりのビット数などを含む。

[0045]図４は、メディアを符号化し搬送するためのプロセスの別の実施形態の流れ図である。このプロセスは、処理ロジックにより実行される。処理ロジックは、ハードウェア（回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム又は専用マシンで実行されるものなど）、又はこれらの双方の組み合わせを備えるものであってもよい。

[0046]以下、図４を参照する。処理ロジックがメディアデータをセグメント化することからプロセスが開始される（処理ブロック４０１）。メディアデータのセグメントｉについて、エンコーダの処理ロジックは、メディア符号化用の所望の条件を決定し、所望の条件下でセグメントのロイヤルティコストを削減し又は潜在的に最小限に抑えるツールセットΩ_ｉ⊂Ωを選択する（処理ブロック４０２）。次いで、条件及びツールセットが、ベクトルΓ_ｉ内にまとめられる。

[0047]次に、エンコーダの処理ロジックは、Γ_ｉを用いてレジストリに問い合わせることによって、ｉ番目のセグメントの証明書Φ_ｉを得る（処理ブロック４０３）。以下、レジストリについて更に詳細に記載する。一実施形態においては、メディアは、例えば、メディアストリーミングのような非リアルタイムアプリケーションの場合、一つのセグメントに分解され、リアルタイムアプリケーションでは、均一な長さΔＴ秒のセグメントに分解される。ΔＴは、１，２，３，．．．１０，．．．６０，．．３００などとすることができる。図７は、時間単位でセグメントに分解されたメディアを示している。図７を参照すると、メディアセグメント１は、時間Ｔ_０〜Ｔ_１、メディアセグメント２は、Ｔ_１〜Ｔ_２、時間の経過とともに以下同様である。各メディアセグメントは、関連する条件を含むベクトルΓ_ｉを有し、この条件は、一実施形態においては、目標メディア品質Ｑ_ｉ、有効帯域幅Ｂ_ｉ、及び利用ツールΩ_ｉ⊂Ωである（しかし、例えば、メディアセグメントに関する上述した様々なエンコーダ／デコーダパラメータなどの他の条件を含み得る）。このように、メディアセグメント１は、メディアセグメント１に関連付けられたベクトルΓ_１、メディアセグメント２は、メディアセグメント２に関連付けられたベクトルΓ_２、以下同様、を有する。同様に、各ベクトルは、各ベクトルに関連付けられた証明書を有する。すなわち、ベクトルΓ_１は、ベクトルΓ_１に関連付けられた証明書Φ_１、ベクトルΓ_２は、ベクトルΓ_２に関連付けられた証明書Φ_２などを有する。

[0048]図４を再度参照する。証明書を受けた後、エンコーダの処理ロジックは、メディアデータを符号化し（処理ブロック４０４）、証明書Φ_ｉ、利用ツールのリスト、符号化パラメータとともに、符号化されたメディアをデコーダに送信する（処理ブロック４０４）。

[0049]デコーダでは、当該デコーダの処理ロジックが、符号化されたメディアを復号する（処理ブロック４０５）。一実施形態においては、デコーダは、任意に、利用するツールセット及び条件を決定し、本明細書の目的に合わせて、本明細書では

と呼ぶΓ_ｉの変形を構築する（処理ブロック４０６）。ベクトル

を用いて、処理ロジックは、符号化されたメディア、及び符号化されたメディアを復号する際に使用されるツールセットの合法性を確認する（処理ブロック４０７）。一実施形態においては、デコーダは、ベクトル

をレジストリに伝送し、レジストリは、メディア及びツールセットが合法であることを確認する。

[0050]ｉ番目のセグメントが搬送されると、エンコーダは、残りのセグメントの符号化を進め、図４のプロセスが繰り返される。一実施形態においては、残りのセグメントに関連付けられた証明書の供与（処理ブロック４０３）は、レジストリによる前のセグメントの一つ以上の確認が条件となる（処理ブロック４０７）。

[0051]一実施形態においては、セグメントごとにロイヤルティコストの最適化を行うのではなく、エンコーダは、全てのセグメントのロイヤルティコストを一緒に最適化する。

[0052]一実施形態においては、ツールセットΩは、適用可能な圧縮及び搬送ツールのＩＰ所有者によって寄与された符号化及び搬送アルゴリズムとして決定され、Ω_ｉ⊂Ωのツールは、依存性グラフ内でのツールの詳述を可能にするＸＭＬ及びＲＤＬなどの周知のフォーマットを用いて、デコーダに通知される。図５は、依存性グラフの一例を示す。図５を参照すると、メディアデコーダ５０１は、符号化されたデータを受け取り、ツールセット１〜Ｔ又はアルゴリズムを用いて復号して、復号されたメディア５０２を生成する。ツール１〜Ｔとラベル付けされたツールは、相互接続されており、一つのツールの出力が、周知のメディア復号の可能性を構築するために別のツールの入力として利用可能となっている。

[0053]現在開発されているＭＰＥＧ−ＲＶＣ規格のツール仕様部は、どの符号化ツールを使用して符号化データを生成させたかをデコーダが識別できる情報をパッケージ化するように使用され得るものである。一実施形態においては、依存性グラフ内で、特定のツールの代わりに、又は多数のツールの代わりに、同等の機能のツールが使用される。図６は、同等の機能のツールの例示的なセットを示す。図６を参照すると、圧縮ビデオの復号の際に使用可能であるツール／アルゴリズムのセット及び動き補償アルゴリズムが示されている。ツールは、補償可能な動き補償の精度が高くなるほど、徐々に高度化される（整数ピクセル精度から１／８ピクセル精度）。より高度なツールの場合、より良好な品質が得られる。

＜メディア符号化及び配信システムの一例＞
[0054]図８は、証明書の生成を担うレジストリを含むメディア符号化及び配信システムのブロック図である。図８を参照すると、メディアサーバ８０１が、レジストリ８０２及び一つ以上のユーザ端末８０３に通信可能に結合されている。この結合は、直接的な接続であってもよく、又は一つ以上の介在要素との結合であってもよい。例えば、一実施形態においては、メディアサーバ８０１が、レジストリ８０２及び一つ以上のユーザ端末８０３にネットワーク（例えば、パケットベースのネットワーク、インターネットなど）上で通信可能に結合される。

[0055]上述したように、一実施形態においては、メディアサーバ８０１は、処理ユニット８１３を備えており、当該処理ユニット８１３は、本明細書に記載するメディア処理オペレーションを実行する。当該オペレーションには、メディアの分解、セグメント化、ベクトル発生及び処理、及びメディアサーバ８０１の他の機能ユニットによって実行されない他のオペレーションがある。一実施形態においては、メディアサーバ８０１はまた、一つ以上の符号化ツールを用いてメディアのセグメントを符号化するための符号化ユニット８２０を備えている。一実施形態においては、メディアサーバ８０１は、ユーザと通信するための通信インタフェース８１１を備えている。通信インタフェース８１１は、異なる配信オプションをユーザに与えるものであってもよい。異なる配信オプションは、復号メディア品質の違い及び／又は伝送帯域幅制約の違いに関連付けられるものであってもよく、異なる配信オプションは、一つ以上の符号化パラメータに基づいて提示するために選択されてもよい。一実施形態においては、このような場合、メディアサーバ８０１のツール選択ユニット８１２が、インタフェースによって受信されるユーザによる配信オプションの一つの選択に基づいて、及び／又は、一つ以上の符号化パラメータに基づいて、一つ以上の符号化ツールを選択する。例えば、品質と帯域幅の面において、以下のオプションが与えられてもよい。

[0056]一実施形態においては、インタフェースは、オプションの顧客要求に基づいて、提示されたオプションの価格を動的に調節してもよい。顧客要求は、最後のＴ秒で測定されてもよく、この場合、Ｔは、１、２、５１、６００、１００００００、又は任意の時間間隔であってもよい。

[0057]処理ユニット８１３を用いて、メディアサーバ８０１は、メディアをセグメントに分解し、レジストリ８０２に該当する条件を含むベクトルΓ_ｉを与える。一実施形態においては、セグメントｉのベクトルΓ_ｉは、目標メディア品質Ｑ_ｉ、有効帯域幅Ｂ_ｉ、利用ツールΩ_ｉ⊂Ωを含む。一実施形態においては、レジストリ８０２は、ロイヤルティコストを格納し、証明書を与える信頼サーバである。このように、ｉ番目のセグメントに関してメディアサーバ８０１からの関連する条件を含むベクトルΓ_ｉに応答して、レジストリ８０２は、ｉ番目のセグメントに証明書Φ_ｉを与える。一実施形態においては、リアルタイムアプリケーションでは、レジストリ８０２が、証明書が得られるように、各セグメントに対して照会される。

[0058]一実施形態においては、レジストリ証明書は、符号化ツールのライセンス供与と、メディアコンテンツ所有者からのメディアのライセンス供与をカバーする。一実施形態においては、レジストリ８０２は、ＩＰ及びコンテンツ所有者によって問い合わされてもよい。このようにして、ＩＰ及びコンテンツ所有者は、メディアのライセンス供与及び合法的な使用を監視することができる。このように、ライセンス所有者及び規格のパテントプール及び／又は個々のＩＰ所有者に有益となるように、利用ツール及び輸送されたメディアのライセンス供与を可能にする組み合わせ証明書が、単一の本体から得られる。非常に広範囲のライセンス条項が許容されてもよい。すなわち、システムコンテンツの所有者及び技術的なＩＰ所有者が、法外に高いライセンスコストにより依然は不可能であった新しい応用を可能にするライセンス条項の連続体を規定し得る。このようにして、ライセンスの容易且つ動的なセキュリティ保護及び配信が可能となって、ＩＰ及びコンテンツが合法的に公正に使用され得るようになる。

[0059]一実施形態においては、ＩＰ及びコンテンツ所有者が公正に補償されるように、異種のデバイス及びアプリケーションにメディアを配信するために、十分な可能性のセットが規定される。さらに、一実施形態においては、標準的な規格化用に選択されていないツールが、これらのツールから利益を得るニッチ用途に貢献することが可能である。このようにして、メディア符号化規格内の標準的なツールの所有者だけでなく、標準的な規格化用に選択されていないツールの所有者も公正に補償され得る。

[0060]メディアサーバ８０１のエンコーダユニット８１０は、通信インタフェース８１１を介してレジストリ８０２と通信する役割を担うものであってもよい。一実施形態においては、非リアルタイムアプリケーションの場合、エンコーダは、レジストリ８０２がメディア配信中に照会されないように、全てのメディア伝送より前に証明書を得てもよい。

[0061]証明書を得た後、メディアサーバ８０１は、符号化されたメディア及び関連する証明書をユーザ端末８０３に与える。一実施形態においては、ユーザ端末８０３は、符号化されたメディアを復号するためのデコーダを備えている。ユーザ端末８０３はまた、符号化されたメディアデータからロイヤルティコスト関連のパラメータを検出するための検出器を備えている。検出器は、デコーダの一部であってもよい。図９は、符号化されたメディアからのロイヤルティコストの決定に関連するパラメータを検出する検出器の一実施形態のブロック図である。図９を参照すると、検出器９００は、符号化されたデータ９００を受信し、二つのタイプの検出を実行する二つの検出ユニットを備えている。検出ユニット９１０は、目標メディア品質Ｑ_ｉ及び有効帯域幅Ｂ_ｉを検出し、一方、検出ユニット９１１は、復号に必要な利用ツールΩ_ｉ⊂Ωを検出する。検出器９００は、セグメントｉのベクトル

を出力する。

[0062]一実施形態においては、セグメントのある一定の割合が報告時に使用されるように、検出器は、ランダムに選択されたセグメントで、レジストリ（例えば、レジストリ８０２）又は別の報告サーバに

を報告する。この割合は、例えば、１％、７％、１０％、４３％などの多数の異なる割合であってもよい。ユーザ端末の検出器（又はデコーダ）はまた、最新のｋ個のセグメント（ｋ＝１，２,７,４９など）に関する

を報告するよう、レジストリ又は報告サーバによってポーリングされる。

[0063]別の実施形態においては、ユーザ端末８０３によって証明書が得られる。このような場合、ユーザ端末８０３は、レジストリ８０２などのレジストリと通信する（点線で図示）。

[0064]図１３は、コンテンツ配信システムの別の実施形態を示している。図１３を参照すると、このシステムは、符号化した形で一以上の顧客にコンテンツを供するための少なくとも一つのサービスプロバイダサーバ１３０１を含んでいる。このシステムはまた、サーバ１３０１にコンテンツを与えるための一つ以上のコンテンツプロバイダサーバ１３０６_ｉ〜１３０６_Ｎを含んでいる。コンテンツプロバイダは、サーバ１３０１の一部であってもよい。符号化サービス１３０２は、コンテンツを符号化するために含まれている。符号化サービス１３０２は、ロイヤルティコストに基づいて選択されたエンコーダを用いて、コンテンツを符号化する。符号化サービスは、サーバ１３０１の一部であってもよい。レジストリ１３０３は、コンテンツの少なくとも一部分に関連付けられた証明書の記録を維持するために、サーバ１３０１に通信可能に結合される。上述したように、証明書は、符号化データの確認のために使用される。これらのユニットは、互いに直接結合されてもよく、又はネットワーク１３０５のようなネットワークを介して通信可能に結合されてもよい。

＜達成可能な復号メディア品質＞
[0065]一実施形態においては、エンコーダは、各メディアセグメントに対して達成可能な面を用いて、ツールセットΩに対する符号化ツールを選択する。エンコーダ又は他のデバイスは、所与の有効帯域幅及びロイヤルティコストに対して特定のメディア品質を提供するツールを容易に選択するために、各メディアセグメントに対する達成可能な面を構築する。この面は、所与の有効帯域幅及びロイヤルティコストに対して最高の品質を発生するツールのサブセットが、その帯域幅及びロイヤルティコストで面の切片を決定するよう、Ωのツールによって許容されるあらゆる可能な方法でメディアセグメントを符号化することによって発生され得る。図１０は、達成可能な［品質、帯域幅、ロイヤルティコスト］三つの値によって画成される例示的な面を示す。図１０を参照すると、面の下方にある全ての三つの値は、「達成可能」であると見なされる。

[0066]また、図１０に示すような面上のペア依存関係、即ち、三つのパラメータである品質、有効帯域幅、ロイヤルティコストのうちの二つが変動し、三つ目のパラメータが一定のままである状態の作用を示す関係が、得られる。図１１は、ペア依存関係を示す面からの切り取りの一例を示している。

[0067]グラフは、多くの他の方法で表されてもよい。例えば、一実施形態においては、グラフは表として表される。他の実施形態においては、グラフは、より単純な関数と、それに関連するパラメータを用いて表される。別の実施形態においては、プログラムが、関数への入力を行い、関数の出力を生成する。これらは、例にすぎず、多くの他の実施形態が利用可能である。

[0068]一実施形態においては、エンコーダは、パラメータ化されたモデルベースの近似を用いて、達成可能な面を発生する。一実施形態においては、これらの近似用のパラメータは、符号化されているメディアから決定される（例えば、ビデオには、フレームレベル標準偏差又はピクセル強度の他の統計及びモーションアクティビティを定量化する統計が使用可能であり、オーディオには、周波数の高さを定量化する統計が使用可能である）。モデルは、許容されるツールのサブセットを用いて、周知の速度ひずみ又は速度知覚品質モデルを用いて形成され得る。一つのこのようなモデルは、Ｙｉｎらの“Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｍｏｄｅｌｓ ｆｏｒ Ｖｉｄｅｏ ｔｒａｎｓｃｏｄｉｎｇ”（ＳＰＩＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ ａｎｄ Ｖｉｄｅｏ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｐｒｏｃｅｓｓｉｎｇ、Ｖｏｌ．５０２２、ｐｐ．４６７−４８８、Ｊａｎｕａｒｙ ２００３）に記載されている。

[0069]一実施形態において、着目する［品質、有効帯域幅、ロイヤルティコスト］の三つの値の所望の範囲で面が発生されると、エンコーダは、［有効帯域幅、ロイヤルティコスト］の許容範囲で品質を最大限にするか、又は［品質、有効帯域幅］の許容範囲でロイヤルティコストを最小限にするか、又は［品質、ロイヤルティコスト］の許容範囲で帯域幅コストを最小限にするツールサブセットを選択する。

[0070]全ての考えられ得るシナリオには適用不可能である、又は全ての考えられ得るハードウェアプラットフォーム上での効率的な実装には適していない、符号化効率を低下させてしまうなどの理由から、メディア規格の最終選択に含まれていないツールが、実行可能であってもよく（利用されるツールのサブセットが適応的に決定されるため）、効率が選択プロセスのほぼ一つの態様であることに留意されたい。

＜コンピュータシステムの一例＞
[0071]図１２は、本明細書に説明した一つ以上のオペレーションを実行し得る例示的なコンピュータシステムのブロック図である。図１２を参照すると、コンピュータシステム１２００は、例示的なクライアント又はサーバコンピュータシステムを備えていてもよい。コンピュータシステム１２００は、情報を通信するための通信機構又はバス１２１１と、情報処理用のバス１２１１に結合されたプロセッサ１２１２とを備えている。プロセッサ１２１２は、マイクロプロセッサを含むが、例えば、Ｐｅｎｔｉｕｍ（商標）プロセッサ、ＰｏｗｅｒＰＣ（商標）プロセッサなどのマイクロプロセッサに限定されるものではない。

[0072]システム１２００は、情報及びプロセッサ１２１２によって実行される命令を格納するためにバス１２１１に結合されたランダムアクセスメモリ（ＲＡＭ）又は他の動的記憶デバイス１２０４（メインメモリと呼ぶ）を更に備えている。メインメモリ１２０４はまた、プロセッサ１２１２による命令の実行中に一時的な変数又は他の中間情報を格納するために使用されてもよい。

[0073]コンピュータシステム１２００はまた、プロセッサ１２１２の静的情報及び命令を格納するためにバス１２１１に結合された読み出し専用メモリ（ＲＯＭ）及び／又は他の静的記憶デバイス１２０６と、磁気ディスクや光ディスク及びそれに対応するディスクドライブなどのデータ記憶デバイス１２０７とを備えている。データ記憶デバイス１２０７は、情報及び命令を格納するためにバス１２１１に結合されている。

[0074]コンピュータシステム１２００は、更に、コンピュータユーザに情報を表示するためにバス１２１１に結合された、陰極線管（ＣＲＴ）又は液晶ディスプレイ（ＬＣＤ）などのディスプレイデバイス１２２１に結合されていてもよい。英数字及び他のキーを含む英数字入力デバイス１２２２が、プロセッサ１２１２に情報及びコマンド選択を通信するためにバス１２１１に結合されていてもよい。追加のユーザ入力デバイスは、プロセッサ１２１２に方向情報及びコマンド選択を通信し、ディスプレイ１２２１上でカーソルの動きを制御するためにバス１２１１に結合された、マウス、トラックボール、トラックパッド、スタイラス、又はカーソル方向キーなどのカーソル制御１２２３である。

[0075]バス１２１１に結合され得る別のデバイスは、紙、フィルム、又は同様のタイプの媒体などの媒体上に情報をマーキングするために使用されてもよいハードコピーデバイス１２２４である。バス１２１１に結合され得る別のデバイスは、電話やハンドヘルド式のパームデバイスと通信を行うためのワイヤード／ワイヤレス通信機能１２２５である。

[0076]システム１２００及び関連するハードウェアのコンポーネントの何れか又は全てが、本発明に使用し得ることに留意されたい。しかしながら、コンピュータシステムの他の構成は、これらデバイスの一部又は全てを含み得ることを理解されたい。

[0077]前述した説明を読み終わった当業者であれば、本発明の多くの変更例及び修正例が明らかであるが、例示的に図示し記載した任意の特定の実施形態は、限定的なものとして見なされることを意図したものではないことを理解されたい。したがって、様々な実施形態の詳細に対する言及は、本発明に必須であるものと見なされる特徴のみを列挙した特許請求の範囲を限定するように意図されたものではない。

Claims (5)

1. メディアを符号化するための一つ以上の符号化ツールを、該一つ以上の符号化ツールのうち少なくとも一つ及び該一つ以上の符号化ツールの各々に対応する復号ツールに関連付けられたロイヤルティコスト、各対応する復号ツールが生成する復号メディア品質、並びに一つ以上の伝送帯域幅制約に基づいて、選択するステップと、
   前記一つ以上の符号化ツールを用いて、前記メディアコンテンツに応じて、前記メディアを符号化するステップと、
   前記一つ以上の符号化ツールのうち少なくとも一つによって生成された符号化データを伝送するステップと、
   を含む方法。
2. ビデオセグメントを符号化するための符号化ツールを、符号化パラメータに基づいて選択するツールセット選択ユニットと、
   前記ツールセット選択ユニットに結合されたエンコーダであって、ビデオを複数のセグメントにセグメント化し、前記ツールセット選択ユニットにより選択されたツールを用いて、該エンコーダによって提供される符号化パラメータに基づいて、前記複数のセグメントの各々を符号化する該エンコーダと、
   を備えるメディアサーバ。
3. メディア配信トランザクションを可能にするシステムであって、
   品質、帯域幅、及びロイヤルティコストを含むパラメータに基づいて、メディアのセグメントを符号化するための符号化ツールを選択するツールセット選択ユニットと、
   前記ツールセット選択ユニットに結合されたエンコーダであって、メディアを複数のセグメントにセグメント化し、前記ツールセット選択ユニットにより選択されたツールを用いて、該エンコーダによって提供されるパラメータに基づいて、前記複数のセグメントの各々を符号化し、該システムの別のロケーションに符号化されたビデオデータのビットストリームを配信する該エンコーダと、
   を備えるメディアサーバと、
   前記メディアサーバに通信可能に結合されており、前記ビデオコンテンツを符号化するために前記メディアサーバによって使用されたツールの指示を維持するレジストリと、
   を備えるシステム。
4. 命令を格納した一以上のコンピュータ読取り可能記憶媒体を有する製造品であって、前記命令が、システムによる実行時に、該システムに、
   メディアを符号化するための一つ以上の符号化ツールを、一つ以上の符号化ツールのうち少なくとも一つ及び該一つ以上の符号化ツールの各々に対応する復号ツールに関連付けられたロイヤルティコストと、各対応する復号ツールが生成する復号メディア品質、並びに、一つ以上の伝送帯域幅制約に基づいて、選択するステップと、
   前記一つ以上の符号化ツールを用いて、前記メディアコンテンツに応じて、前記メディアを符号化するステップと、
   前記一つ以上の符号化ツールの少なくとも一つによって生成される符号化データを伝送するステップと、
   を含む方法を実行させる、製造品。
5. 一以上の顧客にコンテンツを符号化された形式で供するためのサービスプロバイダのサーバと、
   前記サーバに前記コンテンツを提供するための一つ以上のコンテンツプロバイダサーバと、
   コンテンツを符号化するための符号化サービスであって、ロイヤルティコストに基づいて選択されたエンコーダを用いて前記コンテンツを符号化する、該符号化サービスと、
   前記サーバに通信可能に結合されたレジストリであって、前記コンテンツの少なくとも一部分に関連付けられ、前記コンテンツの前記少なくとも一部分の符号化されたデータの確認用に使用される証明書の記録を維持する該レジストリと、
   を備えるシステム。

Images