JP2009515274A - メディアファイルの再生のために、メディアファイルのそれぞれのセグメントに必要な予測プロセッササイクル回数を決定するための方法および装置 - Google Patents

Abstract

メディアファイルの再生のために、前記メディアファイルのそれぞれのセグメントに必要な予測プロセッササイクル回数を決定するための方法、メディアファイルの再生方法、メディアファイルのダウンロード方法、メディアファイルの再生装置、ならびにメディアファイルをダウンロードするためのシステム。前記方法は、前記それぞれのセグメント中のノンゼロＩＤＣＴ係数の数、それぞれのセグメントに関連するＭＣタスク関数の入力パラメータ、またはこの両方を決定するために前記メディアファイルのビットストリーム解析を実行するステップと、前記ビットストリーム解析に基づいて前記予測プロセッササイクル回数を決定するステップと、を有する。

Description

本発明は、広義には、メディアファイルの再生のために、メディアファイルのそれぞれのセグメントに必要な予測プロセッササイクル回数を決定するための方法、メディアファイルの再生方法、メディアファイルのダウンロード方法、メディアファイルの再生装置、ならびにメディアファイルをダウンロードするためのシステムに関する。

エネルギー効率は、携帯電話、携帯情報端末（ＰＤＡ）およびオーディオ／ビデオプレーヤなどのバッテリ駆動式のポータブルデバイスの設計において最も重要な問題の１つである。現在、このようなデバイスで発生している作業負荷の大部分は、オーディオ／ビデオデコーダなどのマルチメディア処理アプリケーションによって発生している。この結果、マルチメディアアプリケーションを実行しているポータブルデバイスのパワーマネジメント方式がかなりの関心を集めている。このようなポータブルデバイスのエネルギーの節約を改善するため、ここ数年の間に、動的電圧調整（ＤＶＳ）と動的パワーマネジメント（ＤＰＭ）の２つの主な技術が開発されている。ＤＶＳは、アプリケーションが発生させる作業負荷要求に合わせるために、実行時にプロセッサの周波数および電圧を変えるのに対し、ＤＰＭベースの技術は、実行時に、プロセッサ、ハードディスク、ディスプレイなどのデバイスの部品を、その使用状況に基づいてオフにしている。

通常、マルチメディアアプリケーションは、その実行の要求が、データによって大きく変動することがある。例えば、ＭＰＥＧデコーダアプリケーションが発生させる最大作業負荷と平均作業負荷の比が１０にものぼることがある。更に、ほかのタイプの変動として、アプリケーションの入出力速度の変動などがある。例えば、ＭＰＥＧデコーダにおいて可変長復号化タスクが消費するビット数は、生成される各圧縮マクロブロックに対応して変動する。マルチメディアアプリケーションの場合、多くのＤＶＳベースの技術がこの変動を利用して、変動する作業負荷に合わせて実行時にプロセッサの電圧および周波数を調整している。この結果、広く分ければ２つの技術のクラスが開発されてきた。

１つ目の技術クラスは、制御理論的なフィードバック法を利用して、最近の作業負荷に基づいて、今後の作業負荷を予測している。この技術クラスの主な不都合の１つは、プロセッサの電圧を実行時に頻繁に変えなければならないため、演算のコストが高く、実装が困難であるという点にある。更に、予測が時として誤っている可能性があるため、この技術に基づいて性能およびサービス品質を保証するのが困難である。

２つ目の技術クラスは、変動の範囲を静的に特徴付け、実行時にこの範囲を使用しようとするものである。これによってサービス品質の保証が可能となるものの、このような静的な特徴付けは、有益なエネルギーの節約につながらないことが多い。

このため、上に挙げた問題の少なくとも１つに対処しようとする技術またはスキームや方式を提供することが求められている。

本発明の第１態様によれば、メディアファイルの再生のために、前記メディアファイルのそれぞれのセグメントに必要な予測プロセッササイクル回数を決定する方法が提供され、前記方法は、前記それぞれのセグメント中のノンゼロＩＤＣＴ係数の数、それぞれのセグメントに関連するＭＣタスク関数の入力パラメータ、またはこの両方を決定するために前記メディアファイルのビットストリーム解析を実行するステップと、前記ビットストリーム解析に基づいて前記予測プロセッササイクル回数を決定するステップと、を有する。

前記方法は、前記ノンゼロＩＤＣＴ係数の数から、前記それぞれのセグメントの予測ＶＬＤタスクサイクル回数を計算するステップを有する。

前記それぞれのセグメントの前記予測ＶＬＤタスクサイクル回数は、略線形の関係を使用して計算されてもよい。

前記方法は、前記ＭＣタスク関数の前記入力パラメータに基づいて、前記それぞれのセグメントの予測ＭＣタスクサイクル回数を計算するステップを有してもよい。

前記方法は、可能な全ての入力パラメータ値について、前記ＭＣタスク関数の実行をシミュレーションしたＭＣタスクサイクル回数のテーブルを提供するステップと、前記それぞれのセグメントのパースから得たデータと、前記シミュレーションしたＭＣタスクのテーブルに基づいて、前記それぞれのセグメントの前記予測ＭＣタスクサイクル回数を計算するステップと、を有してもよい。

前記方法は、前記予測プロセッササイクル回数を決定する際に、ＩＤＣＴタスクに対して定数のプロセッサＩＤＣＴサイクルを使用するステップを更に有してもよい。

前記セグメントは、前記メディアファイルのマクロブロック、スライスまたはフレームを含んでもよい。

前記方法は、前記メディアファイルの再生のために、前記メディアファイルのそれぞれのセグメントに必要な前記予測プロセッササイクル回数を決定するために、前記予測ＶＬＤタスクサイクル回数、前記予測ＭＣタスクサイクル回数、および前記予測プロセッサＩＤＣＴサイクル回数を合計するステップを有してもよい。

前記方法は、前記メディアファイルの再生のために、前記メディアファイルのそれぞれのセグメントに必要な前記予測プロセッササイクル回数を決定するために、前記予測ＶＬＤタスクサイクル回数、前記予測ＭＣタスクサイクル回数、および前記予測プロセッサＩＤＣＴサイクル回数の前記合計に、所定のバッファサイクル回数を加算するステップを有してもよい。

本発明の第２の態様によれば、メディアファイルの再生方法が提供され、前記方法は、前記メディアファイルの前記再生中にプロセッサの周波数および電圧を変更するステップを有し、前記変更は、前記メディアファイルの再生のために、前記メディアファイルのそれぞれのセグメントに必要な予測プロセッササイクル回数を決定する方法に基づく。

本発明の第３態様によれば、メディアファイルのダウンロード方法が提供され、前記方法は、前記メディアファイルにメタデータを追加するステップを有し、前記メタデータは、前記メディアファイルの再生のために、前記メディアファイルのそれぞれのセグメントに必要な予測プロセッササイクル回数を含み、前記予測プロセッササイクル回数は、前記それぞれのセグメント中のノンゼロＩＤＣＴ係数の数、それぞれのセグメントに関連するＭＣタスク関数の入力パラメータ、またはこの両方に基づいて決定される。

本発明の第４の態様によれば、メディアファイルの再生装置が提供され、前記装置は、電圧、周波数、またはこの両方を調整可能なプロセッサと、メタデータを含むメディアファイルを表しているデータを記憶するデータベースと、前記メタデータに基づいて、前記メディアファイルの再生中に周波数および電圧を制御するコントローラと、を有する。

本発明の第５の態様によれば、メディアファイルをダウンロードするためのシステムが提供され、前記システムは、メディアファイルを含むソースデバイスと、前記メディアファイルをダウンロードするデスティネーションデバイスと、メタデータを生成し、前記デスティネーションデバイスへのダウンロードのために、前記メディアファイルに前記メタデータを追加するプロセッサユニットと、を有し、前記メタデータは、前記メディアファイルの再生のために、前記メディアファイルのそれぞれのセグメントに必要な予測プロセッササイクル回数を含み、前記予測プロセッササイクル回数は、前記それぞれのセグメント中のノンゼロＩＤＣＴ係数の数、それぞれのセグメントに関連するＭＣタスク関数の入力パラメータ、またはこの両方に基づいて決定される。

前記プロセッサユニットは、前記ソースデバイスまたは前記デスティネーションデバイスに一体化されていてもよい。

本発明の各種実施形態は、図面と併せて、例示のみとして挙げた以下の説明を読めば、当業者に、よりよく理解でき、容易に明らかとなろう。

マルチメディアアプリケーションに関してここに記載する動的電圧調整（ＤＶＳ）方式は、非常に汎用的であり、ビデオと音声の両方または他のタイプの処理アプリケーションに適用することができる。しかし、以下では、ビデオの復号化のみを記載する。この方式は、ビデオクリップのオフラインでのビットストリーム解析によって、このクリップの復号化中に発生する作業負荷を予測する。

上記の解析に基づいて、メタデータ情報が、ビデオクリップに挿入されるか、別のファイルとして保存される。実行時に、デコーダは、このメタデータ情報を読み出して、プロセッサの電圧および周波数を制御する。メタデータ情報には、通常、任意の時点でプロセッサを動作させるべき周波数が含まれる。また、メタデータに、プロセッササイクル要求などの作業負荷の情報が含まれてもよく、この情報から実行時に、必要なプロセッサ周波数が計算される。挿入しなければならないメタデータの量は、粒度や、プロセッサの周波数の変更が必要な頻度によって変わる。可能なメタデータの量が大きい場合、より多くのエネルギーを節約することができる。

以下の説明の一部は、コンピュータメモリ内でのデータに対する操作のアルゴリズムおよび機能的または記号的表記の形で、明示的または暗示的に示される。このようなアルゴリズムの記述、および機能的または記号的表記は、データ処理分野の当業者が、自身の作業の内容を他の当業者に最も効率的に伝えるために用いられているものである。本明細書で使用し、かつ一般的には、「アルゴリズム」との文言は、所望の結果に導くための自己矛盾のないシーケンスを指すものと考えられる。ステップとは、記憶、転送、結合、比較などの操作が可能な電気信号、磁気信号、または光学信号などの物理量の物理的操作を必要とするステップである。

特段の断りのない限り、記載内容から明らかなように、「復号化」、「解析」、「シミュレーション」、「決定」、「符号化」、「予測」、「処理」などの文言は、コンピュータシステム内で物理的電子的量として表されるデータを、コンピュータシステム、あるいはその他の情報の記憶装置、伝送装置または表示装置内で同様に物理量として表される他のデータへと操作および変換するコンピュータシステムまたは同様の電子装置の動作および処理を指す。

また、本明細書は、この方法の操作を実行するための装置も開示する。この装置は、所望の目的のために特別に作製されたものであっても、コンピュータに記憶されているコンピュータプログラムによって選択的に作動もしくは構成された汎用コンピュータまたはその他の装置を有してよい。ここに記載したアルゴリズムおよび表示は、特定のコンピュータまたはその他の装置に固有に関連するものではない。各種の汎用の装置を、本明細書の教示に従うプログラムと併用してもよい。あるいは、所望の方法のステップを実行するために特化した装置を作製するほうが適切なこともある。従来の汎用コンピュータの構造は、下記の説明から明らかであろう。

更に、ここに記載する方法の個々のステップをコンピュータコードによって実施できることが当業者にとって明らかであるという点で、本明細書はコンピュータプログラムを暗黙的に開示している。コンピュータプログラムを、特定のプログラミング言語やその実装に限定するものではない。さまざまなプログラミング言語およびそのコーディングを使用して、ここに含まれる開示の教示を実装することができることが理解されよう。更に、コンピュータプログラムを、特定の制御フローに限定するものではない。本発明の趣旨または範囲から逸脱することなく、異なる制御フローを使用するコンピュータプログラムの他の変形例が他にも数多くある。

このようなコンピュータプログラムは、どのような計算機可読媒体にも記憶することができる。計算機可読媒体には、磁気または光ディスク、メモリチップなどの記憶装置のほか、汎用コンピュータとインタフェースするのに適したその他の記憶装置がある。コンピュータプログラムは、このような汎用コンピュータにロードされて実行されると、事実上、好ましい方法のステップを実装する装置となる。

図１は、メタデータ１０２が挿入されているビデオクリップ１００を示す図である。メタデータ１０２には、プロセッサを駆動すべき周波数が、ビデオクリップのセグメントｓ１では周波数ｆ１、クリップのセグメントｓ２では周波数ｆ２、…などのように含まれている。デコーダが、元の画像データのほか、メタデータ情報を読み出すために特別に設計されているとする。デコーダは、メタデータを読み出して、適切な時点でプロセッサ周波数を変更する。

当業者であれば、すべての従来技術においては、その実行時に、セグメントｓｉを調べることなくセグメントｓｉを復号化すべきプロセッサ周波数ｆｉを予測していることが理解されるであろう。これに対して、ここに記載の方式は、ｓｉに対応する圧縮ビットストリームのオフラインでの解析を実行して、メタデータｆｉを挿入する。その後、実行時システムが、単にｆｉを読み出して、プロセッサ周波数をこの値に設定する。メタデータ情報は、ビデオクリップ内に等間隔で挿入されている必要はない。クリップの演算作業負荷が大きく変動し、かつ不規則な場合は、好ましくはより多くのメタデータが必要となる。クリップの特定の部分で変動がない場合、プロセッサは一定周波数で動作することができ、この一定周波数の値を、一度挿入するだけで済む。挿入されたメタデータ情報には、使用されるプロセッサのタイプに応じて、周波数のほかに、電圧値が含まれる。

メタデータ情報を挿入する方法にはいくつかある。１つの方法として、符号化プロセス中にメタデータ情報を直接挿入する方法がある。しかし、この方法は、デコーダの詳細およびデコーダが動作するプロセッサが、符号化時点で既知であることを想定している。また、同じまたは同様のプロセッサアーキテクチャに基づいた、特定のデバイスまたは同じ業者が製造しているデバイスのみで再生されるビデオクリップを生成することも想定している。このため、この方法は非常に限定的な方法である。

ここでは、ポータブルデバイスのアーキテクチャに基づいてメタデータ情報をビデオクリップに直接挿入する方式について記載する。ポータブルデバイスにビデオファイルをダウンロードするために、このデバイスが、そのデバイスに特化したアプリケーションプログラムが実行されているデスクトップコンピュータなどに接続されるとする。このプログラムが、ダウンロードしているビデオファイルのビットストリーム解析を実行して、適切なメタデータ情報を計算し、その情報をファイルに挿入する。プログラムはデバイス用に特化されているため、計算で得られるメタデータは、そのプロセッサアーキテクチャと、デバイス上で実行されているデコーダアプリケーションに特化したものである。このため、各デバイスは、そのデバイスに固有のアプリケーションプログラムを有する。この方式には、２つの主な利点がある。第一に、この方式は柔軟であり、ポータブルデバイスは、ＭＰＥＧ−２などの標準フォーマットに符号化されたビデオファイルを再生することができる。メタデータが挿入されているファイルは、ポータブルデバイス内にしか存在しないため、外からは「見えない」。第二に、ビットストリーム解析過程が、一般にリソースの限られたポータブルデバイスではなく、デスクトップコンピュータで実行される。

更に、ビデオファイルのメタデータの正確な値を計算するためにさまざまな方法がある。挿入されるメタデータの正確な値は、プロセッサのアーキテクチャ（その命令セットアーキテクチャなど）、電圧／周波数範囲とこれらを変更可能なステップのほか、そのプロセッサで実行されているデコーダアプリケーションに応じて変わる。その１つの方法として、プロセッサのアーキテクチャのソフトウェアモデル上で、特定のビデオファイルの復号化をシミュレーションする方法があることを当業者は理解するであろう。これにより、ファイルのプロセッササイクル要求（例えばビデオファイルの各マクロブロックを復号化するのに必要なプロセッササイクル回数）の追跡結果が得られる。この追跡結果から、ファイルの任意のセグメントの復号化中に、プロセッサを動作させるべきクロック周波数を計算することができる。計算された周波数は、ビデオファイルに挿入されるメタデータ情報となる。ビデオファイルのプロセッササイクル要求の追跡結果を計算するために、ＳｉｍｐｌｅＳｃａｌａｒなどのプロセッサ命令セットシミュレータを使用することが可能である。しかし、正確にサイクルを求めるプロセッサの実行のシミュレーションは、要するシミュレーション時間の点で大きな犠牲を要する。例えば、長さ３０秒のＭＰＥＧ−２のビデオクリップの復号化をシミュレーションするには、ＳｉｍｐｌｅＳｃａｌａｒを３０分以上使用する必要がある。このため、デスクトップコンピュータからポータブルデバイスにビデオファイルをダウンロードしている間にメタデータの計算を行う必要がある場合には、この方法は好ましくない。

ここに記載する方式では、ビデオクリップの実行／復号化のシミュレーションは不要である。これに代わり、各マクロブロックのプロセッササイクル要求を予測するビットストリーム解析が実行される。ここに記載の解析とは対照的に、既存の実行時予測方式は、セグメントを調べることなく、ビデオセグメントのプロセッササイクル要求を予測する。ここに記載の方式は、ビデオファイルがデバイスにダウンロードされている間にオフラインで行われるため、ビデオファイルのセグメントを調べるビットストリーム解析が可能である。この方式は、ビデオの復号化タスクを、動き補償などのＣＰＵ制約型のタスクと、ディザ処理を担うものなどのメモリ制約型のタスクの２つのグループに分類することに基づいている。メモリ制約型のタスクのプロセッササイクル要求は、ほぼ一定であり、このため、予測が容易である。このため、以下では、ＣＰＵ制約型のタスクのプロセッササイクル要求を予測する詳細についてのみ記載する。以下の説明では、ＭＰＥＧ−２を例として使用する。ＭＰＥＧ−４などを使用することができることを当業者は理解するであろう。

ＭＰＥＧ−２ビデオシーケンスは、多数のフレームから構成されており、各フレームには、数個のスライスが含まれる。各スライスには多数のマクロブロック（ＭＢ）が含まれる。このため、ＭＰＥＧ−２ビデオの復号化は、ＭＢのシーケンスの復号化として考えることができる。これには、各ＭＢに対する可変長復号化（ＶＬＤ）、逆離散コサイン変換（ＩＤＣＴ）および動き補償（ＭＣ）の各タスクが関わっている。逆量子化（ＩＱ）などの他のタスクは、演算作業負荷が無視できる程度に小さい。このため、このようなタスクは、ビットストリーム解析では考慮されない。以下に示す解析は、ＭＢの粒度での電圧／周波数の調整に使用することができる。同じ解析を、スライスまたはフレームの粒度で使用してもよいことを当業者は理解するであろう。ＭＢのシーケンスに対し、そのＭＢの各々について、ＶＬＤ、ＩＤＣＴ、およびＭＣのタスクに対応するプロセッササイクル要求を予測する方法に関する詳細を、以下に記載する。

ここに記載する方式から得られた予測結果を、ＳｉｍｐｌｅＳｃａｌａｒ命令セットシミュレータを使用して、Ｓｉｍ−Ｐｒｏｆｉｌｅ構成と、入力として同じＭＢのシーケンスにより、これらのタスクの実行をシミュレーションして得た結果と比較する。ＭＰＥＧ固有の命令を持たないＲＩＳＣプロセッサが使用される。ＭＰＥＧ−２デコーダアプリケーションとして、Ｔｅｓｔ Ｍｏｄｅｌ ５（ＴＭ５）が使用される。このデコーダは最適化されたデコーダではないが、全てのＭＰＥＧ−２デコーダが同じようなコード構造を有するため、解析目的には十分である。約４Ｍ／秒のビットレートで符号化された、（ａ）Ｆｌｗｒ（中程度の速度の動きを含む）、（ｂ）Ｔｅｎｎｉｓ（バックグラウンドは静止しており、フォアグラウンドが動く）、（ｃ）Ｓｕｓｉ（非常に低速の動き）、（ｄ）Ｖ７００（静止画）、および（ｅ）Ｆｏｏｔｂａｌｌ（非常に高速の動き）の５つの異なるビデオクリップを実験に使用する。

ＶＬＤタスクに対応するプロセッササイクル要求の予測の詳細を、ここに記載する。ＭＰＥＧ−２中のＩＤＣＴ係数が可変長符号化を使用して符号化され、その際、ランレングス符号化に続いて、ハフマン符号化が行われる。ランレングス符号の中には、他の部分と比べて長いハフマン符号を使用して符号化されるものもある。ハフマン復号化に必要なプロセッササイクル回数は、使用されるハフマン符号の長さに応じて変わる。このため、本発明者は、入力ＭＢへのＶＬＤタスクに必要なプロセッササイクル回数は、そのＭＢ中のノンゼロＩＤＣＴ係数の数に応じて決まると予想した。シミュレーションによりこの推論が検証され、プロセッササイクル回数とノンゼロＩＤＣＴ係数の数との間の関係は、線形関係であることがわかっている。

図２Ａ〜Ｅは、上記の（ａ）〜（ｅ）の５つのＭＰＥＧ−２ビデオクリップのそれぞれについて、ＭＢ中のノンゼロＩＤＣＴ係数に対する、ＶＬＤタスクに必要なプロセッササイクル回数のプロットを示す。これらのプロットは、それぞれ、２本のはっきりした直線状のバンドからなり、上のバンド２０２は、追加の入出力オペレーションに関わる大きなＭＢから生成されたものである。大きなＭＢは、クリップ中のＭＢの総数の１％に満たないため、無視することができる。最小二乗法フィッティングを使用して下のバンド２０４に直線がフィッティングされる。直線から導出された関数は、任意のＭＢに対するＶＬＤタスクが要求するプロセッササイクル回数の推定値である。この関数は、ｎｖｌｄ＝ａ×ｎｃｏｅｆｆ＋ｂとなり、ここでｎｖｌｄは推定プロセッササイクル回数、ｎｃｏｅｆｆはＭＢ中のノンゼロ係数の数、ａ、ｂは、プロセッサアーキテクチャおよびＶＬＤ符号によって決まる定数である。実験結果から、ａ、ｂの値はそれぞれ１４０、３０００と求められている。

図２Ｆは、Ｆｌｗｒビデオクリップについて、この関数から得られたプロセッササイクルの予測誤りに対するＭＢの割合のプロットを示す。他の４つのクリップも、同じような誤差分布を示す。約３６％のＭＢについて、プロセッササイクル要求の予測誤りは約２％未満であった。全ＭＢについて、予測誤りは、約１０％未満であり、その範囲は約−１０００〜約＋２０００プロセッササイクルであった。

ＭＣタスクに対応するプロセッササイクル要求の予測の詳細を、ここに記載する。ＭＰＥＧ−２クリップを構成しているＭＢは、動き補償のないもの（Ｉタイプ）、前方向の動き補償のみを有するもの（Ｐタイプ）、前方向の動き補償と後方向の動き補償の両方を含むもの（Ｂタイプ）の３つのカテゴリに分類される。ＰタイプのＭＢのＭＣタスクは、ＢタイプのＭＢのプロセッササイクル回数の約半分であり、ＩタイプのＭＢは演算作業負荷を発生させない。

図３Ａ〜Ｅは、５つのＭＰＥＧ−２ビデオクリップの動き補償（ＭＣ）タスクについて、ＳｉｍｐｌｅＳｃａｌａｒシミュレーションから得られるプロセッササイクル回数に対する、ＭＢの割合のプロットを示す。図３Ａ〜Ｃ、３Ｅをみると、３（ａ）〜（ｃ）、３（ｅ）の４つのそれぞれのクリップに必要なプロセッササイクル回数が、３つのはっきりした集団に分布している。第１の集団３０２は、約．０のプロセッササイクルであり、ＩタイプのＭＢに対応している。第２の集団３０４は、約３０００〜７０００サイクルであり、ＰタイプのＭＢに対応している。第３の集団３０６は、約９０００〜１７０００サイクルであり、ＢタイプのＭＢに対応している。図３Ｄから、Ｖ７００クリップ（ｄ）は静止画であるため、ほとんど全てのＭＢが同じタイプの動き補償を使用し、得られる集団は１つであることがわかる。

各集団内でのプロセッササイクルの分布がかなり大きいため、ＭＢタイプのみに基づく予測の精度は不十分である。各集団内の変動は、ＭＣタスクが、フレームとフィールドのいずれを使用するか、運動ベクトルの精度がハーフピクセル、１ピクセルのいずれであるかといった要因によって生じる。

ＭＣタスクのコードは、多数のサブルーチンからなり、これらは、それぞれ基本的には同じ関数であるが、異なるパラメータを用いて呼び出されたと考えられる。この関数をＦとする。Ｆを実行するために必要なプロセッササイクル回数は、その入力パラメータによってのみ決まる。入力ＭＢに応じて、これらのパラメータは、（ｉ）Ｙ成分のｘ次元がハーフピクセルである、（ｉｉ）Ｙ成分のｙ次元がハーフピクセルである、（ｉｉｉ）ＵまたはＶ成分のｘ次元がハーフピクセルである、（ｉｖ）ＵまたはＶ成分のｙ次元がハーフピクセルである、（ｖ）前方向または後方向の動き補償が必要である、（ｖｉ）動き補償ウィンドウサイズが１６×８または１６×１６、である。ＭＢによって、Ｆの呼び出し回数が変わり、上記のブーリアンパラメータに設定する値が変わる。例えば、Ｐタイプの非プログレッシブ符号化ＭＢ（フレームベースの動き補償を使用する）は、Ｆを２回呼び出す。この２回の呼び出しのいずれも、同じパラメータリスト（０，０，０，０，１，１６×８）を使用する。同様に、Ｂタイプのプログレッシブ符号化ＭＢは、フィールドベースの動き補償を使用し、Ｆを２回呼び出す。しかし、使用されるパラメータはそれぞれ、（１，１，１，１，１，１６×１６）、（１，１，１，１，０，１６×１６）である。

上記の観測に基づいて、本発明者は、ＭＣタスクのプロセッササイクル要求は、まず、可能な全ての入力パラメータ値を用いて、Ｆの実行をシミュレーションすることで予測できることを確認した。ブーリアンパラメータは６あるため、合計２６＝６４とおりの入力値が考えられる。この６４とおりの可能な入力のそれぞれに対応するＦのプロセッササイクル要求がテーブルに記憶される。ＭＢのシーケンスが与えられると、Ｆが呼び出される回数と、Ｆの呼び出し時の入力パラメータ値を、各ＭＢをパースすることによって決定することができる。これらと、事前に計算済みのサイクル要求のテーブルを用いて、各ＭＢに対するサイクル要求を予測することができる。この予測方式から得た誤差分布が図３Ｆに示される。図３Ｆは、プロセッササイクル回数の予測誤りに対するＭＢの割合のプロットを示す。約４０％のＭＢで誤差は約２％未満である。更に、約４％以上の誤差が出たＭＢは存在しない。

ＩＤＣＴタスクに対応するプロセッササイクル要求の予測の詳細を、ここに記載する。ＭＰＥＧ−２の各ＭＢには、４つのＹブロック、１つのＵブロック、および１つのＶブロックが含まれる。これらのブロックのそれぞれは、８×８のピクセルサイズである。このため、全てのＭＢについて、ＩＤＣＴタスクの入力データサイズは等しく、全てのＭＢで発生する演算作業負荷は等しくなる。ＩＤＣＴタスクの最適化された実装では、一部のＩＤＣＴ係数がゼロであり、これを利用して演算を省力化できる可能性が考慮されうる。しかし、本発明者は、ここに記載する方式では、任意のＭＢに対するＩＤＣＴタスクによって発生するプロセッササイクル回数を定数として仮定することができると考えた。このことは、図４Ａ〜Ｅに示す実験結果によって検証される。図４Ａ〜Ｅは、上記の５つのそれぞれのビデオクリップ（ａ）〜（ｅ）について、逆離散コサイン変換（ＩＤＣＴ）タスクのプロセッササイクル回数に対するＭＢの割合のプロットを示す。

最適化されたＩＤＣＴ実装から、２×１０４サイクルのプロセッササイクル要求を中心とした変動が得られたため、この結果から、任意のマクロブロックに必要なプロセッササイクル要求として２×１０４＋４０００が選択された。記載の例では、４０００サイクルを安全マージンとして加えている。この予測から得た誤差分布が図４Ｆに示される。図４Ｆは、プロセッササイクル回数の予測誤りに対するＭＢの割合のプロットを示す。約６１％のＭＢで誤差は約２％未満であり、約９１％のＭＢの誤差は約１０％未満である。

ＭＢの復号化に必要なプロセッササイクルの総数は、ＶＬＤ、ＭＣ、およびＩＤＣＴの各タスクの予測値を合計して、記載の例では５００サイクルの安全マージンを加えることで得られる。安全マージンの値は、シミュレーションから得られ、プロセッサアーキテクチャおよびデコーダのコードに応じて変更される。

動的周波数調整に対する本方式の効果を評価するため、（ｉ）プロセッサ周波数調整なし、（ｉｉ）本願で提案する方式に基づいた周波数調整を使用、（ｉｉｉ）移動履歴ベースの作業負荷予測に基づく周波数調整、の３組の機密実験が行われた。プロセッサのクロック周波数が、約２００〜５００ＭＨｚの範囲で、約５０ＭＨｚきざみで調整され、この値は、高機能のＰＤＡに搭載されているプロセッサに対応している。プロセッサは、約２５ｆｐｓの出力フレームレートを維持する周波数で動作させる必要がある。動的周波数調整を使用しない場合、プロセッサ周波数が、この出力フレームレートと、任意のＭＢの処理に必要な最大プロセッササイクル回数によって決定される。

比較すると、上で説明した方式は、約７５％以上のエネルギーの節約を実現する。更に、本方式は作業負荷予測誤りが最大約２．７％であるのに対し、ＭＢのサイクル要求を直前のＭＢの要求から予測し、大きな実行時オーバーヘッドを要する移動履歴ベースの予測方式では約１２％であった。予測をＭＢのグループに対して行う場合には、ＭＢごとに予測する場合よりも誤差が大きくなることが判明した。最後に、記載の方式によって挿入されるメタデータの量は、周波数調整がハーフフレーム間隔行われる場合には、クリップサイズの約０．０１％未満である。

図５は、一実施形態による、メディアファイルの再生のために、メディアファイルのそれぞれのセグメントに必要な予測プロセッササイクル回数を決定する方法を示すフローチャート５００を示す。ステップ５０２において、メディアファイルのビットストリーム解析が実行され、それぞれのセグメントのノンゼロＩＤＣＴ係数の数、それぞれのセグメントに関連するＭＣタスク関数の入力パラメータ、またはこの両方からなる群の１つ以上が決定される。ステップ５０４において、このビットストリーム解析に基づいて、予測プロセッササイクル回数が決定される。

一実施形態によるメディアファイルの再生方法は、メディアファイルの再生中にプロセッサの周波数および電圧を変更するステップを有し、この変更は、メディアファイルの再生のために、メディアファイルのそれぞれのセグメントに必要な予測プロセッササイクル回数を決定する上記の方法に基づく。

一実施形態によるメディアファイルのダウンロード方法は、メディアファイルにメタデータを追加するステップを有し、このメタデータは、メディアファイルの再生のために、メディアファイルのそれぞれのセグメントに必要な予測プロセッササイクル回数を含み、予測プロセッササイクル回数は、それぞれのセグメント中のノンゼロＩＤＣＴ係数の数、それぞれのセグメントに関連するＭＣタスク関数の入力パラメータ、またはこの両方からなる群の１つ以上に基づいて決定される。

図６は、一実施形態によるメディアファイル６０２の再生デバイス６００の模式図である。デバイス６００は、電圧、周波数、またはこの両方を調整可能なプロセッサ６０４を有する。また、デバイス６００は、プロセッサ６０４に接続され、メタデータを含むメディアファイル６０２を表しているデータを記憶するデータベース６０６も有する。更に、デバイス６００は、プロセッサ６０４とデータベース６０６に接続され、メタデータに基づいて、メディアファイル６０２の再生中に周波数および電圧を制御するコントローラ６０８も有する。

図７は、一実施形態によるメディアファイル７０２のダウンロードデバイス７００の模式図である。システム７００は、メディアファイル７０２を含むソースデバイス７０４を有する。また、システム７００は、ソースデバイス７０４に接続され、メディアファイルをダウンロードするデスティネーションデバイス７０２も有する。システム７００は、ソースデバイス７０４とデスティネーションデバイス７０２に接続され、メタデータを生成し、デスティネーションデバイス７０６にダウンロードするために、メディアファイル７０２にメタデータを追加するプロセッサユニット７０８を更に有する。このメタデータは、メディアファイルの再生のために、メディアファイルのそれぞれのセグメントに必要な予測プロセッササイクル回数を含み、予測プロセッササイクル回数は、それぞれのセグメント中のノンゼロＩＤＣＴ係数の数、それぞれのセグメントに関連するＭＣタスク関数の入力パラメータ、またはこの両方からなる組の１つ以上に基づいて決定される。

上記方法およびシステムはコンピュータシステム８００に実装することができ、図８に概略的に示される。これは、データ処理システム８００内で実行され、コンピュータシステム８００に対して、例示の実施形態の方法を行うように指示するコンピュータプログラムなどのソフトウェアとして実装することができる。

コンピュータシステム８００は、コンピュータモジュール８０２、キーボード８０４、マウス８０６などの入力モジュール、およびディスプレイ８０８、およびプリンタ８１０などの複数の出力デバイスを有する。

コンピュータモジュール８０２は、適切なトランシーバデバイス８１４を介して、コンピュータネットワーク８１２に接続されており、例えば、インターネットや、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）などの他のネットワークシステムにアクセスできるようにしている。

この例のコンピュータモジュール８０２は、プロセッサ８１８、ランダムアクセスメモリ（ＲＡＭ）８２０、およびリードオンリーメモリ（ＲＯＭ）８２２を有する。また、コンピュータモジュール８０２は、ディスプレイ８０８への入出力インタフェース８２４、キーボード８０４への入出力インタフェース８２６などの多数の入出力（Ｉ／Ｏ）インタフェースも有する。

コンピュータモジュール８０２の各種構成要素は、通常、相互接続されたバス８２８を介して、関連技術の当業者に公知の方法で通信する。

図９は、トレーニングフェーズ９０２および作業負荷予測フェーズ９０４を示すフローチャート９００を示す。トレーニングフェーズ９０２では、トレーニングビデオセット９０６が、ビットストリームアナライザ９０８に供給され、トレーニングビデオセット９０６のそれぞれのセグメントのノンゼロＩＤＣＴ係数の数と、トレーニングビデオセット９０６のそれぞれのセグメントに関連するＭＣタスク関数の入力パラメータ（動きモードと運動ベクトルを含む）を含むパラメータが抽出される。ビットストリームアナライザ９０８が、トレーニングビデオセット９０６の全体の復号化を実行する必要はないことを当業者は理解するであろう。パラメータは、トレーニングビデオセット９０６のビットストリームのみのパースとＶＬＤ復号化によって得ることができる。

トレーニングビデオセット９０６は、実際の再生のためにデバイス９１０，９１２，９１４にも供給される。再生中に、それぞれのデバイス９１０，９１２，９１４の実際の作業負荷が、符号９１６，９１８，９２０で示すように測定されて記憶される。符号９２２で示す記憶されている抽出されたパラメータと、測定され記憶された実際の作業負荷に基づいて、それぞれのデバイス９１０，９１２，９１４に対してモデル９２４，９２６，９２８が決定される。

作業負荷予測フェーズ９０４では、未知のビデオクリップ９３０に対してビットストリーム解析が行われ（９０８）、９３２に示すようにパラメータが抽出されて記憶される。次に、抽出されたパラメータとモデル９２４，９２６，９２８に基づいて、それぞれの再生デバイスについて、９３４，９３６，９３８に示すように作業負荷予測が行われる。このため、記載したワークフローを使用して、個々のデバイスにダウンロードされる未知のビデオクリップの作業負荷を予測することができる。

アプリケーションプログラムは、コンピュータシステム８００のユーザに提供され、通常ＣＤ−ＲＯＭまたはフラッシュメモリキャリア等のデータ記憶メディアに符号化されており、データ記憶デバイス８３０の対応するデータ記憶メディアドライブを利用して読み出される。アプリケーションプログラムは、読み出されて、プロセッサ８１８によってその実行が制御される。プログラムデータの中間記憶は、ＲＡＭ８２０を使用して行うことができる。

本方法およびシステムは、ラップトップコンピュータやＰＤＡに実装することもできることを、当業者は理解するであろう。

当業者であれば、特定の実施形態で示した本発明の数多くの変形および／または変更を、広く記載した記載した本発明の趣旨および範囲から逸脱することなく行うことができることが理解できるであろう。このため、本実施形態は、あらゆる点で例示に過ぎず、本発明を限定するものではないと考えるべきである。

メタデータが挿入されているビデオクリップを示す図である。 （ａ）〜（ｅ）は、ノンゼロ係数に対する可変長復号化（ＶＬＤ）タスクに必要なプロセッササイクル回数のプロットを示し、（ｆ）は、ＶＬＤタスクについて、ＦＬＷＲビデオクリップのプロセッササイクル回数の予測誤りに対する、マクロブロック（ＭＢ）のパーセンテージのプロットを示す。 （ａ）〜（ｅ）は、５つのビデオクリップのそれぞれの動き補償（ＭＣ）タスクについてＳｉｍｐｌｅＳｃａｌａｒシミュレーションから得られるプロセッササイクル回数に対するＭＢの割合のプロットを示し、（ｆ）は、ＭＣタスクのプロセッササイクル回数の予測誤りに対するＭＢの割合のプロットを示す。 （ａ）〜（ｅ）は、逆離散コサイン変換（ＩＤＣＴ）タスクのプロセッササイクル回数に対するＭＢの割合のプロットを示し、（ｆ）は、ＩＤＣＴタスクのプロセッササイクル回数の予測誤りに対するＭＢの割合のプロットを示す。 メディアファイルの再生のために、メディアファイルのそれぞれのセグメントに必要な予測プロセッササイクル回数を決定する方法を示すフローチャートを示す。 メディアファイルの再生デバイスの模式図である。 メディアファイルをダウンロードするためのシステムの模式図である。 記載の方法および装置を実装するためのコンピュータシステムの模式図である。 トレーニングフェーズおよび作業負荷予測フェーズを示すフローチャートを示す。

Claims (14)

1. メディアファイルの再生のために、前記メディアファイルのそれぞれのセグメントに必要な予測プロセッササイクル回数を決定する方法であって、
   前記それぞれのセグメント中のノンゼロＩＤＣＴ係数の数、それぞれのセグメントに関連するＭＣタスク関数の入力パラメータ、またはこれらの双方を決定するために前記メディアファイルのビットストリーム解析を実行するステップと、
   前記ビットストリーム解析に基づいて前記予測プロセッササイクル回数を決定するステップと、を有する方法。
2. 前記ノンゼロＩＤＣＴ係数の数から、前記それぞれのセグメントの予測ＶＬＤタスクサイクル回数を計算するステップを有する請求項１に記載の方法。
3. 前記それぞれのセグメントの前記予測ＶＬＤタスクサイクル回数は、略線形の関係を使用して計算される請求項２に記載の方法。
4. 前記ＭＣタスク関数の前記入力パラメータに基づいて、前記それぞれのセグメントの予測ＭＣタスクサイクル回数を計算するステップを有する請求項１〜３のいずれか１項に記載の方法。
5. 可能な全ての入力パラメータ値について、前記ＭＣタスク関数の実行をシミュレーションしたＭＣタスクサイクル回数のテーブルを提供するステップと、前記それぞれのセグメントのパースから得たデータと、前記シミュレーションしたＭＣタスクのテーブルに基づいて、前記それぞれのセグメントの前記予測ＭＣタスクサイクル回数を計算するステップと、を有する請求項１〜４のいずれか１項に記載の方法。
6. 前記予測プロセッササイクル回数を決定する際に、ＩＤＣＴタスクに対して定数のプロセッサＩＤＣＴサイクルを使用するステップを更に有する請求項１〜５のいずれか１項に記載の方法。
7. 前記セグメントは、前記メディアファイルのマクロブロック、スライスまたはフレームを含む請求項１〜６のいずれか１項に記載の方法。
8. 前記メディアファイルの再生のために、前記メディアファイルのそれぞれのセグメントに必要な前記予測プロセッササイクル回数を決定するために、前記予測ＶＬＤタスクサイクル回数、前記予測ＭＣタスクサイクル回数、および前記予測プロセッサＩＤＣＴサイクル回数を合計するステップを有する請求項１〜７のいずれか１項に記載の方法。
9. 前記メディアファイルの再生のために、前記メディアファイルのそれぞれのセグメントに必要な前記予測プロセッササイクル回数を決定するために、前記予測ＶＬＤタスクサイクル回数、前記予測ＭＣタスクサイクル回数、および前記予測プロセッサＩＤＣＴサイクル回数の前記合計に、所定のバッファサイクル回数を加算するステップを有する請求項１〜８のいずれか１項に記載の方法。
10. メディアファイルの再生方法であって、
    前記メディアファイルの前記再生中にプロセッサの周波数および電圧を変更するステップを有し、前記変更は、請求項１〜９のいずれか１項に記載のメディアファイルの再生のために、前記メディアファイルのそれぞれのセグメントに必要な予測プロセッササイクル回数を決定する方法に基づく方法。
11. メディアファイルのダウンロード方法であって、
    前記メディアファイルにメタデータを追加するステップを有し、前記メタデータは、前記メディアファイルの再生のために、前記メディアファイルのそれぞれのセグメントに必要な予測プロセッササイクル回数を含み、前記予測プロセッササイクル回数は、前記それぞれのセグメント中のノンゼロＩＤＣＴ係数の数、それぞれのセグメントに関連するＭＣタスク関数の入力パラメータ、またはこの両方に基づいて決定される方法。
12. メディアファイルの再生装置であって、
    電圧、周波数、またはこの両方を調整可能なプロセッサと、
    メタデータを含むメディアファイルを表しているデータを記憶するデータベースと、
    前記メタデータに基づいて、前記メディアファイルの再生中に周波数および電圧を制御するコントローラと、を有する装置。
13. メディアファイルをダウンロードするためのシステムであって、
    メディアファイルを含むソースデバイスと、
    前記メディアファイルをダウンロードするデスティネーションデバイスと、
    メタデータを生成し、前記デスティネーションデバイスへのダウンロードのために、前記メディアファイルに前記メタデータを追加するプロセッサユニットと、を有し、前記メタデータは、前記メディアファイルの再生のために、前記メディアファイルのそれぞれのセグメントに必要な予測プロセッササイクル回数を含み、前記予測プロセッササイクル回数は、前記それぞれのセグメント中のノンゼロＩＤＣＴ係数の数、それぞれのセグメントに関連するＭＣタスク関数の入力パラメータ、またはこの両方に基づいて決定されるシステム。
14. 前記プロセッサユニットは、前記ソースデバイスまたは前記デスティネーションデバイスに一体化されている請求項１３に記載のシステム。

Images