JP2011176569A - マルチ解像度映像復号方法、マルチ解像度映像復号装置、及びプログラム - Google Patents

Abstract

【課題】ユーザから領域指定に対して、適切な復号対象解像度を決定することで、高品質、かつ安定した復号処理負荷で指定領域の映像を復号する。
【解決手段】マルチ解像度映像符号化データ入力部１０１は、復号対象となるマルチ解像度映像を空間的に分割して符号化したデータを入力する。符号化データメモリ１０２は、入力された符号化データを蓄積する。同時復号分割数設定部１０３は、同時に復号する分割映像の数を設定する。注視領域入力部１０４は、出力映像の領域を示す注視領域を入力する。復号解像度設定部１０５は、同時復号分割映像数に基づいて、マルチ解像度映像のうち、復号する解像度を決定する。分割映像復号部１０６は、決定された復号対象解像度に対応する、注視領域を含む分割映像から映像を復号する。
【選択図】図１

Description

本発明は、ユーザから指示された領域の映像を、マルチ解像度映像の符号化データから復号する際に、マルチ解像度映像の中から適切な復号対象解像度を決定するマルチ解像度映像復号方法、マルチ解像度映像復号装置、及びプログラムに関する。

ネットワーク技術の発展により、一般家庭において大容量、かつ双方向の通信が利用可能になったため、インタラクティブ映像サービスが注目を集めている。特に、パノラマ映像のインタラクティブ視聴サービスは、ユーザ毎に異なる欲求を満たすことが可能なサービスとして高い注目を集めている。ここで言うパノラマ映像のインタラクティブ視聴サービスとは、スポーツや、コンサート、舞台など、複数の注目対象が存在するようなコンテンツにおいて、各ユーザが自身の興味に合わせて、全体を見渡せる映像を鑑賞したり、ある対象に注目して一部を拡大して鑑賞したりすることが可能な映像サービスである。

このようなサービスを実現する際には、一般的に、マルチ解像度映像が用いられる。マルチ解像度映像とは、複数の解像度で同じ内容の映像を表現した映像群のことである。例えば、静止画の例であるが、インターネット上で提供されている地図サービスなどでは、同じ領域に対して複数の縮尺の地図を準備し、ユーザからの指示に従って表示する地図の縮尺を変更している。

このようなマルチ解像度映像を用いたサービスでは、ユーザ側には、「予め準備された複数の解像度のうち、どの解像度で表示を行うか」という選択肢しか与えられない。すなわち、ユーザは、映像を観たい解像度（もしくは縮尺）を選択する必要がある。その他にも、「現在の表示から１段階拡大・縮小する」という選択が与えられる場合もあるが、この選択も予め用意された解像度群から所望の解像度を選択することと本質的に同じである。

一般的なユーザは、どの解像度を選択すれば、所望の大きさで注視対象を見ることができるのか、直感的に理解することは不可能である。そのため、前述のような解像度（拡大率）の指定しかできない場合に、所望の解像度で注視対象を見るためには、ユーザは、試行錯誤しながら適切な解像度を選び出す必要がある。これは、ユーザの操作を増大させてしまうという問題に繋がる。

この問題に対処する方法としては、ユーザが見たい領域を任意に指定し、指定された領域を全体表示する方法がある。このようにすることで、ユーザは、直感的に所望の大きさで注視対象を表示することが可能となる。例えば、特許文献１では、マルチ解像度画像を空間的に分割して符号化したデータを用いる際に、ユーザが指定した領域のみを復号及び伝送するための手段を提案している。

特開２００３−２２４８４６号公報

前述のように、ユーザによって指定された領域を全体表示することで、直感的に視聴解像度を選択することが可能となる。しかしながら、表示解像度が領域として指定された場合に、マルチ解像度映像の符号化データから、どの解像度の映像を復号すればいいのか判断できないという問題がある。

容易に考えられる対処方法として、明に解像度変更が指示されるまで、それまでの同じ解像度の映像を復号し続け、得られた映像を拡大、または縮小することで、指定領域を表示する方法がある。この方法では、表示の解像度に対して復号の解像度が低い場合には、画質が悪いという問題があり、表示の解像度に対して復号の解像度が高い場合には、無駄に演算量を消費してしまうという問題がある。

また、別の対処方法として、選択画面全体の大きさと指定領域の大きさの比と、選択画面の解像度と、表示デバイスの物理解像度とを用いて、指定領域を最大表示する際の適切な解像度を計算し、マルチ解像度映像の中から、その値に最も近い（もしくは、その値を超えない最大の）解像度を選択して復号し、得られた映像を拡大、または縮小することで指定領域を表示する方法がある。この方法では、表示能力を鑑みて、復号する解像度を決定するので、画質が悪いということや、無駄に大量のデータを復号してしまうということはないが、復号処理に必要な時間が動的に変化するため、常にスムーズな映像表示を行うことができないという問題がある。

また、特許文献１では、領域とは別に解像度を指定する手段が必要であり、ユーザは、領域と解像度との両方を指定する必要が生じてしまうため、操作が煩わしいだけでなく、ライブ映像などを見ている際には、リアルタイムに所望の映像を得ることができないという問題がある。

本発明は、このような事情を考慮してなされたものであり、その目的は、ユーザからの領域指定に対して、適切な復号対象解像度を決定することで、高品質、かつ安定した復号処理負荷で指定領域の映像を復号することができるマルチ解像度映像復号方法、マルチ解像度映像復号装置、及びプログラムを提供することにある。

上述した課題を解決するために、本発明は、同一のシーンを複数の解像度で表現したマルチ解像度映像を空間的に分割して符号化したデータを復号するマルチ解像度映像復号方法であって、同時に復号する分割映像の数を示す同時復号分割映像数を設定する同時復号分割映像数設定ステップと、出力対象となる注視領域を設定する注視領域設定ステップと、前記同時復号分割映像数に基づいて、復号対象の解像度を示す復号対象解像度を決定する復号対象解像度決定ステップと、前記復号対象解像度に対応する、前記注視領域を含む分割映像を復号する分割映像復号ステップとを含むことを特徴とするマルチ解像度映像復号方法である。

本発明は、上記の発明において、前記復号対象解像度決定ステップは、前記マルチ解像度映像に含まれる解像度において前記注視領域を含む分割映像の数の合計値を示す解像度別分割映像数を計測する解像度別分割映像数計測ステップと、前記同時復号分割映像数と前記解像度別分割映像数とに基づいて、前記復号対象解像度を決定する復号対象解像度決定ステップとを含むことを特徴とする。

本発明は、上記の発明において、前記復号対象解像度決定ステップは、前記復号対象解像度を、表示装置の物理解像度以下に抑えた解像度に前記復号対象解像度を決定することを特徴とする。

本発明は、上記の発明において、前記同時復号分割映像数設定ステップは、復号処理が実時間で動作するように前記同時復号分割映像数を制限することを特徴とする。

本発明は、上記の発明において、復号した画素数、または計算資源の使用率に基づいて、実時間で復号可能な分割映像数を計算する復号能力計測ステップを更に含み、前記同時復号分割映像数設定ステップは、前記復号能力計測ステップで得られた実時間で復号可能な分割映像数を、前記同時復号分割映像数として設定することを特徴とする。

本発明は、上記の発明において、前記解像度別分割映像数計測ステップは、前記解像度別分割映像数に代えて前記マルチ解像度映像に含まれる解像度において前記注視領域を含む画素の数の合計値を示す解像度別画素数を計測し、前記同時復号分割映像数設定ステップは、前記同時復号分割映像数に代えて、同時に復号する画素数を示す同時復号画素数を設定し、前記復号対象解像度決定ステップは、前記同時復号分割映像数に代えて、前記同時復号画素数に基づいて、復号対象の解像度を示す復号対象解像度を決定する、ことを特徴とする。

また、上述した課題を解決するために、本発明は、同一のシーンを複数の解像度で表現したマルチ解像度映像を空間的に分割して符号化したデータを復号するマルチ解像度映像復号装置であって、同時に復号する分割映像の数を示す同時復号分割映像数を設定する同時復号分割映像数設定手段と、出力対象となる注視領域を設定する注視領域設定手段と、前記同時復号分割映像数設定手段によって設定された同時復号分割映像数に基づいて、復号対象の解像度を示す復号対象解像度を決定する復号対象解像度決定手段と、前記復号対象解像度決定手段により決定された復号対象解像度に対応する、前記注視領域設定手段により設定された注視領域を含む分割映像を復号する分割映像復号手段とを備えることを特徴とするマルチ解像度映像復号装置である。

本発明は、上記の発明において、前記復号対象解像度決定手段は、前記マルチ解像度映像に含まれる解像度において前記注視領域設定手段により設定された注視領域を含む分割映像の数の合計値を示す解像度別分割映像数を計測する解像度別分割映像数計測手段と、前記同時復号分割映像数設定手段によって設定された同時復号分割映像数と前記解像度別分割映像数計測手段により計測された解像度別分割映像数とに基づいて、前記復号対象解像度を決定する復号対象解像度決定手段とを備えることを特徴とする。

本発明は、上記の発明において、前記復号対象解像度決定手段は、前記復号対象解像度を、表示装置の物理解像度以下に抑えた解像度に前記復号対象解像度を決定することを特徴とする。

本発明は、上記の発明において、前記同時復号分割映像数設定手段は、復号処理が実時間で動作するように前記同時復号分割映像数を制限することを特徴とする。

本発明は、上記の発明において、復号した画素数、または計算資源の使用率に基づいて、実時間で復号可能な分割映像数を計測する復号能力計測手段を更に備え、前記同時復号分割映像数設定手段は、前記復号能力計測手段で得られた実時間で復号可能な分割映像数を、前記同時復号分割映像数として設定することを特徴とする。

本発明は、上記の発明において、前記解像度別分割映像数計測手段は、前記解像度別分割映像数に代えて前記マルチ解像度映像に含まれる解像度において前記注視領域を含む画素の数の合計値を示す解像度別画素数を計測し、前記同時復号分割映像数設定手段は、前記同時復号分割映像数に代えて、同時に復号する画素数を示す同時復号画素数を設定し、前記復号対象解像度決定手段は、前記同時復号分割映像数に代えて、前記同時復号画素数に基づいて、復号対象の解像度を示す復号対象解像度を決定する、ことを特徴とする。

また、上述した課題を解決するために、本発明は、同一のシーンを複数の解像度で表現したマルチ解像度映像を空間的に分割して符号化したデータを復号するマルチ解像度映像復号装置のコンピュータに、同時に復号する分割映像の数を示す同時復号分割映像数を設定する同時復号分割映像数設定機能、出力対象となる注視領域を設定する注視領域設定機能、前記同時復号分割映像数設定機能によって設定された同時復号分割映像数に基づいて、復号対象の解像度を示す復号対象解像度を決定する復号対象解像度決定機能、前記復号対象解像度決定機能により決定された復号対象解像度に対応する、前記注視領域設定機能により設定された注視領域を含む分割映像を復号する分割映像復号機能を実行させることを特徴とするプログラムである。

この発明によれば、同一シーンが複数の解像度で表現されたマルチ解像度映像の符号化データを、ユーザからの領域指定に応じて復号する際に、復号処理負荷を鑑みて復号する解像度を決定することで、安定した復号表示を実現することができる。

本発明の実施形態によるマルチ解像度映像復号装置１００の構成を示すブロック図である。 本実施形態によるマルチ解像度映像復号装置１００の動作を説明するフローチャートである。 本実施形態による復号対象解像度決定処理における処理を説明するためのフローチャートである。 本実施形態による物理解像度を考慮した復号対象解像度決定処理における処理の別の例を説明するためのフローチャートである。

以下、本発明の一実施形態を、図面を参照して説明する。

従来の手法では、マルチ解像度映像を復号する際に、ユーザが解像度と領域とを指定することで復号を行っていた。そのため、リアルタイムに復号処理を行うためには、ユーザ自身が適切な解像度を選択する必要があった。本発明では、許容する演算量を設定し（後述するステップＳａ２）、その演算量の制約を満たす解像度を自動的に決定し（後述するステップＳａ４）、復号処理を行う。これにより、復号処理の演算量を指定されたレベルに抑えることが可能となり、どのような部分映像選択に対しても、リアルタイムに部分映像を復号することが可能となる。また、ユーザは、取得した部分映像の領域を設定するだけでよくなるため、事前知識や学習の必要がなくなる。以下、詳細に説明する。

図１は、本発明の実施形態によるマルチ解像度映像復号装置１００の構成を示すブロック図である。図１において、マルチ解像度映像復号装置１００は、マルチ解像度映像符号化データ入力部１０１、符号化データメモリ１０２、同時復号分割数設定部１０３、注視領域入力部１０４、復号解像度設定部１０５、及び分割映像復号部１０６から構成されている。

マルチ解像度映像符号化データ入力部１０１は、復号対象となるマルチ解像度映像を空間的に分割して符号化したデータを入力する。符号化データメモリ１０２は、入力された符号化データを蓄積する。同時復号分割数設定部１０３は、同時に復号する分割映像の数を設定する。注視領域入力部１０４は、出力映像の領域を示す注視領域を入力する。復号解像度設定部１０５は、マルチ解像度映像のうち、復号する解像度を決定する。分割映像復号部１０６は、符号化データから映像を復号する。

図２は、本実施形態によるマルチ解像度映像復号装置１００の動作を説明するフローチャートである。このフローチャートに従って、本実施形態のマルチ解像度映像復号装置１００の処理について詳細に説明する。以下の説明では、分割映像は、全て同じサイズであるとする。

まず、マルチ解像度映像符号化データ入力部１０１により、マルチ解像度映像を空間的に分割して符号化したデータが入力され、符号化データメモリ１０２に蓄積される（ステップＳａ１）。次に、同時復号分割数設定部１０３で、１フレームの画像を復号・出力するに当たり、同時に復号する分割映像の数を設定する（ステップＳａ２）。

予め復号装置の演算能力と映像コンテンツの性質とが分かっており、実時間で復号可能な個数が分かっている場合には、その値を外部から与えても構わない。一方、それらの情報が未知などの場合には、入力されたマルチ解像度映像符号化データを試験復号することで、実時間で復号可能な個数を計測して用いても構わない。例えば、マルチ解像度映像１フレーム分を全て復号するのに要する時間を計測し、マルチ解像度映像１フレームに含まれる分割映像数を、計測した時間（秒）とフレームレート（ｆｐｓ）との積で割った数値を求め、その数値を超えない最大の整数を同時復号分割映像数に設定しても構わない。

次に、注視領域入力部１０４により、映像の出力が必要な注視領域を指定する（ステップＳａ３）。ここでは、注視領域は、表示装置と同じアスペクト比で指定されているものとする。なお、ユーザが自由に領域を選択する場合には、アスペクト比が異なる場合が考えられるが、そのような場合、表示装置と同じアスペクト比で、注視領域が完全に内包される最小の領域を求め、その領域がマルチ解像度映像復号装置１００へと入力されるものと考えることができる。

注視領域が得られた後、復号解像度設定部１０５で、同時復号分割映像数に従って、復号対象の解像度を決定する（ステップＳａ４）。この処理の詳細については後述する。復号対象解像度が決定したら、その解像度に対応する、注視領域を含む分割映像を分割映像復号部１０６で復号する（ステップＳａ５）。復号結果の分割映像は、１枚のフレームへと繋ぎ合わされて、マルチ解像度映像復号装置１００の出力となる。分割映像を繋ぎ合わせたものが注視領域よりも大きな場合には、注視領域でクロッピングを行って出力しても構わない。なお、このクロッピング処理は、マルチ解像度映像復号装置１００の後処理として行うことも可能である。

分割映像復号部１０６は、マルチ解像度映像符号化データを復号できる処理を実現するものであれば、どのようなものでも構わない。例えば、各分割映像がＨ．２６４／ＡＶＣで符号化されているのであれば、Ｈ．２６４／ＡＶＣの復号処理を行う任意のものを用いることができる。

図３は、本実施形態による復号対象解像度決定処理（ステップＳａ４）における処理を説明するためのフローチャートである。まず、マルチ解像度映像に含まれる解像度の数をｎｕｍとし、解像度が大きい順に割り振ったインデックスをｒとすると、ｒを０に初期化し（ステップＳｂ１）、その後、ｒに１を加算しながら（ステップＳｂ４）、ｒがｎｕｍ−１になるまで(ステップＳｂ５)、解像度ｒにおける注視領域が含まれる分割映像の個数をカウントし（ステップＳｂ２）、その値と同時復号分割数とを比較する処理（ステップＳｂ３）を繰り返す。

そして、ステップＳｂ３における比較の結果、同時復号分割数以下の値が得られたら（ステップＳｂ３のＹＥＳ）、その時点で解像度ｒを復号対象解像度として設定し、あるいは、ｒがｎｕｍ−１になったら（ステップＳｂ５のＮＯ）、マルチ解像度映像の中の最小解像度ｎｕｍ−１を復号対象解像度として設定する（ステップＳｂ６）。

図４は、本実施形態による物理解像度を考慮した復号対象解像度決定処理（ステップＳａ４）における処理の別の例を説明するためのフローチャートである。まず、マルチ解像度映像に含まれる解像度の数をｎｕｍとし、解像度が大きい順に割り振ったインデックスをｒとすると、ｒを０に初期化し（ステップＳｃ１）、その後、ｒに１を加算しながら（ステップＳｃ４）、ｒがｎｕｍ−１になるまで(ステップＳｃ５)、解像度ｒにおける注視領域が含まれる分割映像の個数をカウントし（ステップＳｃ２）、その値と同時復号分割数とを比較する処理（ステップＳｃ３）を繰り返す。

そして、ステップＳｃ３における比較の結果、同時復号分割数以下の値が得られたら（ステップＳｃ３のＹＥＳ）、ｒに１を加算しながら（ステップＳｃ６）、ｒがｎｕｍ−１になるまで(ステップＳｃ１０)、解像度ｒにおける注視領域映像の解像度を求め（ステップＳｃ７）、注目領域映像の解像度と表示装置の物理解像度とを比較する処理（ステップＳｃ８）を繰り返す。

そして、注目領域映像の解像度が表示装置の物理解像度より小さければ、ｒを１減算し（ステップＳｃ９）、その解像度ｒを復号対象解像度として設定する（ステップＳｃ１１）。また、ステップＳｃ５、あるいはステップＳｃ１０で、ｒがｎｕｍ−１になった場合には、マルチ解像度映像の中の最小解像度ｎｕｍ−１を復号対象解像度として設定する（ステップＳｃ１１）。

このように、表示装置の物理解像度と、解像度ｒにおける注視領域の解像度（注視領域でクロッピングした後の解像度）とを比較し、必要以上に高い解像度の映像を復号するのを避けることで、復号装置の演算量を削減することが可能となる。

上述した実施形態よれば、マルチ解像度映像で表現された映像の部分領域を指定して復号する際に、復号する解像度を適切に選ぶことで、復号処理の演算量を一定以下に抑えることが可能となる。

なお、上述した実施形態では、同時復号分割映像数は１度だけ設定するように説明を行ったが、ステップＳａ５の復号処理の結果に応じて、動的に変化させるような構成を取ることもできる。例えば、マルチ解像度映像復号装置１００の外部で表示フレームレート制御を行う場合には、定期的に、１秒間で復号できたフレーム数をカウントし、表示フレームレートとの比に従って、同時復号分割映像数を変更する方法がある。具体例としては、その時点の同時復号分割映像数に、表示フレームレートに対する１秒間に復号できたフレーム数の比を乗じた数を超えない最大の整数を、新たな同時復号分割数として設定する方法がある。なお、１秒間ではなくもっと長い間隔でデータを集めて更新を行っても構わない。また、マルチ解像度映像復号装置１００の内部で表示フレームレート制御を行う場合には、実際に復号処理を行った時間に対する処理待ちの時間も含めたトータル時間の比に従って、同時復号分割映像数を更新する方法がある。具体例としては、その時点の同時復号分割映像数に、一定時間分の映像を復号するために演算を行った時間に対する復号した映像の表示時間の比を乗じた数を超えない最大の整数を、新たな同時復号分割数として設定する方法がある。

分割映像の大きさがほぼ一定の場合、一般に復号に必要な演算量は、ほぼ復号する分割映像数に比例する。そのため、本発明によって、常に復号する分割映像数を一定以下に保つことが可能となるため、指定領域の映像復号を実時間で行うことを保証することが可能となる。また、実際に計測された復号フレームレートに従って、復号する分割映像数を動的に設定できるため、コンテンツや、ビットレートの変化によらず、実時間の映像復号が実現可能となる。

また、本実施形態では、分割映像の大きさがほぼ一定であるとしたが、分割映像のサイズが大きく異なる場合には、ステップＳａ２の処理や、ステップＳｂ２、Ｓｂ３の処理において、分割映像の数の代わりに画素数を用いることで、適切な復号対象解像度を設定し、安定した復号処理を実現することが可能となる。

以上説明した処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。

また、上述した実施形態では、マルチ解像度映像復号装置を中心に説明したが、これらマルチ解像度映像復号装置の各部の動作に対応したステップによって本発明のマルチ解像度映像復号方法を実現することができる。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものでないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

１００ マルチ解像度映像復号装置
１０１ マルチ解像度映像符号化データ入力部
１０２ 符号化データメモリ
１０３ 同時復号分割数設定部
１０４ 注視領域入力部
１０５ 復号解像度設定部
１０６ 分割映像復号部

Claims (13)

1. 同一のシーンを複数の解像度で表現したマルチ解像度映像を空間的に分割して符号化したデータを復号するマルチ解像度映像復号方法であって、
   同時に復号する分割映像の数を示す同時復号分割映像数を設定する同時復号分割映像数設定ステップと、
   出力対象となる注視領域を設定する注視領域設定ステップと、
   前記同時復号分割映像数に基づいて、復号対象の解像度を示す復号対象解像度を決定する復号対象解像度決定ステップと、
   前記復号対象解像度に対応する、前記注視領域を含む分割映像を復号する分割映像復号ステップと
   を含むことを特徴とするマルチ解像度映像復号方法。
2. 前記復号対象解像度決定ステップは、
   前記マルチ解像度映像に含まれる解像度において前記注視領域を含む分割映像の数の合計値を示す解像度別分割映像数を計測する解像度別分割映像数計測ステップと、
   前記同時復号分割映像数と前記解像度別分割映像数とに基づいて、前記復号対象解像度を決定する復号対象解像度決定ステップと
   を含むことを特徴とする請求項１に記載のマルチ解像度映像復号方法。
3. 前記復号対象解像度決定ステップは、
   前記復号対象解像度を、表示装置の物理解像度以下に抑えた解像度に前記復号対象解像度を決定することを特徴とする請求項２に記載のマルチ解像度映像復号方法。
4. 前記同時復号分割映像数設定ステップは、
   復号処理が実時間で動作するように前記同時復号分割映像数を制限することを特徴とする請求項１から３のいずれかに記載のマルチ解像度映像復号方法。
5. 復号した画素数、または計算資源の使用率に基づいて、実時間で復号可能な分割映像数を計算する復号能力計測ステップを更に含み、
   前記同時復号分割映像数設定ステップは、
   前記復号能力計測ステップで得られた実時間で復号可能な分割映像数を、前記同時復号分割映像数として設定することを特徴とする請求項４に記載のマルチ解像度映像復号方法。
6. 前記解像度別分割映像数計測ステップは、
   前記解像度別分割映像数に代えて前記マルチ解像度映像に含まれる解像度において前記注視領域を含む画素の数の合計値を示す解像度別画素数を計測し、
   前記同時復号分割映像数設定ステップは、
   前記同時復号分割映像数に代えて、同時に復号する画素数を示す同時復号画素数を設定し、
   前記復号対象解像度決定ステップは、
   前記同時復号分割映像数に代えて、前記同時復号画素数に基づいて、復号対象の解像度を示す復号対象解像度を決定する、
   ことを特徴とする請求項２から５のいずれかに記載のマルチ解像度映像復号方法。
7. 同一のシーンを複数の解像度で表現したマルチ解像度映像を空間的に分割して符号化したデータを復号するマルチ解像度映像復号装置であって、
   同時に復号する分割映像の数を示す同時復号分割映像数を設定する同時復号分割映像数設定手段と、
   出力対象となる注視領域を設定する注視領域設定手段と、
   前記同時復号分割映像数設定手段によって設定された同時復号分割映像数に基づいて、復号対象の解像度を示す復号対象解像度を決定する復号対象解像度決定手段と、
   前記復号対象解像度決定手段により決定された復号対象解像度に対応する、前記注視領域設定手段により設定された注視領域を含む分割映像を復号する分割映像復号手段と
   を備えることを特徴とするマルチ解像度映像復号装置。
8. 前記復号対象解像度決定手段は、
   前記マルチ解像度映像に含まれる解像度において前記注視領域設定手段により設定された注視領域を含む分割映像の数の合計値を示す解像度別分割映像数を計測する解像度別分割映像数計測手段と、
   前記同時復号分割映像数設定手段によって設定された同時復号分割映像数と前記解像度別分割映像数計測手段により計測された解像度別分割映像数とに基づいて、前記復号対象解像度を決定する復号対象解像度決定手段と
   を備えることを特徴とする請求項７に記載のマルチ解像度映像復号装置。
9. 前記復号対象解像度決定手段は、
   前記復号対象解像度を、表示装置の物理解像度以下に抑えた解像度に前記復号対象解像度を決定することを特徴とする請求項８に記載のマルチ解像度映像復号装置。
10. 前記同時復号分割映像数設定手段は、
    復号処理が実時間で動作するように前記同時復号分割映像数を制限することを特徴とする請求項７から９のいずれかに記載のマルチ解像度映像復号装置。
11. 復号した画素数、または計算資源の使用率に基づいて、実時間で復号可能な分割映像数を計測する復号能力計測手段を更に備え、
    前記同時復号分割映像数設定手段は、
    前記復号能力計測手段で得られた実時間で復号可能な分割映像数を、前記同時復号分割映像数として設定することを特徴とする請求項１０に記載のマルチ解像度映像復号装置。
12. 前記解像度別分割映像数計測手段は、
    前記解像度別分割映像数に代えて前記マルチ解像度映像に含まれる解像度において前記注視領域を含む画素の数の合計値を示す解像度別画素数を計測し、
    前記同時復号分割映像数設定手段は、
    前記同時復号分割映像数に代えて、同時に復号する画素数を示す同時復号画素数を設定し、
    前記復号対象解像度決定手段は、
    前記同時復号分割映像数に代えて、前記同時復号画素数に基づいて、復号対象の解像度を示す復号対象解像度を決定する、
    ことを特徴とする請求項８から１１のいずれかに記載のマルチ解像度映像復号装置。
13. 同一のシーンを複数の解像度で表現したマルチ解像度映像を空間的に分割して符号化したデータを復号するマルチ解像度映像復号装置のコンピュータに、
    同時に復号する分割映像の数を示す同時復号分割映像数を設定する同時復号分割映像数設定機能、
    出力対象となる注視領域を設定する注視領域設定機能、
    前記同時復号分割映像数設定機能によって設定された同時復号分割映像数に基づいて、復号対象の解像度を示す復号対象解像度を決定する復号対象解像度決定機能、
    前記復号対象解像度決定機能により決定された復号対象解像度に対応する、前記注視領域設定機能により設定された注視領域を含む分割映像を復号する分割映像復号機能
    を実行させることを特徴とするプログラム。

Images