JP2006279502A - 画像処理装置、画像表示装置および方法 - Google Patents

Abstract

【課題】 画像表示などにおいて、画像提供側およびユーザ側双方にある様々なレベルの要求を満足させることは難しい。
【解決手段】 画像処理装置２００は、複数の画質で復号可能な状態で多重化された符号化画像データを復号する。復号ブロック２５０は、復号可能な複数の画質で符号化画像データを復号する。記憶部３４は、所定の処理に対応すべく、復号された複数の画像データを記憶する。著作権管理部３０は、設定された著作権管理情報に応じて、記憶部３４に記憶された複数の画像データについて、それぞれ独立に著作権管理を行う。
【選択図】 図４

Description

本発明は、階層構造を持つ符号化画像データストリームを復号するための画像処理装置、画像表示装置および方法に関する。

近年、ＤＶＤメディア、デジタル放送、およびネットワークを介したオンデマンド通信といったようなインフラの普及に伴い、デジタルコンテンツの利用が拡大している。デジタルコンテンツはコピーにより品質劣化が起こらないため、その著作権管理が一層重要になる。デジタルコンテンツなどの著作物の著作権を正当に保護することへの要求は、今後もさらに高まっていくと思われる。特許文献１は、ストリームの持つコピー制限情報によって複製を禁止する手法を開示する。
特開２００１−８６４４４号公報

しかしながら、このような手法は、許可するか禁止するかの画一的処理であり、画像提供側およびユーザ側双方にある様々なレベルの要求を満足させることが難しい。例えば、画像提供側は、単純に複製を禁止するだけではビジネスチャンスを逸してしまう場合もある。ユーザ側も、本格志向から低価格志向まで種々の志向がある。

本発明はこうした状況に鑑みなされたものであり、その目的は、画像提供側およびその画像を利用するユーザ側双方に利益となる柔軟な画像提供を行うことが可能な画像処理装置、画像表示装置および方法を提供することにある。

上記課題を解決するために、本発明のある態様の画像処理装置は、複数の画質で復号可能な状態で多重化された符号化画像データを取得し、画質の異なる少なくとも二つ以上の画像が生じるよう前記符号化画像データを復号する復号部と、所定の処理に対応すべく、復号された複数の画像データを記憶する記憶部と、を備える。「画質」には、解像度が含まれてもよい。「所定の処理」は、それぞれ画質の異なる複数の画像を表示する処理であってもよい。その場合、マルチウインドウで表示してもよい。

この態様によると、画像提供側およびその画像を利用するユーザ側双方に利益となる柔軟な画像提供を行うことができる。しかも、画質の異なる複数の画像をリアルタイムに処理することができる。

本発明の別の態様も、画像処理装置である。この装置は、複数の画質で復号可能な状態で多重化された符号化画像データを取得し、復号可能な複数の画質で前記符号化画像データを復号する復号部と、所定の処理に対応すべく、復号された複数の画像データを記憶する記憶部と、を備える。

この態様によると、画像提供側およびその画像を利用するユーザ側双方に利益となる柔軟な画像提供を行うことができる。しかも、画質の異なる複数の画像をリアルタイムに処理することができる。

復号部は、復号可能なすべての画質で符号化画像データを復号してもよい。この態様によると、その符号化画像データから最も柔軟な画像提供が可能な状況を作り出すことができる。

設定された著作権管理情報に応じて、記憶部に記憶された複数の画像データについて、著作権管理を行う著作権管理部をさらに備えてもよい。「著作権管理情報」は、符号化画像データを利用する際の許諾画質レベルを定めたものであってもよく、符号化画像データを利用する用途と許諾画質レベルとの組み合わせを定めたものであってもよい。この態様によると、柔軟な著作権管理が可能となる。例えば、著作権管理を行う画質と、行わない画質を設けることもできる。

著作権管理部は、記憶部に記憶された複数の画像データのうち、少なくとも一つにノイズ成分を加えてもよい。この態様によると、画一的に利用を禁止する著作権管理ではなく、柔軟な著作権管理が可能となる。

記憶部に記憶された複数の画像データのうち、選択された画像データを所定の端末に送信する送信部をさらに備えてもよい。送信部は、複数の端末のそれぞれに、画質の異なる画像データを実質的に同時に送信してもよい。送信部は、ユーザ操作により選択された画像データを送信してもよいし、所定の端末のスペック情報を基に選択された画像データを送信してもよい。このスペック情報には、その端末の表示部の解像度が含まれてもよい。この態様によると、柔軟な画像送信が可能になる。

本発明の別の態様は、画像表示装置である。この装置は、上述したいずれかの態様の画像処理装置を備え、それぞれ画質の異なる複数の画像を表示する表示部を含む。

この態様によると、画像提供側およびその画像を利用するユーザ側双方に利益となる柔軟な画像表示を行うことができる。しかも、画質の異なる複数の画像をリアルタイムに表示することができる。

表示部は、設定された著作権管理情報に応じて画像ごとに著作権を個別に管理されながら、画質の異なる複数の画像を表示してもよい。この態様によると、柔軟な著作権管理が可能となる。

表示部は、いずれかの画質の画像をユーザに選択させるべく、マルチウインドウで画質の異なる複数の画像を表示してもよい。この態様によると、ユーザの操作性を向上させることができる。

本発明のさらに別の態様は、画像表示方法である。この方法は、複数の画質で復号可能な状態で多重化された符号化画像データから復号された、それぞれ画質の異なる複数の画像を表示する。

この態様によると、画像提供側およびその画像を利用するユーザ側双方に利益となる柔軟な画像表示を行うことができる。しかも、画質の異なる複数の画像をリアルタイムに表示することができる。

なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、装置、システム、記録媒体、プログラムなどの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、画像提供側およびその画像を利用するユーザ側双方に利益となる柔軟な画像提供を行うことができる。

本発明は、画質の異なる静止画像、動画像を単一の符号化画像データストリームから生成する技術を利用することができる。この一例として、図１を参照して、動画像をＭｏｔｉｏｎ−ＪＰＥＧ２０００方式により符号化する方法について簡単に説明する。図示しない画像符号化装置は、動画像の各フレームをフレーム単位で連続的に符号化して、動画像の符号化画像データストリームを生成する。符号化処理の開始に当たり、動画像の１フレームに相当する原画像ＯＩ（Original Image）１０２がフレームバッファに読み込まれる。フレームバッファに読み込まれた原画像ＯＩは、ウェーブレット変換器により階層化される。

ＪＰＥＧ２０００におけるウェーブレット変換器は、Daubechiesフィルタを利用する。このフィルタは、画像のｘ、ｙそれぞれの方向において同時にハイパスフィルタおよびローパスフィルタとして作用し、ひとつの画像を４つの周波数サブバンドへ分割する。これらのサブバンドは、ｘ、ｙの両方向において低周波成分を有するＬＬサブバンドと、ｘ、ｙのいずれか一方向において低周波成分を有し、かつ他方向において高周波成分を有するＨＬサブバンドおよびＬＨサブバンドと、ｘ、ｙの両方向において高周波成分を有するＨＨサブバンドである。また、このフィルタは、ｘ、ｙの両方向について画素数を１／２に軽減する作用も併せ持つ。つまり、各サブバンドの縦横の画素数は処理前の画像のそれぞれ１／２であり、一回のフィルタリングで解像度すなわち画像サイズが１／４のサブバンド画像が得られる。本明細書においては、原画像ＯＩに対して１回ウェーブレット変換を受けた画像を第１階層の画像ＷＩ１と呼び、以下、ウェーブレット変換を受けた回数に応じて第ｎ階層の画像ＷＩｎと呼ぶことにする。

図１に模式的に示すように、第１階層の画像ＷＩ１ １０４には、４つのサブバンドＬＬ１、ＨＬ１、ＬＨ１、ＨＨ１が生成される。第１階層の画像ＷＩ１ １０４にウェーブレット変換が施されて、第２階層の画像ＷＩ２ １０６が生成される。ここで、２回目以降のウェーブレット変換は、直前の階層の画像のうちＬＬサブバンド成分に対してのみ施される。したがって、第２階層の画像ＷＩ２ １０６においては、第１階層の画像ＷＩ１のＬＬ１サブバンドが、４つのサブバンドであるＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２に分解される。ウェーブレット変換器は、このフィルタリングを所定の回数実行し、各サブバンドのウェーブレット変換係数を出力する。この後、画像符号化装置は、量子化その他の処理を施して、最終的に符号化画像データＣＩ（Coded Image）を出力する。

説明の簡単のために、この例では、画像符号化装置は、原画像ＯＩに対してウェーブレット変換を３回施すものとする。したがって、例えば、原画像ＯＩ １０２が１４４０×９６０ピクセルであったとすると、第１階層の画像ＷＩ１ １０４のＬＬ１サブバンドのサイズは７２０×４８０、第２階層の画像ＷＩ２ １０６のＬＬ２サブバンドは３６０×２４０、第３階層の画像ＷＩ３ １０８のＬＬ３サブバンドのサイズは１８０×１２０である。

階層化された画像について注意すべきは、原画像ＯＩにおける低周波成分が、図１において、より左上に現れることである。図１の場合、第３階層の画像ＷＩ３の左上隅にあるＬＬ３サブバンドがもっとも低周波であり、逆に言えば、このＬＬ３サブバンドさえ得ることができれば、原画像ＯＩのもっとも基本的な性質を再現することができる。

符号化画像データストリームは、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００以外にも、例えば、１つのストリームにおいて高画質のＨＤストリームと低画質のＳＤストリームを併せ持ったような、ＳＶＣ（Scalable Video Codec）でもよいし、Ｍｏｔｉｏｎ−ＪＰＥＧでもよい。ＪＰＥＧでは、各フレームが離散コサイン変換によって得られたＤＣＴ（Discrete Cosine Transform）係数のうち、低次項の係数から送信されてくる方式があり、どの次数の項の係数まで使用して復号するかによって画質を選択することができる。これらの規格によれば、空間解像度を階層的に符号化することができる。

上記の例は、周波数分割型の符号化により階層化した例である。この点、近似精度向上型の符号化により階層化してもよい。即ち、ＤＣＴ係数やウェーブレット係数の上位ビットからの復号ビット数を調整することによっても、異なる画質の復号が可能になる。また、ＭＰＥＧ２では、上記空間解像度に加えて、フレーム数の調整による時間解像度を階層的に符号化することができる。

図２は、符号化画像データストリームのデータ構造の一例を示す。図２中のヘッダは、ストリームヘッダを示す。このヘッダ領域の自由な領域に、符号側は後述する著作権レベル情報を付加することができる。各フレームにも、図示しないフレームヘッダが付されており、復号に必要な情報などが記述される。なお、当該著作権レベル情報をフレームヘッダに付加してもよい。例えば数フレームごとに付加するなど、フレーム群の任意のフレームに付加することができる。

上述したように、周波数分割をして階層的な符号化画像データＣＩを生成した場合、各フレームのデータ領域の先頭から、低周波数成分、中周波数成分、高周波成分の順番でデータが記述される。なお、直流成分まで分割する方式を採用した場合、低周波成分の前に直流成分のデータが記述される。各フレームの前半部分だけを用いても、内容を把握可能な画像を再生することはできるが、低画質の画像となる。後半部分まで含めて再生するにしたがって、しだいに高画質の画像となっていく。このように、階層化された符号化画像データストリームは、高画質の画像を再生するに必要な画像データ領域と、その領域に重なる形態で低画質の画像を再生するに必要な画像データ領域を併せ持つ。したがって、一つの符号化画像データストリームから画質の異なる複数の画像を再生することができる。

図３は、著作権レベル情報の一例を示す。著作権レベル情報は、符号化画像データＣＩを使用するユーザに許諾する著作権レベルを管理するための情報である。符号化画像データＣＩの利用を全面的に許可するか禁止するかの二者択一的な管理ではなく、用途や画質、それらの組み合わせなど、その利用態様ごとに個別に管理する。図３では、符号化画像データＣＩに付加すべき著作権レベル情報をテーブルで表現する。横軸は当該符号化画像データＣＩの用途を示し、縦軸はそれぞれの用途に応じた許諾画質レベルを示す。

用途の一態様である表示は、低画質では無制限に許可される。中画質および高画質では、スクランブル表示など視聴を妨げるためのノイズが付加される。したがって、中画質および高画質での表示は実質的に制限される。なお、このノイズは、ユーザによる料金支払いなど所定の条件が満たされた場合、重畳されなくなる。初期表示は、表示開始から一定期間についてノイズが重畳されて視聴が困難となるはずの画像を、ノイズが付加されない通常の画面として表示する機能を示す。図３では、高画質について１分間、中画質について３０秒間、初期表示を行う。その後はノイズが重畳された画像となる。

送信は、当該符号化画像データＣＩが復号された機器から他の機器へ送信する機能を示す。図３では、すべての画質について送信が無制限に許可される。複製は、高画質では禁止され、低画質および中画質では無制限に許諾される。編集は、中画質および高画質では禁止され、低画質では無制限に許諾される。この編集には、デジタルテレビジョン放送により受信した符号化画像データからコマーシャル部分をカットするような編集が含まれてもよい。その場合、符号化画像データを中画質で複製することはできるが、コマーシャル部分をカットして複製することはできない。

画像提供側は、このようなテーブル化されたプロファイルをユーザごとに管理し、当該プロファイルの各項目を適宜更新することができる。符号化画像データＣＩをユーザ側に有料で提供している場合、ユーザ側の支払う料金やコース設定などにより、異なるプロファイルを割り当てることができる。プロファイルが異なれば、利用できる用途や、その用途に応じた許諾画質レベルが異なる。また、プロファイルは、ユーザごとではなく地域ごとや時間ごとに生成してもよい。例えば、時間ごとのプロファイルを生成すると、ユーザの画像コンテンツの利用に制限時間を設けることもできる。ユーザ側の装置で、ある期間を過ぎるとプロファイルが切り替わる構成をとれば、その期間後にすべてのコンテンツ利用ができなくなる処理ではなく、許諾画質レベルを落としたり、用途を制限する形の時間制限も設定することができる。

次に、上述したような階層化された符号化画像データストリームを復号する画像処理装置２００について説明する。図４は、本発明の実施形態における画像処理装置２００の構成を示す。画像処理装置２００の構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた復号機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

画像処理装置２００は、復号ブロック２５０を備える。復号ブロック２５０は、ストリーム解析部２５２、算術復号部２５４、ビットプレーン復号部２５６、逆量子化部２５８、ウェーブレット逆変換部２６０、およびフレームバッファ２６２を備える。

ストリーム解析部２５２は、符号化画像データストリームＣＩを外部から取得し、そのデータストリームを解析する。符号化画像データストリームＣＩをネットワーク上からダウンロードして取得してもよいし、放送電波から取得してもよいし、それが記録された記録メディアから取得してもよい。また、当該符号化画像データＣＩのヘッダなどに著作権レベル情報が付加されている場合、それを読み出して著作権管理部３０に渡す。

算術復号部２５４は、ストリーム解析の結果、判明した復号すべきデータ列に対して算術復号を施す。ビットプレーン復号部２５６は、算術復号の結果、得られたデータを色コンポーネント毎にビットプレーンの形で復号する。逆量子化部２５８は、復号された量子化データを逆量子化する。ウェーブレット逆変換部２６０は、フレームバッファ２６２を利用して、逆量子化の結果得られた第ｎ階層の画像ＷＩ_ｎにウェーブレット逆変換を施す。符号化画像データＣＩに対して、ウェーブレット逆変換を施す毎に、より上位階層の画像が得られ、最上位階層まで復号すると、復号画像データＤＩ（Decoded Image）を得ることができる。

復号ブロック２５０は、フレームバッファ２６２に展開された画像データを、複数の階層について記憶部３４に出力する。例えば、第１階層から最上位階層までのすべての階層について、それぞれ展開された画像データを出力してもよい。この場合、ウェーブレット逆変換を施すたびにフレームバッファ２６２内の画像データを記憶部３４に出力すれば、すべての階層の画像データを出力することができる。また、第１階層から最上位階層までの階層のうち二つ以上の階層について、それらの画像データを所定の設定に応じて記憶部３４に出力してもよい。例えば、第１階層から最上位階層までのうち、１階層おきに出力してもよい。

著作権管理部３０は、本画像処理装置２００で利用する符号化画像データＣＩの著作権を管理する。ストリーム解析部２５２から渡された著作権レベル情報、またはインターネットなどのネットワークを介して画像提供側のサーバから取得した著作権レベル情報ＣＬＩを管理する。これらの著作権レベル情報には、料金の支払いなどに応じて、それまで制限されていた利用を許可する情報が含まれてもよい。例えば、高画質での表示が制限されていた場合、それを許可する情報が含まれてもよい。著作権管理部３０は、ユーザが当該符号化画像データＣＩを利用する際に、その用途に応じた許諾画質を特定し、記憶部３４に記憶された画質の異なる複数の画像データを管理する。

著作権管理部３０は、ノイズ重畳部３２を備えてもよい。ノイズ重畳部３２は、スクランブル表示など、視聴を妨げるための表示を生成するために、復号された画像データに所定のノイズ成分を重畳する。復号ブロック２５０内のフレームバッファ２６２でウェーブレット逆変換を実施中にノイズ成分を重畳してもよいし、記憶部３４に記憶された画像データが送信部３６または表示部３８にさらに出力される際に重畳してもよい。なお、ノイズ重畳部３２は、著作権管理として、ある画質の画像表示を単に禁止する場合、設ける必要がない。また、本画像処理装置２００が著作権管理を行わない場合、著作権管理部３０を設ける必要がない。

記憶部３４は、復号ブロック２５０から出力された画像データを記憶する。本実施形態では、画質の異なる複数の画像データを記憶し、画質の異なる同内容の画像を同時に送信部３６や表示部３８に提供可能である。

図５は、本実施形態における記憶部３４のデータ構造を示す。記憶部３４は、単一の符号化画像データＣＩから復号された、画質の異なる複数の画像データを記憶する。図５では、高解像度画像データ３２２、中解像度画像データ３２４および低解像度画像データ３２６をそれぞれ独立した形態で記憶する。動画像の場合、各領域の画像データは順次更新されていくが、実質的に同一場面の画像データがそれぞれ保持される。

送信部３６は、ＴＶ、ＰＣ、携帯電話機、ＰＤＡ（Personal Digital Assistance）などの端末に、有線または無線通信で記憶部３４に記憶された画像データを送信する。表示部３８は、記憶部３４に記憶された画像データを表示する。なお、本画像処理装置２００は、送信部３６および表示部３８の少なくとも一方を備えていればよい。

選択部４０は、送信部３６または表示部３８に記憶部３４から画像データを出力する場合に、記憶部３４内の複数の画像データから出力すべき画像データを選択する。選択部４０は、図示しない操作部からユーザの指示を受けて選択してもよいし、所定のスペック情報を基に選択してもよい。当該スペック情報には、表示部３８の解像度や送信先のディスプレイの解像度、復号ブロック２５０の演算速度やメモリ容量などが含まれうる。例えば、選択部４０は、送信先端末のディスプレイの解像度を予め取得しておき、その解像度以内でかつ最も高い解像度の画像データを自動的に選択することができてもよい。

次に、本実施形態における画像処理装置２００の動作例について説明する。本画像処理装置２００は、画質の異なる複数の画像データを記憶部３４に保持しているため、以下に説明するような種々のアプリケーションを実現することができる。

まず、本画像処理装置２００は、画質の異なる同一内容の画像を実質的に同時に表示することができる。図６は、画質の異なる同一内容の画像をマルチウィンドウで表示した画面を示す。図６では、高解像度画像データ３２２、中解像度画像データ３２４および低解像度画像データ３２６から生成された三つの高解像度画像３４２、中解像度画像３４４、および低解像度画像３４６が重ねられて一画面に表示されている。ユーザは、表示部３８に表示された画質の異なる複数の画像のうち一つを表示するよう選択することができる。選択部４０は、ユーザにより選択された画像を表示するための画像データだけを記憶部３４から表示部３８に出力するよう制御する。

図示しないサイズ変更部は、ユーザの指示に応じて、選択された画像データを拡大または縮小してもよい。ただ、元々低解像度の画像データを拡大しても、ブロックノイズが発生するだけで画質が向上するわけではない。なお、図６に示すような画像選択画面には、ユーザ操作によりいつでも遷移できるようにしてもよい。

このような構成では、中解像度の画像を視聴していたユーザがもっと迫力のある画面で視聴するために、高解像度の画像に切り替えるといった処理も可能である。また、表示する画質に応じて異なる料金を徴収するアプリケーションなどにも利用可能である。単位時間あたりの表示に対する料金が画質に応じて異なる設定とすれば、例えば、低画質での表示を低料金または無料にし、高画質での表示を比較的高額に設定すれば、ユーザはストーリーを追えればよい場面では低画質の画像を選択し、クライマックスでは高画質の画像を選択するといった視聴方法をとることもできる。これを実現する場合、時間監視部を設ければよい。図示しない時間監視部は、選択部４０を監視することにより、ユーザがいずれの画質の画像をどれだけの時間視聴したかを視聴時間情報として記録する。そして、視聴終了後に画像提供側のサーバなどに当該視聴時間情報を送信してやれば、画像提要側はそれを基に、ユーザに請求すべき料金を算出することができる。

また、本画像処理装置２００は、画質の異なる同一内容の画像を実質的に同時に表示する場合、一つ以上の画像を、視聴を妨げるためのノイズが重畳されたものとすることができる。図７は、ノイズが重畳された画像を含む、画質の異なる同一内容の画像をマルチウィンドウで表示した画面を示す。図７では、高解像度画像データ３２２から生成された高解像度画像３４２にはスクランブルがかかっている。上述したように、著作権管理部３０は、取得した著作権レベル情報に応じて、画像提供側が著作権管理を行っている画質の画像に対してノイズを重畳することができる。また、時間限定で画面上のスクランブルを解除するといった制御も可能である。例えば、表示開始から数十秒間、管理すべき画質の画像を通常通り表示させ、その後、スクランブルが重畳された画像を表示するといった制御が可能である。ユーザは、ノイズが重畳されている画像からノイズを外してその画像を視聴したい場合、その画像を選択し、料金の支払いなど所定の手続きを行うことにより、ノイズを外すことができる。

また、本画像処理装置２００は、同一内容の画像を実質的に同時に、複数の端末に送信することができる。このような使用方法により、本画像処理装置２００をホームサーバとして機能させることができる。その際、異なる画質の画像を端末ごとに送信することができる。また、複数の端末の一つ以上にノイズが重畳された画像を送信することもできる。どの画質の画像をどの端末に送信するかは、ユーザ操作により指定することができる。また、選択部４０が送信先端末のスペック情報を基に、最適な画質の画像を自動的に送信してもよい。例えば、携帯端末など表示領域が狭い端末に対して、自動的に低解像度画像データを送信してもよい。ユーザは、画像処理装置２００から携帯端末に画像データを容易に送信させることができ、外出時にも画像を視聴することができる。例えば、家のＴＶで視聴していたコンテンツの続きを携帯端末を用いて外で視聴することができる。

以上説明したように本実施形態によれば、画像提供側およびその画像を利用するユーザ側双方に利益となる柔軟な画像提供を実現することができる。すなわち、画質の異なる同一内容の画像データを記憶部に保持することから、それらの画像データをリアルタイムに利用して種々の処理を実現することができる。例えば、画質の異なる複数の画像をマルチウィンドウで表示したり、異なる画質の画像をそれぞれ別の端末に実質的に同時に送信することができる。画像提供側は、このような機能を利用して、多様な販売手法や販売促進手法を用いることができる。

また、画質や用途ごとに著作権管理を行うことにより、画像の利用が許可されるか禁止されるかという二者択一的な選択ではなく、画像提供側の著作権保護の要求と、ユーザ側の利用要求とのバランスを柔軟にとることができる。

以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施形態において、周波数分割型の階層化を説明した。この点、近似精度向上型の階層化を用いてもよい。その場合、ウェーブレット変換係数のビット列のうち、所定数の下位ビットを破棄することにより、種々の画質レベルの画像を復号することができる。即ち、著作権管理部３０がビットプレーン復号部２５６に変換するビット数を指定することにより、画質レベルを調整することができる。

この階層化方式を用いると、画像の部分単位で画質に差を設けることができる。その場合、図３に示した著作権レベル情報を管理しているテーブルの個々のプロファイルを、用途、画質レベルの２つのパラメータで記述するだけでなく、用途、画質、画像部分の３つのパラメータで記述することができる。また、画質、画像部分の２つのパラメータで記述することもできる。この場合、画像提供側は、上述した実施形態より、さらに柔軟に著作権を管理することができる。

また、異なる画質は、解像度だけではなく、圧縮率や色数を階層化しても実現することができる。圧縮率は、ＪＰＥＧ２０００のレイヤー機能を使用すれば階層化することができる。カラー画像は輝度成分と色差成分とで表されるが、色差成分に対して、上述したような階層化手法を用いることもできる。

画像符号化処理の手順を示す図である。 符号化画像データストリームのデータ構造の一例を示す図である。 著作権レベル情報の一例を示す図である。 本発明の実施形態における画像処理装置の構成を示す図である。 本実施形態における記憶部のデータ構造を示す図である。 画質の異なる同一内容の画像をマルチウィンドウで表示した画面を示す図である。 ノイズが重畳された画像を含む、画質の異なる同一内容の画像をマルチウィンドウで表示した画面を示す図である。

符号の説明

３０ 著作権管理部、 ３２ ノイズ重畳部、 ３４ 記憶部、 ３６ 送信部、 ３８ 表示部、 ４０ 選択部、 ２００ 画像処理装置、 ２５０ 復号ブロック、 ２５２ ストリーム解析部、 ２５４ 算術復号部、 ２５６ ビットプレーン復号部、 ２５８ 逆量子化部、 ２６０ ウェーブレット逆変換部、 ２６２ フレームバッファ。

Claims (11)

1. 複数の画質で復号可能な状態で多重化された符号化画像データを取得し、画質の異なる少なくとも二つ以上の画像が生じるよう前記符号化画像データを復号する復号部と、
   所定の処理に対応すべく、復号された複数の画像データを記憶する記憶部と、
   を備えることを特徴とする画像処理装置。
2. 複数の画質で復号可能な状態で多重化された符号化画像データを取得し、復号可能な複数の画質で前記符号化画像データを復号する復号部と、
   所定の処理に対応すべく、復号された複数の画像データを記憶する記憶部と、
   を備えることを特徴とする画像処理装置。
3. 前記復号部は、復号可能なすべての画質で前記符号化画像データを復号することを特徴とする請求項１または２に記載の画像処理装置。
4. 設定された著作権管理情報に応じて、前記記憶部に記憶された複数の画像データについて、著作権管理を行う著作権管理部をさらに備えることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 前記著作権管理部は、前記記憶部に記憶された複数の画像データのうち、少なくとも一つにノイズ成分を加えることを特徴とする請求項４に記載の画像処理装置。
6. 前記記憶部に記憶された複数の画像データのうち、選択された画像データを所定の端末に送信する送信部をさらに備えることを特徴とする請求項１から５のいずれかに記載の画像処理装置。
7. 前記送信部は、複数の端末のそれぞれに、画質の異なる画像データを並列的に送信することを特徴とする請求項６に記載の画像処理装置。
8. 請求項１から７のいずれか１項に記載の画像処理装置を備え、
   それぞれ画質の異なる複数の画像を表示する表示部を含むことを特徴とする画像表示装置。
9. 前記表示部は、設定された著作権管理情報に応じて画像ごとに著作権を個別に管理されながら、画質の異なる複数の画像を表示することを特徴とする請求項８に記載の画像表示装置。
10. 前記表示部は、いずれかの画質の画像をユーザに選択させるべく、マルチウインドウで画質の異なる複数の画像を表示することを特徴とする請求項８または９に記載の画像表示装置。
11. 複数の画質で復号可能な状態で多重化された符号化画像データから復号された、それぞれ画質の異なる複数の画像を表示することを特徴とする画像表示方法。

Images