JP2005286473A - 画像処理装置 - Google Patents

Abstract

【課題】 符号化画像データストリームを解析し、復号画像において複数の画像領域が異なる画質となるよう復号する。
【解決手段】 画像処理装置３００には、符号化画像データストリームが入力される。領域指定ユニット３２０は、復号ユニット３１０によって復号され表示された動画像中に、ユーザにより指定される注目領域に関する処理を実行する。判定部５２は、注目領域の画質を向上させたとき、復号処理全体の処理量が所定のしきい値を超えるか否かを判定する。画質指示部５４は、判定部５２による判定の結果に応じて注目領域の画質の向上の許否を決定する。復号ユニット３１０は、指定された注目領域とそれ以外の通常領域との画質に差をつけて画像を復号し、動画像データを出力する。
【選択図】図７

Description

この発明は、映像ストリームを再生する装置に関する。

Ｍｏｔｉｏｎ−ＪＰＥＧ２０００は、ＭＰＥＧ（Motion Picture Coding Experts Group）などの動画符号化仕様と比べてフレーム相関が使えないため、圧縮率では劣るものの、フレーム単位での編集機能、可逆符号化機能を有している点で優れており、大きな可能性を秘めていると言える。

このＪＰＥＧ２０００の特徴を活用する技術の例として、特許文献１には、画像復号の各段階において経過時間と制限時間を比較し、必要に応じて復号処理を簡略化する技術が開示されている。これによると、比較的小さな規模の構成で、比較的高い画質の画像を復号することができるとしている。
特開２００２−３２５２５７号公報

今後、ＪＰＥＧ２０００を利用した映像コンテンツの配信や活用が盛んに行われるものと期待される。配信される映像のうち、例えば、監視カメラのように、その一部のみ高画質が必要であるが、そのほかの領域にはさほどの画質を必要としないような場合がある。また、ユーザにより指定された領域を高画質化したとき、その処理量の増加が画像処理装置の能力を超えてしまい、コマ落ち等を生じてしまうことがある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、復号処理の能力を超えない範囲で画質を調整する技術の提供にある。

本発明のある態様は、画像処理装置に関する。この装置は、画面上の複数の領域の画質に差をつけて表示するよう動画像データを復号し、復号処理全体の処理量が所定の値を超えないように前記複数の領域の画質をそれぞれ調整する。この態様によれば、画面上の複数の領域の画質を異ならせて動画像を表示する際の処理量を一定値以下に抑えることができる。

本発明の別の態様も、画像処理装置に関する。この装置は、画面に対して注目領域を指定する領域指定部と、注目領域とそれ以外の通常領域との画質に差をつけて画像を復号し、動画像データを出力する復号部と、を備える。ここで、「注目領域」とは、ユーザが画像中で解像度を上げて再生したい領域のことをいい、ポインティングデバイス等の入力装置を使用して指定される。この態様によれば、ユーザにより指定された注目領域だけを所望の画質で再生することができる。

復号部は、復号処理全体の処理量が所定のしきい値を超えないように、前記注目領域と前記通常領域の画質をそれぞれ調整するようにしてもよい。あるいは、復号部は、前記注目領域の画質を向上させる一方、前記通常領域の画質を低下させてもよい。これによると、画像処理装置の処理量を増やすことなく、ユーザの関心のある注目領域を高画質に再生することができる。

領域指定部は、前記注目領域の画質を向上させたとき、復号処理全体の処理量が所定のしきい値を超えるか否かを判定する判定部と、判定の結果に応じて前記注目領域の画質の向上許否を決定する画質指示部と、を含んでもよい。これによると、復号処理量が増加して画像処理装置の処理能力を上回りそうなときには、注目領域の画質の向上を許可しないので、処理量が画像処理装置の上限処理能力を上回ることで生じるコマ落ちの発生を回避することができる。

代替的に、領域指定部は、前記注目領域の画質を向上させる画質指示部と、注目領域の画質を向上させることにより、復号に関する処理量が所定のしきい値を超えるか否かを判定する判定部と、を含んでもよい。この場合、前記画質指示部は、判定部による判定の結果、前記処理量がしきい値を超えることが判明したとき、通常領域の画質を低下させるようにしてもよい。これによると、注目領域の復号化処理量を増やして高画質化するとともに、その分、通常領域の復号化処理量を減じることによって、画像処理装置全体の処理量を上限処理能力以下にすることができる。

画質指示部は、前記処理量がしきい値を超えることが判明したとき、ユーザに対し通常領域の画質が低下することを警告する表示をするようにしてもよい。こうすると、ユーザは、通常領域が低画質になることを予め了解することができる。

画質指示部は、前記処理量がしきい値を超えることが判明したとき、ユーザに対し前記注目領域の画質の向上を実行するか否か問い合わせる表示をするようにしてもよい。これによって、ユーザは重要度に応じて注目領域の画質向上をあえて実行すべきかどうかを判断することができる。

なお、前記符号化画像データは解像度に応じて多重化されていてもよい。一例では、符号化画像データは、フレーム毎に圧縮された画像が連続的に送信されるＭｏｔｉｏｎ−ＪＰＥＧ２０００に準拠したデータである。これによると、符号化画像データが解像度に応じて多重化されているので、復号過程において生じる中間の画像を取り出して低解像度の画像として用いることが容易となる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、画面上の複数の領域の画質に差をつけて表示する際に、復号処理の能力を超えない範囲で画質を調整することができる。

本発明は、解像度または画質の異なる動画像を符号化画像データストリームから生成する技術に関する。以下、本発明の好適な実施の形態を説明する。実施の形態では、画像処理としてＭｏｔｉｏｎ−ＪＰＥＧ２０００に準拠した符号化画像データストリームを復号する画像処理装置を例として考える。

初めに、図１を参照して、動画像をＭｏｔｉｏｎ−ＪＰＥＧ２０００方式により符号化する方法について簡単に説明する。図示しない画像符号化装置は、動画像の各フレームをフレーム単位で連続的に符号化して、動画像の符号化データストリームを生成する。符号化処理の開始に当たり、動画像の１フレームに相当する原画像ＯＩ（Original Image）１０２がフレームバッファに読み込まれる。フレームバッファに読み込まれた原画像ＯＩは、ウェーブレット変換器により階層化される。

ＪＰＥＧ２０００におけるウェーブレット変換器は、Daubechiesフィルタを利用する。このフィルタは、画像のｘ、ｙそれぞれの方向において同時にハイパスフィルタおよびローパスフィルタとして作用し、ひとつの画像を４つの周波数サブバンドへ分割する。これらのサブバンドは、ｘ、ｙの両方向において低周波成分を有するＬＬサブバンドと、ｘ、ｙのいずれか一方向において低周波成分を有し、かつ他方向において高周波成分を有するＨＬサブバンドおよびＬＨサブバンドと、ｘ、ｙの両方向において高周波成分を有するＨＨサブバンドである。また、このフィルタは、ｘ、ｙの両方向について画素数を１／２に軽減する作用も併せ持つ。つまり、各サブバンドの縦横の画素数は処理前の画像のそれぞれ１／２であり、一回のフィルタリングで解像度すなわち画像サイズが１／４のサブバンド画像が得られる。本明細書においては、原画像ＯＩに対して１回ウェーブレット変換を受けた画像を第１階層の画像ＷＩ_１と呼び、以下、ウェーブレット変換を受けた回数に応じて第ｎ階層の画像ＷＩ_ｎと呼ぶことにする。

図１に模式的に示すように、第１階層の画像ＷＩ_１ １０４には、４つのサブバンドＬＬ_１、ＨＬ_１、ＬＨ_１、ＨＨ_１が生成される。第１階層の画像ＷＩ_１ １０４にウェーブレット変換が施されて、第２階層の画像ＷＩ_２ １０６が生成される。ここで、２回目以降のウェーブレット変換は、直前の階層の画像のうちＬＬサブバンド成分に対してのみ施される。したがって、第２階層の画像ＷＩ_２ １０６においては、第１階層の画像ＷＩ_１のＬＬ_１サブバンドが、４つのサブバンドであるＬＬ_２、ＨＬ_２、ＬＨ_２、ＨＨ_２に分解される。ウェーブレット変換器は、このフィルタリングを所定の回数実行し、各サブバンドのウェーブレット変換係数を出力する。画像符号化装置は、この後量子化その他の処理を施して、最終的に符号化画像データＣＩ（Coded Image）を出力する。

説明の簡単のために、この例では、画像符号化装置は、原画像ＯＩに対してウェーブレット変換を３回施すものとする。したがって、例えば、原画像ＯＩ １０２が１４４０×９６０ピクセルであったとすると、第１階層の画像ＷＩ_１ １０４のＬＬ_１サブバンドのサイズは７２０×４８０、第２階層の画像ＷＩ_２ １０６のＬＬ_２サブバンドは３６０×２４０、第３階層の画像ＷＩ_３ １０８のＬＬ_３サブバンドのサイズは１８０×１２０である。

階層化された画像について注意すべきは、原画像ＯＩにおける低周波成分が、図１において、より左上に現れることである。図１の場合、第３階層の画像ＷＩ_３の左上隅にあるＬＬ_３サブバンドがもっとも低周波であり、逆に言えば、このＬＬ_３サブバンドさえ得ることができれば、原画像ＯＩのもっとも基本的な性質を再現することができる。この知見が、以下の実施形態で利用される。

符号化データストリームは、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００以外にも、例えば、１つのストリームにおいて高画質のＨＤストリームと低画質のＳＤストリームを併せ持ったようなＳＶＣ（Scalable Video Codec）でもよいし、Ｍｏｔｉｏｎ−ＪＰＥＧでもよい。ＪＰＥＧでは、各フレームがフーリエ係数の低次項から送信されてくるので、どの次数の項まで使用して復号するかによって画質を選択することができる。

第１の実施形態．
第１の実施形態は、解像度によって階層化された符合化画像データストリームを受け取り、複数の表示装置に異なる解像度の動画像を提供することを可能にする画像処理装置である。

図２は、第１の実施形態に係る画像処理装置１００の構成を示す。この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた復号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

画像処理装置１００の復号ユニット１５０には、符号化画像データＣＩのストリームが入力される。復号ユニット１５０は、符号化画像データＣＩを受け取り、そのデータストリームを解析するストリーム解析部１０と、解析の結果判明した復号すべきデータ列に対して算術復号を施す算術復号部１２と、その結果得られたデータを色コンポーネント毎にビットプレーンの形で復号するビットプレーン復号部１４と、復号された量子化データを逆量子化する逆量子化部１８と、逆量子化の結果得られた第ｎ階層の画像ＷＩ_ｎにウェーブレット逆変換を施すウェーブレット逆変換部２０を含む。符号化画像データＣＩに対してウェーブレット逆変換部２０によりウェーブレット逆変換を施す毎に、より上位階層の画像が得られ、最終的に復号画像データＤＩ（Decoded Image）を得ることができる。

本実施形態は、ウェーブレット逆変換部２０において復号画像ＤＩを得るウェーブレット逆変換の途中で生じる第ｎ階層の画像を、低解像度フレームバッファ３０に出力する点に特徴がある。画像処理装置１００は、低解像度の動画像を表示する低解像度表示装置３６および高解像度の動画像を表示する高解像度表示装置４６に対して、それぞれの解像度にあった画像データを提供するように動作する。そのために、メモリ制御部２２は、低解像度表示装置３６および高解像度表示装置４６で表示する動画像の解像度情報を取得し、符号化画像ＣＩに対して何回ウェーブレット逆変換を施したものがそれぞれの解像度に相当するかを判断して、その結果をウェーブレット逆変換部２０に伝える。ウェーブレット逆変換部２０は、この情報にしたがって、ウェーブレット逆変換処理の途中における第ｎ階層の画像ＷＩ_ｎのＬＬサブバンドか、または完全な復号結果である復号画像データＤＩを、低解像度フレームバッファ３０または高解像度フレームバッファ４０に書き込むようにする。この動作については、図５を参照して後述する。なお、低解像度フレームバッファ３０と高解像度フレームバッファ４０は便宜的な区別であり、必ずしも異なるバッファサイズを有している必要はない。

低解像度フレームバッファ３０に書き込まれた画像データは、低解像度表示回路３２によって表示信号に生成され、低解像度表示装置３６に表示される。同様に、高解像度フレームバッファ４０に書き込まれた画像データは、高解像度表示回路４２によって表示信号に生成され、高解像度表示装置４６に表示される。このように、画像処理装置１００によれば、符号化画像データストリームを利用して、解像度の異なる動画像を複数の表示装置に同時に表示することが可能となる。

低解像度表示回路３２または高解像度表示回路４２のいずれか、またはその両方が、解像度変換部３４、４４を備えていてもよい。これによって、復号ユニット１５０におけるウェーブレット逆変換処理で得られる解像度が、各表示装置３６、４６に表示させる動画像の解像度と異なるものであったときに、最も近い解像度を持つ階層の画像まで復号し、その後、解像度変換部３４、４４によって、所望の解像度に変換することができる。これら解像度変換部３４、４４はオプショナルなものであり、ウェーブレット逆変換処理で得られる解像度以外の解像度を有する動画像を表示することを望まないのであれば、低解像度表示回路３２または高解像度表示回路４２は、それぞれ解像度変換部３４、４４を備えていなくてもよい。

図３は、復号ユニット１５０における処理手順を示す。ここでは、上述したように、原画像ＯＩに対して３回のウェーブレット変換を施した符号化画像データのストリームが画像処理装置１００に与えられたものとして説明する。

まず、画像処理装置１００に入力された符号化画像データＣＩは、ストリーム解析部１０、算術復号部１２、ビットプレーン復号部１４および逆量子化部１８の処理を経て、第３階層の画像ＷＩ_３ １２２の状態に戻る。続いて、ウェーブレット逆変換部２０による第１回目のウェーブレット逆変換により、第２階層の画像ＷＩ_２ １２４が得られ、２回目のウェーブレット逆変換によって第１階層に相当する画像ＷＩ_１ １２６が得られ、最後に、３回目のウェーブレット逆変換によって復号画像ＤＩ １２８が得られる。

ところで、上述したように、各階層のＬＬサブバンドは、その階層の画像の中での低周波数成分を抽出したものであり、さらにサイズが直前の階層の画像の１／４になっていることから、これらは原画像ＯＩに比べて低解像度の画像ということができる。したがって、一例として、２回目のウェーブレット逆変換によって得られた第１階層の画像ＷＩ_１ １２６のＬＬ_１サブバンド（７２０×４８０）を低解像度の画像データとして低解像度フレームバッファ３０に出力し、３回目のウェーブレット逆変換によって得られた復号画像ＤＩ（１４４０×９６０）を高解像度の画像データとして高解像度フレームバッファ４０に出力することができる。ウェーブレット変換を施すことによって画像のｘ、ｙ方向はそれぞれサイズが１／２になるのであるから、画像符号化装置のウェーブレット変換器によって施されるウェーブレット変換の回数が多いほど、より多種類の解像度を有する動画像の表示に対応することができる。

図４は、各フレームから解像度の異なる動画像を生成することを説明する概念図である。メモリ制御部２２からの指令に基づいて、ウェーブレット逆変換部２０は、各符号化画像フレームに対して必要な復号処理を施して、低解像度の画像を低解像度フレームバッファ３０に出力し、高解像度の画像を高解像度フレームバッファ４０に出力する。そして、低解像度または高解像度の画像を所期のフレームレートで連続して出力することで、同一の符号化画像データストリームから低解像度または高解像度の動画像が形成される。

図５は、メモリ制御部２２の動作を説明するフローチャートである。まず、メモリ制御部２２は、低解像度表示装置３６および高解像度表示装置４６で表示する動画像の解像度情報を取得する（Ｓ１０）。代替的に、それぞれの表示装置で表示する動画像の解像度の情報をユーザに入力させるようにしてもよい。次に、メモリ制御部２２は、低解像度表示装置３６で表示する低解像度画像が、符号化画像ＣＩに対して第何階層のＬＬサブバンドが相当するかを判定する（Ｓ１２）。続いて、メモリ制御部２２は、高解像度表示装置４６で表示する高解像度画像が、第何階層の画像のＬＬサブバンドに相当するか、または、完全に復号した復号画像ＤＩに相当するのかを判定する（Ｓ１４）。そして、メモリ制御部２２は、ウェーブレット逆変換部２０に、それぞれＳ１２およびＳ１４で判定された階層の画像を得るウェーブレット逆変換処理が終了した時点で、サブバンド画像ＬＬまたは復号画像ＤＩを、低解像度フレームバッファ３０または高解像度フレームバッファ４０に書き込むように指令する（Ｓ１６）。当然であるが、画像処理装置から画像データを出力すべき表示装置が１つしかないような場合には、低解像度フレームバッファ３０または高解像度フレームバッファ４０のいずれか一方を使用すればよい。

先に述べたように、ＪＰＥＧ２０００では、ＬＬサブバンドの解像度は、原画像に対して縦１／２、横１／２ずつ減少していくので、所望の表示装置の解像度と一致する適切な解像度の画像が得られない場合もありえる。そこで、メモリ制御部２２は、Ｓ１２またはＳ１４において適切な解像度が得られないと判定した場合には、低解像度表示回路３２または高解像度表示回路４２にそれぞれ設けられている解像度変換部３４、４４に指令して、適宜解像度の補間処理を実行させるようにしてもよい。

また、画像処理装置１００は、フレームバッファの数を増加することによって、三台以上の表示装置にそれぞれ異なる解像度の動画像を表示させることもできる。例えば、上述の例を使用すれば、１回目のウェーブレット逆変換によって得られた第２階層の画像ＷＩ_２ １２４のＬＬ２サブバンド（３６０×２４０）を低解像度フレームバッファに、２回目のウェーブレット逆変換によって得られた第１階層の画像ＷＩ_１ １２６のＬＬ_１サブバンド（７２０×４８０）を中解像度フレームバッファに、３回目のウェーブレット逆変換によって得られた復号画像ＤＩ １２８（１４４０×９６０）を高解像度フレームバッファに、それぞれ出力させ、対応する表示回路によって低解像度、中解像度、高解像度の動画像を表示装置に表示させることができる。

以上説明したように、この第１の実施形態によれば、単一の符号化画像データストリームを使用して、解像度の異なる動画像を２つ以上の表示装置に同時に表示させることができる。従来は、目的とする解像度に応じてそのつど復号されていたのに対し、復号処理の途中の段階の画像をフレームバッファに出力させることで、単一の復号ユニットで複数の解像度の画像データを生成することができ、効率的である。

第２の実施形態．
図６は、第２の実施形態に係る画像表示装置２００の構成を示す。画像表示装置２００は、ディスプレイ、プロジェクタなどである高解像度の動画像を表示する第１の表示装置２２２と低解像度の動画像を表示する第２の表示装置２２４の２つの表示装置を備える。

処理ブロック２１０の画像デコーダ２１２は、ＣＰＵ２１４およびメモリ２１６と連携し、入力される符号化画像データストリームを連続的に復号する。画像デコーダ２１２は、第１の実施形態の画像処理装置１００の構成を持つ。そして、高解像度の画像データが表示回路２１８を介して第１の表示装置２２２に出力され、低解像度の画像データが表示回路２２０を介して第２の表示装置２２４に出力される。各画面には、画像デコーダ２１２により復号された画像データが所与のフレームレートで連続的に表示され、動画像が再生される。処理ブロック２１０は、無線または有線のネットワークの通信インタフェースを経由して符号化画像データストリームを取得してもよく、放送電波を受信する受信ブロックを経由して符号化画像データストリームを取得してもよい。

この画像表示装置２００により、例えば以下のような動作を実現することができる。
１．飛行機の機内上映
飛行機の機内において、キャビンの前方に大画面のスクリーンを、各シートの背面に個人用の小型の液晶ディスプレイを備えている場合、単一の符号化画像データストリームを準備するのみで、スクリーンと液晶ディスプレイの両方で動画像を再生することが可能となる。
２．プレゼンテーション
プレゼンテーション時に、単一の符号化画像データストリームを準備すれば、プロジェクタにより投影される大画面のスクリーンとＰＣの画面の両方に動画像を再生することが可能となる。
３．二画面携帯電話
メインディスプレイとサブディスプレイを有する携帯電話機に上記画面表示装置を組み込むことによって、単一の符号化画像データストリームを受信して、メインディスプレイとサブディスプレイの両方で動画コンテンツを再生させることが可能となる。

なお、画像表示装置２００は、目的に応じて、それぞれ解像度の異なる動画像を表示する表示装置を３つ以上備えることもできることはいうまでもない。

第３の実施形態．
第３の実施形態は、解像度または画質によって階層化された画像ストリームを復号して表示装置に表示する画像処理装置において、ユーザにより画像の一部の領域の画質を向上させるように指令されたときに、処理量が画像処理装置の最大能力を越えないように制御する画像処理装置である。

図７は、第３の実施形態に係る画像処理装置３００の構成を示す図である。画像処理装置３００は、符号化画像データＣＩのストリームが入力され、画像を復号する復号ユニット３１０と、ユーザにより画像中に指定される注目領域に関する処理を実行する領域指定ユニット３２０とを含む。復号ユニット３１０に含まれるストリーム解析部１０、算術復号部１２、ビットプレーン復号部１４、逆量子化部１８、ウェーブレット逆変換部２０は、第１の実施形態で述べたものと同様である。

復号ユニット３１０により復号された画像データは、表示回路６０によって表示装置６２に表示される。ユーザは、図示しないポインティングデバイス等の入力装置を使用して、画像中で画質を上げて再生したい領域（以下、これを「注目領域ＲＯＩ（Region of Interest）」と呼ぶ）を指定する。すると、領域指定ユニット３２０中の位置情報作成部５０は、注目領域ＲＯＩの位置を示すＲＯＩ位置情報を作成する。このＲＯＩ位置情報は、注目領域ＲＯＩが矩形で指定された場合は、矩形領域の左上隅の画素の座標値と矩形領域の縦横の画素数で与えられる。ユーザによる注目領域ＲＯＩの指定が円などで行われた場合には、その外接長方形を注目領域と設定してもよい。注目領域は、原画像の中心領域などあらかじめ定まった領域に常に設定されるようにしてもよい。

判定部５２は、作成されたＲＯＩ位置情報に基づいて、注目領域を高画質化するのに必要なデータ処理の増加量を計算し、現時点での処理量と加えた復号処理全体の処理量が、画像処理装置３００の最大処理能力以下に収まるか否かを判定する。画質指示部５４は、この判定結果に基づいて、注目領域の高画質化の許否、または注目領域以外の領域（以下、これを「通常領域」と呼ぶ）の低画質化を決定し、その指示をＲＯＩマスク生成部５６に出力する。この処理の詳細は、図１１または図１４を参照して後述する。

ＲＯＩマスク生成部５６は、位置情報作成部５０からのＲＯＩ位置情報をもとにして、ウェーブレット変換係数のうち注目領域に対応する部分を特定するためのＲＯＩマスクを生成する。生成されたＲＯＩマスクは、下位ビットゼロ置換部５８によって、前記ウェーブレット変換係数のビット列のうち、ゼロ値に置換する下位ビット数を調整するために使用される。これを逆ウェーブレット変換することで、注目領域を高画質化した画像を得ることができる。これについては後述する。

ここで、図８（ａ）〜（ｃ）を参照して、ＲＯＩマスク生成部５６により、ＲＯＩ位置情報をもとにＲＯＩマスクを生成する方法について説明する。図８（ａ）に示すように、画像処理装置３００によって復号され表示された画像８０上に、ユーザによって注目領域９０が指定されたとする。ＲＯＩマスク生成部５６は、画像８０上に選択された注目領域９０を復元するために必要なウェーブレット変換係数を各サブバンドにおいて特定する。

図８（ｂ）は、画像８０を１回だけウェーブレット変換することにより得られる第１階層の変換画像８２を示す。第１階層の変換画像８２は、第１レベルの４つのサブバンドＬＬ_１、ＨＬ_１、ＬＨ_１、ＨＨ_１から構成される。ＲＯＩマスク生成部５６は、画像８０の注目領域９０を復元するために必要な第１階層の変換画像８２上のウェーブレット変換係数（以下、これを「ＲＯＩ変換係数」と呼ぶ）９１〜９４を第１レベルの各サブバンドＬＬ_１、ＨＬ_１、ＬＨ_１、ＨＨ_１において特定する。

図８（ｃ）は、図８（ｂ）の変換画像８２のサブバンドＬＬ_１をさらにウェーブレット変換することにより得られる第２階層の変換画像８４を示す。第２階層の変換画像８４は、同図のように、第１レベルの３つのサブバンドＨＬ_１、ＬＨ_１、ＨＨ_１の他、第２レベルの４つのサブバンドＬＬ_２、ＨＬ_２、ＬＨ_２、ＨＨ_２を含む。ＲＯＩマスク生成部５６は、第１階層の変換画像８２のサブバンドＬＬ_１におけるＲＯＩ変換係数９１を復元するために必要な第２階層の変換画像８４上のウェーブレット変換係数、すなわちＲＯＩ変換係数９５〜９８を第２レベルの各サブバンドＬＬ_２、ＨＬ_２、ＬＨ_２、ＨＨ_２において特定する。

同様にして、ウェーブレット変換の回数だけ注目領域９０に対応するＲＯＩ変換係数を各階層において再帰的に特定していくことにより、最終階層の変換画像において、注目領域９０を復元するために必要なＲＯＩ変換係数をすべて特定することができる。ＲＯＩマスク生成部５６は、この最終的に特定されたＲＯＩ変換係数の位置を最終階層の変換画像上で特定するためのＲＯＩマスクを生成する。たとえば、ウェーブレット変換を２回だけ行う場合には、図８（ｃ）において斜線で示した７個のＲＯＩ変換係数９２〜９８の位置を特定することのできるＲＯＩマスクが生成される。

次に、図９、図１０を参照して、注目領域を高画質化する方法について説明する。なお、ここでは、図９（ａ）に示すように、符号化画像データＣＩがＭＳＢ（Most Significant Bit）からＬＳＢ（Least Significant Bit）までの５ビットプレーンで構成されているものとする。

画像処理装置３００は、ユーザにより注目領域が指定されていない通常時には、処理負荷を減らすために、ウェーブレット変換係数の下位のビットプレーンを適宜破棄して再生する簡易再生を行っている。このときの画質を「中画質」と呼ぶことにする。この場合、下位ビットゼロ置換部５８は、図９（ｂ）に示すように、ビットプレーン復号部１４により復号されたビットプレーンのうち、例えば下位２ビット分をゼロに置換して、３ビットプレーンだけ復号されるようにする。この状態から注目領域だけを高画質とするためには、注目領域についてだけ、より多数のビットプレーンを復号するようにすればよい。

図１０（ａ）〜（ｃ）は、注目領域を高画質化する処理の一例を示す。図１０（ａ）に示すように、簡易再生時は、下位ビットゼロ置換部５８によってＬＳＢ側から下位２ビットがゼロ置換されている。ＲＯＩマスク生成部５６は、ユーザにより注目領域が指定されると、その注目領域に対応するＲＯＩマスクを生成する。その様子を、図１０（ｂ）の斜線で示す。そして、図１０（ｃ）に示すように、下位ビットゼロ置換部５８は、ＲＯＩマスクを参照して、ＲＯＩマスクされていない非ＲＯＩ部分の下位２ビットのみをゼロに置換したウェーブレット変換係数を生成する。

逆量子化部１８は、生成されたウェーブレット変換係数を逆量子化し、ウェーブレット逆変換部２０は逆量子化されたウェーブレット変換係数を逆変換する。これによって、注目領域ＲＯＩのみが高画質化された画像データが得られる。

続いて、図１１のフローチャートを参照して、判定部５２における処理を説明する。前提として、ユーザにより注目領域が指定されていない通常時には、上述の中画質で動画像が表示されているものとする。

まず、判定部５２は、位置情報作成部５０から注目領域のＲＯＩ位置情報を受け取る（Ｓ３０）。次に、ＲＯＩ位置情報から注目領域の面積（または、ピクセル数）を算出し、画像処理装置３００の全体の復号処理量Ｐを計算する（Ｓ３２）。

ここで、復号処理量Ｐは、（各画質の処理量）×（各画質の面積）の総和で表すことができる。低画質時の単位面積当たり処理量をｌ_Ｌ、中画質時の単位面積当たり処理量をｌ_Ｍ、高画質時の単位面積当たり処理量をｌ_Ｈとし、画像全体の面積をＳと表記すると、通常時の復号処理量は、
Ｐ＝ｌ_Ｍ・Ｓ （１）
となる。

ユーザにより指定された注目領域の面積をｓ_Ｈとし、この注目領域を高画質化したときの復号処理量Ｐは、
Ｐ＝ｌ_Ｈ・ｓ_Ｈ＋ｌ_Ｍ（Ｓ−ｓ_Ｈ） （２）
で計算することができる。

判定部５２は、式（２）で算出した復号処理量Ｐが、画像処理装置３００が１フレーム期間で処理できる上限処理能力Ｐ_maxを上回るか否かを判定する（Ｓ３４）。復号処理量Ｐが上限処理能力Ｐ_max以下であれば（Ｓ３４のＮＯ）、画質指示部５４は、注目領域の高画質化を許可する（Ｓ３６）。復号処理量Ｐが上限処理能力Ｐ_maxを上回っていれば（Ｓ３４のＹＥＳ）、高画質復号するだけの処理能力が画像処理装置３００に残っていないことになるので、画質指示部５４は注目領域の高画質化を許可しない（Ｓ３８）。

図１２（ａ）、（ｂ）は、図１１のフローチャートのＳ３４において、復号処理量Ｐが上限処理能力Ｐ_max以下であると判定されたときの画面の様子を模式的に示す。図中において、「Ｌ」は低画質の領域を、「Ｍ」は中画質の領域を、「Ｈ」は高画質の領域を示している。図１２（ａ）に示すように、画像全体を中画質で復号しているときに、ユーザが画面中に注目領域を指定すると、図１２（ｂ）に示すように、注目領域のみが高画質化（Ｈ）されて、他の通常領域は中画質（Ｍ）のままとなる。

以上説明したように、本実施形態の画像処理装置によれば、復号され表示されている画像中でユーザが高画質で再生したい注目領域を指定すると、画像処理装置の復号処理能力に余裕があるときには、注目領域が高画質化され、復号処理能力に余裕がないときには、注目領域は高画質化されない。

このように、注目領域が指定されると、通常領域は簡易再生と同程度の品質のまま、注目領域だけをより高い品質で再生することができる。これは、監視映像のように、平常時には高い品質を求めず、異常発生時にのみ注目箇所を高い品質で再生したい場合に特に有用である。

次に、注目領域を高画質化すると、画像処理装置３００の処理能力が不足する場合の処理の別の一例について、図１３（ａ）〜（ｃ）を参照して説明する。

図１３（ａ）に示すように、簡易再生時は、下位ビットゼロ置換部５８によってＬＳＢ側から下位２ビットがゼロ置換されているものとする。ＲＯＩマスク生成部５６は、ユーザにより注目領域が指定されると、その注目領域に対応するＲＯＩマスクを生成する。その様子を、図１３（ｂ）の斜線で示す。今度は、図１０（ｂ）の場合よりも注目領域の面積が多く、注目領域を高画質化すると、画像処理装置３００の処理能力が不足する。この場合、図１３（ｃ）に示すように、下位ビットゼロ置換部５８は、ＲＯＩマスクを参照して、ＲＯＩマスクされていない非ＲＯＩ部分について、下位２ビットでなく下位３ビットをゼロに置換したウェーブレット変換係数を生成するようにする。

そして、逆量子化部１８は、生成されたウェーブレット変換係数を逆量子化し、ウェーブレット逆変換部２０は逆量子化されたウェーブレット変換係数を逆変換する。これによって、注目領域ＲＯＩが高画質化され、通常領域が低画質化された画像データが得られる。このように、ＲＯＩマスクされた注目領域を高画質化、つまりビットプレーン数を増やした場合に、画像処理装置の処理能力が不足する場合は、ＲＯＩマスクされていない通常領域のビットプレーン数を減らすことによって、画像処理装置全体の処理量のバランスを取るようにする。

続いて、図１４のフローチャートを参照して、注目領域を高画質化すると画像処理装置３００の処理能力が不足する場合の判定部５２における処理を説明する。図１１の場合と同様に、ユーザにより注目領域が指定されていない通常時には、上述の中画質で動画像が表示されていることを前提とする。

注目領域の受け取り（Ｓ５０）、および画像処理装置３００全体の復号処理量Ｐの計算（Ｓ５２）は、図１１のＳ３０、Ｓ３２と同様である。判定部５２は、Ｓ５２で算出された復号処理量Ｐが、画像処理装置３００が１フレーム期間で処理できる上限処理能力Ｐ_maxを上回るか否かを判定する（Ｓ５４）。復号処理量Ｐが上限処理能力Ｐ_max以下であれば（Ｓ５４のＮＯ）、画質指示部５４は、注目領域の高画質化を許可する（Ｓ６４）。

復号処理量Ｐが上限処理能力Ｐ_maxを上回った場合、判定部５２は、
Ｐ＝ｌ_Ｈ・ｓ_Ｈ＋ｌ_Ｌ（Ｓ−ｓ_Ｈ） （３）
を満たす処理量ｌ_Ｌを計算し、通常領域の画質を決定する（Ｓ５６）。そして、画質指示部５４は、ユーザに対し、注目領域以外の通常領域の画質が低下することを認容するか否かの警告画面を表示装置に表示する（Ｓ５８）。ユーザが図示しない入力装置によってそのことを認容しない意思表示をした場合（Ｓ６０のＮＯ）、画質指示部５４は、注目領域の高画質化を許可しない（Ｓ６６）。ユーザが認容する意思表示をした場合（Ｓ６０のＹＥＳ）、画質指示部５４は、注目領域を高画質化するとともに、通常領域を低画質化する指示を出す（Ｓ６２）。これによって、復号処理量Ｐが上限処理能力Ｐ_max以下となるようにする。

図１５（ａ）、（ｂ）は、図１４のフローチャートのＳ６０において、ユーザが注目領域以外の通常領域の画質が低下することを認容したときの画面の様子を模式的に示す図である。図１５（ａ）に示すように、画像全体を中画質（Ｍ）で復号しているときに、ユーザが画面中に注目領域を指定すると、図１５（ｂ）に示すように、注目領域が高画質化（Ｈ）されるとともに、それ以外の通常領域が低画質化（Ｌ）される。

この実施例では、ユーザが高画質に再生したい注目領域を指定すると、その注目領域の復号処理量を増やして高画質化するとともに、その分、注目領域以外の通常領域の復号処理量を減じることによって、画像処理装置全体の処理量を上限処理能力以下にする。これによって、画像処理装置の処理量を増やすことなく、ユーザの関心のある領域を高画質に再生することができる。また、復号処理量が画像処理装置の能力を上回ることで生じるコマ落ちの発生を回避することができる。

さらに別の実施例として、ユーザによって注目領域が指定されたとき、注目領域の画質は中画質のまま維持して、注目領域以外の通常領域を低画質に低下させるようにしてもよい。この場合、下位ビットゼロ置換部５８は、非ＲＯＩ領域に対応するウェーブレット変換係数の下位ビットをゼロ置換することにより、相対的に注目領域の画質を通常領域よりも高くして復号することができる。この様子を、図１６に示す。図１６（ａ）に示すように、画像全体を中画質（Ｍ）で復号しているときに、ユーザが画面中に注目領域を指定すると、図１６（ｂ）に示すように、注目領域は中画質のまま、通常領域が低画質化（Ｌ）される。これによって、注目領域のみはっきりとした表示画面が得られるので、ユーザの主観品質が増加する。

以上の説明では、画質を高中低の３段階として説明したが、ゼロ置換する下位ビットの数に応じてそれ以上の画質段階があってもよい。

ユーザによる注目領域の指定は複数されてもよい。２つの注目領域が指定されたとき、画質指示部５４は、復号処理量に応じて、一方の注目領域は高画質化し、もう一方の注目領域はそのままの画質としてもよい。注目領域は、ユーザにより指定される代わりに、位置情報作成部５０により、人物や文字が写っている領域などの重要領域を自動的に抽出することにより設定されてもよい。

注目領域を高画質としたときの判定で、復号処理量Ｐが上限処理能力Ｐ_maxを上回ったとき、画質指示部５４は、復号ユニット３１０に対して、出力する動画像のフレームレートを低下させるように指令してもよい。これによって、画像処理装置全体の単位時間当たりの復号処理量が低下するので、時間解像度は低下するものの、注目領域の高画質化を達成することができる。

第４の実施形態．
図１７は、第４の実施形態に係る画像表示装置４００の構成図である。画像表示装置４００は、ディスプレイなどの表示装置に動画像を表示するものであり、一例として、テレビジョン受信機、監視カメラなどの表示制御部に相当する。

処理ブロック４１０内の画像デコーダ４１２は、ＣＰＵ４１４およびメモリ４１６と連携し、入力される符号化画像データストリームを連続的に復号する。画像デコーダ４１２は、第３の実施形態の画像処理装置３００の構成を持つ。なお、処理ブロック４１０は、無線または有線のネットワークの通信インタフェースを経由して符号化画像データストリームを取得してもよく、放送電波を受信する受信ブロックを経由して符号化画像データストリームを取得してもよい。

表示回路４１８は、処理ブロック４１０から復号画像を受け取り、表示装置４２０に出力する。表示装置４２０には、復号された画像フレームが連続的に表示され、動画が再生される。

ユーザは、ポインティングデバイスなどの入力装置４２４を用いて表示装置４２０に表示されている画像中の注目領域を指定したり、タッチパネルなどの接触方式のディスプレイデバイスを用いて注目領域を指定する。注目領域の情報は、インタフェース４２２を介して処理ブロック４１０に入力される。処理ブロック４１０は、注目領域の情報を受け取り、注目領域の画質を異ならせた復号画像を生成する。

この画像表示装置４００によれば、映画や監視カメラからの映像に対して、ユーザが選択した領域のみを高画質表示することができる。

第５の実施形態．
本発明の第５の実施形態は、解像度によって階層化された符号化画像データストリームを受け取り、各符号化フレームを復号ユニットにて連続的に復号して、低解像度の動画像を表示する表示装置と、高解像度の動画像を表示する表示装置の両方に動画像データを提供する画像表示装置において、いずれか一方の表示装置において、ユーザにより画像の一部の領域の画質を向上させるように指令されたときに、低解像度の動画像と高解像度の動画像の両方で画質の向上を実行する画像表示装置である。

図１８は、第５の実施形態に係る画像表示システム５００の構成を示す。表示回路２１８、２２０、第１の表示装置２２２および第２の表示装置２２４については、第２の実施形態と同様であるので、同一の符号を付して示してある。復号ユニット５１２および領域指定ユニット５１４は、図７に示した第３の実施形態における復号ユニット３１０および領域指定ユニット３２０と同様の構成をとる。

画像処理装置５１０の復号ユニット５１２は、入力される符号化画像データストリームを連続的に復号する。そして、高解像度の画像データがフレームバッファ５１６、表示回路２１８を介して高解像度の動画像を表示する第１の表示装置２２２に出力され、低解像度の画像データがフレームバッファ５１８、表示回路２２０を介して低解像度の動画像を表示する第２の表示装置２２４に出力される。この処理は、第１の実施形態に示した手順にしたがって実行される。そして、第１の表示装置２２２および第２の表示装置２２４には、復号された画像データが所与のフレームレートで連続的に表示され、動画像が再生される。画像処理装置５１０は、無線または有線のネットワークの通信インタフェースを経由して符号化画像データストリームを取得してもよく、放送電波を受信する受信ブロックを経由して符号化画像データストリームを取得してもよい。

ユーザは、ポインティングデバイスなどの入力装置５２４を用いて、第１の表示装置２２２または第２の表示装置２２４に表示されている画像中の注目領域を指定したり、タッチパネルなどの接触方式のディスプレイデバイスを用いて注目領域を指定する。注目領域の情報は、インタフェース５２２を介して画像処理装置５１０に入力される。領域指定ユニット５１４は、注目領域の情報を受け取り、注目領域を高画質化すべきか否かの判定を行い、この結果を復号ユニット５１２に伝える。復号ユニット５１２は、判定結果にしたがって、高解像度の画像データ、および低解像度の画像データのそれぞれについて、注目領域とそれ以外の通常領域との画質に差をつけた画像データを生成する。この処理は、第３の実施形態に示した手順にしたがって実行される。以下、上述したのと同様にして、第１の表示装置２２２、第２の表示装置２２４に動画像が再生される。

この実施形態によれば、解像度の異なる動画像を複数の表示装置に同時に表示させている場合に、いずれかの表示装置において注目領域を指定すると他の表示装置においても注目領域の画質を向上させることができる。例えば、プレゼンテーションにおいて、プロジェクタにより投影される大画面のスクリーンとＰＣの画面の両方に動画像を再生している場合に、強調したい画像を参加者に訴えかけるような演出をすることができる。また、監視カメラシステムにおいて、同一の監視画像ストリームを複数の監視室のディスプレイに表示させているときに、他の監視員にも注意すべき画像領域を喚起することができる。

なお、画像表示システム５００は、目的に応じて、それぞれ解像度の異なる動画像を表示する表示装置を３つ以上備えることもできることはいうまでもない。

以上、本発明をいくつかの実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

いずれの実施の形態でも画像の符号化のための空間フィルタリングとしてウェーブレット変換を説明したが、他の空間周波数変換を用いてもよい。たとえば、ＪＰＥＧ標準で用いられる離散コサイン変換の場合でも、同様の方法で通常領域の変換係数の下位ビットをゼロ置換することで、注目領域の画質を相対的に高める一方で、通常領域の画質を犠牲にすることによって、画像処理装置全体の処理量を削減することができる。

画像符号化処理の手順を示す図である。 第１の実施形態に係る画像処理装置の構成図である。 画像復号処理の手順を示す図である。 画像処理装置によるフレームの処理を説明する図である。 メモリ制御部における処理を説明するフローチャートである。 第２の実施形態に係る画像表示装置の構成図である。 第３の実施形態に係る画像処理装置の構成図である。 （ａ）〜（ｃ）は、原画像の注目領域に対応するウェーブレット変換係数を特定するためのマスクを説明する図である。 （ａ）、（ｂ）は、ウェーブレット変換係数の下位ビットがゼロ置換される様子を説明する図である。 （ａ）〜（ｃ）は、原画像に注目領域が指定された場合のウェーブレット変換係数を説明する図である。 判定部における処理を説明するフローチャートである。 （ａ）、（ｂ）は、注目領域が高画質化される様子を示す図である。 （ａ）〜（ｃ）は、原画像に注目領域が指定され、かつ、処理量が多い場合に、ウェーブレット変換係数の下位ビットがゼロ置換される様子を説明する図である。 判定部における処理の別の実施例を説明するフローチャートである。 （ａ）、（ｂ）は、注目領域が高画質化され、通常領域が低画質化される様子を示す図である。 （ａ）、（ｂ）は、注目領域はそのままで、通常領域が低画質化される様子を示す図である。 第４の実施形態に係る画像表示装置の構成図である。 第５の実施形態に係る画像表示システムの構成図である。

符号の説明

１０ ストリーム解析部、 １２ 算術復号部、 １４ ビットプレーン復号部、 １８ 逆量子化部、 ２０ ウェーブレット逆変換部、 ２２ メモリ制御部、 ３０ 低解像度フレームバッファ、 ３２ 低解像度表示回路、 ３４、４４ 解像度変換部、 ３６ 低解像度表示装置、 ４０ 高解像度フレームバッファ、 ４２ 高解像度表示回路、 ４６ 高解像度表示装置、 ５０ 位置情報作成部、 ５２ 判定部、 ５４ 画質指示部、 ５６ ＲＯＩマスク生成部、 ５８ 下位ビットゼロ置換部、 ６０ 表示回路、 ６２ 表示装置、 １００、３００ 画像処理装置、 １５０、３１０ 復号ユニット、 ３２０ 領域指定ユニット、 ２００、４００ 画像表示装置、 ５００ 画像表示システム。

Claims (8)

1. 画面上の複数の領域の画質に差をつけて表示するよう動画像データを復号し、復号処理全体の処理量が所定の値を超えないように前記複数の領域の画質をそれぞれ調整することを特徴とする画像処理装置。
2. 画面に対して注目領域を指定する領域指定部と、
   注目領域とそれ以外の通常領域との画質に差をつけて画像を復号し、動画像データを出力する復号部と、
   を備えることを特徴とする画像処理装置。
3. 前記復号部は、復号処理全体の処理量が所定のしきい値を超えないように、前記注目領域と前記通常領域の画質をそれぞれ調整することを特徴とする請求項２に記載の画像処理装置。
4. 前記復号部は、前記注目領域の画質を向上させる一方、前記通常領域の画質を低下させることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記領域指定部は、
   前記注目領域の画質を向上させたとき、復号処理全体の処理量が所定のしきい値を超えるか否かを判定する判定部と、
   判定の結果に応じて前記注目領域の画質の向上許否を決定する画質指示部と、
   を含むことを特徴とする請求項３または４に記載の画像処理装置。
6. 前記領域指定部は、
   前記注目領域の画質を向上させる画質指示部と、
   前記注目領域の画質を向上させることにより、復号に関する処理量が所定のしきい値を超えるか否かを判定する判定部と、
   を含み、前記画質指示部は、前記判定部による判定の結果、前記処理量が前記しきい値を超えることが判明したとき、前記通常領域の画質を低下させることを特徴とする請求項３または４に記載の画像処理装置。
7. 前記画質指示部は、前記処理量が前記しきい値を超えることが判明したとき、ユーザに対し前記通常領域の画質が低下することを警告する表示をすることを特徴とする請求項６に記載の画像処理装置。
8. 前記画質指示部は、前記処理量が前記しきい値を超えることが判明したとき、ユーザに対し前記注目領域の画質の向上を実行するか否か問い合わせる表示をすることを特徴とする請求項６または７に記載の画像処理装置。

Images