JP2004214982A - 画像処理方法 - Google Patents

Abstract

【課題】画像に設けられた所望の領域を拡大、もしくは縮小して表示する処理を行う場合に、この処理の負荷を軽減させること。
【解決手段】ウィンドウ１００に画像符号化データを復号することで得られる画像（原画像）を表示する。次にユーザからの所望の領域の指示を受け付け、復号した画像に対する、ウィンドウ１０１に表示される画像のサイズの拡大率ＺＲを計算する。そしてＺＲ≦１／４の場合、画像符号化データのうち解像度レベル０の画像を復号する。１／４＜ＺＲ≦１／２の場合、画像符号化データのうち解像度レベル１の画像を復号する。１／２＜ＺＲ≦１の場合、画像符号化データのうち解像度レベル２の画像を復号する。ＺＲ＞１の場合、画像符号化データを復号し、ＺＲに従って拡大処理を行い、拡大処理した画像に周知の画素補間処理を行う。そして生成した画像をウィンドウ１０１に表示する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、解像度スケーラビリティーを有する様に圧縮符号化を行った結果得られる画像符号化データを復号することで得られる画像を、拡大したり縮小したりする技術に関するものである。
【０００２】
【従来の技術】
従来から、ビデオデータ（動画像）データに基づいた動画像や静止画像をＣＲＴや液晶画面などの表示部に表示するためのアプリケーションソフトは数多く存在する。しかしその多くは取り込み時の画像サイズをディジタルＴＶ信号である６４０画素ｘ４８０画素、３２０画素ｘ２４０画素などの基準サイズを元にしており、そのビデオデータを拡大表示時する際には、その基準サイズデータを画像補間で拡大する方法がとられるので、拡大した画像がボケてしまうという問題があった。
【０００３】
一方、最近のＣＣＤセンサーの解像度の向上に伴って、ディジタルカメラ等からパーソナルコンピュータなどに取り込まれる画像のサイズを大きく（例えば１０２４画素ｘ７６８画素、２０４８画素ｘ１５６０画素など）することが可能となってきた。しかしパーソナルコンピュータの表示画面にこのようなサイズの画像を表示することは希であり、実際には表示画面のサイズに応じて画像の縮小処理を行い、縮小した画像を表示することになる。
【０００４】
またＪＰＥＧやＪＰＥＧ２０００等、階層画像を持つ画像圧縮方式が知られており、動画像の各フレームに適用することにより、動画像全体を圧縮符号化することができる。
【０００５】
【発明が解決しようとする課題】
ＪＰＥＧやＪＰＥＧ２０００等を用いて符号化された各フレームを復号して表示部の表示画面上に表示する処理をパーソナルコンピュータに行わせる場合、この処理はパーソナルコンピュータに対して非常に大きな負荷を与える。また、復号した各フレーム画像に対して所望の領域を設定し、設定した所望の領域における動画像を表示部の別の領域に表示する処理を行う場合には更に負荷を与えることになる。従来ではこの問題に対処するために、フレームレートを落とすなどの処理を行っていた。
【０００６】
本発明はこの問題に鑑みてなされたものであり、画像に設けられた所望の領域を拡大、もしくは縮小して表示する処理を行う場合に、この処理の負荷を軽減させることを目的とする。
【０００７】
【課題を解決するための手段】
本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。
【０００８】
すなわち、画像に対して解像度スケーラビリティーを有する様に圧縮符号化を行った結果得られる画像符号化データを保持するメモリを有する画像処理装置が行う画像処理方法であって、
前記メモリに保持された当該画像符号化データを復号する復号工程と、
当該復号工程で復号された画像の一部もしくは全部を所定の表示部の第１の表示領域に、当該第１の表示領域に表示される画像の一部もしくは全部のうち、外部から指示された領域を前記表示部の第２の表示領域に夫々表示する表示工程と、
前記外部から指示された領域の画像を前記第２の領域に表示するために当該領域に相当する前記第１の表示領域に表示された領域を拡大、もしくは縮小する際の率を求める計算工程とを備え、
前記復号工程では前記メモリが保持する前記画像符号化データのうち、前記計算工程で求めた率に応じた解像度の画像を復号し、復号した当該画像のうち前記外部から指示された領域は前記第２の表示領域に表示されることを特徴とする。
【０００９】
【発明の実施の形態】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００１０】
［第１の実施形態］
本実施形態では解像度スケーラビリティを有するように画像を圧縮符号化する手段として、ＪＰＥＧ２０００を用いるが、同様の目的を達成するためであれば、圧縮符号化手段はこれに限定されるものではない。
【００１１】
図３は、画像に対してＪＰＥＧ２０００に従った圧縮符号化を行う符号化部の構成を示すブロック図である。同図に示した構成は、画像に対してＪＰＥＧ２０００に従った圧縮符号化を行うハードウェアとしての符号化部の構成と解釈しても良いし、画像に対してＪＰＥＧ２０００に従った圧縮符号化をコンピュータに行わせるためのプログラムの機能構成と解釈しても良い。また、圧縮符号化対象の画像を動画像を構成する各フレームの画像と解釈し、後述の圧縮符号化処理を動画像を構成する全てのフレームの画像に対して行うことで、動画像に対してＪＰＥＧ２０００に従った圧縮符号化処理を行うことができる。
【００１２】
同図に示した各部が行う処理は周知の処理であるので、ここでの説明は簡単に行う。３０は色変換・サブサンプリング（Ｓｕｂ−Ｓａｍｐｌｉｎｇ）部で、入力された画像を構成するＲＧＢ信号を輝度・色差信号（以下、単に画像信号）に変換する色変換処理を行う。更に色差信号に関しては、必要に応じて、サブサンプリングを行う。また色変換・サブサンプリング部３０は、入力された画像を所定のサイズ（例えば１２８画素×１２８画素）のブロック（タイル）に分割する処理をも行うが、本実施形態ではタイル分割処理は行わないものとする。
【００１３】
３１はウェーブレット変換部で、色変換・サブサンプリング部３０から入力される画像信号に対して公知のウェーブレット変換を行う。周知の通り、画像（原画像）に対してウェーブレット変換を行うことで、原画像に対して夫々解像度の異なる画像の符号化データを生成することが出来る。これはすなわち解像度にスケーラビリティを有する画像符号化データを生成したことになる。
【００１４】
３２は量子化部で、ウェーブレット変換部３１による変換係数に対して量子化処理を行う。特に本実施形態では不感帯領域をもつＤｅａｄｚｏｎｅ付き線形量子化を行う。３３はエントロピー符号化部であり、量子化部３２により量子化された変換係数値のｂｉｔｐｌａｎｅを算術符号（ＭＱ−Ｃｏｄｅｒ）を使用して符号化（エントロピー符号化）を行う。３４はビットストリーム形成部で、エントロピー符号化部３３による符号化データを用いて５種類のプログレッシブ形態（Ｌａｙｅｒ Ｐｒｏｇｒｅｓｓｉｖｅ、Ｒｅｓｏｌｕｔｉｏｎ−ｌａｙｅｒ Ｐｒｏｇｒｅｓｓｉｖｅ、Ｒｅｓｏｌｕｔｉｏｎ−ｐｏｓｉｔｉｏｎ ＰｒｏｇｒｅｓｓｉｖｅＰｏｓｉｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ Ｐｒｏｇｒｅｓｓｉｖｅ、Ｃｏｍｐｏｎｅｎｔ−Ｐｏｓｉｔｉｏｎ Ｐｒｏｇｒｅｓｓｉｖｅ）に従ったビットストリームを生成することが出来る。
【００１５】
次に、上記符号化部によって生成されたビットストリームに含まれる画像符号化データを復号する復号部について説明する。図４は、ＪＰＥＧ２０００に従った圧縮符号化による画像符号化データを復号する復号部の構成を示すブロック図である。同図に示した構成は、ＪＰＥＧ２０００に従った圧縮符号化による画像符号化データを復号するハードウェアとしての復号部の構成と解釈しても良いし、ＪＰＥＧ２０００に従った圧縮符号化による画像符号化データを復号する処理をコンピュータに行わせるためのプログラムの機能構成と解釈しても良い。また、復号対象の画像符号化データが動画像を構成する各フレームの画像符号化データと解釈し、後述の復号処理を動画像を構成する全てのフレームの画像符号化データに対して行うことで、ＪＰＥＧ２０００に従った圧縮符号化による各フレームの画像符号化データを復号することができる。
【００１６】
４４はビットストリーム読み込み部で、ビットストリーム形成部３４により形成されたビットストリームを読み込む。４３はエントロピ復号部で、エントロピー符号化部３３がビットストリーム読み込み部４４が読み込んだビットストリームに含まれる画像符号化データに対してエントロピー符号化部３３が行った処理の逆処理を行い、ウェーブレット変換の変換係数の量子化値を復元する。４２は逆量子化部で、量子化部３２が行った量子化処理と逆処理を行い、エントロピ復号部４３によるウェーブレット変換の変換係数の量子化値からウェーブレット変換の変換係数を復元する。
【００１７】
４１はウェーブレット逆変換部で、ウェーブレット変換部３１が行った処理の逆処理を行い、ウェーブレット変換の変換係数から上記画像信号を復元する（量子化ステップの設定によっては可逆ではない）。４０は色変換・アップサンプリング（Ｕｐ−Ｓａｍｐｌｉｎｇ）部で、色変換・サブサンプリング部３０が行った処理の逆処理を行い、画像信号に対して必要に応じてアップサンプリングを行った後、上記色変換の逆変換、すなわちＲＧＢ信号を復元する。復元されたＲＧＢ信号は所定の表示部に表示される。
【００１８】
図３，４に示した構成がプログラムの構成である場合、このプログラムを実行するコンピュータの基本構成を図９に示す。
【００１９】
９０１はＣＰＵで、ＲＡＭ９０２やＲＯＭ９０３に保持されているプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記圧縮符号化処理や復号処理、そして後述の拡大／縮小表示処理を行う。９０２はＲＡＭで、外部記憶装置９０７や記憶媒体ドライブ９０８からロードされたプログラムやデータ、ネットワークインターフェース（Ｉ／Ｆ）部９０９を介して外部の装置から受信したプログラムやデータ、インターフェース（Ｉ／Ｆ）部を介して撮像装置などから受信した動画像データを一時的に保持するエリアを備えると共に、ＣＰＵ９０１が各種の処理を行う際に必要とするエリアを備える。９０３はＲＯＭで、コンピュータ全体の制御を行うためのプログラムやデータを格納する。
【００２０】
９０４、９０５は夫々キーボード、マウスで、各種の指示をＣＰＵ９０１に対して入力することが出来る。９０６は表示部で、ＣＲＴや液晶画面などにより構成されており、画像情報や文字情報などを表示することができ、上記復号処理により復号した画像や後述の拡大／縮小表示処理による画像を表示することができる。９０７は外部記憶装置で、ハードディスクなどの大容量情報記憶装置であって、記憶媒体ドライブ９０８からインストールされたプログラムやデータ、ネットワークインターフェース部９０９を介して外部の装置から受信したプログラムやデータ、インターフェース（Ｉ／Ｆ）部を介して撮像装置などから受信した動画像データを保存することができる。
【００２１】
９０８は記憶媒体ドライブで、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されているプログラムやデータを読み出し、ＲＡＭ９０２や外部記憶装置９０７に出力する。９０９はネットワークインターフェース部で、インターネットやＬＡＮなどのネットワークに接続することができ、このネットワークに接続された装置からプログラムやデータを受信するためのＩ／Ｆとして機能する。９１０はインターフェース部で、外部機器と接続し、データを受信するためのＩ／Ｆとして機能し、例えば動画像を撮像したディジタルカメラと接続し、この動画像を受信することが出来る。なお動画像のデータの受信形態はこれに限定されるものではなく、他にも例えば記憶媒体ドライブ９０８により記憶媒体から読み出しても良い。９１１は上述の各部を繋ぐバスである。
【００２２】
なお、上記圧縮符号化処理や復号処理、そして後述の拡大／縮小表示処理を行うためのプログラムは外部記憶装置９０７に保存しておき、必要に応じてＲＡＭ９０２にロードしても良いし、記憶媒体ドライブ９０８によって記憶媒体から必要に応じてＲＡＭ９０２にロードしても良いし、ネットワークインターフェース部９０９を介して他の装置から受信し、ＲＡＭ９０２に読み出しても良い。
【００２３】
次に上記構成を有するコンピュータが、自身が（もしくは他の装置が）ＪＰＥＧ２０００に従って圧縮符号化した各フレームの画像を順次復号し、表示部９０６に表示すると共に行う処理、すなわち、各フレームの画像において指示した領域の画像を動画像として表示部９０６に表示するための処理について説明する。
【００２４】
図５は上記ウェーブレット変換により生成される、解像度にスケーラビリティを有する画像符号化データを説明する図である。同図において５１は圧縮符号化対象の画像（原画像）である。原画像５１に対して周知の水平方向のウェーブレット変換（水平方向分解）を行うと、画像５２が得られる。画像５２は上半分が低周波数成分、下半分が高周波数成分を含むものであって、夫々の周波数成分をサブバンドと呼称する。画像５１に対して更に垂直方向のウェーブレット変換（垂直方向分解）を行うと、４つのサブバンドを含む画像５３が生成される。そして画像５３の最低周波数のサブバンド５３ａに対して更に水平方向分解、垂直方向分解を行うと、画像５４が得られる。
【００２５】
ここで、「分解レベル０」で示されるサブバンドは最低周波数成分で、このサブバンドは、原画像５１の縦横１／４のサイズの画像、すなわち原画像５１に対して最も解像度の低い画像そのものである。
【００２６】
更に「分解レベル１」で示されるサブバンド、すなわちＨＬ２，ＬＨ２，ＨＨ２に含まれる変換係数を復号することで、原画像５１の縦横１／２のサイズの画像、すなわちより解像度の高い画像を復号することが出来る。更に「分解レベル２」で示されるサブバンド、すなわちＨＬ１，ＬＨ１，ＨＨ１に含まれる変換係数を復号することで、原画像５１と同じサイズの画像、原画像５１そのものを復号することが出来る。
【００２７】
このように、解像度スケーラビリティを有する画像符号化データに対して、復号するサブバンドを変化させることで、夫々異なる解像度の画像を復号することができる。本実施形態における画像の符号化は、図５に示すように、原画像の解像度に対して夫々異なる３つの解像度（３つのレベル）を有するように行われるものとするが、レベルの数はこれに限定されるものではない。
【００２８】
図１は、上記復号処理により復号した画像（原画像）において、ユーザが指示した領域の画像を所定のサイズのウィンドウに表示するための処理を説明する図である。同図において１００は上記復号処理により復号した画像の一部、もしくは全部を表示するためのウィンドウ（通常表示ウィンドウ）で、このウィンドウ１００内に復号した画像の一部、もしくは全部が表示される。
【００２９】
１０１はウィンドウ１００内に表示された画像において、ユーザが指示した所望の領域の画像１０２の拡大画像、もしくは縮小画像を表示するためのウィンドウ（拡大表示ウィンドウ）で、このウィンドウ１０１いっぱいに画像１０２の拡大画像、もしくは縮小画像が表示される（ウィンドウ１０１のサイズ＝画像１０２の拡大画像のサイズ、もしくは画像１０２の縮小画像のサイズ）。１０２はウィンドウ１００内に表示された画像において、ユーザが指示した所望の領域の画像である。
【００３０】
なお、以下の説明では、ウィンドウ１００の水平方向のサイズをＶｘ、ウィンドウ１０１の水平方向のサイズをＷｘとし、また領域の画像１０２の水平方向の両端のｘ座標（ウィンドウ１００の左端をｘ＝０とする）を夫々ｘ１，ｘ２（ｘ２＞ｘ１）とする。
【００３１】
ウィンドウ１００には復号した画像が表示されており、ユーザがキーボード９０４やマウス９０５を用いて所望の領域１０２を指定すると、ＣＰＵ９０１は以下の拡大率ＺＲを計算する。
【００３２】
ＺＲ＝Ｗｘ／（Ｘ２−Ｘ１）×Ｚ０
ここでＺ０は復号した画像のサイズに対する、ウィンドウ１００に表示された画像のサイズの拡大率を示す。よってＺＲは、復号した画像に対する、ウィンドウ１０１に表示される画像のサイズの拡大率を表す。
【００３３】
そして求めたＺＲを用いて、ウィンドウ１０１内に表示する画像を以下のようにして決定する。
【００３４】
ＺＲ≦１／４のとき、Ｒ＝０
１／４＜ＺＲ≦１／２のとき、Ｒ＝１
１／２＜ＺＲ≦１ のとき、Ｒ＝２
ＺＲ＞１ のとき、Ｒ＝２
Ｒは解像度レベルを示す。ＺＲ≦１／４の場合、すなわち、ウィンドウ１０１に表示する画像のサイズが原画像のサイズの１／４よりも小さい場合、ウィンドウ１０１に表示する画像のサイズ（言い換えれば解像度）は高々原画像のサイズ（言い換えれば解像度）の１／４あれば充分であることから、解像度レベル０の画像（図５では分解レベル０の画像）を用いる。そしてＲＡＭ９０２に保持されている画像符号化データのうち解像度レベル０に含まれる変換係数群を復号することで得られる画像のうち、画像１０２の位置に対応する領域の画像をウィンドウ１０１内に表示する。
【００３５】
また、１／４＜ＺＲ≦１／２の場合、すなわち、ウィンドウ１０１に表示する画像のサイズが原画像のサイズの１／４より大きく、１／２以下である場合、ウィンドウ１０１に表示する画像のサイズ（言い換えれば解像度）は高々原画像のサイズ（言い換えれば解像度）の１／２あれば充分であることから、上記解像度レベル０の画像に加えて解像度レベル１の画像（図５では分解レベル１の画像）を用いる。そしてＲＡＭ９０２に保持されている画像符号化データのうち、解像度レベル０，解像度レベル１に含まれる変換係数群を復号することで得られる画像のうち、画像１０２に対応する領域の画像をウィンドウ１０１内に表示する。
【００３６】
また、１／２＜ＺＲ≦１の場合、すなわち、ウィンドウ１０１に表示する画像のサイズが原画像のサイズの１／２より大きく、原画像のサイズ以下である場合、ウィンドウ１０１に表示する画像のサイズ（言い換えれば解像度）は高々原画像のサイズ（言い換えれば解像度）だけあれば充分であることから、上記解像度レベル０、解像度レベル１の画像に加えて解像度レベル２の画像（図５では分解レベル２の画像）を用いる。そしてＲＡＭ９０２に保持されている画像符号化データのうち、解像度レベル０，解像度レベル１，解像度レベル２に含まれる変換係数群を復号することで得られる画像のうち、画像１０２に対応する領域の画像をウィンドウ１０１内に表示する。
【００３７】
また、ＺＲ＞１の場合、すなわち、ウィンドウ１０１に表示する画像のサイズが原画像のサイズよりも大きい場合には、原画像をＺＲの分だけ拡大し、更に、拡大したことにより空いた画素間を公知の画素補間処理により埋める。そしてこれにより得られた拡大画像のうち、画像１０２に対応する領域の画像をウィンドウ１０１内に表示する。
【００３８】
そして以上の説明に従った処理を各フレームの画像に対して行うことで（拡大／縮小表示する領域を設定するのは事前に１回だけの処理とする）、上記ウィンドウ１０１には、ウィンドウ１００に表示される各フレームの画像のうち、指示した領域の拡大画像、もしくは縮小画像が動画像として表示されることになる。
【００３９】
図２は、以上説明した、画像中の所望の領域の拡大画像、もしくは縮小画像を表示する処理のフローチャートである。なお、同図のフローチャートに従ったプログラムをＲＡＭ９０２にロードし、ＣＰＵ９０１がこのプログラムを実行することで、上記コンピュータは各フレームの画像において指示した領域の画像を動画像として表示部９０６に表示するための処理を行うことが出来る。
【００４０】
まずウィンドウ１００に画像符号化データを復号することで得られる画像（原画像）を表示する（ステップＳ２０１）。次に、ユーザからの所望の領域の指示を受け付ける（ステップＳ２０２）。所望の領域の指示を受け付けると、上記ＺＲを計算する（ステップＳ２０３）。
【００４１】
ＺＲ≦１／４の場合（ステップＳ２０４）、処理をステップＳ２０５に進め、ＲＡＭ９０２に保持している画像符号化データのうち、解像度レベル０の画像を復号する。
【００４２】
１／４＜ＺＲ≦１／２の場合（ステップＳ２０６）、処理をステップＳ２０７に進め、ＲＡＭ９０２に保持している画像符号化データのうち、解像度レベル１の画像を復号する。
【００４３】
１／２＜ＺＲ≦１の場合（ステップＳ２０８）、処理をステップＳ２０９に進め、ＲＡＭ９０２に保持している画像符号化データのうち、解像度レベル２の画像を復号する。
【００４４】
ＺＲ＞１の場合（ステップＳ２１０）、処理をステップＳ２１１に進め、ＲＡＭ９０２に保持している画像符号化データを復号し（ステップＳ２１１）、更にＺＲに従って拡大処理を行い（ステップＳ２１２）、更に、拡大処理した画像に対して周知の画素補間処理を行う（ステップＳ２１３）。
【００４５】
そしてステップＳ２０５，Ｓ２０７，Ｓ２０９，Ｓ２１１乃至２１３のいずれかで生成された画像をウィンドウ１０１に表示する（ステップＳ２１４）。そしてステップＳ２０４以降の処理を全てのフレームの画像に対して行ったか否かを判断し（ステップＳ２１５）、全てのフレームの画像に対して行っていない場合には、処理をステップＳ２１６に進め、次のフレームの画像符号化データを処理対象に更新する（ステップＳ２１６）。そしてこの画像符号化データを復号してウィンドウ１００に原画像として表示する（ステップＳ２１７）。そしてステップＳ２０４以降の処理を繰り返す。
【００４６】
従来ではウィンドウ１０１に表示する画像は、ウィンドウ１００に表示されている画像を単に拡大／縮小し、拡大を行う場合には更に画素補間を行っていた。しかしこれでは得られる画像の画質は当然悪いものとなる。しかし上基本実施形態による方法では、表示対象の画像に対して解像度スケーラビリティーを有するように画像符号化が行われている、言い換えれば、画像符号化データには各解像度の画像の符号化データが含まれているので、必要に応じた解像度の画像を得ることが出来る。
【００４７】
図７は、上記ＺＲに応じてウィンドウ１０１にどの解像度レベルの画像が用いられているのかを示すアイコンの一例を示す図である。アイコン７１〜７３は図５に示した各解像度レベルの画像を得るための変換係数群の配置を表示し、現在用いている変換係数群がどのレベルのものであるのかをハイライト部分で示すものである。アイコン７１は現在ウィンドウ１０１に解像度レベル０の画像が用いられていることを示している。アイコン７２は現在ウィンドウ１０１に解像度レベル１の画像が用いられていることを示している。アイコン７３は現在ウィンドウ１０１に解像度レベル２の画像が用いられていることを示している。そしてアイコン７４は現在ウィンドウ１０１に原画像のサイズの８倍の画像を用いていることを示している。上記全てのアイコンは表示部９０６の表示画面上において同じ位置に表示され、ＺＲの変化に応じて夫々のアイコンが切り替わって表示される。
【００４８】
図８は、上記ウィンドウ１００，１０１を含むＧＵＩの一例を示す図である。なお、図１と同じ部分には同じ番号を付けており、その説明を省略する。同図のＧＵＩのウィンドウ８０は以下の構成を備える。７０は図７に示した各アイコンのうち、状況に応じて１つ表示されるアイコンを示している。８３は画像符号化データに関する情報（量子化ステップ数などの符号化パラメータやファイル名、ファイルサイズなど）を表示するための領域で、８４はウィンドウ１００に表示する画像（動画像を含む）に関する情報（例えばフレーム番号など）を表示する領域である。
【００４９】
以上の説明によって本実施形態のプログラムを実行するコンピュータは、各フレームの画像において指示した領域の画像を動画像として、コンピュータに大きな負荷をかけることなく表示部に表示することができる。
【００５０】
また、従来の拡大、縮小処理のように、画像情報が大きく損なわれるような方法ではなく、解像度スケーラビリティーを有するように圧縮符号化が施された画像符号化データを用い、必要な解像度に応じた画像を復号するので、画像情報が損なわれることなく、拡大画像、縮小画像を得ることが出来る。
【００５１】
なお本実施形態では圧縮符号化の対象として動画像を構成する各フレームの画像としたが、圧縮符号化の対象を静止画像としても良いことは自明である。
【００５２】
また本実施形態ではウィンドウ１００には１つのフレームの画像符号化データ全て復号していたが（言い換えれば画像符号化データが表現可能な最大の解像度の画像を復号していたが）、これに限定されるものではなく、所定の解像度で表示しても良い。
【００５３】
［第２の実施形態］
第１の実施形態では各フレームの画像はタイル分割されていないが、タイル分割しても良い。図６はタイル分割を説明する図である。同図では画像は４×４＝１６のタイルに分割されている。よって画像において、所望の領域を指示する場合には、このタイル単位で管理しても良い。
【００５４】
例えばユーザが領域を指示するために、この領域の左上隅と右下隅を指示する場合、ユーザは左上隅の位置、右下隅の位置を画像中の任意の位置に設定することが出来るが、コンピュータでは指示された夫々の位置を含むタイルを、指示する領域の左上隅のタイル、右下隅のタイルとして設定する。これにより、タイル単位で領域を管理することが出来る。
【００５５】
一般に画像の圧縮符号化はタイル分割し、タイル単位で符号化データを管理している。よって本実施形態のように領域をタイル単位で管理することで、領域の画像を復号する際に、画像符号化データのうち復号する部分をタイル単位で特定することが出来るので、復号処理がより簡便になる。
【００５６】
［他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５８】
また上記記憶媒体には、インターネットやＬＡＮなどのネットワークに使用される通信ケーブルなどの通信媒体が含まれる。すなわち、前述した実施形態のプログラムコードがネットワーク上のサーバ装置に保持されている場合には、このサーバ装置から上記ネットワークを介してコンピュータにダウンロードすることで、コンピュータにプログラムを導入することができる。よって、導入されたプログラムはコンピュータ上のＣＰＵやＭＰＵなどの制御回路により実行され、その結果、コンピュータは前述した実施形態に機能が実現されるわけであるから、前述した記憶媒体に上記ネットワークに使用される通信ケーブルなどの通信媒体が含まれることはいうまでもない。
【００５９】
本発明の実施態様の例を以下に列挙する。
【００６０】
［実施態様１］ 画像に対して解像度スケーラビリティーを有する様に圧縮符号化を行った結果得られる画像符号化データを保持する保持手段と、
当該保持手段に保持された当該画像符号化データを復号する復号手段と、
当該復号手段により復号された画像の一部もしくは全部を表示するための第１の表示領域と、当該第１の表示領域に表示される画像の一部もしくは全部のうち、外部から指示された領域を表示するための第２の表示領域とを有する表示手段と、
前記外部から指示された領域の画像を前記第２の領域に表示するために当該領域に相当する前記第１の表示領域に表示された領域を拡大、もしくは縮小する際の率を求める計算手段とを備え、
前記復号手段は前記保持手段が保持する前記画像符号化データのうち、前記計算手段が求めた率に応じた解像度の画像を復号し、復号した当該画像のうち前記外部から指示された領域は前記第２の表示領域に表示されることを特徴とする画像処理装置。
【００６１】
［実施態様２］ 前記計算手段により求めた率が１よりも大きい場合、
前記復号手段は前記保持手段が保持する前記画像符号化データを復号し、復号した画像のうち前記外部から指示された領域の画像を前記求めた率に従って拡大すると共に、画素補間を行って、前記第２の表示領域に表示する画像を生成することを特徴とする実施態様１に記載の画像処理装置。
【００６２】
［実施態様３］ 前記画像符号化データは、前記画像をタイル分割し、夫々のタイル毎の符号化データを含むものであり、前記外部から指示された領域は、タイル単位の領域であることを特徴とする実施態様１に記載の画像処理装置。
【００６３】
［実施態様４］ 画像に対して解像度スケーラビリティーを有する様に圧縮符号化を行った結果得られる画像符号化データを保持するメモリを有する画像処理装置が行う画像処理方法であって、
前記メモリに保持された当該画像符号化データを復号する復号工程と、
当該復号工程で復号された画像の一部もしくは全部を所定の表示部の第１の表示領域に、当該第１の表示領域に表示される画像の一部もしくは全部のうち、外部から指示された領域を前記表示部の第２の表示領域に夫々表示する表示工程と、
前記外部から指示された領域の画像を前記第２の領域に表示するために当該領域に相当する前記第１の表示領域に表示された領域を拡大、もしくは縮小する際の率を求める計算工程とを備え、
前記復号工程では前記メモリが保持する前記画像符号化データのうち、前記計算工程で求めた率に応じた解像度の画像を復号し、復号した当該画像のうち前記外部から指示された領域は前記第２の表示領域に表示されることを特徴とする画像処理方法。
【００６４】
［実施態様５］ コンピュータを実施態様１乃至３の何れか１項に記載の画像処理装置として機能させることを特徴とするプログラム。
【００６５】
［実施態様６］ コンピュータに実施態様４に記載の画像処理方法を実行させることを特徴とするプログラム。
【００６６】
［実施態様７］ 実施態様５又は６に記載のプログラムを格納するコンピュータ読み取り可能な記憶媒体。
【００６７】
【発明の効果】
以上説明したように本発明によれば、画像に設けられた所望の領域を拡大、もしくは縮小して表示する処理を行う場合に、この処理の負荷を軽減させることができる。
【図面の簡単な説明】
【図１】復号処理により復号した画像（原画像）において、ユーザが指示した領域の画像を所定のサイズのウィンドウに表示するための処理を説明する図である。
【図２】画像中の所望の領域の拡大画像、もしくは縮小画像を表示する処理のフローチャートである。
【図３】画像に対してＪＰＥＧ２０００に従った圧縮符号化を行う符号化部の構成を示すブロック図である。
【図４】ＪＰＥＧ２０００に従った圧縮符号化による画像符号化データを復号する復号部の構成を示すブロック図である。
【図５】ウェーブレット変換により生成される、解像度にスケーラビリティを有する画像符号化データを説明する図である。
【図６】タイル分割を説明する図である。
【図７】ＺＲに応じてウィンドウ１０１にどの解像度レベルの画像が用いられているのかを示すアイコンの一例を示す図である。
【図８】ウィンドウ１００，１０１を含むＧＵＩの一例を示す図である。
【図９】図３，４に示した構成がプログラムの構成である場合、このプログラムを実行するコンピュータの基本構成を示す図である。

Claims (1)

1. 画像に対して解像度スケーラビリティーを有する様に圧縮符号化を行った結果得られる画像符号化データを保持するメモリを有する画像処理装置が行う画像処理方法であって、
   前記メモリに保持された当該画像符号化データを復号する復号工程と、
   当該復号工程で復号された画像の一部もしくは全部を所定の表示部の第１の表示領域に、当該第１の表示領域に表示される画像の一部もしくは全部のうち、外部から指示された領域を前記表示部の第２の表示領域に夫々表示する表示工程と、
   前記外部から指示された領域の画像を前記第２の領域に表示するために当該領域に相当する前記第１の表示領域に表示された領域を拡大、もしくは縮小する際の率を求める計算工程とを備え、
   前記復号工程では前記メモリが保持する前記画像符号化データのうち、前記計算工程で求めた率に応じた解像度の画像を復号し、復号した当該画像のうち前記外部から指示された領域は前記第２の表示領域に表示されることを特徴とする画像処理方法。

Images