JP2004214983A - 画像処理方法 - Google Patents

Abstract

【課題】画像に設けられた所望の領域を拡大、もしくは縮小して表示する処理を行う場合に、この処理の負荷を軽減させること。
【解決手段】ウィンドウ１００に解像度レベル０の原画像を表示する。次に、所望の領域、拡大率ＺＲの入力を受け付ける。ＺＲ≦１／４の場合、指示した所望の領域に対応するタイル画像の解像度レベル０の画像を復号する。１／４＜ＺＲ≦１／２の場合、上記タイル画像の解像度レベル１の画像を復号する。１／２＜ＺＲ≦１の場合、上記タイル画像の解像度レベル２の画像を復号する。ＺＲ＞１の場合、上記タイル画像の解像度レベル２の画像を復号し、更にＺＲに従って拡大処理を行い、更に、拡大処理した画像に対して周知の画素補間処理を行う。そして生成した画像をウィンドウ１０１に表示する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、解像度スケーラビリティーを有する様に圧縮符号化を行った結果得られる画像符号化データを復号することで得られる画像を、拡大したり縮小したりする技術に関するものである。
【０００２】
【従来の技術】
従来から、ビデオデータ（動画像）に基づいた動画像や静止画像をＣＲＴや液晶画面などの表示部に表示するためのアプリケーションソフトは数多く存在する。しかしその多くは取り込み時の画像サイズをディジタルＴＶ信号である６４０画素ｘ４８０画素、３２０画素ｘ２４０画素などの基準サイズを元にしており、そのビデオデータを拡大表示時する際には、その基準サイズデータを画像補間で拡大する方法がとられるので、拡大した画像がボケてしまうという問題があった。
【０００３】
一方、最近のＣＣＤセンサーの解像度の向上に伴って、ディジタルカメラ等からパーソナルコンピュータなどに取り込まれる画像のサイズを大きく（例えば１０２４画素ｘ７６８画素、２０４８画素ｘ１５６０画素など）することが可能となってきた。しかしパーソナルコンピュータの表示画面にこのようなサイズの画像を表示することは希であり、実際には表示画面のサイズに応じて画像の縮小処理を行い、縮小した画像を表示することになる。
【０００４】
またＪＰＥＧやＪＰＥＧ２０００等、階層画像を持つ画像圧縮方式が知られており、動画像の各フレームに適用することにより、動画像全体を圧縮符号化することができる。
【０００５】
【発明が解決しようとする課題】
ＪＰＥＧやＪＰＥＧ２０００等を用いて符号化された各フレームを復号して表示部の表示画面上に表示する処理をパーソナルコンピュータに行わせる場合、この処理はパーソナルコンピュータに対して非常に大きな負荷を与える。また、復号した各フレーム画像に対して所望の領域を設定し、設定した所望の領域における動画像を表示部の別の領域に表示する処理を行う場合には更に負荷を与えることになる。従来ではこの問題に対処するために、フレームレートを落とすなどの処理を行っていた。
【０００６】
本発明はこの問題に鑑みてなされたものであり、画像に設けられた所望の領域を拡大、もしくは縮小して表示する処理を行う場合に、この処理の負荷を軽減させることを目的とする。
【０００７】
【課題を解決するための手段】
本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。
【０００８】
すなわち、画像に対して解像度スケーラビリティーを有する様に圧縮符号化を行った結果得られる画像符号化データを保持するメモリを備える画像処理装置が行う画像処理方法であって、
前記メモリが保持する当該画像符号化データを復号する復号工程と、
当該復号工程で復号した、所定解像度レベルの画像を所定の表示装置の第１の表示領域に表示し、当該第１の表示領域に表示される画像のうち、外部から指示された領域を前記表示装置の第２の表示領域に表示する表示工程と、
前記外部から指示された領域に対する拡大率を指示する指示工程とを備え、
前記復号工程では、前記画像符号化データのうち、前記外部から指示された領域の、当該指示工程で指示された拡大率に応じた解像度レベルの画像を復号し、復号した当該画像は前記第２の表示領域に表示されることを特徴とする。
【０００９】
【発明の実施の形態】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００１０】
［第１の実施形態］
本実施形態では解像度スケーラビリティを有するように画像を圧縮符号化する手段として、ＪＰＥＧ２０００を用いるが、同様の目的を達成するためであれば、圧縮符号化手段はこれに限定されるものではない。
【００１１】
図３は、画像に対してＪＰＥＧ２０００に従った圧縮符号化を行う符号化部の構成を示すブロック図である。同図に示した構成は、画像に対してＪＰＥＧ２０００に従った圧縮符号化を行うハードウェアとしての符号化部の構成と解釈しても良いし、画像に対してＪＰＥＧ２０００に従った圧縮符号化をコンピュータに行わせるためのプログラムの機能構成と解釈しても良い。また、圧縮符号化対象の画像を動画像を構成する各フレームの画像と解釈し、後述の圧縮符号化処理を動画像を構成する全てのフレームの画像に対して行うことで、動画像に対してＪＰＥＧ２０００に従った圧縮符号化処理を行うことができる。
【００１２】
同図に示した各部が行う処理は周知の処理であるので、ここでの説明は簡単に行う。３０は色変換・サブサンプリング（Ｓｕｂ−Ｓａｍｐｌｉｎｇ）部で、入力された画像を構成するＲＧＢ信号を輝度・色差信号（以下、単に画像信号）に変換する色変換処理を行う。更に色差信号に関しては、必要に応じて、サブサンプリングを行う。また色変換・サブサンプリング部３０は、入力された画像を所定のサイズ（例えば１２８画素×１２８画素）のブロック（タイル）に分割する処理をも行う。
【００１３】
３１はウェーブレット変換部で、色変換・サブサンプリング部３０から入力される画像信号に対して公知のウェーブレット変換を行う。周知の通り、画像（原画像）に対してウェーブレット変換を行うことで、原画像に対して夫々解像度の異なる画像の符号化データを生成することが出来る。これはすなわち解像度にスケーラビリティを有する画像符号化データを生成したことになる。
【００１４】
３２は量子化部で、ウェーブレット変換部３１による変換係数に対して量子化処理を行う。特に本実施形態では不感帯領域をもつＤｅａｄｚｏｎｅ付き線形量子化を行う。３３はエントロピー符号化部であり、量子化部３２により量子化された変換係数値のｂｉｔｐｌａｎｅを算術符号（ＭＱ−Ｃｏｄｅｒ）を使用して符号化（エントロピー符号化）を行う。３４はビットストリーム形成部で、エントロピー符号化部３３による符号化データを用いて５種類のプログレッシブ形態（Ｌａｙｅｒ Ｐｒｏｇｒｅｓｓｉｖｅ、Ｒｅｓｏｌｕｔｉｏｎ−ｌａｙｅｒ Ｐｒｏｇｒｅｓｓｉｖｅ、Ｒｅｓｏｌｕｔｉｏｎ−ｐｏｓｉｔｉｏｎ ＰｒｏｇｒｅｓｓｉｖｅＰｏｓｉｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ Ｐｒｏｇｒｅｓｓｉｖｅ、Ｃｏｍｐｏｎｅｎｔ−Ｐｏｓｉｔｉｏｎ Ｐｒｏｇｒｅｓｓｉｖｅ）に従ったビットストリームを生成することが出来る。
【００１５】
次に、上記符号化部によって生成されたビットストリームに含まれる画像符号化データを復号する復号部について説明する。図４は、ＪＰＥＧ２０００に従った圧縮符号化による画像符号化データを復号する復号部の構成を示すブロック図である。同図に示した構成は、ＪＰＥＧ２０００に従った圧縮符号化による画像符号化データを復号するハードウェアとしての復号部の構成と解釈しても良いし、ＪＰＥＧ２０００に従った圧縮符号化による画像符号化データを復号する処理をコンピュータに行わせるためのプログラムの機能構成と解釈しても良い。また、復号対象の画像符号化データが動画像を構成する各フレームの画像符号化データと解釈し、後述の復号処理を動画像を構成する全てのフレームの画像符号化データに対して行うことで、ＪＰＥＧ２０００に従った圧縮符号化による各フレームの画像符号化データを復号することができる。
【００１６】
４４はビットストリーム読み込み部で、ビットストリーム形成部３４により形成されたビットストリームを読み込む。４３はエントロピ復号部で、エントロピー符号化部３３がビットストリーム読み込み部４４が読み込んだビットストリームに含まれる画像符号化データに対してエントロピー符号化部３３が行った処理の逆処理を行い、ウェーブレット変換の変換係数の量子化値を復元する。４２は逆量子化部で、量子化部３２が行った量子化処理と逆処理を行い、エントロピ復号部４３によるウェーブレット変換の変換係数の量子化値からウェーブレット変換の変換係数を復元する。
【００１７】
４１はウェーブレット逆変換部で、ウェーブレット変換部３１が行った処理の逆処理を行い、ウェーブレット変換の変換係数から上記画像信号を復元する（量子化ステップの設定によっては可逆ではない）。４０は色変換・アップサンプリング（Ｕｐ−Ｓａｍｐｌｉｎｇ）部で、色変換・サブサンプリング部３０が行った処理の逆処理を行い、画像信号に対して必要に応じてアップサンプリングを行った後、上記色変換の逆変換、すなわちＲＧＢ信号を復元する。復元されたＲＧＢ信号は所定の表示部に表示される。
【００１８】
図３，４に示した構成がプログラムの構成である場合、このプログラムを実行するコンピュータの基本構成を図２に示す。
【００１９】
９０１はＣＰＵで、ＲＡＭ９０２やＲＯＭ９０３に保持されているプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記圧縮符号化処理や復号処理、そして後述の拡大／縮小表示処理を行う。９０２はＲＡＭで、外部記憶装置９０７や記憶媒体ドライブ９０８からロードされたプログラムやデータ、ネットワークインターフェース（Ｉ／Ｆ）部９０９を介して外部の装置から受信したプログラムやデータ、インターフェース（Ｉ／Ｆ）部を介して撮像装置などから受信した動画像データを一時的に保持するエリアを備えると共に、ＣＰＵ９０１が各種の処理を行う際に必要とするエリアを備える。９０３はＲＯＭで、コンピュータ全体の制御を行うためのプログラムやデータを格納する。
【００２０】
９０４、９０５は夫々キーボード、マウスで、各種の指示をＣＰＵ９０１に対して入力することが出来る。９０６は表示部で、ＣＲＴや液晶画面などにより構成されており、画像情報や文字情報などを表示することができ、上記復号処理により復号した画像や後述の拡大／縮小表示処理による画像を表示することができる。９０７は外部記憶装置で、ハードディスクなどの大容量情報記憶装置であって、記憶媒体ドライブ９０８からインストールされたプログラムやデータ、ネットワークインターフェース部９０９を介して外部の装置から受信したプログラムやデータ、インターフェース（Ｉ／Ｆ）部を介して撮像装置などから受信した動画像データを保存することができる。
【００２１】
９０８は記憶媒体ドライブで、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されているプログラムやデータを読み出し、ＲＡＭ９０２や外部記憶装置９０７に出力する。９０９はネットワークインターフェース部で、インターネットやＬＡＮなどのネットワークに接続することができ、このネットワークに接続された装置からプログラムやデータを受信するためのＩ／Ｆとして機能する。９１０はインターフェース部で、外部機器と接続し、データを受信するためのＩ／Ｆとして機能し、例えば動画像を撮像したディジタルカメラと接続し、この動画像を受信することが出来る。なお動画像のデータの受信形態はこれに限定されるものではなく、他にも例えば記憶媒体ドライブ９０８により記憶媒体から読み出しても良い。９１１は上述の各部を繋ぐバスである。
【００２２】
なお、上記圧縮符号化処理や復号処理、そして後述の拡大／縮小表示処理を行うためのプログラムは外部記憶装置９０７に保存しておき、必要に応じてＲＡＭ９０２にロードしても良いし、記憶媒体ドライブ９０８によって記憶媒体から必要に応じてＲＡＭ９０２にロードしても良いし、ネットワークインターフェース部９０９を介して他の装置から受信し、ＲＡＭ９０２に読み出しても良い。
【００２３】
次に上記構成を有するコンピュータが、自身が（もしくは他の装置が）ＪＰＥＧ２０００に従って圧縮符号化した各フレームの画像を順次復号し、表示部９０６に表示すると共に行う処理、すなわち、各フレームの画像において指示した領域の画像を動画像として表示部９０６に表示するための処理について説明する。
【００２４】
図５は上記ウェーブレット変換により生成される、解像度にスケーラビリティを有する画像符号化データを説明する図である。同図において５１は圧縮符号化対象の画像（原画像）である。原画像５１に対して周知の水平方向のウェーブレット変換（水平方向分解）を行うと、画像５２が得られる。画像５２は上半分が低周波数成分、下半分が高周波数成分を含むものであって、夫々の周波数成分をサブバンドと呼称する。画像５１に対して更に垂直方向のウェーブレット変換（垂直方向分解）を行うと、４つのサブバンドを含む画像５３が生成される。そして画像５３の最低周波数のサブバンド５３ａに対して更に水平方向分解、垂直方向分解を行うと、画像５４が得られる。
【００２５】
ここで、「分解レベル０」で示されるサブバンドは最低周波数成分で、このサブバンドは、原画像５１の縦横１／４のサイズの画像、すなわち原画像５１に対して最も解像度の低い画像そのものである。
【００２６】
更に「分解レベル１」で示されるサブバンド、すなわちＨＬ２，ＬＨ２，ＨＨ２に含まれる変換係数を復号することで、原画像５１の縦横１／２のサイズの画像、すなわちより解像度の高い画像を復号することが出来る。更に「分解レベル２」で示されるサブバンド、すなわちＨＬ１，ＬＨ１，ＨＨ１に含まれる変換係数を復号することで、原画像５１と同じサイズの画像、原画像５１そのものを復号することが出来る。
【００２７】
このように、解像度スケーラビリティを有する画像符号化データに対して、復号するサブバンドを変化させることで、夫々異なる解像度の画像を復号することができる。本実施形態における画像の符号化は、図５に示すように、原画像の解像度に対して夫々異なる３つの解像度（３つのレベル）を有するように行われるものとするが、レベルの数はこれに限定されるものではない。
【００２８】
図６はタイル分割を説明する図である。同図では画像は４×４＝１６のタイルに分割されている。本実施形態における圧縮符号化対象の画像はこのようにタイル毎に分割されており、夫々のタイル毎に上記圧縮符号化処理が施されている。従って各タイルの画像の符号化データもまた、解像度スケーラビリティを有していることになる。また上記復号処理もタイル毎に行われる。
【００２９】
図１は、上記復号処理により復号した画像において、ユーザが指示した領域の画像を所定のサイズのウィンドウに表示するための処理を説明する図である。
【００３０】
同図において１００は原画像の分解レベル０の画像を表示するためのウィンドウで、上記復号処理により復号される原画像の分解レベル０の画像はウィンドウ１００のサイズに応じて拡大、縮小し、必要に応じて画素補間を行ってウィンドウ１００内に表示する。ウィンドウサイズに応じて表示する画像の拡大、縮小、画素補間処理については周知の技術であるのでここでの説明を省略する。
【００３１】
１０１はウィンドウ１００内に表示された画像において、ユーザが指示した所望の領域の画像１０５の拡大画像、もしくは縮小画像を表示するためのウィンドウで、このウィンドウ１０１いっぱいに画像１０５の拡大画像、もしくは縮小画像が表示される。１０５はウィンドウ１００内に表示された画像において、ユーザが指示した所望の領域の画像である。
【００３２】
本実施形態ではユーザが指示する所望の領域、すなわち画像１０５は、分割されたいくつかのタイルのうちいずれかのタイルの画像である。すなわちユーザは所望の領域をタイル単位で指示することになる。なお、ユーザはこのようなことを意識せずに所望の領域をキーボード９０４やマウス９０５を用いて入力することができるのであるが、ＣＰＵ９０１は入力された領域と最もオーバーラップしているタイルを、指示された所望の領域として後述の処理対象とする。
【００３３】
次に、指示した領域（画像１０５）をどの程度拡大、もしくは縮小してウィンドウ１０１に表示するのかを指示する手段として本実施形態ではスライダー１０２を用いる。ユーザはキーボード９０４やマウス９０５を用いてスライダー１０２のバー１０２ａを左右に移動させることで、拡大率を制御する。同図ではバー１０２ａを左に移動させる程拡大率が小さく設定され（即ち縮小し）、バー１０２ａをスライダ１０２の中央の位置に移動させると拡大率が１（即ち等倍）に設定され、バー１０２ａを右に移動させる程拡大率が大きく設定される（即ち拡大する）。
【００３４】
ユーザがキーボード９０４やマウス９０５を用いてバー１０２ａの位置を移動させると、ＣＰＵ９０１はバー１０２ａの位置に応じた拡大率ＺＲを求める。そして求めたＺＲを用いて、ウィンドウ１０１内に表示する画像を以下のようにして決定する。
【００３５】
ＺＲ≦１／４のとき、Ｒ＝０
１／４＜ＺＲ≦１／２のとき、Ｒ＝１
１／２＜ＺＲ≦１ のとき、Ｒ＝２
ＺＲ＞１ のとき、Ｒ＝２
Ｒは解像度レベルを示す。ＺＲ≦１／４の場合、すなわち、原画像において画像１０５に対応するタイル画像を１／４以下のサイズに縮小してウィンドウ１０１に表示する場合、原画像において画像１０５に対応するタイル画像の解像度レベル０の画像（図５では分解レベル０の画像）を用いる。そしてＲＡＭ９０２に保持されている画像符号化データ（同図では階層データ１０３）のうち、この解像度レベル０に含まれる変換係数群を復号することで得られる画像をウィンドウ１０１内に表示する。
【００３６】
また１／４＜ＺＲ≦１／２の場合、すなわち、原画像において画像１０５に対応するタイル画像を１／４よりも大きく１／２以下のサイズにしてウィンドウ１０１に表示する場合、原画像において画像１０５に対応するタイル画像の解像度レベル１の画像（図５では分解レベル１の画像）を用いる。そしてＲＡＭ９０２に保持されている画像符号化データのうち、解像度レベル０，解像度レベル１に含まれる変換係数群を復号することで得られる画像をウィンドウ１０１内に表示する。
【００３７】
また１／２＜ＺＲ≦１の場合、すなわち、原画像において画像１０５に対応するタイル画像を１／２よりも大きく１以下のサイズにしてウィンドウ１０１に表示する場合、原画像において画像１０５に対応するタイル画像の解像度レベル２の画像（図５では分解レベル２の画像）を用いる。そしてＲＡＭ９０２に保持されている画像符号化データのうち、解像度レベル０，解像度レベル１、解像度レベル２に含まれる変換係数群を復号することで得られる画像をウィンドウ１０１内に表示する。
【００３８】
またＺＲ＞１の場合、すなわち、原画像において画像１０５に対応するタイル画像をＺＲだけ拡大した画像をウィンドウ１０１に表示する場合、原画像において画像１０５に対応するタイル画像の解像度レベル２の画像（図５では分解レベル１の画像）を用いる。そしてＲＡＭ９０２に保持されている画像符号化データのうち、解像度レベル０，解像度レベル１、解像度レベル２に含まれる変換係数群を復号し、更にこの解像度レベル２の画像をＺＲの分だけ拡大し、更に、拡大したことにより空いた画素間を公知の画素補間処理により埋める。そしてこれにより得られた拡大画像をウィンドウ１０１内に表示する。
【００３９】
そして以上の説明に従った処理を各フレームの画像に対して行うことで、上記ウィンドウ１０１には、ウィンドウ１００に表示される各フレームの画像のうち、指示した領域の拡大画像、もしくは縮小画像が動画像として表示されることになる。また各フレームの画像を表示している最中にバー１０２ａを移動させるとそれに応じてリアルタイムに拡大率が変化するので、ウィンドウ１０１内に表示される画像の拡大率をリアルタイムに制御することができる。
【００４０】
また、ウィンドウ１００内に表示される画像は解像度レベル０の画像であって、最低画質の画像であるので、この画像を復号するために要する処理負荷は低い。よって、上記処理全体がコンピュータにかける負荷をこれにより軽減させることができる。そして、ユーザが見たい領域だけを所望の拡大率で拡大して見ることができる。
【００４１】
従来ではウィンドウ１０１に表示する画像は、ウィンドウ１００に表示されている画像を単に拡大／縮小し、拡大を行う場合には更に画素補間を行っていた。しかしこれでは得られる画像の画質は当然悪いものとなる。しかし上基本実施形態による方法では、表示対象の画像に対して解像度スケーラビリティーを有するように画像符号化が行われている、言い換えれば、画像符号化データには各解像度の画像の符号化データが含まれているので、必要に応じた解像度の画像を得ることが出来る。
【００４２】
図９は、以上説明した、画像中の所望の領域の拡大画像、もしくは縮小画像を表示する処理のフローチャートである。なお、同図のフローチャートに従ったプログラムをＲＡＭ９０２にロードし、ＣＰＵ９０１がこのプログラムを実行することで、上記コンピュータは各フレームの画像において指示した領域の画像を動画像として表示部９０６に表示するための処理を行うことが出来る。
【００４３】
まず解像度レベル０の原画像を復号し、ウィンドウ１００に表示する（ステップＳ２０１）。次に、ユーザから所望の領域の指示を受け付ける（ステップＳ２０２）。所望の領域の指示を受け付けると、次に拡大率ＺＲの入力を受け付ける（ステップＳ２０３）。
【００４４】
ＺＲ≦１／４の場合（ステップＳ２０４）、処理をステップＳ２０５に進め、ＲＡＭ９０２に保持されている画像符号化データのうち、指示した所望の領域に対応するタイル画像の解像度レベル０の画像を復号する。
【００４５】
１／４＜ＺＲ≦１／２の場合（ステップＳ２０６）、処理をステップＳ２０７に進め、ＲＡＭ９０２に保持されている画像符号化データのうち、指示した所望の領域に対応するタイル画像の解像度レベル１の画像を復号する。
【００４６】
１／２＜ＺＲ≦１の場合（ステップＳ２０８）、処理をステップＳ２０９に進め、ＲＡＭ９０２に保持されている画像符号化データのうち、指示した所望の領域に対応するタイル画像の解像度レベル２の画像を復号する。
【００４７】
ＺＲ＞１の場合（ステップＳ２１０）、処理をステップＳ２１１に進め、ＲＡＭ９０２に保持されている画像符号化データのうち、指示した所望の領域に対応するタイル画像の解像度レベル２の画像を復号し（ステップＳ２１１）、更にＺＲに従って拡大処理を行い（ステップＳ２１２）、更に、拡大処理した画像に対して周知の画素補間処理を行う（ステップＳ２１３）。
【００４８】
そしてステップＳ２０５，Ｓ２０７，Ｓ２０９，Ｓ２１１乃至２１３のいずれかで生成された画像をウィンドウ１０１に表示する（ステップＳ２１４）。そしてステップＳ２０４以降の処理を全てのフレームの画像に対して行ったか否かを判断し（ステップＳ２１５）、全てのフレームの画像に対して行っていない場合には、処理をステップＳ２１６に進め、次のフレームの画像符号化データを処理対象に更新する（ステップＳ２１６）。そしてこの画像符号化データを復号してウィンドウ１００に原画像として表示する（ステップＳ２１７）。そしてステップＳ２０４以降の処理を繰り返す。
【００４９】
図７は、上記ＺＲに応じてウィンドウ１０１にどの解像度レベルの画像が用いられているのかを示すアイコンの一例を示す図である。アイコン７１〜７３は図５に示した各解像度レベルの画像を得るための変換係数群の配置を表示し、現在用いている変換係数群がどのレベルのものであるのかをハイライト部分で示すものである。アイコン７１は現在ウィンドウ１０１に解像度レベル０の画像が用いられていることを示している。アイコン７２は現在ウィンドウ１０１に解像度レベル１の画像が用いられていることを示している。アイコン７３は現在ウィンドウ１０１に解像度レベル２の画像が用いられていることを示している。そしてアイコン７４は現在ウィンドウ１０１に原画像のサイズの８倍の画像を用いていることを示している。上記全てのアイコンは表示部９０６の表示画面上において同じ位置に表示され、ＺＲの変化に応じて夫々のアイコンが切り替わって表示される。
【００５０】
図８は、上記ウィンドウ１００，１０１を含むＧＵＩの一例を示す図である。なお、図１と同じ部分には同じ番号を付けており、その説明を省略する。同図のＧＵＩのウィンドウ８０は以下の構成を備える。７０は図７に示した各アイコンのうち、状況に応じて１つ表示されるアイコンを示している。８３は画像符号化データに関する情報（量子化ステップ数などの符号化パラメータやファイル名、ファイルサイズなど）を表示するための領域で、８４はウィンドウ１００に表示する画像（動画像を含む）に関する情報（例えばフレーム番号など）を表示する領域である。
【００５１】
以上の説明によって本実施形態のプログラムを実行するコンピュータは、各フレームの画像において指示した領域の画像を動画像として、コンピュータに大きな負荷をかけることなく表示部に表示することができる。
【００５２】
また、従来の拡大、縮小処理のように、画像情報が大きく損なわれるような方法ではなく、解像度スケーラビリティーを有するように圧縮符号化が施された画像符号化データを用い、必要な解像度に応じた画像を復号するので、画像情報が損なわれることなく、拡大画像、縮小画像を得ることが出来る。
【００５３】
なお本実施形態では圧縮符号化の対象として動画像を構成する各フレームの画像としたが、圧縮符号化の対象を静止画像としても良いことは自明である。
【００５４】
また本実施形態ではウィンドウ１００に表示する画像は解像度レベル０のものであるが、これに限定されるものではなく解像度レベル１のものであっても良い。
【００５５】
また本実施形態では、所望の領域はタイル単位であったがこれに限定されるものではなく、任意の位置に設けるようにしても良い。
【００５６】
［第２の実施形態］
第１の実施形態によるシステムでは、ウィンドウ１０１に表示される画像が、どの解像度レベルの画像を用いたものであるのか、原画像の何倍の画像を表示しているのかがアイコン７０としてＧＵＩ８０上に表示されているが、本実施形態では大まかに、ウィンドウ１０１に表示されている画像が、解像度スケーラビリティを利用したものであるか、又は最大の解像度の画像を更に拡大したものであるのかをユーザに報知する。
【００５７】
これは具体的にはＣＰＵ９０１が拡大率ＺＲを参照して、ＺＲが１を越えて大きくなる、もしくは１を越えて小さくなる時点で、音により報知する。この場合、図２に示した構成において、Ｄ／Ａ変換器やスピーカなどにより構成される音声出力部をバス９１１に接続する。そして、ＣＰＵ９０１が上記時点を検知した場合に、音声出力部に音のデータを出力することで実現できる。この音は例えばチャイムのような音でも良いし、音声によるものであっても良い。
【００５８】
これにより、ユーザは、ウィンドウ１０１に表示されている画像が、解像度スケーラビリティを利用したものであるか、又は最大の解像度の画像を更に拡大したものであるのかを知ることができる。
【００５９】
［他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６１】
また上記記憶媒体には、インターネットやＬＡＮなどのネットワークに使用される通信ケーブルなどの通信媒体が含まれる。すなわち、前述した実施形態のプログラムコードがネットワーク上のサーバ装置に保持されている場合には、このサーバ装置から上記ネットワークを介してコンピュータにダウンロードすることで、コンピュータにプログラムを導入することができる。よって、導入されたプログラムはコンピュータ上のＣＰＵやＭＰＵなどの制御回路により実行され、その結果、コンピュータは前述した実施形態に機能が実現されるわけであるから、前述した記憶媒体に上記ネットワークに使用される通信ケーブルなどの通信媒体が含まれることはいうまでもない。
【００６２】
本発明の実施態様の例を以下に列挙する。
【００６３】
［実施態様１］ 画像に対して解像度スケーラビリティーを有する様に圧縮符号化を行った結果得られる画像符号化データを保持する保持手段と、
前記保持手段が保持する当該画像符号化データを復号する復号手段と、
当該復号手段が復号した、所定解像度レベルの画像を表示する第１の表示領域と、当該第１の表示領域に表示される画像のうち、外部から指示された領域を表示する第２の領域とを有する表示手段と、
前記外部から指示された領域に対する拡大率を指示する指示手段とを備え、
前記復号手段は、前記画像符号化データのうち、前記外部から指示された領域の、当該指示手段により指示された拡大率に応じた解像度レベルの画像を復号し、復号した当該画像は前記第２の表示領域に表示されることを特徴とする画像処理装置。
【００６４】
［実施態様２］ 前記拡大率が１よりも大きい場合、
前記復号手段は前記保持手段が保持する前記画像符号化データのうち、前記外部から指示された領域の解像度が最も大きい画像を復号し、復号した画像を前記拡大率に従って拡大すると共に、画素補間を行って、前記第２の表示領域に表示する画像を生成することを特徴とする実施態様に記載の画像処理装置。
【００６５】
［実施態様３］ 前記画像符号化データは、前記画像をタイル分割し、夫々のタイル毎の符号化データを含むものであり、前記外部から指示された領域は、タイル単位の領域であることを特徴とする実施態様１に記載の画像処理装置。
【００６６】
［実施態様４］ 画像に対して解像度スケーラビリティーを有する様に圧縮符号化を行った結果得られる画像符号化データを保持する保持手段と、
前記保持手段が保持する当該画像符号化データを復号する復号手段と、
当該復号手段が復号した、所定解像度レベルの画像を表示する第１の表示領域と、当該第１の表示領域に表示される画像のうち、外部から指示された領域を表示する第２の領域とを有する表示手段と、
前記外部から指示された領域に対する拡大率を指示する指示手段と、
前記第２の表示領域に表示される画像が、
前記復号手段により復号された、前記画像符号化データのうち、前記外部から指示された領域の、当該指示手段により指示された拡大率に応じた解像度レベルの画像であるか、
もしくは、前記復号手段により前記画像符号化データのうち、前記外部から指示された領域の解像度が最も大きい画像を復号し、復号した画像を前記拡大率に従って拡大すると共に、画素補間を行った結果得られる画像であるかをユーザに報知する報知手段と
を備えることを特徴とする画像処理装置。
【００６７】
［実施態様５］ 画像に対して解像度スケーラビリティーを有する様に圧縮符号化を行った結果得られる画像符号化データを保持するメモリを備える画像処理装置が行う画像処理方法であって、
前記メモリが保持する当該画像符号化データを復号する復号工程と、
当該復号工程で復号した、所定解像度レベルの画像を所定の表示装置の第１の表示領域に表示し、当該第１の表示領域に表示される画像のうち、外部から指示された領域を前記表示装置の第２の表示領域に表示する表示工程と、
前記外部から指示された領域に対する拡大率を指示する指示工程とを備え、
前記復号工程では、前記画像符号化データのうち、前記外部から指示された領域の、当該指示工程で指示された拡大率に応じた解像度レベルの画像を復号し、復号した当該画像は前記第２の表示領域に表示されることを特徴とする画像処理方法。
【００６８】
［実施態様６］ 画像に対して解像度スケーラビリティーを有する様に圧縮符号化を行った結果得られる画像符号化データを保持するメモリを備える画像処理装置が行う画像処理方法であって、
前記メモリが保持する当該画像符号化データを復号する復号工程と、
当該復号工程で復号した、所定解像度レベルの画像を所定の表示装置の第１の表示領域に表示し、当該第１の表示領域に表示される画像のうち、外部から指示された領域を前記表示装置の第２の表示領域に表示する表示工程と、
前記外部から指示された領域に対する拡大率を指示する指示工程と、
前記第２の表示領域に表示される画像が、
前記復号工程で復号された、前記画像符号化データのうち、前記外部から指示された領域の、当該指示工程で指示された拡大率に応じた解像度レベルの画像であるか、
もしくは、前記復号工程で前記画像符号化データのうち、前記外部から指示された領域の解像度が最も大きい画像を復号し、復号した画像を前記拡大率に従って拡大すると共に、画素補間を行った結果得られる画像であるかをユーザに報知する報知工程と
を備えることを特徴とする画像処理方法。
【００６９】
［実施態様７］ コンピュータを実施態様１乃至４の何れか１項に記載の画像処理装置として機能させることを特徴とするプログラム。
【００７０】
［実施態様８］ コンピュータに実施態様５又は６に記載の画像処理方法を実行させることを特徴とするプログラム。
【００７１】
［実施態様９］ 実施態様７又は８に記載のプログラムを格納することを特徴とするコンピュータ読み取り可能な記憶媒体。
【００７２】
【発明の効果】
以上の説明により、本発明によって、画像に設けられた所望の領域を拡大、もしくは縮小して表示する処理を行う場合に、この処理の負荷を軽減させることができる。
【図面の簡単な説明】
【図１】復号処理により復号した画像において、ユーザが指示した領域の画像を所定のサイズのウィンドウに表示するための処理を説明する図である。
【図２】図３，４に示した構成がプログラムの構成である場合、このプログラムを実行するコンピュータの基本構成を示す図である。
【図３】画像に対してＪＰＥＧ２０００に従った圧縮符号化を行う符号化部の構成を示すブロック図である。
【図４】ＪＰＥＧ２０００に従った圧縮符号化による画像符号化データを復号する復号部の構成を示すブロック図である。
【図５】ウェーブレット変換により生成される、解像度にスケーラビリティを有する画像符号化データを説明する図である。
【図６】タイル分割を説明する図である。
【図７】ＺＲに応じてウィンドウ１０１にどの解像度レベルの画像が用いられているのかを示すアイコンの一例を示す図である。
【図８】ウィンドウ１００，１０１を含むＧＵＩの一例を示す図である。
【図９】画像中の所望の領域の拡大画像、もしくは縮小画像を表示する処理のフローチャートである。

Claims (1)

1. 画像に対して解像度スケーラビリティーを有する様に圧縮符号化を行った結果得られる画像符号化データを保持するメモリを備える画像処理装置が行う画像処理方法であって、
   前記メモリが保持する当該画像符号化データを復号する復号工程と、
   当該復号工程で復号した、所定解像度レベルの画像を所定の表示装置の第１の表示領域に表示し、当該第１の表示領域に表示される画像のうち、外部から指示された領域を前記表示装置の第２の表示領域に表示する表示工程と、
   前記外部から指示された領域に対する拡大率を指示する指示工程とを備え、
   前記復号工程では、前記画像符号化データのうち、前記外部から指示された領域の、当該指示工程で指示された拡大率に応じた解像度レベルの画像を復号し、復号した当該画像は前記第２の表示領域に表示されることを特徴とする画像処理方法。

Images