JP2001251623A - 画像処理装置、表示装置、システム、それらの制御方法及び記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 縮小画像を伝送・表示する際に、符号列全
てを復号することなく、文字や図形などの情報が含まれ
ている画像に対しても文字、図形等を判別するに十分な
画質の縮小画像を構成すること。 【解決手段】 画像を入力する画像入力手段と、前記画
像入力手段により入力された画像の特徴を判定する判定
手段と、前記画像を符号化することで、符号化された前
記画像と、この画像に対するヘッダを生成し、前記判定
手段による前記画像の種類に応じたフラグを前記ヘッダ
に書き込むことで符号列を生成する符号化手段と、前記
符号列を記憶する記憶手段と、前記画像の種類に応じて
前記画像を復号する第１の復号化手段と、外部から指示
された解像度に応じた画像を表示する際に、前記記憶手
段に記憶された前記符号列を再構成し、外部の表示装置
に出力する符号列構成手段とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術】本発明は、画像の圧縮符号化、復
号化及び表示を行う画像処理装置、表示装置、システ
ム、それらの制御方法及び記憶媒体に関するものであ
る。

【０００２】

【従来の技術】近年のコンピュータ及びネットワークの
著しい発達に伴い、文字データ、画像データ、音声デー
タ等、多種の情報がコンピュータ内、ネットワーク間で
蓄積・伝送される様になってきている。これらのデータ
の中で画像、特に多値画像は非常に多くの情報を含んで
おり、その画像を蓄積・伝送する際にはデ−タ量が膨大
になってしまうという問題がある。

【０００３】このため、ネットワークを経由して画像の
閲覧が可能な画像データベースのような用途において
は、画像を蓄積する装置内の画像は圧縮符号化されるこ
とが多い。また、これらの画像を閲覧する際は、圧縮符
号化された全てのデータを伝送・復号する必要があり、
ネットワークの帯域が十分でない場合には表示に時間が
かかるという問題がある。

【０００４】このような場合は、画像を元の解像度より
も低く表示するように、圧縮符号化されたデータの一部
分のみを伝送することが行われている。例えばISOおよ
びITU-Tにより勧告された圧縮符号化方式であるJPEGに
おいては、階層的符号化方式が規定されており、これに
より画像を元の解像度に対して2のべき乗分の1の解像度
で復号することができる。

【０００５】しかし、JPEGに規定された方式において
は、符号化において縮小された画像を作って符号化し、
復号する際に必要な解像度の各階層毎に、縮小画像を復
号した結果と原画像を当該解像度に縮小した画像との差
を符号化する必要があり、処理が複雑であった。

【０００６】一方、近年注目を集めている符号化方式と
して、離散ウェーブレット変換による方式がある。図１
１は離散ウェーブレット変換に基づいた圧縮符号化・復
号装置の基本的な構成を示したものである。同図におい
て、画像入力部１は圧縮符号化対象となる画像信号を離
散ウェーブレット変換部２に出力する。離散ウェーブレ
ット変換部２は画像信号に対して２次元の離散ウェーブ
レット変換を施し、変換係数を出力する。この変換係数
は、所定の周波数帯域（以降の説明ではサブバンドと称
す）を単位としてまとめられ、量子化部３に出力され
る。量子化部３では各変換係数に対して量子化を行い、
量子化インデックスに変換する。そしてこの量子化イン
デックスはエントロピ符号化部４に出力され、エントロ
ピ符号化部４では量子化インデックスに対して符号化を
行い、符号列が出力される。

【０００７】同図（ｄ）はこのように生成された符号列
を復号する復号装置の構成を示したものである。同図に
おいてエントロピ復号部５で復号された量子化インデッ
クスは逆量子化部６において変換係数に復元される。更
に復元された変換係数は逆離散ウェーブレット変換部７
において逆変換が施されて画像信号が復元され、復元さ
れた画像信号は画像出力部８に出力される 次に図１１（ｂ）は、離散ウェーブレット変換部２によ
り生成されるサブバンドの構成を図示したものである。
この図において、LLは最も低周波のサブバンドである
が、これは原画像に低域通過フィルタを施してサブサン
プリングすることにより解像度を縮小した画像信号と考
えることもできる。従って、画像を復元する際に全ての
サブバンドを復号せずにLLサブバンドのみを復号し、復
号された信号を元の画像信号のダイナミックレンジに収
まるよう正規化することで、元の画像を縦横共に１／４
に縮小した縮小画像を生成することができる。

【０００８】さらに、１段階高い解像度の画像が必要な
場合は、同図（ｃ）に示すように、１レベル高い解像度
のサブバンド、すなわちHL2、LH2、HH2を復号してLLサ
ブバンドと合わせて逆変換を行なえば、同図に示すよう
に縦横共に解像度が１／２の縮小画像が得られる。

【０００９】このように、離散ウェーブレット変換を用
いた符号化方式においては、変換によるサブバンドの構
造を利用することで、符号列から縮小画像を生成するこ
とができる。

【００１０】

【発明が解決しようとする課題】しかし、前述したよう
に離散ウェーブレット変換のサブバンド構造を利用する
方法においては、画像の中に文字や図形などの情報が含
まれている場合、前述した方法によると高周波成分が除
去された画像となるため、例えば文字が判別できない等
の不具合が生ずる。

【００１１】本発明は、前述したような用途において縮
小画像を伝送・表示する際に、符号列全てを復号するこ
となく、文字や図形などの情報が含まれている画像に対
しても文字、図形等を判別するに十分な画質の縮小画像
を構成することができる画像処理装置及び画像処理方法
並びに記憶媒体を提供する。

【００１２】

【課題を解決するための手段】本発明の目的を達成する
ために、例えば本発明の画像処理装置は以下の構成を備
える。すなわち、画像に対して符号化を行う画像処理装
置であって、画像を入力する画像入力手段と、前記画像
入力手段により入力された画像の特徴を判定する判定手
段と、前記画像を符号化することで、符号化された前記
画像と、この画像に対するヘッダを生成し、前記判定手
段による前記画像の種類に応じたフラグを前記ヘッダに
書き込むことで符号列を生成する符号化手段と、前記符
号列を記憶する記憶手段と、前記画像の種類に応じて前
記画像を復号する第１の復号化手段と、外部から指示さ
れた解像度に応じた画像を表示する際に、前記記憶手段
に記憶された前記符号列を再構成し、再構成された前記
符号列を外部装置に出力する符号列構成手段とを備え
る。

【００１３】本発明の目的を達成するために、例えば本
発明の表示装置は以下の構成を備える。すなわち、前記
画像処理装置から入力した符号列を復号化して画像を表
示する表示装置であって、前記入力した符号列に対し
て、前記符号列に含まれている画像の種類に応じたフラ
グに応じて復号化する第２の復号化手段と、前記第２の
復号化手段により復号化された前記符号列を画像として
表示する表示手段とを備える。

【００１４】本発明の目的を達成するために、例えば本
発明のシステムは以下の構成を備える。すなわち、画像
に対して符号化を行う画像処理装置と、前記画像処理装
置から入力した符号列を復号化して画像を表示する表示
装置とで構成されるシステムであって、前記画像処理装
置は、画像を入力する画像入力手段と、前記画像入力手
段により入力された画像の特徴を判定する判定手段と、
前記画像を符号化することで、符号化された前記画像
と、この画像に対するヘッダを生成し、前記判定手段に
よる前記画像の種類に応じたフラグを前記ヘッダに書き
込むことで符号列を生成する符号化手段と、前記符号列
を記憶する記憶手段と、前記画像の種類に応じて前記画
像を復号する第１の復号化手段と、外部から指示された
解像度に応じた画像を表示する際に、前記記憶手段に記
憶された前記符号列を再構成し、前記表示装置に出力す
る符号列構成手段とを備え、前記表示装置は、前記入力
した符号列に対して、前記符号列に含まれている画像の
種類に応じたフラグに応じて復号化する第２の復号化手
段と、前記第２の復号化手段により復号化された前記符
号列を画像として表示する表示手段とを備える。

【発明の実施の形態】以下添付図面に従って、本発明を
好適な実施形態に従って詳細に説明する。

【００１５】［第１の実施形態］図１は本実施形態にお
ける画像処理装置の基本構成を示す図である。同図
（ａ）において、画像入力部１から出力された画像信号
は、符号化部Ｅにおいて圧縮符号化され、その結果得ら
れた符号列は、符号列構成部１１により、符号列記憶部
１０に記憶される。記憶された符号列は外部からの要求
に応じて符号列記憶部１０から読み出され、再び符号列
構成部１１により領域判定部９からの後述する入力に基
づいて必要に応じて再構成され、外部に出力される。一
方、復号部Ｄは復号列記憶部１０に記憶された符号列の
一部を復号し、元の画像信号を復元するために用いられ
る。

【００１６】さらに詳細な符号化部Ｅおよび復号部Ｄの
構成をそれぞれ図１（ｂ）及び（ｃ）に示す。以下この
構成を元に順を追って本実施形態における画像処理装置
の動作を図１２，１３に示した、画像信号から符号列を
作成する処理のフローチャート、符号列を再構成する処
理のフローチャートを用いて説明する。なお、図１２，
１３に示したフローチャートに従ったプログラムコード
は画像処理装置内の不図示のメモリ（ＲＯＭ、ＲＡＭ
等）に格納され、同様に画像処理装置内のＣＰＵにより
このプログラムコードが実行され、後述する各処理が行
われているものとする。

【００１７】画像信号（画像）は、画像入力部１により
所定の大きさを持つ矩形のタイルに分割される（ステッ
プＳ１２０１）。図２はこのようにタイルに分割された
画像の例を示したものであり、図において処理対象とな
る画像２００は同一の大きさを持つ１６個のタイルに分
割されている。このように分割された画像は、順次タイ
ル単位で後述する符号化部Ｅの離散ウェーブレット変換
部２及び領域判定部９に出力される。領域判定部９で
は、画像入力部１から入力したタイル単位の画像が、ど
のような特性を持つ画像であるかを判別する（ステップ
Ｓ１２０４）。本実施形態においては、領域判定部９は
画像の特性(種類）としてテキスト画像（緋文字線
画）、テキスト画像以外(自然画像もしくは緋文字線
画）の種類を判定するものとする。この判別方式に関し
ては、本実施形態の本質ではないために詳細は省略する
が、一例を説明するのであれば、文字や線画は高濃度の
画素の集合であるので、タイル内の画素値のヒストグラ
ムを算出し、その分布において高濃度の頻度が占める割
合が所定以上（例えば画素濃度が２５６階調で表現され
る場合は２５０以上等）になっていて、尚且つ、その高
濃度の連続（接続）している画素の数が所定割合以上の
場合に緋文字線画と判定すれば良いであろう。この判別
の結果は符号列構成部１１に出力される。なお、符号列
構成部１１については詳しくは後述する。

【００１８】一方、画像入力部１からタイル単位で出力
された画像信号は、離散ウェーブレット変換部２に入力
され、離散ウェーブレット変換が施される（ステップＳ
１２０２）。離散ウェーブレット変換部２は、入力した
画像信号に対して２次元の離散ウェーブレット変換処理
を行い、変換係数を計算する。

【００１９】図３（ａ）は離散ウェーブレット変換部２
の基本構成を表したものである。離散ウェーブレット変
換部２に入力された画像信号はメモリ２０１に記憶さ
れ、処理部２０２により順次読み出されて離散ウェーブ
レット変換処理が行われた後に、再びメモリ２０１に書
きこまれる。

【００２０】本実施形態においては、処理部２０２にお
ける処理の構成は同図（ｂ）に示すものとする。同図に
おいて、入力された画像信号は遅延素子３０１およびダ
ウンサンプラ３０２の組み合わせにより、メモリ２０１
における偶数アドレスおよび奇数アドレスに記憶されて
いた画像信号が分離され、それぞれ２つのフィルタｐ３
０３およびｕ３０４によりフィルタ処理が施される。同
図ｓおよびｄは、各々１次元の画像信号に対して１レベ
ルの分解を行った際のローパス係数およびハイパス係数
を表しており、次式により計算されるものとする。 d(n) = x(2＊n + 1) - floor((x(2＊n) + x(2＊n + 2))
/2) s(n) = x(2＊n) + floor((d(n - 1) + d(n))/4) ただし、x(n)は変換対象となるアドレスｎにおける画像
信号である。また、floor(x)はｘを超えない最大の整数
値を返す関数である。

【００２１】以上の処理により、画像信号に対する１次
元の離散ウェーブレット変換処理が行われる。２次元の
離散ウェーブレット変換は、２次元の変換を画像の水平
・垂直方向に対して順次行うものであり、その詳細は公
知であるのでここでは説明を省略する。

【００２２】図３（ｃ）は離散ウェーブレット変換部２
における２次元の離散ウェーブレット変換処理で得られ
る２レベルの変換係数(サブバンド係数)群の構成例であ
り、画像信号はサブバンドHH1、HL1、LH1、…、LLに分
解され、各サブバンド係数は後述する量子化部３に出力
される。

【００２３】量子化部３は、離散ウェーブレット変換部
２から入力した各サブバンド係数を所定の量子化ステッ
プにより量子化し、その量子化値に対するインデックス
(量子化インデックス)を出力する（ステップＳ１２０
３）。ここで、量子化は次式により行われる。 q = sign (c) floor(abs(c) / Δ) sign(c) = 1; c ＞= 0 sign(c) = -1; c ＜ 0 ここで、cは量子化対象となるサブバンド係数である。
また、本実施形態においてはΔの値として１を含むもの
とする。この場合（Δの値が１の場合）、量子化は行わ
れず、量子化部３に入力された変換係数はそのまま後述
するエントロピ符号化部４に出力される。

【００２４】エントロピ符号化部４は量子化部３から入
力した量子化インデックスをビットプレーンに分解し、
ビットプレーンを単位に２値算術符号化を行って符号列
を出力する。図４はエントロピ符号化部４の動作を説明
する図である。同図において、４×４の大きさを持つサ
ブバンド内の領域において０でない量子化インデックス
が３個存在しており、それぞれの量子化インデックスは
＋１３、−６、＋３の値を持っている。エントロピ符号
化部４は同図に示した４×４のサブバンド内の領域を走
査して各量子化インデックスが持っている値の中で最大
値Ｍを求め、次式により最大値Ｍを表現するために必要
なビット数Ｓを計算する（ステップＳ１２０５）。 S ＝ ceil(log2( abs(M) )) ここでceil(x)はx以上の整数の中で最も小さい整数値を
表す。図４の場合、最大値Ｍは＋１３であるので、ビッ
ト数Ｓは４と計算され、その結果、上述の量子化インデ
ックスは４つのビットプレーンに分解される(ステップ
Ｓ１２０６)。そして、１６個の量子化インデックスは
同図（ｂ）に示すように４つのビットプレーンを単位と
して後述する処理が行われる。最初にエントロピ符号化
部４は最上位ビットプレーン(同図においてＭＳＢで表
す)の各ビットを２値算術符号化し、ビットストリーム
として出力する。次にビットプレーンを１レベル下げ、
以下同様に対象ビットプレーンが最下位ビットプレーン
（同図においてＬＳＢで表す）に至るまで、ビットプレ
ーン内の各ビットを２値算術符号化し、符号列構成部１
１に出力する（ステップＳ１２０７）。この時、各量子
化インデックスの符号は、ビットプレーン走査において
最初の０でないビットが検出されるとそのすぐ後にこの
量子化インデックスの符号が上述の符号化(エントロピ
符号化)される。このように生成された符号列は符号列
構成部１１に出力される。

【００２５】よって、前述のとおり、符号列構成部１１
は、前述の領域判定部９及びエントロピ符号部４からの
出力により後述する符号列を生成し（ステップＳ１２０
８）、この符号列は符号列記憶部１０に記憶される。

【００２６】図５は、符号列構成部１１において生成さ
れる符号列の構成を表した概略図である。同図（ａ）は
符号列の全体の構成を示したものであり、ＭＨはメイン
ヘッダ、ＴＨはタイルヘッダ、ＢＳはビットストリーム
である。

【００２７】メインヘッダＭＨは同図（ｂ）に示すよう
に、符号化対象となる画像のサイズ（水平および垂直方
向の画素数）をあらわす画像サイズ、タイルのサイズを
あらわすタイルサイズ、画像に含まれる各色成分数を表
すコンポーネント数、各色成分の大きさ、ビット精度を
表すコンポーネント情報から構成されている。なお、本
実施形態では、モノクロのグレースケール画像を符号化
する場合について説明するが、本実施形態における符号
化の説明はこれに限らない。例えば、ＲＧＢからなるカ
ラー画像を符号化する場合には、各色をモノクロ画像の
データとして符号化すればよい。

【００２８】次にタイルヘッダＴＨの構成を図５（ｃ）
に示す。タイルヘッダＴＨにはタイルのビットストリー
ム長とヘッダ長を含めたタイル長、タイルに対する符号
化パラメータから構成される。符号化パラメータには離
散ウェーブレット変換のレベル、フィルタの種別等が含
まれている。また、符号化パラメータにはタイルのデー
タが符号化されているか否かをしめすフラグが含まれて
いるものとする。又タイルヘッダＴＨには前述の画像の
種類を示すフラグが領域判定部９からの出力により書き
込まれるものとする。

【００２９】また、本実施形態におけるビットストリー
ムの構成を同図（ｄ）に示す。同図において、ビットス
トリームは各サブバンド毎にまとめられ、解像度の小さ
いサブバンドを先頭として順次解像度が高くなる順番に
配置されている。さらに、各サブバンド内は最上位ビッ
トプレーン（ＭＳＢ）から最下位ビットプレーン（ＬＳ
Ｂ）の順に各ビットプレーンに対する２値算術符号化の
結果が配置されている。

【００３０】次に本実施形態における画像処理装置にお
いて、画像処理装置に接続されたキーボードなどの不図
示の外部入力装置から要求された解像度で上述の画像信
号に基づいた画像を表示させる際に、上述の符号列を再
構成する方法について説明する。

【００３１】図１において、前述の外部入力装置から符
号列構成部１１に対し、復号画像の解像度が指定される
（ステップＳ１３０１）。ここで、指定される解像度は
図３（ｃ）において示したような離散ウェーブレット変
換により得られるサブバンド構造から生成できる縮小画
像のうちのいずれかに対応するものとする。そして、符
号列構成部１１は、外部入力装置から指定された解像度
と符号列記憶部１０に記憶された符号列に基づいて不図
示の画像表示部に出力する符号列を再構成し、出力す
る。

【００３２】符号列構成部１１は、符号列記憶部１０か
ら入力した符号列に含まれるタイルヘッダＴＨを順次解
析し、このタイルヘッダＴＨに書き込まれたこのヘッダ
に対応するタイルがテキスト画像か自然画像かを判別す
るためのフラグを参照する（ステップＳ１３０２）。そ
して、このヘッダに対応するタイルがテキスト画像の場
合は、このタイルのビットストリームを復号部Ｄに出力
する。その場合、復号部Ｄは符号列構成部１１から入力
したビットストリームを復号してこのタイルの画像信号
を復元し（ステップＳ１３０３）、再び符号列構成部１
１に出力する。なお、復号部Ｄの動作は後述するように
縮小された画像を表示する際の動作と同じであるため、
ここでは省略する。

【００３３】次に符号列構成部１１は、復元された画像
信号に対して外部入力装置により要求された解像度と等
しくなるように解像度変換処理を行う（ステップＳ１３
０４）。例えば、最終的に不図示の画像表示部に表示さ
れるべき縮小画像の解像度が図３（ｃ）におけるLLサブ
バンドと等しい場合、符号列構成部１１は復号部Ｄによ
り復元された画像信号をLLサブバンドの解像度と等しく
なるように解像度を変換する。ここで解像度変換に際し
ては、公知のキュービック補間等の技術を用いることが
できるが、本実施形態の説明の範疇ではないため詳細は
省略する。解像度変換された画像信号は、再び符号化部
Ｅに出力され圧縮符号化される（ステップＳ１３０
５）。

【００３４】更に、本実施形態において解像度変換され
た画像信号が再び圧縮符号化される際の量子化ステップ
は１であるとする。すなわち量子化は行われず結果とし
て縮小画像は復号される際に完全に元の信号が再構成さ
れる可逆圧縮が施される。

【００３５】一方、符号列構成部１１で解析されたタイ
ルヘッダＴＨに対応するタイルの種別がテキスト画像で
はない場合（自然画像の場合）、符号列構成部１１はそ
の符号列に対しては何も処理は行わない。そして、上述
した各タイルの種別に応じた処理を行った後、符号列構
成部１１は前述の符号列を再構成するが(ステップＳ１
３０６)、この再構成された符号列について，以下説明
する。

【００３６】図６は、タイルに分割された画像６０１
と、それに対応し符号列構成部１１により再構成された
符号列の関係を示した図である。同図（ａ）はタイル分
割された画像６０１であるが、タイル５及び６は領域判
定部９によりテキスト画像として判別されているとす
る。これに対して再構成された符号列の一部を同図
（ｂ）に示す。ここで、外部入力装置から符号列構成部
１１に対して指定された解像度が離散ウェーブレット変
換によるLLサブバンドに相当した場合、再構成された符
号列における各タイルのビットストリームは、そのタイ
ルが自然画像である場合（タイル５，６以外のタイルの
場合）、LLサブバンドの符号のみで構成される（ＢＳ
０，ＢＳ１）。しかし、タイルがテキスト画像の場合
（タイル５及び６の場合）、このタイルを指定解像度に
解像度変換し、解像度変換された画像に対して離散ウェ
ーブレット変換を施した結果、得られた全てのサブバン
ドの符号がタイル５及び６のビットストリーム（ＢＳ
５，ＢＳ６）に含まれる。すなわち、同図（ｂ）におい
て示したLL'からHH1'はこのように元の画像の解像度と
は異なる解像度を持つ画像のサブバンドに対応してい
る。

【００３７】なお、再構成された符号列において各タイ
ルのヘッダのタイル長は実際のタイル長と等しくなるよ
う変更される。

【００３８】このようにして得られた符号列は所定の伝
送路を介して送出され(ステップＳ１３０７)、不図示の
画像表示部において復号および表示される。以下に本実
施形態において、上述の処理の結果得られた符号列の画
像表示部（表示装置）における復号処理について説明す
る。

【００３９】なお、不図示の画像表示部の構成は、図１
１（ｄ）に示す。なお、画像表示部において、実際に画
像を表示するのは画像出力部８であり、画像表示部にお
いて、画像出力部８以外の部分については、図１（ｃ）
における復号部Ｄと同じ構成である。以下、図１５に示
した画像表示部において画像処理装置から送出された符
号列を復号化して、画像を表示する処理のフローチャー
トに従って、画像表示部における処理を説明する。

【００４０】まず、伝送路を介して符号列構成部１０か
ら入力された符号列はエントロピ復号部５により復号さ
れる。エントロピ復号部５は入力した符号列のビットス
トリームをビットプレーン単位で復号化し（ステップＳ
１５０１）、最終的に量子化インデックスを復元する
（ステップＳ１５０２）。この時の復号化手順を図７に
示す。同図（ａ）は復号対象となるサブバンドの一領域
をビットプレーン単位で順次復号化し、最終的に量子化
インデックスを復元する流れを図示したものであり、同
図の矢印の順にビットプレーンが復号化される。復元さ
れた量子化インデックスは逆量子化部６に出力される。

【００４１】逆量子化部６は入力した量子化インデック
スから、次式に基づいて離散ウェーブレット変換係数を
復元する（ステップＳ１５０３，Ｓ１５０４）。 c' = Δ ＊ q ; q ≠ 0 c' = ０ ; q ＝ 0 ここで、ｑは量子化インデックス、Δは量子化ステップ
であり、Δは符号化時に用いられたものと同じ値であ
る。c'は復元された変換係数であり、符号化時ではｓま
たはｄで表される係数の復元したものである。変換係数
c'は後述する逆離散ウェーブレット変換部７に出力され
る。

【００４２】図８は逆離散ウェーブレット変換部９の構
成および処理のブロック図を示したものである。同図
（ａ）において、逆量子化部６から入力された変換係数
はメモリ７０１に記憶される。処理部７０２は１次元の
逆離散ウェーブレット変換を行い、メモリ７０１から順
次変換係数を読み出して逆離散ウェーブレット処理を行
うことで、２次元の逆離散ウェーブレット変換を実行す
る（ステップＳ１５０６）。２次元の逆離散ウェーブレ
ット変換は、順変換と逆の手順により実行されるが、詳
細は公知であるので説明を省略する。

【００４３】同図（ｂ）は処理部７０２の処理を示した
ブロック図である。逆量子化部６から入力された変換係
数はｕおよびｐの２つのフィルタ処理を施され、アップ
サンプリングされた後に重ね合わされて画像信号x'が出
力される。これらの処理は次式により行われる。 x'(2*n) = s'(n) - floor ((d'(n-1) + d'(n))/4) x'(2*n+1) = d'(n) + floor ((x'(2*n) + x'(2*n+2))/
2) このように復元された画像信号は画像出力部８に出力さ
れる（ステップＳ１５０７）。そしてこの画像信号を表
示する。尚、以上述べた一連の処理は符号列を構成して
いるタイル単位で独立に行われ、入力したビットストリ
ームに含まれる全てのサブバンドが復号される。本実施
形態においては、自然画像のタイルに対しては、LLサブ
バンドのみが（ステップＳ１５０３）、テキスト画像の
タイルに対しては解像度変換により選られた縮小画像の
全てのサブバンドが（ステップＳ１５０４）復号に用い
られる。

【００４４】図９は、上述した処理による符号列とそれ
に含まれるタイルの持つ解像度の関係を図示したもので
ある。同図においてＣＳ１は符号列記憶部１０に記憶さ
れた符号列である。この例においては、タイルは水平お
よび垂直方向に２５６画素の大きさを持ち、かつタイル
番号５及び６は図６（ａ）に示したようにテキスト画像
に相当している。一方、ＣＳ２は外部入力装置よりLLサ
ブバンドの解像度に相当する縮小画像の送信を指示さ
れ、再構成された後の符号列構成を示したものである。
符号列構成部１１はタイル番号４及び７の符号について
はLLサブバンドの符号をそのままＣＳ２に含めるが、タ
イル番号５及び６については上述の通り、復号してこの
タイルの画像を復元する。さらに復元した画像に対して
他のタイルのLLサブバンドと同じ解像度、すなわち水平
垂直共に６４画素となるよう解像度変換を施し、さらに
符号化して結果として得られた符号をＣＳ２に挿入す
る。この時、各タイルの符号として、タイル番号４及び
７についてはLLサブバンドの符号が、タイル番号５及び
６については解像度変換により生成された縮小画像を離
散ウェーブレット変換した全てのサブバンドの符号が含
まれている。

【００４５】次にＣＳ２を復号することで、各タイルは
同じ解像度すなわち水平垂直共に６４画素の大きさを持
つ画像として復元され、表示される。このようにテキス
ト画像に相当するタイルに対してはタイルを復元して解
像度変換を行う際に、高周波成分を極力保持するよう変
換を行い、かつその縮小画像の全てのサブバンドを符号
列に含めることにより、最終的に画像を縮小した状態で
表示する際、テキスト画像に関しては自然画像よりも高
い画質で表示を行うことができる。

【００４６】なおＣＳ１自体は符号列記憶部１０にその
まま保持されており、外部入力装置に必要解像度の縮小
画像を送信する毎にＣＳ２は作成されるので、ＣＳ１が
失われることはない。

【００４７】［第２の実施形態］前述した第１の実施形
態においては、テキスト画像に対応するタイルの符号を
一度復号し、解像度変換を行ってから再度符号化して符
号列を再構成した。しかしながら、この方法ではテキス
ト画像のタイルを処理する際に復号および符号化が実行
されるため、画像内のタイルの構成等によっては、符号
列を構成する際に要する時間がより多くかかる可能性が
ある。本実施形態においては、この点を考慮した別の方
法について説明する。

【００４８】本実施形態において、画像処理装置の全体
構成は第１の実施形態と同様であるが、符号列構成部１
１が符号列を再構成する際、テキスト画像のタイルにつ
いては再度符号化を行わない。すなわち図１０に示すよ
うに、再構成された符号列ＣＳ２においてタイル番号５
及び６については、符号化が行われずに解像度変換され
た画像信号がそのままの形で挿入される。その際にタイ
ルヘッダＴＨに含まれている前述のフラグに対して、タ
イルが符号化されているか否かを示すフラグをオフ（符
号化されていない）にする。

【００４９】一方、画像表示部においては、このフラグ
を参照し、復号処理を省略することでテキスト画像のタ
イルを正しく表示することができる。

【００５０】また、通常テキスト画像のように画素値が
限られており、分布が極めて疎である場合は離散ウェー
ブレット変換を施すことで逆に符号化対象となるシンボ
ルを増やす結果となり、符号化に要する時間がよりかか
ってしまう結果となる。

【００５１】よって本実施形態で示した上述の方法によ
り、テキスト画像のタイルに対する処理時間を第１の実
施形態における処理時間よりも短縮することができるの
で、符号列を構成する際に要する時間をより短くするこ
とができる。

【００５２】なお、本実施形態において、画像信号から
符号列を作成するフローチャートとしては、図１２に示
したフローチャートと同じである、一方、本実施形態に
おいて、符号列を再構成するフローチャートとしては、
図１３に示したフローチャートにおいて、ステップＳ１
３０５における処理を行わず、テキスト画像のタイルに
対応するビットストリームに対しては、符号化を行った
ことを示す前述のフラグをオフにするフローチャートと
なる。又、画像を表示するフローチャートとしては、図
１５において、タイルの画像信号がテキスト画像の場合
にはステップＳ１５０３から直接ステップＳ１５０７に
処理を進めるフローチャートとなる。

【００５３】［第３の実施形態］前述の第２の実施形態
では、テキスト画像に対応するタイルについては復号
後、再符号化しないで符号列を再構成したが、符号化の
一部の処理を省略することも可能である。すなわち、符
号化の過程において離散ウェーブレット変換を省略し、
縮小された画像を直接エントロピ符号化しても良い。こ
の場合は、タイルヘッダＴＨにおいて離散ウェーブレッ
ト変換のレベル数は0となる。このようにすることで、
テキスト画像のように画素の値が例えば０と２５５に離
散化しているような場合は、再構成された符号列の量を
抑制することができる。

【００５４】なお本実施形態において、画像信号から符
号列を作成するフローチャートとしては、図１２に示し
たフローチャートにおいて、ステップＳ１２０２におけ
る処理を行わないフローチャートとなる。一方、本実施
形態において、符号列を再構成するフローチャートとし
ては、図１３に示したフローチャートにおいて、ステッ
プＳ１３０５における処理を行わないフローチャートと
なる。又、本実施形態において、画像を表示するフロー
チャートとしては、図１５において、ステップＳ１５０
２からステップＳ１５０６に直接処理を進めるフローチ
ャートとなる。

【００５５】［第４の実施形態］第１乃至３の実施形態
における画像処理装置が行う各処理はパーソナルコンピ
ュータやワークステーションなどのコンピュータ上にお
いて実現することができる。図１４に本実施形態におけ
るコンピュータの構成を示すブロック図を示す。

【００５６】１４０１はＣＰＵで、コンピュータ全体の
制御を行うと共に、ＲＡＭ１４０３に格納されたプログ
ラムコードを実行する。

【００５７】１４０２はＲＯＭで、コンピュータの起動
時に必要なプログラムコード（ブートのプログラムコー
ドなど）やデータを格納すると共に、コンピュータの起
動後に必要な設定や文字コードなどの格納する。

【００５８】１４０３はＲＡＭで、外部記憶装置から読
み込んだプログラムコードやデータなどを一時的に格納
する。また、ＣＰＵ１４０１がプログラムコードを実行
する際に必要とするワークエリアも備えている。

【００５９】１４０４は表示部で、各処理で必要に応じ
て画像や文字を表示する。もしくはコンピュータからの
システムメッセージも必要に応じて表示する。

【００６０】１４０５は外部記憶装置で、ＣＤ−ＲＯＭ
やフロッピーディスクなどの記憶媒体からインストール
された各種のプログラムコードやデータなどを保存す
る。

【００６１】１４０６は操作部で、キーボードやマウス
などのポインティングデバイスにより構成されており、
コンピュータに対して各種の指示を入力することができ
る。１４０７はスキャナで、紙に描かれた画像や文字な
どを読み込み、コンピュータにデータとして入力するこ
とができる。

【００６２】１４０８はプリンタで、コンピュータ上に
おいて生成された縮小画像を紙にプリントすることがで
きる。

【００６３】１４０９はＮＣＵで、通信回線を介して、
コンピュータ上において生成された縮小画像を他の機器
に出力することができる。又逆に、他の機器から画像を
入力することもできる。なおこの通信回線を介してコン
ピュータと通信を行う対象は画像に限らず、文字データ
であってもよい。

【００６４】１４１０は上述の各部を繋ぐバスである。

【００６５】よって上述のコンピュータ内の各部は第１
乃至３の実施形態において説明した各処理を実行するこ
とが可能であることを示した。

【００６６】［他の実施形態］さらに、第１乃至３の実
施形態は上記実施の形態を実現するための装置及び方法
のみに限定されるものではなく、上記システム又は装置
内のコンピュータ（CPUあるいはMPU）に、上記実施の形
態を実現するためのソフトウエアのプログラムコードを
供給し、このプログラムコードに従って上記システムあ
るいは装置のコンピュータが上記各種デバイスを動作さ
せることにより上記実施の形態を実現する場合も第１乃
至３の実施形態の範疇に含まれる。

【００６７】またこの場合、前記ソフトウエアのプログ
ラムコード自体が上記実施の形態の機能を実現すること
になり、そのプログラムコード自体、及びそのプログラ
ムコードをコンピュータに供給するための手段、具体的
には上記プログラムコードを格納した記憶媒体は第１乃
至４の実施形態の範疇に含まれる。

【００６８】この様なプログラムコードを格納する記憶
媒体としては、例えばフロッピー（登録商標）ディス
ク、ハードディスク、光ディスク、光磁気ディスク、CD
-ROM、磁気テープ、不揮発性のメモリカード、ROM等を
用いることができる。

【００６９】また、上記コンピュータが、供給されたプ
ログラムコードのみに従って各種デバイスを制御するこ
とにより、上記実施の形態の機能が実現される場合だけ
ではなく、上記プログラムコードがコンピュータ上で稼
働しているOS(オペレーティングシステム)、あるいは他
のアプリケーションソフト等と共同して上記実施の形態
が実現される場合にもかかるプログラムコードは第１乃
至４の実施形態の範疇に含まれる。

【００７０】更に、この供給されたプログラムコード
が、コンピュータの機能拡張ボードやコンピュータに接
続された機能拡張ユニットに備わるメモリに格納された
後、そのプログラムコードの指示に基づいてその機能拡
張ボードや機能格納ユニットに備わるCPU等が実際の処
理の一部または全部を行い、その処理によって上記実施
の形態が実現される場合も第１乃至４の実施形態の範疇
に含まれる。

【００７１】なお上述の第１乃至４の実施形態を上述の
記憶媒体に適応する場合、その記憶媒体には、先に説明
した（図１２，１３、１５に示す）フローチャート、も
しくは第２，３の実施形態におけるフローチャートに対
応するプログラムコードが格納されることになる。

【００７２】

【発明の効果】縮小画像を伝送・表示する際に、符号列
全てを復号することなく、文字や図形などの情報が含ま
れている画像に対しても文字、図形等を判別するに十分
な画質の縮小画像を構成することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態における画像処理装置
の基本構成を示す図である。

【図２】タイルに分割された画像の例を示す図である。

【図３】離散ウェーブレット変換部を説明する図であ
る。

【図４】エントロピ符号化部の動作を説明する図であ
る。

【図５】符号列の構成を示した図である。

【図６】タイルに分割された画像と、それに対応し符号
列構成部により再構成された符号列の関係を示した図で
ある。

【図７】エントロピ復号部の符号化手順を示す図であ
る。

【図８】逆離散ウェーブレット変換部の構成処理のブロ
ック図である。

【図９】本発明の第１の実施形態において、符号列とそ
れに含まれるタイルの持つ解像度の関係を示した図であ
る。

【図１０】本発明の第２の実施形態における処理を示し
た図である。

【図１１】従来例において、離散ウェーブレット変換に
基づいた圧縮符号化・復号装置の基本的な構成を示した
図である。

【図１２】画像信号から符号列を作成する処理のフロー
チャートである。

【図１３】符号列を再構成する処理のフローチャートで
ある。

【図１４】本発明の第４の実施形態におけるコンピュー
タの構成を示すブロック図である。

【図１５】符号列を復号化、表示する処理のフローチャ
ートである。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 梶原 浩 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 Ｆターム(参考） 5C059 KK34 MA24 MA45 MB02 MB06 ME11 PP20 RC28 RC34 SS06 UA02 UA05 UA32 UA39 5C078 AA04 BA58 DA01 DA02 5C082 AA01 BA02 BA12 BA34 BA35 BB34 BB44 BB49 BD01 BD02 CA34 CA84 CB01 DA06 DA26 DA87 MM05 MM10 9A001 EE04 HZ27

Claims (26)

【特許請求の範囲】
1. 【請求項１】 画像にウェーブレット変換を施して符号
   化された符号化データを格納する格納手段と、 前記画像の特徴を識別する識別手段と、 前記識別結果に応じて、前記符号化データの一部に相当
   する前記画像の低周波数成分データを出力するか、前記
   符号化データを一旦復号化し、縮小した画像データを出
   力するかを制御する制御手段とを有することを特徴とす
   る画像処理装置。
2. 【請求項２】 更に、外部機器からの指示入力に応じた
   解像度に基づいて、前記縮小した画像データを得ること
   を特徴とする請求項１に記載の画像処理装置。
3. 【請求項３】 前記縮小した画像データは最符号化され
   たデータであることを特徴とする請求項１に記載の画像
   処理装置。
4. 【請求項４】 入力した画像を所定のサイズのタイル単
   位に符号化を行う画像処理装置であって、 タイル画像から複数の周波数成分のパラメータを抽出
   し、符号化する符号化手段と、 符号化したデータをタイル画像単位に記憶する記憶手段
   と、 入力したタイル画像に特定画像領域が含まれるか否かを
   判定する判定手段と、 前記判定手段によって注目タイル画像が特定画像領域で
   あると判定した場合、注目タイル画像について、出力先
   の解像度に適合する解像度に変換し、前記符号化手段で
   符号化する第１の制御手段と、 該第１の制御手段によって符号化されたタイル画像の符
   号化データに対し、特定画像領域を含まないタイル画像
   と区別する識別情報を付加する識別情報付加手段とを備
   えることを特徴とする画像処理装置。
5. 【請求項５】 前記特定画像は文字線画を含むことを特
   徴とする請求項４に記載の画像処理装置
6. 【請求項６】 請求項第４項に記載の画像処理装置より
   の符号化データを受信し、縮小画像として表示する表示
   装置であって、 入力した注目タイルの符号化データにおける前記識別情
   報が、特定画像であることを示す場合、当該タイルの符
   号化データの全周波数成分を用いて復号化する第１の復
   号化手段と、 入力した注目タイルの符号化データにおける前記識別情
   報が、非特定画像であることを示す場合、当該タイルの
   符号化データにおける、縮小画像に使用するサイズに応
   じた周波数成分を用いて復号化する第２の復号化手段と
   を備えることを特徴とする表示装置。
7. 【請求項７】 前記特定画像は文字線画を含むことを
   特徴とする請求項６に記載の表示装置。
8. 【請求項８】 画像に対して符号化を行う画像処理装置
   であって、 画像を入力する画像入力手段と、 前記画像入力手段により入力された画像の特徴を判定す
   る判定手段と、 前記画像を符号化することで、符号化された前記画像
   と、この画像に対するヘッダを生成し、前記判定手段に
   よる前記画像の種類に応じたフラグを前記ヘッダに書き
   込むことで符号列を生成する符号化手段と、 前記符号列を記憶する記憶手段と、 前記画像の種類に応じて前記画像を復号する第１の復号
   化手段と、 外部から指示された解像度に応じた画像を表示する際
   に、前記記憶手段に記憶された前記符号列を再構成し、
   再構成された前記符号列を外部装置に出力する符号列構
   成手段とを備えることを特徴とする画像処理装置。
9. 【請求項９】 前記画像入力手段は、前記画像を所定の
   大きさの矩形領域に分割したタイル単位で入力ことを特
   徴とする請求項８に記載の画像処理装置。
10. 【請求項１０】 前記判定手段は、前記タイル単位で画
    像の種類を判別することを特徴とする請求項９に記載の
    画像処理装置。
11. 【請求項１１】 前記符号化手段は、前記タイル単位で
    前記画像の符号化を行い、前記ヘッダはこのタイル単位
    で符号化された画像に対して生成されることを特徴とす
    る請求項９に記載の画像処理装置。
12. 【請求項１２】 前記符号化手段は、前記タイル単位で
    前記画像を所定の周波数帯域に属する一連の係数に変換
    する、変換手段を更に有することを特徴とする請求項１
    １に記載の画像処理装置。
13. 【請求項１３】 前記符号列構成手段は、前記フラグを
    参照することで、所定の特徴に対応したタイルについて
    は、前記一連の係数から前記解像度に応じた係数を用い
    て、前記外部の表示装置に出力する符号列を再構成する
    ことを特徴とする請求項８又は９に記載の画像処理装
    置。
14. 【請求項１４】 前記符号列構成手段は、前記フラグを
    参照することで、所定の特徴に対応したタイルについて
    は、前記第１の復号化手段により復号することにより得
    られるタイルに対して前記解像度に解像度変換を施し、
    この解像度変換されたタイルを再度、前記変換手段によ
    り一連の係数に変換し、この一連の係数を用いて前記外
    部の表示装置に出力する符号列を再構成することを特徴
    とする請求項８又は９又は１２のいずれか１項に記載の
    画像処理装置。
15. 【請求項１５】 前記符号列構成手段は、前記フラグを
    参照することで、所定の特徴に対応したタイルについて
    は、前記第１の復号化手段により復号することにより得
    られるタイルに対して前記解像度に解像度変換を施すこ
    とで、この解像度変換された前記タイルを用いて前記外
    部の表示装置に出力する符号列を再構成することを特徴
    とする請求項８又は９又は１２のいずれか１項に記載の
    画像処理装置。
16. 【請求項１６】 前記ヘッダには前記符号列を再構成す
    る際に、前記タイルに対して符号化を行ったか否かを示
    すフラグが含まれていることを特徴とする請求項１３乃
    至１５のいずれか１項に記載の画像処理装置。
17. 【請求項１７】 前記変換手段は前記解像度変換された
    タイルに対しては可逆符号化を行うことを特徴とする請
    求項１４に記載の画像処理装置。
18. 【請求項１８】 請求項８に記載の画像処理装置から入
    力した符号列を復号化して画像を表示する表示装置であ
    って、 前記入力した符号列に対して、前記符号列に含まれてい
    る画像の種類に応じたフラグに応じて復号化する第２の
    復号化手段と、 前記第２の復号化手段により復号化された前記符号列を
    画像として表示する表示手段とを備えることを特徴とす
    る表示装置。
19. 【請求項１９】 前記第２の復号化手段は、前記フラグ
    に応じて、前記符号列から前記表示手段で表示する画像
    を、前記画像から前記符号列を生成した各処理と逆の順
    番で逆の処理方法により復号化することを特徴とする請
    求項１８に記載の表示装置。
20. 【請求項２０】 画像に対して符号化を行う画像処理装
    置と、前記画像処理装置から入力した符号列を復号化し
    て画像を表示する表示装置とで構成されるシステムであ
    って、 前記画像処理装置は、 画像を入力する画像入力手段と、 前記画像入力手段により入力された画像の特徴を判定す
    る判定手段と、 前記画像を符号化することで、符号化された前記画像
    と、この画像に対するヘッダを生成し、前記判定手段に
    よる前記画像の種類に応じたフラグを前記ヘッダに書き
    込むことで符号列を生成する符号化手段と、 前記符号列を記憶する記憶手段と、 前記画像の種類に応じて前記画像を復号する第１の復号
    化手段と、 外部から指示された解像度に応じた画像を表示する際
    に、前記記憶手段に記憶された前記符号列を再構成し、
    前記表示装置に出力する符号列構成手段とを備え、 前記表示装置は、 前記入力した符号列に対して、前記符号列に含まれてい
    る画像の種類に応じたフラグに応じて復号化する第２の
    復号化手段と、 前記第２の復号化手段により復号化された前記符号列を
    画像として表示する表示手段とを備えることを特徴とす
    るシステム。
21. 【請求項２１】 画像に対して符号化を行う画像処理装
    置の制御方法であって、 画像を入力する画像入力工程と、 前記画像入力工程で入力された画像の特徴を判定する判
    定工程と、 前記画像を符号化することで、符号化された前記画像
    と、この画像に対するヘッダを生成し、前記判定工程で
    の前記画像の種類に応じたフラグを前記ヘッダに書き込
    むことで符号列を生成する符号化工程と、 前記符号列を所定の記憶手段に記憶する記憶工程と、 前記画像の種類に応じて前記画像を復号する第１の復号
    化工程と、 外部から指示された解像度に応じた画像を表示する際
    に、前記所定の記憶手段に記憶された前記符号列を再構
    成し、外部の表示装置に出力する符号列構成工程とを備
    えることを特徴とする画像処理装置の制御方法。
22. 【請求項２２】 請求項２１に記載の画像処理装置の制
    御方法による符号列を復号化して画像を表示する表示装
    置の制御方法であって、 前記入力した符号列に対して、前記符号列に含まれてい
    る画像の種類に応じたフラグに応じて復号化する第２の
    復号化工程と、 前記第２の復号化工程で復号化された前記符号列を画像
    として所定の表示手段に表示する表示工程とを備えるこ
    とを特徴とする表示装置。
23. 【請求項２３】 画像に対して符号化を行う画像処理装
    置と、前記画像処理装置から入力した符号列を復号化し
    て画像を表示する表示装置とで構成されるシステムの制
    御方法であって、 前記画像処理装置の制御方法は、 画像を入力する画像入力工程と、 前記画像入力工程で入力された画像の特徴を判定する判
    定工程と、 前記画像を符号化することで、符号化された前記画像
    と、この画像に対するヘッダを生成し、前記判定工程で
    の前記画像の種類に応じたフラグを前記ヘッダに書き込
    むことで符号列を生成する符号化工程と、 前記符号列を所定の記憶手段に記憶する記憶工程と、 前記画像の種類に応じて前記画像を復号する第１の復号
    化工程と、 外部から指示された解像度に応じた画像を表示する際
    に、前記所定の記憶手段に記憶された前記符号列を再構
    成し、前記表示装置に出力する符号列構成工程とを備
    え、 前記表示装置の制御方法は、 前記入力した符号列に対して、前記符号列に含まれてい
    る画像の種類に応じたフラグに応じて復号化する第２の
    復号化工程と、 前記第２の復号化工程で復号化された前記符号列を画像
    として表示する表示工程とを備えることを特徴とするシ
    ステムの制御方法。
24. 【請求項２４】 画像に対して符号化を行う画像処理装
    置として機能するプログラムコードを格納する記憶媒体
    であって、 画像を入力する画像入力工程のプログラムコードと、 前記画像入力工程で入力された画像の特徴を判定する判
    定工程のプログラムコードと、 前記画像を符号化することで、符号化された前記画像
    と、この画像に対するヘッダを生成し、前記判定工程で
    の前記画像の種類に応じたフラグを前記ヘッダに書き込
    むことで符号列を生成する符号化工程のプログラムコー
    ドと、 前記符号列を所定の記憶手段に記憶する記憶工程のプロ
    グラムコードと、 前記画像の種類に応じて前記画像を復号する第１の復号
    化工程のプログラムコードと、 外部から指示された解像度に応じた画像を表示する際
    に、前記所定の記憶手段に記憶された前記符号列を再構
    成し、外部の表示装置に出力する符号列構成工程のプロ
    グラムコードとを備えることを特徴とする記憶媒体。
25. 【請求項２５】 請求項２４に記載の記憶媒体から入力
    した符号列を復号化して画像を表示する表示装置として
    機能するプログラムコードを格納する記憶媒体であっ
    て、 前記入力した符号列に対して、前記符号列に含まれてい
    る画像の種類に応じたフラグに応じて復号化する第２の
    復号化工程のプログラムコードと、 前記第２の復号化工程で復号化された前記符号列を画像
    として所定の表示手段に表示する表示工程のプログラム
    コードとを備えることを特徴とする記憶媒体。
26. 【請求項２６】 画像に対して符号化を行う画像処理装
    置と、前記画像処理装置から入力した符号列を復号化し
    て画像を表示する表示装置とで構成されるシステムとし
    て機能するプログラムコードを格納する記憶媒体であっ
    て、 前記画像処理装置として機能するプログラムコードを格
    納する前記記憶媒体は、 画像を入力する画像入力工程のプログラムコードと、 前記画像入力工程で入力された画像の特徴を判定する判
    定工程のプログラムコードと、 前記画像を符号化することで、符号化された前記画像
    と、この画像に対するヘッダを生成し、前記判定工程で
    の前記画像の種類に応じたフラグを前記ヘッダに書き込
    むことで符号列を生成する符号化工程のプログラムコー
    ドと、 前記符号列を所定の記憶手段に記憶する記憶工程のプロ
    グラムコードと、 前記画像の種類に応じて前記画像を復号する第１の復号
    化工程のプログラムコードと、 外部から指示された解像度に応じた画像を表示する際
    に、前記所定の記憶手段に記憶された前記符号列を再構
    成し、前記表示装置に出力する符号列構成工程のプログ
    ラムコードと を備え、 前記表示装置として機能するプログラムコードを格納す
    る前記記憶媒体は、前記入力した符号列に対して、前記
    符号列に含まれている画像の種類に応じたフラグに応じ
    て復号化する第２の復号化工程のプログラムコードと、
    前記第２の復号化工程で復号化された前記符号列を画像
    として表示する表示工程のプログラムコードとを備える
    ことを特徴とする記憶媒体。