JP2001309184A

JP2001309184A - 画像処理方法及び装置と記憶媒体

Info

Publication number: JP2001309184A
Application number: JP2000124890A
Authority: JP
Inventors: Hiroshi Kajiwara; 浩梶原; Hiroki Kishi; 裕樹岸; Makoto Sato; 眞佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-04-25
Filing date: 2000-04-25
Publication date: 2001-11-02

Abstract

(57)【要約】（修正有）【課題】周波数帯域毎に符号化されたデータを表示す
る際の復号効率を高める。【解決手段】周波数帯域毎に符号化したデータから画
像を復号する装置で、ある周波数帯域の係数を係数復号
部１０２により復号し、Ｙ，Ｃｒ，Ｃｂごとに係数格納
バッファ１０４〜１０６に格納する。さらに逆ウェーブ
レット変換部１０７〜１０９により逆変換し、可逆色変
換部１１０でＹ，Ｃｒ，ＣｂからＲＧＢデータに変換
し、表示画像データ格納メモり１１１に格納して画像表
示部１１２に表示する。より高解像度の表示が指示され
ると、メモリ１１１にあるＲＧＢデータを、可逆色変換
部１１３によりＹ，Ｃｒ，Ｃｂデータに変換して係数格
納バッファ１０４〜１０６に格納し、更に、必要な周波
数帯域の成分を符号化データ入力部１０１から入力し、
係数復号部１０２で復号して係数格納バッファ１０４〜
１０６に格納し、逆ウェーブレット変換部１０７〜１０
９により復号する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、周波数帯域毎に符
号化された画像データを入力して復号する画像処理装置
及び方法及びこの方法を実行するプログラムを記憶した
記憶媒体に関するものである。

【０００２】

【従来の技術】近年、デジタルカメラ、スキャナといっ
た画像入力装置の普及に伴い、デジタル画像データをパ
ーソナルコンピュータ等のディスクやＣＤ−ＲＯＭ等に
蓄積したり、インターネット等を介して伝送することが
身近なものになりつつある。しかしながら、このような
画像情報は、目で見て即時に理解できるという優れた特
性を持つ反面、そのデータ量が膨大であるためにメモリ
やハードディスク等の記憶装置に保存する場合に、多量
の記憶容量を必要とする。また、通信回線を利用して伝
送する場合には、その伝送に多くの時間を要するといっ
た問題がある。

【０００３】一般的に、デジタル画像データは冗長性を
多く有しており、この冗長性を除くことにより、データ
量をより削減することが可能である。このため、画像デ
ータの伝送、蓄積に際しては、画像の持つ冗長性を除
く、或いは視覚的に認識し難い程度に画像を劣化させる
ことによってデータ量を削減する高能率符号化が用いら
れる。

【０００４】従来、高能率符号化の一手法としてウェー
ブレット変換を用いるものがある。従来の方式では、ま
ず、離散ウェーブレット変換を用いて符号化対象の画像
を複数の周波数帯域（サブバンド）に分割し、次に、各
サブバンドの変換係数を量子化し、その量子化係数をエ
ントロピー符号化して符号列を生成する。

【０００５】図１６（ａ），（ｂ），（ｃ）は、画像の
ウェーブレット変換方法の一例として、１次元の変換処
理を画像の水平、垂直方向にそれぞれに適用して４つの
サブバンドに分割する例を示す図である。さらに、図１
７は、低周波サブバンド（ＬＬサブバンド）に２次元の
変換を３回繰り返して行った場合のサブバンド分解例を
示す図である。

【０００６】このようなウェーブレット変換を用いた画
像符号化の利点の一つとして、空間解像度に応じて段階
的に復号できることが挙げられる。例えば、図１７のよ
うにウェーブレット変換を施し、最も低い周波数帯域で
あるＬＬサブバンドから、ＨＬ３，ＬＨ３，ＨＨ３，Ｈ
Ｌ２，…，ＨＨ１と順々に各サブバンドの係数を符号化
して伝送した場合、復号側ではＬＬサブバンドの係数を
受信した段階で１／８の解像度の復元画像を得ることが
でき、また、ＬＬ，ＬＨ３，ＨＬ３，ＨＨ３を受信した
段階で１／４の解像度の復元画像を得ることができる。
更に、ＬＨ２，ＨＬ２，ＨＨ２までを受信した場合には
１／２の解像度の復元画像が得られるといった具合に、
徐々に解像度を上げて画像を復号することができる。以
降、このように空間解像度に段階性を持たせて復号する
ことを「空間スケーラブル復号」、このような機能を
「空間的スケーラビリティ」と呼ぶこととする。この空
間的スケーラビリティは、画像のサムネイル表示や画像
データベースからのブラウジングなどに利用される。

【０００７】

【発明が解決しようとする課題】しかしながら、画像デ
ータベースのブラウジングのように、複数画像に対して
同時に空間スケーラブル復号を適用する場合には、途中
まで伝送した係数データの取り扱いに問題が生じる。即
ち、表示画像データの全てに対して伝送途中の係数を保
持した場合には多くの２次記憶容量を必要とし、また、
途中まで伝送した係数を破棄してしまう場合には、より
高解像度の画像データを復元するために、係数データを
再度送り直さねばならず、その伝送に時間がかかるとい
う問題がある。

【０００８】本発明は上記従来例に鑑みてなされたもの
で、周波数帯域毎に符号化された符号化データを入力し
復号して表示する際、より高解像度の画像表示が指示さ
れると、表示用に保持している画像データを有効利用
し、より少ないメモリ容量で効率良く画像データを復号
する画像処理方法及び装置と記憶媒体を提供することを
目的とする。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に本発明の画像処理装置は以下のような構成を備える。
即ち、画像データを周波数帯域毎に符号化して得られる
符号化データから画像を復号する画像処理装置であっ
て、符号化された周波数帯域毎の係数を入力して復号す
る係数復号手段と、前記係数復号手段により復号された
係数を格納する係数格納手段と、前記係数格納手段に格
納された係数に基づいて所定の解像度の画像を復号する
画像復号手段と、前記画像復号手段により復号された復
号画像データを格納する画像データ格納手段と、前記画
像データ格納手段に格納された復号画像データと、前記
係数復号手段により復号された、より高周波帯域の係数
とを前記係数格納手段に格納し、前記画像復号手段によ
り画像を復号するように制御する制御手段と、を有する
ことを特徴とする。

【００１０】上記目的を達成するために本発明の画像処
理装置は以下のような構成を備える。即ち、画像データ
を周波数帯域毎に符号化して得られる符号化データから
画像を復号する画像処理装置であって、符号化された周
波数帯域毎の係数を入力して復号する係数復号手段と、
前記係数復号手段により復号された係数を逆ウェーブレ
ット変換して所定の解像度の画像を復号する画像復号手
段と、前記画像復号手段により復号された復号画像デー
タを記憶する画像データ記憶手段と、前記画像データ記
憶手段に記憶された復号画像データに基づいて画像を表
示する表示手段と、前記表示手段に表示された画像より
も高い解像度の画像表示が指示されると、前記画像デー
タ記憶手段に記憶された復号画像データの周波帯域の係
数と、前記係数復号手段により復号された、より高周波
帯域の係数とを合成して前記画像復号手段により画像を
復号するように制御する制御手段と、を有することを特
徴とする。

【００１１】上記目的を達成するために本発明の画像処
理方法は以下のような工程を備える。即ち、画像データ
を周波数帯域毎に符号化して得られる符号化データから
画像を復号する画像処理方法であって、符号化された周
波数帯域毎の係数を入力して復号する係数復号工程と、
前記係数復号工程で復号された係数を格納する係数格納
工程と、前記係数格納工程で格納された係数に基づいて
所定の解像度の画像を復号する画像復号工程と、前記画
像復号工程で復号された復号画像データを格納する画像
データ格納工程と、前記画像データ格納工程で格納され
た復号画像データと、前記係数復号工程で復号された、
より高周波帯域の係数とを格納して前記画像復号工程に
より画像を復号するように制御する制御工程と、を有す
ることを特徴とする。

【００１２】

【発明の実施の形態】以下、添付図面を参照して本発明
の好適な実施の形態を詳細に説明する。

【００１３】［実施の形態１］図１は、本発明の実施の
形態１に係る画像処理装置の構成を示すブロック図であ
る。

【００１４】図１において、１０１は符号化データ入力
部、１０２は係数復号部、１０３はスイッチ、１０４，
１０５，１０６は係数格納バッファ、１０７，１０８，
１０９は逆離散ウェーブレット変換部、１１０は可逆色
変換部、１１１は表示画像データ格納メモリ、１１２は
画像表示部、１１３は可逆色変換部である。また１２０
は、この画像処理装置全体の動作を制御する制御部で、
ＣＰＵ１２１，ＣＰＵ１２１により実行される制御プロ
グラムを記憶したメモリ１２２などを備えている。

【００１５】本実施の形態では、１画素がＲＧＢ各８ビ
ットで構成されるカラー画像データを復号して表示する
ものとして説明する。しかしながら本発明はこれに限ら
ず、例えば、４ビット、１０ビット、１２ビットなど、
８ビット以外のビット数で各色の輝度値を表現している
場合や、ＣＭＹＫなど他の色空間により表現されたカラ
ー画像データ、或いは、モノクロ画像を符号化する場合
にも適用することも可能である。また、画像領域の各画
素の状態を示す多値情報を符号化する場合、例えば、各
画素の色についてカラーテーブルへのインデックス値で
示し、これを符号化する場合にも適用できる。

【００１６】また、本実施の形態では説明を簡単にする
ために、復号して表示する画像データのサイズは全て固
定サイズとし、（水平方向５１２画素）×（垂直方向７
６８画素）であるとする。

【００１７】図２は、本実施の形態に係る画像処理装置
に入力される符号化データの形式を示す図である。本実
施の形態において復号して表示される符号化データは、
離散ウェーブレット変換を用いてサブバンドに分解し、
各サブバンドの係数を符号化して得られた係数符号化デ
ータを低周波サブバンドから順に並べて構成した符号化
データである。また本実施の形態の画像処理装置は、多
数の画像データを図２の形式の符号化データとして格納
した画像データベースから、必要な符号化データを受
信、或は入力して、それぞれ異なる解像度で画像を復元
することができる。

【００１８】図２と図１７とを参照すれば明らかなよう
に、低周波サブバンドＬＬから順次周波数が高くなる順
にサブバンド毎に、その係数符号化データが記憶されて
いる。そして各サブバンドの係数符号化データは、Ｙ成
分、Ｃｒ成分及びＣｂ成分の係数符号化データにより構
成されている。

【００１９】本実施の形態に係る画像処理装置の動作に
ついて説明する前に、まず、本実施の形態に係る画像処
理装置と対をなす画像符号化装置の例について説明す
る。

【００２０】図３は、図２に示すデータ形式の符号化デ
ータを生成する画像符号化装置の一例を示すブロック図
である。

【００２１】同図において、３０１は画像入力部で、符
号化対象の画像データを入力する。３０２は切換スイッ
チで、入力するデータ毎に切換えられる。３０３は可逆
色変換部で、画像入力部３０１から入力される画像デー
タに対して可逆色変換を実行して出力する。３０４，３
０５，３０６は離散ウェーブレット変換部で、それぞれ
入力した画像データに対して離散ウェーブレット変換を
実行し、その変換係数を出力する。３０７，３０８，３
０９は係数格納バッファで、それぞれ対応する離散ウェ
ーブレット変換部から出力される変換係数を入力して格
納する。３１０はスイッチで、どの離散ウェーブレット
変換係数を選択するかを決定する。３１１は係数符号化
部で、その変換係数を量子化し、その量子化した係数を
エントロピー符号化している。３１２は符号出力部で、
その符号化した符号を出力している。

【００２２】以上の構成に基づく図３の画像符号化装置
の動作について説明する。

【００２３】まず、画像入力部３０１から符号化対象と
なる画像を示す画素データが、各画素単位にＲ，Ｇ，Ｂ
各成分がインターリーブされた形式でラスタースキャン
順に入力される。この画像入力部３０１は、例えば画像
データを格納したハードディスク、光磁気ディスク、メ
モリなどの記憶装置、ＣＣＤやスキャナ等の撮像装置、
或いはネットワーク回線のインターフェース等であって
も良い。

【００２４】スイッチ３０２は、入力データの１バイト
毎に端子ａ，ｂ，ｃと自動的に切り替わることによって
１画素を構成するＲ，Ｇ，Ｂデータを分離して可逆色変
換部３０３に入力する。

【００２５】一般に、ＲＧＢデータは色成分間の相関が
高く、各色成分を別々に符号化すると冗長性が多く残
る。そこで可逆色変換部３０３において、より色成分間
の相関の少ない色空間に変換する。特にここでは、ＲＧ
Ｂ各成分の輝度値が完全に再構成できる可逆の色空間変
換を適用する。即ち、着目画素を構成するＲＧＢ各色成
分の輝度値がＲ，Ｇ，Ｂである場合、可逆色変換部３０
３による変換は以下の式に基づいて行われる。

【００２６】Ｙ＝floor｛（Ｒ＋２×Ｇ＋Ｂ）／４｝Ｃｒ＝Ｒ−Ｇ＋２５５Ｃｂ＝Ｂ−Ｇ＋２５５上式においてfloor｛Ｘ｝は、Ｘを超えない最大の整数
を表すものとする。

【００２７】離散ウェーブレット変換部３０４，３０
５，３０６はそれぞれＹ，Ｃｒ，Ｃｂの各成分に対して
離散ウェーブレット変換を施し、その変換係数を係数格
納バッファ３０７，３０８，３０９に出力してそれぞれ
格納する。離散ウェーブレット変換部３０４，３０５，
３０６において行われる離散ウェーブレット変換は、図
１６に示すように、１次元離散ウェーブレット変換を水
平方向及び垂直方向のそれぞれに適用して２次元の離散
ウェーブレット変換を行うものであり、こうして得られ
た低周波サブバンドは、同様に繰り返し帯域分割され
る。本実施の形態では２次元離散ウェーブレット変換を
３度適用し、図１７に示す様に、ＬＬ，ＨＬ３，ＬＨ
３，ＨＨ３，…，ＨＬ１，ＬＨ１，ＨＨ１の１０個のサ
ブバンドに分解する。本実施の形態に係る符号化装置に
おいて適用される１次元離散ウェーブレット変換は次式
によるものとする。

【００２８】r(n)=floor{(x(2n)+x(2n+1))/2} d(n)=x(2n+2)-x(2n+3)+floor{(-r(n)+r(n+2)+2)/4} 上式においてｘ(ｎ)は変換対象データ系列であり、ｒ
(ｎ)は低周波サブバンドの係数、ｄ(ｎ)は高周波サブバ
ンドの係数である。floor｛Ｘ｝は、Ｘを超えない最大
の整数を表す。

【００２９】こうして係数格納バッファ３０７，３０
８，３０９に各成分の離散ウェーブレット変換係数が格
納されると、スイッチ３１０を切り替えてサブバンド単
位に変換係数を読み出し、係数符号化部３１１に渡す。

【００３０】係数符号化部３１１は、スイッチ３１０を
介して受け取った変換係数をエントロピ符号化し、その
符号データを符号出力部３１２に送る。このエントロピ
符号化は、各サブバンドの１ライン分の係数を単位とし
て後述のGolomb符号を適用することにより行う。Golomb
符号は非負の整数値を符号化対象とし、符号化パラメー
タ（ｋパラメータとする）を適切に定めることによって
数種類の確率分布に対応した符号を生成することができ
る符号化方式である。尚、本実施の形態においては、各
サブバンドの係数の１ライン毎に符号長が最も短くなる
様なｋパラメータを選択し、係数（Ｃとする）を次式に
より非負の整数値（Ｖとする）に変換した後に、これを
選択したｋパラメータでGolomb符号化する。

【００３１】Ｖ＝２×Ｃ（Ｃ≧０の場合）Ｖ＝−２×Ｃ−１（Ｃ＜０の場合）この選択されたｋパラメータは、符号列に含めて伝送さ
れるものとする。符号化対象の非負の整数値Ｖを符号化
パラメータｋでGolomb符号化する手順は次の通りであ
る。

【００３２】まず、Ｖをｋビット右方向にシフトして整
数値ｍを求める。Ｖに対する符号はｍ個の“０”に続く
“１”とＶの下位ｋビットの組み合わせにより構成され
る。図１８にｋ＝０，１，２におけるGolomb符号の例を
示す。また、図１９にサブバンドの１ライン分の係数を
符号化して得られる符号化データの形式を示す。

【００３３】符号出力部３１２には、この符号化装置の
最終的な符号化データが渡される。符号出力部３１２
は、例えば、ハードディスクやメモリといった記憶装
置、ネットワーク回線のインターフェース等が適用で
き、符号化データはこれら記憶装置に記憶されるか、或
いは回線に送信される。

【００３４】以上の処理により図２に示す形式の符号化
データを生成することができる。

【００３５】次に、図１に示す本実施の形態１に係る画
像処理装置の動作について説明する。

【００３６】本実施の形態１に係る画像処理装置は、上
述した画像符号化装置により生成される図２の形式の符
号化データを受信し、所定の解像度でその画像データを
復号して表示するものである。まず、本実施の形態に係
る画像処理装置の動作概要について説明する。その後、
図１を参照して、その処理を実現するための本実施の形
態に係る画像処理装置（復号化装置）の具体的動作につ
いて説明する。

【００３７】図４は、本実施の形態に係る画像処理装置
における大まかな処理の流れを示すフローチャートで、
この処理を実行するプログラムはメモリ１２２に記憶さ
れ、ＣＰＵ１２１の制御の下に実行される。

【００３８】まずステップＳ４０１で、符号化データ入
力部１０１により、符号化データのＬＬサブバンドの係
数を入力し、これを復号して図５に示すような、１５枚
のサムネイル画像を低解像度で表示する。このステップ
Ｓ４０１の処理を以降、「低解像度サムネイル表示」と
呼ぶこととにする。

【００３９】図５は、画像表示部１１２の表示画面に表
示されたサムネイル画像の表示例を示す図で、５０は右
方向ページ更新ボタン、５１は左方向ページ更新ボタン
を示し、これらのボタンがカーソル５２で指示されてク
リック等の操作が行われると画面がその指示された方向
にスクロール表示される。またここでは、表示されてい
る１５枚のサムネイル画像の内、左上のサムネイル画像
より１行目の画像を順次右方向に復元画像１、復元画像
２、…とし、２行目の復元画像は復元画像６〜１０、そ
して３行目の復元画像は復元画像１１〜１５として定義
する。また５２はマウスカーソルで、このカーソル５２
で復元画像を指示して、例えばマウスのクリック操作を
行うことにより、その指示されている復元画像が選択さ
れる。

【００４０】次にステップＳ４０２に進み、ユーザによ
り前述の左或は右方向ページ更新ボタン５０，５１が指
示されて、ページ変更要求が入力されたかどうかをみ
る。ここでユーザにより図５の左方向ページ更新ボタン
５１が押された場合は、復元画像１，６，１１を破棄
し、表示されている復元画像を左方向に１列だけシフト
してステップＳ４０１に戻る。この場合ステップＳ４０
１では、新たに表示される右端の画像列の復元画像５，
１０，１５にあたる符号化データが不足するので、符号
化データ入力部１０１からこれらの画像に対応する符号
化データを取得し、それを復号して表示する。一方、ス
テップＳ４０２で右方向ページ更新ボタン５０が指示さ
れた場合は復元画像５，１０，１５を破棄し、復号画像
表示を１列だけ右方向にシフトしてステップＳ４０１に
戻る。ステップＳ４０１では復元画像１，６，１１が不
足するので、符号化データ入力部１０１からこれらの画
像に対応する符号化データを取得し、それらを復号して
表示する。

【００４１】ステップＳ４０２において、ユーザにより
ページ変更要求が指示されない場合はステップＳ４０３
に進み、高解像度のサムネイル画像の表示が選択された
かをみる。選択されない時はステップＳ４０２に戻って
前述の処理を実行するが、選択されるとステップＳ４０
４に進み、現在表示している１５枚の画像データについ
て、必要に応じてＨＬ３，ＬＨ，ＨＨ３の３つのサブバ
ンドの係数を符号化データ入力部１０１から取得し、こ
れらを復号することによりステップＳ４０１よりも高解
像度のサムネイル表示を行う。このステップＳ４０４に
おける処理を「高解像度サムネイル表示」と呼ぶ。尚、
このステップＳ４０３からステップＳ４０４への移行
は、例えば所定時間が経過すると自動的に行っても良
い。

【００４２】次にステップＳ４０５に進み、前述のステ
ップＳ４０２と同様に、ユーザによりページ変更要求が
指示されたかどうかを確認する。ページ変更要求が指示
されると、前述のステップＳ４０２の場合と同様にステ
ップＳ４０１に戻り、その指示されたページ更新方向に
応じた処理を実行する。

【００４３】ステップＳ４０５でページ変更要求がない
時はステップＳ４０６に進み、ユーザによりサムネイル
画像の拡大要求が入力されたかどうかをみる。ここでユ
ーザは、サムネイル画像を拡大して表示したい場合は、
図５において、カーソル５２を所望の表示画像上に移動
し、例えばマウスの場合であればそれをクリック操作す
る。こうして画像の拡大表示要求が入力されるとステッ
プＳ４０７に進み、拡大表示要求がない場合はステップ
Ｓ４０５に戻り、ページ変更要求の確認、画像拡大表示
要求の確認を繰り返して行う。

【００４４】ステップＳ４０７では、その拡大表示要求
を入力した画像データの表示状態を調べ、その指示され
た画像が既に高解像度のサムネイル表示の倍の解像度で
表示されている場合にはステップＳ４０９に進み、そう
でない場合にはステップＳ４０８へ処理を移す。この
時、拡大表示要求を受けた画像データ以外に拡大表示さ
れている画像がある場合には、その画像を通常のサイズ
に戻しておく。

【００４５】ステップＳ４０８では、その拡大表示要求
を受けた画像について、必要に応じて、符号化データ入
力部１０１からサブバンドＨＬ２，ＬＨ２，ＨＨ２を取
得してこれを復号し、高解像度サムネイル表示の倍の解
像度で画像を復元して表示する。この場合、例えば図６
に示すように、復元画像１５を拡大表示するように指示
されると、低解像度サムネイル画像１５の中心位置と拡
大された復元画像１５の中心とが一致するように表示す
る。このステップＳ４０７で行う画像表示を「拡大表
示」と呼ぶ。図６は復元画像１５が選択されて拡大表示
された例を示している。この拡大表示の後、ステップＳ
４０４に戻り、ユーザにより次に指示される要求を待
つ。

【００４６】一方、ステップＳ４０７で既に高解像度の
サムネイル表示の倍の解像度で表示されている場合はス
テップＳ４０９に進み、その拡大表示要求を受けた画像
に関して、サブバンドＨＬ３，ＬＨ３，ＨＨ３の符号を
符号化データ入力部１０１から取得し、これを復号して
完全に画像を復元する。これを示したのが図７で、この
図７では、拡大表示が指示された復元画像１５を単独で
表示する。以降、このステップＳ４０９で行う画像表示
を「単独表示」と呼ぶ。

【００４７】本実施の形態１では、ステップＳ４０９で
表示した画像データの用途については特に述べないが、
例えば単に表示して見るというだけでなく、装置に設け
られているハードディスクやＣＤ−ＲＯＭ等の記憶媒体
に保存したり、或はプリンタに出力して印刷したり、画
像編集を行うといったように、様々の用途に応用でき
る。

【００４８】以上説明したように本実施の形態１に係る
画像処理装置によれば、「低解像度サムネイル表示」、
「高解像度サムネイル表示」、「拡大表示」、「単独表
示」といった４つの段階で、画像データの空間スケーラ
ブル復号を行って画像を表示することができる。

【００４９】次に図１を参照して、本実施の形態に係る
画像処理装置の具体的な動作を、上述したそれぞれの表
示段階に関して詳細に説明する。（１）「低解像度サムネイル表示」での動作について説
明する。

【００５０】低解像度サムネイルの表示を行う場合に
は、まず、係数格納バッファ１０４，１０５，１０６の
内容を初期化する。次に符号化データ入力部１０１か
ら、復号対象画像の符号化データのＬＬサブバンド係数
符号化データをヘッダを含めて入力する。ここで、符号
化データ入力部１０１は、赤外線通信デバイス、電話回
線、ネットワーク回線のインターフェース等である。

【００５１】係数復号部１０２は、この符号化データ入
力部から入力されるＬＬサブバンド係数符号化データか
らＬＬサブバンドの係数を復元して出力する。係数復号
部１０２では、サブバンドの１ラインの係数を単位に復
号処理を行う。

【００５２】ここではまず、図１９に示す形式の１ライ
ン分の係数の符号化データから符号化パラメータｋを取
得する。次に、この符号化パラメータｋを用いて、ライ
ン内の各係数を復号する。各係数の復号手順は次の通り
である。

【００５３】まず、符号語の先頭から１ビットずつ読み
出し、その読み出したビットが“１”となるまでの
“０”が連続する数ｍを求める。先頭が“１”である場
合にはｍは０であり、符号語が例えば“０００１…”で
ある場合はｍは“３”となる。次に“０”の連続を終端
させた“１”の後ろから更にｋビットを取得し、これを
ｋビットの２進数と解釈して多値データｎを復元する。
例えば、ｋ＝３の場合に取得した３つのビットが“１０
１”であればｎは“５”となる。これらｍとｎから非負
の整数値Ｖを以下の式により復号する。

【００５４】Ｖ＝ｍ×２^k＋ｎここで復号したＶは、図３の係数符号化部３１１に関し
て説明した手順により係数Ｃを非負の整数に変換したも
のである。そこで、この非負の整数Ｖから次式により係
数Ｃを復元する。

【００５５】Ｃ＝Ｖ／２（Ｖが偶数の場合）Ｃ＝−（Ｖ＋１）／２（Ｖが奇数の場合）スイッチ１０３は、各サブバンドの色成分ごとに端子
Ａ，Ｂ，Ｃとの接続を切り替えることにより、Ｙ成分の
ＬＬサブバンドの係数を係数格納バッファ１０４に、Ｃ
ｒ，Ｃｂ成分のＬＬサブバンド係数を係数格納バッファ
１０５，１０６にそれぞれ格納する。

【００５６】こうして係数格納バッファ１０４，１０
５，１０６に、Ｙ，Ｃｒ，Ｃｂ各成分の係数データがそ
れぞれ格納されると、逆離散ウェーブレット変換部１０
７，１０８，１０９により、Ｙ，Ｃｒ，Ｃｂそれぞれの
成分の低解像度画像データが復元される。但し、「低解
像度サムネイル表示」における逆離散ウェーブレット変
換部１０７，１０８，１０９の処理は、ＬＬサブバンド
の各係数を通過させるのみである。

【００５７】可逆逆色変換部１１０は、画素単位にＹ，
Ｃｒ，ＣｂデータからＲＧＢデータを復元する。Ｙ，Ｃ
ｒ，ＣｂからＲＧＢへの変換は以下の式により行う。

【００５８】Ｇ＝Ｙ−floor｛（Ｃｒ＋Ｃｂ−５１０）／４｝Ｒ＝Ｃｒ＋Ｇ−２５５Ｂ＝Ｃｂ＋Ｇ−２５５ここで、floor｛Ｘ｝は、Ｘを超えない最大の整数を表
す。

【００５９】このようにして、水平及び垂直方向共に原
画像の１／１６の解像度の画像、即ち、３２×４８の画
素数の画像を復元し、その画像データを表示画像データ
格納メモリ１１１に格納する。画像表示部１１２では、
表示画像データ格納メモリ１１１に格納されている画像
データを２倍に拡大し、例えば図５に示すような形態で
表示する。但し、この場合の画像データの拡大表示は、
画像表示部１１２の能力により実施される単純な画素デ
ータの繰り返しによる拡大表示であり、表示画像データ
格納メモリ１１１に格納されている画像データそのもの
を変更するものではない。

【００６０】こうして、１５枚のサムネイル画像が全て
表示されるまで、順次各画像に対して上述の処理を適用
して画像を復号し、そのサムネイル画像を表示する。

【００６１】図８は、本実施の形態に係る画像処理装置
における、「低解像度サムネイル表示」処理を示すフロ
ーチャートで、この処理を実行するプログラムはメモリ
１２２に記憶され、ＣＰＵ１２１の制御の下に実行され
る。

【００６２】まずステップＳ１で、係数格納バッファ１
０４〜１０６の内容を初期化し、次にステップＳ２に進
み、符号化データ入力部１０１から、復号対象画像の符
号化データのＬＬサブバンド係数符号化データをヘッダ
を含めて入力する。次にステップＳ３に進み、係数復号
部１０２により、ＬＬサブバンドの１ラインの係数を単
位に復号処理を行う。ここでは前述したように、ｍ，ｎ
を求め、Ｖ＝ｍ×２^k＋ｎにより、非負の整数値Ｖを求
める。そして、この整数値Ｖから前述の式により係数Ｃ
を復元する。次にステップＳ４に進み、Ｙ成分のＬＬサ
ブバンドの係数を係数格納バッファ１０４に格納し、Ｃ
ｒ，Ｃｂ成分のＬＬサブバンド係数を係数格納バッファ
１０５，１０６にそれぞれ格納する。そしてステップＳ
５に進み、画素単位にＹ，Ｃｒ，ＣｂデータからＲＧＢ
データを復元する。こうしてステップＳ６で、そのＲＧ
Ｂデータを基に、その低解像度サムネイル画像を画像表
示部１１２に表示する。（２）次に「高解像度サムネイル表示」における動作に
ついて説明する。

【００６３】この処理に先立ち、係数格納バッファ１０
４，１０５，１０６を初期化する。次に、表示画像デー
タ格納メモリ１１１から着目する画像データを読み出し
て可逆色変換部１１３に送る。この可逆色変換部１１３
では、図３の可逆色変換部３０３と同じ処理により１画
素を構成するＲ，Ｇ，ＢデータをＹ，Ｃｒ，Ｃｂデータ
に変換し、Ｙデータを係数格納バッファ１０４に、Ｃ
ｒ，Ｃｂデータを係数格納バッファ１０５，１６０にそ
れぞれ格納する。

【００６４】次に、符号化データ入力部１０１を介し
て、符号化データ入力部１０１から着目画像のＨＬ３，
ＬＨ３，ＨＨ３サブバンドの係数符号化データを読み込
んで係数復号化部１０２に入力する。係数復号化部１０
２は、これを復号して各サブバンドの係数を復元し、Ｙ
成分の係数を係数格納バッファ１０４に、Ｃｒ，Ｃｂ成
分の係数を係数格納バッファ１０５，１０６にそれぞれ
格納する。この時、係数格納バッファ１０４，１０５，
１０６には、図９（ａ）に示すようなＬＬ，ＨＬ３，Ｌ
Ｈ３，ＨＨ３のＹ，Ｃｒ，Ｃｂ成分がそれぞれ格納され
る。

【００６５】次に逆離散ウェーブレット変換部１０７，
１０８，１０９のそれぞれは、各係数格納バッファ１０
４，１０５，１０６に格納される変換係数を入力して逆
離散ウェーブレット変換を施し、Ｙ，Ｃｒ，Ｃｂ成分の
それぞれ値を復元する。この逆離散ウェーブレット変換
部１０７〜１０９における逆変換処理は、図３の離散ウ
ェーブレット変換部３０４〜３０６における離散ウェー
ブレット変換と対をなす処理で、図３の変換部による処
理と同様に、１次元の逆離散ウェーブレット変換処理を
水平及び垂直方向に適用して２次元の逆変換処理を行
う。この逆変換処理は、係数格納バッファ１０４，１０
５，１０６を利用して行われ、変換後の値は係数格納バ
ッファ１０４，１０５，１０６内にも保持される。本実
施の形態に係る画像処理装置において適用される１次元
逆離散ウェーブレット変換は次式による。

【００６６】ｘ（２ｎ）＝ｒ(ｎ)＋floor｛(ｐ(ｎ)＋１)／２｝ｘ（２ｎ＋１）＝ｒ(ｎ)−floor｛ｐ(ｎ)／２｝但し、ｐ(ｎ)＝ｄ(ｎ−１)−floor｛(ｒ(ｎ＋１)−ｒ
(ｎ−１)＋２）／４｝上式において、ｘ(ｎ)は変換対象データ系列を示し、ｒ
(ｎ)は低周波サブバンドの係数、ｄ(ｎ)は高周波サブバ
ントの係数を示している。

【００６７】可逆色変換部１１０は、これら復元された
Ｙ，Ｃｒ，Ｃｂデータを画素単位に色変換してＲ，Ｇ，
Ｂデータを復元する。このようにして原画像の１／８の
解像度の画像、即ち、６４×９６の画素数の画像を復号
して表示画像データ格納メモリ１１１に格納する。画像
表示部１１２では、前述の「低解像度サムネイル表示」
の場合と同様に、図５に示すような形式で復元画像デー
タを表示する。但し、この場合は、前述の「低解像度サ
ムネイル表示」の場合とは異なり、画像表示部１１２で
の拡大は行わない。従って、「低解像度サムネイル表
示」と「高解像度サムネイル表示」では、復元画像の画
質は異なるが、表示される画像サイズは同じである。こ
うして１５枚のサムネイル画像が全て高解像度で表示さ
れるまで、順次次の画像に対して上述の処理を適用して
画像を復号して表示する。

【００６８】図１０は、本実施の形態に係る画像処理装
置における「高解像度サムネイル画像表示」処理を示す
フローチャートで、この処理を実行するプログラムはメ
モリ１２２に記憶され、ＣＰＵ１２１の制御の下に実行
される。

【００６９】まずステップＳ１１で、係数格納バッファ
１０４〜１０６を初期化する。次にステップＳ１２に進
み、表示画像データ格納メモリ１１１から着目する画像
データを読み出して可逆色変換部１１３に送り、１画素
を構成するＲ，Ｇ，ＢデータをＹ，Ｃｒ，Ｃｂデータに
変換し、Ｙデータを係数格納バッファ１０４に、Ｃｒ，
Ｃｂデータを係数格納バッファ１０５，１６０にそれぞ
れ格納する。これにより、ＬＬサブバンドのＹ，Ｃｒ，
Ｃｂ成分の係数データが係数格納バッファ１０４〜１０
６に格納されたことになる。次にステップＳ１３に進
み、符号化データ入力部１０１を介して、符号化データ
入力部１０１から着目画像のＨＬ３，ＬＨ３，ＨＨ３サ
ブバンドの係数符号化データを読み込んで係数復号化部
１０２に入力する。係数復号化部１０２は、これを復号
して各サブバンドの係数を復元し、Ｙ成分の係数を係数
格納バッファ１０４に、Ｃｒ，Ｃｂ成分の係数を係数格
納バッファ１０５，１０６にそれぞれ格納する。これに
より係数格納バッファ１０４〜１０６には、注目画像の
ＬＬ，ＨＬ３，ＬＨ３，ＨＨ３サブバンドのＹ，Ｃｒ，
Ｃｂ成分が格納されたことになる。

【００７０】次にステップＳ１４に進み、逆離散ウェー
ブレット変換部１０７〜１０９のそれぞれにより、各係
数格納バッファ１０４，１０５，１０６に格納される変
換係数に対して逆離散ウェーブレット変換を施し、Ｙ，
Ｃｒ，Ｃｂ成分のそれぞれ値を復元する。そしてステッ
プＳ１５に進み、これら復元されたＹ，Ｃｒ，Ｃｂデー
タを画素単位に色変換してＲ，Ｇ，Ｂデータを復元す
る。そしてステップＳ１６に進み、画像表示部１１２に
より、前述の「低解像度サムネイル表示」の場合と同様
に、図５に示すような形式で復元画像データを表示す
る。（３）次に「拡大表示」における動作について説明す
る。

【００７１】この「拡大表示」においても、まず、係数
格納バッファ１０４，１０５，１０６の初期化が行われ
る。続いて、「高解像度サムネイル表示」の場合と同様
に、拡大表示対象である画像の画像データを表示画像デ
ータ格納メモリ１１１から読み出し、可逆色変換部１１
３によりＹ，Ｃｒ，Ｃｂ成分に変換し、各成分をそれぞ
れ係数格納バッファ１０４，１０５，１０６に格納す
る。これにより、係数格納バッファ１０４〜１０６に
は、その注目画像のＬＬ，ＨＬ３，ＬＨ３，ＨＨ３サブ
バンドのＹ，Ｃｒ，Ｃｂの各成分データが格納されたこ
とになる。

【００７２】次に、符号化データ入力部１０１から着目
画像のＨＬ２，ＬＨ２，ＨＨ２サブバンドの係数符号化
データを取得する。その符号化データは、係数復号部１
０２で復号され、各成分毎に係数格納バッファ１０４，
１０５，１０６に格納する。この時、係数格納バッファ
１０４，１０５，１０６には、それぞれＹ，Ｃｒ，Ｃｂ
成分について、図９（ｂ）に示すようにＬＬ，ＨＬ２，
ＬＨ２，ＨＨ２が格納される。尚、９０で示す部分のデ
ータは、可逆色変換部１１３を介して入力されたデータ
である。

【００７３】逆離散ウェーブレット変換部１０７，１０
８，１０９のそれぞれは、「高解像度サムネイル表示」
の場合と同様に、係数格納バッファ１０４，１０５，１
０６のそれぞれに格納されている変換係数に対して逆離
散ウェーブレット変換を施し、Ｙ，Ｃｒ，Ｃｂ成分のそ
れぞれの値を復元する。

【００７４】可逆色変換部１１０は、前述した「高解像
度サムネイル表示」の場合と同様に、復元されたＹ，Ｃ
ｒ，Ｃｂの各成分データを基に画素単位に色変換し、
Ｒ，Ｇ，Ｂデータを復元する。このようにして原画像の
１／４の解像度の画像データ、即ち、１２８×１９２の
画素数の画像を復号し、その画像データを表示画像デー
タ格納メモリ１１１に格納する。こうして復号され表示
画像データ格納メモリ１１１に格納された画像データ
は、画像表示部１１２により図６に示すような形式で拡
大表示される。

【００７５】図１１は、本実施の形態に係る画像処理装
置における「拡大表示」処理を示すフローチャートで、
この処理を実行するプログラムはメモリ１２２に記憶さ
れ、ＣＰＵ１２１の制御の下に実行される。

【００７６】まずステップＳ２１で、係数格納バッファ
１０４〜１０６を初期化する。次にステップＳ２２に進
み、表示画像データ格納メモリ１１１から着目する画像
データを読み出して可逆色変換部１１３に送り、１画素
を構成するＲ，Ｇ，ＢデータをＹ，Ｃｒ，Ｃｂデータに
変換し、Ｙデータを係数格納バッファ１０４に、Ｃｒ，
Ｃｂデータを係数格納バッファ１０５，１６０にそれぞ
れ格納する。これにより、ＬＬ，ＨＬ３，ＬＨ３，ＨＨ
３サブバンドのＹ，Ｃｒ，Ｃｂ成分の係数データが係数
格納バッファ１０４〜１０６に格納されたことになる。
次にステップＳ２３に進み、符号化データ入力部１０１
から着目画像のＨＬ２，ＬＨ２，ＨＨ２サブバンドの係
数符号化データを読み込んで係数復号化部１０２に入力
する。係数復号化部１０２は、これを復号して各サブバ
ンドの係数を復元し、Ｙ成分の係数を係数格納バッファ
１０４に、Ｃｒ，Ｃｂ成分の係数を係数格納バッファ１
０５，１０６にそれぞれ格納する。これにより係数格納
バッファ１０４〜１０６には、注目画像のＬＬ，ＨＬ
２，ＬＨ２，ＨＨ２サブバンドのＹ，Ｃｒ，Ｃｂ成分が
格納されたことになる。

【００７７】次にステップＳ２４に進み、逆離散ウェー
ブレット変換部１０７〜１０９のそれぞれにより、各係
数格納バッファ１０４〜１０６に格納される変換係数に
対して逆離散ウェーブレット変換を施し、Ｙ，Ｃｒ，Ｃ
ｂ成分のそれぞれ値を復元する。そしてステップＳ２５
に進み、これら復元されたＹ，Ｃｒ，Ｃｂデータを画素
単位に色変換してＲ，Ｇ，Ｂデータを復元する。この様
にして、水平及び垂直方向ともに原画像の半分の解像度
の画像データ、即ち、２５６×３８４画素の画像を復号
し、その画像データを画像データ格納部１１１に格納す
る。そしてステップＳ２６に進み、画像表示部１１２に
より、前述の「高解像度サムネイル表示」の場合と同様
に、図６に示すような形式で復元画像データを拡大表示
する。（４）こうして「拡大表示」されている復元画像に対し
て、ユーザから更なる拡大要求があった場合には「単独
表示」が行われる。次に、この「単独表示」における動
作について述べる。

【００７８】「単独表示」の場合、係数格納バッファ１
０４，１０５，１０６には、その着目画像のＬＬサブバ
ンド（図９（ｃ））の係数データが残っているので、こ
れを初期化せずに使用する。更に、その着目画像を高解
像度で表示するために必要となるデータ、即ち、ＨＬ
１，ＬＨ１，ＨＨ１サブバンド係数符号化データを符号
化データ入力部１０１を介して取得し、係数復号部１０
２でこれを復号して各サブバンドの係数データを復元す
る。そしてＹ，Ｃｒ，Ｃｂの各成分毎に係数格納バッフ
ァ１０４，１０５，１０６に格納する。この時、係数格
納バッファ１０４，１０５，１０６には、図９（ｂ）に
示す、ＬＬ，ＨＬ１，ＬＨ１，ＨＨ１サブバンドのＹ，
Ｃｒ，Ｃｂ成分のそれぞれが格納される。

【００７９】そして逆離散ウェーブレット変換部１０
７，１０８，１０９は、「高解像度サムネイル表示」、
「拡大表示」の場合と同様にして、係数格納バッファ１
０４，１０５，１０６に格納される変換係数に対して逆
離散ウェーブレット変換を施し、各成分の値を復元す
る。可逆色変換部１１０も「高解像度サムネイル表
示」、「拡大表示」の場合と同様に、それら復元された
Ｙ，Ｃｒ，Ｃｂデータを画素単位に色変換してＲ，Ｇ，
Ｂデータを復元する。このようにして原画像と同じ解像
度の画像、即ち、５１２×７６８の画像を復号し、その
画像データを表示画像データ格納メモリ１１１に格納す
る。こうして画像表示部１１２により、例えば図７に示
すような復号画像が、画像表示領域に単独で表示され
る。この場合の処理は前述の図１１のフローチャート
で、ステップＳ２１の係数格納バッファ１０４，１０
５，１０６の初期化処理を実行しないだけで、その他の
処理は同じであるため、その処理を示すフローチャート
を省略する。

【００８０】以上述べたように本実施の形態によれば、
それまで表示していた画像データを有効に利用すること
により、より少ない伝送データで効率の良い画像のブラ
ウジングを実現することができる。

【００８１】なお、上述の実施の形態１の動作におい
て、スイッチ１０３は各成分単位に適宜切り替えられて
おり、これらのタイミングを取るために、途中でのデー
タ蓄積や全体の動作制御も、制御部１２０により制御さ
れている。

【００８２】また、特に明示しないが、画像データの適
切な復号に必要となるヘッダやマーカは適宜解釈され、
本実施の形態の画像処理装置の復号処理に利用されてい
るものとする。

【００８３】［実施の形態２］次に、本発明の実施の形
態２について図面を用いて説明する。

【００８４】図１２は、本発明の実施の形態２に係る画
像処理装置の構成を示すブロック図で、前述の実施の形
態１に係る画像処理装置（図１）と共通する部分は同じ
番号で示し、それらの説明を省略する。

【００８５】本実施の形態２に係る構成は、前述の実施
の形態１の構成における可逆色変換処理部分（図１の可
逆色変換部１１０，１１３、及び図３の可逆変換部３０
３）を、可逆を保証しない色変換（色変換部１１１０，
１１１３、及び図１３の色変換部１２０３に置き換えた
ものであり、その他の部分については実施の形態１と同
じである。

【００８６】また本実施の形態２に係る画像処理装置に
おける動作、取り扱う画像データ、符号化データの形式
は、前述の実施の形態１と同じである。ここでは実施の
形態１と相違している色変換部１１１０，１１１３及び
１２０３の動作について説明し、その他の部分について
は説明を省略する。

【００８７】まず本実施の形態２に係る画像処理装置に
入力される、図２の形式の符号化データを生成する画像
符号化装置（図１３）の相違点について述べる。前述の
実施の形態１では、可逆色変換部３０３において可逆性
を保証する色空間変換を適用したが、本実施の形態２で
は、これを色変換部１３０３に置き換えている。この色
変換部１３０３は、以下に示す式によりＲＧＢデータを
ＹＣｒＣｂデータに画素単位に変換する。

【００８８】Ｙ＝0.299 ×Ｒ＋0.587 ×Ｇ＋0.114 ×ＢＣｒ＝0.5 ×Ｒ−0.4187 ×Ｇ−0.0813 ×Ｂ＋１２
８Ｃｂ＝-0.1687×Ｒ−0.3313 ×Ｇ＋0.5 ×Ｂ＋１２
８上記変換式により求めたＹ，Ｃｒ，Ｃｂデータを、０〜
２５５の範囲にクリッピングし、かつ四捨五入により整
数値化する。この色変換部１３０３以外の処理について
は前述の実施の形態１で説明した画像符号化装置（図
３）の動作と同様であるので、その説明を省略する。

【００８９】次に本実施の形態２に係る画像処理装置の
相違点について述べる。本実施の形態２では、前述の実
施の形態１の可逆色変換部１１０を可逆性を保証しない
色変換を行う色変換部１１１０に置き換えている。色変
換部１１１０は以下の式によりＹＣｒＣｂデータをＲＧ
Ｂデータに変換する。

【００９０】Ｒ＝Ｙ＋1.402×（Ｃｒ−128）Ｇ＝Ｙ−0.34414×（Ｃｂ−128）−0.71414×（Ｃｒ−128）Ｂ＝Ｙ＋1.772 ×（Ｃｂ−128）上式により求めたＲ，Ｇ，Ｂの各値を０〜２５５の範囲
でクリッピングし、かつ四捨五入により整数値化する。

【００９１】これに伴い本実施の形態２では、前述の実
施の形態１の可逆色変換部１１３を、可逆性を保証しな
い色変換を行う色変換部１１１３に置き換えている。色
変換部１１１０は、前述の図１３の画像符号化装置の色
変換部１２０３と同様の演算によりＲＧＢデータをＹＣ
ｒＣｂデータに変換する。

【００９２】本実施の形態２では、表示画像データ格納
メモリ１１１に格納される画像データに対して色変換部
１１１３による色変換を施して係数格納バッファ１０４
〜１０６に格納するが、こうして格納されるデータは、
色変換の演算精度、クリッピング、整数値化等の影響の
ため、本来のＬＬサブバンド係数とは異なったものとな
る。本実施の形態２は、これに起因する復元画像の劣化
を許容した場合の例を示している。

【００９３】［実施の形態３］次に、本発明の実施の形
態３に係る画像処理装置の構成について図面を用いて説
明する。

【００９４】図１４は、本発明の実施の形態３に係る画
像処理装置の構成を示すブロック図である。本実施の形
態３は、前述の実施の形態１の構成に、データ伝送速度
測定部１３１４を追加したもので、その他の構成は前述
の実施の形態１と同じである。

【００９５】このデータ伝送速度測定部１３１４は、符
号化データ入力部１０１を介して符号化データを受信す
る際に、単位時間当たりの取得データ量（βバイト／
秒）を測定して、その測定結果を保持する。

【００９６】前述の実施の形態１では、「高解像度サム
ネイル表示」、「拡大表示」の際に、常に表示画像デー
タ格納メモリ１１１から、それまでに表示されている画
像データを読み出し、可逆色変換部１１３により色変換
して低周波サブバンド係数を求めて次の画像表示に使用
したが、本実施の形態３では、データ伝送速度測定部１
３１４で保持するデータ転送スピードβに基づいて、既
に表示されている画像データから低周波サブバンド係数
を復元するか、再度、符号化データ入力部１０１から符
号化データを入力するかを判定するものである。

【００９７】「高解像度サムネイル表示」、「拡大表
示」を行う場合、前述のβの値を所定の閾値Ｔｈと比較
し、データ伝送速度が遅い場合、即ち、β＜Ｔｈである
場合には前述の実施の形態１と同様に、既に表示されて
いる画像データから低周波サブバンドの係数を復元す
る。

【００９８】一方、データ伝送速度が速い場合、即ち、
β＞Ｔｈの場合には、ＬＬサブバンド係数符号化データ
とその他必要なサブバンドの係数符号化データとを受信
し、それらを復号して表示する。これらの処理は制御部
１２０により制御されるものとする。

【００９９】図１５は、本発明の実施の形態３に係る画
像処理装置における画像データの復号及び表示処理を示
すフローチャートで、この処理を実行する制御プログラ
ムはメモリ１２２に記憶されており、ＣＰＵ１２１の制
御の下に実行される。

【０１００】まずステップＳ３１で、図５に示すような
画像の表示状態で、高解像度サムネイル画像の表示が指
示されたかどうかをみる。指示された時はステップＳ３
７に進み、その時点でデータ伝送速度測定部１３１４で
保持されているデータ転送スピードβが閾値Ｔｈよりも
大きいかどうかを判定する。大きくない時はステップＳ
３８に進み、図１０のフローチャートで示す処理を実行
する。また、このβが閾値Ｔｈよりも大きいときはステ
ップＳ３９に進み、符号化データ入力部１０１により、
その高解像度での画像表示のために必要な符号化データ
を入力し、それを係数復号部１０２で復号して係数格納
バッファ１０４〜１０６に格納する。そしてステップＳ
４０で、図１０のステップＳ１４の処理に進んで、その
係数に対して逆離散ウェーブレット処理を施して、前述
した手順で画像の復号処理を実行する。

【０１０１】またステップＳ３１で高解像度のサムネイ
ル画像の表示処理でない時はステップＳ３２に進み、拡
大表示が指示されたかを調べ、拡大表示が指示された時
はステップＳ３３に進み、その時点でデータ伝送速度測
定部１３１４で保持されているデータ転送スピードβが
閾値Ｔｈよりも大きいかどうかを判定する。データ転送
スピードβが閾値Ｔｈよりも大きい時はステップＳ３４
に進み、符号化データ入力部１０１により、その拡大表
示のために必要な符号化データを入力し、それを係数復
号部１０２で復号して係数格納バッファ１０４〜１０６
に格納する。そしてステップＳ３５に進み、図１１のス
テップＳ２４の処理に進んで、その係数に対して逆離散
ウェーブレット処理を施して、前述した手順で画像の復
号処理を実行する。また、ステップＳ３３で、このβが
閾値Ｔｈよりも小さい時はステップＳ３６に進み、前述
した図１１のフローチャートで示す「拡大表示」処理を
実行する。

【０１０２】以上説明したように本実施の形態３によれ
ば、符号化データ入力部１０１から入力される符号化デ
ータの受信速度に応じて、既に表示されている画像デー
タから低周波サブバンドの係数を復元するか、或いは、
外部から相当するサブバンドの係数符号化データを取得
するかを選択することにより、効率良く高解像度の画像
データを復号して表示できるという効果がある。

【０１０３】［他の実施の形態］本発明は上述した実施
の形態に限定されるものではない。上述した各実施の形
態において、低周波サブバンドの分割回数を違えても構
わない。また離散ウェーブレット変換に使用するフィル
タの種類も特に限定するものではない。例えば、整数型
の５×３フィルタや、実数型の９×７，１３×７フィル
タなどを適用しても構わない。但し、低周波帯域の係数
のダイナミックレンジが増大するフィルタを適用する場
合、画像データは表示画像データ格納メモリ１１１に格
納する前に０〜２５５（原画像が８ビットの場合）の範
囲にクリッピングされるので、これに伴う劣化が起こる
ことを認識しなければならない。

【０１０４】また本発明は上述した実施の形態の係数符
号化方式に限定されるものではなく、サブバンド復元で
きるものならばどのような方法を用いても良い。例え
ば、サブバンド間の相関を用いてエントロピー符号化す
る方式を用いても構わない。

【０１０５】また、上述の実施の形態では、説明を簡略
化するために係数の量子化を行っていないが、例えば、
デッドゾーン付のスカラ量子化など、各種の量子化手法
を用いてサブバンドの係数を量子化してから符号化処理
しても構わない。また、エントロピー符号化も、Q-Code
r、QM-Coder、MQ-Coderといった算術符号や、ハフマン
符号など、Golomb符号以外のエントロピー符号化を適用
しても構わない。また、変換係数、或は量子化された係
数をサブバンド内でブロックに分割して、ブロックを単
位として符号化処理しても構わない。

【０１０６】また本実施の形態は、ラスタ方向（水平方
向）の順に画像データを入力して処理するものとして説
明したが、その入力順が垂直方向の場合であれば、上記
説明における水平及び垂直方向の解釈を互いに置換して
考慮することにより、同様の処理ができる。

【０１０７】なお本発明は、複数の機器（例えばホスト
コンピュータ、インターフェース機器、リーダ、プリン
タ等）から構成されるシステムの一部として適用して
も、１つの機器（例えば複写機、ファクシミリ装置、デ
ジタルカメラ等）からなる装置の一部に適用してもよ
い。

【０１０８】また、本発明は上記実施の形態を実現する
ための装置及び方法のみに限定されるものではなく、上
記システム又は装置内のコンピュータ（ＣＰＵあるいは
ＭＰＵ）に、上記実施の形態を実現するためのソフトウ
エアのプログラムコードを供給し、このプログラムコー
ドに従って上記システムあるいは装置のコンピュータが
上記各種デバイスを動作させることにより上記実施の形
態を実現する場合も本発明の範疇に含まれる。

【０１０９】またこの場合、前記ソフトウエアのプログ
ラムコード自体が上記実施の形態の機能を実現すること
になり、そのプログラムコード自体、及びそのプログラ
ムコードをコンピュータに供給するための手段、具体的
には上記プログラムコードを格納した記憶媒体は本発明
の範疇に含まれる。

【０１１０】この様なプログラムコードを格納する記憶
媒体としては、例えばフロッピー（登録商標）ディス
ク、ハードディスク、光ディスク、光磁気ディスク、Ｃ
Ｄ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、Ｒ
ＯＭ等を用いることができる。

【０１１１】また、上記コンピュータが、供給されたプ
ログラムコードのみに従って各種デバイスを制御するこ
とにより、上記実施の形態の機能が実現される場合だけ
ではなく、上記プログラムコードがコンピュータ上で稼
動しているＯＳ（オペレーティングシステム）、あるい
は他のアプリケーションソフト等と共同して上記実施の
形態が実現される場合にもかかるプログラムコードは本
発明の範疇に含まれる。

【０１１２】更に、この供給されたプログラムコード
が、コンピュータの機能拡張ボードやコンピュータに接
続された機能拡張ユニットに備わるメモリに格納された
後、そのプログラムコードの指示に基づいてその機能拡
張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の
処理の一部または全部を行い、その処理によって上記実
施の形態が実現される場合も本発明の範疇に含まれる。

【０１１３】また前述の実施の形態では、各実施の形態
をそれぞれ独立に説明したが、本発明はこれら実施の形
態の構成を適宜組合わせて実施する場合も含まれるもの
とする。

【０１１４】以上説明したように本実施の形態によれ
ば、ウェーブレット変換を用いた画像符号化データを空
間的に段階性を持たせて復号する際に、表示用に保持す
る画像データを有効利用することにより、少ないメモリ
量で効率良く画像データを復号することができる。

【０１１５】特に、複数成分からなる画像データに対し
て可逆の色変換、可逆の周波数帯域分解を用いた場合に
は、無駄な符号伝送をなくし、かつ最終的に劣化のない
再生画像が得られる空間スケーラブル復号が可能であ
る。

【０１１６】

【発明の効果】以上説明したように本発明によれば、周
波数帯域毎に符号化された符号化データを入力し復号し
て表示する際、より高解像度の画像表示が指示される
と、表示用に保持している画像データを有効利用し、よ
り少ないメモリ容量で効率良く画像データを復号できる
という効果がある。

【０１１７】また本発明によれば、より高解像度の画像
の復号・表示が指示されると、それまでに復号して表示
されている画像データを利用し、その高解像度の画像の
復号・表示に必要な周波数帯域のデータだけを入力して
復号すればよいので、より高速に画像を復号できるとい
う効果がある。

【図面の簡単な説明】

【図１】本発明の実施の形態１に係る画像処理装置の構
成を示すブロック図である。

【図２】本発明の実施の形態１〜３に係る画像処理装置
に入力される符号化データのデータ形式を示す図であ
る。

【図３】本実施の形態における符号化データを生成する
画像符号化装置の構成例を示すブロック図である。

【図４】本発明の実施の形態１に係る画像処理装置にお
ける処理の流れを示すフローチャートである。

【図５】本実施の形態における「低解像度サムネイル表
示」及び「高解像度サムネイル表示」における表示例を
示す図である。

【図６】本実施の形態における「拡大表示」における表
示例を示す図である。

【図７】本実施の形態における拡大画像の「単独表示」
における表示例を示す図である。

【図８】本発明の実施の形態１に係る画像処理装置にお
ける「低解像度サムネイル表示」処理を示すフローチャ
ートである。

【図９】本実施の形態１において、係数格納バッファに
格納された変換係数の様子を説明する図である。

【図１０】本発明の実施の形態１に係る画像処理装置に
おける「高解像度サムネイル表示」処理を示すフローチ
ャートである。

【図１１】本発明の実施の形態１に係る画像処理装置に
おける「拡大表示」処理を示すフローチャートである。

【図１２】本発明の実施の形態２に係る画像処理装置の
構成を示すブロック図である。

【図１３】本実施の形態２における符号化データを生成
する画像符号化装置の構成例を示すブロック図である。

【図１４】本発明の実施の形態３に係る画像処理装置の
構成を示すブロック図である。

【図１５】本発明の実施の形態３に係る画像処理装置に
おける処理を示すフローチャートである。

【図１６】２次元の離散ウェーブレット変換の過程を示
す図である。

【図１７】２次元離散ウェーブレット変換によるサブバ
ンド分割の例を示す図である。

【図１８】ｋパラメータ０〜３の場合のGolomb符号の例
を示す図である。

【図１９】サブバンドの１ライン分の係数を符号化して
得られる符号化データの形式を示す図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者佐藤眞東京都大田区下丸子３丁目30番２号キヤノン株式会社内Ｆターム(参考） 5B057 CE18 CG05 5C057 AA06 BA14 DA04 EA01 EA02 EM07 EM11 GM04 5C059 KK11 KK38 MA24 MA32 MC11 MC38 ME01 PP15 PP16 SS20 TA36 TA50 TB15 TC02 TC04 TD00 UA05 5C078 AA09 BA53 BA64 CA27

Claims

【特許請求の範囲】

【請求項１】画像データを周波数帯域毎に符号化して
得られる符号化データから画像を復号する画像処理装置
であって、符号化された周波数帯域毎の係数を入力して復号する係
数復号手段と、前記係数復号手段により復号された係数を格納する係数
格納手段と、前記係数格納手段に格納された係数に基づいて所定の解
像度の画像を復号する画像復号手段と、前記画像復号手段により復号された復号画像データを格
納する画像データ格納手段と、前記画像データ格納手段に格納された復号画像データ
と、前記係数復号手段により復号された、より高周波帯
域の係数とを前記係数格納手段に格納し、前記画像復号
手段により画像を復号するように制御する制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】前記画像データはカラー画像データであ
り、前記係数格納手段は、前記カラー画像データのＹ，
Ｃｒ，Ｃｂ成分のそれぞれの係数を格納することを特徴
とする請求項１に記載の画像処理装置。
【請求項３】前記画像データ格納手段に格納された復
号画像データの色空間を変換する第１色空間変換手段
と、前記画像復号手段により復号された画像データの色空間
を変換する第２色空間変換手段とを更に有し、前記画像復号手段は、前記第１色空間変換手段により色
変換された画像データと、前記係数復号手段により復号
される周波帯域の係数とから所定の解像度の画像データ
を復号することを特徴とする請求項１に記載の画像処理
装置。
【請求項４】前記第１及び第２色空間変換手段におけ
る色空間変換は、互いに逆となる色変換で、かつ可逆の
色変換であることを特徴とする請求項３に記載の画像処
理装置。
【請求項５】前記画像復号手段は、離散ウェーブレッ
ト変換の逆変換を含むことを特徴とする請求項１乃至４
のいずれか１項に記載の画像処理装置。
【請求項６】符号化データの入力速度を検知する速度
検知手段を更に有し、前記制御手段は、前記速度検知手段により検知された入
力速度が所定値以上の場合に、前記係数復号手段により
復号された係数に基づいて前記画像復号手段により画像
を復号するように制御することを特徴とする請求項１乃
至５のいずれか１項に記載の画像処理装置。
【請求項７】画像データを周波数帯域毎に符号化して
得られる符号化データから画像を復号する画像処理装置
であって、符号化された周波数帯域毎の係数を入力して復号する係
数復号手段と、前記係数復号手段により復号された係数を逆ウェーブレ
ット変換して所定の解像度の画像を復号する画像復号手
段と、前記画像復号手段により復号された復号画像データを記
憶する画像データ記憶手段と、前記画像データ記憶手段に記憶された復号画像データに
基づいて画像を表示する表示手段と、前記表示手段に表示された画像よりも高い解像度の画像
表示が指示されると、前記画像データ記憶手段に記憶さ
れた復号画像データの周波帯域の係数と、前記係数復号
手段により復号された、より高周波帯域の係数とを合成
して前記画像復号手段により画像を復号するように制御
する制御手段と、を有することを特徴とする画像処理装
置。
【請求項８】画像データを周波数帯域毎に符号化して
得られる符号化データから画像を復号する画像処理方法
であって、符号化された周波数帯域毎の係数を入力して復号する係
数復号工程と、前記係数復号工程で復号された係数を格納する係数格納
工程と、前記係数格納工程で格納された係数に基づいて所定の解
像度の画像を復号する画像復号工程と、前記画像復号工程で復号された復号画像データを格納す
る画像データ格納工程と、前記画像データ格納工程で格納された復号画像データ
と、前記係数復号工程で復号された、より高周波帯域の
係数とを格納して前記画像復号工程により画像を復号す
るように制御する制御工程と、を有することを特徴とす
る画像処理方法。
【請求項９】前記画像データはカラー画像データであ
り、前記係数格納工程は、前記カラー画像データのＹ，
Ｃｒ，Ｃｂ成分のそれぞれの係数を格納することを特徴
とする請求項８に記載の画像処理方法。
【請求項１０】前記画像データ格納工程で格納された
復号画像データの色空間を変換する第１色空間変換工程
と、前記画像復号工程で復号された画像データの色空間を変
換する第２色空間変換工程とを更に有し、前記画像復号工程では、前記第１色空間変換工程により
色変換された画像データと、前記係数復号工程で復号さ
れる周波帯域の係数とから所定の解像度の画像データを
復号することを特徴とする請求項８に記載の画像処理方
法。
【請求項１１】前記第１及び第２色空間変換工程にお
ける色空間変換は、互いに逆となる色変換で、かつ可逆
の色変換であることを特徴とする請求項１０に記載の画
像処理方法。
【請求項１２】前記画像復号工程は、離散ウェーブレ
ット変換の逆変換を含むことを特徴とする請求項８乃至
１１のいずれか１項に記載の画像処理方法。
【請求項１３】符号化データの入力速度を検知する速
度検知工程を更に有し、前記制御工程では、前記速度検知工程で検知された入力
速度が所定値以上の場合に、前記係数復号工程で復号さ
れた係数に基づいて前記画像復号工程により画像を復号
するように制御することを特徴とする請求項８乃至１２
のいずれか１項に記載の画像処理方法。
【請求項１４】画像データを周波数帯域毎に符号化し
て得られる符号化データから画像を復号する画像処理方
法であって、符号化された周波数帯域毎の係数を入力して復号する係
数復号工程と、前記係数復号工程で復号された係数を逆ウェーブレット
変換して所定の解像度の画像を復号する画像復号工程
と、前記画像復号工程で復号された復号画像データを記憶す
る画像データ記憶工程と、前記画像データ記憶工程で記憶された復号画像データに
基づいて画像を表示する表示工程と、前記表示工程で表示された画像よりも高い解像度の画像
表示が指示されると、前記画像データ記憶工程で記憶さ
れた復号画像データの周波帯域の係数と、前記係数復号
工程で復号された、より高周波帯域の係数とを合成して
前記画像復号工程により画像を復号するように制御する
制御工程と、を有することを特徴とする画像処理方法。
【請求項１５】請求項８乃至１４のいずれか１項に記
載の画像処理方法を実行するプログラム記憶したことを
特徴とする、コンピュータにより読取り可能な記憶媒
体。