JP2002281444A - 画像処理方法及び装置及び記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 複数のタイル／画像毎に符号化して所定容量
のメモリに記憶する際、画像全体の画質を劣化させるこ
となくメモリに記憶する。 【解決手段】 複数の画像を符号化し、所定のメモリに
記憶させる画像処理装置であって、画像符号化部２によ
り、１画像単位で、入力画像データをウェーブレット変
換し、その変換により得られた変換係数を、上位ビット
から下位ビットにビットプレーン化し、ビットプレーン
毎に符号化し、その画像符号化部２により得られた符号
化データを１画像単位でメモリ３に記憶する際、符号量
予測部６は、その符号化された各画像の符号化データの
全てがメモリ３に記憶可能か否かを判定し、記憶不可能
と判定されるとアドレス制御部７は、メモリ３の記憶可
能量を越えた符号化データを分割し、各画像の下位ビッ
トプレーンの記憶領域から均等に上書きしてメモリ３に
記憶するように制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像を複数のタイ
ルに分割して符号化処理する画像処理装置及びその方法
及び記憶媒体に関するものである。

【０００２】

【従来の技術】近年のコンピュータ機器の発展に伴っ
て、様々な文書又は画像をコンピュータ機器で処理する
用途が広がってきている。このようなコンピュータ機器
で画像情報を扱う際、その画像情報を入出力する入出力
機器となるデジタルカメラやプリンタ等に対しても、業
務用のみならず家庭内での使用を想定した、廉価で高性
能な装置が求められている。特に所謂マルチメディアの
普及に伴い画像が高精細化するに伴ない、これらの装置
が扱う画像のデータ量が極めて多くなってきている。

【０００３】図１９は、このようなデジタルカメラ或は
プリンタ等の画像処理装置の構成を示したブロック図で
あり、同図（ａ）は、その様な装置の全体的な構成を表
している。図において、画像入力部１は出力の対象とな
る画像を入力し、ラスタ順に後続の画像符号化部２に対
して出力する。画像符号化部２において圧縮符号化され
生成された符号列は後続のメモリ３に一時記憶される。
このメモリ３に記憶された符号列は、画像復号部４に出
力されて元の画像を表すデジタル信号に復元され、画像
出力部５において画像として出力される。

【０００４】このような画像処理装置において、画像符
号化及び復号方法としてＪＰＥＧが広く用いられてき
た。図１９（ｂ）はＪＰＥＧによる符号化を行う画像符
号化部２の基本的な構成を示した図である。ここでは、
入力された画像信号は、画像がカラーの場合、所定の色
空間変換及びサブサンプリングが施され、離散コサイン
変換部２０１ａに入力される。この離散コサイン変換部
２０１ａは、入力した画像信号を所定の大きさのブロッ
クを単位として離散コサイン変換を施し、その変換係数
を後続の量子化部２０２ａに出力する。量子化部２０２
ａは、その入力した変換係数を所定の量子化ステップで
量子化してエントロピー符号化部２０３ａに出力し、そ
の量子化された係数に対してハフマン符号化を施して符
号列を出力している。

【０００５】

【発明が解決しようとする課題】以上述べた方式によれ
ば、画像データを比較的良好な圧縮率で圧縮してメモリ
３に記憶することができ、この時の圧縮率は量子化部２
０２ａにおける量子化ステップにより調整される。しか
し、後続のエントロピ符号化部２０３ａの出力は可変長
符号であるため、量子化ステップを一定の値に保ったと
しても、その符号化されたデータの長さは入力画像に依
存して変化する。従って、図１９（ａ）に示した画像処
理装置において、固定の量子化ステップによる処理では
メモリ３のメモリ容量として求められるメモリ量が決定
できないという問題がある。

【０００６】このため、画像を圧縮符号化した符号列が
確実にメモリ３に収容できるようにするためには、メモ
リ３のメモリ容量を、想定される最低の圧縮率を見込ん
で決定するか、或は量子化ステップを変化させながら画
像を圧縮し、その符号列がメモリ３に収まるような量子
化ステップを、処理対象となる画像に応じて動的に変化
させて決定する必要がある。

【０００７】しかしこのような方法によると、前者の場
合はメモリ容量が多くなって装置のコストアップを招
き、後者の場合では、処理が複雑になり、また量子化ス
テップを適当な値に決定するためには複数の試行が必要
になるため処理時間も長くなるという問題がある。

【０００８】本発明は上記従来例に鑑みてなされたもの
で、複数のタイルに分割された画像をタイル毎に符号化
して所定容量のメモリに記憶する際、或いは複数の画像
を別に符号化して所定容量のメモリに記憶する際、その
メモリの所定容量を越えた分の符号を、その越えた分の
タイル／画像の画質を劣化させることなく、そのメモリ
に記憶することができる画像符号化方法及び装置及び記
憶媒体を提供することを目的とする。

【０００９】また本発明の目的は、複数のタイルに分割
された画像をタイル毎に符号化してメモリに記憶する
際、或いは複数の画像を別に符号化して所定容量のメモ
リに記憶する際、特定のタイル／画像の画質を劣化させ
ることなく、そのメモリに記憶することができる画像符
号化方法及び装置及び記憶媒体を提供することにある。

【００１０】又本発明の目的は、複数のタイルに分割さ
れた画像をタイル毎に符号化してメモリに記憶する際、
或いは複数の画像を別に符号化して所定容量のメモリに
記憶する際、そのメモリの容量を越えた分の符号を、各
タイル／画像の符号に均等に分割して配分して記憶する
ことにより、画像全体の劣化を抑えて符号化された画像
データを記憶することができる画像符号化方法及び装置
及び記憶媒体を提供することにある。

【００１１】

【課題を解決するための手段】上記目的を達成するため
に本発明の画像処理装置は以下のような構成を備える。
即ち、入力した画像を複数のタイルに分割して処理する
画像処理装置であって、前記複数のタイルのそれぞれの
タイル単位でビットプレーン毎に符号化処理を行なう符
号化手段と、前記符号化手段により符号化される符号列
を前記タイル単位で記憶する記憶手段と、前記符号化手
段により符号化された符号列を前記記憶手段に順次記憶
する際、前記符号化手段により符号化されたタイルの符
号を全て前記記憶手段に記憶可能か否かを判定する判定
手段と、前記判定手段により記憶不可能と判定される
と、前記記憶手段の記憶可能量を越えた符号量を略等分
して、既に記憶済みのタイルの符号領域に配分して、か
つ該符号領域の各々における最適な記憶開始位置を特定
し、該記憶開始位置から逆順序に記憶するように制御す
る制御手段と、を有することを特徴とする。

【００１２】上記目的を達成するために本発明の画像処
理方法は以下のような工程を備える。即ち、入力した画
像を複数のタイルに分割して処理する画像処理方法であ
って、前記複数のタイルのそれぞれのタイル単位でビッ
トプレーン毎に符号化処理を行なう符号化工程と、前記
符号化工程で符号化される符号列を前記タイル単位でメ
モリに記憶する記憶工程と、前記符号化工程で符号化さ
れた符号列を前記メモリに順次記憶する際、前記符号化
工程で符号化されたタイルの符号を全て前記メモリに記
憶可能か否かを判定する判定工程と、前記判定工程で記
憶不可能と判定されると、前記メモリの記憶可能量を越
えた符号量を略等分して、既に記憶済みのタイルの符号
領域に配分して、かつ該符号領域の各々における最適な
記憶開始位置を特定し、該記憶開始位置から逆順序に記
憶するように制御する制御工程と、を有することを特徴
とする。

【００１３】上記目的を達成するために本発明の画像処
理装置は以下のような構成を備える。即ち、複数の画像
を符号化し、所定のメモリに記憶させる画像処理装置で
あって、１画像単位で、入力画像データをウェーブレッ
ト変換するウェーブレット変換手段と、前記ウェーブレ
ット変換手段により得られた変換係数を、上位ビットか
ら下位ビットにビットプレーン化し、ビットプレーン毎
に符号化する符号化手段と、前記符号化手段により得ら
れた符号化データを１画像単位でメモリに記憶する記憶
制御手段と、前記符号化手段により得られた符号化デー
タを前記メモリに順次記憶する際、前記符号化手段によ
り符号化された各画像の符号化データの全てが前記メモ
リに記憶可能か否かを判定する判定手段と、前記判定手
段により記憶不可能と判定されると、前記メモリの記憶
可能量を越えた符号化データを均等に分割し、該分割で
得られた各符号化データを前記各画像の下位ビットプレ
ーンの記憶領域の終端アドレスから逆順序に上書きして
前記メモリに記憶するよう制御する制御手段と、を有す
ることを特徴とする。

【００１４】また上記目的を達成するために本発明の画
像処理装置は以下のような構成を備える。即ち、複数の
画像を符号化し、所定のメモリに記憶させる画像処理装
置であって、１画像単位で、入力画像データをウェーブ
レット変換するウェーブレット変換手段と、前記ウェー
ブレット変換手段により得られた変換係数を、上位ビッ
トから下位ビットにビットプレーン化し、ビットプレー
ン毎に符号化する符号化手段と、前記符号化手段により
得られた、複数の画像に相当する符号化データをメモリ
に記憶する記憶制御手段と、前記符号化手段により得ら
れた符号化データの全てが、前記メモリに記憶可能か否
かを判定する判定手段と、前記判定手段により記憶不可
能と判定されると、前記各画像の下位ビットプレーンの
符号化データに係る終端アドレスから均等に無効化する
よう制御する制御手段と、を有することを特徴とする。

【００１５】更に上記目的を達成するために本発明の画
像処理方法は以下のような工程を備える。即ち、複数の
画像を符号化し、所定のメモリに記憶させる画像処理装
置における画像処理方法であって、１画像単位で、入力
画像データをウェーブレット変換するウェーブレット変
換工程と、前記ウェーブレット変換工程で得られた変換
係数を、上位ビットから下位ビットにビットプレーン化
し、ビットプレーン毎に符号化する符号化工程と、前記
符号化工程で得られた符号化データを１画像単位でメモ
リに記憶する記憶制御工程と、前記符号化工程で得られ
た符号化データを前記メモリに順次記憶する際、前記符
号化工程で符号化された各画像の符号化データの全てが
前記メモリに記憶可能か否かを判定する判定工程と、前
記判定工程で記憶不可能と判定されると、前記メモリの
記憶可能量を越えた符号化データを均等に分割し、該分
割で得られた各符号化データを前記各画像の下位ビット
プレーンの記憶領域の終端アドレスから逆順序に上書き
して前記メモリに記憶するよう制御する制御工程と、を
有することを特徴とする。

【００１６】また上記目的を達成するために本発明の画
像処理方法は以下のような工程を備える。即ち、複数の
画像を符号化し、所定のメモリに記憶させる画像処理方
法であって、１画像単位で、入力画像データをウェーブ
レット変換するウェーブレット変換工程と、該ウェーブ
レット変換工程にて得られた変換係数を、上位ビットか
ら下位ビットにビットプレーン化し、ビットプレーン毎
に符号化する符号化工程と、前記符号化工程にて得られ
た、複数の画像に相当する符号化データをメモリに記憶
する記憶工程と、前記符号化工程にて得られた符号化デ
ータの全てが、前記メモリに記憶可能か否かを判定する
判定工程と、前記判定工程にて記憶不可能と判定される
と、前記各画像の下位ビットプレーンの符号化データに
係る終端アドレスから均等に無効化するよう制御する制
御工程と、を有することを特徴とする。

【００１７】

【発明の実施の形態】以下、添付図面を参照して本発明
の好適な実施の形態を詳細に説明する。

【００１８】［実施の形態１］図１は、本発明の実施の
形態１に係る画像処理装置の基本構成を示すブロック図
である。なお、本実施の形態に係る画像処理装置の具体
例としては、例えば複写機、プリンタ、デジタルカメラ
等がある。

【００１９】画像入力部１から入力された画像データ
は、画像符号化部２において圧縮符号化され、この符号
化により生成された符号列は後続のメモリ３に一時記憶
される。こうしてメモリ３に記憶された符号列は、画像
出力の際、画像復号部４に出力されて元の画像を表すデ
ジタル信号に復元され、画像出力部５において所定のメ
ディアに対して出力される。ここで画像入力部１は、こ
の画像処理装置が複写機の場合は、スキャナ等の画像読
取装置、デジタルカメラの場合はＣＣＤのような撮像装
置である。また画像出力部５は、画像処理装置がデジタ
ルカメラの場合は、本体に装備された小型の液晶モニ
タ、或は所定のインターフェースを介して接続された外
部のコンピュータ等である。また、この画像処理装置が
プリンタの場合は、画像を印刷する印刷部がこれに該当
する。

【００２０】次に各部分の動作について詳細に説明す
る。

【００２１】画像データは、画像入力部１により所定の
大きさを持つ矩形のタイルに分割されて出力される。

【００２２】図２は、このようにして複数のタイルに分
割された画像例を示した図であり、図２において、処理
対象となる画像Ｉは同一の大きさを持つ１６（＝４×
４）個のタイルに分割されている。このように分割され
た画像データは、順次タイル単位に、後続の画像符号化
部２及び像域判定部８に出力される。

【００２３】像域判定部８は、入力した各タイル単位の
画像が、どのような特性を持つ画像であるかを判別し、
その結果を圧縮モード指定部９に出力する。本実施の形
態１の例では、像域判定部８は、画像の種類として自然
画、２値画像、合成画像の３種類を判定するものとす
る。この判別方式は本発明の目的ではないため、その詳
細は省略するが、例えば、入力したタイル内の画素値の
ヒストグラムを算出し、その分布を利用する等の方法を
取ることができる。

【００２４】圧縮モード指定部９は、所定の方法により
上記３種類の画像（自然画、２値画像、合成画像）に対
し、その圧縮方式及び圧縮率を決定して画像符号化部２
に出力する。ここで、各画像の種類に対する圧縮率は予
め所定の基準により決定されたものでも良いし、画像デ
ータが入力される時点において、ユーザの要求に応じ
て、その都度、変化させても良い。

【００２５】本実施の形態１においては、その圧縮率は
予め決定されており、例えば自然画に対しては“１／
８”の非可逆圧縮、合成画像に対しては“１／４”の非
可逆圧縮、２値画像に対しては可逆圧縮を行うように指
定するものとする。この圧縮率及び像域判定部８で判定
された画像の種類は画像符号化部２に出力される。こう
して画像入力部１で複数のタイルに分割された画像デー
タは、画像符号化部２において圧縮符号化される。

【００２６】図３は、本実施の形態１に係る画像符号化
部２の構成を示すブロック図である。

【００２７】同図において、離散ウェーブレット変換部
２０１は、画像入力部１から入力した画像信号に対して
２次元の離散ウェーブレット変換処理を行い、それから
得られた係数列を後続の量子化部２０２に出力する。こ
こで離散ウェーブレット変換部２０１は、入力した画像
データに対して２次元の離散ウェーブレット変換処理を
行い、その変換係数を計算して出力する。

【００２８】図４は、この離散ウェーブレット変換部２
０１の基本構成を示すブロック図であり、入力された画
像データは一旦メモリ２００１に記憶され、処理部２０
０２により順次読み出されて変換処理が行われた後、再
びメモリ２００１に書込まれている。この処理部２００
２においては、１次元の離散ウェーブレット変換が下式
により計算されている。

【００２９】 d(n)=x(2*n+1)-floor((x(2*n)+x(2*n+2))/2) （式１） s(n)=x(2*n)+floor((d(n-1)+d(n))/4) （式２） ただし、ｘ(ｎ)は変換対象となる画像信号、ｓ(ｎ)及び
ｄ(ｎ)は各々離散ウェーブレット変換によるローパス係
数及びハイパス係数である。この２次元の離散ウェーブ
レット変換は、１次元の変換を画像の水平・垂直方向に
対して順次行うものであり、その詳細は公知であるの
で、ここでは説明を省略する。なお、離散ウェーブレッ
ト変換は必ずしも式１および式２により計算される必要
はなく、目的に応じて様々なフィルタ係数および計算方
法を用いることが出来る。

【００３０】図５は、２次元の離散ウェーブレット変換
処理により得られる２レベルの変換係数群の構成例を示
す図であり、異なる周波数帯域の係数列ＨＨ１，ＨＬ
１，ＬＨ１，...，ＬＬに分解される。なお、以降の説
明では、これらの係数列をサブバンドと呼ぶ。各サブバ
ンドの係数は後続の量子化部２０２に出力される。

【００３１】量子化部２０２は、入力した変換係数を所
定の量子化ステップにより量子化し、その量子化値に対
するインデックスを、後続のエントロピ符号化部２０３
に出力する。ここで、量子化は次式に基づいて行われ
る。

【００３２】 q=sign(c)floor(abs(c)/Δ) （式３） sign(c)=1;c＞=0 （式４） sign(c)=-1;c＜0 （式５） ここで、ｃは量子化対象となる係数を示し、また本実施
の形態において、量子化ステップΔは、前述した圧縮モ
ード指定部９による当該タイルの圧縮率を実現するため
に、後述するエントロピ符号化部２０３において、ビッ
トプレーン符号化により所定の圧縮率での符号化の打ち
切りができるように選択されているものとする。尚、本
発明においては量子化を必ず行う必要はなく、その場合
においては離散ウェーブレット変換係数が、量子化イン
デックスとして後続の処理に用いられる。

【００３３】エントロピ符号化部２０３は、入力した量
子化インデックスをビットプレーンに分解し、ビットプ
レーンを単位に２値算術符号化を行ってコードストリー
ムを出力する。

【００３４】図６は、本実施の形態のエントロピ符号化
部２０３の動作を説明する図であり、この例においては
４×４の大きさを持つサブバンド内の領域において、非
０の量子化インデックスが３個存在しており、それぞれ
＋１３，−６，＋３の値を持っている。エントロピ符号
化部２０３は、この領域を走査して最大値Ｍを求め、次
式により最大の量子化インデックスを表現するために必
要なビット数Ｓを計算する。

【００３５】 S=ceil(log₂(abs(M))) （式６） ここで、ceil(x)はｘ以上の整数の中で最も小さい整数
値を表す。図６において、最大の係数値は“１３”であ
るので、これを表わすビット数Ｓは“４”であり、シー
ケンス中の１６個の量子化インデックスは同図右に示す
ように４つのビットプレーンを単位として処理が行われ
る。最初にエントロピ符号化部２０３は、最上位ビット
プレーン（同図ＭＳＢで表す）の各ビットを２値算術符
号化してビットストリームとして出力する。次にビット
プレーンを１レベル下げ、以下同様に、対象ビットプレ
ーンが最下位ビットプレーン（同図ＬＳＢで表す）に至
るまで、ビットプレーン内の各ビットを符号化して出力
する。この時、各量子化インデックスの符号は、ビット
プレーン走査において最初の非０ビットが検出される
と、そのすぐ後に、当該量子化インデックスの正負を示
す符号がエントロピ符号化される。

【００３６】一方、図３に示すように、エントロピ符号
化部２０３は、圧縮モード指定部９より画像の種別及び
圧縮率を入力している。この入力した値に基づき、エン
トロピ符号化部２０３は、出力した符号量をカウント
し、その符号量が圧縮モード指定部９により指定された
圧縮率に該当する値に達したところで符号化処理を停止
する。これにより、当該タイルにおける圧縮率を所定の
値に制御している。

【００３７】図７は、このようにして生成され出力され
る符号列の構成を表した概略図である。

【００３８】同図（ａ）は、符号列の全体の構成を示し
たものであり、ＭＨはメインヘッダ、ＴＨはタイルヘッ
ダ、ＢＳはビットストリームである。メインヘッダＭＨ
は、同図（ｂ）に示すように、符号化対象となる画像の
サイズ（水平及び垂直方向の画素数）、画像を複数の矩
形領域であるタイルに分割した際のタイルサイズ、各色
成分数を表すコンポーネント数、各成分の大きさ、ビッ
ト精度を表すコンポーネント情報から構成されている。

【００３９】次にタイルヘッダＴＨの構成を図７（ｃ）
に示す。タイルヘッダＴＨには、当該タイルのビットス
トリーム長とヘッダ長を含めたタイル長、及び当該タイ
ルに対する符号化パラメータから構成される。この符号
化パラメータには、離散ウェーブレット変換のレベル、
フィルタの種別等が含まれている。

【００４０】本実施の形態１におけるビットストリーム
の構成を同図（ｄ）に示す。

【００４１】同図において、ビットストリームはビット
プレーンを単位としてまとめられ、上位ビットプレーン
から下位ビットプレーンに向かう形で配置されている。
各ビットプレーンには、各サブバンドにおける量子化イ
ンデックスの当該ビットプレーンを符号化した結果が順
次サブバンド単位で配置されている。図において、Ｓ
は、最大の量子化インデックスを表現するために必要な
ビット数である。このようにして生成された符号列は、
メモリ３に出力されて記憶される。

【００４２】図９（ａ）は、上述した方法によりタイル
毎に生成されたビットストリームのメモリ３内での配置
を説明する図である。

【００４３】図に示すように、各タイルのビットストリ
ームはタイル０（Ｔ０）から順に、メモリ３の下位アド
レスから上位アドレスに向かう順に配置されている。こ
こで、各タイルのビットストリーム長（Ｌｉ：ｉ＝０〜
１５）は前述したように、タイルの画像の種別により圧
縮率が異なるためタイルにより異なる。同図において、
タイル０（Ｔ０）からタイル１５（Ｔ１５）までのビッ
トストリームがメモリ３に全て収まっているが、入力さ
れた画像の広範囲に亙って可逆符号化が行われた場合
は、ビットストリーム長の合計がメモリ３の容量を越え
る可能性がある。なお、図において、終端アドレスＴＡ
ｉ（ｉ＝０〜１５）は、各タイルのビットストリームを
記憶したメモリ３の最終アドレスを示している。以下
に、このような場合における本実施の形態１に係る画像
処理装置の動作について説明する。

【００４４】符号量予測部６は、画像符号化部２からの
符号を入力して、各タイル単位にカウントする。またこ
の符号量予測部６には、直前のタイルにおける符号量及
びそれまでに符号化処理されたタイルの符号量の累積値
が記憶されている。符号量予測部６は、この累積値及び
直前のタイルの符号量から、現在処理中のタイルの符号
量を予測し、その現在処理中のタイルの符号をメモリ３
にオーバーフローせずに記憶できるかどうかを判断す
る。

【００４５】この予測の方法は、現在のタイルの符号量
が直前のタイルの符号量と等しいと仮定して判断しても
よいし、また或は、累積符号量の変化から外挿によって
求めてもよい。

【００４６】図８は、メモリ３においてオーバーフロー
が発生する場合の符号量と処理タイルとの関係を示した
図である。

【００４７】同図に示した例においては、メモリ３の全
メモリ容量に対して、タイル１５（Ｔ１５）の符号化に
より累積符号量がオーバーフローしている。ここで符号
量予測部６は、予測により求めたオーバーフロー量Ｏv
及び直前のタイルの符号量をアドレス制御部７に出力す
る。また、オーバーフローが発生しない場合は、このオ
ーバーフロー量Ｏvの値は“０”となる。

【００４８】アドレス制御部７は、画像符号化部２が出
力するコードストリームをメモリ３に書き込む際のアド
レスを制御する。全てのタイルのコードストリームがメ
モリ３に記憶できる場合は、図９（ａ）の各タイル内の
矢印に示すように、メモリ３の下位アドレスから上位ア
ドレスに向かってコードストリームを順に記憶するよう
に書き込みアドレスが生成される。しかし、符号量予測
部６から入力したオーバーフロー量Ｏvが“０”でない
場合は、同図（ｂ）に示したようにオーバーフローする
分９０を分割し、既にメモリ３に記憶されている各タイ
ルのコードストリームの最後尾から逆方向にバイト単位
でオーバーライトするように、書き込みアドレスが生成
される。

【００４９】以下に、このような書込みアドレスを生成
するアドレス制御部７の動作を詳述する。

【００５０】図１０（ａ）（ｂ）は、本実施の形態１に
係るアドレス制御部７の動作について説明する図であ
る。

【００５１】ここでアドレス制御部７は、メモリ３に記
憶されている各タイルのコードストリームが保持されて
いる位置、及びアドレス制御に必要な情報を保持してい
る。同図（ａ）は、この情報を表したものであり、各タ
イルのコードストリーム長（符号長）、終端アドレス
（ＴＡｉ）がコードストリームのメモリ３内における位
置を表す。フラグメント数は、当該タイルのコードスト
リームがメモリ３内に分散して配置されているかどうか
を表しており、この値が“０”の場合は、コードストリ
ームはメモリ３の連続したメモリ領域に記憶されている
ことを表している。従って、図９（ａ）のように、全て
のタイルのコードストリームがメモリ３に記憶されてい
る状態では、図１０（ａ）に示すようにフラグメント数
は全て“０”となる。

【００５２】一方、そのタイル（図９の例ではタイルＴ
１５）のコードストリームがメモリ３に連続して配置で
きない場合は、図９（ｂ）に示すようにコードストリー
ムは、複数のフラグメントに分割されて配置され、その
フラグメント数は“１”以上の値を取る。オーバーライ
ト量は、コードストリームが分散されて配置された場合
の各フラグメントの大きさを示し、エントリは各フラグ
メントの開始アドレスを保持する、アドレス制御部７内
のリストへのアドレスである。

【００５３】図９（ａ）のように、入力された画像の全
てのタイルのコードストリームがメモリ３に記憶できる
場合、フラグメント数、オーバーライト量は全て“０”
であり、エントリは無効値が設定される。しかし、図９
（ｂ）のように、その画像のタイルがメモリ３に収まら
ない場合は、当該タイルのコードストリームは分割さ
れ、それまでに符号化されメモリ３に配置されたコード
ストリームに、以下に説明するようにオーバーライトさ
れる。

【００５４】以下、詳しく説明する。アドレス制御部７
は先行して符号化されたタイルの数からフラグメント数
を求める。この例においては、最後のタイル（Ｔ１５）
のコードストリームがオーバーフローしているため、先
行する１５個のタイルを上書きの対象とする。このた
め、フラグメント数は“１５”となる。またアドレス制
御部７は、符号量予測部６から入力したオーバーフロー
量Ｏvからオーバーライト量を計算する。本実施の形態
１においては、このオーバーライト量（ＦＬ１５）は、
（式７）に示すように、画像を分割したタイルのそれぞ
れに等しくオーバーライトされるように計算される。こ
こでは画像は１６個のタイルに分割されており、オーバ
ーフローしたタイルＴ１５も含めたオーバーライト量が
各タイル均一とするために、 ＦＬ１５＝Ｏｖ／１６ （式７） となる。但し、タイルＴ１５に対してはオーバーライト
は行われず、結果としてタイルＴ１５はオーバーフロー
した分の符号化データの最後尾からＦＬ１５分が切り詰
められる結果となり、実質的に他のタイルと同様に符号
化データが無効化されることとなる。

【００５５】次にアドレス制御部７は、これら分割され
たタイルのコードストリームを、タイル０（Ｔ０）〜１
４（Ｔ１４）のそれぞれにオーバーライトする際の書き
こみアドレスを、各タイルの終端アドレス（ＴＡｉ）を
基にして計算する。即ち、本実施の形態１においては、
分割されるタイルは１つ（Ｔ１５）であるため、各タイ
ルの書きこみアドレスは、書きこみ対象となるタイルの
終端アドレスと等しい。この各タイルに対する書きこみ
のアドレスをＡ１５＿ｎ（但し、ｎ＝０〜１４）とする
と、各アドレスのメモリにおける位置関係は図１０
（ｂ）に示すようになる。これらのアドレスは、アドレ
ス制御部７の不図示のメモリに記憶される。一方、オー
バーライトが行われたタイルの符号長及び終端アドレス
は、オーバーライト量ＦＬ１５を差し引いた値に補正さ
れる。但し、分割されたタイルＴ１５に関しては、その
符号長は、Ｌ１５、フラグメント数およびオーバーライ
ト量ＦＬ１５から計算されることとなる。

【００５６】なお、これらの動作は本実施の形態１にお
いては、タイル１５（Ｔ１５）の符号化と同時に開始さ
れる。アドレス制御部７は、画像符号化部２により生成
されるタイル１５（Ｔ１５）のコードストリームがメモ
リ３に全て格納できる間は、それがメモリ３の下位アド
レスから上位アドレスに向かって書きこまれるよう、メ
モリ３に対する書きこみアドレスを生成する。そして、
タイル１５のコードストリームの書込みがオーバーフロ
ーする直前に、メモリ３のアドレス方法を変更し、タイ
ル１５（Ｔ１５）のコードストリームが、先行して符号
化されて記憶されたタイル０〜１４のコードストリーム
にオーバーライトされるようにアドレス生成を行う。

【００５７】即ち、図１０（ｂ）に示すように、まずタ
イル０（Ｔ０）のコードストリームに対するオーバーラ
イトは、Ａ１５＿０を開始点として、オーバーライト量
がＦＬ１５になるまで、メモリ３の上位アドレスから下
位アドレスに向かうようにバイト単位で行われる。以下
同様に、タイル１から１４までについてもオーバーライ
トが行われる。このようにして、タイル１４（Ｔ１４）
に対する，Ａ１５＿１４からＦＬ１５分のオーバーライ
トが終了した時点で、画像符号化部２に対して制御信号
を送出してタイル１５の符号化が終了する。

【００５８】このようにして、画像を符号化したコード
ストリームをメモリ３に記憶していくことにより、メモ
リ３におけるコードストリームのオーバーフローを回避
し、かつ、復号された画像の最終タイルの画質だけが著
しく劣化することを防止している。

【００５９】次に、メモリ３に記憶されたコードストリ
ームを復号して画像を表示する際の動作について詳しく
説明する。

【００６０】符号化された画像を復号して出力の際の基
本的な流れとして、メモリ３に記憶された各タイルのコ
ードストリームが順に読み出され、画像復号部４により
復号されて画像が再構成されて画像出力部５により出力
される。

【００６１】ここでは、まずメモリ３からコードストリ
ームを読み出す際、コードストリームが図９（ａ）に示
すように、分割されずにメモリ３に記憶されている場合
は、メモリ３の先頭から順にコードストリームが読み出
されるように、メモリ３の読み出しのアドレスがアドレ
ス制御部７により生成される。一方、先に説明したよう
にタイルの一部が分割されて記憶されている場合は、以
下のようにしてアドレスが生成される。

【００６２】まずメモリ３内のコードストリームが、図
１０（ｂ）のように配置されているとする。即ち、タイ
ル１５のコードストリームが分割されており、その他の
コードストリームは、メモリ３の先頭から順に記憶され
ているものとする。アドレス制御部７は、各タイルの符
号長Ｌｉ及び終端アドレスＴＡｉ（ｉ＝０〜１４）を基
に、タイル０（Ｔ０）から１４（Ｔ１４）までの読み出
しアドレスを生成する。この際、各タイルのフラグメン
ト数は“０”であるので、読み出しの方向はメモリ３の
下位から上位に向かう方向である。一方、タイル１５
（Ｔ１５）に対しては、フラグメント数が“０”ではな
いため、以下のようにアドレス生成が行われる。

【００６３】まずアドレス制御部７は、読み出した先行
タイルの累積符号量（Ｌ０＋Ｌ１＋…Ｌ１４）をカウン
トし、それがメモリ３のメモリ容量未満の場合は、引き
続きメモリ３の上位アドレス方向に向かって読み出しア
ドレスを生成する。そして読み出しがメモリ３の最終ア
ドレスに達したところで、アドレス方法を以下のように
変更する。即ち、タイル１５のエントリＳＯＦ１５を参
照して、分割されたコードストリームの、各タイルへの
オーバーライト開始点（Ａ１５＿０〜Ａ１５＿１４）を
読み出し、そのタイル１５のオーバーライト量ＦＬ１５
に基づいて、各オーバーライトの開始点から逆向き（上
位アドレスから下位アドレスに向かって）に読み出しア
ドレスを生成する。これをコードストリームが分割され
た分（図９の９０に相当）だけ処理を行なうことで、分
割されたタイル（ここではＴ１５）のコードストリーム
を画像復号部４に出力することができる。

【００６４】図１２は、本実施の形態に係る画像復号部
４の構成を表すブロック図であり、４０１はエントロピ
復号部、４０２は逆量子化部、４０３は逆離散ウェーブ
レット変換部である。

【００６５】エントロピ復号部４０１は、入力される符
号化されたビットストリームをビットプレーン単位で復
号化して出力する。このときの復号化手順を図１３を参
照して説明する。

【００６６】図１３は、復号対象となるサブバンドの一
領域をビットプレーン単位で順次復号し、最終的に量子
化インデックスを復元する流れを図示したものであり、
同図左側の下向きの矢印の順にビットプレーンが復号さ
れる。こうして復元された量子化インデックスは逆量子
化部４０２に出力される。

【００６７】逆量子化部８は、エントロピー復号部４０
１から入力した量子化インデックスから、次式に基づい
て離散ウェーブレット変換係数を復元する。

【００６８】 ｃ'=Δ×ｑ；ｑ≠０ （式８） ｃ'=０ ；ｑ＝０ （式９） ここで、ｑは量子化インデックス、Δは量子化ステップ
を示し、Δは符号化時に用いられたものと同じ値であ
る。またｃ'は復元された変換係数を示し、符号化時で
は、ｓ又はｄで表される係数を復元したものである。こ
の変換係数ｃ'は後続の逆離散ウェーブレット変換部４
０３に出力される。

【００６９】図１４は、この逆離散ウェーブレット変換
部４０３の構成及び処理のブロック図を示したものであ
る。

【００７０】同図（ａ）において、入力された変換係数
はメモリ４０３１に記憶される。処理部４０３２は１次
元の逆離散ウェーブレット変換を行い、メモリ４０３１
から順次変換係数を読み出して処理を行うことにより、
２次元の逆離散ウェーブレット変換を実行する。２次元
の逆離散ウェーブレット変換は、図３の離散ウェーブレ
ット変換部２０１における順変換と逆の手順により実行
されるが、その詳細は公知であるので説明を省略する。
また同図（ｂ）は、処理部４０３２の構成を示す図であ
り、ここでは入力された変換係数は、ｕ及びｐの２つの
フィルタ処理が施され、アップサンプリングされた後に
重ね合わされて画像信号ｘ'として出力される。これら
の処理は次式により行われる。

【００７１】 x'(2*n)=s'(n)-floor((d'(n-1)+d'(n))/4) （式１０） x'(2*n+1)=d'(n)+floor((x'(2*n)+x'(2*n+2))/2) （式１１） ここで、（式１）、（式２）、及び（式１０）、（式１
１）による順方向及び逆方向の離散ウェーブレット変換
は完全再構成条件を満たしているため、本実施の形態に
おいて量子化ステップΔが“１”であり、ビットプレー
ン復号化において全てのビットプレーンが復号されてい
れば、その復元された画像信号ｘ'は原画像の信号ｘと
一致する可逆符号化となる。

【００７２】なお、本実施の形態においては、各コード
ストリームは、タイル１５（Ｔ１５）のオーバーライト
により符号化の時点とは異なる長さとなっている。具体
的には、ＦＬ１５に相当する分だけ切り詰められている
が、アドレス制御部７は画像復号部４に対してコードス
トリームの終端を通知する。こうして画像復号部４はコ
ードストリームの終端を検出すると、直ちに復号処理を
終了して、その時点で復号された画像データを画像出力
部５に対して出力する。

【００７３】ここでは図７に示したように、コードスト
リームは画像を離散ウェーブレット変換した係数を上位
ビットプレーンから並べた構成となっているため、途中
で復号処理を打ち切った場合は下位のビットプレーンが
復号されない状態となるが、その復号されない部分につ
いては復号されたビットプレーンから計算される係数値
の範囲の１／２に相当する値を用いればよい。

【００７４】以上の処理により、画像復号部４により画
像が復元されて画像出力部５に出力される。なお、ここ
で、画像出力部５はモニタ等の画像表示装置であっても
よいし、或は磁気ディスク等の記憶装置であってもよ
い。

【００７５】以上の説明においては画像を符号化して記
憶する際、オーバーフローするタイルは最終のタイルの
みであったが、複数のタイルがオーバーフローする可能
性もある。以下にこの場合の処理について補足説明す
る。

【００７６】図１１は、タイル１４（Ｔ１４）及び１５
（Ｔ１５）の２つのタイルのコードストリームがオーバ
ーフローする場合のアドレス制御部７の動作について説
明する図である。同図において、タイル１４に対する分
割及び、そのタイル１４に先行しているタイル（Ｔ０〜
Ｔ１３）のそれぞれへのオーバーライトは、タイルＴ１
５を例に前述したのと同様にして行われるので、その説
明を省略する。

【００７７】次にタイル１５（Ｔ１５）のコードストリ
ームをメモリ３に書込む場合には、既にメモリ３に空き
がないため、タイル１５（Ｔ１５）のコードストリーム
を１５個のフラグメントに分割し、タイル０（Ｔ０）か
ら１４（Ｔ１４）までのコードストリームに対して前述
の例と同じようにオーバーライトを行う。この時のオー
バーライト量ＦＬ１５は、 ＦＬ１５＝（Ｏｖ − ＦＬ１４）／１６ …（式１２） となる。

【００７８】従って図１１に示すように、メモリ３の最
後部にはタイル１４（Ｔ１４）のコードストリームの一
部が位置し、他の領域は複数のフラグメントに分割され
てタイル０〜Ｔ１３に分配されて記憶されている。更
に、タイル１５（Ｔ１５）のコードストリーム（ＦＬ１
５）が１５個のフラグメントに分割され、それぞれタイ
ル１４の各分割されたコードストリーム（ＦＬ１４）に
隣接した形で、各タイル（タイル０からタイル１３）の
最後部にアドレスＡ１５＿ｉ（ｉ＝０〜１３）から下位
アドレス方向にオーバーライトされることになる。ただ
し、タイル１４に関しては、ＦＬ１５のみがオーバーラ
イトされている。

【００７９】これに伴ない、図１１に示したように、タ
イル１４（Ｔ１４）及び１５（Ｔ１５）の各エントリに
は、各々分割されたコードストリームのオーバーライト
開始点リストのアドレス（ＳＯＦ１４，ＳＯＦ１５）が
保持され、またオーバーライトされる各タイル（Ｔ０〜
Ｔ１３）の符号長は、オーバーフローする２つのタイル
（Ｔ１４，Ｔ１５）のオーバーライト量（ＦＬ１４及び
ＦＬ１５）だけ減じられた値となる。さらにタイルが存
在する場合は、同じように当該タイルのコードストリー
ムを分割して分散配置するが、その際のオーバーライト
量は既に分割されたタイルのオーバーライト量を考慮し
て計算される。すなわち、（式１２）において当該タイ
ルの符号量から先行しているオーバーライト量の和を差
し引いた値を均等に分割して分散配置すればよい。

【００８０】図１５は、本実施の形態１に係る符号化処
理とメモリ３へのコード記憶処理を説明するフローチャ
ートである。

【００８１】まずステップＳ１で、入力した画像を複数
のタイルに分割し、各タイルの画像データを入力する。
次にステップＳ２に進み、各タイルの画像データを順次
符号化する。ステップＳ３では、この符号化された最初
のタイルのコードストリームを入力し、このタイルのコ
ードストリームを全てメモリ３に格納できるかどうかを
判断する。格納できる時はステップＳ４に進み、その符
号化されているコードストリームをメモリ３に格納し、
その符号長、メモリ３における終端アドレスをセットす
る。

【００８２】一方、ステップＳ３で、そのタイルのコー
ドストリームを全てメモリ３に格納できないと予想され
る時はステップＳ５に進み、そのコードストリームの内
の、メモリ３に収容しきれずにオーバーフローする分を
タイル数により分割し、ステップＳ６で、その分割した
各コードストリームを、各タイルのコードストリームエ
リアに、アドレスの上位から下位方向に書込む（図１０
（ｂ）参照）。そしてステップＳ７に進み、そのメモリ
３へのコードの書込みに対応させて、各タイルの符号
長、終端アドレスを更新する。そしてステップＳ８に進
み、タイルの数を計数するカウンタｉを＋１し、ステッ
プＳ９で、そのカウンタｉの値が“１６”（図２の例）
になったかどうかを調べ、そうでない時はステップＳ３
に進み、前述の処理を実行する。

【００８３】以上説明したように本実施の形態１によれ
ば、画像を複数のタイルに分割して独立に符号化を行っ
てメモリに記憶する際、オーバーフローするコードスト
リームを均等に分割し、既に符号化されて記憶されてい
るタイルのコードストリームに対して、各コードストリ
ームの終端アドレスから逆方向にオーバーライトを行
う。これにより限られた容量のメモリに対する符号の書
きこみを、一部のタイルの画質のみを劣化させることな
く行うことができる。

【００８４】［実施の形態２］前述の実施の形態１にお
いては、メモリ３がオーバーフローしそうになった際、
そのオーバーフロー分を均等に分割し、既にメモリ３に
書きこまれたタイルのコードストリームに対してオーバ
ーライトを行った。しかし、画像内に存在するいくつか
の部分については画質を劣化させたくない場合もある。
例えば、前述の実施の形態１において、各タイルは自然
画、合成画像、２値画像の３種類に分類され、各々に対
して異なる圧縮率を設定した。ここで、特定の種類、例
えば２値画像に対しては画質劣化を生じさせないように
することが求められる場合もある。

【００８５】次に本実施の形態２においては、このよう
に画像の種類に応じ、適応的に定容量のメモリに対する
コードストリームの書き込みを行う方法について説明す
る。また本実施の形態２における画像処理装置の構成及
び各部分の機能は、前述の実施の形態１におけるものと
基本的に同様であるので、これ以降は実施の形態１と異
なる部分についての説明を行う。

【００８６】本実施の形態２においては、画像中の２値
画像に対しては可逆符号化が行われており、２値画像に
相当するタイルに対しては、復号画像の可逆性を保証す
る必要があるとする。画像入力部１から入力された画像
は像域判定部８において、画像の種類が判定され圧縮モ
ード指定部９において当該タイルの圧縮率が指定され
る。本実施の形態２において、この結果は、画像符号化
部２及びアドレス制御部７に対して出力される。

【００８７】画像符号化部２及び符号量予測部６の動作
については前述の実施の形態１と同様である。一方、ア
ドレス制御部７においては、前述の実施の形態１と異な
り、各タイルの種類により当該タイルに対してオーバー
ライトを行うかどうかのフラグを保持している。

【００８８】図１６は、この時のアドレス制御部７の動
作を説明する図である。

【００８９】同図において、アドレス制御部７は各タイ
ルに対して書き込みを行えるかどうかの書込み許可フラ
グをタイル毎に保持している。この例はタイル１５（Ｔ
１５）がオーバーフローを発生した場合であり、アドレ
ス制御部７はタイル１５のコードストリームを分割する
際、各タイルの書きこみ許可フラグを参照して、その値
が“１”のタイルのみをオーバーライトの対象とする。
例えば本実施の形態２において、タイル１（Ｔ１）が２
値画像に相当している場合、このタイルの書きこみ許可
フラグの値は“０”（書込み不許可）であり、オーバー
ライトの対象とならない。従って、タイル１５のコード
ストリームを分割するフラグメント数は既にメモリ３に
記憶されているタイルのうち、書きこみ許可フラグの値
が“１”（書込み許可）のタイルの数と等しくなり、こ
の例においては例えば“１０”となっている。

【００９０】このフラグメント数とオーバーフロー量Ｏ
vとからオーバーライト量ＦＬ１５が計算される。ま
た、図１６のエントリ部分には、書きこみ許可フラグが
“１”のタイルに対するオーバーライト開始アドレスの
リスト１６００が保持される。それ以外の動作について
は、前述の実施の形態１と基本的に同じである。

【００９１】これには、例えば前述の図１５のフローチ
ャートにおいて、ステップＳ５で、分割する数を、既に
メモリ３にコードストリームが記憶されているタイルの
内、書込みが許可されているタイル数とし、ステップＳ
６では、それら書込みが許可されているタイルのコード
ストリームが記憶されているエリアに、分割されたコー
ドストリームのそれぞれを格納することにより実現でき
る。

【００９２】一方、画像を復号する際は、前述の実施の
形態１と同様の処理により、メモリ３からコードストリ
ームを読み出して復号することができる。

【００９３】以上説明したように本実施の形態２によれ
ば、オーバーフローが発生しても、特定のタイルに対し
てはオーバーライトを行わないため、符号化時点と比較
して、そのタイルにおける画質の劣化は発生しない。特
に、当該タイルが可逆符号化されていた場合は、そのタ
イルに属する画像は符号化前のものと完全に一致し、画
像内の重要な部分での画質劣化を防止することができ
る。

【００９４】［実施の形態３］以上説明した実施の形態
１及び２においては、各タイル毎に画像の種別が判定さ
れていた。しかし、タイル内に自然画と合成画像、或は
２値画像が混在する可能性もある。このような場合、実
施の形態２で行ったように、タイル単位でオーバーライ
トを行うかどうかを決定すると、タイル内で本来可逆で
なければならない部分の画質が劣化する可能性がある。
そこで本実施の形態３では、このようにタイル内に異な
る画像の種類が混在していても、画質劣化を起こさない
方法について説明する。

【００９５】像域判定部８は符号化対象となるタイル内
で、周囲部分と比較して高画質で復号化されるべき領域
（以降ＲＯＩと称する）を決定し、対象タイルを離散ウ
ェーブレット変換した際に、どの係数が指定領域に属し
ているかを示すマスク情報を生成する。

【００９６】図１７は、このマスク情報を生成する際の
一例を説明する図である。

【００９７】図１７の左側に示す様に、所定の方法によ
り画像内に星型のマスク領域が指定された場合、像域判
定部８はこのＲＯＩを含む画像を離散ウェーブレット変
換した際、この指定されたマスク領域が各サブバンドに
占める部分を計算する。また、このマスク領域は、ＲＯ
Ｉ境界上の画像信号を復元する際に必要な、周囲の変換
係数を含む範囲となっている。

【００９８】このようにして計算されたマスク情報の例
を図１７の右側に示す。この例においては、同図左側の
画像に対し、２レベルの離散ウェーブレット変換を施し
た際のマスク情報が図のように表される。図において、
星型の部分がＲＯＩであり、このＲＯＩ領域内のマスク
情報のビットが“１”、それ以外のマスク情報のビット
は“０”となっている。これらマスク情報全体は、２次
元離散ウェーブレット変換による変換係数の構成と同じ
であるため、マスク情報のビットを検査することによ
り、対応する位置の係数がＲＯＩに属しているかどうか
を識別することができる。このようにして生成されたマ
スク情報は、圧縮モード指定部９を介して画像符号化部
２及び画像復号部４に出力される。

【００９９】圧縮モード指定部９は、ＲＯＩに対する画
質を指定するパラメータを不図示の入力系（例えばユー
ザにより操作されるキーボードやポインティングデバイ
ス等）から入力する。この入力されたパラメータはＲＯ
Ｉに割り当てる圧縮率を表現する数値、或は画質を表す
数値でもよい。圧縮モード指定部９は、このパラメータ
から、ＲＯＩにおける係数に対するビットシフト量Ｂを
計算し、マスク情報と共に画像符号化部２及び画像復号
部４に出力する。

【０１００】次に離散ウェーブレット変換部２０１は、
前述の実施の形態１と同様に、入力した画像信号に対し
て離散ウェーブレット変換を行って、その係数を出力す
る。次に量子化部２０２（図３）において、以下に説明
するように圧縮モード指定部９からの入力に基づき処理
が行われる。

【０１０１】量子化部２０２は、（式３）から（式５）
に示したように、入力した係数を所定の量子化ステップ
により量子化し、その量子化値に対するインデックスを
出力する。更に量子化部２０２は、圧縮モード指定部９
から入力したマスク及びシフト量Ｂに基づき、次式によ
り量子化インデックスを変更する。

【０１０２】 ｑ'＝ｑ＊２^B；ｍ＝１ …（式１３） ｑ'＝ｑ ；ｍ＝０ …（式１４） ここで、ｍは当該量子化インデックスの位置におけるマ
スクの値である。以上の処理により、像域判定部８にお
いて指定されたＲＯＩに属する量子化インデックスのみ
がＢビット上方にシフトアップされる。

【０１０３】図１８（ａ）及び（ｂ）は、このシフトア
ップによる量子化インデックスの変化を説明する図であ
る。

【０１０４】図１８（ａ）において、３つのサブバンド
に各々３個の量子化インデックスが存在しており、網が
けされた量子化インデックスにおけるマスクの値が
“１”で、そのシフト数Ｂが“２”の場合、シフト後の
量子化インデックスは、図１８（ｂ）のようになる。こ
のように変更された量子化インデックスは、後続のエン
トロピ符号化部２０３に出力されて符号化が行われる。
本実施の形態３において、符号化の結果出力されるコー
ドストリームの構成は、基本的に図７と変わらない。し
かし、図１８に示したように量子化インデックスを所定
量ビットシフトしてビットプレーン符号化を行うことに
より、ＲＯＩに属する係数の符号化データをコードスト
リームの前の方に置くことができる。

【０１０５】このように生成されたコードストリームに
対して、前述の実施の形態１或は２で説明した方法によ
りコードストリームのオーバーライトを行ったとして
も、ＲＯＩの符号化データがオーバーライトされる可能
性は著しく低くなるため、ＲＯＩ部分の画質を保つこと
が可能となる。また更に、ＲＯＩの画質を保証するに
は、アドレス制御部７においてオーバーライトするビッ
トプレーンが、ＲＯＩ部分のビットプレーンに及ばない
ように制限してもよい。

【０１０６】次に本実施の形態３において、メモリ３に
記憶されたコードストリームを復号する方法について説
明するが、基本的に画像復号部４の逆量子化部４０２を
除けば前述の処理と同様であるため、逆量子化部４０２
の動作についてのみ説明する。

【０１０７】逆量子化部４０２は、入力した量子化イン
デックスから、次式に基づいて離散ウェーブレット変換
係数を復元する。

【０１０８】 ｃ'＝Δ×ｑ／２^U；ｑ≠０ …（式１５） ｃ'＝０ ；ｑ＝０ …（式１６） Ｕ＝Ｂ；ｍ＝１ …（式１７） Ｕ＝０；ｍ＝０ …（式１８） ここで、ｑは量子化インデックス、Δは量子化ステップ
であり、Δは符号化時に用いられたものと同じ値であ
る。また、Ｂは圧縮モード指定部９から入力されたビッ
トシフト数、ｍは当該量子化インデックスの位置におけ
るマスクの値である。ｃ'は復元された変換係数であ
り、符号化時ではｓ又はｄで表される係数を復元したも
のである。変換係数ｃ'は後続の逆離散ウェーブレット
変換部４０３に出力される。

【０１０９】以上説明したように、ＲＯＩに属する係数
は、ビットシフトすることによりメモリ３におけるオー
バーライトが行われることがない。従って、タイル内に
異なる種類の画像が混在していても、復号時に必要な部
分の画質を保った状態で画像を構成することができる。

【０１１０】＜その他の実施の形態＞本発明は上記実施
の形態を実現するための装置及び方法のみに限定される
ものではなく、上記システム又は装置内のコンピュータ
（CPU或はMPU）に、上記実施の形態を実現するためのソ
フトウエアのプログラムコードを供給し、このプログラ
ムコードに従って上記システム或は装置のコンピュータ
が上記各種デバイスを動作させることにより上記実施の
形態を実現する場合も本発明の範疇に含まれる。

【０１１１】またこの場合、前記ソフトウエアのプログ
ラムコード自体が上記実施の形態の機能を実現すること
になり、そのプログラムコード自体、及びそのプログラ
ムコードをコンピュータに供給するための手段、具体的
には上記プログラムコードを格納した記憶媒体は本発明
の範疇に含まれる。

【０１１２】この様なプログラムコードを格納する記憶
媒体としては、例えばフロッピー（登録商標）ディス
ク、ハードディスク、光ディスク、光磁気ディスク、Ｃ
Ｄ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、Ｒ
ＯＭ等を用いることができる。

【０１１３】また、上記コンピュータが、供給されたプ
ログラムコードのみに従って各種デバイスを制御するこ
とにより、上記実施の形態の機能が実現される場合だけ
ではなく、上記プログラムコードがコンピュータ上で稼
働しているＯＳ（オペレーティングシステム）、或は他
のアプリケーションソフト等と共同して上記実施の形態
が実現される場合にもかかるプログラムコードは本発明
の範疇に含まれる。

【０１１４】更に、この供給されたプログラムコード
が、コンピュータの機能拡張ボードやコンピュータに接
続された機能拡張ユニットに備わるメモリに格納された
後、そのプログラムコードの指示に基づいてその機能拡
張ボードや機能格納ユニットに備わるCPU等が実際の処
理の一部又は全部を行い、その処理によって上記実施の
形態が実現される場合も本発明の範疇に含まれる。

【０１１５】以上述べたように本実施の形態によれば、
画像をタイルに分割して独立にビットプレーン符号化を
行ってメモリに記憶する際、メモリからオーバーフロー
するコードストリームを分割し、既に符号化済みのタイ
ルのコードストリームに対して、コードストリームの終
端から逆方向にオーバーライトを行う。これにより限ら
れた容量のメモリに対する符号の書きこみを、一部のタ
イルの画質のみを劣化させることなく行うことができ
る。

【０１１６】更に、オーバーライトの対象を適切に選択
し、或は画質劣化の許容できない部分の画像信号を表わ
す係数をコードストリームの前の方に配置することで、
画像内の必要な部分について画質を一定に保つことがで
きる。

【０１１７】なお、上述までの説明は１画面をタイル分
割し、タイル毎に符号化する場合を例に挙げて説明した
が、本発明の概念はこれ以外にも適用可能である。上述
したタイルの概念は、メモリへの記憶、或いはビットプ
レーン符号化の１単位として明示したものであるが、本
発明では１画面を複数に分割したものがタイルであると
必ずしも考えなくても良い。例えば、１画面の画像を上
述したタイルであるとして考えて、複数の画面を符号
化、メモリ記憶してゆく場合には、各画面の符号化、メ
モリ記憶時に上述した種々の制御を行えば、複数画面の
画像を所定量のメモリ内に確実に納めることが可能であ
る。

【０１１８】

【発明の効果】以上説明したように本発明によれば、複
数のタイルに分割された画像をタイル毎に符号化して所
定容量のメモリに記憶する際、或いは複数の画像を別に
符号化して所定容量のメモリに記憶する際、そのメモリ
の容量を越えた分の符号を、その越えた分のタイル／画
像の画質を劣化させることなく、そのメモリに記憶する
ことができる。

【０１１９】また本発明によれば、複数のタイルに分割
された画像をタイル毎に符号化して所定容量のメモリに
記憶する際、或いは複数の画像を別に符号化して所定容
量のメモリに記憶する際、特定のタイル／画像の画質を
劣化させることなく、そのメモリに記憶することができ
る。

【０１２０】又本発明によれば、複数のタイルに分割さ
れた画像をタイル毎に符号化して所定容量のメモリに記
憶する際、或いは複数の画像を別に符号化して所定容量
のメモリに記憶する際、そのメモリの所定容量を越えた
分の符号を、各タイル／画像の符号に均等に分割して配
分して記憶することにより、画像全体の劣化を抑えて、
符号化された画像データを記憶することができるという
効果がある。

【図面の簡単な説明】

【図１】本発明の実施の形態１に係る画像処理装置の基
本構成を示すブロック図である。

【図２】画像のタイリング例を説明する図である。

【図３】本実施の形態に係る画像符号化部の構成を示す
ブロック図である。

【図４】本実施の形態に係る離散ウェーブレット変換部
の構成を示すブロック図である。

【図５】離散ウェーブレット変換されたサブバンドを説
明する図である。

【図６】ビットプレーン符号化を説明する図である。

【図７】符号化されたコードストリームの構成を説明す
る図である。

【図８】タイル毎の符号量予測を説明する図である。

【図９】各タイルのコードストリームをメモリに記録す
る例を説明する図である。

【図１０】本実施の形態１に係るアドレス制御部におけ
る各タイルのコードストリームの記憶方法を説明する図
である。

【図１１】本実施の形態１に係るアドレス制御部におけ
る各タイルのコードストリームの記憶方法の他の例を説
明する図である。

【図１２】本実施の形態に係る画像復号部の構成を示す
ブロック図である。

【図１３】ビットプレーン復号を説明する図である。

【図１４】逆離散ウェーブレット変換部の構成を示すブ
ロック図である。

【図１５】本発明の実施の形態１に係る符号化処理及び
メモリへの格納処理を示すフローチャートである。

【図１６】本発明の実施の形態２に係るアドレス制御部
の動作を説明する図である。

【図１７】本発明の実施の形態３に係るＲＯＩの一例を
説明する図である。

【図１８】ＲＯＩによるビットシフトを説明図である。

【図１９】従来例の画像処理装置の構成を示すブロック
図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 岸 裕樹 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 Ｆターム(参考） 5C053 FA27 GB22 HA33 KA04 5C059 KK08 MA24 MA35 MC11 ME01 PP01 SS20 TA57 TB08 TC19 TD12 UA02 UA05 UA36 UA38 UA39 5C078 AA04 BA53 CA01 CA22 CA27 DA01 DA02 DA07 DB19 5J064 AA01 BA15 BA16 BB03 BC01 BC02 BC14 BD01 BD03

Claims (29)

【特許請求の範囲】
1. 【請求項１】 入力した画像を複数のタイルに分割して
   処理する画像処理装置であって、 前記複数のタイルのそれぞれのタイル単位でビットプレ
   ーン毎に符号化処理を行なう符号化手段と、 前記符号化手段により符号化される符号列を前記タイル
   単位で記憶する記憶手段と、 前記符号化手段により符号化された符号列を前記記憶手
   段に順次記憶する際、前記符号化手段により符号化され
   たタイルの符号を全て前記記憶手段に記憶可能か否かを
   判定する判定手段と、 前記判定手段により記憶不可能と判定されると、前記記
   憶手段の記憶可能量を越えた符号量を略等分して、既に
   記憶済みのタイルの符号領域に配分して、かつ該符号領
   域の各々における最適な記憶開始位置を特定し、該記憶
   開始位置から逆順序に記憶するように制御する制御手段
   と、を有することを特徴とする画像処理装置。
2. 【請求項２】 前記制御手段は、 前記符号化手段により符号化される符号列を前記記憶手
   段に記憶するための順方向アドレスを生成する第１アド
   レス生成手段と、 前記記憶手段の記憶可能量を越えた符号量を略等分し
   て、既に記憶済みのタイルの符号領域に配分して記憶す
   るための逆方向アドレスを生成するための第２アドレス
   生成手段とを有し、前記略等分された符号量を前記記憶
   開始位置から前記逆方向アドレスに基づいてから上書き
   することを特徴とする請求項１に記載の画像処理装置。
3. 【請求項３】 前記制御手段は、前記判定手段により記
   憶不可能と判定された時点で前記記憶手段に既に記憶さ
   れている符号に相当するタイル数に応じて、前記記憶可
   能量を越えた符号量を略等分することを特徴とする請求
   項１に記載の画像処理装置。
4. 【請求項４】 前記符号化手段は、 入力した画像信号に所定の系列変換を施す系列変換手段
   と、 前記系列変換手段により得られる変換係数を量子化して
   ビットプレーンに分解する量子化手段と、 前記量子化手段により量子化された前記ビットプレーン
   を上位ビットプレーンから下位ビットプレーンの方向に
   符号化する符号化手段と、 を有することを特徴とする請求項１乃至３のいずれか１
   項に記載の画像処理装置。
5. 【請求項５】 前記系列変換手段は、整数型の係数を出
   力可能な離散ウェーブレット変換を含むことを特徴とす
   る請求項４に記載の画像処理装置。
6. 【請求項６】 前記複数のタイルのそれぞれにおける画
   像の種類を判別する像域判別手段を更に有し、 前記符号化手段は、前記像域判別手段により判別された
   画像の種類に応じて、当該タイルの符号化方法を変更す
   ることを特徴とする請求項１乃至５のいずれか１項に記
   載の画像処理装置。
7. 【請求項７】 前記複数のタイルのそれぞれにおける画
   像の種類を判別する像域判別手段を更に有し、 前記制御手段は、前記判定手段により記憶不可能と判定
   されると、前記記憶手段の記憶可能量を越えた符号量を
   略等分して、既に記憶済みのタイルの符号領域の内、前
   記像域判別手段により判別された特定の画像のタイルの
   符号領域以外に配分して記憶するように制御することを
   特徴とする請求項１乃至６のいずれか１項に記載の画像
   処理装置。
8. 【請求項８】 更に、前記記憶手段に記憶された符号を
   読み出す読出し手段と、 前記読出し手段により読み出された符号を復号する復号
   手段と、を有することを特徴とする請求項１乃至７のい
   ずれか１項に記載の画像処理装置。
9. 【請求項９】 前記符号化手段は、 前記系列変換手段により生成された係数を、前記符号化
   手段により符号化される各タイルの符号量に基づいて所
   定量上位ビット方向にシフトすることを特徴とする請求
   項４に記載の画像処理装置。
10. 【請求項１０】 入力した画像を複数のタイルに分割し
    て処理する画像処理方法であって、 前記複数のタイルのそれぞれのタイル単位でビットプレ
    ーン毎に符号化処理を行なう符号化工程と、 前記符号化工程で符号化される符号列を前記タイル単位
    でメモリに記憶する記憶工程と、 前記符号化工程で符号化された符号列を前記メモリに順
    次記憶する際、前記符号化工程で符号化されたタイルの
    符号を全て前記メモリに記憶可能か否かを判定する判定
    工程と、 前記判定工程で記憶不可能と判定されると、前記メモリ
    の記憶可能量を越えた符号量を略等分して、既に記憶済
    みのタイルの符号領域に配分して、かつ該符号領域の各
    々における最適な記憶開始位置を特定し、該記憶開始位
    置から逆順序に記憶するように制御する制御工程と、を
    有することを特徴とする画像処理方法。
11. 【請求項１１】 前記制御工程は、 前記符号化工程により符号化される符号列を前記メモリ
    に記憶するための順方向アドレスを生成する第１アドレ
    ス生成工程と、 前記メモリの記憶可能量を越えた符号量を略等分して、
    既に記憶済みのタイルの符号領域に配分して記憶するた
    めの逆方向アドレスを生成するための第２アドレス生成
    工程とを有し、前記略等分された符号量を前記記憶開始
    位置から前記逆方向アドレスに基づいて上書きすること
    を特徴とする請求項１０に記載の画像処理方法。
12. 【請求項１２】 前記制御工程では、前記判定工程によ
    り記憶不可能と判定された時点で前記メモリに既に記憶
    されている符号に相当するタイル数に応じて、前記記憶
    可能量を越えた符号量を略等分することを特徴とする請
    求項１０に記載の画像処理方法。
13. 【請求項１３】 前記符号化工程は、 入力した画像信号に所定の系列変換を施す系列変換工程
    と、 前記系列変換工程で得られる変換係数を量子化してビッ
    トプレーンに分解する量子化工程と、 前記量子化工程で量子化された前記ビットプレーンを上
    位ビットプレーンから下位ビットプレーンの方向に符号
    化する符号化工程と、を有することを特徴とする請求項
    １０乃至１２のいずれか１項に記載の画像処理方法。
14. 【請求項１４】 前記系列変換工程は、整数型の係数を
    出力可能な離散ウェーブレット変換を含むことを特徴と
    する請求項１３に記載の画像処理方法。
15. 【請求項１５】 前記複数のタイルのそれぞれにおける
    画像の種類を判別する像域判別工程を更に有し、 前記符号化工程は、前記像域判別工程により判別された
    画像の種類に応じて、当該タイルの符号化方法を変更す
    ることを特徴とする請求項１０乃至１４のいずれか１項
    に記載の画像処理方法。
16. 【請求項１６】 前記複数のタイルのそれぞれにおける
    画像の種類を判別する像域判別工程を更に有し、 前記制御工程では、前記判定工程により記憶不可能と判
    定されると、前記メモリの記憶可能量を越えた符号量を
    略等分して、既に記憶済みのタイルの符号領域の内、前
    記像域判別工程により判別された特定の画像のタイルの
    符号領域以外に配分して記憶するように制御することを
    特徴とする請求項１０乃至１５のいずれか１項に記載の
    画像処理方法。
17. 【請求項１７】 更に、前記メモリに記憶された符号を
    読み出す読出し工程と、 前記読出し工程で読み出された符号を復号する復号工程
    と、を有することを特徴とする請求項１０乃至１６のい
    ずれか１項に記載の画像処理方法。
18. 【請求項１８】 前記符号化工程は、 前記系列変換工程により生成された係数を、前記符号化
    工程により符号化される各タイルの符号量に基づいて所
    定量上位ビット方向にシフトすることを特徴とする請求
    項１３に記載の画像処理方法。
19. 【請求項１９】 請求項１０乃至１８のいずれか１項に
    記載の画像処理方法を実行する制御プログラムを記憶し
    た、コンピュータにより読取り可能な記憶媒体。
20. 【請求項２０】 複数の画像を符号化し、所定のメモリ
    に記憶させる画像処理装置であって、 １画像単位で、入力画像データをウェーブレット変換す
    るウェーブレット変換手段と、 前記ウェーブレット変換手段により得られた変換係数
    を、上位ビットから下位ビットにビットプレーン化し、
    ビットプレーン毎に符号化する符号化手段と、 前記符号化手段により得られた符号化データを１画像単
    位でメモリに記憶する記憶制御手段と、 前記符号化手段により得られた符号化データを前記メモ
    リに順次記憶する際、前記符号化手段により符号化され
    た各画像の符号化データの全てが前記メモリに記憶可能
    か否かを判定する判定手段と、 前記判定手段により記憶不可能と判定されると、前記メ
    モリの記憶可能量を越えた符号化データを均等に分割
    し、該分割で得られた各符号化データを前記各画像の下
    位ビットプレーンの記憶領域の終端アドレスから逆順序
    に上書きして前記メモリに記憶するよう制御する制御手
    段と、を有することを特徴とする画像処理装置。
21. 【請求項２１】 前記複数の画像は、１画面を複数個に
    タイル分割して得られた画像であることを特徴とする請
    求項２０に記載の画像処理装置。
22. 【請求項２２】 前記１画像は、１画面に相当する画像
    であることを特徴とする請求項２０に記載の画像処理装
    置。
23. 【請求項２３】 複数の画像を符号化し、所定のメモリ
    に記憶させる画像処理装置における画像処理方法であっ
    て、 １画像単位で、入力画像データをウェーブレット変換す
    るウェーブレット変換工程と、 前記ウェーブレット変換工程で得られた変換係数を、上
    位ビットから下位ビットにビットプレーン化し、ビット
    プレーン毎に符号化する符号化工程と、 前記符号化工程で得られた符号化データを１画像単位で
    メモリに記憶する記憶制御工程と、 前記符号化工程で得られた符号化データを前記メモリに
    順次記憶する際、前記符号化工程で符号化された各画像
    の符号化データの全てが前記メモリに記憶可能か否かを
    判定する判定工程と、 前記判定工程で記憶不可能と判定されると、前記メモリ
    の記憶可能量を越えた符号化データを均等に分割し、該
    分割で得られた各符号化データを前記各画像の下位ビッ
    トプレーンの記憶領域の終端アドレスから逆順序に上書
    きして前記メモリに記憶するよう制御する制御工程と、
    を有することを特徴とする画像処理方法。
24. 【請求項２４】 複数の画像を符号化し、所定のメモリ
    に記憶させる画像処理方法を実行するプログラムを記憶
    した、コンピュータにより読取可能な記憶媒体であっ
    て、 １画像単位で、入力画像データをウェーブレット変換す
    るウェーブレット変換工程モジュールと、 前記ウェーブレット変換工程モジュールで得られた変換
    係数を、上位ビットから下位ビットにビットプレーン化
    し、ビットプレーン毎に符号化する符号化工程モジュー
    ルと、 前記符号化工程モジュールで得られた符号化データを１
    画像単位でメモリに記憶する記憶工程モジュールと、 前記符号化工程モジュールで得られた符号化データを前
    記メモリに順次記憶する際、前記符号化工程モジュール
    により符号化された各画像の符号化データの全てが前記
    メモリに記憶可能か否かを判定する判定工程モジュール
    と、 前記判定工程モジュールで記憶不可能と判定されると、
    前記メモリの記憶可能量を越えた符号化データを均等に
    分割し、該分割で得られた各符号化データを前記各画像
    の下位ビットプレーンの記憶領域の終端アドレスから逆
    順序に上書きして前記メモリに記憶するよう制御する制
    御工程モジュールと、を有することを特徴とする記憶媒
    体。
25. 【請求項２５】 複数の画像を符号化し、所定のメモリ
    に記憶させる画像処理装置であって、 １画像単位で、入力画像データをウェーブレット変換す
    るウェーブレット変換手段と、 前記ウェーブレット変換手段により得られた変換係数
    を、上位ビットから下位ビットにビットプレーン化し、
    ビットプレーン毎に符号化する符号化手段と、 前記符号化手段により得られた、複数の画像に相当する
    符号化データをメモリに記憶する記憶制御手段と、 前記符号化手段により得られた符号化データの全てが、
    前記メモリに記憶可能か否かを判定する判定手段と、 前記判定手段により記憶不可能と判定されると、前記各
    画像の下位ビットプレーンの符号化データに係る終端ア
    ドレスから均等に無効化するよう制御する制御手段と、
    を有することを特徴とする画像処理装置。
26. 【請求項２６】 前記複数の画像は、１画面を複数個に
    タイル分割して得られた画像であることを特徴とする請
    求項２５に記載の画像処理装置。
27. 【請求項２７】 前記１画像は、１画面に相当する画像
    であることを特徴とする請求項２５に記載の画像処理装
    置。
28. 【請求項２８】 複数の画像を符号化し、所定のメモリ
    に記憶させる画像処理方法であって、 １画像単位で、入力画像データをウェーブレット変換す
    るウェーブレット変換工程と、 該ウェーブレット変換工程にて得られた変換係数を、上
    位ビットから下位ビットにビットプレーン化し、ビット
    プレーン毎に符号化する符号化工程と、 前記符号化工程にて得られた、複数の画像に相当する符
    号化データをメモリに記憶する記憶工程と、 前記符号化工程にて得られた符号化データの全てが、前
    記メモリに記憶可能か否かを判定する判定工程と、 前記判定工程にて記憶不可能と判定されると、前記各画
    像の下位ビットプレーンの符号化データに係る終端アド
    レスから均等に無効化するよう制御する制御工程と、を
    有することを特徴とする画像処理方法。
29. 【請求項２９】 複数の画像を符号化し、所定のメモリ
    に記憶させる画像処理プログラムを、コンピュータから
    読み取り可能に記憶した記憶媒体であって、前記プログ
    ラムは、 １画像単位で、入力画像データをウェーブレット変換す
    るウェーブレット変換工程と、 該ウェーブレット変換工程にて得られた変換係数を、上
    位ビットから下位ビットにビットプレーン化し、ビット
    プレーン毎に符号化する符号化工程と、 前記符号化工程にて得られた、複数の画像に相当する符
    号化データをメモリに記憶する記憶工程と、 前記符号化工程にて得られた符号化データの全てが、前
    記メモリに記憶可能か否かを判定する判定工程と、 前記判定工程にて記憶不可能と判定されると、前記各画
    像の下位ビットプレーンの符号化データに係る終端アド
    レスから均等に無効化するよう制御する制御工程と、を
    有することを特徴とする記憶媒体。