JP2001231041A

JP2001231041A - 画像符号化方法及び装置

Info

Publication number: JP2001231041A
Application number: JP2000040142A
Authority: JP
Inventors: Hiroki Kishi; 裕樹岸; Makoto Sato; 眞佐藤; Hiroshi Kajiwara; 浩梶原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-02-17
Filing date: 2000-02-17
Publication date: 2001-08-24

Abstract

(57)【要約】【課題】画像を複数の領域（タイル）に分割し、注目
領域と非注目領域とが混在するタイルに対して、変換さ
れた所定周波数帯域の信号を示すビットをシフトアップ
して符号化する。【解決手段】画像を複数のタイルに分割するタイル分
割部２と、画像における注目領域を判定するＲＯＩ決定
部３と、複数のタイルのそれぞれを、判定された注目領
域に属するか否かに応じて分類するタイル分類部４と、
複数のタイルのそれぞれを複数の周波数帯域の信号に変
換する離散ウェーブレット変換部５と、タイル分類部４
によりＲＯＩに一部が含むと分類されたタイルに対応す
る、離散ウェーブレット変換された複数の変換係数のい
ずれかを指定し、その指定された所定の周波数帯域の変
換係数を示すビットに対してビットシフトアップして量
子化し、その量子化されたデータをエントロピー符号化
部８により符号化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像を複数の領域
に分割して符号化する画像符号化方法及び装置に関する
ものである。

【０００２】

【従来の技術】多値画像は非常に多くの情報を含んでお
り、その画像を蓄積・伝送する際には画像データの量が
膨大になってしまうという問題がある。このため画像デ
ータの蓄積・伝送に際しては、画像の持つ冗長性を除
く、或いは画質の劣化が視覚的に認識し難い程度で画像
の内容を変更することによってデータ量を削減する高能
率符号化が用いられる。

【０００３】しかしながら、このような高能率符号化に
よりある程度データ量を削減できたとしても、その符号
化データを伝送或いは読み出す場合に、多くの時間がか
かる。このような場合、伝送される画像データを受信す
る側では、画像データを受信して復号する際の初期段階
で、画像の興味ある領域（ＲＯＩ：Region Of Interes
t）を認識できることが好ましい。

【０００４】また、高能率符号化により画像データの量
が大幅に削減されても、ＲＯＩは高画質で復号されるこ
とが望まれる場合もある。これまでに上述のような、Ｒ
ＯＩの早期復号並びに高画質復号を実現する画像符号化
方法（ＲＯＩ符号化法）は、種々提案されている。

【０００５】

【発明が解決しようとする課題】このようなＲＯＩ符号
化法において、画像を構成する全ての画素に対してマス
ク処理を行う方法がある。このマスク処理とは、その画
像を構成する画素に対してマスク用のビットを１ビット
（マスク用ビット）用意し、ＲＯＩ内の画素（ＲＯＩ画
素）に対しては“１”を割り当て、非ＲＯＩ内の画素
（非ＲＯＩ画素）に対しては“０”を割り当てる処理で
ある。これにより、各画素のマスク用ビットの情報（マ
スク情報）から、各画素の属性を知ることができる。

【０００６】しかしながら、従来のマスク処理によれ
ば、全ての画素に対してマスク用ビットを用意しなけれ
ばならず効率が悪くなっている。

【０００７】本発明は上記従来例に鑑みてなされたもの
で、画像を複数の領域（タイル）に分割し、各領域が注
目領域に含まれるか否かを判定し、その注目領域と非注
目領域とが混在する領域に対して、変換された所定周波
数帯域の信号を示すビットをシフトアップして符号化す
ることにより、符号化効率の良い画像符号化を行うこと
ができる画像符号化方法及び装置を提供することを目的
とする。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に本発明の画像符号化装置は以下のような構成を備え
る。即ち、画像を複数の領域に分割する分割手段と、前
記画像における注目領域を判定する判定手段と、前記分
割手段で得られた前記複数の領域のそれぞれを、前記判
定手段により判定された注目領域に属するか否かに応じ
て分類する分類手段と、前記分割手段により分割された
前記複数の領域のそれぞれを複数の周波数帯域の信号に
変換する変換手段と、前記分類手段により前記注目領域
に一部が含むと分類された領域に対応する、前記変換手
段により変換された前記複数の周波数帯域の信号の内の
所定の周波数帯域の信号を指定する指定手段と、前記指
定手段により指定された前記所定の周波数帯域の信号を
示すビットに対してビットシフトアップするシフトアッ
プ手段と、前記シフトアップ手段によりシフトアップさ
れたデータを符号化する符号化手段と、を有することを
特徴とする。

【０００９】上記目的を達成するために本発明の画像符
号化装置は以下のような構成を備える。即ち、画像を複
数の領域に分割する分割手段と、前記画像における注目
領域を判定する判定手段と、前記分割手段で得られた前
記複数の領域のそれぞれを、前記判定手段により判定さ
れた注目領域に所定の割合で属するか否かに応じて分類
する分類手段と、前記分割手段により分割された前記複
数の領域のそれぞれを複数の周波数帯域の信号に変換す
る変換手段と、前記分類手段により前記所定の割合以上
含むと分類された領域に対応する、前記変換手段により
変換された前記複数の周波数帯域の信号の内の所定の周
波数帯域の信号を指定する指定手段と、前記指定手段に
より指定された前記所定の周波数帯域の信号を示すビッ
トに対してビットシフトアップするシフトアップ手段
と、前記シフトアップ手段によりシフトアップされたデ
ータを符号化する符号化手段と、を有することを特徴と
する。

【００１０】上記目的を達成するために本発明の画像符
号化方法は以下のような工程を備える。即ち、画像を複
数の領域に分割する分割工程と、前記画像における注目
領域を判定する判定工程と、前記分割工程で得られた前
記複数の領域のそれぞれを、前記判定工程で判定された
注目領域に属するか否かに応じて分類する分類工程と、
前記分割工程で分割された前記複数の領域のそれぞれを
複数の周波数帯域の信号に変換する変換工程と、前記分
類工程で前記注目領域に一部が含むと分類された領域に
対応する、前記変換工程で変換された前記複数の周波数
帯域の信号の内の所定の周波数帯域の信号を指定する指
定工程と、前記指定工程で指定された前記所定の周波数
帯域の信号を示すビットに対してビットシフトアップす
るシフトアップ工程と、前記シフトアップ工程でシフト
アップされたデータを符号化する符号化工程と、を有す
ることを特徴とする。

【００１１】上記目的を達成するために本発明の画像符
号化方法は以下のような工程を備える。即ち、画像を複
数の領域に分割する分割工程と、前記画像における注目
領域を判定する判定工程と、前記分割工程で得られた前
記複数の領域のそれぞれを、前記判定工程で判定された
注目領域に所定の割合で属するか否かに応じて分類する
分類工程と、前記分割工程で分割された前記複数の領域
のそれぞれを複数の周波数帯域の信号に変換する変換工
程と、前記分類工程で前記所定の割合以上含むと分類さ
れた領域に対応する、前記変換工程で変換された前記複
数の周波数帯域の信号の内の所定の周波数帯域の信号を
指定する指定工程と、前記指定工程で指定された前記所
定の周波数帯域の信号を示すビットに対してビットシフ
トアップするシフトアップ工程と、前記シフトアップ工
程でシフトアップされたデータを符号化する符号化工程
と、を有することを特徴とする。

【００１２】

【発明の実施の形態】以下、添付図面を参照して本発明
の好適な実施の形態を詳細に説明する。

【００１３】［実施の形態１］図１は、本発明の実施の
形態１に係る画像符号化装置の構成を示すブロック図で
ある。

【００１４】図１において、１は画像入力部、２はタイ
ル分割部、３はＲＯＩ決定部、４はタイル分類部、５は
離散ウェーブレット変換部、６は量子化部、７は領域指
定部、８はエントロピ符号化部、９は符号出力部であ
る。

【００１５】以上の構成において、まず画像入力部１に
対して、符号化対象となる画像を構成する画像データが
ラスタ・スキャン順に入力され、その出力はタイル分割
部２に入力される。なお以降の説明では、入力される画
像データはモノクロの多値画像を表現しているが、カラ
ー画像等、複数の色成分を符号化するならば、ＲＧＢ各
色成分、或いは輝度、色度成分を上記単色成分として符
号化すればよい。

【００１６】タイル分割部２において、１フレームの画
像を複数のタイルに分割するためのタイルの大きさが決
定される。なお、ここでは、各タイルの形状を矩形とす
る。タイル分割部２は、その入力された画像データを、
決定されたタイルに相当するタイルデータに分割する。
このように、画像データが複数（１６×１６）のタイル
に分割された様子を図２に示す。ここで、各タイルの大
きさは、ＲＯＩを任意形状に表わすことができる程度に
小さいものとする。なお、符号化対象となる画像データ
はＮ個のタイルデータに分割され、１フレームの画像は
Ｎ個のタイルに分割されるものとする。こうして生成さ
れたＮ個のタイルデータはＲＯＩ決定部３に入力され
る。

【００１７】図３は、ＲＯＩ（注目画像領域）決定部３
の具体例を説明する図である。

【００１８】図３において、３００はディスプレイを示
し、そこに図２に示すような画像が表示される。ユーザ
はその表示された画像を見て、外部入力デバイス３０１
（タッチペン）により画面上の位置を指示してＲＯＩを
決定する。図３では、ＲＯＩとして星型の図形部分が選
択されている。

【００１９】次にタイル分類部４は、タイル分割部２に
おいて複数のタイルに分割された各タイルを、ＲＯＩタ
イル（そのタイル全体がＲＯＩに該当する），非ＲＯＩ
タイル（そのタイル全体がＲＯＩ以外の領域に該当す
る），混在タイル（そのタイルの一部にＲＯＩと非ＲＯ
Ｉが含まれる）のいずれかに分類する。また、これら分
類されたそれぞれのタイルのタイルデータを、ＲＯＩタ
イルデータ，非ＲＯＩタイルデータ，混在タイルデータ
と呼ぶ。

【００２０】ここで、各タイルデータには、２ビットの
区別用ビットが付加される。この区別用ビットとして、
ＲＯＩタイルデータには“１１”，非ＲＯＩタイルデー
タには“００”，混在タイルデータには“０１”が付加
される。このタイル分類部４以降の処理は、各タイル独
立に行われる。尚、これら区別用ビットは処理の対象と
ならない。

【００２１】離散ウェーブレット変換部５は、タイル分
類部４から入力されたタイルデータのそれぞれに対して
２次元の離散ウェーブレット変換処理を行い、その変換
係数を計算して出力する。

【００２２】図４（ａ）は、離散ウェーブレット変換部
５の基本構成を示すブロック図であり、ここでは、入力
された画像データはメモリ２０１に記憶され、処理部２
０２により順次読み出されて変換処理が行われ、再びメ
モリ２０１に書込まれる。

【００２３】本実施の形態においては、処理部２０２に
おける処理の構成は同図（ｂ）に示すものとする。即
ち、入力された画像データは遅延素子およびダウンサン
プラの組み合わせにより、偶数アドレスおよび奇数アド
レスの信号に分離され、２つのフィルタｐおよびｕによ
りフィルタ処理が施される。同図（ｂ）における、ｓお
よびｄは、各々１次元の画像データに対して１レベルの
分解を行った際のローパス係数及びハイパス係数を表し
ており、次式により計算されるものとする。

【００２４】 d(n)=x(2*n+1)-floor((x(2*n)+x(2*n+2))/2) （式１） s(n)=x(2*n)+floor((d(n-1)+d(n))/4) （式２）ただし、x（n）は変換対象となる画像信号である。

【００２５】以上の処理により、タイルデータに対する
１次元の離散ウェーブレット変換処理が行われる。な
お、２次元の離散ウェーブレット変換は、１次元の変換
を画像の水平・垂直方向に対して順次行うものであり、
その詳細は公知であるのでここでは説明を省略する。

【００２６】図４（ｃ）は、２次元の変換処理により得
られる２レベルの変換係数群の構成例を示す図で、タイ
ルデータは異なる周波数帯域の係数列ＨＨ１，ＨＬ１，
ＬＨ１，…，ＬＬに分解される。なお、以降の説明では
これらの係数列をサブバンドと呼ぶ。各サブバンドの係
数は後続の量子化部６に、各タイルデータ単位で出力さ
れる。

【００２７】ここで、この離散ウェーブレット変換部５
から量子化部６に入力されるタイルデータの内、混在タ
イルデータに対して、領域指定部７によりマスク処理が
行われる。この領域指定部７において、混在タイルにお
ける各サブバンド内の全ての離散ウェーブレット係数に
対して、各画素がＲＯＩ画素の離散ウェーブレット係数
（ＲＯＩ相当係数）か否かを示すマスク情報を生成す
る。また、各サブバンドにおけるＲＯＩに相当する領域
を、ＲＯＩ相当領域と呼ぶ。つまりＲＯＩ相当領域は、
ＲＯＩ相当係数から構成される。

【００２８】図５は、マスク情報を生成する際の一例を
示した図である。

【００２９】同図において、５００は、前述のＲＯＩ決
定部３によりＲＯＩが指定された画像を示している。５
０２は、その画像５００における混在タイル５０１を拡
大して示している。この混在タイル５０１におけるＲＯ
Ｉ相当領域は、５０３で示す内の灰色の領域となる。こ
の灰色の領域には、マスク情報のビット“１”が、それ
以外の領域にはマスク情報のビット“０”が割り当てら
れ、この混在タイル５０１のタイルデータのマスク情報
が生成される。そして、このマスク情報のビットを検査
することで、対応する位置の変換係数がＲＯＩに属して
いるかどうかを識別することができる。このようにして
生成されたマスク情報は、量子化部６に出力されて量子
化される。

【００３０】また領域指定部７は、ＲＯＩ相当領域毎に
定まる、復号画像の画質を指定するパラメータを不図示
の入力系から入力する。このパラメータは、ＲＯＩ相当
領域に割り当てる圧縮率を表現する数値、或は画質を表
す数値でもよい。領域指定部７は、このパラメータか
ら、ＲＯＩ相当領域における係数に対するビットシフト
量ｂを計算し、マスク情報と共に量子化部６に出力す
る。

【００３１】量子化部６は、入力された３種類の各タイ
ルデータの係数を、所定の量子化ステップΔにより量子
化し、その量子化値に対するインデックスｑを出力す
る。ここで、量子化は次式により行われる。

【００３２】 q=sign(c)floor(abs(c)/Δ) （式３） sign(c)=1;c＞=0 （式４） sign(c)=-1;c＜0 （式５）ここで、ｃは量子化対象となる係数である。また、本実
施の形態においては、量子化ステップΔの値として
“１”を含むものとする。この場合、実際に量子化は行
われない。非ＲＯＩタイルデータは、この段階でエント
ロピ符号化部８に出力される。

【００３３】続いて量子化部６は、領域指定部７から入
力されたシフト量Ｂに基づき、次式によりＲＯＩタイル
データの量子化インデックスｑを変更する。

【００３４】q'=q*2^B （式６）また量子化部６は、領域指定部７から入力されたマスク
及びシフト量Ｂに基づき、次式により混在タイルデータ
の量子化インデックスｑを変更する。

【００３５】q'=q*2^B;m=1 （式７） q'=q ;m=0 （式８）ここでｍは、混在タイルデータ内の量子化インデックス
の位置におけるマスクの値である。以上の処理により、
ＲＯＩタイルデータにおける全ての量子化インデックス
ｑと、混在タイルデータにおいてＲＯＩに属する量子化
インデックスｑが、ｂビット上方にシフトアップされ
る。

【００３６】図６（ａ）及び（ｂ）は、混在タイルデー
タにおける、シフトアップによる量子化インデックスの
変化を示したものである。図６（ａ）において、３つの
サブバンドに各々３個の量子化インデックスが存在して
おり、網がけされた量子化インデックスにおけるマスク
の値が“１”で、シフト数ｂが“２”の場合、そのシフ
ト後の量子化インデックスは図６（ｂ）のようになる。

【００３７】このように変更された量子化インデックス
は、後続のエントロピ符号化部８に出力される。

【００３８】エントロピ符号化部８は、その入力した量
子化インデックスをビットプレーンに分解し、各ビット
プレーンを単位に２値算術符号化を行ってコードストリ
ームを出力する。

【００３９】図７は、エントロピ符号化部８の動作を説
明する図であり、この例においては４×４の大きさを持
つサブバンド内の領域において非０の量子化インデック
スが３個存在しており、それぞれ＋１３、−６、＋３の
値を持っている。エントロピ符号化部８は、この領域を
走査して最大値Ｍを求め、次式により最大の量子化イン
デックスを表現するために必要なビット数Ｓを計算す
る。

【００４０】S=ceil(log2(abs(M))) （式９）ここでceil(x)は、x以上の整数の中で最も小さい整数値
を表す。

【００４１】図７において、最大の係数値は“１３”で
あるので、必要なビット数Ｓは“４”であり、シーケン
ス中の１６個の量子化インデックスは同図（ｂ）に示す
ように、４つのビットプレーンを単位として処理が行わ
れる。

【００４２】ここではまず最初に、エントロピ符号化部
８は最上位ビットプレーン（同図ＭＳＢで表す）の各ビ
ットを２値算術符号化し、ビットストリームとして出力
する。次にビットプレーンを１レベル下げ、以下同様に
対象ビットプレーンが最下位ビットプレーン（同図ＬＳ
Ｂで表す）に至るまで、ビットプレーン内の各ビットを
符号化して符号出力部９に出力する。この時、各量子化
インデックスの符号は、ビットプレーン走査において最
初の非０ビットが検出されると、そのすぐ後に当該量子
化インデックスの符号がエントロピ符号化される。

【００４３】図８は、このようにして生成され出力され
る符号列の構成を表した概略図である。

【００４４】同図（ａ）は符号列の全体の構成を示した
図であり、ＭＨはメインヘッダ、ＴＨはタイルヘッダ、
ＢＳはビットストリームである。ここで各ＢＳの下付き
文字は、サブバンドを示している。

【００４５】メインヘッダＭＨは同図（ｂ）に示すよう
に、符号化対象となる画像のサイズ（水平及び垂直方向
の画素数）、画像を複数の矩形領域であるタイルに分割
した際のタイルサイズ、各色成分数を表すコンポーネン
ト数、各成分の大きさ、ビット精度を表すコンポーネン
ト情報とから構成されている。

【００４６】次にタイルヘッダＴＨの構成を図８（ｃ）
に示す。このタイルヘッダＴＨには、各タイルデータの
ビットストリーム長とヘッダ長を含めたタイル長、およ
びタイルデータの種類、および各タイルデータに対する
符号化パラメータが書き込まれる。この符号化パラメー
タには、離散ウェーブレット変換のレベル、フィルタの
種別等が含まれている。また、各ＲＯＩタイルデータの
量子化インデックスに対するビットシフト数、各混在タ
イルデータにおけるＲＯＩを示すマスク情報と、ＲＯＩ
画素の離散ウェーブレット変換係数の量子化インデック
スに対するビットシフト数も含まれている。

【００４７】本実施の形態におけるビットストリームの
構成を図９に示す。

【００４８】同図において、ビットストリームは、解像
度の小さいサブバンドを先頭として順次解像度が高くな
る順番に配置されている。また各サブバンドのビットス
トリームは、全タイルデータの該サブバンドのビットス
トリームから構成される。例えばＢＳLLは、１番目のタ
イルデータのＬＬサブバンド、２番目のタイルデータの
ＬＬサブバンド、…、Ｎ番目のタイルデータのＬＬサブ
バンド、それぞれのビットストリームから構成される。

【００４９】またそれぞれのビットストリームの詳細は
以下の通りである。各サブバンドのビットストリーム
は、上位ビットプレーンから下位ビットプレーンに向か
い、ビットプレーンを単位として配置されている。但
し、各ビットプレーンは、各タイルにおける該ビットプ
レーンから構成される。更に、各サブバンド内は上位ビ
ットプレーンから下位ビットプレーンに向かい、ビット
プレーンを単位として符号が配列されている。

【００５０】尚、以上のような符号配列とすることによ
り、図１０に示す様に、非ＲＯＩに対してＲＯＩを早期
に復号することが可能となる。

【００５１】上述した実施の形態１において、符号化対
象となる画像全体の圧縮率は量子化ステップΔを変更す
ることにより制御することが可能である。

【００５２】また別の方法として本実施の形態１では、
エントロピ符号化部８において符号化するビットプレー
ンの下位ビットを必要な圧縮率に応じて制限（廃棄）す
ることも可能である。この場合には、全てのビットプレ
ーンは符号化されず上位ビットプレーンから所望の圧縮
率に応じた数のビットプレーンまでが符号化され、最終
的な符号列に含まれる。

【００５３】上記下位ビットプレーンを制限する機能を
利用すると、図４に示したＲＯＩに相当するビットのみ
が多く符号列に含まれることになる、即ち、上記ＲＯＩ
のみ低圧縮率で高画質な画像として符号化することが可
能となる。

【００５４】以上説明した様に本実施の形態１によれ
ば、従来のＲＯＩ符号化法より効率がよいＲＯＩ符号化
法を実現することが可能である。

【００５５】［実施の形態２］前述の実施の形態１で
は、混在タイルデータの符号化においてマスクを生成し
た。しかし混在タイルによっては、ＲＯＩ画素が非常に
少ないものもある。そのような混在タイルにおいて、Ｒ
ＯＩ画素を非ＲＯＩ画素として符号化を行っても、復号
画像の主観的な評価に影響がない場合もある。その場
合、符号化の効率を考えると、マスクの生成は適当でな
い。

【００５６】従って本実施の形態２では、各混在タイル
データを符号化する際、ＲＯＩ画素の混在タイル中の全
画素数に対する比率（ＲＯＩ画素比）を計算し、その比
率がある閾値（混在タイル判定閾値）より小さい場合、
その混在タイルデータは非ＲＯＩタイルデータとして符
号化する。

【００５７】本実施の形態２に係る画像符号化装置の構
成を図１１に示す。

【００５８】本実施の形態２に係る画像符号化装置は、
前述の実施の形態１に係る画像符号化装置における、タ
イル分類部４をタイル分類部９１に置き換えたもので、
その他の構成は同じであるため、それらの説明を省略す
る。

【００５９】各タイルデータは、ＲＯＩ決定部３から出
力され、タイル分類部９１に入力されると、前述の実施
の形態１と同様にして、ＲＯＩタイルデータ，非ＲＯＩ
タイルデータ，混在タイルデータとに分類される。

【００６０】このタイル分類部９１で分類された各タイ
ルデータの内、各混在タイルデータに関しては、ＲＯＩ
画素比が計算される。こうして計算されたＲＯＩ画素比
は、不図示の入力系から入力された混在タイル判定のた
めの閾値と比較される。ＲＯＩ画素比が混在タイル判定
のための閾値より小さい混在タイルは、区別用ビット
“００”が付加されて非ＲＯＩタイルデータと分類され
る。またＲＯＩ画素比が混在タイル判定のための閾値よ
り大きい混在タイルは、区別用ビット“０１”が付加さ
れ混在タイルデータとして分類される。そして、離散ウ
ェーブレット変換部５以降の処理は、実施の形態１にお
ける処理と同様である。

【００６１】以上説明した様に本実施の形態２によれ
ば、混在タイルデータを非ＲＯＩタイルデータとして符
号化した場合における、復号画像の主観的評価への影響
を判定する混在タイル判定のための閾値が定められ、各
混在タイルデータにおいて、ＲＯＩ画素に対する混在タ
イル中の全画素数との比率であるＲＯＩ画素比が計算さ
れる。そして、ＲＯＩ画素比が混在タイル判定のための
閾値より小さい混在タイルは非ＲＯＩタイルデータとさ
れマスク処理は行われない。そのため効率の良い符号化
が実現される。

【００６２】［実施の形態３］混在タイルの内、ＲＯＩ
画素の数が非常に少なく、非ＲＯＩタイルデータとして
符号化を行っても復号画像に主観的に評価に影響を与え
ないものに対して、前述の実施の形態２では、そのよう
な混在タイルデータを非ＲＯＩタイルデータとして符号
化を行った。

【００６３】これに対し本実施の形態３では、上述混在
タイルデータを符号化する際、ＲＯＩ画素を包含する矩
形（混在矩形）を定義し、混在矩形にのみマスク処理を
行う。

【００６４】以上のような符号化を用いることにより、
混在タイル中のＲＯＩ画素は非ＲＯＩ画素と処理される
ことはない。更に、マスク処理を行う領域が少ないた
め、実施の形態１における符号化と比較して、効率のよ
い符号化が実現される。

【００６５】図１２は、本発明の実施の形態３に係る画
像符号化装置の構成を示すブロック図で、実施の形態１
における画像符号化装置における、タイル分類部４をタ
イル分類部１０１に置き換え、混在矩形決定部１０２を
付加し、領域指定部７を領域指定部１０３に置き換えた
もので、その他の構成は前述の図１と同じであるため、
それらの説明を省略する。

【００６６】前述の実施の形態２と同様にして、タイル
分類部１０１で分類された各タイルデータの内、各混在
タイルデータに関しては、ＲＯＩ画素比が計算され、混
在タイル判定のための閾値と比較される。ＲＯＩ画素比
が、この混在タイル判定のための閾値より大きい混在タ
イルには区別用ビット“０１”が付加されて、第１混在
タイルデータとして分類される。また、ＲＯＩ画素比が
混在タイル判定のための閾値より小さい混在タイルデー
タは、区別用ビット“１０”が付加されて第２混在タイ
ルデータとして分類される。なお、第１混在タイルデー
タに相当するタイルを第１混在タイル、第２混在タイル
データに相当するタイルを第２混在タイルと呼ぶ。

【００６７】タイル分類部１０１において、４種類のタ
イルデータに分類された各タイルデータの内、第２混在
タイルデータは、混在矩形決定部１０２に出力される。
また第２混在タイルデータ以外の３種類のタイルデータ
は、離散ウェーブレット変換部５に出力される。

【００６８】図１３に示すように、混在矩形決定部１０
２は、入力された第２混在タイルデータに対して座標を
定義する。この座標の定義は、第２混在タイルデータを
構成する画素単位で行われる。

【００６９】続いて、図１４に示すように、ＲＯＩ画素
を包含するような矩形が決定される。この混在矩形が決
定された後、この混在矩形を一意に指定する座標が、領
域指定部１０３と符号出力部９に送られる。こうして符
号出力部９に送られた座標は、タイルヘッダに書き込ま
れる。こうしてタイルヘッダに、混在矩形を指定する座
標が書き込まれた後、第２混在タイルデータは離散ウェ
ーブレット変換部５に出力される。

【００７０】そして、この離散ウェーブレット変換部５
で離散ウェーブレット変換された各タイルデータは、量
子化部６へ出力されて量子化される。この量子化部６に
入力された各タイルデータの内、第１混在タイルデータ
と第２混在タイルデータは、領域指定部１０３によりマ
スク処理が行われる。そして第１混在タイルデータは、
前述の実施の形態１と同様な方法でマスク処理が行われ
る。また第２混在タイルデータに対しては、混在矩形を
指定する座標を基に、各サブバンドにおける混在矩形が
指定され、その混在矩形内の画素の離散ウェーブレット
係数に対してマスク処理が行われる。この量子化部６以
降の処理は、前述の実施の形態１と同様である。

【００７１】以上説明した様に本実施の形態３によれ
ば、ＲＯＩ画素比が混在タイル判定のための閾値より小
さい混在タイルデータを符号化する際、ＲＯＩ画素を包
含する矩形（混在矩形）を定義し、混在矩形にのみマス
ク処理を行う。以上のような符号化を用いることで、混
在タイル中のＲＯＩ画素は、非ＲＯＩ画素と処理される
ことはない。更に、マスク処理を行う領域が少ないた
め、前述の実施の形態１における符号化と比較して、よ
り効率の良い符号化が実現できる。

【００７２】（その他の実施の形態）以上説明した実施
の形態においては、入力画像を離散ウェーブレット変換
した符号化の例を示したが、この離散ウェーブレット変
換についても本実施の形態で使用したものに限定される
ものではなく、フィルタの種類や周波数帯域分割方法を
変えても構わない。更に、離散ウェーブレット変換以外
にも、ＤＣＴ変換（離散コサイン変換）等、その他の変
換手法に基く符号化方式に適用しても構わない。

【００７３】また周波数成分の量子化の方法、可変長符
号化の方法、そしてサブバンドの分割方法についても、
上述の実施の形態に限定されるものではない。

【００７４】前述の実施の形態２では、混在タイルデー
タにおいてＲＯＩ画素が非常に少ない場合について示し
たが、非ＲＯＩ画素が非常に少ない場合も、本実施の形
態の範疇に含まれる。その場合、非ＲＯＩ画素が少ない
混在タイルデータをＲＯＩタイルデータとして符号化す
る必要がある。また、１つの画像において、ＲＯＩ画素
が非常に少ない混在タイルデータと非ＲＯＩ画素が非常
に少ない混在タイルデータとが存在する場合、ＲＯＩ画
素が非常に少ない混在タイルデータを非ＲＯＩタイルデ
ータとして、非ＲＯＩ画素が非常に少ない混在タイルデ
ータをＲＯＩタイルデータとして符号化する方法も本実
施の形態の範疇に含まれる。

【００７５】上述の実施の形態３では、混在タイルにお
いてＲＯＩ画素が非常に少ない場合について示したが、
非ＲＯＩ画素が非常に少ない場合も本実施の形態の範疇
に含まれる。その場合、非ＲＯＩ画素を包含するような
混在矩形を決定すればよい。また、１つの画像におい
て、ＲＯＩ画素が非常に少ない混在タイルデータと非Ｒ
ＯＩ画素が非常に少ない混在タイルデータとが存在する
場合、ＲＯＩ画素が非常に少ない混在タイルデータに対
してはＲＯＩ画素を包含するような混在矩形を決定し、
非ＲＯＩ画素が非常に少ない混在タイルデータに対して
は、非ＲＯＩ画素を包含するような混在矩形を決定して
符号化する方法も、本実施の形態に含まれる。また、ひ
とつの混在タイルデータ中に、複数の混在矩形を決定し
て符号化する方法も本実施の形態に含まれる。

【００７６】なお本発明は複数の機器（例えばホストコ
ンピュータ、インターフェース機器、リーダ、プリンタ
等）から構成されるシステムの一部として適用しても、
１つの機器（例えば複写機、デジタルカメラ等）からな
る装置の１部に適用しても良い。

【００７７】また本発明は上記実施の形態を実現するた
めの装置及び方法のみに限定されるものではなく、上記
システム又は装置内のコンピュータ（ＣＰＵ或いはＭＰ
Ｕ）に、上記実施の形態を実現するためのソフトウエア
のプログラムコードを供給し、このプログラムコードに
従って上記システム或いは装置のコンピュータが上記各
種デバイスを動作させることにより上記実施の形態を実
現する場合も本発明の範疇に含まれる。

【００７８】またこの場合、前記ソフトウエアに関する
プログラムコード自体が上記実施の形態の機能を実現す
ることになり、そのプログラムコード自体、及びそのプ
ログラムコードをコンピュータに供給するための手段、
具体的には上記プログラムコードを格納した記憶媒体は
本発明の範疇に含まれる。

【００７９】この様なプログラムコードを格納する記憶
媒体としては、例えばフロッピーディスク、ハードディ
スク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁
気テープ、不揮発性のメモリカ−ド、ＲＯＭ等を用いる
ことができる。

【００８０】また、上記コンピュータが、供給されたプ
ログラムコードのみに従って各種デバイスを制御するこ
とにより、上記実施の形態の機能が実現される場合だけ
ではなく、上記プログラムコードがコンピュータ上で稼
動しているＯＳ（オペレ−ティングシステム）、或いは
他のアプリケーションソフト等と共同して上記実施の形
態が実現される場合にもかかるプログラムコードは本発
明の範疇に含まれる。更に、この供給されたプログラム
コードが、コンピュータの機能拡張ボ−ドやコンピュー
タに接続された機能拡張ユニットに備わるメモリに格納
された後、そのプログラムコードの指示に基づいてその
機能拡張ボ−ドや機能拡張ユニットに備わるＣＰＵ等が
実際の処理の一部または全部を行い、その処理によって
上記実施の形態が実現される場合も本発明の範疇に含ま
れる。

【００８１】以上説明したように本実施の形態によれ
ば、画像をいくつかのタイルに分割し、各タイルを、Ｒ
ＯＩタイル，非ＲＯＩタイル，混在タイルに区別し、混
在タイルのみマスク処理を行うことで、現在のＲＯＩ符
号化法よりも効率の良いＲＯＩ符号化法を実現すること
が可能となる。

【００８２】

【発明の効果】以上説明したように本発明によれば、画
像を複数の領域（タイル）に分割し、各領域が注目領域
に含まれるか否かを判定し、その注目領域と非注目領域
とが混在する領域に対して、変換された所定周波数帯域
の信号を示すビットをシフトアップして符号化すること
により、符号化効率の良い画像符号化を行うことができ
るという効果がある。

【図面の簡単な説明】

【図１】本発明の実施の形態１に係る画像符号化装置の
構成を示すブロック図である。

【図２】本実施の形態において画像がタイルに分割され
ている様子を説明する図である。

【図３】本実施の形態１に係るＲＯＩ決定部を説明する
図である。

【図４】本実施の形態に係る離散ウェーブレット変換部
の説明図である。

【図５】混在タイルにおけるマスク情報の生成を説明す
る図である。

【図６】本発明の実施の形態に係る量子化インデックス
のシフトアップを説明する図である。

【図７】本発明の実施の形態に係るエントロピ符号化の
説明図である。

【図８】エントロピー符号化された符号列を説明する図
である。

【図９】エントロピー符号化された符号列を説明する図
である。

【図１０】本実施の形態に符号化装置により符号化され
た画像が復号され表示される様子を説明する図である。

【図１１】本発明の実施の形態２に係る画像符号化装置
の構成を示すブロック図である。

【図１２】本発明の実施の形態３に係る画像符号化装置
の構成を示すブロック図である。

【図１３】本発明の実施の形態３に係る混在矩形の決定
を説明する図である。

【図１４】本発明の実施の形態３に係る混在矩形の座標
による混在矩形の指定を説明する図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者梶原浩東京都大田区下丸子３丁目30番２号キヤノン株式会社内Ｆターム(参考） 5C059 MA24 MC11 MC38 ME01 PP01 PP21 TA57 TB08 TB15 TC47 TD11 UA02 5C078 BA53 DA00 DA01 DB00 DB05 DB07 5J064 AA02 BA13 BB13 BC01 BC16 BC22 BC29 BD02 9A001 EE04 HZ25 HZ27 KK42

Claims

【特許請求の範囲】

【請求項１】画像を複数の領域に分割する分割手段
と、前記画像における注目領域を判定する判定手段と、前記分割手段で得られた前記複数の領域のそれぞれを、
前記判定手段により判定された注目領域に属するか否か
に応じて分類する分類手段と、前記分割手段により分割された前記複数の領域のそれぞ
れを複数の周波数帯域の信号に変換する変換手段と、前記分類手段により前記注目領域に一部が含むと分類さ
れた領域に対応する、前記変換手段により変換された前
記複数の周波数帯域の信号の内の所定の周波数帯域の信
号を指定する指定手段と、前記指定手段により指定された前記所定の周波数帯域の
信号を示すビットに対してビットシフトアップするシフ
トアップ手段と、前記シフトアップ手段によりシフトアップされたデータ
を符号化する符号化手段と、を有することを特徴とする
画像符号化装置。
【請求項２】前記分類手段は、前記注目領域に全て含
まれる領域、前記注目領域に一部が含まれる領域及び前
記注目領域に全く含まれない領域とに分類することを特
徴とする請求項１に記載の画像符号化装置。
【請求項３】前記変換手段は、低周波数帯域を再帰的
に分割することを特徴とする請求項１又は２に記載の画
像符号化装置。
【請求項４】前記変換手段は離散ウェーブレット変換
を用いて変換することを特徴とする請求項１乃至３のい
ずれか１項に記載の画像符号化装置。
【請求項５】前記シフトアップ手段は、前記指定手段
により指定された前記所定の周波数帯域の信号と、前記
分類手段により前記注目領域に全て含まれる領域である
と分類された領域に対する前記複数の周波数帯域の信号
とを示すビットをシフトアップさせることを特徴とする
請求項２に記載の画像符号化装置。
【請求項６】画像を複数の領域に分割する分割手段
と、前記画像における注目領域を判定する判定手段と、前記分割手段で得られた前記複数の領域のそれぞれを、
前記判定手段により判定された注目領域に所定の割合で
属するか否かに応じて分類する分類手段と、前記分割手段により分割された前記複数の領域のそれぞ
れを複数の周波数帯域の信号に変換する変換手段と、前記分類手段により前記所定の割合以上含むと分類され
た領域に対応する、前記変換手段により変換された前記
複数の周波数帯域の信号の内の所定の周波数帯域の信号
を指定する指定手段と、前記指定手段により指定された前記所定の周波数帯域の
信号を示すビットに対してビットシフトアップするシフ
トアップ手段と、前記シフトアップ手段によりシフトアップされたデータ
を符号化する符号化手段と、を有することを特徴とする
画像符号化装置。
【請求項７】前記変換手段は、低周波数帯域を再帰的
に分割することを特徴とする請求項６に記載の画像符号
化装置。
【請求項８】前記変換手段は離散ウェーブレット変換
を用いて変換することを特徴とする請求項６又は７に記
載の画像符号化装置。
【請求項９】前記シフトアップ手段は、前記指定手段
により指定された前記所定の周波数帯域の信号と、前記
分類手段により前記注目領域に全て含まれる領域である
と分類された領域に対する前記複数の周波数帯域の信号
とを示すビットをシフトアップさせることを特徴とする
請求項６に記載の画像符号化装置。
【請求項１０】前記分類手段により前記所定の割合以
下含むと分類された領域で、前記注目領域に含まれる画
素を包含する矩形領域を決定する決定手段と、前記決定手段により決定された前記矩形領域の座標を決
定する座標決定手段と、前記座標を、符号化された画像データの制御データとし
て付与する付与手段とを更に有することを特徴とする請
求項６に記載の画像符号化装置。
【請求項１１】画像を複数の領域に分割する分割工程
と、前記画像における注目領域を判定する判定工程と、前記分割工程で得られた前記複数の領域のそれぞれを、
前記判定工程で判定された注目領域に属するか否かに応
じて分類する分類工程と、前記分割工程で分割された前記複数の領域のそれぞれを
複数の周波数帯域の信号に変換する変換工程と、前記分類工程で前記注目領域に一部が含むと分類された
領域に対応する、前記変換工程で変換された前記複数の
周波数帯域の信号の内の所定の周波数帯域の信号を指定
する指定工程と、前記指定工程で指定された前記所定の周波数帯域の信号
を示すビットに対してビットシフトアップするシフトア
ップ工程と、前記シフトアップ工程でシフトアップされたデータを符
号化する符号化工程と、を有することを特徴とする画像
符号化方法。
【請求項１２】前記分類工程は、前記注目領域に全て
含まれる領域、前記注目領域に一部が含まれる領域及び
前記注目領域に全く含まれない領域とに分類することを
特徴とする請求項１１に記載の画像符号化方法。
【請求項１３】前記変換工程は、低周波数帯域を再帰
的に分割することを特徴とする請求項１１又は１２に記
載の画像符号化方法。
【請求項１４】前記変換工程では離散ウェーブレット
変換を用いて変換することを特徴とする請求項１１乃至
１３のいずれか１項に記載の画像符号化方法。
【請求項１５】前記シフトアップ工程では、前記指定
工程で指定された前記所定の周波数帯域の信号と、前記
分類工程で前記注目領域に全て含まれる領域であると分
類された領域に対する前記複数の周波数帯域の信号とを
示すビットをシフトアップさせることを特徴とする請求
項１２に記載の画像符号化方法。
【請求項１６】画像を複数の領域に分割する分割工程
と、前記画像における注目領域を判定する判定工程と、前記分割工程で得られた前記複数の領域のそれぞれを、
前記判定工程で判定された注目領域に所定の割合で属す
るか否かに応じて分類する分類工程と、前記分割工程で分割された前記複数の領域のそれぞれを
複数の周波数帯域の信号に変換する変換工程と、前記分類工程で前記所定の割合以上含むと分類された領
域に対応する、前記変換工程で変換された前記複数の周
波数帯域の信号の内の所定の周波数帯域の信号を指定す
る指定工程と、前記指定工程で指定された前記所定の周波数帯域の信号
を示すビットに対してビットシフトアップするシフトア
ップ工程と、前記シフトアップ工程でシフトアップされたデータを符
号化する符号化工程と、を有することを特徴とする画像
符号化方法。
【請求項１７】前記変換工程は、低周波数帯域を再帰
的に分割することを特徴とする請求項１６に記載の画像
符号化方法。
【請求項１８】前記変換工程は離散ウェーブレット変
換を用いて変換することを特徴とする請求項１６又は１
７に記載の画像符号化方法。
【請求項１９】前記シフトアップ工程は、前記指定工
程により指定された前記所定の周波数帯域の信号と、前
記分類工程により前記注目領域に全て含まれる領域であ
ると分類された領域に対する前記複数の周波数帯域の信
号とを示すビットをシフトアップさせることを特徴とす
る請求項１６に記載の画像符号化方法。
【請求項２０】前記分類工程により前記所定の割合以
下含むと分類された領域で、前記注目領域に含まれる画
素を包含する矩形領域を決定する決定工程と、前記決定工程により決定された前記矩形領域の座標を決
定する座標決定工程と、前記座標を、符号化された画像データの制御データとし
て付与する付与工程とを更に有することを特徴とする請
求項１６に記載の画像符号化方法。
【請求項２１】請求項１１乃至２０のいずれか１項に
記載の画像符号化方法を実施するプログラムを記憶し
た、コンピュータにより読取り可能な記憶媒体。