JP2001217718A - 画像処理装置及び方法及び記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像を所定領域毎に圧縮する際に、低ビット
レートの圧縮条件においても、各領域間の境界で著しい
画質の劣化が起こらない様な符号化技術を提供する。 【解決手段】 ウェーブレット変換する際に、タイルの
境界の状態に応じて、タイル内の画像信号を参照し、境
界画素位置で折り返すような拡張画素を生成する方法
と、境界画素位置に点対象となる拡張画素を生成する方
法のいずれかを選択する。そして、選択された方法に基
づき該画像信号をフィルタ処理に必要な数となるよう拡
張し、その拡張された画像信号に対して所定のフィルタ
処理を行うと共に、生成される符号化データに選択した
拡張方法のいずれであるのかを示す情報を埋め込む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置及び
方法及び記憶媒体に関するものである。

【０００２】

【従来の技術】近年、コンピュータ及びネットワークの
著しい発達に伴い、文字データ、画像データ、音声デー
タ等、多種の情報がコンピュータ内、ネットワーク間で
蓄積・伝送されるようになってきている。これらのデー
タの中で画像、特に多値画像は非常に多くの情報を含ん
でおり、その画像を蓄積・伝送する際にはデ−タ量が膨
大になってしまうという問題がある。このため画像の蓄
積・伝送に際しては、画像の持つ冗長性を除く、あるい
は画質の劣化が視覚的に認識し難い程度で画像の内容を
変更することによってデ−タ量を削減する高能率符号化
が用いられる。

【０００３】高能率符号化の方式としては、静止画像の
国際標準符号化方式としてＩＳＯとＩＴＵ−Ｔにより勧
告されたＪＰＥＧが広く用いられている。ＪＰＥＧは離
散コサイン変換を基本とした方式であるが、圧縮率を高
めるとブロック状の歪みが生じるという問題点があっ
た。

【０００４】その一方で、画像を入力あるいは出力する
機器においては画質向上に対する要求から高解像度化が
進んでいるため、従来にも増して高い圧縮率が求められ
ている。このため、異なる変換方式として離散ウェーブ
レット変換を利用した符号化方式が提案されている。

【０００５】離散ウェーブレット変換は、離散コサイン
変換を用いた方式で問題となったブロック歪みが発生し
にくいという利点がある。その為、さらに高い圧縮率を
要求される用途において応用が期待されている。

【０００６】しかし、これまで提案されている離散ウェ
ーブレット変換による符号化方式の殆どが、圧縮の対象
となる画像全体に対して離散ウェーブレット変換を施す
ことで行っている。これによりブロック歪は発生しない
が、一方では符号化器または復号化器には全ての画像を
読みこんで一旦記憶できるメモリが必要となり、装置の
コストを著しく上昇させる問題が発生する。従って、特
に大きな解像度を持つ画像を圧縮符号化する際には画像
を所定の大きさのタイルに分割して独立に符号化するこ
とが必要となる。

【０００７】図９はこのように画像をタイル分割して圧
縮符号化する方式のブロック図および機能の概要を示し
たものである。同図（ａ）に示すブロック図において不
図示の画像入力装置から入力された画像信号は、画像入
力器１により所定の大きさを持つタイルにまとめられ、
後続の離散ウェーブレット変換器２に出力される。同図
（ｂ）はタイル分割の様子を示したものであり、縦ＨI
画素、横ＷI画素の解像度を持つ画像Ｉは、画像入力器
１において縦Ｈ画素、横Ｗ画素の矩形のタイルに分割さ
れている。

【０００８】離散ウェーブレット変換器２は、入力され
たタイルに含まれる画像信号に対し、タイル単位で２次
元の離散ウェーブレット変換を施すものである。ここで
２次元の離散ウェーブレット変換は１次元の離散ウェー
ブレット変換の組み合わせとして実現される。つまり、
水平方向の一次元離散ウェーブレット変換をライン毎に
順次行う処理と、垂直方向の一次元離散ウェーブレット
変換を列毎に順次行う処理である。また１次元の離散ウ
ェーブレット変換は所定の特性を持つローパスフィルタ
とハイパスフィルタおよびダウンサンプラから成るフィ
ルタバンクで構成されるものである。

【０００９】また、同図（ｃ）は離散ウェーブレット変
換器２の内部構成を示したものである。タイル単位にま
とめられた画像信号はバッファ２０１に記憶される。信
号拡張器２０２はバッファから水平あるいは垂直方向に
画像信号を読み出し、信号の端部を拡張してフィルタバ
ンク２０３に出力している。この信号拡張は、信号の開
始点あるいは終了点でフィルタ処理を行うために不足の
データを補うものであり、同図（ｄ）に例を示す。この
例ではフィルタは対称型でタップ（係数）の数（以下、
単にタップ数）は５であり、水平方向に１ライン分に相
当するＷ個の画像信号がバッファに読みこまれているも
のとする。信号の終了部分では、図に示すようにｘ（Ｗ
−１）にフィルタの係数の中心を重ねた形でフィルタ処
理が行われるが、そのためにタイルの外に相当する部分
に２つのデータをｘ（Ｗ−１）を中心に対称となるよう
拡張する。信号の開始部分でも同様に拡張が行われ、フ
ィルタ処理およびダウンサンプリングが施されて結果が
バッファ２０１に書き戻される。

【００１０】このように離散ウェーブレット変換器２に
より生成された変換係数は、タイル単位で後続の量子化
器３に出力される。量子化器３は入力した変換係数を所
定の量子化ステップにより線形量子化し、量子化インデ
ックスを出力する。更に量子化インデックスは後続のエ
ントロピ符号化器４に出力される。エントロピ符号化器
４は入力した量子化インデックスをビットプレーンに分
解し、ビットプレーンを単位としてエントロピ符号化を
行いビットストリームを出力する。このように画像を複
数タイルに分割し、各タイル独立に処理を行うことで符
号化器に必要なメモリ容量を低減することができる。

【００１１】

【発明が解決しようとする課題】しかし、このような従
来の構成では低ビットレートの条件においては、復号画
像のタイル境界において線状の歪みが発生し、画質の劣
化が起こるという問題がある。

【００１２】本発明は、このような低ビットレートの条
件においてタイリングにより圧縮符号化を行ってもタイ
ル境界での画質劣化を起こさない画像処理装置及び方法
及び記憶媒体を提供することを目的とする。

【００１３】

【課題を解決するための手段】上述の課題を解決するた
め、例えば本発明の画像処理装置は以下の構成を備え
る。すなわち、入力画像を所定サイズのタイルに分割す
る分割手段と、個々のタイルに含まれる画像信号に対し
て、異なる所定周波数通過特性を有するフィルタ群を用
いて係数に変換する変換手段と、該変換手段によって得
られた変換係数を量子化する量子化手段と、該量子化手
段で量子化して得られた量子化インデックスをエントロ
ピー符号化するエントロピー符号化手段と、該エントロ
ピー符号化手段で符号化された符号データを出力する出
力手段とを備える画像処理装置であって、前記変換手段
は、前記タイルの境界近傍の注目画素に対し、当該タイ
ル内の画素の状態と当該タイルに隣接するタイル内の前
記注目画素の近傍の画素の状態に応じて注目画素位置に
対するフィルタ処理する際の拡張処理を選択する選択手
段を含み、前記出力手段は、前記選択手段で選択された
拡張処理を示す情報を符号データに埋め込み出力する手
段を含むことを特徴とする。

【発明の実施の形態】以下、添付図面にしたがって本発
明に係る実施形態を詳細に説明する。

【００１４】＜第１の実施形態＞図１は第１の実施形態
による画像処理装置の構成を表すブロック図である。不
図示の画像入力装置（例えば、イメージスキャナやデジ
タルカメラ、もしくはネットワークや記憶媒体等）から
入力された画像信号は、画像入力器１により所定の大き
さを持つタイルにまとめられ、後続の離散ウェーブレッ
ト変換器２に出力される。タイル分割は図９（ｂ）に示
した方法と同様であり、縦ＨI画素、横ＷI画素の解像度
を持つ画像Ｉが、画像入力器１において縦Ｈ画素、横Ｗ
画素の矩形のタイルに分割されているものとする。

【００１５】離散ウェーブレット変換器２は、入力され
たタイルに含まれる画像信号に対し、タイル単位で２次
元の離散ウェーブレット変換を施すものであり、同図に
示すようにバッファ２０１、信号拡張器２０２、フィル
タバンク２０３、判定器２０４から構成されている。こ
れらの機能については後述する。

【００１６】離散ウェーブレット変換器２により生成さ
れた変換係数は、タイル単位で後続の量子化器３に出力
される。量子化器３は入力した変換係数を所定の量子化
ステップにより線形量子化し、量子化インデックスを出
力する。更に量子化インデックスは後続のエントロピ符
号化器４に出力される。エントロピ符号化器４は入力し
た量子化インデックスを、ビットプレーンに分解し、ビ
ットプレーンを単位としてエントロピ符号化を行い符号
列を出力する。

【００１７】次に本実施形態における離散ウェーブレッ
ト変換器２の動作の詳細について、図１から図４を用い
て説明する。

【００１８】なお、処理対象となるタイルに属する画像
信号は離散ウェーブレット変換器２内のバッファ２０１
に記憶されるものとする。また、本実施形態において
は、処理対象となるタイルに隣接するタイルの中から水
平・垂直方向共に２画素分の画像信号がバッファに読み
込まれる。つまり、タイルがｎ×ｎ画素である場合、バ
ッファ２０１には同一中心位置を持つ（ｎ＋４）×（ｎ
＋４）の画素が少なくとも格納されるものとする。

【００１９】バッファ２０１内の画像信号は、水平ある
いは垂直のいずれかの方向に沿った１ライン単位で読み
出され、信号拡張器２０２でフィルタ処理に必要な分信
号が拡張され、フィルタバンク２０３においてフィルタ
リングおよびダウンサンプリングが行われる。以上の処
理を所定の回数繰り返すことで、離散ウェーブレット変
換が実行される。

【００２０】この時、画像信号の最後の２つに対してフ
ィルタ処理を行う際は、必要な画像信号がタイル境界外
に存在することになるため、画像信号を拡張する必要が
ある。本実施形態においては、ローパスフィルタがタッ
プ数５としているため、タイルの水平方向の開始部分と
終了部分に隣接するタイル中の各々２個の信号を拡張す
る必要がある。

【００２１】判定器２０４は、バッファ内から読み出さ
れる処理対象タイルに属する１ライン分の画像信号と、
同じ方向に連続する隣接タイルの信号を読み出し、信号
拡張の方式を決定して信号拡張器２０２に対して制御信
号を与える。信号拡張器２０２はこの制御信号により２
つの拡張方式を切り替えて信号の拡張を行っている。

【００２２】以下に判定器２０４における判定の方法に
ついて説明する。

【００２３】まず以下の説明において、処理は水平方向
に対する処理で、１ラインの長さはＷ（奇数）であり、
またフィルタのタップ数はローパスフィルタが５、ハイ
パスフィルタが３であるとする。また、信号の端点にお
ける処理は信号の終了部分について説明するが、開始点
における処理も信号のインデックスが異なるだけで基本
的に同じである。

【００２４】判定器２０４はバッファ２０４から、処理
対象となるタイルの画素信号から最後の３つ、また隣接
するタイルから最初の信号を２つ読み、不図示の内部バ
ッファに記憶する。この時、判定器２０４が参照する画
像信号の例を図２に示す。同図において、処理対象とな
るタイルから読み出された画素信号はｘ（Ｗ−３）、ｘ
（Ｗ−２）、ｘ（Ｗ−１）の２つであり、隣接したタイ
ルから読み出された画素信号はｘo（０）、ｘo（１）で
ある。画像上では、これら５つの信号は互いのタイルの
境界を挟んで連続している。

【００２５】次に判定器２０４は、タイル境界を挟んで
隣接する画像信号からΔｓおよびΔｐを次式を用いて計
算する。

【００２６】 Δs=(x(W-2)-x0(0))^2+(x(W-3)-x0(1))^2 （式１） Δp=(2*x(W-1)-x(W-2)-x0(0))^2+(2*x(W-1)-x(W-3)-x0(1))^2 （式２） Δｓ及びΔｐは後述する２つの拡張方式により信号拡張
を行った時の本来の画素値に対する誤差の２乗和とな
る。

【００２７】この結果を基に判定器２０４は次式により
信号拡張器２０２に出力する制御信号ＳＷを次のように
して決定し、出力する。

【００２８】 Ｉｆ（Δｓ＞Δｐ） ＳＷ＝Ｐ； （式３） Ｉｆ（Δｓ＜＝Δｐ） ＳＷ＝Ｓ； （式４） このように決定された制御信号ＳＷは、信号拡張器２０
２に出力される。

【００２９】信号拡張器２０２は、判定器２０４から入
力したＳＷの値により、フィルタバンク２０３に対して
出力する画像信号の拡張方法を切り替える。

【００３０】図３は切り替えられる２つの拡張方法を示
したものであり、制御信号ＳＷがＳの場合には同図
（ａ）が、Ｐの場合は同図（ｂ）のように拡張方法が選
択される。同図（ａ）は処理対象となるタイルの最後の
画像信号ｘ（Ｗ−１）を中心として、信号を対称的に折
り返すものであり、次式により拡張した画像信号が得ら
れる。

【００３１】 ｘ（Ｗ） ＝ｘ（Ｗ−２） （式５） ｘ（Ｗ＋１）＝ｘ（Ｗ−３） （式６） また、同図（ｂ）は処理対象となるタイルの最後の画像
信号ｘ（Ｗ−１）を中心として、信号を点対称的に拡張
するものであり、次式により拡張した画像信号が得られ
る。

【００３２】 ｘ（Ｗ） ＝２*ｘ（Ｗ−１）-ｘ（Ｗ−２） （式７） ｘ（Ｗ＋１）＝２*ｘ（Ｗ−１）-ｘ（Ｗ−３） （式８） このように制御信号ＳＷに値に応じて拡張された画像信
号は、フィルタバンク２０３に出力される。フィルタバ
ンク２０３は、入力した画像信号に対してローパスフィ
ルタおよびハイパスフィルタを施し、その結果得られた
係数をダウンサンプリングしてバッファ２０１に対して
出力する。

【００３３】図４はフィルタバンクにより出力される係
数の例を示したものであり、同図（ａ）はローパス係数
ａ（ローパスフィルタ側の出力）、同図（ｂ）はハイパ
ス係数ｄ（ハイパスフィルタ側の出力）である。ａおよ
びｄは、ダウンサンプリングにより間引かれており、Ｌ
ａおよびＬｄは次式で計算される、各々ローパス係数ａ
およびハイパス係数ｄのデータ数である。

【００３４】 Ｌａ＝ｃｅｉｌ（Ｗ／２） （式９） Ｌｄ＝ｆｌｏｏｒ（Ｗ／２） （式１０） 但し、ｃｅｉｌ（ｘ）は、ｘがそれを超える最小整数
（小数点以下切り上げ）、ｆｌｏｏｒ（ｘ）はｘを超え
ない最大の整数値（小数点以下切り捨て）、Ｗは元の画
像信号のデータ数であり、本実施形態においてはタイル
の横方向の大きさに等しい。このようにして得られた係
数はバッファ２０１に書き戻され、新たな画像信号が再
び信号拡張器２０２を介してフィルタバンク２０３に読
みこまれ、同様の処理が必要な回数行われる。

【００３５】このように符号化処理が行われた結果、出
力される符号列の例を図５に示す。同図において、ヘッ
ダは画像の大きさ、タイルの大きさ、量子化ステップ等
の画像全体にわたる符号化用のパラメータを含んでい
る。ＴＨはタイル単位のヘッダであり、タイルの先頭を
示すマーカコードＭ、各タイル毎のパラメータ等に加え
て、当該タイルの変換処理において用いられた拡張処理
のタイプを表す数値ＳＷ（ＰまたはＳ）もフラグとして
含まれている。

【００３６】例えば、タイルのサイズが１２８×１２８
ドットであるとした場合、そのタイル内のエッジは水平
方向に対して最初と最後の計２つあり、これが１２８ラ
イン分有することになる。垂直方向も同様であるから、
結局のところ、タイルの境界の数は２×１２８＋２×１
２８＝５１２個存在することになり、各タイル境界にお
ける拡張法を示すフラグの数が５１２個分備えることに
なる。拡張法は線対称、点対象のいずれか一方であるの
で１ビットで表現できるから、５１２ビットのフラグを
有することになる。

【００３７】以上説明したように本実施形態における符
号化処理によると、入力画像の注目タイルの境界に位置
する画素に対して、その境界に位置する画素近傍の状態
に応じて拡張法（線対称か点対象）を選択し、その選択
された拡張法に従ってフィルタ処理し、尚且つ、その選
択した拡張法がいずれであるのかを示す情報（フラグ）
を含んだ符号データを生成することで、復号装置側では
各タイル及びそのエッジの画像を再現する際に最適な復
号化を行うことを可能にさせる。すなわち、復号化側で
は、符号データをタイル単位に復号化する際に、そのタ
イルに隣接するタイルとの接合部分が自然なものとする
ことができる。

【００３８】上記処理を簡単に説明すると以下のように
なる。

【００３９】説明を簡単にするため、水平フィルタ（ロ
ーパス及びハイパスフィルタの２つがある）について説
明する。

【００４０】今、図１１に示す如く、Ｎ×Ｎ画素のある
１ラインについてフィルタ処理する場合を考える。入力
した１ライン分のデータはダウンサンプリングすること
で、２組みのデータＡ，Ｂを生成する。データＡ，Ｂは
入力した１ラインを１画素置きにサンプリングしたもの
と考えると分かり易い。

【００４１】データＡ，Ｂそれぞれについてローパスフ
ィルタ、ハイパスフィルタを用いたフィルタリング処理
を行うことになるが、図示では、データＡに対するロー
パスフィルタについて示した。

【００４２】さて、データＡに対してフィルタリングす
る場合、その両端の画素（タイル境界の画素でもある）
ではフィルタ処理するのに図示の拡張部分の画素データ
が必要になる。この拡張部分の画素（ローパスフィルタ
のタップ数に依存す）を、先に説明した手法で生成する
ことで、フィルタ処理が行えるようにすることになる。

【００４３】これをデータＢに対しても同様の処理（デ
ータＢの場合はハイパスフィルタ処理）を行うことにな
るが、この場合には、ハイパスフィルタのタップ数に応
じた拡張処理が必要になる。

【００４４】本実施形態では、この拡張部分をどのよう
に拡張したかを示すフラグを生成し、それを符号化デー
タのヘッダに埋め込むことになるが、実施形態における
フィルタ処理の動作について図１２を用いて説明する。

【００４５】図示において１００が入力した画像中の或
るタイルを示している。これをダウンサンプリングする
ことで、図示の画像１１０を生成する。そして、先ず、
ローパスフィルタ及びハイパスフィルタ処理を図示の符
号１２０に示す如く、１ライン単位に上から下に向けて
処理する。このとき、上記実施形態で説明した拡張処理
を行うと共に、どのようにして拡張したかを示すフラグ
を作成する。こうして、水平フィルタによるフィルタ処
理が終了すると図示の符号１３０で示すデータが作成さ
れることになる。今度は、垂直な１列ずつ左から右側に
向けてフィルタ処理を行うことで、最終的に図示の符号
１５０のようなフィルタ処理されたデータを得る。

【００４６】次に、上記のようして生成された符号列を
受信もしくは入力し、復号化する装置における手順につ
いて説明する。

【００４７】図６は本実施形態における画像処理装置に
より生成された符号列を復号する復号装置の構成を示し
たものである。同図において、不図示の媒体（フロッピ
ー等の記憶媒体、もしくは通信回線やネットワーク等）
から入力された符号列は符号入力器５において解析さ
れ、復号に必要な情報が抽出される。これらの情報は、
主として図５に示すヘッダから読み込まれるものであ
り、復号画像およびタイルの大きさ等の基本的なパラメ
ータと、タイル毎に指定されるパラメータから成る。こ
の中で、タイルヘッダＴＨに含まれている拡張処理タイ
プＳＷは逆離散ウェーブレット変換器８に直接出力され
ている。

【００４８】符号入力器５は、上述した基本的なパラメ
ータを読みこみ、圧縮されたデータをタイル単位で順次
エントロピ復号器６に出力する。エントロピ復号器６は
入力した符号列を復号し、量子化インデックスを後続の
逆量子化器７に出力する。逆量子化器７は量子化インデ
ックスを係数値に変換し、逆離散ウェーブレット変換器
８に出力している。

【００４９】逆離散ウェーブレット変換器８は入力した
係数値を逆変換して画像信号を復元し、画像出力部９に
出力する。この画像出力部９はモニタ等の画像表示装置
であってもよいし、あるいは磁気ディスク等の記憶装置
であってもよいし、印刷装置であっても構わない。以下
に逆離散ウェーブレット変換部８の詳細について説明す
る。

【００５０】逆離散ウェーブレット変換器８は図示に示
した通りであり、逆量子化器７から出力された係数は処
理対象となるタイル単位でバッファ８０１に読みこまれ
る。バッファ内の係数列は順次１次元のデータ列として
読み出され、フィルタバンク８０３においてアップサン
プリングおよびフィルタ処理が行われて再びバッファ８
０１に書きこまれている。ここで、フィルタ処理を有限
長の係数列に対して行うため、信号拡張器８０２におい
て係数列の端点において拡張が行われる。以下に信号拡
張器８０２の動作について説明する。

【００５１】信号拡張器８０２は符号入力器５から入力
した拡張処理タイプＳＷにより、係数拡張処理の方法を
以下のように切り替える。まず、ＳＷの値がＳの場合は
図７に示す方法により拡張を行う。ここで、ローパスフ
ィルタのタップ数が３、ハイパスフィルタのタップ数が
５であるとすると、ローパス係数ａ、ハイパス係数ｄの
拡張は各々同図（ａ）および（ｂ）のようになる。ま
ず、ローパス係数は端点に相当するａ（Ｌａ−１）を中
心として対称となるよう次式により拡張を行う。

【００５２】 ａ（Ｌａ）＝ａ（Ｌａ−２） （式１１） また、ハイパス係数も同様にｄ（Ｌｄ−１）を中心とし
て対象となるよう、次のように拡張する。

【００５３】 ｄ（Ｌｄ） ＝ｄ（Ｌｄ−２） （式１２） ｄ（Ｌｄ＋１）＝ｄ（Ｌｄ−３） （式１３） このようにして拡張した係数列はフィルタバンク８０３
に出力され、フィルタ処理が行われ、結果がバッファ８
０１に書きこまれる。以上の処理が必要な回数繰り返さ
れ、当該タイルの画像信号が復元されて出力される。

【００５４】一方ＳＷがＰの場合は、図８に示す方法で
係数の拡張が行われる。この時の拡張された係数は、次
式で表される。

【００５５】 ａ（Ｌａ）＝２*ａ（Ｌａ−１）−ａ（Ｌａ−２） （式１４） ｄ（Ｌｄ）＝２*ｄ（Ｌｄ−１）−ｄ（Ｌｄ−２） （式１５） ｄ（Ｌｄ＋１）＝２*ｄ（Ｌｄ−１）ｄ（Ｌｄ−３） （式１６） 本実施形態においては、（式５）から（式８）により拡
張された画像信号と、隣接タイルでの実際の画像信号の
差の２乗和を（式１）および（式２）を用いて計算し、
その値が小さくなるように拡張方式を選択した。従って
拡張された画像信号はタイル境界を挟んだ実際の変化に
近い値となり、量子化により復号時誤差が生じたとして
も、境界部分での歪を抑制することができる。

【００５６】上記実施形態における図１の画像処理装置
の構成としては、画像を入力する手段（例えばカメラや
スキャナ、もしくは画像を記憶したフロッピー等の記憶
媒体用のドライブ）や、ネットワーク上の相手先へ転送
する手段、もしくは記憶媒体に書き込む手段を備えるパ
ーソナルコンピュータ等の汎用情報処理装置で実現でき
る。すなわち、上記の処理のほとんどがソフトウェアで
もって実現できることになる。

【００５７】以上の通りであるが、実施形態における符
号化装置における動作処理手順を、図１０のフローチャ
ートに従って説明する。

【００５８】まず、ステップＳ１で１タイル分のデータ
を読出し、ステップＳ２で注目画素がタイルの境界近傍
にあるかどうかを判断する。境界近傍にあると判断した
場合には、ステップＳ３に進み、隣接するタイル中の不
足分の画素をリードし、ステップＳ４で先に説明したΔ
ｓ、Δｐを算出する。

【００５９】そして、ステップＳ５において算出された
値を比較し、それぞれに応じて拡張画素データを生成す
る（ステップＳ６、又はＳ７）。

【００６０】こうしてフィルタ処理分のデータが揃う
と、ステップＳ８に進み、フィルタ処理を施し、ステッ
プＳ９の量子化処理、ステップＳ１０のエントロピー符
号化を行う。この際、ステップＳ５で判定された結果を
フラグとして挿入する処理も行う。そして、ステップＳ
１１で全画像について処理がなされたと判断するまで、
上記の処理を繰り返すことで、最終的な符号データを生
成する。

【００６１】復号化装置では、先に説明した構成で復号
化を行うことになるが、その処理手順は上記説明からす
れば容易に理解できよう。

【００６２】＜第２の実施形態＞以上の第１の実施形態
においては、タイル境界での画像信号の変化を元に拡張
方式を選択したが、拡張した画像信号を離散ウェーブレ
ット変換した結果により、圧縮効率が高くなるよう選択
を行うこともできる。以下の第２の実施形態において
は、これによる選択方法について説明する。

【００６３】まず符号化および復号化装置の全体構成お
よび離散ウェーブレット変換器、逆離散ウェーブレット
変換器の構成については、第１の実施形態と同様である
ので、説明は省略する。本実施形態において異なるの
は、符号化装置における判定器２０４の動作であるの
で、以下この部分について詳細を説明する。

【００６４】判定器２０４は、図３（ａ）および（ｂ）
の２つの拡張方式により画像信号を拡張した場合の、タ
イル境界点におけるローパス係数ａｓ（Ｌａ−１）およ
びａｐ（Ｌａ−１）を計算し、それらを２進数表現する
ために必要なビットプレーン数Ｂｓ（Ｌａ−１），Ｂｐ
（Ｌａ−１）を各々次のように求める。

【００６５】 Bs(La-1)=ceil(log₂(floor(abs(as(La-1)/q)))) （式１７） Bp(La-1)=ceil(log₂(floor(abs(ap(La-1)/q)))) （式１８） ここで、abs(x)はｘの絶対値、ｑは当該タイルの量子化
ステップである。この結果を元に判定器２０４は次式に
より信号拡張器２０２に出力する制御信号ＳＷを次のよ
うにして決定し、出力する。

【００６６】 if（Ｂｓ(Ｌａ−１)＞Ｂｐ(Ｌａ−１)） ＳＷ＝Ｐ； （式１９） if（Ｂｓ(Ｌａ−１)＜＝Ｂｐ(Ｌａ−１)） ＳＷ＝Ｓ； （式２０） このように決定された制御信号ＳＷは信号拡張器２０２
に出力される。

【００６７】本実施形態によれば、タイル境界における
離散ウェーブレット係数のレンジが小さくなるように拡
張方式を選ぶことができる。従って、エントロピ符号化
器４においてビットプレーン符号化を行う際に、符号化
対象となるシンボルの数を削減することができる。これ
により、圧縮効率をより高くすることが可能となり、同
一符号長における画質を向上させることができる。また
本実施形態においては、判定器２０４によりローパス係
数を計算したが、ハイパス係数あるいはそれらを組み合
わせて拡張方式を選択してもよい。

【００６８】＜第３の実施形態＞以上説明した第１、第
２の実施形態では、タイル単位に符号データを生成する
際、タイルの境界部における拡張法を示すフラグを境界
に位置する画素数だけ生成する必要がある。例えば１２
８×１２８画素のタイルの場合、５１２個のフラグが必
要になる。実際は、ローパスフィルタ、ハイパスフィル
タ処理することになるので、それぞれ毎にエッジが存在
し、しかも、これを垂直、水平双方に行うわけであるか
ら、フラグの数はこの数倍になる。

【００６９】しかしながら、入力される画像の解像度に
もよるが、昨今の画像の解像度はより高い方向へ進んで
きており、画像中の１２８×１２８画素程度のタイルを
着目したとき、そのタイル内の大部分のエッジでは同じ
拡張法が選択される可能性が高い。そこで、タイル全
体、もしくは、水平及び垂直方向のそれぞれについての
代表的な拡張法（最頻度の拡張法）を、その方向にある
全画素位置における拡張法として扱うようにしてもよ
い。

【００７０】このようにすると、符号化装置側で発生す
る符号データ量をより少なくさせることが可能になる。

【００７１】＜その他の実施形態＞以上の実施形態で
は、タイル境界近傍に位置するタイル内外の画素状態に
応じて信号の最適な拡張方式を決定する様にしたが、本
発明はこれに限定されない。例えば、上記タイル内の画
素の状態から最適な拡張方式を決定するようにしても構
わない。この場合、具体的にはタイル境界近傍の内側に
て画素の変化が大きければ隣接タイル（境界外側）でも
同様に変化していると予測し、点対称に拡張子、上記変
化が一定の場合には線対称に拡張する様にすれば隣接タ
イルの画素信号を参照する必要がなくなる。

【００７２】また、本実施形態では垂直、水平方向に一
度ずつのフィルタ処理により図１２のようなウェーブレ
ット変換係数を得る場合について説明したが、本発明は
これに限定されない。例えば、一般的に知られている様
に、ＬＬ成分に更にウェーブレット変換を繰り返すこと
により、図１３に示す様な係数の構成を得る場合にも本
発明を適用できる。その際にはウェーブレット変換時に
変換対象となる成分（ＬＬ、ＬＬ2等）の境界部分にも
上記実施形態と同様の問題が生じることになるので、同
様の拡張方式の選択抜粋を用いることになる。例えば、
ＬＬの境界の拡張方式を決定するには少なくともＬＬの
境界近傍の内部係数を参照（必要があれば隣接タイルの
ＬＬを参照しても良い）すれば良い。また、このように
ウェーブレット変換をタイル内で繰り返す場合、フラグ
の数が、第１の実施形態より更に多くなるが、第３の実
施形態にて説明したようにタイル毎に統一した拡張方法
にすればフラグ量は減らせる。

【００７３】上記実施形態では、符号化装置及び復号化
装置それぞれについて説明したが、これらは１つの装置
内で実現しても構わない。つまり、符号化装置に相当す
る処理で圧縮符号化した結果をファイルとして保存し、
再生する場合に上記符号化装置に相当する処理を行うの
である。

【００７４】つまり、本発明は上記実施形態を実現する
ための装置および方法のみに限定されるものではなく、
上記システム又は装置内のコンピュータ（ＣＰＵあるい
はＭＰＵ）に、上記実施形態を実現するためのソフトウ
エアのプログラムコードを供給し、このプログラムコー
ドに従って上記システムあるいは装置のコンピュータが
上記各種デバイスを動作させることにより上記実施形態
を実現する場合も本発明の範疇に含まれる。

【００７５】またこの場合、前記ソフトウエアのプログ
ラムコード自体が上記実施形態の機能を実現することに
なり、そのプログラムコード自体、およびそのプログラ
ムコードをコンピュータに供給するための手段、具体的
には上記プログラムコードを格納した記憶媒体は本発明
の範疇に含まれる。

【００７６】この様なプログラムコードを格納する記憶
媒体としては、例えばフロッピーディスク、ハードディ
スク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁
気テープ、不揮発性のメモリカード、ＲＯＭ等を用いる
ことができる。

【００７７】また、上記コンピュータが、供給されたプ
ログラムコードのみに従って各種デバイスを制御するこ
とにより、上記実施形態の機能が実現される場合だけで
はなく、上記プログラムコードがコンピュータ上で稼働
しているＯＳ（オペレーティングシステム）、あるいは
他のアプリケーションソフト等と共同して上記実施形態
が実現される場合にもかかるプログラムコードは本発明
の範疇に含まれる。

【００７８】更に、この供給されたプログラムコード
が、コンピュータの機能拡張ボードやコンピュータに接
続された機能拡張ユニットに備わるメモリに格納された
後、そのプログラムコードの指示に基づいてその機能拡
張ボードや機能格納ユニットに備わるＣＰＵ等が実際の
処理の一部または全部を行い、その処理によって上記実
施形態が実現される場合も本発明の範疇に含まれる。

【００７９】

【発明の効果】以上述べたように、本発明においては、
符号化の際にタイル境界における画像信号の変化の度合
いに応じてフィルタ処理に際しての拡張方式を切り替え
ている。これにより、離散ウェーブレット変換係数が量
子化されたことにより復号時に誤差が生じたとしても、
タイル境界において元の画像信号の状態に応じた拡張を
行うことで、歪を抑制することが可能となる。また、切
り替えの情報を符号列に含めることにより、復号側では
適切な方式を選択させることが可能になる。

【図面の簡単な説明】

【図１】実施形態における画像符号化装置のブロック図
である。

【図２】タイル境界での画像信号例を示す図である。

【図３】画像信号の拡張方法を説明するための図であ
る。

【図４】離散ウェーブレット変換係数を説明するための
図である。

【図５】実施形態における画像符号化装置により生成さ
れる符号列の説明図である。

【図６】実施形態における画像復号化装置のブロック図
である。

【図７】離散ウェーブレット変換係数の拡張方法を説明
するための図である。

【図８】離散ウェーブレット変換係数の拡張方法を説明
するための図である。

【図９】従来の装置構成及び動作を示す図である。

【図１０】図１の装置における動作処理手順を示すフロ
ーチャートである。

【図１１】実施形態におけるフィルタ処理における拡張
処理を説明するための図である。

【図１２】実施形態におけるフィルタ処理の動作順を示
す図である。

【図１３】ウェーブレット変換の例を示す図である。

【符号の説明】

１ 画像入力器 ２ 離散ウェーブレット変換器 ３ 量子化器 ４ エントロピ符号化器 ５ 符号入力器 ６ エントロピ復号器 ７ 逆量子化器 ８ 逆離散ウェーブレット変換器 ９ 画像出力部 ２０１ バッファ ２０２ 信号拡張器 ２０３ フィルタバンク ２０４ 判定器 ８０１ バッファ ８０２ 信号拡張器 ８０３ フィルタバンク

───────────────────────────────────────────────────── フロントページの続き (72)発明者 岸 裕樹 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 Ｆターム(参考） 5J064 AA01 AA02 BA09 BA16 BB14 BC12 BC14 BC16 BC25 BD03

Claims (13)

【特許請求の範囲】
1. 【請求項１】 入力画像を所定サイズのタイルに分割す
   る分割手段と、 個々のタイルに含まれる画像信号に対して、異なる所定
   周波数通過特性を有するフィルタ群を用いて係数に変換
   する変換手段と、 該変換手段によって得られた変換係数を量子化する量子
   化手段と、 該量子化手段で量子化して得られた量子化インデックス
   をエントロピー符号化するエントロピー符号化手段と、 該エントロピー符号化手段で符号化された符号データを
   出力する出力手段とを備える画像処理装置であって、 前記変換手段は、前記タイルの境界近傍の注目画素に対
   し、当該タイル内の画素の状態と当該タイルに隣接する
   タイル内の前記注目画素の近傍の画素の状態に応じて注
   目画素位置に対するフィルタ処理する際の拡張処理を選
   択する選択手段を含み、 前記出力手段は、前記選択手段で選択された拡張処理を
   示す情報を符号データに埋め込み出力する手段を含むこ
   とを特徴とする画像処理装置。
2. 【請求項２】 前記選択手段で選択する拡張処理には、 前記タイル境界の画素に対して点対象の第１の拡張処理
   と、 前記タイル境界の画素に対して線対称の第２の拡張処理
   ととが含まれることを特徴とする請求項第１項に記載の
   画像処理装置。
3. 【請求項３】 前記選択手段は、前記タイル境界に位置
   する注目画素と、当該タイル内の注目画素の近傍の画素
   と、注目タイルに隣接するタイル内の前記注目画素に隣
   接する画素の関係に基づいて、前記第１、第２の拡張処
   理のいずれか１つを選択することを特徴とする請求項第
   ２項に記載の画像処理装置。
4. 【請求項４】 前記注目画素の近傍の画素数は、前記フ
   ィルタのタップ数に応じた数とすることを特徴とする請
   求項第３項に記載の画像処理装置。
5. 【請求項５】 前記注目タイル内における前記拡張処理
   を示す情報から代表的な情報を決定する手段を更に備
   え、前記出力手段は当該手段で決定された情報を注目タ
   イルに対する拡張処理を示す情報として埋め込み出力す
   ることを特徴とする請求項第１項に記載の画像処理装
   置。
6. 【請求項６】 入力画像を所定サイズのタイルに分割す
   る分割手段と、 個々のタイルに含まれる画像信号に対して、異なる所定
   周波数通過特性を有するフィルタ群を用いて係数に変換
   する変換手段と、 該変換手段によって得られた変換係数を量子化する量子
   化手段と、 該量子化手段で量子化して得られた量子化インデックス
   をエントロピー符号化するエントロピー符号化手段と、 該エントロピー符号化手段で符号化された符号データを
   出力する出力手段とを備える画像処理装置であって、 前記変換手段は、前記タイルの境界近傍の注目画素に対
   し、少なくとも当該タイル内の画素の状態に応じて注目
   画素位置に対するフィルタ処理する際の拡張処理を選択
   する選択手段を含み、 前記出力手段は、前記選択手段で選択された拡張処理を
   示す情報を符号データに埋め込み出力する手段を含むこ
   とを特徴とする画像処理装置。
7. 【請求項７】 入力画像を所定サイズのタイルに分割す
   る分割工程と、 個々のタイルに含まれる画像信号に対して、異なる所定
   周波数通過特性を有するフィルタ群を用いて係数に変換
   する変換工程と、 該変換工程によって得られた変換係数を量子化する量子
   化工程と、 該量子化工程で量子化して得られた量子化インデックス
   をエントロピー符号化するエントロピー符号化工程と、 該エントロピー符号化工程で符号化された符号データを
   出力する出力工程とを備える画像処理方法であって、 前記変換工程は、前記タイルの境界近傍の注目画素に対
   し、当該タイル内の画素の状態と当該タイルに隣接する
   タイル内の前記注目画素の近傍の画素の状態に応じて注
   目画素位置に対するフィルタ処理する際の拡張処理を選
   択する選択工程を含み、 前記出力工程は、前記選択工程で選択された拡張処理を
   示す情報を符号データに埋め込み出力する工程を含むこ
   とを特徴とする画像処理装置。
8. 【請求項８】 コンピュータが読み込み実行することで
   画像を圧縮符号化する装置として機能するプログラムコ
   ードを格納する記憶媒体であって、 入力画像を所定サイズのタイルに分割する分割工程のプ
   ログラムコードと、 個々のタイルに含まれる画像信号に対して、異なる所定
   周波数通過特性を有するフィルタ群を用いて係数に変換
   する変換工程のプログラムコードと、 該変換工程によって得られた変換係数を量子化する量子
   化工程のプログラムコードと、 該量子化工程で量子化して得られた量子化インデックス
   をエントロピー符号化するエントロピー符号化工程のプ
   ログラムコードと、 該エントロピー符号化工程で符号化された符号データを
   出力する出力工程のプログラムコードとを格納し、 前記変換工程のプログラムコードは、前記タイルの境界
   近傍の注目画素に対し、当該タイル内の画素の状態と当
   該タイルに隣接するタイル内の前記注目画素の近傍の画
   素の状態に応じて注目画素位置に対するフィルタ処理す
   る際の拡張処理を選択する選択工程のプログラムコード
   を含み、 前記出力工程のプログラムコードは、前記選択工程で選
   択された拡張処理を示す情報を符号データに埋め込み出
   力する工程のプログラムコードを含むことを特徴とする
   記憶媒体。
9. 【請求項９】 入力画像を所定サイズのタイルに分割す
   る分割工程と、 個々のタイルに含まれる画像信号に対して、異なる所定
   周波数通過特性を有するフィルタ群を用いて係数に変換
   する変換工程と、 該変換工程によって得られた変換係数を量子化する量子
   化工程と、 該量子化手段で量子化して得られた量子化インデックス
   をエントロピー符号化するエントロピー符号化工程と、 該エントロピー符号化工程で符号化された符号データを
   出力する出力工程とを備える画像処理方法であって、 前記変換工程は、前記タイルの境界近傍の注目画素に対
   し、少なくとも当該タイル内の画素の状態に応じて注目
   画素位置に対するフィルタ処理する際の拡張処理を選択
   する選択工程を含み、 前記出力工程は、前記選択工程で選択された拡張処理を
   示す情報を符号データに埋め込み出力する工程を含むこ
   とを特徴とする画像処理方法。
10. 【請求項１０】 コンピュータが読み込み実行すること
    で画像を圧縮符号化する装置として機能するプログラム
    コードを格納する記憶媒体であって、 入力画像を所定サイズのタイルに分割する分割工程のプ
    ログラムコードと、 個々のタイルに含まれる画像信号に対して、異なる所定
    周波数通過特性を有するフィルタ群を用いて係数に変換
    する変換工程のプログラムコードと、 該変換工程によって得られた変換係数を量子化する量子
    化工程のプログラムコードと、 該量子化手段で量子化して得られた量子化インデックス
    をエントロピー符号化するエントロピー符号化工程のプ
    ログラムコードと、 該エントロピー符号化工程で符号化された符号データを
    出力する出力工程のプログラムコードを格納し、 前記変換工程のプログラムコードは、前記タイルの境界
    近傍の注目画素に対し、少なくとも当該タイル内の画素
    の状態に応じて注目画素位置に対するフィルタ処理する
    際の拡張処理を選択する選択工程のプログラムコードを
    含み、 前記出力工程のプログラムコードは、前記選択工程で選
    択された拡張処理を示す情報を符号データに埋め込み出
    力する工程のプログラムコードを含むことを特徴とする
    記憶媒体。
11. 【請求項１１】 請求項第１項乃至第６項のいずれか１
    つに記載の画像処理装置より出力された符号データを復
    号化する画像処理装置であって、 分割されたタイル単位の符号化データを入力する入力手
    段と、 入力された符号データをエントロピー符号化して量子化
    インデクスを出力するエントロピー復号化手段と、 得られた量子化インデクスを逆量子化して変換係数を出
    力する逆量子化手段と、 得られた変換係数を逆変換して画像信号を生成する画像
    信号生成手段とを備え、 前記画像信号生成手段は、 処理対象となるタイルの境界部分について逆変換する
    際、当該タイルについて埋め込まれた拡張処理を示す情
    報に基づき変換係数を拡張する拡張手段と、 拡張された変換係数に対して所定のフィルタ係数を用い
    てフィルタ処理するするフィルタバンクを含むことを特
    徴とする画像処理装置。
12. 【請求項１２】 請求項第１項乃至第６項のいずれか１
    つに記載の画像処理装置より出力された符号データを復
    号化する画像処理方法であって、 分割されたタイル単位の符号化データを入力する入力工
    程と、 入力された符号データをエントロピー符号化して量子化
    インデクスを出力するエントロピー復号化工程と、 得られた量子化インデクスを逆量子化して変換係数を出
    力する逆量子化工程と、 得られた変換係数を逆変換して画像信号を生成する画像
    信号生成工程とを備え、 前記画像信号生成工程は、 処理対象となるタイルの境界部分について逆変換する
    際、当該タイルについて埋め込まれた拡張処理を示す情
    報に基づき変換係数を拡張する拡張工程と、 拡張された変換係数に対して所定のフィルタ係数を用い
    てフィルタ処理するするフィルタバンク工程を含むこと
    を特徴とする画像処理方法。
13. 【請求項１３】 コンピュータが読み込み実行すること
    で、請求項第１項乃至第６項のいずれか１つに記載の画
    像処理装置より出力された符号データを復号化する画像
    処理装置として機能するプログラムコードを格納する記
    憶媒体であって、 分割されたタイル単位の符号化データを入力する入力工
    程のプログラムコードと、 入力された符号データをエントロピー符号化して量子化
    インデクスを出力するエントロピー復号化工程のプログ
    ラムコードと、 得られた量子化インデクスを逆量子化して変換係数を出
    力する逆量子化工程のプログラムコードと、 得られた変換係数を逆変換して画像信号を生成する画像
    信号生成工程のプログラムコードとを備え、 前記画像信号生成工程のプログラムコードは、 処理対象となるタイルの境界部分について逆変換する
    際、当該タイルについて埋め込まれた拡張処理を示す情
    報に基づき変換係数を拡張する拡張工程のプログラムコ
    ードと、 拡張された変換係数に対して所定のフィルタ係数を用い
    てフィルタ処理するするフィルタバンク工程のプログラ
    ムコードを含むことを特徴とする記憶媒体。