JP2001285865A

JP2001285865A - 画像処理装置及びその方法、コンピュータ可読メモリ

Info

Publication number: JP2001285865A
Application number: JP2000089305A
Authority: JP
Inventors: Osamu Itokawa; 修糸川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-03-28
Filing date: 2000-03-28
Publication date: 2001-10-12

Abstract

(57)【要約】【課題】動画像を効率よくかつ良好に符号化・復号化
することができる画像処理装置及びその方法、コンピュ
ータ可読メモリを提供する。【解決手段】動画像データに水平サブバンド分割を水
平ＤＷＴ部１０２で行う。次に、得られるサブバンドに
基づいて、動画像データに施すサブバンド分割の種類を
判定部１０５で判定する。そして、その判定結果に基づ
いて、動画像データに対しフレーム単位あるいはフィー
ルド単位のサブバンド分割をフレームＤＷＴ部１０３、
フィールドＤＷＴ部１０４で行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像を符号化・
復号化する画像処理装置及びその方法、コンピュータ可
読メモリに関するものである。

【０００２】

【従来の技術】カラー静止画像の符号化方式として、国
際標準であるＪＰＥＧが広く知られている。また、ＪＰ
ＥＧより更に高い圧縮率を実現する方法として、ウェー
ブレット変換をベースとした新たな符号化方式が規格化
されつつある。

【０００３】近年ＣＰＵの処理速度の向上に伴い、この
符号化方式を採用した画像符号化装置で符号化処理を連
続的に行うことにより、動画像の符号化が実現可能にな
ってきた。画像符号化装置への動画像の入力方式には、
画面左上から右下に向かい１ラインずつ順番に読み込む
プログレッシブ方式と、１ライン毎に飛ばして奇数ライ
ンと偶数ラインの２回に分けて読み込むインターレース
方式がある。

【０００４】

【発明が解決しようとする課題】しかしながら、上記従
来の静止画符号化に用いられる符号化方式は、プログレ
ッシブ方式なので、インターレース方式の動画像をその
まま静止画符号化に適用すると、大幅に符号化効率が落
ちてしまう場合がある。

【０００５】以下、その例を詳細に説明する。

【０００６】インターレース方式は、１ラインおきに画
像を取り込むことで、扱う画素数を半分にする代わり
に、取り込みの周波数を倍にするという方式である。図
２０はこのタイミングを示す説明図であり、プログレッ
シブ方式のフレーム周期を１／３０秒とすると、インタ
ーレース方式のフィールド周期は１／６０秒となる。

【０００７】インターレース方式の動画像をプログレッ
シブ方式として扱う場合は、２つのフィールド画像を１
つのフレーム画像として扱うことになる。フレーム周期
で扱う画素数はどちらも同じである。

【０００８】図２１はある幅を持った縦の線が画面右か
ら左へ移動する画像を取り込んだときの様子を説明する
ための図である。

【０００９】図２１（ａ）はフレーム周期で取り込んだ
画像である。図２１（ｂ）はフィールド周期で取り込ん
だ画像である。図２１（ｃ）は図２１（ｂ）の画像をフ
レーム周期で表示したものである。取り込みタイミング
に時間差があるため、水平方向にずれが生じている。こ
のずれは、垂直方向から見た場合、高い周波数成分を含
んでいることになる。自然画像の一般的な特徴として、
サブバンドに分割した場合、低域により多くの係数を含
む。図２１（ｃ）において、低域側を再度サブバンド分
割しているのは、このためである。しかしながら、イン
ターレース方式の画像においては、図２１の例で説明し
たように、高域側にも多くの係数を含んでしまうことに
なる。

【００１０】本来、ＬＬのみに集中していた係数が、Ｈ
Ｌにも多く現れることとなる場合、または、元々の信号
が水平方向に高周波成分を含んでいる場合は、ＬＬ，Ｈ
Ｌ共に多くの係数が現れる。そして、インターレース方
式の影響を受けると、ＬＨ，ＨＨにも係数が現れること
となり、後段のエントロピ符号化の効率が著しく低下す
ることとなる。

【００１１】また、１／６０秒の間に水平方向の動きが
ない場合は、垂直方向には高い相関があるため、従来の
静止画符号化と同様に、フレーム単位の符号化を行った
方が高い符号化効率が得られる。

【００１２】このように、インターレース方式の動画像
を効率よく符号化するには、フレーム単位の処理とフィ
ールド単位の処理を組み合わせた方がよい。

【００１３】本発明は上記の問題点に鑑みてなされたも
のであり、動画像を効率よくかつ良好に符号化・復号化
することができる画像処理装置及びその方法、コンピュ
ータ可読メモリを提供することを目的とする。

【００１４】

【課題を解決するための手段】上記の目的を達成するた
めの本発明による画像処理装置は以下の構成を備える。
即ち、入力された動画像データを符号化する画像処理装
置であって、前記動画像データに水平サブバンド分割を
行う第１分割手段と、前記第１分割手段より得られるサ
ブバンドに基づいて、前記動画像データに施すサブバン
ド分割の種類を判定する判定手段と、前記判定手段の判
定結果に基づいて、前記動画像データに対しフレーム単
位あるいはフィールド単位のサブバンド分割を行う第２
分割手段とを備える。

【００１５】また、好ましくは、前記判定手段は、前記
第１分割手段より得られるサブバンドの低域側のサブバ
ンドに基づいて、前記動画像データに施すサブバンド分
割の種類を判定する。

【００１６】また、好ましくは、前記判定手段は、前記
低域側のサブバンドを構成する画素の差分絶対値和を演
算し、その演算値に基づいて、前記動画像データに施す
サブバンド分割の種類を判定する。

【００１７】また、好ましくは、前記判定手段は、前記
低域側のサブバンドを構成する画素に対し、水平方向と
垂直方向の両方向もしくは一方向に間引いた画素に基づ
いて、前記動画像データに施すサブバンド分割の種類を
判定する。

【００１８】また、好ましくは、前記判定手段は、前記
低域側のサブバンドに再帰的に水平サブバンド分割を行
い、最終の低域側のサブバンドに基づいて、前記動画像
データに施すサブバンド分割の種類を判定する。

【００１９】また、好ましくは、前記第２分割手段より
得られるサブバンドと、前記判定手段による判定結果を
示す識別情報を含む符号化データを生成する符号化手段
を備える。

【００２０】上記の目的を達成するための本発明による
画像処理方法は以下の構成を備える。即ち、入力された
動画像データを符号化する画像処理方法であって、前記
動画像データをに水平サブバンド分割を行う第１分割工
程と、前記第１分割工程より得られるサブバンドに基づ
いて、前記動画像データに施すサブバンド分割の種類を
判定する判定工程と、前記判定工程の判定結果に基づい
て、前記動画像データに対しフレーム単位あるいはフィ
ールド単位のサブバンド分割を行う第２分割工程とを備
える。

【００２１】上記の目的を達成するための本発明による
コンピュータ可読メモリは以下の構成を備える。即ち、
入力された動画像データを符号化する画像処理のプログ
ラムコードが格納されたコンピュータ可読メモリであっ
て、前記動画像データに水平サブバンド分割を行う第１
分割工程のプログラムコードと、前記第１分割工程より
得られるサブバンドに基づいて、前記動画像データに施
すサブバンド分割の種類を判定する判定工程のプログラ
ムコードと、前記判定工程の判定結果に基づいて、前記
動画像データに対しフレーム単位あるいはフィールド単
位のサブバンド分割を行う第２分割工程のプログラムコ
ードとを備える。

【００２２】

【発明の実施の形態】まず、ウェーブレット変換をベー
スにした従来の符号化・復号化方式について説明する。（画像符号化装置）図７は従来の画像符号化装置の構成
を示すブロック図である。

【００２３】図において、７０１は画像入力部、７０２
は離散ウェーブレット変換部、７０３は量子化部、７０
４はエントロピ符号化部、７０５は符号出力部である。

【００２４】まず、画像入力部７０１に対して符号化対
象となる画像を構成する画素信号がラスタースキャン順
に入力される。入力された画像信号は離散ウェーブレッ
ト変換部７０２に入力される。以降の説明では、画像信
号は、モノクロの多値画像を表現しているが、カラー画
像等、複数の色成分を符号化するならば、ＲＧＢ各色成
分、あるいは輝度、色度成分を上記単色成分として圧縮
すればよい。

【００２５】離散ウェーブレット変換部（ＤＷＴ）７０
２は、入力された画像信号に対して２次元の離散ウェー
ブレット変換処理を行い、変換係数を計算して出力す
る。ここで、離散ウェーブレット変換部７０２の基本構
成について、図８を用いて説明する。

【００２６】図８は離散ウェーブレット変換部の基本構
成を示す図である。

【００２７】図８において、入力された画像信号は、メ
モリ８０１に記憶され、処理部８０２により順次読み出
されて変換処理が行われ、再び、メモリ８０１に書きこ
まれる。

【００２８】次に、処理部８０２の詳細構成について、
図９を用いて説明する。

【００２９】図９は処理部の詳細構成を示す図である。

【００３０】図９において、入力された画像信号ｘは、
遅延素子およびダウンサンプラの組み合わせにより、偶
数アドレスおよび奇数アドレスの信号に分離され、２つ
のフィルタｐおよびｕによりフィルタ処理が施される。
図中、ｓおよびｄは、各々１次元の画像信号に対して１
レベルの分解を行った際のローパス係数およびハイパス
係数を表しており、次式により計算される。

【００３１】 d(n)=x(2*n+1)-floor((x(2*n)+x(2*n+2))/2) （１） s(n)=x(2*n)+floor((d(n-1)+d(n))/4) （２）但し、ｘ（n）は、変換対象となる画像信号である。ま
た、floor(x)は、x未満の整数の中で最も大きい整数値
を表す。

【００３２】以上の処理により、画像信号に対する１次
元の離散ウェーブレット変換処理が行われる。

【００３３】２次元の離散ウェーブレット変換は、１次
元の変換を画像の水平・垂直方向に対して順次行うもの
であり、その詳細は公知であるので、ここでは説明を省
略する。

【００３４】次に、２次元の離散ウェーブレット変換に
より得られる２レベルの変換係数群について、図１０を
用いて説明する。

【００３５】図１０は２レベルの変換係数群の構成例を
示す図である。

【００３６】画像信号は、異なる周波数帯域の係数列Ｈ
Ｈ１，ＨＬ１，ＬＨ１，…，ＬＬに分解される。尚、以
降の説明ではこれらの係数列をサブバンドと呼ぶ。各サ
ブバンドは、後続の量子化部７０３に出力される。

【００３７】再び、図７の説明に戻る。

【００３８】量子化部７０３は、入力されたサブバンド
を、所定の量子化ステップΔにより量子化し、その量子
化値に対する量子化インデックスをエントロピ符号化部
７０４に出力する。量子化は、次式により行われる。

【００３９】 q=sign(c) floor(abs(c)/Δ) （３） sign(c)=1 ；c＞=0 （４） sign(c)=-1 ；c＜0 （５）ここで、ｃは量子化対象となる係数である。また、Δの
値として１を選択することも可能である。この場合、実
際に量子化は行われず、量子化部７０３に入力されたサ
ブバンドは、そのまま、後続のエントロピ符号化部７０
４に出力される。

【００４０】エントロピ符号化部７０４は、入力された
量子化インデックスをビットプレーンに分解し、ビット
プレーンを単位に２値算術符号化を行ってコードストリ
ームを出力する。ここで、エントロピ符号化部７０４の
動作について、図１１を用いて説明する。

【００４１】図１１はエントロピ符号化部の動作を説明
するための図である。

【００４２】この例においては、４ｘ４の大きさを持つ
サブバンド内の領域において非０の量子化インデックス
が３個存在しており、それぞれ＋１３，−６，＋３の値
を持っている。エントロピ符号化部７０４は、このサブ
バンドを走査して最大値Ｍを求め、次式により最大の量
子化インデックスを表現するために必要なビット数Ｓを
計算する。

【００４３】 S=ceil(log2(abs(Ｍ)))) （６）ここで、ceil（ｘ）は、ｘ以上の整数の中で最も小さい
整数値を表す。

【００４４】図１１（ａ）においては、最大値は１３で
あるので、式（６）によってＳは４となる。そのため、
シーケンス中の１６個の量子化インデックスは、図１１
（ｂ）に示すように４つのビットプレーンを単位として
処理が行われる。最初に、エントロピ符号化部４は最上
位ビットプレーン（同図ＭＳＢで表す）の各ビットを２
値算術符号化し、ビットストリームとして出力する。

【００４５】次に、ビットプレーンを１レベル下げ、以
下同様に対象ビットプレーンが最下位ビットプレーン
（同図ＬＳＢで表す）に至るまで、ビットプレーン内の
各ビットを符号化し符号出力部７０５に出力する。この
時、各量子化インデックスの符号は、ビットプレーン走
査において最初の非０ビットが検出されるとそのすぐ後
に当該量子化インデックスの符号がエントロピ符号化さ
れる。

【００４６】次に、符号出力部７０５に出力される符号
配列の構成について、図１２を用いて説明する。

【００４７】図１２は符号出力部に出力される符号列の
構成を示す図である。

【００４８】図１２（ａ）は符号列の全体の構成を示す
図あり、ＭＨはメインヘッダ、ＴＨはタイルヘッダ、Ｂ
Ｓはビットストリームである。図１２（ｂ）はメインヘ
ッダＭＨの構成を示す図であり、符号化対象となる画像
のサイズ（水平および垂直方向の画素数）、画像を複数
の矩形領域であるタイルに分割した際のサイズ、各色成
分数を表すコンポーネント数、各成分の大きさ、ビット
精度を表すコンポーネント情報から構成されている。
尚、画像をタイルに分割しない場合は、タイルサイズと
画像サイズは同じ値を取り、対象画像がモノクロの多値
画像の場合コンポーネント数は１である。

【００４９】また、図１２（ｃ）はタイルヘッダＴＨの
構成を示す図であり、当該タイルのビットストリーム長
とヘッダ長を含めたタイル長および当該タイルに対する
符号化パラメータから構成される。符号化パラメータに
は、離散ウェーブレット変換のレベル、フィルタの種別
等が含まれている。

【００５０】また、図１２（ｄ）はビットストリームＢ
Ｓの構成を示す図であり、ビットストリームは各サブバ
ンド毎にまとめられ、解像度の小さいサブバンドを先頭
として順次解像度が高くなる順番に配置されている。さ
らに、各サブバンド内は上位ビットプレーンから下位ビ
ットプレーンに向かい、ビットプレーンを単位として符
号が配列されている。

【００５１】上記のような符号配列とすることにより、
後述する図１８に示すような階層的復号化を行うことが
可能となる。

【００５２】また、符号配列は、図１３のようにしても
良い。

【００５３】図１３は符号出力部に出力される符号列の
他の構成を示す図である。

【００５４】図１３（ａ）は符号列の全体の構成を示す
図であり、ＭＨはメインヘッダ、ＴＨはタイルヘッダ、
ＢＳはビットストリームである。図１３（ｂ）はメイン
ヘッダＭＨの構成を示す図であり、符号化対象となる画
像のサイズ（水平および垂直方向の画素数）、画像を複
数の矩形領域であるタイルに分割した際のサイズ、各色
成分数を表すコンポーネント数、各成分の大きさ、ビッ
ト精度を表すコンポーネント情報から構成されている。
尚、画像をタイルに分割しない場合は、タイルサイズと
画像サイズは同じ値を取り、対象画像がモノクロの多値
画像の場合コンポーネント数は１である。

【００５５】また、図１３（ｃ）はタイルヘッダＴＨの
構成を示す図であり、当該タイルのビットストリーム長
とヘッダ長を含めたタイル長および当該タイルに対する
符号化パラメータから構成される。符号化パラメータに
は、離散ウェーブレット変換のレベル、フィルタの種別
等が含まれている。また、図１３（ｄ）はビットストリ
ームＢＳの構成を示す図であり、ビットストリームはビ
ットプレーンを単位としてまとめられ、上位ビットプレ
ーンから下位ビットプレーンに向かう形で配置されてい
る。各ビットプレーンには、各サブバンドにおける量子
化インデックスの当該ビットプレーンを符号化した結果
が順次サブバンド単位で配置されている。

【００５６】上記のような符号配列とすることにより、
後述する図１９に示すような階層的復号化を行うことが
可能となる。

【００５７】上述した処理において、符号化対象となる
画像全体の圧縮率は、量子化ステップΔを変更すること
により制御することが可能である。

【００５８】また、エントロピ符号化部７０４において
符号化するビットプレーンの下位ビットを必要な圧縮率
に応じて制限（廃棄）することも可能である。この場合
には、全てのビットプレーンは符号化されず上位ビット
プレーンから所望の圧縮率に応じた数のビットプレーン
までが符号化され、最終的な符号列に含まれる。（画像復号化装置）次に、上述した画像符号化装置から
出力される符号列のビットストリームを復号化する画像
復号化装置について、図１４を用いて説明する。

【００５９】図１４は従来の画像復号化装置の構成を示
すブロック図である。

【００６０】図１４において、１２０１は符号入力部、
１２０２はエントロピ復号化部、１２０３は逆量子化
部、１２０４は逆離散ウェーブレット変換部、１２０５
は画像出力部である。

【００６１】まず、符号入力部１２０１は、符号列を入
力し、それに含まれるヘッダを解析して後続の処理に必
要なパラメータを抽出し、必要な場合は処理の流れを制
御し、あるいは後続の処理ユニットに対して該当するパ
ラメータを送出する。また、符号列に含まれるビットス
トリームは、エントロピ復号化部１２０２に出力され
る。

【００６２】エントロピ復号化部１２０２は、ビットス
トリームをビットプレーン単位で復号化し、出力する。
ここで、エントロピ復号化部１２０２の動作について、
図１５を用いて説明する。

【００６３】図１５はエントロピ復号化部の動作を説明
するための図である。

【００６４】図１５（ａ）は、復号対象となるサブバン
ドの一領域をビットプレーン単位で順次復号化し、最終
的に量子化インデックスを復元する流れを示しており、
同図の矢印の順にビットプレーンが復号化される。この
場合、図１５（ｂ）のようになる。そして、復元された
量子化インデックスは、逆量子化部１２０３に出力され
る。

【００６５】逆量子化器１２０３は、入力した量子化イ
ンデックスから、次式に基づいて離散ウェーブレット変
換係数を復元する。

【００６６】c'=Δ*q ；q≠0 （７） c'=0 ；q＝0 （８）ここで、ｑは量子化インデックス、Δは量子化ステップ
であり、Δは符号化時に用いられたものと同じ値であ
る。ｃ’は復元されたサブバンドであり、符号化時で
は、ｓまたはｄで表される係数の復元したものである。
サブバンドｃ’は、後続の逆離散ウェーブレット変換
（逆ＤＷＴ）部１２０４に出力される。ここで、逆離散
ウェーブレット変換部１２０４の基本構成について、図
１６を用いて説明する。

【００６７】図１６は逆離散ウェーブレット変換部の基
本構成を示す図である。

【００６８】図１６において、入力されたサブバンド
は、メモリ１４０１に記憶される。メモリ１４０１に記
憶されたサブバンドに対し、処理部１４０２は、１次元
の逆離散ウェーブレット変換を行い、メモリ１４０１か
ら順次変換係数を読み出して処理を行うことで、２次元
の逆離散ウェーブレット変換を実行する。２次元の逆離
散ウェーブレット変換は、順変換と逆の手順により実行
されるが、詳細は公知であるので説明を省略する。

【００６９】次に、処理部１４０２の詳細構成につい
て、図１７を用いて説明する。

【００７０】図１７は処理部の詳細構成を示す図であ
る。

【００７１】図１７において、ｓ’およびｄ’は各々１
次元の画像信号に対して１レベルの分解を行った際のロ
ーパス係数およびハイパス係数を表しており、それぞれ
偶数アドレスおよび奇数アドレスに対応する。そして、
それぞれのサブバンドは、２つのフィルタｕおよびｐに
よりフィルタ処理を施される。そして、フィルタ処理さ
れたサブバンドは、アップサンプラにより重ね合わされ
て画像信号ｘ’が出力される。これらの処理は、次式に
より行われる。

【００７２】 x'(2*n)=s'(n)-floor((d'(n-1)+d'(n))/4) （９） x'(2*n+1)=d'(n)+floor((x'(2*n)+x'(2*n+2))/2) （１０）ここで、（１）、（２）、および（９）、（１０）式に
よる順方向および逆方向の離散ウェーブレット変換は、
完全再構成条件を満たしているため、量子化ステップΔ
が１であり、ビットプレーン復号化において全てのビッ
トプレーンが復号されていれば、復元された画像信号
ｘ’は原画像信号ｘと一致する。

【００７３】以上の処理により、画像信号が復元されて
画像出力部１２０５に出力される。画像出力部１２０５
は、モニタ等の画像表示装置であってもよいし、あるい
は磁気ディスク等の記憶装置であってもよい。

【００７４】以上説明した手順により、画像を復元表示
した際の画像の表示形態について、図１８を用いて説明
する。

【００７５】図１８は画像を復元表示した際の画像の表
示形態を示す図である。

【００７６】図１８（ａ）は、符号列の例を示したもの
であり、基本的な構成は、図１２に基づいている。画像
全体をタイルと設定した場合、符号列中には唯１つのタ
イルヘッダおよびビットストリームが含まれていること
となる。ビットストリームＢＳ０には、図に示すよう
に、最も低い解像度に対応するサブバンドであるＬＬか
ら順次解像度が高くなる順に符号が配置されている。

【００７７】画像復号化装置は、このビットストリーム
を順次読みこみ、各サブバンドに対応する符号を復号し
た時点で画像を表示する。図１８（ｂ）は、各サブバン
ドと表示される画像の大きさの対応を示したものであ
る。この例では、２次元の離散ウェーブレット変換が２
レベルであり、ＬＬのみを復号・表示した場合は原画像
に対して画素数が水平および垂直方向に１／４縮小され
た画像が復元される。更に、ビットストリームを読み込
み、レベル２のサブバンド全てを復号して表示した場合
は、画素数が各方向に１／２に縮小された画像が復元さ
れ、レベル１のサブバンド全てが復号されれば、原画像
と同じ画素数の画像が復元される。

【００７８】また、以上説明した手順により、画像を復
元表示した際の画像の表示形態について、図１９を用い
て説明する。

【００７９】図１９は画像を復元表示した際の画像の表
示形態を示す図である。

【００８０】図１９（ａ）は、符号列の例を示したもの
であり、基本的な構成は図１３に基づいている。画像全
体をタイルと設定した場合、符号列中には唯１つのタイ
ルヘッダおよびビットストリームが含まれていることと
なる。ビットストリームＢＳ０には、図に示すように、
最も上位のビットプレーンから、下位のビットプレーン
に向かって符号が配置されている。

【００８１】画像復号化装置は、このビットストリーム
を順次読みこみ、各ビットプレーンの符号を復号した時
点で画像を表示する。図１９（ｂ）は、上位のビットプ
レーンから順次復号が行われたとき、表示される画像の
画質変化の例を示したものである。この例では、上位の
ビットプレーンのみが復号されている状態では、画像の
全体的な特徴のみが表示されるが、下位のビットプレー
ンが復号されるに従って、段階的に画質が改善されてい
る。量子化において量子化ステップΔが１の場合、全て
のビットプレーンが復号された段階で表示される画像は
原画像と全く同じとなる。

【００８２】上述した例において、エントロピ復号化部
１２０２において、復号する下位ビットプレーンを制限
（無視）することで、受信あるいは処理する符号化デー
タ量を減少させ、結果的に圧縮率を制御することが可能
である。このようにすることにより、必要なデータ量の
符号化データのみから所望の画質の復号画像を得ること
が可能である。また、符号化時の量子化ステップΔが１
であり、復号時に全てのビットプレーンが復号された場
合は、復元された画像が原画像と一致する可逆符号化・
復号化を実現することもできる。

【００８３】以下、図面を参照して、本発明の実施形態
を詳細に説明する。

【００８４】図１は本実施形態の画像符号化装置の概略
構成を示すブロック図である。

【００８５】１０１は画像入力部、１０２は水平方向の
離散ウェーブレット変換を行う水平離散ウェーブレット
変換（水平ＤＷＴ）部、１０３はフレーム単位の離散ウ
ェーブレット変換を行うフレーム離散ウェーブレット変
換（フレームＤＷＴ）部である。１０４はフィールド単
位の離散ウェーブレット変換を行うフィールド離散ウェ
ーブレット変換（フィールドＤＷＴ）部である。１０５
は判定部、１０６は量子化部、１０７はエントロピ符号
化部、１０８は符号出力部である。

【００８６】まず、画像入力部１０１に対して符号化対
象となる画像信号を構成する画素信号がインターレース
方式で入力される。その出力信号は、フレーム単位に画
素配列され、水平ＤＷＴ部１０２で、まず先に水平方向
の離散ウェーブレット変換を行う。変換されたデータ
は、判定部１０５に送られる。

【００８７】判定部１０５では、入力された信号を基に
フレーム単位の処理をすべきか、フィールド単位の処理
をすべきかの選択を行う。判定方法の詳細は後に説明す
る。尚、判定処理はタイル毎に行う。タイル毎にどちら
の処理が選択されたかは、各タイルヘッダ内に１ビット
の識別情報を付与しておけばよい。また、このフレーム
／フィールドの識別情報は、必ずしもタイルヘッダ内に
ある必要はなく、ファイルフォーマットを規定して別に
データテーブルを用意してもよい。画像をタイルに分割
しない場合は、タイルサイズと画像サイズは同じ値とな
る。

【００８８】量子化部１０６は、入力されたサブバンド
を所定の量子化ステップにより量子化し、その量子化値
に対する量子化インデックスを出力する。エントロピ符
号化部１０７では、入力された量子化インデックスをビ
ットプレーンに分解し、ビットプレーンを単位に２値算
術符号化を行ってコードストリームを符号出力部１０８
に出力する。量子化部１０６から符号出力部１０８の処
理は、従来技術で説明した図７の量子化部７０３から符
号出力部７０５の処理と同様であるが、フレーム単位の
場合とフィールド単位の場合で、処理内容を変更したい
場合は、タイルヘッダ内の識別情報が利用可能である。

【００８９】次に、実施形態の画像符号化装置で実行さ
れる処理について、図２を用いて説明する。

【００９０】図２は本実施形態の画像符号化装置で実行
される処理を示すフローチャートである。

【００９１】尚、ここでの処理は、特に、図１の画像入
力部１０１からフィールドＤＷＴ部１０４の処理手順の
詳細な説明である。

【００９２】まず、ステップＳ２０１において、フレー
ム画像の構成を行う。このときの画像イメージが図３
（ａ）である。次に、ステップＳ２０２において、水平
方向のＤＷＴ処理である水平サブバンド分割を行う。こ
のときの画像イメージが図３（ｂ）である。ここで、Ｌ
は低域側、Ｈは高域側のサブバンドを示す。

【００９３】次に、ステップＳ２０３において、フィー
ルド間の係数演算を行う。演算方法は、いくつか考えら
れるが、詳細は後に述べる。ステップＳ２０４におい
て、演算された演算値と予め設定された閾値との比較を
行う。演算値が閾値より小さい場合（ステップＳ２０４
でＹＥＳ）、フレーム単位の処理と判定し、ステップＳ
２０６に進む。一方、演算値が閾値より大きい場合（ス
テップＳ２０４でＮＯ）、フィールド単位の処理と判定
し、ステップＳ２０６に進む。

【００９４】ステップＳ２０４において、フレーム単位
の処理と判定された場合、画像の構成はそのままなの
で、直接、ステップＳ２０６の処理に移る。フィールド
単位の処理を行う場合は、フレーム単位の画像データを
フィールド単位の画像データに再構成しなければならな
い。そこで、ステップＳ２０５において、フィールド画
像の構成を行う。通常の処理では、元画像の画像イメー
ジである図３（ａ）から図３（ｄ）の画像イメージを生
成することになるが、本実施形態では、先にステップＳ
２０２において、元画像に対し水平サブバンド分割を行
っているので、図３（ａ）の画像イメージからのフィー
ルド画像の生成の必要はなく、図３（ｂ）の画像イメー
ジからサブバンド分割を行って、図３（ｅ）の画像イメ
ージを生成する。

【００９５】ステップＳ２０６において、垂直方向のＤ
ＷＴ処理である垂直サブバンド分割を行う。先の処理
で、フレーム単位の処理と判定された場合は、この垂直
サブバンド分割によって、図３（ｃ）の画像イメージが
生成される。一方、フィールド単位の処理と判定された
場合は、この垂直サブバンド分割によって、図３（ｆ）
の画像イメージが生成される。

【００９６】更に低域側を再帰的にサブバンド分割する
場合には、ステップＳ２０７において、必要なレベルま
で水平・垂直サブバンド分割を繰り返す。フレーム単位
の処理で生成された図３（ｃ）の画像イメージに対し、
水平・垂直サブバンド分割を各１回行うと、図３（ｇ）
の画像イメージが生成される。一方、フィールド単位の
処理で生成された図３（ｆ）の画像イメージに対し、水
平・垂直サブバンド分割を各１回行うと、図３（ｈ）の
画像イメージが生成される。

【００９７】再度、図３を用いて、図２で実行される処
理の流れを整理すると、フレーム単位の処理の場合は、
図３（ａ）→図３（ｂ）→図３（ｃ）→図３（ｇ）、フ
ィールド単位の処理の場合は、図３（ａ）→図３（ｂ）
→図３（ｅ）→図３（ｆ）→図３（ｈ）となる。

【００９８】尚、フレーム単位の処理とフィールド単位
の処理の違いは画素の配列なので、入出力のデータ配列
を考慮すれば、ハードウエアでもソフトウエアでも処理
の共用化は可能である。

【００９９】ここで、係数演算の詳細について説明す
る。

【０１００】基本的にはフィールド間の演算処理となる
が、タイルサイズが大きい場合には、すべてのデータを
処理するには演算の負荷が大きくなる。特に、タイル分
割を行わない場合には、１つのタイルが１フレームに相
当するので、１度に全画素を処理しなければならない。
そこで、本実施形態では、先に、水平サブバンド分割で
得られた低域側のサブバンドを用いて、演算処理に要す
る負荷を低減する。

【０１０１】図４（ａ）は、図３（ｂ）の画像イメージ
における低域側の画像イメージの図である。１つのタイ
ルが、水平方向にＸ画素、垂直方向にＹ画素のデータで
構成されているとすると、図４（ａ）の水平方向のデー
タサイズは、サブバンド分割されているため、Ｘ／２画
素となり、垂直方向のデータサイズは、Ｙ画素となる。
図４（ｂ）は、このタイルを構成する画素の配列を説明
するための図である。演算処理の１つの方法としては、
フィールド間の差分絶対値和を算出することが考えられ
る。位置（ｘ，ｙ）における画素値をＰ（ｘ，ｙ）とす
ると、演算値ＳＵＭは、次式で表すことができる。

【０１０２】

【数１】

【０１０３】（１１）このように、サブバンド分割した
低域側のサブバンドを用いることで、演算するデータ量
を減らすことができるが、更に、簡便な方法として、こ
の低域側の水平方向のサブバンドを間引いた後に、演算
処理を行うことも可能である。図４（ｃ）は水平方向に
画素を１／２間引いた例である。水平方向に画素を１／
２間引いた場合のデータサイズは、図５（ａ）に示すよ
うに、水平方向がＸ／４画素、垂直方向がＹ画素とな
る。そして、このタイルを構成する画素の配列は、図５
（ｂ）となる。従って、演算値ＳＵＭは、次式で表すこ
とができる。

【０１０４】

【数２】

【０１０５】（１２）また、低域側の垂直方向のサブバ
ンドを間引いた後に、演算処理を行うことも可能であ
る。但し、垂直方向のサブバンドを間引く場合は、上下
のペアのサブバンドは残さなければならない。図４
（ｄ）は垂直方向に画素を１／２間引いた例である。垂
直方向に画素を１／２間引いた場合のデータサイズは、
図５（ｃ）に示すように、水平方向がＸ／２画素、垂直
方向がＹ／２画素となる。そして、このタイルを構成す
る画素の配列は、図５（ｄ）となる。従って、演算値Ｓ
ＵＭは、次式で表すことができる。

【０１０６】

【数３】

【０１０７】（１３）もちろん、水平・垂直両方向でデ
ータを間引いた後、演算処理を行うことも可能である。
水平・垂直方向にそれぞれ画素を１／２間引いた場合の
データサイズは、図５（ｅ）に示すように、水平方向が
Ｘ／４画素、垂直方向がＹ／２画素となる。そして、こ
のタイルを構成する画素の配列は、図５（ｆ）となる。
従って、演算値ＳＵＭは、次式で表すことができる。

【０１０８】

【数４】

【０１０９】（１４）図２のステップＳ２０３の係数演
算の負荷を軽減するために、例えば、以下のように係数
演算を行っても良い。

【０１１０】つまり、図４（ａ）の画像イメージにおけ
る低域側の画像イメージに対し、再度、水平サブバンド
分割を行う。この結果、図３（ｂ）の画像イメージにお
ける低域側の画像イメージ（Ｌデータ）である図４
（ａ）の画像イメージは、更に、低域側（ＬＬデータ）
と高域側（ＨＬデータ）に分割される。分割された低域
側の画像イメージは図６（ａ）となり、この画像イメー
ジのデータサイズは、水平方向がＸ／４画素、垂直方向
がＹ画素となる。そして、このタイルを構成する画素の
配列は、図６（ｂ）となる。従って、演算値ＳＵＭは、
次式で表すことができる。

【０１１１】

【数５】

【０１１２】（１５）このように、低域側の画像イメー
ジに対し、水平サブバンド分割を繰り返すことで、演算
精度をある程度保ちながら、演算処理で扱うデータ数を
減らしていくことができる。当然のことながら、再帰的
サブバンド分割とデータ間引きを組み合わせて、演算量
を削減することも可能である。つまり、図６（ｃ）に示
すように、ＬＬデータに対し、更に水平方向に画素を１
／２間引いた後、演算処理を行うことも可能であり、ま
た、図６（ｄ）に示すように、水平・垂直方向にそれぞ
れ画素を１／２間引いた後、演算処理を行うことも可能
である。

【０１１３】尚、以上説明した画像符号化装置によるビ
ットストリームを復号化する画像復号化装置は、上述の
画像符号化装置の各構成に対応する逆構成（符号入力部
エントロピ復号化部、逆量子化部、フレーム／フィール
ド逆ＤＷＴ部、水平逆ＤＷＴ部、画像出力部）を構成
し、ビットストリーム内の識別情報に基づいて、適宜、
フレーム／フィールド逆ＤＷＴ部を用い、元画像を復元
することができる。

【０１１４】以上説明しように、本実施形態によれば、
インターレース方式の動画像を、１レベルの水平サブバ
ンド分割を行った後、得られるサブバンドに対し演算処
理を行う。そして、この演算結果に基づいて、以降のＤ
ＷＴ処理をフレーム単位あるいはフィールド単位のＤＷ
Ｔ処理を適宜選択して実行することで、画像情報をより
良好に維持しながらＤＷＴ処理を行うことができる。そ
のため、このＤＷＴ処理によって得られた符号化画像を
復号する場合にも、良好な復元画像を生成することがで
きる。

【０１１５】尚、本発明は、複数の機器（例えばホスト
コンピュータ、インタフェース機器、リーダ、プリンタ
など）から構成されるシステムに適用しても、一つの機
器からなる装置（例えば、複写機、ファクシミリ装置な
ど）に適用してもよい。

【０１１６】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【０１１７】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【０１１８】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク、ハードディス
ク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ
−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭな
どを用いることができる。

【０１１９】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【０１２０】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
ＣＰＵなどが実際の処理の一部または全部を行い、その
処理によって前述した実施形態の機能が実現される場合
も含まれることは言うまでもない。

【０１２１】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明した図２に示すフローチャー
トに対応するプログラムコードが格納されることにな
る。

【０１２２】

【発明の効果】以上説明したように、本発明によれば、
動画像を効率よくかつ良好に符号化・復号化することが
できる画像処理装置及びその方法、コンピュータ可読メ
モリを提供できる。

【図面の簡単な説明】

【図１】本実施形態の画像符号化装置の概略構成を示す
ブロック図である。

【図２】本実施形態の画像符号化装置で実行される処理
を示すフローチャートである。

【図３】本実施形態の処理過程における画像イメージの
構成を示す図である。

【図４】本実施形態における係数演算を説明するための
図である。

【図５】本実施形態における係数演算を説明するための
図である。

【図６】本実施形態における係数演算を説明するための
図である。

【図７】従来の画像符号化装置の構成を示すブロック図
である。

【図８】離散ウェーブレット変換部の基本構成を示す図
である。

【図９】処理部の詳細構成を示す図である。

【図１０】２レベルの変換係数群の構成例を示す図であ
る。

【図１１】エントロピ符号化部の動作を説明するための
図である。

【図１２】符号出力部に出力される符号列の構成を示す
図である。

【図１３】符号出力部に出力される符号列の他の構成を
示す図である。

【図１４】従来の画像復号化装置の構成を示すブロック
図である。

【図１５】エントロピ復号化部の動作を説明するための
図である。

【図１６】逆離散ウェーブレット変換部の基本構成を示
す図である。

【図１７】処理部の詳細構成を示す図である。

【図１８】画像を復元表示した際の画像の表示形態を示
す図である。

【図１９】画像を復元表示した際の画像の表示形態を示
す図である。

【図２０】フレームとフィールドのタイミングを説明す
るための図である。

【図２１】フィールド画像の問題点を説明するための図
である。

【符号の説明】

１０１画像入力部１０２水平ＤＷＴ部１０３フレームＤＷＴ部１０４フィールドＤＷＴ部１０５判定部１０６量子化部１０７エントロピ符号化部１０８符号出力部

Claims

【特許請求の範囲】

【請求項１】入力された動画像データを符号化する画
像処理装置であって、前記動画像データに水平サブバンド分割を行う第１分割
手段と、前記第１分割手段より得られるサブバンドに基づいて、
前記動画像データに施すサブバンド分割の種類を判定す
る判定手段と、前記判定手段の判定結果に基づいて、前記動画像データ
に対しフレーム単位あるいはフィールド単位のサブバン
ド分割を行う第２分割手段とを備えることを特徴とする
画像処理装置。
【請求項２】前記判定手段は、前記第１分割手段より
得られるサブバンドの低域側のサブバンドに基づいて、
前記動画像データに施すサブバンド分割の種類を判定す
ることを特徴とする請求項１に記載の画像処理装置。
【請求項３】前記判定手段は、前記低域側のサブバン
ドを構成する画素の差分絶対値和を演算し、その演算値
に基づいて、前記動画像データに施すサブバンド分割の
種類を判定することを特徴とする請求項２に記載の画像
処理装置。
【請求項４】前記判定手段は、前記低域側のサブバン
ドを構成する画素に対し、水平方向と垂直方向の両方向
もしくは一方向に間引いた画素に基づいて、前記動画像
データに施すサブバンド分割の種類を判定することを特
徴とする請求項２に記載の画像処理装置。
【請求項５】前記判定手段は、前記低域側のサブバン
ドに再帰的に水平サブバンド分割を行い、最終の低域側
のサブバンドに基づいて、前記動画像データに施すサブ
バンド分割の種類を判定することを特徴とする請求項２
に記載の画像処理装置。
【請求項６】前記第２分割手段より得られるサブバン
ドと、前記判定手段による判定結果を示す識別情報を含
む符号化データを生成する符号化手段を備えることを特
徴とする請求項１に記載の画像処理装置。
【請求項７】入力された動画像データを符号化する画
像処理方法であって、前記動画像データに水平サブバンド分割を行う第１分割
工程と、前記第１分割工程より得られるサブバンドに基づいて、
前記動画像データに施すサブバンド分割の種類を判定す
る判定工程と、前記判定工程の判定結果に基づいて、前記動画像データ
に対しフレーム単位あるいはフィールド単位のサブバン
ド分割を行う第２分割工程とを備えることを特徴とする
画像処理方法。
【請求項８】前記判定工程は、前記第１分割工程より
得られるサブバンドの低域側のサブバンドに基づいて、
前記動画像データに施すサブバンド分割の種類を判定す
ることを特徴とする請求項７に記載の画像処理方法。
【請求項９】前記判定工程は、前記低域側のサブバン
ドを構成する画素の差分絶対値和を演算し、その演算値
に基づいて、前記動画像データに施すサブバンド分割の
種類を判定することを特徴とする請求項８に記載の画像
処理方法。
【請求項１０】前記判定工程は、前記低域側のサブバ
ンドを構成する画素に対し、水平方向と垂直方向の両方
向もしくは一方向に間引いた画素に基づいて、前記動画
像データに施すサブバンド分割の種類を判定することを
特徴とする請求項８に記載の画像処理方法。
【請求項１１】前記判定工程は、前記低域側のサブバ
ンドに再帰的に水平サブバンド分割を行い、最終の低域
側のサブバンドに基づいて、前記動画像データに施すサ
ブバンド分割の種類を判定することを特徴とする請求項
８に記載の画像処理方法。
【請求項１２】前記第２分割工程より得られるサブバ
ンドと、前記判定工程による判定結果を示す識別情報を
含む符号化データを生成する符号化工程を備えることを
特徴とする請求項７に記載の画像処理方法。
【請求項１３】入力された動画像データを符号化する
画像処理のプログラムコードが格納されたコンピュータ
可読メモリであって、前記動画像データに水平サブバンド分割を行う第１分割
工程のプログラムコードと、前記第１分割工程より得られるサブバンドに基づいて、
前記動画像データに施すサブバンド分割の種類を判定す
る判定工程のプログラムコードと、前記判定工程の判定結果に基づいて、前記動画像データ
に対しフレーム単位あるいはフィールド単位のサブバン
ド分割を行う第２分割工程のプログラムコードとを備え
ることを特徴とするコンピュータ可読メモリ。