JP2018082250A - 画像符号化装置及びその制御方法 - Google Patents

Abstract

【課題】これまでよりも高い圧縮率で動画像を符号化する符号化方法を提供する。
【解決手段】画像符号化装置は画面内符号化、画面間符号化のいずれを行うかを選択し、画面内符号化が選択された場合、フレームが示す画像データに対して周波数変換を行うことで複数のサブバンドを生成し、当該サブバンドを符号化する。画面間符号化を行うことが選択された場合、フレームが示す画像データに対して画面間符号化を行う。この画面間符号化では、フレームが示す画像データにおける予め設定されたサイズの着目画素ブロックに対する差が所定の閾値以下となる予測画素ブロックを、既に符号化が完了した前フレームの中から探索する。そして、探索できた場合には、着目画素ブロックを予測画素ブロックに基づいて符号化する。また、探索できなかった場合には、着目画素ブロックに対して周波数変換を行うことで複数のサブバンドを生成し、当該サブバンドを符号化する。
【選択図】なし

Description

本発明は、画像データの符号化技術に関するものである。

従来の撮像装置では、撮像センサによって撮像された生の画像情報（ＲＡＷ画像）をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号に変換して、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行っている。そして、現像処理された輝度信号及び色差信号を圧縮符号化して、記録媒体に記録するのが一般的である。

一方で、ＲＡＷ画像を記録できる撮像装置も存在する。ＲＡＷ画像は記録に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化を最低限に抑えられ、撮影後に編集できる利点があるので、上級者によって好んで使われている。

ただし、ＲＡＷ画像はデータ量が膨大であるため、限りある記録媒体に少しでも長い時間記録を行えるようデータ量を抑えたい。ＲＡＷ画像を圧縮する構成は特許文献１に開示されている。特許文献１には、ＲＡＷ画像をキーフレーム及びフレーム間予測符号化を用いて記録する構成が記載されている。

特開２００１−２３１０４６号公報

近年の撮像装置に搭載される撮像センサは、１枚のフレームを構成する画素数が大幅に増加してきている。また、１秒あたりに撮像するフレーム数も増える傾向にある。そのため、ＲＡＷ画像を記録媒体やネットワークを介して伝送する場合、記録または伝送に制限が掛かり、高い撮影パフォーマンスを実行できないことも起こり得る。

一方、前述の特許文献１のように、ＲＡＷ画像を圧縮することにより記録容量を少なくすることができる。しかしながら、画面間の相関度が低い場合、画面内予測を用いても符号化効率が改善しない場合がある。

本発明はかかる問題に鑑みなされたものであり、特許文献１に示すようはこれまでの技術よりも、高い圧縮率で動画像を符号化する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
動画像データを符号化する画像符号化装置であって、
動画像データを構成するフレームを順に入力する入力手段と、
該入力手段で入力したフレームが示す画像データを、予め設定された周期に応じて、画面内符号化、画面間符号化のいずれを行うかを選択する選択手段と、
該選択手段で前記画面内符号化が選択された場合、フレームが示す画像データに対して所定の周波数変換を行うことで複数のサブバンドを生成し、当該サブバンドを符号化する第１の符号化制御手段と、
前記選択手段で画面間符号化を行うことが選択された場合、フレームが示す画像データに対して画面間符号化を行う第２の符号化制御手段とを有し、
前記第２の符号化制御手段は
着目フレームが示す画像データにおける予め設定されたサイズの着目画素ブロックに対する差が所定の閾値以下となる予測画素ブロックを、既に符号化が完了した前フレームの中から探索する探索手段と、
該探索手段による前記予測画素ブロックが探索できた場合には、前記着目画素ブロックを前記予測画素ブロックに基づいて符号化する第１の符号化手段と、
前記探索手段による前記予測画素ブロックが探索できなかった場合には、前記着目画素ブロックに対して前記周波数変換を行うことで複数のサブバンドを生成し、当該サブバンドを符号化する第２の符号化手段とを含む。

本発明によれば、これまでよりも、高い圧縮率で動画像を符号化することが可能になる。

実施形態における撮像装置の符号化に関わる部分のブロック構成図。 動き探索部の動き探索を説明するための図。 動き探索部の処理内容を示すフローチャート。 ＤＷＴ処理を行うブロックを含む領域と動き予測処理ブロックを含む領域との分離法を示す図。 ＤＷＴ変換の係数の例を示す図。 実施形態における画像復号装置のブロック構成図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、実施形態での画像符号化装置をビデオカメラ等の撮像装置に適用した例を説明するが、符号化対象の画像データ発生源として機能するデバイスであれば適用できるので、実施形態によって本発明が限定されるものではない。

図１は、実施形態が適用する撮像装置における符号化に係る部分のブロック構成図である。撮像装置には、ユーザからの指示を受け付ける操作部、表示部等が含まれる図示では省いている。

本装置は、画像符号化部１００、装置全体の制御を司る制御部１５０、撮像部１６０、撮像した画像を記憶する記録媒体１７０を有する。

制御部１５０は、ＣＰＵ、ＣＰＵが実行するプログラムや各種データを記憶するＲＯＭ、ワークエリアとして使用されるＲＡＭで構成される。記憶媒体１７０はメモリカード等であって、符号化した画像データをファイルとして記憶する。

撮像部１５０は、光学レンズ等の光学系、ベイヤ配列の撮像センサ、並びに、撮像センサで撮像した信号をデジタルデータに変換するＡ／Ｄコンバータを有する。撮像部１５０は、例えば１秒当たり３０フレームを撮像し、撮像するたびに得られる１フレームの画像データを画像符号化部１００に供給する。撮像部１５０から出力された１フレームの画像データは画素成分はベイヤ配列となっており、現像処理前の画像データでもあるので、以下ではＲＡＷ画像データと呼ぶ。一般にベイヤ配列は、１個のＲ成分（赤成分）の画素、１個のＢ成分（青成分）の画素、２個のＧ成分（緑成分）の画素（２つを区別するため一般にＧ１，Ｇ２画素）で構成さる２×２画素のパターンが、２次元的に繰り返される配列のことを指す。

画像符号化部１００におけるプレーン分離部１０１は、撮像部１５０から１フレーム分のＲＡＷ画像データから、４つのプレーンを生成する。この４つのプレーンは、赤成分の画素のみで構成されるＲプレーン、Ｂ成分の画素のみで構成されるＢプレーン、Ｇ１成分の画素のみで構成されるＧ１プレーン、Ｇ２成分の画素のみで構成されるＧ２プレーンである。プレーン分離部は、生成した４つのプレーンを、予め設定された順番にスイッチ１０２に向けて出力する。

スイッチ１０２以降の各構成に係る以下の説明は、４プレーン中の１つのプレーンについての符号化にかかる説明である。実施形態の撮像部１６０の１秒間に３０フレームのＲＡＷ画像データを生成するものであるので、以下の説明は１／３０／４＝１／１２０秒の期間で行われるものと理解されたい。

スイッチ１０２は、予め設定された周期に応じて画面内符号化を行う場合には端子Ａを、画面間符号化を行う場合には端子Ｂを選択する。例えば、１ＧＯＰ（Group Of Pictures）が１５フレームであり、そのうちの１つをｉピクチャ（画面内符号化）、残りの１４個をｐピクチャ（画面間符号化）とする場合には、１５フレーム中１フレームのタイミングで、スイッチ１０２は端子Ａを選択し、残りの１４フレームでは端子Ｂを選択する。なお、実施形態では１フレームから４プレーンを生成して符号化することになるので、着目フレームがｉピクチャである場合には、スイッチ１０２は、着目フレームから得られる４プレーンの符号化期間で端子Ａを選択することになる。

ＤＷＴ部１０３は、スイッチ１０２からプレーンを入力した場合には、そのプレーンに対して、予め設定された回数のウエーブレット変換（ＤＷＴ）処理を行い、複数の分解レベルのサブバンドを生成する。ウェーブレット変換の実行回数は特に制限はなく、２回以上実行する場合には、前回の変換で得た低周波成分を表すサブバンドＬＬについて再帰的に実行することになる。１回目のウェーブレット変換で得られるサブバンドをＬＬ₁，ＨＬ₁，ＬＨ₁，ＨＨ₁と表した場合、ウェーブレット変換をｎ回実行して得られるサブバンドは、ＬＬ_n，ＨＬ_n，ＬＨ_n，ＨＨ_n,ＨＬ_n-1，ＬＨ_n-1，ＨＨ_n-1,…、ＨＬ₁，ＬＨ₁，ＨＨ₁となる。低周波サブバンドがＬＬ_nの１つになるのは、既に説明したように、分解レベル２以降のサブバンドを生成する際の処理対象が、直前の分解レベルで得られたサブバンドＬＬとなるからである。各サブバンドは、複数の変換係数で構成される。ＤＷＴ部１０３は、ウェーブレット変換で得られた各サブバンド（の変換係数）を、予め設定された順番に量子化部１０４に供給する。

なお、詳細は後述するが、ＤＷＴ部１０３は、画面分割部１０７から、プレーン内の一部分である画素ブロックを受信することもある。この場合、ＤＷＴ部１０３は、受信した画素ブロックに対して所定回数のウェーブレット変換を実行し、得られる各サブバンドを所定の順番に量子化部１０４に供給する。実施形態におけるＤＷＴ部１０３におけるウェーブレット変換の実行回数は３であるものとして説明を続ける。

量子化部１０４は、ＤＷＴ部１０３から入力したサブバンドを構成するウェーブレット変換係数については、サブバンドの種類毎に設定された量子化パラメータに従って量子化する。また、量子化部１０４は、後述する動き予測部１０８からの動き予測での予測誤差データを受信した場合には、その予測誤差データを、予測誤差のために予め設定された量子化パラメータに従って量子化する。量子化部１０４は、量子化後のデータをエントロピー符号化部１０５、逆量子化部１０９に供給する。

エントロピー符号化部１０５は、量子化後のデータを、例えば算術符号化し、得られた符号化データを出力部１１４に供給する。

出力部１１４は、動画像の記録を開始した際に復号に必要な情報を含むファイルヘッダを記憶媒体１７０に書き込む。これ以降、出力部１１４は、フレーム単位に、各プレーンのサブバンドの符号化データ、或いは／及び、予測誤差の符号化データを予め設定された順番に結合し、それらの復号に必要なパラメータをヘッダとする１フレーム分の符号化データを構築しては、記憶媒体１７０に書き込んでいく。なお、実施形態における出力部１１４の出力対象として記憶媒体の例を示しているが、ネットワークや他のデバイスであっても構わない。

逆量子化部１０９は、量子化部１０４から量子化後の変換係数を入力し、逆量子化する。逆量子化部１０９は、逆量子化して得られたデータがウェーブレット変換係数である場合には、その逆量子化後のデータをｉＤＷＴ部１１０へ供給する。また、逆量子化して得られたデータが動き予測による予測誤差を示すデータである場合、逆量子化部１０８はそのデータを動き補償部１１１に供給する。

ｉＤＷＴ部１１０は、逆量子化部１０９から入力したデータを逆ウェーブレット変換して得た画像データ（１プレーン分の画像又は画素ブロックが示す画像）を画像合成部１１２に供給する。

動き補償部１１１は、逆量子化部１０９から入力した着目画素ブロックの予測誤差データを入力する。そして、動き補償部１１１は、着目画素ブロックに対して用いた動きベクトルを参照し、着目フレームより前に符号化されたフレームの、着目プレーンと同じ色成分のプレーンから予測画素ブロックを、メモリ１１３から読み出す。そして、動き補償部１１１は、予測画素ブロックに予測誤差データを加算することで、着目画素ブロックの画像データを生成し、その着目画素ブロックの画像データを画面合成部１１２に供給する。

画面合成部１１２は、ｉＤＷＴ部１１０、及び、動き補償部１１１からの画像データを合成し、着目プレーンに対応するローカル復号プレーンを生成し、メモリ１１３に格納する。実施形態では、１フレームからＲ，Ｂ，Ｇ１，Ｇ２プレーンを生成して符号化しているので、メモリ１１３にはそれら４つのプレーンのローカル復号プレーンが格納されることになる。メモリ１１３に格納されている４プレーンが表すフレームを、以降、キーフレームと呼ぶ。なお、ローカル復号プレーンは、画素ブロック単位に予測符号化された画素ブロック、ウェーブレット変換して符号化された画素ブロックが混在することになり、ブロックの境界でノイズが発生する可能性がある。そこで、画面合成部１１２は、画素ブロック単位に、デブロッキングフィルタ処理を行い、ブロック境界でのノイズ発生を抑制した上で、ローカル復号プレーンをメモリ１１３に書き込んでも良い。

一般的に動画像は、フレーム間の画面相関度が高い。また、着目プレーン内の画素ブロックに対する差分が最小となる画素ブロックを、既に符号化が完了している前フレームの同色のプレーンの中から探し出し、その差分情報を符号とすることにより符号量を抑えることが出来る。

このため、着目フレームが、非ｉピクチャ（ｐピクチャ）である場合、スイッチ１０２は端子Ｂを選択する。以下は、非ｉピクチャの符号化に係る説明である。

動き探索部１０６は、スイッチ１０２を介して入力した着目プレーンを、予め設定されたサイズ（Ｎ×Ｍ画素）で構成される画素ブロックに分割する。そして、動き探索部１０６は、メモリ１１３に記憶されたキーフレームの中の、着目プレーンと同じ色のプレーンの中から、着目画素ブロックとの差分が最小となる画素ブロックを探索する。差分は、例えば、差分絶対値和ＳＡＤ(Sum of Absolute Difference)とするが、差分二乗和ＳＳＤ（Sum of Squared Difference）でも構わない。

図３は、実施形態における動き探索部１０６の処理の一部に係るフローチャートである。以下、同図に従って実施形態の動き探索部１０６の処理内容を説明する。

動き探索部１０６は、スイッチ１０２を介して、着目プレーン内の着目画素ブロックを入力すると、ステップＳ３０１にて、メモリ１１３に格納された、キーフレームにおける着目プレーンと同じプレーンの参照画素ブロックの位置を初期化する（変数ｉをゼロで初期化する）。この変数ｉは、プレーン内のラスタースキャン順に走査する順番を示すものとする。従って、隣り合う参照画素ブロックは互いに重複する部分を有することになる。なお、探索を高速化する場合には、参照画素ブロックの更新する際に変数ｉの増加値を１より大きい値にすればよいものの、増加値を大きくすればするほど今度は予測画素ブロックの探索精度が落ちることになる。図２は、着目プレーンとキーフレーム内の同色プレーンにおける画素ブロックの関係を示している。図示のＡは着目画素ブロックであり、破線で示すブロックが参照画素ブロックである。この２者間のＳＡＤが求められる。

次のステップＳ３０２にて、動き探索部１０６は、ｉ番目の参照画素ブロックと着目画素ブロックとのＳＡＤを算出する。不図示のメモリに保存する。そして、Ｓ３０３にて、動き探索部１０６は、全参照画素ブロックについてのＳＡＤの算出を終えたか否かを判定し、否の場合には、ステップＳ３０４にて参照画素ブロックの位置を更新する（変数ｉに“１”を加算する）。

探索範囲のＳＡＤ計算が終えると、ステップＳ３０５にて、動き探索部１０６は、探索範囲内における最小ＳＡＤと閾値Ｔとを比較し、最小ＳＡＤが閾値Ｔ以下であるか否かを判定する。閾値以下であると判定した場合、動き探索部１０６は、ステップＳ３０７にて、着目画素ブロックを動き予測符号化を行うものとして決定する。一方、最小ＳＡＤが閾値より大きい場合、動き探索部１０６は、ステップＳ３０６にて、着目画素ブロックをウェーブレット変換を行って符号化するものとして決定する。上記のように動き探索部１０６は、着目プレーン内の各画素ブロックについて、動き予測符号化を行うか、ウェーブレット変換して符号化を行うかを決定していく。

なお上記ではＳＡＤを計算する際に、参照画素ブロックの位置を、プレーンの左上隅位置からラスタースキャン順に更新したが、着目画素ブロックに対する距離が予め設定された範囲内のみを探索範囲としても良い。

画面分割部１０７は、動き探索部１０６から着目画素ブロックを入力すると共に、動き探索部１０６による探索結果を示す情報を受信する。そして、探索結果が、ウェーブレット変換して符号化することを示す場合（図３のＳ３０６に処理が進んだ場合）、画面分割部１０７は着目画素ブロックをＤＷＴ部１０３に供給し、着目画素ブロックに対するウェーブレット変換を実行させる。一方、探索結果が、着目画素ブロックを動き予測符号化することを示す場合（図３のＳ３０７）、画面分割部１０７は着目画素ブロック、及び、閾値Ｔ以下の最小ＳＳＤとなった参照画素ブロックの所在位置を示すベクトルを動き予測部１０８に供給する。

動き予測部１０８は、メモリ１１３内のキーフレームの同色プレーンから、画面分割部１０７から受信したベクトルで示される参照画素ブロックを、着目画素ブロックの予測画素ブロックとして読み出す。そして、動き予測部１０８は、着目画素ブロックと予測画素ブロックとの差分を演算し、その差分を予測誤差ブロックとして量子化部１０４に供給する。

上記の通り、着目フレームがｐピクチャ（非ｉピクチャ）である場合、着目フレームを構成する各プレーンはウェーブレット変換して符号化する画素ブロックと、動き予測して符号化する画素ブロックとが混在する。しかし、ウェーブレット変換して符号化する画素ブロックは連続し、動き予測して符号化する画素ブロックも連続する傾向がある。従って、ＤＷＴ部１０３は或る程度のバッファを有し、ウェーブレット変換を行うブロックをまとめてウェーブレット変換を行うようにしても良い。同様に、動き予測部１０８も、動き予測による差分演算を、複数画素ブロックをまとめて処理しても良い。

図４は、ウェーブレット変換（ＤＷＴ）を行う画素ブロックで構成される領域と、動き予測処理を行う画素ブロックで構成される領域とを分離した例を示す図である。図４のように動き探索１０６において、隣接ブロックのＳＡＤが同ベクトルで、且つ、閾値Ｔ以下となる場合はそれらのブロックをまとめて動き予測しても構わない。

図５（ａ）は、ｉピクチャのように全画面をウェーブレット変換する場合のサブバンド分割例である（実施形態では、ウェーブレット変換を３回実行するものとしている）。

図５（ｂ）は、図４の分割に従い、動き予測処理ブロックを外した画像でのＤＷＴ処理する場合のサブバンド分割の例を示している。ウェーブレット変換対象の領域は矩形であるため、図４におけるＬ字形の領域が２つの矩形領域に分割され、それぞれについてウェーブレット変換が行われる。

図５（ｃ）は、動き予測処理ブロック部分に係数０を代入し、１プレーンのサブバンド分割の例を示している。つまり、ｐピクチャの符号化を行う場合、ＤＷＴ部１０３はプレーン全体についてウェーブレット変換を行い、その中で動き予測する画素ブロックが示す位置の変換係数を０に設定する。この結果、ＤＷＴ部１０３は、ｐピクチャであってもプレーン全体をウェーブレット変換を行うことができ、画素ブロック単位にウェーブレット変換する場合と比較して、処理のオーバーヘッドを少なくできる。ただし、エントロピー符号化部１０５は、ウェーブレット変換係数を符号化する場合には、動き予測する領域を示す情報も併せて符号化する。

図５（ｂ）、図５（ｃ）のように画面分割を行うときは、分割境界部分をオーバーラップして記録し、画面合成時に分割境界に画質劣化を発生させないようにしてもよい。ＤＷＴ部１０３は前述した動作を行う。また動き予測部１０８を介した画素ブロックを符号化する場合、エントロピー符号化部１０５は、動きベクトルについても符号化を行う。

以上であるが、上記実施形態によれば、ＲＡＷ画像データをｉピクチャとして符号化する場合には、ＲＡＷ画像データから分離された４つのプレーンに対してウェーブレット変換、量子化、エントロピー符号化が行われる。

一方、ｐピクチャとしてＲＡＷ画像データを符号化する場合には、画素ブロックを単位に基本的に動き予測符号化を行って符号化を行うものの、動き補償するには差分が大きく効率が悪い画素ブロックについては、ウェーブレット変換に基づく符号化を行う。

この結果、動画像データとしての画質劣化を抑えつつ、圧縮率の高い符号化データを生成することが可能になる。

なお、説明が前後するが、ｉピクチャとしてＲＡＷ画像データを符号化する場合、各プレーンはウェーブレット変換して符号化することになるので、エントロピー符号化部１０５はｉピクチャであることを示す情報をフレームヘッダに格納すればよい。一方、ｐピクチャとして符号化する場合、各プレーンは、ＤＷＴを行う画素ブロックと、動き予測符号化を行う画素ブロックが混在することになる。それ故、エントロピー符号化部１０５は画素ブロックの符号化データのヘッダにいずれの符号化データであるかを示す識別情報を格納することになる。

図６は、実施形態における画像復号装置の構成例を示すブロック図である。同図において、入力端子６０１より入力された符号化データは、エントロピー復号化部６０２によってエントロピー復号される。エントロピー復号部６０２より後の処理について、図１で使用した同一処理部には同一の番号を付しているため割愛する。要するに、メモリ１１３内には、各プレーンの復号結果が格納されていくので、そのプレーンを出力端子６０８から外部に出力することになる。なお、その際に、必要に応じて、元のベイヤ配列の画像データに戻して出力しても構わない。

以上のように、画面間の相関度の高い部分を動き補償により符号化効率を上げ、相関度の低い部分をＤＷＴにより周波数変換し符号化することにより、画面全体の符号化効率を上げることが可能となる。

なお、上記実施形態では、画像符号化装置が図１のハードウェア構成を有するものとして説明した。しかし、図１におけるメモリを除く部分は、ＣＰＵがプログラムを実行する処理ステップとしても実現できる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…プレーン分離部、１０２…スイッチ、１０３…ＤＷＴ部、１０４…量子化部、１０５…エントロピー符号化部、１０６…動き探索部、１０７…画面分割部、１０８…動き予測部、１０９…逆量子化部、１１０…ｉＤＷＴ部、１１１…動き補償部、１１２…画面合成部、１１３…メモリ、１１４…出力部、１５０…制御部、１６０…撮像部

Claims (6)

1. 動画像データを符号化する画像符号化装置であって、
   動画像データを構成するフレームを順に入力する入力手段と、
   該入力手段で入力したフレームが示す画像データを、予め設定された周期に応じて、画面内符号化、画面間符号化のいずれを行うかを選択する選択手段と、
   該選択手段で前記画面内符号化が選択された場合、フレームが示す画像データに対して所定の周波数変換を行うことで複数のサブバンドを生成し、当該サブバンドを符号化する第１の符号化制御手段と、
   前記選択手段で画面間符号化を行うことが選択された場合、フレームが示す画像データに対して画面間符号化を行う第２の符号化制御手段とを有し、
   前記第２の符号化制御手段は
   着目フレームが示す画像データにおける予め設定されたサイズの着目画素ブロックに対する差が所定の閾値以下となる予測画素ブロックを、既に符号化が完了した前フレームの中から探索する探索手段と、
   該探索手段による前記予測画素ブロックが探索できた場合には、前記着目画素ブロックを前記予測画素ブロックに基づいて符号化する第１の符号化手段と、
   前記探索手段による前記予測画素ブロックが探索できなかった場合には、前記着目画素ブロックに対して前記周波数変換を行うことで複数のサブバンドを生成し、当該サブバンドを符号化する第２の符号化手段と、
   を含むことを特徴とする画像符号化装置。
2. 前記動画像データを構成する各フレームは、ベイヤ配列の画像データであって、
   前記入力手段は、前記ベイヤ配列の１フレームの画像データから、Ｒ成分のプレーン、Ｂ成分のプレーン、Ｇ１成分のプレーン、Ｇ２成分のプレーンを生成する手段を含む
   ことを特徴とする請求項１に記載の画像符号化装置。
3. 前記第１の符号化制御手段、前記第２の符号化制御手段それぞれは、複数の画素ブロックをまとめて符号化を行うことを特徴とする請求項１又は２に記載の画像符号化装置。
4. 前記第２の符号化手段は、フレームの画像データの全体を周波数変換し、得られた各サブバンドにおける前記第１の符号化手段による符号化される位置の変換係数については０で置き換えて符号化する
   ことを特徴とする請求項３に記載の画像符号化装置。
5. 動画像データを符号化する画像符号化装置の制御方法であって、
   動画像データを構成するフレームを順に入力する入力工程と、
   該入力工程で入力したフレームが示す画像データを、予め設定された周期に応じて、画面内符号化、画面間符号化のいずれを行うかを選択する選択工程と、
   該選択工程で前記画面内符号化が選択された場合、フレームが示す画像データに対して所定の周波数変換を行うことで複数のサブバンドを生成し、当該サブバンドを符号化する第１の符号化制御工程と、
   前記選択工程で画面間符号化を行うことが選択された場合、フレームが示す画像データに対して画面間符号化を行う第２の符号化制御工程とを有し、
   前記第２の符号化制御工程は
   着目フレームが示す画像データにおける予め設定されたサイズの着目画素ブロックに対する差が所定の閾値以下となる予測画素ブロックを、既に符号化が完了した前フレームの中から探索する探索工程と、
   該探索工程による前記予測画素ブロックが探索できた場合には、前記着目画素ブロックを前記予測画素ブロックに基づいて符号化する第１の符号化工程と、
   前記探索工程による前記予測画素ブロックが探索できなかった場合には、前記着目画素ブロックに対して前記周波数変換を行うことで複数のサブバンドを生成し、当該サブバンドを符号化する第２の符号化工程と、
   を含むことを特徴とする画像符号化装置の制御方法。
6. コンピュータが読み込み実行することで、前記コンピュータを、請求項１乃至４のいずれか１項に記載の画像符号化装置として機能させるためのプログラム。

Images