JP2010154577A - 画像信号変換方法、画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム - Google Patents

Abstract

【課題】変換の対象となる信号の相関が高くない場合でも、信号のエネルギーを集中させ効率よく信号を表す。
【解決手段】画像信号変換方法の一態様は、複数の入力サンプルより１つ以上の変換サンプルを生成する方法であって、第１変換サンプルを生成するために用いられる複数の第１入力サンプルのうち、少なくとも１つの第１入力サンプル（端子３０４からの入力サンプル）に対し、フィルタ３１８による第１フィルタリング処理を施すことで、第１フィルタデータを生成し、第１フィルタデータの生成に使用されない他の第１入力サンプル（端子３０１からの入力サンプル）と、生成された第１フィルタデータとに対し第１演算処理（減算器３１７による減算）を施すことで、第１変換サンプルを生成する第１変換サンプル生成ステップを含む。
【選択図】図３

Description

本発明は、画像信号変換方法、並びに、該画像信号変換方法に基づく画像信号の変換・逆変換を用いた画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラムに関する。

静止画像や動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合はＭＰＥＧ１〜４やＨ．２６１〜Ｈ．２６４の方式、静止画像の場合はＪＰＥＧやＪＰＥＧ２０００が用いられている。

これらのほとんどの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で離散コサイン変換（以下ではＤＣＴとよぶ）を用いて、各ブロック自体もしくはこれらのブロックに対する予測信号と当該ブロックとの差分信号を周波数領域に変換する。変換された変換係数を量子化することにより、原画像の信号のデータ量を圧縮する。再生時には、圧縮されたデータより各ブロックの信号を逆量子化した上で、逆離散コサイン変換（以下ではＩＤＣＴとよぶ）を施して、画素領域の信号若しくは差分信号に復元する。離散コサイン変換を用いた符号化は、例えば、下記の特許文献１に記載されている。

図１は従来の技術によるＤＣＴ処理を示すブロック図である。この例は４つの画素を周波数領域に変換する場合に該当する。４つの画素ａ０、ａ１、ａ２、ａ３はそれぞれ入力端子１０１〜１０４より入力される。加算器１１３にてａ０とａ３が加算され、減算器１１４にてａ０とａ３の差分が求められる。同様に、ａ１とａ２は加算器１１５と減算器１１６にて処理される。これらの結果はそれぞれ端子１０５〜１０８を経由して次の段に送られる。端子１０５と１０６からの信号は加算器１１７と減算器１１８にて処理され、端子１０７と端子１０８からの信号は加算器１１９と減算器１２０と乗算器１２１と１２２にて処理される。このように得られた結果は、周波数領域の係数となり端子１０９〜１１２を経由して出力される。

図２は従来の技術によるＩＤＣＴ処理を示すブロック図である。周波数領域の係数はそれぞれ入力端子２０１〜２０４から入力される。端子２０１と２０２からの係数は加算器２１３と減算器２１４にて処理され、端子２０３と２０４からの係数は減算器２１５、加算器２１６、乗算器２２１と２２２にて処理される。このように得られた信号は端子２０５〜２０８を経由して次の段に送られる。端子２０５と２０８からの信号は加算器２１７と減算器２１８にて処理され、端子２０６と２０７からの信号は加算器２１９と減算器２２０にて処理される。このようにして周波数領域の係数が元の画素ａ０、ａ１、ａ２、ａ３に逆変換され、それぞれ端子２０９〜２１２から出力される。

このように画像を周波数領域に変換することにより入力信号をコンパクトに表現することができるため、効率よく符号化することができる。

米国特許公報第５１９６９４６号

しかし、従来の変換方法は、変換の対象となる信号の本来の特性を上回るエネルギーの集中を実現することができない。対象となる信号間の相関が高い場合、エネルギーの集中が高まり効率よく符号化することができるが、信号本来の相関が低い場合、ＤＣＴによる係数は周波数帯域の広範囲に広がり、効率よく符号化することはできない。

一般的に撮影された静止画像や動画像の信号は相関が高いため、ＤＣＴを用いて効率よく符号化することができる。これに対し、画面内予測や画面間予測によって得られる予測信号と符号化の対象となる画像信号との差分をとった場合、その差分信号の相関は高くないため、ＤＣＴを用いてもコンパクトにその差分信号を表すことは困難である。

本発明は、上記の課題を解決し、変換の対象となる信号の相関が高くない場合でも、信号のエネルギーを集中させ効率よく信号を表すことができる画像信号変換方法、画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る画像信号変換方法は、複数の入力サンプルより１つ以上の変換サンプルを生成する画像信号変換方法であって、第１変換サンプルを生成するために用いられる複数の第１入力サンプルのうち、少なくとも１つの第１入力サンプルに対し第１フィルタリング処理を施すことで、第１フィルタデータを生成し、前記第１フィルタデータの生成に使用されない他の第１入力サンプルと、前記生成された第１フィルタデータとに対し第１演算処理を施すことで、前記第１変換サンプルを生成する第１変換サンプル生成ステップを含むことを特徴とする。

本発明によれば、対象となる信号に対し、所定のフィルタリングを施すことによって、信号本来の特性を超えるエネルギーの集中を実現することができ、効率よく信号を符号化することができる、という効果がある。

なお、本発明に係る画像信号変換方法は、後述の画像符号化装置における変換処理、逆変換処理の何れに対しても適用でき、また、後述の画像復号装置における変換処理、逆変換処理の何れに対しても適用できる。

なお、上記画像信号変換方法は、前記第１変換サンプル生成ステップにて生成された第１変換サンプルに対し第２フィルタリング処理を施すことで、第２フィルタデータを生成し、第２変換サンプルを生成するために用いられる少なくとも１つの第２入力サンプルと、前記生成された第２フィルタデータとに対し第２演算処理を施すことで、前記第２変換サンプルを生成する第２変換サンプル生成ステップをさらに含むことが望ましい。

また、上記画像信号変換方法は、第２変換サンプルを生成するために用いられる複数の第２入力サンプルのうち、少なくとも１つの第２入力サンプルに対し、第２フィルタリング処理を施すことで、第２フィルタデータを生成し、前記第２フィルタデータの生成に使用されない他の第２入力サンプルと、前記生成された第２フィルタデータとに対し第２演算処理を施すことで、前記第２変換サンプルを生成する第２変換サンプル生成ステップをさらに含むことが望ましい。

本発明に係る画像符号化装置は、符号化の対象となる入力画像を入力する入力手段と、前記入力手段により入力された入力画像を複数の符号化領域に分割する領域分割手段と、前記領域分割手段により分割された符号化領域に対し、画面内予測または画面間予測のいずれかにより差分信号を求め、求めた差分信号を変換対象信号として生成する予測手段と、請求項１〜３の何れか１項に記載の画像信号変換方法を用いて、前記予測手段により生成された変換対象信号を入力サンプルとして変換サンプルを生成し、生成された変換サンプルを変換係数とすることで、前記変換対象信号を前記変換係数に変換する変換手段と、前記変換手段により変換された変換係数を符号化する符号化手段とを備えたことを特徴とする。

なお、上記画像符号化装置では、前記変換手段は、請求項１〜３の何れか１項に記載の画像信号変換方法における第１フィルタリング処理又は第２フィルタリング処理では、複数種類のフィルタのうち、前記変換対象信号の相関が最も高くなるようなフィルタを選択して使用し、当該選択されたフィルタを識別するための識別情報をさらに符号化することが望ましい。

本発明に係る画像復号装置は、複数の領域に分割された画像に対し、画面内予測または画面間予測のいずれかを行った上で変換符号化することにより生成した圧縮データを入力する入力手段と、前記入力手段により入力された圧縮データより、前記各領域に対応する変換係数を復元し、得られた変換係数を復元変換係数として生成する復号手段と、請求項１〜３の何れか１項に記載の画像信号変換方法を用いて、前記復号手段により生成された復元変換係数を入力サンプルとして変換サンプルを生成し、生成された変換サンプルを逆変換データとすることで、前記復元変換係数を前記逆変換データに変換する逆変換手段とを備えたことを特徴とする。

なお、上記画像復号装置では、前記圧縮データには、さらに、請求項１〜３の何れか１項に記載の画像信号変換方法における第１フィルタリング処理又は第２フィルタリング処理に用いられたフィルタを識別するためのフィルタ識別情報を含み、前記復号手段は、前記フィルタ識別情報を復号し、復号したフィルタ識別情報に対応したフィルタを用いて前記第１フィルタリング処理又は前記第２フィルタリング処理を行うことが望ましい。

本発明に係る画像符号化方法は、符号化の対象となる入力画像を入力する入力ステップと、前記入力ステップにて入力された入力画像を複数の符号化領域に分割する領域分割ステップと、前記領域分割ステップにて分割された符号化領域に対し、画面内予測または画面間予測のいずれかにより差分信号を求め、求めた差分信号を変換対象信号として生成する予測ステップと、請求項１〜３の何れか１項に記載の画像信号変換方法を用いて、前記予測ステップにて生成された変換対象信号を入力サンプルとして変換サンプルを生成し、生成された変換サンプルを変換係数とすることで、前記変換対象信号を前記変換係数に変換する変換ステップと、前記変換ステップにて変換された変換係数を符号化する符号化ステップとを有することを特徴とする。

本発明に係る画像復号方法は、複数の領域に分割された画像に対し、画面内予測または画面間予測のいずれかを行った上で変換符号化することにより生成した圧縮データを入力する入力ステップと、前記入力ステップにて入力された圧縮データより、前記各領域に対応する変換係数を復元し、得られた変換係数を復元変換係数として生成する復号ステップと、請求項１〜３の何れか１項に記載の画像信号変換方法を用いて、前記復号ステップにて生成された復元変換係数を入力サンプルとして変換サンプルを生成し、生成された変換サンプルを逆変換データとすることで、前記復元変換係数を前記逆変換データに変換する逆変換ステップとを有することを特徴とする。

本発明に係る画像符号化プログラムは、符号化の対象となる入力画像を入力する入力ステップと、前記入力ステップにて入力された入力画像を複数の符号化領域に分割する領域分割ステップと、前記領域分割ステップにて分割された符号化領域に対し、画面内予測または画面間予測のいずれかにより差分信号を求め、求めた差分信号を変換対象信号として生成する予測ステップと、請求項１〜３の何れか１項に記載の画像信号変換方法を用いて、前記予測ステップにて生成された変換対象信号を入力サンプルとして変換サンプルを生成し、生成された変換サンプルを変換係数とすることで、前記変換対象信号を前記変換係数に変換する変換ステップと、前記変換ステップにて変換された変換係数を符号化する符号化ステップとをコンピュータに実行させることを特徴とする。

本発明に係る画像復号プログラムは、複数の領域に分割された画像に対し、画面内予測または画面間予測のいずれかを行った上で変換符号化することにより生成した圧縮データを入力する入力ステップと、前記入力ステップにて入力された圧縮データより、前記各領域に対応する変換係数を復元し、得られた変換係数を復元変換係数として生成する復号ステップと、請求項１〜３の何れか１項に記載の画像信号変換方法を用いて、前記復号ステップにて生成された復元変換係数を入力サンプルとして変換サンプルを生成し、生成された変換サンプルを逆変換データとすることで、前記復元変換係数を前記逆変換データに変換する逆変換ステップとをコンピュータに実行させることを特徴とする。

本発明によれば、対象となる信号に対し、所定のフィルタリングを施すことによって、信号本来の特性を超えるエネルギーの集中を実現することができ、効率よく信号を符号化することができる、という効果がある。とりわけ、差分信号のように信号間の相関の低い信号に対して所定のフィルタリングを施すことによって信号の相関が高められるため、符号化効率を向上させることができる、という効果がある。本発明による変換方法では、所定のフィルタリングを施しているが、従来方法と同様、信号本来のエネルギーを維持している。

従来技術による離散コサイン変換処理を示すブロック図である。 従来技術による逆離散コサイン変換処理を示すブロック図である。 本発明の一実施形態による画像信号変換処理の第１実現方法を実行する画像信号変換装置のブロック図である。 図３の変換処理に対応した逆変換処理を行う画像信号変換装置のブロック図である。 本発明の実施形態による画像信号変換処理の対象となる画像信号を示す模式図である。 本発明の一実施形態による画像信号変換処理の第２実現方法を実行する画像信号変換装置のブロック図である。 図６の変換処理に対応した逆変換処理を行う画像信号変換装置のブロック図である。 本発明の実施形態による画像信号変換処理を用いた画像符号化装置を示すブロック図である。 本発明の実施形態による画像信号変換処理を用いた画像符号化方法を示す流れ図である。 本発明の実施形態による画像信号変換処理を用いた画像符号化プログラムを示す構成図である。 本発明の実施形態による画像信号の逆変換処理を用いた画像復号装置を示すブロック図である。 本発明の実施形態による画像信号の逆変換処理を用いた画像復号方法を示す流れ図である。 本発明の実施形態による画像信号の逆変換処理を用いた画像復号プログラムを示す構成図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。

以下、本発明の実施の形態について、図３から図１５を用いて説明する。

図３は本発明の一実施形態による画像信号変換処理の第１実現方法を実行する画像信号変換装置のブロック図を示す。３０１〜３０４は入力端子、３０５〜３０８は接続端子、３０９〜３１２は出力端子、３１７、３２２、３２７、３３４は減算器、３２１、３２６、３３３、３３８は加算器、３１８、３１９、３２３、３２４、３２９、３３０，３３５、３３６はフィルタ、３２０、３２５、３２８、３３１、３３２、３３７は乗算器である。これらの減算器、加算器及び乗算器は、特許請求の範囲に記載した第１演算処理又は第２演算処理を実行する構成に相当する。

以上のように構成された画像信号変換装置について、以下その動作を述べる。この画像信号変換装置は、図５に示す４ｘ４画素からなる画像信号５０１を入力とする。図５における各升目は１画素に対応する。また、以下では４画素からなる一列の信号、すなわち図５の画素５０２〜５０５を入力とする１次元変換について説明するが、図５の各行に対し同じ処理を行ってもよい。さらに各列に対し後述する変換処理を行った上で、その結果を行単位で処理してもよい。

図５の画素ａ０（５０２）〜ａ３（５０５）は、それぞれ入力端子３０１〜３０４に入力される。入力端子３０４から入力された画素ａ３はＰ１（３１８）というフィルタによって処理され、その結果は入力端子３０１に入力された画素ａ０から引き算される。このように得られた信号は接続端子３０５に送られると同時に、Ｕ１（３１９）というフィルタに送られ処理される。その結果は画素ａ３を乗算器３２０にて２倍にしたものと加算される（加算器３２１にて）。このように加算された結果は接続端子３０８に送られる。フィルタ３１８と演算器３１７とフィルタ３１９と演算器（３２０と３２１）とからなるモジュールを基本変換モジュール３１３とし、入力信号を変換することになる。変換の対象となる対象信号が２画素からなる場合、上述した処理で完了するが、本実施の形態では、４つの画素を変換対象とするため、同様に画素ａ１とａ２について、フィルタ３２３と演算器３２２とフィルタ３２４と演算器（３２５と３２６）とからなる変換モジュール３１４によって変換される。本実施の形態ではフィルタ３２３と３２４はそれぞれフィルタ３１８と３１９とは異なるが、同じフィルタを用いてもよい。変換モジュール３１３と３１４より得られたデータは変換モジュール３１５と変換モジュール３１６に送られ、類似する処理が施される。変換モジュール３１５にあるフィルタ３２９、演算器（３２８と３２７）、フィルタ３３０、演算器（３３１、３３２、３３３）は、変換モジュール３１３や３１４と異なるが、１つの入力（接続端子３０６からの入力）信号をフィルタ処理した上で、もう１つの入力（接続端子３０５からの入力）信号から引き算し、その引き算結果はまたフィルタ処理したのちに、接続端子３０６からの入力信号に加算される、という基本プロセスは同じである。接続端子３０７と３０８から入力された入力信号についても同じである。このようにして、端子３０９より直流成分が出力され、その他の端子（３１０〜３１２）より高周波成分が出力される。

なお、図３の変換モジュール３１３において、フィルタ３１８によるフィルタリング処理は請求項１記載の第１フィルタリング処理に対応し、減算器３１７による減算は請求項１記載の第１演算処理に対応し、フィルタ３１９によるフィルタリング処理は請求項２記載の第２フィルタリング処理に対応し、加算器３２１による加算は請求項２記載の第２演算処理に対応する。また、変換モジュール３１４において、フィルタ３２３によるフィルタリング処理は請求項１記載の第１フィルタリング処理に対応し、減算器３２２による減算は請求項１記載の第１演算処理に対応し、フィルタ３２４によるフィルタリング処理は請求項２記載の第２フィルタリング処理に対応し、加算器３２６による加算は請求項２記載の第２演算処理に対応する。図３には、第１変換サンプル生成ステップと第２変換サンプル生成ステップの両方を含む変換処理例を示したが、第１変換サンプル生成ステップのみを含む変換処理であってもよい。但し、変換処理が第１変換サンプル生成ステップのみを含む場合、逆変換処理は、変換処理での第１フィルタリング処理と双対の関係にあるフィルタリング処理を行う第１変換サンプル生成ステップのみを含むものでなければならない。

次に、図４を用いて画像信号の逆変換処理について説明する。図４は、図３の変換処理に対応した逆変換処理を行う画像信号変換装置のブロック図を示す。この図４に示す４０１〜４０４は入力端子、４０５〜４０８は接続端子、４０９〜４１２は出力端子、４１９、４２３、４２８、４３３は減算器、４３７、４４０、４３０、４３５は加算器、４１７、４２０、４２４、４２６、４２７、４２９，４３２、４３４はフィルタ、４１８、４２２、４２１、４２５、４３１、４３６は乗算器である。これらの減算器、加算器及び乗算器は、特許請求の範囲に記載した第１演算処理又は第２演算処理を実行する構成に相当する。

図４の画像信号変換装置は、図３の画像信号変換装置とは逆の処理を行い、周波数領域の係数を画素領域の信号に逆変換する装置であり、構成的には４つの基本変換モジュール４１３〜４１６から構成される。図４において、図３に示した変換処理によって得られた変換係数を入力とし、入力端子４０１〜４０４から入力される。入力端子４０１から入力された係数はフィルタ（４１７）処理された上で入力端子４０２から入力された係数と演算される（乗算器４１８と引き算器４１９にて）。引き算の結果はフィルタ（４２０）処理された上で、入力端子４０１からの入力信号と演算される（乗算器４２１、４２２と加算器４３７）。同様に、入力端子４０３と４０４から入力された変換係数は変換モジュール４１４によって処理される。このように得られたデータは接続端子４０５〜４０８に入力され、変換モジュール４１５と４１６によって処理される。このようにして、画素領域の信号に逆変換することができる。図４にある乗算器（４２２、４２５、４３１、４３６、４３８、４３９、）は、図３の入力信号と同じマグニチュードとなるように、決定した乗算係数である。また、用いられたフィルタ（４１７、４２０、４２４、４２６、４２７、４２９、４３２、４３４）は、図３の変換モジュールにあるフィルタに対応させて、逆変換した結果が変換前の信号と同じものになるように各フィルタを決定する。

本実施の形態では、変換モジュールは引き算した結果を加算することになっているが、加算した結果を引き算する実施方法もあり、変換器の入力と逆変換器の出力のエネルギーが保持されるように乗算器の係数を設定すればよい。なお、４画素の入力信号について説明したが、Ｎ画素（Ｎは任意の整数）の入力信号については従来のＮｘＮのＤＣＴ変換装置やＩＤＣＴ変換装置にある演算器（加算・減算）の前に、対応するフィルタを設けて、データを処理すればよい。

次に図３と図４に用いられたフィルタについて説明する。ここでは２種類のフィルタを用いる。すなわち位相シフトを伴うフィルタと位相シフトを伴わないフィルタを用いることができる。位相シフトを伴わないフィルタとして、フィルタ処理の対象となる画素を中心とした奇数タップのフィルタを用いる。たとえば、図５ではａ０（５０２）とａ３（５０５）との演算（図３の変換モジュール３１３）では、ａ３を中心とした３タップのフィルタを用いて、画素５０６、５０５、５０７にフィルタ処理を施して信号を生成する。位相シフトを伴うフィルタとして、偶数タップのフィルタを用い、シフトしたい位相に合わせたフィルタを用いればよい。たとえば図５にある画素５０５を半画素左にシフトするフィルタリング結果を求めるには、画素５０５と５０６との平均を求めればよい。１／４画素右にシフトさせるには画素５０５と画素５０７の線形補間を用いる。位相シフトを伴うフィルタは、変換の対象となる信号にある程度の偏りがある場合に有効で、とりわけ予測信号の精度が低く差分信号に相関のある信号成分が残っている場合に有効である。位相シフトを伴わないフィルタはランダムなノイズ成分が多く含まれる場合に有効である。

本発明による変換モジュール（図３の３１３、３１４、３１５、３１６、図４の４１３、４１４、４１５、４１６）に用いられる２つのフィルタの関係について説明する。変換モジュール３１３にあるフィルタＰ１（３１８）とＵ１（３１９）は双対の関係にある。すなわちＰ１がローパスフィルタである場合、Ｕ１はバンドパスフィルタとなり、Ｐ１が位相を右にシフトする場合、Ｕ１は位相を左にシフトする。さらに、Ｐ１の特性によって、Ｕ１を用いなくてもよいし、またはＵ１の特性によって、Ｐ１を用いなくてもよい。また、特性によって、Ｐ１とＵ１は同じであってもよい。Ｐ２とＵ２、Ｐ３とＵ３、Ｐ４とＵ４についても同様である。

また、本発明による画像信号の変換・逆変換方法に用いられるフィルタ処理は、対象ブロックの境界を越える領域にある画素を必要とする場合がある。とりわけ、ブロックの境界にある列や行を変換する場合には境界値問題が生じる。この場合において隣接するブロック領域にある画素値を用いてフィルタ処理を行ってもよいが、本実施の形態では境界にある画素値を繰り返して用いてフィルタ処理を行う。

図６は本発明の一実施形態による画像信号変換処理の第２実現方法を実行する画像信号変換装置のブロック図を示す。６０１〜６０４は入力端子、６０５〜６０８は接続端子、６０９〜６１２は出力端子、６１４、６１６、６１８、６２０は減算器、６１３、６１５、６１７、６１９は加算器、６２３、６２４、６２５、６２６、６２７、６２８，６２９、６３０はフィルタ、６２１、６２２は乗算器である。４つの画素ａ０、ａ１、ａ２、ａ３はそれぞれ入力端子６０１〜６０４より入力される。フィルタ６２４にて入力端子６０４から入力された信号ａ３にフィルタ（６２４）処理が施された上で、加算器６１３にてａ０とフィルタ処理されたａ３が加算される。フィルタ６２３にて入力端子６０１から入力された信号ａ０にフィルタ（６２３）処理が施され減算器６１４にてフィルタ処理されたａ０とａ３の差分が求められる。同様に、ａ１とａ２は、それぞれフィルタ処理された上で加算器６１５と減算器６１６にて演算される。これらの結果はそれぞれ端子６０５〜６０８を経由して次の段に送られる。端子６０５と６０６からの信号は、それぞれフィルタ６２７と６２８によって処理され、加算器６１７と減算器６１８にて演算される。端子６０７と端子６０８からの信号は、それぞれフィルタ６２９と６３０によって処理され、加算器６１９と減算器６２０と乗算器６２１と６２２にて処理される。このように得られた結果は、周波数領域の係数となり端子６０９〜６１２を経由して出力される。

なお、図６において、フィルタ６２３によるフィルタリング処理は請求項１記載の第１フィルタリング処理に対応し、減算器６１４による減算は請求項１記載の第１演算処理に対応し、フィルタ６２４によるフィルタリング処理は請求項３記載の第２フィルタリング処理に対応し、加算器６１３による加算は請求項３記載の第２演算処理に対応する。また、フィルタ６２５によるフィルタリング処理は請求項１記載の第１フィルタリング処理に対応し、減算器６１６による減算は請求項１記載の第１演算処理に対応し、フィルタ６２６によるフィルタリング処理は請求項３記載の第２フィルタリング処理に対応し、加算器６１５による加算は請求項３記載の第２演算処理に対応する。図６には、第１変換サンプル生成ステップと第２変換サンプル生成ステップの両方を含む変換処理例を示したが、第１変換サンプル生成ステップのみを含む変換処理であってもよい。但し、変換処理が第１変換サンプル生成ステップのみを含む場合、逆変換処理は、変換処理での第１フィルタリング処理と双対の関係にあるフィルタリング処理を行う第１変換サンプル生成ステップのみを含むものでなければならない。

次に、図７を用いて画像信号の逆変換処理について説明する。図７は、図６の変換処理に対応した逆変換処理を行う画像信号変換装置のブロック図を示す。周波数領域の係数はそれぞれ入力端子７０１〜７０４から入力される。端子７０１と７０２からの係数は、それぞれフィルタ７２３と７２４によって処理され、加算器７１３と減算器７１４にて演算される。端子７０３と７０４からの係数は、それぞれフィルタ７２５と７２６によって処理され、減算器７１５、加算器７１６、乗算器７２１と７２２にて演算される。このように得られた信号は端子７０５〜７０８を経由して次の段に送られる。端子７０５と７０８からの信号は、それぞれフィルタ７２７と７２８によって処理され、加算器７１７と減算器７１８にて演算され、端子７０６と７０７からの信号は、それぞれフィルタ７２９と７３０によって処理され、加算器７１９と減算器７２０にて演算される。このようにして周波数領域の係数が元の画素ａ０、ａ１、ａ２、ａ３に逆変換され、それぞれ端子７０９〜７１２から出力される。フィルタＰ１とＵ１、Ｐ２とＵ２、Ｐ３とＵ３、Ｐ４とＵ４の関係は図６と同じである。それらの関係は上述したような双対の関係にある。

次に、本発明の実施形態による画像信号変換処理を用いた画像符号化装置・方法・プログラムについて説明する。図８は上述した画像信号変換処理を用いた画像符号化装置のブロック図を示す。８０１は入力端子、８０２はブロック分割器、８０３は画面内予測器、８０４は画面間予測器、８０５、８０６、８０７、８０８、８１０は接続端子、８０９は切り替えスイッチ、８１１は加算器、８１２はフレームメモリ、８１３は変換器、８１４は量子化器、８１５は逆量子化器、８１６は逆変換器、８１７は加算器、８１８はフィルタ決定器、８１９はエントロピー符号化器、８２０は出力端子である。画面内予測器８０３や画面間予測器８０４を含む手段は予測信号生成器８２１と総称する。

以上のように構成された画像符号化装置について、以下その動作を述べる。動画像を構成する複数の画像を入力端子８０１から入力され、ブロック分割器８０２にてＮｘＭ画素からなるブロックに分割される。本実施の形態ではＮ＝Ｍ＝８であるが、Ｎ≠Ｍであってもよいし、８画素以外の分割でもよい。符号化の対象となるブロックはラインＬ８２０ａを経由して画面内予測器８０３と画面間予測器８０４に入力される。画面内予測器８０３では、符号化の対象となるブロック信号及びフレームメモリ８１２に格納されている同じ画面を構成する既再生された画像信号が入力され、標準規格Ｈ．２６４と同じような画面予測信号を生成する。画面間予測８０４では、符号化の対象となるブロック及びフレームメモリ８１２に格納されている既再生された異なる画面の信号が入力され、標準規格Ｈ．２６４と同じような動き検出予測による画面間予測信号を生成する。本発明による符号化装置では、端子８０５よりなにも入力としない場合を用意している。すなわち原信号をそのまま符号化の対象となる。切り替えスイッチ８０９は画面内予測器８０３による予測信号と画面間予測器８０４による予測信号と予測信号なしの３つのケースより符号量の最も少ないモードを選択する。このように決定した予測信号は加算器８１１に送られ、符号化の対象となるブロックとの差分を求める。求められた差分信号はフィルタ決定器８１８に送られる。フィルタ決定器８１８は、差分信号を複数のフィルタを用いて、上述した画像信号変換方法で変換を行い、変換係数の符号量を推測する。

本実施の形態では、変換係数をエントロピー符号化した上で符号量の最も少ないフィルタを決定し、そのフィルタを識別する識別子を変換器８１３に送られる。変換器８１３では、フィルタ決定器８１８にて決定されたフィルタを用いて変換を行う。本実施の形態では、８ｘ８画素のブロックをさらに４ｘ４画素単位分割し、各４ｘ４ブロックの列のみにフィルタを施す変換を行う。このようにして得られた変換係数は量子化器８１４に送られ、量子化される。量子化された係数はエントロピー符号化器８１９に送られ可変長符号化された上で出力端子８２０から出力される。一方、量子化された係数は逆量子化器８１５にて逆量子化した上でフィルタ決定器により決定されたフィルタを用いて逆変換され（逆変換器８１６にて）、その結果を加算器８１７に予測信号（ラインＬ８１１経由で）とを加算し、再生信号として生成し、フレームメモリ８１２に格納する。フィルタ決定器８１８にて決定したフィルタに関する識別子はラインＬ８１４を経由してエントロピー符号化器８１９に送られ、他のデータと共に出力端子８２０から出力される。

図９は本発明の実施形態による画像信号変換処理を用いた画像符号化方法の流れ図を示す。まず符号化の対象となる画像を入力する（ステップ９０２）。その画像をステップ９０３にて８ｘ８画素からなるブロックに分割する。次にステップ９０４にて、符号化の対象となるブロックに対する予測信号を生成する。本実施形態では画面内予測、画面間予測または予測なしの３つのモードから選択する。これらの予測信号の中から誤差が最も少ない信号を予測信号とする。ステップ９０５では予測信号と符号化の対象となるブロックとの差分を求め差分信号を生成する。次にステップ９０６では、差分信号に対し複数のフィルタを用いて上述した方法で変換処理を施し、信号が最もコンパクトにまとめられるフィルタを決定する。このように決定されたフィルタに応じて変換処理が行われる（９０７）。変換係数はステップ９０８にて各変換係数を量子化し、量子化変換係数を生成する。ステップ９０９にて量子化変換係数を逆量子化した上でステップ９０６にて決定されたフィルタを用いて逆変換を行い、再生係数を生成する（ステップ９１０）。ステップ９１１では、再生係数をステップ９０４にて決定した予測信号と加算し、再生ブロックを生成する。最後に再生ブロックを一次的に格納すると同時に、量子化された変換係数やフィルタの識別子をエントロピー符号化した上で出力される（ステップ９１２）。以上の流れは全てのブロック及び全ての画像に対して行う。なお、変換時のフィルタを決定する（ステップ９０６）際に得られた変換係数を出力すれば、あらためて変換処理を行う必要がなくなり、ステップ９０７を省略してもよい。また、本実施の形態では、フィルタとして位相シフトなし、位相を１／８、２／８、３／８、４／８、−１／８、−２／８、−３／８、−４／８シフトを含めた９通りのフィルタを用いる。

次に、コンピュータを本発明による画像符号化装置として動作させるための画像符号化プログラムについて説明する。図１０は本発明の実施形態による画像信号変換処理を用いた画像符号化プログラムＰ１０１２の構成を、記録媒体１０１２と共に示す図である。図１０に示すように、画像符号化プログラムＰ１０１２は、記録媒体１０１２に格納されて提供される。記録媒体１０１２としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。

図１４は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図１５は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。コンピュータとして、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。

図１４に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読取装置１２に挿入されると、読取装置１２から記録媒体１０に格納された画像符号化プログラムＰ１０１２にアクセス可能になり、当該画像符号化プログラムＰ１０１２によって、本発明による画像符号化装置として動作することが可能になる。

図１５に示すように、画像符号化プログラムＰ１０１２は、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した画像符号化プログラムＰ１０１２をメモリ１６に格納し、当該画像符号化プログラムＰ１０１２を実行することができる。

図１０に示すように、画像符号化プログラムＰ１０１２は、画像入力モジュール１０００と、画像ブロック化モジュール１００１と、予測信号生成モジュール１００２と、差分信号生成モジュール１００３と、変換用フィルタ決定モジュール１００４と、変換モジュール１００５と、量子化モジュール１００６と、逆量子化モジュール１００７と、逆変換モジュール１００８と、加算モジュール１００９と、記憶モジュール１０１０と、エントロピー符号化モジュール１０１１とを備えている。画像入力モジュール１０００は図８の入力端子８０１に、画像ブロック化モジュール１００１は図８のブロック分割器８０２に、予測信号生成モジュール１００２は図８の予測信号生成器８２１に、差分信号生成モジュール１００３は図８の加算器８１１に、変換用フィルタ決定モジュール１００４は図８のフィルタ決定器８１８に、変換モジュール１００５は図８の変換器８１３に、量子化モジュール１００６は図８の量子化器８１４に、逆量子化モジュール１００７は図８の逆量子化器８１５に、逆変換モジュール１００８は図８の逆変換器８１６に、加算モジュール１００９は図８の加算器８１７に、記憶モジュール１０１０は図８のフレームメモリ８１２に、エントロピー符号化モジュール１０１１は図８のエントロピー符号化器８１９に、それぞれ相当する。

図１１は本発明の実施形態による画像信号の逆変換処理を用いた画像復号装置のブロック図を示す。１１００は入力端子、１１０１はデータ解析器、１１０２は逆量子化器、１１０３は逆変換器、１１０４は加算器、１１０５は予測信号生成器、１１０６はフレームメモリ、１１０７は出力端子である。

入力端子１１００には、複数の領域に分割された画像に対し画面内予測または画面間予測のいずれかを行った上で変換符号化することにより生成した圧縮データを入力する。データ解析器１１０１にて、圧縮データを解析し、エントロピー復号処理を行うと同時に、量子化された変換係数、量子化に関する情報、予測信号の生成に関するモード情報、逆変換処理に用いられるフィルタの示す識別子を抽出する。量子化された変換係数及び量子化に関する情報はラインＬ１１０２経由で逆量子化器１１０２に送られ、逆量子化された変換係数を生成する。逆量子化された変換係数はラインＬ１１０５、逆変換処理に用いられるフィルタの示す識別子はラインＬ１１０４経由で逆変換器１１０３に送られ、そこにて、指定されたフィルタを用いて逆変換が行われ逆変換信号を生成する。逆変換処理については上述した通りである。予測信号の生成に関するモード情報は、ラインＬ１１０３経由で予測信号生成器１１０５に送られ、その情報に基づいて、画面内予測若しくは画面間予測または予測なしとするかを決定し、予測信号を生成する。このように得られた逆変換信号及び予測信号は加算器１１０４にて加算され、フレームメモリ１１０６に格納されると同時に表示するために出力端子１１０７経由で出力される。

図１２は本発明の実施形態による画像信号の逆変換処理を用いた画像復号方法の流れ図を示す。圧縮データはステップ１２０２にて入力される。次にステップ１２０３にて圧縮データに対しエントロピー復号を行い、量子化された変換係数、量子化に関する情報、予測信号生成に関する情報、フィルタの識別子を抽出する。ステップ１２０４にて予測信号生成に関する情報に基づき予測信号を生成する。ステップ１２０５にて量子化された変換係数を逆量子化し、ステップ１２０６では、フィルタ識別子によって指定されたフィルタに応じて逆変換を行い、逆変換信号を生成する。ステップ１２０７にて予測信号と逆変換信号とを加算し再生ブロックの信号を生成する。この再生ブロック信号はステップ１２０８にて一次格納される。この処理は全てのデータが処理完了までに繰り返される。

次に、コンピュータを本発明による画像復号装置として動作させるための画像符号かプログラムについて説明する。図１３は本発明の実施形態による画像信号変換処理を用いた画像復号プログラムＰ１３０７の構成を、記録媒体１３０７と共に示す図である。図１０に示すように、画像符号化プログラムＰ１３０７は、記録媒体１３０７に格納されて提供される。当該画像復号プログラムＰ１３０７によって、コンピュータが本発明による画像復号装置として動作することが可能になる。詳細について図１４と図１５を用いて説明したとおりである。

図１３に示すように、画像復号プログラムＰ１３０７は、圧縮データ入力モジュール１３００と、エントロピー復号モジュール１３０１と、予測信号生成モジュール１３０２と、逆量子化モジュール１３０３と、逆変換モジュール１３０４と、加算モジュール１３０５と、記憶モジュール１３０６とを備えている。圧縮データ入力モジュール１３００は図１１の入力端子１１００に、エントロピー復号モジュール１３０１は図１１のデータ解析器１１０１に、予測信号生成モジュール１３０２は図１１の予測信号生成器１１０５に、逆量子化モジュール１３０３は図１１の逆量子化器１１０２に、逆変換モジュール１３０４は図１１の逆変換器１１０３に、加算モジュール１３０５は図１１の加算器１１０４に、記憶モジュール１３０６は図１１のフレームメモリ１１０６に、それぞれ相当する。

このようにして、信号変換処理において、入力信号の相関が高くなるようにフィルタ処理を施した上で変換を行うことによって、信号をさらにコンパクトに表すことができ、効率よく画像信号を符号化することができる、という効果が得られる。

８０１…入力端子、８０２…ブロック分割器、８０３…画面内予測器、８０４…画面間予測器、８０５、８０６、８０７、８０８、８１０…接続端子、８０９…切り替えスイッチ、８１１…加算器、８１２…フレームメモリ、８１３…変換器、８１４…量子化器、８１５…逆量子化器、８１６…逆変換器、８１７…加算器、８１８…フィルタ決定器、８１９…エントロピー符号化器、８２０…出力端子。

Claims (11)

1. 複数の入力サンプルより１つ以上の変換サンプルを生成する画像信号変換方法であって、
   第１変換サンプルを生成するために用いられる複数の第１入力サンプルのうち、少なくとも１つの第１入力サンプルに対し第１フィルタリング処理を施すことで、第１フィルタデータを生成し、前記第１フィルタデータの生成に使用されない他の第１入力サンプルと、前記生成された第１フィルタデータとに対し第１演算処理を施すことで、前記第１変換サンプルを生成する第１変換サンプル生成ステップを含む画像信号変換方法。
2. 前記第１変換サンプル生成ステップにて生成された第１変換サンプルに対し第２フィルタリング処理を施すことで、第２フィルタデータを生成し、第２変換サンプルを生成するために用いられる少なくとも１つの第２入力サンプルと、前記生成された第２フィルタデータとに対し第２演算処理を施すことで、前記第２変換サンプルを生成する第２変換サンプル生成ステップをさらに含む請求項１記載の画像信号変換方法。
3. 第２変換サンプルを生成するために用いられる複数の第２入力サンプルのうち、少なくとも１つの第２入力サンプルに対し、第２フィルタリング処理を施すことで、第２フィルタデータを生成し、前記第２フィルタデータの生成に使用されない他の第２入力サンプルと、前記生成された第２フィルタデータとに対し第２演算処理を施すことで、前記第２変換サンプルを生成する第２変換サンプル生成ステップをさらに含む請求項１記載の画像信号変換方法。
4. 符号化の対象となる入力画像を入力する入力手段と、
   前記入力手段により入力された入力画像を複数の符号化領域に分割する領域分割手段と、
   前記領域分割手段により分割された符号化領域に対し、画面内予測または画面間予測のいずれかにより差分信号を求め、求めた差分信号を変換対象信号として生成する予測手段と、
   請求項１〜３の何れか１項に記載の画像信号変換方法を用いて、前記予測手段により生成された変換対象信号を入力サンプルとして変換サンプルを生成し、生成された変換サンプルを変換係数とすることで、前記変換対象信号を前記変換係数に変換する変換手段と、
   前記変換手段により変換された変換係数を符号化する符号化手段と、
   を備えた画像符号化装置。
5. 前記変換手段は、請求項１〜３の何れか１項に記載の画像信号変換方法における第１フィルタリング処理又は第２フィルタリング処理では、複数種類のフィルタのうち、前記変換対象信号の相関が最も高くなるようなフィルタを選択して使用し、当該選択されたフィルタを識別するための識別情報をさらに符号化する
   ことを特徴とする請求項４記載の画像符号化装置。
6. 複数の領域に分割された画像に対し、画面内予測または画面間予測のいずれかを行った上で変換符号化することにより生成した圧縮データを入力する入力手段と、
   前記入力手段により入力された圧縮データより、前記各領域に対応する変換係数を復元し、得られた変換係数を復元変換係数として生成する復号手段と、
   請求項１〜３の何れか１項に記載の画像信号変換方法を用いて、前記復号手段により生成された復元変換係数を入力サンプルとして変換サンプルを生成し、生成された変換サンプルを逆変換データとすることで、前記復元変換係数を前記逆変換データに変換する逆変換手段と、
   を備えた画像復号装置。
7. 前記圧縮データには、さらに、請求項１〜３の何れか１項に記載の画像信号変換方法における第１フィルタリング処理又は第２フィルタリング処理に用いられたフィルタを識別するためのフィルタ識別情報を含み、
   前記復号手段は、前記フィルタ識別情報を復号し、復号したフィルタ識別情報に対応したフィルタを用いて前記第１フィルタリング処理又は前記第２フィルタリング処理を行う、
   ことを特徴とする請求項６記載の画像復号装置。
8. 符号化の対象となる入力画像を入力する入力ステップと、
   前記入力ステップにて入力された入力画像を複数の符号化領域に分割する領域分割ステップと、
   前記領域分割ステップにて分割された符号化領域に対し、画面内予測または画面間予測のいずれかにより差分信号を求め、求めた差分信号を変換対象信号として生成する予測ステップと、
   請求項１〜３の何れか１項に記載の画像信号変換方法を用いて、前記予測ステップにて生成された変換対象信号を入力サンプルとして変換サンプルを生成し、生成された変換サンプルを変換係数とすることで、前記変換対象信号を前記変換係数に変換する変換ステップと、
   前記変換ステップにて変換された変換係数を符号化する符号化ステップと、
   を有する画像符号化方法。
9. 複数の領域に分割された画像に対し、画面内予測または画面間予測のいずれかを行った上で変換符号化することにより生成した圧縮データを入力する入力ステップと、
   前記入力ステップにて入力された圧縮データより、前記各領域に対応する変換係数を復元し、得られた変換係数を復元変換係数として生成する復号ステップと、
   請求項１〜３の何れか１項に記載の画像信号変換方法を用いて、前記復号ステップにて生成された復元変換係数を入力サンプルとして変換サンプルを生成し、生成された変換サンプルを逆変換データとすることで、前記復元変換係数を前記逆変換データに変換する逆変換ステップと、
   を有する画像復号方法。
10. 符号化の対象となる入力画像を入力する入力ステップと、
    前記入力ステップにて入力された入力画像を複数の符号化領域に分割する領域分割ステップと、
    前記領域分割ステップにて分割された符号化領域に対し、画面内予測または画面間予測のいずれかにより差分信号を求め、求めた差分信号を変換対象信号として生成する予測ステップと、
    請求項１〜３の何れか１項に記載の画像信号変換方法を用いて、前記予測ステップにて生成された変換対象信号を入力サンプルとして変換サンプルを生成し、生成された変換サンプルを変換係数とすることで、前記変換対象信号を前記変換係数に変換する変換ステップと、
    前記変換ステップにて変換された変換係数を符号化する符号化ステップと、
    をコンピュータに実行させるための画像符号化プログラム。
11. 複数の領域に分割された画像に対し、画面内予測または画面間予測のいずれかを行った上で変換符号化することにより生成した圧縮データを入力する入力ステップと、
    前記入力ステップにて入力された圧縮データより、前記各領域に対応する変換係数を復元し、得られた変換係数を復元変換係数として生成する復号ステップと、
    請求項１〜３の何れか１項に記載の画像信号変換方法を用いて、前記復号ステップにて生成された復元変換係数を入力サンプルとして変換サンプルを生成し、生成された変換サンプルを逆変換データとすることで、前記復元変換係数を前記逆変換データに変換する逆変換ステップと、
    をコンピュータに実行させるための画像復号プログラム。

Images