JP2005123999A - 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム - Google Patents

Abstract

【課題】 効率の良い符号化を実現可能な画像符号化装置を提供する。
【解決手段】 画像符号化装置１は、エッジ抽出部２と、投影部４と、第１変換部６と、変換対象画像生成部１８と、第２変換部２０と、符号化部２２とを備える。エッジ抽出部２は、符号化対象画像の水平・垂直方向のエッジ成分を抽出する。投影部４は、エッジ成分を水平・垂直方向に投影する。第１変換部６は、水平エッジ投影データ及び垂直エッジ投影データに直交変換を施し、第１の係数に分解する。第２変換部２０は、変換対象画像に直交変換を施し、第２の係数に分解する。符号化部２２は、第１の係数及び第２の係数を符号化する。
【選択図】 図１

Description

本発明は、画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラムに関するものである。

従来の画像符号化装置では、一般に、符号化すべき対象の符号化対象画像がＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）によってＤＣＴ係数に分解され、ＤＣＴ係数がエントロピー符号化といった符号化方式によって符号化される。例えば、動画像を符号化するための画像符号化装置に係るものではあるが、符号化対象フレームに対して動き補償予測を行うことによって生成される予測画像と符号化対象フレームとの差分画像を符号化対象画像として、この差分画像をＤＣＴによってＤＣＴ係数に分解し、ＤＣＴ係数を符号化する画像符号化装置がある（例えば、特許文献１）。
特開平７−２６４５９２号公報

上述した画像符号化装置に用いられる二次元ＤＣＴや、画像の分解方法として普及しつつある二次元ＤＷＴ（Ｄｉｓｃｒｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ）などの直交変換処理では、画像に含まれるエッジといった特異なパターンを効率よく分解できない。特に、一次元方向に延びるエッジといったパターンを二次元ＤＷＴによって分解するためには、多くの係数が必要とされる。したがって、従来の画像符号化装置では、効率のよい画像の符号化が実現されないという問題点がある。

本発明は上記問題点を解決するためになされたもので、効率の良い符号化を実現可能な画像符号化装置、画像符号化方法、及び画像符号化プログラムを提供することを課題としている。また、本発明は、本発明の画像符号化装置、又は画像符号化プログラムによって動作するコンピュータによって生成された圧縮データに基づいて、符号化対象画像の復号画像を忠実に再現可能な画像復号装置、画像復号方法、及び画像復号プログラムを提供することを課題としている。

上記課題を解決するため、本発明の画像符号化装置は、（ａ）符号化対象画像の水平方向及び垂直方向のエッジ成分を抽出するエッジ抽出手段と、（ｂ）上記エッジ成分を水平方向に投影した水平エッジ投影データと、上記エッジ成分を垂直方向に投影した垂直エッジ投影データを生成する投影手段と、（ｃ）上記水平エッジ投影データ及び前記垂直エッジ投影データの各々に第１の直交変換処理を施してなる第１の係数の集合を生成する第１の変換手段と、（ｄ）上記第１の係数の集合に上記第１の直交変換処理の逆変換処理である第１の逆変換処理を施して復元水平エッジ投影データと復元垂直エッジ投影データを生成し復元エッジデータを出力する第１の逆変換手段と、（ｅ）上記符号化対象画像と上記復元エッジデータとの差演算を施してなる変換対象画像を生成する変換対象画像生成手段と、（ｆ）上記変換対象画像に第２の直交変換処理を施してなる第２の係数の集合を生成する第２の変換手段と、（ｇ）上記第１の係数の集合及び第２の係数の集合に符号化処理を施してなる圧縮符合を含む圧縮データを生成する符号化手段と、を備える。

また、本発明の画像符号化方法は、（ａ）エッジ抽出手段が、符号化対象画像の水平方向及び垂直方向のエッジ成分を抽出するエッジ抽出ステップと、（ｂ）投影手段が、上記エッジ成分を水平方向に投影した水平エッジ投影データと、上記エッジ成分を垂直方向に投影した垂直エッジ投影データを生成する投影ステップと、（ｃ）第１の変換手段が、上記水平エッジ投影データ及び上記垂直エッジ投影データの各々に第１の直交変換処理を施してなる第１の係数の集合を生成する第１の変換ステップと、（ｄ）第１の逆変換手段が、上記第１の係数の集合に上記第１の直交変換処理の逆変換処理である第１の逆変換処理を施して復元水平エッジ投影データと復元垂直エッジ投影データを生成し復元エッジデータを出力する第１の逆変換ステップと、（ｅ）変換対象画像生成手段が、上記符号化対象画像と上記復元エッジデータとの差演算を施してなる変換対象画像を生成する変換対象画像生成ステップと、（ｆ）第２の変換手段が、上記変換対象画像に第２の直交変換処理を施してなる第２の係数の集合を生成する第２の変換ステップと、（ｇ）符号化手段が、上記第１の係数の集合及び第２の係数の集合に符号化処理を施してなる圧縮符合を含む圧縮データを生成する符号化ステップと、を含む。

また、本発明の画像符号化プログラムは、コンピュータを、（ａ）符号化対象画像の水平方向及び垂直方向のエッジ成分を抽出するエッジ抽出手段と、（ｂ）上記エッジ成分を水平方向に投影した水平エッジ投影データと、上記エッジ成分を垂直方向に投影した垂直エッジ投影データを生成する投影手段と、（ｃ）上記水平エッジ投影データ及び前記垂直エッジ投影データの各々に第１の直交変換処理を施してなる第１の係数の集合を生成する第１の変換手段と、（ｄ）上記第１の係数の集合に上記第１の直交変換処理の逆変換処理である第１の逆変換処理を施して復元水平エッジ投影データと復元垂直エッジ投影データを生成し復元エッジデータを出力する第１の逆変換手段と、（ｅ）上記符号化対象画像と上記復元エッジデータとの差演算を施してなる変換対象画像を生成する変換対象画像生成手段と、（ｆ）上記変換対象画像に第２の直交変換処理を施してなる第２の係数の集合を生成する第２の変換手段と、（ｇ）上記第１の係数の集合及び第２の係数の集合に符号化処理を施してなる圧縮符合を含む圧縮データを生成する符号化手段と、して機能させる。

これらの発明によれば、符号化対象画像の水平方向のエッジ成分を水平方向に投影した水平投影エッジデータ、及び、垂直方向のエッジ成分を垂直方向に投影した垂直エッジ投影データは、一次元の信号である。したがって、水平投影エッジデータ及び垂直エッジ投影データを、第１の直交変換処理によって少ない個数の係数に分解することができる。また、符号化対象画像から復元エッジデータを除いた差分は、水平方向及び垂直方向に延びる一次元のエッジが取り除かれている。したがって、符号化対象画像と復元エッジデータとの差演算を施してなる変換対象画像を、第２の直交変換処理によって少ない個数の係数に分解することができる。このように符号化対象画像を少ない個数の係数に分解することができるので、効率の良い符号化が実現される。

また、本発明の画像符号化装置において、エッジ抽出手段は、上記符号化対象画像に１レベルのウェーブレット変換処理を施し、該ウェーブレット変換処理によって得られるＬＨ成分及びＨＬ成分に基づく逆ウェーブレット変換処理によって上記エッジ成分を抽出しても良い。

また、本発明の別の側面に係る画像復号装置は、（ｋ）符号化対象画像から水平方向及び垂直方向のエッジ成分が抽出され、該水平方向のエッジ成分が水平方向に投影された水平エッジ投影データと該垂直方向のエッジ成分が垂直方向に投影された垂直エッジ投影データとが第１の直交変換処理によって第１の係数の集合に分解され、上記符号化対象画像と復元エッジデータとの差演算を施してなる変換対象画像が第２の直交変換処理によって第２の係数に分解され、上記第１の係数の集合及び上記第２の係数の集合が符号化されて成る圧縮符号が含められた圧縮データに逆符号化処理を施して、上記第１の係数の集合及び上記第２の係数の集合を復号する復号手段と、（ｌ）上記第１の係数の集合に上記第１の変換処理の逆変換処理である第１の逆変換処理を施して成る復元水平エッジ投影データ及び復元垂直エッジ投影データを生成する第１の逆変換手段と、（ｍ）上記復元水平エッジ投影データ及び復元垂直エッジ投影データを逆投影してなる復元エッジ成分を生成するエッジ復元手段と、（ｎ）上記第２の係数の集合に上記第２の変換処理の逆変換処理である第２の逆直交変換処理を施して成る復元変換対象画像を生成する第２の逆変換手段と、（ｏ）上記復元変換対象画像と上記復元エッジ成分とを加算してなる復元画像を生成する画像復元手段とを備える。

また、本発明の画像復号方法は、（ｋ）符号化対象画像から水平方向及び垂直方向のエッジ成分が抽出され、該水平方向のエッジ成分が水平方向に投影された水平エッジ投影データと該垂直方向のエッジ成分が垂直方向に投影された垂直エッジ投影データとが第１の直交変換処理によって第１の係数の集合に分解され、上記符号化対象画像と復元エッジデータとの差演算を施してなる変換対象画像が第２の直交変換処理によって第２の係数に分解され、上記第１の係数の集合及び上記第２の係数の集合が符号化されて成る圧縮符号が含められた圧縮データに、復号手段が逆符号化処理を施して、上記第１の係数の集合及び上記第２の係数の集合を復号する復号ステップと、（ｌ）第１の逆変換手段が、上記復号手段によって復号された上記第１の係数の集合に上記第１の変換処理の逆変換処理である第１の逆変換処理を施して成る復元水平エッジ投影データ及び復元垂直エッジ投影データを生成する第１の逆変換ステップと、（ｍ）エッジ復元手段が、上記復元水平エッジ投影データ及び復元垂直エッジ投影データを逆投影してなる復元エッジ成分を生成するエッジ復元ステップと、（ｎ）上記復号手段によって復号された上記第２の係数の集合に上記第２の変換処理の逆変換処理である第２の逆直交変換処理を施して成る復元変換対象画像を生成する第２の逆変換手段と、（ｏ）画像復元手段が、上記復元変換対象画像と上記復元エッジ成分とを加算してなる復元画像を生成する画像復元ステップと、を含む。

また、本発明の画像復号プログラムは、コンピュータを、（ｋ）符号化対象画像から水平方向及び垂直方向のエッジ成分が抽出され、該水平方向のエッジ成分が水平方向に投影された水平エッジ投影データと該垂直方向のエッジ成分が垂直方向に投影された垂直エッジ投影データとが第１の直交変換処理によって第１の係数の集合に分解され、上記符号化対象画像と復元エッジデータとの差演算を施してなる変換対象画像が第２の直交変換処理によって第２の係数に分解され、上記第１の係数の集合及び上記第２の係数の集合が符号化されて成る圧縮符号が含められた圧縮データに、逆符号化処理を施して、上記第１の係数の集合及び上記第２の係数の集合を復号する復号手段と、（ｌ）上記第１の係数の集合に上記第１の変換処理の逆変換処理である第１の逆変換処理を施して成る復元水平エッジ投影データ及び復元垂直エッジ投影データを生成する第１の逆変換手段と、（ｍ）上記復元水平エッジ投影データ及び復元垂直エッジ投影データを逆投影してなる復元エッジ成分を生成するエッジ復元手段と、（ｎ）上記第２の係数の集合に上記第２の変換処理の逆変換処理である第２の逆直交変換処理を施して成る復元変換対象画像を生成する第２の逆変換手段と、（ｏ）上記復元変換対象画像と上記復元エッジ成分とを加算してなる復元画像を生成する画像復元手段と、として機能させる。

これらの発明によれば、上述した画像符号化装置、又は上述した画像符号化プログラムによって動作するコンピュータによって生成された圧縮データに基づいて、符号化対象画像の復元画像が忠実に再現される。

本発明によれば、符号化対象画像を少ない個数の係数に分解することができるので、効率の良い符号化を実現可能な画像符号化装置、画像符号化方法、及び画像符号化プログラムが提供される。

また、本発明の画像符号化装置、又は本発明の画像符号化プログラムによって動作するコンピュータによって生成された圧縮データに基づいて、符号化対象画像の復号画像を忠実に再現可能な画像復号装置、画像復号方法、及び画像復号プログラムが提供される。

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。

［第１実施形態］

図１は、本発明の実施形態にかかる画像符号化装置１の構成を示す図である。画像符号化装置１は、物理的には、ＣＰＵ（中央処理装置）、メモリといった記憶装置、ディスプレイといった表示装置、通信装置等を備えるコンピュータであることができる。また、画像符号化装置１は、携帯電話といった移動通信端末であってもよい。すなわち、画像符号化装置１には、情報処理可能な装置が広く適用され得る。

図１に示されるように、画像符号化装置１は、機能的に、エッジ抽出部（エッジ抽出手段）２と、投影部（投影手段）４と、第１変換部（第１の変換手段）６と、第１逆変換部（第１の逆変換手段の一部に相当）８と、エッジ復元部（第１の逆変換手段の一部に相当）１０と、残差成分生成部１２と、判定部１４と、変換対象画像生成部（変換対象画像生成手段）１８と、第２変換部（第２の変換手段）２０と、符号化部（符号化手段）２２とを備える。

エッジ抽出部２は、符号化対象画像の水平方向及び垂直方向のエッジ成分を抽出する。本実施形態では、エッジ成分を抽出するために、エッジ抽出部２は、符号化対象画像に１レベルの二次元ＤＷＴを施す。エッジ抽出部２は、１レベルの二次元ＤＷＴによって生成されたＬＬ成分，ＬＨ成分，ＨＬ成分，ＨＨ成分のうち、ＬＬ成分及びＨＨ成分を除去し、残されたＬＨ成分とＨＬ成分とに二次元逆ＤＷＴを施す。これによって、エッジ抽出部２は、符号化対象画像の水平方向及び垂直方向のエッジ成分を得ることができる。なお、エッジを抽出するための方法は、１レベルの二次元ＤＷＴを用いる方法に限られず、種々の方法を用いることができる。例えば、エッジ抽出部２は、Ｃａｎｎｙ Ｅｄｇｅ Ｄｅｔｅｃｔｏｒを用いても良い。

投影部４は、エッジ抽出部２によって抽出されたエッジ成分を水平方向に投影することによって水平エッジ投影データを生成する。また、投影部４は、エッジ抽出部２によって抽出されたエッジ成分を垂直方向に投影することによって垂直エッジ投影データを生成する。

第１変換部６は、１次元ＤＷＴによって、水平エッジ投影データと垂直エッジ投影データをそれぞれｍ個のウェーブレット係数に分解する。ｍは、任意に定められたＮ以下の１以上の整数である。一般に、画像を投影処理によって投影データに変換する処理は、ラドン変換と呼ばれる。ラドン変換によって生成された投影データに１次元ＤＷＴを施す処理は、リジレット（Ｒｉｄｇｅｌｅｔ）変換と呼ばれる。したがって、本明細書では、第１変換部６によって生成されるウェーブレット係数を、リジレット係数と呼ぶこととする。

第１変換部６は、リジレット係数を量子化することによって量子化リジレット係数を生成する。第１変換部６は、判定部１４によって後述する残差判定条件が満足されたと判定されるまで、ｍを増加しつつ、水平エッジ投影データと垂直エッジ投影データをそれぞれｍ個の量子化リジレット係数に分解する。第１変換部６は、判定部１４によって残差判定条件が満足されたと判定されると、その時点のｍ個の量子化リジレット係数を符号化部２２に出力する。

第１逆変換部８は、第１変換部６によって生成された量子化リジレット係数を逆量子化することによってリジレット係数を復元する。第１逆変換部８は、復元したリジレット係数に１次元逆ＤＷＴを施すことによって、水平エッジ投影データを復元した復元水平エッジ投影データと、垂直エッジ投影データを復元した復元垂直エッジ投影データを生成する。

エッジ復元部１０は、第１逆変換部８によって復元された復元水平エッジ投影データを水平方向に逆投影する。また、エッジ復元部１０は、第１逆変換部８によって復元された復元垂直エッジ投影データを垂直方向に逆投影する。エッジ復元部１０は、これらの逆投影処理によって、符号化対象画像のエッジ成分を復元した復元エッジ成分を生成する。

残差成分生成部１２は、エッジ抽出部２によって抽出されたエッジ成分と、エッジ復元部１０によって生成された復元エッジ成分との差分をとることによって残差成分を生成する。

判定部１４は、ｍ個の量子化リジレット係数に基づく復元エッジ成分とエッジ成分との差、すなわち残差成分を二次元ＤＷＴによってＮ−ｍ個のウェーブレット係数に分解する。判定部１４は、Ｎ−ｍ個のウェーブレット係数を量子化して、量子化ウェーブレット係数とする。判定部１４は、Ｎ−ｍ個の量子化ウェーブレット係数を逆量子化することによってウェーブレット係数を復元する。判定部１４は、復元したウェーブレット係数に二次元逆ＤＷＴを施すことによって、残差成分を復号してなる復号残差成分を生成する。

判定部１４は、ｍ個の量子化リジレット係数に基づく復元エッジ成分とＮ−ｍ個の量子化ウェーブレット係数に基づく復号残差成分とを加算した合成成分と、エッジ成分とのＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）を、ｍを増加させつつ算出し、最小のＭＳＥを記憶する。

判定部１４は、ｍ＋１個の量子化リジレット係数に基づく復元エッジ成分とＮ−（ｍ＋１）個のウェーブレット係数に基づく復号残差成分とを加算した合成成分と、エッジ成分とのＭＳＥが、最小のＭＳＥを超えた場合に、残差判定条件が満足されたものとし、第１変換部６にｍ個の量子化リジレット係数を出力させる。また、判定部１４は、残差判定条件が満足された場合に、エッジ復元部１０によって生成されたｍ個の量子化リジレット係数に基づく復元エッジ成分を、変換対象画像生成部１８に出力する。

変換対象画像生成部１８は、符号化対象画像と、判定部１４によって出力された前記復元エッジ成分との差演算を行うことによって、変換対象画像を生成する。

第２変換部２０は、変換対象画像生成部１８によって生成された変換対象画像を、二次元ＤＷＴによってウェーブレット係数に分解する。第２変換部２０は、ウェーブレット係数を量子化し、量子化ウェーブレット係数を生成する。第２変換部２０は、量子化ウェーブレット係数を符号化部２２に出力する。

符号化部２２は、第１変換部６によって出力された量子化リジレット係数、及び第２変換部２０によって出力された量子化ウェーブレット係数に算術符号化を施すことによって、圧縮符号を生成する。符号化部２２は、生成した圧縮符号を含む圧縮データを生成する。

以下、本実施形態にかかる画像符号化装置１の動作について説明する。併せて、本発明の実施形態にかかる画像符号化方法について説明する。図２は、実施形態にかかる画像符号化方法のフローチャートである。

図２に示されるように、この画像符号化方法では、エッジ抽出部２によって符号化対象画像の水平方向、及び垂直方向のエッジ成分が抽出される（ステップＳ０１）。

次いで、投影部４が、エッジ抽出部２によって抽出されたエッジ成分を水平方向に投影して水平エッジ投影データを生成し、エッジ成分を垂直方向に投影して垂直エッジ投影データを生成する（ステップＳ０２）。

次いで、第１変換部６が、水平エッジ投影データ及び垂直エッジ投影データの各々に１次元ＤＷＴを施すことによって、水平エッジ投影データ及び垂直エッジ投影データの各々の各々をｍ個のリジレット係数に分解する。そして、第１変換部６は、ｍ個のリジレット係数を量子化し、ｍ個の量子化リジレット係数を生成する（ステップＳ０３）。

次いで、第１逆変換部８が、ｍ個の量子化リジレット係数を逆量子化し、ｍ個のリジレット係数を復元する。第１逆変換部８は、復元したｍ個のリジレット係数に１次元逆ＤＷＴを施すことによって、復元水平エッジ投影データ及び復元垂直エッジ投影データを生成する（ステップＳ０４）。

次いで、エッジ復元部１０が、復元水平エッジ投影データを水平方向に逆投影し、また、復元垂直エッジ投影データを垂直方向に逆投影することによって、復元エッジ成分を生成する（ステップＳ０５）。

次いで、残差成分生成部１２が、エッジ抽出部２によって抽出されたエッジ成分と、エッジ復元部１０によって復元された復元エッジ成分との差を求めることによって、残差成分を生成する（ステップＳ０６）。

次いで、判定部１４が、上述した残差判定条件を満たす否かを判断し（ステップＳ０７）、残差判定条件が満たされない場合には、ｍを増加させて、ステップＳ０３〜ステップＳ０６までの処理が行われる。

一方、残差判定条件が満たされた場合には、第１変換部６が符号化部２２に量子化リジレット係数を出力し、判定部１４がエッジ復元部１０によって生成された復元エッジ成分を変換対象画像生成部１８に出力する。

次いで、変換対象画像生成部１８が、符号化対象画像と判定部１４によって出力された復元エッジ成分との差演算を行うことによって、変換対象画像を生成する（ステップＳ０８）。

次いで、第２変換部２０が、二次元ＤＷＴによって変換対象画像をウェーブレット係数に分解する。第２変換部２０は、ウェーブレット係数を量子化することによって、量子化ウェーブレット係数を生成する（ステップＳ０９）。

次いで、符号化部２２が、第１変換部６によって出力された量子化リジレット係数、及び第２変換部２０によって生成された量子化ウェーブレット係数を算術符号化することによって、圧縮符号を生成する。符号化部２２は、この圧縮符号を含む圧縮データを生成する（ステップＳ１０）。

以下、コンピュータを画像符号化装置１として動作させるための画像符号化プログラム３０について説明する。図３は、画像符号化プログラム３０の構成を示す図である。画像符号化プログラム３０は、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体あるいは半導体メモリによって提供される。また、画像符号化プログラム３０は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであってもよい。

画像符号化プログラム３０は、処理を統括するメインモジュール３１と、エッジ抽出モジュール３２と、投影モジュール３４と、第１変換モジュール３６と、第１逆変換モジュール３８と、エッジ復元モジュール４０と、残差成分生成モジュール４２と、判定モジュール４４と、変換対象画像生成モジュール４６と、第２変換モジュール４８と、符号化モジュール５０とを備える。

エッジ抽出モジュール３２、投影モジュール３４、第１変換モジュール３６、第１逆変換モジュール３８、エッジ復元モジュール４０、残差成分生成モジュール４２、判定モジュール４４、変換対象画像生成モジュール４６、第２変換モジュール４８、符号化モジュール５０がコンピュータに実現させる機能は、上述したエッジ抽出部２、投影部４、第１変換部６、第１逆変換部８、エッジ復元部１０、残差成分生成部１２、判定部１４、変換対象画像生成部１８、第２変換部２０、符号化部２２の機能とそれぞれ同様である。

以下、本実施形態にかかる画像符号化装置１の作用及び効果を説明する。画像符号化装置１では、符号化対象画像の水平方向のエッジ成分が水平方向に投影された水平投影エッジデータ、及び、垂直方向のエッジ成分が垂直方向に投影された垂直エッジ投影データが生成される。水平投影エッジデータ及び垂直エッジ投影データは、一次元の信号である。したがって、水平投影エッジデータ及び垂直エッジ投影データを、１次元ＤＷＴによって少ない個数の係数に分解することができる。すなわち、二次元ＤＷＴでは１次元方向に延びるエッジを分解するために多くの係数を要するが、エッジ成分を１次元信号である投影データに変換することによって、少ない個数の係数に分解することが可能となる。

また、符号化対象画像から復元エッジ成分を除いた変換対象画像は、水平方向及び垂直方向に延びる一次元のエッジが取り除かれている。したがって、変換対象画像を、二次元ＤＷＴによって少ない個数の係数に分解することができる。このように、画像符号化装置１は、符号化対象画像を少ない個数の係数に分解することができるので、符号化対象画像を効率よく符号化することができる。

以上、本発明の実施形態にかかる画像符号化装置１について説明したが、画像符号化装置１に適用されている本発明の思想は、静止画像の符号化に限らず、動画像の符号化にも適用されうる。動画像の符号化においては、参照画像に対する動き補償予測によって生成される符号化対象フレームの予測画像と符号化対象フレームとの差演算が行われる。この差演算によって、予測残差画像が生成される。例えば、この予測残差画像の符号化にも本発明を用いることができる。

［第２実施形態］

図４は、本発明の実施形態にかかる画像復号装置６０の構成を示す図である。画像復号装置６０は、画像符号化装置１によって生成された圧縮データから画像を復元する装置である。画像復号装置６０は、物理的には、ＣＰＵ（中央処理装置）、メモリといった記憶装置、ディスプレイといった表示装置、通信装置等を備えるコンピュータであることができる。また、画像復号装置６０は、携帯電話といった移動通信端末であってもよい。すなわち、画像復号装置６０には、情報処理可能な装置が広く適用され得る。

図４に示されるように、画像復号装置６０は、機能的に、復号部（復号手段）６２と、第１逆変換部（第１の逆変換手段）６４と、エッジ復元部（エッジ復元手段）６６と、第２逆変換部（第２の逆変換手段）６８と、画像復元部（画像復元手段）７０とを備える。

復号部６２は、画像符号化装置１によって生成された圧縮データに含まれている圧縮符号を逆算出符号化することによって、量子化リジレット係数と量子化ウェーブレット係数を復号する。

第１逆変換部６４は、復号部６２によって復号された量子化リジレット係数を逆量子化することによって、リジレット係数を生成する。第１逆変換部６４は、生成したリジレット係数に１次元逆ＤＷＴを施すことによって、水平エッジ投影データを復元した復元水平エッジ投影データ、及び垂直エッジ投影データを復元した復元垂直エッジ投影データを生成する。

エッジ復元部６６は、復元水平エッジ投影データを水平方向に逆投影し、復元垂直エッジ投影データを垂直方向に逆投影することによって、復元エッジ成分を生成する。

第２逆変換部６８は、復号部６２によって復号されたウェーブレット係数に二次元逆ＤＷＴを施すことによって、上述した変換対象を復元した復元変換対象画像を生成する。

画像復元部７０は、エッジ復元部６６によって生成された復元エッジ成分と、第２逆変換部６８によって生成された復元変換対象画像とを加算することによって、画像符号化装置１によって符号化された画像を復元した復元画像を生成する。

以下、本実施形態にかかる画像復号装置６０の動作について説明する。併せて、本発明の実施形態にかかる画像復号方法について説明する。図５は、実施形態にかかる画像復号方法のフローチャートである。

図５に示されるように、この画像復号方法では、復号部６２が、画像符号化装置１によって生成された圧縮データに含まれている圧縮符号を逆算術符号化し、量子化リジレット係数及び量子化ウェーブレット係数を復号する（ステップＳ２１）。

次に、第１逆変換部６４が、復号部６２によって復号された量子化リジレット係数を逆量子化することによって、リジレット係数を生成する。そして、第１逆変換部６４は、生成したリジレット係数に１次元逆ＤＷＴを施すことによって、復元水平エッジ投影データ、及び復元垂直エッジ投影データを生成する（ステップＳ２２）。

次いで、エッジ復元部６６が、復元水平エッジ投影データを水平方向に逆投影し、復元垂直エッジ投影データを垂直方向に逆投影することによって、復元エッジ成分を生成する（ステップＳ２３）。

次いで、第２逆変換部６８が、復号部６２によって復号されたウェーブレット係数に、二次元逆ＤＷＴを施すことによって、復元変換対象画像を生成する（ステップＳ２４）。

次いで、画像復元部７０が、復元エッジ成分と復元変換対象画像とを加算することによって、復元画像を生成する（ステップＳ２５）。以上の処理を経て、画像符号化装置１によって符号化された画像が復元される。

以下、コンピュータを画像復号装置６０として動作させるための画像復号プログラム８０について説明する。図６は、画像復号プログラム８０の構成を示す図である。画像復号プログラム８０は、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体あるいは半導体メモリによって提供される。また、画像復号プログラム８０は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであってもよい。

画像復号プログラム８０は、処理を統括するメインモジュール８１と、復号モジュール８２と、第１逆変換モジュール８４と、エッジ復元モジュール８６と、第２逆変換モジュール８８と、画像復元モジュール９０とを備える。

復号モジュール８２、第１逆変換モジュール８４、エッジ復元モジュール８６、第２逆変換モジュール８８、画像復元モジュール９０がコンピュータに実現させる機能は、上述した復号部６２、第１逆変換部６４、エッジ復元部６６、第２逆変換部６８と、画像復元部７０の機能とそれぞれ同様である。

以下、本実施形態にかかる画像復号装置６０の作用及び効果を説明する。画像復号装置６０では、画像符号化装置１によって生成された圧縮データに含まれる圧縮符号が逆算術符号化によって復号される。この復号によって、量子化リジレット係数及び量子化ウェーブレット係数が生成される。量子化リジレット係数が、逆量子化、１次元逆ＤＷＴの処理を経て、更に逆投影処理を経ることによって、復元エッジ成分が生成される。量子化ウェーブレット係数が、逆量子化、二次元逆ＤＷＴの処理を経ることによって、復元変換対象画像が生成される。復元変換対象画像と復元エッジ成分が加算されることによって、画像符号化装置１によって符号化された画像を復元した復元画像が生成される。このように、画像復号装置６０は、画像符号化装置１によって符号化された画像を忠実に復元することができる。

図１は、本発明の実施形態にかかる画像符号化装置の構成を示す図である。 図２は、本発明の実施形態にかかる画像符号化方法のフローチャートである。 図３は、本発明の実施形態にかかる画像符号化プログラムの構成を示す図である。 図４は、本発明の実施形態にかかる画像復号装置の構成を示す図である。 図５は、本発明の実施形態にかかる画像復号方法のフローチャートである。 図６は、本発明の実施形態にかかる画像復号プログラムの構成を示す図である。

符号の説明

１…画像符号化装置、２…エッジ抽出部、４…投影部、６…第１変換部、８…第１逆変換部、１０…エッジ復元部、１２…残差成分生成部、１４…判定部、１８…変換対象画像生成部、２０…第２変換部、２２…符号化部、６０…画像復号装置、６２…復号部、６４…第１逆変換部、６６…エッジ復元部、６８…第２逆変換部、７０…画像復元部。

Claims (7)

1. 符号化対象画像の水平方向及び垂直方向のエッジ成分を抽出するエッジ抽出手段と、
   前記エッジ成分を水平方向に投影した水平エッジ投影データと、前記エッジ成分を垂直方向に投影した垂直エッジ投影データを生成する投影手段と、
   前記水平エッジ投影データ及び前記垂直エッジ投影データの各々に第１の直交変換処理を施してなる第１の係数の集合を生成する第１の変換手段と、
   前記第１の係数の集合に前記第１の直交変換処理の逆変換処理である第１の逆変換処理を施して復元水平エッジ投影データと復元垂直エッジ投影データを生成し復元エッジデータを出力する第１の逆変換手段と、
   前記符号化対象画像と前記復元エッジデータとの差演算を施してなる変換対象画像を生成する変換対象画像生成手段と、
   前記変換対象画像に第２の直交変換処理を施してなる第２の係数の集合を生成する第２の変換手段と、
   前記第１の係数の集合及び第２の係数の集合に符号化処理を施してなる圧縮符合を含む圧縮データを生成する符号化手段と、
   を備える画像符号化装置。
2. 前記エッジ抽出手段は、前記符号化対象画像に１レベルのウェーブレット変換処理を施し、該ウェーブレット変換処理によって得られるＬＨ成分及びＨＬ成分に基づく逆ウェーブレット変換処理によって前記エッジ成分を抽出することを特徴とする請求項１に記載の画像符号化装置。
3. エッジ抽出手段が、符号化対象画像の水平方向及び垂直方向のエッジ成分を抽出するエッジ抽出ステップと、
   投影手段が、前記エッジ成分を水平方向に投影した水平エッジ投影データと、前記エッジ成分を垂直方向に投影した垂直エッジ投影データを生成する投影ステップと、
   第１の変換手段が、前記水平エッジ投影データ及び前記垂直エッジ投影データの各々に第１の直交変換処理を施してなる第１の係数の集合を生成する第１の変換ステップと、
   第１の逆変換手段が、前記第１の係数の集合に前記第１の直交変換処理の逆変換処理である第１の逆変換処理を施して復元水平エッジ投影データと復元垂直エッジ投影データを生成し復元エッジデータを出力する第１の逆変換ステップと、
   変換対象画像生成手段が、前記符号化対象画像と前記復元エッジデータとの差演算を施してなる変換対象画像を生成する変換対象画像生成ステップと、
   第２の変換手段が、前記変換対象画像に第２の直交変換処理を施してなる第２の係数の集合を生成する第２の変換ステップと、
   符号化手段が、前記第１の係数の集合及び第２の係数の集合に符号化処理を施してなる圧縮符合を含む圧縮データを生成する符号化ステップと、
   を含む画像符号化方法。
4. コンピュータを、
   符号化対象画像の水平方向及び垂直方向のエッジ成分を抽出するエッジ抽出手段と、
   前記エッジ成分を水平方向に投影した水平エッジ投影データと、前記エッジ成分を垂直方向に投影した垂直エッジ投影データを生成する投影手段と、
   前記水平エッジ投影データ及び前記垂直エッジ投影データの各々に第１の直交変換処理を施してなる第１の係数の集合を生成する第１の変換手段と、
   前記第１の係数の集合に前記第１の直交変換処理の逆変換処理である第１の逆変換処理を施して復元水平エッジ投影データと復元垂直エッジ投影データを生成し復元エッジデータを出力する第１の逆変換手段と、
   前記符号化対象画像と前記復元エッジデータとの差演算を施してなる変換対象画像を生成する変換対象画像生成手段と、
   前記変換対象画像に第２の直交変換処理を施してなる第２の係数の集合を生成する第２の変換手段と、
   前記第１の係数の集合及び第２の係数の集合に符号化処理を施してなる圧縮符合を含む圧縮データを生成する符号化手段と、
   として機能させるための画像符号化プログラム。
5. 符号化対象画像から水平方向及び垂直方向のエッジ成分が抽出され、該水平方向のエッジ成分が水平方向に投影された水平エッジ投影データと該垂直方向のエッジ成分が垂直方向に投影された垂直エッジ投影データとが第１の直交変換処理によって第１の係数の集合に分解され、前記符号化対象画像と復元エッジデータとの差演算を施してなる変換対象画像が第２の直交変換処理によって第２の係数に分解され、前記第１の係数の集合及び前記第２の係数の集合が符号化されて成る圧縮符号が含められた圧縮データに逆符号化処理を施して、前記第１の係数の集合及び前記第２の係数の集合を復号する復号手段と、
   前記第１の係数の集合に前記第１の変換処理の逆変換処理である第１の逆変換処理を施して成る復元水平エッジ投影データ及び復元垂直エッジ投影データを生成する第１の逆変換手段と、
   前記復元水平エッジ投影データ及び復元垂直エッジ投影データを逆投影してなる復元エッジ成分を生成するエッジ復元手段と、
   前記第２の係数の集合に前記第２の変換処理の逆変換処理である第２の逆直交変換処理を施して成る復元変換対象画像を生成する第２の逆変換手段と、
   前記復元変換対象画像と前記復元エッジ成分とを加算してなる復元画像を生成する画像復元手段と、
   を備える画像復号装置。
6. 符号化対象画像から水平方向及び垂直方向のエッジ成分が抽出され、該水平方向のエッジ成分が水平方向に投影された水平エッジ投影データと該垂直方向のエッジ成分が垂直方向に投影された垂直エッジ投影データとが第１の直交変換処理によって第１の係数の集合に分解され、前記符号化対象画像と復元エッジデータとの差演算を施してなる変換対象画像が第２の直交変換処理によって第２の係数に分解され、前記第１の係数の集合及び前記第２の係数の集合が符号化されて成る圧縮符号が含められた圧縮データに、復号手段が逆符号化処理を施して、前記第１の係数の集合及び前記第２の係数の集合を復号する復号ステップと、
   第１の逆変換手段が、前記復号手段によって復号された前記第１の係数の集合に前記第１の変換処理の逆変換処理である第１の逆変換処理を施して成る復元水平エッジ投影データ及び復元垂直エッジ投影データを生成する第１の逆変換ステップと、
   エッジ復元手段が、前記復元水平エッジ投影データ及び復元垂直エッジ投影データを逆投影してなる復元エッジ成分を生成するエッジ復元ステップと、
   前記復号手段によって復号された前記第２の係数の集合に前記第２の変換処理の逆変換処理である第２の逆直交変換処理を施して成る復元変換対象画像を生成する第２の逆変換手段と、
   画像復元手段が、前記復元変換対象画像と前記復元エッジ成分とを加算してなる復元画像を生成する画像復元ステップと、
   を含む画像復号方法。
7. コンピュータを、
   符号化対象画像から水平方向及び垂直方向のエッジ成分が抽出され、該水平方向のエッジ成分が水平方向に投影された水平エッジ投影データと該垂直方向のエッジ成分が垂直方向に投影された垂直エッジ投影データとが第１の直交変換処理によって第１の係数の集合に分解され、前記符号化対象画像と復元エッジデータとの差演算を施してなる変換対象画像が第２の直交変換処理によって第２の係数に分解され、前記第１の係数の集合及び前記第２の係数の集合が符号化されて成る圧縮符号が含められた圧縮データに、逆符号化処理を施して、前記第１の係数の集合及び前記第２の係数の集合を復号する復号手段と、
   前記第１の係数の集合に前記第１の変換処理の逆変換処理である第１の逆変換処理を施して成る復元水平エッジ投影データ及び復元垂直エッジ投影データを生成する第１の逆変換手段と、
   前記復元水平エッジ投影データ及び復元垂直エッジ投影データを逆投影してなる復元エッジ成分を生成するエッジ復元手段と、
   前記第２の係数の集合に前記第２の変換処理の逆変換処理である第２の逆直交変換処理を施して成る復元変換対象画像を生成する第２の逆変換手段と、
   前記復元変換対象画像と前記復元エッジ成分とを加算してなる復元画像を生成する画像復元手段と、
   として機能させるための画像復号プログラム。
   

Images