JP2014042206A - 画像符号化装置、画像復号装置及びプログラム - Google Patents

Abstract

【課題】符号化単位より小さな単位で圧縮率や画質の制御を行う。
【解決手段】画像を符号化単位に分割し、符号化単位を複数の変換単位で周波数変換して符号化を行う画像処理装置であって、変換単位の係数信号に基づいて量子化制御情報を変換単位毎に設定する量子化制御部と、量子化制御情報を用いて係数信号を量子化する量子化処理部と、を備える。
【選択図】図２

Description

本発明は、量子化制御を行う画像符号化装置、画像復号装置及びプログラムに関する。

ＭＰＥＧ（Moving Picture Experts Group）−２、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）、又は規格化作業中のＨＥＶＣ（High Efficiency Video Coding）などの圧縮符号化方式では、映像信号の各フレームをブロックと呼ばれる矩形領域に分割する。

これらの圧縮符号化方式では、ブロックを単位として画像信号を周波数領域の信号に変換する変換符号化が採用されている。変換された周波数領域の信号は、量子化により代表値に置き換えられ、この代表値の置き換えの程度により映像情報の圧縮の度合いを制御する。

量子化は、入力信号をある数値で除算することで実現する。除算する数値は量子化パラメータによって制御する。量子化パラメータは、ブロック単位で変化、制御されることにより、全体の圧縮率と画質を定める。

ＭＰＥＧ−２やＨ．２６４／ＡＶＣ規格では、マクロブロックと呼ばれる１６×１６画素サイズのブロックを単位に処理がなされ、量子化パラメータはマクロブロックごとに変換させることが可能な仕組みになっている。

一方、ＨＥＶＣ規格では、ＣＵ（Coding Unit）と呼ばれる可変サイズブロックが導入されており、このＣＵを階層的に分割した小さなＴＵ（Transformation Unit）を単位として周波数変換や量子化が行われる。量子化パラメータは、ＣＵを単位として制御する仕組みが現在検討されている（非特許文献１）。

K.Sato, M.Budagavi, M.Coban, H.Aoki, X.li, "Description of Core Experiment 4:Quantization", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting: Geneva, CH, 16-23 March, 2011

ここで、現在規格化作業中のＨＥＶＣでは、前述した通り、符号化単位のＣＵよりも小さい単位の変換単位のＴＵで周波数変換、量子化を行う。しかしながら、量子化パラメータはＣＵ単位で設定されるため、符号化単位より小さな単位で圧縮率や画質の制御を行うことができなかった。

そこで、本発明は、上記課題に鑑みてなされたものであり、符号化単位より小さな単位で圧縮率や画質の制御を行うことができる画像符号化装置、画像復号装置及びプログラムを提供することを目的とする。

本発明の一態様における画像符号化装置は、画像を符号化単位に分割し、前記符号化単位を複数の変換単位で周波数変換して符号化を行う画像符号化装置であって、前記変換単位の係数信号に基づいて量子化制御情報を前記変換単位毎に設定する量子化制御部と、前記量子化制御情報を用いて前記係数信号を量子化する量子化処理部と、を備える。

また、前記符号化単位に含まれる変換単位の量子化制御情報を近似する近似部と、前記近似部により近似された量子化制御情報を表すためのパラメータを符号化するパラメータ符号化部とをさらに備え、前記量子化部は、前記近似部により近似された量子化制御情報を用いて量子化してもよい。

また、前記近似部は、前記変換単位の位置の近似関数を用いて前記量子化制御情報を近似してもよい。

また、前記近似部は、前記変換単位のサイズに基づいて、前記近似関数として１次関数を用いるか、又は２次関数を用いるかを決定してもよい。

また、前記近似部は、テーブル番号と各量子化制御情報とを関連付けたルックアップテーブルを用いて前記量子化制御情報を近似してもよい。

また、前記符号化単位に含まれる変換単位の量子化制御情報を、前記量子化制御情報の最頻値と、該最頻値との差分を示すパラメータとで表すパラメータ設定部と、前記最頻値及び前記パラメータを符号化するパラメータ符号化部とをさらに備えてもよい。また、前記画像符号化装置により符号化されたストリームを復号する画像復号装置であって、前記ストリームをエントロピー復号する復号部と、前記変換単位の量子化制御情報を用いて前記復号部により復号されたデータを逆量子化する逆量子化部とを備えてもよい。

また、本発明の他の態様におけるプログラムは、画像を符号化単位に分割し、前記符号化単位を複数の変換単位で周波数変換して符号化を行うために、コンピュータに、前記変換単位の係数信号に基づいて量子化制御情報を前記変換単位毎に設定する設定ステップと、前記量子化制御情報を用いて前記係数信号を量子化する量子化ステップと、を実行させる。

本発明によれば、符号化単位より小さな単位で圧縮率や画質の制御を行うことができる。

実施例１における画像符号化装置の概略構成の一例を示すブロック図。 実施例１における量子化部の構成の一例を示すブロック図。 量子化パラメータの設定例を示す図。 実施例１における量子化制御処理の一例を示すフローチャート。 実施例１における量子化処理に関する構成の一例を示すブロック図。 ＬＵＴの一例を示す図。 実施例２における量子化制御処理、符号化処理の一例を示すフローチャート。 実施例３における量子化処理に関する構成の一例を示すブロック図。 実施例３における量子化制御処理、符号化処理の一例を示すフローチャート。 変形例における量子化制御処理、符号化処理の一例を示すフローチャート。 実施例４における画像復号装置の概略構成の一例を示すブロック図。 実施例５における画像処理装置の概略構成の一例を示すブロック図。

まず、ＨＥＶＣでの符号化単位、予測単位、変換単位について説明する。ＨＥＶＣでは、従来の符号化技術のように画面を左上から符号化単位であるブロック状に単純に分割するのではなく、新たに階層分割を採用し、複数階層のブロック分割を可能とする。また、複数のブロックに分割された符号化単位は、ＣＵ（Coding Unit）とも呼ぶ。ＨＥＶＣでは、ＣＵとして８×８、１６×１６、３２×３２などのサイズに画像を分割して、符号化を行うことができる。また、量子化パラメータはＣＵ単位で設定される。

また、ＨＥＶＣでは、予測誤差信号を効率的に表現するため、ＣＵを階層分割し、変換単位に分けることができる。変換単位は、ＴＵとも呼ぶ。例えば、３２×３２のＣＵに対し、階層分割０回のＴＵは３２×３２のＣＵと同じブロックであり、階層分割１回のＴＵは、１６×１６に分割されたブロックである。また、階層分割２回のＴＵは、８×８に分割されたブロックである。

また、ＨＥＶＣでは、ＣＵを複数種類の矩形領域である予測単位に分割し、それぞれの予測単位で予測処理が行われる。この予測単位は、ＰＵ（Prediction Unit）とも呼ぶ。

以下、添付図面を参照しながら各実施例について詳細に説明するが、各実施例はＨＥＶＣの構成における量子化部の機能を改良したものである。

［実施例１］
＜構成＞
図１は、実施例１における画像符号化装置１０の概略構成の一例を示すブロック図である。図１に示す例では、画像符号化装置１０は、前処理部１００、予測誤差信号生成部１０１、直交変換部１０２、量子化部１０３ａ、エントロピー符号化部１０４、逆量子化部１０５、逆直交変換部１０６、復号画像生成部１０７、デブロッキングフィルタ部１０８、ループフィルタ部１０９、復号画像記憶部１１０、イントラ予測部１１１、インター予測部１１２、動きベクトル計算部１１３、及び予測画像選択部１１５を有する。各部についての概略を以下に説明する。

前処理部１００は、ピクチャタイプに合わせてピクチャを並べ替え、ピクチャタイプ及びフレームごとのフレーム画像等を順次出力する。また、前処理部１００は、符号化のためのブロック分割なども行う。

予測誤差信号生成部１０１は、入力された動画像データの符号化対象画像が、例えば３２×３２、１６×１６、８×８画素などのブロックに分割されたブロックデータを取得する。

予測誤差信号生成部１０１は、そのブロックデータと、予測画像選択部１１５から出力される予測画像のブロックデータとにより、予測誤差信号を生成する。予測誤差信号生成部１０１は、生成された予測誤差信号を直交変換部１０２に出力する。

直交変換部１０２は、入力された予測誤差信号をＴＵ毎に直交変換処理する。直交変換部１０２は、直交変換処理によって水平及び垂直方向の周波数成分に分離された係数信号を量子化部１０３ａに出力する。

量子化部１０３ａは、直交変換部１０２から出力された係数信号を量子化する。量子化部１０３ａは、量子化することによって係数信号の符号量を低減し、この係数信号をエントロピー符号化部１０４及び逆量子化部１０５に出力する。量子化部１０３ａは、ＣＵではなく、ＴＵ毎に量子化パラメータを設定し、量子化を行う。この量子化制御処理については、後述する。

エントロピー符号化部１０４は、量子化部１０３ａから出力された量子化後の係数信号や動きベクトル計算部１１３から出力された動きベクトル情報やループフィルタ部１０９からのフィルタ係数などをエントロピー符号化して出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。

逆量子化部１０５は、量子化部１０３ａからの出力信号を逆量子化してから逆直交変換部１０６に出力する。逆直交変換部１０６は、逆量子化部１０５からの出力信号を逆直交変換処理してから復号画像生成部１０７に出力する。これら逆量子化部１０５及び逆直交変換部１０６によって復号処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。

復号画像生成部１０７は、インター予測部１１２で動き補償された画像のブロックデータと、逆量子化部１０５及び逆直交変換部１０６により復号処理された予測誤差信号とを加算する。復号画像生成部１０７は、加算して生成した復号画像のブロックデータを、デブロッキングフィルタ部１０８に出力する。

デブロッキングフィルタ部１０８は、復号画像生成部１０７から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、ループフィルタ部１０９に出力する。

ループフィルタ部１０９は、例えばＡＬＦ（Adaptive Loop Filter）であり、デブロッキングフィルタ処理された復号画像と、入力画像とを用いてフィルタ処理を行う。フィルタ処理は、例えばウィナーフィルタ（Wiener Filter）が用いられるが、その他のフィルタでも良い。

また、ループフィルタ部１０９は、入力画像を所定サイズ毎のグループに分け、グループ毎に適切なフィルタ係数を生成する。ループフィルタ部１０９は、デブロッキングフィルタ処理された復号画像を、所定サイズ毎にグループ分けし、生成したフィルタ係数を用いてグループ毎にフィルタ処理を行う。ループフィルタ部１０９は、フィルタ処理結果を復号画像記憶部１１０に出力し、参照画像として蓄積させる。所定サイズは、例えば、直交変換サイズである。

復号画像記憶部１１０は、入力した復号画像のブロックデータを新たな参照画像のデータとして記憶し、イントラ予測部１１１、インター予測部１１２及び動きベクトル計算部１１３に出力する。

イントラ予測部１１１は、符号化対象画像の処理対象ブロックに対して、すでに符号化された参照画素から予測画像のブロックデータを生成する。

インター予測部１１２は、復号画像記憶部１１０から取得した参照画像のデータを動きベクトル計算部１１３から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。

動きベクトル計算部１１３は、符号化対象画像におけるブロックデータと、復号画像記憶部１１０から取得する参照画像とを用いて、動きベクトルを求める。動きベクトルとは、ブロック単位で参照画像内から処理対象ブロックに最も類似している位置を探索するブロックマッチング技術を用いて求められるブロック単位の空間的なずれを示す値である。

動きベクトル計算部１１３は、求めた動きベクトルをインター予測部１１２に出力し、動きベクトルや参照画像を示す情報を含む動きベクトル情報をエントロピー符号化部１０４に出力する。

イントラ予測部１１１とインター予測部１１２から出力されたブロックデータは、予測画像選択部１１５に入力される。

予測画像選択部１１５は、イントラ予測部１１１とインター予測部１１２から取得したブロックデータのうち、どちらか一方のブロックデータを予測画像として選択する。選択された予測画像は、予測誤差信号生成部１０１に出力される。

画像符号化装置１０の上記構成はあくまでも一例であり、実装の仕方によって構成を変更してもよく、例えば複数の部をまとめて構成してもよい。

＜量子化＞
次に、実施例１における量子化処理について説明する。実施例１では、ＣＵではなく、ＴＵ毎に量子化パラメータ（Ｑｐ）の制御を行うことで、ＴＵ毎に圧縮率や画質の制御を行うことができる。

図２は、実施例１における量子化部１０３ａの構成の一例を示すブロック図である。図２に示す量子化部１０３ａは、量子化制御部２０１、及び量子化処理部２０３を有する。

量子化制御部２０１は、直交変換部１０２から取得した変換単位（ＴＵ）の係数信号に基づいて量子化制御情報を変換単位毎に設定する。量子化制御情報は、量子化ステップとも呼ばれる。量子化制御部２０１は、変換単位の係数信号に基づいて、ビットレートや所望の画質に応じて変換単位の量子化制御情報を設定する。

量子化制御部２０１は、例えば予め設定された情報量を、１つのＴＵへの割当量に換算した上で、係数信号の特性などに応じて量子化制御情報を設定する。量子化制御情報の設定については、この方法に限られるものではない。

量子化制御部２０１は、設定した量子化制御情報（量子化ステップ）から量子化パラメータ（Ｑｐ）を求める。例えば、量子化パラメータと量子化ステップの対数とは、比例する関係にある。量子化制御部２０１は、設定した変換単位の量子化制御情報を量子化処理部２０３に出力する。

図３は、量子化パラメータの設定例を示す図である。図３に示す例では、ＣＵは、１６×１６であり、ＴＵは、４×４である。図３に示すように、設定された量子化パラメータをＱｐ（ｉ，ｊ）（０≦ｉ≦３，０≦ｊ≦３）と表記する。

量子化処理部２０３は、量子化制御部２０１から取得した変換単位の量子化制御情報を用いて、変換単位毎に係数信号を量子化する。量子化は、例えばＨ．２６４やＨＥＶＣなどの公知の技術を用いればよい。量子化処理部２０３は、量子化した係数信号をエントロピー符号化部１０４、逆量子化部１０５に出力する。

なお、変換単位の量子化パラメータは、エントロピー符号化部１０４により符号化されて、情報量が削減されてもよい。

＜動作＞
次に、実施例１における画像符号化装置１０の動作について説明する。図４は、実施例１における量子化制御処理の一例を示すフローチャートである。図４に示すステップＳ１０１で、量子化制御部２０１は、ＴＵでの量子化パラメータを設定する。

ステップＳ１０２で、量子化制御部２０１は、設定した量子化パラメータを量子化制御情報に換算する。

ステップＳ１０３ａで、量子化制御部２０１は、処理したＴＵはマクロブロック（あるいはＣＵ）の最後のＵｎｉｔ（ＴＵ）であるか否かを判定する。ＴＵが最後のＵｎｉｔであれば（ステップＳ１０３−ＹＥＳ）ステップＳ１０４に進み、ＴＵが最後のＵｎｉｔでなければ（ステップＳ１０３−ＮＯ）ステップＳ１０１に戻り、他のＴＵの量子化パラメータを設定する。

ステップＳ１０４で、量子化処理部２０３は、量子化パラメータに基づく量子化制御情報により、係数信号を量子化する。

以上、実施例１によれば、変換単位のＴＵ毎に量子化パラメータを設定することができるので、ＴＵ毎に圧縮率や画質の制御を精度よく行うことができる。

［実施例２］
次に、実施例２における画像符号化装置について説明する。実施例２では、ＴＵ毎に量子化パラメータを設定することで増加した量子化パラメータの情報を、近似を用いることで情報量を削減する。

＜構成＞
実施例２における画像符号化装置の構成は、基本的には図１に示す概略構成と同様であるため、同じ符号を付す。以降では、実施例１と異なる量子化部を主に説明する。

＜量子化＞
次に、実施例２における量子化処理について説明する。実施例２では、ＣＵではなく、ＴＵ毎に量子化パラメータ（Ｑｐ）の制御を行うことで、ＴＵ毎に圧縮率や画質の制御を行うとともに、量子化制御情報を近似することで、量子化制御情報の情報量を削減する。

図５は、実施例２における量子化処理に関する構成の一例を示すブロック図である。図５に示す例では、量子化部１０３ｂは、量子化制御部３０１、近似部３０３、及び量子化処理部３０５を有し、エントロピー符号化部１０４は、パラメータ符号化部３０７を有する。

量子化制御部３０１は、基本的な処理について、実施例１の量子化制御部２０１と同様である。また、量子化制御部３０１は、後述する近似された量子化制御情報を近似部３０３から取得する。量子化制御部３０１は、量子化制御情報が近似されたことにより発生するＣＵの符号化情報量を再度計算し、次の符号化単位（ＣＵ）の処理ブロックの量子化制御に反映してもよい。

近似部３０３は、量子化制御部３０１から取得した符号化単位（ＣＵ）に含まれる変換単位（ＴＵ）の量子化制御情報を近似する。また、近似部３０３は、量子化パラメータを近似してもよい。以下に示す例では、量子化制御情報を近似する場合について説明する。近似の方法としては、（１）近似関数を用いる場合、（２）ルックアップテーブル（ＬＵＴ）を用いる場合との２つの例を挙げる。

（１）近似関数を用いる場合
近似部３０３は、例えば、変換単位の位置の近似関数を用いて量子化制御情報を近似する。近似部３０３は、ＴＵ毎に設定された量子化パラメータに基づく量子化制御情報を以下の関数として表現する。
Ｑｓ（ｉ，ｊ）＝ｆ（ｉ，ｊ） ・・・式（１）
Ｑｓ（ｉ，ｊ）：位置（ｉ，ｊ）におけるＴＵの量子化制御情報
近似部３０３は、関数ｆ（ｉ，ｊ）に対し、平面近似するなら式（２）とし、２次曲面近似するなら式（３）とする。
ｆ（ｉ，ｊ）＝ａ×ｉ＋ｂ×ｊ＋ｃ ・・・式（２）
ｆ（ｉ，ｊ）＝ａ×ｉ^２＋ｂ×ｊ^２＋ｃ×ｉ＋ｄ×ｊ＋ｅ ・・・式（３）
これにより、式（２）を用いて平面近似する場合は、パラメータが３個（ａ，ｂ，ｃ）、式（３）を用いて２次曲面近似する場合は、パラメータが５個（ａ，ｂ，ｃ，ｄ，ｅ）になり、図３に示すように１６個よりもパラメータの数が少なくなる。このパラメータは、近似された量子化制御情報を表すためのパラメータである。

近似方法としては、例えば、最小二乗法などの数値計算手法を利用することが可能である。また、近似関数としては、ｓｉｎ関数、ｃｏｓ関数などの三角関数や、ｌｏｇ関数などを用いてもよい。

また、近似部３０３は、パラメータ数が多くなるほど近似が複雑になるので、例えば、変換単位のサイズに基づいて、近似関数として１次関数（平面近似）を用いるか、２次関数（２次曲面近似）を用いるかを決定してもよい。

例えば、近似部３０３は、ＣＵからの階層分割が１回なら１次関数を用い、階層分割が２回以上なら２次関数を用いると決定してもよい。また、近似部３０３は、ＴＵのサイズが、ＣＵから４分割されたサイズであれば１次関数を用い、ＣＵから１６分割以上されたサイズであれば２次関数を用いると決定してもよい。

近似部３０３は、近似された量子化制御情報（近似量子化制御情報とも呼ぶ）をＴＵ毎に量子化処理部３０５に出力する。また、近似部３０３は、近似関数のパラメータ（近似パラメータとも呼ぶ）をパラメータ符号化部３０７に出力する。

（２）ＬＵＴを用いる場合
近似部３０３は、テーブル番号（Ｔｂ番号）と、各量子化制御情報とを関連付けたＬＵＴを保持し、設定された各量子化制御情報と最も類似する各量子化制御情報を有するテーブルを探す。テーブル番号は、近似量子化制御情報を表すためのパラメータである。

図６は、ＬＵＴの一例を示す図である。図６に示す例では、ＴＵが１６個ある場合の例である。図６に示すＱｓ１０１〜Ｑｓｎ１６には、代表的な量子化制御情報が設定されている。

近似部３０３は、各量子化制御情報と、ＬＵＴの各Ｑｓｉ０１〜Ｑｓｉ１６との差分絶対値和や最小二乗誤差が最も小さいテーブル番号を選択する。

近似部３０３は、最も類似する各量子化制御情報を有するテーブル番号を近似パラメータとしてパラメータ符号化部３０７に出力する。また、近似部３０３は、最も類似する各量子化制御情報を量子化処理部３０５に出力する。

図５に戻り、量子化処理部３０５は、近似部３０３から取得した近似量子化制御情報を用いて、係数信号を量子化する。量子化処理部３０５は、量子化した係数信号をエントロピー符号化部１０４及び逆量子化部１０５に出力する。

パラメータ符号化部３０７は、近似部３０３により近似された量子化制御情報を表すための近似パラメータを符号化する。パラメータ符号化部３０７は、例えばＭＰＥＧ−２やＨ．２６４などで用いられるＶＬＣ（Variable Length Coding）や、Ｈ．２６４やＨＥＶＣで用いられるＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）などにより符号化を行えばよい。符号化された近似パラメータは、ストリームに含まれる。

＜動作＞
次に、実施例２における画像符号化装置１０の動作について説明する。図７は、実施例２における量子化制御処理、符号化処理の一例を示すフローチャートである。図７に示す処理は、１つのＣＵにおける量子化制御処理、符号化処理を示す。

図７に示すステップＳ２０１で、量子化制御部３０１は、ＴＵでの量子化パラメータを設定する。

ステップＳ２０２で、量子化制御部３０１は、設定した量子化パラメータを量子化制御情報に換算する。

ステップＳ２０３で、量子化制御部３０１は、処理したＴＵはマクロブロック（あるいはＣＵ）の最後のＵｎｉｔ（ＴＵ）であるか否かを判定する。ＴＵが最後のＵｎｉｔであれば（ステップＳ２０３−ＹＥＳ）ステップＳ２０４に進み、ＴＵが最後のＵｎｉｔでなければ（ステップＳ２０３−ＮＯ）ステップＳ２０１に戻り、他のＴＵの量子化パラメータを設定する。

ステップＳ２０４で、近似部３０３は、量子化パラメータ（又は量子化制御情報）を近似する。近似方法としては、近似関数を用いたり、ＬＵＴを用いたりすればよい。

ステップＳ２０５で、量子化処理部３０５は、変換単位毎に近似された量子化制御情報を用いて、変換単位の係数信号を量子化する。

ステップＳ２０６で、エントロピー符号化部１０４は、近似された量子化パラメータや、量子化された変換係数をエントロピー符号化する。

ステップＳ２０７で、量子化制御部３０１は、近似部３０３から取得した近似された量子化パラメータ（又は近似量子化制御情報）を、次のＣＵ内のＴＵの量子化制御に反映する。

以上、実施例２によれば、変換単位のＴＵ毎に量子化パラメータを設定することができるので、ＴＵ毎に圧縮率や画質の制御を精度よく行うことができる。また、実施例２によれば、量子化パラメータを近似して量子化パラメータに関するパラメータ数を削減することができ、符号化効率を向上させることができる。

［実施例３］
次に、実施例３における画像符号化装置について説明する。実施例３では、ＴＵ毎に量子化パラメータを設定することで増加した量子化パラメータの情報を、最頻値を用いることで情報量を削減する。

＜構成＞
実施例３における画像符号化装置の構成は、基本的には図１に示す概略構成と同様であるため、同じ符号を付す。以降では、実施例１、２と異なる量子化部を主に説明する。

＜量子化＞
次に、実施例３における量子化処理について説明する。実施例３では、ＣＵではなく、ＴＵ毎に量子化パラメータ（Ｑｐ）の制御を行うことで、ＴＵ毎に圧縮率や画質の制御を行うとともに、最頻値を用いることで、量子化制御情報の情報量を削減する。

図８は、実施例３における量子化処理に関する構成の一例を示すブロック図である。図８に示す例では、量子化部１０３ｃは、量子化制御部４０１、パラメータ設定部４０３、及び量子化処理部４０５を有し、エントロピー符号化部１０４は、パラメータ符号化部４０７を有する。

量子化制御部４０１は、基本的な処理について、実施例１の量子化制御部２０１と同様である。量子化制御部４０１は、設定した量子化パラメータ（又は量子化制御情報）をパラメータ設定部４０３、及び量子化処理部４０５に出力する。

パラメータ設定部４０３は、符号化単位に含まれる変換単位の量子化制御情報を、この量子化制御情報の最頻値と、最頻値との差分を示すパラメータとで表す。パラメータ設定部４０３は、求めた最頻値と、所定の走査順での差分値とをパラメータ符号化部４０７に出力する。

量子化処理部４０５は、量子化制御部４０１から取得した量子化制御情報を用いて、変換単位毎の係数信号の量子化を行う。量子化処理部４０５は、量子化後の係数信号を、エントロピー符号化部１０４、及び逆量子化部１０５に出力する。

パラメータ符号化部４０７は、量子化パラメータの最頻値と、各量子化パラメータの最頻値からの差分値とを、量子化パラメータに関するパラメータとして符号化し、ストリームに含める。

＜動作＞
次に、実施例３における画像符号化装置１０の動作について説明する。図９は、実施例３における量子化制御処理、符号化処理の一例を示すフローチャートである。図９に示す処理は、１つのＣＵにおける量子化制御処理、符号化処理を示す。

図９に示すステップＳ３０１で、量子化制御部４０１は、ＴＵでの量子化パラメータを設定する。

ステップＳ３０２で、量子化制御部４０１は、設定した量子化パラメータを量子化制御情報に換算する。

ステップＳ３０３で、量子化制御部４０１は、処理したＴＵはマクロブロック（あるいはＣＵ）の最後のＵｎｉｔ（ＴＵ）であるか否かを判定する。ＴＵが最後のＵｎｉｔであれば（ステップＳ３０３−ＹＥＳ）ステップＳ３０４に進み、ＴＵが最後のＵｎｉｔでなければ（ステップＳ３０３−ＮＯ）ステップＳ３０１に戻り、他のＴＵの量子化パラメータを設定する。

ステップＳ３０４で、パラメータ設定部４０４は、量子化パラメータ（又は量子化制御情報）の最頻値と、最頻値と各量子化パラメータとの差分値を求める。

ステップＳ３０５で、パラメータ符号化部４０７は、最頻値と、差分値とを含むパラメータを符号化する。

ステップＳ３０６で、量子化処理部４０５は、変換単位毎に量子化制御情報を用いて、変換単位の係数信号を量子化する。

ステップＳ３０７で、エントロピー符号化部１０４は、量子化された変換係数をエントロピー符号化する。

以上、実施例３によれば、変換単位のＴＵ毎に量子化パラメータを設定することができるので、ＴＵ毎に圧縮率や画質の制御を精度よく行うことができる。また、実施例３によれば、量子化パラメータに関して最頻値を用いて情報量を削減することができ、符号化効率を向上させることができる。

＜変形例＞
上記各実施例の変形例として、量子化部１０３は、実施例１〜３の量子化制御処理を実行可能とし、どの量子化制御処理を行うかを設定可能とする。量子化部１０３は、各実施例の量子化部１０３ａ〜ｃをまとめた構成である。量子化部１０３は、設定された量子化制御処理を実行する。この処理について、図１０を用いて説明する。

図１０は、変形例における量子化制御処理、符号化処理の一例を示すフローチャートである。図１０に示す処理は、１つのＣＵにおける量子化制御処理、符号化処理を示す。

図１０に示すステップＳ４０１〜Ｓ４０３の処理は、図４に示すステップＳ１０１〜Ｓ１０３の処理と同様である。

ステップＳ４０４で、量子化部１０３は、量子化パラメータの近似が設定されているかを判定する。近似が設定されていれば（ステップＳ４０４−ＹＥＳ）ステップＳ４０５に進み、近似が設定されていなければ（ステップＳ４０４−ＮＯ）ステップＳ４０９に進む。

ステップＳ４０５〜Ｓ４０８の処理は、実施例２で説明した図７に示すステップＳ２０４〜Ｓ２０７の処理と同様である。

ステップＳ４０９で、量子化部１０３は、量子化パラメータの最頻値及び差分値表現が設定されているかを判定する。最頻値及び差分値表現が設定されていれば（ステップＳ４０９−ＹＥＳ）ステップＳ４１０に進み、最頻値及び差分値表現が設定されていなければ（ステップＳ４０９−ＮＯ）ステップＳ４１４に進む。

ステップＳ４１０〜Ｓ４１３の処理は、実施例３で説明した図９に示すＳ３０４〜Ｓ３０７の処理と同様である。

ステップＳ４１４は、エントロピー符号化部１０４が、公知の技術を用いて量子化パラメータを符号化する。

以上、変形例によれば、実施例１〜３における量子化制御処理を有し、いずれの処理を行うかを画像に応じて変更することが可能となる。どの量子化制御処理を行うかは、予め量子化部１０３に設定されていればよい。

［実施例４］
次に、実施例４における画像復号装置について説明する。実施例４では、実施例１〜３で符号化されたストリームを復号する。実施例４では、実施例１〜３と同様の量子化制御処理を行って、符号化装置と同一の量子化制御情報を用いて逆量子化を行う。

＜構成＞
図１１は、実施例４における画像復号装置５０の概略構成の一例を示すブロック図である。図１１に示すように、画像復号装置５０は、エントロピー復号部５０１、逆量子化部５０２、逆直交変換部５０３、イントラ予測部５０４、復号情報記憶部５０５、インター予測部５０６、予測画像選択部５０７、復号画像生成部５０８、デブロッキングフィルタ部５０９、ループフィルタ部５１０、及びフレームメモリ５１１を有する。各部についての概略を以下に説明する。

エントロピー復号部５０１は、ビットストリームが入力されると、画像符号化装置１０のエントロピー符号化に対応するエントロピー復号を行う。エントロピー復号部５０１により復号された予測誤差信号、量子化に関するパラメータなどは逆量子化部５０２に出力される。また、インター予測されている場合の、復号された動きベクトルなどは復号情報記憶部５０５に出力される。

また、エントロピー復号部５０１は、イントラ予測の場合、イントラ予測部５０４にその旨通知する。また、エントロピー復号部５０１は、復号対象画像がインター予測されているか、イントラ予測されているかを予測画像選択部５０７に通知する。

逆量子化部５０２は、エントロピー復号部５０１からの出力信号に対して逆量子化処理を行う。このとき、逆量子化部５０２は、実施例１〜３で説明した処理と逆の処理を行う。逆量子化部５０２は、例えば近似関数やＬＵＴを保持している場合は近似パラメータから量子化制御情報を取得し、又は量子化に関するパラメータ（最頻値と差分値）から量子化制御情報を取得し、逆量子化を行う。逆量子化された出力信号は、逆直交変換部５０３に出力される。

逆直交変換部５０３は、逆量子化部５０２からの出力信号の復号ブロックに対して逆直交変換処理を行い、残差信号を生成する。残差信号は復号画像生成部５０８に出力される。

イントラ予測部５０４は、後述するフィルタ制御部５１０から通知されるフィルタを用いて、フレームメモリ５１１から取得する既に復号化された周辺画素から予測画像を生成する。

復号情報記憶部５０５は、復号されたループフィルタのフィルタ係数や復号された動きベクトルなどを記憶する。

インター予測部５０６は、フレームメモリ５１１から取得した参照画像のデータを復号情報記憶部５０５から取得する動きベクトルを用いて動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。

予測画像選択部５０７は、イントラ予測画像、又はインター予測画像どちらか一方の予測画像を選択する。選択されたブロックデータは、復号画像生成部５０８に出力される。

復号画像生成部５０８は、予測画像選択部５０７から出力される予測画像と、逆直交変換部５０３から出力される残差信号とを加算し、復号画像を生成する。生成された復号画像はデブロッキングフィルタ部５０９に出力される。

デブロッキングフィルタ部５０９は、復号画像生成部５０８から出力された復号画像に対し、ブロック歪を低減するためのデブロッキングフィルタをかけ、ループフィルタ部５１０に出力する。

ループフィルタ部５１０は、復号情報記憶部５０５から取得したフィルタ係数を用いて、復号画像の所定サイズ毎にフィルタ処理を行う。所定サイズは、例えば逆直交変換サイズである。ループフィルタ処理後の復号画像をフレームメモリ５１１に出力する。なお、ループフィルタ後の復号画像は表示装置などに出力されてもよい。

フレームメモリ５１１は、参照画像となる復号画像などを記憶する。なお、復号情報記憶手段５０５とフレームメモリ５１１は、分けた構成にしているが、同じ記憶部であってもよい。なお、図１１に示す画像復号装置５０の構成はあくまでも一例にすぎず、実装の仕方によって構成を変更してもよい。

以上、実施例４によれば、実施例１〜３で符号化されたストリームを適切に復号することができる。

［実施例５］
次に、実施例５における画像処理装置について説明する。上記実施例の画像処理装置は、画像符号化装置及び画像復号装置をまとめて画像処理装置と呼ぶ。実施例５では、上述した実施例の各処理をソフトウェアで実装した場合について説明する。

＜構成＞
図１２は、実施例５における画像処理装置６０の概略構成の一例を示すブロック図である。図１２に示す画像処理装置６０は、制御部６０１と、主記憶部６０２と、補助記憶部６０３と、通信部６０４と、記録媒体Ｉ／Ｆ部６０５とを少なくとも有する。各部は、バスを介して相互にデータ送受信可能に接続されている。

制御部６０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）である。また、制御部６０１は、主記憶部６０２や補助記憶部６０３に記憶されたプログラムを実行する演算装置であり、通信部６０４や各記憶部からデータを受け取り、演算、加工した上で、出力部や各記憶部に出力する。

また、制御部６０１は、例えば補助記憶部６０３に記憶される上記実施例のいずれかの処理を行うプログラムを実行することで、上述した処理を実行することができる。

主記憶部６０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部６０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部６０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。また、補助記憶部６０３は、記録媒体６０６などから取得されたプログラムを記憶しておいてもよい。

通信部６０４は、有線又は無線で通信を行う。通信部６０４は、例えばサーバなどから送信されたプログラムを補助記憶部６０３に記憶するようにしてもよい。

記録媒体Ｉ／Ｆ（インターフェース）部６０５は、ＵＳＢ（Universal Serial Bus）などのデータ伝送路を介して接続された記録媒体６０６（例えば、フラッシュメモリなど）と画像処理装置６０とのインターフェースである。

また、記録媒体６０６に、所定のプログラムを格納し、この記録媒体６０６に格納されたプログラムは記録媒体Ｉ／Ｆ部６０５を介して画像処理装置６０にインストールされる。インストールされた所定のプログラムは、画像処理装置６０により実行可能となる。

例えば、図１に示す復号画像記憶部１１０や図１１に示す復号情報記憶部５０５やフレームメモリ５１１は、例えば、主記憶部６０２又は補助記憶部６０３などにより実現されうる。図１や図１１に示す各記憶部以外の各部は、例えば制御部６０１及びワーキングメモリとしての主記憶部６０２により実現されうる。

また、このプログラムを記録媒体６０６に記録し、このプログラムが記録された記録媒体６０６をコンピュータや携帯端末に読み取らせて、前述した処理を実現させることも可能である。

なお、記録媒体６０６は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、上述した各実施例で説明した処理は、１つ又は複数の集積回路に実装してもよい。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。

１０ 画像符号化装置
５０ 画像復号装置
６０ 画像処理装置
１０３ 量子化部
１０４ エントロピー符号化部
２０１、３０１、４０１ 量子化制御部
２０３、３０５、４０５ 量子化処理部
３０３ 近似部
３０７、４０７ パラメータ符号化部
４０３ パラメータ設定部
５０２ 逆量子化部
６０１ 制御部
６０２ 主記憶部

Claims (8)

1. 画像を符号化単位に分割し、前記符号化単位を複数の変換単位で周波数変換して符号化を行う画像符号化装置であって、
   前記変換単位の係数信号に基づいて量子化制御情報を前記変換単位毎に設定する量子化制御部と、
   前記量子化制御情報を用いて前記係数信号を量子化する量子化処理部と、
   を備える画像符号化装置。
2. 前記符号化単位に含まれる変換単位の量子化制御情報を近似する近似部と、
   前記近似部により近似された量子化制御情報を表すためのパラメータを符号化するパラメータ符号化部とをさらに備え、
   前記量子化部は、
   前記近似部により近似された量子化制御情報を用いて量子化する請求項１記載の画像符号化装置。
3. 前記近似部は、
   前記変換単位の位置の近似関数を用いて前記量子化制御情報を近似する請求項２記載の画像符号化装置。
4. 前記近似部は、
   前記変換単位のサイズに基づいて、前記近似関数として１次関数を用いるか、又は２次関数を用いるかを決定する請求項３記載の画像符号化装置。
5. 前記近似部は、
   テーブル番号と各量子化制御情報とを関連付けたルックアップテーブルを用いて前記量子化制御情報を近似する請求項２記載の画像符号化装置。
6. 前記符号化単位に含まれる変換単位の量子化制御情報を、前記量子化制御情報の最頻値と、該最頻値との差分を示すパラメータとで表すパラメータ設定部と、
   前記最頻値及び前記パラメータを符号化するパラメータ符号化部とをさらに備える請求項１記載の画像符号化装置。
7. 請求項１乃至６いずれか一項に記載の画像符号化装置により符号化されたストリームを復号する画像復号装置であって、
   前記ストリームを復号する復号部と、
   前記変換単位の量子化制御情報を用いて前記復号部により復号されたデータを逆量子化する逆量子化部と、
   を備える画像復号装置。
8. 画像を符号化単位に分割し、前記符号化単位を複数の変換単位で周波数変換して符号化を行うために、コンピュータに、
   前記変換単位の係数信号に基づいて量子化制御情報を前記変換単位毎に設定する設定ステップと、
   前記量子化制御情報を用いて前記係数信号を量子化する量子化ステップと、
   を実行させるためのプログラム。

Images