JP2016025529A - 符号化装置、方法、プログラム及び機器 - Google Patents

Abstract

【課題】変換単位の組み合わせを探索する際に、量子化処理の処理量を削減することができ、レート歪最適量子化技術を用いるのと同等の符号化効率を得るようにする。
【解決手段】本発明は、入力画像の符号化単位を複数の異なるサイズの処理単位に分割し、木構造で示した変換単位の組み合わせを利用して入力画像を符号化するものであり、利用可能な変換単位毎に入力画像と予測画像との差分である予測残差を変換係数に変換する変換手段と、変換単位毎の変換係数を量子化オフセットにより量子化する仮量子化手段と、仮量子化結果に基づいて変換単位の組み合わせを選択する組合せ選択手段と、選択された変換単位の組み合わせの変換係数に対してレート歪最適量子化処理を行なう再量子化手段とを備える。
【選択図】 図１

Description

本発明は、符号化装置、方法、プログラム及び機器に関し、特に複数の異なるサイズの変換単位をツリー状に組み合わせて利用可能な映像符号化方式を用いる符号化装置、方法、プログラム及び機器に適用し得るものである。

例えば、ＭＰＥＧ−２（Moving Picture Coding Experts Group−Phase２）やＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding：以下、ＡＶＣとも呼ぶ。）等に代表される映像符号化方式による映像情報の圧縮符号化処理は、入力された対象画像を分割した処理単位ごとに、イントラ予測や動き補償予測等のインター予測を行った予測画像と、入力された対象画像との差分である予測残差信号に、離散コサイン変換等の空間変換を施した変換係数を量子化して、これをエントロピー符号化することによって高効率の映像圧縮を実現している。

近年、更なる高画質化、高圧縮効率化のため、Ｈ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ（High Efficiency Video Coding：以下、ＨＥＶＣと呼ぶ。）が規定されている。

図２は、従来の映像符号化装置の構成を示すブロック図である。図２において、例えばＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣのような符号化技術を用いる場合、入力映像シーケンスが映像符号化装置に入力される。入力された符号化対象画像は、画面分割部１０１により処理単位領域ごとに画面分割されて差分処理部１１１に与えられる。処理単位領域ごとに分割された入力画像は、差分処理部１１１により、動き補償を伴うインター予測部１０９による予測画像、若しくは、イントラ予測部１１０による予測画像との差分である予測残差信号が求められる。そして、予測残差信号は、変換部２０２により、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）されて、得られた変換係数が量子化部２０３により量子化される。エントロピー符号化部１０４では、量子化された変換係数を、可変長符号や算出符号等のようなエントロピー符号化して符号化ストリームとして出力する。

量子化された変換係数は、逆量子化部１０５で逆量子化、逆変換部１０６で逆変換されて、予測画像と加算することによって復号側で生成される復号画像を得る。

さらに、ＨＥＶＣ等の映像符号化方式の場合、ブロック歪を軽減するデブロッキングフィルタなどのループ内フィルタ１０７が適用され、後続の画像の符号化時のインター予測の動き補償のための参照画像として参照画像バッファ１０８に保持される。

量子化を伴う符号化方式の場合、量子化処理により量子化雑音が発生し、復号側で再生される復号画像に歪が生じる。一方で、量子化することによって、符号化すべき情報量が削減され、高効率の圧縮が実現される。

このような歪とレート（符号量）のトレードオフを評価し、符号化モード選択等に利用する技術としてレート歪最適化技術がある。つまり、符号量を多くすることで画像の歪を軽減することができるが、符号量が多くなって圧縮率が低下するとともに符号化に係る演算処理の負荷が大きくなる。そのため、画像の歪と符号化処理に係る符号量との最適化を図るために、レート歪最適化技術がある。

レート歪最適化技術は、複数の符号化モード等の選択肢について、その選択肢を選択した場合に得られる復号画像の歪Ｄと、その選択肢で符号化するときに発生する符号量Ｒと、ラグランジュ乗数λとで表されるレート歪コストＪ＝Ｄ＋λ・Ｒを最小化するような選択をすることによって、レートと歪とのトレードオフが最適な符号化をする方法である。

非特許文献１には、このレート歪最適化技術を変換係数の量子化に利用するレート歪最適量子化の方法が開示されている。レート歪最適量子化は、変換係数ごとに量子化レベル候補に量子化した場合の歪と、量子化レベル候補をエントロピー符号化するのに必要となる符号量（レート）とのトレードオフを評価し、レート歪コストが最適となる量子化レベルを選択することで、符号化効率が最適となるような量子化を行う方法である。ＨＥＶＣにおいても、符号化効率向上のための量子化技術としてレート歪最適量子化が用いられている。

ＨＥＶＣでは、図５に示すように、これまでのＡＶＣ等の映像符号化方式における符号化単位となる１６×１６画素単位のマクロブロックを拡張して、８×８画素単位から６４×６４画素単位まで（すなわち、８×８、１６×１６、３２×３２、６４×６４の画素単位）の符号化単位であるコーディングユニット（以下、ＣＵとも呼ぶ。）を４分木構造の符号化ツリーで表現することが可能となっており、多様なブロックサイズでの符号化が可能となっている。さらに、コーディングユニット（ＣＵ）は、４×４サイズから３２×３２サイズまで（すなわち、４×４、８×８、１６×１６、３２×３２画素単位）の変換単位である変換ユニット（以下、ＴＵとも呼ぶ。）に、４分木構造の残差ツリーとして分割可能であり、コーディングユニット（ＣＵ）の予測残差信号を様々なサイズの変換単位を組み合わせて変換・量子化して符号化することが可能となっている。ＨＥＶＣを符号化方式として用いる場合、多様なコーディングユニット（ＣＵ）や変換ユニット（ＴＵ）の組み合わせが可能である。

そのため、これらコーディングユニット（ＣＵ）や変換ユニット（ＴＵ）の組み合わせの中から最適な組み合わせを選択することが符号化効率に大きな影響を与える。

最適な組み合わせを選択するためには、非常に多くの組み合わせの符号化候補に対して、レート歪コストを評価する必要があり、この探索処理を効率的に行う技術が求められている。例えば、非特許文献２には、残差ツリーをさらに分割するかを量子化パラメータ依存の閾値から判断して、閾値以下の変換係数しか存在しない場合に、より小さな変換サイズに分割する探索処理を省略する方法が開示されている。

Ｍ．Ｋａｒｃｚｅｗｉｃｚ，ｅｔ ａｌ．"Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚｅｄ Ｑｕａｎｔｉｚａｔｉｏｎ"，ＪＶＴ−ＡＡ０２６．（ｈｔｔｐ：／／ｆｔｐ３．ｉｔｕ．ｉｎｔ／ａｖ−ａｒｃｈ／ｊｖｔ−ｓｉｔｅ／２００８＿０４＿Ｇｅｎｅｖａ／ＪＶＴ−ＡＡ０２６．ｚｉｐ） Ｍ．Ｓｉｅｋｍａｎｎ，ｅｔ ａｌ．"Ｆａｓｔ ｅｎｃｏｄｅｒ ｃｏｎｔｒｏｌ ｆｏｒ ＲＱＴ，"ＪＣＴＶＣ−Ｅ４２５（ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／５＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｅ４２５−ｖ３．ｚｉｐ）

しかしながら、レート歪最適量子化技術による量子化処理は演算処理量が多く、ＨＥＶＣの様に利用可能な変換単位の組み合わせが膨大にある場合は、最適な量子化結果を得るための処理量は膨大なものとなる。また、レート歪最適量子化技術を用いずに量子化を行うと符号化効率が低下してしまうという課題があった。

そのため、変換単位の組み合わせである残差ツリーを探索する際に、量子化処理の処理量を削減することができ、また、レート歪最適量子化技術を用いるのと同等の符号化効率を得ることが可能となる符号化装置、方法、プログラム及び機器が求められている。

本発明は、前記課題を解決するためになされたものであり、次のような構成を採用する。

第１の本発明に係る符号化装置は、入力画像の符号化単位を複数の異なるサイズの処理単位に分割し、木構造で示した変換単位の組み合わせを利用して入力画像を符号化する符号化装置において、（１）利用可能な変換単位毎に、入力画像と予測画像との差分である予測残差を変換係数に変換する変換手段と、（２）変換手段により変換された変換単位毎の変換係数を、量子化オフセットにより量子化する仮量子化手段と、（３）仮量子化手段による仮量子化結果に基づいて、変換単位の組み合わせを選択する組合せ選択手段と、（４）組合せ選択手段により選択された変換単位の組み合わせの変換係数に対してレート歪最適量子化処理を行なう再量子化手段とを備えることを特徴とする。

第２の本発明に係る符号化方法は、入力画像の符号化単位を複数の異なるサイズの処理単位に分割し、木構造で示した変換単位の組み合わせを利用して入力画像を符号化する符号化方法において、（１）変換手段が、利用可能な変換単位毎に、入力画像と予測画像との差分である予測残差を変換係数に変換し、（２）仮量子化手段が、変換手段により変換された変換単位毎の変換係数を、量子化オフセットにより量子化し、（３）組合せ選択手段が、仮量子化手段による仮量子化結果に基づいて、変換単位の組み合わせを選択し、（４）再量子化手段が、組合せ選択手段により選択された変換単位の組み合わせの変換係数に対してレート歪最適量子化処理を行なうことを特徴とする。

第３の本発明に係る符号化プログラムは、入力画像の符号化単位を複数の異なるサイズの処理単位に分割し、木構造で示した変換単位の組み合わせを利用して入力画像を符号化する符号化プログラムにおいて、コンピュータを、（１）利用可能な変換単位毎に、入力画像と予測画像との差分である予測残差を変換係数に変換する変換手段と、（２）変換手段により変換された変換単位毎の変換係数を、量子化オフセットにより量子化する仮量子化手段と、（３）仮量子化手段による仮量子化結果に基づいて、変換単位の組み合わせを選択する組合せ選択手段と、（４）組合せ選択手段により選択された変換単位の組み合わせの変換係数に対してレート歪最適量子化処理を行なう再量子化手段として機能させることを特徴とする。

第４の本発明に係る機器は、第１の本発明に係る符号化装置を備えることを特徴とする。

本発明によれば、変換単位の組み合わせである残差ツリーを探索する際に、量子化処理の処理量を削減することができ、また、レート歪最適量子化技術を用いるのと同等の符号化効率を得ることが可能となる。

第１の実施形態に係る映像符号化装置の内部構成を示すブロック図である。 従来の映像符号化装置の構成を示すブロック図である。 第１の実施形態に係る残差ツリー変換・量子化部の構成を示すブロック図である。 第２の実施形態に係る残差ツリー変換・量子化部の構成を示すブロック図である。 ４分木構造による符号化単位への分割及び変換単位への分割を説明する説明図である。

（Ａ）第１の実施形態
以下では、本発明に係る符号化装置、方法、プログラム及び機器の第１の実施形態を、図面を参照しながら詳細に説明する。

（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態に係る映像符号化装置の内部構成を示すブロック図である。第１の実施形態に係る映像符号化装置１は、図１に示す各構成部を搭載した専用のＩＣチップ等のハードウェアとして構成しても良いし、又は、ＣＰＵと、ＣＰＵが実行するプログラムを中心としてソフトウェア的に構成して良いが、機能的には、図１で表すことができる。

図１において、第１の実施形態に係る映像符号化装置１は、画面分割部１０１、残差ツリー変換・量子化部１０２、エントロピー符号化部１０４、逆量子化部１０５、逆変換部１０６、ループ内フィルタ部１０７、参照画像バッファ１０８、インター予測部１０９、イントラ予測部１１０、差分処理部１１１、加算部１１２、切り替え部１１３を有する。

映像符号化装置１は、入力された映像シーケンスを所定の符号化方式で符号化して、符号化映像ストリームを出力するものである。

第１の実施形態では、符号化方式がＨ．２５６／ＭＰＥＧ−Ｈ ＨＥＶＣで規格化されている符号化方式である場合を例示する。しかし、符号化方式は、Ｈ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣに限定されるものではなく、符号化単位であるコーディングユニット（ＣＵ）の予測残差信号を様々なサイズの変換単位に分割することができ、その変換単位の組み合わせにより量子化して符号化を行うことができるものであれば、様々な符号化方式を適用できる。例えば、符号化方式は、Ｈ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣに限定されず、例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの規格化技術やＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣの規格化技術等を基調として拡張した符号化方式にも適用可能である。

画面分割部１０１は、符号化対象画像を所定の処理単位に分割するために、入力された映像シーケンスの符号化対象画像を、コーディングユニット等の所定の処理単位領域ごとに分割して、差分処理部１１１に与えるものである。

差分処理部１１１は、予測残差信号を求めるために、画面分割部１０１からの所定の処理単位領域に分割された入力画像と、インター予測部１０９若しくはイントラ予測部１１０からの、上記処理単位領域に対応する予測画像との差分を求め、その差分を予測残差信号として残差ツリー変換・量子化部１０２に与えるものである。

残差ツリー変換・量子化部１０２は、差分処理部１１１から入力された予測残差信号を、変換・量子化された変換係数のツリー構造である量子化残差信号に変換し、その量子化残差信号を逆量子化部１０５及びエントロピー符号化部１０４に与える。

残差ツリー変換・量子化部１０２は、入力された予測残差信号に基づいて、利用することが可能な変換単位毎の各変換係数を求め、それら変換単位毎の各変換係数について演算処理の負荷が小さい量子化手法により量子化する。そして、利用することが可能な変換単位毎の量子化された変換係数を用いて、変換単位の組み合わせを選択し、その選択された変換単位についてのみ、変換係数を量子化するものである。

なお、予測残差信号を、量子化残差信号に変換する処理の詳細については後述するが、第１の実施形態によれば、演算処理の負荷が比較的少ない手法で、利用可能な変換単位毎の量子化された変換係数を求めて、変換単位の組み合わせを選択し、その選択された変換単位の組み合わせについての変換係数を量子化（すなわち、レート歪最適量子化）を行うことで、演算処理の負荷を軽減することができる。

エントロピー符号化部１０４は、符号の出現確率の偏りを圧縮するために、残差ツリー変換・量子化部１０２からの量子化残差信号をエントロピー符号化して、符号化映像ストリームを出力するものである。

逆量子化部１０５は、符号化信号から残差信号（残差画像）を復元するために、残差ツリー変換・量子化部１０２からの量子化残差信号を逆量子化するものである。

逆変換部１０６は、逆量子化部１０５により逆量子化された信号を逆変換して残差信号（残差画像）を復元して、加算部１１２に与えるものである。

加算部１１２は、逆変換部１０６からの復元された残差信号に、切り替え部１１３を介してインター予測部１０９又はイントラ部１１０からの予測画像を加算して、復号側で復号される復号画像を求めるものである。加算部１１２は、復号画像を、ループ内フィルタ部１０７及びイントラ予測部１１０に与えるものである。

ループ内フィルタ部１０７は、符号化ループ内の量子化処理によって生じる符号化歪み（例えばブロック歪、リンギング歪等）を低減するために、加算部１１２からの復号画像をフィルタリングするものである。第１の実施形態はＨＥＶＣ等を適用する場合を例示しており、デブロッキングフィルタ等のループ内フィルタ部１０７を用いて符号化歪みを低減する。

参照画像バッファ１０８は、ループ内フィルタ部１０７から出力される画像を、参照画像として保持するものである。ループ内フィルタ部１０７からの出力画像が、後続の入力画像の符号化時のインター予測の動き補償のための参照画像となる。

インター予測部１０９は、参照画像バッファ１０８に保持されている画像を参照画像として取得して動き補償予測を行うものである。

イントラ予測部１１０は、加算部１１２から出力される画像を用いてイントラ予測を行うものである。

切り替え部１１３は、画像のフレーム間又はフレーム内の画像符号化を行うために、インター予測部１０９又はイントラ予測部１１０の出力を切り替えるものである。

図３は、第１の実施形態に係る残差ツリー変換・量子化部の構成を示すブロック図である。図３に示すように、残差ツリー変換・量子化部１０２は、変換部１１、仮量子化部１２、残差ツリー選択部１３、再量子化部１４を有する。

残差ツリー変換・量子化部１０２は、上述したように、入力画像と予測画像との差分である予測残差信号から、変換・量子化されたツリー構造の量子化残差信号を求めるものである。

変換部１１は、入力された予測残差信号を変換係数に変換するものである。変換部１１は、利用することが可能な変換単位毎の変換係数を求めるものである。

利用することが可能な変換単位は映像符号化装置１における符号化単位（処理領域単位）によるが、例えば、処理領域単位が６４×６４サイズの場合、変換単位は４×４サイズ、８×８サイズ、１６×１６サイズ、３２×３２サイズとすることができ、変換部１１は、上記それぞれの変換単位の変換係数を求める。なお、変換部１１による予測残差信号の直交変換手法は、既存の変換手法を広く適用することができ、例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散コサイン変換）等を適用できる。変換部１１は、変換した変換係数を仮量子化部１２及び再量子化部１４に与える。

仮量子化部１２は、変換部１１により変換された各変換単位の各変換係数を、演算処理の負荷が比較的少ない量子化処理で、量子化するものである。第１の実施形態では、仮量子化部１２が量子化オフセットを用いて、各変換単位の各変換係数を量子化するものとする。また、仮量子化部１２は、量子化した各変換単位の各変換係数を残差ツリー選択部１３に与えるものである。仮量子化部１２による量子化処理の例については動作の項で詳細に説明する。

残差ツリー選択部１３は、仮量子化部１２による変換単位毎の量子化された変換係数に基づいて、符号化コストが最小となるように変換単位の組み合わせを選択するものである。

再量子化部１４は、残差ツリー選択部１３により選択された変換単位の組み合わせに基づいて、その変換単位の組み合わせの各変換単位の変換係数を変換部１１から取得し、上記変換単位の組み合わせの各変換単位の変換係数に対して、レート歪最適量子化処理を用いて量子化を行う。再量子化部１４は、得られた量子化された変換係数を量子化残差信号としてエントロピー符号化部１０４及び逆量子化部１５に出力する。

（Ａ−２）第１の実施形態の動作
次に、第１の実施形態に係る映像符号化装置１における符号化処理を、図面を参照しながら詳細に説明する。

図１において、映像符号化装置１に入力した入力映像シーケンスが画面分割部１０１に入力すると、符号化対象映像は画面分割部１０１により符号化処理単位領域ごとに分割されて差分処理部１１１に与えられる。

インター予測部１０９では、参照画像バッファ１０８に保持されている画像を参照画像として動き補償を伴うインター予測画像が予測され、その動き補償を伴う予測画像が生成される。また、イントラ予測部１１０では、画面内の符号化済みの画素等に基づいてイントラ予測画像が生成される。

切り替え部１１３は、インター符号化又はイントラ符号化に応じて、インター予測部１０９又はイントラ予測部１１０のいずれかに切り替え、インター予測画像又はイントラ予測画像のいずれを差分処理部１１１に与える。

差分処理部１１１では、符号化処理単位領域に対して、入力画像と予測画像との差分が求められ、その差分が予測残差信号として、残差ツリー変換・量子化部１０２に出力される。

予測残差信号は残差ツリー変換・量子化部１０２に入力され、残差ツリー変換・量子化部１０２により、予測残差信号は、変換・量子化された変換係数のツリー構造である量子化残差信号に変換される。変換された量子化残差信号は、エントロピー符号化部１０４及び逆量子化部１０５に与えられる。

量子化残差信号は、符号化モード情報や動きベクトル情報、残差ツリー構成情報等とともに、エントロピー符号化部１０４でエントロピー符号化されて符号化映像ストリームとして出力する。

一方、逆量子化部１０５及び逆変換部１０６では、量子化残差信号が逆量子化・逆変換され、加算部１１により逆量子化・逆変換された信号が予測画像と加算されて、復号画像が復元される。復元された復号画像は、ループ内フィルタ部１０７及びイントラ予測部１１０に与えられる。

ループ内フィルタ部１０７において、復号画像はブロッキングフィルタ等のフィルタ処理が施されて、符号化歪みが軽減されて、参照画像バッファ１０８に保持される。

また、加算部１１２による復元された復号画像は、イントラ予測部１１０に与えられて、画面内のイントラ予測に利用される。

次に、第１の実施形態に係る残差ツリー変換・量子化部１０２における動作を、図３を参照しながら詳細に説明する。

図３において、入力画像と予測画像との差分である予測残差信号が、残差ツリー変換・量子化部１０２の変換部１１に入力する。

変換部１１では、入力される予測残差に対して、利用することができる残差ツリーの変換単位の組み合わせ毎に、ＤＣＴやＤＳＴ等を用いて変換係数に変換する。例えば、符号化方式がＨＥＶＣの場合、変換部１１は、４×４〜３２×３２サイズのそれぞれのサイズについて、ＤＣＴを用いて予測残差を変換係数にしたり、また例えば、４×４サイズでＤＳＴを用いて予測残差を変換係数に変換したりする。また、変換部１１は、変換処理を行わない変換スキップモードを利用するようにしても良い。変換部１１により変換された各変換単位毎の各変換係数は、仮量子化部１２及び再量子化部１４に与えられる。

仮量子化部１２では、変換部１１により変換された各変換単位の各変換係数に対して、演算処理の軽量な量子化オフセットを用いて量子化する。

ここで、仮量子化部１２は、各変換単位の各変換係数ｄの絶対値に対して量子化ステップ幅ｑを除算するのではなく、除算を乗算とビットシフトで近似した式（１）に従って、各変換係数ｄの絶対値｜ｄ｜にスケール係数ａを乗算してｓビットの固定少数で近似した量子化オフセット値を加算することで、各変換係数ｄの絶対値｜ｄ｜に対する量子化された変換係数ｃの絶対値｜ｃ｜を求める。
｜ｃ｜＝（ａ×｜ｄ｜＋ｆ）＞＞ｓ …（１）
式（１）において、ｆは、量子化ステップ幅に対する量子化オフセット値である。仮量子化部１２は、例えば量子化ステップ幅ｑに対する量子化オフセット値ｆを用いて量子化に係る演算処理量を軽減して、各変数係数を量子化する。

例えば、量子化ステップ幅ｑに関して、イントラ画像（イントラピクチャ）のときには量子化オフセットがｑ／３となるように量子化オフセット値ｆ＝２^ｓ／３とし、またインター画像（インターピクチャ）のときには量子化オフセットがｑ／６となるように量子化オフセット値ｆ＝２^ｓ／６等のようにする。仮量子化部１２は、変換部１１により変換された各変換単位の各変数係数の絶対値｜ｄ｜にスケール係数ａを乗算し、量子化オフセット値ｆを加算するという、演算処理量の少ない量子化オフセットを用いて量子化を行う。

なお、上記の例では、量子化ステップ幅ｑとする場合に、イントラ画像のときにはｆ＝２^ｓ／３とし、またインター画像のときにはｆ＝２^ｓ／６を用いる場合を例示したが、量子化オフセットの値は上記値に限定するものではない。

次に、仮量子化部１２によって各変換単位毎に量子化された各変換係数は、残差ツリー選択部１３に与えられる。残差ツリー選択部１３では、変換単位毎の量子化された変換係数に基づき、符号化コストが最適となるように、変換単位の組み合わせが選択される。

図５は、４分木構造による符号化単位への分割及び変換単位への分割を説明する説明図である。

図５（Ａ）は、最も大きい実線の四角形が符号化ツリー単位（例えば６４×６４画素サイズ）の画像の模式図であり、実線は符号化単位への分割領域を示しており、破線は符号化単位の変換単位への分割を示している。図５（Ｂ）は、図５（Ａ）の分割領域を４分木構造で表現したものである。図５（Ｂ）の頂点は６４×６４画素サイズとしており、頂点からの４個の分枝は、６４×６４画素サイズを４分割したときの各分割領域を示しており、左から順番に、左上領域、右上領域、左下領域、右下領域に対応している。なお、３２×３２サイズ以降の分枝も同様に各領域を示している。つまり、図５（Ｂ）は、符号化単位への分割と変換単位への分割を４分木構造で示しているため、ツリー構造の終端が各変換単位であることを意味する。

残差ツリー選択部１３は、残差ツリーで利用可能な最も大きなサイズの変換単位から再帰的に、仮量子化部１２によって量子化された変換係数に基づいて、４分木構造（ツリー）の各ノードについて、変換単位を分割した場合の符号化コストと、変換単位を分割しなかった場合の符号化コストとを求める。ここでの符号化コストの算出は、例えば、非特許文献１に記載されるレート歪最適化技術などを用いるようにしても良い。

そして、残差ツリー選択部１３は、その変換単位を分割した場合の符号化コストと、変換単位を分割しなかった場合の符号化コストとを比較して、いずれが小さいかを判断して、変換単位を分割するか否かを判断する。

残差ツリー選択部１３は、符号化単位に関して再帰的に行っていき、図５（Ｂ）に例示するような残差ツリーの構造を選択する。

再量子化部１４は、残差ツリー選択部１３により選択された残差ツリーの組み合わせについてのみ、変換部１１から取得された、各変換単位の変換係数に対してレート歪最適量子化を施し、各変換単位の変換係数を量子化する。なお、レート歪最適量子化手法は、例えば、非特許文献２に記載される技術を適用することができる。すなわち、再量子化部１４は、各変換単位の変換係数に対して、個々の変換係数を複数の量子化レベル候補に量子化した場合の歪みと、量子化レベル候補をエントロピー符号化するのに必要となる符号量とを評価し、レート歪コストが最適となる量子化レベルを選択することで量子化処理を行う。

なお、残差ツリー変換・量子化部１０２は、残差ツリー選択部１３が残差ツリーを選択した際、残差ツリー選択部１３が残差ツリーの変換単位の組み合わせに関連する変換係数を記憶しておき、再量子化処理には変換処理を行なわず、残差ツリー選択部１３が記憶している変換係数を用いて、残差ツリーの変換単位の組み合わせの各変換係数を量子化するような構成としても良い。

また、再量子化部１０４は、仮量子化結果が残差なしとなった変換単位については再量子化処理を行わずに、量子化結果を残差なしとする情報を出力するような構成してもよい。

以上の処理によって生成された残差ツリーの構造と再量子化部１４で最適に量子化された変換係数を、量子化残差として出力する。

（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、変換単位の組み合わせである残差ツリーを探索する際に、量子化処理の処理量を削減することができ、また、レート歪最適量子化技術を用いるのと同等の符号化効率を得ることが可能となる。

（Ｂ）第２の実施形態
次に、本発明に係る符号化装置、方法、プログラム及び機器の第２の実施形態を、図面を参照しながら詳細に説明する。

（Ｂ−１）第２の実施形態の構成
第２の実施形態に係る映像符号化装置は、第１の実施形態に係る図１に例示する映像符号化装置１と同一又は対応する構成要素を備えるものである。そのため、第２の実施形態においても、図１を用いて説明する。

第２の実施形態は、残差ツリー変換・量子化部の処理が第１の実施形態と呼なる。そこで、以下では、第２の実施形態に係る残差ツリー変換・量子化部１０２Ａの構成を詳細に説明する。

第２の実施形態に係る残差ツリー変換・量子化部１０２Ａは、第１の実施形態に係る処理に加えて、仮量子化結果に基づいて、残差ツリーの探索処理を制御するものである。

図４は、第２の実施形態に係る残差ツリー変換・量子化部１０２Ａの構成を示すブロック図である。図４において、残差ツリー変換・量子化部１０２Ａは、変換部１１、仮量子化部２２、残差ツリー選択部２３、残差ツリー探索制御部２５、再量子化部１４を有する。

変換部１１は、第１の実施形態と同様に、入力画像と予測画像との差分である予測残差信号を、利用することができる変換単位毎に変換係数に変換するものである。変換部１１は、得られた各変換単位の各変換係数を、仮量子化部２２及び再量子化部１４に与える。

仮量子化部２２は、第１の実施形態と同様にして、変換部１１により得られた各変換単位の各変換係数を、量子化オフセットを用いて量子化するものである。仮量子化部２２は、各変換単位毎の量子化された変換係数を、残差ツリー選択部２３及び残差ツリー探索制御部２５に与える。

残差ツリー探索制御部２５は、仮量子化部２２により各変換単位毎の量子化された変換係数に基づいて、残差ツリーの探索処理の制御を行うものである。

例えば、残差ツリー探索制御部２５は、仮量子化部２２により量子化された変換係数に基づき、残差なしとする変換単位について、この変換単位を更に分割というような探索処理を制限する。これは、入力画像と予測画像との残差のない単位領域について更に分割しても残差なしとなる場合が多いと考えられ、残差ツリー選択部１３による符号化コストの判断に係る処理の分だけ増大することになるため、残差ツリー構造の深化を回避するために、残差ツリー探索制御部２５は変換単位の探索処理を制限する。

残差ツリー選択部２３は、残差ツリー探索制御部２５からの制御により、仮量子化部２２により量子化された変換係数に基づいて変換単位の組み合わせを選択するものである。残差ツリー選択部２３は、基本的には、第１の実施形態で説明したように、仮量子化部２２により量子化された変換係数に基づいて、変換単位の組み合わせを選択するが、残差ツリー探索制御部２５により探索処理の制限を受けた変換単位については分割を行わない。

再量子化部１４は、残差ツリー選択部２３により選択された残差ツリーの組み合わせについてのみ、変換部１１から取得した変換係数を用いて、レート歪最適量子化技術による量子化処理を行い、その量子化した変換係数を量子化残差信号として出力する。

（Ｂ−２）第２の実施形態の動作
次に、第２の実施形態に係る映像符号化装置１の符号化処理を、図面を参照しながら詳細に説明する。映像符号化装置１の全体的な処理の手順は、第１の実施形態と同様であるため、ここでは、残差ツリー変換・量子化部１０２Ａにおける処理の動作を詳細に説明する。

入力画像と予測画像との差分である予測残差信号が、残差ツリー変換・量子化部１０２Ａの変換部１１に入力する。

変換部１１では、入力される予測残差に対して、利用することができる残差ツリーの変換単位の組み合わせ毎に、ＤＣＴやＤＳＴ等を用いて変換係数に変換する。変換部１１により変換された変換係数は、仮量子化部２２及び再量子化部１４に与えられる。

仮量子化部２２では、変換部１１により変換された各変換単位の各変換係数に対して、演算処理の軽量な量子化オフセットを用いて量子化する。この量子化された変換係数は、残差ツリー探索制御部２５及び残差ツリー選択部２３に与えられる。なお、仮量子化部２２における量子化オフセットを用いた量子化処理の方法は、第１の実施形態と同様の方法を適用できるため、ここでの詳細に説明は省略する。

残差ツリー探索制御部２５では、仮量子化部２２による各変換単位の量子化結果に基づいて残差ツリーの探索処理の制御を行う。例えば、残差ツリー探索制御部２５は、各変換単位の仮量子化処理による量子化結果が残差なしとなった場合、この変換単位をさらに分割するような探索処理を省略するような制御を行う。

残差ツリー選択部２３は、残差ツリー探索制御部２５によって制限された変換単位の組み合わせからのみの選択を、仮量子化された変換係数に基づいた符号化コストの比較によって行う。この符号化コストの比較判断方法は、第１の実施形態で説明した方法を適用することができる。また、残差ツリー選択部２３は、残差ツリー探索制御部２５によって制限された残差ツリーのノードの処理は行わない。すなわち、残差ツリー探索制御部２５によって制限された変換単位については、更に分割して分割前の符号化コストと分割後の符号化コストとの比較判断を行わない。

再量子化部１４では、残差ツリー選択部２３で選択された残差ツリーの組み合わせについてのみ、レート歪最適量子化を用いて量子化処理を行い、残差ツリーの構造とともに量子化残差として出力する。

以上の処理によって生成された、量子化残差をエントロピー符号化部１０４でエントロピー符号化して符号化映像ストリームを出力する。

（Ｂ−３）第２の実施形態の効果
以上のように、第２の実施形態によれば、第１の実施形態と同様に、残差ツリーの探索処理時における量子化処理の処理量をさらに削減することができる。

（Ｃ）他の実施形態
上述した各実施形態においても種々の変形実施形態を言及したが、以下の変形実施形態にも適用可能である。

（Ｃ−１）上述した各実施形態における仮量子化結果に基づく符号化候補探索処理の制御は、残差ツリーの探索処理だけではなく、符号化ツリーの分割候補や予測モード候補の探索についても制御するよう構成してもよい。つまり、変換部、仮量子化部、残差ツリー探索制御部、残差ツリー選択部に対応する機能部が、符号化単位の分割候補の探索制御や、符号化モード（例えばインター予測モード）の予測モード候補の探索制御を行うものであっても良い。

この場合、例えば、符号化単位の符号化モード候補の組み合わせを選択するツリー選択部が、仮量子化部２２による仮量子化結果に基づき、符号化モード候補を選択するようにしても良い。このとき、探索制御手段が、符号化単位のインター予測に対する仮量子化結果が残差なしとなった場合に、イントラ予測候補の探索処理を省略（すなわち、候補探索の制限）するようにしても良い。

また例えば、符号化単位を分割する符号化単位の組み合わせを選択する符号化ツリー選択部が、仮量子化結果に基づいて、符号化単位の分割候補の組み合わせを選択するようにしても良い。このとき、探索制御手段が、仮量子化結果が残差なしとするときには、符号化単位をさらに小さな符号化単位に分割する分割候補の探索処理を省略（すなわち候補探索の制限）するようにしても良い。

（Ｃ−２）本発明は、上述した各実施形態に限定されず、その他のさまざまな符号化処理に利用可能である。すなわち、上述した各実施形態では符号化方式がＨＥＶＣの場合に例示したが、符号化方式はＨＥＶＣに限定されるものではなく、複数の異なるサイズの変換単位を組み合わせて利用可能なその他のさまざまな符号化方式において、同様の処理を行うことで処理量を低減することができる。

（Ｃ−３）また、本発明は、上述した各実施形態で説明した構成を有するような装置として構成する場合や、上記処理を実現するようなプログラムとしても実施可能である。

（Ｃ−４）さらに、本発明は、上述した各実施形態で説明した映像符号化装置を搭載したサーバや端末や機器等にも適用可能である。つまり、通信回線を通じて映像を配信するサーバや端末が、本発明に係る符号化装置を備えるものであっても良い。映像符号化装置を搭載するサーバや端末は、既存のサーバや端末を適用することができる。また、映像を符号化して記録媒体に記録する録画機器等にも適用可能である。なお、特許請求の範囲に記載の「機器」は、上記のような端末やサーバや機器を含む概念である。

１…映像符号化装置、１０１…画面分割部、１０２及び１０２Ａ…残差ツリー変換・量子化部、１０４…エントロピー符号化部、１０５…逆量子化部、１０６…逆変換部、１０７…ループ内フィルタ部、１０８…参照画像バッファ、１０９…インター予測部、１１０…イントラ予測部、１１１…差分処理部、１１２…加算部、１１３…切り替え部、１１…変換部、１２及び２２…仮量子化部、１３及び２３…残差ツリー選択部、１４…再量子化部、２５…残差ツリー探索制御部。

Claims (11)

1. 入力画像の符号化単位を複数の異なるサイズの処理単位に分割し、木構造で示した変換単位の組み合わせを利用して入力画像を符号化する符号化装置において、
   利用可能な変換単位毎に、入力画像と予測画像との差分である予測残差を変換係数に変換する変換手段と、
   上記変換手段により変換された変換単位毎の変換係数を、量子化オフセットにより量子化する仮量子化手段と、
   上記仮量子化手段による仮量子化結果に基づいて、処理単位の組み合わせを選択する組合せ選択手段と、
   上記組合せ選択手段により選択された変換単位の組み合わせの変換係数に対してレート歪最適量子化処理を行なう再量子化手段と
   を備えることを特徴とする符号化装置。
2. 上記組合せ選択手段が、上記仮量子化手段による仮量子化結果に基づき、最も大きいサイズの変換単位から再帰的に、木構造の各ノードでの変換単位への分割前の符号化コストと分割後の符号化コストとの比較により符号化コストが最適な変換単位の組み合わせを選択することを特徴とする請求項１に記載の符号化装置。
3. 上記仮量子化手段による仮量子化結果に基づいて、上記組合せ選択手段による変換単位の組み合わせの探索処理を制御する探索制御手段を備えることを特徴とする請求項１又は２に記載の符号化装置。
4. 上記探索制御手段が、上記仮量子化結果に基づき、残差なしとする変換単位を更に分割する探索を制限することを特徴とする請求項３に記載の符号化装置。
5. 上記組合せ選択手段が、選択した処理単位の組み合わせに関連する変換係数を記憶しておき、
   上記再量子化手段が、上記記憶されている変換係数を用いて量子化処理を行なう
   ことを特徴とする請求項１〜４のいずれかに記載の符号化装置。
6. 上記探索制御手段が、上記仮量子化結果に基づいて、画像の符号化単位の分割候補の探索処理を制御することを特徴とする請求項３〜５のいずれかに記載の符号化装置。
7. 上記探索制御手段が、上記仮量子化結果に基づいて、符号化単位の符号化モード候補の探索処理を制御することを特徴とする請求項３〜６のいずれかに記載の符号化装置。
8. 画像の符号化に用いる符号化方式がＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣであることを特徴とする請求項１〜７のいずれかに記載の符号化装置。
9. 入力画像の符号化単位を複数の異なるサイズの処理単位に分割し、木構造で示した変換単位の組み合わせを利用して入力画像を符号化する符号化方法において、
   変換手段が、利用可能な変換単位毎に、入力画像と予測画像との差分である予測残差を変換係数に変換し、
   仮量子化手段が、上記変換手段により変換された変換単位毎の変換係数を、量子化オフセットにより量子化し、
   組合せ選択手段が、上記仮量子化手段による仮量子化結果に基づいて、処理単位の組み合わせを選択し、
   再量子化手段が、上記組合せ選択手段により選択された変換単位の組み合わせの変換係数に対してレート歪最適量子化処理を行なう
   ことを特徴とする符号化方法。
10. 入力画像の符号化単位を複数の異なるサイズの処理単位に分割し、木構造で示した変換単位の組み合わせを利用して入力画像を符号化する符号化プログラムにおいて、
    コンピュータを、
    利用可能な変換単位毎に、入力画像と予測画像との差分である予測残差を変換係数に変換する変換手段と、
    上記変換手段により変換された変換単位毎の変換係数を、量子化オフセットにより量子化する仮量子化手段と、
    上記仮量子化手段による仮量子化結果に基づいて、変換単位の組み合わせを選択する組合せ選択手段と、
    上記組合せ選択手段により選択された変換単位の組み合わせの変換係数に対してレート歪最適量子化処理を行なう再量子化手段と
    して機能させることを特徴とする符号化プログラム。
11. 請求項１〜８のいずれかに記載の符号化装置を備えることを特徴とする機器。

Images