JP2009005413A - 画像符号化装置 - Google Patents

Abstract

【課題】画像符号化装置によれば、特別な演算処理を追加することなくインター符号化モードの直交変換ブロックサイズを決定することができる。
【解決手段】予測ブロックサイズのブロック画像から予測画像を減算した差分画像を符号化する画像符号化装置が、イントラ符号モードにおいて、イントラ符号化コストからイントラ予測ブロックサイズと、イントラ予測ブロックサイズから一意に決まるイントラ直交変換ブロックサイズを選択するイントラモード選択部１０３Ｂと、インター符号化コストからインター予測ブロックサイズを選択するインター予測ブロックサイズ選択部１０３Ｄと、イントラ直交変換ブロックサイズをインター直交変換ブロックサイズとして選択するインター変換サイズ選択部１０３Ｅと、予測ブロックサイズと直交変換ブロックサイズを選択するイントラ／インター選択部１０３Ｆとを備える。
【選択図】図４

Description

本発明は、画像符号化装置に関する。

Ｈ．２６４（ＭＰＥＧ−４ ＡＶＣ）はイントラ符号化モードとインター符号化モードとを備える動画像符号化方式である。一般的なＨ．２６４の動画像符号化装置はこれら各モードを適応的に使い分ける。各モードの選択方法には、例えば、各モードの符号化コストが最小となる予測ブロックサイズと直交変換ブロックサイズとの組み合わせを求め、それら符号化コストの小さいほうのモードを最適なモードとして選択する方法がある。

予測ブロックサイズは、イントラ符号化モード、インター符号化モードの場合共に、予測画像と入力画像の差分値の絶対値和（ＳＡＤ）である符号化コストを計算し、符号化コストが最小のものが選択される。

一方、直交変換ブロックサイズは、イントラ符号化モードにおいては、予測ブロックサイズが決まると直交変換ブロックサイズが一意に決まる。しかしながら、インター符号化においては、予測ブロックサイズが決まっても直交変換ブロックサイズが一意に決まらない場合がある。したがって、インター符号化モードにおいては、直交変換ブロックサイズを決定するために、他の処理が必要となる。

例えば、Ｈ．２６４のリファレンスソフトであるＪＭは、原画像と予測画像との差分値をアダマール変換して生成された変換係数の絶対値和（ＳＡＴＤ）を用いて、直交変換ブロックサイズを決定する。

また、特開２００７−１１０５６８（特許文献１）は、原画像から画像の特性を表す特徴量を用いて直交変換ブロックサイズを選択する。より具体的には、分散値を用いて原画像をエッジ部と平坦部に分別し、エッジ部で４ｘ４変換を用いる。
特開２００７−１１０５６８公報

直交変換ブロックサイズを決定するために、画像符号化処理には直接必要ない特別な演算処理が行われる。その結果、演算コストが増加するという課題がある。

本発明は、画像符号化装置においてインター符号化モードの直交変換ブロックサイズを決定するための演算コストを削減することを目的とする。

上記目的を達成するために、本発明の実施形態に係る画像符号化装置は、入力画像のマクロブロックを可変な予測ブロックサイズのブロック単位で動き補償予測して得られる差分画像を可変な直交変換ブロックサイズのブロック単位で直交変換・量子化する画像符号化装置において、イントラ予測及びインター予測で使用可能な複数のブロックサイズのそれぞれに従って、入力画像のマクロブロックを分割して入力ブロック画像を生成する分割部と、イントラ予測で使用可能なブロックサイズのそれぞれに従ってイントラ予測を行って、前記マクロブロックのイントラ予測画像を生成するイントラ予測部と、インター予測で使用可能なブロックサイズのそれぞれに従ってインター予測を行って、前記マクロブロックのそれぞれからインター予測画像を生成するインター予測部と、前記マクロブロックから前記イントラ予測画像のそれぞれを減算して前記ブロックサイズ毎のイントラ差分画像を求める第１の減算部と、前記マクロブロックから前記インター予測画像のそれぞれを減算して前記ブロックサイズ毎のインター差分画像を求める第２の減算部と、
前記イントラ差分画像から前記ブロックサイズ毎のイントラ符号化コストを計算するイントラ符号化コスト計算部と、前記インター差分画像から前記ブロックサイズ毎のインター符号化コストを計算するインター符号化コスト計算部と、前記イントラ符号化コストに基づいてイントラ予測ブロックサイズを選択するとともに、前記イントラ予測ブロックサイズに対してあらかじめ定められた１つのイントラ直交変換ブロックサイズを選択するイントラモード選択部と、前記インター符号化コストに基づいてインター予測ブロックサイズを選択するインター予測サイズ選択部と、前記インター予測ブロックサイズに対して１つの直交変換ブロックサイズでの直交変換が使用可能である場合にはその直交変換ブロックサイズをインター直交変換ブロックサイズとして選択し、前記インター予測ブロックサイズに対して複数の直交変換ブロックサイズが使用可能である場合には前記イントラ直交変換ブロックサイズをインター直交変換ブロックサイズとして選択するインター直交変換ブロックサイズ選択部と、イントラ予測とインター予測のうちの一方の予測モードをインター符号化コストとイントラ符号化コストとに基づいて選択するとともに、前記イントラ予測ブロックサイズと前記イントラ直交変換ブロックサイズとの組み合わせと前記インター予測ブロックサイズと前記インター直交変換ブロックサイズとの組み合わせとのうちの一方の組み合わせを前記マクロブロックの予測ブロックサイズと直交変換サイズとの組み合わせとして前記選択された予測モードに応じて選択するイントラ／インター選択部とを備える。

本発明に係る画像符号化装置によれば、インター符号化モードの直交変換ブロックサイズを決定するための演算コストを削減することができる。

図１は、本実施形態の画像符号化装置１００を示すブロック図である。

本実施形態の画像符号化装置１００は、分割部１０１と減算部１０２とモード選択部１０３と変換・量子化部１０４と符号化部１０５と逆量子化・逆変換部１０６と加算部１０７と参照画像記憶部１０８と予測画像生成部１０９とを備える。

分割部１０１は、入力画像（１６画素×１６画素サイズのマクロブロック）を複数のパターンのブロックサイズのブロックに分割しブロック画像として出力する。イントラ符号化モードの場合、各マクロブロックは１６×１６、８×８及び４×４のいずれかのブロックサイズで均等に分割される。すなわち、３通りの分割パターンが存在する。インター符号化モードの場合、各マクロブロックは１６×１６、１６×８、８×１６、８×４、４×８、８×８、及び４×４のいずれかのブロックサイズで均等に分割される。すなわち、７通りの分割パターンが存在する。

減算部１０２は、各ブロックサイズのブロック画像から、後述する予測画像生成部１０９からの予測画像を減算した各ブロックサイズの差分画像を出力する。

モード選択部１０３は、減算部１０２から入力される各ブロックサイズの差分画像を元に後述する所定の処理を行うことにより、最適な符号化モード情報を選択し、選択した最適な符号化モード情報に対応する差分画像を出力する。符号化モード情報は、イントラ符号化モードであるかインター符号化モードであるかを示す符号化モードの情報と、予測ブロックサイズの情報と、直交変換ブロックサイズの情報とを含む。

変換・量子化部１０４は、モード選択部から入力される最適な符号化モード情報に対応する差分画像を、変換、量子化し、量子化データを生成する。

符号化部１０５は、量子化データを符号化し、符号化データを生成する。符号化部１０５は、例えば、可変長符号化または算術符号化を用いる。

逆量子化・逆変換部１０６は、変換・量子化部１０４から入力された量子化データを逆量子化および逆変換して、逆量子化後差分画像を生成する。

加算部１０７は、逆量子化後差分画像に予測画像を加算して、局所復号画像を求める。

参照画像記憶部１０８は、局所復号画像を参照画像として記憶する。

予測画像生成部１０９は、参照画像記憶部１０８に記憶された参照画像を参照して、分割部１０１から入力された各ブロックサイズのブロック画像の予測画像を求める。

図２は、本実施形態の画像符号化装置１００の動作を示すフローチャートである。図１、図２及び図３を参照して、本実施形態にかかる画像符号化装置１００の動作を説明する。

分割部１０１が、入力画像（１６画素×１６画素のサイズのマクロブロック）を複数のパターンのブロックサイズのブロックに分割し、ブロック画像を出力する（Ｓ１０１）。

予測画像生成部１０９は、分割部１０１からの各ブロックサイズのブロック画像に類似する画像を参照画像記憶部１０８から取得し予測画像として出力する（Ｓ１０２）。

減算部１０２が、各ブロックサイズのブロック画像から予測画像を減算して、各ブロックサイズの差分画像を出力する（Ｓ１０３）。

モード選択部１０３が、各ブロックサイズの差分画像に対して、後述する所定の処理を行い、最適な符号化モード情報を選択する。また、モード選択部１０３は、選択した最適な符号化モード情報に対応する差分画像を出力する（Ｓ１０４）。

ここで、モード選択部１０３が選択した最適な符号化モード情報のうち、予測ブロックサイズは、変換・量子化部１０４と符号化部１０５と予測画像生成部１０９に出力される。また、直交変換ブロックサイズは、変換・量子化部１０４及び符号化部１０５に出力される。また、最適な符号化モード情報に対応する差分画像は、変換・量子化部１０４に出力される。

変換・量子化部１０４は、最適な符号化モード情報に対応する差分画像につき、変換と量子化を行い量子化データを生成する（Ｓ１０５）。ここで、変換は、最適な符号化モード情報に対応する差分画像につき、直交変換ブロックサイズのブロックサイズにより直交変換を行う。直交変換されたデータに対して、量子化を行い、量子化データを生成する。量子化データは、逆量子化・逆変換部１０６と符号化部１０５に出力される。

符号化部１０５は、量子化データを符号化して、符号化データを出力する（Ｓ１０６）。符号化に際しては、予測ブロックサイズと直交変換ブロックサイズを参照して、符号化を行う。

逆量子化・逆変換部１０６は量子化データを逆量子化・逆変換して逆量子化後差分画像を生成する（Ｓ１０７）。

加算部１０７は、逆量子化後差分画像に対して、予測画像生成部１０９から入力された予測画像を加算し、局所復号画像を出力する（Ｓ１０８）。ここで、予測画像は、最適な符号化モード情報に対応する差分画像に対応する予測画像である。

参照画像記憶部１０８が局所復号画像を参照画像として記憶する（Ｓ１０９）。

図４は、本実施形態に係る画像符号化装置１００の予測画像生成部１０９とモード選択部１０３の詳細を示すブロック図である。モード選択部１０３が、最適な符号化モード情報をどのように選択するかについて説明する。

予測画像生成部１０９は、イントラ予測部１０９Ａとインター予測部１０９Ｂとを備える。モード選択部１０３は、イントラ符号化コスト計算部１０３Ａとイントラモード選択部１０３Ｂと、インター符号化コスト計算部１０３Ｃと、インターブロックサイズ選択部１０３Ｄと、インター変換サイズ選択部１０３Ｅと、イントラ／インター選択部１０３Ｆとを備える。

イントラ予測部１０９Ａとインター予測部１０９Ｂは、それぞれ、参照画像記憶部１０８から入力された参照画像を参照して、各ブロックサイズのブロック画像に対応する予測画像を求める。イントラ予測部１０９Ａは、参照画像記憶部１０８から入力画像と同一フレーム内で既に符号化された領域の参照画像を参照してイントラ予測（フレーム内予測）を行う。インター予測部１０９Ｂは入力画像とは異なるフレームの参照画像を参照してインター予測（フレーム間予測）を行う。

第１の減算部１０２Ａ、第２の減算部１０２Ｂは、それぞれ各ブロックサイズのブロック画像からイントラ予測部１０９Ａとインター予測部１０９Ｂのそれぞれから出力されたイントラ予測画像、インター予測画像を減算して、各ブロックサイズのイントラ差分画像と各ブロックサイズのインター差分画像とを生成する。

イントラ符号化コスト計算部１０３Ａとインター符号化コスト計算部１０３Ｃは、それぞれ、マクロブロック毎の各ブロックサイズのイントラ差分画像と各ブロックサイズのインター差分画像の符号化コストを計算する。ここで、符号化コストとは、例えば、予測画像とブロック画像との差分値の絶対値和（ＳＡＤ）である。

イントラモード選択部１０３Ｂは、イントラ符号化コスト計算部１０３Ａから出力された符号化コストが最小の符号化コストのブロックサイズをイントラ予測ブロックサイズとして選択する。イントラモード選択部１０３Ｂは、図３（ａ）に示すテーブルを参照して、イントラ予測ブロックサイズに対応する直交変換ブロックサイズであるイントラ直交変換ブロックサイズを求める。

インターブロックサイズ選択部１０３Ｄは、インター符号化コスト計算部１０３Ｃから出力された符号化コストが最小の符号化コストに対応するブロックサイズをインター予測ブロックサイズとして選択する。

インター変換サイズ選択部１０３Ｅは、インター直交変換ブロックサイズを決定する。図３（ｂ）はインター符号化モードの場合の予測ブロックサイズと直交変換ブロックサイズとの関係を示す。インター符号化モードでは、インター予測ブロックサイズが８×８未満の場合、使用可能な直交変換ブロックサイズは４×４のみである。一方、インター予測ブロックサイズが８×８以上の場合、使用可能な直交変換ブロックサイズは４×４または８×８である。

インター変換サイズ選択部１０３Ｅは、インター予測ブロックサイズが８×８以上の場合、イントラモード選択部１０３Ｂが選択したイントラ直交変換ブロックサイズを直交変換ブロックサイズとして選択する。

イントラ／インター選択部１０３Ｆは、イントラ符号化モードにおける最小の符号化コストと、インター符号化モードにおける最小の符号化コストとを比較し、符号化コストの小さい符号化モードを選択する。そして、イントラ／インター選択部１０３Ｆは、最適な符号化モード情報を選択する。そして、イントラ／インター選択部１０３Ｆは、最適な符号化情報と最適な符号化情報に対応する符号化コストと差分画像とを出力する。

図４を用いて、本実施形態の画像符号化装置１００の動作方法について説明する。

イントラ符号化モードにおいて、イントラ予測部１０９Ａが、参照画像記憶部１０８から入力された参照画像と各ブロックサイズのブロック画像とを比較して、予測画像を出力する。

第１の減算部１０２Ａが、各ブロックサイズのブロック画像から予測画像を減算して、差分画像（イントラ差分画像）を出力する。

イントラ符号化コスト計算部１０３Ａが、マクロブロック毎に、イントラ差分画像の符号化コストであるイントラ符号化コストを計算する。

イントラ符号化モード選択部が、マクロブロック毎に、イントラ符号化コストのうち、最小の符号化コストの最小のモードの１つのブロック画像サイズをイントラ予測ブロックサイズとして選択する。また、イントラ予測ブロックサイズからイントラ直交変換ブロックサイズも決定する。

インター符号化モードにおいて、インター予測部１０９Ｂが、参照画像記憶部１０８から入力された参照画像と各ブロックサイズのブロック画像とを比較して、予測画像を出力する。

第２の減算部１０２Ｂが、各ブロックサイズのブロック画像から予測画像を減算して、差分画像（インター差分画像）を出力する。

インター符号化コスト計算部１０３Ｃが、マクロブロック毎に、インター差分画像の符号化コストであるインター符号化コストを計算する。

インターブロックサイズ選択部１０３Ｄが、インター符号化コストのうち、最小の符号化コストの最小のモードの１つのブロック画像サイズをインター予測ブロックサイズとして選択する。また、インター符号化コストにより、動きベクトルも決定する。

インター変換サイズ選択部１０３Ｅは、インター直交変換ブロックサイズを選択する。

図３に示されるように、インター予測ブロックサイズが、８×４、４×８、又は４×４の場合、直交変換ブロックサイズは、４×４と一意に決まる。従って、インター変換サイズ選択部１０３Ｅは、インター直交変換ブロックサイズとして、４×４と選択する。

一方、インター予測ブロックサイズが、１６×１６、１６×８、又は８×１６、８×８の場合、インター変換サイズ選択部１０３Ｅは、イントラ直交変換ブロックサイズを直交変換ブロックサイズとして選択する。

次に、イントラ／インター選択部１０３Ｆは、イントラ符号化コストの最小の符号化コストとインター符号化コストの最小の符号化コストとを比較し、符号化コストが小さい符号化モードを選択する。そして、イントラ／インター選択部１０３Ｆは、最適な符号化モード情報と最適な符号化情報に対応する符号化コストと差分画像とを出力する。

本実施形態に係る画像符号化装置１００においては、インター符号化モードの直交変換ブロックサイズの選択において、イントラモード選択部１０３Ｂが選択した直交変換ブロックサイズを選択することにより、演算コストを減少させることができる。Ｈ／Ｗの場合、イントラ予測部１０９Ａ及びイントラモード選択部１０３Ｂは、常に動作するため、イントラモード選択部１０３Ｂの結果を用いてインター符号化モードの直交変換ブロックサイズを選択しても追加の演算は必要ないため、従来、直交変換ブロックサイズの決定の際に用いていたアダマール変換等の分だけ少ない演算コストで直交変換ブロックサイズを選択することができる。

また、本実施形態に係る画像符号化装置１００においては、イントラモード選択部１０３Ｂは、予測ブロックサイズによって予測画像が異なり、予測ブロックサイズが決まると直交変換ブロックサイズが自動的に決まるので、ＳＡＤを評価値とすることで、直交変換ブロックサイズを決定でき、アダマール変換等の分だけ少ない演算コストで直交変換ブロックサイズを選択することができる。

また、インター符号化モードの予測ブロックサイズの選択は、エッジを含むブロックやテクスチャの細かいブロックで小さいブロックサイズが選択され易い傾向がありその様なブロックで直交変換ブロックのサイズを小さくするとリンギング歪みが抑制できるため、本実施系に係る画像符号化装置１００においては、視覚的に良好な直交変換ブロックサイズの選択が可能である。
なお、本発明は上記本実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。

例えば、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）などの高解像度画像では、８×８未満の予測のサイズを使用しないこともある。ＨＤなどの高解像度画像では、８×８未満の予測のサイズは符号化効率の向上に寄与しないためである。

また、本実施形態においては、インター変換サイズ選択部は、インター予測ブロックサイズが８×８以上の場合、イントラモード選択部が選択したイントラ直交変換ブロックサイズを直交変換ブロックサイズとして選択しているが、インター変換サイズ選択部は、イントラ予測ブロックサイズの結果を基に、インター直交変換ブロックサイズを決定しても良い。例えば、イントラ予測ブロックサイズが、８×８以上の場合、インター符号化モードは、イントラモード選択部の予測ブロックサイズの結果を基に、直交変換ブロックサイズを８×８と決定する。また、インター変換サイズ選択部は、イントラ符号化コスト計算部が計算する符号化コストを基に、インター直交変換ブロックサイズを決定しても良い。例えば、イントラ符号化コスト計算部におけるブロックサイズが８×８と４×４の符号化コストを比較し、符号化コストが小さいブロックサイズに対応する直交変換ブロックサイズをインター直交変換ブロックのサイズとする方法がある。

本実施形態にかかる画像符号化装置を示すブロック図 本実施形態にかかる画像符号化装置の動作を示すフローチャート 符号化モード情報を示す図 本実施形態に係る画像符号化装置の予測画像生成部とモード選択部の詳細を示すブロック図

符号の説明

１００・・・画像符号化装置
１０１・・・分割部
１０２・・・減算部
１０２Ａ・・・第１の減算部
１０２Ｂ・・・第２の減算部
１０３・・・モード選択部
１０３Ａ・・・イントラ符号化コスト計算部
１０３Ｂ・・・イントラモード選択部
１０３Ｃ・・・インター符号化コスト計算部
１０３Ｄ・・・インターブロックサイズ選択部
１０３Ｅ・・・インター変換サイズ選択部
１０３Ｆ・・・イントラ／インター選択部
１０４・・・変換／量子化部
１０５・・・符号化部
１０６・・・逆量子化／逆変換部
１０７・・・加算部
１０８・・・参照画像記憶部
１０９・・・予測画像生成部
１０９Ａ・・・イントラ予測部
１０９Ｂ・・・インター予測部

Claims (1)

1. 入力画像のマクロブロックを可変な予測ブロックサイズのブロック単位で動き補償予測して得られる差分画像を可変な直交変換ブロックサイズのブロック単位で直交変換・量子化する画像符号化装置において、
   イントラ予測及びインター予測で使用可能な複数のブロックサイズのそれぞれに従って、入力画像のマクロブロックを分割して入力ブロック画像を生成する分割部と、
   イントラ予測で使用可能なブロックサイズのそれぞれに従ってイントラ予測を行って、前記マクロブロックのイントラ予測画像を生成するイントラ予測部と、
   インター予測で使用可能なブロックサイズのそれぞれに従ってインター予測を行って、前記マクロブロックのそれぞれからインター予測画像を生成するインター予測部と、
   前記マクロブロックから前記イントラ予測画像のそれぞれを減算して前記ブロックサイズ毎のイントラ差分画像を求める第１の減算部と、
   前記マクロブロックから前記インター予測画像のそれぞれを減算して前記ブロックサイズ毎のインター差分画像を求める第２の減算部と、
   前記イントラ差分画像から前記ブロックサイズ毎のイントラ符号化コストを計算するイントラ符号化コスト計算部と、
   前記インター差分画像から前記ブロックサイズ毎のインター符号化コストを計算するインター符号化コスト計算部と、
   前記イントラ符号化コストに基づいてイントラ予測ブロックサイズを選択するとともに、前記イントラ予測ブロックサイズに対してあらかじめ定められた１つのイントラ直交変換ブロックサイズを選択するイントラモード選択部と、
   前記インター符号化コストに基づいてインター予測ブロックサイズを選択するインター予測サイズ選択部と、
   前記インター予測ブロックサイズに対して１つの直交変換ブロックサイズでの直交変換が使用可能である場合にはその直交変換ブロックサイズをインター直交変換ブロックサイズとして選択し、前記インター予測ブロックサイズに対して複数の直交変換ブロックサイズが使用可能である場合には前記イントラ直交変換ブロックサイズをインター直交変換ブロックサイズとして選択するインター直交変換ブロックサイズ選択部と、
   イントラ予測とインター予測のうちの一方の予測モードをインター符号化コストとイントラ符号化コストとに基づいて選択するとともに、前記イントラ予測ブロックサイズと前記イントラ直交変換ブロックサイズとの組み合わせと前記インター予測ブロックサイズと前記インター直交変換ブロックサイズとの組み合わせとのうちの一方の組み合わせを前記マクロブロックの予測ブロックサイズと直交変換サイズとの組み合わせとして前記選択された予測モードに応じて選択するイントラ／インター選択部と、
   を備える画像符号化装置。

Images