JP2013223050A - フィルタ装置、復号装置、および符号化装置 - Google Patents
フィルタ装置、復号装置、および符号化装置 Download PDFInfo
- Publication number
- JP2013223050A JP2013223050A JP2012092482A JP2012092482A JP2013223050A JP 2013223050 A JP2013223050 A JP 2013223050A JP 2012092482 A JP2012092482 A JP 2012092482A JP 2012092482 A JP2012092482 A JP 2012092482A JP 2013223050 A JP2013223050 A JP 2013223050A
- Authority
- JP
- Japan
- Prior art keywords
- filter
- unit
- image
- index
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】処理量が小さく、かつ、適用範囲の広い分類方法を用いた適応フィルタを実現する。
【解決手段】フィルタ対象領域に対応するユニットのサイズを用いて、フィルタインデックスを導出するフィルタインデックス導出部521と、フィルタインデックスによって指定されるフィルタ係数を上記フィルタ対象領域に割り付けるフィルタ係数割り付け部524と、フィルタ係数を用いてフィルタ処理を行う適応フィルタ部52とを備え、前記ユニットは、符号化ユニット、変換単位、予測単位の何れかである。
【選択図】図8
【解決手段】フィルタ対象領域に対応するユニットのサイズを用いて、フィルタインデックスを導出するフィルタインデックス導出部521と、フィルタインデックスによって指定されるフィルタ係数を上記フィルタ対象領域に割り付けるフィルタ係数割り付け部524と、フィルタ係数を用いてフィルタ処理を行う適応フィルタ部52とを備え、前記ユニットは、符号化ユニット、変換単位、予測単位の何れかである。
【選択図】図8
Description
本発明は、フィルタ装置、復号装置、および符号化装置に関する。
動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置(符号化装置)、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置(復号装置)が用いられている。具体的な動画像符号化方式としては、例えば、H.264/MPEG−4.AVCに採用されている方式、その後継コーデックであるHM(HEVC TestModel)ソフトウェアに採用されている方式などが挙げられる。
このような符号化方式において、動画像を構成する画像(ピクチャ)は、画像を分割することにより得られるスライス、スライスを分割することにより得られる最大符号化単位(LCU:Largest Coding Unit、ツリーブロックとも呼ばれる)、最大符号化単位を分割することにより得られる符号化単位(CU:Coding Unit、符号化ノードとも呼ばれる)、及び、符号化単位を分割することより得られるブロックおよびパーティションからなる階層構造により管理され、多くの場合、ブロックを最小単位として符号化される。
また、このような符号化方式においては、通常、入力画像を符号化/復号化することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像と入力画像との差分データが符号化される。また、予測画像の生成方法としては、画面間予測(インター予測)、および、画面内予測(イントラ予測)と呼ばれる方法が知られている。
イントラ予測においては、同一フレーム内の局所復号画像に基づいて、当該フレームにおける予測画像が順次生成される。具体的には、イントラ予測においては、通常、予測単位(例えば、ブロック)毎に、予め定められた予測方向(予測モード)群に含まれる予測方向から何れかの予測方向が選択されると共に、局所復号画像における参照画素の画素値を、選択された予測方向に外挿することによって、予測対象領域上の予測画素値が生成される。また、インター予測においては、フレーム全体が復号された参照フレーム(復号画像)内の参照画像に対し、動きベクトルを用いた動き補償を適用することによって、予測対象フレーム内の予測画像が予測単位(例えば、ブロック)毎に生成される。
非特許文献1には、復号画像を構成する各画素を、該画素の活性度と方向性に応じて複数のグループの何れかに分類し、それら複数のグループを適宜統合(マージ)すると共に、マージ後のグループ毎に設定されたフィルタ係数を用いて復号画像をフィルタする適応的ループフィルタ(Adaptive Loop Filter)(以下、単に「適応フィルタ」とも呼ぶ)が開示されている。
非特許文献2には、復号画像を構成する各画素を、イントラ予測モードを用いて分類する手法が開示されている。
このような適応フィルタを備えた符号化装置および復号装置は、復号画像に対して当該適応フィルタによりフィルタ処理を施して得られるフィルタ済みの復号画像を参照して予測画像を生成することにより、予測精度の向上および符号化効率の向上を図ることができる。
「High efficiency video coding (HEVC) text specification draft 6」,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 7th Meeting: Geneva, CH, 21-30 November, 2011, JCTVC-H1003dK
「Non-CE8: Block-based filter adaptation with intra prediction mode and CU depth information」,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 7th Meeting: Geneva, CH, 21-30 November, 2011, JCTVC-G463
しかしながら、非特許文献1に開示された方法では、復号処理において活性度と方向性を導出するため、処理量が大きいという課題がある。非特許文献2に開示された方法では、イントラ予測モードを用いるため処理量は大きくないが、イントラピクチャ以外では利用できないという課題があった。
本発明は、上記の問題に鑑みてなされたものであり、処理量が小さく、かつ、適用範囲の広い分類方法を用いた適応フィルタを実現することにある。
上記の課題を解決するために、本発明に係るフィルタ装置は、入力される符号化データより復号される予測残差と、復号済の復号画素値に基づいて生成される予測画像とに基づいてフィルタ前復号画像を生成し、上記フィルタ前復号画像に一以上のループ内フィルタを適用して復号画像を生成する画像復号装置において、フィルタ対象領域に対応する符号化パラメータを保持するユニットのサイズを用いて、フィルタインデックスを導出するフィルタインデックス導出手段と、前記フィルタインデックスによって指定されるフィルタ係数を上記フィルタ対象領域に割り付けるフィルタ係数割り付け手段と、前記フィルタ係数を用いてフィルタ処理を行うフィルタ手段とを備え、前記ユニットは、符号化ユニット、変換単位、予測単位の何れかであることを特徴としている。
以上の構成のフィルタ装置によれば、ユニットのサイズに応じて、フィルタインデックスを導出することにより、フィルタ対象領域に適したフィルタ係数を用いることができるため、様々なスライスタイプに対して高い符号化歪み低減効果を得る効果を奏する。
また、本発明に係るフィルタ装置では、上記フィルタインデックス導出手段は、上記ユニットのサイズを閾値と比較することによってフィルタインデックスを導出するものであり、上記ユニットの属するスライスがIスライスである場合の上記閾値は、上記ユニットの属するスライスがIスライスでない場合に比べて、小さく設定されている、ことが好ましい。
以上の構成のフィルタ装置によれば、様々なスライスタイプに対して高い符号化歪み低減効果を得る効果を奏する。
また、本発明に係るフィルタ装置は、入力される符号化データより復号される予測残差と、復号済の復号画素値に基づいて生成される予測画像とに基づいてフィルタ前復号画像を生成し、上記フィルタ前復号画像に一以上のループ内フィルタを適用して復号画像を生成する画像復号装置において、フィルタ対象領域に対応するユニットの予測方向が単予測であるか双予測であるかに応じて、フィルタインデックスを導出するフィルタインデックス導出手段と、前記フィルタインデックスによって指定されるフィルタ係数を上記フィルタ対象領域に割り付けるフィルタ係数割り付け手段と、前記フィルタ係数を用いてフィルタ処理を行うフィルタ手段とを備え、前記ユニットは、符号化ユニット、変換単位、予測単位の何れかであることを特徴としている。
以上の構成のフィルタ装置によれば、単予測であるか双予測であるかに応じて、フィルタインデックスを導出することにより、フィルタ対象領域に適したフィルタ係数を用いることができるため、様々なスライスタイプに対して高い符号化歪み低減効果を得る効果を奏する。
また、本発明に係るフィルタ装置では、上記フィルタインデックス導出手段は、上記ユニットがイントラブロックである場合のフィルタインデックスを、上記ユニットが単予測である場合と同じ値に設定する、ことをが好ましい。
上記の構成によれば、様々なスライスタイプやブロックタイプに対して適切なフィルタインデックスを導出するので、高い符号化歪み低減効果を得る。
また、本発明に係るフィルタ装置では、上記フィルタインデックス導出手段は、上記ユニットの属するスライスがBスライス以外の場合に、上記ユニットのサイズに応じてフィルタインデックスを導出する、ことが好ましい。
上記の構成によれば、様々なスライスタイプやブロックタイプに対して適切なフィルタインデックスを導出するので、高い符号化歪み低減効果を得る。
また、本発明に係るフィルタ装置では、上記フィルタインデックス導出手段は、上記ユニットの属するスライスがBスライス以外の場合に、フィルタインデックスを所定の値に設定する、ことが好ましい。
上記の構成によれば、様々なスライスタイプやブロックタイプに対して適切なフィルタインデックスを導出するので、高い符号化歪み低減効果を得る。
また、本発明に係るフィルタ装置は、入力される符号化データより復号される予測残差と、復号済の復号画素値に基づいて生成される予測画像とに基づいてフィルタ前復号画像を生成し、上記フィルタ前復号画像に一以上のループ内フィルタを適用して復号画像を生成する画像復号装置において、フィルタ対象領域の符号化パラメータの特性から特性インデックスを導出するユニット特性分類手段と、フィルタ対象領域の位置から位置インデックスを導出するユニット位置分類手段と、上記特性インデックスと上記位置インデックスとから、フィルタインデックスを導出するフィルタインデックス導出手段と、前記フィルタインデックスによって指定されるフィルタ係数を上記フィルタ対象領域に割り付けるフィルタ係数割り付け手段と、前記フィルタ係数を用いてフィルタ処理を行うフィルタ手段とを備えていることを特徴としている。
以上の構成のフィルタ装置によれば、符号化パラメータの特性と、領域の位置とを用いてフィルタインデックスを導出することにより、フィルタ対象領域に適したフィルタ係数を用いることができるため、様々なスライスタイプに対して、高い符号化歪み低減効果を得る効果を奏する。
また、本発明に係るフィルタ装置では、上記フィルタインデックス導出手段は、上記フィルタ対象領域の属するスライスがBスライスである場合には、上記特性インデックスと上記位置インデックスとから、フィルタインデックスを導出し、上記フィルタ対象領域の属するスライスがBスライスでない場合には、上記位置インデックスから、フィルタインデックスを導出する、ことが好ましい。
以上の構成のフィルタ装置によれば、様々なスライスタイプに対して、高い符号化歪み低減効果を得る効果を奏する。
また、本発明の復号装置は、符号化データを復号し、フィルタ後の復号画像を生成する復号装置であって、上記フィルタ装置と、各単位領域における予測画像を、上記フィルタ装置が生成した出力画像を参照して生成する予測画像生成手段と、を備え、上記フィルタ装置は、上記予測画像生成手段によって生成された予測画像と、上記符号化データから復号された残差画像とを加算することによって得られた復号画像を入力画像とし、出力画像として上記フィルタ後の復号画像を生成するものである、ことを特徴としている。
上記のように構成された復号装置によれば、様々なスライスタイプに対して、高い符号化歪み低減効果を得ることができる。
また、本発明の符号化装置は、符号化対象画像と予測画像との残差画像を符号化することによって符号化データを生成する符号化装置であって、上記フィルタ装置と、各単位領域における上記予測画像を、上記フィルタ装置が生成した出力画像を参照して生成する予測画像生成手段と、を備え、上記フィルタ装置は、上記予測画像生成手段によって生成された予測画像と上記残差画像とを加算することによって得られる復号画像を入力画像とし、出力画像を生成するものである、ことを特徴としている。
上記のように構成された符号化装置によれば、様々なスライスタイプに対して、高い符号化歪み低減効果を得ることができる。
〔実施形態1〕
以下では、本発明の第1の実施形態について図1〜図21を参照して説明する。
以下では、本発明の第1の実施形態について図1〜図21を参照して説明する。
本実施形態に係る適応フィルタは、フィルタ前画像(例えば、後述するデブロック済復号画像P_DB)を構成する各単位領域について、1以上のフィルタを含むフィルタセットから適応的に選択されたフィルタを用いて、フィルタ前画像に対して単位領域毎に作用する。上記フィルタ選択は、各単位領域のピクチャ内の位置と、各単位領域内またはその近傍におけるフィルタ前画像の画素値に基づき導出される複数の特性値のいずれか一方、またはそれらの組み合わせにより実行される。ここで単位領域とは、後述するDCT変換(より一般には周波数変換)の単位であるブロックであってもよいし、後述する予測画像を生成する単位であるパーティションであってもよいし、ブロックまたはパーティションの何れでもなく、本実施形態に係る適応フィルタによってサイズおよび位置が設定された領域であってもよい。また、単位領域は、1画素から構成されるものであってもよい。また、複数の特性値によって張られる領域を特性領域とも呼称し、特性領域を構成する部分領域を特性値部分領域とも呼称する。
(符号化データ#1)
本実施形態に係る動画像符号化装置2及び動画像復号装置1の詳細な説明に先立って、動画像符号化装置2によって生成され、動画像復号装置1によって復号される符号化データ#1のデータ構造について説明を行う。
本実施形態に係る動画像符号化装置2及び動画像復号装置1の詳細な説明に先立って、動画像符号化装置2によって生成され、動画像復号装置1によって復号される符号化データ#1のデータ構造について説明を行う。
図2は、符号化データ#1のデータ構造を示す図である。符号化データ#1は、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
符号化データ#1におけるデータの階層構造を図2に示す。図2の(a)〜(e)は、それぞれ、シーケンスSEQを規定するシーケンスレイヤ、ピクチャPICTを規定するピクチャレイヤ、スライスSを規定するスライスレイヤ、ツリーブロック(Tree block)TBLKを規定するツリーブロックレイヤ、ツリーブロックTBLKに含まれる符号化単位(Coding Unit;CU)を規定するCUレイヤを示す図である。
(シーケンスレイヤ)
シーケンスレイヤでは、処理対象のシーケンスSEQ(以下、対象シーケンスとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。シーケンスSEQは、図2の(a)に示すように、シーケンスパラメータセットSPS(Sequence Parameter Set)、ピクチャパラメータセットPPS(Picture Parameter Set)、適応パラメータセットAPS(Adaptation Parameter Set)、ピクチャPICT1〜PICTNP(NPはシーケンスSEQに含まれるピクチャの総数)、及び、付加拡張情報SEI(Supplemental Enhancement Information)を含んでいる。
シーケンスレイヤでは、処理対象のシーケンスSEQ(以下、対象シーケンスとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。シーケンスSEQは、図2の(a)に示すように、シーケンスパラメータセットSPS(Sequence Parameter Set)、ピクチャパラメータセットPPS(Picture Parameter Set)、適応パラメータセットAPS(Adaptation Parameter Set)、ピクチャPICT1〜PICTNP(NPはシーケンスSEQに含まれるピクチャの総数)、及び、付加拡張情報SEI(Supplemental Enhancement Information)を含んでいる。
シーケンスパラメータセットSPSでは、対象シーケンスを復号するために動画像復号装置1が参照する符号化パラメータの集合が規定されている。SPSの詳細については後述する。
ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために動画像復号装置1が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値(pic_init_qp_minus26)や重み付き予測の適用を示すフラグ(weighted_pred_flag)が含まれる。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。
適応パラメータセットAPSは、対象シーケンス内の各スライスを復号するために動画像復号装置1が参照する符号化パラメータの集合が規定されている。APSの詳細については後述する。なお、APSは複数存在してもよい。その場合、対象シーケンス内の各スライスから複数のAPSの何れかを選択する。
(ピクチャレイヤ)
ピクチャレイヤでは、処理対象のピクチャPICT(以下、対象ピクチャとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。ピクチャPICTは、図2の(b)に示すように、ピクチャヘッダPH、及び、スライスS1〜SNSを含んでいる(NSはピクチャPICTに含まれるスライスの総数)。
ピクチャレイヤでは、処理対象のピクチャPICT(以下、対象ピクチャとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。ピクチャPICTは、図2の(b)に示すように、ピクチャヘッダPH、及び、スライスS1〜SNSを含んでいる(NSはピクチャPICTに含まれるスライスの総数)。
なお、以下、スライスS1〜SNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化データ#1に含まれるデータであって、添え字を付している他のデータについても同様である。
ピクチャヘッダPHには、対象ピクチャの復号方法を決定するために動画像復号装置1が参照する符号化パラメータ群が含まれている。なお、符号化パラメータ群は、必ずしもピクチャヘッダPH内に直接含んでいる必要はなく、例えばピクチャパラメータセットPPSへの参照(pic_parameter_set_id)を含むことで、間接的に含めても良い。
(スライスレイヤ)
スライスレイヤでは、処理対象のスライスS(対象スライスとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。スライスSは、図2の(c)に示すように、スライスヘッダSH、及び、ツリーブロックTBLK1〜TBLKNC(NCはスライスSに含まれるツリーブロックの総数)のシーケンスを含んでいる。
スライスレイヤでは、処理対象のスライスS(対象スライスとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。スライスSは、図2の(c)に示すように、スライスヘッダSH、及び、ツリーブロックTBLK1〜TBLKNC(NCはスライスSに含まれるツリーブロックの総数)のシーケンスを含んでいる。
スライスヘッダSHには、対象スライスの復号方法を決定するために動画像復号装置1が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報(slice_type)は、スライスヘッダSHに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、(1)符号化の際にイントラ予測のみを用いるIスライス、(2)符号化の際に単方向予測、又は、イントラ予測を用いるPスライス、(3)符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるBスライスなどが挙げられる。
なお、スライスヘッダSHには、上記シーケンスレイヤに含まれる、ピクチャパラメータセットPPSへの参照(pic_parameter_set_id)、適応パラメータセットAPSへの参照(aps_id)を含んでいても良い。
また、スライスヘッダSHには、動画像復号装置1の備える適応フィルタによって参照されるALFパラメータFPが含まれている。ALFパラメータFPの詳細については後述する。
(ツリーブロックレイヤ)
ツリーブロックレイヤでは、処理対象のツリーブロックTBLK(以下、対象ツリーブロックとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。なお、ツリーブロックのことを符号化ツリーブロック(CTB:Coding Tree block)、または、最大符号化単位(LCU:Largest Cording Unit)と呼ぶこともある。
ツリーブロックレイヤでは、処理対象のツリーブロックTBLK(以下、対象ツリーブロックとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。なお、ツリーブロックのことを符号化ツリーブロック(CTB:Coding Tree block)、または、最大符号化単位(LCU:Largest Cording Unit)と呼ぶこともある。
ツリーブロックTBLKは、ツリーブロックヘッダTBLKHと、符号化単位情報CU1〜CUNL(NLはツリーブロックTBLKに含まれる符号化単位情報の総数)とを含む。ここで、まず、ツリーブロックTBLKと、符号化単位情報CUとの関係について説明すると次のとおりである。
ツリーブロックTBLKは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するためのパーティションに分割される。
ツリーブロックTBLKの上記パーティションは、再帰的な4分木分割により分割されている。この再帰的な4分木分割により得られる木構造のことを以下、符号化ツリー(coding tree)と称する。
以下、符号化ツリーの末端のノードであるリーフ(leaf)に対応するパーティションを、符号化ノード(coding node)として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位(CU)とも称する。
つまり、符号化単位情報(以下、CU情報と称する)CU1〜CUNLは、ツリーブロックTBLKを再帰的に4分木分割して得られる各符号化ノード(符号化単位)に対応する情報である。
また、符号化ツリーのルート(root)は、ツリーブロックTBLKに対応付けられる。換言すれば、ツリーブロックTBLKは、複数の符号化ノードを再帰的に含む4分木分割の木構造の最上位ノードに対応付けられる。
なお、各符号化ノードのサイズは、当該符号化ノードが直接に属する符号化ノード(すなわち、当該符号化ノードの1階層上位のノードのパーティション)のサイズの縦横とも半分である。
また、ツリーブロックTBLKのサイズ、および、各符号化ノードのとり得るサイズは、符号化データ#1のシーケンスパラメータセットSPSに含まれる、最小符号化ノードのサイズ指定情報(log2_min_coding_block_size_minus3)および最大符号化ノードと最小符号化ノードの階層深度の差分(log2_diff_max_min_coding_block_size)に依存する。例えば、最小符号化ノードのサイズが8×8画素であって、最大符号化ノードと最小符号化ノードの階層深度の差分が3である場合、ツリーブロックTBLKのサイズが64×64画素であって、符号化ノードのサイズは、4種類のサイズ、すなわち、64×64画素、32×32画素、16×16画素、および、8×8画素の何れかをとり得る。
(ツリーブロックヘッダ)
ツリーブロックヘッダTBLKHには、対象ツリーブロックの復号方法を決定するために動画像復号装置1が参照する符号化パラメータが含まれる。具体的には、図2の(d)に示すように、対象ツリーブロックの各CUへの分割パターンを指定するツリーブロック分割情報SP_TBLK、および、量子化ステップの大きさを指定する量子化パラメータ差分Δqp(qp_delta)が含まれる。
ツリーブロックヘッダTBLKHには、対象ツリーブロックの復号方法を決定するために動画像復号装置1が参照する符号化パラメータが含まれる。具体的には、図2の(d)に示すように、対象ツリーブロックの各CUへの分割パターンを指定するツリーブロック分割情報SP_TBLK、および、量子化ステップの大きさを指定する量子化パラメータ差分Δqp(qp_delta)が含まれる。
ツリーブロック分割情報SP_TBLKは、ツリーブロックを分割するための符号化ツリーを表す情報であり、具体的には、対象ツリーブロックに含まれる各CUの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報である。
なお、ツリーブロック分割情報SP_TBLKは、CUの形状やサイズを明示的に含んでいなくてもよい。例えばツリーブロック分割情報SP_TBLKは、対象ツリーブロック全体またはツリーブロックの部分領域を四分割するか否かを示すフラグ(split_coding_unit_flag)の集合であってもよい。その場合、ツリーブロックの形状やサイズを併用することで各CUの形状やサイズを特定できる。
また、量子化パラメータ差分Δqpは、対象ツリーブロックにおける量子化パラメータqpと、当該対象ツリーブロックの直前に符号化されたツリーブロックにおける量子化パラメータqp’との差分qp−qp’である。
(CUレイヤ)
CUレイヤでは、処理対象のCU(以下、対象CUとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。
CUレイヤでは、処理対象のCU(以下、対象CUとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。
ここで、CU情報CUに含まれるデータの具体的な内容の説明をする前に、CUに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー(prediction tree;PT)および変換ツリー(transform tree;TT)のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。
予測ツリーにおいては、符号化ノードが1または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ノードを構成する1または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた1または複数の予測ブロックを含む。
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位(prediction unit;PU)とも称する。
予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との2つがある。
イントラ予測の場合、分割方法は、2N×2N(符号化ノードと同一サイズ)と、N×Nとがある。
また、インター予測の場合、分割方法は、2N×2N(符号化ノードと同一サイズ)、2N×N、2N×nU、2N×nD、N×2N、nL×2N、nR×2N、および、N×Nなどがある。なを、2N×nUは、2N×2Nの符号化ノードを上から順に2N×0.5Nと2N×1.5Nの2領域に分割することを示す。2N×nDは、2N×2Nの符号化ノードを上から順に2N×1.5Nと2N×0.5Nの2領域に分割することを示す。nL×2Nは、2N×2Nの符号化ノードを左から順に0.5N×2Nと1.5N×2Nの2領域に分割することを示す。nR×2Nは、2N×2Nの符号化ノードを左から順に1.5N×2Nと0.5N×1.5Nの2領域に分割することを示す。
また、変換ツリーにおいては、符号化ノードが1または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ノードを構成する1または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた1または複数の変換ブロックを含む。
変換ツリーにおける分割には、符号化ノードと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な4分木分割によるものがある。
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位(transform unit;TU)とも称する。
(CU情報のデータ構造)
続いて、図2の(e)を参照しながらCU情報CUに含まれるデータの具体的な内容について説明する。図2の(e)に示すように、CU情報CUは、具体的には、スキップフラグSKIP、PT情報PTI、および、TT情報TTIを含む。
続いて、図2の(e)を参照しながらCU情報CUに含まれるデータの具体的な内容について説明する。図2の(e)に示すように、CU情報CUは、具体的には、スキップフラグSKIP、PT情報PTI、および、TT情報TTIを含む。
スキップフラグSKIPは、対象のPUについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグSKIPの値が1の場合、すなわち、対象CUにスキップモードが適用されている場合、そのCU情報CUにおけるPT情報PTIの一部、および、TT情報TTIは省略される。なお、スキップフラグSKIPは、Iスライスでは省略される。
PT情報PTIは、CUに含まれるPTに関する情報である。言い換えれば、PT情報PTIは、PTに含まれる1または複数のPUそれぞれに関する情報の集合であり、動画像復号装置1により予測画像を生成する際に参照される。PT情報PTIは、図2の(e)に示すように、予測タイプ情報PType、および、予測情報PInfoを含んでいる。
予測タイプ情報PTypeは、対象PUについての予測画像生成方法として、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。
予測情報PInfoは、予測タイプ情報PTypeが何れの予測方法を指定するのかに応じて、イントラ予測情報、または、インター予測情報より構成される。以下では、イントラ予測が適用されるPUをイントラPUとも呼称し、インター予測が適用されるPUをインターPUとも呼称する。
また、予測情報PInfoは、対象PUの形状、サイズ、および、位置を指定する情報が含まれる。上述のとおり予測画像の生成は、PUを単位として行われる。予測情報PInfoの詳細については後述する。
TT情報TTIは、CUに含まれるTTに関する情報である。言い換えれば、TT情報TTIは、TTに含まれる1または複数のTUそれぞれに関する情報の集合であり、動画像復号装置1により残差データを復号する際に参照される。なお、以下、TUのことをブロックと称することもある。
TT情報TTIは、図2の(e)に示すように、対象CUの各変換ブロックへの分割パターンを指定するTT分割情報SP_TT、および、量子化予測残差QD1〜QDNT(NTは、対象CUに含まれるブロックの総数)を含んでいる。
TT分割情報SP_TTは、具体的には、対象CUに含まれる各TUの形状、サイズ、および、対象CU内での位置を決定するための情報である。例えば、TT分割情報SP_TTは、対象となるノードの分割を行うのか否かを示す情報(split_transform_unit_flag)の集合により構成できる。
また、例えば、CUのサイズが、64×64の場合、分割により得られる各TUは、32×32画素から4×4画素までのサイズをとり得る。
各量子化予測残差QDは、動画像符号化装置2が以下の処理1〜3を、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。
処理1:符号化対象画像から予測画像を減算した予測残差をDCT変換(Discrete Cosine Transform)する;
処理2:処理1にて得られた変換係数を量子化する;
処理3:処理2にて量子化された変換係数を可変長符号化する;
なお、上述した量子化パラメータqpは、動画像符号化装置2が変換係数を量子化する際に用いた量子化ステップQPの大きさを表す(QP=2qp/6)。
処理2:処理1にて得られた変換係数を量子化する;
処理3:処理2にて量子化された変換係数を可変長符号化する;
なお、上述した量子化パラメータqpは、動画像符号化装置2が変換係数を量子化する際に用いた量子化ステップQPの大きさを表す(QP=2qp/6)。
(予測情報PInfo)
上述のとおり、予測情報PInfoには、インター予測情報およびイントラ予測情報の2種類がある。
上述のとおり、予測情報PInfoには、インター予測情報およびイントラ予測情報の2種類がある。
インター予測情報には、動画像復号装置1が、インター予測によってインター予測画像を生成する際に参照される符号化パラメータが含まれる。より具体的には、インター予測情報には、対象CUの各インターPUへの分割パターンを指定するインターPU分割情報、および、各インターPUについてのインター予測パラメータが含まれる。
インター予測パラメータには、参照画像インデックスと、推定動きベクトルインデックスと、動きベクトル残差とが含まれる。
一方、イントラ予測情報には、動画像復号装置1が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータが含まれる。より具体的には、イントラ予測情報には、対象CUの各イントラPUへの分割パターンを指定するイントラPU分割情報、および、各イントラPUについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラPUについてのイントラ予測方法(予測モード)を指定するためのパラメータである。
(シーケンスパラメータセットSPS)
図3は、本実施形態に係る符号化データ#1のシーケンスパラメータセットSPS(図3においてsequence_parameter_set_rbsp()と表記)に含まれるシンタックス要素の一部を示す。
図3は、本実施形態に係る符号化データ#1のシーケンスパラメータセットSPS(図3においてsequence_parameter_set_rbsp()と表記)に含まれるシンタックス要素の一部を示す。
profile_idx、level_idxはそれぞれビットストリームが適合するプロファイルとレベルを示す。seq_parameter_set_idは、パラメータセットの識別子を示す。chroma_format_idcは、対象シーケンスのカラーフォーマットを示す。pic_width_inluma_samplesとpic_height_in_luma_samplesはそれぞれ対象シーケンスに含まれるピクチャサイズの輝度画素単位での縦または横の長さを示す。sample_adaptive_offset_enable_flagは、対象シーケンスの復号時に適応オフセットフィルタを適用するか否かを示す。adaptive_loop_filter_enable_flagは、対象シーケンスの復号時に適応フィルタを適用するか否かを示す。
動画像復号装置1の備える適応フィルタによって参照されるパラメータ(ALFパラメータFP)がスライスヘッダSHに含まれるか、適応パラメータセットAPSに含まれるかを示す。なお、ALFパラメータFPの詳細については後述する。
(適応パラメータセットAPS)
図4は、本実施形態に係る符号化データ#1の適応パラメータセットAPS(図4においてaps_rbsp()と表記)に含まれるシンタックス要素の一部を示す。aps_idは、APSの識別子である。
図4は、本実施形態に係る符号化データ#1の適応パラメータセットAPS(図4においてaps_rbsp()と表記)に含まれるシンタックス要素の一部を示す。aps_idは、APSの識別子である。
aps_sao_interleaving_flagは、適応オフセットフィルタにより参照されるパラメータ(SAOパラメータ)がツリーブロック(LCU)単位でインタリーブされているか否かを示す。aps_sample_adaptive_offset_flagは、APSを参照するスライスにおいて適応オフセットフィルタが適用されるか否かを示す。aps_sao_param()は、SAOパラメータに対応するシンタックスである。
aps_adaptive_loop_filter_flagは、APSを参照するスライスにおいて適応フィルタが適用されるか否かを示す。alf_param()は、ALFパラメータFPに対応するシンタックスである。
(ALFパラメータFP)
図5は、本実施形態に係る符号化データ#1のALFパラメータFP(図5においてalf_param()と表記)に含まれる各シンタックス要素を示す図である。
図5は、本実施形態に係る符号化データ#1のALFパラメータFP(図5においてalf_param()と表記)に含まれる各シンタックス要素を示す図である。
ALFパラメータFPは、概略的には、所定の領域内(ピクチャまたはスライス)の各ツリーブロックにおけるALFユニットの集合を含む。ここで、ALFユニットは適応フィルタ処理に用いられるフィルタセットの情報を含むシンタックスであり、詳細は後述する。
なお、上記所定の領域内の必ずしも全てのツリーブロックに対するALFユニットがALFパラメータFPに含まれるわけではなく、一部のツリーブロックについては他のツリーブロックに適用されたALFユニットから複製して適用してもよい。例えば、図5のシンタックスにおいて、alf_one_luma_unit_per_slice_flag、alf_one_cb_unit_per_slice_flag、alf_one_cr_unit_per_flagは、それぞれ、対応するプレーン(順に輝度プレーン、cbプレーン、crプレーン)において、対象領域内の全ツリーブロックで共通のALFユニットを適用するか否かを示す。また、alf_repeat_row_flagは、同一ツリーブロックライン内の全てのツリーブロックに適用するALFユニットが、各ツリーブロックの上方隣接ツリーブロックにおけるALFユニットと同一であることを示す。
なお、上記所定の領域内の必ずしも全てのツリーブロックに対するALFユニットがALFパラメータFPに含まれるわけではなく、一部のツリーブロックについては他のツリーブロックに適用されたALFユニットから複製して適用してもよい。例えば、図5のシンタックスにおいて、alf_one_luma_unit_per_slice_flag、alf_one_cb_unit_per_slice_flag、alf_one_cr_unit_per_flagは、それぞれ、対応するプレーン(順に輝度プレーン、cbプレーン、crプレーン)において、対象領域内の全ツリーブロックで共通のALFユニットを適用するか否かを示す。また、alf_repeat_row_flagは、同一ツリーブロックライン内の全てのツリーブロックに適用するALFユニットが、各ツリーブロックの上方隣接ツリーブロックにおけるALFユニットと同一であることを示す。
変数numCtbはALFパラメータが適用される領域に含まれるツリーブロックの数を示す。変数numCtbは、ピクチャの縦方向、または、スライスに含まれるツリーブロックの数を示すシンタックス要素であるalf_num_lcu_in_width_minus1、alf_num_lcu_in_height_minus1、alf_num_lcu_in_slice_minus1に基づいて導出される。
alf_cb_enable_flagとalf_cr_enable_flagは、それぞれ、ピクチャの対応する色プレーン(cbプレーンとcrプレーン)において適応フィルタを適用するか否かを示すフラグである。
(ALFユニット)
図6は、本実施形態に係る符号化データ#1のALFユニット(図6においてalf_unit()と表記)のシンタックスを示す図である。ALFユニットはツリーブロックに関連付けられるシンタックスである。ALFユニットは、概略的には、ツリーブロック単位での適応フィルタ適用有無の情報(alf_lcu_enable_flag)、ALFフィルタ情報(alf_info())、および、ALFフィルタ情報のマージ制御情報(alf_merge_up_flag、alf_run_diff)をシンタックス要素として含む。alf_merge_up_flagは対象ツリーブロックのALFユニットを、上方隣接ツリーブロックから複製するか否かを示すフラグである。また、alf_run_diffは、同一ツリーブロックライン内で対象ツリーブロックに後続する何個のツリーブロックに対して、対象ツリーブロックと同一のALFユニットを適用するかを示す。
図6は、本実施形態に係る符号化データ#1のALFユニット(図6においてalf_unit()と表記)のシンタックスを示す図である。ALFユニットはツリーブロックに関連付けられるシンタックスである。ALFユニットは、概略的には、ツリーブロック単位での適応フィルタ適用有無の情報(alf_lcu_enable_flag)、ALFフィルタ情報(alf_info())、および、ALFフィルタ情報のマージ制御情報(alf_merge_up_flag、alf_run_diff)をシンタックス要素として含む。alf_merge_up_flagは対象ツリーブロックのALFユニットを、上方隣接ツリーブロックから複製するか否かを示すフラグである。また、alf_run_diffは、同一ツリーブロックライン内で対象ツリーブロックに後続する何個のツリーブロックに対して、対象ツリーブロックと同一のALFユニットを適用するかを示す。
(ALFフィルタ情報)
図7は、本実施形態に係る符号化データ#1のALFフィルタ情報(図7においてalf_info()と表記)のシンタックスを示す図である。ALFフィルタ情報は、新たなフィルタセット情報の復号が必要か否かを示すフラグ(alf_new_filter_set_flag)を含む。alf_new_filter_set_flagが0の場合には、フィルタ係数バッファ上の復号済フィルタセット情報の記録位置を示すインデックス(alf_stored_filter_set_idx)をさらに含む。alf_new_filter_set_flagが1の場合には、さらに、フィルタセット情報を含む。フィルタセット情報は、フィルタ係数またはフィルタ係数の予測残差(alf_filter_coeff)に加えて、フィルタセットに含まれるフィルタの個数(alf_no_filter_minus1)、フィルタセットに含まれる各フィルタと特性領域上の各特性値部分領域との間のマッピングを表すシンタックス要素(alf_filter_pattern_flag[i]、alf_start_second_filter)、フィルタ係数の推定方法を表すシンタックス要素(alf_pred_flag、alf_nb_pred_luma_flag)、フィルタ係数の可変長復号処理を制御するシンタックス要素(alf_min_kstart_minus1、alf_golomb_index_flag)を含む。
図7は、本実施形態に係る符号化データ#1のALFフィルタ情報(図7においてalf_info()と表記)のシンタックスを示す図である。ALFフィルタ情報は、新たなフィルタセット情報の復号が必要か否かを示すフラグ(alf_new_filter_set_flag)を含む。alf_new_filter_set_flagが0の場合には、フィルタ係数バッファ上の復号済フィルタセット情報の記録位置を示すインデックス(alf_stored_filter_set_idx)をさらに含む。alf_new_filter_set_flagが1の場合には、さらに、フィルタセット情報を含む。フィルタセット情報は、フィルタ係数またはフィルタ係数の予測残差(alf_filter_coeff)に加えて、フィルタセットに含まれるフィルタの個数(alf_no_filter_minus1)、フィルタセットに含まれる各フィルタと特性領域上の各特性値部分領域との間のマッピングを表すシンタックス要素(alf_filter_pattern_flag[i]、alf_start_second_filter)、フィルタ係数の推定方法を表すシンタックス要素(alf_pred_flag、alf_nb_pred_luma_flag)、フィルタ係数の可変長復号処理を制御するシンタックス要素(alf_min_kstart_minus1、alf_golomb_index_flag)を含む。
(動画像復号装置1)
以下では、本実施形態に係る動画像復号装置1について、図1、図8〜図18を参照して説明する。動画像復号装置1は、その一部に、H.264/MPEG−4.AVCに採用されている方式、及び、HM(HEVC TestModel)ソフトウェアに採用されている技術を含んでいる。
以下では、本実施形態に係る動画像復号装置1について、図1、図8〜図18を参照して説明する。動画像復号装置1は、その一部に、H.264/MPEG−4.AVCに採用されている方式、及び、HM(HEVC TestModel)ソフトウェアに採用されている技術を含んでいる。
図1は、動画像復号装置1の構成を示すブロック図である。図1に示すように、動画像復号装置1は、可変長符号復号部13、動きベクトル復元部14、バッファメモリ15、インター予測画像生成部16、イントラ予測画像生成部17、予測方式決定部18、逆量子化・逆変換部19、加算器20、デブロッキングフィルタ41、および、適応フィルタ50を備えている。動画像復号装置1は、符号化データ#1を復号することによって動画像#2を生成するための装置である。
可変長符号復号部13は、各パーティションに関する予測パラメータPPを、符号化データ#1から復号する。すなわち、インター予測パーティションに関しては、参照画像インデックスRI、推定動きベクトルインデックスPMVI、及び、動きベクトル残差MVDを符号化データ#1から復号し、これらを動きベクトル復元部14に供給する。一方、イントラ予測パーティションに関しては、(1)パーティションのサイズを指定するサイズ指定情報、および、(2)予測インデックスを指定する予測インデックス指定情報を符号化データ#1から復号し、これをイントラ予測画像生成部17に供給する。また、可変長符号復号部13は、CU情報を符号化データから復号し、これを予測方式決定部18に供給する(図示省略)。更に、可変長符号復号部13は、各ブロックに関する量子化予測残差QD、及び、そのブロックを含むツリーブロックに関する量子化パラメータ差分Δqpを符号化データ#1から復号し、これらを逆量子化・逆変換部19に供給する。また、可変長符号復号部13は、符号化データ#1からALF関連パラメータを復号し、それらを適応フィルタ50に供給する。ALF関連パラメータは、少なくとも、ALF有効化フラグ(adaptive_loop_filter_enable_flag)、ALFパラメータFP(alf_param())を含む。
動きベクトル復元部14は、各インター予測パーティションに関する動きベクトルmvを、そのパーティションに関する動きベクトル残差MVDと、他のパーティションに関する復元済みの動きベクトルmv’とから復元する。具体的には、(1)推定動きベクトルインデックスPMVIにより指定される推定方法に従って、復元済みの動きベクトルmv’から推定動きベクトルpmvを導出し、(2)導出した推定動きベクトルpmvと動きベクトル残差MVDとを加算することによって動きベクトルmvを得る。なお、他のパーティションに関する復元済みの動きベクトルmv’は、バッファメモリ15から読み出すことができる。動きベクトル復元部14は、復元した動きベクトルmvを、対応する参照画像インデックスRIと共に、インター予測画像生成部17に供給する。なお、双方向予測(重み付き予測)を行うインター予測パーティションについては、復元した2つの動きベクトルmv1及びmv2を、対応する参照画像インデックスRI1及びRI2と共に、インター予測画像生成部17に供給する。
インター予測画像生成部16は、各インター予測パーティションに関する動き補償画像mcを生成する。具体的には、動きベクトル復元部14から供給された動きベクトルmvを用いて、同じく動きベクトル復元部14から供給された参照画像インデックスRIによって指定されるフィルタ済復号画像P_FL’から動き補償画像mcを生成する。ここで、フィルタ済復号画像P_FL’は、既に復号が完了した復号済みの復号画像に対して、デブロッキングフィルタ41によるデブロック処理、および、適応フィルタ50による適応的フィルタ処理を施すことによって得られる画像であり、インター予測画像生成部16は、フィルタ済復号画像P_FL’を構成する各画素の画素値をバッファメモリ15から読み出すことができる。インター予測画像生成部16によって生成された動き補償画像mcは、インター予測画像Pred_Interとして予測方式決定部18に供給される。なお、双方向予測(重み付き予測)を行うインター予測パーティションについては、(1)動きベクトルmv1を用いて、参照画像インデックスRI1によって指定されたフィルタ済復号画像P_FL1’から動き補償画像mc1を生成し、(2)動きベクトルmv2を用いて、参照画像インデックスRI2によって指定されたフィルタ済復号画像P_FL2’とから動き補償画像mc2を生成し、(3)動き補償画像mc1と動き補償画像mc2との加重平均にオフセット値を加えることによってインター予測画像Pred_Interを生成する。
イントラ予測画像生成部17は、各イントラ予測パーティションに関する予測画像Pred_Intraを生成する。具体的には、まず、符号化データ#1から復号された予測モードを参照し、該予測モードを対象パーティションに対して、例えば、ラスタスキャン順に割り付ける。続いて、当該予測モードの示す予測方法に従って、復号画像Pから予測画像Pred_Intraを生成する。イントラ予測画像生成部17によって生成されたイントラ予測画像Pred_Intraは、予測方式決定部18に供給される。
また、イントラ予測画像生成部17は、対象パーティションのサイズ、および、対象パーティションに割り付けられた予測モードを示す情報であるイントラ符号化モード情報IEMを適応フィルタ50に供給する。なお、イントラ予測画像生成部17によるイントラ予測画像Pred_Intraの具体的な生成処理については、後述するためここでは説明を省略する。
予測方式決定部18は、CU情報に基づいて、各パーティションがインター予測を行うべきインター予測パーティションであるのか、イントラ予測を行うべきイントラ予測パーティションであるのかを決定する。そして、前者の場合には、インター予測画像生成部16にて生成されたインター予測画像Pred_Interを予測画像Predとして加算器20に供給し、後者の場合には、イントラ予測画像生成部17にて生成されたイントラ予測画像Pred_Intraを予測画像Predとして加算器20に供給する。
逆量子化・逆変換部19は、(1)量子化予測残差QDを逆量子化し、(2)逆量子化によって得られたDCT係数を逆DCT(Discrete Cosine Transform)変換し、(3)逆DCT変換によって得られた予測残差Dを加算器20に供給する。なお、量子化予測残差QDを逆量子化する際に、逆量子化・逆変換部19は、可変長符号復号部13から供給された量子化パラメータ差分Δqpから量子化ステップQPを導出する。量子化パラメータqpは、直前に逆量子化/逆DCT変換したツリーブロックに関する量子化パラメータqp’に量子化パラメータ差分Δqpを加算することによって導出でき、量子化ステップQPは、量子化ステップqpからQP=2pq/6によって導出できる。また、逆量子化・逆変換部19による予測残差Dの生成は、ブロック(変換単位)を単位として行われる。
加算器20は、予測方式決定部18から供給された予測画像Predと、逆量子化・逆変換部19から供給された予測残差Dとを加算することによって復号画像Pを生成する。
デブロッキングフィルタ41は、復号画像Pにおけるブロック境界、またはCU境界を介して互いに隣接する画素の画素値の差が予め定められた閾値よりも小さい場合に、復号画像Pにおける当該ブロック境界、または当該CU境界に対してデブロッキング処理を施すことによって、当該ブロック境界、または当該CU境界付近の画像の平滑化を行う。デブロッキングフィルタ41によりデブロッキング処理が施された画像は、デブロック済復号画像P_DBとして、適応フィルタ50に出力される。
適応フィルタ50は、デブロッキングフィルタ41から供給されるデブロック済復号画像P_DBに対して、符号化データ#1から復号されたALFパラメータFPを用いたフィルタ処理を施すことによって、フィルタ済復号画像P_FLを生成する。適応フィルタ50によりフィルタ処理が施された画像は、フィルタ済復号画像P_FLとして外部に出力されると共に、可変長符号復号部13によって符号化データから復号されたPOC指定情報と関連付けてバッファメモリ15に格納される。適応フィルタ50の具体的な構成については、後述するため、ここでは説明を省略する。
(適応フィルタ50)
適応フィルタ50は、シンタックスadaptive_loop_filter_enable_flagが1である場合に、デブロック済復号画像P_DBに対して適応的フィルタ処理を施すことによってフィルタ済復号画像P_FLを生成する。
適応フィルタ50は、シンタックスadaptive_loop_filter_enable_flagが1である場合に、デブロック済復号画像P_DBに対して適応的フィルタ処理を施すことによってフィルタ済復号画像P_FLを生成する。
適応フィルタ50は、対象単位領域におけるデブロック済復号画像P_DBの特性値に応じて、該対象単位領域を、上述した各特性値部分領域の何れかと関連付け、符号化データから復号されたフィルタ係数であって、該単位領域に関連付けられたフィルタ係数を用いて、該単位領域に対するフィルタ処理を施す。なお、以降の説明では単位領域として符号化単位(CU)を用いる場合について説明するが、本実施形態における単位領域はそれに限らない。単位領域として、ツリーブロック、CUに依存しない固定サイズ(例えば8×8)、ツリーブロックとは独立したピクチャをルートとする四分木構造などを用いてもよい。
図8は、適応フィルタ50の構成を示すブロック図である。図8に示すように、適応フィルタ50は、適応フィルタ情報復号部51、適応フィルタ部52を備えている。
(適応フィルタ情報復号部51)
適応フィルタ情報復号部51は、符号化データ#1に含まれているALF関連符号化パラメータに基づいて、ALFフィルタ係数CL[i0][j0]を導出するための構成である。ここで、i0は、フィルタセット中の一つのフィルタを特定するフィルタインデックスであり、j0はフィルタを構成する一つの係数を特定するフィルタ係数インデックスである。導出されたALFフィルタ係数CL[i0][j0]は、適応フィルタ部52に供給される。
適応フィルタ情報復号部51は、符号化データ#1に含まれているALF関連符号化パラメータに基づいて、ALFフィルタ係数CL[i0][j0]を導出するための構成である。ここで、i0は、フィルタセット中の一つのフィルタを特定するフィルタインデックスであり、j0はフィルタを構成する一つの係数を特定するフィルタ係数インデックスである。導出されたALFフィルタ係数CL[i0][j0]は、適応フィルタ部52に供給される。
図8に示すように、適応フィルタ情報復号部51は、フィルタ係数予測部511、フィルタ係数復号部512、フィルタ係数格納部513を備えている。
フィルタ係数予測部511は、シンタックスalf_pred_lumaを参照し、領域別フィルタ係数格納部513に格納された復号済みのフィルタ係数CL[i0'][j0']から、予測フィルタ係数PredCL[i0][j0]を導出する。導出された予測フィルタ係数PredCL[i0][j0]は、フィルタ係数復号部512に供給される。
フィルタ係数復号部512は、まず、ALFパラメータFPに含まれるフィルタ係数予測残差alf_coeff_luma[i0][j0]を復号する。各特性値部分領域について、フィルタ係数残差alf_coeff_luma[i0][j0]と予測フィルタ係数PredCL[i0][j0]とを加算することによって、フィルタ係数CL[i0][j0]を生成する。生成されたフィルタ係数CL[i0][j0]は、領域別フィルタ係数格納部513に格納される。
(適応フィルタ部52)
適応フィルタ部52は、デブロック済復号画像P_DBを構成する各CUに対して、適応フィルタ処理を行うことによってフィルタ済復号画像P_FLを生成するための構成である。ここで、各CUのフィルタ処理に用いられるフィルタ係数は、ALFパラメータFPから復号されたフィルタ係数CL[i0][j0]の中から、該単位領域におけるデブロック済復号画像P_DBの複数の特性値に応じてフィルタインデックスi0を決定することで選択される。また、生成されたフィルタ済復号画像P_FLは、バッファメモリ15に格納される。
適応フィルタ部52は、デブロック済復号画像P_DBを構成する各CUに対して、適応フィルタ処理を行うことによってフィルタ済復号画像P_FLを生成するための構成である。ここで、各CUのフィルタ処理に用いられるフィルタ係数は、ALFパラメータFPから復号されたフィルタ係数CL[i0][j0]の中から、該単位領域におけるデブロック済復号画像P_DBの複数の特性値に応じてフィルタインデックスi0を決定することで選択される。また、生成されたフィルタ済復号画像P_FLは、バッファメモリ15に格納される。
図8に示すように、適応フィルタ部52は、フィルタインデックス導出部521、特性インデックス算出部523、フィルタ係数割り当て部524、および、フィルタ部525を備えている。
なお、適応フィルタ部52に入力される画像は、デブロック済復号画像P_DBに限定されるものではなく、複数の入力画像を入力することもできる。例えば、適応フィルタ部52には、デブロック済復号画像P_DBに加えて、復号画像Pおよび予測残差Dの少なくとも何れかを入力する構成としてもよい。このような構成の場合、後述するフィルタインデックス導出部521は、デブロック済復号画像P_DBのみならず、復号画像Pおよび予測残差Dの少なくとも何れかについても各特性値を算出する構成とし、フィルタ部525は、それぞれの入力画像に対して、適応的フィルタ処理を行い、フィルタ後の画像を加算した後に出力する構成としてもよい。このような場合、ALFパラメータFPには、各入力画像に対するフィルタ係数であって、各特性値部分領域に対応するフィルタ係数を含めておく構成とすればよい。
(フィルタインデックス導出部521)
図9は、フィルタインデックス導出部521の構成を示すブロック図である。フィルタインデックス導出部521は、ユニット特性分類部521Aから構成される。ユニット特性分類部521Aは、フィルタ対象領域の左上座標(rx, ry)に対応する符号化パラメータの特性(特に符号化パラメータを保持する単位である符号化パラメータユニット、例えばTU、PU、CU、のサイズ)に応じてフィルタ対象領域の分類を行い、特性インデックスqIdxを導出する。フィルタインデックス導出部521は、フィルタ対象領域のフィルタインデックスfIdxとして、特性インデックスqIdxを導出する。以下の第1〜第3の構成では、フィルタインデックスfIdx=特性インデックスqIdxである。
図9は、フィルタインデックス導出部521の構成を示すブロック図である。フィルタインデックス導出部521は、ユニット特性分類部521Aから構成される。ユニット特性分類部521Aは、フィルタ対象領域の左上座標(rx, ry)に対応する符号化パラメータの特性(特に符号化パラメータを保持する単位である符号化パラメータユニット、例えばTU、PU、CU、のサイズ)に応じてフィルタ対象領域の分類を行い、特性インデックスqIdxを導出する。フィルタインデックス導出部521は、フィルタ対象領域のフィルタインデックスfIdxとして、特性インデックスqIdxを導出する。以下の第1〜第3の構成では、フィルタインデックスfIdx=特性インデックスqIdxである。
<ユニット特性分類部521Aの第1の構成>
図10は、ユニット特性分類部521Aの第1の構成の導出方法を示す図である。ユニット特性分類部521Aの第1の構成では、フィルタ対象領域(後述のフィルタユニット単位)の左上座標(rx, ry)に対応するTUのサイズに応じて特性インデックスqIdxを導出する。図10(a)は、TUのサイズから特性インデックスqIdxを導出する式を示す。図10(a)では、TUの対数サイズlog2TrafoSizeが所定の閾値log2TH1よりも小さい場合に、特性インデックスqIdxを0、それ以外を1とする。図10(b)は、TUのサイズに応じて特性インデックスqIdxの関係の一例を示す。これは、図10(a)においてlog2TH1=4の場合に相当する。
図10は、ユニット特性分類部521Aの第1の構成の導出方法を示す図である。ユニット特性分類部521Aの第1の構成では、フィルタ対象領域(後述のフィルタユニット単位)の左上座標(rx, ry)に対応するTUのサイズに応じて特性インデックスqIdxを導出する。図10(a)は、TUのサイズから特性インデックスqIdxを導出する式を示す。図10(a)では、TUの対数サイズlog2TrafoSizeが所定の閾値log2TH1よりも小さい場合に、特性インデックスqIdxを0、それ以外を1とする。図10(b)は、TUのサイズに応じて特性インデックスqIdxの関係の一例を示す。これは、図10(a)においてlog2TH1=4の場合に相当する。
図10(c)は、TUのサイズに応じて特性インデックスqIdxを導出する別の例である。図10(c)では、TUの対数サイズlog2TrafoSizeを所定のテーブルuIdxTableを参照して分類する。図10(d)は、TUのサイズと特性インデックスqIdxの関係の一例を示す。この例では、特性インデックスqIdx=0、1、2の何れかに分類する。
一般に、イントラピクチャでは、TUサイズが小さいほど活性度の高い領域、TUサイズが大きいほど活性度が低い領域に対応し、インターピクチャでは、TUサイズが小さいほど予測残差の大きい領域、TUサイズが大きいほど予測残差が小さい領域に対応する。活性度及び予測残差の大きさにより符号化歪み低減の効果を得るのに適した適応フィルタのフィルタ係数が異なるため、上記分類は適応フィルタの効果を増大させるために有効である。また、TUサイズは、イントラピクチャ(Iスライス)、インターピクチャ(Pスライス、Bスライス)によらず、得られる特性値であるため、ピクチャタイプ(スライスタイプ)によらずに、適応フィルタに利用できるという点で有効である。
本構成のユニット特性分類部521Aを備える適応フィルタ50は、TUのサイズに応じて、フィルタインデックスfIdxを導出することにより、フィルタ対象領域に適したフィルタ係数を用いることができるためフィルタ対象領域に適したフィルタ係数を用いることができるため高い符号化歪み低減効果を得る効果を奏する。また、スライスタイプによらずに高い符号化歪み低減効果を得る効果を奏する。すなわち、様々なスライスタイプに対して高い符号化歪み低減効果を得る効果を奏する。
図11は、スライスタイプに応じてTUのサイズと特性インデックスqIdxの関係を変更する場合の例である。図11(a)では、スライスタイプがIスライスの場合と、それ以外の場合で、TUサイズの分類に用いる閾値log2TH1を変更する。ここではスライスタイプがIスライスの場合でlog2TH1=3、それ以外の場合にlog2TH1=4とする。図11(b)は、スライスタイプがIスライスの場合、TUのサイズと特性インデックスqIdxの関係の例、図11(c)はスライスタイプがIスライス以外の場合の例である。スライスタイプがIスライスの場合では小さなサイズに相当する閾値で領域の分類を行う。Iスライスの場合には、比較的小さなTUが多いため、小さなサイズを分類するような閾値が適当である。また、図11(c)(d)に示すように、符号化パラメータユニットサイズ(ここではTUサイズ)と特性インデックスqIdxの関係を示すテーブルによって、符号化パラメータユニットサイズから特性インデックスqIdxを導出しても良い。また、スライスタイプがIスライスであるか否かに応じて、対応関係を示すテーブルを切り替えてもよい。
以上の構成のように、スライスタイプに応じてTUサイズの分類方法により、高い符号化歪み低減効果を得る効果を奏する。
<ユニット特性分類部521Aの第2の構成>
図12は、ユニット特性分類部521Aの第2の構成の導出方法を示す図である。ユニット特性分類部521Aの第2の構成では、フィルタ対象領域の左上座標(rx, ry)に対応するPUのサイズに応じて特性インデックスqIdxを導出する。図12(a)は、
PUのサイズから特性インデックスqIdxを導出する式を示す。図12(a)では、PUの幅nPSW、PUの高さnPSHの積が、所定の閾値log2TH2よりも小さい場合に、特性インデックスqIdxを0、それ以外を1とする。図12(b)は、TUのサイズに応じて特性インデックスqIdxの関係の一例を示す。これは、図12(a)においてlog2TH2=256の場合に相当する。本例では、PUのサイズとして、PUの幅nPSW、PUの高さnPSHを用いているが、PUのサイズの対数値やインデックスを使用することもできる。また、CUのサイズやその対数値(log2CUSize)を用いることもできる。また、図11(c)(d)に示すように、PUサイズと特性インデックスqIdxの関係を示すテーブルによって、PUサイズから特性インデックスqIdxを導出しても良い。また、図11に示すように、スライスタイプに応じて分類する場合の閾値(分割点)を変更しても良い。
図12は、ユニット特性分類部521Aの第2の構成の導出方法を示す図である。ユニット特性分類部521Aの第2の構成では、フィルタ対象領域の左上座標(rx, ry)に対応するPUのサイズに応じて特性インデックスqIdxを導出する。図12(a)は、
PUのサイズから特性インデックスqIdxを導出する式を示す。図12(a)では、PUの幅nPSW、PUの高さnPSHの積が、所定の閾値log2TH2よりも小さい場合に、特性インデックスqIdxを0、それ以外を1とする。図12(b)は、TUのサイズに応じて特性インデックスqIdxの関係の一例を示す。これは、図12(a)においてlog2TH2=256の場合に相当する。本例では、PUのサイズとして、PUの幅nPSW、PUの高さnPSHを用いているが、PUのサイズの対数値やインデックスを使用することもできる。また、CUのサイズやその対数値(log2CUSize)を用いることもできる。また、図11(c)(d)に示すように、PUサイズと特性インデックスqIdxの関係を示すテーブルによって、PUサイズから特性インデックスqIdxを導出しても良い。また、図11に示すように、スライスタイプに応じて分類する場合の閾値(分割点)を変更しても良い。
一般に、PUサイズが大きいほど予測残差が小さい領域に対応する。予測残差の大きさにより符号化歪み低減の効果を得るのに適した適応フィルタのフィルタ係数が異なるため、上記分類は適応フィルタの効果を増大させるために有効である。また、PUサイズは、イントラピクチャ(Iスライス)、インターピクチャ(Pスライス、Bスライス)によらず、得られる特性値であるため、ピクチャタイプ(スライスタイプ)によらずに、適応フィルタに利用できるという点で有効である。
本構成のユニット特性分類部521Aを備える適応フィルタ50は、PUのサイズ(もしくはCUのサイズ)に応じて、フィルタインデックスfIdxを導出することにより、フィルタ対象領域に適したフィルタ係数を用いることができるため高い符号化歪み低減効果を得る効果を奏する。
<ユニット特性分類部521Aの第3の構成>
図13は、ユニット特性分類部521Aの第3の構成の導出方法を示す図である。ユニット特性分類部521Aの第3の構成では、フィルタ対象領域の左上座標(rx, ry)に対応するPUが1つの動き補償画像から予測画像を生成する単予測であるか、2つの動き補償画像から予測画像を生成する双予測であるかに応じて特性インデックスqIdxを導出する。PUが単予測であるか双予測であるかは、符号化データから復号されたinter_pred_flagに応じて定まる。本実施形態ではinter_pred_flagが0であれば単予測、1であれば双予測とするが、他の値でも良い。図13(a)は、inter_pred_flagに応じて特性インデックスqIdxを導出する。図13(b)は、PUが単予測であるか双予測であるかと特性インデックスqIdxの関係を示す。
図13は、ユニット特性分類部521Aの第3の構成の導出方法を示す図である。ユニット特性分類部521Aの第3の構成では、フィルタ対象領域の左上座標(rx, ry)に対応するPUが1つの動き補償画像から予測画像を生成する単予測であるか、2つの動き補償画像から予測画像を生成する双予測であるかに応じて特性インデックスqIdxを導出する。PUが単予測であるか双予測であるかは、符号化データから復号されたinter_pred_flagに応じて定まる。本実施形態ではinter_pred_flagが0であれば単予測、1であれば双予測とするが、他の値でも良い。図13(a)は、inter_pred_flagに応じて特性インデックスqIdxを導出する。図13(b)は、PUが単予測であるか双予測であるかと特性インデックスqIdxの関係を示す。
一般に、単予測では局所復号画像のボケが小さく、双予測では、局所復号画像のボケが大きい。局所復号画像のボケの大きさにより符号化歪み低減の効果を得るのに適した適応フィルタのフィルタ係数が異なるため、上記分類は適応フィルタの効果を増大させるために有効である。
本構成のユニット特性分類部521Aを備える適応フィルタ50は、単予測であるか双予測であるかに応じて、フィルタインデックスfIdxを導出することにより、高い符号化歪み低減効果を得る効果を奏する。
図13(c)、(d)、(e)は、双予測を用いることができない場合、すなわち、イントラブロックや、Iスライス、Pスライスの場合の、特性インデックスqIdxの導出方法の例である。
図13(c)の構成では、PUのタイプを参照し、これがイントラブロック(MODE_INTRA)を示す場合には、特性インデックスqIdxを単予測と同じ0とする。イントラブロックではインターブロック(MODE_INTERもしくはMODE_SKIP)の単予測と同様にボケが少ない特徴を持つため、単予測と同じインデックスを割り振ることは適当である。以上の構成により、様々なスライスタイプやブロックタイプに対して適切にフィルタインデックスfIdx(フィルタインデックスfIdxの導出に用いられる特性インデックスqIdx)を導出するので、高い符号化歪み低減効果を得る。
図13(d)の構成では、スライスタイプがBスライス(B_SLICE)の場合には、単予測か双予測かに応じて特性インデックスqIdxを導出し、それ以外の場合にはユニットのサイズ(ここではTUのサイズ)に応じて特性インデックスqIdxを導出する。以上の構成により、様々なスライスタイプやブロックタイプに対して適切なフィルタインデックスfIdxを導出するので、高い符号化歪み低減効果を得る。
図13(e)の構成では、スライスタイプがBスライス(B_SLICE)の場合には、単予測か双予測かに応じて特性インデックスqIdxを導出し、それ以外の場合には特性インデックスqIdxを0として導出する。以上の構成により、様々なスライスタイプやブロックタイプに対して適切なフィルタインデックスfIdxを導出するので、高い符号化歪み低減効果を得る。
<ユニット特性分類部521Aと領域の単位>
フィルタインデックスfIdx(特性インデックスqIdx)は、ブロック(フィルタユニット)を単位として導出する。フィルタユニット中の画素をフィルタ処理する場合には、そのユニット内の画素で同じフィルタ係数が用いられるよう、同じ特性値qIdxを導出する、以下、ユニットのサイズをフィルタユニットサイズと呼ぶ。
フィルタインデックスfIdx(特性インデックスqIdx)は、ブロック(フィルタユニット)を単位として導出する。フィルタユニット中の画素をフィルタ処理する場合には、そのユニット内の画素で同じフィルタ係数が用いられるよう、同じ特性値qIdxを導出する、以下、ユニットのサイズをフィルタユニットサイズと呼ぶ。
具体的な処理では、フィルタユニットサイズがTの場合にはX座標およびY座標をlog2(T)だけ右シフトして得られる値に対して、特性インデックスを導出する。フィルタユニットサイズが4の場合には下記のように2ビット右シフトした値を用いる。なお、2ビット右シフトした後に、さらに2ビット左シフトする(下位1ビットをオフにする)処理を用いて、ユニット単位での処理を行っても良い。
ユニット特性分類部521Aの第1の構成、第2の構成のように、特性インデックスqIdxを符号化パラメータユニットサイズ(TUサイズ、PUサイズ、CUサイズ)に応じて分類する場合には、フィルタユニットサイズは、最小分類サイズの2倍以上の大きさとする。ここで最小分類サイズとは、特性インデックスqIdx導出において区別する符号化パラメータユニットサイズの最小値を意味する。例えば、特性インデックスqIdxの導出において、4×4の符号化パラメータユニットサイズと8×8以上の符号化パラメータユニットサイズを区別する場合には8×8のフィルタユニットサイズを用い、4×4の符号化パラメータユニットサイズと8×8の符号化パラメータユニットサイズを区別せず、8×8の符号化パラメータユニットサイズととそれより大きい符号化パラメータユニットサイズを区別する場合には16×16のフィルタユニットサイズを用いる。最小分類サイズが4×4の場合、フィルタユニットサイズは8×8以上を用いる。符号化パラメータユニットサイズの最小分類サイズがS×Sの場合に、フィルタユニットサイズをS×Sにする場合に比べ、フィルタユニットが少なくなるなるため、導出すべき特性インデックスqIdxの数が減少し簡略化される。また、特性インデックスqIdx(もしくはフィルタインデックスfIdx)をラインメモリなどにより保持するためのメモリが減少する効果を奏する。
図14は、最小分類サイズがS×Sの場合に、フィルタユニットサイズが2S×2Sとなる例を示す。最小分類サイズがS×Sの場合、S×Sで分割される場合がある。TU、PU、CUの分割は、ツリー状の分割であるため、S×Sで分割される場合には、当該S×Sのユニットを含む2S×2Sの他のユニットのサイズもまたS×S以下である性質を備える。
(フィルタインデックス導出部521の別の構成)
図15は、フィルタインデックス導出部521の別の構成を示すブロック図である。フィルタインデックス導出部521は、ユニット特性分類部521A、ユニット位置分類部521B、フィルタインデックス導出部521Cから構成される。ユニット特性分類部521Aは、既に説明した第1から第3の構成のいずれもを用いることができる。ユニット位置分類部521Bは、フィルタ対象領域の左上座標(rx, ry)を座標により分類し、位置インデックスposIdxを導出する。フィルタインデックス導出部521Cは、特性インデックスqIdxと、位置インデックスposIdxから、フィルタインデックスfIdxを導出する。
図15は、フィルタインデックス導出部521の別の構成を示すブロック図である。フィルタインデックス導出部521は、ユニット特性分類部521A、ユニット位置分類部521B、フィルタインデックス導出部521Cから構成される。ユニット特性分類部521Aは、既に説明した第1から第3の構成のいずれもを用いることができる。ユニット位置分類部521Bは、フィルタ対象領域の左上座標(rx, ry)を座標により分類し、位置インデックスposIdxを導出する。フィルタインデックス導出部521Cは、特性インデックスqIdxと、位置インデックスposIdxから、フィルタインデックスfIdxを導出する。
(ユニット位置分類部521B)
図16は、ユニット位置分類部521Bの動作を説明する図である。ユニット位置分類部521Bは、フィルタ対象領域の左上座標(rx, ry)がピクチャ内のどの領域に対応するかに応じて位置インデックスposIdxを導出する。図16(a)(b)の例では、ピクチャを横4、縦4の領域に分類し、座標に基づいて0〜15の位置インデックスposIdxを導出する。図16(c)(d)の例では、ピクチャを横4、縦2の領域に分類し、座標に基づいて0〜7の位置インデックスposIdxを導出する。図16(e)(f)の例では、ピクチャを横3、縦2の領域に分類し、座標に基づいて0〜5の位置インデックスposIdxを導出する。図16(g)(h)の例では、ピクチャを横4の領域に分類し、座標に基づいて0〜3の位置インデックスposIdxを導出する。図16(i)(j)の例では、ピクチャを横2、縦2の領域に分類し、座標に基づいて0〜3の位置インデックスposIdxを導出する。図16(a)(c)(e)(g)(h)は、位置インデックスposIdxを導出する式を示す。ここでは、フィルタ対象領域の左上座標(rx, ry)から、領域の座標(xIdx、yIdx)を導出し、この座標からテーブルregtionTab[]を参照することで位置インデックスposIdxを導出する。
図16は、ユニット位置分類部521Bの動作を説明する図である。ユニット位置分類部521Bは、フィルタ対象領域の左上座標(rx, ry)がピクチャ内のどの領域に対応するかに応じて位置インデックスposIdxを導出する。図16(a)(b)の例では、ピクチャを横4、縦4の領域に分類し、座標に基づいて0〜15の位置インデックスposIdxを導出する。図16(c)(d)の例では、ピクチャを横4、縦2の領域に分類し、座標に基づいて0〜7の位置インデックスposIdxを導出する。図16(e)(f)の例では、ピクチャを横3、縦2の領域に分類し、座標に基づいて0〜5の位置インデックスposIdxを導出する。図16(g)(h)の例では、ピクチャを横4の領域に分類し、座標に基づいて0〜3の位置インデックスposIdxを導出する。図16(i)(j)の例では、ピクチャを横2、縦2の領域に分類し、座標に基づいて0〜3の位置インデックスposIdxを導出する。図16(a)(c)(e)(g)(h)は、位置インデックスposIdxを導出する式を示す。ここでは、フィルタ対象領域の左上座標(rx, ry)から、領域の座標(xIdx、yIdx)を導出し、この座標からテーブルregtionTab[]を参照することで位置インデックスposIdxを導出する。
(フィルタインデックス導出部521C)
図17は、特性インデックスqIdxと、位置インデックスposIdxから、フィルタインデックスfIdxを導出する例を示す。例に示すように、特性インデックスqIdxと位置インデックスposIdxをラスタスキャン上に2次元的に並べた際に、隣り合う部分のフィルタインデックスfIdxの差の最小値が1になるように、一筆書き状に順に、フィルタインデックスfIdxを割り振ることが適当である。
図17は、特性インデックスqIdxと、位置インデックスposIdxから、フィルタインデックスfIdxを導出する例を示す。例に示すように、特性インデックスqIdxと位置インデックスposIdxをラスタスキャン上に2次元的に並べた際に、隣り合う部分のフィルタインデックスfIdxの差の最小値が1になるように、一筆書き状に順に、フィルタインデックスfIdxを割り振ることが適当である。
(フィルタインデックス導出部521Cの別の構成)
フィルタインデックス導出部521Cの別の構成では、スライスタイプがBスライスの場合には、特性インデックスqIdxと、位置インデックスposIdxから、フィルタインデックスfIdxを導出し、スライスタイプがBスライス以外(IスライスおよびPスライス)の場合には、座標以外のフィルタ対象領域の特性によらない位置インデックスposIdxから、フィルタインデックスfIdxを導出する。スライスタイプがBスライスの場合には、ユニット特性分類部521Aは、PUが単予測であるか双予測であるかに応じて2個の特性に分類する。ユニット位置分類部521Bは8個の領域(位置インデックスposIdx=0から7)に分類し、それ以外の場合には、ユニット位置分類部521Bは16個の領域に分類する。
フィルタインデックス導出部521Cの別の構成では、スライスタイプがBスライスの場合には、特性インデックスqIdxと、位置インデックスposIdxから、フィルタインデックスfIdxを導出し、スライスタイプがBスライス以外(IスライスおよびPスライス)の場合には、座標以外のフィルタ対象領域の特性によらない位置インデックスposIdxから、フィルタインデックスfIdxを導出する。スライスタイプがBスライスの場合には、ユニット特性分類部521Aは、PUが単予測であるか双予測であるかに応じて2個の特性に分類する。ユニット位置分類部521Bは8個の領域(位置インデックスposIdx=0から7)に分類し、それ以外の場合には、ユニット位置分類部521Bは16個の領域に分類する。
以上に説明したフィルタインデックス導出部521の別の構成では、フィルタ対象領域の特性と、フィルタ対象領域のピクチャ内の位置という2つの特性に応じて、フィルタインデックスを導出するため、高い符号化歪み低減効果を得る効果を奏する。
(フィルタ係数割り付け部524)
フィルタ係数割り付け部524は、フィルタインデックス導出部521から供給されるフィルタインデックスfIdxを導出し、当該フィルタインデックスに対応するフィルタ係数CL [fIdx][j0]を、フィルタ係数格納部517から読み出して画素に対して割り付ける。対象CU内の各画素に割り付けられたフィルタ係数は、フィルタ部525に供給される。
フィルタ係数割り付け部524は、フィルタインデックス導出部521から供給されるフィルタインデックスfIdxを導出し、当該フィルタインデックスに対応するフィルタ係数CL [fIdx][j0]を、フィルタ係数格納部517から読み出して画素に対して割り付ける。対象CU内の各画素に割り付けられたフィルタ係数は、フィルタ部525に供給される。
(フィルタ部525)
フィルタ部525は、後述のフィルタオフ制御部53より入力されるalfLcuEnableFlagが、対象CUを含むツリーブロックにフィルタを適用することを示す場合、対象CU内の各画素に対して、フィルタ係数CL[fIdx][j0]を用いたフィルタ処理を施すことによって、該対象CUにおけるフィルタ済復号画像P_FLを生成する。生成されたフィルタ済復号画像P_FLは、バッファメモリ15に格納される。
フィルタ部525は、後述のフィルタオフ制御部53より入力されるalfLcuEnableFlagが、対象CUを含むツリーブロックにフィルタを適用することを示す場合、対象CU内の各画素に対して、フィルタ係数CL[fIdx][j0]を用いたフィルタ処理を施すことによって、該対象CUにおけるフィルタ済復号画像P_FLを生成する。生成されたフィルタ済復号画像P_FLは、バッファメモリ15に格納される。
より具体的には、フィルタ済復号画像P_FL(「フィルタ後画像」とも呼称する)におけるフィルタ対象画素の画素値をSF(x’、y’)と表し、デブロック済復号画像P_DB(「フィルタ前画像」とも呼称する)における画素値をS(x、y)と表すことにすると、フィルタ部525は、画素値SF(x’、y’)を、以下の数式(1)によって算出する。
また、数式(1)におけるRは、フィルタ処理において参照される領域(「フィルタ参照領域R」とも呼称する)を表している。なお、フィルタ参照領域Rは、例えば、画素(x、y)を中心とする菱形の領域を用いることができるが、本実施形態における参照領域Rは、これらの例に限定されるものではない。例えば、矩形状の参照領域を用いてもよい。
また、各フィルタ係数は、180度の回転対称性を有するように、フィルタ参照領域Rに含まれる各画素に対して割り付けられる構成とすることができる。すなわち、a(u、v)=a(−u、−v)を満たすように設定される構成とすることができる。このような構成とすることによって、alf_coeff_luma[i][j]に含まれる各成分の数を削減することができる。
(フィルタオフ制御部531)
フィルタオフ制御部53は、ALF関連パラメータALFPに基づいて、ピクチャ内の各ツリーブロックにおけるALF適用有無情報alfLcuEnableFlagを導出して出力する。
フィルタオフ制御部53は、ALF関連パラメータALFPに基づいて、ピクチャ内の各ツリーブロックにおけるALF適用有無情報alfLcuEnableFlagを導出して出力する。
(動画像符号化装置2)
以下では、符号化対象画像を符号化することによって符号化データ#1を生成する動画像符号化装置2について、図19を参照して説明する。動画像符号化装置2は、その一部に、H.264/MPEG−4.AVCに採用されている方式、及び、HM(HEVC TestModel)ソフトウェアに採用されている技術を含んでいる。
以下では、符号化対象画像を符号化することによって符号化データ#1を生成する動画像符号化装置2について、図19を参照して説明する。動画像符号化装置2は、その一部に、H.264/MPEG−4.AVCに採用されている方式、及び、HM(HEVC TestModel)ソフトウェアに採用されている技術を含んでいる。
図19は、本実施形態に係る動画像符号化装置2の構成を示すブロック図である。図19に示すように、動画像符号化装置2は、変換・量子化部21、可変長符号符号化部22、逆量子化・逆変換部23、バッファメモリ24、イントラ予測画像生成部25、インター予測画像生成部26、動きベクトル検出部27、予測方式制御部28、動きベクトル冗長性削除部29、加算器31、減算器32、デブロッキングフィルタ33、および、適応フィルタ60を備えている。動画像符号化装置2は、動画像#10(符号化対象画像)を符号化することによって、符号化データ#1を生成する装置である。
変換・量子化部21は、(1)符号化対象画像から予測画像Predを減算した予測残差Dをブロック毎にDCT変換(Discrete Cosine Transform)し、(2)DCT変換により得られたDCT係数を量子化し、(3)量子化により得られた量子化予測残差QDを可変長符号符号化部22及び逆量子化・逆変換部23に供給する。なお、変換・量子化部21は、(1)量子化の際に用いる量子化ステップQPを、ツリーブロック毎に選択し、(2)選択した量子化ステップQPの大きさを示す量子化パラメータ差分Δqpを可変長符号符号化部22に供給し、(3)選択した量子化ステップQPを逆量子化・逆変換部23に供給する。ここで、量子化パラメータ差分Δqpとは、DCT変換/量子化するツリーブロックに関する量子化パラメータqp(QP=2pq/6)の値から、直前にDCT変換/量子化したツリーブロックに関する量子化パラメータqp’の値を減算して得られる差分値のことを指す。
可変長符号符号化部22は、(1)変換・量子化部21から供給された量子化予測残差QD並びにΔqp、(2)後述する予測方式制御部28から供給された量子化パラメータPP、および、(3)後述する適応フィルタ60から供給されたALF関連パラメータを可変長符号化することによって、符号化データ#1を生成する。なお、ALF関連パラメータは、少なくとも、ALF有効化フラグ(adaptive_loop_filter_enable_flag)、ALFパラメータFP(alf_param())を含む。
逆量子化・逆変換部23は、(1)量子化予測残差QDを逆量子化し、(2)逆量子化によって得られたDCT係数を逆DCT(Discrete Cosine Transform)変換し、(3)逆DCT変換によって得られた予測残差Dを加算器31に供給する。量子化予測残差QDを逆量子化する際には、変換・量子化部21から供給された量子化ステップQPを利用する。なお、逆量子化・逆変換部23から出力される予測残差Dは、変換・量子化部21に入力される予測残差Dに量子化誤差が加わったものであるが、ここでは簡単のために共通の呼称を用いる。
イントラ予測画像生成部25は、各パーティションに関する予測画像Pred_Intraを生成する。具体的には、(1)各パーティションついてイントラ予測に用いる予測モードを選択し、(2)選択した予測モードを用いて、復号画像Pから予測画像Pred_Intraを生成する。イントラ予測画像生成部25は、生成したイントラ予測画像Pred_Intraを、予測方式制御部28に供給する。
また、イントラ予測画像生成部25は、各パーティションについて選択された予測モードから、各パーティションのサイズとから各パーティションについての予測インデックスPIを特定し、当該予測インデックスPIを予測方式制御部28に供給する。
また、イントラ予測画像生成部25は、対象パーティションのサイズ、および、対象パーティションに割り付けられた予測モードを示す情報であるイントラ符号化モード情報IEMを適応フィルタ60に供給する。
動きベクトル検出部27は、各パーティションに関する動きベクトルmvを検出する。具体的には、(1)参照画像として利用するフィルタ済復号画像P_FL’を選択し、(2)選択したフィルタ済復号画像P_FL’において対象パーティションを最良近似する領域を探索することによって、対象パーティションに関する動きベクトルmvを検出する。ここで、フィルタ済復号画像P_FL’は、既に復号が完了した復号済みの復号画像に対して、デブロッキングフィルタ33によるデブロック処理、および、適応フィルタ60による適応的フィルタ処理を施すことによって得られる画像であり、動きベクトル検出部27は、フィルタ済復号画像P_FL’を構成する各画素の画素値をバッファメモリ24から読み出すことができる。動きベクトル検出部27は、検出した動きベクトルmvを、参照画像として利用したフィルタ済復号画像P_FL’を指定する参照画像インデックスRIと共に、インター予測画像生成部26及び動きベクトル冗長性削除部29に供給する。なお、双方向予測(重み付き予測)を行うパーティションについては、参照画像として2枚のフィルタ済復号画像P_FL1’及びP_FL2’を選択し、2枚のフィルタ済復号画像P_FL1’及びP_FL2’の各々に対応する動きベクトルmv1及びmv2、並びに、参照画像インデックスRI1及びRI2をインター予測画像生成部26及び動きベクトル冗長性削除部29に供給する。
インター予測画像生成部26は、各インター予測パーティションに関する動き補償画像mcを生成する。具体的には、動きベクトル検出部27から供給された動きベクトルmvを用いて、動きベクトル検出部27から供給された参照画像インデックスRIによって指定されるフィルタ済復号画像P_FL’から動き補償画像mcを生成する。動きベクトル検出部27と同様、インター予測画像生成部26は、フィルタ済復号画像P_FL’を構成する各画素の画素値をバッファメモリ24から読み出すことができる。インター予測画像生成部26は、生成した動き補償画像mc(インター予測画像Pred_Inter)を、動きベクトル検出部27から供給された参照画像インデックスRIと共に、予測方式制御部28に供給する。なお、双方向予測(重み付き予測)をパーティションについては、(1)動きベクトルmv1を用いて、参照画像インデックスRI1によって指定されたフィルタ済復号画像P_FL1’から動き補償画像mc1を生成し、(2)動きベクトルmv2を用いて、参照画像インデックスRI2によって指定されたフィルタ済参照画像P_FL2’から動き補償画像mc2を生成し、(3)動き補償画像mc1と動き補償画像mc2との加重平均にオフセット値を加えることによってインター予測画像Pred_Interを生成する。
予測方式制御部28は、イントラ予測画像Pred_Intra及びインター予測画像Pred_Interを符号化対象画像と比較し、イントラ予測を行うかインター予測を行うかを選択する。イントラ予測を選択した場合、予測方式制御部28は、イントラ予測画像Pred_Intraを予測画像Predとして加算器31及び減算器32に供給すると共に、イントラ予測画像生成部25から供給された予測インデックスPIを予測パラメータPPとして可変長符号符号化部22に供給する。一方、インター予測を選択した場合、予測方式制御部28は、インター予測画像Pred_Interを予測画像Predとして加算器31及び減算器32に供給すると共に、インター予測画像生成部26から供給された参照画像インデックスRI、並びに、動きベクトル冗長性削除部29(後述)から供給された推定動きベクトルインデックスPMVI及び動きベクトル残差MVDを予測パラメータPPとして可変長符号符号化部に供給する。
予測方式制御部28にて選択された予測画像Predを、符号化対象画像から減算することによって、減算器32にて予測残差Dが生成される。減算器32にて生成された予測残差Dは、上述したとおり、変換・量子化部21によってDCT変換/量子化される。一方、予測方式制御部28にて選択された予測画像Predを、逆量子化・逆変換部23にて生成された予測残差Dに加算することによって、加算器31にて局所復号画像Pが生成される。加算器31にて生成された局所復号画像Pは、デブロッキングフィルタ33および適応フィルタ60を経由したのち、フィルタ済復号画像P_FLとしてバッファメモリ24に格納され、インター予測における参照画像として利用される。
なお、動きベクトル冗長性削除部29は、動きベクトル検出部27によって検出された動きベクトルmvにおける冗長性を削除する。具体的には、(1)動きベクトルmvの推定に用いる推定方法を選択し、(2)選択した推定方法に従って推定動きベクトルpmvを導出し、(3)動きベクトルmvから推定動きベクトルpmvを減算することにより動きベクトル残差MVDを生成する。動きベクトル冗長性削除部29は、生成した動きベクトル残差MVDを、選択した推定方法を示す推定動きベクトルインデックスPMVIと共に、予測方式制御部28に供給する。
デブロッキングフィルタ33は、復号画像Pにおけるブロック境界、またはCU境界を介して互いに隣接する画素の画素値の差が予め定められた閾値よりも小さい場合に、復号画像Pにおける当該ブロック境界、または当該CU境界に対してデブロッキング処理を施すことによって、当該ブロック境界、または当該CU境界付近の画像の平滑化を行う。デブロッキングフィルタ33によりデブロッキング処理が施された画像は、デブロック済復号画像P_DBとして、適応フィルタ60に出力される。
適応フィルタ60は、デブロッキングフィルタ33から供給されるデブロック済復号画像P_DBと動画像符号化装置2に入力される動画像#10に基づいて、フィルタ済復号画像P_FL、および、ALF関連パラメータALFPを生成する。生成されたフィルタ済復号画像P_FLはバッファメモリ24に格納される。適応フィルタ60の具体的な構成については、後述するため、ここでは説明を省略する。
(適応フィルタ60)
適応フィルタ60は、デブロック済復号画像P_DBに対して適用する適応フィルタに用いるALF関連パラメータALFPを、動画像#10に基づいて設定する。適応フィルタ60は、設定したALF関連パラメータALFPに基づいた適応的フィルタ処理をデブロック済み復号画像P_DBに対して施すことによって、フィルタ済復号画像P_FLを生成する。生成されたフィルタ済復号画像P_FLは、バッファメモリ24に格納される。また、適応フィルタ60は、フィルタ処理に用いたALFフィルタパラメータALFPを可変長符号符号化部22に供給する。可変長符号符号化部22は、ALF関連パラメータALFPを符号化データ#1の一部として符号化する。
適応フィルタ60は、デブロック済復号画像P_DBに対して適用する適応フィルタに用いるALF関連パラメータALFPを、動画像#10に基づいて設定する。適応フィルタ60は、設定したALF関連パラメータALFPに基づいた適応的フィルタ処理をデブロック済み復号画像P_DBに対して施すことによって、フィルタ済復号画像P_FLを生成する。生成されたフィルタ済復号画像P_FLは、バッファメモリ24に格納される。また、適応フィルタ60は、フィルタ処理に用いたALFフィルタパラメータALFPを可変長符号符号化部22に供給する。可変長符号符号化部22は、ALF関連パラメータALFPを符号化データ#1の一部として符号化する。
図18は、適応フィルタ60の構成を示すブロック図である。図18に示すように、適応フィルタ60は、適応フィルタ情報符号化部61、フィルタ係数設定部62、フィルタオンオフ設定部63、フィルタオフ設定部53、および、適応フィルタ部52を備えている。なお、フィルタオフ設定部53と適応フィルタ部52は、図8に示した動画像復号装置1の備える適応フィルタ50における同一名称の構成要素と同様の機能を有するため説明を省略する。
(適応フィルタ情報符号化部61)
適応フィルタ情報符号化部61は、図18に示すように、フィルタ係数符号化部621、フィルタ係数格納部513、および、フィルタ係数予測部511を備えている。フィルタ係数格納部513とフィルタ係数予測部511については、図8の適応フィルタ50において既に説明したため、同一の符号を付与して説明を省略する。
(フィルタ係数符号化部621)
フィルタ係数符号化部621は、領域別フィルタ係数格納部513に格納されているフィルタ係数CL[i0][j0]から、入力された予測フィルタ係数PredCL[i0][j0]を減算してフィルタ係数残差alf_coeff_luma[i0][j0]を生成して出力する。
(フィルタ係数設定部62)
フィルタ係数設定部62は、入力される動画像#10とデブロック済復号画像P_DBに基づいて、ピクチャ内で適用する適応フィルタのフィルタ係数CL[i0][j0]を設定して出力する。ここで、i0は、フィルタセット中の一つのフィルタを特定するフィルタインデックスであり、j0はフィルタを構成する一つの係数を特定するフィルタ係数インデックスである。なお、フィルタ係数CL[i0][j0]の値は、符号化効率がより向上するよう設定される。
(フィルタオンオフ設定部63)
フィルタオンオフ設定部63は、入力される動画像#10とデブロック済復号画像P_DBに基づいて、ピクチャ内の各ツリーブロックにおいて適応フィルタを適用するか否かを決定し、結果をalf_lcu_enable_flagとして出力する。なお、alf_lcu_enable_flagの値は、符号化効率がより向上するよう設定される。
適応フィルタ情報符号化部61は、図18に示すように、フィルタ係数符号化部621、フィルタ係数格納部513、および、フィルタ係数予測部511を備えている。フィルタ係数格納部513とフィルタ係数予測部511については、図8の適応フィルタ50において既に説明したため、同一の符号を付与して説明を省略する。
(フィルタ係数符号化部621)
フィルタ係数符号化部621は、領域別フィルタ係数格納部513に格納されているフィルタ係数CL[i0][j0]から、入力された予測フィルタ係数PredCL[i0][j0]を減算してフィルタ係数残差alf_coeff_luma[i0][j0]を生成して出力する。
(フィルタ係数設定部62)
フィルタ係数設定部62は、入力される動画像#10とデブロック済復号画像P_DBに基づいて、ピクチャ内で適用する適応フィルタのフィルタ係数CL[i0][j0]を設定して出力する。ここで、i0は、フィルタセット中の一つのフィルタを特定するフィルタインデックスであり、j0はフィルタを構成する一つの係数を特定するフィルタ係数インデックスである。なお、フィルタ係数CL[i0][j0]の値は、符号化効率がより向上するよう設定される。
(フィルタオンオフ設定部63)
フィルタオンオフ設定部63は、入力される動画像#10とデブロック済復号画像P_DBに基づいて、ピクチャ内の各ツリーブロックにおいて適応フィルタを適用するか否かを決定し、結果をalf_lcu_enable_flagとして出力する。なお、alf_lcu_enable_flagの値は、符号化効率がより向上するよう設定される。
また、フィルタオンオフ設定部62は、ピクチャ内での適応フィルタ適用の制限の程度を示す情報としてalf_areal_restriction_level(ALF制限レベル)を設定して出力する。なお、ALF制限レベルの値は、例えば、動画像符号化装置2で生成する符号化データ#1を復号する動画像復号装置1の処理性能に応じて設定される。具体的には、動画像復号装置の処理性能が十分高ければ、ALF制限レベルの値として小さい値(ALFの制限がより小さいことを示す値)が設定される。一方、動画像復号装置の処理性能が低い場合には、ALF制限レベルの値として大きい値(ALFの制限がより大きいことを示す値)が設定される。
(付記事項1)
上述した動画像符号化装置2及び動画像復号装置1は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CGおよびGUIを含む)であってもよい。
上述した動画像符号化装置2及び動画像復号装置1は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CGおよびGUIを含む)であってもよい。
まず、上述した動画像符号化装置2及び動画像復号装置1を、動画像の送信及び受信に利用できることを、図20を参照して説明する。
図20の(a)は、動画像符号化装置2を搭載した送信装置PROD_Aの構成を示したブロック図である。図20の(a)に示すように、送信装置PROD_Aは、動画像を符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した動画像符号化装置2は、この符号化部PROD_A1として利用される。
送信装置PROD_Aは、符号化部PROD_A1に入力する動画像の供給源として、動画像を撮像するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成または加工する画像処理部A7を更に備えていてもよい。図20の(a)においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体PROD_A5は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部(不図示)を介在させるとよい。
図20の(b)は、動画像復号装置1を搭載した受信装置PROD_Bの構成を示したブロック図である。図20の(b)に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3と、を備えている。上述した動画像復号装置1は、この復号部PROD_B3として利用される。
受信装置PROD_Bは、復号部PROD_B3が出力する動画像の供給先として、動画像を表示するディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部に出力するための出力端子PROD_B6を更に備えていてもよい。図20の(b)においては、これら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体PROD_B5は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から取得した動画像を記録用の符号化方式に従って符号化する符号化部(不図示)を介在させるとよい。
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送(ここでは、送信先が予め特定されていない送信態様を指す)であってもよいし、通信(ここでは、送信先が予め特定されている送信態様を指す)であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
例えば、地上デジタル放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を無線放送で送受信する送信装置PROD_A/受信装置PROD_Bの一例である。また、ケーブルテレビ放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を有線放送で送受信する送信装置PROD_A/受信装置PROD_Bの一例である。
また、インターネットを用いたVOD(Video On Demand)サービスや動画共有サービスなどのサーバ(ワークステーションなど)/クライアント(テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど)は、変調信号を通信で送受信する送信装置PROD_A/受信装置PROD_Bの一例である(通常、LANにおいては伝送媒体として無線又は有線の何れかが用いられ、WANにおいては伝送媒体として有線が用いられる)。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。
次に、上述した動画像符号化装置2及び動画像復号装置1を、動画像の記録及び再生に利用できることを、図21を参照して説明する。
図21の(a)は、上述した動画像符号化装置2を搭載した記録装置PROD_Cの構成を示したブロック図である。図21の(a)に示すように、記録装置PROD_Cは、動画像を符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した動画像符号化装置2は、この符号化部PROD_C1として利用される。
なお、記録媒体PROD_Mは、(1)HDD(Hard Disk Drive)やSSD(Solid State Drive)などのように、記録装置PROD_Cに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSB(Universal Serial Bus)フラッシュメモリなどのように、記録装置PROD_Cに接続されるタイプのものであってもよいし、(3)DVD(Digital Versatile Disc)やBD(Blu-ray Disc:登録商標)などのように、記録装置PROD_Cに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
また、記録装置PROD_Cは、符号化部PROD_C1に入力する動画像の供給源として、動画像を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、動画像を受信するための受信部PROD_C5、及び、画像を生成または加工する画像処理部C6を更に備えていてもよい。図21の(a)においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。
なお、受信部PROD_C5は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部(不図示)を介在させるとよい。
このような記録装置PROD_Cとしては、例えば、DVDレコーダ、BDレコーダ、HDD(Hard Disk Drive)レコーダなどが挙げられる(この場合、入力端子PROD_C4又は受信部PROD_C5が動画像の主な供給源となる)。また、カムコーダ(この場合、カメラPROD_C3が動画像の主な供給源となる)、パーソナルコンピュータ(この場合、受信部PROD_C5又は画像処理部C6が動画像の主な供給源となる)、スマートフォン(この場合、カメラPROD_C3又は受信部PROD_C5が動画像の主な供給源となる)なども、このような記録装置PROD_Cの一例である。
図21の(b)は、上述した動画像復号装置1を搭載した再生装置PROD_Dの構成を示したブロックである。図21の(b)に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述した動画像復号装置1は、この復号部PROD_D2として利用される。
なお、記録媒体PROD_Mは、(1)HDDやSSDなどのように、再生装置PROD_Dに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSBフラッシュメモリなどのように、再生装置PROD_Dに接続されるタイプのものであってもよいし、(3)DVDやBDなどのように、再生装置PROD_Dに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
また、再生装置PROD_Dは、復号部PROD_D2が出力する動画像の供給先として、動画像を表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図21の(b)においては、これら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。
なお、送信部PROD_D5は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部(不図示)を介在させるとよい。
このような再生装置PROD_Dとしては、例えば、DVDプレイヤ、BDプレイヤ、HDDプレイヤなどが挙げられる(この場合、テレビジョン受像機等が接続される出力端子PROD_D4が動画像の主な供給先となる)。また、テレビジョン受像機(この場合、ディスプレイPROD_D3が動画像の主な供給先となる)、デジタルサイネージ(電子看板や電子掲示板等とも称され、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)、デスクトップ型PC(この場合、出力端子PROD_D4又は送信部PROD_D5が動画像の主な供給先となる)、ラップトップ型又はタブレット型PC(この場合、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)、スマートフォン(この場合、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)なども、このような再生装置PROD_Dの一例である。
(付記事項2)
上述した動画像復号装置1、および動画像符号化装置2の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
上述した動画像復号装置1、および動画像符号化装置2の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、画像データにフィルタリングを行う画像フィルタに好適に用いることができる。また、符号化データを復号する復号装置、および、符号化データを符号化する符号化装置に好適に適用することができる。
16 インター予測画像生成部(予測画像生成手段)
17 イントラ予測画像生成部(予測画像生成手段)
50 適応フィルタ(フィルタ装置)
52 適応フィルタ部
521 フィルタインデックス導出部(フィルタインデックス導出手段)
521A ユニット特性分類部(ユニット特性分類部手段)
524 フィルタ係数割り付け部(フィルタ係数割り付け手段)
525 フィルタ部(フィルタ手段)
17 イントラ予測画像生成部(予測画像生成手段)
50 適応フィルタ(フィルタ装置)
52 適応フィルタ部
521 フィルタインデックス導出部(フィルタインデックス導出手段)
521A ユニット特性分類部(ユニット特性分類部手段)
524 フィルタ係数割り付け部(フィルタ係数割り付け手段)
525 フィルタ部(フィルタ手段)
Claims (10)
- 入力される符号化データより復号される予測残差と、復号済の復号画素値に基づいて生成される予測画像とに基づいてフィルタ前復号画像を生成し、上記フィルタ前復号画像に一以上のループ内フィルタを適用して復号画像を生成する画像復号装置において、
フィルタ対象領域に対応するユニットのサイズを用いて、フィルタインデックスを導出するフィルタインデックス導出手段と、
前記フィルタインデックスによって指定されるフィルタ係数を上記フィルタ対象領域に割り付けるフィルタ係数割り付け手段と、
前記フィルタ係数を用いてフィルタ処理を行うフィルタ手段とを備え、
前記ユニットは、符号化ユニット、変換単位、予測単位の何れかであることを特徴とするフィルタ装置。 - 上記フィルタインデックス導出手段は、上記ユニットのサイズを閾値と比較することによってフィルタインデックスを導出するものであり、
上記ユニットの属するスライスがIスライスである場合の上記閾値は、上記ユニットの属するスライスがIスライスでない場合に比べて、小さく設定されている、
ことを特徴とする請求項1に記載のフィルタ装置。 - 入力される符号化データより復号される予測残差と、復号済の復号画素値に基づいて生成される予測画像とに基づいてフィルタ前復号画像を生成し、上記フィルタ前復号画像に一以上のループ内フィルタを適用して復号画像を生成する画像復号装置において、
フィルタ対象領域に対応するユニットの予測方向が単予測であるか双予測であるかに応じて、フィルタインデックスを導出するフィルタインデックス導出手段と、
前記フィルタインデックスによって指定されるフィルタ係数を上記フィルタ対象領域に割り付けるフィルタ係数割り付け手段と、
前記フィルタ係数を用いてフィルタ処理を行うフィルタ手段とを備え、
前記ユニットは、符号化ユニット、変換単位、予測単位の何れかであることを特徴とするフィルタ装置。 - 上記フィルタインデックス導出手段は、上記ユニットがイントラブロックである場合のフィルタインデックスを、上記ユニットが単予測である場合と同じ値に設定する、
ことを特徴とする請求項3に記載のフィルタ装置。 - 上記フィルタインデックス導出手段は、上記ユニットの属するスライスがBスライス以外の場合に、上記ユニットのサイズに応じてフィルタインデックスを導出する、
ことを特徴とする請求項3に記載のフィルタ装置。 - 上記フィルタインデックス導出手段は、上記ユニットの属するスライスがBスライス以外の場合に、フィルタインデックスを所定の値に設定する、
ことを特徴とする請求項3に記載のフィルタ装置。 - 入力される符号化データより復号される予測残差と、復号済の復号画素値に基づいて生成される予測画像とに基づいてフィルタ前復号画像を生成し、上記フィルタ前復号画像に一以上のループ内フィルタを適用して復号画像を生成する画像復号装置において、
フィルタ対象領域の符号化パラメータの特性から特性インデックスを導出するユニット特性分類手段と、
フィルタ対象領域の位置から位置インデックスを導出するユニット位置分類手段と、
上記特性インデックスと上記位置インデックスとから、フィルタインデックスを導出するフィルタインデックス導出手段と、
前記フィルタインデックスによって指定されるフィルタ係数を上記フィルタ対象領域に割り付けるフィルタ係数割り付け手段と、
前記フィルタ係数を用いてフィルタ処理を行うフィルタ手段とを備えていることを特徴とするフィルタ装置。 - 上記フィルタインデックス導出手段は、
上記フィルタ対象領域の属するスライスがBスライスである場合には、上記特性インデックスと上記位置インデックスとから、フィルタインデックスを導出し、
上記フィルタ対象領域の属するスライスがBスライスでない場合には、上記位置インデックスから、フィルタインデックスを導出する
ことを特徴とする請求項7に記載のフィルタ装置。 - 符号化データを復号し、フィルタ後の復号画像を生成する復号装置であって、
請求項1から8の何れか1項に記載のフィルタ装置と、
各単位領域における予測画像を、上記フィルタ装置が生成した出力画像を参照して生成する予測画像生成手段と、
を備え、
上記フィルタ装置は、上記予測画像生成手段によって生成された予測画像と、上記符号化データから復号された残差画像とを加算することによって得られた復号画像を入力画像とし、出力画像として上記フィルタ後の復号画像を生成するものである、
ことを特徴とする復号装置。 - 符号化対象画像と予測画像との残差画像を符号化することによって符号化データを生成する符号化装置であって、
請求項1から8の何れか1項に記載のフィルタ装置と、
各単位領域における上記予測画像を、上記フィルタ装置が生成した出力画像を参照して生成する予測画像生成手段と、
を備え、
上記フィルタ装置は、上記予測画像生成手段によって生成された予測画像と上記残差画像とを加算することによって得られる復号画像を入力画像とし、出力画像を生成するものである、
ことを特徴とする符号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012092482A JP2013223050A (ja) | 2012-04-13 | 2012-04-13 | フィルタ装置、復号装置、および符号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012092482A JP2013223050A (ja) | 2012-04-13 | 2012-04-13 | フィルタ装置、復号装置、および符号化装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013223050A true JP2013223050A (ja) | 2013-10-28 |
Family
ID=49593750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012092482A Pending JP2013223050A (ja) | 2012-04-13 | 2012-04-13 | フィルタ装置、復号装置、および符号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013223050A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015128239A (ja) * | 2013-12-27 | 2015-07-09 | キヤノン株式会社 | 画像符号化装置、撮像装置、画像符号化方法、及びプログラム |
WO2015163047A1 (ja) * | 2014-04-23 | 2015-10-29 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
KR20160061869A (ko) * | 2014-11-24 | 2016-06-01 | 한국전자통신연구원 | 가우시안 필터링 장치 및 방법 |
JP2018509074A (ja) * | 2015-02-11 | 2018-03-29 | クアルコム,インコーポレイテッド | コーディングツリーユニット(ctu)レベル適応ループフィルタ(alf) |
US11128873B2 (en) | 2019-05-30 | 2021-09-21 | Fujitsu Limited | Storage medium, encoding device, decoding device, encoding method, and decoding method |
-
2012
- 2012-04-13 JP JP2012092482A patent/JP2013223050A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015128239A (ja) * | 2013-12-27 | 2015-07-09 | キヤノン株式会社 | 画像符号化装置、撮像装置、画像符号化方法、及びプログラム |
WO2015163047A1 (ja) * | 2014-04-23 | 2015-10-29 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
US10477207B2 (en) | 2014-04-23 | 2019-11-12 | Sony Corporation | Image processing apparatus and image processing method |
KR20160061869A (ko) * | 2014-11-24 | 2016-06-01 | 한국전자통신연구원 | 가우시안 필터링 장치 및 방법 |
KR102282756B1 (ko) | 2014-11-24 | 2021-07-29 | 한국전자통신연구원 | 가우시안 필터링 장치 및 방법 |
JP2018509074A (ja) * | 2015-02-11 | 2018-03-29 | クアルコム,インコーポレイテッド | コーディングツリーユニット(ctu)レベル適応ループフィルタ(alf) |
US11128873B2 (en) | 2019-05-30 | 2021-09-21 | Fujitsu Limited | Storage medium, encoding device, decoding device, encoding method, and decoding method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6957715B2 (ja) | 画像フィルタ装置、フィルタ方法および動画像復号装置 | |
US11627337B2 (en) | Image decoding device | |
US20230319274A1 (en) | Image decoding method | |
US10547861B2 (en) | Image decoding device | |
US20180192076A1 (en) | Image decoding device image coding device | |
US20180115780A1 (en) | Image decoding device and image coding device | |
US20180160118A1 (en) | Arithmetic decoding device and arithmetic coding device | |
JP2013236358A (ja) | 画像フィルタ装置、画像復号装置、画像符号化装置、およびデータ構造 | |
US11196993B2 (en) | Image coding apparatus and image decoding apparatus | |
JP5995448B2 (ja) | 画像復号装置、および画像符号化装置 | |
US11328451B2 (en) | Image decoding apparatus and image coding apparatus | |
WO2019065488A1 (ja) | 画像復号装置および画像符号化装置 | |
JP2013223050A (ja) | フィルタ装置、復号装置、および符号化装置 | |
JP2013141094A (ja) | 画像復号装置、画像符号化装置、画像フィルタ装置、および符号化データのデータ構造 | |
US20220191527A1 (en) | Image decoding device | |
JP2013187868A (ja) | 画像復号装置、画像符号化装置、およびデータ構造 | |
WO2012121352A1 (ja) | 動画像復号装置、動画像符号化装置、および、データ構造 | |
CN114762349B (zh) | 用于图像/视频编译的高级别语法信令方法和装置 | |
JP2014176039A (ja) | 画像復号装置、および画像符号化装置 | |
JP6162289B2 (ja) | 画像復号装置および画像復号方法 | |
JP2013232775A (ja) | 動画像復号装置、および動画像符号化装置 | |
WO2013018737A1 (ja) | 画像フィルタ装置、復号装置、符号化装置、および、データ構造 | |
JP2013251827A (ja) | 画像フィルタ装置、画像復号装置、画像符号化装置、およびデータ構造 | |
WO2012081706A1 (ja) | 画像フィルタ装置、フィルタ装置、復号装置、符号化装置、および、データ構造 | |
JP2014082729A (ja) | 画像復号装置、および画像符号化装置 |